WO2024024464A1 - 固体撮像素子、および電子機器 - Google Patents

固体撮像素子、および電子機器 Download PDF

Info

Publication number
WO2024024464A1
WO2024024464A1 PCT/JP2023/025390 JP2023025390W WO2024024464A1 WO 2024024464 A1 WO2024024464 A1 WO 2024024464A1 JP 2023025390 W JP2023025390 W JP 2023025390W WO 2024024464 A1 WO2024024464 A1 WO 2024024464A1
Authority
WO
WIPO (PCT)
Prior art keywords
phase difference
signal
pixels
solid
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/025390
Other languages
English (en)
French (fr)
Inventor
誠 司城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to CN202380046274.1A priority Critical patent/CN119487863A/zh
Priority to US18/879,837 priority patent/US20250338015A1/en
Publication of WO2024024464A1 publication Critical patent/WO2024024464A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present disclosure relates to a solid-state image sensor and an electronic device.
  • VD voltage domains
  • GS global shutters
  • RN random noise
  • CIS CMOS image sensor
  • RS rolling shutter
  • AF autofocus
  • the present disclosure provides a solid-state image sensor and an electronic device that can suppress performance deterioration of an autofocus function using phase contrast pixels.
  • a first phase difference pixel that divides incident light from a subject into pupils and detects an image plane phase difference; a control circuit that controls driving of the first phase difference pixel; a signal processing unit that converts an analog signal non-destructively read out from each of the first phase difference pixels multiple times into a digital signal under the control of the control circuit;
  • a solid-state imaging device is provided.
  • the sensor unit may further include a plurality of phase difference pixels including the first phase difference pixel and a plurality of pixels used for imaging.
  • the control circuit may limit the phase difference pixels that perform the non-destructive readout to a predetermined area in the sensor section.
  • the signal processing section includes: an analog-to-digital converter that converts the non-destructively read analog signal from the first phase difference pixel into a digital signal; a data processing unit that performs arithmetic processing on the digital signal converted by the analog-to-digital converter; has The analog-to-digital converter converts each of the analog signals non-destructively read out multiple times into a digital signal,
  • the data processing section may perform addition processing on the plurality of converted digital signals.
  • the control circuit may change the number of non-destructive readouts from the first phase difference pixel.
  • the control circuit may change the number of non-destructive readouts from the plurality of pixels.
  • the control circuit may change the number of times the non-destructive readout is performed based on an exposure signal related to the amount of received light.
  • the plurality of phase difference pixels and the plurality of pixels used for the imaging are arranged in a matrix,
  • the control circuit may be capable of controlling the phase difference pixel arranged in the same row or column and the pixel to accumulate charges according to the amount of light received at different accumulation times.
  • the signal processing section includes: an analog-to-digital converter that converts the non-destructively read analog signal from the first phase difference pixel into a digital signal;
  • the analog-to-digital converter is a comparator that compares the level of the non-destructively read analog signal with a predetermined ramp signal and outputs a comparison result;
  • a counter section that counts a count value over a period until the comparison result is reversed and outputs the digital signal indicating the count value; may be provided.
  • the counter unit may add the counted value for each analog signal non-destructively read out a plurality of times.
  • a predetermined range of the light receiving area may be shielded from light.
  • the first phase difference pixel may be one of two adjacent pixels in which an elliptical on-chip lens is arranged.
  • the first phase difference pixel may be at least one of four adjacent pixels in which color filters of the same color are arranged.
  • the first phase difference pixel may be at least one of four adjacent pixels in which one on-chip lens is arranged.
  • the first phase difference pixel may be at least one of two adjacent rectangular pixels in which one on-chip lens is arranged.
  • the plurality of pixels may be imaged through a polarizing unit that changes light.
  • the signal processing section includes: an analog-to-digital converter that converts an analog signal nondestructively read out from the first phase difference pixel into a digital signal; a transmitter that transmits the digital signal; The analog-to-digital converter converts each of the analog signals non-destructively read out multiple times into a digital signal, The transmitter may transmit the plurality of converted digital signals.
  • the first phase difference pixel is first and second capacitive elements; a pre-stage circuit that sequentially generates a predetermined reset level and a signal level according to the exposure amount and causes each of the first and second capacitive elements to hold the generated signal level; a post-stage circuit that sequentially reads and outputs the reset level and the signal level from the first and second capacitive elements; may be provided.
  • the comparator may compare the reset level and the level of a signal line that transmits the signal level with a predetermined ramp signal and output a comparison result.
  • the above-mentioned solid-state image sensor a lens that collects light from a subject and focuses the light on a light receiving surface on which the first phase difference pixel is arranged; an imaging control unit that controls a focal position of the lens according to a signal generated by the signal processing unit; An electronic device is provided.
  • FIG. 1 is a block diagram showing a configuration example of an electronic device according to the present embodiment.
  • FIG. 3 is a diagram showing an example of a four-pixel configuration in a quad array.
  • FIG. 3 is a plan view illustrating an example of the arrangement of polarizing sections that are normally arranged in pixels.
  • FIG. 1 is a circuit diagram showing a specific configuration of a circuit in an electronic device.
  • FIG. 2 is a circuit diagram showing an example of a configuration of a pixel.
  • the time chart which shows the processing example in the 2nd mode. 5 is a time chart showing a processing example when a third mode is executed in addition to the first mode.
  • 12 is a time chart showing a processing example when the fourth mode is executed.
  • FIG. 1 is a circuit diagram showing a specific configuration of a circuit in an electronic device.
  • FIG. 2 is a circuit diagram showing an example of a configuration of a pixel.
  • FIG. 2 is a diagram showing a schematic configuration of a solid-state imaging device according to a second embodiment.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 3 is an explanatory diagram showing an example of installation positions of an outside-vehicle information detection section and an imaging section.
  • FIG. 1 is a diagram schematically showing the overall configuration of an operating room system.
  • FIG. 1 is a block diagram showing a configuration example of an electronic device 1 according to the present embodiment.
  • This electronic device 1 is, for example, a device that can capture images. That is, the electronic device 1 includes a lens 11, an electronic device 12, an exposure meter 12a, an imaging control section 13, a lens drive section 14, an image processing section 15, an operation input section 16, a frame memory 17, It includes a display section 18 and a recording section 19.
  • a digital camera, a smartphone, a personal computer, an in-vehicle camera, and an IoT (Internet of Things) camera are assumed.
  • the lens 11 is a photographic lens of the electronic device 1. This lens 11 collects light from a subject and makes it incident on an electronic device 12, which will be described later, to form an image of the subject.
  • the electronic device 12 is a solid-state image sensor that captures an image of light from a subject that is focused by the lens 11.
  • This electronic device 12 is a device that can non-destructively read out signals from pixels. That is, this electronic device 12 generates an analog image signal according to the irradiated light, converts it into a digital image signal, and outputs it. Note that details of the electronic device 12 will be described later.
  • the exposure meter 12a is used to control the exposure of the electronic device 12. This exposure meter 12a can output the amount of light in the photographing environment as an exposure value. The exposure meter 12a outputs an exposure signal including information regarding the amount of light to the imaging control section 13.
  • the imaging control unit 13 controls imaging in the electronic device 12.
  • the imaging control unit 13 controls the electronic device 12 by generating a control signal and outputting it to the electronic device 12 .
  • the imaging control unit 13 can change the drive control of the electronic device 12 based on the exposure signal. Further, the imaging control unit 13 changes the number of times of non-destructive readout of signals from pixels depending on, for example, exposure. Furthermore, the imaging control unit 13 increases the number of times of non-destructive readout as the exposure becomes lower, for example. In this case, random noise can be reduced by averaging the multiple read image signals in a non-destructive manner.
  • the imaging control unit 13 can perform autofocus in the electronic device 1 based on the image signal output from the electronic device 12.
  • autofocus is a system that detects and automatically adjusts the focal position of the lens 11.
  • a method image plane phase difference autofocus
  • a method that detects the position where the contrast of the image is highest as the focal position can also be applied.
  • the imaging control unit 13 adjusts the position of the lens 11 via the lens drive unit 14 based on the detected focal position, and performs autofocus.
  • the imaging control unit 13 can be configured by, for example, a DSP (Digital Signal Processor) equipped with firmware.
  • the lens driving section 14 drives the lens 11 based on the control of the imaging control section 13. This lens driving section 14 can drive the lens 11 by changing the position of the lens 11 using a built-in motor.
  • the image processing unit 15 processes the image signal generated by the electronic device 12. This processing includes, for example, demosaicing to generate image signals of missing colors among image signals corresponding to red, green, and blue for each pixel, noise reduction to remove noise from image signals, and encoding of image signals. Applicable.
  • the image processing unit 15 can perform object area recognition processing using the processed image signal.
  • a general recognition processing algorithm can be used for this recognition processing.
  • the image processing unit 15 outputs an area signal having information on the subject area to the imaging control unit 13. Thereby, the imaging control unit 13 limits the readout range of the electronic device 12 based on the information on the subject area.
  • the image processing unit 15 can be configured by, for example, a microcomputer equipped with firmware.
  • the operation input unit 16 accepts operation input from the user of the electronic device 1.
  • a push button or a touch panel can be used as the operation input section 16.
  • the operation input accepted by the operation input section 16 is transmitted to the imaging control section 13 and the image processing section 15. Thereafter, a process corresponding to the operation input, such as a process such as capturing an image of a subject, is started.
  • the user of the electronic device 1 can also specify the reading range of the electronic device 12 via the operation input section 16.
  • the imaging control section 13 can also limit the readout range of the electronic device 12 based on the range specified via the operation input section 16.
  • the frame memory 17 is a memory that stores frames, which are image signals for one screen. This frame memory 17 is controlled by the image processing section 15 and holds frames during the process of image processing.
  • the display unit 18 displays the image processed by the image processing unit 15.
  • a liquid crystal panel can be used as the display section 18.
  • the recording unit 19 records the image processed by the image processing unit 15.
  • a memory card or a hard disk can be used.
  • FIG. 2 is a diagram showing an example of the configuration of the electronic device 12. As shown in FIG. As shown in FIG. 2, the electronic device 12 is an imaging device capable of non-destructively reading out a voltage domain (VD).
  • VD voltage domain
  • the electronic device 12 includes a first semiconductor chip 20 and a second semiconductor chip 30.
  • the first semiconductor chip 20 includes a sensor section 21 in which a plurality of normal pixels 40 and a plurality of phase difference pixels 401 and 402 (see FIG. 3A) are arranged, and vertical selection circuits 25a and 25b that drive and control the sensor section 21. has.
  • the vertical selection circuit 25a drives and controls the plurality of normal pixels 40.
  • the vertical selection circuit 25b drives and controls the plurality of phase difference pixels 401 and 402 (see FIG. 3A). Note that the vertical selection circuits 25a and 25b according to this embodiment correspond to a control circuit.
  • the second semiconductor chip 30 includes a signal processing section 31, a memory section 32, a data processing section 33, a control section 34, and an interface section (IF) 38 (see FIG. 5 described later).
  • the image is processed by processing signals acquired by a plurality of normal pixels 40 and a plurality of phase difference pixels 401 and 402 (see FIG. 3).
  • the memory section 32 stores signals generated by the electronic device 12, including pixel signals.
  • the data processing section 33 reads out the image data stored in the memory section 32 in a predetermined order, performs various processing, and outputs the image data outside the chip.
  • the interface section 38 is a communication interface with the imaging control section 13 (see FIG. 1).
  • the control unit 34 controls the entire electronic device 12 under the control of the imaging control unit 13 .
  • the vertical selection circuits 25a and 25b according to this embodiment correspond to a control circuit.
  • the interface section 38 according to this embodiment corresponds to a transmitting section.
  • the peripheral portion of the first semiconductor chip 20 includes pad portions 22 1 and 22 2 for electrical connection with the outside, and a TC (S) for electrical connection with the second semiconductor chip 30. ) Via portions 23 1 and 23 2 having a V structure are provided.
  • FIGS. 3A to 3H a configuration example of the sensor section 21 will be explained using FIGS. 3A to 3H.
  • Each pixel described below has an equivalent circuit configuration, as shown in FIG. 6, which will be described later, for example.
  • FIG. 3A is a diagram showing a configuration example of the sensor section 21.
  • the sensor unit 21 includes a plurality of normal pixels 40 and a plurality of phase difference pixels 401 and 402.
  • the phase difference pixel may be referred to as a PDAF (Phase Detection Auto Focus) pixel.
  • the plurality of normal pixels 40 and the plurality of phase difference pixels 401 and 402 are arranged in a two-dimensional matrix.
  • color filters red (R), green (G), and blue (B) arranged in a Bayer arrangement, for example, are arranged.
  • the normal pixels 40 marked with "R”, “G”, and “B” represent the normal pixels 40 in which color filters that transmit red light, green light, and blue light are arranged, respectively.
  • "R”, “G” and “B” indicate color filters that transmit red light, green light, and blue light, respectively.
  • the phase difference pixels 401 and 402 are pixels that detect the image plane phase difference of the subject by dividing the subject into pupils. Phase difference pixels 401 and 402 divide the subject into pupils in the horizontal direction of the drawing. More specifically, the phase difference pixels 401 and 402 are shielded from light on the right and left sides of the photoelectric conversion section, respectively. A plurality of such phase difference pixels 401 and 402 are arranged in the sensor section 21. Further, in this embodiment, an example will be described in which the subject is divided into pupils in the left and right directions of the screen, but the present invention is not limited to this. For example, the subject may be divided into pupils in the vertical direction of the screen.
  • FIG. 3B is a diagram showing another configuration example of the sensor section 21.
  • the sensor unit 21 includes a plurality of normal pixels 40 and a plurality of phase difference pixels (PDAF) 401a and 402a.
  • the pixels 40 are usually arranged in a two-dimensional matrix.
  • color filters red (R), green (G), and blue (B) arranged in a Bayer arrangement, for example, are arranged.
  • each normal pixel 40 is provided with an on-chip lens (not shown).
  • a color filter green (G) is arranged in the phase difference pixel (PDAF) 401a instead of a color filter blue (B) arranged in a Bayer arrangement. Further, elliptical on-chip lenses are arranged in the phase difference pixels (PDAF) 401a and 402a. Phase difference pixels (PDAF) 401a and 402a divide the subject into pupils in the horizontal direction of the drawing.
  • FIG. 3C is a diagram showing an example of the configuration of the sensor section 21 in a quad arrangement.
  • the sensor unit 21 includes a plurality of normal pixels 40 and a plurality of phase difference pixels (PDAF) 401b and 402b.
  • FIG. 3C is an example of a quad array in which color filters red (R), green (G), and blue (B) are arranged in units of four pixels.
  • An on-chip lens 40L is arranged in each pixel.
  • the phase difference pixels 401b and 402b are configured as pixels in which a color filter blue (B) is arranged, for example.
  • the phase difference pixels 401b and 402b are shielded from light on the right and left sides of the photoelectric conversion section, respectively. Thereby, the phase difference pixels (PDAF) 401b and 402b divide the subject into pupils in the horizontal direction of the drawing.
  • PDAF phase difference pixels
  • FIG. 3D is a diagram showing an example of a four-pixel configuration in a quad array.
  • the sensor unit 21 includes a plurality of normal pixels 40 and a plurality of phase difference pixels (PDAF) 401c and 402c.
  • FIG. 3D is an example of a quad array in which color filters red (R), green (G), and blue (B) are arranged in units of four pixels.
  • On-chip lenses 40La are arranged in units of four pixels. For example, a normal pixel is constructed by adding the output values of four pixels.
  • the phase difference pixels 401c and 402c are configured as pixels in which a color filter blue (B) is arranged, for example.
  • the phase difference pixels 401c and 402c are equivalent to the case where the right side and left side of the photoelectric conversion unit are shielded from light, respectively.
  • Phase difference pixels (PDAF) 401c and 402c divide the subject into pupils in the left-right direction of the drawing.
  • the phase difference pixel 401c is configured by adding the output values of, for example, the two pixels on the left side of the four pixels.
  • the phase difference pixel 402c is configured by adding the output values of, for example, the two pixels on the right side of the four pixels.
  • FIG. 3E is a diagram showing a configuration example of a Deca-Octa array.
  • the sensor unit 21 includes a plurality of normal pixels 40 and a plurality of phase difference pixels (PDAF) 401d and 402d.
  • FIG. 3E is an example of a quad array in which color filters red (R), green (G), and blue (B) are arranged in units of four pixels.
  • An elliptical on-chip lens 401Lwa is arranged in units of two pixels.
  • a normal pixel is configured by adding the output values of two pixels arranged with an elliptical on-chip lens 401Lwa.
  • the phase difference pixels 401d and 402d are configured as pixels in which a color filter blue (B) is arranged, for example.
  • the phase difference pixels 401d and 402d are equivalent to the case where the right side and left side of the photoelectric conversion unit are shielded from light, respectively.
  • Phase difference pixels (PDAF) 401d and 402d divide the subject into pupils in the left-right direction of the drawing.
  • the phase difference pixel 401d is configured by, for example, the left side of the two pixels where the on-chip lens 401Lwa is arranged.
  • the phase difference pixel 402c is configured, for example, on the right side of the two pixels where the on-chip lens 401Lwa is arranged.
  • FIG. 3F is a diagram showing an example of the configuration of a rectangular (Recta) pixel.
  • the sensor unit 21 includes a plurality of normal pixels 40 and a plurality of phase difference pixels (PDAF) 401e and 402e.
  • FIG. 3F is an example of a Bayer array in which color filters red (R), green (G), blue (B), and on-chip lenses 40Lb are arranged for every two rectangular (Recta) pixels.
  • a normal pixel is formed by adding the output values of two square pixels in which the on-chip lens 40Lb is arranged.
  • the phase difference pixels 401e and 402e are configured as pixels in which a color filter blue (B) is arranged, for example.
  • the phase difference pixels 401e and 402e are equivalent to the case where the left and right sides of the photoelectric conversion unit are shielded from light, respectively.
  • Phase difference pixels (PDAF) 401e and 402e divide the subject into pupils in the horizontal direction of the drawing.
  • the phase difference pixel 401e is configured by, for example, the right side of two square pixels where the on-chip lens 40Lb is arranged.
  • the phase difference pixel 402e is configured by, for example, the left side of two square pixels where the on-chip lens 40Lb is arranged.
  • FIG. 3G is a diagram illustrating a configuration example of a quad array using rectangular (Recta) pixels.
  • the sensor unit 21 includes a plurality of normal pixels 40 and a plurality of phase difference pixels (PDAF) 401e and 402e.
  • the normal pixel 40 is configured by adding the output values of two square pixels arranged with the on-chip lens 40Lb.
  • the phase difference pixels 401e and 402e are configured as pixels in which a color filter blue (B) is arranged, for example.
  • the phase difference pixels 401e and 402e are equivalent to the case where the left and right sides of the photoelectric conversion unit are shielded from light, respectively.
  • Phase difference pixels (PDAF) 401e and 402e divide the subject into pupils in the horizontal direction of the drawing.
  • the phase difference pixel 401e is configured by, for example, the right side of the two pixels where the on-chip lens 40Lb is arranged.
  • the phase difference pixel 402e is configured, for example, on the left side of the two pixels where the on-chip lens 40Lb is arranged.
  • FIG. 3H is a plan view showing an example of the arrangement of the polarizing section 150 normally arranged in the pixel 40.
  • a rectangle in the figure represents a pixel 40, and the letters "R", “G", and "B” written for each pixel 40 in the figure represent the type of color filter arranged at the pixel 40.
  • the polarizing section 150 represents an example of a polarizing section configured by, for example, a wire grid.
  • This wire grid is a polarizing section made up of a plurality of strip-shaped conductors arranged at a predetermined pitch.
  • the band-shaped conductor is a conductor configured in a linear shape, a rectangular parallelepiped, or the like.
  • the free electrons in this strip-shaped conductor vibrate following the electric field of the light incident on the strip-shaped conductor, and radiate reflected waves. If the incident light is perpendicular to the direction in which the plurality of strip conductors are arranged, that is, parallel to the longitudinal direction of the strip conductors, the amplitude of the free electrons becomes large, so that more reflected light is radiated. Therefore, the incident light in this direction is reflected without passing through the polarizing section 150. On the other hand, for light perpendicular to the longitudinal direction of the strip-shaped conductor, radiation of reflected light from the strip-shaped conductor is reduced. This is because the vibration of free electrons is restricted and the amplitude becomes small.
  • the incident light in the polarization direction is attenuated less by the polarizing section 150 and can be transmitted through the polarizing section 150.
  • the pixel configuration is not limited to this example.
  • FIG. 4 is a diagram showing an example of phase difference information.
  • a to C in FIG. 4 are diagrams showing the relationship among the subject 7, the lens 11, and the sensor unit 21 when detecting a phase difference.
  • the incident lights 6a and 6b of A to C in the figure are respectively incident on a phase difference pixel 402 having an aperture disposed on the right side of the pixel and a phase difference pixel 401 having an aperture disposed on the left side of the pixel.
  • the phase difference pixels 401 to 401e are sometimes simply referred to as pixels 401
  • the phase difference pixels 402 to 402e are sometimes simply referred to as pixels 402.
  • the normal pixel 40 may be simply referred to as pixel 40.
  • a in the same figure is a diagram showing a case where the surface of the subject 7 at the focal position of the lens 11 is imaged.
  • the incident lights 6a and 6b are focused on the light receiving surface of the sensor section 21.
  • B in the same figure is a diagram showing a case where the surface of the subject 7 at a position closer to the focal point of the lens 11 is imaged.
  • the incident lights 6a and 6b are focused behind the sensor section 21, resulting in a so-called rear focus state. For this reason, the image on the light-receiving surface of the sensor unit 21 is captured with a shift.
  • C in the same figure is a diagram showing a case where a surface of the subject 7 at a position far from the focal position of the lens 11 is imaged.
  • the incident lights 6a and 6b are focused at a position closer to the lens 11 than the light-receiving surface of the sensor section 21, resulting in a so-called front focus state.
  • the image is captured with a shift in the opposite direction. In this way, the light collection position changes depending on the position of the subject, and the image is captured with a shift.
  • D to F in the figure are diagrams representing images when a subject is imaged, and are diagrams representing the relationship between phase difference pixel positions and brightness. Further, D to F in the same figure are diagrams representing cases where images are taken corresponding to the positional relationships of A to C in the same figure, respectively.
  • the phase difference pixel position represents the position of a plurality of phase difference pixels 401, 402, etc. arranged in the same row of the sensor unit 21.
  • the solid lines and broken lines D to F in the figure are images based on the incident lights 6a and 6b, respectively, and the phase difference pixel 402 has an aperture placed on the right side of the pixel, and the aperture is placed on the left side of the pixel. This is an image obtained by the phase difference pixel 401.
  • the imaging control unit 13 (see FIG. 1) generates phase difference information from the image signals of the phase difference pixels 401, 402, etc. Using this image plane phase difference information, the imaging control section 13 controls the lens driving section 14 so that the lens 11 is arranged at a predetermined focal length, as shown in FIG. A.
  • the electronic device 12 has a control system that can independently control two systems: 40 systems of normal pixels and 401 and 402 systems of phase difference pixels.
  • FIG. 5 is a circuit diagram showing a specific configuration of a circuit on the first semiconductor chip side and a circuit on the second semiconductor chip side in the electronic device 12.
  • FIG. 6 is a circuit diagram showing an example of the configuration of pixels 40, 401, and 402.
  • FIG. 7 is a timing chart for explaining the operation of the analog-to-digital converter in the electronic device 12.
  • the first semiconductor chip 20 is provided with a sensor section 21 and vertical selection circuits 25a and 25b.
  • the vertical selection circuit 25a controls charge accumulation and readout of the plurality of normal pixels 40.
  • the vertical selection circuit 25b controls charge accumulation and readout of the plurality of phase difference pixels 401 and 402.
  • the signal processing section 31 includes an analog-to-digital converter 50 including a comparator 51 and a counter section 52, a lamp voltage generator 54, a data latch section 55, a memory section 32, a data processing section 33, and a control section 34 (AD (including a clock supply section connected to the converter 50), a current source 35, a decoder 36, a row decoder 37, and an interface (IF) section 38.
  • AD including a clock supply section connected to the converter 50
  • IF interface
  • the analog-to-digital converter may be referred to as an AD converter for short
  • the lamp voltage generator 54 may be referred to as a reference voltage generator.
  • the memory unit 32 stores image data that has been subjected to predetermined signal processing in the signal processing unit 31.
  • the memory section 32 may be composed of a nonvolatile memory or a volatile memory.
  • the data processing section 33 reads out the image data stored in the memory section 32 in a predetermined order, performs various processing, and outputs the image data outside the chip.
  • the control unit 34 controls each operation of the sensor drive unit, the memory unit 32, the data processing unit 33, and other signal processing units 31 based on a reference signal from outside the chip, for example.
  • the current source 35 is connected to each of the signal lines 26 from which analog signals are read out from each pixel of the sensor section 21 for each sensor column.
  • the current source 35 has, for example, a so-called load MOS circuit configuration consisting of a MOS transistor whose gate potential is biased to a constant potential so as to supply a constant current to the signal line 26.
  • the current source 35 constituted by this load MOS circuit supplies a constant current to the amplification transistors 351 of the pixels 40, 401, and 402 included in the selected row, thereby causing the amplification transistors 351 to operate as source followers.
  • the decoder 36 Under the control of the control unit 34, when selecting each pixel 40, 401, 402 of the sensor unit 21 in units of rows, the decoder 36 sends an address signal specifying the address of the selected row to the vertical selection circuit 25. give it.
  • the row decoder 37 specifies a row address when writing image data into the memory section 32 or reading image data from the memory section 32 under the control of the control section 34 .
  • the signal processing unit 31 further includes a ramp voltage generator (reference voltage generation unit) 54 that generates a reference voltage Vref used during AD conversion by the AD converter 50.
  • the reference voltage generation unit 54 generates a reference voltage Vref having a so-called ramp waveform (gradient waveform) whose voltage value changes stepwise as time passes.
  • the AD converter 50 is provided, for example, for each sensor row of the sensor section 21, that is, for each signal line 26. More specifically, the AD converter 50 performs AD conversion on analog signals read out from each pixel 40, 401, and 402 of the sensor unit 21 to the signal line 26, and converts the analog signals into AD-converted image data (digital data). is transferred to the memory section 32.
  • the AD converter 50 generates a pulse signal having a magnitude (pulse width) in the time axis direction corresponding to the magnitude of the level of the analog signal, and measures the length of the period of the pulse width of this pulse signal. AD conversion processing is performed by this. More specifically, as shown in FIG. 5, the AD converter 50 includes at least a comparator (COMP) 51 and a counter section 52.
  • the comparator 51 uses analog signals (the above-mentioned "reset level” and "signal level”) read out from each pixel 40, 401, and 402 of the sensor unit 21 via the signal line 26 as a comparison input, and generates a reference voltage.
  • the ramp waveform reference voltage Vref supplied from the section 54 is used as a reference input, and both inputs are compared. Then, for example, when the reference voltage Vref becomes larger than the analog signal, the output of the comparator 51 becomes a first state (for example, a high level). On the other hand, when the reference voltage Vref is less than or equal to the analog signal, the output is in the second state (eg, low level). The output signal of the comparator 51 becomes a pulse signal having a pulse width corresponding to the magnitude of the level of the analog signal.
  • an up/down counter is used as the counter section 52.
  • the counter section 52 is supplied with the clock CK at the same timing as the timing at which the reference voltage Vref starts being supplied to the comparator 51 .
  • the counter unit 52 which is an up/down counter, performs a DOWN count or an UP count in synchronization with the clock CK, thereby determining the period of the pulse width of the output pulse of the comparator 51, that is, the comparison. The comparison period from the start of the operation to the end of the comparison operation is measured. At this time, the counter unit 52 performs counting using the reference clock PLLCK until the levels of the analog signal (signal level VSig) and the reference signal Vref intersect and the output of the comparator 51 is inverted.
  • the counter unit 52 performs a down count on the reset level VRset and the signal level VSig with respect to the reset level (VRset) and signal level (VSig) read out sequentially from the pixels 40, 401, and 402. For this, count up.
  • the AD converter 50 performs CDS (Correlated Double Sampling) processing in addition to AD conversion processing.
  • CDS processing refers to sensor-specific fixed patterns such as reset noise of pixels 40, 401, and 402 and threshold variation of amplification transistor 351 by taking the difference between "signal level” and "reset level.” This is a process for removing noise.
  • the count result (count value) of the counter unit 52 becomes a digital value (image data) obtained by digitizing the analog signal.
  • AD conversion is performed twice for one reading of an analog signal. That is, the first time, AD conversion of the reset level (P phase) of the pixels 40, 401, and 402 is performed. This reset level P phase includes variations from sensor to sensor. In the second time, the analog signals obtained at each pixel 40, 401, and 402 are read out to the signal line 26 (D phase), and AD conversion is performed.
  • the data processing section 33 with a processing function equivalent to that of the image processing section 15 (see FIG. 1). Thereby, it is also possible to perform object recognition processing within the electronic device.
  • the subject area signal is output to the outside of the second semiconductor chip 30 via the interface section 38.
  • the number of column-parallel AD converters 50 is one, but the invention is not limited to this. Two or more AD converters 50 are provided, and these two or more AD converters 50 are connected in parallel. It is also possible to perform digitization processing. In this case, it is possible to divide the pixels into two groups: a plurality of normal pixels 40 and a plurality of phase difference pixels 401 and 402.
  • Two or more AD converters 50 can be arranged separately in the direction in which the signal line 26 of the sensor section 21 extends, for example, on both the upper and lower sides of the sensor section 21.
  • two or more AD converters 50 are provided, correspondingly two or more data latch sections 55, memory sections 32, etc. are also provided (2 systems, 40 systems of normal pixels and 401 and 402 systems of phase difference pixels). That's fine.
  • row scanning can be performed using the 40 systems of normal pixels and the systems of phase difference pixels 401 and 402 as units.
  • the pixels 40, 401, and 402 include a front-stage circuit 310, capacitive elements 321 and 322, a selection circuit 330, a rear-stage reset transistor 341, and a rear-stage circuit 350.
  • Each signal for the pixel 40 is supplied from the vertical selection circuit 25a, and each signal for the pixels 401 and 402 is supplied from the vertical selection circuit 25b.
  • the front-stage circuit 310 includes a photoelectric conversion element 311 , a transfer transistor 312 , a FD (Floating Diffusion) reset transistor 313 , an FD 314 , a front-stage amplification transistor 315 , and a current source transistor 316 .
  • a photoelectric conversion element 311 a transfer transistor 312 , a FD (Floating Diffusion) reset transistor 313 , an FD 314 , a front-stage amplification transistor 315 , and a current source transistor 316 .
  • the photoelectric conversion element 311 generates charges by photoelectric conversion.
  • the transfer transistor 312 transfers charges from the photoelectric conversion element 311 to the FD 314 according to the transfer signal trg from the vertical selection circuits 25a and 25b.
  • the FD reset transistor 313 extracts charge from the FD 314 and initializes it in accordance with the FD reset signal rst from the vertical selection circuits 25a and 25b.
  • the FD 314 accumulates charge and generates a voltage according to the amount of charge.
  • the front stage amplification transistor 315 amplifies the voltage level of the FD 314 and outputs it to the front stage node 320.
  • the sources of the FD reset transistor 313 and the preamplification transistor 315 are connected to the power supply voltage VDD.
  • Current source transistor 316 is connected to the drain of preamplification transistor 315. This current source transistor 316 supplies current id1 under the control of vertical selection circuits 25a and 25b.
  • One end of each of capacitive elements 321 and 322 is commonly connected to previous stage node 320, and the other end of each is connected to selection circuit 330.
  • the selection circuit 330 includes a selection transistor 331 and a selection transistor 332.
  • the selection transistor 331 opens and closes the path between the capacitive element 321 and the subsequent node 340 according to the selection signal ⁇ r from the vertical selection circuits 25a and 25b.
  • the selection transistor 332 opens and closes the path between the capacitive element 322 and the subsequent node 340 in accordance with the selection signal ⁇ s from the vertical selection circuits 25a and 25b.
  • the rear-stage reset transistor 341 initializes the level of the rear-stage node 340 to a predetermined potential Vreg in accordance with the rear-stage reset signal rstb from the vertical selection circuits 25a and 25b.
  • the potential Vreg is set to a potential different from the power supply potential VDD (for example, a potential lower than VDD).
  • the post-stage circuit 350 includes a post-stage amplification transistor 351 and a post-stage selection transistor 352.
  • Post-stage amplification transistor 351 amplifies the level of post-stage node 340.
  • the second-stage selection transistor 352 outputs a signal at the level amplified by the second-stage amplification transistor 351 to the vertical signal line 26 as a pixel signal in accordance with the second-stage selection signal selb from the vertical selection circuit 25.
  • the latter-stage amplification transistor is an example of a second amplification transistor described in the claims.
  • transistor 312 transfer transistor 312, etc.
  • transistor 312 transfer transistor 312, etc.
  • nMOS n-channel metal oxide semiconductor
  • the vertical selection circuits 25a and 25b supply a high-level FD reset signal rst and transfer signal trg to all pixels at the start of exposure. Thereby, the photoelectric conversion element 311 is initialized.
  • this control will be referred to as "PD reset”.
  • the vertical selection circuits 25a and 25b supply a high-level FD reset signal rst over the pulse period while setting the rear-stage reset signal rstb and selection signal ⁇ r to high level for all pixels.
  • the FD 314 is initialized, and a level corresponding to the level of the FD 314 at that time is held in the capacitive element 321. This control will be referred to as "FD reset" hereinafter.
  • the level of the FD 314 at the time of FD reset and the level corresponding to that level are hereinafter collectively referred to as "P phase” or "reset level”. .
  • the vertical selection circuits 25a and 25b supply a high-level transfer signal trg over the pulse period while setting the rear-stage reset signal rstb and selection signal ⁇ s to a high level for all pixels.
  • signal charges corresponding to the exposure amount are transferred to the FD 314, and a level corresponding to the level of the FD 314 at that time is held in the capacitive element 322.
  • the level of the FD 314 during signal charge transfer and the level corresponding to that level are collectively referred to as “D phase” or “signal level”. It is called.
  • Exposure control that starts and ends exposure for all pixels at the same time is called a global shutter method.
  • the front-stage circuit 310 of all pixels sequentially generates a reset level and a signal level.
  • the reset level is held in capacitive element 321, and the signal level is held in capacitive element 322.
  • the vertical selection circuits 25a and 25b sequentially select the rows and sequentially output the reset level and signal level of the rows.
  • the vertical selection circuits 25a and 25b supply a high-level selection signal ⁇ r for a predetermined period while setting the FD reset signal rst and subsequent stage selection signal selb of the selected row to a high level.
  • the capacitive element 321 is connected to the subsequent node 340, and the reset level is read.
  • the four control modes of the sensor section 21 will be explained using FIGS. 8 to 13.
  • the first mode is a mode in which the reset level and signal level of each phase difference pixel 401, 402 are repeatedly read out N times in row order.
  • the second mode is a mode in which the reset level and signal level of each phase difference pixel 401, 402 are repeatedly read out N times for each row.
  • the third mode is a mode in which the reset level and signal level of each normal pixel 40 are repeatedly read out M times in row order.
  • the fourth mode is a mode in which the reset level and signal level of each phase difference pixel 401 and 402 within a limited area of the sensor unit 21 are repeatedly read out N times in row order. Note that it is also possible to combine the third mode with the first, second, and fourth modes.
  • the settings for each mode are set by the imaging control unit 13 based on an input signal from the operation input unit 16, for example. Further, the number of readings, N, and M are each set by the imaging control unit 13 according to the exposure signal of the exposure meter 12a.
  • FIG. 8 is a time chart showing a processing example of the 40 normal pixel systems and the phase difference pixel 401 and 402 systems in the first mode.
  • the horizontal axis indicates time, and the vertical axis indicates the position of the row of sensor units 21.
  • the normal pixel 40 and the phase difference pixels 401 and 402 are present in the same row, for convenience of explanation, the normal pixel 40 and the phase difference pixels 401 and 402 will be described separately.
  • the vertical selection circuit 25b selects the phase difference pixel 401 according to the control of the imaging control section 13 (see FIG. 1) and the control section 34 (see FIG. 5). , 402, a high-level FD reset signal rst and transfer signal trg are supplied to the phase difference pixels 401 and 402 at t10. Thereby, the photoelectric conversion elements 311 of the phase difference pixels 401 and 402 are initialized.
  • the vertical selection circuit 25b sets the rear stage reset signal rstb and selection signal ⁇ r to high level for all the phase difference pixels 401 and 402, and maintains the FD reset signal rst at high level over the pulse period.
  • the vertical selection circuit 25b supplies a high-level transfer signal trg over the pulse period while setting the rear-stage reset signal rstb and selection signal ⁇ s to high level for all the phase difference pixels 401 and 402. do.
  • signal charges corresponding to the exposure amount are transferred to the FD 314, and a level corresponding to the level of the FD 314 at that time is held in the capacitive element 322.
  • the vertical selection circuit 25b sequentially selects a row N times between t16 and t18, and repeats the process of sequentially outputting the reset level and signal level of the row N times.
  • the luminance signal of each phase difference pixel 401, 402 is converted into a digital signal by the ADC 50, and is stored in the memory unit 32 in association with (x, y) coordinates.
  • the data processing unit 33 reads the image data of the same (x, y) coordinates stored in the memory unit 32 N times in a predetermined order, adds them, and calculates the average value. It is output to the imaging control unit 13 (FIG. 1) via the IF 38.
  • the imaging control section 13 calculates phase information and controls the lens driving section 14.
  • the luminance signals of each phase difference pixel 401 and 402 are read out N times by non-destructive reading, and the average value is calculated. Then, the lens driving section 14 is controlled by the phase information using the average value. Therefore, the level of random noise in the luminance signal of each phase difference pixel 401, 402 becomes 1/ ⁇ N times, and the lens driving unit 14 is controlled more accurately.
  • the vertical selection circuit 25a (see FIG. 5) supplies the high-level FD reset signal rst and transfer signal trg to the normal pixel 40 at t12, which is the start of exposure of the normal pixel 40. do. Thereby, the photoelectric conversion element 311 of the normal pixel 40 is initialized. Next, immediately before the end of exposure t20, the vertical selection circuit 25a supplies a high-level FD reset signal rst over the pulse period while setting the rear-stage reset signal rstb and selection signal ⁇ r to high level for all the normal pixels 40. .
  • the FDs 314 of all the normal pixels 40 are initialized, and a level corresponding to the level of the FDs 314 at that time is held in the capacitive element 321.
  • the vertical selection circuit 25a sets the rear reset signal rstb and selection signal ⁇ s to high level for all normal pixels 40, and supplies a high level transfer signal trg over the pulse period.
  • signal charges corresponding to the exposure amount are transferred to the FD 314, and a level corresponding to the level of the FD 314 at that time is held in the capacitive element 322.
  • the vertical selection circuit 25a performs once a process of sequentially selecting a row between t22 and t24 and sequentially outputting the reset level (P phase) and signal level (D phase) of the row. .
  • the brightness signal of each normal pixel 40 is converted into a digital signal by the ADC 50 and stored in the memory unit 32 in association with (x, y) coordinates.
  • the data processing section 33 processes the image data of the same (x, y) coordinates stored in the memory section 32 in a predetermined order, and sends the image data to the imaging control section 13 ( Figure 1).
  • FIG. 9 is a time chart showing a processing example of the 40 normal pixel systems and the phase difference pixel 401 and 402 systems in the second mode.
  • the horizontal axis indicates time, and the vertical axis indicates the position of the row of sensor units 21.
  • the description of the second mode will explain the differences from the first mode.
  • the vertical selection circuit 25b first repeatedly reads the reset level (P phase) of the first row N times, as indicated by r14. At this time, although the output value of the comparator 51 (see FIG. 5) fluctuates due to random noise, the counter section 52 is not reset, but signals corresponding to N reset levels are counted. As a result, the reset level (P phase) for N times is converted into a digital signal, associated with the (x, y) coordinates, and stored in the memory section 32.
  • the vertical selection circuit 25b first repeatedly reads the signal level (D phase) of the first row N times, as shown in r14. At this time, although the output value of the comparator 51 (see FIG. 5) fluctuates due to random noise, the counter unit 52 is not reset and the signals corresponding to the signal levels of N times are counted. As a result, the signal level (D phase) for N times is converted into a digital signal, associated with the (x, y) coordinates, and stored in the memory section 32. Such processing is performed for all lines.
  • the data processing unit After the data for all rows has been read N times, the data processing unit subtracts the signal level (D phase) for N times from the reset level (P phase) for N times, and performs correlated double sampling (CDS). After realizing the process, divide by N. As a result, the level of random noise in the luminance signal of each phase difference pixel 401, 402 becomes 1/ ⁇ N times, and the lens driving unit 14 is controlled more accurately. When such processing is performed, the amount of data stored in the memory section 32 becomes 1/N of that in the first mode, so it is possible to reduce the storage capacity of the memory section 32.
  • FIG. 10 is a time chart showing a processing example when the third mode is executed in addition to the first mode.
  • the horizontal axis indicates time, and the vertical axis indicates the position of the row of sensor units 21.
  • the vertical selection circuit 25a sequentially selects a row between t22 and t24 and between t24 and t26 as shown in r12, and sets the reset level (P phase) and signal level (D phase) of the row.
  • the process of sequentially outputting the phase) is performed twice.
  • the brightness signal of each normal pixel 40 is converted into a digital signal by the ADC 50 and stored in the memory unit 32 in association with (x, y) coordinates.
  • FIG. 11 is a time chart showing a processing example when the fourth mode is executed.
  • the horizontal axis indicates time, and the vertical axis indicates the position of the row of sensor units 21.
  • the vertical selection circuit 25b sequentially selects a row in the area-restricted range N times between t16 and t18, as shown in r16, and sets the reset level and signal level of the row. The process of sequentially outputting is repeated N times.
  • the luminance signal of each phase difference pixel 401, 402 is converted into a digital signal by the ADC 50, and is stored in the memory unit 32 in association with (x, y) coordinates.
  • the luminance signal of each phase difference pixel 401, 402 is read out N times from a limited range at higher speed by non-destructive reading, and the average value is calculated. Then, the lens driving section 14 is controlled by the phase information using the average value. Therefore, the level of random noise in the luminance signal of each phase difference pixel 401, 402 becomes 1/ ⁇ N times, and the control of the lens driving unit 14 is performed faster and more accurately.
  • FIG. 12 is a flowchart showing an example of control processing of the electronic device 1. Here, an example of control processing in the first mode will be described. As shown in FIG. 12, first, the exposure meter 12a generates an exposure value under the control of the imaging control section 13 (step S100).
  • the imaging control unit 13 determines the number of times each phase difference pixel 401, 402 is read out according to this exposure value (step S102).
  • the imaging control unit 13 determines that the illuminance is high when the exposure value is higher than the first threshold (A in step S102), and controls the vertical selection circuit via the control unit 34 to perform control processing that does not perform multiple readout. 25b (step S104), and processes from step S116 are performed.
  • the imaging control unit 13 determines that the illuminance is low when the exposure value is lower than the second threshold value (C in step S102), and controls the control unit 34 to perform control processing for performing three multiple readouts corresponding to the low illuminance, for example. (step S106), and processes from step S110 are performed.
  • the imaging control unit 13 determines that the illuminance is medium when the exposure value is below the first threshold and above the second threshold (B in step S102), and performs, for example, two-way multiple readout corresponding to the medium illuminance. Control processing is performed on the vertical selection circuit 25b via the control unit 34 (step S108), and the vertical selection circuit 25b performs multiple readout processing for each phase difference pixel 401, 402 (step S110).
  • step S112 the luminance values nondestructively read out from each phase difference pixel 401, 402 are held in the memory section 32 (step S112), and the data processing section 33 adds and averages them. Calculation is performed (step S114). Subsequently, when multiple readout is not being performed, the data processing unit 33 outputs the arithmetic processing result of the brightness values read out from each phase difference pixel 401 and 402 to the imaging control unit 13 via the IF 38, If multiple reading has been performed, the average value is output as a result of arithmetic processing to the imaging control unit 13 via the IF 38 (step S116).
  • the imaging control unit 13 calculates phase difference information based on the brightness value or average value read from each phase difference pixel 401 and 402, and controls the AF control of the lens 11 according to the phase difference information to the lens drive unit 14. (Step S118).
  • FIG. 13 is a flowchart illustrating an example of control processing of the electronic device 1 in which addition processing in the control processing in the first mode is performed on the imaging control unit 13 side. Here, differences from FIG. 13 will be explained.
  • the luminance signals non-destructively read out from each phase difference pixel 401, 402 are outputted to the imaging control section 13 by the data processing section 33 (step S212).
  • the imaging control unit 13 calculates phase difference information using the brightness values read from each phase difference pixel 401 and 402, or calculates phase difference information after calculating the average value of the multiple read brightness values. (Step S214).
  • the imaging control unit 13 calculates phase difference information based on the brightness value or average value read from each phase difference pixel 401 and 402, and performs AF control of the lens 11 according to the phase difference information to the lens drive 14. (Step S216).
  • analog signals are non-destructively transmitted from the phase difference pixels 401 and 402 that detect the image plane phase difference by dividing the incident light from the subject into the pupils according to the control of the vertical selection circuit 25b.
  • the analog signal that is read multiple times and the signal processing unit 31 converts the analog signal that is non-destructively read multiple times into a digital signal.
  • random noise in the digital signal is reduced, and it becomes possible to control the focus of the lens 11 using the digital signal with higher precision.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be applied to any type of transportation such as a car, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility vehicle, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), etc. It may also be realized as a device mounted on the body.
  • FIG. 14 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 includes multiple electronic control units connected via communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside vehicle information detection unit 7400, an inside vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 connecting these multiple control units is, for example, CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay ( Compliant with arbitrary standards such as registered trademark) It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay Compliant with arbitrary standards such as registered trademark
  • Each control unit includes a microcomputer that performs calculation processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled. Equipped with.
  • Each control unit is equipped with a network I/F for communicating with other control units via the communication network 7010, and also communicates with devices or sensors inside and outside the vehicle through wired or wireless communication.
  • a communication I/F is provided for communication.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon receiving section 7650, an in-vehicle device I/F 7660, an audio image output section 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are illustrated.
  • the other control units similarly include a microcomputer, a communication I/F, a storage section, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection section 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, or a steering wheel. At least one sensor for detecting angle, engine rotational speed, wheel rotational speed, etc. is included.
  • the drive system control unit 7100 performs arithmetic processing using signals input from the vehicle state detection section 7110, and controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, and the like.
  • the body system control unit 7200 controls the operations of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
  • radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 7200.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310, which is a power supply source for the drive motor, according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including a secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the external information detection unit 7400 detects information external to the vehicle in which the vehicle control system 7000 is mounted.
  • an imaging section 7410 and an external information detection section 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle external information detection unit 7420 includes, for example, an environmental sensor for detecting the current weather or weather, or a sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunlight sensor that detects the degree of sunlight, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging section 7410 and the vehicle external information detection section 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 15 shows an example of the installation positions of the imaging section 7410 and the vehicle external information detection section 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirrors mainly capture images of the sides of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires images of the rear of the vehicle 7900.
  • the imaging unit 7918 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 15 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • Imaging range a indicates the imaging range of imaging unit 7910 provided on the front nose
  • imaging ranges b and c indicate imaging ranges of imaging units 7912 and 7914 provided on the side mirrors, respectively
  • imaging range d is The imaging range of an imaging unit 7916 provided in the rear bumper or back door is shown. For example, by superimposing image data captured by imaging units 7910, 7912, 7914, and 7916, an overhead image of vehicle 7900 viewed from above can be obtained.
  • the external information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided at the front, rear, sides, corners, and the upper part of the windshield inside the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • the vehicle exterior information detection units 7920, 7926, and 7930 provided at the front nose, rear bumper, back door, and upper part of the windshield inside the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These external information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image of the exterior of the vehicle, and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection section 7420 to which it is connected.
  • the external information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the external information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, etc., and receives information on the received reflected waves.
  • the external information detection unit 7400 may perform object detection processing such as a person, car, obstacle, sign, or characters on the road surface or distance detection processing based on the received information.
  • the external information detection unit 7400 may perform environment recognition processing to recognize rain, fog, road surface conditions, etc. based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to the object outside the vehicle based on the received information.
  • the outside-vehicle information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing people, cars, obstacles, signs, characters on the road, etc., based on the received image data.
  • the outside-vehicle information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and also synthesizes image data captured by different imaging units 7410 to generate an overhead image or a panoramic image. Good too.
  • the outside-vehicle information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects in-vehicle information.
  • a driver condition detection section 7510 that detects the condition of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that images the driver, a biosensor that detects biometric information of the driver, a microphone that collects audio inside the vehicle, or the like.
  • the biosensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver is dozing off. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls overall operations within the vehicle control system 7000 according to various programs.
  • An input section 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch, or a lever that can be inputted by the passenger.
  • the integrated control unit 7600 may be input with data obtained by voice recognition of voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that is compatible with the operation of the vehicle control system 7000. It's okay.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information using gestures. Alternatively, data obtained by detecting the movement of a wearable device worn by a passenger may be input. Further, the input section 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input section 7800 described above and outputs it to the integrated control unit 7600. By operating this input unit 7800, a passenger or the like inputs various data to the vehicle control system 7000 and instructs processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc. Furthermore, the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication with various devices existing in the external environment 7750.
  • the general-purpose communication I/F7620 supports GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution), or LTE-A (LTE-A).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution
  • LTE-A Long Term Evolution-A
  • cellular communication protocols such as , or other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi (registered trademark)) or Bluetooth (registered trademark).
  • the general-purpose communication I/F 7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point, for example. You may. Furthermore, the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology to communicate with a terminal located near the vehicle (for example, a terminal of a driver, a pedestrian, a store, or an MTC (Machine Type Communication) terminal). You can also connect it with a terminal located near the vehicle (for example, a terminal of a driver, a pedestrian, a store, or an MTC (Machine Type Communication) terminal). You can also connect it with P2P (Peer To Peer) technology to communicate with a terminal located near the vehicle (for example, a terminal of a driver, a pedestrian, a store, or an MTC (Machine Type Communication) terminal). You can also connect it with
  • the dedicated communication I/F 7630 is a communication I/F that supports communication protocols developed for use in vehicles.
  • the dedicated communication I/F 7630 supports WAVE (Wireless Access in Vehicle Environment), which is a combination of lower layer IEEE802.11p and upper layer IEEE1609, and DSRC (Dedicated Short). Range Communications) or standard protocols such as cellular communication protocols. May be implemented.
  • the dedicated communication I/F 7630 is typically used for vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-vehicle communication. to Pedestrian ) communications, a concept that includes one or more of the following:
  • the positioning unit 7640 performs positioning by receiving, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), and determines the latitude of the vehicle. , longitude and altitude Generate location information including. Note that the positioning unit 7640 may specify the current location by exchanging signals with a wireless access point, or may acquire location information from a terminal such as a mobile phone, PHS, or smartphone that has a positioning function.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and obtains information such as the current location, traffic jams, road closures, or required travel time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobile
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by a passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination. or exchange data signals.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 communicates via at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information obtained. For example, the microcomputer 7610 calculates a control target value for a driving force generating device, a steering mechanism, or a braking device based on acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Good too.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or impact mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. Coordination control may be performed for the purpose of
  • the microcomputer 7610 controls the driving force generating device, steering mechanism, braking device, etc. based on the acquired information about the surroundings of the vehicle, so that the microcomputer 7610 can drive the vehicle autonomously without depending on the driver's operation. Cooperative control for the purpose of driving etc. may also be performed.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 acquires information through at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680. Based on this, three-dimensional distance information between the vehicle and surrounding objects such as structures and people may be generated, and local map information including surrounding information of the current position of the vehicle may be generated. Furthermore, the microcomputer 7610 may predict dangers such as a vehicle collision, a pedestrian approaching, or entering a closed road, based on the acquired information, and generate a warning signal.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio and image output unit 7670 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
  • an audio speaker 7710, a display section 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display section 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices other than these devices, such as headphones, a wearable device such as a glasses-type display worn by the passenger, a projector, or a lamp.
  • the output device When the output device is a display device, the display device displays results obtained from various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, graphs, etc. Show it visually. Further, when the output device is an audio output device, the audio output device converts an audio signal consisting of reproduced audio data or acoustic data into an analog signal and audibly outputs the analog signal.
  • control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by one of the control units may be provided to another control unit. In other words, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any one of the control units.
  • sensors or devices connected to any control unit may be connected to other control units, and multiple control units may send and receive detection information to and from each other via communication network 7010. .
  • a computer program for realizing each function of the electronic device 1 according to the present embodiment described using FIG. 1 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed, for example, via a network, without using a recording medium.
  • the electronic device 1 according to the present embodiment described using FIG. 1 can be applied to the integrated control unit 7600 of the application example shown in FIG.
  • the electronic device 12 of the electronic device 1 corresponds to the imaging unit 7410.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an operating room system.
  • FIG. 16 is a diagram schematically showing the overall configuration of an operating room system 5100 to which the technology according to the present disclosure can be applied.
  • a group of devices installed in the operating room are connected to each other via an operating room controller (OR Controller) 5107 and an input/output controller (I/F Controller) 5109 so as to be able to cooperate with each other.
  • This operating room system 5100 is configured with an IP (Internet Protocol) network capable of transmitting and receiving 4K/8K video, and input/output video and control information for each device are transmitted and received via the IP network.
  • IP Internet Protocol
  • Various devices may be installed in the operating room.
  • a group of various devices 5101 for endoscopic surgery a ceiling camera 5187 installed on the ceiling of the operating room to image the operator's hand, and A surgical field camera 5189 that captures an image of the entire situation, a plurality of display devices 5103A to 5103D, a patient bed 5183, and lighting 5191 are illustrated.
  • the device group 5101 includes various medical devices for acquiring images and videos, such as a master-slave endoscopic surgical robot and an X-ray imaging device. good.
  • the device group 5101, the ceiling camera 5187, the operating room camera 5189, the display devices 5103A to 5103C, and the input/output controller 5109 each have IP converters 5115A to 5115F (hereinafter, if not distinguished, the reference number will be 5115). Connected via.
  • the IP converters 5115D, 5115E, and 5115F on the video source side (camera side) convert images from individual medical image capture devices (endoscopes, surgical microscopes, X-ray image capture devices, surgical field cameras, pathological image capture devices, etc.) is converted to IP and sent over the network.
  • the IP converters 5115A to 5115D on the video output side (monitor side) convert the video transmitted via the network into a format specific to the monitor and output the converted video.
  • the IP converter on the video source side functions as an encoder
  • the IP converter on the video output side functions as a decoder.
  • the IP converter 5115 may include various image processing functions, such as resolution conversion processing depending on the output destination, rotation correction and camera shake correction for endoscopic images, object recognition processing, and the like. Furthermore, it may include partial processing such as feature information extraction for analysis on the server, which will be described later. These image processing functions may be unique to the connected medical imaging device, or may be upgradeable from the outside.
  • the IP converter on the display side can also perform processing such as combining multiple videos (PinP processing, etc.) and superimposing annotation information.
  • the protocol conversion function of an IP converter is a function that converts a received signal into a conversion signal that is compliant with a communication protocol that can be communicated on a network (for example, the Internet), and the communication protocol may be any communication protocol that is set. Good too.
  • the signals that the IP converter receives and can perform protocol conversion are digital signals, such as video signals and pixel signals. Further, the IP converter may be incorporated inside the device on the video source side or inside the device on the video output side.
  • the device group 5101 belongs to, for example, an endoscopic surgery system, and includes an endoscope, a display device that displays images captured by the endoscope, and the like.
  • the display devices 5103A to 5103D, the patient bed 5183, and the lighting 5191 are devices that are installed in, for example, an operating room separately from the endoscopic surgery system. Each device used for these surgeries or diagnoses is also called a medical device.
  • the operating room controller 5107 and/or the input/output controller 5109 jointly control the operation of the medical equipment.
  • a surgical robot surgical master-slave
  • an X-ray imaging device, and other medical image acquisition devices are included in the operating room, these devices can also be connected as the device group 5101.
  • the operating room controller 5107 comprehensively controls processing related to image display in medical equipment. Specifically, among the devices included in the operating room system 5100, the device group 5101, the ceiling camera 5187, and the operating room camera 5189 have a function of transmitting information to be displayed during surgery (hereinafter also referred to as display information). device (hereinafter also referred to as a source device). Furthermore, the display devices 5103A to 5103D can be devices to which display information is output (hereinafter also referred to as output destination devices). The operating room controller 5107 has the function of controlling the operations of the source device and the output destination device, acquires display information from the source device, and transmits the display information to the output destination device for display or recording. has. Note that the display information includes various images captured during surgery, various information regarding the surgery (for example, patient's physical information, past test results, information about the surgical method, etc.).
  • information about an image of the operative site in the patient's body cavity captured by the endoscope may be transmitted from the device group 5101 to the operating room controller 5107 as display information.
  • the ceiling camera 5187 may transmit information about an image of the operator's hand captured by the ceiling camera 5187 as display information.
  • the surgical site camera 5189 may transmit information about an image showing the entire operating room captured by the surgical site camera 5189 as display information. Note that if there is another device with an imaging function in the operating room system 5100, the operating room controller 5107 also displays information about images captured by the other device as display information. You may obtain it.
  • the operating room controller 5107 displays the acquired display information (that is, images taken during the surgery and various information related to the surgery) on at least one of the display devices 5103A to 5103D, which are output destination devices.
  • the display device 5103A is a display device that is hung from the ceiling of the operating room
  • the display device 5103B is a display device that is installed on the wall of the operating room
  • the display device 5103C is a display device that is installed in the operating room.
  • This is a display device installed on a desk
  • the display device 5103D is a mobile device (for example, a tablet PC (Personal Computer)) having a display function.
  • the input/output controller 5109 controls input/output of video signals to connected devices.
  • the input/output controller 5109 controls input/output of video signals based on control of the operating room controller 5107.
  • the input/output controller 5109 is configured with, for example, an IP switcher, and controls high-speed transfer of image (video) signals between devices arranged on an IP network.
  • the operating room system 5100 may also include equipment external to the operating room.
  • the device outside the operating room may be, for example, a server connected to a network built inside or outside the hospital, a PC used by medical staff, a projector installed in a conference room of the hospital, or the like. If such an external device is located outside the hospital, the operating room controller 5107 can also display the display information on a display device in another hospital via a video conference system or the like for telemedicine.
  • the external server 5113 is, for example, an in-hospital server outside the operating room or a cloud server, and may be used for image analysis, data analysis, etc.
  • video information in the operating room is sent to an external server 5113, and additional information is generated through big data analysis by the server and recognition/analysis processing using AI (machine learning), and is fed back to the display device in the operating room. It may be.
  • the IP converter 5115H connected to the video equipment in the operating room transmits data to the external server 5113 and analyzes the video.
  • the data to be transmitted may be surgical images of an endoscope or the like, metadata extracted from the images, data indicating the operating status of connected equipment, or the like.
  • the operating room system 5100 is provided with a centralized operation panel 5111.
  • a user can give instructions to the operating room controller 5107 regarding input/output control of the input/output controller 5109 and operations of connected equipment via the centralized operation panel 5111. Further, the user can switch the image display via the centralized operation panel 5111.
  • the centralized operation panel 5111 is configured by providing a touch panel on the display surface of a display device. Note that the centralized operation panel 5111 and the input/output controller 5109 may be connected via an IP converter 5115J.
  • the IP network may be constructed as a wired network, or a part or all of the network may be constructed as a wireless network.
  • the video source side IP converter has a wireless communication function, and the received video is sent to the output side IP converter via a wireless communication network such as a 5th generation mobile communication system (5G) or a 6th generation mobile communication system (6G). You may also send it to
  • the technology according to the present disclosure can be suitably applied to the ceiling camera 5187 and the surgical field camera 5189 among the configurations described above.
  • the present technology can have the following configuration.
  • a solid-state imaging device comprising:
  • the solid-state image sensor according to (1) further comprising a sensor section having a plurality of phase difference pixels including the first phase difference pixel and a plurality of pixels used for imaging.
  • the signal processing section includes: an analog-to-digital converter that converts the non-destructively read analog signal from the first phase difference pixel into a digital signal; a data processing unit that performs arithmetic processing on the digital signal converted by the analog-to-digital converter; has The analog-to-digital converter converts each of the analog signals non-destructively read out multiple times into a digital signal,
  • control circuit changes the number of times the non-destructive readout is performed based on an exposure signal related to the amount of received light.
  • the plurality of phase difference pixels and the plurality of pixels used for imaging are arranged in a matrix, The solid state according to (7), wherein the control circuit is capable of controlling the phase difference pixel arranged in the same row or the same column and the pixel to accumulate charges according to the amount of light received at different accumulation times.
  • Image sensor
  • the signal processing section includes: an analog-to-digital converter that converts the non-destructively read analog signal from the first phase difference pixel into a digital signal;
  • the analog-to-digital converter is a comparator that compares the level of the non-destructively read analog signal with a predetermined ramp signal and outputs a comparison result;
  • a counter section that counts a count value over a period until the comparison result is reversed and outputs the digital signal indicating the count value;
  • the signal processing section includes: an analog-to-digital converter that converts an analog signal nondestructively read out from the first phase difference pixel into a digital signal; a transmitter that transmits the digital signal; The analog-to-digital converter converts each of the analog signals non-destructively read out multiple times into a digital signal, The solid-state image sensor according to (2), wherein the transmitter transmits the plurality of converted digital signals.
  • the first phase difference pixel is first and second capacitive elements; a pre-stage circuit that sequentially generates a predetermined reset level and a signal level according to the exposure amount and causes each of the first and second capacitive elements to hold the generated signal level; a post-stage circuit that sequentially reads and outputs the reset level and the signal level from the first and second capacitive elements;
  • the solid-state image sensor according to (1) a lens that collects light from a subject and focuses the light on a light receiving surface on which the first phase difference pixel is arranged; an imaging control unit that controls a focal position of the lens according to a signal generated by the signal processing unit; Electronic equipment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［課題］位相差画素を用いたＡＦ機能の性能低下を抑制可能な固体撮像素子、および電子機器を提供する ［解決手段］本開示によれば被写体からの入射光を瞳分割して像面位相差を検出する第１位相差画素と、前記第１位相差画素の駆動を制御する制御回路と、前記制御回路の制御に応じて、前記第１位相差画素それぞれから複数回非破壊読み出しされるアナログ信号を、デジタル信号に変換する信号処理部と、を備える、固体撮像素子が提供される。

Description

固体撮像素子、および電子機器
本開示は、固体撮像素子、および電子機器に関する。
　従来より、位相差画素を用いたＡＦ機能により焦点の制御が行われている。また、近年グローバルシャッター（ＧＳ：Ｇｌｏｂａｌ　Ｓｈｕｔｔｅｒ）のニーズからボルテージドメイン（ＶＤ：Ｖｏｌｔａｇｅ　Ｄｏｍａｉｎ）の開発が進められている。ボルテージドメインはランダムノイズ（ＲＮ：Ｒａｎｄｏｍ　Ｎｏｉｓｅ）がローリグシャッター（ＲＳ：Ｒｏｌｌｉｎｇ　Ｓｈｕｔｔｅｒ）ベースのＣＭＯＳイメージセンサ（ＣＩＳ：ＣＭＯＳ　Ｉｍａｇｅ　Ｓｅｎｓｏｒ）に比べて悪く、低照度でのオートファーカス（ＡＦ）性能も低下する恐れがある。
特開２０１９－１２９３７４号公報
　そこで、本開示では、位相差画素を用いたオートファーカス機能の性能低下を抑制可能な固体撮像素子、および電子機器を提供する。
上記の課題を解決するために、本開示によれば、被写体からの入射光を瞳分割して像面位相差を検出する第１位相差画素と、
　前記第１位相差画素の駆動を制御する制御回路と、
　前記制御回路の制御に応じて、前記第１位相差画素それぞれから複数回非破壊読み出しされるアナログ信号を、デジタル信号に変換する信号処理部と、
　を備える、固体撮像素子が提供される。
　前記第１位相差画素を含め複数の位相差画素と、撮像に用いられる複数の画素とを有するセンサ部を更に備えてもよい。
　前記制御回路は、前記非破壊読み出しを行う位相差画素を、前記センサ部における所定の領域内に制限してもよい。
　前記信号処理部は、
　前記第１位相差画素から、前記非破壊読み出しされるアナログ信号をデジタル信号に変換するアナログデジタル変換器と、
　前記アナログデジタル変換器で変換されたデジタル信号を演算処理するデータ処理部と、
を有し、
　前記アナログデジタル変換器は、複数回非破壊読み出しされたアナログ信号をそれぞれデジタル信号に変換し、
　前記データ処理部は、前記変換された複数のデジタル信号を加算処理してもよい。
　前記制御回路は、前記第１位相差画素からの非破壊読み出しの回数を変更してもよい。
　前記制御回路は、前記複数の画素からの非破壊読み出しの回数を変更してもよい。
　前記制御回路は、受光量に関する露出信号に基づき、前記非破破壊読み出しの回数を変更してもよい。
　前記複数の位相差画素と、前記撮像に用いられる複数の画素とは、行列状に配置され、
　前記制御回路は、同一行又は同一列に配置される前記位相差画素と、前記画素とを異なる蓄積時間に受光量に応じた電荷を蓄積させる制御が可能であってもよい。
　前記信号処理部は、
　前記第１位相差画素から、前記非破壊読み出しされるアナログ信号をデジタル信号に変換するアナログデジタル変換器を有し、
　前記アナログデジタル変換器は、
　前記非破壊読み出しされるアナログ信号のレベルと所定のランプ信号とを比較して比較結果を出力するコンパレータと、
　前記比較結果が反転するまでの期間に亘って計数値を計数して当該計数値を示す前記デジタル信号を出力するカウンタ部と、
を備えてもよい。
　前記カウンタ部は、前記計数値を前記複数回非破壊読み出しされたアナログ信号毎に加算してもよい。
　前記第１位相差画素は、受光領域の所定範囲が遮光されてもよい。
　前記第１位相差画素は、楕円形状のオンチップレンズが配置される隣接する二つの画素の一方であってもよい。
　前記第１位相差画素は、同一色のカラーフィルタが配置される隣接する４つの画素の内の少なくとも一つであってもよい。
　前記第１位相差画素は、一つのオンチップレンズが配置される隣接する４つの画素の内の少なくとも一つであってもよい。
　前記第１位相差画素は、一つのオンチップレンズが配置される隣接する２つの方形状の画素の内の少なくとも一方であってもよい。
　前記複数の画素には、光を変更する偏光部を介して撮像してもよい。
　前記信号処理部は、
　前記第１位相差画素から、非破壊読み出しされるアナログ信号をデジタル信号に変換するアナログデジタル変換器と、
　前記デジタル信号を送信する送信部と、を有し、
　前記アナログデジタル変換器は、複数回非破壊読み出しされたアナログ信号をそれぞれデジタル信号に変換し、
　前記送信部は、前記変換された複数のデジタル信号を送信してもよい。
　前記第１位相差画素は、
第１および第２の容量素子と、
　所定のリセットレベルと露光量に応じた信号レベルとを順に生成して前記第１および第２の容量素子のそれぞれに保持させる前段回路と、
　前記リセットレベルおよび前記信号レベルを前記第１および第２の容量素子から順に読み出して出力する後段回路と　
　を備えてもよい。
　前記コンパレータは、前記リセットレベルおよび前記信号レベルを伝送する信号線のレベルと所定のランプ信号とを比較して比較結果を出力してもよい。
　上記の課題を解決するために、本開示によれば、
　上述の固体撮像素子と、
　被写体からの光を集光し、前記第１位相差画素が配置される受光面に集光するレンズと、
前記信号処理部が生成する信号に応じて、前記レンズの焦点位置を制御する撮像制御部と、
を備える、電子機器
が提供される。
本実施の形態における電子機器の一構成例を示すブロック図。 電子デバイスの構成例を示す図。 センサ部の構成例を示す図。 センサ部の別の構成例を示す図。 クワッド配列のセンサ部２１の構成例を示す図。 クワッド配列の４画素構成例を示す図。 デカオクタ配列の構成例を示す図。 方形画素の構成例を示す図。 方形画素によるクワッド配列の構成例を示す図。 通常画素に配置される偏光部の配置例を表す平面図。 位相差情報の一例を示す図。 電子デバイスにおける回路の具体的な構成を示す回路図。 画素の一構成例を示す回路図。 アナログデジタル変換器の動作を説明するためのタイミングチャート。 第１モードでの処理例を示すタイムチャート。 第２モードでの処理例を示すタイムチャート。 第１モードに加え第３モードを実行した場合の処理例を示すタイムチャート。 第４モードを実行した場合の処理例を示すタイムチャート。 別の受動回路の動作例を示すタイムチャート。 第２実施形態に係る固体撮像装置の概略構成を示す図。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。 手術室システムの全体構成を概略的に示す図。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（一実施形態）
　［電子機器の構成例］　
　図１は、本実施の形態における電子機器１の一構成例を示すブロック図である。この電子機器１は、例えば画像を撮像可能な機器である。すなわち、電子機器１は、レンズ１１と、電子デバイス１２と、露出計１２ａと、撮像制御部１３と、レンズ駆動部１４と、画像処理部１５と、操作入力部１６と、フレームメモリ１７と、表示部１８と、記録部１９と、とを備える。電子機器１としては、例えば、デジタルカメラ、スマートフォン、パーソナルコンピュータ、車載カメラやＩｏＴ（ＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓ）カメラが想定される。
　レンズ１１は、電子機器１の撮影レンズである。このレンズ１１は、被写体からの光を集光し、後述する電子デバイス１２に入射させて被写体を結像させる。
　電子デバイス１２は、レンズ１１により集光された被写体からの光を撮像する固体撮像素子である。この電子デバイス１２は、画素から信号を非破壊読み出し可能なデバイスである。すなわち、この電子デバイス１２は、照射された光に応じたアナログの画像信号を生成し、デジタルの画像信号に変換して出力する。なお、電子デバイス１２の詳細は後述する。
　露出計１２ａは、電子デバイス１２の露出制御に用いられる。この露出計１２ａは、撮影環境の光量を露出値として出力可能である。露出計１２ａは、光量に関する情報を含む露出信号を撮像制御部１３に出力する。
　撮像制御部１３は、電子デバイス１２における撮像を制御する。この撮像制御部１３は、制御信号を生成して電子デバイス１２に対して出力することにより、電子デバイス１２の制御を行う。撮像制御部１３は、露出信号に基づき電子デバイス１２の駆動制御を変更することが可能である。また、撮像制御部１３は、例えば露光に応じて、画素からの信号の非破壊読み出しの回数を変更する。さらにまた、撮像制御部１３は、例えば低露光になるに従い、非破壊読み出しの回数を増加させる。この場合、非破壊読で多重読み出しされた画像信号を加算平均することにより、ランダムノイズを低減可能となる。
　また、撮像制御部１３は、電子デバイス１２から出力された画像信号に基づいて電子機器１におけるオートフォーカスを行うことができる。ここでオートフォーカスとは、レンズ１１の焦点位置を検出して、自動的に調整するシステムである。このオートフォーカスとして、電子デバイス１２に配置された位相差画素により像面位相差を検出して焦点位置を検出する方式（像面位相差オートフォーカス）を使用することができる。また、画像のコントラストが最も高くなる位置を焦点位置として検出する方式（コントラストオートフォーカス）を適用することもできる。撮像制御部１３は、検出した焦点位置に基づいてレンズ駆動部１４を介してレンズ１１の位置を調整し、オートフォーカスを行う。なお、撮像制御部１３は、例えば、ファームウェアを搭載したＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）により構成することができる。
　レンズ駆動部１４は、撮像制御部１３の制御に基づいて、レンズ１１を駆動する。このレンズ駆動部１４は、内蔵するモータを使用してレンズ１１の位置を変更することによりレンズ１１を駆動することができる。
　画像処理部１５は、電子デバイス１２により生成された画像信号を処理する。この処理には、例えば、画素毎の赤色、緑色および青色に対応する画像信号のうち不足する色の画像信号を生成するデモザイク、画像信号のノイズを除去するノイズリダクションおよび画像信号の符号化等が該当する。
　また、画像処理部１５は、処理した画像信号を用いて、被写体領域の認識処理を行うことが可能である。この認識処理には、一般的な認識処理アルゴリズムを用いることが可能である。画像処理部１５は、被写体領域の情報を有する領域信号を、撮像制御部１３に出力する。これにより、撮像制御部１３は、被写体領域の情報に基づき、電子デバイス１２の読み出し範囲を制限する。画像処理部１５は、例えば、ファームウェアを搭載したマイコンにより構成することができる。
　操作入力部１６は、電子機器１の使用者からの操作入力を受け付ける。この操作入力部１６には、例えば、押しボタンやタッチパネルを使用することができる。操作入力部１６により受け付けられた操作入力は、撮像制御部１３や画像処理部１５に伝達される。その後、操作入力に応じた処理、例えば、被写体の撮像等の処理が起動される。また、電子機器１の使用者は、操作入力部１６を介して電子デバイス１２の読み出し範囲を指定することも可能である。この場合、撮像制御部１３は、操作入力部１６を介して指定された範囲に基づき、電子デバイス１２の読み出し範囲を制限することも可能である。
　フレームメモリ１７は、１画面分の画像信号であるフレームを記憶するメモリである。このフレームメモリ１７は、画像処理部１５により制御され、画像処理の過程におけるフレームの保持を行う。
　表示部１８は、画像処理部１５により処理された画像を表示する。この表示部１８には、例えば、液晶パネルを使用することができる。
　記録部１９は、画像処理部１５により処理された画像を記録する。この記録部１９には、例えば、メモリカードやハードディスクを使用することができる。
　［電子デバイス１２の構成例］
　図２は、電子デバイス１２の構成例を示す図である。図２に示すように、電子デバイス１２は、ボルテージドメイン（Ｖｏｌｔａｇｅ　Ｄｏｍａｉｎ（ＶＤ））の非破壊読み出しが可能な撮像デバイスである。
　電子デバイス１２は、第１半導体チップ２０、及び第２半導体チップ３０、を備えている。第１半導体チップ２０は、複数の通常画素４０、及び複数の位相差画素４０１および４０２（図３Ａ参照）が配置されるセンサ部２１と、センサ部２１を駆動制御する垂直選択回路２５ａ、ｂとを有する。垂直選択回路２５ａは、複数の通常画素４０を駆動制御する。一方で、垂直選択回路２５ｂは複数の位相差画素４０１および４０２（図３Ａ参照）を駆動制御する。なお、本実施形態に係る垂直選択回路２５ａ、ｂが制御回路に対応する。
　第２半導体チップ３０は、信号処理部３１と、メモリ部３２と、データ処理部３３と、制御部３４と、インターフェース部（ＩＦ）３８（後述する図５参照）と、を有する。画像は、複数の通常画素４０、及び複数の位相差画素４０１および４０２（図３参照）によって取得された信号を処理する。メモリ部３２は、画素信号を含め、電子デバイス１２で生成される信号を記憶する。データ処理部３３は、メモリ部３２に格納された画像データを所定の順番に読み出し、種々の処理を行い、チップ外に出力する。インターフェース部３８は、撮像制御部１３（図１参照）との通信インターフェースである。制御部３４は、撮像制御部１３の制御に従い、電子デバイス１２全体を制御する。なお、本実施形態に係る垂直選択回路２５ａ、ｂが制御回路に対応する。なお、本実施形態に係るインターフェース部３８が送信部に対応する。
　第１半導体チップ２０の周縁部には、外部との電気的接続を行うためのパッド部２２１、２２２や、第２半導体チップ３０との間での電気的接続を行うためのＴＣ（Ｓ）Ｖ構造を有するビア部２３１、２３２が設けられている。
　ここで、図３Ａ乃至図３Ｈを用いてセンサ部２１の構成例を説明する。以下の説明の各画素は、例えば後述する図６に示すように、同等の回路構成を有している。
　図３Ａは、センサ部２１の構成例を示す図である。図３Ａに示すように、センサ部２１は、複数の通常画素４０と、複数の位相差画素４０１、４０２とを有する。なお、本実施形態に係る位相差画素をＰＤＡＦ（Ｐｈａｓｅ　Ｄｅｔｅｃｔｉｏｎ　Ａｕｔｏ　Ｆｏｃｕｓ）画素と称する場合がある。これらの複数の通常画素４０、及び複数の位相差画素４０１および４０２は、２次元マトリクス状（行列状）に配置されている。通常画素４０には、例えばベイヤー（Ｂａｙｅｒ）配列されるカラーフィルタ赤（Ｒ）、緑（Ｇ）、青（Ｂ）が配置されている。より具体的には、「Ｒ」、「Ｇ」および「Ｂ」が記載された通常画素４０は、それぞれ赤色光、緑色光および青色光を透過するカラーフィルタが配置される通常画素４０を表す。以下の説明では、「Ｒ」、「Ｇ」および「Ｂ」は、それぞれ赤色光、緑色光および青色光を透過するカラーフィルタを示す。
　位相差画素４０１および４０２は、被写体を瞳分割することにより被写体の像面位相差を検出する画素である。位相差画素４０１および４０２は、図面の左右方向に被写体を瞳分割する。より具体的には、位相差画素４０１および４０２は、それぞれ光電変換部の右側および左側が遮光される。このような、位相差画素４０１および４０２がセンサ部２１に複数配置される。また、本実施形態では、画面の左右方向に被写体を瞳分割する例を説明するが、これに限定されない。例えば、画面の上下方向に被写体を瞳分割する例でもよい。
　図３Ｂは、センサ部２１の別の構成例を示す図である。図３Ｂに示すように、センサ部２１は、複数の通常画素４０と、複数の位相差画素（ＰＤＡＦ）４０１ａ、４０２ａとを有する。通常画素４０は、２次元マトリクス状（行列状）に配置されている。通常画素４０は、例えばベイヤー（Ｂａｙｅｒ）配列されるカラーフィルタ赤（Ｒ）、緑（Ｇ）、青（Ｂ）が配置されている。また、各通常画素４０には、不図示のオンチップレンズがそれぞれ配置されている。
　位相差画素（ＰＤＡＦ）４０１ａには、ベイヤー（Ｂａｙｅｒ）配列されるカラーフィルタ青（Ｂ）の代わりにカラーフィルタ緑（Ｇ）が配置される。そして、位相差画素（ＰＤＡＦ）４０１ａ、４０２ａには楕円状のオンチップレンズが配置される。位相差画素（ＰＤＡＦ）４０１ａ、４０２ａは、図面の左右方向に被写体を瞳分割する。
　図３Ｃは、クワッド（Ｑｕａｄ）配列のセンサ部２１の構成例を示す図である。図３Ｃに示すように、センサ部２１は、複数の通常画素４０と、複数の位相差画素（ＰＤＡＦ）４０１ｂ、４０２ｂとを有する。図３Ｃは、４つの画素単位で、カラーフィルタ赤（Ｒ）、緑（Ｇ）、青（Ｂ）が配置されるクワッド（Ｑｕａｄ）配列の例である。各画素にはオンチップレンズ４０Ｌが配置される。
　位相差画素４０１ｂおよび４０２ｂは、例えばカラーフィルタ青（Ｂ）が配置される画素に構成されている。位相差画素４０１ｂおよび４０２ｂは、それぞれ光電変換部の右側および左側が遮光される。これにより、位相差画素（ＰＤＡＦ）４０１ｂ、４０２ｂは、図面の左右方向に被写体を瞳分割する。
　図３Ｄは、クワッド（Ｑｕａｄ）配列の４画素構成例を示す図である。図３Ｄに示すように、センサ部２１は、複数の通常画素４０と、複数の位相差画素（ＰＤＡＦ）４０１ｃ、４０２ｃとを有する。図３Ｄは、４つの画素単位で、カラーフィルタ赤（Ｒ）、緑（Ｇ）、青（Ｂ）が配置されるクワッド（Ｑｕａｄ）配列の例である。４つの画素単位でオンチップレンズ４０Ｌａが配置される。例えば、通常画素は、４つの画素の出力値を加算することで構成される。
　位相差画素４０１ｃおよび４０２ｃは、例えばカラーフィルタ青（Ｂ）が配置される画素に構成されている。位相差画素４０１ｃおよび４０２ｃは、それぞれ光電変換部の右側および左側が遮光される場合と同等である。位相差画素（ＰＤＡＦ）４０１ｃ、４０２ｃは、図面の左右方向に被写体を瞳分割する。位相差画素４０１ｃは、４つの画素の例えば左側の２つの画素の出力値を加算することで構成される。また、位相差画素４０２ｃは、４つの画素の例えば右側の２つの画素の出力値を加算することで構成される。
　図３Ｅは、デカオクタ（Ｄｅｃａ－Ｏｃｔａ）配列の構成例を示す図である。図３Ｅに示すように、センサ部２１は、複数の通常画素４０と、複数の位相差画素（ＰＤＡＦ）４０１ｄ、４０２ｄとを有する。図３Ｅは、４つの画素単位で、カラーフィルタ赤（Ｒ）、緑（Ｇ）、青（Ｂ）が配置されるクワッド（Ｑｕａｄ）配列の例である。２つの画素単位で楕円形状のオンチップレンズ４０１Ｌｗａが配置される。例えば、通常画素は、楕円形状のオンチップレンズ４０１Ｌｗａが配置２つの画素の出力値を加算することで構成される。
　位相差画素４０１ｄおよび４０２ｄは、例えばカラーフィルタ青（Ｂ）が配置される画素に構成されている。位相差画素４０１ｄおよび４０２ｄは、それぞれ光電変換部の右側および左側が遮光される場合と同等である。位相差画素（ＰＤＡＦ）４０１ｄおよび４０２ｄは、図面の左右方向に被写体を瞳分割する。位相差画素４０１ｄは、オンチップレンズ４０１Ｌｗａが配置される２つの画素の例えば左側により構成される。位相差画素４０２ｃは、オンチップレンズ４０１Ｌｗａが配置される２つの画素の例えば右側により構成される。
　図３Ｆは、方形（Ｒｅｃｔａ）画素の構成例を示す図である。図３Ｆに示すように、センサ部２１は、複数の通常画素４０と、複数の位相差画素（ＰＤＡＦ）４０１ｅ、４０２ｅとを有する。図３Ｆは、２つの方形（Ｒｅｃｔａ）画素毎に、カラーフィルタ赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及びオンチップレンズ４０Ｌｂが配置されるベイヤー（Ｂａｙｅｒ）配列の例である。例えば、通常画素は、オンチップレンズ４０Ｌｂが配置される２つの方形画素の出力値を加算することで構成される。
　位相差画素４０１ｅおよび４０２ｅは、例えばカラーフィルタ青（Ｂ）が配置される画素に構成されている。位相差画素４０１ｅおよび４０２ｅは、それぞれ光電変換部の左側および右側が遮光される場合と同等である。位相差画素（ＰＤＡＦ）４０１ｅおよび４０２ｅは、図面の左右方向に被写体を瞳分割する。位相差画素４０１ｅは、オンチップレンズ４０Ｌｂが配置される２つの方形画素の例えば右側により構成される。位相差画素４０２ｅは、オンチップレンズ４０Ｌｂが配置される２つの方形画素の例えば左側により構成される。
　図３Ｇは、方形（Ｒｅｃｔａ）画素によるクワッド（Ｑｕａｄ）配列の構成例を示す図である。図３Ｇに示すように、センサ部２１は、複数の通常画素４０と、複数の位相差画素（ＰＤＡＦ）４０１ｅ、４０２ｅとを有する。例えば、通常画素４０は、オンチップレンズ４０Ｌｂが配置２つの方形画素の出力値を加算することで構成される。
　位相差画素４０１ｅおよび４０２ｅは、例えばカラーフィルタ青（Ｂ）が配置される画素に構成されている。位相差画素４０１ｅおよび４０２ｅは、それぞれ光電変換部の左側および右側が遮光される場合と同等である。位相差画素（ＰＤＡＦ）４０１ｅおよび４０２ｅは、図面の左右方向に被写体を瞳分割する。位相差画素４０１ｅは、オンチップレンズ４０Ｌｂが配置される２つの画素の例えば右側により構成される。位相差画素４０２ｅは、オンチップレンズ４０Ｌｂが配置される２つの画素の例えば左側により構成される。
　図３Ｈは、通常画素４０に配置される偏光部１５０の配置例を表す平面図である。同図の矩形は画素４０を表し、同図の画素４０毎に記載された文字「Ｒ」、「Ｇ」および「Ｂ」は画素４０に配置されるカラーフィルタの種類を表す。偏光部１５０は、例えばワイヤグリッドにより構成される偏光部の例を表したものである。このワイヤグリッドは、複数の帯状導体が所定のピッチで配列されて構成された偏光部である。ここで帯状導体とは、線状や直方体等に構成された導体である。この帯状導体の中の自由電子は、帯状導体に入射する光の電場に追従して振動し、反射波を輻射する。複数の帯状導体が配列される方向と垂直な方向、すなわち帯状導体の長手方向に平行な入射光は、自由電子の振幅が大きくなるため、より多くの反射光を輻射する。このため、当該方向の入射光は偏光部１５０を透過せずに反射される。一方、帯状導体の長手方向に垂直な光は、帯状導体からの反射光の輻射が小さくなる。自由電子の振動が制限され、振幅が小さくなるためである。当該偏光方向の入射光は、偏光部１５０による減衰が小さくなり、偏光部１５０を透過することができる。このように、図３Ａ乃至図３Ｇの各画素には、更に偏光部１５０を配置することが可能である。なお、画素の構成はこの例に限定されない。例えば、カラーフィルタを省略し、モノクロの撮像を行う構成にすることも可能である。
［位相差情報］
　図４は、位相差情報の一例を示す図である。図４におけるＡ乃至Ｃは、位相差を検出する際の被写体７、レンズ１１およびセンサ部２１の関係を表した図である。また、同図におけるＡ乃至Ｃの、入射光６ａおよび６ｂは、それぞれ画素の右側に開口部が配置された位相差画素４０２および画素の左側に開口部が配置された位相差画素４０１に入射する入射光を表す。以下の説明では位相差画素４０１～４０１ｅを単に画素４０１と記載し、位相差画素４０２～４０２ｅを単に画素４０２と記載する場合がある。同様に通常画素４０を単に画素４０と記載する場合がある。
　同図におけるＡは、レンズ１１の焦点位置にある被写体７の面を撮像する場合を表した図である。この場合には、入射光６ａおよび６ｂは、センサ部２１の受光面に集光される。同図におけるＢは、レンズ１１の焦点位置より近い位置の被写体７の面を撮像する場合を表した図である。入射光６ａおよび６ｂは、センサ部２１の後方に集光され、いわゆる後ピンの状態になる。このため、センサ部２１の受光面において画像がずれて撮像される。同図におけるＣは、レンズ１１の焦点位置より遠い位置の被写体７の面を撮像する場合を表した図である。入射光６ａおよび６ｂは、センサ部２１の受光面よりレンズ１１に近接した位置に集光され、いわゆる前ピンの状態になる。同図におけるＢと比較して、逆の方向に画像がずれて撮像される。このように、被写体の位置に応じて集光位置が変化し、画像がずれて撮像される。
　また、同図におけるＤ乃至Ｆは、被写体を撮像した場合の画像を表した図であり、位相差画素位置および輝度の関係を表した図である。また、同図におけるＤ乃至Ｆは、それぞれ同図におけるＡ乃至Ｃの位置関係に対応して撮像した場合を表す図である。ここで、位相差画素位置は、センサ部２１の同一の行に配置された複数の位相差画素４０１、４０２等の位置を表す。また、同図におけるＤ乃至Ｆの実線および破線は、それぞれ入射光６ａおよび６ｂに基づく画像であり、画素の右側に開口部が配置された位相差画素４０２および画素の左側に開口部が配置された位相差画素４０１による画像である。
　撮像制御部１３（図１参照）は、位相差画素４０１、４０２等の画像信号から位相差情報を生成する。撮像制御部１３は、この像面位相差情報を用いて、図Ａに示すように、レンズ１１が所定の焦点距離に配置されるように、レンズ駆動部１４を制御する。
　ここで、図５乃至図７を用いて、電子デバイス１２のより詳細な構成を説明する。電子デバイス１２は、通常画素４０系統と、位相差画素４０１、４０２系統の２系統の独立制御が可能な制御系を有する。
　図５は、電子デバイス１２における第１半導体チップ側の回路及び第２半導体チップ側の回路の具体的な構成を示す回路図である。図６は、画素４０、４０１、４０２の一構成例を示す回路図である。図７は、電子デバイス１２におけるアナログデジタル変換器の動作を説明するためのタイミングチャートである。
　図５に示すように、第１半導体チップ２０には、センサ部２１及び垂直選択回路２５ａ、ｂが配置されている。上述のように、垂直選択回路２５ａは、複数の通常画素４０の電荷蓄積と読み出しを制御する。一方で、垂直選択回路２５ｂは、複数の位相差画素４０１、４０２の電荷蓄積と読み出しを制御する。
　信号処理部３１は、比較器（コンパレータ）５１及びカウンタ部５２を備えたアナログデジタル変換器５０、ランプ電圧生成器５４、データラッチ部５５、メモリ部３２、データ処理部３３、制御部３４（ＡＤ変換器５０に接続されたクロック供給部を含む）、電流源３５、デコーダ３６、行デコーダ３７、及び、インターフェース（ＩＦ）部３８から構成されている。なお、アナログデジタル変換器をＡＤ変換器と略称する場合があり、ランプ電圧生成器５４を参照電圧生成部と称する場合がある。
　メモリ部３２は、信号処理部３１において所定の信号処理が施された画像データを格納する。メモリ部３２は、不揮発性メモリから構成されていてもよいし、揮発性メモリから構成されていてもよい。上述のように、データ処理部３３は、メモリ部３２に格納された画像データを所定の順番に読み出し、種々の処理を行い、チップ外に出力する。制御部３４は、例えばチップ外から基準信号に基づいて、センサ駆動部や、メモリ部３２、データ処理部３３等の信号処理部３１の各動作の制御を行う。
　電流源３５には、センサ部２１の各画素からセンサ列毎にアナログ信号が読み出される信号線２６の各々が接続されている。電流源３５は、例えば、信号線２６に或る一定の電流を供給するように、ゲート電位が一定電位にバイアスされたＭＯＳトランジスタから成る、所謂、負荷ＭＯＳ回路構成を有する。この負荷ＭＯＳ回路から成る電流源３５は、選択された行に含まれる画素４０、４０１、４０２の増幅トランジスタ３５１に定電流を供給することにより、増幅トランジスタ３５１をソースフォロアとして動作させる。デコーダ３６は、制御部３４の制御下、センサ部２１の各画素各画素４０、４０１、４０２を行単位で選択する際に、その選択行のアドレスを指定するアドレス信号を垂直選択回路２５に対して与える。行デコーダ３７は、制御部３４の制御下、メモリ部３２に画像データを書き込んだり、メモリ部３２から画像データを読み出したりする際の行アドレスを指定する。
　信号処理部３１は、更にＡＤ変換器５０でのＡＤ変換の際に用いる参照電圧Ｖｒｅｆを生成するランプ電圧生成器（参照電圧生成部）５４を有する。参照電圧生成部５４は、時間が経過するにつれて電圧値が階段状に変化する、所謂、ランプ（ＲＡＭＰ）波形（傾斜状の波形）の参照電圧Ｖｒｅｆを生成する。
　ＡＤ変換器５０は、例えば、センサ部２１のセンサ列毎に、即ち、信号線２６毎に設けられている。より具体的には、このＡＤ変換器５０は、センサ部２１の各画素４０、４０１、４０２から信号線２６に読み出されたアナログ信号をＡＤ変換し、ＡＤ変換された画像データ（デジタルデータ）をメモリ部３２に転送する。
　ＡＤ変換器５０は、例えば、アナログ信号のレベルの大きさに対応した時間軸方向に大きさ（パルス幅）を有するパルス信号を生成し、このパルス信号のパルス幅の期間の長さを計測することによってＡＤ変換処理を行う。より具体的には、図５に示すように、ＡＤ変換器５０は、比較器（ＣＯＭＰ）５１及びカウンタ部５２を少なくとも有する。比較器５１は、センサ部２１の各画素各画素４０、４０１、４０２から信号線２６を介して読み出されるアナログ信号（前述した「リセットレベル」及び「信号レベル」）を比較入力とし、参照電圧生成部５４から供給されるランプ波形の参照電圧Ｖｒｅｆを基準入力とし、両入力を比較する。そして、比較器５１の出力は、例えば、参照電圧Ｖｒｅｆがアナログ信号よりも大きくなるとき、第１の状態（例えば、高レベル）となる。一方、参照電圧Ｖｒｅｆがアナログ信号以下のとき、出力は第２の状態（例えば、低レベル）となる。比較器５１の出力信号が、アナログ信号のレベルの大きさに対応したパルス幅を有するパルス信号となる。
　図７に示すように、カウンタ部５２として、例えば、アップ／ダウンカウンタが用いられる。カウンタ部５２には、比較器５１に対する参照電圧Ｖｒｅｆの供給開始タイミングと同じタイミングでクロックＣＫが与えられる。アップ／ダウンカウンタであるカウンタ部５２は、クロックＣＫに同期してダウン（ＤＯＷＮ）カウント、又は、アップ（ＵＰ）カウントを行うことで、比較器５１の出力パルスのパルス幅の期間、即ち、比較動作の開始から比較動作の終了までの比較期間を計測する。このとき、アナログ信号（信号レベルＶＳｉｇ）と参照信号Ｖｒｅｆのレベルが交差し、そして、比較器５１の出力が反転するまで、基準クロックＰＬＬＣＫを用いてカウンタ部５２でカウントが行われる。
　この計測動作の際、カウンタ部５２は、画素４０、４０１、４０２から順に読み出されるリセットレベル（ＶＲｓｅｔ）及び信号レベル（ＶＳｉｇ）に関して、リセットレベルＶＲｓｅｔに対してはダウンカウントを行い、信号レベルＶＳｉｇに対してはアップカウントを行う。そして、このダウンカウント／アップカウントの動作により、信号レベルＶＳｉｇとリセットレベルＶＲｓｅｔとの差分をとることができる。その結果、ＡＤ変換器５０では、ＡＤ変換処理に加えてＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ：相関二重サンプリング）処理が行われる。ここで、「ＣＤＳ処理」とは、「信号レベル」）と「リセットレベルとの差分を取ることにより、画素４０、４０１、４０２のリセットノイズや増幅トランジスタ３５１の閾値ばらつき等のセンサ固有の固定パターンノイズを除去する処理である。そして、カウンタ部５２のカウント結果（カウント値）が、アナログ信号をデジタル化したデジタル値（画像データ）となる。
　このように、ＡＤ変換は、アナログ信号の１度の読出しで２回行われる。即ち、第１回目は、画素４０、４０１、４０２のリセットレベル（Ｐ相）のＡＤ変換が実行される。このリセットレベルＰ相にはセンサ毎のばらつきが含まれる。第２回目は、各画素４０、４０１、４０２で得られたアナログ信号が信号線２６に読み出され（Ｄ相）、ＡＤ変換が実行される。
　また、データ処理部３３内に画像処理部１５（図１参照）と同等の処理機能を持たせることも可能である。これにより、電子デバイス内で被写体の認識処理を行うことも可能である。この場合、被写体の領域信号は、インターフェース部３８を介して第２半導体チップ３０の外部へ出力される。
　以上の説明においては、列並列のＡＤ変換器５０を１つとしたが、これに限られるものではなく、ＡＤ変換器５０を２つ以上設け、これら２つ以上のＡＤ変換器５０において並列的にデジタル化処理を行うことも可能である。この場合、複数の通常画素４０と、複数の位相差画素４０１、４０２との２群に分けることが可能である。
　２つ以上のＡＤ変換器５０は、センサ部２１の信号線２６の延びる方向、例えば、センサ部２１の上下両側に分けて配置することが可能である。ＡＤ変換器５０を２つ以上設ける場合、これに対応してデータラッチ部５５、及び、メモリ部３２等も２つ（２系統、通常画素４０系統と、位相差画素４０１、４０２系統）以上設ければよい。このように、ＡＤ変換器５０等を例えば２系統設ける電子デバイスにあっては、行走査を通常画素４０系統と、位相差画素４０１、４０２系統を単位として行うことが可能となる。そして、一方の各通常画素４０のアナログ信号についてはセンサ部２１の上下方向の一方側に、他方の各位相差画素４０１、４０２のアナログ信号についてはセンサ部２１の上下方向の他方側に、それぞれ読み出し、２つのＡＤ変換器５０で並列的にデジタル化処理を行えばよい。以降の信号処理についても並列的に行う。その結果、１つのセンサを２系統、通常画素４０系統と、位相差画素４０１、４０２系統に分けて画像データの読み出しを実現することができる。
［画素の構成例］
　図６に示すように、画素４０、４０１、４０２は、前段回路３１０と、容量素子３２１および３２２と、選択回路３３０と、後段リセットトランジスタ３４１と、後段回路３５０とを備える。各信号は、画素４０の各信号は、垂直選択回路２５ａから供給され、画素４０１、４０２の各信号は、垂直選択回路２５ｂから供給される。
　前段回路３１０は、光電変換素子３１１、転送トランジスタ３１２、ＦＤ（Ｆｌｏａｔｉｎｇ　Ｄｉｆｆｕｓｉｏｎ）リセットトランジスタ３１３、ＦＤ３１４、前段増幅トランジスタ３１５および電流源トランジスタ３１６を備える。
　光電変換素子３１１は、光電変換により電荷を生成する。転送トランジスタ３１２は、垂直選択回路２５ａ、ｂからの転送信号ｔｒｇに従って、光電変換素子３１１からＦＤ３１４へ電荷を転送する。
　ＦＤリセットトランジスタ３１３は、垂直選択回路２５ａ、ｂからのＦＤリセット信号ｒｓｔに従って、ＦＤ３１４から電荷を引き抜いて初期化する。ＦＤ３１４は、電荷を蓄積し、電荷量に応じた電圧を生成する。前段増幅トランジスタ３１５は、ＦＤ３１４の電圧のレベルを増幅して前段ノード３２０に出力する。
　また、ＦＤリセットトランジスタ３１３および前段増幅トランジスタ３１５のソースは、電源電圧ＶＤＤに接続される。電流源トランジスタ３１６は、前段増幅トランジスタ３１５のドレインに接続される。この電流源トランジスタ３１６は、垂直選択回路２５ａ、ｂの制御に従って、電流ｉｄ１を供給する。容量素子３２１および３２２のそれぞれの一端は、前段ノード３２０に共通に接続され、それぞれの他端は、選択回路３３０に接続される。
　選択回路３３０は、選択トランジスタ３３１および選択トランジスタ３３２を備える。選択トランジスタ３３１は、垂直選択回路２５ａ、ｂからの選択信号Φｒに従って、容量素子３２１と後段ノード３４０との間の経路を開閉する。選択トランジスタ３３２は、垂直選択回路２５ａ、ｂからの選択信号Φｓに従って、容量素子３２２と後段ノード３４０との間の経路を開閉する。
　後段リセットトランジスタ３４１は、垂直選択回路２５ａ、ｂからの後段リセット信号ｒｓｔｂに従って、後段ノード３４０のレベルを所定の電位Ｖｒｅｇに初期化する。電位Ｖｒｅｇには、電源電位ＶＤＤと異なる電位（例えば、ＶＤＤより低い電位）が設定される。
　後段回路３５０は、後段増幅トランジスタ３５１および後段選択トランジスタ３５２を備える。後段増幅トランジスタ３５１は、後段ノード３４０のレベルを増幅する。後段選択トランジスタ３５２は、垂直選択回路２５からの後段選択信号ｓｅｌｂに従って、後段増幅トランジスタ３５１により増幅されたレベルの信号を画素信号として垂直信号線２６に出力する。なお、後段増幅トランジスタは、特許請求の範囲に記載の第２の増幅トランジスタの一例である。
　なお、画素４０内の各種のトランジスタ（転送トランジスタ３１２など）として、例えば、ｎＭＯＳ（ｎ－ｃｈａｎｎｅｌ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタが用いられる。
　垂直選択回路２５ａ、ｂは、露光開始時に全画素へハイレベルのＦＤリセット信号ｒｓｔおよび転送信号ｔｒｇを供給する。これにより、光電変換素子３１１が初期化される。以下、この制御を「ＰＤリセット」と称する。
　そして、垂直選択回路２５ａ、ｂは、露光終了の直前に、全画素について後段リセット信号ｒｓｔｂおよび選択信号Φｒをハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔを供給する。これにより、ＦＤ３１４が初期化され、そのときのＦＤ３１４のレベルに応じたレベルが容量素子３２１に保持される。この制御を以下、「ＦＤリセット」と称する。
　ＦＤリセットの際のＦＤ３１４のレベルと、そのレベルに対応するレベル（容量素子３２１の保持レベルや、垂直信号線２６のレベル）とをまとめて、以下、「Ｐ相」または「リセットレベル」と称する。
　垂直選択回路２５ａ、ｂは、露光終了時に、全画素について後段リセット信号ｒｓｔｂおよび選択信号Φｓをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇを供給する。これにより、露光量に応じた信号電荷がＦＤ３１４へ転送され、そのときのＦＤ３１４のレベルに応じたレベルが容量素子３２２に保持される。
　信号電荷の転送の際のＦＤ３１４のレベルと、そのレベルに対応するレベル（容量素子３２２の保持レベルや、垂直信号線２６のレベル）とをまとめて、以下、「Ｄ相」または「信号レベル」と称する。
　このように全画素について同時に露光を開始し、終了する露光制御は、グローバルシャッター方式と呼ばれる。この露光制御により、全画素の前段回路３１０は、リセットレベルおよび信号レベルを順に生成する。リセットレベルは、容量素子３２１に保持され、信号レベルは、容量素子３２２に保持される。
　露光終了後に垂直選択回路２５ａ、ｂは、行を順に選択して、その行のリセットレベルおよび信号レベルを順に出力させる。リセットレベルを出力させる際に、垂直選択回路２５ａ、ｂは、選択した行のＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂをハイレベルにしつつ、ハイレベルの選択信号Φｒを所定期間に亘って供給する。これにより、容量素子３２１が後段ノード３４０に接続され、リセットレベルが読み出される。
　図８乃至図１３を用いて、センサ部２１の４つの制御モードを説明する。第１モードは、各位相差画素４０１、４０２のリセットレベルおよび信号レベルを行の順にＮ回繰り返し読み出すモードである。
　第２モードは各位相差画素４０１、４０２のリセットレベルおよび信号レベルを行毎にＮ回繰り返し読み出すモードである。第３モードは、各通常画素４０のリセットレベルおよび信号レベルを行の順にＭ回繰り返し読み出すモードである。第４モードは、センサ部２１の限定された領域内の各位相差画素４０１、４０２のリセットレベルおよび信号レベルを行の順にＮ回繰り返し読み出すモードである。なお、第３モードと、第１、第２、及び第４モードを組合わせることも可能である。
　各モードの設定は、例えば操作入力部１６からの入力信号により、撮像制御部１３が設定する。また、読み出し回数、Ｎ、Ｍはそれぞれ、撮像制御部１３が露出計１２ａの露光信号に応じて設定する。
［第１モード］
　図８は、第１モードでの通常画素４０系統と、位相差画素４０１、４０２系統の処理例を示すタイムチャートである。横軸は時間を示し、縦軸は、センサ部２１の行の位置を示す。通常画素４０と、位相差画素４０１、４０２は、同一の行に存在するが、説明の便宜上、通常画素４０と、位相差画素４０１、４０２とを分けて記載する。
　図６を参照しつつ、図８に示すように、垂直選択回路２５ｂ（図５参照）は、撮像制御部１３（図１参照）及び制御部３４（図５）の制御に従い、位相差画素４０１、４０２の露光開始時であるｔ１０に、位相差画素４０１、４０２にハイレベルのＦＤリセット信号ｒｓｔおよび転送信号ｔｒｇを供給する。これにより、位相差画素４０１、４０２の光電変換素子３１１が初期化される。次に、垂直選択回路２５ｂは、露光終了ｔ１４の直前に、全位相差画素４０１、４０２について後段リセット信号ｒｓｔｂおよび選択信号Φｒをハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔを供給する。これにより、全位相差画素４０１、４０２のＦＤ３１４が初期化され、そのときのＦＤ３１４のレベルに応じたレベルが容量素子３２１に保持される。次に、垂直選択回路２５ｂは、露光終了時ｔ１４に、全位相差画素４０１、４０２について後段リセット信号ｒｓｔｂおよび選択信号Φｓをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇを供給する。これにより、露光量に応じた信号電荷がＦＤ３１４へ転送され、そのときのＦＤ３１４のレベルに応じたレベルが容量素子３２２に保持される。
　垂直選択回路２５ｂは、ｒ１０に示すように、ｔ１６～ｔ１８の間に行を順にＮ回選択して、その行のリセットレベルおよび信号レベルを順に出力させる処理をＮ回くり返す。各位相差画素４０１、４０２の輝度信号は、ＡＤＣ５０でデジタル信号に変換され、（ｘ、ｙ）座標に関連づけられメモリ部３２に記憶される。
　図５に示すように、データ処理部３３は、メモリ部３２に格納された同一の（ｘ、ｙ）座標の画像データを所定の順番にＮ回読み出し、加算し、平均値を演算した後に、ＩＦ３８を介して撮像制御部１３（図１）に出力する。撮像制御部１３では、位相情報を演算し、レンズ駆動部１４を制御する。
　このように、各位相差画素４０１、４０２の輝度信号は、非破壊読み出しにより、Ｎ回読み出され、平均値が演算される。そして、平均値を用いた位相情報により、レンズ駆動部１４が制御される。このため、各位相差画素４０１、４０２の輝度信号のランダムノイズのレベルが１／√Ｎ倍となり、レンズ駆動部１４の制御がより正確に行われる。
　一方で、図８に示すように、垂直選択回路２５ａ（図５参照）は、通常画素４０の露光開始時であるｔ１２に、通常画素４０にハイレベルのＦＤリセット信号ｒｓｔおよび転送信号ｔｒｇを供給する。これにより、通常画素４０の光電変換素子３１１が初期化される。次に、垂直選択回路２５ａは、露光終了ｔ２０の直前に、全通常画素４０について後段リセット信号ｒｓｔｂおよび選択信号Φｒをハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔを供給する。これにより、全通常画素４０のＦＤ３１４が初期化され、そのときのＦＤ３１４のレベルに応じたレベルが容量素子３２１に保持される。次に、垂直選択回路２５ａは、露光終了時ｔ２０に、全通常画素４０について後段リセット信号ｒｓｔｂおよび選択信号Φｓをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇを供給する。これにより、露光量に応じた信号電荷がＦＤ３１４へ転送され、そのときのＦＤ３１４のレベルに応じたレベルが容量素子３２２に保持される。
　垂直選択回路２５ａは、ｒ１２に示すように、ｔ２２～ｔ２４の間に行を順に選択して、その行のリセットレベル（Ｐ相）および信号レベル（Ｄ相）を順に出力させる処理を１回行う。各通常画素４０の輝度信号は、ＡＤＣ５０でデジタル信号に変換され、（ｘ、ｙ）座標に関連づけられメモリ部３２に記憶される。
　再び、図５に示すように、データ処理部３３は、メモリ部３２に格納された同一の（ｘ、ｙ）座標の画像データを所定の順番に処理し、ＩＦ３８を介して撮像制御部１３（図１）に出力する。
［第２モード］
　図９は、第２モードでの通常画素４０系統と、位相差画素４０１、４０２系統の処理例を示すタイムチャートである。横軸は時間を示し、縦軸は、センサ部２１の行の位置を示す。第２モードの説明は第１モードとの相違点を説明する。
　図９に示すように、露光終了時ｔ１４には、リセットレベルに対応する電子が容量素子３２１に保持され、信号レベルに対応する電子が容量素子３２２に保持される。垂直選択回路２５ｂは、ｒ１４に示すように、先ず第１行のリセットレベル（Ｐ相）をＮ回くり返し読み出す。このとき、比較器５１（図５参照）の出力値は、ランダムノイズにより変動するが、カウンタ部５２をリセットせずに、Ｎ回分のリセットレベルに対応する信号をカウントする。これにより、Ｎ回分のリセットレベル（Ｐ相）がデジタル信号に変換され、（ｘ、ｙ）座標に関連づけられて、メモリ部３２に記憶される。
　次に、垂直選択回路２５ｂは、ｒ１４に示すように、先ず第１行の信号レベル（Ｄ相）をＮ回くり返し読み出す。このとき、比較器５１（図５参照）の出力値は、ランダムノイズにより変動するが、カウンタ部５２をリセットせずに、Ｎ回分の信号レベルに対応する信号をカウントする。これにより、Ｎ回分の信号レベル（Ｄ相）がデジタル信号に変換され、（ｘ、ｙ）座標に関連づけられて、メモリ部３２に記憶される。このような処理を全行に対して行う。
　全行のＮ回分のデータが読み出された後に、データ処理部は、Ｎ回分のリセットレベル（Ｐ相）からＮ回分の信号レベル（Ｄ相）を減算して、相関二重サンプリング（ＣＤＳ）処理を実現した後にＮで除算する。これにより、各位相差画素４０１、４０２の輝度信号のランダムノイズのレベルが１／√Ｎ倍となり、レンズ駆動部１４の制御がより正確に行われる。このような処理を行う場合には、メモリ部３２に記憶されるデータ量が第１モードのＮ分の１となるので、メモリ部３２の記憶容量を低減させることが可能となる。
［第３モード］
　図１０は、第１モードに加え第３モードを実行した場合の処理例を示すタイムチャートである。横軸は時間を示し、縦軸は、センサ部２１の行の位置を示す。図１０に示すように、垂直選択回路２５ａは、ｒ１２に示すように、ｔ２２～ｔ２４、ｔ２４～ｔ２６の間に行を順に選択して、その行のリセットレベル（Ｐ相）および信号レベル（Ｄ相）を順に出力させる処理を２回行う。各通常画素４０の輝度信号は、ＡＤＣ５０でデジタル信号に変換され、（ｘ、ｙ）座標に関連づけられメモリ部３２に記憶される。
［第４モード］
　図１１は、第４モードを実行した場合の処理例を示すタイムチャートである。横軸は時間を示し、縦軸は、センサ部２１の行の位置を示す。図１１に示すように、垂直選択回路２５ｂは、ｒ１６に示すように、ｔ１６～ｔ１８の間に、領域制限された範囲の行を順にＮ回選択して、その行のリセットレベルおよび信号レベルを順に出力させる処理をＮ回くり返す。各位相差画素４０１、４０２の輝度信号は、ＡＤＣ５０でデジタル信号に変換され、（ｘ、ｙ）座標に関連づけられメモリ部３２に記憶される。
　このように、各位相差画素４０１、４０２の輝度信号は、制限された範囲からより高速に非破壊読み出しにより、Ｎ回読み出され、平均値が演算される。そして、平均値を用いた位相情報により、レンズ駆動部１４が制御される。このため、各位相差画素４０１、４０２の輝度信号のランダムノイズのレベルが１／√Ｎ倍となり、レンズ駆動部１４の制御がより高速、且つ、より正確に行われる。
　図１２は、電子機器１の制御処理例を示すフローチャートである。ここでは、第１モードでの制御処理例を説明する。図１２に示すように、先ず、露出計１２ａは、撮像制御部１３の制御にしたがい露出値を生成する（ステップＳ１００）。
　次に、撮像制御部１３は、この露出値に応じて、各位相差画素４０１、４０２の読み出し回数を判定する（ステップＳ１０２）。撮像制御部１３（ＤＳＰ）は、露出値が第１閾値よりも高い場合に高照度と判定し（ステップＳ１０２のＡ）、多重読み出しを行わない制御処理を、制御部３４を介して垂直選択回路２５ｂに対して行い（ステップＳ１０４）、ステップＳ１１６からの処理を行う。
　一方で、撮像制御部１３は、露出値が第２閾値よりも低い場合に低照度と判定し（ステップＳ１０２のＣ）、例えば低照度に対応する３多重読み出しを行う制御処理を、制御部３４を介して垂直選択回路２５ｂに対して行い（ステップＳ１０６）、ステップＳ１１０からの処理を行う。
　一方で、撮像制御部１３は、露出値が第１閾値以下であり、且つ第２閾値以上の場合に中照度と判定し（ステップＳ１０２のＢ）、例えば中照度に対応する２多重読み出しを行う制御処理を、制御部３４を介して垂直選択回路２５ｂに対して行い（ステップＳ１０８）、垂直選択回路２５ｂは、各位相差画素４０１、４０２の多重読み出し処理を行う（ステップＳ１１０）。
　次に、垂直選択回路２５ｂの制御に従い、非破壊により各位相差画素４０１、４０２から読み出された輝度値は、メモリ部３２に保持され（ステップＳ１１２）、データ処理部３３により、加算、及び平均演算が行われる（ステップＳ１１４）。続けて、データ処理部３３は、多重読み出しをしていない場合には、各位相差画素４０１、４０２から読み出された輝度値を、ＩＦ３８を介して演算処理結果を撮像制御部１３に出力し、多重読み出しをしてた場合には、平均値を、ＩＦ３８を介して演算処理結果を撮像制御部１３に出力する（ステップＳ１１６）。
　そして、撮像制御部１３は、各位相差画素４０１、４０２から読み出された輝度値又は平均値により位相差情報を演算し、位相差情報に応じたレンズ１１のＡＦ制御をレンズ駆動部１４に対して行う（ステップＳ１１８）。
　図１３は、第１モードでの制御処理における加算処理を撮像制御部１３側で行う電子機器１の制御処理例を示すフローチャートである。ここでは、図１３と相違する点を説明する。
　垂直選択回路２５ｂの制御に従い、非破壊により各位相差画素４０１、４０２から読み出された
輝度信号は、データ処理部３３により、撮像制御部１３に出力される（ステップＳ２１２）。
　次に、撮像制御部１３は、各位相差画素４０１、４０２から読み出された輝度値により位相差情報を演算し、又は多重読み出しされた輝度値の平均値を演算した後に位相差情報を演算する（ステップＳ２１４）。
　そして、撮像制御部１３は、各位相差画素４０１、４０２から読み出された輝度値又は平均値により位相差情報を演算し、位相差情報に応じたレンズ１１のＡＦ制御をレンズ駆動１４に対して行う（ステップＳ２１６）。
　以上説明したように本実施形態によれば、被写体からの入射光を瞳分割して像面位相差を検出する位相差画素４０１、４０２から、垂直選択回路２５ｂの制御に従い、アナログ信号が非破壊読み出しで複数回読み出され、信号処理部３１が、複数回非破壊読み出しされるアナログ信号を、デジタル信号に変換することとした。これにより、デジタル信号のランダムノイズが低減され、デジタル信号を用いるレンズ１１の焦点制御をより高精度に行うことが可能となる。
　＜＜１．応用例＞＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１４に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１４では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）又はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１５は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０、７９１２、７９１４、７９１６、７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２、７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１５には、それぞれの撮像部７９１０、７９１２、７９１４、７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ、ｃは、それぞれサイドミラーに設けられた撮像部７９１２、７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０、７９１２、７９１４、７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２６、７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１４に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｏｆ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ　Ａｃｃｅｓｓ　ｉｎ　Ｖｅｈｉｃｌｅ　Ｅｎｖｉｒｏｎｍｅｎｔ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車両と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信及び歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ、又はＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１４に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１を用いて説明した本実施形態に係る電子機器１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１を用いて説明した本実施形態に係る電子機器１は、図１４に示した応用例の統合制御ユニット７６００に適用することができる。例えば、電子機器１の電子デバイス１２は、撮像部７４１０に相当する。
　＜＜２．応用例＞＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
　図１６は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図１６を参照すると、手術室システム５１００は、手術室内に設置される装置群が手術室コントローラ（ＯＲ　Ｃｏｎｔｒｏｌｌｅｒ）５１０７及び入出力コントローラ（Ｉ／Ｆ　Ｃｏｎｔｒｏｌｌｅｒ）５１０９を介して互いに連携可能に接続されることにより構成される。この手術室システム５１００は、４Ｋ／８Ｋ映像を送受信可能なＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）ネットワークで構成され、入出力映像および各機器に対する制御情報がＩＰネットワークを経由して送受信される。
　手術室には、様々な装置が設置され得る。図１６では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ～５１０３Ｄと、患者ベッド５１８３と、照明５１９１と、を図示している。なお、装置群５１０１には、図示されている内視鏡の他、マスタスレーブ型内視鏡下手術用ロボットやＸ線撮影装置など、画像や映像を取得する種々の医療用機器が適用されてよい。
　装置群５１０１、シーリングカメラ５１８７、術場カメラ５１８９及び表示装置５１０３Ａ～５１０３Ｃと、入出力コントローラ５１０９とは、それぞれＩＰコンバータ５１１５Ａ～５１１５Ｆ（以下、ここを区別しない場合、その符号を５１１５とする）を介して接続される。映像ソース側（カメラ側）のＩＰコンバータ５１１５Ｄ、５１１５Ｅ、５１１５Ｆは、個々の医療画像撮像装置（内視鏡、手術用顕微鏡、Ｘ線撮像装置、術場カメラ、病理画像撮像装置等）からの映像をＩＰ変換し、ネットワーク上に送信する。映像出力側（モニタ側）のＩＰコンバータ５１１５Ａ～５１１５Ｄは、ネットワーク経由で送信された映像をモニタ固有のフォーマットに変換して出力する。なお、映像ソース側のＩＰコンバータはエンコーダーとして機能し、映像出力側のＩＰコンバータはデコーダーとして機能する。ＩＰコンバータ５１１５は各種画像処理機能を備えてよく、出力先に応じた解像度変換処理、内視鏡映像の回転補正や手振れ補正、オブジェクト認識処理等を備えてよい。また、後述するサーバでの解析のための特徴情報抽出などの部分処理を含んでよい。これらの画像処理機能は、接続される医療画像装置固有のものであってもよいし、外部からアップグレード可能なものであってもよい。表示側のＩＰコンバータにあっては、複数の映像の合成（ＰｉｎＰ処理等）やアノテーション情報の重畳などの処理を行うことも可能である。なお、ＩＰコンバータのプロトコル変換機能は、受信した信号をネットワーク（例えば、インターネット）上で通信可能な通信プロトコルに準拠した変換信号に変換する機能であり、通信プロトコルは任意の通信プロトコルが設定されてもよい。また、ＩＰコンバータが受信してプロトコル変換可能な信号はデジタル信号であり、例えば映像信号や画素信号である。また、ＩＰコンバータは映像ソース側の装置の内部や映像出力側の装置の内部に組み込まれてもよい。
　装置群５１０１は、例えば、内視鏡手術システムに属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。一方、表示装置５１０３Ａ～５１０３Ｄ、患者ベッド５１８３及び照明５１９１は、内視鏡手術システムとは別個に、例えば手術室に備え付けられている装置である。これらの手術または診断に用いられる各機器は医療用機器とも呼称される。手術室コントローラ５１０７及び／又は入出力コントローラ５１０９は、医療用機器の動作を連携して制御する。同様に、手術室内に手術ロボット（手術用マスタスレーブ）システム、Ｘ線撮影装置などの医療画像取得装置を含む場合には、それらの機器も装置群５１０１として接続され得る。
　手術室コントローラ５１０７は、医療用機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ～５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。手術室コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。
　具体的には、手術室コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、手術室コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
　手術室コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ～５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ））である。
　入出力コントローラ５１０９は、接続された機器に対する映像信号の入出力を制御する。例えば、入出力コントローラ５１０９は、手術室コントローラ５１０７の制御に基づいて映像信号の入出力を制御する。入出力コントローラ５１０９は、例えば、ＩＰスイッチャーなどで構成され、ＩＰネットワーク上に配置された機器間における画像（映像）信号の高速な転送を制御する。
　また、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、手術室コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
　また、外部サーバ５１１３は、例えば手術室外の院内サーバやクラウドサーバであり、画像解析やデータ解析などに用いられるものであってよい。この場合、手術室内の映像情報を外部サーバ５１１３に送信し、サーバによるビッグデータ解析やＡＩ（機械学習）を用いた認識・解析処理によって付加情報を生成し、手術室内の表示装置にフィードバックするものであってもよい。このとき、手術室内の映像機器に接続されたＩＰコンバータ５１１５Ｈが外部サーバ５１１３にデータを送信し、映像を解析する。送信されるデータとしては内視鏡等の手術映像そのもの、映像から抽出されたメタデータや、接続される機器の稼働状況を示すデータ等であってもよい。
　さらに、手術室システム５１００には、集中操作パネル５１１１が設けられている。ユーザは、集中操作パネル５１１１を介して、手術室コントローラ５１０７に対し、入出力コントローラ５１０９の入出力制御についての指示や接続された機器の動作についての指示を与えることができる。また、ユーザは、集中操作パネル５１１１を介して画像表示の切替を行うことができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。なお、集中操作パネル５１１１と入出力コントローラ５１０９とは、ＩＰコンバータ５１１５Ｊを介して接続されてよい。
　ＩＰネットワークは有線ネットワークで構成されてもよいし、一部または全てのネットワークが無線ネットワークで構築されてもよい。例えば、映像ソース側ＩＰコンバータは無線通信機能を有し、受信した映像を第５世代移動通信システム（５Ｇ）、第６世代移動通信システム（６Ｇ）等の無線通信ネットワークを介して出力側ＩＰコンバータに送信してもよい。
　本開示に係る技術は、以上説明した構成のうち、シーリングカメラ５１８７及び術場カメラ５１８９に好適に適用され得る。
　なお、本技術は以下のような構成を取ることができる。
（１）
　被写体からの入射光を瞳分割して像面位相差を検出する第１位相差画素と、
　前記第１位相差画素の駆動を制御する制御回路と、
　前記制御回路の制御に応じて、前記第１位相差画素それぞれから複数回非破壊読み出しされるアナログ信号を、デジタル信号に変換する信号処理部と、
　を備える、固体撮像素子。
（２）
　前記第１位相差画素を含め複数の位相差画素と、撮像に用いられる複数の画素とを有するセンサ部を更に備える、（１）に記載の固体撮像素子。
（３）
　前記制御回路は、前記非破壊読み出しを行う位相差画素を、前記センサ部における所定の領域内に制限する、（２）に記載の固体撮像素子。
（４）
　前記信号処理部は、
　前記第１位相差画素から、前記非破壊読み出しされるアナログ信号をデジタル信号に変換するアナログデジタル変換器と、
　前記アナログデジタル変換器で変換されたデジタル信号を演算処理するデータ処理部と、
を有し、
　前記アナログデジタル変換器は、複数回非破壊読み出しされたアナログ信号をそれぞれデジタル信号に変換し、
　前記データ処理部は、前記変換された複数のデジタル信号を加算処理する、（２）に記載の固体撮像素子。
（５）
　前記制御回路は、前記第１位相差画素からの非破壊読み出しの回数を変更する、（４）に記載の固体撮像素子。
（６）
　前記制御回路は、前記複数の画素からの非破壊読み出しの回数を変更する、（５）に記載の固体撮像素子。
（７）
　前記制御回路は、受光量に関する露出信号に基づき、前記非破破壊読み出しの回数を変更する、（５）又は（６）
に記載の固体撮像素子。
（８）
　前記複数の位相差画素と、前記撮像に用いられる複数の画素とは、行列状に配置され、
　前記制御回路は、同一行又は同一列に配置される前記位相差画素と、前記画素とを異なる蓄積時間に受光量に応じた電荷を蓄積させる制御が可能である、（７）に記載の固体撮像素子。
（９）
　前記信号処理部は、
　前記第１位相差画素から、前記非破壊読み出しされるアナログ信号をデジタル信号に変換するアナログデジタル変換器を有し、
　前記アナログデジタル変換器は、
　前記非破壊読み出しされるアナログ信号のレベルと所定のランプ信号とを比較して比較結果を出力するコンパレータと、
　前記比較結果が反転するまでの期間に亘って計数値を計数して当該計数値を示す前記デジタル信号を出力するカウンタ部と、
を備える、（２）に記載の固体撮像素子。
（１０）
　前記カウンタ部は、前記計数値を前記複数回非破壊読み出しされたアナログ信号毎に加算する、（９）に記載の固体撮像素子。
（１１）
　前記第１位相差画素は、受光領域の所定範囲が遮光される、（２）に記載の固体撮像素子。
（１２）
　前記第１位相差画素は、楕円形状のオンチップレンズが配置される隣接する二つの画素の一方である、（２）に記載の固体撮像素子。
（１３）
　前記第１位相差画素は、同一色のカラーフィルタが配置される隣接する４つの画素の内の少なくとも一つである、（２）に記載の固体撮像素子。
（１４）
　前記第１位相差画素は、一つのオンチップレンズが配置される隣接する４つの画素の内の少なくとも一つである、（２）に記載の固体撮像素子。
（１５）
　前記第１位相差画素は、一つのオンチップレンズが配置される隣接する２つの方形状の画素の内の少なくとも一方である、（２）に記載の固体撮像素子。
（１６）
　前記複数の画素には、光を変更する偏光部を介して撮像する、（２）に記載の固体撮像素子。
（１７）
　前記信号処理部は、
　前記第１位相差画素から、非破壊読み出しされるアナログ信号をデジタル信号に変換するアナログデジタル変換器と、
　前記デジタル信号を送信する送信部と、を有し、
　前記アナログデジタル変換器は、複数回非破壊読み出しされたアナログ信号をそれぞれデジタル信号に変換し、
　前記送信部は、前記変換された複数のデジタル信号を送信する、（２）に記載の固体撮像素子。
（１８）
　前記第１位相差画素は、
第１および第２の容量素子と、
　所定のリセットレベルと露光量に応じた信号レベルとを順に生成して前記第１および第２の容量素子のそれぞれに保持させる前段回路と、
　前記リセットレベルおよび前記信号レベルを前記第１および第２の容量素子から順に読み出して出力する後段回路と　
　を備える、（９）に記載の固体撮像素子。
（１９）
　前記コンパレータは、前記リセットレベルおよび前記信号レベルを伝送する信号線のレベルと所定のランプ信号とを比較して比較結果を出力する、（１８）に記載の固体撮像素子。
（２０）
　（１）に記載の固体撮像素子と、
　被写体からの光を集光し、前記第１位相差画素が配置される受光面に集光するレンズと、
前記信号処理部が生成する信号に応じて、前記レンズの焦点位置を制御する撮像制御部と、
を備える、電子機器。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
１：電子機器、１１：レンズ、１２：電子デバイス（固体撮像素子）、１３：撮像制御部、２６：信号線、３３：インターフェース部、４０：通常画素、５０：アナログデジタル変換器、５１：比較器、５２：カウンタ部、３１０：前段回路、１５０：偏光部、３２１、３２２：容量素子、３５０：後段回路、４０１～４０１ｅ：位相差画素、４０２～４０２ｅ：位相差画素。

Claims (20)

  1. 　被写体からの入射光を瞳分割して像面位相差を検出する第１位相差画素と、
    　前記第１位相差画素の駆動を制御する制御回路と、
    　前記制御回路の制御に応じて、前記第１位相差画素それぞれから複数回非破壊読み出しされるアナログ信号を、デジタル信号に変換する信号処理部と、
    　を備える、固体撮像素子。
  2. 　前記第１位相差画素を含め複数の位相差画素と、撮像に用いられる複数の画素とを有するセンサ部を更に備える、請求項１に記載の固体撮像素子。
  3. 　前記制御回路は、前記非破壊読み出しを行う位相差画素を、前記センサ部における所定の領域内に制限する、請求項２に記載の固体撮像素子。
  4. 　前記信号処理部は、
    　前記第１位相差画素から、前記非破壊読み出しされるアナログ信号をデジタル信号に変換するアナログデジタル変換器と、
    　前記アナログデジタル変換器で変換されたデジタル信号を演算処理するデータ処理部と、
    を有し、
    　前記アナログデジタル変換器は、複数回非破壊読み出しされたアナログ信号をそれぞれデジタル信号に変換し、
    　前記データ処理部は、前記変換された複数のデジタル信号を加算処理する、請求項２に記載の固体撮像素子。
  5. 　前記制御回路は、前記第１位相差画素からの非破壊読み出しの回数を変更する、請求項４に記載の固体撮像素子。
  6. 　前記制御回路は、前記複数の画素からの非破壊読み出しの回数を変更する、請求項５に記載の固体撮像素子。
  7. 　前記制御回路は、受光量に関する露出信号に基づき、前記非破破壊読み出しの回数を変更する、請求項５に記載の固体撮像素子。
  8. 　前記複数の位相差画素と、前記撮像に用いられる複数の画素とは、行列状に配置され、
    　前記制御回路は、同一行又は同一列に配置される前記位相差画素と、前記画素とを異なる蓄積時間に受光量に応じた電荷を蓄積させる制御が可能である、請求項７に記載の固体撮像素子。
  9. 　前記信号処理部は、
    　前記第１位相差画素から、前記非破壊読み出しされるアナログ信号をデジタル信号に変換するアナログデジタル変換器を有し、
    　前記アナログデジタル変換器は、
    　前記非破壊読み出しされるアナログ信号のレベルと所定のランプ信号とを比較して比較結果を出力するコンパレータと、
    　前記比較結果が反転するまでの期間に亘って計数値を計数して当該計数値を示す前記デジタル信号を出力するカウンタ部と、
    を備える、請求項２に記載の固体撮像素子。
  10. 　前記カウンタ部は、前記計数値を前記複数回非破壊読み出しされたアナログ信号毎に加算する、請求項９に記載の固体撮像素子。
  11. 　前記第１位相差画素は、受光領域の所定範囲が遮光される、請求項２に記載の固体撮像素子。
  12. 　前記第１位相差画素は、楕円形状のオンチップレンズが配置される隣接する二つの画素の一方である、請求項２に記載の固体撮像素子。
  13. 　前記第１位相差画素は、同一色のカラーフィルタが配置される隣接する４つの画素の内の少なくとも一つである、請求項２に記載の固体撮像素子。
  14. 　前記第１位相差画素は、一つのオンチップレンズが配置される隣接する４つの画素の内の少なくとも一つである、請求項２に記載の固体撮像素子。
  15. 　前記第１位相差画素は、一つのオンチップレンズが配置される隣接する２つの方形状の画素の内の少なくとも一方である、請求項２に記載の固体撮像素子。
  16. 　前記複数の画素には、光を変更する偏光部を介して撮像する、請求項２に記載の固体撮像素子。
  17. 　前記信号処理部は、
    　前記第１位相差画素から、非破壊読み出しされるアナログ信号をデジタル信号に変換するアナログデジタル変換器と、
    　前記デジタル信号を送信する送信部と、を有し、
    　前記アナログデジタル変換器は、複数回非破壊読み出しされたアナログ信号をそれぞれデジタル信号に変換し、
    　前記送信部は、前記変換された複数のデジタル信号を送信する、請求項２に記載の固体撮像素子。
  18. 　前記第１位相差画素は、
    第１および第２の容量素子と、
    　所定のリセットレベルと露光量に応じた信号レベルとを順に生成して前記第１および第２の容量素子のそれぞれに保持させる前段回路と、
    　前記リセットレベルおよび前記信号レベルを前記第１および第２の容量素子から順に読み出して出力する後段回路と、
    　を備える、請求項９に記載の固体撮像素子。
  19. 　前記コンパレータは、前記リセットレベルおよび前記信号レベルを伝送する信号線のレベルと所定のランプ信号とを比較して比較結果を出力する、請求項１８に記載の固体撮像素子。
  20. 　請求項１に記載の固体撮像素子と、
    　被写体からの光を集光し、前記第１位相差画素が配置される受光面に集光するレンズと、
    前記信号処理部が生成する信号に応じて、前記レンズの焦点位置を制御する撮像制御部と、
    を備える、電子機器。
PCT/JP2023/025390 2022-07-25 2023-07-10 固体撮像素子、および電子機器 Ceased WO2024024464A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202380046274.1A CN119487863A (zh) 2022-07-25 2023-07-10 固态成像元件和电子设备
US18/879,837 US20250338015A1 (en) 2022-07-25 2023-07-10 Solid-state imaging element and electronic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-118254 2022-07-25
JP2022118254 2022-07-25

Publications (1)

Publication Number Publication Date
WO2024024464A1 true WO2024024464A1 (ja) 2024-02-01

Family

ID=89706189

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025390 Ceased WO2024024464A1 (ja) 2022-07-25 2023-07-10 固体撮像素子、および電子機器

Country Status (3)

Country Link
US (1) US20250338015A1 (ja)
CN (1) CN119487863A (ja)
WO (1) WO2024024464A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281296A (ja) * 2006-04-10 2007-10-25 Nikon Corp 固体撮像装置、および電子カメラ
JP2009500665A (ja) * 2005-07-08 2009-01-08 グラウ，ギュンター 偏光フィルタを形成する方法および偏光センシティブなフォトセンサへの適用と偏光を発生させる再生装置
WO2019102887A1 (ja) * 2017-11-22 2019-05-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器
WO2020059487A1 (ja) * 2018-09-18 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
WO2021215105A1 (ja) * 2020-04-21 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6951866B2 (ja) * 2017-05-18 2021-10-20 ソニーセミコンダクタソリューションズ株式会社 撮像素子

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009500665A (ja) * 2005-07-08 2009-01-08 グラウ，ギュンター 偏光フィルタを形成する方法および偏光センシティブなフォトセンサへの適用と偏光を発生させる再生装置
JP2007281296A (ja) * 2006-04-10 2007-10-25 Nikon Corp 固体撮像装置、および電子カメラ
WO2019102887A1 (ja) * 2017-11-22 2019-05-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器
WO2020059487A1 (ja) * 2018-09-18 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
WO2021215105A1 (ja) * 2020-04-21 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子

Also Published As

Publication number Publication date
US20250338015A1 (en) 2025-10-30
CN119487863A (zh) 2025-02-18

Similar Documents

Publication Publication Date Title
JP7278953B2 (ja) 固体撮像素子及び電子機器
US11895398B2 (en) Imaging device and imaging system
US11006060B2 (en) Imaging device and electronic device
US11350053B2 (en) Imaging device, method thereof, and imaging element
US10999543B2 (en) Solid-state imaging device, electronic apparatus, lens control method, and vehicle
US11683606B2 (en) Imaging device and electronic equipment
US20200185443A1 (en) Solid-state imaging element and method for manufacturing the same, and electronic device
WO2019171853A1 (ja) 撮像装置及び撮像装置の信号処理方法、並びに、電子機器
US11659300B2 (en) Solid-state image sensor, method of driving solid-state image sensor, and electronic apparatus
CN113647089B (zh) 成像系统
TWI788818B (zh) 攝像裝置及攝像方法
CN115668963B (zh) 成像装置和成像方法
US20210227162A1 (en) Analog-digital converter, analog-digital conversion method, and imaging device
JP7742351B2 (ja) 撮像素子及び撮像装置
WO2024024464A1 (ja) 固体撮像素子、および電子機器
CN119497998A (zh) 相机系统及其控制方法
JP2023183375A (ja) 固体撮像素子、および、撮像装置
WO2018043140A1 (ja) 固体撮像素子、および電子装置
WO2023243497A1 (ja) 固体撮像素子、および、撮像装置
JP2023162463A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23846196

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380046274.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18879837

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 202380046274.1

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23846196

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP

WWP Wipo information: published in national office

Ref document number: 18879837

Country of ref document: US