WO2024095754A1 - 固体撮像装置およびその制御方法、並びに電子機器 - Google Patents

固体撮像装置およびその制御方法、並びに電子機器 Download PDF

Info

Publication number
WO2024095754A1
WO2024095754A1 PCT/JP2023/037471 JP2023037471W WO2024095754A1 WO 2024095754 A1 WO2024095754 A1 WO 2024095754A1 JP 2023037471 W JP2023037471 W JP 2023037471W WO 2024095754 A1 WO2024095754 A1 WO 2024095754A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
imaging device
unit
solid
Prior art date
Application number
PCT/JP2023/037471
Other languages
English (en)
French (fr)
Inventor
健三郎 関
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024095754A1 publication Critical patent/WO2024095754A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present disclosure relates to a solid-state imaging device, a control method thereof, and electronic equipment, and in particular to a solid-state imaging device, a drive method thereof, and electronic equipment that enable processing to be reflected in a live view image to be executed without delay relative to the display of the live view image.
  • a live view mode in which a live view image is displayed on the display for image confirmation.
  • the subject's face area may be superimposed on the live view image as a region of interest.
  • This disclosure has been made in light of these circumstances, and makes it possible to execute processing to be reflected in a live view image without delaying the display of the live view image.
  • a solid-state imaging device includes: a pixel array unit in which a plurality of pixels are two-dimensionally arranged in a matrix; A drive unit that controls reading of signals generated by the pixels; a signal processing unit that generates a captured image using the read-out signals of the pixels, the drive unit first reads out a first pixel which is a pixel that is a part of the pixel array unit, and reads out a second pixel which is a pixel that is a part of the pixel array unit after the first pixel; The signal processing unit performs a process of reflecting a result of the process using the first pixels in the captured image using the second pixels.
  • a control method for a solid-state imaging device includes: A solid-state imaging device including a pixel array section in which a plurality of pixels are two-dimensionally arranged in a matrix, a drive section, and a signal processing section; the drive unit first reads out a first pixel which is a pixel that is a part of the pixel array unit, and reads out a second pixel which is a pixel that is a part of the pixel array unit after the first pixel; The signal processing unit performs a process of reflecting a result of the process using the first pixels in a captured image using the second pixels.
  • An electronic device includes: a pixel array unit in which a plurality of pixels are two-dimensionally arranged in a matrix; A drive unit that controls reading of signals generated by the pixels; a signal processing unit that generates a captured image using the read-out signals of the pixels, the drive unit first reads out a first pixel which is a pixel that is a part of the pixel array unit, and reads out a second pixel which is a pixel that is a part of the pixel array unit after the first pixel; The signal processing unit performs processing to reflect a processing result of processing using the first pixels in the captured image using the second pixels.
  • a solid-state imaging device including a pixel array section in which a plurality of pixels are two-dimensionally arranged in a matrix, a drive section, and a signal processing section, a first pixel that is a part of the pixel array section is read out first, and a second pixel that is a part of the pixel array section is read out after the first pixel, and the processing result of the processing using the first pixel is reflected in the captured image using the second pixel.
  • the solid-state imaging device and electronic device may be independent devices or may be modules incorporated into other devices.
  • FIG. 1 is a block diagram showing an example of the configuration of an imaging device as an electronic device to which the technology of the present disclosure is applied.
  • FIG. 2 is a diagram showing a schematic configuration of the solid-state imaging device shown in FIG.
  • FIG. 2 is a diagram showing an equivalent circuit of a pixel.
  • 4 is a diagram showing an example of detailed arrangement of pixels in a pixel array portion;
  • FIG. 3 is a diagram showing an example of a color filter arrangement of pixels in a pixel array portion;
  • FIG. 11A and 11B are diagrams illustrating drive control in a live view mode for comparison with the present drive control.
  • 2 is a diagram illustrating drive control in a live view mode of the solid-state imaging device of FIG. 1.
  • FIG. 2 is a diagram illustrating drive control in a live view mode of the solid-state imaging device of FIG. 1.
  • 4 is a flowchart illustrating a drive control process in a live view mode of the solid-state imaging device of FIG. 1 .
  • FIG. 1 is a diagram illustrating an example of use of an image sensor.
  • Example of the configuration of an imaging device 2.
  • Example of the schematic configuration of a solid-state imaging device 3.
  • Example of the circuit configuration of a pixel 4.
  • Example of pixel arrangement in a pixel array section 5.
  • Drive control in live view mode 5.1 Live view mode drive by comparison drive control 5.2
  • Live view mode drive by a solid-state imaging device 5.3
  • Summary 7. Example of use of an image sensor
  • FIG. 1 is a block diagram showing an example of the configuration of an imaging device as an electronic device to which the technology of the present disclosure is applied.
  • the imaging device 1 shown in FIG. 1 may be, for example, a digital single-lens camera, a digital still camera, a digital video camera, a mobile phone, or a multi-function mobile phone.
  • the imaging device 1 is configured with an optical system 11, a shutter device 12, a solid-state imaging device 13, a control unit 14, an image processing unit 15, a display unit 16, and a recording unit 17, and is capable of capturing still images and moving images.
  • the optical system 11 is composed of one or more lenses, and guides light from a subject (incident light) to the solid-state imaging device 13, forming an image on the light receiving surface of the solid-state imaging device 13.
  • the shutter device 12 is disposed between the optical system 11 and the solid-state imaging device 13, and controls the light irradiation period and light blocking period for the solid-state imaging device 13 according to the control of the control unit 14.
  • the solid-state imaging device 13 has a light-receiving surface on which multiple pixels are provided, and generates and accumulates signal charges for a certain period of time in response to light that is focused on the light-receiving surface via the optical system 11 and the shutter device 12.
  • the solid-state imaging device 13 generates an image obtained by photoelectrically converting the light from the subject, and supplies the image to the image processing unit 15.
  • Images captured by the solid-state imaging device 13 include, in particular, recorded images and live view images.
  • Recorded images are images captured by the user when the user operates the shutter button or other recording start operation, with the aim of recording the image for viewing or the like. Recorded images may be still images or moving images.
  • live view images are moving images presented to the user in advance for confirmation purposes, before the recorded image is captured, in order to allow the user to check the angle of view, etc., of the recorded image that is about to be captured. Live view images are also known as through images, etc.
  • the control unit 14 controls the operation of the entire imaging device 1 in response to an operation signal, etc., supplied from an operation input unit (not shown). For example, the control unit 14 drives the imaging lens of the optical system 11 to perform focus control, and drives the shutter device 12. In addition, for example, the control unit 14 switches the operation mode of the solid-state imaging device 13.
  • the operation modes include, for example, a live view mode in which a live view image is generated and displayed on the display unit 16, a recording mode in which a recorded image is generated and recorded in the recording unit 17, and a playback mode in which a moving image or still image recorded in the recording unit 17 is displayed on the display unit 16.
  • the image processing unit 15 performs a predetermined process according to the operation mode supplied from the control unit 14. Specifically, in the live view mode, the image processing unit 15 outputs a live view image output from the solid-state imaging device 13 to the display unit 16, and in the recording mode, the image processing unit 15 outputs a recorded image output from the solid-state imaging device 13 to the recording unit 17. In addition, in the playback mode, the image processing unit 15 outputs a moving image or a still image supplied from the recording unit 17 to the display unit 16 for display.
  • the image processing unit 15 can also perform a predetermined image processing on the image output from the solid-state imaging device 13 or the image supplied from the recording unit 17, and then output it to each subsequent unit.
  • the display unit 16 is composed of a thin display such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, and displays moving images or still images captured by the solid-state imaging device 13.
  • the recording unit 17 has a recording medium such as a hard disk or semiconductor memory, and records the moving images or still images captured by the solid-state imaging device 13 on the recording medium.
  • FIG. 2 is a diagram showing a schematic configuration of the solid-state imaging device 13 shown in FIG.
  • the solid-state imaging device 13 shows the configuration of a CMOS image sensor, which is a type of X-Y address type solid-state imaging device.
  • a CMOS image sensor is an image sensor that is manufactured by applying or partially using a CMOS process.
  • the solid-state imaging device 13 includes a pixel array section 41 and a peripheral circuit section.
  • the peripheral circuit section includes, for example, a vertical drive section 42, a column processing section 43, a horizontal drive section 44, and a system control section 45.
  • the solid-state imaging device 13 further includes a signal processing unit 46 and a data storage unit 47.
  • the signal processing unit 46 and the data storage unit 47 may be mounted on the same substrate as the pixel array unit 41, the vertical drive unit 42, etc., or may be arranged on a separate substrate.
  • the signal processing unit 46 and the data storage unit 47 may also be configured as a DSP (Digital Signal Processor) or the like on a semiconductor chip separate from the solid-state imaging device 13.
  • DSP Digital Signal Processor
  • the pixel array section 41 has a configuration in which pixels 51, each having a photoelectric conversion section (e.g., a photodiode) that generates an electric charge according to the amount of light received, are arranged two-dimensionally in a matrix in row and column directions.
  • the row direction refers to the pixel rows of the pixel array section 41, i.e., the horizontal arrangement direction
  • the column direction refers to the pixel columns of the pixel array section 41, i.e., the vertical arrangement direction.
  • An example of the circuit configuration of the pixel 51 will be described later with reference to FIG. 3.
  • the pixel array section 41 has a mixture of two types of pixels 51: normal pixels 51N and phase difference pixels 51S.
  • the normal pixels 51N are pixels that acquire and output pixel signals for video output
  • the phase difference pixels 51S are pixels that output phase difference signals for focus control by dividing the light receiving area into pupils with a light blocking film.
  • the phase difference signal obtained by the phase difference pixels 51S may be used as a signal for video output.
  • the detailed arrangement of the pixels 51 in the pixel array section 41 will be described later with reference to FIG. 4 etc.
  • pixel drive wiring 52 is wired in the row direction as a row signal line for each pixel row, and vertical signal lines 53 are wired in the column direction as a column signal line for each pixel column.
  • the pixel drive wiring 52 transmits a drive signal for driving the pixels 51 when reading out a signal.
  • the pixel drive wiring 52 is shown as a single wire, but is not limited to one wire.
  • One end of the pixel drive wiring 52 is connected to an output terminal of the vertical drive section 42 corresponding to each row.
  • the vertical drive unit 42 is composed of a shift register, an address decoder, etc., and drives each pixel 51 of the pixel array unit 41 all at once or on a row-by-row basis.
  • the vertical drive unit 42 together with the system control unit 45, constitutes a drive unit that controls the operation of each pixel 51 of the pixel array unit 41.
  • the vertical drive unit 42 generally has two scanning systems, a read scanning system and a sweep scanning system, although the specific configuration is not shown in the figure.
  • the readout scanning system sequentially selects and scans the pixels 51 of the pixel array section 41 row by row in order to read out signals from the pixels 51.
  • the signals read out from the pixels 51 are analog signals.
  • the sweep scanning system performs sweep scanning on the readout row on which the readout scanning system performs readout scanning, prior to the readout scanning by the exposure time.
  • the electronic shutter operation refers to the operation of discarding the charge in the photoelectric conversion unit and starting a new exposure (starting the accumulation of charge).
  • the signal read out by the read operation of the read scanning system corresponds to the amount of light received since the immediately preceding read operation or electronic shutter operation.
  • the period from the read timing of the immediately preceding read operation or the sweep timing of the electronic shutter operation to the read timing of the current read operation is the exposure period of pixel 51.
  • the signals output from each pixel 51 in the row selected and scanned by the vertical drive unit 42 are input to the column processing unit 43 through each vertical signal line 53 for each column.
  • the column processing unit 43 has an ADC (Analog-Digital Converter) 54 for each column of the pixel array unit 41.
  • the ADC 54 performs CDS (Correlated Double Sampling) processing and AD conversion processing.
  • the CDS processing removes pixel-specific fixed pattern noise such as reset noise and threshold variation of the amplification transistor in the pixel.
  • the AD conversion processing converts the analog pixel signal into a digital signal.
  • the digital pixel signal after AD conversion is temporarily held inside the ADC 54 until it is read out.
  • the horizontal drive unit 44 is composed of a shift register, an address decoder, etc., and sequentially selects the ADCs 54 arranged on a column-by-column basis in the column processing unit 43. Through selective scanning by this horizontal drive unit 44, the pixel signals held within the ADCs 54 in the column processing unit 43 are sequentially output to the signal processing unit 46.
  • the system control unit 45 is composed of a timing generator that generates various timing signals, and controls the driving of the vertical driving unit 42, column processing unit 43, and horizontal driving unit 44 based on the various timings generated by the timing generator.
  • the system control unit 45 is supplied with mode information specifying an operation mode such as a live view mode or a recording mode from the control unit 14 of the imaging device 1, and the system control unit 45 controls the driving of the pixel array unit 41 according to the operation mode.
  • the signal processing unit 46 has at least an arithmetic processing function and performs various signal processing such as arithmetic processing on the pixel signals output from the column processing unit 43.
  • the signal processing unit 46 can perform signal processing to generate a focus control signal using the phase difference signal of a pair of phase difference pixels 51S whose light-shielding regions are symmetrical.
  • the signal processing unit 46 can perform signal processing such as black level adjustment and column variation correction using a pixel signal obtained from a normal pixel 51N.
  • the signal processing unit 46 can perform processing to detect the face region or pupil region of the subject as a region of interest using AI (artificial intelligence) or the like.
  • the data storage unit 47 temporarily stores data necessary for signal processing in the signal processing unit 46.
  • the pixel signals processed in the signal processing unit 46 are converted into a predetermined format and output from the output unit 48 to the outside of the device.
  • FIG. 3 shows an equivalent circuit of the pixel 51 .
  • the pixel 51 has a photodiode 71, a first transfer transistor 72, a memory section (MEM) 73, a second transfer transistor 74, an FD (floating diffusion) 75, a reset transistor 76, an amplification transistor 77, a selection transistor 78, and an emission transistor 79.
  • MEM memory section
  • FD floating diffusion
  • the photodiode 71 is a photoelectric conversion unit that generates an electric charge (signal charge) according to the amount of light received.
  • the anode terminal of the photodiode 71 is grounded, and the cathode terminal is connected to the memory unit 73 via the first transfer transistor 72.
  • the cathode terminal of the photodiode 71 is also connected to the discharge transistor 79.
  • the first transfer transistor 72 When the first transfer transistor 72 is turned on by a transfer signal TRX, it reads out the charge generated by the photodiode 71 and transfers it to the memory section 73.
  • the memory section 73 is a charge holding section that temporarily holds the charge until it is transferred to the FD 75.
  • the second transfer transistor 74 When the second transfer transistor 74 is turned on by a transfer signal TRG, it transfers the charge held in the memory section 73 to the FD 75.
  • FD75 is a charge-voltage conversion unit that converts the charge read from memory unit 73 into a voltage.
  • reset transistor 76 When reset transistor 76 is turned on by reset signal RST, the charge held in FD75 is discharged to constant voltage source VDD, thereby resetting the potential of FD75.
  • the amplification transistor 77 outputs a pixel signal according to the potential of the FD 75. That is, the amplification transistor 77 forms a source follower circuit with the load MOS 55 as a constant current source, and a pixel signal indicating a level according to the charge held in the FD 75 is output from the amplification transistor 77 to the column processing unit 43 ( Figure 2) via the selection transistor 78.
  • the load MOS 55 is provided, for example, in the column processing unit 43.
  • the selection transistor 78 is turned on when the pixel 51 is selected by the selection signal SEL, and outputs the signal of the pixel 51 to the column processing unit 43 via the vertical signal line 53.
  • the discharge transistor 79 is turned on by the discharge signal OFG, it discharges unnecessary charges accumulated in the photodiode 71 to the constant voltage source VDD.
  • the transfer signals TRX and TRG, the reset signal RST, the selection signal SEL, and the discharge signal OFG are controlled by the vertical drive unit 42 and are supplied via the pixel drive wiring 52 ( Figure 2).
  • a high-level discharge signal OFG is supplied to the discharge transistor 79, turning the transistor 79 on, discharging unnecessary charges stored in the photodiode 71 to the constant voltage source VDD, and resetting the photodiode 71.
  • the discharge transistor 79 is turned off by a low-level discharge signal OFG, and exposure begins for all pixels.
  • the first transfer transistor 72 When a predetermined exposure time has elapsed, in all pixels of the pixel array section 41, the first transfer transistor 72 is turned on by the transfer signal TRX, and the charge accumulated in the photodiode 71 is transferred to the memory section 73.
  • the charge held in the memory section 73 of each pixel 51 is read out to the column processing section 43 sequentially, row by row.
  • the second transfer transistor 74 of the pixel 51 in the readout row is turned on by the transfer signal TRG, and the charge held in the memory section 73 is transferred to the FD 75.
  • the selection transistor 78 is turned on by the selection signal SEL, and a signal indicating a level corresponding to the charge held in the FD 75 is output from the amplification transistor 77 via the selection transistor 78 to the column processing section 43.
  • the pixel 51 having the pixel circuit described above is capable of setting the same exposure time for all pixels in the pixel array section 41, temporarily storing the charge in the memory section 73 after exposure is complete, and performing global shutter operation (imaging) by sequentially reading out the charge from the memory section 73 row by row.
  • the circuit configuration of the pixel 51 is not limited to the configuration shown in FIG. 3.
  • FIG. 4 is a diagram showing an example of a detailed arrangement of the pixels 51 in the pixel array section 41. As shown in FIG. 4
  • the pixel array section 41 has a plurality of pixels 51 arranged two-dimensionally in a matrix.
  • the plurality of pixels 51 are arranged in an effective pixel area 101 arranged in the center of the pixel array section 41, and an OPB pixel area 102 arranged on the outer periphery of the pixel array section 41.
  • the OPB pixel area 102 is colored gray, and the boundary between the effective pixel area 101 and the OPB pixel area 102 is indicated by a dashed line.
  • phase difference pixels 51 are arranged in the effective pixel region 101.
  • the phase difference pixels 51S are arranged in the pixel array section 41 in which the pixels 51 are arranged two-dimensionally in a matrix.
  • phase difference rows in which the phase difference pixels 51S are arranged are arranged every fifth row, and in each phase difference row, the phase difference pixels 51S and normal pixels 51N are arranged alternately in the horizontal direction.
  • the phase difference pixels 51S include pixels whose pupil division direction is the vertical direction (column direction), pixels whose pupil division direction is the horizontal direction (row direction), pixels whose pupil division direction is the diagonal direction, and the like.
  • OPB pixels 51B are arranged, each having a light-shielding film formed over the entire pixel region.
  • the OPB pixels 51B are driven in the same manner as the normal pixels 51N in the effective pixel region 101, and detect a reference signal for the black level.
  • two rows of pixels 51 near the top side and two rows near the left side of the pixel array section 41, which is configured as a rectangular region are used as the OPB pixels 51B, but the number of rows and columns of the OPB pixels 51B can be set arbitrarily, and they only need to be formed near at least one side of each side of the pixel array section 41, which is configured as a rectangular region.
  • FIG. 5 shows an example of a color filter arrangement for pixels 51 in the pixel array section 41.
  • each pixel 51 of the pixel array unit 41 for example, as shown in FIG. 5, color filters are arranged in a so-called Bayer array in which units of R (red), Gr (green), Gb (green), and B (blue) color filters are arranged in four pixels (two pixels in the horizontal direction and two pixels in the vertical direction (2x2)), are repeatedly arranged in the row and column directions.
  • Phase difference rows in which the phase difference pixels 51S are arranged are arranged every fifth row, and among the pixel rows in which Gb color filters and B color filters are arranged alternately, the pixel 51 that should be the B color filter is replaced with the phase difference pixel 51S.
  • a color filter is not formed in the phase difference pixel 51S, but a color filter may be formed.
  • the color filter arrangement of the pixels 51 in the pixel array section 41 is not limited to the example in FIG. 5, and other arrangements are also possible.
  • the color filter arrangement may be an RGB-W arrangement in which an R pixel having an R color filter, a G pixel having a G (green) color filter, and a B pixel having a B (blue) color filter are combined with a W pixel.
  • the W pixel is a pixel having a W filter that transmits light of all colors (wavelengths) of R (red), G (green), and B (blue).
  • the color filter arrangement may be an RGB-IR arrangement in which an R pixel, a G pixel, and a B pixel are combined with an IR pixel.
  • the IR pixel is a pixel having an IR filter that transmits only infrared light.
  • the position at which the phase difference pixel 51S is arranged may also be arbitrary.
  • the solid-state imaging device 13 In live view mode, the solid-state imaging device 13 generates and outputs a live view image to be displayed on the display unit 16 of the imaging device 1. In live view mode, the live view image is generated by thinning readout, which thins out and reads out a portion of the pixels 51 of all the pixels in the pixel array unit 41. Also, in live view mode, the solid-state imaging device 13 detects the face region and pupil region of the subject as a region of interest, and generates and outputs an image in which a region frame (region information) indicating the region of interest is superimposed on the image generated by thinning readout as a live view image.
  • a region frame region information
  • Live view mode driving using comparative driving control 6 is a diagram for explaining a drive control (hereinafter referred to as a comparative drive control) for comparison with the drive control in the live view mode by the solid-state imaging device 13.
  • This comparative drive control can also be executed by the solid-state imaging device 13, and therefore will be explained as being executed by the solid-state imaging device 13.
  • the frequency of the vertical synchronization signal XVS is, for example, 120 Hz.
  • the vertical drive unit 42 uses raster scan driving to time-divisionally read out the phase difference pixels 51S and the normal pixels 51N of all the pixels 51 in the pixel array unit 41. Specifically, first, the vertical drive unit 42 sequentially reads out the phase difference signals of the phase difference pixels 51S of all the pixels 51 in the pixel array unit 41, row by row. After reading out the phase difference pixels 51S, the vertical drive unit 42 sequentially reads out the pixel signals of the normal pixels 51N, row by row, by thinning out readout.
  • the in-plane phase difference signal Af1 of each phase difference pixel 51S is read out from the pixel array section 41, and then the pixel signal of the normal pixel 51N constituting the captured image FN1 for the live view image is read out.
  • the signal processing unit 46 executes recognition processing to detect the face area using the captured image FN1.
  • the signal processing unit 46 also outputs the image signal of the captured image FN1 from the output unit 48.
  • the captured image FN1 is displayed as a live view image LV1 on the display unit 16 of the imaging device 1.
  • the recognition processing to detect the face area in the captured image FN1 has not been completed, so area information indicating the face area is not superimposed on the live view image LV1.
  • the in-plane phase difference signals Af2 of each phase difference pixel 51S are read out from the pixel array section 41, and then the pixel signals of the normal pixels 51N that constitute the captured image FN2 for the live view image are read out.
  • the signal processing unit 46 executes recognition processing to detect a face area using the captured image FN2.
  • the signal processing unit 46 also outputs an image signal of the captured image FN2 from the output unit 48.
  • the signal processing unit 46 outputs an image signal in which an area frame indicating the face area, which is the processing result of the recognition processing performed on the captured image FN1, is superimposed on the captured image FN2.
  • a live view image LV2 in which the face area frame, which is the processing result of the recognition processing of the captured image FN1, is superimposed on the captured image FN2 is displayed on the display unit 16 of the imaging device 1.
  • the in-plane phase difference signals Af3 of each phase difference pixel 51S are read out from the pixel array section 41, and then the pixel signals of the normal pixels 51N that constitute the captured image FN3 for the live view image are read out.
  • the signal processing unit 46 executes recognition processing to detect a face area using the captured image FN3.
  • the signal processing unit 46 also outputs an image signal of the captured image FN3 from the output unit 48.
  • the signal processing unit 46 outputs an image signal in which an area frame indicating the face area, which is the processing result of the recognition processing performed on the captured image FN2, is superimposed on the captured image FN3.
  • a live view image LV3 in which the face area frame, which is the processing result of the recognition processing of the captured image FN2, is superimposed on the captured image FN3 is displayed on the display unit 16 of the imaging device 1.
  • the driving of the pixel array section 41 and the processing of the signal processing section 46 are performed in the same manner for the fourth frame period FL4 and onwards.
  • the captured image FN for the live view image is read out and then the face recognition process is performed, so that the face area frame, which is the result of the recognition process, is superimposed on the captured image FN one frame later. Therefore, if the subject is moving quickly, a misalignment may occur between the subject position and the face area frame in the captured image FN.
  • the output of the captured image FN can be delayed by one frame period to generate a live view image LV in which the captured image FN is synchronized with the recognition process result, and output it to the imaging device 1.
  • the display is delayed by one frame period, reducing the real-time nature of the live view image LV.
  • FIG. 7 shows the arrangement of the pixel array section 41 shown in FIG. 5.
  • numbers indicating the row numbers of the pixel array section 41 are written to the left of the pixel array section 41.
  • the system control unit 45 of the solid-state imaging device 13 sets the LV pixel 51N from among the normal pixels 51N excluding the phase difference pixels 51S of the pixel array unit 41.
  • the LV pixel 51N is the normal pixel 51N that is read out for the live view image.
  • the system control unit 45 also sets a pre-read pixel 51N from among the normal pixels 51N excluding the phase difference pixels 51S of the pixel array unit 41.
  • the pre-read pixel 51N is a normal pixel 51N that is read out prior to the LV pixel 51N for the recognition process.
  • the pre-read pixel 51N can be the same pixel as the LV pixel 51N, but in the example of FIG. 7, it is a pixel different from the LV pixel 51N. In this case, conditions such as gain and shutter speed can be set separately for the pre-read pixel 51N and the LV pixel 51N.
  • the system control unit 45 sets the pixel row in which the phase difference pixels 51S are arranged as the phase difference row from which the phase difference signal is read out.
  • the system control unit 45 sets the pixel rows of the LV pixels 51N for the live view image at intervals of three rows (every other row), and sets the pixel rows of the read-ahead pixels 51N for the recognition process at intervals of three rows (every other row).
  • the phase difference rows are set to the second row, the eighth row, the fourteenth row (not shown), etc.
  • the LV pixel rows which are the pixel rows of the LV pixel 51N are set to the first row, the fourth row, the seventh row, the tenth row, etc.
  • the pre-read pixel rows which are the pixel rows of the pre-read pixel 51N are set to the third row, the sixth row, the ninth row, the twelfth row, etc.
  • the fifth row, the eleventh row, etc. are pixel rows that are not read out in the live view mode.
  • FIG. 8 shows this drive control on a frame-by-frame basis.
  • the frequency of the vertical synchronization signal XVS is, for example, 120 Hz.
  • the driving for reading out the phase difference pixels 51S is performed in a time-division manner prior to the driving for reading out the normal pixels 51N, which is the same as the comparison driving control described in FIG. 6.
  • the vertical driving unit 42 sequentially reads out the phase difference signals of the phase difference pixels 51S of all the pixels 51 in the pixel array unit 41 by row using raster scan driving.
  • the vertical driving unit 42 sequentially reads out the pre-read pixel rows, which are the pixel rows of the pre-read pixels 51N, by row.
  • the vertical driving unit 42 sequentially reads out the LV pixel rows, which are the pixel rows of the LV pixels 51N, by row.
  • the in-plane phase difference signal Af1 of each phase difference pixel 51S is read out from the pixel array section 41, and then the pixel signal of the pre-read pixel 51N constituting the image FNa1 for recognition processing is read out. After the pixel signal of the pre-read pixel 51N is read out, the pixel signal of the LV pixel 51N constituting the captured image FNb1 for the live view image is read out.
  • the signal processing unit 46 executes recognition processing to detect the face area using image FNa1.
  • the signal processing unit 46 outputs an image signal in which a face area frame, which is the result of the face recognition processing performed using image FNa1, is superimposed on the captured image FNb1.
  • a live view image LV1' in which a face area frame, which is the result of the recognition processing of image FNa1, is superimposed on the captured image FNb1 is displayed on the display unit 16 of the imaging device 1.
  • the pixel signal of the pre-read pixel 51N constituting the image FNa2 for recognition processing is read out.
  • the pixel signal of the LV pixel 51N constituting the captured image FNb2 for the live view image is read out.
  • the signal processing unit 46 executes recognition processing to detect the face area using image FNa2.
  • the signal processing unit 46 outputs an image signal in which a face area frame, which is the result of the face recognition processing performed using image FNa2, is superimposed on the captured image FNb2.
  • a live view image LV2' in which a face area frame, which is the result of the recognition processing of image FNa2, is superimposed on the captured image FNb2 is displayed on the display unit 16 of the imaging device 1.
  • the pixel signal of the pre-read pixel 51N constituting the image FNa3 for recognition processing is read out.
  • the pixel signal of the LV pixel 51N constituting the captured image FNb3 for the live view image is read out.
  • the signal processing unit 46 executes recognition processing to detect the face area using image FNa3.
  • the signal processing unit 46 outputs an image signal in which a face area frame, which is the result of the face recognition processing performed using image FNa3, is superimposed on the captured image FNb3.
  • a live view image LV3' in which a face area frame, which is the result of the recognition processing of image FNa3, is superimposed on the captured image FNb3 is displayed on the display unit 16 of the imaging device 1.
  • the driving of the pixel array section 41 and the processing of the signal processing section 46 are performed in the same manner for the fourth frame period FL4 and onwards.
  • the solid-state imaging device 13 reads out the pixel signals of the pre-read pixels 51N that constitute image FNa1 and performs recognition processing using image FNa1 before completing the readout of the pixel signals of the LV pixels 51N that constitute the captured image FNb for the live view image, so that the recognition processing can be completed at the point in time when the readout of the pixel signals of the LV pixels 51N for the live view image is completed.
  • This makes it possible to superimpose a face area frame of the recognition processing result for the same frame period FL without delay on the captured image FNb for the live view image.
  • step S21 the system control unit 45 of the solid-state imaging device 13 selects, from among the normal pixels 51N of the pixel array unit 41, LV pixels 51N for a live view image and pre-read pixels 51N that are read before the LV pixels 51N for recognition processing.
  • the pixel rows of the LV pixels 51N are set at intervals of three rows (every other row), and the pixel rows of the pre-read pixels 51N are set at intervals of three rows (every other row), but the settings of the LV pixels 51N and the pre-read pixels 51N are not limited to this.
  • the pixel rows of the LV pixels 51N may be set at intervals of six rows (every other row), and the pixel rows of the pre-read pixels 51N may be set at intervals of six rows (every other row).
  • the spacing between pixel rows of the LV pixels 51N and the spacing between pixel rows of the pre-reading pixels 51N do not need to be the same and can be set to different values.
  • the pixel rows of the LV pixels 51N can be set to a predetermined thinning rate to generate a live view image.
  • the pixel rows of the pre-reading pixels 51N can be set to a predetermined thinning rate depending on the content of the process, such as the target to be recognized or detected.
  • the system control unit 45 can set the spacing between three rows with a thinning rate of 1/3 when performing pupil recognition, set the spacing between six rows with a thinning rate of 1/6 when performing face recognition, and set the spacing between 18 rows with a thinning rate of 1/18 when performing color recognition of the entire image.
  • the vertical drive unit 42 starts exposure of each pixel 51 to be read out in the pixel array unit 41.
  • step S22 the vertical drive unit 42 determines whether the exposure period of the pre-read pixel 51N has ended, and waits until it is determined that the exposure period has ended. If it is determined in step S22 that the exposure period of the pre-read pixel 51N has ended, the process proceeds to step S23, and the vertical drive unit 42 sequentially reads out the pixel rows of the pre-read pixel 51N using the raster scan method.
  • step S24 the signal processing unit 46 executes a recognition process using the image FNa that is composed of the pixel signals of the read-ahead pixels 51N.
  • a recognition process is executed to detect a face area in the image FNa.
  • step S25 the vertical drive unit 42 determines whether the exposure period of the LV pixel 51N has ended, and waits until it is determined that the exposure period has ended. If it is determined in step S25 that the exposure period of the LV pixel 51N has ended, the process proceeds to step S26, and the vertical drive unit 42 sequentially reads out the pixel rows of the LV pixel 51N using the raster scan method.
  • step S27 the signal processing unit 46 generates a live view image LV' in which a face area frame, which is the result of the recognition processing of the image FNa in the same frame period FL, is superimposed on the captured image FNb composed of the pixel signal of the LV pixel 51N, and outputs the image to the downstream image processing unit 15.
  • steps S21 to S27 correspond to one live view image LV', and the drive control process in FIG. 9 is repeatedly executed during each frame period.
  • a pixel different from the LV pixel 51N for the live view image is used as the pre-read pixel 51N, but the same pixel as the LV pixel 51N may be set.
  • the pixel signal as the LV pixel 51N for the live view image can be generated by an interpolation process using at least one of the pixel signal when pre-read as the pre-read pixel 51N or the pixel signals around it.
  • a pixel circuit capable of global shutter type operation has been described as the circuit configuration of pixel 51.
  • imaging a pixel circuit capable of global shutter type operation
  • the pixel signal of pre-reading pixel 51N can be used as the pixel signal of LV pixel 51N as is.
  • the solid-state imaging device 13 includes a pixel array unit 41 in which two types of pixels 51, the normal pixels 51N and the phase difference pixels 51S, are two-dimensionally arranged in a matrix, a vertical drive unit 42 that controls the reading of signals generated by the pixels 51, and a signal processing unit 46 that generates a captured image (live view image) using the signals of the read pixels 51.
  • the vertical drive unit 42 reads out some of the normal pixels 51N of the pixel array unit 41 as pre-read pixels 51N (first pixels) first, and reads out some of the normal pixels 51N of the pixel array unit 41 as LV pixels 51N (second pixels) after the pre-read pixels 51N.
  • the signal processing unit 46 performs a process of reflecting the processing result of the process using the pre-read pixels 51N in the captured image (live view image) using the LV pixels 51N. This allows the process of reflecting the result in the captured image (live view image) to be executed without delay from the display of the captured image.
  • the signal processing unit 46 performs a process of reflecting the results of the process using the pre-read pixels 51N in the captured image, for example, when the process using the pre-read pixels 51N is a recognition process that recognizes a face or an eye, to superimpose the results of the recognition process (such as a face area frame) on the captured image. Also, for example, when the process using the pre-read pixels 51N is a color recognition process that recognizes the color of the entire image, the signal processing unit 46 performs a white balance correction process that reflects the results of the color recognition process in the captured image.
  • the processing using the pre-reading pixels 51N is not limited to recognition processing.
  • it may be processing to detect an object in a captured image, or processing to detect exposure conditions, etc.
  • the pixel array unit 41 is configured to have normal pixels 51N and phase difference pixels 51S, but the pixel array unit 41 may be configured to have only normal pixels 51N arranged two-dimensionally in a matrix without phase difference pixels 51S.
  • FIG. 10 is a diagram showing an example of use of an image sensor using the above-mentioned solid-state imaging device 13.
  • FIG. 10 is a diagram showing an example of use of an image sensor using the above-mentioned solid-state imaging device 13.
  • the above-mentioned solid-state imaging device 13 can be used as an image sensor in various cases, for example, to sense light such as visible light, infrared light, ultraviolet light, and X-rays, as follows:
  • - Devices that take images for viewing such as digital cameras and mobile devices with camera functions
  • - Devices used for traffic purposes such as in-vehicle sensors that take images of the front and rear of a car, the surroundings, and the interior of the car for safe driving such as automatic stopping and for recognizing the driver's state, surveillance cameras that monitor moving vehicles and roads, and distance measuring sensors that measure the distance between vehicles, etc.
  • - Devices used in home appliances such as TVs, refrigerators, and air conditioners to take images of users' gestures and operate devices in accordance with those gestures
  • - Devices used for medical and healthcare purposes such as endoscopes and devices that take images of blood vessels by receiving infrared light
  • - Devices used for security purposes such as surveillance cameras for crime prevention and cameras for person authentication
  • - Devices used for beauty purposes such as skin measuring devices that take images of the skin and microscopes that take images of the scalp
  • - Devices used for sports such as action cameras and wearable cameras for sports, etc.
  • the technology of the present disclosure can employ the following configurations. (1) a pixel array unit in which a plurality of pixels are two-dimensionally arranged in a matrix; A drive unit that controls reading of signals generated by the pixels; a signal processing unit that generates a captured image using the read-out signals of the pixels, the drive unit first reads out a first pixel which is a pixel that is a part of the pixel array unit, and reads out a second pixel which is a pixel that is a part of the pixel array unit after the first pixel; The signal processing unit performs a process of reflecting a processing result of the process using the first pixel in the captured image using the second pixel.
  • the pixels include normal pixels which are pixels that acquire and output pixel signals for video output, and phase difference pixels which are pixels that output phase difference signals,
  • the predetermined thinning rate is set according to the content of processing using the first pixels.
  • a solid-state imaging device including a pixel array section in which a plurality of pixels are two-dimensionally arranged in a matrix, a drive section, and a signal processing section; the drive unit first reads out a first pixel which is a pixel that is a part of the pixel array unit, and reads out a second pixel which is a pixel that is a part of the pixel array unit after the first pixel; the signal processing unit performs processing for reflecting a processing result of the processing using the first pixel in an image captured using the second pixel.
  • (11) a pixel array unit in which a plurality of pixels are two-dimensionally arranged in a matrix;
  • a drive unit that controls reading of signals generated by the pixels;
  • a signal processing unit that generates a captured image using the read-out signals of the pixels, the drive unit first reads out a first pixel which is a pixel that is a part of the pixel array unit, and reads out a second pixel which is a pixel that is a part of the pixel array unit after the first pixel;
  • the signal processing unit performs processing to reflect a processing result of processing using the first pixel in the captured image using the second pixel.
  • Imaging device 13 Solid-state imaging device, 14 Control unit, 15 Image processing unit, 16 Display unit, 17 Recording unit, 41 Pixel array unit, 42 Vertical drive unit, 43 Column processing unit, 44 Horizontal drive unit, 45 System control unit, 46 Signal processing unit, 47 Data storage unit, 48 Output unit, 51 Pixel, 51N Normal pixel (pre-reading pixel, LV pixel), 51S Phase difference pixel, 51B OPB pixel, 101 effective pixel area, 102 OPB pixel area, FL1 first frame period, FL2 second frame period, FL3 third frame period, FL4 fourth frame period, FNa (FNa1, FNa2, FNa3, FNa4) image, FNb (FNb1, FNb2, FNb3, FNb4) captured image, LV' (LV1', LV2', LV3', LV4') live view image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示は、ライブビュー画像に反映させる処理をライブビュー画像の表示に遅れることなく実行できるようにする固体撮像装置およびその制御方法、並びに電子機器に関する。 固体撮像装置は、複数の画素が行列状に２次元配置された画素アレイ部と、画素で生成された信号の読み出しを制御する駆動部と、読み出された画素の信号を用いて撮影画像を生成する信号処理部とを備え、駆動部は、画素アレイ部の一部の画素である第１の画素を先に読み出し、第１の画素より後に画素アレイ部の一部の画素である第２の画素を読み出し、信号処理部は、第１の画素を用いた処理の処理結果を、第２の画素を用いた撮影画像に反映させる処理を行う。本開示は、例えば、ライブビューモードを備える固体撮像装置等に適用できる。

Description

固体撮像装置およびその制御方法、並びに電子機器
　本開示は、固体撮像装置およびその制御方法、並びに電子機器に関し、特に、ライブビュー画像に反映させる処理をライブビュー画像の表示に遅れることなく実行できるようにした固体撮像装置およびその駆動方法、並びに電子機器に関する。
　複数の画素が行列状に配列された画素アレイ部に、映像出力用の画素である通常画素と、焦点検出用の位相差画素とを配置した撮像素子が知られている。このような撮像素子において、通常画素の信号を読み出す第１の期間と、位相差画素の信号を読み出す第２の期間とを分けて駆動することにより、位相差検出終了までの時間を短縮し、撮像開始から合焦完了までの時間を短くすることで合焦のレスポンスを向上させたものがある（例えば、特許文献１参照）。
　撮像素子において、画像確認用としてライブビュー画像をディスプレイに表示するライブビューモードがある。ライブビュー画像には、例えば、被写体の顔領域等を注目領域として重畳する場合がある。
特開２０１３－２２３０５４号公報
　従来、例えば、ライブビュー画像に被写体の顔領域を重畳表示する場合、顔領域の検出処理に所定の処理時間が必要であるため、検出した顔領域を、１フレーム後のライブビュー画像に重畳表示させるか、ライブビュー画像の表示を１フレーム分ディレイさせ、検出した顔領域を重畳させることが行われていた。
　本開示は、このような状況に鑑みてなされたものであり、ライブビュー画像に反映させる処理をライブビュー画像の表示に遅れることなく実行できるようにするものである。
　本開示の第１の側面の固体撮像装置は、
　複数の画素が行列状に２次元配置された画素アレイ部と、
　前記画素で生成された信号の読み出しを制御する駆動部と、
　読み出された前記画素の信号を用いて撮影画像を生成する信号処理部と
　を備え、
　前記駆動部は、前記画素アレイ部の一部の前記画素である第１の画素を先に読み出し、前記第１の画素より後に前記画素アレイ部の一部の前記画素である第２の画素を読み出し、
　前記信号処理部は、前記第１の画素を用いた処理の処理結果を、前記第２の画素を用いた前記撮影画像に反映させる処理を行う。
　本開示の第２の側面の固体撮像装置の制御方法は、
　複数の画素が行列状に２次元配置された画素アレイ部と、駆動部と、信号処理部とを備える固体撮像装置の、
　前記駆動部が、前記画素アレイ部の一部の前記画素である第１の画素を先に読み出し、前記第１の画素より後に前記画素アレイ部の一部の前記画素である第２の画素を読み出し、
　前記信号処理部が、前記第１の画素を用いた処理の処理結果を、前記第２の画素を用いた撮影画像に反映させる処理を行う。
　本開示の第３の側面の電子機器は、
　複数の画素が行列状に２次元配置された画素アレイ部と、
　前記画素で生成された信号の読み出しを制御する駆動部と、
　読み出された前記画素の信号を用いて撮影画像を生成する信号処理部と
　を備え、
　前記駆動部は、前記画素アレイ部の一部の前記画素である第１の画素を先に読み出し、前記第１の画素より後に前記画素アレイ部の一部の前記画素である第２の画素を読み出し、
　前記信号処理部は、前記第１の画素を用いた処理の処理結果を、前記第２の画素を用いた前記撮影画像に反映させる処理を行う
　固体撮像装置
　を備える。
　本開示の第１ないし第３の側面においては、複数の画素が行列状に２次元配置された画素アレイ部と、駆動部と、信号処理部とを備える固体撮像装置において、前記画素アレイ部の一部の前記画素である第１の画素が先に読み出され、前記第１の画素より後に前記画素アレイ部の一部の前記画素である第２の画素が読み出され、前記第１の画素を用いた処理の処理結果が、前記第２の画素を用いた撮影画像に反映される。
　固体撮像装置及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本開示の技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。 図１の固体撮像装置の概略構成を示す図である。 画素の等価回路を示す図である。 画素アレイ部における画素の詳細配置例を示す図である。 画素アレイ部における画素のカラーフィルタ配列例を示す図である。 本駆動制御と比較するためのライブビューモードの駆動制御を説明する図である。 図１の固体撮像装置のライブビューモードの駆動制御を説明する図である。 図１の固体撮像装置のライブビューモードの駆動制御を説明する図である。 図１の固体撮像装置のライブビューモードにおける駆動制御処理を説明するフローチャートである。 イメージセンサの使用例を説明する図である。
　以下、添付図面を参照しながら、本開示の技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．撮像装置の構成例
２．固体撮像装置の概略構成例
３．画素の回路構成例
４．画素アレイ部の画素配置例
５．ライブビューモードの駆動制御
　５．１　比較駆動制御によるライブビューモード駆動
　５．２　固体撮像装置によるライブビューモード駆動
　５．３　ライブビューモード駆動制御の処理フロー
６．まとめ
７．イメージセンサの使用例
＜１．撮像装置の構成例＞
　図１は、本開示の技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
　図１に示される撮像装置１は、例えばデジタル一眼カメラやデジタルスチルカメラ、デジタルビデオカメラ、携帯型電話機、多機能型携帯電話機などの機器からなる。
　撮像装置１は、光学系１１、シャッタ装置１２、固体撮像装置１３、制御部１４、画像処理部１５、表示部１６、および記録部１７を備えて構成され、静止画像および動画像を撮像可能である。
　光学系１１は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を固体撮像装置１３に導き、固体撮像装置１３の受光面に結像させる。
　シャッタ装置１２は、光学系１１および固体撮像装置１３の間に配置され、制御部１４の制御に従って、固体撮像装置１３への光照射期間および遮光期間を制御する。
　固体撮像装置１３は、複数の画素が設けられた受光面を有し、光学系１１およびシャッタ装置１２を介して受光面に結像される光に応じて、一定期間、信号電荷を生成し、蓄積する。固体撮像装置１３は、被写体からの光を光電変換することで得られた画像を生成し、画像処理部１５に供給する。
　固体撮像装置１３により撮影される画像には、特に記録画像とライブビュー画像とがある。記録画像は、ユーザが鑑賞等のために記録しておくことを目的として、ユーザのシャッタボタン操作等の記録開始操作により撮影される画像である。記録画像は、静止画像でもよいし、動画像でもよい。これに対してライブビュー画像は、記録画像の撮影前に、これから撮影される記録画像の画角等を確認するために事前にユーザに対して提示される確認用の動画像である。ライブビュー画像は、スルー画像などとも呼ばれる。
　制御部１４は、不図示の操作入力部から供給される操作信号等に応じて、撮像装置１全体の動作を制御する。例えば、制御部１４は、光学系１１の撮像レンズを駆動してフォーカス制御を行ったり、シャッタ装置１２を駆動する。また例えば、制御部１４は、固体撮像装置１３の動作モードを切り替える。動作モードには、例えば、ライブビュー画像を生成して表示部１６に表示するライブビューモードと、記録画像を生成して記録部１７に記録させる記録モードと、記録部１７に記録された動画像または静止画像を表示部１６に表示させる再生モード等がある。
　画像処理部１５は、制御部１４から供給される動作モードに従った所定の処理を行う。具体的には、画像処理部１５は、ライブビューモードでは、固体撮像装置１３から出力されたライブビュー画像を表示部１６に出力し、記録モードでは、固体撮像装置１３から出力された記録画像を記録部１７に出力する。また、再生モードでは、画像処理部１５は、記録部１７から供給される動画像または静止画像を表示部１６に出力して表示させる。画像処理部１５は、固体撮像装置１３から出力された画像や、記録部１７から供給された画像に所定の画像処理を施した後、後段の各部へ出力することも可能である。
　表示部１６は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、固体撮像装置１３で撮影された動画像または静止画像を表示する。記録部１７は、ハードディスクや半導体メモリ等の記録媒体を有し、固体撮像装置１３で撮影された動画像または静止画像を記録媒体に記録する。
＜２．固体撮像装置の概略構成例＞
　図２は、図１の固体撮像装置１３の概略構成を示す図である。
　固体撮像装置１３は、例えばX-Yアドレス方式の固体撮像装置の一種であるCMOSイメージセンサの構成を示している。CMOSイメージセンサとは、CMOSプロセスを応用して、または、部分的に使用して製造されるイメージセンサである。
　固体撮像装置１３は、画素アレイ部４１と周辺回路部とを備える。周辺回路部は、例えば、垂直駆動部４２、カラム処理部４３、水平駆動部４４、及び、システム制御部４５を備える。
　固体撮像装置１３は、さらに、信号処理部４６及びデータ格納部４７を備えている。信号処理部４６及びデータ格納部４７は、画素アレイ部４１、垂直駆動部４２等と同じ基板上に搭載しても構わないし、別の基板上に配置するようにしても構わない。また、信号処理部４６及びデータ格納部４７は、固体撮像装置１３とは別の半導体チップに、DSP（Digital Signal Processor）等で構成されてもよい。
　画素アレイ部４１は、受光した光量に応じた電荷を生成する光電変換部（例えばフォトダイオード）を有する画素５１が行方向及び列方向の行列状に２次元配置された構成を有する。ここで、行方向とは、画素アレイ部４１の画素行、すなわち水平方向の配列方向を言い、列方向とは、画素アレイ部４１の画素列、すなわち垂直方向の配列方向を言う。画素５１の回路構成例については、図３を参照して後述する。
　画素アレイ部４１には、通常画素５１Nと位相差画素５１Sの２種類の画素５１が混在して配置されている。通常画素５１Nは、映像出力用の画素信号を取得して出力する画素であり、位相差画素５１Sは、受光領域を遮光膜で瞳分割することにより、フォーカス制御用の位相差信号を出力する画素である。なお、位相差画素５１Sで得られる位相差信号は、映像出力用の信号として利用してもよい。画素アレイ部４１内の画素５１の詳細配置については、図４等を参照して後述する。
　画素アレイ部４１には、画素行ごとに行信号線としての画素駆動配線５２が行方向に沿って配線され、画素列ごとに列信号線としての垂直信号線５３が列方向に沿って配線されている。画素駆動配線５２は、画素５１から信号を読み出す際の駆動を行うための駆動信号を伝送する。図２では、画素駆動配線５２について１本の配線として示しているが、１本に限られるものではない。画素駆動配線５２の一端は、垂直駆動部４２の各行に対応した出力端に接続されている。
　垂直駆動部４２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部４１の各画素５１を全画素同時あるいは行単位等で駆動する。垂直駆動部４２は、システム制御部４５とともに、画素アレイ部４１の各画素５１の動作を制御する駆動部を構成している。垂直駆動部４２は、具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する。
　読出し走査系は、画素５１から信号を読み出すために、画素アレイ部４１の画素５１を行単位で順に選択走査する。画素５１から読み出される信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりも露光時間分だけ先行して掃出し走査を行う。
　この掃出し走査系による掃出し走査により、読出し行の画素５１の光電変換部から不要な電荷が掃き出されることによって各画素５１の光電変換部がリセットされる。そして、この掃出し走査系による不要電荷を掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部の電荷を捨てて、新たに露光を開始する（電荷の蓄積を開始する）動作のことを言う。
　読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に受光した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、画素５１における露光期間となる。
　垂直駆動部４２によって選択走査された行の各画素５１から出力される信号は、列ごとに垂直信号線５３の各々を通してカラム処理部４３に入力される。カラム処理部４３は、画素アレイ部４１の列ごとにADC(Analog-Digital Converter)５４を有している。ADC５４は、CDS(Correlated Double Sampling；相関２重サンプリング)処理及びAD変換処理を実行する。CDS処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。AD変換処理により、アナログの画素信号がデジタル信号に変換される。AD変換後のデジタルの画素信号は、読み出されるまでの間、ADC５４内部で一時的に保持される。
　水平駆動部４４は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部４３において列単位に設けられたADC５４を順番に選択する。この水平駆動部４４による選択走査により、カラム処理部４３においてADC５４内部で保持されていた画素信号が順番に信号処理部４６へ出力される。
　システム制御部４５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、タイミングジェネレータで生成された各種のタイミングを基に、垂直駆動部４２、カラム処理部４３、及び、水平駆動部４４などの駆動制御を行う。システム制御部４５には、撮像装置１の制御部１４から、ライブビューモード、記録モード等の動作モードを指定するモード情報が供給され、システム制御部４５は、動作モードに従った画素アレイ部４１の駆動を行うよう制御する。
　信号処理部４６は、少なくとも演算処理機能を有し、カラム処理部４３から出力される画素信号に対して演算処理等の種々の信号処理を行う。例えば、信号処理部４６は、遮光領域が対称となる対の位相差画素５１Sの位相差信号を用いて、フォーカス制御信号を生成する信号処理を行うことができる。また例えば、信号処理部４６は、通常画素５１Nから得られる画素信号を用いて、黒レベル調整、列ばらつき補正などの信号処理を行うことができる。また例えば、信号処理部４６は、注目領域として被写体の顔領域や瞳領域をＡＩ(人工知能)等を用いて検出する処理を行うことができる。データ格納部４７は、信号処理部４６での信号処理に当たって、その処理に必要なデータを一時的に格納する。信号処理部４６において信号処理された画素信号は、所定のフォーマットに変換され、出力部４８から装置外部へ出力される。
＜３．画素の回路構成例＞
　図３は、画素５１の等価回路を示している。
　画素５１は、フォトダイオード７１、第１転送トランジスタ７２、メモリ部（MEM）７３、第２転送トランジスタ７４、FD(フローティングディフュージョン)７５、リセットトランジスタ７６、増幅トランジスタ７７、選択トランジスタ７８、及び排出トランジスタ７９を有する。
　フォトダイオード７１は、受光量に応じた電荷（信号電荷）を生成する光電変換部である。フォトダイオード７１のアノード端子が接地されているとともに、カソード端子が第１転送トランジスタ７２を介してメモリ部７３に接続されている。また、フォトダイオード７１のカソード端子は、排出トランジスタ７９とも接続されている。
　第１転送トランジスタ７２は、転送信号TRXによりオンされたとき、フォトダイオード７１で生成された電荷を読み出し、メモリ部７３に転送する。メモリ部７３は、FD７５に電荷を転送するまでの間、一時的に電荷を保持する電荷保持部である。第２転送トランジスタ７４は、転送信号TRGによりオンされたとき、メモリ部７３に保持されている電荷をFD７５に転送する。
　FD７５は、メモリ部７３から読み出された電荷を電圧に変換する電荷電圧変換部である。リセットトランジスタ７６は、リセット信号RSTによりオンされたとき、FD７５に保持されている電荷が定電圧源VDDに排出されることで、FD７５の電位をリセットする。
　増幅トランジスタ７７は、FD７５の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ７７は定電流源としての負荷MOS５５とソースフォロワ回路を構成し、FD７５に保持されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ７７から選択トランジスタ７８を介してカラム処理部４３（図２）に出力される。負荷MOS５５は、例えば、カラム処理部４３内に設けられている。
　選択トランジスタ７８は、選択信号SELにより画素５１が選択されたときオンされ、画素５１の信号を、垂直信号線５３を介してカラム処理部４３に出力する。排出トランジスタ７９は、排出信号OFGによりオンされたとき、フォトダイオード７１に蓄積されている不要電荷を定電圧源VDDに排出する。転送信号TRX及びTRG、リセット信号RST、選択信号SEL、並び排出信号OFGは、垂直駆動部４２によって制御され、画素駆動配線５２（図２）を介して供給される。
　画素５１の動作について簡単に説明する。
　まず、露光開始前に、Highレベルの排出信号OFGが排出トランジスタ７９に供給されることにより排出トランジスタ７９がオンされ、フォトダイオード７１に蓄積されている不要電荷が定電圧源VDDに排出され、フォトダイオード７１がリセットされる。
　フォトダイオード７１のリセット後、排出トランジスタ７９が、Lowレベルの排出信号OFGによりオフされると、全画素で露光が開始される。
　予め定められた所定の露光時間が経過すると、画素アレイ部４１の全画素において、転送信号TRXにより第１転送トランジスタ７２がオンされ、フォトダイオード７１に蓄積されていた電荷が、メモリ部７３に転送される。
　第１転送トランジスタ７２がオフされた後、各画素５１のメモリ部７３に保持されている電荷が、行単位に、順次、カラム処理部４３に読み出される。読み出し動作としては、まず、読出し行の画素５１の第２転送トランジスタ７４が転送信号TRGによりオンされ、メモリ部７３に保持されている電荷が、FD７５に転送される。そして、選択トランジスタ７８が選択信号SELによりオンされることで、FD７５に保持されている電荷に応じたレベルを示す信号が、増幅トランジスタ７７から選択トランジスタ７８を介してカラム処理部４３に出力される。
　以上のような画素回路を有する画素５１は、露光時間を画素アレイ部４１の全画素で同一に設定し、露光終了後は電荷をメモリ部７３に一時的に保持しておいて、メモリ部７３から行単位に順次電荷を読み出すグローバルシャッタ方式の動作（撮像）が可能である。
　なお、画素５１の回路構成としては、図３に示した構成に限定されるものではなく、例えば、メモリ部７３を持たず、いわゆるローリングシャッタ方式による動作を行う回路構成を採用することもできる。
＜４．画素アレイ部の画素配置例＞
　図４は、画素アレイ部４１における画素５１の詳細配置例を示す図である。
　画素アレイ部４１は、行列状に２次元配置された複数の画素５１を有する。複数の画素５１は、画素アレイ部４１の中央部に配置された有効画素領域１０１と、それより外側で、画素アレイ部４１の外周部のOPB画素領域１０２とに配置されている。図４においてOPB画素領域１０２にはグレー色が付されており、有効画素領域１０１とOPB画素領域１０２との境界が破線で示されている。
　有効画素領域１０１には、通常画素５１Nか、または、位相差画素５１Sのどちらかの画素５１が配置されている。位相差画素５１Sをどのように配置するかは特に限定されないが、図４の例では、画素５１が行列状に２次元配置された画素アレイ部４１に対して、位相差画素５１Sが配置された位相差行が５行おきに配置され、各位相差行では、位相差画素５１Sと通常画素５１Nが水平方向に交互に配列されている。位相差画素５１Sには、瞳分割の方向を、縦方向（列方向）とした画素や、横方向（行方向）とした画素、斜め方向とした画素などがある。
　OPB画素領域１０２には、画素領域の全領域に遮光膜が形成されたOPB画素５１Bが配置されている。OPB画素５１Bは、有効画素領域１０１の通常画素５１Nと同様に駆動され、黒レベルの基準信号を検出する画素である。図４の例では、矩形領域で構成される画素アレイ部４１の上辺近傍の２行と、左辺近傍の２行からなる画素５１がOPB画素５１Bとされた例を示しているが、OPB画素５１Bの行数及び列数は任意に設定することができ、矩形領域で構成される画素アレイ部４１の各辺の少なくとも一辺近傍に形成されていればよい。
　図５は、画素アレイ部４１における画素５１のカラーフィルタ配列例を示す図である。
　画素アレイ部４１の各画素５１には、例えば、図５に示されるように、水平方向２画素及び垂直方向２画素（２ｘ２）の４画素にR(赤),Gr(緑),Gb(緑),B(青)のカラーフィルタを配置した単位を行方向及び列方向に繰り返し配列する、いわゆるベイヤ配列でカラーフィルタが配列されている。位相差画素５１Sを配置した位相差行は５行おきに配置されており、GbのカラーフィルタとBのカラーフィルタを交互に配列した画素行のうちの、Bのカラーフィルタとされるべき画素５１が、位相差画素５１Sに置き換えられている。本実施の形態では位相差画素５１Sにはカラーフィルタが形成されないこととするが、カラーフィルタが形成されてもよい。
　画素アレイ部４１における画素５１のカラーフィルタ配列は、図５の例に限定されず、その他の配列も可能である。例えば、カラーフィルタ配列を、Rのカラーフィルタを配置したR画素、G(緑)のカラーフィルタを配置したG画素、および、B(青)のカラーフィルタを配置したB画素に、W画素を組み合わせて配列させるRGB-W配列としてもよい。W画素は、R（赤）、G（緑）、および、B(青)の全ての色（波長）の光を透過させるWフィルタを有する画素である。あるいはまた、カラーフィルタ配列を、R画素、G画素、およびB画素にIR画素を組み合わせて配列させるRGB-IR配列としてもよい。IR画素は、赤外光のみを透過させるIRフィルタを有する画素である。位相差画素５１Sをどの位置に配置させるかも任意である。
＜５．ライブビューモードの駆動制御＞
　次に、固体撮像装置１３が、撮像装置１の制御部１４からのモード情報に従ってライブビューモードとして動作する場合の駆動制御について説明する。
　ライブビューモードでは、固体撮像装置１３は、撮像装置１の表示部１６に表示するためのライブビュー画像を生成して出力する。ライブビューモードでは、画素アレイ部４１の全画素の一部の画素５１を間引いて読み出す間引き読み出しによって、ライブビュー画像が生成される。また、ライブビューモードでは、固体撮像装置１３は、被写体の顔領域や瞳領域を注目領域として検出し、間引き読み出しにより生成した画像に、注目領域を示す領域枠（領域情報）を重畳した画像を、ライブビュー画像として生成して出力する。
　＜５．１　比較駆動制御によるライブビューモード駆動＞
　図６は、固体撮像装置１３によるライブビューモードの駆動制御と比較するための駆動制御（以下、比較駆動制御と称する。）を説明する図である。この比較駆動制御は、固体撮像装置１３においても実行可能であるため、固体撮像装置１３が実行するものとして説明する。図６において、垂直同期信号XVSの周波数は、例えば120Hzである。
　垂直駆動部４２は、ラスタースキャン駆動により、画素アレイ部４１の全画素５１のうち、位相差画素５１Sを読み出す駆動と、通常画素５１Nを読み出す駆動を時分割で行う。具体的には、初めに、垂直駆動部４２は、画素アレイ部４１の全画素５１のうち、位相差画素５１Sの位相差信号を行単位に順次読み出す。位相差画素５１Sの読み出し終了後、垂直駆動部４２は、通常画素５１Nの画素信号を、間引き読み出しにより行単位に順次読み出す。
　具体的には、第１フレーム期間FL1において、各位相差画素５１Sの面内位相差信号Af１が画素アレイ部４１から読み出された後、ライブビュー画像のための撮影画像FN１を構成する通常画素５１Nの画素信号が読み出される。
　信号処理部４６は、撮影画像FN１を構成する全ての通常画素５１Nの画素信号が読み出された時刻ｔ１以降に、撮影画像FN１を用いて顔領域を検出する認識処理を実行する。また、信号処理部４６は、撮影画像FN１の画像信号を出力部４８から出力する。これにより、撮像装置１の表示部１６には、撮影画像FN１がライブビュー画像LV１として表示される。この時点では、撮影画像FN１の顔領域を検出する認識処理は終了していないため、顔領域を示す領域情報は、ライブビュー画像LV１に重畳されていない。
　次の第２フレーム期間FL2において、各位相差画素５１Sの面内位相差信号Af２が画素アレイ部４１から読み出された後、ライブビュー画像のための撮影画像FN２を構成する通常画素５１Nの画素信号が読み出される。
　信号処理部４６は、撮影画像FN２を構成する全ての通常画素５１Nの画素信号が読み出された時刻ｔ２以降に、撮影画像FN２を用いて顔領域を検出する認識処理を実行する。また、信号処理部４６は、撮影画像FN２の画像信号を出力部４８から出力する。この際、信号処理部４６は、撮影画像FN１に対して行った認識処理の処理結果である顔領域を示す領域枠を撮影画像FN２に重畳させた画像信号を出力する。これにより、撮像装置１の表示部１６には、撮影画像FN２に、撮影画像FN１の認識処理結果である顔領域枠が重畳されたライブビュー画像LV２が表示される。
　次の第３フレーム期間FL3において、各位相差画素５１Sの面内位相差信号Af３が画素アレイ部４１から読み出された後、ライブビュー画像のための撮影画像FN３を構成する通常画素５１Nの画素信号が読み出される。
　信号処理部４６は、撮影画像FN３を構成する全ての通常画素５１Nの画素信号が読み出された時刻ｔ３以降に、撮影画像FN３を用いて顔領域を検出する認識処理を実行する。また、信号処理部４６は、撮影画像FN３の画像信号を出力部４８から出力する。この際、信号処理部４６は、撮影画像FN２に対して行った認識処理の処理結果である顔領域を示す領域枠を撮影画像FN３に重畳させた画像信号を出力する。これにより、撮像装置１の表示部１６には、撮影画像FN３に、撮影画像FN２の認識処理結果である顔領域枠が重畳されたライブビュー画像LV３が表示される。
　画素アレイ部４１の駆動と信号処理部４６の処理は、第４フレーム期間FL4以降についても同様に実行される。
　以上のように、比較駆動制御では、ライブビュー画像のための撮影画像FNを読み出してから、顔認識処理が実行されるため、認識処理結果である顔領域枠は、１フレーム後の撮影画像FNに重畳される。そのため、被写体が高速に動いている場合には、撮影画像FNの被写体位置と顔領域枠にずれが生じる場合がある。被写体位置と顔領域枠にずれを防止する場合には、例えば、図６の一点鎖線の枠内に示されるように、撮影画像FNの出力を１フレーム期間ディレイさせることにより、認識処理結果に撮影画像FNを同期させたライブビュー画像LVを生成し、撮像装置１に出力すればよい。ただし、この場合は、１フレーム期間、表示がディレイされるため、ライブビュー画像LVのリアルタイム性が低下する。
　＜５．２　固体撮像装置によるライブビューモード駆動＞
　次に、固体撮像装置１３が実行するライブビューモードの駆動制御（以下、本駆動制御と称する。）について説明する。
　図７には、図５に示した画素アレイ部４１の配列が示されている。また、説明のため、画素アレイ部４１の行番号を示す数字が、画素アレイ部４１の左側に記載されている。
　固体撮像装置１３のシステム制御部４５は、画素アレイ部４１の位相差画素５１Sを除く通常画素５１Nのなかから、LV画素５１Nを設定する。LV画素５１Nは、ライブビュー画像のために読み出す通常画素５１Nである。
　また、システム制御部４５は、画素アレイ部４１の位相差画素５１Sを除く通常画素５１Nのなかから、先読み画素５１Nを設定する。先読み画素５１Nは、認識処理のために、LV画素５１Nよりも先に読み出す通常画素５１Nである。
　先読み画素５１Nは、LV画素５１Nと同一の画素とすることもできるが、図７の例では、LV画素５１Nとは異なる画素とする。この場合、ゲイン、シャッタースピードなどの条件を、先読み画素５１NとLV画素５１Nとで別々に設定することができる。
　まず、システム制御部４５は、位相差画素５１Sが配置された画素行を、位相差信号を読み出す位相差行に設定する。次に、システム制御部４５は、ライブビュー画像のためのLV画素５１Nの画素行を３行間隔で（２行おきに）設定するとともに、認識処理のための先読み画素５１Nの画素行を３行間隔で（２行おきに）設定する。
　図７の例では、位相差行は、第２行、第８行、第１４行（不図示）、・・・に設定されている。LV画素５１Nの画素行であるLV画素行は、第１行、第４行、第７行、第１０行、・・・に設定されている。先読み画素５１Nの画素行である先読み画素行は、第３行、第６行、第９行、第１２行、・・・に設定されている。第５行、第１１行、・・・は、ライブビューモードでは読み出されない画素行である。
　図８は、本駆動制御をフレーム単位で示した図である。図８において、垂直同期信号XVSの周波数は、例えば120Hzである。
　位相差画素５１Sを読み出す駆動を、通常画素５１Nを読み出す駆動よりも先に時分割で行う点は、図６で説明した比較駆動制御と同様である。まず、垂直駆動部４２は、ラスタースキャン駆動により、画素アレイ部４１の全画素５１のうち、位相差画素５１Sの位相差信号を行単位に順次読み出す。次に、垂直駆動部４２は、先読み画素５１Nの画素行である先読み画素行を行単位に順次読み出す。次に、垂直駆動部４２は、LV画素５１Nの画素行であるLV画素行を行単位に順次読み出す。
　具体的には、第１フレーム期間FL1において、初めに、各位相差画素５１Sの面内位相差信号Af１が画素アレイ部４１から読み出された後、認識処理のための画像FNa１を構成する先読み画素５１Nの画素信号が読み出される。先読み画素５１Nの画素信号の読み出し終了後、ライブビュー画像のための撮影画像FNb１を構成するLV画素５１Nの画素信号が読み出される。
　信号処理部４６は、認識処理のための画像FNa１を構成する全ての先読み画素５１Nの画素信号が読み出された時刻ｔ１１以降に、画像FNa１を用いて顔領域を検出する認識処理を実行する。
　ライブビュー画像のための撮影画像FNb１を構成する全てのLV画素５１Nの画素信号が信号処理部４６に供給される時刻ｔ１２の時点では、信号処理部４６による画像FNa１の顔認識処理は終了している。信号処理部４６は、時刻ｔ１２において、画像FNa１を用いて行った顔認識処理の処理結果である顔領域枠を撮影画像FNb１に重畳させた画像信号を出力する。これにより、撮像装置１の表示部１６には、撮影画像FNb１に、画像FNa１の認識処理結果である顔領域枠が重畳されたライブビュー画像LV１’が表示される。
　次の第２フレーム期間FL2において、各位相差画素５１Sの面内位相差信号Af２が画素アレイ部４１から読み出された後、認識処理のための画像FNa２を構成する先読み画素５１Nの画素信号が読み出される。先読み画素５１Nの画素信号の読み出し終了後、ライブビュー画像のための撮影画像FNb２を構成するLV画素５１Nの画素信号が読み出される。
　信号処理部４６は、認識処理のための画像FNa２を構成する全ての先読み画素５１Nの画素信号が読み出された時刻ｔ１３以降に、画像FNa２を用いて顔領域を検出する認識処理を実行する。
　ライブビュー画像のための撮影画像FNb２を構成する全てのLV画素５１Nの画素信号が信号処理部４６に供給される時刻ｔ１４の時点では、信号処理部４６による画像FNa２の顔認識処理は終了している。信号処理部４６は、時刻ｔ１４において、画像FNa２を用いて行った顔認識処理の処理結果である顔領域枠を撮影画像FNb２に重畳させた画像信号を出力する。これにより、撮像装置１の表示部１６には、撮影画像FNb２に、画像FNa２の認識処理結果である顔領域枠が重畳されたライブビュー画像LV２’が表示される。
　次の第３フレーム期間FL3において、各位相差画素５１Sの面内位相差信号Af３が画素アレイ部４１から読み出された後、認識処理のための画像FNa３を構成する先読み画素５１Nの画素信号が読み出される。先読み画素５１Nの画素信号の読み出し終了後、ライブビュー画像のための撮影画像FNb３を構成するLV画素５１Nの画素信号が読み出される。
　信号処理部４６は、認識処理のための画像FNa３を構成する全ての先読み画素５１Nの画素信号が読み出された時刻ｔ１５以降に、画像FNa３を用いて顔領域を検出する認識処理を実行する。
　ライブビュー画像のための撮影画像FNb３を構成する全てのLV画素５１Nの画素信号が信号処理部４６に供給される時刻ｔ１６の時点では、信号処理部４６による画像FNa３の顔認識処理は終了している。信号処理部４６は、時刻ｔ１６において、画像FNa３を用いて行った顔認識処理の処理結果である顔領域枠を撮影画像FNb３に重畳させた画像信号を出力する。これにより、撮像装置１の表示部１６には、撮影画像FNb３に、画像FNa３の認識処理結果である顔領域枠が重畳されたライブビュー画像LV３’が表示される。
　画素アレイ部４１の駆動と信号処理部４６の処理は、第４フレーム期間FL4以降についても同様に実行される。
　以上のように、固体撮像装置１３は、ライブビュー画像のための撮影画像FNbを構成するLV画素５１Nの画素信号の読み出しが完了する前に、画像FNa１を構成する先読み画素５１Nの画素信号の読み出し及び画像FNa１を用いた認識処理を行うことで、ライブビュー画像のためのLV画素５１Nの画素信号の読み出しが終了した時点において認識処理を終了しているようにすることができる。これにより、ライブビュー画像のための撮影画像FNbに、ディレイのない同一フレーム期間FLの認識処理結果の顔領域枠を重畳することができる。
　＜５．３　ライブビューモード駆動制御の処理フロー＞
　次に、図９のフローチャートを参照して、ライブビューモードにおける固体撮像装置１３の駆動制御処理を説明する。この処理は、例えば、固体撮像装置１３の動作モードがライブビューモードに設定され、撮像装置１の制御部１４から撮影開始が指示されたとき開始される。図９のフローチャートは、１枚のライブビュー画像を生成する駆動制御処理に相当する。なお、図９のフローチャートでは、位相差画素５１Sの位相差信号を読み出す駆動に関する部分は省略されている。
　初めに、ステップＳ２１において、固体撮像装置１３のシステム制御部４５は、画素アレイ部４１の通常画素５１Nのなかから、ライブビュー画像のためのLV画素５１Nと、認識処理のためにLV画素５１Nよりも先に読み出す先読み画素５１Nを設定する。
　上述した例では、画素アレイ部４１の全画素のうち、LV画素５１Nの画素行が３行間隔で（２行おきに）設定されるとともに、先読み画素５１Nの画素行が３行間隔で（２行おきに）設定される例について説明したが、LV画素５１Nと先読み画素５１Nの設定は、これに限られない。例えば、LV画素５１Nの画素行を６行間隔で（５行おきに）設定し、先読み画素５１Nの画素行を６行間隔で（５行おきに）設定してもよい。
　また、LV画素５１Nの画素行の間隔と、先読み画素５１Nの画素行の間隔は、同一である必要はなく、異なる値に設定することができる。LV画素５１Nの画素行は、ライブビュー画像を生成するために所定の間引き率に設定することができる。先読み画素５１Nの画素行は、認識または検出したい対象など、処理の内容に応じて所定の間引き率に設定することができる。例えば、システム制御部４５は、瞳認識を行う場合には間引き率１／３の３行間隔に設定し、顔認識を行う場合には間引き率１／６の６行間隔に設定し、画像全体の色認識を行う場合には間引き率１／１８の１８行間隔に設定することができる。LV画素５１Nと先読み画素５１Nが設定されると、垂直駆動部４２は、画素アレイ部４１の読み出し対象の各画素５１の露光を開始させる。
　ステップＳ２２において、垂直駆動部４２は、先読み画素５１Nの露光期間が終了したかを判定し、終了したと判定するまで待機する。そして、ステップＳ２２において、先読み画素５１Nの露光期間が終了したと判定された場合、処理はステップＳ２３に進み、垂直駆動部４２は、ラスタースキャン方式で先読み画素５１Nの画素行を順に読み出す。
　ステップＳ２４において、信号処理部４６は、読み出した先読み画素５１Nの画素信号で構成される画像FNaを用いて認識処理を実行する。例えば、認識処理として、画像FNa内の顔領域を検出する顔領域認識処理が実行される。
　ステップＳ２５において、垂直駆動部４２は、LV画素５１Nの露光期間が終了したかを判定し、終了したと判定するまで待機する。そして、ステップＳ２５において、LV画素５１Nの露光期間が終了したと判定された場合、処理はステップＳ２６に進み、垂直駆動部４２は、ラスタースキャン方式でLV画素５１Nの画素行を順に読み出す。
　ステップＳ２７において、信号処理部４６は、LV画素５１Nの画素信号で構成される撮影画像FNbに、同一フレーム期間FLの画像FNaの認識処理結果である顔領域枠が重畳されたライブビュー画像LV’を生成し、後段の画像処理部１５に出力する。
　以上により、図９の駆動制御処理は終了する。ステップＳ２１ないしＳ２７の処理は、１枚のライブビュー画像LV’に対応する処理であり、図９の駆動制御処理が各フレーム期間において繰り返し実行される。
　上述した例では、先読み画素５１Nとして、ライブビュー画像のためのLV画素５１Nと異なる画素を用いる例について説明したが、LV画素５１Nと同一の画素を設定してもよい。その場合、ライブビュー画像のためのLV画素５１Nとしての画素信号は、先読み画素５１Nとして先読みしたときの画素信号、または、その周辺の画素信号の少なくとも一方を用いた補間処理により生成することができる。
　図３では、画素５１の回路構成として、グローバルシャッタ方式の動作（撮像）が可能な画素回路を説明した。グローバルシャッタ方式の画素駆動において、ゲイン、シャッタースピードなどの条件を、先読み画素５１NとLV画素５１Nとで同一に設定した場合、先読み画素５１Nの画素信号を、そのまま、LV画素５１Nの画素信号としても用いることができる。
＜６．まとめ＞
　以上のように、固体撮像装置１３は、通常画素５１Nと位相差画素５１Sの２種類の画素５１が行列状に２次元配置された画素アレイ部４１と、画素５１で生成された信号の読み出しを制御する垂直駆動部４２と、読み出された画素５１の信号を用いて撮影画像（ライブビュー画像）を生成する信号処理部４６とを備える。垂直駆動部４２は、画素アレイ部４１の一部の通常画素５１Nを先読み画素５１N（第１の画素）として先に読み出し、先読み画素５１Nより後に、画素アレイ部４１の一部の通常画素５１NをLV画素５１N（第２の画素）として読み出す。信号処理部４６は、先読み画素５１Nを用いた処理の処理結果を、LV画素５１Nを用いた撮影画像（ライブビュー画像）に反映させる処理を行う。これにより、撮影画像（ライブビュー画像）に反映させる処理を、撮影画像の表示に遅れることなく実行することができる。
　信号処理部４６は、先読み画素５１Nを用いた処理の処理結果を撮影画像に反映させる処理としては、例えば、先読み画素５１Nを用いた処理が顔や瞳を認識する認識処理の場合、認識処理の処理結果（顔領域枠など）を撮影画像に重畳する処理を実行する。また例えば、先読み画素５１Nを用いた処理が画像全体の色を認識する色認識処理の場合、信号処理部４６は、撮影画像に反映させる処理として、色認識処理の処理結果を撮影画像に反映するホワイトバランス補正処理を実行する。
　上述した例では、先読み画素５１Nを用いた処理として顔認識処理、瞳認識処理、色認識処理の例を説明したが、先読み画素５１Nを用いた処理は、認識処理に限られない。例えば、撮影画像内の物体を検出する処理でもよいし、露光条件等を検波する処理でもよい。また、上述した例では、画素アレイ部４１が、通常画素５１Nと位相差画素５１Sを有する構成としたが、画素アレイ部４１は、位相差画素５１Sを有さず、通常画素５１Nのみを行列状に２次元配置した構成でもよい。
＜７．イメージセンサの使用例＞
　図１０は、上述の固体撮像装置１３を用いたイメージセンサの使用例を示す図である。
　上述の固体撮像装置１３は、イメージセンサとして、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、上述した実施の形態の全てまたは一部を適宜組み合わせた形態を採用することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本開示の技術は、以下の構成を採用することができる。
（１）
　複数の画素が行列状に２次元配置された画素アレイ部と、
　前記画素で生成された信号の読み出しを制御する駆動部と、
　読み出された前記画素の信号を用いて撮影画像を生成する信号処理部と
　を備え、
　前記駆動部は、前記画素アレイ部の一部の前記画素である第１の画素を先に読み出し、前記第１の画素より後に前記画素アレイ部の一部の前記画素である第２の画素を読み出し、
　前記信号処理部は、前記第１の画素を用いた処理の処理結果を、前記第２の画素を用いた前記撮影画像に反映させる処理を行う
　固体撮像装置。
（２）
　前記画素には、映像出力用の画素信号を取得して出力する画素である通常画素と、位相差信号を出力する画素である位相差画素とがあり、
　前記駆動部は、前記第１の画素及び前記第２の画素として前記通常画素を読み出す
　前記（１）に記載の固体撮像装置。
（３）
　前記駆動部は、所定の間引き率で設定した画素行の画素を前記第１の画素として読み出す
　前記（１）または（２）に記載の固体撮像装置。
（４）
　前記所定の間引き率は、前記第１の画素を用いた処理の内容に応じて設定される
　前記（３）に記載の固体撮像装置。
（５）
　前記駆動部は、所定の間引き率で設定した画素行の画素を前記第２の画素として読み出す
　前記（１）ないし（４）のいずれかに記載の固体撮像装置。
（６）
　前記駆動部は、前記第２の画素と異なる画素を、前記第１の画素として読み出す
　前記（１）ないし（５）のいずれかに記載の固体撮像装置。
（７）
　前記駆動部は、前記第２の画素と同一の画素を、前記第１の画素として読み出す
　前記（１）ないし（５）のいずれかに記載の固体撮像装置。
（８）
　前記信号処理部は、前記第２の画素と同一の画素を前記第１の画素として読み出した場合、前記第１の画素の信号を、そのまま、前記第２の画素の信号として用いる
　前記（７）に記載の固体撮像装置。
（９）
　前記信号処理部は、前記第２の画素と同一の画素を前記第１の画素として読み出した場合、前記第２の画素の信号を補間処理により生成する
　前記（７）に記載の固体撮像装置。
（１０）
　複数の画素が行列状に２次元配置された画素アレイ部と、駆動部と、信号処理部とを備える固体撮像装置の、
　前記駆動部が、前記画素アレイ部の一部の前記画素である第１の画素を先に読み出し、前記第１の画素より後に前記画素アレイ部の一部の前記画素である第２の画素を読み出し、
　前記信号処理部が、前記第１の画素を用いた処理の処理結果を、前記第２の画素を用いた撮影画像に反映させる処理を行う
　固体撮像装置の制御方法。
（１１）
　複数の画素が行列状に２次元配置された画素アレイ部と、
　前記画素で生成された信号の読み出しを制御する駆動部と、
　読み出された前記画素の信号を用いて撮影画像を生成する信号処理部と
　を備え、
　前記駆動部は、前記画素アレイ部の一部の前記画素である第１の画素を先に読み出し、前記第１の画素より後に前記画素アレイ部の一部の前記画素である第２の画素を読み出し、
　前記信号処理部は、前記第１の画素を用いた処理の処理結果を、前記第２の画素を用いた前記撮影画像に反映させる処理を行う
　固体撮像装置
　を備える電子機器。
　１　撮像装置，　１３　固体撮像装置，　１４　制御部，　１５　画像処理部，　１６　表示部，　１７　記録部，　４１　画素アレイ部，　４２　垂直駆動部，　４３　カラム処理部，　４４　水平駆動部，　４５　システム制御部，　４６　信号処理部，　４７　データ格納部，　４８　出力部，　５１　画素，　５１N　通常画素(先読み画素,LV画素)，　５１S　位相差画素，　５１B　OPB画素，　１０１　有効画素領域，　１０２　OPB画素領域，　FL1　第１フレーム期間，　FL2　第２フレーム期間，　FL3　第３フレーム期間，　FL4　第４フレーム期間，　FNa(FNa１,FNa２,FNa３,FNa４)　画像，　FNb(FNb１,FNb２,FNb３,FNb４)　撮影画像，　LV'(LV１',LV２',LV３',LV４')　ライブビュー画像

Claims (11)

  1. 　複数の画素が行列状に２次元配置された画素アレイ部と、
    　前記画素で生成された信号の読み出しを制御する駆動部と、
    　読み出された前記画素の信号を用いて撮影画像を生成する信号処理部と
    　を備え、
    　前記駆動部は、前記画素アレイ部の一部の前記画素である第１の画素を先に読み出し、前記第１の画素より後に前記画素アレイ部の一部の前記画素である第２の画素を読み出し、
    　前記信号処理部は、前記第１の画素を用いた処理の処理結果を、前記第２の画素を用いた前記撮影画像に反映させる処理を行う
    　固体撮像装置。
  2. 　前記画素には、映像出力用の画素信号を取得して出力する画素である通常画素と、位相差信号を出力する画素である位相差画素とがあり、
    　前記駆動部は、前記第１の画素及び前記第２の画素として前記通常画素を読み出す
    　請求項１に記載の固体撮像装置。
  3. 　前記駆動部は、所定の間引き率で設定した画素行の画素を前記第１の画素として読み出す
    　請求項１に記載の固体撮像装置。
  4. 　前記所定の間引き率は、前記第１の画素を用いた処理の内容に応じて設定される
    　請求項３に記載の固体撮像装置。
  5. 　前記駆動部は、所定の間引き率で設定した画素行の画素を前記第２の画素として読み出す
    　請求項１に記載の固体撮像装置。
  6. 　前記駆動部は、前記第２の画素と異なる画素を、前記第１の画素として読み出す
    　請求項１に記載の固体撮像装置。
  7. 　前記駆動部は、前記第２の画素と同一の画素を、前記第１の画素として読み出す
    　請求項１に記載の固体撮像装置。
  8. 　前記信号処理部は、前記第２の画素と同一の画素を前記第１の画素として読み出した場合、前記第１の画素の信号を、そのまま、前記第２の画素の信号として用いる
    　請求項７に記載の固体撮像装置。
  9. 　前記信号処理部は、前記第２の画素と同一の画素を前記第１の画素として読み出した場合、前記第２の画素の信号を補間処理により生成する
    　請求項７に記載の固体撮像装置。
  10. 　複数の画素が行列状に２次元配置された画素アレイ部と、駆動部と、信号処理部とを備える固体撮像装置の、
    　前記駆動部が、前記画素アレイ部の一部の前記画素である第１の画素を先に読み出し、前記第１の画素より後に前記画素アレイ部の一部の前記画素である第２の画素を読み出し、
    　前記信号処理部が、前記第１の画素を用いた処理の処理結果を、前記第２の画素を用いた撮影画像に反映させる処理を行う
    　固体撮像装置の制御方法。
  11. 　複数の画素が行列状に２次元配置された画素アレイ部と、
    　前記画素で生成された信号の読み出しを制御する駆動部と、
    　読み出された前記画素の信号を用いて撮影画像を生成する信号処理部と
    　を備え、
    　前記駆動部は、前記画素アレイ部の一部の前記画素である第１の画素を先に読み出し、前記第１の画素より後に前記画素アレイ部の一部の前記画素である第２の画素を読み出し、
    　前記信号処理部は、前記第１の画素を用いた処理の処理結果を、前記第２の画素を用いた前記撮影画像に反映させる処理を行う
    　固体撮像装置
    　を備える電子機器。
PCT/JP2023/037471 2022-11-02 2023-10-17 固体撮像装置およびその制御方法、並びに電子機器 WO2024095754A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022176091 2022-11-02
JP2022-176091 2022-11-02

Publications (1)

Publication Number Publication Date
WO2024095754A1 true WO2024095754A1 (ja) 2024-05-10

Family

ID=90930304

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/037471 WO2024095754A1 (ja) 2022-11-02 2023-10-17 固体撮像装置およびその制御方法、並びに電子機器

Country Status (1)

Country Link
WO (1) WO2024095754A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010003A (ja) * 2010-06-23 2012-01-12 Olympus Imaging Corp デジタルカメラ
JP2020048018A (ja) * 2018-09-18 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
WO2021014999A1 (ja) * 2019-07-24 2021-01-28 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010003A (ja) * 2010-06-23 2012-01-12 Olympus Imaging Corp デジタルカメラ
JP2020048018A (ja) * 2018-09-18 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
WO2021014999A1 (ja) * 2019-07-24 2021-01-28 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器

Similar Documents

Publication Publication Date Title
JP4532800B2 (ja) 撮像装置及びシステム
US8964061B2 (en) Image capturing apparatus with selection of thinning and readout mode in accordance with moving image recording mode
US9071781B2 (en) Image capturing apparatus and defective pixel detection method
US8026961B2 (en) Solid-state image pickup apparatus having effective and non-effective pixel portions, and driving method therefor
US20110205415A1 (en) Image sensor, electronic apparatus, and driving method of electronic apparatus
JP2003032694A (ja) 固体撮像素子およびディジタルカメラ
JP2006217213A (ja) 物理情報取得方法および物理情報取得装置
JP2014048591A (ja) 撮像装置
JP2002258142A (ja) 撮像装置
JP6442362B2 (ja) 撮像装置及び撮像素子の制御方法
JP4736819B2 (ja) 物理情報取得方法および物理情報取得装置ならびに駆動装置
JP2004138968A (ja) 焦点検出装置
JP2004140479A (ja) 固体撮像装置、カメラ装置、及びその制御方法
JP6733657B2 (ja) 固体撮像装置および駆動方法、並びに電子機器
JP2009232351A (ja) 撮像装置及びカラーフィルタアレイ
US11412168B2 (en) Imaging element and method of controlling the same, and imaging device
WO2017130725A1 (ja) 焦点検出装置、撮像装置
WO2024095754A1 (ja) 固体撮像装置およびその制御方法、並びに電子機器
JP5106055B2 (ja) 撮像装置及びそのフリッカ検出方法
US7999871B2 (en) Solid-state imaging apparatus, and video camera and digital still camera using the same
JP2006060496A (ja) 画像表示装置
WO2024084930A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
JP2005167497A (ja) 撮像装置、良質画像獲得方法、及びプログラム
JP5127510B2 (ja) 撮像装置、及び撮像装置の制御方法
JP6046912B2 (ja) 撮像装置及びその制御方法