WO2020246129A1 - 固体撮像装置及び電子機器、並びに固体撮像装置の撮像制御方法 - Google Patents

固体撮像装置及び電子機器、並びに固体撮像装置の撮像制御方法 Download PDF

Info

Publication number
WO2020246129A1
WO2020246129A1 PCT/JP2020/015597 JP2020015597W WO2020246129A1 WO 2020246129 A1 WO2020246129 A1 WO 2020246129A1 JP 2020015597 W JP2020015597 W JP 2020015597W WO 2020246129 A1 WO2020246129 A1 WO 2020246129A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
reading
data
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/015597
Other languages
English (en)
French (fr)
Inventor
千丈 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2020246129A1 publication Critical patent/WO2020246129A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • This technology relates to a solid-state image sensor and an electronic device, and an image pickup control method for the solid-state image sensor.
  • a digital still camera captures a still image
  • a digital video camera captures a moving image
  • this technology was made in view of such a situation, and in the global shutter method, a solid-state image sensor capable of realizing 2-stream (2 stream) drive, and an electronic device equipped with the solid-state image sensor are mounted.
  • the main purpose is to provide equipment.
  • Each pixel has a photoelectric conversion unit that generates an electric charge according to incident light, a holding unit that holds the electric charge transferred from the photoelectric conversion unit, and a conversion unit that converts the electric charge into a pixel signal.
  • a pixel array portion in which a plurality of the pixels are arranged in a matrix is formed.
  • a first pixel data generation unit that reads the pixel signal and generates first pixel data
  • a second pixel data generator that reads the pixel signal and generates second pixel data
  • Provided is a solid-state image sensor including the first pixel data and an output unit in which the second pixel data is output independently of each other.
  • the first pixel data may be output in order to obtain moving image data.
  • the second pixel data may be output in order to obtain image data of a still image.
  • the first pixel data may be output in order to obtain image data of a still image.
  • the second pixel data may be output in order to obtain moving image data.
  • the image data of the moving image may be composed of the image data of the first frame and the image data of the second frame.
  • the image data of the first frame is read out in units of rows from the first row group formed by thinning out a predetermined number of rows out of all the rows in the pixel array unit and adding a predetermined number of rows not thinned out.
  • the image data of the second frame is one of a plurality of second row groups composed of a predetermined number of rows that are time-divided into a plurality of rows in the pixel array unit. It may be obtained by reading from a group of two lines in units of lines. In this case, In order to obtain the image data of the second frame between the time of reading to obtain the image data of the first frame and the time of reading to obtain the image data of the first frame next. You may read it.
  • the image data of the still image may be composed of the image data of a plurality of divided still images.
  • Each of the image data of the plurality of divided still images is a group of a plurality of second rows composed of a predetermined number of rows that are time-divisioned into a plurality of rows in the pixel array unit. It may be obtained by reading each line separately and independently.
  • the image data of the moving image may be composed of the image data of the first frame and the image data of the second frame.
  • the image data of the first frame is read out in units of rows from the first row group formed by thinning out a predetermined number of rows out of all the rows in the pixel array unit and adding a predetermined number of rows that have not been thinned out.
  • the image data of the second frame is one of a plurality of second row groups composed of a predetermined number of rows that are time-divided into a plurality of rows in the pixel array unit. It may be obtained by reading from a group of two lines in units of lines.
  • the image data of the still image may be composed of the image data of a plurality of divided still images.
  • Each of the image data of the plurality of divided still images is a group of a plurality of second rows composed of a predetermined number of rows that are time-divisioned into a plurality of rows in the pixel array unit. It may be obtained by reading each line separately and independently, in this case. In order to obtain the image data of the second frame between the time of reading to obtain the image data of the first frame and the time of reading to obtain the image data of the first frame next.
  • Both the image data of the second frame constituting the moving image and the image data of one of the plurality of divided still images constituting the still image are one of the plurality of second row groups. It may be read from two second row groups and obtained at the same time.
  • the reading for obtaining the image data of at least one divided still image among the plurality of divided still images constituting the still image is the reading for obtaining the image data of the first frame or the image data of the second frame.
  • the image data of the second frame may be obtained by reading for obtaining the image data of the first divided still image.
  • the reading for obtaining the image data of at least the second divided still image other than the reading for obtaining the image data of the first divided still image is performed.
  • the image data of the first frame is Of the predetermined number of rows constituting the first row group, the row closest to the substantially center of the pixel array portion is read toward the upward row and the downward row constituting the first row group.
  • the image data of the second frame is From the row closest to the substantially center of the pixel array portion of the predetermined number of rows constituting one of the plurality of second row groups, toward the upward row and the downward row. You can get it by reading it
  • the data of each of the plurality of divided still images Obtained by reading from the row closest to the substantially center of the pixel array portion among the predetermined number of rows constituting each of the plurality of second row groups toward the upward row and / or the downward row.
  • both the image data of the second frame constituting the moving image and the image data of one of the plurality of divided still images constituting the still image are the plurality of the image data. It may be obtained at the same time by reading from the one second row group of the second row group.
  • One type of filter selected from the group consisting of a blue filter, a red filter, a first green filter and a second green filter may be formed.
  • the image data of the first frame is Out of a predetermined number of rows constituting the first row group, pixels having a red filter and a blue filter forming the row closest to the substantially center of the pixel array portion form an upward row and a downward row.
  • the rows in the upward direction and It may be obtained by reading toward the pixels having the first green filter and the second green filter forming the downward row.
  • the image data of the second frame is Above the pixel having the red filter and the blue filter forming the row closest to the substantially center of the pixel array portion among the predetermined number of rows constituting one of the plurality of second row groups. Read towards the pixels with the red and blue filters that make up the directional and downward rows.
  • the first green filter and the second green filter that form the row closest to the substantially center of the pixel array portion among the predetermined number of rows that make up one of the plurality of second row groups may be obtained by reading from the pixel having the above toward the pixel having the first green filter and the second green filter forming the upward row and the downward row.
  • the data of each of the plurality of divided still images From the pixels constituting the red filter and the blue filter forming the row closest to the substantially center of the pixel array portion among the predetermined number of rows constituting each of the plurality of second row groups, the rows in the upward direction and / Or read toward the pixels that make up the red and blue filters that make up the downward row, Next, from the pixel having the first green filter and the second green filter forming the row closest to the substantially center of the pixel array portion among the predetermined number of rows constituting each of the plurality of second row groups, the pixels are above. It may be obtained by reading towards a pixel having a first green filter and a second green filter that make up a directional row and / or a downward row.
  • One type of filter selected from the group consisting of a blue filter, a red filter, a first green filter and a second green filter may be formed.
  • the image data of the first frame is A red filter that constitutes an upward row and a downward row from a pixel having a red filter that constitutes the row closest to the substantially center of the pixel array portion among a predetermined number of rows that constitute the first row group.
  • pixels having a second green filter forming the row closest to the substantially center of the pixel array portion constitute an upward row and a downward row. It may be obtained by reading toward a pixel having a second green filter.
  • the image data of the second frame is A row in the upward direction from a pixel having a red filter that constitutes the row closest to the substantially center of the pixel array portion among a predetermined number of rows that constitute one of the plurality of second row groups. And read towards the pixel with the red filter that makes up the downward row, A row in the upward direction from a pixel having a blue filter that constitutes the row closest to the substantially center of the pixel array portion among a predetermined number of rows that constitute one of the plurality of second row groups.
  • the 1 It may be obtained by reading towards a pixel having a second green filter that constitutes the upper row and the downward row that make up the second row group.
  • the data of each of the plurality of divided still images From the pixel having the red filter forming the row closest to the substantially center of the pixel array portion among the predetermined number of rows constituting each of the plurality of second row groups, the rows in the upward direction and / or the rows in the downward direction.
  • the rows in the upward direction and / or the rows in the downward direction From the pixel having the blue filter forming the row closest to the substantially center of the pixel array portion among the predetermined number of rows constituting each of the plurality of second row groups, the rows in the upward direction and / or the rows in the downward direction.
  • Each pixel has a photoelectric conversion unit that generates an electric charge according to incident light, a holding unit that holds the electric charge transferred from the photoelectric conversion unit, and a conversion unit that converts the electric charge into a pixel signal. Then, a plurality of the pixels are arranged in a matrix to form a pixel array portion. The plurality of pixels are composed of a pixel used for image generation and a focus detection pixel used for focus adjustment.
  • a third pixel generation unit that reads a pixel signal from a pixel used for image generation and a focus detection pixel signal from a focus detection pixel used for focus adjustment to generate third pixel data.
  • a fourth pixel generation unit that reads a pixel signal from a pixel used for image generation and generates fourth pixel data.
  • a solid-state image pickup device including the third pixel data and an output unit for outputting the fourth pixel data independently of each other.
  • the third pixel data may be output in order to obtain moving image data and focus detection image data.
  • the fourth pixel data may be output in order to obtain image data of a still image.
  • the solid-state image sensor on the first side surface or the second side surface according to the present technology may further include a frame memory.
  • an electronic device equipped with a solid-state image sensor on a first side surface, a second side surface, or a third side surface according to the present technology.
  • Each pixel has a photoelectric conversion unit that generates an electric charge according to the incident light, a holding unit that holds the electric charge transferred from the photoelectric conversion unit, and a conversion unit that converts the electric charge into a pixel signal.
  • This is an image pickup control method for a solid-state image pickup device in which a plurality of the pixels are arranged in a matrix to form a pixel array portion.
  • the imaging control method is Reading the pixel signal to generate the first pixel data, Reading the pixel signal to generate the second pixel data, Provided is a method including outputting the first pixel data and the second pixel data independently of each other.
  • the first pixel data may be output in order to obtain moving image data.
  • the second pixel data may be output in order to obtain image data of a still image.
  • the image data of the moving image may be composed of the image data of the first frame and the image data of the second frame.
  • the still image may be composed of a plurality of divided still images.
  • a predetermined number of rows are thinned out from all the rows in the pixel array unit, and a predetermined number of rows not thinned are added to form a first row group.
  • a solid-state image sensor capable of realizing 2-stream (2 stream) drive, and an electronic device equipped with the solid-state image sensor can be provided.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 It is a figure which shows the use example of the solid-state image sensor of 1st to 9th Embodiment to which this technique is applied. It is a functional block diagram of an example of the electronic device which concerns on the tenth embodiment to which this technique is applied. It is a figure which shows an example of the schematic structure of the endoscopic surgery system. It is a block diagram which shows an example of the functional structure of a camera head and a CCU. It is a block diagram which shows an example of the schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of the vehicle exterior information detection unit and the image pickup unit.
  • Example 7 of solid-state image sensor and Example 7 of image pickup control method 9. Eighth Embodiment (Example 8 of solid-state image sensor and Example 8 of image pickup control method) 10. Ninth Embodiment (Example 9 of solid-state image sensor and example 9 of image pickup control method) 11.
  • Example 9 of solid-state image sensor and example 9 of image pickup control method 11.
  • Example of electronic device 12.
  • Example of using a solid-state image sensor to which this technology is applied 13.
  • Example of application to endoscopic surgery system 14.
  • a global shutter operation is performed without mounting a frame memory in a pixel configuration having a structure having a holding portion in the pixel (for example, an intra-pixel memory structure, a floating diffusion (FD) storage structure, etc.). Moreover, it is possible to realize two streams (2 streams, signal flow).
  • the data can be further rearranged in the image sensor and output in an order in which the image processing LSI (Large Scale Integration) can easily receive the data.
  • image processing LSI Large Scale Integration
  • this technology gives priority to the pixel data used in the moving image mode in the time-division output still image operation, and can realize a continuous moving image without a break by using it as a moving image.
  • other pixel data can be divided and output in the vertical blanking period of the moving image mode, all pixels can be read through several frames, and the still images for all pixels can be completed by combining with the previously read moving image. it can.
  • PLS Parastic light sensitivity
  • a G (green) filter R (red) filter in the same line. If and G (green) filter are arranged, the G (green) filter is Gr filter, and if B (blue) filter and G (green) filter are arranged in the same row, the G (green) filter is used. Is a Gr filter), it is possible to reduce the in-plane difference of PLS characteristics for each color.
  • the PLS difference between colors can be adjusted and absorbed by the white balance gain by calculating the white balance value by, for example, a white balance amplifier provided in the ISP (Image Signal Processor).
  • This technology relates to a solid-state image sensor and an electronic device, and an image pickup control method for the solid-state image sensor.
  • the solid-state imaging device is a global shutter system, and has a photoelectric conversion unit that generates a charge according to incident light and a holding unit that holds the charge transferred from the photoelectric conversion unit for each pixel.
  • a first pixel array unit having a conversion unit that converts the charge into a pixel signal and a plurality of pixels arranged in a matrix is formed, and the pixel signal is read out to generate first pixel data.
  • the plurality of pixels included in the solid-state image sensor according to the present technology may be composed of pixels used for image generation, and may include pixels used for image generation and focus detection pixels (phase difference pixels) used for focus adjustment. It may be composed of. Further, the solid-state image sensor according to the present technology may include a frame memory for recording the first pixel data and the second pixel data.
  • the electronic device according to the present technology is an electronic device equipped with the solid-state image sensor according to the present technology.
  • the imaging control method of the solid-state imaging device is a global shutter method, and a photoelectric conversion unit that generates a charge according to incident light and a holding charge that is transferred from the photoelectric conversion unit are held for each pixel. It is an imaging control method of a solid-state imaging device, which includes a unit and a conversion unit that converts a charge into a pixel signal, and a plurality of pixels are arranged in a matrix to form a pixel array unit.
  • the imaging control method includes reading a pixel signal to generate first pixel data, reading a pixel signal to generate second pixel data, and reading the first pixel data and the second pixel data. It is a method that includes outputting independently of each other.
  • FIG. 1 is a diagram showing a schematic configuration example of a solid-state image sensor (image sensor) 1000 and an ISP (Image Signal Processor) 2000.
  • the solid-state image sensor (image sensor) 1000 includes a GS (global shutter) pixel array unit 1110 and an ADC / signal processing unit 1900
  • the ISP 2000 includes an image processing unit 2100.
  • N1 shown in FIG. 1 schematically shows stream 1 (stream 1, signal flow 1) between the ADC / signal processing unit 1900 and the image processing unit 2100.
  • N2 shown in FIG. 1 schematically shows a stream 2 (stream 2, signal flow 2) between the ADC / signal processing unit 1900 and the image processing unit 2100.
  • the GS (global shutter) pixel array unit 1110 shown in FIG. 1 is obtained by photoelectrically converting light incident on a photoelectric conversion element (for example, a photodiode (PD)) (not shown) to obtain a charge. It is converted into a pixel signal (electric signal) at a level corresponding to the charged charge, the pixel signal of each pixel is read out, and A / D conversion (output as a digital signal) is performed by the ADC / signal processing unit 1900.
  • pixel data first pixel data, second pixel data, third pixel
  • captured image moving image, still image
  • Data 4th pixel data, etc.
  • the ADC / signal processing unit 1900 outputs the first pixel data (or the third pixel data) as the stream 1 (n1) to the image processing LSI 2100, and the ADC / signal processing unit 1900 outputs the first pixel data (or the third pixel data) to the image processing LSI 2100.
  • the second pixel data (or the fourth pixel data) is output to the image processing unit 2100.
  • the pixel data may be rearranged in ISP2000 so that appropriate image processing can be performed, if necessary.
  • the solid-state image sensor (image sensor) 1000 for example, the first pixel data (or the third pixel data) is set to stream1 (n1), and the second pixel data (or the fourth pixel data) is set to stream2 (n2). , It becomes possible to output to ISP2000 (image processing unit 2100) independently of each other.
  • the second pixel data (or the fourth pixel data) is set to stream1 (n1), and the first pixel data (or the third pixel data) is set to stream2 (n2). It is also possible to output to ISP2000 (image processing unit 2100) independently of each other.
  • the solid-state image sensor (image sensor) 1000 and the ISP2000 may or may not be provided in the same housing.
  • FIG. 2 is a diagram showing a schematic configuration example of a solid-state image sensor (image sensor) 3000 and an ISP (Image Signal Processor) 4000.
  • the solid-state image sensor (image sensor) 3000 includes a GS (global shutter) pixel array unit 3110 and an ADC / signal processing unit / frame memory 3900
  • the ISP 4000 includes an image processing unit 4100.
  • N3 shown in FIG. 2 schematically shows stream 1 (stream 1, signal flow 1) between the ADC / signal processing unit / frame memory 3900 and the image processing unit 4100.
  • N4 shown in FIG. 2 schematically shows stream 2 (stream 2, signal flow 2) between the ADC / signal processing unit / frame memory 3900 and the image processing unit 4100.
  • the GS (global shutter) pixel array unit 3110 shown in FIG. 2 is obtained by photoelectrically converting light incident on a photoelectric conversion element (for example, a photodiode (PD)) (not shown) to obtain a charge. It is converted into a pixel signal (electric signal) with a level corresponding to the charged charge, the pixel signal of each pixel is read out, and A / D conversion (output as a digital signal) is performed by the ADC / signal processing unit / frame memory 3900. ), And by performing signal processing, pixel data (first pixel data, second pixel data) for obtaining captured images (moving images, still images) of the subject and data for performing focus adjustment by the phase difference method.
  • a photoelectric conversion element for example, a photodiode (PD)
  • PD photodiode
  • the ADC / signal processing unit / frame memory 3900 outputs the first pixel data (or the third pixel data) as the stream 1 (n3) to the image processing unit 4100, and the ADC / signal processing unit / frame memory. From 3900, the second pixel data (or the fourth pixel data) is output to the image processing LSI unit 4100 as stream2 (n4).
  • the first pixel data (or the third pixel data) is set to stream1 (n3)
  • the second pixel data (or the fourth pixel data) is set to stream2 (n4).
  • ISP4000 image processing unit 4100
  • the second pixel data (or the fourth pixel data) is set to stream1 (n3)
  • the first pixel data (or the third pixel data) is set to stream2 (n4). It is also possible to output to the ISP 4000 (image processing unit 4100) independently of each other.
  • the solid-state image sensor (image sensor) 3000 and the ISP 4000 may or may not be provided in the same housing.
  • FIG. 3 is an equivalent circuit diagram showing a configuration example of pixels for a global shutter included in a solid-state image sensor to which the present technology is applied.
  • the pixel (MEM holding type) 4 shown in FIG. 3 shows a configuration for realizing an electronic global shutter function.
  • the pixel 4 includes a photodiode (PD) 42 as a photoelectric conversion element, a transfer gate (TRG: Transistor Gate) 43, a holding unit (MEM: in-pixel memory) 44, and a read-out gate (ROG: Read Out Gate). 45, FD (floating diffusion region) 49, reset gate (RST: Reset Gate) 46, amplification transistor (AMP: AMPTr) 47, selection transistor (SEL: SELTr) 48, overflow gate (OFG: OverFlow). Gate) 41 and.
  • PD photodiode
  • TRG Transistor Gate
  • MEM in-pixel memory
  • ROG Read Out Gate
  • the photodiode (PD) 42 is a photoelectric conversion unit that generates and stores an electric charge (signal charge) according to the amount of received light.
  • the anode terminal of the photodiode (PD) 42 is grounded, and the cathode terminal is connected to the holding unit (MEM: intrapixel memory) 44 via the transfer gate (TRG: Transfer Gate) 43. Further, the cathode terminal of the photodiode (PD) 42 is also connected to an overflow gate (OFG: OverFlow Gate) 41 for discharging unnecessary charges.
  • OFG OverFlow Gate
  • TRG Transfer Gate
  • PD photodiode
  • MEM in-pixel memory
  • the FD 49 is a conversion unit and a holding unit that converts the electric charge read from the holding unit (MEM: in-pixel memory) 44 as a signal and holds it for reading.
  • the reset gate (RST: Reset Gate) 46 When the reset gate (RST: Reset Gate) 46 is turned on, the electric charge stored (retained) in the FD 49 is discharged to the constant voltage source VDD, so that the potential of the FD 49 can be reset.
  • the amplification transistor (AMP: AMPTr) 47 outputs a pixel signal corresponding to the potential of the FD49. That is, the amplification transistor (AMP: AMPTr) 47 constitutes a load MOS 470 as a constant current source and a source follower circuit, and a pixel signal indicating a level corresponding to the electric charge stored (held) in the FD 49 is an amplification transistor (AMP). : AMPTr) 47 is output to, for example, a column signal processing circuit (not shown) via a selection transistor (SEL: SELTr) 48.
  • the load MOS 470 is arranged in, for example, a column signal processing circuit.
  • the selection transistor (SEL: SELTr) 48 When the pixel 4 is selected and turned on, the selection transistor (SEL: SELTr) 48 outputs the pixel signal of the pixel 4 to, for example, a column signal processing circuit (not shown) via a vertical signal line (not shown). To do.
  • the overflow gate (OFG: OverFlow Gate) 41 is turned on, the electric charge accumulated in the photodiode (PD) 42 is discharged to the constant voltage source VDD, and the photodiode (PD) of all pixels is discharged. ) 42 is reset (sometimes referred to as a global reset (GR)).
  • OFG OverFlow Gate
  • the overflow gate (OFG: OverFlow Gate) 41 is turned off, and exposure is started for all pixels in the pixel array section.
  • TRG Transfer Gate
  • PD photodiode
  • the transfer gate (TRG: Transfer Gate) 43 is turned off, the electric charge held in the holding unit (MEM: intra-pixel memory) 44 of each pixel 4 is sequentially, for example, a column signal in row units of the pixel array unit.
  • the read-out gate (ROG: Read Out Gate) 45 of the pixel 4 in the read line is turned on, and the electric charge held in the holding unit (MEM: intra-pixel memory) 44 is transferred to the FD 49.
  • the selection transistor (SEL: SELTr) 48 is turned on, a signal (pixel signal) indicating the level corresponding to the electric charge stored in the FD 49 is transmitted from the amplification transistor (AMP: AMPTr) 47 to the selection transistor (SEL). : SELTr) 48 is read out and output to the column signal processing circuit.
  • the exposure time is set to be the same for all the pixels of the pixel array unit, and after the exposure is completed, the electric charge is temporarily charged to the holding unit (MEM: in-pixel memory) 44.
  • MEM in-pixel memory
  • a global shutter method in which electric charges are sequentially read from the holding unit (MEM: in-pixel memory) 44 in line units, the electric charges are converted into pixel signals by the FD 49, and the pixel signals are read out and output. Operation (imaging) is possible.
  • FIG. 4 is an equivalent circuit diagram showing a configuration example of pixels for a global shutter included in a solid-state image sensor to which the present technology is applied.
  • the pixel (FD holding type) 5 shown in FIG. 4 shows a configuration for realizing an electronic global shutter function.
  • Pixels 5 include a photodiode (PD) 52 as a photoelectric conversion element, a transfer gate (TRG: Transfer Gate) 53, an FD (floating diffusion region) 59, a reset gate (RST: Reset Gate) 56, and an amplification transistor. It has (AMP: AMPTr) 57, a selection transistor (SEL: SELTr) 58, and an overflow gate (OFG: OverFlow Gate) 51.
  • PD photodiode
  • TRG Transfer Gate
  • FD floating diffusion region
  • RST Reset Gate
  • AMP AMPTr
  • SEL selection transistor
  • OFG OverFlow Gate
  • the photodiode (PD) 52 is a photoelectric conversion unit that generates and stores an electric charge (signal charge) according to the amount of received light.
  • the anode terminal of the photodiode (PD) 52 is grounded, and the cathode terminal is connected to the FD (floating diffusion region) 59 via a transfer gate (TRG: Transfer Gate) 53. Further, the cathode terminal of the photodiode (PD) 52 is connected to an overflow gate (OFG: OverFlow Gate) 51 for discharging unnecessary charges.
  • OFG OverFlow Gate
  • TRG Transfer Gate
  • the FD 59 is a conversion unit and a holding unit that converts the read charge as a signal and holds it for reading.
  • the reset gate (RST: Reset Gate) 56 is turned on, the electric charge stored (retained) in the FD 59 is discharged to the constant voltage source VDD, so that the potential of the FD 59 can be reset.
  • the amplification transistor (AMP: AMPTr) 57 outputs a pixel signal corresponding to the potential of the FD 59. That is, the amplification transistor (AMP: AMPTr) 57 constitutes a load MOS 570 as a constant current source and a source follower circuit, and a pixel signal indicating a level corresponding to the electric charge stored (held) in the FD 59 is an amplification transistor (AMP). : AMPTr) 57 is output to, for example, a column signal processing circuit (not shown) via a selection transistor (SEL: SELTr) 58.
  • the load MOS 570 is arranged in, for example, a column signal processing circuit.
  • the selection transistor (SEL: SELTr) 58 When the pixel 5 is selected and turned on, the selection transistor (SEL: SELTr) 58 outputs the pixel signal of the pixel 5 to, for example, a column signal processing circuit (not shown) via a vertical signal line (not shown). To do.
  • the overflow gate (OFG: OverFlow Gate) 51 When the overflow gate (OFG: OverFlow Gate) 51 is turned on, the unnecessary charge stored in the photodiode (PD) 52 is discharged to the constant voltage source VDD.
  • OFG OverFlow Gate
  • the overflow gate (OFG: OverFlow Gate) 51 is turned on, the electric charge accumulated in the photodiode (PD) 52 is discharged to the constant voltage source VDD, and the photodiode (PD) of all pixels is discharged. ) 52 is reset (sometimes referred to as a global reset (GR)).
  • OFG OverFlow Gate
  • the overflow gate (OFG: OverFlow Gate) 51 is turned off, and exposure is started for all pixels in the pixel array section.
  • TRG Transfer Gate
  • PD photodiode
  • the selection transistor (SEL: SELTr) 58 is turned on, so that a signal (pixel signal) indicating a level corresponding to the electric charge accumulated (retained) in the FD 59 is turned on. ) Is read from the amplification transistor (AMP: AMPTr) 57 to the column signal processing circuit via the selection transistor (SEL: SELTr) 58 and output.
  • AMP amplification transistor
  • SEL SELTr
  • the exposure time is set to be the same for all the pixels of the pixel array unit, and after the exposure is completed, the charge is held and accumulated in the FD 59, and the charge is further stored in the pixels. It is possible to perform a global shutter operation (imaging) that converts a signal into a signal and sequentially reads and outputs a pixel signal from the FD 59 line by line.
  • imaging converts a signal into a signal and sequentially reads and outputs a pixel signal from the FD 59 line by line.
  • FIG. 5 is a diagram showing a configuration example of a filter pattern that can be used in a solid-state image pickup device to which the present technology is applied.
  • FIG. 5A shows a Bayer array structure 6a of a color filter.
  • FIG. 5B shows a pattern structure 6b of a black and white filter (without a color filter).
  • the Bayer array structure 6a of the color filter shown in FIG. 5A includes the red filter 6aR, the green filter 6aGr arranged on the right side of the red filter 6aR (the right side in FIG. 5A), and the red color.
  • the green filter 6aGb arranged on the lower side of the filter 6aR (lower side in FIG. 5A) and the blue filter 6aB arranged on the right side of the green filter 6aGb (right side in FIG. 5A) are combined. As a set, the set is repeatedly formed.
  • one photodiode is formed corresponding to each of the red filter 6aR, the green filter 6aGr, the green filter 6aGb, and the blue filter 6aB, and the red filter 6aR, the green filter 6aGr, the green filter 6aGb, and the blue filter 6aB are formed.
  • Each of these can be considered as one pixel (unit pixel).
  • the pattern structure 6b of the black-and-white filter (without color filter) shown in FIG. 5B includes a black filter 6bBL1 and a white filter 6bW1 arranged on the right side of the black filter 6bBL1 (the right side in FIG. 5B).
  • the set is repeatedly formed.
  • one photodiode is formed corresponding to each of the black filter 6bBL1, the white filter 6bW1, the white filter 6bW2, and the black filter 6bBL2, and the black filter 6bBL1, the white filter 6bW1, the white filter 6bW2, and the black filter 6bBL2 are formed.
  • Each of these can be considered as one pixel (unit pixel).
  • the pattern structure 6b of the black-and-white filter (without the color filter) shown in FIG. 5B may include, for example, a gray filter in which the gray density is gradually changed, or the gray density may be gradually changed. It may be composed of a gray filter changed to.
  • FIG. 6 is a diagram showing a configuration example of a filter pattern that can be used in a solid-state image sensor to which the present technology is applied. Specifically, FIG. 6A shows a quad Bayer array structure 7a of a color filter. FIG. 6B shows a 2PD (photodiode) array structure 7b of a color filter.
  • FIG. 6A shows a quad Bayer array structure 7a of a color filter.
  • FIG. 6B shows a 2PD (photodiode) array structure 7b of a color filter.
  • the quadbayer arrangement structure 7a of the color filter shown in FIG. 6A is a group of red filters composed of four red filters (two red filters on the left and right and two red filters on the top and bottom in FIG. 6A).
  • a set of blue filter groups 7aB composed of a blue filter) is formed as a set, and the set is repeated.
  • a diode (PD) is formed, and one on-chip lens is formed corresponding to each of the red filter group 7aR, the green filter group 7aGr, the green filter group 7aGb, and the blue filter group 7aB, and four filters (four) are formed.
  • Each of the red filter group 7aR, the green filter group 7aGr, the green filter group 7aGb, and the blue filter group 7aB composed of the photodiode (PD)) can be considered as one pixel (unit pixel).
  • the 2PD (photonode) array structure 7b of the color filter shown in FIG. 6 (b) includes a red filter group 7bR composed of two red filters (two red filters on the left and right in FIG. 6 (b)) and a red filter group.
  • a green filter group 7bGr consisting of two green filters (two green filters on the left and right in FIG. 6B) arranged on the right side of the 7bR (the right side in FIG. 6B) and a lower side of the red filter group 7bR.
  • a green filter group 7bGb consisting of two green filters (two green filters on the left and right in FIG. 6B) arranged (lower side in FIG. 6B) and a right side of the green filter group 7bGb (FIG. 6).
  • a blue filter group 7bB consisting of two blue filters (two left and right blue filters in FIG. 6B) arranged on the right side in (b) is set as a set, and the set is repeatedly formed. Has been done.
  • a diode (PD) is formed to form one on-chip lens corresponding to each of the red filter group 7bR, the green filter group 7bGr, the green filter group 7bGb, and the blue filter group 7bB, and two filters (two).
  • Each of the red filter group 7bR, the green filter group 7bGr, the green filter group 7bGb, and the blue filter group 7bB composed of the photodiode (PD)) can be considered as one pixel (unit pixel).
  • FIG. 7 is a diagram showing a reading method for moving images and still images, a figure schematically showing the reading method (reading figure), and a reading example using a pixel array unit of 10 columns ⁇ 24 rows as an example.
  • FIG. 8 is a diagram showing a reading method for a divided still image, a figure (reading figure) schematically showing the reading method, and a reading example using a pixel array unit of 10 columns ⁇ 24 rows as an example.
  • the moving image reading method is thinning / addition reading
  • the still image reading method is all pixel reading
  • the divided still image reading method is all pixels. It is a time-division reading of.
  • the horizontal axis X of each of the figures 7-1 to 7-6 (right triangle) of the moving image reading method, the still image reading method, and the divided still image reading method represents the time axis, and the arrow Q70 represents the passage of time. ..
  • the vertical axis Y represents the physical position of the pixel array unit (screen), and the arrow P70 indicates that the reading is performed from the ascending line to the descending line.
  • Z roughly represents the read position and read time of the pixel (pixel signal).
  • the apex R1 (the uppermost part of the vertical axis Y and the leftmost part of the horizontal axis X) of the read figure 7-1 for obtaining the image data of the moving image (image data of the first frame) is the most of the pixel array part (screen). It is the upper read line (the read line on the upper side of M1 for two read lines of the pixel array unit (screen) 6001 in the read example), and represents the time for starting reading.
  • the vertex R2 of the figure 7-1 (the lowest part of the vertical axis Y and the rightmost part of the horizontal axis X) is the reading line at the bottom of the pixel array part (screen) (reading of the pixel array part (screen) 6001 in the reading example). It is the lower line of M6 for two lines) and represents the time for completing reading. That is, the reading direction in the reading figure 7-1 is read from the upper line to the lower line in line units.
  • the apex R3 (the uppermost part of the vertical axis Y and the leftmost part of the horizontal axis X) of the read figure 7-2 for obtaining the image data of the still image is the readout line (reading example) of the uppermost part of the pixel array part (screen). It is the reading line of the uppermost part of M7 for 24 reading lines of the pixel array part (screen) 6002 in the above, and represents the time of reading start.
  • the apex R4 of the figure 7-2 (the lowest part of the vertical axis Y and the rightmost part of the horizontal axis X) is the reading line of the lowermost part of the pixel array part (screen) (reading of the pixel array part (screen) 6002 in the reading example). It is the reading line at the bottom of 24 lines) and represents the reading end time. That is, the reading direction in the reading figure 7-2 is read from the upper line to the lower line in line units.
  • the apex R5 (the uppermost part of the vertical axis Y and the leftmost part of the horizontal axis X) of the reading figure 7-3 for obtaining the image data of the divided still image 1 is the reading line (the uppermost part of the pixel array part (screen)). It is the reading line on the upper side of M8 for two reading lines of the pixel array unit (screen) 6003 in the reading example), and represents the time for starting reading.
  • the apex R2 of the figure 7-3 (the lowest part of the vertical axis Y and the rightmost part of the horizontal axis X) is the reading line at the bottom of the pixel array part (screen) (reading of the pixel array part (screen) 6003 in the reading example). It is the lower line of M13 for two lines) and represents the time for completing reading. That is, the reading direction in the reading figure 7-3 is read from the upper line to the lower line in line units.
  • the apex R7 (the uppermost part of the vertical axis Y and the leftmost part of the horizontal axis X) of the reading figure 7-4 for obtaining the image data of the divided still image 2 is the reading line (the uppermost part of the pixel array part (screen)). It is the reading line on the upper side of M14 for two reading lines of the pixel array unit (screen) 6004 in the reading example), and represents the time for starting reading.
  • the apex R8 of the figure 7-4 (the lowest part of the vertical axis Y and the rightmost part of the horizontal axis X) is the reading line at the bottom of the pixel array part (screen) (reading of the pixel array part (screen) 6004 in the reading example). It is the lower line of M15 for two lines) and represents the time for completing reading. That is, the reading direction in the reading figure 7-4 is read from the upper line to the lower line in line units.
  • the apex R9 (the uppermost part of the vertical axis Y and the leftmost part of the horizontal axis X) of the read figure 7-5 for obtaining the image data of the divided still image 3 is the readout line (the uppermost part of the pixel array part (screen)). It is the reading line on the upper side of M16 for two reading lines of the pixel array unit (screen) 6005 in the reading example), and represents the time for starting reading.
  • the apex R10 of the figure 7-5 (the lowest part of the vertical axis Y and the rightmost part of the horizontal axis X) is the reading line at the bottom of the pixel array part (screen) (reading of the pixel array part (screen) 6005 in the reading example). It is the lower line of M17 for two lines) and represents the time for completing reading. That is, the reading direction in the reading figure 7-5 is read from the upper line to the lower line in line units.
  • the apex R10 (top of the vertical axis Y, leftmost of the horizontal axis X) of the read figure 7-6 for obtaining the image of the divided still image 4 is the read line (read) at the top of the pixel array part (screen). It is the reading line on the upper side of M19 for two reading lines of the pixel array unit (screen) 6006 in the example), and represents the time for starting reading.
  • the apex R10 of the figure 7-6 (the lowest part of the vertical axis Y and the rightmost part of the horizontal axis X) is the reading line at the bottom of the pixel array part (screen) (reading of the pixel array part (screen) 6006 in the reading example). It is the lower line of M19 for two lines) and represents the time for completing reading. That is, the reading direction of the reading figure 7-6 is read from the upper line to the lower line in line units.
  • the reading method for obtaining a moving image is thinning / addition reading.
  • the moving image reading method reads out two rows of M1 pixels (pixel signals) in line units in order from the upper side of the pixel array unit (screen) 6001, and two rows of M2 pixels.
  • Pixel signal is read, M3 pixels (pixel signal) for two lines are read, M4 pixels (pixel signal) for two lines are read, and M5 pixels (pixels) for two lines are read.
  • the signal) is read, the pixels (pixel signals) of M6 for two lines are read, the readings of M1 to M6 are added (a total of 12 lines are added in FIG. 7), and further, the pixel array unit (pixel array unit).
  • N1 pixels are thinned out (without reading), and two rows of N2 pixels (pixel signals) are thinned out (without reading).
  • Two rows of N3 pixels (pixel signals) are thinned out (without reading), two rows of N4 pixels (pixel signals) are thinned out (without reading), and two rows of N5 pixels (pixels)
  • the signal) is thinned out (without reading), the pixels (pixel signals) of N6 for two lines are thinned out (without reading out), and in FIG. 7, a total of 12 lines are thinned out to make a moving image (moving image).
  • the image of the frame (the image of the first frame) is obtained.
  • the reading method for obtaining a moving image is thinned out, and the reading time is shortened.
  • the reading time for obtaining a moving image is half of the reading time for obtaining a still image.
  • the length in the X-axis direction of the readout figure 7-1 for obtaining the image data of the moving image (image data of the first frame) is the length in the X-axis direction of the readout figure 7-2 for obtaining the image data of the still image. It is about half the length of the image.
  • the readout method for obtaining a still image is all-pixel readout. Specifically, in the still image reading method, M7 pixels (pixel signals) for all pixels are read in order from the upper side of the pixel array unit (screen) 6002 in line units to obtain a still image (still image). Is obtained.
  • the reading method for obtaining the image of the divided still image is time-division reading of all pixels.
  • two rows of M8 pixels (pixel signals) are read in row units in order from the upper side of the pixel array unit (screen) 6003 for two rows.
  • M9 pixel (pixel signal) is read, two rows of M10 pixels (pixel signal) are read, two rows of M11 pixels (pixel signal) are read, and two rows of M12 are read.
  • Pixel (pixel signal) is read, two rows of M13 pixels (pixel signal) are read, M8 to M13 are added (in FIG. 7, a total of 12 rows are added), and further.
  • N7 pixels Two rows of N7 pixels (pixel signals) are thinned out (without reading) and two rows of N8 pixels (pixel signals) are thinned out (read) in order from the upper side of the pixel array unit (screen) 6003.
  • Two lines of N9 pixels are thinned out (without reading) and two lines of N10 pixels (pixel signals) are thinned out (without reading) for two lines.
  • N12 pixels pixel signals
  • two lines of N13 pixels are thinned out (without reading) are thinned out (without reading)
  • a total of 12 lines are thinned out.
  • a divided still image 1 (divided still image 1) is obtained.
  • the divided still images 1 to 4 are added together to obtain a still image (still image), and the divided still image 1 (divided still image 1) is a frame of a moving image (moving image). Can be used as the image of (the image of the second frame).
  • the pixel array unit 6003 to the pixel array unit 6006 are distinguished as reference numerals, but the pixel array units of the pixel array unit 6003 to the pixel array unit 6006 are the same pixel array unit (same screen). ).
  • the contents described with reference to FIGS. 7 and 8 are described in the first embodiment (example 1 of the solid-state image sensor and the example 1 of the image pickup control method) and the second embodiment (example 2 of the solid-state image sensor) described later. 2), a third embodiment (Example 3 of a solid-state image sensor and an example 3 of an image pickup control method), and a fourth embodiment (Example 4 of a solid-state image sensor and Example 4 of an image pickup control method).
  • 5th embodiment Example 5 of solid-state image sensor and Example 5 of image pickup control method
  • 6th embodiment Example 6 of solid-state image sensor and Example 6 of image pickup control method
  • FIG. 17 is a perspective view showing a configuration example of a solid-state image sensor to which the present technology is applied.
  • FIG. 17A is a support substrate laminated type solid-state image sensor 14a
  • FIG. 17B is a support substrate laminated type solid-state image sensor.
  • FIG. 17 (c) is a circuit stacking (3 layers) type solid-state image sensor 14c
  • FIG. 17 (d) is a circuit stacking (3 layers).
  • Type solid-state image sensor 14d is a perspective view showing a configuration example of a solid-state image sensor to which the present technology is applied.
  • FIG. 17A is a support substrate laminated type solid-state image sensor 14a
  • FIG. 17B is a support substrate laminated type solid-state image sensor.
  • FIG. 17 (c) is a circuit stacking (3 layers) type solid-state image sensor 14c
  • FIG. 17 (d) is
  • the solid-state image sensor 14a shown in FIG. 17A is configured by bonding the substrate 146a and the support substrate 142a in the directions of arrow P14 and arrow Q14.
  • a pixel (pixel array unit, pixel area) 140a and a circuit (function mounting unit) 141a are formed on the substrate 146a.
  • a logic unit 144a, an accessory unit 145a, a column unit 143a, and a logic unit 144a are formed in the circuit (function mounting unit) 141a in this order from the left side in FIG. 17A. That is, an accessory unit 145a and a column unit 143a are arranged between the two logic units 144a.
  • the solid-state image sensor 14b shown in FIG. 17B is configured by bonding the sensor substrate 147b and the circuit board 148b in the directions of arrow P14 and arrow Q14.
  • pixels (pixel array unit, pixel area) 140b are formed on the sensor substrate 147b
  • a circuit (function mounting portion) 141b is formed on the circuit board 148b.
  • the circuit (function mounting portion) 141b is formed with an accessory portion 145b, a column portion 143b, and a logic portion 144b on the accessory portion 145b and the column portion 143b. That is, the logic portion 144b is laminated and arranged on the accessory portion 145b and the column portion 143b arranged in the same layer (same height).
  • the sensor substrate 147c In the solid-state image sensor 14c shown in FIG. 17 (c), the sensor substrate 147c, the frame memory (DRAM (Dynamic Random Access Memory) 146c, and the circuit board 148c are arranged in this order in the arrow P14 direction and the arrow Q14 direction (in this order).
  • the sensor substrate 147c is formed with pixels (pixel array unit, pixel area) 140c, as shown in FIG. 17 (c), which are formed by laminating the arrow P14 and the arrow Q14 in opposite directions.
  • a circuit (function mounting unit) 141c is formed on the circuit board 148c.
  • the circuit (function mounting unit) 141c has an accessory unit 145c, a column unit 143c, an accessory unit 145c, and a logic unit 144c on the column unit 143c. That is, the logic portion 144c is laminated and arranged on the accessory portion 145c and the column portion 143c arranged in the same layer (same height).
  • a sensor substrate 147d, a circuit board 148d, and a frame memory (DRAM (Dynamic Random Access Memory) 146d are arranged in this order in the directions of arrow P14 and arrow Q14.
  • pixels (pixel array unit, pixel area) 140d are formed on the sensor substrate 147d, and a circuit (function mounting portion) is formed on the circuit board 148d.
  • 141d is formed.
  • an accessory portion 145d, a column portion 143d, and a logic portion 144d on the accessory portion 145d and the column portion 143d are formed, that is, the same layer.
  • the logic portion 144d is laminated and arranged on the accessory portion 145d and the column portion 143d arranged at (the same height).
  • any one of the solid-state image pickup devices 14a to 14d shown in FIGS. 17 (a) to 17 (d) can be applied to the present technology.
  • FIG. 9 (a) in FIG. 9 shows a two-stream (2 stream) drive operation in a global shutter system that can be realized by Example 1 (without frame memory) of the solid-state image sensor according to the first embodiment according to the present technology. It is a figure which shows the example (example 1 of the image pickup control method) 5001a.
  • the first pixel data is output as Stream1
  • the second pixel data is Stream2, which is separate from Stream1.
  • the pixel data 8-1 of the moving image (moving image frame) to the pixel data 8-7 of the moving image (moving image frame) constituting the first pixel data are output as Stream 1 in the order of time series, and the first The pixel data 9-3 of the split still image 1, the pixel data 9-34 of the split still image 2, the pixel data 9-45 of the split still image 3, and the split still image constituting the two-pixel data in chronological order.
  • the pixel data 9-56 of the image 4 is output separately and independently as Stream 2. Then, it is obtained from each of the pixel data 9-3 of the divided still image 1, the pixel data 9-34 of the divided still image 2, the pixel data 9-45 of the divided still image 3, and the pixel data 9-56 of the divided still image 4.
  • the still images (still images) for all the pixels of the pixel array unit (screen) are obtained. Be done. Further, since the pixel data 9-3 of the divided still image 1 and the pixel data 8-3 of the moving image can be shared by the time-divided output still image operation, the moving image (moving image) can have continuous continuity. A still image (still image) can be smoothly produced.
  • Reference numeral 5001 indicates the flow of reading from the pixels of the pixel array unit (screen) in time series.
  • T81 to T87 in which the numerical order of the reference numerals means a time series, roughly indicates the time from the start of pixel reading to the memory transfer (MEM Transfer) in frame rate.
  • MEM Transfer memory transfer
  • each of T81 to T87 is 120 fps (8.3 ms).
  • the reading flow 5001 will be explained in more detail.
  • the T81 sets the read start time indicated by the apex R13 of the figure 30-1, which schematically displays the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 8-1 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T82 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R14 of the figure 30-1 (global reset (GR) 81). ..
  • the T82 sets the read start time indicated by the apex R15 of the figure 30-2 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 8-2 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T83 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R16 of the figure 30-2 (global reset (GR) 81). ..
  • the T83 is an image data of the moving image (image data of the second frame) obtained by outputting the pixel data 8-3 of the moving image and an image data of the divided still image (image data of the divided still image 1) obtained by outputting the pixel data 9-3 of the divided still image.
  • the photodiode (PD) of each pixel for the next T84 read, starting from the read start time indicated by the vertex R17 of the figure 300-3 which schematically displays the read for obtaining both of the image data).
  • the end time is (memory transfer (MEM Transfer) 82) in which all the pixels are collectively transferred to the holding unit (MEM: intra-pixel memory).
  • MEM Transfer memory transfer
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R18 of the figure 300-3 (global reset (GR) 81). ..
  • the moving image pixel data 8-3 obtained by reading the pixels (pixel signals) based on the figure 300-3 is, for example, an image processing unit in order to obtain the moving image image data (image data of the second frame) as the first pixel data.
  • the pixel data 9-3 of the divided still image is output to (ISP) as Stream 1 in order to obtain the image data of the divided still image (image data of the divided still image 1) as the second pixel data. It is output to ISP) as Stream 2 separately and independently.
  • the figure 300-34 schematically displaying the reading for obtaining the image data of the divided still image (the image data of the divided still image 2) output from 9-34 is shown, and the apex R19 of the figure 300-34 is read. The start is indicated, and the peak R20 in FIGS. 300-34 indicates the end of reading.
  • the T84 sets the read start time indicated by the apex R21 of the figure 30-4 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 8-4 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T85 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all pixels are reset all at once before the end of reading indicated by the apex R22 of the figure 30-4 (global reset (GR) 81). ..
  • Figure 300-45 is shown which schematically displays the reading for obtaining the image data of the divided still image (image data of the divided still image 3) by the output of 9-45, and the apex R23 of the figure 300-45 is read. The start is indicated, and the apex R24 of the figure 300-45 indicates the end of reading.
  • the T85 sets the read start time indicated by the apex R25 of the figure 30-5 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 8-5 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T86 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R26 of the figure 30-5 (global reset (GR) 81).
  • the pixel data of the divided still image is shown, and the apex R27 of the figure 300-56 is read. The start is indicated, and the apex R28 of the figure 300-56 indicates the end of reading.
  • the T86 sets the read start time indicated by the apex R29 of the figure 30-6 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 8-6 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T87 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R30 of the figure 30-6 (global reset (GR) 81).
  • the T87 sets the read start time indicated by the apex R31 of the figure 30-7 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 8-7 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T88 is transferred to the holding unit (MEM: in-pixel memory) all at once.
  • MEM memory transfer
  • time is set as the final stage.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R32 of the figure 30-7 (global reset (GR) 81).
  • the solid-state image pickup device and the image pickup control method of the first embodiment (Example 1 of the solid-state image sensor and Example 1 of the image pickup control method) according to the present technology are particularly technically inconsistent in addition to the contents described above.
  • the contents described in the columns of the solid-state image sensor and the image pickup control method of the second to ninth embodiments according to the present technology described later can be applied as they are.
  • Example 2 of solid-state image sensor and Example 2 of image pickup control method The solid-state image pickup device and the image pickup control method of the second embodiment (Example 2 of the solid-state image pickup device and Example 2 of the image pickup control method) according to the present technology will be described with reference to FIG. FIG. 9B in FIG. 9 shows a two-stream (2stream) drive operation in a global shutter system that can be realized by Example 2 (with a frame memory) of the solid-state image sensor of the second embodiment according to the present technology. It is a figure which shows the example (example 2 of the image pickup control method) 5001b.
  • the first pixel data is output as Stream 1
  • the second pixel data is recorded in the frame memory.
  • the second pixel data is rearranged, and the rearranged second pixel data is output as Stream 2 separately from Stream 1.
  • the pixel data 10-1 of the moving image (moving image frame) to the pixel data 10-7 of the moving image (moving image frame) constituting the first pixel data are output as Stream 1 in the order of time series, and the first The pixel data 11-3 of the divided still image 1, the pixel data 11-34 of the divided still image 2, the pixel data 11-45 of the divided still image 3, and the divided still image constituting the two-pixel data in chronological order.
  • the pixel data 11-56 of the image 4 is output separately and independently as Stream 2.
  • Reference numeral 5001 indicates a flow of reading from pixels (pixel signals) of the pixel array unit (screen) in time series.
  • T81 to T87 in which the numerical order of the reference numerals means a time series, roughly indicates the time from the start of pixel reading to the memory transfer (MEM Transfer) in frame rate.
  • MEM Transfer memory transfer
  • each of T81 to T87 is 120 fps (8.3 ms).
  • the reading flow 5001 will be explained in more detail.
  • the T81 sets the read start time indicated by the apex R13 of the figure 30-1, which schematically displays the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 10-1 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T82 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R14 of the figure 30-1 (global reset (GR) 81). ..
  • the T82 sets the read start time indicated by the apex R15 of the figure 30-2 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 10-2 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T83 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R16 of the figure 30-2 (global reset (GR) 81). ..
  • the T83 is an image data of the moving image (image data of the second frame) obtained by outputting the pixel data 10-3 of the moving image and an image data of the divided still image (image data of the divided still image 1) obtained by outputting the pixel data 11-3 of the divided still image.
  • the photodiode (PD) of each pixel for the next T84 read, starting from the read start time indicated by the vertex R17 of the figure 300-3 which schematically displays the read for obtaining both of the image data).
  • the end time is (memory transfer (MEM Transfer) 82) in which all the pixels are collectively transferred to the holding unit (MEM: intra-pixel memory).
  • MEM Transfer memory transfer
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R18 of the figure 300-3 (global reset (GR) 81). ..
  • the moving image pixel data 10-3 obtained by reading the pixels (pixel signals) based on the figure 300-3 is, for example, an image processing unit in order to obtain moving image image data (image data of the second frame) as the first pixel data. It is output as Stream 1 to (ISP), and the pixel data 11-3 of the divided still image is once the arrow P1 in order to obtain the image data of the divided still image (image data of the divided still image 1) as the second pixel data. According to the direction, the memory output Q1 is output to the frame memory and recorded.
  • the pixel data 11-34 of the divided still image, the pixel data 11-45 of the divided still image, the pixel data 11-56 of the divided still image, and the pixel data 11-3 of the divided still image are recorded. Is properly rearranged in the frame memory so that still images for all pixels can be appropriately obtained, and then output to the image processing unit (ISP) as Stream 2 independently and independently.
  • ISP image processing unit
  • Figures 300-34 are shown which schematically display the reading for obtaining the image data of the divided still image (image data of the divided still image 2) by the output of 11-34, and the apex R19 of the figure 300-34 is the reading. It shows the start and the end of the reading with the peak R20 in FIGS. 300-34.
  • the pixel data 11-34 of the divided still image is also recorded once with the memory output Q1 in the frame memory according to the direction of the arrow P1 in the same manner as the pixel data 11-3 of the divided still image, and then recorded. It is output separately and independently as Stream 2 to the image processing unit (ISP).
  • ISP image processing unit
  • the T84 sets the read start time indicated by the apex R21 of the figure 30-4 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 10-4 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T85 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all pixels are reset all at once before the end of reading indicated by the apex R22 of the figure 30-4 (global reset (GR) 81). ..
  • FIG. 300-45 schematically displaying the reading for obtaining the image data of the divided still image (data of the divided still image 3) output from 11-45 is shown, and the apex R23 of the figure 300-45 starts reading. , And the apex R24 of the figure 300-45 indicates the end of reading.
  • the pixel data 11-45 of the divided still image is also recorded once with the memory output Q1 in the frame memory according to the direction of the arrow P2, as in the pixel data 11-3 of the divided still image. It is output separately and independently as Stream 2 to the image processing unit (ISP).
  • ISP image processing unit
  • the T85 sets the read start time indicated by the apex R25 of the figure 30-5 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 10-5 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T86 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R26 of the figure 30-5 (global reset (GR) 81).
  • Figure 300-56 is shown which schematically displays the reading for obtaining the image data of the divided still image (data of the divided still image 4) by the output of -56, and the apex R27 of the figure 300-56 starts the reading.
  • the apex R28 of the figure 300-56 indicates the end of reading.
  • the pixel data 11-56 of the divided still image is also recorded once with the memory output Q1 in the frame memory according to the direction of the arrow P3, as in the pixel data 11-3 of the divided still image. It is output separately and independently as Stream 2 to the image processing unit (ISP).
  • ISP image processing unit
  • the T86 sets the read start time indicated by the apex R29 of the figure 30-6 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 10-6 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T87 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R30 of the figure 30-6 (global reset (GR) 81).
  • the T87 sets the read start time indicated by the apex R31 of the figure 30-7 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 10-7 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T88 is transferred to the holding unit (MEM: in-pixel memory) all at once.
  • MEM memory transfer
  • time is set as the final stage.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R32 of the figure 30-7 (global reset (GR) 81).
  • the solid-state image pickup device and the image pickup control method of the second embodiment (Example 2 of the solid-state image pickup device and Example 2 of the image pickup control method) according to the present technology are particularly technically inconsistent in addition to the contents described above.
  • the contents described in the control method column can be applied as they are.
  • Example 3 of solid-state image sensor and Example 3 of image pickup control method The solid-state image sensor and the image pickup control method of the third embodiment (Example 3 of the solid-state image sensor and Example 3 of the image pickup control method) according to the present technology will be described with reference to FIG. FIG. 10 (a) in FIG. 10 shows a two-stream (2 stream) drive operation in a global shutter system that can be realized by Example 3 (without a frame memory) of the solid-state image sensor according to the third embodiment according to the present technology. It is a figure which shows the example (example 3 of the image pickup control method) 5002a.
  • the third pixel data is output as Stream1
  • the fourth pixel data is Stream2, which is separate from Stream1.
  • Output independently.
  • the phase difference pixel (focus detection pixel) data 13-1 focus detection pixel data 13-1) for performing the focus adjustment by the phase difference method in the order of the time series constituting the third pixel data.
  • Focus detection pixel data 13-6, moving image (moving image frame) pixel data 12-6, focus detecting pixel data 13-7, and moving image (moving frame) pixel data 12-7 are output as Stream 1, and the first
  • the pixel data 14-3 of the divided still image 1, the pixel data 14-34 of the divided still image 2, the pixel data 14-45 of the divided still image 3, and the divided still image, which constitute the four-pixel data, are arranged in chronological order.
  • the pixel data 14-56 of the image 4 is output separately and independently as a Stream 2.
  • Reference numeral 5002 indicates a flow of reading from pixels (pixel signals) of the pixel array unit (screen) in time series.
  • Each of T91 to T97 in which the numerical order of the reference reference numerals means a time series, generally indicates the time from the start of pixel reading to the memory transfer (MEM Transfer) in frame rate.
  • MEM Transfer memory transfer
  • each of T91 to T97 is 120 fps (8.3 ms).
  • the reading flow 5002 will be explained in more detail.
  • T91 is represented by the vertex W1 of the figure 91 that schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 13-1.
  • the image of the moving image by the output of the pixel data 12-1 of the moving image which starts from the reading start time and coincides with the end of reading to obtain the data (data of the focus detection image) for performing the focus adjustment by the phase difference method.
  • Each pixel for reading at the next T92 via the read start time indicated by vertex R33 of figure 31-1 schematically displaying the read for obtaining data (image data of the first frame).
  • the final period is the time (memory transfer (MEM Transfer) 82) in which the charge accumulated in the photodiode (PD) is transferred to the holding unit (MEM: intrapixel memory) all at once for all the pixels. Further, as shown in FIG. 10, the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R34 of the figure 31-1 (global reset (GR) 81). ..
  • T92 is represented by the vertex W1 of the figure 91 that schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 13-2.
  • the image of the moving image by the output of the pixel data 12-2 of the moving image which starts from the reading start time and coincides with the end of the reading to obtain the data (data of the focus detection image) for adjusting the focus by the phase difference method.
  • the final period is the time (memory transfer (MEM Transfer) 82) in which the charge accumulated in the photodiode (PD) is transferred to the holding unit (MEM: intrapixel memory) all at once for all the pixels. Further, as shown in FIG. 10, the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R36 of the figure 31-2 (global reset (GR) 81). ..
  • T93 is represented by the apex W1 of the figure 91 that schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 13-3.
  • the image of the moving image by the output of the pixel data 12-3 of the moving image, which starts from the reading start time and coincides with the end of reading to obtain the data (data of the focus detection image) for performing the focus adjustment by the phase difference method.
  • a graphic that schematically displays the reading for obtaining both the data (image data of the second frame) and the image data of the divided still image (data of the divided still image 1) by the output of the pixel data 14-3 of the divided still image.
  • the charge accumulated in the photodiode (PD) of each pixel for the next read in T94 is simultaneously transferred to the holding unit (MEM) for all pixels.
  • the time transferred to (memory in pixel) (memory transfer (MEM Transfer) 82) is set as the final stage.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R38 of the figure 301-3 (global reset (GR) 81).
  • the moving image pixel data 12-3 obtained by reading the pixels (pixel signals) based on the figure 301-3 is, for example, an image processing unit in order to obtain moving image image data (image data of the second frame) as the first pixel data. It is output as Stream 1 to (ISP), and the pixel data 14-3 of the divided still image is the image processing unit (ISP) in order to obtain the image data of the divided still image (data of the divided still image 1) as the second pixel data. ) Is output separately as Stream2.
  • FIGS. 301-34 are shown which schematically display the reading for obtaining the image data of the divided still image (data of the divided still image 2) by the output of 14-34, and the apex R39 of the figure 301-34 starts the reading.
  • the peak R40 in FIGS. 301-34 indicates the end of reading.
  • T94 is represented by the vertex W1 of the figure 91 that schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 13-4.
  • the image of the moving image by the output of the pixel data 12-4 of the moving image which starts from the reading start time and coincides with the end of reading to obtain the data (data of the focus detection image) for adjusting the focus by the phase difference method.
  • Each pixel for reading at the next T95 via the read start time indicated by the vertex R41 of figure 31-4 schematically displaying the read to obtain the data (image data of the first frame).
  • the final period is the time (memory transfer (MEM Transfer) 82) in which the charge accumulated in the photodiode (PD) is transferred to the holding unit (MEM: intrapixel memory) all at once for all the pixels. Further, as shown in FIG. 10, the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R42 of the figure 31-4 (global reset (GR) 81).
  • MEM Transfer memory transfer
  • FIG. 301-45 are shown which schematically display the reading for obtaining the image data of the divided still image (data of the divided still image 3) output from 14-45, and the apex R43 of the figure 301-45 starts reading.
  • the vertices R44 of the figures 301-45 indicate the end of reading.
  • the T95 is represented by the vertex W1 of the figure 91 that schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 13-5.
  • the image of the moving image by the output of the pixel data 12-5 of the moving image, which starts from the reading start time and coincides with the end of reading to obtain the data for performing the focus adjustment by the phase difference method (data of the focus detection image).
  • Each pixel for reading at the next T96 via a read start time indicated by vertex R45 of figure 31-5, which schematically displays the read for obtaining data (image data of the first frame).
  • the final period is the time (memory transfer (MEM Transfer) 82) in which the charge accumulated in the photodiode (PD) is transferred to the holding unit (MEM: intrapixel memory) all at once for all the pixels. Further, as shown in FIG. 10, the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R46 of the figure 31-5 (global reset (GR) 81).
  • MEM Transfer memory transfer
  • FIG. 301-56 are shown which schematically display the reading for obtaining the image data of the divided still image (data of the divided still image 4) by the output of 14-56, and the apex R47 of the figure 301-56 starts the reading. , And the vertices R48 of the figures 301-56 indicate the end of reading.
  • the T96 is represented by the vertex W1 of the figure 91 that schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 13-6.
  • the image of the moving image by the output of the pixel data 12-6 of the moving image, which starts from the reading start time and coincides with the end of reading to obtain the data (data of the focus detection image) for adjusting the focus by the phase difference method.
  • the final period is the time (memory transfer (MEM Transfer) 82) in which the charge accumulated in the photodiode (PD) is transferred to the holding unit (MEM: intrapixel memory) all at once for all the pixels. Further, as shown in FIG. 10, the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R50 of the figure 31-6 (global reset (GR) 81).
  • MEM Transfer memory transfer
  • T97 is shown by the vertex W1 of the figure 91 which schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 13-7.
  • the image of the moving image by the output of the pixel data 12-7 of the moving image which starts from the reading start time and coincides with the end of reading to obtain the data (data of the focus detection image) for adjusting the focus by the phase difference method.
  • Read at the next T98 via the read start time indicated by the apex R51 of figure 31-7, which schematically displays the read for obtaining data (image data of the first frame).
  • the charge stored in the photodiode (PD) of each pixel for this purpose is transferred to the holding unit (MEM: intrapixel memory) all at once (memory transfer (MEM Transfer) 82). To do. Further, as shown in FIG. 10, the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R52 of the figure 31-7 (global reset (GR) 81).
  • MEM memory transfer
  • the solid-state image pickup device and the image pickup control method of the third embodiment (Example 3 of the solid-state image sensor and Example 3 of the image pickup control method) according to the present technology are particularly technically inconsistent.
  • the contents described in the column of the solid-state image sensor and the image pickup control method of the first to second embodiments related to the present technology described above and the solid-state imaging of the fourth to ninth embodiments related to the present technology described later The contents described in the columns of the apparatus and the image pickup control method can be applied as they are.
  • FIG. 10 (b) in FIG. 10 shows a two-stream (2 stream) drive operation in a global shutter system that can be realized by Example 4 (with a frame memory) of the solid-state image sensor according to the fourth embodiment according to the present technology. It is a figure which shows the example (example 4 of the image pickup control method) 5002b.
  • the third pixel data is output as Stream 1
  • the fourth pixel data is recorded in the frame memory.
  • the 4th pixel data is rearranged, and the rearranged 4th pixel data is output as Stream 2 separately from Stream 1.
  • the phase difference pixel (focus detection pixel) data 16-1 focus detection pixel data 16-1) for performing the focus adjustment by the phase difference method in the order of time series constituting the third pixel data.
  • Focus detection pixel data 16-6, moving image (moving image frame) pixel data 16-6, focus detecting pixel data 16-7, and moving image (moving image frame) pixel data 15-7 are output as Stream 1, and the first Pixel data 17-3 of the divided still image 1, pixel data 17-34 of the divided still image 2, pixel data 17-45 of the divided still image 3, and divided still image, which constitute 4-pixel data, in chronological order.
  • the pixel data 17-56 of the image 4 is output separately and independently as a Stream 2. Then, it is obtained from the pixel data 17-3 of the divided still image 1, the pixel data 17-34 of the divided still image 2, the pixel data 17-45 of the divided still image 3, and the pixel data 17-56 of the divided still image 4.
  • a still image (still image) for all the pixels of the pixel array unit (screen) can be obtained. .. Further, since the pixel data 17-3 of the divided still image 1 and the pixel data 16-3 of the moving image can be shared by the time-divided output still image operation, the moving image (moving image) can have continuous continuity. A still image (still image) can be smoothly produced.
  • Reference numeral 5002 indicates a flow of reading from pixels (pixel signals) of the pixel array unit (screen) in time series.
  • Each of T91 to T97 in which the numerical order of the reference reference numerals means a time series, generally indicates the time from the start of pixel reading to the memory transfer (MEM Transfer) in frame rate.
  • MEM Transfer memory transfer
  • each of T91 to T97 is 120 fps (8.3 ms).
  • the reading flow 5002 will be explained in more detail.
  • the T91 is represented by the apex W1 of the figure 91 that schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 16-1.
  • the image of the moving image by the output of the pixel data 15-1 of the moving image, which starts from the reading start time and coincides with the end of reading to obtain the data (data of the focus detection image) for performing the focus adjustment by the phase difference method.
  • Each pixel for reading at the next T92 via the read start time indicated by vertex R33 of figure 31-1 schematically displaying the read for obtaining data (image data of the first frame).
  • the final period is the time (memory transfer (MEM Transfer) 82) in which the charge accumulated in the photodiode (PD) is transferred to the holding unit (MEM: intrapixel memory) all at once for all the pixels. Further, as shown in FIG. 10, the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R34 of the figure 31-1 (global reset (GR) 81). ..
  • T92 is represented by the vertex W1 of the figure 91 which schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 16-2.
  • the image of the moving image by the output of the pixel data 15-2 of the moving image which starts from the reading start time and coincides with the end of reading to obtain the data for performing the focus adjustment by the phase difference method (data of the focus detection image).
  • the final period is the time (memory transfer (MEM Transfer) 82) in which the charge accumulated in the photodiode (PD) is transferred to the holding unit (MEM: intrapixel memory) all at once for all the pixels. Further, as shown in FIG. 10, the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R36 of the figure 31-2 (global reset (GR) 81). ..
  • T93 is indicated by the vertex W1 of the figure 91 that schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 16-3.
  • the image of the moving image by the output of the pixel data 15-3 of the moving image, which starts from the reading start time and coincides with the end of reading to obtain the data (data of the focus detection image) for adjusting the focus by the phase difference method.
  • a graphic that schematically displays the reading for obtaining both the data (image data of the second frame) and the image data of the divided still image (data of the divided still image 1) by the output of the pixel data 17-3 of the divided still image.
  • the charge accumulated in the photodiode (PD) of each pixel for the next read in T94 is simultaneously transferred to the holding unit (MEM) for all pixels.
  • the time transferred to (memory in pixel) (memory transfer (MEM Transfer) 82) is set as the final stage.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R38 of the figure 301-3 (global reset (GR) 81).
  • the moving image pixel data 15-3 obtained by reading the pixels (pixel signals) based on the figure 301-3 is, for example, an image processing unit in order to obtain moving image image data (image data of the second frame) as the first pixel data. It is output as Stream 1 to (ISP), and the pixel data 17-3 of the divided still image is once used by the arrow P4 in order to obtain the image data of the divided still image (image data of the divided still image 1) as the second pixel data. According to the direction, the memory output Q2 is output to the frame memory and recorded.
  • the pixel data 17-34 of the divided still image, the pixel data 17-45 of the divided still image, the pixel data 17-56 of the divided still image, and the pixel data 17-3 of the divided still image are recorded. Is properly rearranged in the frame memory so that still images for all pixels can be appropriately obtained, and then output to the image processing unit (ISP) as Stream 2 independently and independently.
  • ISP image processing unit
  • FIGS. 301-34 are shown which schematically display the reading for obtaining the image data of the divided still image (data of the divided still image 2) by the output of 17-34, and the apex R39 of the figure 301-34 starts the reading.
  • the peak R40 in FIGS. 301-34 indicates the end of reading.
  • the pixel data 17-34 of the divided still image is also recorded once with the memory output Q2 in the frame memory according to the direction of the arrow P4, as in the pixel data 17-3 of the divided still image. It is output separately and independently as Stream 2 to the image processing unit (ISP).
  • ISP image processing unit
  • T94 is represented by the vertex W1 of the figure 91 that schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 16-4.
  • the final period is the time (memory transfer (MEM Transfer) 82) in which the charge accumulated in the photodiode (PD) is transferred to the holding unit (MEM: intrapixel memory) all at once for all the pixels.
  • MEM Transfer memory transfer
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R42 of the figure 31-4 (global reset (GR) 81).
  • FIG. 301-45 are shown which schematically display the reading for obtaining the image data of the divided still image (data of the divided still image 3) by the output of 17-45, and the apex R43 of the figure 301-45 starts reading. , And the vertices R44 of the figures 301-45 indicate the end of reading.
  • the pixel data 17-45 of the divided still image is also recorded once with the memory output Q2 in the frame memory according to the direction of the arrow P5, as in the pixel data 17-3 of the divided still image. It is output separately and independently as Stream 2 to the image processing unit (ISP).
  • ISP image processing unit
  • the T95 is represented by the apex W1 of the figure 91 that schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 16-5.
  • the image of the moving image by the output of the pixel data 17-5 of the moving image which starts from the reading start time and coincides with the end of reading to obtain the data for performing the focus adjustment by the phase difference method (data of the focus detection image).
  • Each pixel for reading at the next T96 via a read start time indicated by vertex R45 of figure 31-5, which schematically displays the read for obtaining data (image data of the first frame).
  • the final period is the time (memory transfer (MEM Transfer) 82) in which the charge accumulated in the photodiode (PD) is transferred to the holding unit (MEM: intrapixel memory) all at once for all the pixels. Further, as shown in FIG. 10, the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R46 of the figure 31-5 (global reset (GR) 81).
  • MEM Transfer memory transfer
  • FIGS 301-56 are shown which schematically display the reading for obtaining the image data of the divided still image (data of the divided still image 4) by the output of 17-56, and the apex R47 of the figure 301-56 starts the reading. , And the vertices R48 of the figures 301-56 indicate the end of reading.
  • the pixel data 17-56 of the divided still image is also recorded once with the memory output Q2 in the frame memory according to the direction of the arrow P6, as in the pixel data 17-3 of the divided still image. It is output separately and independently as Stream 2 to the image processing unit (ISP).
  • ISP image processing unit
  • the T96 is represented by the vertex W1 of the figure 91 that schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 16-6.
  • the image of the moving image by the output of the pixel data 15-6 of the moving image, which starts from the reading start time and coincides with the end of reading to obtain the data (data of the focus detection image) for performing the focus adjustment by the phase difference method.
  • the final period is the time (memory transfer (MEM Transfer) 82) in which the charge accumulated in the photodiode (PD) is transferred to the holding unit (MEM: intrapixel memory) all at once for all the pixels. Further, as shown in FIG. 10, the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R50 of the figure 31-6 (global reset (GR) 81).
  • MEM Transfer memory transfer
  • T97 is represented by the vertex W1 of the figure 91 that schematically displays the reading for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method by the output of the focus detection pixel data 16-7.
  • the image of the moving image by the output of the pixel data 15-7 of the moving image which starts from the reading start time and coincides with the end of reading to obtain the data for performing the focus adjustment by the phase difference method (data of the focus detection image).
  • Read at the next T98 via the read start time indicated by the vertex R51 of figure 31-7, which schematically displays the read for obtaining data (image data of the first frame).
  • the charge stored in the photodiode (PD) of each pixel for this purpose is transferred to the holding unit (MEM: intrapixel memory) all at once (memory transfer (MEM Transfer) 82). To do. Further, as shown in FIG. 10, the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R52 of the figure 31-7 (global reset (GR) 81).
  • MEM memory transfer
  • the solid-state image pickup device and the image pickup control method of the fourth embodiment (Example 4 of the solid-state image sensor and Example 4 of the image pickup control method) according to the present technology are particularly technically inconsistent.
  • the contents described in the column of the solid-state image sensor and the image pickup control method of the first to third embodiments related to the present technology described above and the solid-state imaging of the fifth to ninth embodiments related to the present technology described later The contents described in the columns of the apparatus and the image pickup control method can be applied as they are.
  • FIG. 11 shows an operation example (example of an imaging control method) of two-stream (2stream) drive in a global shutter system that can be realized by the example 5 (without frame memory) of the solid-state image sensor according to the fifth embodiment according to the present technology. 5) It is a figure which shows 5003a.
  • the first pixel data is output as Stream1 and the second pixel data is output as Stream2 independently of Stream1.
  • the pixel data 18-1 of the moving image (moving image frame) to the pixel data 18-8 of the moving image (moving image frame) constituting the first pixel data are output as Stream 1 in the order of time series, and the first pixel data is generated.
  • the pixel data 19-56 of the image 4, the pixel data 19-6 of the divided still image 1, the pixel data 19-67 of the divided still image 2, the pixel data 19-78 of the divided still image 3, and the divided still image 4 The pixel data 19-89 of the above are output separately and independently as Stream2.
  • the still image (still image) 1 for all the pixels of the pixel array unit (screen) is obtained.
  • the still images (still images) for all the pixels of the pixel array unit (screen) are added.
  • the still images (still images) for all the pixels of the pixel array unit (screen) are added.
  • the pixel data 19-3 of the divided still image 1 and the pixel data 18-3 of the moving image can be shared, and further, the pixel data 19-6 of the divided still image 1 and the pixel data 18-6 of the moving image can be shared. Since the moving image (moving image) can be shared, the moving image (moving image) can have continuous continuity, and the still image (still image) can be smoothly produced even in the continuous shooting mode.
  • the image data (pixels) of the divided still image 4 for completing the still image (still image) 1.
  • Reading to obtain image data (pixel data 19-6) of the divided still image 1 that first constitutes the still image (still image) 2 after the reading to obtain the data 19-56) is performed. Is performed continuously.
  • the reading for obtaining the image data (pixel data) of the first frame constituting the moving image is not performed between the reading and the reading.
  • the next (continuous) T time (consecutive) after the reading for obtaining the image data of any one of the divided still images 1 to 4 for completing the still image (still image) 1 is performed.
  • the still image (still image) 2 is first set in the time (period) from the start of reading for obtaining the image data of the moving image to the memory transfer (MEM Transfer), that is, in the vertical blanking period of the moving image mode. It can be said that the reading for obtaining the image data (pixel data) of any one of the divided still images 2 to 4 to be configured is performed "continuously".
  • Reference numeral 5003 indicates a flow of reading from pixels (pixel signals) of the pixel array unit (screen) in time series.
  • Each of T101 to T107 in which the numerical order of the reference numerals means a time series roughly indicates the time from the start of pixel reading to the memory transfer (MEM Transfer) in frame rate.
  • MEM Transfer memory transfer
  • each of T101 to T107 is 120 fps (8.3 ms).
  • the reading flow 5003 will be explained in more detail.
  • the T101 sets the read start time indicated by the apex R53 of the figure 32-1 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 18-1 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T102 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R54 of the figure 32-1 (global reset (GR) 81).
  • the T102 sets the read start time indicated by the apex R55 of the figure 32-2 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 18-2 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T103 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R56 of the figure 32-2 (global reset (GR) 81).
  • the T103 is an image data of the moving image (image data of the second frame) obtained by outputting the pixel data 18-3 of the moving image and an image data of the divided still image (image data of the divided still image 1) obtained by outputting the pixel data 19-3 of the divided still image.
  • the photodiode (PD) of each pixel for the next T104 starting from the read start time indicated by the vertex R57 of the figure 302-3 that schematically displays the read for obtaining both of the image data).
  • the final period is the time (memory transfer (MEM Transfer) 82) in which all the pixels are simultaneously transferred to the holding unit (MEM: intra-pixel memory).
  • MEM Transfer memory transfer
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R58 of the figure 302-3 (global reset (GR) 81).
  • the moving image pixel data 18-3 obtained by reading the pixels (pixel signals) based on the figure 302-3 is, for example, an image processing unit in order to obtain the moving image image data (image data of the second frame) as the first pixel data.
  • the image data 19-3 of the divided still image is output to (ISP) as Stream 1 in order to obtain the image data of the divided still image (image data of the divided still image 1) as the second pixel data. It is output to ISP) as Stream 2 separately and independently.
  • FIGS. 302-34 are shown which schematically display the reading for obtaining the image data of the divided still image (image data of the divided still image 2) by the output of 19-34, and the apex R59 of the figure 302-34 is read. The start is indicated, and the peak R60 in FIGS. 302-34 indicates the end of reading.
  • the T104 sets the read start time indicated by the apex R61 of the figure 32-4 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 18-4 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T105 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R22 of the figure 32-4 (global reset (GR) 81). ..
  • FIG. 300-45 schematically displaying the reading for obtaining the image data of the divided still image (data of the divided still image 3) by the output of 9-45 is shown, and the apex R63 of the figure 300-45 starts reading. , And the apex R64 of the figure 300-45 indicates the end of reading.
  • the T105 sets the read start time indicated by the vertex R65 of the figure 32-5 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 18-5 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T106 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R66 of the figure 32-5 (global reset (GR) 81).
  • the pixel data of the divided still image is shown, and the apex R67 of the figure 302-56 is read. Indicates the start of, and the apex R68 of the figure 300-56 indicates the end of reading.
  • the T106 is an image data of the moving image (image data of the second frame) obtained by outputting the pixel data 18-6 of the moving image and an image data of the divided still image (image data of the divided still image 1) obtained by outputting the pixel data 19-6 of the divided still image.
  • the photodiode (PD) of each pixel for the next T107 reading starting from the reading start time indicated by the vertex R69 of the figure 302-6 that schematically displays the reading to obtain both of the image data).
  • the final period is the time (memory transfer (MEM Transfer) 82) in which all the pixels are simultaneously transferred to the holding unit (MEM: intra-pixel memory).
  • MEM Transfer memory transfer
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R70 of the figure 302-6 (global reset (GR) 81).
  • the moving image pixel data 18-6 obtained by reading out the pixels (pixel signals) based on the figure 302-6 is, for example, an image processing unit in order to obtain the moving image image data (image data of the second frame) as the first pixel data.
  • the image data 19-6 of the divided still image is output to (ISP) as Stream 1 in order to obtain the image data of the divided still image (image data of the divided still image 1) as the second pixel data. It is output to ISP) as Stream 2 separately and independently.
  • Diagram 302-67 is shown which schematically displays the reading for obtaining the image data of the divided still image (image data of the divided still image 2) output from 19-67, and the apex R71 of the figure 302-67 is read. The start is indicated, and the peak R72 in FIGS. 302-67 indicates the end of reading.
  • the T107 sets the read start time indicated by the apex R73 of the figure 32-7 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 18-7 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T108 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R74 of the figure 32-7 (global reset (GR) 81).
  • Figures 302-78 schematically display the readout for obtaining the image data of the divided still image (data of the divided still image 3) output from 18-78, and the apex R75 of the figure 302-78 is the readout. The start is indicated, and the apex R76 of the figures 302-78 indicates the end of reading.
  • the T108 sets the read start time indicated by the apex R77 of the figure 32-8 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 18-8 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T109 is transferred to the holding unit (MEM: intra-pixel memory) all at once (MEM: intra-pixel memory).
  • MEM Transfer (not shown) time is the final stage.
  • the photodiodes (PD) of all pixels are reset all at once before the end of reading indicated by the apex R78 of the figure 32-8 (global reset (GR) (not shown)).
  • FIG. 302-89 schematically displaying the reading for obtaining the image data of the divided still image (image data of the divided still image 4) by the output of the 89 is shown, and the apex R79 of the figure 302-89 starts reading. , And the vertices R80 of the figures 302-89 indicate the end of reading.
  • the solid-state image pickup device and the image pickup control method of the fifth embodiment (Example 5 of the solid-state image sensor and Example 5 of the image pickup control method) according to the present technology are particularly technically inconsistent.
  • the contents described in the columns of the solid-state image sensor and the image pickup control method of the first to fourth embodiments according to the present technology described above and the solid-state imaging of the sixth to ninth embodiments according to the present technology described later The contents described in the columns of the apparatus and the image pickup control method can be applied as they are.
  • FIG. 12 shows an operation example (example of an imaging control method) of two-stream (2stream) drive in a global shutter system that can be realized by an example 6 (with a frame memory) of the solid-state image sensor according to the sixth embodiment according to the present technology. 6) It is a figure which shows 5004b.
  • the first pixel data is output as Stream 1
  • the second pixel data is recorded in the frame memory
  • the second pixel data is recorded.
  • the pixel data is rearranged, and the rearranged second pixel data is output as Stream 2 separately from Stream 1.
  • the pixel data 20-1 of the moving image (moving image frame) to the pixel data 20-9 of the moving image (moving image frame) constituting the first pixel data are output as Stream 1 in the order of time series, and the first The pixel data 21-3 of the divided still image 1, the pixel data 21-34 of the divided still image 2, the pixel data 21-45 of the divided still image 3, and the divided still image constituting the two-pixel data in chronological order.
  • the pixel data 21-56 of the image 4 the pixel data 21-67 of the divided still image 2, the pixel data 21-7 of the divided still image 1, the pixel data 21-78 of the divided still image 3, and the divided still image 4
  • the pixel data 21-89 and the pixel data 21-89 are output separately and independently as Stream2.
  • each of the pixel data 21-3 of the divided still image 1 the pixel data 21-34 of the divided still image 2, the pixel data 21-45 of the divided still image 3, and the pixel data 21-56 of the divided still image 4.
  • the still image (still image) 10 for all the pixels of the pixel array unit (screen) is obtained.
  • the pixel data 21-7 of the divided still image 1 the pixel data 21-67 of the divided still image 2, the pixel data 21-78 of the divided still image 3, and the pixel data 21-89 of the divided still image 4, respectively.
  • the still images (still images) for all the pixels of the pixel array unit (screen) are added.
  • the still images (still images) for all the pixels of the pixel array unit (screen) are added.
  • the pixel data 21-3 of the divided still image 1 and the pixel data 20-3 of the moving image can be shared, and further, the pixel data 21-7 of the divided still image 1 and the pixel data 20-7 of the moving image can be shared. Since the moving image (moving image) can be shared, the moving image (moving image) can have continuous continuity, and the still image (still image) can be smoothly produced even in the continuous shooting mode.
  • Reading to obtain image data (pixel data 21-67) of the divided still image 2 that first constitutes the still image (still image) 20 after the reading to obtain the data 21-56) is performed. Is performed continuously. For example, the next (continuous) T time (period) after the reading for obtaining the image data of any one of the divided still images 1 to 4 for completing the still image (still image) 10 is performed.
  • the still image (still image) 20 is first configured in the time (period) from the start of reading for obtaining the image data of the moving image to the memory transfer (MEM Transfer), that is, in the vertical blanking period of the moving image mode. It can be said that the reading for obtaining the image data (pixel data) of any one of the divided still images 2 to 4 is performed “continuously”. Further, for example, reading for obtaining image data of any one of the divided still images 1 to 4 for completing the still image (still image) 10, and configuring the still image (still image) 20 first. Between the reading for obtaining the image data (pixel data) of any one of the divided still images 2 to 4, the reading for obtaining the image data (pixel data) of the first frame constituting the moving image is performed. It can be said that nothing is done "continuously.”
  • Reference numeral 5004 indicates a flow of reading from pixels (pixel signals) of the pixel array unit (screen) in time series.
  • T111 to T119 in which the numerical order of the reference numerals means a time series, roughly indicates the time from the start of pixel reading to the memory transfer (MEM Transfer) in frame rate.
  • MEM Transfer memory transfer
  • each of T111 to T119 is 120 fps (8.3 ms).
  • the reading flow 5004 will be explained in more detail.
  • the T111 sets the read start time indicated by the apex R81 of the figure 33-1 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 20-1 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T112 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the vertex R82 of the figure 33-1 (global reset (GR) 81).
  • the T112 sets the read start time indicated by the apex R83 of the figure 33-2 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 20-2 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T113 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82)
  • MEM memory transfer
  • Transfer memory transfer
  • the T113 is an image data of the moving image (image data of the second frame) obtained by outputting the pixel data 20-3 of the moving image and an image data of the divided still image (image data of the divided still image 1) obtained by outputting the pixel data 21-3 of the divided still image.
  • the photodiode (PD) of each pixel for the next T114 starting from the read start time indicated by the vertex R85 of the figure 303-3, which schematically displays the read for obtaining both of the image data).
  • the end time is (memory transfer (MEM Transfer) 82) in which all the pixels are collectively transferred to the holding unit (MEM: intra-pixel memory).
  • MEM Transfer memory transfer
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R86 of the figure 303-3 (global reset (GR) 81).
  • the moving image pixel data 20-3 obtained by reading the pixels (pixel signals) based on the figure 303-3 is, for example, an image processing unit in order to obtain moving image image data (image data of the second frame) as the first pixel data. It is output as Stream 1 to (ISP), and the pixel data 21-3 of the divided still image is once used by the arrow P7 in order to obtain the image data of the divided still image (image data of the divided still image 1) as the second pixel data. According to the direction, the memory output Q3 is output to the frame memory and recorded.
  • the pixel data 21-34 of the divided still image, the pixel data 21-45 of the divided still image, the pixel data 21-56 of the divided still image, and the pixel data 21-3 of the divided still image are recorded. Is properly rearranged in the frame memory so that still images for all pixels can be appropriately obtained, and then output to the image processing unit (ISP) as Stream 2 independently and independently.
  • ISP image processing unit
  • Diagram 303-34 is shown which schematically displays the reading for obtaining the image data of the divided still image (image data of the divided still image 2) by the output of 21-34, and the apex R87 of the figure 303-34 is the reading. The start is indicated, and the peak R88 in FIGS. 303-34 indicates the end of reading.
  • the pixel data 21-34 of the divided still image is also recorded once with the memory output Q3 in the frame memory in the direction of the arrow P7, as in the pixel data 21-3 of the divided still image, and then recorded. It is output separately and independently as Stream 2 to the image processing unit (ISP).
  • ISP image processing unit
  • the T114 sets the read start time indicated by the apex R89 of the figure 33-4 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 20-4 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T115 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R90 of the figure 33-4 (global reset (GR) 81). ..
  • Figure 303-45 is shown which schematically displays the reading for obtaining the image data of the divided still image (data of the divided still image 3) output from 21-45, and the apex R91 of the figure 303-45 starts reading. , And the apex R92 of the figures 303-45 indicates the end of reading.
  • the pixel data 21-45 of the divided still image is also recorded once with the memory output Q3 in the frame memory according to the direction of the arrow P8, as in the pixel data 21-3 of the divided still image. It is output separately and independently as Stream 2 to the image processing unit (ISP).
  • ISP image processing unit
  • the T115 sets the read start time indicated by the apex R93 of the figure 33-5, which schematically displays the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 20-5 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T116 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the vertex R94 of the figure 33-5 (global reset (GR) 81).
  • Figure 303-56 is shown which schematically displays the reading for obtaining the image data of the divided still image (image data of the divided still image 4) by the output of 21-56, and the apex R95 of the figure 303-56 is read. Indicates the start of, and the apex R96 of the figure 303-56 indicates the end of reading.
  • the pixel data 21-56 of the divided still image is also recorded once with the memory output Q3 in the frame memory according to the direction of the arrow P9, as in the pixel data 21-3 of the divided still image. It is output separately and independently as Stream 2 to the image processing unit (ISP).
  • ISP image processing unit
  • the T116 sets the read start time indicated by the apex R97 of the figure 33-6 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 20-6 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T117 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82)
  • MEM memory transfer
  • Transfer memory transfer
  • Figure 303-67 is shown which schematically displays the reading for obtaining the image data of the divided still image (image data of the divided still image 2) output from 21-67, and the apex R99 of the figure 303-67 is read. Indicates the start of, and the vertices R100 of figures 303-67 indicate the end of reading.
  • the pixel data 21-67 of the divided still image is once recorded in the frame memory with the memory output Q4 according to the direction of the arrow P12, as in the pixel data 21-7 of the divided still image, and then recorded. It is output separately and independently as Stream 2 to the image processing unit (ISP).
  • ISP image processing unit
  • T117 is the image data of the moving image (image data of the second frame) obtained by outputting the pixel data 20-7 of the moving image and the image data of the divided still image (image data of the divided still image 1) obtained by outputting the pixel data 21-7 of the divided still image.
  • the photodiode (PD) of each pixel for the next T118 read, starting from the read start time indicated by the vertex R101 of the figure 303-7, which schematically displays the read for obtaining both of the image data).
  • the final period is the time (memory transfer (MEM Transfer) 82) in which all the pixels are simultaneously transferred to the holding unit (MEM: intra-pixel memory).
  • MEM Transfer memory transfer
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R102 of the figure 303-7 (global reset (GR) 81).
  • the moving image pixel data 18-6 obtained by reading the pixels (pixel signals) based on the figure 303-7 is, for example, an image processing unit in order to obtain moving image image data (image data of the second frame) as the first pixel data. It is output as Stream 1 to (ISP), and the pixel data 21-7 of the divided still image is once the arrow P10 in order to obtain the image data of the divided still image (image data of the divided still image 1) as the second pixel data. According to the direction, the memory output Q4 is output to the frame memory and recorded.
  • the pixel data 11-3 of the image is appropriately rearranged in the frame memory so that the still images for all the pixels can be appropriately obtained, and then output to the image processing unit (ISP) as Stream 2 independently and independently.
  • ISP image processing unit
  • Figure 303-78 is shown which schematically displays the reading for obtaining the image data of the divided still image (image data of the divided still image 3) by the output of 21-78, and the apex R103 of the figure 303-78 is read. The start is indicated, and the peak R104 in FIGS. 303-78 indicates the end of reading.
  • the pixel data 21-78 of the divided still image is also recorded once with the memory output Q4 in the frame memory according to the direction of the arrow P10, as in the pixel data 21-7 of the divided still image. It is output separately and independently as Stream 2 to the image processing unit (ISP).
  • ISP image processing unit
  • the T118 sets the read start time indicated by the apex R105 of the figure 33-8 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 20-8 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T119 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the vertex R106 of the figure 33-8 (global reset (GR) 81).
  • the pixel data of the divided still image is shown, and the apex R107 of the figure 303-89 is the reading.
  • the start is indicated, and the apex R108 of the figures 303-89 indicates the end of reading.
  • the pixel data 21-89 of the divided still image is also recorded once with the memory output Q4 in the frame memory in the direction of the arrow P11 in the same manner as the pixel data 21-7 of the divided still image. It is output separately and independently as Stream 2 to the image processing unit (ISP).
  • ISP image processing unit
  • T119 sets the read start time indicated by the apex R109 of the figure 33-9 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 20-9 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T120 is transferred to the holding unit (MEM: intra-pixel memory) all at once (MEM: intra-pixel memory).
  • MEM Transfer (not shown) time is the final stage.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading indicated by the apex R110 of the figure 33-9 (global reset (GR) (not shown)).
  • the solid-state image pickup device and the image pickup control method of the sixth embodiment (Example 6 of the solid-state image pickup device and Example 6 of the image pickup control method) according to the present technology are particularly technically inconsistent in addition to the contents described above.
  • the contents described in the column of the solid-state image sensor and the image pickup control method of the first to fifth embodiments related to the present technology described above and the solid-state imaging of the seventh to ninth embodiments related to the present technology described later The contents described in the columns of the apparatus and the image pickup control method can be applied as they are.
  • FIG. 13 shows an operation example (example of an imaging control method) of two-stream (2stream) drive in the global shutter system that can be realized by the example 7 (without frame memory) of the solid-state image sensor of the seventh embodiment according to the present technology. 5) It is a figure which shows 5005a. As shown in FIG. 13, a read pattern 5005c is used in the operation example of two-stream (2 stream) drive (example 5 of the imaging control method) 5005a.
  • the third pixel data is output as Stream1
  • the fourth pixel data is output as Stream2 independently of Stream1.
  • the pixel data 22-1 of the moving image (video frame) to the pixel data 22-7 of the moving image (video frame) constituting the third pixel data are the pixels of the moving image (video frame) in the order of time series.
  • Each data of the data 22-1 to the pixel data 22-7 of the moving image (moving image frame) is output as Stream 1 together with the phase difference pixel (focus detection pixel) data.
  • Pixel data 23-3 of the divided still image 5, the pixel data 23-34 of the divided still image 6, and the pixel data 23-45 of the divided still image 7 constituting the fourth pixel data are arranged in chronological order.
  • Pixel data 23-56 of the divided still image 8 is output separately and independently as Stream 2. Then, it is obtained from the pixel data 23-3 of the divided still image 5, the pixel data 23-34 of the divided still image 6, the pixel data 23-45 of the divided still image 7, and the pixel data 23-56 of the divided still image 8.
  • a still image (still image) for all the pixels of the pixel array unit (screen) is obtained. Be done.
  • the moving image can have continuous continuity.
  • a still image still image
  • the central portion of the screen (pixel array portion), which is considered to be visually conspicuous, is preferentially read out to affect the influence of PLS characteristics. Reduce.
  • FIG. 13 (c-1) shows a readout pattern used to obtain an image of a moving image (for example, an image obtained from pixel data 22-3 of a moving image (moving image frame)) and / or image data of a divided still image 5. It is shown.
  • the reading patterns shown in FIG. 13 (c-1) are, in order from the upper side of the pixel array unit (screen) 6007, two rows of M20 pixels (pixel signals) and two rows of M21 pixels. (Pixel signal), two rows of M22 pixels (pixel signal), two rows of M23 pixels (pixel signal), two rows of M24 pixels (pixel signal), and two rows of M25.
  • Pixels (pixel signals) are formed, and two rows of N22 pixels (pixels) are arranged between M20 and M21 in order from the upper side of the pixel array unit (screen) 6001 for thinning. (Signal), two rows of N23 pixels (pixel signals) arranged between M21 and M22, and two rows of N24 pixels (pixel signals) arranged between M22 and M23. And two rows of N25 pixels (pixel signals) arranged between M23 and M24, and two rows of N26 pixels (pixel signals) arranged between M24 and M25. N27 pixels (pixel signals) for the bottom two rows are formed.
  • the pixels of M22 and the pixels of M23 near the central portion C of the pixel array portion 6007 are first read out with priority, and then in the direction of arrow P120 (upward in FIG. 13), for example, the pixel of M22.
  • FIG. 13 (c-2) shows a readout pattern used to obtain image data of the divided still image 6.
  • the reading patterns shown in FIG. 13 (c-2) are, in order from the upper side of the pixel array unit (screen) 6008, two rows of M26 pixels (pixel signals) and two rows of M27 pixels. (Pixel signal) and 10 lines of N28 pixels (pixel signal) arranged above the M26 pixel (pixel signal) for thinning, and between M26 and M27. Two rows of N2827 pixels (pixel signals) and eight rows of N29 pixels (pixel signals) arranged below the M27 pixels (pixel signals) are formed. Then, the pixels of M26 located near the central portion C of the pixel array portion 6008 are first read with priority, and then read in the direction of arrow Q120 (downward in FIG. 13), for example, in the order of M26 ⁇ M27. do.
  • FIG. 13 (c-3) shows a readout pattern used to obtain image data of the divided still image 7.
  • the reading patterns shown in FIG. 13 (c-3) are, in order from the upper side of the pixel array unit (screen) 6009, two rows of M28 pixels (pixel signals) and two rows of M29 pixels. (Pixel signal) is formed, and further, between M28 and M29, six rows of N30 pixels (pixel signal) arranged above the M28 pixel (pixel signal) for thinning. 10 rows of N31 pixels (pixel signals) and 6 rows of N32 pixels (pixel signals) arranged below the M29 pixels (pixel signals) are formed.
  • the pixel of M28 is read in the direction of arrow P120 (upward in FIG. 13), and the pixel of M29 is read in the direction of arrow Q120 (downward in FIG. 13).
  • FIG. 13 (c-4) shows a readout pattern used to obtain image data of the divided still image 8.
  • the reading patterns shown in FIG. 13 (c-4) are, in order from the upper side of the pixel array unit (screen) 6010, two rows of M30 pixels (pixel signals) for reading and two rows located at the bottom.
  • the M31 pixel (pixel signal) of the minute is formed, and the two rows of N33 pixels (pixel signal) arranged above the M28 pixel (pixel signal) for thinning out and the M30 18 rows of N34 pixels (pixel signals) arranged between the M31 and the M31 are formed.
  • the pixel of M28 is read in the direction of arrow P120 (upward in FIG. 13), and the pixel of M29 is read in the direction of arrow Q120 (downward in FIG. 13).
  • Reference numeral 5005 indicates a flow of reading from pixels (pixel signals) of the pixel array unit (screen) in time series.
  • Each of T121 to T127 in which the numerical order of the reference codes means a time series, is generally from the start of reading the pixels (imaging pixels or normal pixels) used for image generation to the reading of the focus detection pixels. The time until the end of is shown in frame rate.
  • each of T121 to T127 is 120 fps (8.3 ms). It should be noted that each of T121 to T127 may be read first by either reading the focus detection pixel or reading the pixel (imaging pixel or normal pixel) used for image generation. In this example, the pixels (imaging pixels or normal pixels) used for image generation are read out before the focus detection pixels are read out.
  • the reading flow 5005 will be explained in more detail.
  • the T121 has a read start time indicated by the vertex R111 of the figure 34-1 which schematically displays the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 22-1 of the moving image.
  • the end time is the read end time indicated by the upper vertex W3 and the lower vertex W4 of the figure 91 which schematically displays the read for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method.
  • the start time shown by W2 in FIG. 91 and the electric charge accumulated in the photodiode (PD) of each pixel for reading in the next T122 are simultaneously stored in the holding unit (MEM: in-pixel memory) for all pixels.
  • the T122 sets the read start time indicated by the apex R114 of the figure 34-2 which schematically displays the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 22-2 of the moving image.
  • the end time is the read end time indicated by the upper vertex W3 and the lower vertex W4 of the figure 91 which schematically displays the read for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method.
  • the start time shown by W2 in FIG. 91 and the electric charge accumulated in the photodiode (PD) of each pixel for reading in the next T123 are simultaneously stored in the holding unit (MEM: intra-pixel memory) for all pixels.
  • MEM intra-pixel memory
  • the T123 is an image data of the moving image (image data of the second frame) obtained by outputting the pixel data 22-3 of the moving image and an image data of the divided still image (image data of the divided still image 5) obtained by outputting the pixel data 23-3 of the divided still image.
  • the end time is the read end time indicated by the upper vertex W3 and the lower vertex W4 of the figure 91 which schematically displays the read for obtaining.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading shown by the upper vertex R118 and the lower vertex 119 of the figure 304-3 (global reset (GR)). ) 81).
  • the moving image pixel data 22-3 obtained by reading the pixels (pixel signals) based on the figure 304-3 is, for example, an image processing unit in order to obtain moving image image data (image data of the second frame) as the first pixel data. It is output as Stream 1 to (ISP), and the pixel data 23-3 of the divided still image is the image processing unit (ISP) in order to obtain the image data of the divided still image (data of the divided still image 1) as the second pixel data. ) Is output separately and independently as Stream2.
  • the figure 304-34 schematically displaying the reading for obtaining the image data of the divided still image (data of the divided still image 6) by the output of 23-34 is shown, and the apex R129 of the figure 304-34 starts the reading. , And the upper peak R121 and the lower peak R122 of FIGS. 304-34 indicate the end of reading.
  • T124 sets the read start time indicated by the vertex R123 of the figure 34-4 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 22-4 of the moving image.
  • the end time is the read end time indicated by the upper vertex W3 and the lower vertex W4 of the figure 91 which schematically displays the read for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method.
  • the start time shown by W2 in FIG. 91 and the electric charge accumulated in the photodiode (PD) of each pixel for reading in the next T125 are simultaneously stored in the holding unit (MEM: intra-pixel memory) for all pixels.
  • MEM intra-pixel memory
  • Figures 304-45 schematically display the readout for obtaining the image data of the divided still image (data of the divided still image 7) output from 23-45, and the vertices R126 and 128 of the figure 304-45 are fetched. Indicates the start of, and the vertices R127 and 129 of figures 304-45 indicate the end of reading.
  • the T126 sets the read start time indicated by the apex R137 of the figure 34-6 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 22-6 of the moving image.
  • the end time is the read end time indicated by the upper vertex W3 and the lower vertex W4 of the figure 91 which schematically displays the read for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method.
  • the start time shown by W2 in FIG. 91 and the electric charge accumulated in the photodiode (PD) of each pixel for reading in the next T127 are simultaneously stored in the holding unit (MEM: intra-pixel memory) for all pixels.
  • MEM intra-pixel memory
  • T127 sets the read start time indicated by the apex R140 of the figure 34-7 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 22-7 of the moving image.
  • the end time is the read end time indicated by the upper vertex W3 and the lower vertex W4 of the figure 91 which schematically displays the read for obtaining the data (data of the focus detection image) for performing the focus adjustment by the phase difference method.
  • the start time shown by W2 in FIG. 91 and the electric charge accumulated in the photodiode (PD) of each pixel for reading in the next T128 (not shown) are simultaneously held in the holding unit (MEM: pixel).
  • the solid-state image pickup device and the image pickup control method of the seventh embodiment (Example 7 of the solid-state image sensor and Example 7 of the image pickup control method) according to the present technology are particularly technically inconsistent in addition to the contents described above.
  • the contents described in the column of the solid-state image sensor and the image pickup control method of the first to sixth embodiments related to the present technology described above and the solid-state imaging of the eighth to ninth embodiments related to the present technology described later The contents described in the columns of the apparatus and the image pickup control method can be applied as they are.
  • FIG. 14 shows an operation example (example of an image pickup control method) of a two-stream (2 stream) drive in a global shutter system in which an example 8 (without a frame memory) of the solid-state image sensor according to the eighth embodiment according to the present technology can be realized.
  • FIG. 15 shows 5006a. Then, as shown in FIG. 15, in Example 8 (without a frame memory) of the solid-state image sensor of the eighth embodiment according to the present technology, the read pattern 5006c is used as the read pattern.
  • the solid-state image sensor and the image pickup control method of the eighth embodiment according to the present technology also pay attention to the influence of the PLS characteristics as in the solid-state image sensor and the image pickup control method of the seventh embodiment according to the present technology.
  • attention is paid not only to the priority reading of the central portion of the screen (pixel array portion) but also to the influence of PLS on the color (color filter).
  • R (red) and B (blue), which are greatly affected by PLS, are first read from the center of the screen (pixel array section) on a general subject, and then Gr (green) and Gb (green). ) Is read.
  • the reading pattern 5006c includes a reading pattern (R / B-1) shown in FIG. 15 (c-1), a reading pattern (R / B-2) shown in FIG. 15 (c-2), and FIG. 15 ( It is composed of a read pattern (Gr / Gb-1) shown in c-3) and a read pattern (Gr / Gb-2) shown in FIG. 15 (c-4). Then, the reading pattern (R / B-1), the reading pattern (R / B-2), the reading pattern (Gr / Gb-1), and the reading pattern (Gr / Gb-2) are read in this order.
  • the pixels of M33 for two lines and the pixels of M34 for two lines near the central portion C are first read with priority, and then in the direction of arrow P130 (FIG. In the direction of arrow Q130 (downward in FIG. 15), for example, two rows of M33 pixels ⁇ two rows of M32 pixels are read in this order. Reads in the order of M34 pixels ⁇ 2 rows of M35 pixels. Each of the two rows of M32 pixels to M35 pixels has a red (R) filter in the upper row and a blue (B) filter in the lower row.
  • R red
  • B blue
  • the pixels of M39 for two lines and the pixels of M40 for two lines near the central portion C are first read with priority, and then in the direction of arrow P130 (FIG. In the direction of arrow Q130 (downward in FIG. 15), for example, two rows of M39 pixels are read in the order of two rows of M39 pixels ⁇ two rows of M38 pixels. Read in the order of M40 pixel ⁇ 2 rows of M41 pixel. Each of the two rows of M38 pixels to M41 pixels has a green (Gr) filter in the upper row and a green (Gb) filter in the lower row.
  • Gr green
  • Gb green
  • the read pattern (R / B-1), the read pattern (R / B-2), the read pattern (Gr / Gb-1), and the read pattern (Gr / Gb-2) are combined. It is a pixel array unit 5006e and has a bayer array structure.
  • the first pixel data is output as Stream 1
  • the second pixel data is output as Stream 2 separately from Stream 1.
  • the pixel data 24-1 of the moving image (moving image frame) to the pixel data 24-7 of the moving image (moving image frame) constituting the first pixel data are output as Stream 1 in the order of time series, and the first The pixel data 25-3 of the divided still image 9, the pixel data 25-34 of the divided still image 10, the pixel data 25-45 of the divided still image 11, and the divided still image constituting the two-pixel data in chronological order.
  • the pixel data 25-56 of the image 12 are output separately and independently as Stream 2.
  • each of the pixel data 25-3 of the divided still image 9 the pixel data 25-34 of the divided still image 10, the pixel data 25-45 of the divided still image 11, and the pixel data 25-56 of the divided still image 12.
  • the still images (still images) for all the pixels of the pixel array unit (screen) are obtained. Be done.
  • the moving image (moving image) can have continuous continuity. A still image (still image) can be smoothly produced.
  • Reference numeral 5006 indicates a flow of reading from pixels (pixel signals) of the pixel array unit (screen) in time series.
  • T131 to T137 in which the numerical order of the reference reference numerals means a time series, roughly indicates the time from the start of pixel reading to the memory transfer (MEM Transfer) in frame rate.
  • MEM Transfer memory transfer
  • each of T131 to T137 is 120 fps (8.3 ms).
  • the reading flow 5006 will be explained in more detail.
  • the T131 sets the read start time indicated by the vertex R143 of the figure 35-1 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 24-1 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T132 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading shown by the upper apex R144 and the lower apex R145 of the figure 35-1 (global reset (GR)). ) 81).
  • the T132 sets the read start time indicated by the apex R146 of the figure 35-2 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 24-2 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T133 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once (global reset) before the end of reading shown by the upper vertex R147 and the lower vertex R148 of the figure 35-2. (GR) 81).
  • the T133 is an image data of the moving image (image data of the second frame) obtained by outputting the pixel data 24-3 of the moving image and an image data of the divided still image (image data of the divided still image 1) obtained by outputting the pixel data 25-3 of the divided still image.
  • the photodiode (PD) of each pixel for the next read in T134 starting from the read start time indicated by the vertex R149 of the figure 305-3, which schematically displays the read for obtaining both of the image data).
  • the end time is (memory transfer (MEM Transfer) 82) in which all the pixels are collectively transferred to the holding unit (MEM: intra-pixel memory). Further, as shown in FIG. 14, the photodiodes (PD) of all the pixels are reset all at once (global reset) before the end of reading shown by the upper vertex R150 and the lower vertex R151 of the figure 305-3. (GR) 81).
  • the moving image pixel data 24-3 obtained by reading the pixels (pixel signals) based on the figure 305-3 is used as the first pixel data in order to obtain the moving image image data (image data of the second frame), for example, an image processing unit.
  • the pixel data 25-3 of the divided still image is output to (ISP) as Stream 1 in order to obtain the image data of the divided still image (image data of the divided still image 9) as the second pixel data. It is output to ISP) as Stream 2 separately and independently.
  • Figure 305-34 is shown which schematically displays the reading for obtaining the image data of the divided still image (image data of the divided still image 10) output from 25-34, and the apex R152 of the figure 305-34 is read.
  • the start is indicated, and the upper apex R153 and the lower apex 154 of FIGS. 305-34 indicate the end of reading.
  • the T134 sets the read start time indicated by the apex R155 of the figure 35-4 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 24-4 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T135 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once (global reset) before the end of reading shown by the upper vertex R156 and the lower vertex 157 of the figure 35-4. (GR) 81).
  • FIG. 305-45 are shown which schematically display the readout for obtaining the image data of the divided still image (image data of the divided still image 11) by the output of 25-45, and the vertices R158 and R160 of the figure 305-45 are shown. The start of reading is indicated, and the vertices R159 and R161 of the figures 305-45 indicate the end of reading.
  • the T135 sets the read start time indicated by the vertex R162 of the figure 35-5 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 24-5 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T136 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading shown by the upper vertex R163 and the lower vertex R164 of the figure 35-5 (global reset (GR)). ) 81).
  • FIG. 305-56 are shown which schematically display the readout for obtaining the image data of the divided still image (image data of the divided still image 12) by the output of 25-56, and the vertices R165 and R167 of the figure 305-56 are shown. The start of reading is indicated, and the vertices R166 and R168 of the figures 305-56 indicate the end of reading.
  • T136 sets the read start time indicated by the apex R169 of the figure 35-6 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 24-6 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T137 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading shown by the upper vertex R170 and the lower vertex R171 of the figure 35-6 (global reset (GR)). ) 81).
  • T137 sets the read start time indicated by the vertex R172 of the figure 35-7 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 24-7 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T138 is transferred to the holding unit (MEM: in-pixel memory) all at once.
  • MEM memory transfer
  • 82 memory transfer (MEM Transfer) 82) time is set as the final stage.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading shown by the upper vertex R173 and the lower vertex 174 of the figure 35-7 (global reset (GR)). ) 81).
  • the solid-state image pickup device and the image pickup control method of the eighth embodiment (Example 8 of the solid-state image sensor and Example 8 of the image pickup control method) according to the present technology are particularly technically inconsistent in addition to the contents described above.
  • the contents described in the control method column can be applied as they are.
  • FIG. 14 shows an operation example (example of an image pickup control method) of a two-stream (2 stream) drive in a global shutter system in which an example 9 (without a frame memory) of the solid-state image sensor of the ninth embodiment according to the present technology can be realized.
  • FIG. 16 shows 5006a. Then, as shown in FIG. 16, in Example 9 (without a frame memory) of the solid-state image sensor of the ninth embodiment according to the present technology, the read pattern 5006d is used as the read pattern.
  • the solid-state image sensor and the image pickup control method of the ninth embodiment according to the present technology also pay attention to the influence of the PLS characteristics as in the solid-state image sensor and the image pickup control method of the seventh and eighth embodiments according to the present technology. ..
  • priority is given to the central portion of the screen (pixel array section) following the solid-state image pickup device and image pickup control method of the eighth embodiment according to the present technology.
  • the read pattern 5006d includes a read pattern (R) shown in FIG. 16 (d-1), a read pattern (B) shown in FIG. 16 (d-2), and a read pattern shown in FIG. 16 (d-3). It is composed of a pattern (Gr) and a read pattern (Gb) shown in FIG. 16 (d-4). Then, the reading pattern (B), the reading pattern (R), the reading pattern (Gb), and the reading pattern (Gr) are read in this order.
  • the pixels of M52 and the pixels of M53 near the central portion C are first read with priority, and then in the direction of arrow P130 (upward in FIG. 16), for example, of M52. Pixels ⁇ M51 pixels ⁇ M50 pixels are read in this order, and in the direction of arrow Q130 (downward in FIG. 16), for example, M53 pixels ⁇ M54 pixels ⁇ M55 pixels are read in this order.
  • the pixels of M47 and the pixels of M47 near the central portion C are first read with priority, and then in the direction of arrow P130 (upward in FIG. 16), for example, of M46. Pixels ⁇ M45 pixels ⁇ M44 pixels are read in this order, and in the direction of arrow Q130 (downward in FIG. 16), for example, M47 pixels ⁇ M48 pixels ⁇ M49 pixels are read in this order.
  • the pixels of M64 and the pixels of M65 near the central portion C are first read with priority, and then in the direction of arrow P130 (upward in FIG. 16), for example, of M64. Pixels ⁇ M63 pixels ⁇ M62 pixels are read in this order, and in the direction of arrow Q130 (downward in FIG. 16), for example, M65 pixels ⁇ M66 pixels ⁇ M67 pixels are read in this order.
  • the pixels of M58 and the pixels of M59 near the central portion C are first read with priority, and then in the direction of arrow P130 (upward in FIG. 16), for example, of M58.
  • Pixels ⁇ M57 pixels ⁇ M56 pixels are read in this order, and in the direction of arrow Q130 (downward in FIG. 16), for example, M59 pixels ⁇ M60 pixels ⁇ M61 pixels are read in this order.
  • the pixel array unit 5006e is a combination of the read pattern (B), the read pattern (R), the read pattern (Gb), and the read pattern (Gr), and has a Bayer array structure.
  • the first pixel data is output as Stream 1
  • the second pixel data is output as Stream 2 separately from Stream 1.
  • the pixel data 24-1 of the moving image (moving image frame) to the pixel data 24-7 of the moving image (moving image frame) constituting the first pixel data are output as Stream 1 in the order of time series, and the first The pixel data 25-3 of the divided still image 9, the pixel data 25-34 of the divided still image 10, the pixel data 25-45 of the divided still image 11, and the divided still image constituting the two-pixel data in chronological order.
  • the pixel data 25-56 of the image 12 are output separately and independently as Stream 2.
  • each of the pixel data 25-3 of the divided still image 9 the pixel data 25-34 of the divided still image 10, the pixel data 25-45 of the divided still image 11, and the pixel data 25-56 of the divided still image 12.
  • the still images (still images) for all the pixels of the pixel array unit (screen) are obtained. Be done.
  • the moving image (moving image) can have continuous continuity. A still image (still image) can be smoothly produced.
  • Reference numeral 5006 indicates a flow of reading from pixels (pixel signals) of the pixel array unit (screen) in time series.
  • T131 to T137 in which the numerical order of the reference reference numerals means a time series, roughly indicates the time from the start of pixel reading to the memory transfer (MEM Transfer) in frame rate.
  • MEM Transfer memory transfer
  • each of T131 to T137 is 120 fps (8.3 ms).
  • the reading flow 5006 will be explained in more detail.
  • the T131 sets the read start time indicated by the vertex R143 of the figure 35-1 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 24-1 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T132 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading shown by the upper apex R144 and the lower apex R145 of the figure 35-1 (global reset (GR)). ) 81).
  • the T132 sets the read start time indicated by the apex R146 of the figure 35-2 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 24-2 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T133 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once (global reset) before the end of reading shown by the upper vertex R147 and the lower vertex R148 of the figure 35-2. (GR) 81).
  • the T133 is an image data of the moving image (image data of the second frame) obtained by outputting the pixel data 24-3 of the moving image and an image data of the divided still image (image data of the divided still image 1) obtained by outputting the pixel data 25-3 of the divided still image.
  • the photodiode (PD) of each pixel for the next read in T134 starting from the read start time indicated by the vertex R149 of the figure 305-3, which schematically displays the read for obtaining both of the image data).
  • the end time is (memory transfer (MEM Transfer) 82) in which all the pixels are collectively transferred to the holding unit (MEM: intra-pixel memory). Further, as shown in FIG. 14, the photodiodes (PD) of all the pixels are reset all at once (global reset) before the end of reading shown by the upper vertex R150 and the lower vertex R151 of the figure 305-3. (GR) 81).
  • the moving image pixel data 24-3 obtained by reading the pixels (pixel signals) based on the figure 305-3 is used as the first pixel data in order to obtain the moving image image data (image data of the second frame), for example, an image processing unit.
  • the pixel data 25-3 of the divided still image is output to (ISP) as Stream 1 in order to obtain the image data of the divided still image (image data of the divided still image 9) as the second pixel data. It is output to ISP) as Stream 2 separately and independently.
  • Figure 305-34 is shown which schematically displays the reading for obtaining the image data of the divided still image (image data of the divided still image 10) output from 25-34, and the apex R152 of the figure 305-34 is read.
  • the start is indicated, and the upper apex R153 and the lower apex 154 of FIGS. 305-34 indicate the end of reading.
  • the T134 sets the read start time indicated by the apex R155 of the figure 35-4 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 24-4 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T135 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once (global reset) before the end of reading shown by the upper vertex R156 and the lower vertex 157 of the figure 35-4. (GR) 81).
  • FIG. 305-45 are shown which schematically display the readout for obtaining the image data of the divided still image (image data of the divided still image 11) by the output of 25-45, and the vertices R158 and R160 of the figure 305-45 are shown. The start of reading is indicated, and the vertices R159 and R161 of the figures 305-45 indicate the end of reading.
  • the T135 sets the read start time indicated by the vertex R162 of the figure 35-5 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 24-5 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T136 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading shown by the upper vertex R163 and the lower vertex R164 of the figure 35-5 (global reset (GR)). ) 81).
  • FIG. 305-56 are shown which schematically display the readout for obtaining the image data of the divided still image (image data of the divided still image 12) by the output of 25-56, and the vertices R165 and R167 of the figure 305-56 are shown. The start of reading is indicated, and the vertices R166 and R168 of the figures 305-56 indicate the end of reading.
  • T136 sets the read start time indicated by the apex R169 of the figure 35-6 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 24-6 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T137 is transferred to the holding unit (MEM: intra-pixel memory) all at once (memory transfer (MEM). Transfer) 82) Time is the end.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading shown by the upper vertex R170 and the lower vertex R171 of the figure 35-6 (global reset (GR)). ) 81).
  • T137 sets the read start time indicated by the vertex R172 of the figure 35-7 schematically displaying the read for obtaining the image data (image data of the first frame) of the moving image by the output of the pixel data 24-7 of the moving image.
  • the charge accumulated in the photodiode (PD) of each pixel for reading in the next T138 is transferred to the holding unit (MEM: in-pixel memory) all at once.
  • MEM memory transfer
  • 82 memory transfer (MEM Transfer) 82) time is set as the final stage.
  • the photodiodes (PD) of all the pixels are reset all at once before the end of reading shown by the upper vertex R173 and the lower vertex 174 of the figure 35-7 (global reset (GR)). ) 81).
  • the solid-state image pickup device and the image pickup control method of the ninth embodiment (Example 9 of the solid-state image pickup device and Example 9 of the image pickup control method) according to the present technology are particularly technically inconsistent in addition to the contents described above. Unless there is a requirement, the contents described in the columns of the solid-state image sensor and the image pickup control method of the first to eighth embodiments according to the present technology can be applied as they are.
  • the electronic device of the tenth embodiment according to the present technology is equipped with the solid-state image sensor of any one of the first to ninth embodiments according to the present technology. It is an electronic device.
  • FIG. 18 is a diagram showing an example of use of the solid-state image sensor of the first to ninth embodiments according to the present technology as an image sensor (solid-state image sensor).
  • the solid-state image pickup device of the first to ninth embodiments described above can be used in various cases of sensing light such as visible light, infrared light, ultraviolet light, and X-ray, as described below. it can. That is, as shown in FIG. 18, for example, the field of appreciation for taking an image used for appreciation, the field of transportation, the field of home appliances, the field of medical / healthcare, the field of security, the field of beauty,
  • the solid-state imaging device of any one of the first to ninth embodiments is used as the device (for example, the electronic device of the tenth embodiment described above) used in the fields of sports, agriculture, and the like. be able to.
  • the first to ninth implementations are applied to devices for taking images to be used for appreciation, such as digital cameras, smartphones, and mobile phones with a camera function.
  • the solid-state imaging device of any one of the embodiments can be used.
  • in-vehicle sensors that photograph the front, rear, surroundings, inside of a vehicle, etc., and monitor traveling vehicles and roads for safe driving such as automatic stop and recognition of the driver's condition.
  • the solid-state imaging device of any one of the first to ninth embodiments is used as a device used for traffic such as a surveillance camera and a distance measuring sensor for measuring distance between vehicles. be able to.
  • devices used in home appliances such as television receivers, refrigerators, and air conditioners in order to photograph a user's gesture and operate the device according to the gesture.
  • the solid-state imaging device of any one of the ninth embodiments can be used.
  • the first to ninth implementations are applied to devices used for medical care and healthcare, such as endoscopes and devices that perform angiography by receiving infrared light.
  • the solid-state imaging device of any one of the embodiments can be used.
  • a device used for security such as a surveillance camera for crime prevention and a camera for personal authentication is used as a solid body of any one of the first to ninth embodiments.
  • An image sensor can be used.
  • a skin measuring device for photographing the skin for example, a microscope for photographing the scalp, and other devices used for cosmetology are equipped with any one of the first to ninth embodiments.
  • a solid-state imaging device of the form can be used.
  • a solid-state image sensor In the field of sports, for example, a solid-state image sensor according to any one of the first to ninth embodiments is used as a device used for sports such as an action camera or a wearable camera for sports applications. Can be used.
  • a device used for agriculture such as a camera for monitoring the state of a field or a crop is subjected to solid-state imaging of any one of the first to ninth embodiments.
  • the device can be used.
  • the solid-state image sensor of any one of the first to ninth embodiments described above is used.
  • the solid-state imaging device 101 can be applied to all types of electronic devices having an imaging function, such as camera systems such as digital still cameras and video cameras, and mobile phones having an imaging function.
  • FIG. 19 shows a schematic configuration of the electronic device 102 (camera) as an example.
  • the electronic device 102 is, for example, a video camera capable of capturing a still image or a moving image, and drives a solid-state image sensor 101, an optical system (optical lens) 310, a shutter device 311 and a solid-state image sensor 101 and a shutter device 311. It has a drive unit 313 and a signal processing unit 312.
  • the optical system 310 guides the image light (incident light) from the subject to the pixel portion 101a of the solid-state image sensor 101.
  • the optical system 310 may be composed of a plurality of optical lenses.
  • the shutter device 311 controls the light irradiation period and the light blocking period of the solid-state image sensor 101.
  • the drive unit 313 controls the transfer operation of the solid-state image sensor 101 and the shutter operation of the shutter device 311.
  • the signal processing unit 312 performs various signal processing on the signal output from the solid-state image sensor 101.
  • the video signal Dout after signal processing is stored in a storage medium such as a memory, or is output to a monitor or the like.
  • FIG. 20 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technique according to the present disclosure (the present technique) can be applied.
  • FIG. 20 shows a surgeon (doctor) 11131 performing surgery on patient 11132 on patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as a pneumoperitoneum tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 equipped with various devices for endoscopic surgery.
  • the endoscope 11100 is composed of a lens barrel 11101 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid mirror having a rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. Good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101 to be an objective. It is irradiated toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the image sensor, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 11201.
  • CCU Camera Control Unit
  • the CCU11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processes on the image signal for displaying an image based on the image signal, such as development processing (demosaic processing).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 displays an image based on the image signal processed by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 is composed of, for example, a light source such as an LED (Light Emitting Diode), and supplies irradiation light to the endoscope 11100 when photographing an operating part or the like.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment tool control device 11205 controls the drive of the energy treatment tool 11112 for cauterizing, incising, sealing a blood vessel, or the like of a tissue.
  • the pneumoperitoneum device 11206 uses a gas in the pneumoperitoneum tube 11111 to inflate the body cavity of the patient 11132 for the purpose of securing the field of view by the endoscope 11100 and securing the work space of the operator. Is sent.
  • the recorder 11207 is a device capable of recording various information related to surgery.
  • the printer 11208 is a device capable of printing various information related to surgery in various formats such as text, images, and graphs.
  • the light source device 11203 that supplies the irradiation light to the endoscope 11100 when photographing the surgical site can be composed of, for example, an LED, a laser light source, or a white light source composed of a combination thereof.
  • a white light source is configured by combining RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the laser light from each of the RGB laser light sources is irradiated to the observation target in a time-divided manner, and the drive of the image sensor of the camera head 11102 is controlled in synchronization with the irradiation timing to support each of RGB. It is also possible to capture the image in a time-divided manner. According to this method, a color image can be obtained without providing a color filter on the image sensor.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 11102 in synchronization with the timing of the change of the light intensity to acquire an image in time division and synthesizing the image, so-called high dynamic without blackout and overexposure. Range images can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue to irradiate light in a narrow band as compared with the irradiation light (that is, white light) in normal observation, the mucosal surface layer.
  • a so-called narrow band imaging is performed in which a predetermined tissue such as a blood vessel is photographed with high contrast.
  • fluorescence observation in which an image is obtained by fluorescence generated by irradiating with excitation light may be performed.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 may be configured to be capable of supplying narrow band light and / or excitation light corresponding to such special light observation.
  • FIG. 21 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU11201 shown in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • CCU11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and CCU11201 are communicatively connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101.
  • the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and incident on the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the image pickup unit 11402 is composed of an image pickup element.
  • the image sensor constituting the image pickup unit 11402 may be one (so-called single plate type) or a plurality (so-called multi-plate type).
  • each image pickup element may generate an image signal corresponding to each of RGB, and a color image may be obtained by synthesizing them.
  • the image pickup unit 11402 may be configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to 3D (Dimensional) display, respectively.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the biological tissue in the surgical site.
  • a plurality of lens units 11401 may be provided corresponding to each image pickup element.
  • the imaging unit 11402 does not necessarily have to be provided on the camera head 11102.
  • the image pickup unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and the zoom lens and the focus lens of the lens unit 11401 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 11405. As a result, the magnification and focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU11201.
  • the communication unit 11404 transmits the image signal obtained from the image pickup unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and / or information to specify the magnification and focus of the captured image. Contains information about the condition.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good.
  • the endoscope 11100 is equipped with a so-called AE (Auto Exposure) function, an AF (Auto Focus) function, and an AWB (Auto White Balance) function.
  • the camera head control unit 11405 controls the drive of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling the drive of the camera head 11102 to the camera head 11102.
  • Image signals and control signals can be transmitted by telecommunications, optical communication, or the like.
  • the image processing unit 11412 performs various image processing on the image signal which is the RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls related to the imaging of the surgical site and the like by the endoscope 11100 and the display of the captured image obtained by the imaging of the surgical site and the like. For example, the control unit 11413 generates a control signal for controlling the drive of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display an image captured by the surgical unit or the like based on the image signal processed by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image by using various image recognition techniques. For example, the control unit 11413 detects the shape and color of the edge of an object included in the captured image to remove surgical tools such as forceps, a specific biological part, bleeding, and mist when using the energy treatment tool 11112. Can be recognized.
  • the control unit 11413 may superimpose and display various surgical support information on the image of the surgical unit by using the recognition result. By superimposing and displaying the operation support information and presenting it to the operator 11131, it is possible to reduce the burden on the operator 11131 and to allow the operator 11131 to proceed with the operation reliably.
  • the transmission cable 11400 that connects the camera head 11102 and CCU11201 is an electric signal cable that supports electric signal communication, an optical fiber that supports optical communication, or a composite cable thereof.
  • the communication was performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU11201 may be performed wirelessly.
  • the above is an example of an endoscopic surgery system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the endoscope 11100, the camera head 11102 (imaging unit 11402), and the like among the configurations described above.
  • the solid-state image sensor according to the present technology can be applied to the image pickup unit 10402.
  • the endoscopic surgery system has been described as an example, but the technique (the present technique) according to the present disclosure may be applied to other, for example, a microscopic surgery system.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 22 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 23 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 23 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure (this technology) can be applied.
  • the technique according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
  • the solid-state image sensor according to the present technology can be applied to the image pickup unit 12031.
  • the present technology is not limited to the above-described embodiments, the above-mentioned usage examples, and the above-mentioned application examples, and various changes can be made without departing from the gist of the present technology.
  • Each pixel has a photoelectric conversion unit that generates an electric charge according to incident light, a holding unit that holds the electric charge transferred from the photoelectric conversion unit, and a conversion unit that converts the electric charge into a pixel signal. do it, A pixel array portion in which a plurality of the pixels are arranged in a matrix is formed. A first pixel data generation unit that reads the pixel signal and generates first pixel data, A second pixel data generator that reads the pixel signal and generates second pixel data, A solid-state image sensor including the first pixel data and an output unit that outputs the second pixel data independently of each other.
  • the first pixel data is output to obtain moving image data
  • the image data of the moving image is composed of the image data of the first frame and the image data of the second frame.
  • the image data of the first frame is read out in units of rows from the first row group formed by thinning out a predetermined number of rows out of all the rows in the pixel array unit and adding a predetermined number of rows not thinned out.
  • Obtained by The image data of the second frame is one of a plurality of second row groups composed of a predetermined number of rows that are time-divided into a plurality of rows in the pixel array unit.
  • the solid-state imaging device which is obtained by reading from a group of two rows in units of rows.
  • [4] In order to obtain the image data of the second frame between the time of reading to obtain the image data of the first frame and the time of reading to obtain the image data of the first frame next.
  • the solid-state image sensor according to [3], which reads data.
  • the image data of the still image is composed of the image data of a plurality of divided still images.
  • Each of the image data of the plurality of divided still images is a group of a plurality of second rows composed of a predetermined number of rows that are time-divisioned into a plurality of rows in the pixel array unit.
  • the solid-state image sensor according to any one of [2] to [4], which is obtained by reading each line separately and independently.
  • the image data of the moving image is composed of the image data of the first frame and the image data of the second frame.
  • the image data of the first frame is read out in units of rows from the first row group formed by thinning out a predetermined number of rows out of all the rows in the pixel array unit and adding a predetermined number of rows not thinned out.
  • the image data of the second frame is one of a plurality of second row groups composed of a predetermined number of rows that are time-divided into a plurality of rows in the pixel array unit.
  • the image data of the still image is composed of the image data of a plurality of divided still images.
  • Each of the image data of the plurality of divided still images is a group of a plurality of second rows composed of a predetermined number of rows that are time-divisioned into a plurality of rows in the pixel array unit.
  • the solid-state image sensor according to [2] which is obtained by reading each line separately and independently.
  • [7] In order to obtain the image data of the second frame between the time of reading to obtain the image data of the first frame and the time of reading to obtain the image data of the first frame next.
  • the solid-state image sensor according to [6] which reads data.
  • Both the image data of the second frame constituting the moving image and the image data of one of the plurality of divided still images constituting the still image are one of the plurality of second row groups.
  • the reading for obtaining the image data of at least one divided still image among the plurality of divided still images constituting the still image is the reading for obtaining the image data of the first frame or the image data of the second frame. Is performed between the time of reading and the time of reading to obtain the image data of the first frame after reading to obtain the image data of the first frame or the image data of the second frame.
  • the solid-state imaging apparatus according to any one of [6] to [8].
  • the reading for obtaining the image data of the first divided still image is performed, and the image data of the second frame is obtained.
  • the reading for obtaining the image data of at least the second divided still image other than the reading for obtaining the image data of the first divided still image is performed.
  • any one of [6] to [9] which is performed between the time of reading to obtain the image data of the first frame and the time of reading to obtain the continuous image data of the first frame.
  • the solid-state imaging apparatus So that the still images can be obtained continuously After the reading to obtain the image data of the divided still image for completing the still image is performed.
  • the image data of the first frame is Of the predetermined number of rows constituting the first row group, the row closest to the substantially center of the pixel array portion is read toward the upward row and the downward row constituting the first row group.
  • the image data of the second frame is From the row closest to the substantially center of the pixel array portion of the predetermined number of rows constituting one of the plurality of second row groups, toward the upward row and the downward row.
  • Read and get The data of each of the plurality of divided still images Obtained by reading from the row closest to the substantially center of the pixel array portion among the predetermined number of rows constituting each of the plurality of second row groups toward the upward row and / or the downward row.
  • the solid-state imaging device according to any one of [6] to [11]. [13] Both the image data of the second frame constituting the moving image and the image data of the divided still image of one of the plurality of divided still images constituting the still image are the same in the plurality of second row groups.
  • the solid-state imaging device which is read from one second row group and obtained at the same time.
  • a type of filter selected from the group consisting of a blue filter, a red filter, a first green filter and a second green filter is formed.
  • the image data of the first frame is Out of a predetermined number of rows constituting the first row group, pixels having a red filter and a blue filter forming the row closest to the substantially center of the pixel array portion form an upward row and a downward row.
  • the data of each of the plurality of divided still images From the pixels constituting the red filter and the blue filter forming the row closest to the substantially center of the pixel array portion among the predetermined number of rows constituting each of the plurality of second row groups, the rows in the upward direction and / Or read toward the pixels that make up the red and blue filters that make up the downward row, Next, from the pixel having the first green filter and the second green filter forming the row closest to the substantially center of the pixel array portion among the predetermined number of rows constituting each of the plurality of second row groups, the pixels are above.
  • a type of filter selected from the group consisting of a blue filter, a red filter, a first green filter and a second green filter is formed.
  • the image data of the first frame is A red filter that constitutes an upward row and a downward row from a pixel having a red filter that constitutes the row closest to the substantially center of the pixel array portion among a predetermined number of rows that constitute the first row group.
  • the image data of the second frame is A row in the upward direction from a pixel having a red filter that constitutes the row closest to the substantially center of the pixel array portion among a predetermined number of rows that constitute one of the plurality of second row groups. And read towards the pixel with the red filter that makes up the downward row, A row in the upward direction from a pixel having a blue filter that constitutes the row closest to the substantially center of the pixel array portion among a predetermined number of rows that constitute one of the plurality of second row groups.
  • the data of each of the plurality of divided still images From the pixel having the red filter forming the row closest to the substantially center of the pixel array portion among the predetermined number of rows constituting each of the plurality of second row groups, the rows in the upward direction and / or the rows in the downward direction.
  • the rows in the upward direction and / or the rows in the downward direction Read towards the pixels with the red filters that make up the row From the pixel having the blue filter forming the row closest to the substantially center of the pixel array portion among the predetermined number of rows constituting each of the plurality of second row groups, the rows in the upward direction and / or the rows in the downward direction.
  • Each pixel has a photoelectric conversion unit that generates an electric charge according to incident light, a holding unit that holds the electric charge transferred from the photoelectric conversion unit, and a conversion unit that converts the electric charge into a pixel signal. Then, a plurality of the pixels are arranged in a matrix to form a pixel array portion. The plurality of pixels are composed of a pixel used for image generation and a focus detection pixel used for focus adjustment. A third pixel generation unit that reads a pixel signal from a pixel used for image generation and a focus detection pixel signal from a focus detection pixel used for focus adjustment to generate third pixel data.
  • a fourth pixel generation unit that reads a pixel signal from a pixel used for image generation and generates fourth pixel data.
  • a solid-state image sensor including the third pixel data and an output unit that outputs the fourth pixel data independently of each other.
  • the third pixel data is output in order to obtain moving image data and focus detection image data.
  • Each pixel has a photoelectric conversion unit that generates an electric charge according to the incident light, a holding unit that holds the electric charge transferred from the photoelectric conversion unit, and a conversion unit that converts the electric charge into a pixel signal.
  • This is an image pickup control method for a solid-state image pickup device in which a plurality of the pixels are arranged in a matrix to form a pixel array portion.
  • the imaging control method is Reading the pixel signal to generate the first pixel data, Reading the pixel signal to generate the second pixel data, A method comprising outputting the first pixel data and the second pixel data independently of each other.
  • the first pixel data is output to obtain moving image data
  • the second pixel data is output to obtain image data of a still image
  • the image data of the moving image is composed of the image data of the first frame and the image data of the second frame.
  • the still image is composed of a plurality of divided still images, and in order to obtain the image data of the first frame, a predetermined number of rows among all the rows in the pixel array unit are thinned out, and a predetermined number of rows not thinned out are removed.
  • Reading the first line group composed of additions line by line In order to obtain the image data of the second frame, all the rows in the pixel array unit are time-divisioned into a plurality of rows, and among the plurality of second row groups composed of a predetermined number of rows time-divisioned into the plurality of rows. Reading one second line group line by line, In order to obtain the data of each of the plurality of divided still images, all the rows in the pixel array unit are time-divided into a plurality of rows, and a plurality of second rows composed of a predetermined number of rows divided into the plurality of rows.
  • the imaging control method according to [20] comprising reading each of the groups separately and independently on a row-by-row basis.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

グローバルシャッタ方式において、２ストリーム（２ｓｔｒｅａｍ）駆動を実現することができる固体撮像装置を提供すること。　グローバルシャッタ方式であり、画素毎に、入射光に応じて電荷を発生する光電変換部と、該光電変換部から転送されてくる該電荷を保持する保持部と、該電荷を画素信号に変換する変換部と、を有して、該画素が複数で行列状に配置された画素アレイ部が形成され、該画素信号を読出しして第１画素データを生成する第１画素データ生成部と、該画素信号を読出しして第２画素データを生成する第２画素データ生成部と、該第１画素データと、該第２画素データとが互いに独立して出力される出力部と、を備える、固体撮像装置を提供する。

Description

固体撮像装置及び電子機器、並びに固体撮像装置の撮像制御方法
　本技術は、固体撮像装置及び電子機器、並びに固体撮像装置の撮像制御方法に関する。
　近年では、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像装置を備えたデジタルスチルカメラやデジタルビデオカメラが普及している。デジタルスチルカメラは静止画を撮像するものであり、デジタルビデオカメラは動画を撮像するものであるが、動画を撮像可能なデジタルスチルカメラや静止画を撮像可能なデジタルビデオカメラも存在する。
　上述のようなデジタルスチルカメラやデジタルビデオカメラにおいて、ローリングシャッタ方式の動作を前提とした２ストリーム（２ｓｔｒｅａｍ）駆動を実現するための技術が提案されている（例えば、特許文献１～３を参照。）。
特開２０１３－５５５８９号公報 ＷＯ２０１５／１７０５０３号公報 特開２０１７－５４４３号公報
　しかしながら、特許文献１～３で提案された技術では、グローバルシャッタ方式の動作を前提としたときに、２ストリーム（２ｓｔｒｅａｍ）駆動を実現することができないおそれがある。
　そこで、本技術は、このような状況に鑑みてなされたものであり、グローバルシャッタ方式において、２ストリーム（２ｓｔｒｅａｍ）駆動を実現することができる固体撮像装置、及びその固体撮像装置が搭載された電子機器を提供することを主目的とする。
　本発明者らは、上述の目的を解決するために鋭意研究を行った結果、グローバルシャッタ方式の固体撮像装置において、２ストリーム（２ｓｔｒｅａｍ）駆動が実現され得ることに成功し、本技術を完成するに至った。
　すなわち、本技術では、第１の側面として、
　グローバルシャッタ方式であり、
　画素毎に、入射光に応じて電荷を発生する光電変換部と、該光電変換部から転送されてくる該電荷を保持する保持部と、該電荷を画素信号に変換する変換部と、を有して、
　該画素が複数で行列状に配置された画素アレイ部が形成され、
　該画素信号を読出しして第１画素データを生成する第１画素データ生成部と、
　該画素信号を読出しして第２画素データを生成する第２画素データ生成部と、
　該第１画素データと、該第２画素データとが互いに独立して出力される出力部と、を備える、固体撮像装置を提供する。
　本技術に係る第１の側面の固体撮像装置において、
　前記第１画素データが動画の画像データを得るために出力されてよく、
　前記第２画素データが静止画の画像データを得るために出力されてよく、
　また、本技術に係る第１の側面の固体撮像装置において、
　前記第１画素データが静止画の画像データを得るために出力されてもよく、
　前記第２画素データが動画の画像データを得るために出力されてもよい。
　本技術に係る第１の側面の固体撮像装置において、
　前記動画の画像データが、第１フレームの画像データと第２フレームの画像データとから構成されてよく、
　該第１フレームの画像データが、前記画素アレイ部における全行のうち所定数の行を間引いて、間引かなかった所定数の行を加算して構成される第１行群から行単位で読出しして得られてよく、
　該第２フレームの画像データが、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のうち１つの第２行群から行単位で読出しして得られてよく、この場合、
　前記第１フレームの画像データを得るために読出しをする時と、前記第１フレームの画像データを次に得るために読出しをする時との間に、前記第２フレームの画像データを得るために読出しをしてもよい。
　本技術に係る第１の側面の固体撮像装置において、
　前記静止画の画像データが複数の分割静止画の画像データから構成されてよく、
　該複数の分割静止画の画像データのそれぞれが、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のそれぞれから行単位で別個独立に読出しして得られてよい。
　本技術に係る第１の側面の固体撮像装置において、
　前記動画の画像データが、第１フレームの画像データと第２フレームの画像データとから構成されてよく、
　該第１フレームの画像データが、前記画素アレイ部における全行のうち所定数の行を間引いて、間引かなかった所定数の行を加算して構成される第１行群から行単位で読出しして得られてよく、
　該第２フレームの画像データが、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のうち１つの第２行群から行単位で読出しして得られてよく、
　前記静止画の画像データが複数の分割静止画の画像データから構成されてよく、
　該複数の分割静止画の画像データのそれぞれが、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のそれぞれから行単位で別個独立に読出して得られてよく、この場合、
　前記第１フレームの画像データを得るために読出しをする時と、前記第１フレームの画像データを次に得るために読出しをする時との間に、前記第２フレームの画像データを得るために読出しをしてよく、さらに、
　本技術に係る第１の側面の固体撮像装置において、
　前記動画を構成する前記第２フレームの画像データと、前記静止画を構成する複数の分割静止画のうち１つの分割静止画の画像データとの両方が、前記複数の第２行群のうち１つの第２行群から読出しして同時に得られてよい。
　本技術に係る第１の側面の固体撮像装置において、
　前記静止画を構成する前記複数の分割静止画のうち少なくとも１つの分割静止画の画像データを得るための読出しが、前記第１フレームの画像データ又は前記第２フレームの画像データを得るための読出しをする時と、前記第１フレームの画像データ又は前記第２フレームの画像データを得るための読出しをした後の前記第１フレームの画像データを得るための読出しをする時との間で行われてよい。
　本技術に係る第１の側面の固体撮像装置において、
　前記静止画を構成する前記複数の分割静止画のうち、第１分割静止画の画像データを得るための読出しによって、前記第２フレームの画像データが得られてよく、
　前記静止画を構成する複数の分割静止画のうち、該第１分割静止画の画像データを得るための読出し以外の少なくとも第２分割静止画の画像データを得るための読出しが、
　前記第２フレームの画像のデータを得るための読出し時と、前記第２フレームの画像のデータを得るための読出し後の前記第１フレームの画像データを得るための読出し時との間、及び／又は前記第１フレームの画像データを得るための読出し時と、連続した前記第１フレームの画像データを得るための読出し時との間で行われてよい。
　本技術に係る第１の側面の固体撮像装置において、
　前記静止画が連続的に得られるように、
　１つの前記静止画を完成させるための１つの前記分割静止画の画像データを得るための読出しが行われた後に、
　連続した次の前記静止画を構成する前記複数の分割静止画のうち１つの分割静止画の画像データを得るための読出しが行われてよい。
　本技術に係る第１の側面の固体撮像装置において、
　前記第１フレームの画像データが、
　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行から、前記第１行群を構成する上方向の行及び下方向の行に向かって読出しして得られてよく、
　前記第２フレームの画像データが、
　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行から、上方向の行及び下方向の行に向かって読出しして得られてよく、
　前記複数の分割静止画のそれぞれのデータが、
　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行から、上方向の行及び／又は下方向の行に向かって読出しして得られてよく、この場合、前記動画を構成する前記第２フレームの画像データと、前記静止画を構成する複数の分割静止画のうち１つの分割静止画の画像データとの両方が、前記複数の第２行群のうち前記１つの第２行群から読出しして同時に得られてよい。
　本技術に係る第１の側面の固体撮像装置において、
　前記画素毎に、
　青色フィルタ、赤色フィルタ、第１緑色フィルタ及び第２緑色フィルタからなる群から選ばれる１種のフィルタが形成されてよく、
　前記第１フレームの画像データが、
　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタ及び青色フィルタを有する画素から、上方向の行及び下方向の行を構成する赤色フィルタ及び青色フィルタを有する画素に向かって読出しして、
　次いで、前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素に向かって読出しして、得られてよく、
　前記第２フレームの画像データが、
　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタ及び青色フィルタを有する画素から、上方向の行及び下方向の行を構成する赤色フィルタ及び青色フィルタを有する画素に向かって読出しし、
　次いで、前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素に向かって読出しして、得られてよく、
　前記複数の分割静止画のそれぞれのデータが、
　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタ及び青色フィルタを構成する画素から、上方向の行及び／又は下方向の行を構成する赤色フィルタ及び青色フィルタを構成する画素に向かって読出しして、
　次いで、前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素に向かって読出しして、得られてよい。
　本技術に係る第１の側面の固体撮像装置において、
　前記画素毎に、
　青色フィルタ、赤色フィルタ、第１緑色フィルタ及び第２緑色フィルタからなる群から選ばれる１種のフィルタが形成されてよく、
　前記第１フレームの画像データが、
　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタを有する画素から、上方向の行及び下方向の行を構成する赤色フィルタを有する画素に向かって読出しして、
　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する青色フィルタを有する画素から、上方向の行及び下方向の行を構成する青色フィルタを有する画素に向かって読出しして、
　次いで、前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第１緑色フィルタを有する画素に向かって読出しして、
　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第２緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第２緑色フィルタを有する画素に向かって読出しして得られてよく、
　前記第２フレームの画像データが、
　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタを有する画素から、上方向の行及び下方向の行を構成する赤色フィルタを有する画素に向かって読出しして、
　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する青色フィルタを有する画素から、上方向の行及び下方向の行を構成する青色フィルタを有する画素に向かって読出しして、
　次いで、前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第１緑色フィルタを有する画素に向かって読出しして、
　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第２緑色フィルタを有する画素から、前記１つの第２行群を構成する上方向の行及び下方向の行を構成する第２緑色フィルタを有する画素に向かって読出しして、得られてよく、
　前記複数の分割静止画のそれぞれのデータが、
　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する赤色フィルタを有する画素に向かって読出しして、
　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する青色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する青色フィルタを有する画素に向かって読出しして、
　次いで、前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する第１緑色フィルタを有する画素に向かって読出しして、
　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第２緑色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する第２緑色フィルタを有する画素に向かって読出しして、得られてよい。
　また、本技術では、第２の側面として、
　グローバルシャッタ方式であり、
　画素毎に、入射光に応じて電荷を発生する光電変換部と、該光電変換部から転送されてくる該電荷を保持する保持部と、該電荷を画素信号に変換する変換部と、を有して、該画素が複数で行列状に配置されて画素アレイ部が形成され、
　前記複数の画素が、画像生成に用いられる画素と、焦点調整に用いられる焦点検出画素とから構成され、
　該画像生成に用いられる画素からの画素信号と該焦点調整に用いられる焦点検出画素からの焦点検出画素信号を読出しして第３画素データを生成する第３画素生成部と、
　該画像生成に用いられる画素からの画素信号を読出しして第４画素データを生成する第４画素生成部と、
　該第３画素データと、該第４画素データとが互いに独立して出力される出力部と、を備える、固体撮像装置を提供する。
　本技術に係る第２の側面の固体撮像装置において、
　前記第３画素データが、動画の画像データ及び焦点検出画像のデータを得るために出力されてよく、
　前記第４画素データが、静止画の画像データを得るために出力されてよい。
　さらに、本技術では、第３の側面として、
　本技術に係る第１の側面又は第２の側面の固体撮像装置は、更に、フレームメモリを備えていてよい。
　さらにまた、本技術では、第４の側面として、
　本技術に係る第１の側面、第２の側面又は第３の側面の固体撮像装置が搭載された、電子機器を提供する。
　最後に、本技術では、第５の側面として、
　グローバルシャッタ方式であり、
　画素毎に、入射光に応じて電荷を発生する光電変換部と、該光電変換部から転送されてくる該電荷を保持する保持部と、該電荷を画素信号に変換する変換部と、を有して、該画素が複数で行列状に配置されて画素アレイ部が形成された、固体撮像装置の撮像制御方法であり、
　該撮像制御方法が、
　該画素信号を読出しして第１画素データを生成することと、
　該画素信号を読出しして第２画素データを生成することと、
　該第１画素データと、該第２画素データとを互いに独立して出力することと、を含む、方法を提供する。
　本技術に係る第５の側面の固体撮像装置の撮像制御方法において、
　前記第１画素データが動画の画像データを得るために出力されてよく、
　前記第２画素データが静止画の画像データを得るために出力されてよく、
　前記動画の画像データが、第１フレームの画像データと第２フレームの画像データとから構成されてよく、
　前記静止画が複数の分割静止画から構成されてよく、
　該第１フレームの画像データを得るために、前記画素アレイ部における全行のうち所定数の行を間引いて、間引かなかった所定数の行を加算して構成される第１行群を行単位で読出すことと、
　該第２フレームの画像データを得るために、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のうち１つの第２行群を行単位で読出すことと、
　該複数の分割静止画のそれぞれのデータを得るために、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のそれぞれを行単位で別個独立に読出すことと、を含んでよい。
　本技術によれば、グローバルシャッタ方式において、２ストリーム（２ｓｔｒｅａｍ）駆動を実現することができる固体撮像装置、及びその固体撮像装置が搭載された電子機器が提供され得る。なお、ここに記載された効果は、必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した固体撮像装置の概略的な構成例を示す図である。 本技術を適用した固体撮像装置の概略的な構成例を示す図である。 本技術を適用した固体撮像装置が有するグローバルシャッタ用の画素の構成例を示す図である。 本技術を適用した固体撮像装置が有するグローバルシャッタ用の画素の構成例を示す図である。 本技術を適用した固体撮像装置に用いられ得るフィルタのパターンの構成例を示す図である。 本技術を適用した固体撮像装置に用いられ得るフィルタのパターンの構成例を示す図である。 動画並びに静止画の読出し方式、読出し方式を模式的に示した図形及び読出し例を示す図である。 分割静止画の読出し方式、読出し方式を模式的に示した図形及び読出し例を示す図である。 本技術を適用した固体撮像装置が実現することができる、グローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例を示す図である。 本技術を適用した固体撮像装置が実現することができる、グローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例を示す図である。 本技術を適用した固体撮像装置が実現することができる、グローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例を示す図である。 本技術を適用した固体撮像装置が実現することができる、グローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例を示す図である。 本技術を適用した固体撮像装置が実現することができる、グローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例を示す図である。 本技術を適用した固体撮像装置が実現することができる、グローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例を示す図である。 読出しパターンの例を示す図である。 本技術を適用した固体撮像装置が実現することができる、グローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例を示す図である。 本技術を適用した固体撮像装置の構成例を示す斜視図である。 本技術を適用した第１～第９の実施形態の固体撮像装置の使用例を示す図である。 本技術を適用した第１０の実施形態に係る電子機器の一例の機能ブロック図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための好適な形態について説明する。以下に説明する実施形態は、本技術の代表的な実施形態の一例を示したものであり、これにより本技術の範囲が狭く解釈されることはない。なお、特に断りがない限り、図面において、「上」とは図中の上方向又は上側を意味し、「下」とは、図中の下方向又は下側を意味し、「左」とは図中の左方向又は左側を意味し、「右」とは図中の右方向又は右側を意味する。また、図面については、同一又は同等の要素又は部材には同一の符号を付し、重複する説明は省略する。
　説明は以下の順序で行う。
　１．本技術の概要
　２．第１の実施形態（固体撮像装置の例１及び撮像制御方法の例１）
　３．第２の実施形態（固体撮像装置の例２及び撮像制御方法の例２）
　４．第３の実施形態（固体撮像装置の例３及び撮像制御方法の例３）
　５．第４の実施形態（固体撮像装置の例４及び撮像制御方法の例４）
　６．第５の実施形態（固体撮像装置の例５及び撮像制御方法の例５）
　７．第６の実施形態（固体撮像装置の例６及び撮像制御方法の例６）
　８．第７の実施形態（固体撮像装置の例７及び撮像制御方法の例７）
　９．第８の実施形態（固体撮像装置の例８及び撮像制御方法の例８）
　１０．第９の実施形態（固体撮像装置の例９及び撮像制御方法の例９）
　１１．第１０の実施形態（電子機器の例）
　１２．本技術を適用した固体撮像装置の使用例
　１３．内視鏡手術システムへの応用例
　１４．移動体への応用例
＜１．本技術の概要＞
　まず、本技術の概要について説明をする。
　本技術では、画素内に保持部を有する構造（例えば、画素内メモリ構造、フローティングデュフージョン（ＦＤ）蓄積構造等）を有する画素構成でフレームメモリを搭載せずにグローバルシャッタ（Ｇｌｏｂａｌ Ｓｈｕｔｔｅｒ）動作、かつ、２ストリーム（２ｓｔｒｅａｍ、信号の流れ）を実現することが可能である。
　また、フレームメモリを使う場合は更にイメージセンサ内でデータの並び替えを行い画像処理ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）が受信しやすい順序で出力が可能である。
　そして、本技術は、時分割出力静止画動作では動画モードに使用する画素データを優先して出力し、動画画像として使用することで切れ目のない連続動画を実現することができる。次いでその他の画素データを動画モードの垂直ブランキング期間で分割して出力し、数フレームを通して、全画素を読出し、先に読出した動画画像と合わせることで全画素分の静止画を完成させることができる。さらに、本技術では、Ｐａｒａｓｔｉｃ ｌｉｇｈｔ ｓｅｎｓｉｔｉｖｉｔｙ（ＰＬＳ）特性を考慮して、画面（画素アレイ部）の中央から優先して読み出すこともできる。また、一般被写体において、ＰＬＳ特性の影響が大きいＲ（レッド）フィルタを有する画素やＢ（ブルー）フィルタを有する画素を最初に読出した後に、Ｇ（グリーン）フィルタ（同じ行にＲ（レッド）フィルタとＧ（グリーン）フィルタとが配列されていればそのＧ（グリーン）フィルタはＧｒフィルタ、同じ行にＢ（ブルー）フィルタとＧ（グリーン）フィルタとが配列されていればそのＧ（グリーン）フィルタはＧｒフィルタとなる。）を読出すことで、ＰＬＳ特性の色毎の面内差分を低減することが可能となる。色間のＰＬＳ差分については、例えば、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）に設けられたホワイトバランス増幅器によってホワイトバランス値を算出して、ホワイトバランスゲインで調整、吸収することができる。
　本技術は、固体撮像装置及び電子機器、並びに固体撮像装置の撮像制御方法に関するものである。
　本技術に係る固体撮像装置は、グローバルシャッタ方式であり、画素毎に、入射光に応じて電荷を発生する光電変換部と、該光電変換部から転送されてくる該電荷を保持する保持部と、該電荷を画素信号に変換する変換部と、を有して、画素が複数で行列状に配置された画素アレイ部が形成され、画素信号を読出しして第１画素データを生成する第１画素データ生成部と、画素信号を読出しして第２画素データを生成する第２画素データ生成部と、第１画素データと、第２画素データとが互いに独立して出力される出力部と、を備える、固体撮像装置である。本技術に係る固体撮像装置が有する複数の画素は、画像生成に用いられる画素から構成されてもよいし、画像生成に用いられる画素と、焦点調整に用いられる焦点検出画素（位相差画素）とから構成されてもよい。また、本技術に係る固体撮像装置は、第１画素データや第２画素データを記録するフレームメモリを備えていてもよい。そして、本技術に係る電子機器は、本技術に係る固体撮像装置が搭載された電子機器である。
　本技術に係る固体撮像装置の撮像制御方法は、グローバルシャッタ方式であり、画素毎に、入射光に応じて電荷を発生する光電変換部と、光電変換部から転送されてくる電荷を保持する保持部と、電荷を画素信号に変換する変換部と、を有して、画素が複数で行列状に配置されて画素アレイ部が形成された、固体撮像装置の撮像制御方法であり、さらに、その撮像制御方法は、画素信号を読出しして第１画素データを生成することと、画素信号を読出しして第２画素データを生成することと、第１画素データと、第２画素データと、を互いに独立して出力することと、を含む、方法である。
　本技術に係る固体撮像装置及び固体撮像装置の撮像制御方法について、図１～図７及び図１４を用いて、具体的に説明をする。
　まず、図１を用いて、本技術に係る固体撮像装置について説明をする。図１は、固体撮像装置（イメージセンサ）１０００とＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２０００との概略的な構成例を示す図である。図１に示されるように、固体撮像装置（イメージセンサ）１０００は、ＧＳ（グローバルシャッタ）画素アレイ部１１１０と、ＡＤＣ／信号処理部１９００と、を備え、ＩＳＰ２０００は、画像処理部２１００を備えている。図１に示されるｎ１は、ＡＤＣ／信号処理部１９００と画像処理部２１００との間のｓｔｒｅａｍ１（ストリーム１、信号の流れ１）を模式的に示している。図１に示されるｎ２は、ＡＤＣ／信号処理部１９００と画像処理部２１００との間のｓｔｒｅａｍ２（ストリーム２、信号の流れ２）を模式的に示している。
　図１に示されるＧＳ（グローバルシャッタ）画素アレイ部１１１０は、図示されていない光電変換素子（例えば、フォトダイオード（ＰＤ））を介して入射した光を光電変換して電荷を得て、得られた電荷に応じたレベルの画素信号（電気信号）に変換し、各画素の画素信号を読出しして、ＡＤＣ／信号処理部１９００にて、Ａ／Ｄ変換（デジタル信号として出力）をして、信号処理をすることで、被写体の撮像画像（動画、静止画）データや位相差方式による焦点調整を行うためのデータを得るための画素データ（第１画素データ、第２画素データ、第３画素データ、第４画素データ等）を生成する。このとき、例えば、ＡＤＣ／信号処理部１９００から、ｓｔｒｅａｍ１（ｎ１）として、第１画素データ（又は第３画素データ）を画像処理ＬＳＩ２１００に出力し、ＡＤＣ／信号処理部１９００から、ｓｔｒｅａｍ２（ｎ２）として、第２画素データ（又は第４画素データ）を画像処理部２１００に出力する。出力後、必要に応じて、ＩＳＰ２０００にて、画素データを適切な画像処理ができるように並べ替えてもよい。
　以上から、固体撮像装置（イメージセンサ）１０００は、例えば、第１画素データ（又は第３画素データ）をｓｔｒｅａｍ１（ｎ１）とし、第２画素データ（又は第４画素データ）をｓｔｒｅａｍ２（ｎ２）として、互いに独立してＩＳＰ２０００（画像処理部２１００）に出力することが可能となる。なお、固体撮像装置（イメージセンサ）１０００は、例えば、第２画素データ（又は第４画素データ）をｓｔｒｅａｍ１（ｎ１）とし、第１画素データ（又は第３画素データ）をｓｔｒｅａｍ２（ｎ２）として、互いに独立してＩＳＰ２０００（画像処理部２１００）に出力することも可能である。
　ところで、固体撮像装置（イメージセンサ）１０００と、ＩＳＰ２０００とは、同一筐体内に設けられてもよいし、同一筐体内に設けられてなくてもよい。
　次に、図２を用いて、本技術に係る固体撮像装置について説明をする。図２は、固体撮像装置（イメージセンサ）３０００とＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）４０００との概略的な構成例を示す図である。図２に示されるように、固体撮像装置（イメージセンサ）３０００は、ＧＳ（グローバルシャッタ）画素アレイ部３１１０と、ＡＤＣ／信号処理部／フレームメモリ３９００とを備え、ＩＳＰ４０００は、画像処理部４１００を備えている。図２に示されるｎ３は、ＡＤＣ／信号処理部／フレームメモリ３９００と画像処理部４１００との間のｓｔｒｅａｍ１（ストリーム１、信号の流れ１）を模式的に示している。図２に示されるｎ４は、ＡＤＣ／信号処理部／フレームメモリ３９００と画像処理部４１００との間のｓｔｒｅａｍ２（ストリーム２、信号の流れ２）を模式的に示している。
　図２に示されるＧＳ（グローバルシャッタ）画素アレイ部３１１０は、図示されていない光電変換素子（例えば、フォトダイオード（ＰＤ））を介して入射した光を光電変換して電荷を得て、得られた電荷に応じたレベルの画素信号（電気信号）に変換をして、各画素の画素信号を読出しして、ＡＤＣ／信号処理部／フレームメモリ３９００にて、Ａ／Ｄ変換（デジタル信号として出力）をして、信号処理をすることで、被写体の撮像画像（動画、静止画）や位相差方式による焦点調整を行うためのデータを得るための画素データ（第１画素データ、第２画素データ、第３画素データ、第４画素データ）を生成して、フレームメモリにて記録する。必要に応じて、フレームメモリにて、画素データを適切な画像処理ができるように並べ替えてもよい。このとき、例えば、ＡＤＣ／信号処理部／フレームメモリ３９００から、ｓｔｒｅａｍ１（ｎ３）として、第１画素データ（又は第３画素データ）を画像処理部４１００に出力し、ＡＤＣ／信号処理部／フレームメモリ３９００から、ｓｔｒｅａｍ２（ｎ４）として、第２画素データ（又は第４画素データ）を画像処理ＬＳＩ部４１００に出力する。
　以上から、固体撮像装置（イメージセンサ）３０００は、例えば、第１画素データ（又は第３画素データ）をｓｔｒｅａｍ１（ｎ３）とし、第２画素データ（又は第４画素データ）をｓｔｒｅａｍ２（ｎ４）として、互いに独立してＩＳＰ４０００（画像処理部４１００）に出力することが可能となる。なお、固体撮像装置（イメージセンサ）３０００は、例えば、第２画素データ（又は第４画素データ）をｓｔｒｅａｍ１（ｎ３）とし、第１画素データ（又は第３画素データ）をｓｔｒｅａｍ２（ｎ４）として、互いに独立してＩＳＰ４０００（画像処理部４１００）に出力することも可能である。
　ところで、固体撮像装置（イメージセンサ）３０００と、ＩＳＰ４０００とは、同一筐体内に設けられてもよいし、同一筐体内に設けられてなくてもよい。
　図３は、本技術を適用した固体撮像装置が有するグローバルシャッタ用の画素の構成例を示す等価回路図である。図３に示される画素（ＭＥＭ保持型）４は、電子式のグローバルシャッタ機能を実現する構成を示している。
　画素４は、光電変換素子としてのフォトダイオード（ＰＤ）４２と、トランスファーゲート（ＴＲＧ：Ｔｒａｎｓｆｅｒ Ｇａｔｅ）４３と、保持部（ＭＥＭ：画素内メモリ）４４と、リードアウトゲート（ＲＯＧ：Ｒｅａｄ Ｏｕｔ Ｇａｔｅ）４５と、ＦＤ(フローティング拡散領域)４９と、リセットゲート（ＲＳＴ：Ｒｅｓｅｔ Ｇａｔｅ）４６と、増幅トランジスタ（ＡＭＰ：ＡＭＰＴｒ）４７と、選択トランジスタ（ＳＥＬ:ＳＥＬＴｒ）４８と、オーバーフローゲート（ＯＦＧ：Ｏｖｅｒ Ｆｌｏｗ Ｇａｔｅ）４１と、を有する。
　フォトダイオード（ＰＤ）４２は、受光量に応じた電荷（信号電荷）を生成して、蓄積する光電変換部である。フォトダイオード（ＰＤ）４２のアノード端子が接地されているとともに、カソード端子がトランスファーゲート（ＴＲＧ：Ｔｒａｎｓｆｅｒ Ｇａｔｅ）４３を介して保持部（ＭＥＭ：画素内メモリ）４４に接続されている。また、フォトダイオード（ＰＤ）４２のカソード端子は、不要な電荷を排出するためのオーバーフローゲート（ＯＦＧ：Ｏｖｅｒ Ｆｌｏｗ Ｇａｔｅ）４１とも接続されている。
　トランスファーゲート（ＴＲＧ：Ｔｒａｎｓｆｅｒ Ｇａｔｅ）４３は、オンされたとき、フォトダイオード（ＰＤ）４２で生成された電荷を読み出し、保持部（ＭＥＭ：画素内メモリ）４４に転送する。メモリ部５３は、ＦＤ４９に電荷を転送するまでの間、一時的に電荷を保持する。
　リードアウトゲート（ＲＯＧ：Ｒｅａｄ Ｏｕｔ Ｇａｔｅ）４５は、オンされたとき、保持部（ＭＥＭ：画素内メモリ）４４に保持されている電荷を読み出し、ＦＤ４９に転送する。
　ＦＤ４９は、保持部（ＭＥＭ：画素内メモリ）４４から読み出された電荷を信号として変換して、読み出すために保持する変換部であり、保持部である。リセットゲート（ＲＳＴ：Ｒｅｓｅｔ Ｇａｔｅ）４６は、オンされたとき、ＦＤ４９に蓄積（保持）されている電荷が定電圧源ＶＤＤに排出されることで、ＦＤ４９の電位をリセットすることができる。
　増幅トランジスタ（ＡＭＰ：ＡＭＰＴｒ）４７は、ＦＤ４９の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ（ＡＭＰ：ＡＭＰＴｒ）４７は定電流源としての負荷ＭＯＳ４７０とソースフォロワ回路を構成し、ＦＤ４９に蓄積（保持）されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ（ＡＭＰ：ＡＭＰＴｒ）４７から選択トランジスタ（ＳＥＬ:ＳＥＬＴｒ）４８を介して、例えばカラム信号処理回路（不図示）に出力される。負荷ＭＯＳ４７０は、例えば、カラム信号処理回路内に配置されている。
　選択トランジスタ（ＳＥＬ:ＳＥＬＴｒ）４８は、画素４が選択されてオンされたとき、画素４の画素信号を、垂直信号線（不図示）を介して、例えばカラム信号処理回路（不図示）に出力する。
　オーバーフローゲート（ＯＦＧ：Ｏｖｅｒ Ｆｌｏｗ Ｇａｔｅ）４１は、オンされたとき、フォトダイオード（ＰＤ）４２に蓄積されている不要電荷を定電圧源ＶＤＤに排出する。
　画素４の動作について説明する。
　まず、露光開始前に、オーバーフローゲート（ＯＦＧ：Ｏｖｅｒ Ｆｌｏｗ Ｇａｔｅ）４１がオンされて、フォトダイオード（ＰＤ）４２に蓄積されている電荷が定電圧源ＶＤＤに排出され、全画素のフォトダイオード（ＰＤ）４２がリセットされる（グローバルリセット（ＧＲ）と称する場合がある。）。
　フォトダイオード（ＰＤ）４２のリセット後、オーバーフローゲート（ＯＦＧ：Ｏｖｅｒ Ｆｌｏｗ Ｇａｔｅ）４１が、オフされて、画素アレイ部の全画素で露光が開始される。
　予め定められた所定の露光時間が経過すると、画素アレイ部の全画素において、トランスファーゲート（ＴＲＧ：Ｔｒａｎｓｆｅｒ Ｇａｔｅ）４３がオンされて、フォトダイオード（ＰＤ）４２に蓄積されていた電荷が、保持部（ＭＥＭ：画素内メモリ）４４に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）と称する場合がある。）。
　トランスファーゲート（ＴＲＧ：Ｔｒａｎｓｆｅｒ Ｇａｔｅ）４３がオフされた後、各画素４の保持部（ＭＥＭ：画素内メモリ）４４に保持されている電荷が、画素アレイ部の行単位に、順次、例えばカラム信号処理回路に読み出される。読み出し動作は、読出し行の画素４のリードアウトゲート（ＲＯＧ：Ｒｅａｄ Ｏｕｔ Ｇａｔｅ）４５がオンされ、保持部（ＭＥＭ：画素内メモリ）４４に保持されている電荷が、ＦＤ４９に転送される。そして、選択トランジスタ（ＳＥＬ:ＳＥＬＴｒ）４８がオンされることで、ＦＤ４９に蓄積されている電荷に応じたレベルを示す信号（画素信号）が、増幅トランジスタ（ＡＭＰ：ＡＭＰＴｒ）４７から選択トランジスタ（ＳＥＬ:ＳＥＬＴｒ）４８を介してカラム信号処理回路に読出されて出力される。
　以上のように、図３の画素回路を有する画素４は、露光時間を画素アレイ部の全画素で同一に設定し、露光終了後は保持部（ＭＥＭ：画素内メモリ）４４に電荷を一時的に保持しておいて、保持部（ＭＥＭ：画素内メモリ）４４から行単位に順次に電荷を読み出して、ＦＤ４９により電荷を画素信号に変換して、画素信号を読出して出力するグローバルシャッタ方式の動作（撮像）が可能である。
　図４は、本技術を適用した固体撮像装置が有するグローバルシャッタ用の画素の構成例を示す等価回路図である。図４に示される画素（ＦＤ保持型）５は、電子式のグローバルシャッタ機能を実現する構成を示している。
　画素５は、光電変換素子としてのフォトダイオード（ＰＤ）５２と、トランスファーゲート（ＴＲＧ：Ｔｒａｎｓｆｅｒ Ｇａｔｅ）５３と、ＦＤ(フローティング拡散領域)５９と、リセットゲート（ＲＳＴ：Ｒｅｓｅｔ Ｇａｔｅ）５６と、増幅トランジスタ（ＡＭＰ：ＡＭＰＴｒ）５７と、選択トランジスタ（ＳＥＬ:ＳＥＬＴｒ）５８と、オーバーフローゲート（ＯＦＧ：Ｏｖｅｒ Ｆｌｏｗ Ｇａｔｅ）５１と、を有する。
　フォトダイオード（ＰＤ）５２は、受光量に応じた電荷（信号電荷）を生成して、蓄積する光電変換部である。フォトダイオード（ＰＤ）５２のアノード端子が接地されているとともに、カソード端子がトランスファーゲート（ＴＲＧ：Ｔｒａｎｓｆｅｒ Ｇａｔｅ）５３を介してＦＤ(フローティング拡散領域)５９に接続されている。また、フォトダイオード（ＰＤ）５２のカソード端子は、不要な電荷を排出するためのオーバーフローゲート（ＯＦＧ：Ｏｖｅｒ Ｆｌｏｗ Ｇａｔｅ）５１に接続されている。
　トランスファーゲート（ＴＲＧ：Ｔｒａｎｓｆｅｒ Ｇａｔｅ）５３は、オンされたとき、フォトダイオード（ＰＤ）５２で生成された電荷を読み出し、ＦＤ５９に電荷を転送する。
　ＦＤ５９は、読み出された電荷を信号として変換して、読み出すために保持する変換部であり、保持部である。リセットゲート（ＲＳＴ：Ｒｅｓｅｔ Ｇａｔｅ）５６は、オンされたとき、ＦＤ５９に蓄積（保持）されている電荷が定電圧源ＶＤＤに排出されることで、ＦＤ５９の電位をリセットすることができる。
　増幅トランジスタ（ＡＭＰ：ＡＭＰＴｒ）５７は、ＦＤ５９の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ（ＡＭＰ：ＡＭＰＴｒ）５７は定電流源としての負荷ＭＯＳ５７０とソースフォロワ回路を構成し、ＦＤ５９に蓄積（保持）されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ（ＡＭＰ：ＡＭＰＴｒ）５７から選択トランジスタ（ＳＥＬ:ＳＥＬＴｒ）５８を介して、例えばカラム信号処理回路（不図示）に出力される。負荷ＭＯＳ５７０は、例えば、カラム信号処理回路内に配置されている。
　選択トランジスタ（ＳＥＬ:ＳＥＬＴｒ）５８は、画素５が選択されてオンされたとき、画素５の画素信号を、垂直信号線（不図示）を介して、例えばカラム信号処理回路（不図示）に出力する。
　オーバーフローゲート（ＯＦＧ：Ｏｖｅｒ Ｆｌｏｗ Ｇａｔｅ）５１は、オンされたとき、フォトダイオード（ＰＤ）５２に蓄積されている不要電荷を定電圧源ＶＤＤに排出する。
　画素５の動作について説明する。
　まず、露光開始前に、オーバーフローゲート（ＯＦＧ：Ｏｖｅｒ Ｆｌｏｗ Ｇａｔｅ）５１がオンされて、フォトダイオード（ＰＤ）５２に蓄積されている電荷が定電圧源ＶＤＤに排出され、全画素のフォトダイオード（ＰＤ）５２がリセットされる（グローバルリセット（ＧＲ）と称する場合がある。）。
　フォトダイオード（ＰＤ）５２のリセット後、オーバーフローゲート（ＯＦＧ：Ｏｖｅｒ Ｆｌｏｗ Ｇａｔｅ）５１が、オフされて、画素アレイ部の全画素で露光が開始される。
　予め定められた所定の露光時間が経過すると、画素アレイ部の全画素において、トランスファーゲート（ＴＲＧ：Ｔｒａｎｓｆｅｒ Ｇａｔｅ）５３がオンされて、フォトダイオード（ＰＤ）５２に蓄積されていた電荷が、ＦＤ５９に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）と称する場合がある。）。
　トランスファーゲート（ＴＲＧ：Ｔｒａｎｓｆｅｒ Ｇａｔｅ）５３がオフされた後、選択トランジスタ（ＳＥＬ:ＳＥＬＴｒ）５８がオンされることで、ＦＤ５９に蓄積（保持）されている電荷に応じたレベルを示す信号（画素信号）が、増幅トランジスタ（ＡＭＰ：ＡＭＰＴｒ）５７から選択トランジスタ（ＳＥＬ:ＳＥＬＴｒ）５８を介してカラム信号処理回路に読出されて出力される。
　以上のように、図４の画素回路を有する画素５は、露光時間を画素アレイ部の全画素で同一に設定し、露光終了後はＦＤ５９に電荷を保持して蓄積し、さらに、電荷を画素信号に変換して、ＦＤ５９から行単位に順次に画素信号を読み出して出力するグローバルシャッタ方式の動作（撮像）が可能である。
　本技術を適用した固体撮像装置に用いられ得るフィルタについて、図５及び図６を用いて説明する。
　図５は、本技術を適用した固体撮像装置に用いられ得るフィルタのパターンの構成例を示す図であり、詳しくは、図５（ａ）は、カラーフィルタのベイヤ（Ｂａｙｅｒ）配列構造６ａを示し、図５（ｂ）は白黒フィルタ（カラーフィルタなし）のパターン構造６ｂを示す。
　図５（ａ）に示されるカラーフィルタのベイヤ（Ｂａｙｅｒ）配列構造６ａは、赤色フィルタ６ａＲと、赤色フィルタ６ａＲの右側（図５（ａ）中の右側）に配された緑色フィルタ６ａＧｒと、赤色フィルタ６ａＲの下側（図５（ａ）中の下側）に配された緑色フィルタ６ａＧｂと、緑色フィルタ６ａＧｂの右側（図５（ａ）中の右側）に配された青色フィルタ６ａＢとを一組として、その一組が繰り返されて形成されている。例えば、赤色フィルタ６ａＲ、緑色フィルタ６ａＧｒ、緑色フィルタ６ａＧｂ及び青色フィルタ６ａＢのそれぞれに対応して一つのフォトダイオード（ＰＤ）が形成されて、赤色フィルタ６ａＲ、緑色フィルタ６ａＧｒ、緑色フィルタ６ａＧｂ及び青色フィルタ６ａＢのそれぞれを一画素（単位画素）と考えてよい。
　図５（ｂ）に示される白黒フィルタ（カラーフィルタなし）のパターン構造６ｂは、黒色フィルタ６ｂＢＬ１と、黒色フィルタ６ｂＢＬ１の右側（図５（ｂ）中の右側）に配された白色フィルタ６ｂＷ１と、黒色フィルタ６ｂＢＬ１の下側（図５（ｂ）中の下側）に配された白色フィルタ６ｂＷ２と、白色フィルタ６ｂＷ２の右側（図５（ｂ）中の右側）に配された黒色フィルタ６ｂＢＬ２とを一組として、その一組が繰り返されて形成されている。例えば、黒色フィルタ６ｂＢＬ１、白色フィルタ６ｂＷ１、白色フィルタ６ｂＷ２及び黒色フィルタ６ｂＢＬ２のそれぞれに対応して一つのフォトダイオード（ＰＤ）が形成されて、黒色フィルタ６ｂＢＬ１、白色フィルタ６ｂＷ１、白色フィルタ６ｂＷ２及び黒色フィルタ６ｂＢＬ２のそれぞれを一画素（単位画素）と考えてよい。なお、図５（ｂ）に示される白黒フィルタ（カラーフィルタなし）のパターン構造６ｂは、例えば、グレー濃度を漸次的に変えたグレーフィルタを含んで構成されてもよいし、グレー濃度を漸次的に変えたグレーフィルタから構成されてもよい。
　図６は、本技術を適用した固体撮像装置に用いられ得るフィルタのパターンの構成例を示す図であり、詳しくは、図６（ａ）は、カラーフィルタのクアッドベイヤ（Ｑｕａｄ Ｂａｙｅｒ）配列構造7ａを示し、図６（ｂ）はカラーフィルタの２ＰＤ（フォトダイオード）配列構造７ｂを示す。
　図６（ａ）に示されるカラーフィルタのクアッドベイヤ（Ｑｕａｄ Ｂａｙｅｒ）配列構造7ａは、４つの赤色フィルタ（図６（ａ）中では左右２つの赤色フィルタと上下２つの赤色フィルタ）からなる赤色フィルタ群７ａＲと、赤色フィルタ群７ａＲの右側（図６（ａ）中の右側）に配された４つの緑色フィルタ（図６（ａ）中では左右２つの緑色フィルタと上下２つの緑色フィルタ）からなる緑色フィルタ群７ａＧｒと、赤色フィルタ群７ａＲの下側（図６（ａ）中の下側）に配された４つの緑色フィルタ（図６（ａ）中では左右２つの緑色フィルタと上下２つの緑色フィルタ）からなる緑色フィルタ群７ａＧｂと、緑色フィルタ群７ａＧｂの右側（図６（ａ）中の右側）に配された４つの青色フィルタ（図６（ａ）中では左右２つの青色フィルタと上下２つの青色フィルタ）からなる青色フィルタ群７ａＢとを一組として、その一組が繰り返されて形成されている。
　例えば、赤色フィルタ群７ａＲの１つの赤色フィルタ、緑色フィルタ群７ａＧｒの１つの緑色フィルタ、緑色フィルタ群７ａＧｂの１つの緑色フィルタ及び青色フィルタ群７ａＢの１つの青色フィルタのそれぞれに対応して一つのフォトダイオード（ＰＤ）が形成されて、赤色フィルタ群７ａＲ、緑色フィルタ群７ａＧｒ、緑色フィルタ群７ａＧｂ及び青色フィルタ群７ａＢのそれぞれに対応して一つのオンチップレンズが形成されて、４つのフィルタ（４つのフォトダイオード（ＰＤ））から構成される赤色フィルタ群７ａＲ、緑色フィルタ群７ａＧｒ、緑色フィルタ群７ａＧｂ及び青色フィルタ群７ａＢのそれぞれを一画素（単位画素）と考えてよい。
　図６（ｂ）に示されるカラーフィルタの２ＰＤ（フォトダイオード）配列構造７ｂは、２つの赤色フィルタ（図６（ｂ）中では左右２つの赤色フィルタ）からなる赤色フィルタ群７ｂＲと、赤色フィルタ群７ｂＲの右側（図６（ｂ）中の右側）に配された２つの緑色フィルタ（図６（ｂ）中では左右２つの緑色フィルタ）からなる緑色フィルタ群７ｂＧｒと、赤色フィルタ群７ｂＲの下側（図６（ｂ）中の下側）に配された２つの緑色フィルタ（図６（ｂ）中では左右２つの緑色フィルタ）からなる緑色フィルタ群７ｂＧｂと、緑色フィルタ群７ｂＧｂの右側（図６（ｂ）中の右側）に配された２つの青色フィルタ（図６（ｂ）中では左右２つの青色フィルタ）からなる青色フィルタ群７ｂＢと、を一組として、その一組が繰り返されて形成されている。
　例えば、赤色フィルタ群７ｂＲの１つの赤色フィルタ、緑色フィルタ群７ｂＧｒの１つの緑色フィルタ、緑色フィルタ群７ｂＧｂの１つの緑色フィルタ及び青色フィルタ群７ｂＢの１つの青色フィルタのそれぞれに対応して一つのフォトダイオード（ＰＤ）が形成されて、赤色フィルタ群７ｂＲ、緑色フィルタ群７ｂＧｒ、緑色フィルタ群７ｂＧｂ及び青色フィルタ群７ｂＢのそれぞれに対応して一つのオンチップレンズが形成されて、２つのフィルタ（２つのフォトダイオード（ＰＤ））から構成される赤色フィルタ群７ｂＲ、緑色フィルタ群７ｂＧｒ、緑色フィルタ群７ｂＧｂ及び青色フィルタ群７ｂＢのそれぞれを一画素（単位画素）と考えてよい。
　図７は、動画、並びに静止画についての読出し方式、読出し方式を模式的に示した図形（読出し図形）及び１０列×２４行の画素アレイ部を例とした読出し例を示す図である。図８は、分割静止画についての読出し方式、読出し方式を模式的に示した図形（読出し図形）及び１０列×２４行の画素アレイ部を例とした読出し例を示す図である。
　図７に示されるように、動画の読出し方式は、間引き／加算読出しであり、静止画の読出し方式は全画素読出しであり、図８に示されるように、分割静止画の読出し方式は全画素の時分割読出しである。
　動画の読出し方式、静止画の読出し方式及び分割静止画の読出し方式のそれぞれの図形７－１～７－６（直角三角形）の横軸Ｘは時間軸を表し、矢印Ｑ７０は時間の経過を表す。縦軸Ｙは画素アレイ部（画面）の物理的な位置を表し、矢印Ｐ７０は、読出しが上行から下行に向かって行われていることを表す。Ｚは画素（画素信号）の読出し位置及び読出し時間を概略的に表している。
　動画の画像データ（第１フレームの画像データ）を得るための読出し図形７－１の頂点Ｒ１（縦軸Ｙの最上部、横軸Ｘの最左部）は、画素アレイ部（画面）の最上部の読出し行（読出し例における画素アレイ部（画面）６００１の読出し２行分のＭ１の上側の読出し行）であって、読出し開始の時間を表す。図形７－１の頂点Ｒ２（縦軸Ｙの最下部、横軸Ｘの最右部）は、画素アレイ部（画面）の最下部の読出し行（読出し例における画素アレイ部（画面）６００１の読出し２行分のＭ６の下側の行）であって、読出し終了の時間を表す。すなわち、読出し図形７－１における読出し方向は、行単位で上行から下行に向かって読出す。
　静止画の画像データを得るための読出し図形７－２の頂点Ｒ３（縦軸Ｙの最上部、横軸Ｘの最左部）は、画素アレイ部（画面）の最上部の読出し行（読出し例における画素アレイ部（画面）６００２の読出し２４行分のＭ７の最上部の読出し行）であって、読出し開始の時間を表す。図形７－２の頂点Ｒ４（縦軸Ｙの最下部、横軸Ｘの最右部）は、画素アレイ部（画面）の最下部の読出し行（読出し例における画素アレイ部（画面）６００２の読出し２４行分の最下部の読出し行）であって、読出し終了の時間を表す。すなわち、読出し図形７－２における読出し方向は、行単位で上行から下行に向かって読出す。
　分割静止画１の画像データを得るための読出し図形７－３の頂点Ｒ５（縦軸Ｙの最上部、横軸Ｘの最左部）は、画素アレイ部（画面）の最上部の読出し行（読出し例における画素アレイ部（画面）６００３の読出し２行分のＭ８の上側の読出し行）であって、読出し開始の時間を表す。図形７－３の頂点Ｒ２（縦軸Ｙの最下部、横軸Ｘの最右部）は、画素アレイ部（画面）の最下部の読出し行（読出し例における画素アレイ部（画面）６００３の読出し２行分のＭ１３の下側の行）であって、読出し終了の時間を表す。すなわち、読出し図形７－３における読出し方向は、行単位で上行から下行に向かって読出す。
　分割静止画２の画像データを得るための読出し図形７－４の頂点Ｒ７（縦軸Ｙの最上部、横軸Ｘの最左部）は、画素アレイ部（画面）の最上部の読出し行（読出し例における画素アレイ部（画面）６００４の読出し２行分のＭ１４の上側の読出し行）であって、読出し開始の時間を表す。図形７－４の頂点Ｒ８（縦軸Ｙの最下部、横軸Ｘの最右部）は、画素アレイ部（画面）の最下部の読出し行（読出し例における画素アレイ部（画面）６００４の読出し２行分のＭ１５の下側の行）であって、読出し終了の時間を表す。すなわち、読出し図形７－４における読出し方向は、行単位で上行から下行に向かって読出す。
　分割静止画３の画像データを得るための読出し図形７－５の頂点Ｒ９（縦軸Ｙの最上部、横軸Ｘの最左部）は、画素アレイ部（画面）の最上部の読出し行（読出し例における画素アレイ部（画面）６００５の読出し２行分のＭ１６の上側の読出し行）であって、読出し開始の時間を表す。図形７－５の頂点Ｒ１０（縦軸Ｙの最下部、横軸Ｘの最右部）は、画素アレイ部（画面）の最下部の読出し行（読出し例における画素アレイ部（画面）６００５の読出し２行分のＭ１７の下側の行）であって、読出し終了の時間を表す。すなわち、読出し図形７－５における読出し方向は、行単位で上行から下行に向かって読出す。
　分割静止画４の画像を得るための読出し図形７－６の頂点Ｒ１０（縦軸Ｙの最上部、横軸Ｘの最左部）は、画素アレイ部（画面）の最上部の読出し行（読出し例における画素アレイ部（画面）６００６の読出し２行分のＭ１９の上側の読出し行）であって、読出し開始の時間を表す。図形７－６の頂点Ｒ１０（縦軸Ｙの最下部、横軸Ｘの最右部）は、画素アレイ部（画面）の最下部の読出し行（読出し例における画素アレイ部（画面）６００６の読出し２行分のＭ１９の下側の行）であって、読出し終了の時間を表す。すなわち、読出し図形７－６における読出し方向は、行単位で上行から下行に向かって読出す。
　上述したように、動画の画像を得るための読出し方式は、間引き／加算読出しである。具体的には、動画の読出し方式は、画素アレイ部（画面）６００１の上側から順に、行単位で、２行分のＭ１の画素（画素信号）を読出しして、２行分のＭ２の画素（画素信号）を読出しして、２行分のＭ３の画素（画素信号）を読出しして、２行分のＭ４の画素（画素信号）を読出しして、２行分のＭ５の画素（画素信号）を読出しして、２行分のＭ６の画素（画素信号）を読出しして、Ｍ１～Ｍ６の読出しを加算して（図７では合計１２行分を加算）、さらに、画素アレイ部（画面）６００１の上側から順に、２行分のＮ１の画素（画素信号）を間引きして（読出ししないで）、２行分のＮ２の画素（画素信号）を間引きして（読出ししないで）、２行分のＮ３の画素（画素信号）を間引きして（読出ししないで）、２行分のＮ４の画素（画素信号）を間引きして（読出ししないで）、２行分のＮ５画素（画素信号）を間引きして（読出ししないで）、２行分のＮ６の画素（画素信号）を間引きし（読出ししないで）、図７では合計で１２行分を間引きして、動画（動画像）のフレームの画像（第１フレームの画像）が得られる。したがって、動画の画像を得るための読出し方式は間引きした分、読出し時間は短くなり、例えば、動画の画像を得るための読出し時間は、静止画の画像を得るための読出し時間の半分であり、動画の画像データ（第１フレームの画像データ）を得るための読出し図形７－１のＸ軸方向の長さは、静止画の画像データを得るための読出し図形７－２のＸ軸方向の長さの約半分の長さである。
　上述したように、静止画の画像を得るための読出し方式は、全画素読出しである。具体的には、静止画の読出し方式は、画素アレイ部（画面）６００２の上側から順に、行単位で、全画素分のＭ７の画素（画素信号）を読出しして、静止画（静止画像）が得られる。
　上述したように、分割静止画の画像を得るための読出し方式は、全画素の時分割読出しである。具体的には、分割静止画の読出し方式は、まず、画素アレイ部（画面）６００３の上側から順に、行単位で、２行分のＭ８の画素（画素信号）を読出しして、２行分のＭ９の画素（画素信号）を読出しして、２行分のＭ１０の画素（画素信号）を読出しして、２行分のＭ１１の画素（画素信号）を読出しして、２行分のＭ１２の画素（画素信号）を読出しして、２行分のＭ１３の画素（画素信号）を読出しして、Ｍ８～Ｍ１３の読出しを加算して（図７では合計１２行分を加算）、さらに、画素アレイ部（画面）６００３の上側から順に、２行分のＮ７の画素（画素信号）を間引きして（読出ししないで）、２行分のＮ８の画素（画素信号）を間引きして（読出ししないで）、２行分のＮ９の画素（画素信号）を間引きして（読出ししないで）、２行分のＮ１０の画素（画素信号）を間引きして（読出ししないで）、２行分のＮ１２の画素（画素信号）を間引きして（読出ししないで）、２行分のＮ１３の画素（画素信号）を間引きし（読出ししないで）、図８では合計で１２行分を間引きして、分割静止画１（分割静止画像１）が得られる。
　次に、画素アレイ部（画面）６００４の上側から順に、行単位で、２行分のＭ１４の画素（画素信号）を読出しして、２行分のＭ１５の画素（画素信号）を読出しして、Ｍ１４～Ｍ１５の読出しを加算して（図７では合計４行分を加算）、さらに、画素アレイ部（画面）６００４の上側から順に、２行分のＮ１４の画素（画素信号）を間引きして（読出ししないで）、２行分のＮ１５の画素（画素信号）を間引きして（読出ししないで）、１６行分のＮ１６の画素（画素信号）を間引きして（読出ししないで）、図８では合計で２０行分を間引きして、分割静止画２（分割静止画像２）が得られる。
　また次に、画素アレイ部（画面）６００５の上側から順に、行単位で、２行分のＭ１６の画素（画素信号）を読出しして、２行分のＭ１７の画素（画素信号）を読出しして、Ｍ１６～Ｍ１７の読出しを加算して（図７では合計４行分を加算）、さらに、画素アレイ部（画面）６００５の上側から順に、１０行分のＮ１７の画素（画素信号）を間引きして（読出ししないで）、２行分のＮ１８の画素（画素信号）を間引きして（読出ししないで）、８行分のＮ１９の画素（画素信号）を間引きして（読出ししないで）、図８では合計で２０行分を間引きして、分割静止画３（分割静止画像３）が得られる。
　さらに次に、画素アレイ部（画面）６００６の上側から順に、行単位で、２行分のＭ１８の画素（画素信号）を読出しして、２行分のＭ１９の画素（画素信号）を読出しして、Ｍ１８～Ｍ１９の読出しを加算して（図７では合計４行分を加算）、さらに、画素アレイ部（画面）６００６の上側から順に、１８行分のＮ２０の画素（画素信号）を間引きして（読出ししないで）、２行分のＮ２１の画素（画素信号）を間引きして（読出ししないで）、図８では合計で２０行分を間引きして、分割静止画４（分割静止画像４）が得られる。
　以上、分割静止画１～４（分割静止画像１～４）を足し合わせて、静止画（静止画像）が得られ、分割静止画１（分割静止画像１）は、動画（動画像）のフレームの画像（第２フレームの画像）として用いることができる。なお、上記では、画素アレイ部６００３～画素アレイ部６００６は、参照符号としては区別したが、画素アレイ部６００３～画素アレイ部６００６のそれぞれの画素アレイ部は、互いに同一の画素アレイ部（同じ画面）である。
　以上、図７及び図８を用いて述べた内容は、後述する第１の実施形態（固体撮像装置の例１及び撮像制御方法の例１）、第２の実施形態（固体撮像装置の例２及び撮像制御方法の例２）、第３の実施形態（固体撮像装置の例３及び撮像制御方法の例３）、第４の実施形態（固体撮像装置の例４及び撮像制御方法の例４）、第５の実施形態（固体撮像装置の例５及び撮像制御方法の例５）、並びに第６の実施形態（固体撮像装置の例６及び撮像制御方法の例６）に適用することができる。
　図１７は、本技術を適用した固体撮像装置の構成例を示す斜視図であり、詳しくは、図１７（ａ）は、支持基板積層型の固体撮像装置１４ａであり、図１７（ｂ）は、回路積層（２層）型の固体撮像装置１４ｂであり、図１７（ｃ）は、回路積層（３層）型の固体撮像装置１４ｃであり、図１７（ｄ）は、回路積層（３層）型の固体撮像装置１４ｄである。
　図１７（ａ）に示される固体撮像装置１４ａは、基板１４６ａと支持基板１４２ａとが矢印Ｐ１４方向及び矢印Ｑ１４方向で貼り合わせて構成されている。図１７（ａ）に示されるように、基板１４６ａには、画素（画素アレイ部、画素領域）１４０ａと、回路（機能搭載部）１４１ａとが形成されている。回路（機能搭載部）１４１ａには、図１７（ａ）中の左側から順に、ロジック部１４４ａと、アクセサリ部１４５ａと、カラム部１４３ａと、ロジック部１４４ａとが形成されている。すなわち、２つのロジック部１４４ａの間に、アクセサリ部１４５ａと、カラム部１４３ａとが配されている。
　図１７（ｂ）に示される固体撮像装置１４ｂは、センサ基板１４７ｂと回路基板１４８ｂとが矢印Ｐ１４方向及び矢印Ｑ１４方向で貼り合わせて構成されている。図１７（ｂ）に示されるように、センサ基板１４７ｂには、画素（画素アレイ部、画素領域）１４０ｂが形成され、回路基板１４８ｂには回路（機能搭載部）１４１ｂが形成されている。回路（機能搭載部）１４１ｂには、アクセサリ部１４５ｂと、カラム部１４３ｂと、アクセサリ部１４５ｂ及びカラム部１４３ｂ上のロジック部１４４ｂとが形成されている。すなわち、同一層（同一の高さ）に配されたアクセサリ部１４５ｂ及びカラム部１４３ｂ上にロジック部１４４ｂが積層されて配されている。
　図１７（ｃ）に示される固体撮像装置１４ｃは、センサ基板１４７ｃと、フレームメモリ（ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４６ｃと、回路基板１４８ｃとが、この順で、矢印Ｐ１４方向及び矢印Ｑ１４方向（矢印Ｐ１４と矢印Ｑ１４とは逆方向）で貼り合わせて構成されている。図１７（ｃ）に示されるように、センサ基板１４７ｃには、画素（画素アレイ部、画素領域）１４０ｃが形成され、回路基板１４８ｃには回路（機能搭載部）１４１ｃが形成されている。回路（機能搭載部）１４１ｃには、アクセサリ部１４５ｃと、カラム部１４３ｃと、アクセサリ部１４５ｃ及びカラム部１４３ｃ上のロジック部１４４ｃとが形成されている。すなわち、同一層（同一の高さ）に配されたアクセサリ部１４５ｃ及びカラム部１４３ｃ上にロジック部１４４ｃが積層されて配されている。
　図１７（ｄ）に示される固体撮像装置１４ｄは、センサ基板１４７ｄと、回路基板１４８ｄと、フレームメモリ（ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４６ｄとが、この順で、矢印Ｐ１４方向及び矢印Ｑ１４方向で貼り合わせて構成されている。図１７（ｄ）に示されるように、センサ基板１４７ｄには、画素（画素アレイ部、画素領域）１４０ｄが形成され、回路基板１４８ｄには回路（機能搭載部）１４１ｄが形成されている。回路（機能搭載部）１４１ｄには、アクセサリ部１４５ｄと、カラム部１４３ｄと、アクセサリ部１４５ｄ及びカラム部１４３ｄ上のロジック部１４４ｄとが形成されている。すなわち、同一層（同一の高さ）に配されたアクセサリ部１４５ｄ及びカラム部１４３ｄ上にロジック部１４４ｄが積層されて配されている。
　以上、図１７を参照しながら、本技術を適用した固体撮像装置の構成例について説明した。本技術には、例えば、図１７（ａ）～（ｄ）に示される固体撮像装置１４ａ～１４ｄのいずれか１つの固体撮像装置が適用され得る。
　以下に、本技術に係る実施の形態について詳細に説明をする。
＜２．第１の実施形態（固体撮像装置の例１及び撮像制御方法の例１）＞
　本技術に係る第１の実施形態（固体撮像装置の例１及び撮像制御方法の例１）の固体撮像装置及び撮像制御方法について、図９を用いて説明をする。図９中の図９（ａ）は、本技術に係る第１の実施形態の固体撮像装置の例１（フレームメモリなし。）によって実現され得るグローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例１）５００１ａを示す図である。
　図９（ａ）に示される２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例１）５００１ａでは、第１画素データがＳｔｒｅａｍ１として出力されて、第２画素データがＳｔｒｅａｍ２としてＳｔｒｅａｍ１とは別個独立に出力される。具体的には、第１画素データを構成する、時系列の順で動画（動画フレーム）の画素データ８－１～動画（動画フレーム）の画素データ８－７が、Ｓｔｒｅａｍ１として出力されて、第２画素データを構成する、時系列の順で分割静止画１の画素データ９－３と、分割静止画２の画素データ９－３４と、分割静止画３の画素データ９－４５と、分割静止画４の画素データ９－５６とが、Ｓｔｒｅａｍ２として別個独立に出力される。そして、分割静止画１の画素データ９－３、分割静止画２の画素データ９－３４、分割静止画３の画素データ９－４５及び分割静止画４の画素データ９－５６のそれぞれから得られた分割静止画１、分割静止画２、分割静止画３及び分割静止画４のそれぞれの画像のデータを足し合わせて、画素アレイ部（画面）の全画素分の静止画（静止画像）が得られる。また、時分割出力静止画動作で、分割静止画１の画素データ９－３及び動画の画素データ８－３を共有できるので、動画像（動画画像）が切れ目ない連続性を有することができ、静止画（静止画像）が円滑に作製され得る。
　参照符号５００１は、画素アレイ部（画面）の画素からの時系列での読出しの流れを示している。参照符号の番号順が時系列を意味することとなるＴ８１～Ｔ８７のそれぞれは、概略的には、画素の読出し開始から、メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）までの時間をフレームレートで示している。図９中ではＴ８１～Ｔ８７のそれぞれは、１２０ｆｐｓ（８．３ｍｓ）である。
　読出しの流れ５００１について更に詳細に説明をする。
　Ｔ８１は、動画の画素データ８－１の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３０－１の頂点Ｒ１３で示される読出し開始時間を始期とし、次のＴ８２における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３０－１の頂点Ｒ１４で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ８２は、動画の画素データ８－２の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３０－２の頂点Ｒ１５で示される読出し開始時間を始期とし、次のＴ８３における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３０－２の頂点Ｒ１６で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ８３は、動画の画素データ８－３の出力による動画の画像データ（第２フレームの画像データ）及び分割静止画の画素データ９－３の出力による分割静止画の画像データ（分割静止画１の画像データ）の両方を得るための読出しを模式的に表示する図形３００－３の頂点Ｒ１７で示される読出し開始時間を始期とし、次のＴ８４における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３００－３の頂点Ｒ１８で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　図形３００－３に基づく画素（画素信号）の読出しによる動画の画素データ８－３は、第１画素データとして、動画の画像データ（第２フレームの画像データ）を得るために、例えば画像処理部（ＩＳＰ）にＳｔｒｅａｍ１として出力され、分割静止画の画素データ９－３は、第２画素データとして、分割静止画の画像データ（分割静止画１の画像データ）を得るために、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　そして、動画モードの垂直ブランキング期間（Ｔ８３におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ９－３４の出力による分割静止画の画像データ（分割静止画２の画像データ）を得るための読出しを模式的に表示する図形３００－３４が示され、図形３００－３４の頂点Ｒ１９が読出しの開始を示し、図３００－３４の頂点Ｒ２０が読出しの終了を示す。
　Ｔ８４は、動画の画素データ８－４の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３０－４の頂点Ｒ２１で示される読出し開始時間を始期とし、次のＴ８５における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３０－４の頂点Ｒ２２で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ８４におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ９－４５の出力による分割静止画の画像データ（分割静止画３の画像データ）を得るための読出しを模式的に表示する図形３００－４５が示され、図形３００－４５の頂点Ｒ２３が読出しの開始を示し、図形３００－４５の頂点Ｒ２４が読出しの終了を示す。
　Ｔ８５は、動画の画素データ８－５の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３０－５の頂点Ｒ２５で示される読出し開始時間を始期とし、次のＴ８６における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３０－５の頂点Ｒ２６で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ８５におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ９－５６の出力による分割静止画の画像データ（分割静止画４の画像データ）を得るための読出しを模式的に表示する図形３００－５６が示され、図形３００－５６の頂点Ｒ２７が読出しの開始を示し、図形３００－５６の頂点Ｒ２８が読出しの終了を示す。
　Ｔ８６は、動画の画素データ８－６の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３０－６の頂点Ｒ２９で示される読出し開始時間を始期とし、次のＴ８７における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３０－６の頂点Ｒ３０で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ８７は、動画の画素データ８－７の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３０－７の頂点Ｒ３１で示される読出し開始時間を始期とし、次のＴ８８（図９では不図示）における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３０－７の頂点Ｒ３２で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　ところで、本技術に係る第１の実施形態（固体撮像装置の例１及び撮像制御方法の例１）の固体撮像装置及び撮像制御方法は、上記で述べた内容の他に、特に技術的な矛盾がない限り、後述する本技術に係る第２～第９の実施形態の固体撮像装置及び撮像制御方法の欄で述べる内容がそのまま適用することができる。
＜３．第２の実施形態（固体撮像装置の例２及び撮像制御方法の例２）＞
　本技術に係る第２の実施形態（固体撮像装置の例２及び撮像制御方法の例２）の固体撮像装置及び撮像制御方法について、図９を用いて、説明をする。図９中の図９（ｂ）は、本技術に係る第２の実施形態の固体撮像装置の例２（フレームメモリあり。）によって実現され得るグローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例２）５００１ｂを示す図である。
　図９（ｂ）に示される２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例２）５００１ｂでは、第１画素データがＳｔｒｅａｍ１として出力されて、第２画素データが、フレームメモリに記録されて、第２画素データが並び替えられて、その並び替えられた第２画素データが、Ｓｔｒｅａｍ２としてＳｔｒｅａｍ１とは別個独立に出力される。具体的には、第１画素データを構成する、時系列の順で動画（動画フレーム）の画素データ１０－１～動画（動画フレーム）の画素データ１０－７が、Ｓｔｒｅａｍ１として出力されて、第２画素データを構成する、時系列の順で分割静止画１の画素データ１１－３と、分割静止画２の画素データ１１－３４と、分割静止画３の画素データ１１－４５と、分割静止画４の画素データ１１－５６とが、Ｓｔｒｅａｍ２として別個独立に出力される。そして、分割静止画１の画素データ１１－３、分割静止画２の画素データ１１－３４、分割静止画３の画素データ１１－４５及び分割静止画４の画素データ１１－５６のそれぞれから得られた分割静止画１、分割静止画２、分割静止画３及び分割静止画４のそれぞれの画像のデータを足し合わせて、画素アレイ部（画面）の全画素分の静止画（静止画像）が得られる。時分割出力静止画動作で、分割静止画１の画素データ１１－３及び動画の画素データ１０－３を共有できるので、動画像（動画画像）が切れ目ない連続性を有することができ、静止画（静止画像）が円滑に作製され得る。
　参照符号５００１は、画素アレイ部（画面）の画素（画素信号）からの時系列での読出しの流れを示している。参照符号の番号順が時系列を意味することとなるＴ８１～Ｔ８７のそれぞれは、概略的には、画素の読出し開始から、メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）までの時間をフレームレートで示している。図９中ではＴ８１～Ｔ８７のそれぞれは、１２０ｆｐｓ（８．３ｍｓ）である。
　読出しの流れ５００１について更に詳細に説明をする。
　Ｔ８１は、動画の画素データ１０－１の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３０－１の頂点Ｒ１３で示される読出し開始時間を始期とし、次のＴ８２における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３０－１の頂点Ｒ１４で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ８２は、動画の画素データ１０－２の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３０－２の頂点Ｒ１５で示される読出し開始時間を始期とし、次のＴ８３における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３０－２の頂点Ｒ１６で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ８３は、動画の画素データ１０－３の出力による動画の画像データ（第２フレームの画像データ）及び分割静止画の画素データ１１－３の出力による分割静止画の画像データ（分割静止画１の画像データ）の両方を得るための読出しを模式的に表示する図形３００－３の頂点Ｒ１７で示される読出し開始時間を始期とし、次のＴ８４における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３００－３の頂点Ｒ１８で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　図形３００－３に基づく画素（画素信号）の読出しによる動画の画素データ１０－３は、第１画素データとして、動画の画像データ（第２フレームの画像データ）を得るために、例えば画像処理部（ＩＳＰ）にＳｔｒｅａｍ１として出力され、分割静止画の画素データ１１－３は、第２画素データとして、分割静止画の画像データ（分割静止画１の画像データ）を得るために、一旦、矢印Ｐ１方向に従って、フレームメモリにメモリ出力Ｑ１がされて記録される。その後、後述するように、記録される分割静止画の画素データ１１－３４、分割静止画の画素データ１１－４５及び分割静止画の画素データ１１－５６と、分割静止画の画素データ１１－３とはフレームメモリで適切に並べ替えられて、全画素分の静止画が適切に得られるようにして、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　そして、動画モードの垂直ブランキング期間（Ｔ８３におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ１１－３４の出力による分割静止画の画像データ（分割静止画２の画像データ）を得るための読出しを模式的に表示する図形３００－３４が示され、図形３００－３４の頂点Ｒ１９は読出しの開始を示し、図３００－３４の頂点Ｒ２０がる読出しの終了を示す。分割静止画の画素データ１１－３４も、前述したように、分割静止画の画素データ１１－３と同様に、一旦、矢印Ｐ１方向に従って、フレームメモリにメモリ出力Ｑ１がされて記録され、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　Ｔ８４は、動画の画素データ１０－４の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３０－４の頂点Ｒ２１で示される読出し開始時間を始期とし、次のＴ８５における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３０－４の頂点Ｒ２２で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ８４におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ１１－４５の出力による分割静止画の画像データ（分割静止画３のデータ）を得るための読出しを模式的に表示する図形３００－４５が示され、図形３００－４５の頂点Ｒ２３が読出しの開始を示し、図形３００－４５の頂点Ｒ２４が読出しの終了を示す。分割静止画の画素データ１１－４５も、前述したように、分割静止画の画素データ１１－３と同様に、一旦、矢印Ｐ２方向に従って、フレームメモリにメモリ出力Ｑ１がされて記録され、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　Ｔ８５は、動画の画素データ１０－５の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３０－５の頂点Ｒ２５で示される読出し開始時間を始期とし、次のＴ８６における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３０－５の頂点Ｒ２６で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ８５におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）に、分割静止画の画素データ１１－５６の出力による分割静止画の画像データ（分割静止画４のデータ）を得るための読出しを模式的に表示する図形３００－５６が示され、図形３００－５６の頂点Ｒ２７が読出しの開始を示し、図形３００－５６の頂点Ｒ２８が読出しの終了を示す。分割静止画の画素データ１１－５６も、前述したように、分割静止画の画素データ１１－３と同様に、一旦、矢印Ｐ３方向に従って、フレームメモリにメモリ出力Ｑ１がされて記録され、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　Ｔ８６は、動画の画素データ１０－６の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３０－６の頂点Ｒ２９で示される読出し開始時間を始期とし、次のＴ８７における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３０－６の頂点Ｒ３０で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ８７は、動画の画素データ１０－７の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３０－７の頂点Ｒ３１で示される読出し開始時間を始期とし、次のＴ８８（図９では不図示）における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図９に示されるように、図形３０－７の頂点Ｒ３２で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　ところで、本技術に係る第２の実施形態（固体撮像装置の例２及び撮像制御方法の例２）の固体撮像装置及び撮像制御方法は、上記で述べた内容の他に、特に技術的な矛盾がない限り、前述した本技術に係る第１の実施形態の固体撮像装置及び撮像制御方法の欄で述べた内容及び後述する本技術に係る第３～第９の実施形態の固体撮像装置及び撮像制御方法の欄で述べる内容がそのまま適用することができる。
＜４．第３の実施形態（固体撮像装置の例３及び撮像制御方法の例３）＞
　本技術に係る第３の実施形態（固体撮像装置の例３及び撮像制御方法の例３）の固体撮像装置及び撮像制御方法について、図１０を用いて、説明をする。図１０中の図１０（ａ）は、本技術に係る第３の実施形態の固体撮像装置の例３（フレームメモリなし。）によって実現され得るグローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例３）５００２ａを示す図である。
　図１０（ａ）に示される２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例３）５００２ａでは、第３画素データがＳｔｒｅａｍ１として出力されて、第４画素データがＳｔｒｅａｍ２としてＳｔｒｅａｍ１とは別個独立に出力される。具体的には、第３画素データを構成する、時系列の順で、位相差方式による焦点調整を行うための位相差画素（焦点検出画素）データ１３－１（焦点検出画素データ１３－１という。他の符号についても同様。）、動画（動画フレーム）の画素データ１２－１、焦点検出画素データ１３－２、動画（動画フレーム）の画素データ１２－２、焦点検出画素データ１３－３、動画（動画フレーム）の画素データ１２－３、焦点検出画素データ１３－４、動画（動画フレーム）の画素データ１２－４、焦点検出画素データ１３－５、動画（動画フレーム）の画素データ１２－５、焦点検出画素データ１３－６、動画（動画フレーム）の画素データ１２－６、焦点検出画素データ１３－７及び動画（動画フレーム）の画素データ１２－７が、Ｓｔｒｅａｍ１として出力されて、第４画素データを構成する、時系列の順で分割静止画１の画素データ１４－３と、分割静止画２の画素データ１４－３４と、分割静止画３の画素データ１４－４５と、分割静止画４の画素データ１４－５６とが、Ｓｔｒｅａｍ２として別個独立に出力される。そして、分割静止画１の画素データ１４－３、分割静止画２の画素データ１４－３４、分割静止画３の画素データ１４－４５及び分割静止画４の画素データ１４－５６のそれぞれから得られた分割静止画１、分割静止画２、分割静止画３及び分割静止画４のそれぞれの画像のデータを足し合わせて、画素アレイ部（画面）の全画素分の静止画（静止画像）が得られる。時分割出力静止画動作で、分割静止画１の画素データ１４－３及び動画の画素データ１３－３を共有できるので、動画像（動画画像）が切れ目ない連続性を有することができ、静止画（静止画像）が円滑に作製され得る。
　参照符号５００２は、画素アレイ部（画面）の画素（画素信号）からの時系列での読出しの流れを示している。参照符号の番号順が時系列を意味することとなるＴ９１～Ｔ９７のそれぞれは、概略的には、画素の読出し開始から、メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）までの時間をフレームレートで示している。図１０中ではＴ９１～Ｔ９７のそれぞれは、１２０ｆｐｓ（８．３ｍｓ）である。
　読出しの流れ５００２について更に詳細に説明をする。
　Ｔ９１は、焦点検出画素データ１３－１の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１２－１の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３１－１の頂点Ｒ３３で示される読出し開始時間を経由して、次のＴ９２における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３１－１の頂点Ｒ３４で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ９２は、焦点検出画素データ１３－２の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１２－２の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３１－２の頂点Ｒ３５で示される読出し開始時間を経由して、次のＴ９３における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３１－２の頂点Ｒ３６で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ９３は、焦点検出画素データ１３－３の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１２－３の出力による動画の画像データ（第２フレームの画像データ）及び分割静止画の画素データ１４－３の出力による分割静止画の画像データ（分割静止画１のデータ）の両方を得るための読出しを模式的に表示する図形３０１－３の頂点Ｒ３７で示される読出し開始時間を経由して、次のＴ９４における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３０１－３の頂点Ｒ３８で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　図形３０１－３に基づく画素（画素信号）の読出しによる動画の画素データ１２－３は、第１画素データとして、動画の画像データ（第２フレームの画像データ）を得るために、例えば画像処理部（ＩＳＰ）にＳｔｒｅａｍ１として出力され、分割静止画の画素データ１４－３は、第２画素データとして、分割静止画の画像データ（分割静止画１のデータ）を得るために、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　そして、動画モードの垂直ブランキング期間（Ｔ９３におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ１４－３４の出力による分割静止画の画像データ（分割静止画２のデータ）を得るための読出しを模式的に表示する図形３０１－３４が示され、図形３０１－３４の頂点Ｒ３９が読出しの開始を示し、図３０１－３４の頂点Ｒ４０が読出しの終了を示す。
　Ｔ９４は、焦点検出画素データ１３－４の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１２－４の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３１－４の頂点Ｒ４１で示される読出し開始時間を経由して、次のＴ９５における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３１－４の頂点Ｒ４２で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ９４におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ１４－４５の出力による分割静止画の画像データ（分割静止画３のデータ）を得るための読出しを模式的に表示する図形３０１－４５が示され、図形３０１－４５の頂点Ｒ４３が読出しの開始を示し、図形３０１－４５の頂点Ｒ４４が読出しの終了を示す。
　Ｔ９５は、焦点検出画素データ１３－５の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１２－５の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３１－５の頂点Ｒ４５で示される読出し開始時間を経由して、次のＴ９６における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３１－５の頂点Ｒ４６で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ９５におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ１４－５６の出力による分割静止画の画像データ（分割静止画４のデータ）を得るための読出しを模式的に表示する図形３０１－５６が示され、図形３０１－５６の頂点Ｒ４７が読出しの開始を示し、図形３０１－５６の頂点Ｒ４８が読出しの終了を示す。
　Ｔ９６は、焦点検出画素データ１３－６の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１２－６の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３１－６の頂点Ｒ４９で示される読出し開始時間を経由して、次のＴ９７における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３１－６の頂点Ｒ５０で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ９７は、焦点検出画素データ１３－７の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１２－７の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３１－７の頂点Ｒ５１で示される読出し開始時間を経由して、次のＴ９８（図１０では不図示）における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３１－７の頂点Ｒ５２で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　なお、本技術に係る第３の実施形態（固体撮像装置の例３及び撮像制御方法の例３）の固体撮像装置及び撮像制御方法は、上記で述べた内容の他に、特に技術的な矛盾がない限り、前述した本技術に係る第１～第２の実施形態の固体撮像装置及び撮像制御方法の欄で述べた内容及び後述する本技術に係る第４～第９の実施形態の固体撮像装置及び撮像制御方法の欄で述べる内容がそのまま適用することができる。
＜５．第４の実施形態（固体撮像装置の例４及び撮像制御方法の例４）＞
　本技術に係る第４の実施形態（固体撮像装置の例４及び撮像制御方法の例４）の固体撮像装置及び撮像制御方法について、図１０を用いて、説明をする。図１０中の図１０（ｂ）は、本技術に係る第４の実施形態の固体撮像装置の例４（フレームメモリあり。）によって実現され得るグローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例４）５００２ｂを示す図である。
　図１０（ｂ）に示される２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例４）５００２ｂでは、第３画素データがＳｔｒｅａｍ１として出力されて、第４画素データが、フレームメモリに記録されて、第４画素データが並び替えられて、その並び替えられた第４画素データが、Ｓｔｒｅａｍ２としてＳｔｒｅａｍ１とは別個独立に出力される。具体的には、第３画素データを構成する、時系列の順で、位相差方式による焦点調整を行うための位相差画素（焦点検出画素）データ１６－１（焦点検出画素データ１６－１という。他の符号についても同様。）、動画（動画フレーム）の画素データ１５－１、焦点検出画素データ１６－２、動画（動画フレーム）の画素データ１５－２、焦点検出画素データ１６－３、動画（動画フレーム）の画素データ１５－３、焦点検出画素データ１６－４、動画（動画フレーム）の画素データ１５－４、焦点検出画素データ１６－５、動画（動画フレーム）の画素データ１５－５、焦点検出画素データ１６－６、動画（動画フレーム）の画素データ１６－６、焦点検出画素データ１６－７及び動画（動画フレーム）の画素データ１５－７が、Ｓｔｒｅａｍ１として出力されて、第４画素データを構成する、時系列の順で分割静止画１の画素データ１７－３と、分割静止画２の画素データ１７－３４と、分割静止画３の画素データ１７－４５と、分割静止画４の画素データ１７－５６とが、Ｓｔｒｅａｍ２として別個独立に出力される。そして、分割静止画１の画素データ１７－３、分割静止画２の画素データ１７－３４、分割静止画３の画素データ１７－４５及び分割静止画４の画素データ１７－５６のそれぞれから得られた分割静止画１、分割静止画２、分割静止画３及び分割静止画のそれぞれの画像のデータを足し合わせて、画素アレイ部（画面）の全画素分の静止画（静止画像）が得られる。また、時分割出力静止画動作で、分割静止画１の画素データ１７－３及び動画の画素データ１６－３を共有できるので、動画像（動画画像）が切れ目ない連続性を有することができ、静止画（静止画像）が円滑に作製され得る。
　参照符号５００２は、画素アレイ部（画面）の画素（画素信号）からの時系列での読出しの流れを示している。参照符号の番号順が時系列を意味することとなるＴ９１～Ｔ９７のそれぞれは、概略的には、画素の読出し開始から、メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）までの時間をフレームレートで示している。図１０中ではＴ９１～Ｔ９７のそれぞれは、１２０ｆｐｓ（８．３ｍｓ）である。
　読出しの流れ５００２について更に詳細に説明をする。
　Ｔ９１は、焦点検出画素データ１６－１の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１５－１の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３１－１の頂点Ｒ３３で示される読出し開始時間を経由して、次のＴ９２における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３１－１の頂点Ｒ３４で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ９２は、焦点検出画素データ１６－２の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１５－２の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３１－２の頂点Ｒ３５で示される読出し開始時間を経由して、次のＴ９３における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３１－２の頂点Ｒ３６で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ９３は、焦点検出画素データ１６－３の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１５－３の出力による動画の画像データ（第２フレームの画像データ）及び分割静止画の画素データ１７－３の出力による分割静止画の画像データ（分割静止画１のデータ）の両方を得るための読出しを模式的に表示する図形３０１－３の頂点Ｒ３７で示される読出し開始時間を経由して、次のＴ９４における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３０１－３の頂点Ｒ３８で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　図形３０１－３に基づく画素（画素信号）の読出しによる動画の画素データ１５－３は、第１画素データとして、動画の画像データ（第２フレームの画像データ）を得るために、例えば画像処理部（ＩＳＰ）にＳｔｒｅａｍ１として出力され、分割静止画の画素データ１７－３は、第２画素データとして、分割静止画の画像データ（分割静止画１の画像データ）を得るために、一旦、矢印Ｐ４方向に従って、フレームメモリにメモリ出力Ｑ２がされて記録される。その後、後述するように、記録される分割静止画の画素データ１７－３４、分割静止画の画素データ１７－４５及び分割静止画の画素データ１７－５６と、分割静止画の画素データ１７－３とはフレームメモリで適切に並べ替えられて、全画素分の静止画が適切に得られるようにして、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　そして、動画モードの垂直ブランキング期間（Ｔ９３におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ１７－３４の出力による分割静止画の画像データ（分割静止画２のデータ）を得るための読出しを模式的に表示する図形３０１－３４が示され、図形３０１－３４の頂点Ｒ３９が読出しの開始を示し、図３０１－３４の頂点Ｒ４０が読出しの終了を示す。分割静止画の画素データ１７－３４も、前述したように、分割静止画の画素データ１７－３と同様に、一旦、矢印Ｐ４方向に従って、フレームメモリにメモリ出力Ｑ２がされて記録され、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　Ｔ９４は、焦点検出画素データ１６－４の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１５－４の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３１－４の頂点Ｒ４１で示される読出し開始時間を経由して、次のＴ９５における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３１－４の頂点Ｒ４２で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ９４におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ１７－４５の出力による分割静止画の画像データ（分割静止画３のデータ）を得るための読出しを模式的に表示する図形３０１－４５が示され、図形３０１－４５の頂点Ｒ４３が読出しの開始を示し、図形３０１－４５の頂点Ｒ４４が読出しの終了を示す。分割静止画の画素データ１７－４５も、前述したように、分割静止画の画素データ１７－３と同様に、一旦、矢印Ｐ５方向に従って、フレームメモリにメモリ出力Ｑ２がされて記録され、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　Ｔ９５は、焦点検出画素データ１６－５の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１７－５の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３１－５の頂点Ｒ４５で示される読出し開始時間を経由して、次のＴ９６における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３１－５の頂点Ｒ４６で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ９５におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ１７－５６の出力による分割静止画の画像データ（分割静止画４のデータ）を得るための読出しを模式的に表示する図形３０１－５６が示され、図形３０１－５６の頂点Ｒ４７が読出しの開始を示し、図形３０１－５６の頂点Ｒ４８が読出しの終了を示す。分割静止画の画素データ１７－５６も、前述したように、分割静止画の画素データ１７－３と同様に、一旦、矢印Ｐ６方向に従って、フレームメモリにメモリ出力Ｑ２がされて記録され、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　Ｔ９６は、焦点検出画素データ１６－６の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１５－６の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３１－６の頂点Ｒ４９で示される読出し開始時間を経由して、次のＴ９７における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３１－６の頂点Ｒ５０で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ９７は、焦点検出画素データ１６－７の出力による位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の頂点Ｗ１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しの終了と同時である、動画の画素データ１５－７の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３１－７の頂点Ｒ５１で示される読出し開始時間を経由して、次のＴ９８（図１０では不図示）における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１０に示されるように、図形３１－７の頂点Ｒ５２で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　なお、本技術に係る第４の実施形態（固体撮像装置の例４及び撮像制御方法の例４）の固体撮像装置及び撮像制御方法は、上記で述べた内容の他に、特に技術的な矛盾がない限り、前述した本技術に係る第１～第３の実施形態の固体撮像装置及び撮像制御方法の欄で述べた内容及び後述する本技術に係る第５～第９の実施形態の固体撮像装置及び撮像制御方法の欄で述べる内容がそのまま適用することができる。
＜６．第５の実施形態（固体撮像装置の例５及び撮像制御方法の例５）＞
　本技術に係る第５の実施形態（固体撮像装置の例５及び撮像制御方法の例５）の固体撮像装置及び撮像制御方法について、図１１を用いて、説明をする。図１１は、本技術に係る第５の実施形態の固体撮像装置の例５（フレームメモリなし。）によって実現され得るグローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例５）５００３ａを示す図である。
　図１１に示される２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例５）５００３ａでは、第１画素データがＳｔｒｅａｍ１として出力されて、第２画素データがＳｔｒｅａｍ２としてＳｔｒｅａｍ１とは別個独立に出力される。具体的には、第１画素データを構成する、時系列の順で動画（動画フレーム）の画素データ１８－１～動画（動画フレーム）の画素データ１８－８が、Ｓｔｒｅａｍ１として出力されて、第２画素データを構成する、時系列の順で分割静止画１の画素データ１９－３と、分割静止画２の画素データ１９－３４と、分割静止画３の画素データ１９－４５と、分割静止画４の画素データ１９－５６と、分割静止画１の画素データ１９－６と、分割静止画２の画素データ１９－６７と、分割静止画３の画素データ１９－７８と、分割静止画４の画素データ１９－８９と、が、Ｓｔｒｅａｍ２として別個独立に出力される。
　そして、分割静止画１の画素データ１９－３、分割静止画２の画素データ１９－３４、分割静止画３の画素データ１９－４５及び分割静止画４の画素データ１９－５６のそれぞれから得られた分割静止画１、分割静止画２、分割静止画３及び分割静止画４のそれぞれの画像のデータを足し合わせて、画素アレイ部（画面）の全画素分の静止画（静止画像）１が得られ、さらに、分割静止画１の画素データ１９－６、分割静止画２の画素データ１９－６７、分割静止画３の画素データ１９－７８及び分割静止画４の画素データ１９－８９のそれぞれから得られた分割静止画１、分割静止画２、分割静止画３及び分割静止画４のそれぞれの画像のデータを足し合わせて、画素アレイ部（画面）の全画素分の静止画（静止画像）２が得られる。時分割出力静止画動作で、分割静止画１の画素データ１９－３及び動画の画素データ１８－３を共有でき、さらに、分割静止画１の画素データ１９－６及び動画の画素データ１８－６を共有できるので、動画像（動画画像）が切れ目ない連続性を有することができ、連写モードであっても静止画（静止画像）が円滑に作製され得る。
　静止画（静止画像）１及び静止画（静止画像）２が連続的に得られるために（連写モード）、静止画（静止画像）１を完成させるための分割静止画４の画像データ（画素データ１９－５６）を得るための読出しが行われた後に、静止画（静止画像）２を最初に構成することとなる分割静止画１の画像データ（画素データ１９－６）を得るための読出しが連続的に行われる。例えば、分割静止画４の画像データ（画素データ１９－５６）を得るための読出しと、静止画（静止画像）２を構成する分割静止画１の画像データ（画素データ１９－６）を得るための読出しとの間に、動画を構成する第１フレームの画像データ（画素データ）を得るための読出しが行われないことが「連続的に行われる。」と言える。また、例えば、静止画（静止画像）１を完成させるための分割静止画１～４のいずれか１つの画像データを得るための読出しが行われた後の、次の（連続した）Ｔ時間（期間）として、動画の画像データを得るための読出しの開始から、メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）までの時間（期間）すなわち、動画モードの垂直ブランキング期間に、静止画（静止画像）２を最初に構成することとなる分割静止画２～４のいずれか１つの画像データ（画素データ）を得るための読出しが行われることが「連続的に行われる。」とも言える。
　参照符号５００３は、画素アレイ部（画面）の画素（画素信号）からの時系列での読出しの流れを示している。参照符号の番号順が時系列を意味することとなるＴ１０１～Ｔ１０７のそれぞれは、概略的には、画素の読出し開始から、メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）までの時間をフレームレートで示している。図１１中ではＴ１０１～Ｔ１０７のそれぞれは、１２０ｆｐｓ（８．３ｍｓ）である。
　読出しの流れ５００３について更に詳細に説明をする。
　Ｔ１０１は、動画の画素データ１８－１の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３２－１の頂点Ｒ５３で示される読出し開始時間を始期とし、次のＴ１０２における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１１に示されるように、図形３２－１の頂点Ｒ５４で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１０２は、動画の画素データ１８－２の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３２－２の頂点Ｒ５５で示される読出し開始時間を始期とし、次のＴ１０３における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１１に示されるように、図形３２－２の頂点Ｒ５６で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１０３は、動画の画素データ１８－３の出力による動画の画像データ（第２フレームの画像データ）及び分割静止画の画素データ１９－３の出力による分割静止画の画像データ（分割静止画像１の画像データ）の両方を得るための読出しを模式的に表示する図形３０２－３の頂点Ｒ５７で示される読出し開始時間を始期とし、次のＴ１０４における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１１に示されるように、図形３０２－３の頂点Ｒ５８で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　図形３０２－３に基づく画素（画素信号）の読出しによる動画の画素データ１８－３は、第１画素データとして、動画の画像データ（第２フレームの画像データ）を得るために、例えば画像処理部（ＩＳＰ）にＳｔｒｅａｍ１として出力され、分割静止画の画素データ１９－３は、第２画素データとして、分割静止画の画像データ（分割静止画１の画像データ）を得るために、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　そして、動画モードの垂直ブランキング期間（Ｔ１０３におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当、電荷の蓄積時間でもある。）には、分割静止画の画素データ１９－３４の出力による分割静止画の画像データ（分割静止画２の画像データ）を得るための読出しを模式的に表示する図形３０２－３４が示され、図形３０２－３４の頂点Ｒ５９が読出しの開始を示し、図３０２－３４の頂点Ｒ６０が読出しの終了を示す。
　Ｔ１０４は、動画の画素データ１８－４の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３２－４の頂点Ｒ６１で示される読出し開始時間を始期とし、次のＴ１０５における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１１に示されるように、図形３２－４の頂点Ｒ２２で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ８４におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ９－４５の出力による分割静止画の画像データ（分割静止画３のデータ）を得るための読出しを模式的に表示する図形３００－４５が示され、図形３００－４５の頂点Ｒ６３が読出しの開始を示し、図形３００－４５の頂点Ｒ６４が、読出しの終了を示す。
　Ｔ１０５は、動画の画素データ１８－５の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３２－５の頂点Ｒ６５で示される読出し開始時間を始期とし、次のＴ１０６における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１１に示されるように、図形３２－５の頂点Ｒ６６で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ１０５におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ１９－５６の出力による分割静止画の画像データ（分割静止画４の画像データ）を得るための読出しを模式的に表示する図形３０２－５６が示され、図形３０２－５６の頂点Ｒ６７が、読出しの開始を示し、図形３００－５６の頂点Ｒ６８が、読出しの終了を示す。
　Ｔ１０６は、動画の画素データ１８－６の出力による動画の画像データ（第２フレームの画像データ）及び分割静止画の画素データ１９－６の出力による分割静止画の画像データ（分割静止画像１の画像データ）の両方を得るための読出しを模式的に表示する図形３０２－６の頂点Ｒ６９で示される読出し開始時間を始期とし、次のＴ１０７における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１１に示されるように、図形３０２－６の頂点Ｒ７０で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　図形３０２－６に基づく画素（画素信号）の読出しによる動画の画素データ１８－６は、第１画素データとして、動画の画像データ（第２フレームの画像データ）を得るために、例えば画像処理部（ＩＳＰ）にＳｔｒｅａｍ１として出力され、分割静止画の画素データ１９－６は、第２画素データとして、分割静止画の画像データ（分割静止画１の画像データ）を得るために、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　そして、動画モードの垂直ブランキング期間（Ｔ１０６におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当、電荷の蓄積時間でもある。）には、分割静止画の画素データ１９－６７の出力による分割静止画の画像データ（分割静止画２の画像データ）を得るための読出しを模式的に表示する図形３０２－６７が示され、図形３０２－６７の頂点Ｒ７１が読出しの開始を示し、図３０２－６７の頂点Ｒ７２が読出しの終了を示す。
　Ｔ１０７は、動画の画素データ１８－７の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３２－７の頂点Ｒ７３で示される読出し開始時間を始期とし、次のＴ１０８における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１１に示されるように、図形３２－７の頂点Ｒ７４で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ１０７におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ１８－７８の出力による分割静止画の画像データ（分割静止画３のデータ）を得るための読出しを模式的に表示する図形３０２－７８が示され、図形３０２－７８の頂点Ｒ７５が、読出しの開始を示し、図形３０２－７８の頂点Ｒ７６が、読出しの終了を示す。
　Ｔ１０８は、動画の画素データ１８－８の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３２－８の頂点Ｒ７７で示される読出し開始時間を始期とし、次のＴ１０９（不図示）における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）（不図示））時間を終期とする。また、図１１に示されるように、図形３２－８の頂点Ｒ７８で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）（不図示））。
　そして、動画モードの垂直ブランキング期間（Ｔ１０８におけるグローバルリセット（ＧＲ）からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ１８－８９の出力による分割静止画の画像データ（分割静止画４の画像データ）を得るための読出しを模式的に表示する図形３０２－８９が示され、図形３０２－８９の頂点Ｒ７９が、読出しの開始を示し、図形３０２－８９の頂点Ｒ８０が、読出しの終了を示す。
　ところで、本技術に係る第５の実施形態（固体撮像装置の例５及び撮像制御方法の例５）の固体撮像装置及び撮像制御方法は、上記で述べた内容の他に、特に技術的な矛盾がない限り、前述した本技術に係る第１～第４の実施形態の固体撮像装置及び撮像制御方法の欄で述べた内容及び後述する本技術に係る第６～第９の実施形態の固体撮像装置及び撮像制御方法の欄で述べる内容がそのまま適用することができる。
＜７．第６の実施形態（固体撮像装置の例６及び撮像制御方法の例６）＞
　本技術に係る第６の実施形態（固体撮像装置の例６及び撮像制御方法の例６）の固体撮像装置及び撮像制御方法について、図１２を用いて、説明をする。図１２は、本技術に係る第６の実施形態の固体撮像装置の例６（フレームメモリあり。）によって実現され得るグローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例６）５００４ｂを示す図である。
　図１２に示される２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例６）５００４ｂでは、第１画素データがＳｔｒｅａｍ１として出力されて、第２画素データがフレームメモリに記録されて、第２画素データが並び替えられて、その並び替えられた第２画素データが、Ｓｔｒｅａｍ２としてＳｔｒｅａｍ１とは別個独立に出力される。具体的には、第１画素データを構成する、時系列の順で動画（動画フレーム）の画素データ２０－１～動画（動画フレーム）の画素データ２０－９が、Ｓｔｒｅａｍ１として出力されて、第２画素データを構成する、時系列の順で分割静止画１の画素データ２１－３と、分割静止画２の画素データ２１－３４と、分割静止画３の画素データ２１－４５と、分割静止画４の画素データ２１－５６と、分割静止画２の画素データ２１－６７と、分割静止画１の画素データ２１－７と、分割静止画３の画素データ２１－７８と、分割静止画４の画素データ２１－８９と、がＳｔｒｅａｍ２として別個独立に出力される。
　そして、分割静止画１の画素データ２１－３、分割静止画２の画素データ２１－３４、分割静止画３の画素データ２１－４５及び分割静止画４の画素データ２１－５６のそれぞれから得られた分割静止画１、分割静止画２、分割静止画３及び分割静止画４のそれぞれの画像のデータを足し合わせて、画素アレイ部（画面）の全画素分の静止画（静止画像）１０が得られ、さらに、分割静止画１の画素データ２１－７、分割静止画２の画素データ２１－６７、分割静止画３の画素データ２１－７８及び分割静止画４の画素データ２１－８９のそれぞれから得られた分割静止画１、分割静止画２、分割静止画３及び分割静止画４のそれぞれの画像のデータを足し合わせて、画素アレイ部（画面）の全画素分の静止画（静止画像）２０が得られる。時分割出力静止画動作で、分割静止画１の画素データ２１－３及び動画の画素データ２０－３を共有でき、さらに、分割静止画１の画素データ２１－７及び動画の画素データ２０－７を共有できるので、動画像（動画画像）が切れ目ない連続性を有することができ、連写モードであっても静止画（静止画像）が円滑に作製され得る。
　静止画（静止画像）１０及び静止画（静止画像）２０が連続的に得られるために（連写モード）、静止画（静止画像）１０を完成させるための分割静止画４の画像データ（画素データ２１－５６）を得るための読出しが行われた後に、静止画（静止画像）２０を最初に構成することとなる分割静止画２の画像データ（画素データ２１－６７）を得るための読出しが連続的に行われる。例えば、静止画（静止画像）１０を完成させるための分割静止画１～４のいずれか１つの画像データを得るための読出しが行われた後の、次の（連続した）Ｔ時間（期間）として、動画の画像データを得るための読出しの開始から、メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）までの時間（期間）すなわち、動画モードの垂直ブランキング期間に、静止画（静止画像）２０を最初に構成することとなる分割静止画２～４のいずれか１つの画像データ（画素データ）を得るための読出しが行われることが「連続的に行われる。」と言える。また、例えば、静止画（静止画像）１０を完成させるための分割静止画１～４のいずれか１つの画像データを得るための読出しと、静止画（静止画像）２０を最初に構成することとなる分割静止画２～４のいずれか１つの画像データ（画素データ）を得るための読出しとの間に、動画を構成する第１フレームの画像データ（画素データ）を得るための読出しが行われないことが「連続的に行われる。」とも言える。
　参照符号５００４は、画素アレイ部（画面）の画素（画素信号）からの時系列での読出しの流れを示している。参照符号の番号順が時系列を意味することとなるＴ１１１～Ｔ１１９のそれぞれは、概略的には、画素の読出し開始から、メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）までの時間をフレームレートで示している。図１２中ではＴ１１１～Ｔ１１９のそれぞれは、１２０ｆｐｓ（８．３ｍｓ）である。
　読出しの流れ５００４について更に詳細に説明をする。
　Ｔ１１１は、動画の画素データ２０－１の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３３－１の頂点Ｒ８１で示される読出し開始時間を始期とし、次のＴ１１２における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１２に示されるように、図形３３－１の頂点Ｒ８２で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１１２は、動画の画素データ２０－２の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３３－２の頂点Ｒ８３で示される読出し開始時間を始期とし、次のＴ１１３における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１２に示されるように、図形３３－２の頂点Ｒ８４で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１１３は、動画の画素データ２０－３の出力による動画の画像データ（第２フレームの画像データ）及び分割静止画の画素データ２１－３の出力による分割静止画の画像データ（分割静止画像１の画像データ）の両方を得るための読出しを模式的に表示する図形３０３－３の頂点Ｒ８５で示される読出し開始時間を始期とし、次のＴ１１４における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１２に示されるように、図形３０３－３の頂点Ｒ８６で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　図形３０３－３に基づく画素（画素信号）の読出しによる動画の画素データ２０－３は、第１画素データとして、動画の画像データ（第２フレームの画像データ）を得るために、例えば画像処理部（ＩＳＰ）にＳｔｒｅａｍ１として出力され、分割静止画の画素データ２１－３は、第２画素データとして、分割静止画の画像データ（分割静止画１の画像データ）を得るために、一旦、矢印Ｐ７方向に従って、フレームメモリにメモリ出力Ｑ３がされて記録される。その後、後述するように、記録される分割静止画の画素データ２１－３４、分割静止画の画素データ２１－４５及び分割静止画の画素データ２１－５６と、分割静止画の画素データ２１－３とはフレームメモリで適切に並べ替えられて、全画素分の静止画が適切に得られるようにして、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　そして、動画モードの垂直ブランキング期間（Ｔ１１３におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当、電荷の蓄積時間でもある。）には、分割静止画の画素データ２１－３４の出力による分割静止画の画像データ（分割静止画２の画像データ）を得るための読出しを模式的に表示する図形３０３－３４が示され、図形３０３－３４の頂点Ｒ８７が読出しの開始を示し、図３０３－３４の頂点Ｒ８８が読出しの終了を示す。分割静止画像の画素データ２１－３４も、前述したように、分割静止画の画素データ２１－３と同様に、一旦、矢印Ｐ７方向に従って、フレームメモリにメモリ出力Ｑ３がされて記録され、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　Ｔ１１４は、動画の画素データ２０－４の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３３－４の頂点Ｒ８９で示される読出し開始時間を始期とし、次のＴ１１５における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１２に示されるように、図形３３－４の頂点Ｒ９０で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ１１４におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ２１－４５の出力による分割静止画の画像データ（分割静止画３のデータ）を得るための読出しを模式的に表示する図形３０３－４５が示され、図形３０３－４５の頂点Ｒ９１が読出しの開始を示し、図形３０３－４５の頂点Ｒ９２が、読出しの終了を示す。分割静止画像の画素データ２１－４５も、前述したように、分割静止画の画素データ２１－３と同様に、一旦、矢印Ｐ８方向に従って、フレームメモリにメモリ出力Ｑ３がされて記録され、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　Ｔ１１５は、動画の画素データ２０－５の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３３－５の頂点Ｒ９３で示される読出し開始時間を始期とし、次のＴ１１６における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１２に示されるように、図形３３－５の頂点Ｒ９４で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ１１５におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ２１－５６の出力による分割静止画の画像データ（分割静止画４の画像データ）を得るための読出しを模式的に表示する図形３０３－５６が示され、図形３０３－５６の頂点Ｒ９５が、読出しの開始を示し、図形３０３－５６の頂点Ｒ９６が、読出しの終了を示す。分割静止画像の画素データ２１－５６も、前述したように、分割静止画の画素データ２１－３と同様に、一旦、矢印Ｐ９方向に従って、フレームメモリにメモリ出力Ｑ３がされて記録され、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　Ｔ１１６は、動画の画素データ２０－６の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３３－６の頂点Ｒ９７で示される読出し開始時間を始期とし、次のＴ１１７における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１２に示されるように、図形３３－６の頂点Ｒ９８で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ１１６におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ２１－６７の出力による分割静止画の画像データ（分割静止画２の画像データ）を得るための読出しを模式的に表示する図形３０３－６７が示され、図形３０３－６７の頂点Ｒ９９が、読出しの開始を示し、図形３０３－６７の頂点Ｒ１００が、読出しの終了を示す。分割静止画像の画素データ２１－６７は、後述するように、分割静止画の画素データ２１－７と同様に、一旦、矢印Ｐ１２方向に従って、フレームメモリにメモリ出力Ｑ４がされて記録され、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　Ｔ１１７は、動画の画素データ２０－７の出力による動画の画像データ（第２フレームの画像データ）及び分割静止画の画素データ２１－７の出力による分割静止画の画像データ（分割静止画像１の画像データ）の両方を得るための読出しを模式的に表示する図形３０３－７の頂点Ｒ１０１で示される読出し開始時間を始期とし、次のＴ１１８における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１２に示されるように、図形３０３－７の頂点Ｒ１０２で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　図形３０３－７に基づく画素（画素信号）の読出しによる動画の画素データ１８－６は、第１画素データとして、動画の画像データ（第２フレームの画像データ）を得るために、例えば画像処理部（ＩＳＰ）にＳｔｒｅａｍ１として出力され、分割静止画の画素データ２１－７は、第２画素データとして、分割静止画の画像データ（分割静止画１の画像データ）を得るために、一旦、矢印Ｐ１０方向に従って、フレームメモリにメモリ出力Ｑ４がされて記録される。その後、前述した記録される分割静止画の画素データ２１－６７、並びに、後述するように、記録される分割静止画の画素データ２１－７８及び分割静止画の画素データ２１－８９と、分割静止画の画素データ１１－３とはフレームメモリで適切に並べ替えられて、全画素分の静止画の適切に得られるようにして、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　そして、動画モードの垂直ブランキング期間（Ｔ１０６におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当、電荷の蓄積時間でもある。）には、分割静止画の画素データ２１－７８の出力による分割静止画の画像データ（分割静止画３の画像データ）を得るための読出しを模式的に表示する図形３０３－７８が示され、図形３０３－７８の頂点Ｒ１０３が読出しの開始を示し、図３０３－７８の頂点Ｒ１０４が読出しの終了を示す。分割静止画像の画素データ２１－７８も、前述したように、分割静止画の画素データ２１－７と同様に、一旦、矢印Ｐ１０方向に従って、フレームメモリにメモリ出力Ｑ４がされて記録され、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　Ｔ１１８は、動画の画素データ２０－８の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３３－８の頂点Ｒ１０５で示される読出し開始時間を始期とし、次のＴ１１９における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１２に示されるように、図形３３－８の頂点Ｒ１０６で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ１１８におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ２１－８９の出力による分割静止画の画像データ（分割静止画４のデータ）を得るための読出しを模式的に表示する図形３０３－８９が示され、図形３０３－８９の頂点Ｒ１０７が、読出しの開始を示し、図形３０３－８９の頂点Ｒ１０８が、読出しの終了を示す。分割静止画像の画素データ２１－８９も、前述したように、分割静止画の画素データ２１－７と同様に、一旦、矢印Ｐ１１方向に従って、フレームメモリにメモリ出力Ｑ４がされて記録され、その後、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　Ｔ１１９は、動画の画素データ２０－９の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３３－９の頂点Ｒ１０９で示される読出し開始時間を始期とし、次のＴ１２０（不図示）における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）（不図示））時間を終期とする。また、図１２に示されるように、図形３３－９の頂点Ｒ１１０で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）（不図示））。
　ところで、本技術に係る第６の実施形態（固体撮像装置の例６及び撮像制御方法の例６）の固体撮像装置及び撮像制御方法は、上記で述べた内容の他に、特に技術的な矛盾がない限り、前述した本技術に係る第１～第５の実施形態の固体撮像装置及び撮像制御方法の欄で述べた内容及び後述する本技術に係る第７～第９の実施形態の固体撮像装置及び撮像制御方法の欄で述べる内容がそのまま適用することができる。
＜８．第７の実施形態（固体撮像装置の例７及び撮像制御方法の例７）＞
　本技術に係る第７の実施形態（固体撮像装置の例７及び撮像制御方法の例７）の固体撮像装置及び撮像制御方法について、図１３を用いて、説明をする。図１３は、本技術に係る第７の実施形態の固体撮像装置の例７（フレームメモリなし。）によって実現され得るグローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例５）５００５ａを示す図である。図１３に示されるように、２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例５）５００５ａにおいては読出しパターン５００５ｃを用いる。
　図１３に示される２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例７）５００５ａでは、第３画素データがＳｔｒｅａｍ１として出力されて、第４画素データがＳｔｒｅａｍ２としてＳｔｒｅａｍ１とは別個独立に出力される。具体的には、第３画素データを構成する、時系列の順で動画（動画フレーム）の画素データ２２－１～動画（動画フレーム）の画素データ２２－７が、動画（動画フレーム）の画素データ２２－１～動画（動画フレーム）の画素データ２２－７のそれぞれのデータに位相差画素（焦点検出画素）データを伴って、Ｓｔｒｅａｍ１として出力される。また、第４画素データを構成する、時系列の順で分割静止画５の画素データ２３－３と、分割静止画６の画素データ２３－３４と、分割静止画７の画素データ２３－４５と、分割静止画８の画素データ２３－５６とが、Ｓｔｒｅａｍ２として別個独立に出力される。そして、分割静止画５の画素データ２３－３、分割静止画６の画素データ２３－３４、分割静止画７の画素データ２３－４５及び分割静止画８の画素データ２３－５６のそれぞれから得られた分割静止画６、分割静止画７、分割静止画８及び分割静止画９のそれぞれの画像のデータを足し合わせて、画素アレイ部（画面）の全画素分の静止画（静止画像）が得られる。また、時分割出力静止画動作で、分割静止画５の画素データ２３－３及び動画の画素データ２２－３を共有できるので、動画像（動画画像）が切れ目ない連続性を有することができ、静止画（静止画像）が円滑に作製され得る。
　本技術に係る第７の実施形態の固体撮像装置及び撮像制御方法では、ＰＬＳ特性の影響に関して注目する。信号電荷（画素信号）を読出すまでの時間が長いと、保持部（メモリ部）等で保持する時間が長くなって、それだけ外的要因（漏れ光等）受けやすく、ＰＬＳ特性の影響がでやすいと考える。したがって、本技術に係る第７の実施形態の固体撮像装置及び撮像制御方法では、視覚的に目立ちやすいと考えられる画面（画素アレイ部）の中央部を優先して読出して、ＰＬＳ特性の影響を少なくする。画面（画素アレイ部）の中央部を読出してその後、外側（画面の上方向及び下方向）に向かって読み出すことについて、図１３に示される読出しパターン５００５ｃを用いて、以下具体的に説明をする。なお、通常画素（撮像画素）でも位相差画素（焦点調整画素）へのＰＬＳ特性の影響度は変わらない。
　図１３（ｃ－１）には、動画の画像（例えば、動画（動画フレーム）の画素データ２２－３から得られる画像）及び／又は分割静止画５の画像データを得るために用いられる読出しパターンが示されている。図１３（ｃ－１）に示される読出しパターンは、画素アレイ部（画面）６００７の上側から順に、読出し用の、２行分のＭ２０の画素（画素信号）と、２行分のＭ２１の画素（画素信号）と、２行分のＭ２２の画素（画素信号）と、２行分のＭ２３の画素（画素信号）と、２行分のＭ２４の画素（画素信号）と、２行分のＭ２５の画素（画素信号）とが形成されて、さらに、間引き用の、画素アレイ部（画面）６００１の上側から順に、Ｍ２０とＭ２１との間に配されている２行分のＮ２２の画素（画素信号）と、Ｍ２１とＭ２２との間に配されている２行分のＮ２３の画素（画素信号）と、Ｍ２２とＭ２３との間に配されている２行分のＮ２４の画素（画素信号）と、Ｍ２３とＭ２４との間に配されている２行分のＮ２５の画素（画素信号）と、Ｍ２４とＭ２５との間に配されている２行分のＮ２６の画素（画素信号）と、最下行の２行分のＮ２７の画素（画素信号）とが形成されている。そして、画素アレイ部６００７の中央部Ｃ付近にある、Ｍ２２の画素及びＭ２３の画素をまずは優先して読出しして、その後、矢印Ｐ１２０方向（図１３中では上方向）で、例えば、Ｍ２２の画素→Ｍ２１の画素→Ｍ２０の画素の順で読出し、また、矢印Ｑ１２０方向（図１３中では下方向）で、例えば、Ｍ２３の画素→Ｍ２４の画素→Ｍ２５の画素の順で読出しをする。
　図１３（ｃ－２）には、分割静止画６の画像データを得るために用いられる読出しパターンが示されている。図１３（ｃ－２）に示される読出しパターンは、画素アレイ部（画面）６００８の上側から順に、読出し用の、２行分のＭ２６の画素（画素信号）と、２行分のＭ２７の画素（画素信号）と、が形成されて、さらに、間引き用の、Ｍ２６の画素（画素信号）の上側に配されている１０行分のＮ２８の画素（画素信号）と、Ｍ２６とＭ２７との間に配されている２行分のＮ２８２７の画素（画素信号）と、Ｍ２７の画素（画素信号）の下側に配されている８行分のＮ２９の画素（画素信号）が形成されている。そして、画素アレイ部６００８の中央部Ｃ付近にある、Ｍ２６の画素をまずは優先して読出しして、その後、矢印Ｑ１２０方向（図１３中では下方向）で、例えば、Ｍ２６→Ｍ２７の順で読出しをする。
　図１３（ｃ－３）には、分割静止画７の画像データを得るために用いられる読出しパターンが示されている。図１３（ｃ－３）に示される読出しパターンは、画素アレイ部（画面）６００９の上側から順に、読出し用の、２行分のＭ２８の画素（画素信号）と、２行分のＭ２９の画素（画素信号）と、が形成されて、さらに、間引き用の、Ｍ２８の画素（画素信号）の上側に配されている６行分のＮ３０の画素（画素信号）と、Ｍ２８とＭ２９との間に配されている１０行分のＮ３１の画素（画素信号）と、Ｍ２９の画素（画素信号）の下側に配されている６行分のＮ３２の画素（画素信号）が形成されている。矢印Ｐ１２０方向（図１３中では上方向）で、Ｍ２８の画素を読出し、また、矢印Ｑ１２０方向（図１３中では下方向）で、Ｍ２９の画素を読出す。
　図１３（ｃ－４）には、分割静止画８の画像データを得るために用いられる読出しパターンが示されている。図１３（ｃ－４）に示される読出しパターンは、画素アレイ部（画面）６０１０の上側から順に、読出し用の、２行分のＭ３０の画素（画素信号）と、最下部に位置する２行分のＭ３１の画素（画素信号）と、が形成されて、さらに、間引き用の、Ｍ２８の画素（画素信号）の上側に配されている２行分のＮ３３の画素（画素信号）と、Ｍ３０とＭ３１との間に配されている１８行分のＮ３４の画素（画素信号）と、が形成されている。矢印Ｐ１２０方向（図１３中では上方向）で、Ｍ２８の画素を読出し、また、矢印Ｑ１２０方向（図１３中では下方向）で、Ｍ２９の画素を読出す。
　参照符号５００５は、画素アレイ部（画面）の画素（画素信号）からの時系列での読出しの流れを示している。参照符号の番号順が時系列を意味することとなるＴ１２１～Ｔ１２７のそれぞれは、概略的には、画像生成に用いられる画素（撮像画素又は通常画素）の読出しの開始から、焦点検出画素の読出しの終了までの時間をフレームレートで示している。図１３中ではＴ１２１～Ｔ１２７のそれぞれは、１２０ｆｐｓ（８．３ｍｓ）である。なお、Ｔ１２１～Ｔ１２７のそれぞれは、焦点検出画素の読出しと、画像生成に用いられる画素（撮像画素又は通常画素）の読出しとのどちらが先に読出しを行ってもよい。本例では、画像生成に用いられる画素（撮像画素又は通常画素）の読出しが、焦点検出画素の読出しよりも先に行われる。
　読出しの流れ５００５について更に詳細に説明をする。
　Ｔ１２１は、動画の画素データ２２－１の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３４－１の頂点Ｒ１１１で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の上頂点Ｗ３及び下頂点Ｗ４で示される読出し終了時間を終期とする。図形９１のＷ２で示される開始時間と、次のＴ１２２における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間とは略同時期である。また、図１３に示されるように、図形３４－１の上頂点Ｒ１１２及び下頂点１１３で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１２２は、動画の画素データ２２－２の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３４－２の頂点Ｒ１１４で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の上頂点Ｗ３及び下頂点Ｗ４で示される読出し終了時間を終期とする。図形９１のＷ２で示される開始時間と、次のＴ１２３における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間とは略同時期である。また、図１３に示されるように、図形３４－２の上頂点Ｒ１１５及び下頂点１１６で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１２３は、動画の画素データ２２－３の出力による動画の画像データ（第２フレームの画像データ）及び分割静止画の画素データ２３－３の出力による分割静止画の画像データ（分割静止画５のデータ）の両方を得るための読出しを模式的に表示する図形３０４－３の頂点Ｒ１１７で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の上頂点Ｗ３及び下頂点Ｗ４で示される読出し終了時間を終期とする。図形９１のＷ２で示される開始時間と、次のＴ１２４における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間とは略同時期である。また、図１３に示されるように、図形３０４－３の上頂点Ｒ１１８及び下頂点１１９で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　図形３０４－３に基づく画素（画素信号）の読出しによる動画の画素データ２２－３は、第１画素データとして、動画の画像データ（第２フレームの画像データ）を得るために、例えば画像処理部（ＩＳＰ）にＳｔｒｅａｍ１として出力され、分割静止画の画素データ２３－３は、第２画素データとして、分割静止画の画像データ（分割静止画１のデータ）を得るために、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　そして、動画モードの垂直ブランキング期間（Ｔ１２３におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ２３－３４の出力による分割静止画の画像データ（分割静止画６のデータ）を得るための読出しを模式的に表示する図形３０４－３４が示され、図形３０４－３４の頂点Ｒ１２９が読出しの開始を示し、図３０４－３４の上頂点Ｒ１２１及び下頂点Ｒ１２２が読出しの終了を示す。
　Ｔ１２４は、動画の画素データ２２－４の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３４－４の頂点Ｒ１２３で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の上頂点Ｗ３及び下頂点Ｗ４で示される読出し終了時間を終期とする。図形９１のＷ２で示される開始時間と、次のＴ１２５における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間とは略同時期である。また、図１３に示されるように、図形３４－４の上頂点Ｒ１２４及び下頂点１２５で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ１２４におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ２３－４５の出力による分割静止画の画像データ（分割静止画７のデータ）を得るための読出しを模式的に表示する図形３０４－４５が示され、図形３０４－４５の頂点Ｒ１２６及び１２８が読出しの開始を示し、図形３０４－４５の頂点Ｒ１２７及び１２９が読出しの終了を示す。
　Ｔ１２６は、動画の画素データ２２－６の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３４－６の頂点Ｒ１３７で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の上頂点Ｗ３及び下頂点Ｗ４で示される読出し終了時間を終期とする。図形９１のＷ２で示される開始時間と、次のＴ１２７における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間とは略同時期である。また、図１３に示されるように、図形３４－６の上頂点Ｒ１３８及び下頂点１３９で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１２７は、動画の画素データ２２－７の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３４－７の頂点Ｒ１４０で示される読出し開始時間を始期とし、位相差方式による焦点調整を行うためのデータ（焦点検出画像のデータ）を得るための読出しを模式的に表示する図形９１の上頂点Ｗ３及び下頂点Ｗ４で示される読出し終了時間を終期とする。図形９１のＷ２で示される開始時間と、次のＴ１２８（不図示）における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間とは略同時期である。また、図１３に示されるように、図形３４－７の上頂点Ｒ１４１及び下頂点１４２で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　ところで、本技術に係る第７の実施形態（固体撮像装置の例７及び撮像制御方法の例７）の固体撮像装置及び撮像制御方法は、上記で述べた内容の他に、特に技術的な矛盾がない限り、前述した本技術に係る第１～第６の実施形態の固体撮像装置及び撮像制御方法の欄で述べた内容及び後述する本技術に係る第８～第９の実施形態の固体撮像装置及び撮像制御方法の欄で述べる内容がそのまま適用することができる。
＜９．第８の実施形態（固体撮像装置の例８及び撮像制御方法の例８）＞
　本技術に係る第８の実施形態（固体撮像装置の例８及び撮像制御方法の例８）の固体撮像装置及び撮像制御方法について、図１４～図１５を用いて説明をする。図１４は、本技術に係る第８の実施形態の固体撮像装置の例８（フレームメモリなし。）が実現され得るグローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例８）５００６ａを示す図である。そして、図１５に示されるように、本技術に係る第８の実施形態の固体撮像装置の例８（フレームメモリなし。）においては、読出しパターンは、読出しパターン５００６ｃを用いる。
　本技術に係る第８の実施形態の固体撮像装置及び撮像制御方法でも、本技術に係る第７の実施形態の固体撮像装置及び撮像制御方法と同様に、ＰＬＳ特性の影響に関して着目する。本技術に係る第８の実施形態の固体撮像装置及び撮像制御方法では、画面（画素アレイ部）の中央部の優先読出しの他、色（カラーフィルタ）対するＰＬＳの影響性についても着目する。
　具体的には、一般被写体に対して、ＰＬＳの影響が大きいＲ（レッド）、Ｂ（ブルー）を、最初に画面（画素アレイ部）の中央から読出した後に、Ｇｒ（グリーン）及びＧｂ（グリーン）を読出す。
　以下、図１５を用いて、詳細に説明をする。読出しパターン５００６ｃは、図１５（ｃ－１）に示される読出しパターン（Ｒ／Ｂ－１）と、図１５（ｃ－２）に示される読出しパターン（Ｒ／Ｂ－２）と、図１５（ｃ－３）に示される読出しパターン（Ｇｒ／Ｇｂ－１）と、図１５（ｃ－４）に示される読出しパターン（Ｇｒ／Ｇｂ－２）と、から構成される。そして、読出しパターン（Ｒ／Ｂ－１）、読出しパターン（Ｒ／Ｂ－２）、読出しパターン（Ｇｒ／Ｇｂ－１）、読出しパターン（Ｇｒ／Ｇｂ－２）の順で読出しをする。
　読出しパターン（Ｒ／Ｂ－１）においては、中央部Ｃ付近にある、２行分のＭ３３の画素及び２行分のＭ３４の画素をまずは優先して読出しして、その後、矢印Ｐ１３０方向（図１５中では上方向）では、例えば、２行分のＭ３３の画素→２行分のＭ３２の画素の順で読出し、また、矢印Ｑ１３０方向（図１５中では下方向）では、例えば、２行分のＭ３４の画素→２行分のＭ３５の画素の順で読出しをする。２行分であるＭ３２の画素～Ｍ３５の画素のそれぞれは、上行は赤色（Ｒ）フィルタを有し、下行は青色（Ｂ）フィルタを有する。
　読出しパターン（Ｒ／Ｂ－２）においては、矢印Ｐ１３０方向（図１５中では上方向）の２行分のＭ３６の画素を読出し、また、矢印Ｑ１３０方向（図１５中では下方向）の２行分のＭ３７の画素を読出す。２行分であるＭ３６の画素～Ｍ３７の画素のそれぞれは、上行は赤色（Ｒ）フィルタを有し、下行は青色（Ｂ）フィルタを有する。
　読出しパターン（Ｇｒ／Ｇｂ－１）においては、中央部Ｃ付近にある、２行分のＭ３９の画素及び２行分のＭ４０の画素をまずは優先して読出しして、その後、矢印Ｐ１３０方向（図１５中では上方向）では、例えば、２行分のＭ３９の画素→２行分のＭ３８の画素の順で読出し、また、矢印Ｑ１３０方向（図１５中では下方向）では、例えば、２行分のＭ４０の画素→２行分のＭ４１の画素の順で読出しをする。２行分であるＭ３８の画素～Ｍ４１の画素のそれぞれは、上行は緑色（Ｇｒ）フィルタを有し、下行は緑色（Ｇｂ）フィルタを有する。
　読出しパターン（Ｇｒ／Ｇｂ－２）においては、矢印Ｐ１３０方向（図１５中では上方向）の２行分のＭ４２の画素を読出し、また、矢印Ｑ１３０方向（図１５中では下方向）の２行分のＭ４３の画素読出す。２行分であるＭ４２の画素～Ｍ４３の画素のそれぞれは、上行は緑色（Ｇｒ）フィルタを有し、下行は緑色（Ｇｂ）フィルタを有する。
　なお、読出しパターン（Ｒ／Ｂ－１）と、読出しパターン（Ｒ／Ｂ－２）と、読出しパターン（Ｇｒ／Ｇｂ－１）と、読出しパターン（Ｇｒ／Ｇｂ－２）と合わせたものが、画素アレイ部５００６ｅであり、ベイヤ配列構造を有する。
　更に、図１４を用いて、本技術に係る第８の実施形態（固体撮像装置の例９及び撮像制御方法の例９）の固体撮像装置及び撮像制御方法について説明をする。
　図１４に示される２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例１）５００６ａでは、第１画素データがＳｔｒｅａｍ１として出力されて、第２画素データがＳｔｒｅａｍ２としてＳｔｒｅａｍ１とは別個独立に出力される。具体的には、第１画素データを構成する、時系列の順で動画（動画フレーム）の画素データ２４－１～動画（動画フレーム）の画素データ２４－７が、Ｓｔｒｅａｍ１として出力されて、第２画素データを構成する、時系列の順で分割静止画９の画素データ２５－３と、分割静止画１０の画素データ２５－３４と、分割静止画１１の画素データ２５－４５と、分割静止画１２の画素データ２５－５６とが、Ｓｔｒｅａｍ２として別個独立に出力される。
　そして、分割静止画９の画素データ２５－３、分割静止画１０の画素データ２５－３４、分割静止画１１の画素データ２５－４５及び分割静止画１２の画素データ２５－５６のそれぞれから得られた分割静止画９、分割静止画１０、分割静止画１１及び分割静止画１２のそれぞれの画像のデータを足し合わせて、画素アレイ部（画面）の全画素分の静止画（静止画像）が得られる。また、時分割出力静止画動作で、分割静止画９の画素データ２５－３及び動画の画素データ２４－３を共有できるので、動画像（動画画像）が切れ目ない連続性を有することができ、静止画（静止画像）が円滑に作製され得る。
　参照符号５００６は、画素アレイ部（画面）の画素（画素信号）からの時系列での読出しの流れを示している。参照符号の番号順が時系列を意味することとなるＴ１３１～Ｔ１３７のそれぞれは、概略的には、画素の読出し開始から、メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）までの時間をフレームレートで示している。図１４中ではＴ１３１～Ｔ１３７のそれぞれは、１２０ｆｐｓ（８．３ｍｓ）である。
　読出しの流れ５００６について更に詳細に説明をする。
　Ｔ１３１は、動画の画素データ２４－１の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３５－１の頂点Ｒ１４３で示される読出し開始時間を始期とし、次のＴ１３２における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３５－１の上頂点Ｒ１４４及び下頂点Ｒ１４５で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１３２は、動画の画素データ２４－２の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３５－２の頂点Ｒ１４６で示される読出し開始時間を始期とし、次のＴ１３３における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３５－２の上頂点Ｒ１４７及び下頂点Ｒ１４８で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１３３は、動画の画素データ２４－３の出力による動画の画像データ（第２フレームの画像データ）及び分割静止画の画素データ２５－３の出力による分割静止画の画像データ（分割静止画１の画像データ）の両方を得るための読出しを模式的に表示する図形３０５－３の頂点Ｒ１４９で示される読出し開始時間を始期とし、次のＴ１３４における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３０５－３の上頂点Ｒ１５０及び下頂点Ｒ１５１で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　図形３０５－３に基づく画素（画素信号）の読出しによる動画の画素データ２４－３は、第１画素データとして、動画の画像データ（第２フレームの画像データ）を得るために、例えば画像処理部（ＩＳＰ）にＳｔｒｅａｍ１として出力され、分割静止画の画素データ２５－３は、第２画素データとして、分割静止画の画像データ（分割静止画９の画像データ）を得るために、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　そして、動画モードの垂直ブランキング期間（Ｔ１３３におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ２５－３４の出力による分割静止画の画像データ（分割静止画１０の画像データ）を得るための読出しを模式的に表示する図形３０５－３４が示され、図形３０５－３４の頂点Ｒ１５２が読出しの開始を示し、図３０５－３４の上頂点Ｒ１５３及び下頂点１５４が読出しの終了を示す。
　Ｔ１３４は、動画の画素データ２４－４の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３５－４の頂点Ｒ１５５で示される読出し開始時間を始期とし、次のＴ１３５における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３５－４の上頂点Ｒ１５６及び下頂点１５７で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ１３４におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ２５－４５の出力による分割静止画の画像データ（分割静止画１１の画像データ）を得るための読出しを模式的に表示する図形３０５－４５が示され、図形３０５－４５の頂点Ｒ１５８及びＲ１６０が読出しの開始を示し、図形３０５－４５の頂点Ｒ１５９及びＲ１６１が読出しの終了を示す。
　Ｔ１３５は、動画の画素データ２４－５の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３５－５の頂点Ｒ１６２で示される読出し開始時間を始期とし、次のＴ１３６における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３５－５の上頂点Ｒ１６３及び下頂点Ｒ１６４で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ１３５におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ２５－５６の出力による分割静止画の画像データ（分割静止画１２の画像データ）を得るための読出しを模式的に表示する図形３０５－５６が示され、図形３０５－５６の頂点Ｒ１６５及びＲ１６７が読出しの開始を示し、図形３０５－５６の頂点Ｒ１６６及びＲ１６８が読出しの終了を示す。
　Ｔ１３６は、動画の画素データ２４－６の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３５－６の頂点Ｒ１６９で示される読出し開始時間を始期とし、次のＴ１３７における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３５－６の上頂点Ｒ１７０及び下頂点Ｒ１７１で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１３７は、動画の画素データ２４－７の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３５－７の頂点Ｒ１７２で示される読出し開始時間を始期とし、次のＴ１３８（図１４では不図示）における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３５－７の上頂点Ｒ１７３及び下頂点１７４で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　ところで、本技術に係る第８の実施形態（固体撮像装置の例８及び撮像制御方法の例８）の固体撮像装置及び撮像制御方法は、上記で述べた内容の他に、特に技術的な矛盾がない限り、前述した本技術に係る第１～第７の実施形態の固体撮像装置及び撮像制御方法の欄で述べた内容及び後述する本技術に係る第９の実施形態の固体撮像装置及び撮像制御方法の欄で述べる内容がそのまま適用することができる。
＜１０．第９の実施形態（固体撮像装置の例９及び撮像制御方法の例９）＞
　本技術に係る第９の実施形態（固体撮像装置の例９及び撮像制御方法の例９）の固体撮像装置及び撮像制御方法について、図１４及び図１６を用いて説明をする。図１４は、本技術に係る第９の実施形態の固体撮像装置の例９（フレームメモリなし。）が実現され得るグローバルシャッタ方式においての２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例５）５００６ａを示す図である。そして、図１６に示されるように、本技術に係る第９の実施形態の固体撮像装置の例９（フレームメモリなし。）においては、読出しパターンは、読出しパターン５００６ｄを用いる。
　本技術に係る第９の実施形態の固体撮像装置及び撮像制御方法でも、本技術に係る第７及び第８の実施形態の固体撮像装置及び撮像制御方法と同様に、ＰＬＳ特性の影響に関して着目する。本技術に係る第９の実施形態の固体撮像装置及び撮像制御方法では、本技術に係る第８の実施形態の固体撮像装置及び撮像制御方法に引き続き、画面（画素アレイ部）の中央部の優先読出しと、色（カラーフィルタ）対するＰＬＳの影響性についても着目する。
　具体的には、まず、最初に、Ｂ（ブルー）だけを読出して、次いで、Ｒ（レッド）、次にＧｂ（グリーン）、最後にＧｒ（グリーン）という読出しをする。このとき、色毎のＰＬＳ差分は、ホワイトバランスゲインで吸収することができる。
　以下、図１６を用いて、詳細に説明をする。読出しパターン５００６ｄは、図１６（ｄ－１）に示される読出しパターン（Ｒ）と、図１６（ｄ－２）に示される読出しパターン（Ｂ）と、図１６（ｄ－３）に示される読出しパターン（Ｇｒ）と、図１６（ｄ－４）に示される読出しパターン（Ｇｂ）と、から構成される。そして、読出しパターン（Ｂ）、読出しパターン（Ｒ）、読出しパターン（Ｇｂ）、読出しパターン（Ｇｒ）の順で読出しをする。
　読出しパターン（Ｂ）においては、中央部Ｃ付近にある、Ｍ５２の画素及びＭ５３の画素をまずは優先して読出しして、その後、矢印Ｐ１３０方向（図１６中では上方向）で、例えば、Ｍ５２の画素→Ｍ５１の画素→Ｍ５０の画素の順で読出し、また、矢印Ｑ１３０方向（図１６中では下方向）で、例えば、Ｍ５３の画素→Ｍ５４の画素→Ｍ５５の画素の順で読出しをする。
　読出しパターン（Ｒ）においては、中央部Ｃ付近にある、Ｍ４７の画素及びＭ４７の画素をまずは優先して読出しして、その後、矢印Ｐ１３０方向（図１６中では上方向）では、例えば、Ｍ４６の画素→Ｍ４５の画素→Ｍ４４の画素の順で読出し、また、矢印Ｑ１３０方向（図１６中では下方向）では、例えば、Ｍ４７の画素→Ｍ４８の画素→Ｍ４９の画素の順で読出しをする。
　読出しパターン（Ｇｂ）においては、中央部Ｃ付近にある、Ｍ６４の画素及びＭ６５の画素をまずは優先して読出しして、その後、矢印Ｐ１３０方向（図１６中では上方向）では、例えば、Ｍ６４の画素→Ｍ６３の画素→Ｍ６２の画素の順で読出し、また、矢印Ｑ１３０方向（図１６中では下方向）では、例えば、Ｍ６５の画素→Ｍ６６の画素→Ｍ６７の画素の順で読出しをする。
　読出しパターン（Ｇｒ）においては、中央部Ｃ付近にある、Ｍ５８の画素及びＭ５９の画素をまずは優先して読出しして、その後、矢印Ｐ１３０方向（図１６中では上方向）では、例えば、Ｍ５８の画素→Ｍ５７の画素→Ｍ５６の画素の順で読出し、また、矢印Ｑ１３０方向（図１６中では下方向）では、例えば、Ｍ５９の画素→Ｍ６０の画素→Ｍ６１の画素の順で読出しをする。
　なお、読出しパターン（Ｂ）と、読出しパターン（Ｒ）と、読出しパターン（Ｇｂ）と、読出しパターン（Ｇｒ）と合わせたものが、画素アレイ部５００６ｅであり、ベイヤ配列構造を有する。
　更に、図１４を用いて、本技術に係る第９の実施形態（固体撮像装置の例９及び撮像制御方法の例９）の固体撮像装置及び撮像制御方法について説明をする。
　図１４に示される２ストリーム（２ｓｔｒｅａｍ）駆動の動作例（撮像制御方法の例１）５００６ａでは、第１画素データがＳｔｒｅａｍ１として出力されて、第２画素データがＳｔｒｅａｍ２としてＳｔｒｅａｍ１とは別個独立に出力される。具体的には、第１画素データを構成する、時系列の順で動画（動画フレーム）の画素データ２４－１～動画（動画フレーム）の画素データ２４－７が、Ｓｔｒｅａｍ１として出力されて、第２画素データを構成する、時系列の順で分割静止画９の画素データ２５－３と、分割静止画１０の画素データ２５－３４と、分割静止画１１の画素データ２５－４５と、分割静止画１２の画素データ２５－５６とが、Ｓｔｒｅａｍ２として別個独立に出力される。
　そして、分割静止画９の画素データ２５－３、分割静止画１０の画素データ２５－３４、分割静止画１１の画素データ２５－４５及び分割静止画１２の画素データ２５－５６のそれぞれから得られた分割静止画９、分割静止画１０、分割静止画１１及び分割静止画１２のそれぞれの画像のデータを足し合わせて、画素アレイ部（画面）の全画素分の静止画（静止画像）が得られる。また、時分割出力静止画動作で、分割静止画９の画素データ２５－３及び動画の画素データ２４－３を共有できるので、動画像（動画画像）が切れ目ない連続性を有することができ、静止画（静止画像）が円滑に作製され得る。
　参照符号５００６は、画素アレイ部（画面）の画素（画素信号）からの時系列での読出しの流れを示している。参照符号の番号順が時系列を意味することとなるＴ１３１～Ｔ１３７のそれぞれは、概略的には、画素の読出し開始から、メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）までの時間をフレームレートで示している。図１４中ではＴ１３１～Ｔ１３７のそれぞれは、１２０ｆｐｓ（８．３ｍｓ）である。
　読出しの流れ５００６について更に詳細に説明をする。
　Ｔ１３１は、動画の画素データ２４－１の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３５－１の頂点Ｒ１４３で示される読出し開始時間を始期とし、次のＴ１３２における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３５－１の上頂点Ｒ１４４及び下頂点Ｒ１４５で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１３２は、動画の画素データ２４－２の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３５－２の頂点Ｒ１４６で示される読出し開始時間を始期とし、次のＴ１３３における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３５－２の上頂点Ｒ１４７及び下頂点Ｒ１４８で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１３３は、動画の画素データ２４－３の出力による動画の画像データ（第２フレームの画像データ）及び分割静止画の画素データ２５－３の出力による分割静止画の画像データ（分割静止画１の画像データ）の両方を得るための読出しを模式的に表示する図形３０５－３の頂点Ｒ１４９で示される読出し開始時間を始期とし、次のＴ１３４における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３０５－３の上頂点Ｒ１５０及び下頂点Ｒ１５１で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　図形３０５－３に基づく画素（画素信号）の読出しによる動画の画素データ２４－３は、第１画素データとして、動画の画像データ（第２フレームの画像データ）を得るために、例えば画像処理部（ＩＳＰ）にＳｔｒｅａｍ１として出力され、分割静止画の画素データ２５－３は、第２画素データとして、分割静止画の画像データ（分割静止画９の画像データ）を得るために、画像処理部（ＩＳＰ）にＳｔｒｅａｍ２として別個独立に出力される。
　そして、動画モードの垂直ブランキング期間（Ｔ１３３におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ２５－３４の出力による分割静止画の画像データ（分割静止画１０の画像データ）を得るための読出しを模式的に表示する図形３０５－３４が示され、図形３０５－３４の頂点Ｒ１５２が読出しの開始を示し、図３０５－３４の上頂点Ｒ１５３及び下頂点１５４が読出しの終了を示す。
　Ｔ１３４は、動画の画素データ２４－４の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３５－４の頂点Ｒ１５５で示される読出し開始時間を始期とし、次のＴ１３５における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３５－４の上頂点Ｒ１５６及び下頂点１５７で示されている読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ１３４におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ２５－４５の出力による分割静止画の画像データ（分割静止画１１の画像データ）を得るための読出しを模式的に表示する図形３０５－４５が示され、図形３０５－４５の頂点Ｒ１５８及びＲ１６０が読出しの開始を示し、図形３０５－４５の頂点Ｒ１５９及びＲ１６１が読出しの終了を示す。
　Ｔ１３５は、動画の画素データ２４－５の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３５－５の頂点Ｒ１６２で示される読出し開始時間を始期とし、次のＴ１３６における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３５－５の上頂点Ｒ１６３及び下頂点Ｒ１６４で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　そして、動画モードの垂直ブランキング期間（Ｔ１３５におけるグローバルリセット（ＧＲ）８１からメモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２までの期間に略相当。電荷の蓄積時間でもある。）には、分割静止画の画素データ２５－５６の出力による分割静止画の画像データ（分割静止画１２の画像データ）を得るための読出しを模式的に表示する図形３０５－５６が示され、図形３０５－５６の頂点Ｒ１６５及びＲ１６７が読出しの開始を示し、図形３０５－５６の頂点Ｒ１６６及びＲ１６８が読出しの終了を示す。
　Ｔ１３６は、動画の画素データ２４－６の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３５－６の頂点Ｒ１６９で示される読出し開始時間を始期とし、次のＴ１３７における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３５－６の上頂点Ｒ１７０及び下頂点Ｒ１７１で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　Ｔ１３７は、動画の画素データ２４－７の出力による動画の画像データ（第１フレームの画像データ）を得るための読出しを模式的に表示する図形３５－７の頂点Ｒ１７２で示される読出し開始時間を始期とし、次のＴ１３８（図１４では不図示）における読出しのための、各画素のフォトダイオード（ＰＤ）に蓄積されていた電荷が、全画素一斉に保持部（ＭＥＭ：画素内メモリ）に転送される（メモリトランスファー（ＭＥＭ Ｔｒａｎｓｆｅｒ）８２）時間を終期とする。また、図１４に示されるように、図形３５－７の上頂点Ｒ１７３及び下頂点１７４で示される読出し終了の前に、全画素のフォトダイオード（ＰＤ）が一斉にリセットされる（グローバルリセット（ＧＲ）８１）。
　ところで、本技術に係る第９の実施形態（固体撮像装置の例９及び撮像制御方法の例９）の固体撮像装置及び撮像制御方法は、上記で述べた内容の他に、特に技術的な矛盾がない限り、前述した本技術に係る第１～第８の実施形態の固体撮像装置及び撮像制御方法の欄で述べた内容がそのまま適用することができる。
＜１１．第１０の実施形態（電子機器の例）＞
　本技術に係る第１０の実施形態の電子機器は、本技術に係る第１の実施形態～第９の実施形態の固体撮像装置のうち、いずれか一つ実施形態の固体撮像装置が搭載された電子機器である。
＜１２．本技術を適用した固体撮像装置の使用例＞
　図１８は、イメージセンサ（固体撮像装置）としての本技術に係る第１～第９の実施形態の固体撮像装置の使用例を示す図である。
　上述した第１～第９の実施形態の固体撮像装置は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングするさまざまなケースに使用することができる。すなわち、図１８に示されるように、例えば、鑑賞の用に供される画像を撮影する鑑賞の分野、交通の分野、家電の分野、医療・ヘルスケアの分野、セキュリティの分野、美容の分野、スポーツの分野、農業の分野等において用いられる装置（例えば、上述した第１０の実施形態の電子機器）に、第１～第９の実施形態のいずれか１つの実施形態の固体撮像装置を使用することができる。
　具体的には、鑑賞の分野においては、例えば、デジタルカメラやスマートフォン、カメラ機能付きの携帯電話機等の、鑑賞の用に供される画像を撮影するための装置に、第１～第９の実施形態のいずれか１つの実施形態の固体撮像装置を使用することができる。
　交通の分野においては、例えば、自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置に、第１～第９の実施形態のいずれか１つの実施形態の固体撮像装置を使用することができる。
　家電の分野においては、例えば、ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビ受像機や冷蔵庫、エアーコンディショナ等の家電に供される装置で、第１～第９の実施形態のいずれか１つの実施形態の固体撮像装置を使用することができる。
　医療・ヘルスケアの分野においては、例えば、内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置に、第１～第９の実施形態のいずれか１つの実施形態の固体撮像装置を使用することができる。
　セキュリティの分野においては、例えば、防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置に、第１～第９の実施形態のいずれか１つの実施形態の固体撮像装置を使用することができる。
　美容の分野においては、例えば、肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置に、第１～第９の実施形態のいずれか１つの実施形態の固体撮像装置を使用することができる。
　スポーツの分野において、例えば、スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置に、第１～第９の実施形態のいずれか１つの実施形態の固体撮像装置を使用することができる。
　農業の分野においては、例えば、畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置に、第１～第９の実施形態のいずれか１つの実施形態の固体撮像装置を使用することができる。
　次に、本技術に係る第１～第９の実施形態の固体撮像装置の使用例を具体的に説明する。例えば、上述で説明をした第１～第９の実施形態のいずれか１つの実施形態の固体撮像装置が用いられる。具体的には、固体撮像装置１０１として、例えばデジタルスチルカメラやビデオカメラ等のカメラシステムや、撮像機能を有する携帯電話など、撮像機能を備えたあらゆるタイプの電子機器に適用することができる。図１９に、その一例として、電子機器１０２（カメラ）の概略構成を示す。この電子機器１０２は、例えば静止画または動画を撮影可能なビデオカメラであり、固体撮像装置１０１と、光学系（光学レンズ）３１０と、シャッタ装置３１１と、固体撮像装置１０１およびシャッタ装置３１１を駆動する駆動部３１３と、信号処理部３１２とを有する。
　光学系３１０は、被写体からの像光（入射光）を固体撮像装置１０１の画素部１０１ａへ導くものである。この光学系３１０は、複数の光学レンズから構成されていてもよい。シャッタ装置３１１は、固体撮像装置１０１への光照射期間および遮光期間を制御するものである。駆動部３１３は、固体撮像装置１０１の転送動作およびシャッタ装置３１１のシャッタ動作を制御するものである。信号処理部３１２は、固体撮像装置１０１から出力された信号に対し、各種の信号処理を行うものである。信号処理後の映像信号Ｄｏｕｔは、メモリなどの記憶媒体に記憶されるか、あるいは、モニタ等に出力される。
＜１３．内視鏡手術システムへの応用例＞
　本技術は、様々な製品へ応用することができる。例えば、本開示に係る技術（本技術）は、内視鏡手術システムに適用されてもよい。
　図２０は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図２０では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図２１は、図２０に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、内視鏡１１１００や、カメラヘッド１１１０２（の撮像部１１４０２）等に適用され得る。具体的には、本技術に係る固体撮像装置は、撮像部１０４０２に適用することができる。内視鏡１１１００や、カメラヘッド１１１０２（の撮像部１１４０２）等に本開示に係る技術を適用することにより、内視鏡１１１００や、カメラヘッド１１１０２（の撮像部１１４０２）等の性能や品質を向上させることが可能となる。
　ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術（本技術）は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
＜１４．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２２に示された例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２３は、撮像部１２０３１の設置位置の例を示す図である。
　図２３では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術（本技術）が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１等に適用され得る。具体的には、本技術に係る固体撮像装置は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、撮像部１２０３１の性能や品質を向上させることが可能となる。
　なお、本技術は、上述した実施形態及び上述した使用例、並びに上述した応用例に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
　また、本技術は、以下のような構成も取ることができる。
［１］
　グローバルシャッタ方式であり、
　画素毎に、入射光に応じて電荷を発生する光電変換部と、該光電変換部から転送されてくる該電荷を保持する保持部と、該電荷を画素信号に変換する変換部と、を有して、
　該画素が複数で行列状に配置された画素アレイ部が形成され、
　該画素信号を読出しして第１画素データを生成する第１画素データ生成部と、
　該画素信号を読出しして第２画素データを生成する第２画素データ生成部と、
　該第１画素データと、該第２画素データとが互いに独立して出力される出力部と、を備える、固体撮像装置。
［２］
　前記第１画素データが動画の画像データを得るために出力され、
　前記第２画素データが静止画の画像データを得るために出力される、［１］に記載の固体撮像装置。
［３］
　前記動画の画像データが、第１フレームの画像データと第２フレームの画像データとから構成され、
　該第１フレームの画像データが、前記画素アレイ部における全行のうち所定数の行を間引いて、間引かなかった所定数の行を加算して構成される第１行群から行単位で読出しして得られ、
　該第２フレームの画像データが、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のうち１つの第２行群から行単位で読出しして得られる、［２］に記載の固体撮像装置。
［４］
　前記第１フレームの画像データを得るために読出しをする時と、前記第１フレームの画像データを次に得るために読出しをする時との間に、前記第２フレームの画像データを得るために読出しをする、［３］に記載の固体撮像装置。
［５］
　前記静止画の画像データが複数の分割静止画の画像データから構成され、
　該複数の分割静止画の画像データのそれぞれが、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のそれぞれから行単位で別個独立に読出しして得られる、［２］から［４］のいずれか１つに記載の固体撮像装置。
［６］
　前記動画の画像データが、第１フレームの画像データと第２フレームの画像データとから構成され、
　該第１フレームの画像データが、前記画素アレイ部における全行のうち所定数の行を間引いて、間引かなかった所定数の行を加算して構成される第１行群から行単位で読出しして得られ、
　該第２フレームの画像データが、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のうち１つの第２行群から行単位で読出しして得られ、
　前記静止画の画像データが複数の分割静止画の画像データから構成され、
　該複数の分割静止画の画像データのそれぞれが、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のそれぞれから行単位で別個独立に読出して得られる、［２］に記載の固体撮像装置。
［７］
　前記第１フレームの画像データを得るために読出しをする時と、前記第１フレームの画像データを次に得るために読出しをする時との間に、前記第２フレームの画像データを得るために読出しをする、［６］に記載の固体撮像装置。
［８］
　前記動画を構成する前記第２フレームの画像データと、前記静止画を構成する複数の分割静止画のうち１つの分割静止画の画像データとの両方が、前記複数の第２行群のうち１つの第２行群から読出しして同時に得られる、［６］又は［７］に記載の固体撮像装置。
［９］
　前記静止画を構成する前記複数の分割静止画のうち少なくとも１つの分割静止画の画像データを得るための読出しが、前記第１フレームの画像データ又は前記第２フレームの画像データを得るための読出しをする時と、前記第１フレームの画像データ又は前記第２フレームの画像データを得るための読出しをした後の前記第１フレームの画像データを得るための読出しをする時との間で行われる、［６］から［８］のいずれか１つに記載の固体撮像装置。
［１０］
　前記静止画を構成する前記複数の分割静止画のうち、第１分割静止画の画像データを得るための読出しが、前記第２フレームの画像データが得られ、
　前記静止画を構成する複数の分割静止画のうち、該第１分割静止画の画像データを得るための読出し以外の少なくとも第２分割静止画の画像データを得るための読出しが、
　前記第２フレームの画像のデータを得るための読出し時と、前記第２フレームの画像のデータを得るための読出し後の前記第１フレームの画像データを得るための読出し時との間、及び／又は前記第１フレームの画像データを得るための読出し時と、連続した前記第１フレームの画像データを得るための読出し時との間で行われる、［６］から［９］のいずれか１つに記載の固体撮像装置。
［１１］
　前記静止画が連続的に得られるように、
　１つの前記静止画を完成させるための１つの前記分割静止画の画像データを得るための読出しが行われた後に、
　連続した次の前記静止画を構成する前記複数の分割静止画のうち１つの分割静止画の画像データを得るための読出しが行われる、［６］から［１０］のいずれか１つに記載に固体撮像装置。
［１２］
　前記第１フレームの画像データが、
　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行から、前記第１行群を構成する上方向の行及び下方向の行に向かって読出しして得られ、
　前記第２フレームの画像データが、
　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行から、上方向の行及び下方向の行に向かって読出しして、得られ、
　前記複数の分割静止画のそれぞれのデータが、
　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行から、上方向の行及び／又は下方向の行に向かって読出しして得られる、［６］から［１１］のいずれか１つに記載の固体撮像装置。
［１３］
　前記動画を構成する前記第２フレームの画像データと、前記静止画を構成する複数の分割静止画のうち１つの分割静止画の画像データとの両方が、前記複数の第２行群のうち前記１つの第２行群から読出しして同時に得られる、［１２］に記載の固体撮像装置。
［１４］
　前記画素毎に、
　青色フィルタ、赤色フィルタ、第１緑色フィルタ及び第２緑色フィルタからなる群から選ばれる１種のフィルタが形成され、
　前記第１フレームの画像データが、
　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタ及び青色フィルタを有する画素から、上方向の行及び下方向の行を構成する赤色フィルタ及び青色フィルタを有する画素に向かって読出しして、
　次いで、前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素に向かって読出しして、得られ、
　前記第２フレームの画像データが、
　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタ及び青色フィルタを有する画素から、上方向の行及び下方向の行を構成する赤色フィルタ及び青色フィルタを有する画素に向かって読出しし、
　次いで、前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素に向かって読出しして、得られ、
　前記複数の分割静止画のそれぞれのデータが、
　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタ及び青色フィルタを構成する画素から、上方向の行及び／又は下方向の行を構成する赤色フィルタ及び青色フィルタを構成する画素に向かって読出しし、
　次いで、前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素に向かって読出しして、得られる、［６］から［１３］のいずれか１つに記載の固体撮像装置。
［１５］
　前記画素毎に、
　青色フィルタ、赤色フィルタ、第１緑色フィルタ及び第２緑色フィルタからなる群から選ばれる１種のフィルタが形成され、
　前記第１フレームの画像データが、
　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタを有する画素から、上方向の行及び下方向の行を構成する赤色フィルタを有する画素に向かって読出しし、
　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する青色フィルタを有する画素から、上方向の行及び下方向の行を構成する青色フィルタを有する画素に向かって読出しし、
　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第１緑色フィルタを有する画素に向かって読出しし、
　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第２緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第２緑色フィルタを有する画素に向かって読出しして得られ、
　前記第２フレームの画像データが、
　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタを有する画素から、上方向の行及び下方向の行を構成する赤色フィルタを有する画素に向かって読出しし、
　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する青色フィルタを有する画素から、上方向の行及び下方向の行を構成する青色フィルタを有する画素に向かって読出しし、
　次いで、前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第１緑色フィルタを有する画素に向かって読出しし、
　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第２緑色フィルタを有する画素から、前記１つの第２行群を構成する上方向の行及び下方向の行を構成する第２緑色フィルタを有する画素に向かって読出しして、得られ、
　前記複数の分割静止画のそれぞれのデータが、
　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する赤色フィルタを有する画素に向かって読出しし、
　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する青色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する青色フィルタを有する画素に向かって読出しし、
　次いで、前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する第１緑色フィルタを有する画素に向かって読出しし、
　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第２緑色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する第２緑色フィルタを有する画素に向かって読出しして、得られる、［６］から［１３］のいずれか１つに記載の固体撮像装置。
［１６］
　グローバルシャッタ方式であり、
　画素毎に、入射光に応じて電荷を発生する光電変換部と、該光電変換部から転送されてくる該電荷を保持する保持部と、該電荷を画素信号に変換する変換部と、を有して、該画素が複数で行列状に配置されて画素アレイ部が形成され、
　前記複数の画素が、画像生成に用いられる画素と、焦点調整に用いられる焦点検出画素とから構成され、
　該画像生成に用いられる画素からの画素信号と該焦点調整に用いられる焦点検出画素からの焦点検出画素信号を読出しして第３画素データを生成する第３画素生成部と、
　該画像生成に用いられる画素からの画素信号を読出しして第４画素データを生成する第４画素生成部と、
　該第３画素データと、該第４画素データとが互いに独立して出力される出力部と、を備える、固体撮像装置。
［１７］
　前記第３画素データが、動画の画像データ及び焦点検出画像のデータを得るために出力され、
　前記第４画素データが、静止画の画像データを得るために出力される、［１６］に記載の固体撮像装置。
［１８］
　更に、フレームメモリを備える、［１］から［１７］のいずれか１つに記載の固体撮像装置。
［１９］
　［１］から［１８］のいずれか１つに記載の固体撮像装置が搭載された、電子機器。
［２０］
　グローバルシャッタ方式であり、
　画素毎に、入射光に応じて電荷を発生する光電変換部と、該光電変換部から転送されてくる該電荷を保持する保持部と、該電荷を画素信号に変換する変換部と、を有して、該画素が複数で行列状に配置されて画素アレイ部が形成された、固体撮像装置の撮像制御方法であり、
　該撮像制御方法が、
　該画素信号を読出しして第１画素データを生成することと、
　該画素信号を読出しして第２画素データを生成することと、
　該第１画素データと、該第２画素データとを互いに独立して出力することと、を含む、方法。
［２１］
　前記第１画素データが動画の画像データを得るために出力され、
　前記第２画素データが静止画の画像データを得るために出力され、
　前記動画の画像データが、第１フレームの画像データと第２フレームの画像データとから構成され、
　前記静止画が複数の分割静止画から構成され
　該第１フレームの画像データを得るために、前記画素アレイ部における全行のうち所定数の行を間引いて、間引かなかった所定数の行を加算して構成される第１行群を行単位で読出すことと、
　該第２フレームの画像データを得るために、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のうち１つの第２行群を行単位で読出すことと、
　該複数の分割静止画のそれぞれのデータを得るために、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のそれぞれを行単位で別個独立に読出すことと、を含む、［２０］に記載の撮像制御方法。
　１０００、３０００・・・イメージセンサ（固体撮像装置）、
　１１１０、３１１０・・・ＧＳ（グローバルシャッタ）画素アレイ部、
　１９００・・・ＡＤＣ（アナログ－デジタル変換装置）／信号処理部、
　２０００、４０００・・・ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、イメージ シグナル プロセッサ）、
　２１００、３１００・・・画像処理部、
　３９００・・・ＡＤＣ（アナログ－デジタル変換装置）／信号処理部／フレームメモリ（ＤＲＡＭ）。

Claims (21)

  1. 　グローバルシャッタ方式であり、
    　画素毎に、入射光に応じて電荷を発生する光電変換部と、該光電変換部から転送されてくる該電荷を保持する保持部と、該電荷を画素信号に変換する変換部と、を有して、
    　該画素が複数で行列状に配置された画素アレイ部が形成され、
    　該画素信号を読出しして第１画素データを生成する第１画素データ生成部と、
    　該画素信号を読出しして第２画素データを生成する第２画素データ生成部と、
    　該第１画素データと、該第２画素データとが互いに独立して出力される出力部と、を備える、固体撮像装置。
  2. 　前記第１画素データが動画の画像データを得るために出力され、
    　前記第２画素データが静止画の画像データを得るために出力される、請求項１に記載の固体撮像装置。
  3. 　前記動画の画像データが、第１フレームの画像データと第２フレームの画像データとから構成され、
    　該第１フレームの画像データが、前記画素アレイ部における全行のうち所定数の行を間引いて、間引かなかった所定数の行を加算して構成される第１行群から行単位で読出しして得られ、
    　該第２フレームの画像データが、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のうち１つの第２行群から行単位で読出しして得られる、請求項２に記載の固体撮像装置。
  4. 　前記第１フレームの画像データを得るために読出しをする時と、前記第１フレームの画像データを次に得るために読出しをする時との間に、前記第２フレームの画像データを得るために読出しをする、請求項３に記載の固体撮像装置。
  5. 　前記静止画の画像データが複数の分割静止画の画像データから構成され、
    　該複数の分割静止画の画像データのそれぞれが、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のそれぞれから行単位で別個独立に読出しして得られる、請求項２に記載の固体撮像装置。
  6. 　前記動画の画像データが、第１フレームの画像データと第２フレームの画像データとから構成され、
    　該第１フレームの画像データが、前記画素アレイ部における全行のうち所定数の行を間引いて、間引かなかった所定数の行を加算して構成される第１行群から行単位で読出しして得られ、
    　該第２フレームの画像データが、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のうち１つの第２行群から行単位で読出しして得られ、
    　前記静止画の画像データが複数の分割静止画の画像データから構成され、
    　該複数の分割静止画の画像データのそれぞれが、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のそれぞれから行単位で別個独立に読出して得られる、請求項２に記載の固体撮像装置。
  7. 　前記第１フレームの画像データを得るために読出しをする時と、前記第１フレームの画像データを次に得るために読出しをする時との間に、前記第２フレームの画像データを得るために読出しをする、請求項６に記載の固体撮像装置。
  8. 　前記動画を構成する前記第２フレームの画像データと、前記静止画を構成する複数の分割静止画のうち１つの分割静止画の画像データとの両方が、前記複数の第２行群のうち１つの第２行群から読出しして同時に得られる、請求項６に記載の固体撮像装置。
  9. 　前記静止画を構成する前記複数の分割静止画のうち少なくとも１つの分割静止画の画像データを得るための読出しが、前記第１フレームの画像データ又は前記第２フレームの画像データを得るための読出しをする時と、前記第１フレームの画像データ又は前記第２フレームの画像データを得るための読出しをした後の前記第１フレームの画像データを得るための読出しをする時との間で行われる、請求項６に記載の固体撮像装置。
  10. 　前記静止画を構成する前記複数の分割静止画のうち、第１分割静止画の画像データを得るための読出しによって、前記第２フレームの画像データが得られ、
    　前記静止画を構成する複数の分割静止画のうち、該第１分割静止画の画像データを得るための読出し以外の少なくとも第２分割静止画の画像データを得るための読出しが、
    　前記第２フレームの画像のデータを得るための読出し時と、前記第２フレームの画像のデータを得るための読出し後の前記第１フレームの画像データを得るための読出し時との間、及び／又は前記第１フレームの画像データを得るための読出し時と、連続した前記第１フレームの画像データを得るための読出し時との間で行われる、請求項６に記載の固体撮像装置。
  11. 　前記静止画が連続的に得られるように、
    　１つの前記静止画を完成させるための１つの前記分割静止画の画像データを得るための読出しが行われた後に、
    　連続した次の前記静止画を構成する前記複数の分割静止画のうち１つの分割静止画の画像データを得るための読出しが行われる、請求項６に記載に固体撮像装置。
  12. 　前記第１フレームの画像データが、
    　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行から、前記第１行群を構成する上方向の行及び下方向の行に向かって読出しして得られ、
    　前記第２フレームの画像データが、
    　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行から、上方向の行及び下方向の行に向かって読出しして、得られ、
    　前記複数の分割静止画のそれぞれのデータが、
    　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行から、上方向の行及び／又は下方向の行に向かって読出しして得られる、請求項６に記載の固体撮像装置。
  13. 　前記動画を構成する前記第２フレームの画像データと、前記静止画を構成する複数の分割静止画のうち１つの分割静止画の画像データとの両方が、前記複数の第２行群のうち前記１つの第２行群から読出しして同時に得られる、請求項１２に記載の固体撮像装置。
  14. 　前記画素毎に、
    　青色フィルタ、赤色フィルタ、第１緑色フィルタ及び第２緑色フィルタからなる群から選ばれる１種のフィルタが形成され、
    　前記第１フレームの画像データが、
    　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタ及び青色フィルタを有する画素から、上方向の行及び下方向の行を構成する赤色フィルタ及び青色フィルタを有する画素に向かって読出しして、
    　次いで、前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素に向かって読出しして、得られ、
    　前記第２フレームの画像データが、
    　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタ及び青色フィルタを有する画素から、上方向の行及び下方向の行を構成する赤色フィルタ及び青色フィルタを有する画素に向かって読出しし、
    　次いで、前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素に向かって読出しして、得られ、
    　前記複数の分割静止画のそれぞれのデータが、
    　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタ及び青色フィルタを構成する画素から、上方向の行及び／又は下方向の行を構成する赤色フィルタ及び青色フィルタを構成する画素に向かって読出しし、
    　次いで、前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する第１緑色フィルタ及び第２緑色フィルタを有する画素に向かって読出しして、得られる、請求項６に記載の固体撮像装置。
  15. 　前記画素毎に、
    　青色フィルタ、赤色フィルタ、第１緑色フィルタ及び第２緑色フィルタからなる群から選ばれる１種のフィルタが形成され、
    　前記第１フレームの画像データが、
    　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタを有する画素から、上方向の行及び下方向の行を構成する赤色フィルタを有する画素に向かって読出しして、
    　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する青色フィルタを有する画素から、上方向の行及び下方向の行を構成する青色フィルタを有する画素に向かって読出しして、
    　次いで、前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第１緑色フィルタを有する画素に向かって読出しして、
    　前記第１行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第２緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第２緑色フィルタを有する画素に向かって読出しして得られ、
    　前記第２フレームの画像データが、
    　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタを有する画素から、上方向の行及び下方向の行を構成する赤色フィルタを有する画素に向かって読出しして、
    　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する青色フィルタを有する画素から、上方向の行及び下方向の行を構成する青色フィルタを有する画素に向かって読出しして、
    　次いで、前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタを有する画素から、上方向の行及び下方向の行を構成する第１緑色フィルタを有する画素に向かって読出しして、
    　前記複数の第２行群のうち１つの第２行群を構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第２緑色フィルタを有する画素から、前記１つの第２行群を構成する上方向の行及び下方向の行を構成する第２緑色フィルタを有する画素に向かって読出しして、得られ、
    　前記複数の分割静止画のそれぞれのデータが、
    　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する赤色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する赤色フィルタを有する画素に向かって読出しして、
    　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する青色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する青色フィルタを有する画素に向かって読出しして、
    　次いで、前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第１緑色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する第１緑色フィルタを有する画素に向かって読出しして、
    　前記複数の第２行群のそれぞれを構成する所定数の行のうち前記画素アレイ部の略真ん中に一番近い行を構成する第２緑色フィルタを有する画素から、上方向の行及び／又は下方向の行を構成する第２緑色フィルタを有する画素に向かって読出しして、得られる、請求項６に記載の固体撮像装置。
  16. 　グローバルシャッタ方式であり、
    　画素毎に、入射光に応じて電荷を発生する光電変換部と、該光電変換部から転送されてくる該電荷を保持する保持部と、該電荷を画素信号に変換する変換部と、を有して、該画素が複数で行列状に配置されて画素アレイ部が形成され、
    　前記複数の画素が、画像生成に用いられる画素と、焦点調整に用いられる焦点検出画素とから構成され、
    　該画像生成に用いられる画素からの画素信号と該焦点調整に用いられる焦点検出画素からの焦点検出画素信号を読出しして第３画素データを生成する第３画素生成部と、
    　該画像生成に用いられる画素からの画素信号を読出しして第４画素データを生成する第４画素生成部と、
    　該第３画素データと、該第４画素データとが互いに独立して出力される出力部と、を備える、固体撮像装置。
  17. 　前記第３画素データが、動画の画像データ及び焦点検出画像のデータを得るために出力され、
    　前記第４画素データが、静止画の画像データを得るために出力される、請求項１６に記載の固体撮像装置。
  18. 　更に、フレームメモリを備える、請求項１に記載の固体撮像装置。
  19. 　請求項１に記載の固体撮像装置が搭載された、電子機器。
  20. 　グローバルシャッタ方式であり、
    　画素毎に、入射光に応じて電荷を発生する光電変換部と、該光電変換部から転送されてくる該電荷を保持する保持部と、該電荷を画素信号に変換する変換部と、を有して、該画素が複数で行列状に配置されて画素アレイ部が形成された、固体撮像装置の撮像制御方法であり、
    　該撮像制御方法が、
    　該画素信号を読出しして第１画素データを生成することと、
    　該画素信号を読出しして第２画素データを生成することと、
    　該第１画素データと、該第２画素データとを互いに独立して出力することと、を含む、方法。
  21. 　前記第１画素データが動画の画像データを得るために出力され、
    　前記第２画素データが静止画の画像データを得るために出力され、
    　前記動画の画像データが、第１フレームの画像データと第２フレームの画像データとから構成され、
    　前記静止画が複数の分割静止画から構成され
    　該第１フレームの画像データを得るために、前記画素アレイ部における全行のうち所定数の行を間引いて、間引かなかった所定数の行を加算して構成される第１行群を行単位で読出すことと、
    　該第２フレームの画像データを得るために、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のうち１つの第２行群を行単位で読出すことと、
    　該複数の分割静止画のそれぞれのデータを得るために、前記画素アレイ部における全行を複数に時分割して、該複数に時分割された所定数の行で構成される複数の第２行群のそれぞれを行単位で別個独立に読出すことと、を含む、請求項２０に記載の撮像制御方法。
PCT/JP2020/015597 2019-06-07 2020-04-07 固体撮像装置及び電子機器、並びに固体撮像装置の撮像制御方法 Ceased WO2020246129A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019107333A JP2020202464A (ja) 2019-06-07 2019-06-07 固体撮像装置及び電子機器、並びに固体撮像装置の撮像制御方法
JP2019-107333 2019-06-07

Publications (1)

Publication Number Publication Date
WO2020246129A1 true WO2020246129A1 (ja) 2020-12-10

Family

ID=73653176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/015597 Ceased WO2020246129A1 (ja) 2019-06-07 2020-04-07 固体撮像装置及び電子機器、並びに固体撮像装置の撮像制御方法

Country Status (2)

Country Link
JP (1) JP2020202464A (ja)
WO (1) WO2020246129A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135102A (ja) * 2005-11-11 2007-05-31 Canon Inc 撮像装置
JP2013030939A (ja) * 2011-07-27 2013-02-07 Canon Inc 撮像装置
JP2014175934A (ja) * 2013-03-11 2014-09-22 Canon Inc 撮像素子、その駆動方法および撮像装置
JP2015222925A (ja) * 2014-05-23 2015-12-10 キヤノン株式会社 ブレ補正装置、ブレ補正方法およびプログラム、並びに撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135102A (ja) * 2005-11-11 2007-05-31 Canon Inc 撮像装置
JP2013030939A (ja) * 2011-07-27 2013-02-07 Canon Inc 撮像装置
JP2014175934A (ja) * 2013-03-11 2014-09-22 Canon Inc 撮像素子、その駆動方法および撮像装置
JP2015222925A (ja) * 2014-05-23 2015-12-10 キヤノン株式会社 ブレ補正装置、ブレ補正方法およびプログラム、並びに撮像装置

Also Published As

Publication number Publication date
JP2020202464A (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
JP7439214B2 (ja) 固体撮像素子および電子機器
JP7608335B2 (ja) 固体撮像装置、及び電子機器
KR102794555B1 (ko) 촬상 소자 및 전자 기기
WO2017150167A1 (ja) 固体撮像素子
JPWO2018110303A1 (ja) 固体撮像素子および電子機器
WO2018139278A1 (ja) 撮像素子、製造方法、および電子機器
WO2018043654A1 (ja) 固体撮像装置およびその製造方法、並びに電子機器
TWI840483B (zh) 信號處理方法及攝像裝置
JP7603053B2 (ja) 固体撮像装置及び電子機器
TWI892989B (zh) 固態攝像裝置及其驅動方法以及電子機器
WO2021131318A1 (ja) 固体撮像装置及び電子機器
WO2020036054A1 (ja) 固体撮像素子および電子機器
WO2018131510A1 (ja) 固体撮像素子および電子機器
JP7034925B2 (ja) 固体撮像装置および撮像方法
JP2019022173A (ja) 固体撮像素子およびその制御方法、並びに電子機器
WO2020246129A1 (ja) 固体撮像装置及び電子機器、並びに固体撮像装置の撮像制御方法
WO2021171796A1 (ja) 固体撮像装置及び電子機器
US20250176289A1 (en) Solid-state imaging device, imaging system, and imaging processing method
WO2019171947A1 (ja) 撮像素子、電子機器
TW202404060A (zh) 攝像裝置
WO2023095518A1 (ja) 光検出装置及び電子機器
WO2022102433A1 (ja) 撮像装置
US20250160016A1 (en) Imaging device and electronic apparatus
WO2024180957A1 (ja) 固体撮像装置および電子機器
JP2025022127A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20818941

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20818941

Country of ref document: EP

Kind code of ref document: A1