WO2021199658A1 - 撮像装置およびその制御方法 - Google Patents

撮像装置およびその制御方法 Download PDF

Info

Publication number
WO2021199658A1
WO2021199658A1 PCT/JP2021/003902 JP2021003902W WO2021199658A1 WO 2021199658 A1 WO2021199658 A1 WO 2021199658A1 JP 2021003902 W JP2021003902 W JP 2021003902W WO 2021199658 A1 WO2021199658 A1 WO 2021199658A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
pixel
internal memory
signal
unit
Prior art date
Application number
PCT/JP2021/003902
Other languages
English (en)
French (fr)
Inventor
和俊 児玉
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/906,981 priority Critical patent/US20230119596A1/en
Priority to EP21779826.3A priority patent/EP4131937A4/en
Publication of WO2021199658A1 publication Critical patent/WO2021199658A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information

Definitions

  • This technology relates to an imaging device. More specifically, the present invention relates to an image pickup apparatus that simultaneously records a still image and displays a moving image, and a control method thereof.
  • a still image is recorded when the shutter button is pressed, but prior to that, the monitor image is displayed on the display unit as a live view.
  • the image pickup data from the image sensor is configured to be switched to either the still image recording or the live view display, there is a problem that the live view display is interrupted during the still image recording.
  • an imaging device has been proposed in which a focal image signal from a phase difference pixel is used as a first stream and a main line pixel signal from a normal pixel is output as a second stream (see, for example, Patent Document 1).
  • This technology was created in view of this situation, and aims to improve the frame rate in an imaging device that simultaneously records still images and displays moving images.
  • the present technology has been made to solve the above-mentioned problems, and the first aspect thereof is a pixel array in which a plurality of pixels each having an internal memory are arranged, and all the pixels of the plurality of pixels.
  • the first exposure control in which the data captured by collectively exposing the pixels is held in the internal memory of the pixel, and the data captured by collectively exposing the specific pixels of the plurality of pixels are captured in the internal memory of the pixel.
  • An image pickup apparatus including an exposure control unit that performs a second exposure control held in a memory, and a control method thereof.
  • a column processing unit including a plurality of analog-digital converters for converting the imaging data held in the internal memory of the plurality of pixels from an analog signal to a digital signal, and the digital signal are converted.
  • a signal processing unit that outputs the captured imaging signals as first and second streams having different frame rates may be further provided. This has the effect of outputting a specific pixel and other pixels as separate streams.
  • the first stream may be a signal sequence read from the internal memory of the plurality of pixels over a plurality of frame periods. This has the effect of improving the frame rate of the second stream.
  • the first stream may have a lower frame rate than the second stream and may have a higher image quality than the second stream.
  • the first stream may be an image signal sequence for recording a still image
  • the second stream may be an image signal sequence for displaying a monitor image.
  • the exposure control unit may include a plurality of row control units that control the exposure of the corresponding pixel for each pixel row address in the pixel array.
  • the row control unit may input the control signal of the second exposure control for the pixel row corresponding to the specific pixel. Further, the row control unit presets whether or not it is a pixel row corresponding to the specific pixel, and if it is set as a pixel row corresponding to the specific pixel, the control signal of the second exposure control. May be accepted.
  • the signal processing unit may include a frame buffer for holding the first stream read from the internal memory of the plurality of pixels.
  • the internal memory may be a charge holding type that holds the captured data as a charge, or may be a voltage holding type that holds the captured data as a voltage.
  • FIG. 1 is a diagram showing an overall configuration example of an image pickup apparatus according to an embodiment of the present technology.
  • This imaging device includes a pixel array unit 100, a pixel drive unit 200, a horizontal drive unit 300, a column processing unit 400, a system control unit 500, and a signal processing unit 600.
  • the pixel array unit 100 is a pixel array in which a plurality of pixels are arranged in a two-dimensional matrix. Each pixel of the pixel array unit 100 is driven and controlled by the pixel drive unit 200, images incident light from the subject, and outputs an analog signal of the imaged data.
  • the pixel drive unit 200 drives and controls each of the pixel rows arranged in the vertical direction of the pixel array unit 100 row by row according to the control from the system control unit 500. As will be described later, the pixel drive unit 200 includes a mechanism for exposing only the pixels corresponding to the moving image pixel addresses.
  • the horizontal drive unit 300 reads the imaging data from each pixel of the pixel array unit 100 in the column direction, supplies the image data to the column processing unit 400, and drives and controls the processing in the horizontal direction. Is what you do.
  • the column processing unit 400 processes the imaging data by analog signals from each pixel of the pixel array unit 100 according to the control from the system control unit 500. Specifically, an AD converter (Analog-to-Digital converter) that converts an analog signal into a digital signal is provided, and the imaged data obtained by the analog signal is converted into a digital signal.
  • AD converter Analog-to-Digital converter
  • the system control unit 500 controls the entire imaging device.
  • the system control unit 500 exposes all the pixels of the pixel array unit 100 at the timing when the shutter button pressing signal is received from the outside of the image pickup circuit. On the other hand, at the timing when the shutter button pressing signal is not received, only the pixel corresponding to the moving image pixel address is exposed.
  • the signal processing unit 600 performs predetermined signal processing on the horizontal pixel data from the column processing unit 400 to generate two streams, one for recording a still image and the other for displaying a live view of a monitor image. be.
  • FIG. 2 is a diagram showing a first configuration example of each pixel of the pixel array unit 100 according to the embodiment of the present technology.
  • This first configuration example shows a configuration example of a charge-holding type (Charge Domain) global shutter pixel.
  • the pixel 101 of the first configuration example includes a photoelectric conversion unit 110, a first charge transfer unit 131, a charge holding unit 120, a second charge transfer unit 132, a charge voltage conversion unit 140, and a charge reset.
  • a unit 150, a signal amplification unit 160, and a pixel selection unit 170 are provided.
  • the photoelectric conversion unit 110 is a PN junction photodiode (PD: Photo Diode), which generates and stores an electric charge according to the amount of incident light at the time of exposure.
  • PD PN junction photodiode
  • the first charge transfer unit 131 transfers the charge accumulated in the photoelectric conversion unit 110 to the charge holding unit 120 according to the first transfer signal TRX.
  • the charge holding unit 120 is an internal memory (MEM) that holds the electric charge accumulated in the photoelectric conversion unit 110 at the time of exposure.
  • MEM internal memory
  • the charge holding unit 120 makes it possible to hold a charge in the pixel 101, and it is possible to adopt a global shutter that performs batch exposure instead of the conventional rolling shutter that performs exposure one by one.
  • the charge holding unit 120 is an example of the internal memory described in the claims.
  • the second charge transfer unit 132 transfers the charge held in the charge holding unit 120 to the charge voltage conversion unit 140 according to the second transfer signal TRG.
  • the charge-voltage conversion unit 140 is a floating diffusion (FD) capacity formed between the drain of the second charge transfer unit 132 and the source of the charge reset unit 150.
  • the charge-voltage conversion unit 140 accumulates the charges transferred from the second charge transfer unit 132.
  • the charge reset unit 150 resets the charge stored in the charge-voltage conversion unit 140 according to the reset signal RST.
  • the signal amplification unit 160 amplifies the charge stored in the charge-voltage conversion unit 140 and outputs a pixel signal at a level corresponding to the charge.
  • the gate electrode is connected to the charge-voltage conversion unit 140
  • the drain is connected to the power supply voltage Vdd
  • the read-out circuit that reads out the charge obtained by the photoelectric conversion in the photoelectric conversion unit 110, that is, the so-called source. It becomes the input part of the follower circuit.
  • the pixel selection unit 170 selects any pixel in the pixel array unit 100.
  • the pixel selection unit 170 is connected between the source of the signal amplification unit 160 and the vertical signal line, and the selection signal SEL is supplied to the gate electrode thereof.
  • the selection signal SEL reaches the H level, the pixel selection unit 170 is in the conductive state, and the pixels are in the selected state.
  • the signal output from the signal amplification unit 160 is read out via the vertical signal line.
  • FIG. 3 is a diagram showing a second configuration example of each pixel of the pixel array unit 100 according to the embodiment of the present technology.
  • This second configuration example shows a configuration example of a voltage holding type (Voltage Domain) global shutter pixel.
  • the pixel 101 of this second configuration example includes a first voltage holding unit 121 and a second voltage holding unit 122 as internal memory.
  • the first voltage holding unit 121 (MEM0) holds the potential of the P phase (Pre-Charge phase), that is, the reset potential.
  • the second voltage holding unit 122 (MEM1) holds the potential of the D phase (Data phase), that is, the signal potential.
  • the first voltage holding unit 121 and the second voltage holding unit 122 are examples of the internal memory described in the claims.
  • the holding potential of the first voltage holding unit 121 is read out via the vertical signal line by supplying the selection signal SEL0 to the pixel selection unit 171 to bring it into a conductive state.
  • the holding potential of the second voltage holding unit 122 is read out via the vertical signal line by supplying the selection signal SEL1 to the pixel selection unit 172 to bring it into a conductive state.
  • the noise component can be removed by subtracting the potential of the P phase from the potential of the D phase.
  • FIG. 4 is a diagram showing an example of a connection relationship between each pixel of the pixel array unit 100 and the AD converter 410 in the embodiment of the present technology.
  • the column processing unit 400 includes an AD converter 410 for 12 rows for each column.
  • the imaging data of the analog signal of 12 rows of pixels is output as a digital signal at the same time.
  • the configuration of the AD converter 410 for 12 lines will be described on the premise, but the number of AD converters 410 is only one example, and the number is not limited to this.
  • imaging data from all the pixels of the pixel array unit 100 is read out.
  • an AD converter 410 for 12 rows is used, and a speed 12 times faster than in the case of processing one row at a time can be obtained. Further, in this case, the AD converter 410 performs high-precision AD conversion (for example, 14 bits).
  • the AD-converted high-precision imaging data may be output at a later stage for live view display with reduced accuracy (for example, 12 bits).
  • the AD converter 410 performs AD conversion with low accuracy (for example, 12 bits). As a result, power consumption can be suppressed.
  • FIG. 5 is a diagram showing an example of application of the image pickup apparatus to an image processing system according to the embodiment of the present technology.
  • This image processing system includes an image pickup device 10 and an image processing processor 20.
  • the image pickup device 10 is the above-mentioned image pickup device.
  • the configurations other than the pixel array unit 100, the column processing unit 400, and the signal processing unit 600 are not shown.
  • the image processing processor (ISP: Image Signal Processor) 20 performs predetermined image processing on the image pickup data supplied from the image pickup apparatus 10.
  • the image processing processor 20 includes an image processing unit 700.
  • the image processing unit 700 performs interpolation processing, demosaic processing, and the like on raw data (RAW data) from the image pickup apparatus 10, for example.
  • the first stream is a stream for recording a still image
  • the second stream is a stream for displaying a live view.
  • the stream for recording a still image is generated when a shutter button press signal is received.
  • the stream for live view display is always generated while the live view is displayed. Therefore, it can be said that the stream for recording a still image has a lower frame rate than the stream for displaying a live view.
  • the stream for recording a still image is intended to be recorded on a recording medium, and is generally required to have high image quality.
  • the live view display does not require so high image quality. Therefore, it can be said that the stream for recording a still image has a higher image quality than the stream for displaying a live view.
  • FIG. 6 is a diagram showing an output example of a stream of the imaging device according to the embodiment of the present technology.
  • the signal processing unit 600 includes a horizontal transfer unit 610, a frame buffer 620, and a line buffer 630.
  • these configurations are examples, and the signal processing unit 600 does not necessarily have to include the frame buffer 620 and the like.
  • the imaging data of 12 rows of pixels is AD-converted at the same time and stored in the frame buffer 620 from the horizontal transfer unit 610.
  • the image data stored in the frame buffer 620 becomes a stream # 1 for recording a still image when the imaging data for one frame is collected thereafter.
  • 4 lines thinned out of the 12 lines of AD-converted imaging data are output as stream # 2 for live view display via the line buffer 630.
  • the imaging data of 12 rows of pixels are AD-converted at the same time.
  • 8 lines are imaging data for recording a still image that was not accessed in the previous frame, and are stored in the frame buffer 620.
  • the other four lines are output as stream # 2 for live view display via the line buffer 630.
  • the imaged data for the four thinned lines is always output as stream # 2.
  • the imaging data is stored in the frame buffer 620 over a frame period, and when the imaging data for one frame is collected, it is output as a stream # 1 for still image recording. Therefore, it is not necessary to complete the writing and reading of the frame buffer within the frame period, and the frame rate can be improved.
  • the internal memory charge holding unit 120, or the first voltage holding unit 121 and the first voltage holding unit 121) provided in the pixel 101 for the global shutter that allows the reading of the imaging data over such a frame period.
  • the voltage holding unit 122) of 2 is used. That is, all the pixels of the pixel array unit 100 are exposed during the frame period at the timing when the shutter button pressing signal is received, and only the pixels corresponding to the moving image pixel address are exposed during the other frame periods. As a result, it is possible to prevent the pixels other than the pixels corresponding to the moving image pixel address from being reset, and to read out the still image recording pixels over the frame period.
  • the pixel drive unit 200 controls to expose only the pixels corresponding to such moving image pixel addresses.
  • two configuration examples of the pixel drive unit 200 will be described.
  • FIG. 7 is a diagram showing a first configuration example of the pixel drive unit 200 according to the embodiment of the present technology.
  • the first configuration example of the pixel drive unit 200 includes an address selection unit 210, a forced shutter control unit 220, and a driver circuit 290 corresponding to each line of the pixel array unit 100.
  • the address selection unit 210 selects an address for accessing the pixel array unit 100 on a row-by-row basis.
  • the forced shutter control unit 220 is a control unit for forcibly exposing pixels 101 in all rows or specific rows of the pixel array unit 100.
  • the driver circuit 290 is a driver for driving each row of the pixel array unit 100.
  • the address selection unit 210 and the forced shutter control unit 220 can operate at a low voltage, but the driver circuit 290 is not suitable for low voltage operation because the wiring length is long, and the power consumption is large.
  • control signals GLB0 and GLB1 for the global shutter are input to the forced shutter control unit 220.
  • the control signal GLB0 is a control signal instructing the forced exposure of the pixels 101 in all the rows of the pixel array unit 100. Therefore, this control signal GLB0 is input to the forced shutter control unit 220 of all lines.
  • control signal GLB1 is a control signal instructing the forced exposure of the pixel 101 in a specific row of the pixel array unit 100. Therefore, this control signal GLB1 is wired and input only to the forced shutter control unit 220 of a specific line. As a result, the simultaneous shutter can be performed only on the live view pixel address set by the hard wire.
  • the forced shutter control unit 220 is an example of the row control unit described in the claims.
  • FIG. 8 is a diagram showing a second configuration example of the pixel drive unit 200 according to the embodiment of the present technology.
  • the second configuration example of the pixel drive unit 200 corresponds to each row of the pixel array unit 100, and has an address selection unit 210, a forced shutter control unit 220, and a driver circuit. 290 and.
  • the control signal GLB1 instructing the forced exposure of the pixels 101 in a specific row of the pixel array unit 100 is input to the forced shutter control unit 220 in all rows, similarly to the control signal GLB0. Therefore, in this second configuration example, the forced shutter control unit 220 holds a flag indicating whether or not to enable the input of the control signal GLB1.
  • FIG. 9 is a diagram showing an internal configuration example of the forced shutter control unit 220 in the second configuration example of the pixel drive unit 200 according to the embodiment of the present technology.
  • the forced shutter control unit 220 in the second configuration example of the pixel drive unit 200 includes a live view global reset function selection unit 221 and a forced shutter logic unit 222.
  • the live view global reset function selection unit 221 holds a flag indicating whether or not to enable the input of the control signal GLB1 and selects whether or not to enable the live view global reset function.
  • the forced shutter logic unit 222 is a logic circuit for driving each line in the driver circuit 290.
  • the live view global reset function selection unit 221 indicates "valid”, when the control signal GLB1 instructs forced exposure, the pixel 101 in that row is forcibly exposed.
  • the live view global reset function selection unit 221 indicates "invalid”, even if the control signal GLB1 instructs forced exposure, the pixel 101 in that row is not forcibly exposed.
  • the "valid” or “disabled” setting of the live view global reset function selection unit 221 is set in advance via the system control unit 500 or the like. As a result, the simultaneous shutter can be performed only on the preset live view pixel addresses while making the wiring of each line uniform.
  • the image pickup apparatus 10 utilizes the internal memory (charge holding unit 120 or the first voltage holding unit 121 and the second voltage holding unit 122) provided in the pixel 101 of the pixel array unit 100. Then, the imaging data is read over the frame period. This operation will be described below.
  • FIG. 10 is a diagram showing an example of operation timing of the image pickup apparatus 10 according to the embodiment of the present technology.
  • thinning access is performed so as to include the pixel address used for the live view display, and the imaging data of 12 rows of pixels is AD-converted at the same time to form the frame buffer 620.
  • 4 lines thinned out of the 12 lines of AD-converted imaging data are output as stream # 2 for live view display via the line buffer 630.
  • the imaging data of 12 rows of pixels are AD-converted at the same time.
  • 8 lines are imaging data for recording a still image that was not accessed in the previous frame, and are stored in the frame buffer 620.
  • the other four lines are output as stream # 2 for live view display via the line buffer 630.
  • the imaging data for recording the still image exposed in the frame period # 1 can be stored in the frame buffer 620.
  • the imaging data for one frame stored in the frame buffer 620 is output as a stream # 1 for recording a still image, and is supplied to the image processing processor 20 or the like in the subsequent stage.
  • the imaging data of four rows of pixels are AD-converted at the same time. These four lines are output as stream # 2 for live view display via the line buffer 630.
  • FIG. 11 is a diagram showing an access example of the vertical signal line 190 of the image pickup apparatus 10 according to the embodiment of the present technology.
  • the R line containing the R (Red: red) pixel and the B line containing the B (Blue: blue) pixel are separated, and 12 vertical signal lines 190 are used in each.
  • the numbers enclosed in the frame indicate the numbers of the vertical signal lines 190 used in the pixel address for live view display, and the other numbers indicate the numbers of the vertical signal lines 190 used in the pixel address for still image recording.
  • the pixel drive unit 200 simultaneously exposes only the pixels of the pixel addresses used for the live view display by the global shutter.
  • the image pickup apparatus 10 that records a still image without interrupting the live view display, it is possible to allow the reading of the still image recording pixel over a frame period and improve the frame rate. That is, the frame rate can be increased for the moving image for live view display, and the influence of PLS (Parasitic Light Sensitivity) can be suppressed for the still image.
  • the processing procedure described in the above-described embodiment may be regarded as a method having these series of procedures, or as a program for causing a computer to execute these series of procedures or as a recording medium for storing the program. You may catch it.
  • this recording medium for example, a CD (Compact Disc), MD (MiniDisc), DVD (Digital Versatile Disc), memory card, Blu-ray Disc (Blu-ray (registered trademark) Disc) and the like can be used.
  • the present technology can have the following configurations.
  • a pixel array in which a plurality of pixels each having an internal memory are arranged, and The first exposure control in which all the pixels of the plurality of pixels are collectively exposed and the imaged data is held in the internal memory of the pixel, and the specific pixels of the plurality of pixels are collectively exposed and imaged.
  • An image pickup apparatus including an exposure control unit that performs a second exposure control for holding the generated data in the internal memory of the pixel.
  • a column processing unit including a plurality of analog-to-digital converters that convert the imaging data held in the internal memory of the plurality of pixels from an analog signal to a digital signal.
  • the imaging device further comprising a signal processing unit that outputs an imaging signal converted into a digital signal as first and second streams having different frame rates.
  • the first stream is a signal sequence read from the internal memory of the plurality of pixels over a plurality of frame periods.
  • the image pickup apparatus according to (2) or (3), wherein the first stream has a lower frame rate than the second stream and higher image quality than the second stream.
  • the first stream is an image signal sequence for recording a still image.
  • the imaging device according to any one of (2) to (4) above, wherein the second stream is an image signal sequence for displaying a monitor image.
  • the exposure control unit includes a plurality of row control units that control exposure of corresponding pixels for each pixel row address in the pixel array. .. (7) The image pickup apparatus according to (6), wherein the row control unit receives a control signal for the second exposure control for a pixel row corresponding to the specific pixel. (8) The row control unit presets whether or not it is a pixel row corresponding to the specific pixel, and if it is set as a pixel row corresponding to the specific pixel, controls the second exposure control.
  • the imaging device according to (6) above, which receives a signal.
  • the image pickup apparatus according to any one of (2) to (8), wherein the signal processing unit includes a frame buffer for holding the first stream read from the internal memory of the plurality of pixels. .. (10) The imaging device according to any one of (1) to (9) above, wherein the internal memory holds captured data as electric charges. (11) The imaging device according to any one of (1) to (9) above, wherein the internal memory holds captured data as a voltage. (12) In an imaging device including a pixel array in which a plurality of pixels each having an internal memory are arranged, all the pixels of the plurality of pixels are collectively exposed and imaged data is stored in the internal memory of the pixels. The first exposure control procedure to make A control method of an imaging apparatus including a second exposure control procedure for holding data captured by collectively exposing specific pixels of the plurality of pixels in the internal memory of the pixels.
  • Image processing device 20 Image processing processor 100 pixel array unit 101 pixels 110 photoelectric conversion unit 120 Charge holding unit 121, 122 Voltage holding unit 131, 132 Charge transfer unit 140 Charge voltage conversion unit 150 Charge reset unit 160 Signal amplification unit 170, 171 172 Pixel selection unit 190 Vertical signal line 200 Pixel drive unit 210 Address selection unit 220 Forced shutter control unit 221 Live view global reset function selection unit 222 Forced shutter logic unit 290 Driver circuit 300 Horizontal drive unit 400 Column processing unit 410 AD converter 500 System control unit 600 Signal processing unit 610 Horizontal transfer unit 620 Frame buffer 630 Line buffer 700 Image processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

静止画記録および動画表示を同時に行う撮像装置において、フレームレートを向上させる。　画素アレイは、複数の画素を配列して構成される。複数の画素は、各々に内部メモリを備える。露光制御部は、複数の画素の全ての画素を一括して露光させて、撮像したデータをその画素の内部メモリに保持させる第１の露光制御を行う。また、露光制御部は、複数の画素の特定の画素を一括して露光させて、撮像したデータをその画素の内部メモリに保持させる第２の露光制御を行う。

Description

撮像装置およびその制御方法
　本技術は、撮像装置に関する。詳しくは、静止画記録および動画表示を同時に行う撮像装置およびその制御方法に関する。
　従来の撮像装置では、シャッターボタンが押下された際に静止画像が記録されるが、それに先立ってモニタ画像がライブビューとして表示部に表示される。撮像素子からの撮像データを静止画記録またはライブビュー表示の一方に切り替えるように構成した場合、静止画記録の際にライブビュー表示が途切れるという問題がある。これを解消するためには、撮像素子からの撮像データを静止画記録用とライブビュー表示用の２つのストリームにしてそれぞれを供給することが有用である。例えば、位相差画素からの焦点画像信号を第１のストリームとし、通常画素からの本線画素信号を第２のストリームとして出力する撮像装置が提案されている（例えば、特許文献１参照。）。
特開２０１７－００５４４３号公報
　上述の従来技術では、フレームメモリを設けることにより２つのストリームを独立して出力している。しかしながら、この従来技術では、１フレーム期間においてフレームメモリへの書込みおよび読出しを完結させる必要があるため、フレームレートが律速してしまうという問題がある。
　本技術はこのような状況に鑑みて生み出されたものであり、静止画記録および動画表示を同時に行う撮像装置において、フレームレートを向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、各々に内部メモリを備える複数の画素を配列した画素アレイと、上記複数の画素の全ての画素を一括して露光させて撮像したデータをその画素の上記内部メモリに保持させる第１の露光制御および上記複数の画素の特定の画素を一括して露光させて撮像したデータをその画素の上記内部メモリに保持させる第２の露光制御を行う露光制御部とを具備する撮像装置およびその制御方法である。これにより、全ての画素を一括して露光させて撮像した後、特定の画素を一括して露光させて撮像して、それ以外の画素については内部メモリに維持させるという作用をもたらす。
　また、この第１の側面において、上記複数の画素の上記内部メモリに保持される撮像データをアナログ信号からデジタル信号に変換する複数のアナログデジタル変換器を備えるカラム処理部と、上記デジタル信号に変換された撮像信号を互いにフレームレートの異なる第１および第２のストリームとして出力する信号処理部とをさらに具備してもよい。これにより、特定の画素とそれ以外の画素とを別個のストリームとして出力するという作用をもたらす。
　また、この第１の側面において、上記第１のストリームは、上記複数の画素の上記内部メモリから複数のフレーム期間に跨って読み出された信号列であってもよい。これにより、第２のストリームのフレームレートを向上させるという作用をもたらす。
　また、この第１の側面において、上記第１のストリームは、上記第２のストリームよりフレームレートが低く、上記第２のストリームより高画質であってもよい。例えば、上記第１のストリームは、静止画像を記録するための画像信号列であり、上記第２のストリームは、モニタ画像を表示するための画像信号列であってもよい。
　また、この第１の側面において、上記露光制御部は、上記画素アレイにおける画素行のアドレス毎に対応する画素の露光を制御する複数の行制御部を備えてもよい。この場合において、上記行制御部は、上記特定の画素に該当する画素行については上記第２の露光制御の制御信号が入力されるようにしてもよい。また、上記行制御部は、上記特定の画素に該当する画素行か否かを予め設定され、上記特定の画素に該当する画素行として設定されている場合には上記第２の露光制御の制御信号を受け付けるようにしてもよい。
　また、この第１の側面において、上記信号処理部は、上記複数の画素の上記内部メモリから読み出された上記第１のストリームを保持するフレームバッファを備えてもよい。
　また、この第１の側面において、上記内部メモリは、撮像したデータを電荷として保持する電荷保持型であってもよく、また、撮像したデータを電圧として保持する電圧保持型であってもよい。
本技術の実施の形態における撮像装置の全体構成例を示す図である。 本技術の実施の形態における画素アレイ部１００の各画素の第１の構成例を示す図である。 本技術の実施の形態における画素アレイ部１００の各画素の第２の構成例を示す図である。 本技術の実施の形態における画素アレイ部１００の各画素とＡＤ変換器４１０との接続関係例を示す図である。 本技術の実施の形態における撮像装置の画像処理システムへの適用例を示す図である。 本技術の実施の形態における撮像装置のストリームの出力例を示す図である。 本技術の実施の形態における画素駆動部２００の第１の構成例を示す図である。 本技術の実施の形態における画素駆動部２００の第２の構成例を示す図である。 本技術の実施の形態における画素駆動部２００の第２の構成例における強制シャッター制御部２２０の内部構成例を示す図である。 本技術の実施の形態における撮像装置１０の動作タイミング例を示す図である。 本技術の実施の形態における撮像装置１０の垂直信号線１９０のアクセス例を示す図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．構成
　２．動作
　＜１．構成＞
　［撮像装置］
　図１は、本技術の実施の形態における撮像装置の全体構成例を示す図である。
　この撮像装置は、画素アレイ部１００と、画素駆動部２００と、水平駆動部３００と、カラム処理部４００と、システム制御部５００と、信号処理部６００とを備える。
　画素アレイ部１００は、複数の画素を２次元の行列状に配置した画素アレイである。この画素アレイ部１００の各画素は、画素駆動部２００によって駆動制御され、被写体からの入射光を撮像して、撮像データのアナログ信号を出力する。
　画素駆動部２００は、システム制御部５００からの制御に従って、画素アレイ部１００の垂直方向に並ぶ画素列の各々を行毎に駆動制御するものである。この画素駆動部２００は、後述するように、動画用画素アドレスに該当する画素のみを露光させる機構を備える。
　水平駆動部３００は、システム制御部５００からの制御に従って、画素アレイ部１００の各画素からの撮像データをカラム方向に読み出してカラム処理部４００に供給し、水平方向にまとめて処理するよう駆動制御するものである。
　カラム処理部４００は、システム制御部５００からの制御に従って、画素アレイ部１００の各画素からのアナログ信号による撮像データを処理するものである。具体的には、アナログ信号をデジタル信号に変換するＡＤ変換器（Analog-to-Digital converter）を備えて、アナログ信号による撮像データをデジタル信号に変換する。
　システム制御部５００は、撮像装置全体を制御するものである。このシステム制御部５００は、撮像回路の外部からシャッターボタンの押下信号を受けたタイミングにおいては、画素アレイ部１００の全ての画素を露光させる。一方、シャッターボタンの押下信号を受けていないタイミングにおいては、動画用画素アドレスに該当する画素のみを露光させる。
　信号処理部６００は、カラム処理部４００からの水平方向の画素データに対して所定の信号処理を施して、静止画の記録用とモニタ画像のライブビュー表示用の２つのストリームを生成するものである。
　［画素構造］
　図２は、本技術の実施の形態における画素アレイ部１００の各画素の第１の構成例を示す図である。この第１の構成例は、電荷保持型（Charge Domain）のグローバルシャッター用画素の構成例を示している。
　この第１の構成例の画素１０１は、光電変換部１１０と、第１の電荷転送部１３１と、電荷保持部１２０と、第２の電荷転送部１３２と、電荷電圧変換部１４０と、電荷リセット部１５０と、信号増幅部１６０と、画素選択部１７０とを備える。
　光電変換部１１０は、ＰＮ接合のフォトダイオード（ＰＤ：Photo Diode）であり、露光時に入射光量に応じた電荷を生成して蓄積するものである。
　第１の電荷転送部１３１は、第１の転送信号ＴＲＸに従って、光電変換部１１０に蓄積
された電荷を電荷保持部１２０に転送するものである。
　電荷保持部１２０は、露光時に光電変換部１１０に蓄積された電荷を、保持する内部メモリ（ＭＥＭ）である。この電荷保持部１２０により、画素１０１内に電荷を保持することが可能になり、従前の逐一に露光を行うローリングシャッターではなく、一括して露光を行うグローバルシャッターを採用することができる。なお、電荷保持部１２０は、特許請求の範囲に記載の内部メモリの一例である。
　第２の電荷転送部１３２は、第２の転送信号ＴＲＧに従って、電荷保持部１２０に保持された電荷を電荷電圧変換部１４０に転送するものである。
　電荷電圧変換部１４０は、第２の電荷転送部１３２のドレインと電荷リセット部１５０のソースの間に形成される浮遊拡散（ＦＤ：Floating Diffusion）容量である。この電荷電圧変換部１４０は、第２の電荷転送部１３２から転送された電荷を蓄積する。
　電荷リセット部１５０は、リセット信号ＲＳＴに従って、電荷電圧変換部１４０に蓄積される電荷をリセットするものである。
　信号増幅部１６０は、電荷電圧変換部１４０に蓄積されている電荷を増幅して、その電荷に応じたレベルの画素信号を出力するものである。この信号増幅部１６０は、ゲート電極が電荷電圧変換部１４０に接続され、ドレインが電源電圧Ｖｄｄに接続されており、光電変換部１１０における光電変換によって得られる電荷を読み出す読出し回路、すなわち、いわゆるソースフォロワ回路の入力部となる。
　画素選択部１７０は、画素アレイ部１００におけるいずれかの画素を選択するものである。この画素選択部１７０は、信号増幅部１６０のソースと垂直信号線との間に接続され、そのゲート電極には選択信号ＳＥＬが供給される。選択信号ＳＥＬがＨレベルになると、画素選択部１７０は導通状態となって、画素が選択状態となる。画素が選択状態とされると、信号増幅部１６０から出力される信号が垂直信号線を介して読み出される。
　図３は、本技術の実施の形態における画素アレイ部１００の各画素の第２の構成例を示す図である。この第２の構成例は、電圧保持型（Voltage Domain）のグローバルシャッター用画素の構成例を示している。
　この第２の構成例の画素１０１は、内部メモリとして、第１の電圧保持部１２１および第２の電圧保持部１２２を備える。第１の電圧保持部１２１（ＭＥＭ０）は、Ｐ相（Pre-Charge phase）の電位、すなわちリセット電位を保持する。第２の電圧保持部１２２（ＭＥＭ１）は、Ｄ相（Data phase）の電位、すなわち信号電位を保持する。なお、第１の電圧保持部１２１および第２の電圧保持部１２２は、特許請求の範囲に記載の内部メモリの一例である。
　第１の電圧保持部１２１の保持電位は、画素選択部１７１に選択信号ＳＥＬ０を供給して導通状態にすることにより、垂直信号線を介して読み出される。第２の電圧保持部１２２の保持電位は、画素選択部１７２に選択信号ＳＥＬ１を供給して導通状態にすることにより、垂直信号線を介して読み出される。相関２重サンプリング処理（ＣＤＳ：Correlated Double Sampling）では、Ｄ相の電位からＰ相の電位を差し引くことにより、ノイズ成分を除去することができる。
　［ＡＤ変換器］
　図４は、本技術の実施の形態における画素アレイ部１００の各画素とＡＤ変換器４１０との接続関係例を示す図である。
　この例では、カラム毎に１２本の垂直信号線（ＶＳＬ：Vertical Signal Line）１９０を備えることを想定する。そのため、カラム処理部４００は、カラム毎に１２行分のＡＤ変換器４１０を備える。これにより、１２行分の画素のアナログ信号の撮像データを、デジタル信号として同時に出力する。以下の例においては、この１２行分のＡＤ変換器４１０の構成を前提として説明するが、ＡＤ変換器４１０の数は一例に過ぎず、これに限定されるものではない。
　この実施の形態では、シャッターボタンの押下信号を受けて、静止画記録用のストリームを出力する際には、画素アレイ部１００の全ての画素からの撮像データが読み出される。この場合、１２行分のＡＤ変換器４１０が用いられ、１行ずつ逐一処理する場合と比べて１２倍の速度を得ることができる。また、この場合、ＡＤ変換器４１０は、高精度のＡＤ変換を行う（例えば、１４ビット）。
　このとき、静止画記録のために読み出された１２行分のうち、例えば４行分はモニタ画像のライブビュー表示のためにも使用される。そのため、ＡＤ変換された高精度の撮像データは、精度を落として（例えば、１２ビット）、ライブビュー表示のための後段に出力されてもよい。
　一方、シャッターボタンの押下信号を受けていないときには、ライブビュー表示用のストリームを出力するために、４行分がＡＤ変換される。この場合、ＡＤ変換器４１０は、精度が高くないＡＤ変換を行う（例えば、１２ビット）。これにより、消費電力を抑制することができる。
　［画像処理システム］
　図５は、本技術の実施の形態における撮像装置の画像処理システムへの適用例を示す図である。
　この画像処理システムは、撮像装置１０と、画像処理プロセッサ２０とを備える。撮像装置１０は、上述の撮像装置である。ここでは、画素アレイ部１００、カラム処理部４００および信号処理部６００以外の構成は図示を省略している。
　画像処理プロセッサ（ＩＳＰ：Image Signal Processor）２０は、撮像装置１０から供給された撮像データについて所定の画像処理を施すものである。画像処理プロセッサ２０は、画像処理部７００を備える。この画像処理部７００は、画像処理として、例えば、撮像装置１０からの生データ（ＲＡＷデータ）に対して、補間処理やデモザイク処理などを行う。
　撮像装置１０から画像処理プロセッサ２０に対しては、２つのストリーム（画像信号列）が供給される。１つ目のストリームは静止画記録用のストリームであり、２つ目のストリームはライブビュー表示用のストリームである。
　静止画記録用のストリームは、シャッターボタンの押下信号を受けた際に生成される。一方、ライブビュー表示用のストリームはライブビュー表示している間は常時生成される。したがって、静止画記録用のストリームは、ライブビュー表示用のストリームよりフレームレートが低いということができる。
　また、静止画記録用のストリームは、記録媒体に記録されることを意図したものであり、一般に高画質であることが要求される。一方、ライブビュー表示には、それほど高い画質は要求されない。したがって、静止画記録用のストリームは、ライブビュー表示用のストリームより高画質であるということができる。
　図６は、本技術の実施の形態における撮像装置のストリームの出力例を示す図である。
　ここでは、信号処理部６００は、水平転送部６１０と、フレームバッファ６２０と、ラインバッファ６３０とを備えることを想定する。ただし、これらの構成は一例であり、信号処理部６００はフレームバッファ６２０等を必ずしも備えなくてもよい。
　シャッターボタンの押下信号を受けた際のフレーム期間＃１では、１２行分の画素の撮像データが同時にＡＤ変換されて、水平転送部６１０からフレームバッファ６２０に格納される。このフレームバッファ６２０に格納された画像データは、その後、１フレーム分の撮像データが揃った際に静止画記録用のストリーム＃１となる。また、ＡＤ変換された１２行分の撮像データのうち間引かれた４行分が、ラインバッファ６３０を介して、ライブビュー表示用のストリーム＃２として出力される。
　次のフレーム期間＃２では、１２行分の画素の撮像データが同時にＡＤ変換される。ただし、このＡＤ変換された１２行分のうち、８行分は前フレームでアクセスされなかった静止画記録用の撮像データであり、フレームバッファ６２０に格納される。また、他の４行分は、ラインバッファ６３０を介して、ライブビュー表示用のストリーム＃２として出力される。
　このように、ライブビュー表示用には、間引かれた４行分の撮像データがストリーム＃２として常時出力される。一方、静止画記録用には、フレーム期間を跨って撮像データがフレームバッファ６２０に格納され、１フレーム分の撮像データが揃った際に静止画記録用のストリーム＃１として出力される。したがって、フレーム期間内にフレームバッファの書込みおよび読出しを完了する必要がなく、フレームレートを向上させることができる。
　このようなフレーム期間を跨った撮像データの読出しが許容されるのは、グローバルシャッターのために画素１０１内に設けられた内部メモリ（電荷保持部１２０、または、第１の電圧保持部１２１および第２の電圧保持部１２２）を利用するからである。すなわち、シャッターボタンの押下信号を受けたタイミングのフレーム期間には画素アレイ部１００の全ての画素を露光させ、それ以外のフレーム期間には動画用画素アドレスに該当する画素のみを露光させる。これにより、動画用画素アドレスに該当する画素以外がリセットされることを抑止して、フレーム期間を跨って静止画記録用画素の読出しを行うことが可能となる。
　［画素駆動部］
　このような動画用画素アドレスに該当する画素のみを露光させる制御は、画素駆動部２００において行われる。以下では、この画素駆動部２００の２つの構成例について説明する。
　図７は、本技術の実施の形態における画素駆動部２００の第１の構成例を示す図である。
　この画素駆動部２００の第１の構成例は、画素アレイ部１００の各行に対応して、アドレス選択部２１０と、強制シャッター制御部２２０と、ドライバ回路２９０とを備える。アドレス選択部２１０は、画素アレイ部１００に対して行単位でアクセスするためのアドレスを選択するものである。強制シャッター制御部２２０は、画素アレイ部１００の全ての行または特定の行の画素１０１を強制的に露光するための制御部である。ドライバ回路２９０は、画素アレイ部１００の各行を駆動するためのドライバである。
　一般に、アドレス選択部２１０および強制シャッター制御部２２０は低電圧で動作することが可能であるが、ドライバ回路２９０については配線長が長くなるため低電圧動作には向かず消費電力は大きくなる。
　強制シャッター制御部２２０には、アドレス選択部２１０からの個別アクセスのための制御信号に加えて、グローバルシャッターのための制御信号ＧＬＢ０およびＧＬＢ１が入力される。制御信号ＧＬＢ０は、画素アレイ部１００の全ての行の画素１０１の強制的露光を指示する制御信号である。したがって、この制御信号ＧＬＢ０は、全ての行の強制シャッター制御部２２０に入力される。
　一方、制御信号ＧＬＢ１は、画素アレイ部１００の特定の行の画素１０１の強制的露光を指示する制御信号である。したがって、この制御信号ＧＬＢ１は、特定の行の強制シャッター制御部２２０にのみ配線入力される。これにより、ハードワイヤにより設定されたライブビュー用画素アドレスにのみ、一斉シャッターを行うことができる。
　なお、強制シャッター制御部２２０は、特許請求の範囲に記載の行制御部の一例である。
　図８は、本技術の実施の形態における画素駆動部２００の第２の構成例を示す図である。
　この画素駆動部２００の第２の構成例は、上述の第１の構成例と同様に、画素アレイ部１００の各行に対応して、アドレス選択部２１０と、強制シャッター制御部２２０と、ドライバ回路２９０とを備える。ただし、画素アレイ部１００の特定の行の画素１０１の強制的露光を指示する制御信号ＧＬＢ１は、制御信号ＧＬＢ０と同様に、全ての行の強制シャッター制御部２２０に入力される。そのため、この第２の構成例では、強制シャッター制御部２２０において、制御信号ＧＬＢ１の入力を有効にするか否かを示すフラグを保持する。
　図９は、本技術の実施の形態における画素駆動部２００の第２の構成例における強制シャッター制御部２２０の内部構成例を示す図である。
　画素駆動部２００の第２の構成例における強制シャッター制御部２２０は、ライブビューグローバルリセット機能選択部２２１と、強制シャッター論理部２２２とを備える。ライブビューグローバルリセット機能選択部２２１は、制御信号ＧＬＢ１の入力を有効にするか否かを示すフラグを保持して、ライブビュー用グローバルリセット機能を有効にするか否かを選択するものである。強制シャッター論理部２２２は、ドライバ回路２９０に各行を駆動させるための論理回路である。
　すなわち、ライブビューグローバルリセット機能選択部２２１が「有効」を示している場合には、制御信号ＧＬＢ１から強制的露光が指示されると、その行の画素１０１が強制的に露光される。一方、このライブビューグローバルリセット機能選択部２２１が「無効」を示している場合には、制御信号ＧＬＢ１から強制的露光が指示されても、その行の画素１０１は強制的に露光されない。このライブビューグローバルリセット機能選択部２２１の「有効」または「無効」の設定は、システム制御部５００等を介して事前に設定される。これにより、各行の配線は均一にしながら、事前に設定されたライブビュー用画素アドレスにのみ、一斉シャッターを行うことができる。
　＜２．動作＞
　上述のように、撮像装置１０は、画素アレイ部１００の画素１０１内に設けられた内部メモリ（電荷保持部１２０、または、第１の電圧保持部１２１および第２の電圧保持部１２２）を利用して、フレーム期間を跨った撮像データの読出しを行う。以下では、この動作について説明する。
　図１０は、本技術の実施の形態における撮像装置１０の動作タイミング例を示す図である。
　シャッターボタンの押下信号を受けた際のフレーム期間＃１では、ライブビュー表示に使用する画素アドレスを含むように間引きアクセスされ、１２行分の画素の撮像データが同時にＡＤ変換されて、フレームバッファ６２０に格納される。また、ＡＤ変換された１２行分の撮像データのうち間引かれた４行分が、ラインバッファ６３０を介して、ライブビュー表示用のストリーム＃２として出力される。
　このフレーム期間＃１においては、それ以前の撮像データを内部メモリに保持しておく必要がないため、全ての画素について一斉にグローバルシャッターによる露光が行われる。なお、同図における縦点線が示すように、グローバルシャッターでは一斉に露光が行われる。
　次のフレーム期間＃２では、１２行分の画素の撮像データが同時にＡＤ変換される。ただし、このＡＤ変換された１２行分のうち、８行分は前フレームでアクセスされなかった静止画記録用の撮像データであり、フレームバッファ６２０に格納される。また、他の４行分は、ラインバッファ６３０を介して、ライブビュー表示用のストリーム＃２として出力される。
　このフレーム期間＃２においては、フレーム期間＃１において内部メモリに保持された撮像データがリセットにより消失しないように、ライブビュー表示に使用する画素アドレスの画素についてのみ一斉にグローバルシャッターによる露光が行われる。これにより、ライブビュー表示用のストリーム＃２の出力を行うのと同時に、フレーム期間＃１において露光された静止画記録用の撮像データをフレームバッファ６２０に格納することができる。この例では、フレーム期間＃１から＃２に跨って、１フレーム分の撮像データがフレームバッファ６２０に格納されるものと想定する。
　次のフレーム期間＃３では、フレームバッファ６２０に格納された１フレーム分の撮像データが、静止画記録用のストリーム＃１として出力され、後段の画像処理プロセッサ２０等に供給される。
　また、このフレーム期間＃３では、４行分の画素の撮像データが同時にＡＤ変換される。この４行分は、ラインバッファ６３０を介して、ライブビュー表示用のストリーム＃２として出力される。
　図１１は、本技術の実施の形態における撮像装置１０の垂直信号線１９０のアクセス例を示す図である。
　上述のように、この実施の形態では、カラム毎に１２本の垂直信号線１９０を備え、カラム毎に１２行分のＡＤ変換器４１０を備えることを想定する。そのため、ライブビュー表示用画素アドレスで使用する垂直信号線１９０と、残りの静止画記録用の画素アドレスで使用する垂直信号線１９０とが衝突しないように制御する必要がある。
　同図の例では、ベイヤー配列において、Ｒ（Red：赤）画素を含むＲ行と、Ｂ（Blue：青）画素を含むＢ行とを分けて、それぞれにおいて１２本の垂直信号線１９０を使用した例を示している。枠で囲んだ数字はライブビュー表示用画素アドレスで使用する垂直信号線１９０の番号を示し、それ以外の数字は静止画記録用画素アドレスで使用する垂直信号線１９０の番号を示している。
　なお、この例はアクセスの一例を示したものに過ぎず、他のアクセスパターンを採用してもよいことはいうまでもない。
　このように、本技術の実施の形態では、画素駆動部２００がライブビュー表示に使用する画素アドレスの画素についてのみ一斉にグローバルシャッターによる露光を行う。これにより、ライブビュー表示を途切れさせることなく静止画記録を行う撮像装置１０において、フレーム期間を跨って静止画記録用画素の読出しを行うことを許容し、フレームレートを向上させることができる。すなわち、ライブビュー表示用の動画についてはフレームレートが上がるとともに、静止画についてはＰＬＳ（Parasitic Light Sensitivity）の影響を抑制することができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）各々に内部メモリを備える複数の画素を配列した画素アレイと、
　前記複数の画素の全ての画素を一括して露光させて撮像したデータをその画素の前記内部メモリに保持させる第１の露光制御および前記複数の画素の特定の画素を一括して露光させて撮像したデータをその画素の前記内部メモリに保持させる第２の露光制御を行う露光制御部と
を具備する撮像装置。
（２）前記複数の画素の前記内部メモリに保持される撮像データをアナログ信号からデジタル信号に変換する複数のアナログデジタル変換器を備えるカラム処理部と、
　前記デジタル信号に変換された撮像信号を互いにフレームレートの異なる第１および第２のストリームとして出力する信号処理部と
をさらに具備する前記（１）に記載の撮像装置。
（３）前記第１のストリームは、前記複数の画素の前記内部メモリから複数のフレーム期間に跨って読み出された信号列である
前記（２）に記載の撮像装置。
（４）前記第１のストリームは、前記第２のストリームよりフレームレートが低く、前記第２のストリームより高画質である
前記（２）または（３）に記載の撮像装置。
（５）前記第１のストリームは、静止画像を記録するための画像信号列であり、
　前記第２のストリームは、モニタ画像を表示するための画像信号列である
前記（２）から（４）のいずれかに記載の撮像装置。
（６）前記露光制御部は、前記画素アレイにおける画素行のアドレス毎に対応する画素の露光を制御する複数の行制御部を備える
前記（２）から（５）のいずれかに記載の撮像装置。
（７）前記行制御部は、前記特定の画素に該当する画素行については前記第２の露光制御の制御信号が入力される
前記（６）に記載の撮像装置。
（８）前記行制御部は、前記特定の画素に該当する画素行か否かを予め設定され、前記特定の画素に該当する画素行として設定されている場合には前記第２の露光制御の制御信号を受け付ける
前記（６）に記載の撮像装置。
（９）前記信号処理部は、前記複数の画素の前記内部メモリから読み出された前記第１のストリームを保持するフレームバッファを備える
前記（２）から（８）のいずれかに記載の撮像装置。
（１０）前記内部メモリは、撮像したデータを電荷として保持する
前記（１）から（９）のいずれかに記載の撮像装置。
（１１）前記内部メモリは、撮像したデータを電圧として保持する
前記（１）から（９）のいずれかに記載の撮像装置。
（１２）各々に内部メモリを備える複数の画素を配列した画素アレイを備える撮像装置において、前記複数の画素の全ての画素を一括して露光させて撮像したデータをその画素の前記内部メモリに保持させる第１の露光制御手順と、
　前記複数の画素の特定の画素を一括して露光させて撮像したデータをその画素の前記内部メモリに保持させる第２の露光制御手順と
を具備する撮像装置の制御方法。
　１０　撮像装置
　２０　画像処理プロセッサ
　１００　画素アレイ部
　１０１　画素
　１１０　光電変換部
　１２０　電荷保持部
　１２１、１２２　電圧保持部
　１３１、１３２　電荷転送部
　１４０　電荷電圧変換部
　１５０　電荷リセット部
　１６０　信号増幅部
　１７０、１７１、１７２　画素選択部
　１９０　垂直信号線
　２００　画素駆動部
　２１０　アドレス選択部
　２２０　強制シャッター制御部
　２２１　ライブビューグローバルリセット機能選択部
　２２２　強制シャッター論理部
　２９０　ドライバ回路
　３００　水平駆動部
　４００　カラム処理部
　４１０　ＡＤ変換器
　５００　システム制御部
　６００　信号処理部
　６１０　水平転送部
　６２０　フレームバッファ
　６３０　ラインバッファ
　７００　画像処理部

Claims (12)

  1. 　各々に内部メモリを備える複数の画素を配列した画素アレイと、
    　前記複数の画素の全ての画素を一括して露光させて撮像したデータをその画素の前記内部メモリに保持させる第１の露光制御および前記複数の画素の特定の画素を一括して露光させて撮像したデータをその画素の前記内部メモリに保持させる第２の露光制御を行う露光制御部と
    を具備する撮像装置。
  2. 　前記複数の画素の前記内部メモリに保持される撮像データをアナログ信号からデジタル信号に変換する複数のアナログデジタル変換器を備えるカラム処理部と、
    　前記デジタル信号に変換された撮像信号を互いにフレームレートの異なる第１および第２のストリームとして出力する信号処理部と
    をさらに具備する請求項１記載の撮像装置。
  3. 　前記第１のストリームは、前記複数の画素の前記内部メモリから複数のフレーム期間に跨って読み出された信号列である
    請求項２記載の撮像装置。
  4. 　前記第１のストリームは、前記第２のストリームよりフレームレートが低く、前記第２のストリームより高画質である
    請求項２記載の撮像装置。
  5. 　前記第１のストリームは、静止画像を記録するための画像信号列であり、
    　前記第２のストリームは、モニタ画像を表示するための画像信号列である
    請求項２記載の撮像装置。
  6. 　前記露光制御部は、前記画素アレイにおける画素行のアドレス毎に対応する画素の露光を制御する複数の行制御部を備える
    請求項２記載の撮像装置。
  7. 　前記行制御部は、前記特定の画素に該当する画素行については前記第２の露光制御の制御信号が入力される
    請求項６記載の撮像装置。
  8. 　前記行制御部は、前記特定の画素に該当する画素行か否かを予め設定され、前記特定の画素に該当する画素行として設定されている場合には前記第２の露光制御の制御信号を受け付ける
    請求項６記載の撮像装置。
  9. 　前記信号処理部は、前記複数の画素の前記内部メモリから読み出された前記第１のストリームを保持するフレームバッファを備える
    請求項２記載の撮像装置。
  10. 　前記内部メモリは、撮像したデータを電荷として保持する
    請求項１記載の撮像装置。
  11. 　前記内部メモリは、撮像したデータを電圧として保持する
    請求項１記載の撮像装置。
  12. 　各々に内部メモリを備える複数の画素を配列した画素アレイを備える撮像装置において、前記複数の画素の全ての画素を一括して露光させて撮像したデータをその画素の前記内部メモリに保持させる第１の露光制御手順と、
    　前記複数の画素の特定の画素を一括して露光させて撮像したデータをその画素の前記内部メモリに保持させる第２の露光制御手順と
    を具備する撮像装置の制御方法。
PCT/JP2021/003902 2020-03-31 2021-02-03 撮像装置およびその制御方法 WO2021199658A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/906,981 US20230119596A1 (en) 2020-03-31 2021-02-03 Imaging apparatus and control method therefor
EP21779826.3A EP4131937A4 (en) 2020-03-31 2021-02-03 IMAGING DEVICE AND METHOD FOR CONTROLLING SAME

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020061951 2020-03-31
JP2020-061951 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021199658A1 true WO2021199658A1 (ja) 2021-10-07

Family

ID=77928055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/003902 WO2021199658A1 (ja) 2020-03-31 2021-02-03 撮像装置およびその制御方法

Country Status (4)

Country Link
US (1) US20230119596A1 (ja)
EP (1) EP4131937A4 (ja)
TW (1) TW202139681A (ja)
WO (1) WO2021199658A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010074A (ja) * 2010-06-24 2012-01-12 Olympus Corp 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
WO2015170503A1 (ja) * 2014-05-08 2015-11-12 ソニー株式会社 情報処理装置及び情報処理方法
JP2017112596A (ja) * 2015-12-14 2017-06-22 キヤノン株式会社 撮像装置及びその制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466265B1 (en) * 1998-06-22 2002-10-15 Eastman Kodak Company Parallel output architectures for CMOS active pixel sensors
JP4450187B2 (ja) * 2004-06-08 2010-04-14 パナソニック株式会社 固体撮像装置
JP4497022B2 (ja) * 2005-04-26 2010-07-07 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US8279312B2 (en) * 2005-11-24 2012-10-02 Stmicroelectronics S.A. Image sensor element with multiple outputs
US7839439B2 (en) * 2007-01-12 2010-11-23 Sony Corporation Solid-state imaging device and imaging device
US8035718B2 (en) * 2008-03-26 2011-10-11 Aptina Imaging Corporation Systems, methods, and devices for preventing shoot-through current within and between signal line drivers of semiconductor devices
JP5533292B2 (ja) * 2010-06-08 2014-06-25 ソニー株式会社 固体撮像素子およびその駆動方法、カメラシステム
US8599292B2 (en) * 2010-08-18 2013-12-03 Taiwan Semiconductor Manufacturing Co., Ltd. CMOS sensor with low partition noise and low disturbance between adjacent row control signals in a pixel array
TWI672952B (zh) * 2014-03-06 2019-09-21 日商新力股份有限公司 影像擷取器件、控制方法及影像擷取裝置
US9654712B2 (en) * 2015-10-07 2017-05-16 Semiconductor Components Industries, Llc Pixels with a global shutter and high dynamic range
US9955099B2 (en) * 2016-06-21 2018-04-24 Hand Held Products, Inc. Minimum height CMOS image sensor
JP6746402B2 (ja) * 2016-06-30 2020-08-26 キヤノン株式会社 撮像装置および撮像システム
US10021334B2 (en) * 2016-08-29 2018-07-10 Stmicroelectronics (Research & Development) Limited Pixel circuit and method of operating the same
CN110463185B (zh) * 2017-03-22 2021-09-03 富士胶片株式会社 摄像装置、摄像方法及存储介质
EP3624441A4 (en) * 2017-05-10 2021-01-13 Brillnics Inc. SOLID IMAGE RECORDING DEVICE, DRIVING METHOD FOR SOLID IMAGE RECORDING DEVICE AND ELECTRONIC DEVICE
JP2019140636A (ja) * 2018-02-15 2019-08-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US10535695B2 (en) * 2018-03-13 2020-01-14 Stmicroelectronics (Research & Development) Limited Stacked wafer arrangement for global shutter pixels utilizing capacitive deep trench isolations
US11412136B2 (en) * 2018-12-07 2022-08-09 Samsung Electronics Co., Ltd. Apparatus and method for operating multiple cameras for digital photography
JP7292962B2 (ja) * 2019-05-08 2023-06-19 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010074A (ja) * 2010-06-24 2012-01-12 Olympus Corp 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
WO2015170503A1 (ja) * 2014-05-08 2015-11-12 ソニー株式会社 情報処理装置及び情報処理方法
JP2017112596A (ja) * 2015-12-14 2017-06-22 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
US20230119596A1 (en) 2023-04-20
TW202139681A (zh) 2021-10-16
EP4131937A1 (en) 2023-02-08
EP4131937A4 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
US7982789B2 (en) Image sensing apparatus driving method, image sensing apparatus, and image sensing system
JP4500862B2 (ja) 固体撮像装置の駆動方法
US8570417B2 (en) Solid-state imaging device and camera system
JP6149572B2 (ja) イメージセンサ、制御方法、及び、電子機器
US20120154656A1 (en) Solid-state imaging element, driving method, and electronic apparatus
JP2004222286A (ja) 撮像素子及び固定パターン雑音低減方法
JP2014039159A (ja) 固体撮像装置および駆動方法、並びに電子機器
JP2005347932A (ja) 固体撮像装置および撮像システム
CN102986228B (zh) 固体摄像元件、具备该固体摄像元件的摄像装置、以及摄像控制方法
JP4601897B2 (ja) 固体撮像装置及びその駆動方法
JP5926529B2 (ja) 撮像素子及び撮像装置
JP5446717B2 (ja) 撮像装置
JP5400428B2 (ja) 撮像装置、撮像素子およびその駆動方法
JP2018110353A (ja) 撮像素子及び撮像装置
JPH06153089A (ja) 固体撮像装置
EP4007267A1 (en) Solid-state imaging device and method for driving same, and electronic instrument
WO2021199658A1 (ja) 撮像装置およびその制御方法
JP2010057097A (ja) 固体撮像素子およびカメラシステム
JP5640509B2 (ja) 固体撮像素子およびカメラシステム
JP4840992B2 (ja) 光電変換装置及びその制御方法並びに撮像装置
JP4506794B2 (ja) 固体撮像装置及びその駆動方法
JP5253280B2 (ja) 固体撮像素子、カメラシステム、および信号読出し方法
WO2021070426A1 (ja) 撮像回路および撮像装置
WO2022209207A1 (ja) 撮像素子及び撮像装置
WO2023002643A1 (ja) 撮像素子及び撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21779826

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021779826

Country of ref document: EP

Effective date: 20221031

NENP Non-entry into the national phase

Ref country code: JP