WO2015133323A1 - 撮像素子、制御方法、並びに、撮像装置 - Google Patents

撮像素子、制御方法、並びに、撮像装置 Download PDF

Info

Publication number
WO2015133323A1
WO2015133323A1 PCT/JP2015/055140 JP2015055140W WO2015133323A1 WO 2015133323 A1 WO2015133323 A1 WO 2015133323A1 JP 2015055140 W JP2015055140 W JP 2015055140W WO 2015133323 A1 WO2015133323 A1 WO 2015133323A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
signal
unit
column
read
Prior art date
Application number
PCT/JP2015/055140
Other languages
English (en)
French (fr)
Inventor
直樹 河津
敦史 鈴木
貴史 庄司
赤松　正志
延幸 嶋村
若林　準人
優輝 山形
教広 二改
亘 木川田
巧 岡
世樹 貝沼
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/119,636 priority Critical patent/US10484634B2/en
Priority to EP15758339.4A priority patent/EP3116217B1/en
Priority to JP2016506432A priority patent/JPWO2015133323A1/ja
Priority to KR1020167022689A priority patent/KR102277599B1/ko
Priority to CN201580010326.5A priority patent/CN106031162B/zh
Publication of WO2015133323A1 publication Critical patent/WO2015133323A1/ja
Priority to US16/577,558 priority patent/US20200014874A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present technology relates to an imaging element, a control method, and an imaging apparatus, and more particularly, to an imaging element, a control method, and an imaging apparatus that can realize more various data outputs more easily.
  • CMOS Complementary Metal Oxide Semiconductor
  • ADC Analog Digital Converter
  • the present disclosure has been made in view of such a situation, and an object thereof is to more easily realize various data output.
  • a plurality of signal lines that transmit pixel signals read from the pixels are assigned to each column, and each of the plurality of signal lines in each column has different modes of reading the pixel signals.
  • a pixel array to which pixels corresponding to the mode are allocated and connected to each column of the pixel array, and reading out pixel signals from the pixels connected to the signal line corresponding to the pixel signal reading mode in the mode.
  • a control unit that controls the read pixel signal to be transmitted via the signal line.
  • the control unit can control to read out a pixel signal from the pixel at a frame rate of the mode corresponding to the pixel.
  • the control unit can further perform control so that the main shutter operation and the pre-shutter operation of each column are performed at the frame rate of the mode.
  • the number of pixels allocated to each signal line can be different from each other.
  • Each column further includes a selection unit that selects a signal line corresponding to a pixel signal readout mode from the plurality of signal lines, and the control unit includes one of the selection units in the selection unit.
  • a signal line is selected, a pixel signal is read from the pixel connected to the signal line selected by the selection unit in the mode, and the read pixel signal is transmitted via the signal line selected by the selection unit. Can be controlled.
  • the control unit can control the selection unit to sequentially switch the signal lines to be selected and read out the pixel signals in a plurality of modes in a time division manner.
  • a dummy pixel corresponding to the mode corresponding to the signal line is further connected to each of the plurality of signal lines of each column of the pixel array, and the control unit is configured to output a pixel signal for each column of the pixel array.
  • the pixel signal can be controlled to be read in the mode from the dummy pixel connected to the signal line corresponding to the reading mode.
  • the control unit can further control to perform the shutter operation of the dummy pixels in the mode.
  • Each column of the pixel array may further include an A / D conversion unit that A / D converts the pixel signal transmitted via the signal line.
  • Each column of the pixel array further includes a selection unit that selects a signal line corresponding to a pixel signal readout mode from the plurality of signal lines, and the A / D conversion unit is selected by the selection unit.
  • the pixel signal read out from the pixel connected to the signal line can be A / D converted.
  • a plurality of the A / D conversion units are provided for each column of the pixel array, and the selection unit can further select the A / D conversion unit used for A / D conversion of a pixel signal.
  • the control unit causes the selection unit to select a plurality of signal lines and a plurality of A / D conversion units for each column of the pixel array, and each signal selected by the selection unit for each column of the pixel array. It is possible to perform control so that pixel signals in the mode are read out from pixels connected to a line in parallel between the signal lines.
  • the exposure time of each pixel can be set for each mode corresponding to the signal line to which the pixel is connected.
  • a plurality of signal lines that transmit pixel signals read from the pixels are assigned to each column, and the reading of the pixel signals is different from each other in the plurality of signal lines of each column.
  • the pixel signal is read in the mode from the pixel connected to the signal line corresponding to the pixel signal reading mode, In the control method, the read pixel signal is transmitted through the signal line.
  • One aspect of the present technology further includes an imaging unit that images a subject, and an image processing unit that performs image processing on image data obtained by imaging by the imaging unit, and the imaging unit reads pixel signals from pixels.
  • a plurality of signal lines for transmitting the pixel are assigned to each column, and a different mode for reading the pixel signal is assigned to each of the plurality of signal lines in each column, and pixels corresponding to the mode are connected.
  • a pixel signal is read from the pixel connected to the signal line corresponding to a pixel signal reading mode in the mode, and the read pixel signal is transmitted via the signal line.
  • an image pickup apparatus including a control unit that controls the transmission.
  • a plurality of signal lines that transmit pixel signals read from the pixels are assigned to each column, and the pixels of each column are assigned to any of the plurality of signal lines assigned to the columns.
  • a connected pixel array, a plurality of A / D converters for A / D converting pixel signals transmitted via different signal lines of each column of the pixel array, and different A / D converters The pixel signals are read in parallel from a plurality of pixels allocated to the different signal lines of each of the plurality of compression units and each column of the pixel array that compress the A / D converted pixel signals, and the plurality of lines
  • the plurality of lines of pixel signals read from the pixels are transmitted in parallel using the signal lines corresponding to the pixels, and the plurality of lines of pixel signals are transmitted using the plurality of signal lines.
  • a / D conversion is performed in parallel using the plurality of A / D conversion units, and pixel signals of different lines that are A / D converted by the different A / D conversion units are paralleled using the plurality of compression units. It is an image pick-up element provided with the control part which controls so that it may compress.
  • the plurality of compression units can compress the pixel signals of each line so that the compressed data size of the pixel signals of the plurality of lines is equal to or less than a size that can be transmitted within one unit period.
  • the control unit can read out the image signal by two lines, and the plurality of compression units can compress the pixel signals of each line so that the data size is halved.
  • the compression unit can compress the pixel signal at a predetermined bit rate.
  • a plurality of signal lines that transmit pixel signals read from the pixels are assigned to each column, and a pixel of each column is one of the plurality of signal lines assigned to the column.
  • the pixels of the plurality of lines read out in parallel from the pixels of the plurality of lines that are read in parallel from the pixels of the plurality of lines allocated to the different signal lines in each column of the pixel array connected to each other A signal is transmitted in parallel using the signal line corresponding to the pixel, and the plurality of lines of pixel signals transmitted using the plurality of signal lines are A / D-converted in parallel.
  • the converted pixel signals of different lines are compressed in parallel.
  • Another aspect of the present technology further includes an imaging unit that images a subject and an image processing unit that performs image processing on image data obtained by imaging by the imaging unit, and the imaging unit is a pixel read from a pixel
  • a plurality of signal lines for transmitting signals are assigned to each column, and a pixel array in which pixels in each column are connected to one of the plurality of signal lines assigned to the column, and each column of the pixel array
  • a plurality of A / D converters for A / D converting pixel signals transmitted through different signal lines, and a plurality of A / D converters for compressing the pixel signals A / D converted by the different A / D converters A plurality of lines of pixels read in parallel from the plurality of lines of pixels assigned to the different signal lines of each column of the pixel array.
  • Each of the signals is transmitted in parallel using the signal lines corresponding to the pixels, and the plurality of lines of pixel signals transmitted using the plurality of signal lines are transmitted using the plurality of A / D conversion units.
  • a control unit that performs A / D conversion in parallel and controls the pixel signals of different lines that have been A / D converted by the different A / D conversion units to be compressed in parallel using the plurality of compression units; It is an imaging device provided.
  • Still another aspect of the present technology provides a plurality of A / D conversions for A / D conversion of a pixel array and each pixel signal assigned to each column of the pixel array and read from the pixels of the column. And a plurality of latches assigned to each A / D conversion unit, each of which stores the pixel signal A / D converted by the A / D conversion unit, and each column of the pixel array
  • the pixel signal is read from the pixel of the processing target line
  • the pixel signal read from the pixel is A / D-converted using the A / D conversion unit assigned to the column
  • the A / D The pixel signal subjected to A / D conversion by the D conversion unit is stored in any or all of a plurality of latches corresponding to the A / D conversion unit according to a reading mode of the pixel signal, Depending on the mode, of the plurality of latches
  • control unit Further comprising an arithmetic unit that adds or subtracts the pixel signals read from the plurality of latches, the control unit, the pixel signals read from the plurality of latches according to the mode, It can control to add or subtract using the said calculating part.
  • a pixel signal is read from a pixel on a processing target line of the column, and the pixel signal read from the pixel is A / D converted.
  • the A / D converted pixel signal is stored in any or all of the plurality of latches according to the pixel signal reading mode, and according to the mode, among the plurality of latches. This is a control method for reading out the pixel signal stored in any or all of the above.
  • Still another aspect of the present technology further includes an imaging unit that images a subject, and an image processing unit that performs image processing on image data obtained by imaging by the imaging unit, the imaging unit including a pixel array, A plurality of A / D conversion units that are assigned to each column of the pixel array and each A / D convert pixel signals read from the pixels of the column, and a plurality of A / D conversion units A plurality of latches that store the pixel signals that are allocated one by one and are each A / D converted by the A / D converter, and read out the pixel signals from the pixels of the line to be processed in each column of the pixel array
  • the pixel signal read from the pixel is A / D converted using the A / D converter assigned to the column, and the A / D converted pixel signal is A / D converted by the A / D converter.
  • the pixel signal readout mode In response, the pixel is stored in any or all of the plurality of latches corresponding to the A / D converter, and the pixel is stored in any or all of the plurality of latches according to the mode.
  • An imaging apparatus including a control unit that controls to read a signal.
  • a pixel array is assigned to each column of the pixel array, and each pixel signal read from the pixel of the column is converted into an A / D signal using different ramp signals.
  • a plurality of A / D conversion units to be converted and the offset of the ramp signal of each A / D conversion unit are set to different values from each other, and in each column of the pixel array, pixel signals are read from the pixels of the processing target line, And a control unit that controls the pixel signals read from the pixels to perform A / D conversion using the plurality of A / D conversion units assigned to the column.
  • the control unit can set an offset of the ramp signal of each A / D conversion unit according to the magnitude of the slope of the ramp signal.
  • the control unit is set so that the difference in the offset of the ramp signal of each A / D converter is small, and when the ramp signal has a small slope, each A / D converter It is possible to set so that the difference in the offset of the ramp signal becomes large.
  • a plurality of pixels are assigned to each column of the pixel array, and each A / D-converts pixel signals read from the pixels of the column using different ramp signals.
  • the offsets of the ramp signals of the A / D converters of the A / D converters are set to different values from each other, and in each column of the pixel array, the pixel signal is read from the pixel of the processing target line, and is read from the pixel.
  • the pixel signals are A / D converted by the plurality of A / D conversion units assigned to the column.
  • the imaging unit includes a pixel array; A plurality of A / D conversion units that are assigned to each column of the pixel array and A / D convert pixel signals read from the pixels of the column using different ramp signals, and each A The offset of the ramp signal of the / D conversion unit is set to a different value, and in each column of the pixel array, the pixel signal is read from the pixel of the processing target line, and the pixel signal read from the pixel is And a control unit that controls to perform A / D conversion using the plurality of A / D conversion units assigned to a column.
  • a plurality of signal lines for transmitting pixel signals read from the pixels are assigned to each column, and a different mode for reading pixel signals is assigned to each of the plurality of signal lines of each column.
  • the pixel signal is read and read in the mode from the pixel connected to the signal line corresponding to the pixel signal reading mode. Pixel signals are transmitted via signal lines.
  • a plurality of signal lines that transmit pixel signals read from the pixels are assigned to each column, and the pixels of each column are connected to one of the plurality of signal lines assigned to the column.
  • the pixel signals are read out in parallel from the pixels of a plurality of lines assigned to different signal lines in each column of the pixel array, and the pixel signals of the plurality of lines read out from the pixels of the plurality of lines are respectively pixels.
  • a pixel signal is read from a pixel of a column to be processed, and the pixel signal read from the pixel is A / D converted,
  • the D-converted pixel signal is stored in any or all of the plurality of latches depending on the pixel signal readout mode, and is stored in any or all of the plurality of latches depending on the mode.
  • the pixel signal is read out.
  • a plurality of A's are assigned to each column of the pixel array, and each A / D-converts pixel signals read from the pixels of the column using different ramp signals.
  • the offset of each ramp signal of the / D conversion unit is set to a different value, and in each column of the pixel array, the pixel signal is read from the pixel of the processing target line, and the pixel signal read from the pixel is A / D conversion is performed on a plurality of A / D converters assigned to the column.
  • the subject can be imaged.
  • more various data output can be realized more easily.
  • FIG. 1 is a block diagram illustrating a configuration example of a part of a complementary metal oxide semiconductor (CMOS) image sensor that is an embodiment of an imaging device to which the present technology is applied.
  • CMOS image sensor 100 shown in FIG. 1 is an imaging device that captures an image of a subject and obtains digital data of a captured image.
  • CMOS image sensor will be described as an example, but the present technology can also be applied to an image sensor other than a CMOS image sensor, such as a CCD (Charge Coupled Device) image sensor.
  • CCD Charge Coupled Device
  • the CMOS image sensor 100 includes a pixel array unit 111, a reading unit 112A, a reading unit 112B, and a D / A conversion unit 113.
  • the pixel array unit 111 is a pixel region in which pixel configurations (unit pixels) having photoelectric conversion elements such as photodiodes are arranged in a planar shape or a curved shape. Each unit pixel of the pixel array unit 111 receives light from a subject, photoelectrically converts the incident light, accumulates charges, and outputs the charges as pixel signals at a predetermined timing.
  • the unit pixels are arranged in a matrix (array), for example.
  • a signal line (vertical signal line) for transferring a pixel signal is assigned to each unit pixel for each column (column) of the unit pixel.
  • operations related to reading out pixel signals are controlled for each line (row) of unit pixels.
  • the pixel array may have any configuration as long as each unit pixel can be classified (grouped) into two different directions, and NxM arrays arranged in two linear directions orthogonal to each other. It may not be a typical matrix configuration. That is, for example, a line (row) or a column (column) of unit pixels may not be a straight line like a honeycomb structure. In other words, the unit pixels of each line and each column need not be arranged in a straight line, and the unit pixel line and the column need not be orthogonal.
  • the pixel array unit 111 has as many column pixel units 121 each having a configuration corresponding to one column (column) of unit pixels as many as the number of columns of the pixel array.
  • FIG. 1 shows only the configuration for one column (column).
  • the pixel array unit 111 includes P column pixels. Part 121.
  • the column pixel unit 121 has a plurality of signal lines (vertical signal lines) for transmitting pixel signals read from unit pixels of the column (for example, N (N is 2)). Have a natural number)). That is, a plurality of (for example, N) pixel signals can be read out from the column pixel unit 121 in parallel.
  • the reading unit 112A reads the pixel signal from the pixel array unit 111, performs signal processing such as A / D conversion, and outputs the signal.
  • the reading unit 112A includes a selection unit 122A and a column A / D conversion unit 123A for each column (each column pixel unit 121) of the pixel array unit 111. That is, FIG. 1 shows only one column (column) configuration. For example, when the pixel array unit 111 has P column unit pixels, the reading unit 112A includes P selection units 122A and a column A. It has a / D converter 123A.
  • the selection unit 122A selects a signal line for supplying a pixel signal to the column A / D conversion unit 123A from a plurality (for example, N) of vertical signal lines of the column pixel unit 121 corresponding to the selection unit 122A. That is, the selection unit 122A controls the connection between the vertical signal line of the column pixel unit 121 (unit pixel connected to the vertical signal line) and the column A / D conversion unit 123A.
  • the column A / D conversion unit 123A performs A / D conversion on the pixel signal (analog data) transmitted from the column pixel unit 121 via the selection unit 122A corresponding to the column A / D conversion unit 123A.
  • the column A / D conversion unit 123A has a plurality of (for example, M (for example, M is a natural number greater than or equal to 2; M ⁇ N)) A / D conversion units, and a plurality of (for example, column A / D conversion units 123A) M pixel signals can be A / D converted in parallel. That is, the selection unit 122A can select, for example, M vertical signal lines from among N and connect them to the column A / D conversion unit 123A.
  • Column A / D converter 123A uses the ramp signal supplied from D / A converter 113 to A / D convert the pixel signal. Details will be described later.
  • the reading unit 112A further includes a horizontal transfer unit 124A.
  • the horizontal transfer unit 124A sequentially outputs the pixel signal (digital data) output from each column A / D conversion unit 123A, that is, the pixel signal of each column of the pixel array unit 111.
  • the horizontal transfer unit 124A includes PxM pixels. Signals are supplied in parallel.
  • the horizontal transfer unit 124A sequentially transmits the PxM pixel signals.
  • the pixel signal output from the horizontal transfer unit 124A is supplied to a subsequent processing unit (not shown) such as a signal processing unit, for example.
  • the subsequent processing unit may be provided inside the CMOS image sensor 100 or may be provided outside.
  • the reading unit 112B is a processing unit similar to the reading unit 112A, has the same configuration as the reading unit 112A, and performs the same processing as the reading unit 112A. That is, the reading unit 112B includes a selection unit 122B and a column A / D conversion unit 123B for each column of unit pixels of the pixel array unit 111, and further includes a horizontal transfer unit 124B.
  • the selection unit 122B is a processing unit similar to the selection unit 122A, has the same configuration as the selection unit 122A, and performs the same processing as the selection unit 122A.
  • the column A / D conversion unit 123B is the same processing unit as the column A / D conversion unit 123A, has the same configuration as the column A / D conversion unit 123A, and has the same processing as the column A / D conversion unit 123A. I do.
  • the horizontal transfer unit 124B is a processing unit similar to the horizontal transfer unit 124A, has the same configuration as the horizontal transfer unit 124A, and performs the same processing as the horizontal transfer unit 124A.
  • reading unit 112A and the reading unit 112B are simply referred to as the reading unit 112.
  • selection unit 122A and the selection unit 122B they are simply referred to as the selection unit 122.
  • column A / D converter 123A and the column A / D converter 123B are simply referred to as the column A / D converter 123 when there is no need to distinguish them from each other.
  • horizontal transfer unit 124A and the horizontal transfer unit 124B separately from each other they are simply referred to as the horizontal transfer unit 124.
  • the D / A converter 113 supplies a predetermined ramp signal to each column A / D converter 123.
  • the CMOS image sensor 100 has two paths for reading out pixel signals from the pixel array unit 111. That is, in the case of the example in FIG. 1, the reading unit 112 has two configurations of the reading unit 112A and the reading unit 112B. However, the number of paths is arbitrary, and may be one system or three or more systems. That is, the reading unit 112A and the reading unit 112B may be configured as one reading unit 112, for example, a reading unit 112A, a reading unit 112B, a reading unit 112C (not shown), and so on. The reading unit 112 may have three or more configurations.
  • the CMOS image sensor 100 further includes a sensor controller 131, a vertical scanning unit 132, and a horizontal scanning unit 133.
  • the sensor controller 131 controls the operation of each processing unit of the CMOS image sensor 100. For example, the sensor controller 131 controls reading of pixel signals from the pixel array unit 111 by controlling the vertical scanning unit 132 and the horizontal scanning unit 133.
  • the vertical scanning unit 132 is controlled by the sensor controller 131 to drive each unit pixel of each column of the pixel array unit 111 for each line to read out a pixel signal.
  • the vertical scanning unit 132 includes an address decoder 141 and a pixel driving unit 142.
  • the address decoder 141 decodes the address designation information supplied from the sensor controller 131 and supplies a control signal to a configuration corresponding to the designated address of the pixel driver 142.
  • the pixel driving unit 142 is controlled by the sensor controller 131 to supply a control signal for driving each unit pixel of the pixel array unit 111.
  • the pixel driver 142 has a configuration for supplying a control signal for each line of the pixel array.
  • the pixel driving unit 142 uses the configuration specified by the address decoder 141 to send a control signal corresponding to the control content specified by the sensor controller 131 to the pixel array unit 111 (that is, the line specified by the sensor controller 131). To each unit pixel).
  • the horizontal scanning unit 133 controls the operation of the reading unit 112 and sequentially transmits the pixel signals of each column supplied from the pixel array unit 111 to the subsequent stage.
  • FIG. 1 An example of the main configuration of the column pixel unit 121 is shown in FIG. As described above, a plurality of (for example, N (N is a natural number of 2 or more)) vertical signal lines are allocated to the column pixel unit 121. Each unit pixel of the column pixel unit 121 (that is, each unit pixel in the column of the pixel array) is connected to one of the plurality of vertical signal lines. Further, the number of unit pixels included in the column pixel unit 121 is arbitrary.
  • each vertical signal line VSL0, VLS1, VSL2, VSL3
  • unit pixels unit pixel 151A, unit pixel 151B, unit pixel 151C, unit pixel 151D
  • the unit pixel 151A is connected to the vertical signal line VSL0
  • the unit pixel 151B is connected to the vertical signal line VSL1
  • the unit pixel 151C is connected to the vertical signal line VSL2
  • the unit pixel 151D is connected to the vertical signal line VSL3.
  • the column pixel unit 121 has five or more unit pixels
  • the other unit pixels are similarly connected to any of the four vertical signal lines (VSL0, VLS1, VSL2, VSL3).
  • unit pixels 151 when it is not necessary to distinguish the unit pixels from each other.
  • vertical signal lines VSL when there is no need to distinguish the vertical signal lines from each other, they are simply referred to as vertical signal lines VSL.
  • the unit pixel 151 includes a photodiode 161, a read transistor 162, a reset transistor 163, an amplification transistor 164, and a select transistor 165.
  • the photodiode (PD) 161 photoelectrically converts the received light into a photocharge (here, photoelectrons) having a charge amount corresponding to the light quantity, and accumulates the photocharge.
  • the anode electrode of the photodiode 161 is connected to the ground (pixel ground) of the pixel region, and the cathode electrode is connected to the floating diffusion (FD) via the read transistor 162.
  • the reading transistor 162 controls reading of the photocharge from the photodiode 161.
  • the read transistor 162 has a drain electrode connected to the floating diffusion and a source electrode connected to the cathode electrode of the photodiode 161. Further, a control signal TRG is supplied from the pixel driver 142 to the gate electrode of the reading transistor 162.
  • the control signal TRG that is, the gate potential of the reading transistor 162
  • the control signal TRG that is, the gate potential of the read transistor 162
  • the control signal TRG that is, the gate potential of the read transistor 162
  • the control signal TRG that is, the gate potential of the read transistor 162
  • the photocharge accumulated in the photodiode 161 is read and supplied to the floating diffusion (FD).
  • the reset transistor 163 resets the potential of the floating diffusion (FD).
  • the reset transistor 163 has a drain electrode connected to the power supply potential and a source electrode connected to the floating diffusion (FD).
  • a control signal RST is supplied from the pixel driver 142 to the gate electrode of the reset transistor 163. When the control signal RST (that is, the gate potential of the reset transistor 163) is off, the floating diffusion (FD) is disconnected from the power supply potential. When the control signal RST (that is, the gate potential of the reset transistor 163) is on, the charge of the floating diffusion (FD) is discarded to the power supply potential, and the floating diffusion (FD) is reset.
  • the amplification transistor 164 amplifies the potential change of the floating diffusion (FD) and outputs it as an electric signal (analog signal).
  • the amplification transistor 164 has a gate electrode connected to the floating diffusion (FD), a drain electrode connected to the power supply potential, and a source electrode connected to the drain electrode of the select transistor 165.
  • the amplification transistor 164 outputs the potential of the floating diffusion (FD) reset by the reset transistor 163 to the select transistor 165 as a reset signal (reset level).
  • the amplification transistor 164 outputs the potential of the floating diffusion (FD) to which the photocharge has been transferred by the read transistor 162 to the select transistor 165 as a light accumulation signal (signal level).
  • the select transistor 165 controls the output of the electric signal supplied from the amplification transistor 164 to the vertical signal line VSL.
  • the select transistor 165 has a drain electrode connected to the source electrode of the amplification transistor 164 and a source electrode connected to the vertical signal line VSL.
  • a control signal SEL is supplied from the pixel driver 142 to the gate electrode of the select transistor 165.
  • the control signal SEL that is, the gate potential of the select transistor 165
  • the amplification transistor 164 and the vertical signal line VSL are electrically disconnected. Therefore, in this state, no pixel signal is output from the unit pixel.
  • the control signal SEL that is, the gate potential of the select transistor 165) is on, the unit pixel is selected.
  • the amplification transistor 164 and the vertical signal line VSL are electrically connected, and a signal output from the amplification transistor 164 is supplied to the vertical signal line VSL as a pixel signal of the unit pixel. That is, a pixel signal is read from the unit pixel.
  • the configuration of the unit pixel 151 is arbitrary and is not limited to the example of FIG.
  • the read transistor 162 may be omitted.
  • the number of pixels per unit pixel is arbitrary, and may be one pixel as in the example of FIG. 3 or a plurality of pixels.
  • FIG. 4 shows a configuration example of a unit pixel in the case of having a plurality of pixels.
  • the unit pixel 151 includes four photodiodes 161 (photodiode 161-0, photodiode 161-1, photodiode 161-2, and photodiode 161-3). That is, in this case, the unit pixel 151 includes four pixels.
  • the photodiodes 161 may have the same characteristics as each other, but may have different characteristics. For example, some or all of these photodiodes 161 may photoelectrically convert incident light in a wavelength band different from others.
  • the photodiodes 161-0 to 161-3 are arranged in 2 rows and 2 columns, and the upper left photodiode 161-0 photoelectrically converts mainly the red (R) band, and the upper right photodiode 161-1.
  • the lower left photodiode 161-2 mainly photoelectrically converts the green (GB) band
  • the lower right photodiode 161-3 mainly converts blue (B).
  • This band may be photoelectrically converted.
  • the unit pixel 151 can constitute one unit of the Bayer array.
  • the unit pixel 151 includes four read transistors 162 (read transistor 162-0, read transistor 162-1, read transistor 162-2, read transistor 162-3).
  • the read transistor 162-0 controls the reading of the photocharge from the photodiode 161-0 based on the control signal TRG (TR0) supplied from the pixel driver 142.
  • the read transistor 162-1 controls reading of the photocharge from the photodiode 161-1 based on the control signal TRG (TR1) supplied from the pixel driver 142.
  • the read transistor 162-2 controls reading of photocharge from the photodiode 161-2 based on the control signal TRG (TR2) supplied from the pixel driving unit 142.
  • the read transistor 162-3 controls the reading of the photocharge from the photodiode 161-3 based on the control signal TRG (TR3) supplied from the pixel driver 142.
  • the configuration of the floating diffusion (FD), the reset transistor 163, the amplification transistor 164, the select transistor 165, and the like is shared within the unit pixel.
  • the pixel signals of the pixels (photodiode 161-0, photodiode 161-1, photodiode 161-2, photodiode 161-3) are transmitted through the same vertical signal line VSL.
  • FIG. 5 is a diagram illustrating an example of a main configuration of the selection unit 122.
  • FIG. 5A shows a configuration example of the selection unit 122A.
  • FIG. 5B shows a configuration example of the selection unit 122B.
  • the selection unit 122 is provided for each column pixel unit 121, and the N vertical signal lines of the column pixel unit 121 and the M A / D conversion units (M vertical signal lines) of the column A / D conversion unit 123. Control connection with.
  • the selection unit 122A selects any two of the four vertical signal lines (VSL0 to VSL3) of the column pixel unit 121 corresponding to the selection unit 122A, and performs column A / D conversion. Connected to the two vertical signal lines (VSLA0, VSLA1) of the unit 123A.
  • the selection unit 122B has basically the same configuration as the selection unit 122A. That is, in the example of FIG. 5B, the selection unit 122B selects any two of the four vertical signal lines (VSL0 to VSL3) of the column pixel unit 121 to which the selection unit 122B corresponds, and selects the column A / Connected to the two vertical signal lines (VSLB0, VSLB1) of the D converter 123B.
  • the selection unit 122 selects the vertical signal line VSL corresponding to the pixel signal readout mode from the plurality of vertical signal lines VSL assigned to the column.
  • the sensor controller 131 causes the selection unit 122 to select one of the vertical signal lines VSL, and outputs the pixel signal from the pixel connected to the vertical signal line VSL selected by the selection unit 122 in that mode.
  • the pixel signal read out is controlled to be transmitted through the signal line selected by the selection unit 122.
  • the selection unit 122 may be omitted. For example, when the column A / D conversion unit 123 includes N A / D conversion units that operate in parallel, the selection unit 122 is not necessary.
  • FIG. 1 An example of the main configuration of the column A / D conversion unit 123B is shown in FIG.
  • the column A / D conversion unit 123 includes M A / D conversion units.
  • the column A / D conversion unit 123B includes a current source 181-0, a comparator 182-0, and a counter 183-0 as an A / D conversion unit of the vertical signal line VSLB0.
  • a current source 181-0 represents a load of a peripheral circuit connected to the vertical signal line VSLB0.
  • the current source 181-0 is connected to the vertical signal line VSLB0 and the ground.
  • the D / A converter 113 supplies a ramp signal to each system of the column A / D converter 123B.
  • the column A / D converter 123B the D / A converter 113 supplies the ramp signal to the A / D converter of the system of the vertical signal line VSLB0, and the D / A converter 113-0.
  • a D / A converter 113-1 for supplying a ramp signal to the A / D converter of the system of the vertical signal line VSLB1.
  • the comparison unit 182-0 supplies the pixel signal transmitted from the unit pixel 151 of the pixel array unit 111 via the vertical signal line VSL, the selection unit 122B, and the vertical signal line VSLB0 from the D / A conversion unit 113-0.
  • the comparison result (information indicating which value is larger) is supplied to the counter 183-0.
  • the counter 183-0 counts the period from the start of counting until the value of the comparison result changes, and outputs the count value as digital data of the pixel signal to the horizontal transfer unit 124B when the value of the comparison result changes. .
  • the column A / D conversion unit 123B includes a current source 181-1, a comparator 182-1, and a counter 183-1 as an A / D conversion unit of the vertical signal line VSLB1.
  • the current source 181-1 has the same configuration as the current source 181-0. That is, the current source 181-1 represents the load of the peripheral circuit connected to the vertical signal line VSLB1.
  • the current source 181-1 is connected to the vertical signal line VSLB1 and the ground.
  • the comparison unit 182-1 has the same configuration as the comparison unit 182-0 and performs the same processing as the comparison unit 182-0. That is, the comparison unit 182-1 converts the pixel signal transmitted from the unit pixel 151 of the pixel array unit 111 through the vertical signal line VSL, the selection unit 122B, and the vertical signal line VSLB1 to the D / A conversion unit 113-1. And the comparison result (information indicating which value is greater) is supplied to the counter 183-1.
  • the counter 183-1 has the same configuration as the counter 183-0 and performs the same processing. That is, the counter 183-1 counts the period from the start of counting until the value of the comparison result changes, and when the value of the comparison result changes, the counter 183-1 receives the count value as digital data of the pixel signal to the horizontal transfer unit 124B. Output.
  • the column A / D converter 123A has the same configuration as the column A / D converter 123B and performs the same processing. That is, regardless of the number of configurations of the column A / D conversion unit 123, each column A / D conversion unit 123 has the same configuration as the example of FIG. 6 and performs the same processing. .
  • the number of A / D conversion units included in the column A / D conversion unit 123 is arbitrary, and may be one or three or more. Regardless of the number of systems, the D / A converter 113 supplies ramp signals to each system independently of each other. That is, for example, when the column A / D converter 123 includes M A / D converters, the D / A converter 113 may include M independent D / A converters. .
  • FIG. 7 shows an example of the main configuration of the address decoder 141.
  • the address decoder 141 has a logic circuit configured as shown in FIG. 7 for each line of the pixel array.
  • the address decoder 141 includes an address (ADD_X) for selecting a pixel, a read latch reset (RLRST), a read latch set (RLSET_X), an electronic shutter latch reset (SLRST), and an electronic shutter latch set (SLSET_X).
  • a control signal for designating an address is input from the sensor controller 131.
  • the address decoder 141 outputs a value “H (high)” as a read latch (RLQ) or an electronic shutter latch (SLQ) in the logic circuit of the line designated by the sensor controller 131 based on these input signals 142. Output to.
  • the NOT_read latch (XRLQ) and NOT_electronic shutter latch (XSLQ) are pulses with their control signals made negative logic.
  • FIG. 8 A main configuration example of the pixel driving unit 142 is shown in FIG.
  • the pixel driver 142 has a logic circuit configured as shown in FIG. 8 for each line of the pixel array.
  • Fig. 8 shows the equivalent circuit diagram and timing chart of the pixel drive timing drive circuit.
  • Read latch output pulse RLQ supplied from the address decoder 141, electronic shutter latch SLQ, read transfer pulse RTR, electronic shutter transfer pulse STR, electronic shutter reset pulse SRST, read reset pulse RRST supplied from the sensor controller 131
  • various control signals such as the read selection pulse RSEL, the control signal TRG, the control signal SEL, and the control signal RST are supplied to each transistor of each unit pixel 151 of the line.
  • FIG. 9 shows an example of a timing chart of various control signals for driving such a CMOS image sensor 100.
  • the sensor controller 131 includes an address (ADD) for selecting a pixel, a read latch reset (RLRST) of the address decoder 141, a read latch set (RLSET), an electronic shutter latch reset (SLRST), An arbitrary address can be driven by inputting a control signal such as an electronic shutter latch set (RLSET) to the address decoder 141.
  • ADD address
  • RLRST read latch reset
  • RLSET read latch set
  • SLRST electronic shutter latch reset
  • the sensor controller 131 includes a transfer pulse (RTR) for reading, a reset pulse (RRST) for reading, a selection pulse (RSEL) for reading, a transfer pulse (STR) for electronic shutter, and a reset pulse (SRST) for electronic shutter.
  • RTR transfer pulse
  • RRST reset pulse
  • RSEL selection pulse
  • STR transfer pulse
  • SRST reset pulse
  • FIG. 10 shows an example of a timing chart of various control signals output from the address decoder 141 for these control signals.
  • An example of a timing chart of various control signals output from the pixel driving unit 142 is shown in FIG.
  • pixel signals are read from each unit pixel of the pixel array.
  • the read pixel signals are A / D converted in each column A / D converter 123 as shown in the timing chart of FIG.
  • CMOS image sensor 100 As described above, pixel signals can be read by various reading methods (reading modes) using a plurality of vertical signal lines and a plurality of A / D conversion units in each column. For example, two-stream reading that realizes simultaneous output of two lines of data, parallel reading that uses all column columns for faster reading, and multi-sampling for realizing dynamic range improvement are realized. be able to.
  • pixel signal readout control may become complicated. For example, every time the unit pixel line to be driven is switched (for each horizontal synchronization), the vertical signal line used for the pixel signal has to be designated. In particular, when a plurality of readout modes are used in combination, the vertical signal line designated for each mode has to be changed, which makes control more complicated.
  • the unit pixel and the vertical signal line VSL are connected according to the readout mode. That is, a plurality of signal lines for transmitting pixel signals read out from the pixels are assigned to each column, and a predetermined mode for reading out pixel signals is assigned to each of the plurality of signal lines in each column.
  • the pixel corresponding to the mode of the column is connected, and for each column of the pixel array, the pixel signal is read and read from the pixel connected to the signal line corresponding to the pixel signal reading mode.
  • the pixel signal is controlled to be transmitted through the signal line.
  • one of the vertical signal lines VSL is assigned to each readout mode, and a unit pixel that reads out a pixel signal in the readout mode is connected to the vertical signal line VSL.
  • the number of vertical signal lines VSL assigned to this read mode is arbitrary, and may be one or more. Further, the assignment of the vertical signal lines may be overlapped between the read modes. For example, one vertical signal line VSL may be assigned to a plurality of read modes.
  • FIG. 13 An example is shown in FIG. In the case of the example of FIG. 13, in readout mode 1, pixel signals are read out from unit pixel A, unit pixel C, unit pixel E, and unit pixel G, and in readout mode 2, unit pixel B and unit pixel D are read out. , The pixel signal is read from the unit pixel F and the unit pixel H. As shown in FIG. 13, the unit pixel A, the unit pixel C, the unit pixel E, and the unit pixel G are connected to different vertical signal lines from the unit pixel B, the unit pixel D, the unit pixel F, and the unit pixel H. Has been.
  • the selection unit 122 may select the vertical signal line to which the unit pixel A, the unit pixel C, the unit pixel E, and the unit pixel G are connected at the beginning of the vertical synchronization. Conversely, when reading in read mode 2, the selection unit 122 may select a vertical signal line to which the unit pixel B, the unit pixel D, the unit pixel F, and the unit pixel H are connected at the beginning of the vertical synchronization. There is no need to switch the selection of the vertical signal line for each horizontal synchronization.
  • the sensor controller 131 controls the selection unit 122 of each column via the horizontal scanning unit 133 in step S101, and selects a vertical signal line for each column according to the reading mode.
  • the sensor controller 131 performs this process at the beginning of the vertical synchronization when starting the reading or switching the reading mode.
  • step S102 the sensor controller 131 reads out the pixel signal from the unit pixel corresponding to the selected vertical signal line in the reading mode corresponding to the vertical signal line. That is, the sensor controller 131 controls the address decoder 141 and the pixel driving unit 142 of the vertical scanning unit 132 to select a unit pixel corresponding to the reading mode of each column, and from that unit pixel, a pixel signal in the reading mode is selected. Is read. The sensor controller 131 performs this process for each horizontal synchronization.
  • the sensor controller 131 can realize operations in more various readout modes. That is, the CMOS image sensor 100 can realize more various data outputs more easily.
  • Fig. 15 shows an example of 2-stream access (in XVS units).
  • pixel signals are read in two reading modes, mode 1 and mode 2. For example, it operates at 30 fps when mode 1 is the monitoring mode, and operates at 240 fps when mode 2 is the AF mode.
  • the readout of the pixel signal from the pixel may be controlled so as to be performed at the frame rate of the mode corresponding to the pixel.
  • the vertical signal line VSL1 and the vertical signal line VSL3 are assigned to the mode 1, and the vertical signal line VSL0 and the vertical signal line VSL2 are assigned to the mode 2. Therefore, even when reading out pixel signals in two readout modes having different frame rates, the vertical signal line VSL is allocated to each readout mode. Therefore, in reading out pixel signals in each readout mode, pixels and vertical signals are read out.
  • the signal line VSL does not collide. Therefore, the CMOS image sensor 100 can more easily realize reading in the two reading modes without affecting the image quality.
  • FIG. 16 shows an example of 2-stream access (XHS unit).
  • XHS unit 2-stream access
  • pixel signals are read out in two readout modes, mode 1 and mode 2.
  • mode 1 is a 30 fps monitoring mode
  • mode 2 is a 240 fps AF mode.
  • the vertical signal line VSL1 and the vertical signal line VSL3 are assigned to the mode 1
  • the vertical signal line VSL0 and the vertical signal line VSL2 are assigned to the mode 2.
  • the vertical signal line VSL is distributed to both the main shutter, the lead, and the pre-shutter, so that the pixel and the vertical signal line VSL are read in the pixel signal readout in each readout mode. It can suppress hitting. Therefore, good image quality equivalent to that of a conventional CMOS image sensor can be obtained in two systems.
  • Fig. 17 shows an example of 2/8 decimation addition + 2/8 decimation addition.
  • pixel signals are read out in two readout modes, mode 1 and mode 2.
  • mode 1 is a 30 fps monitoring mode
  • mode 2 is a 240 fps AF mode.
  • the vertical signal line VSL1 and the vertical signal line VSL3 are assigned to the mode 1
  • the vertical signal line VSL0 and the vertical signal line VSL2 are assigned to the mode 2.
  • the addition mode for example, two of the eight pixel lines (that is, a line in which R and GR pixels are arranged (R / GR) and a line in which GB and B pixels are arranged (GB / B)) are read two by two.
  • the two lines (R / GR lines and GB / B lines) are added.
  • a highly sensitive image can be obtained.
  • the addition method of pixel signals is arbitrary. For example, methods such as counter addition, comparator capacitance addition, and addition in the logic can be considered.
  • the CMOS image sensor 100 distributes the vertical signal lines VSL to each reading mode, so that pixels and vertical signal lines VSL are read in reading pixel signals in each reading mode. It can suppress hitting.
  • Fig. 18 shows an example of 4/16 decimation + 4/16 decimation.
  • pixel signals are read out in two readout modes, mode 1 and mode 2.
  • mode 1 is a 30 fps monitoring mode
  • mode 2 is a 240 fps AF mode.
  • the vertical signal line VSL1 and the vertical signal line VSL3 are assigned to the mode 1
  • the vertical signal line VSL0 and the vertical signal line VSL2 are assigned to the mode 2.
  • 4/16 decimation is performed as mode 1 (monitoring mode) to read out 4 lines for every 16 lines of pixels. That is, in mode 1 (monitoring mode), reading is performed in “4/16 decimation 30 fps mode”.
  • 4/16 thinning is performed in mode 2 (AF mode). That is, in mode 2 (AF mode), reading in “4/16 thinning 240 fps mode” is performed.
  • the CMOS image sensor 100 distributes the vertical signal lines VSL to each reading mode, so that pixels and vertical signal lines VSL are read in reading pixel signals in each reading mode. It can suppress hitting.
  • Fig. 19 shows an example of 4/8 decimation + 4/8 decimation. Also in the case of the example of FIG. 19, pixel signals are read out in two readout modes, mode 1 and mode 2. Mode 1 is a 30 fps monitoring mode, and mode 2 is a 120 fps AF mode. Similarly to the example of FIG. 15, the vertical signal line VSL1 and the vertical signal line VSL3 are assigned to the mode 1, and the vertical signal line VSL0 and the vertical signal line VSL2 are assigned to the mode 2.
  • the CMOS image sensor 100 distributes the vertical signal lines VSL to each reading mode, so that pixels and vertical signal lines VSL are read in reading pixel signals in each reading mode. It can suppress hitting.
  • Fig. 20 shows an example of 8/16 decimation + 8/16 decimation.
  • pixel signals are read out in two readout modes, mode 1 and mode 2.
  • mode 1 is a 30 fps monitoring mode
  • mode 2 is a 120 fps AF mode.
  • the vertical signal line VSL1 and the vertical signal line VSL3 are assigned to the mode 1
  • the vertical signal line VSL0 and the vertical signal line VSL2 are assigned to the mode 2.
  • 8/16 thinning is performed as mode 1 (monitoring mode) to read out 8 lines for every 16 lines of pixels. That is, in mode 1 (monitoring mode), reading is performed in “8/16 thinning-out 30 fps mode”. 8/16 thinning is also performed in mode 2 (AF mode). That is, in mode 2 (AF mode), reading is performed in “8/16 thinning 120 fps mode”. In the case of the example in FIG. 20, addition between lines is not performed.
  • the CMOS image sensor 100 distributes the vertical signal lines VSL to each reading mode, so that pixels and vertical signal lines VSL are read in reading pixel signals in each reading mode. It can suppress hitting.
  • the ratio of the pixel lines read in each mode may not be the same. That is, in each column, the number of pixels assigned to each signal line may be different from each other. For example, the thinning ratio may be different between mode 1 and mode 2. Further, the number of vertical signal lines VSL assigned to each mode may be different from each other. For example, the number of vertical signal lines VSL assigned to mode 1 may be different from the number of vertical signal lines VSL assigned to mode 2.
  • Fig. 21 shows an example of 4/16 decimation + 12/16 decimation.
  • pixel signals are read in two reading modes, mode 1 and mode 2.
  • mode 1 is a 30 fps monitoring mode
  • mode 2 is a 90 fps AF mode.
  • the vertical signal line VSL3 is assigned to mode 1
  • the vertical signal line VSL0, vertical signal line VSL1, and vertical signal line VSL2 are assigned to mode 2.
  • mode 1 (monitoring mode)
  • 4/16 thinning is performed to read out 4 lines for every 16 lines of pixels. That is, in mode 1 (monitoring mode), reading is performed in “4/16 decimation 30 fps mode”.
  • mode 2 12/16 thinning is performed to read out 12 lines for every 16 lines of pixels. That is, in mode 2 (AF mode), reading in “12/16 thinning 90 fps mode” is performed.
  • the addition of lines is not performed.
  • the CMOS image sensor 100 performs pixel signal readout in each readout mode by allocating the vertical signal line VSL to each readout mode. It is possible to prevent the pixels and the vertical signal line VSL from colliding with each other.
  • the CMOS image sensor 100 can more easily realize various data outputs.
  • the read mode is arbitrary and is not limited to the above-described example.
  • the number of read modes to be used in combination and the combination pattern are arbitrary, and are not limited to the examples described above. For example, control is possible even when the non-addition mode and the addition mode are mixed, such as 2/8 decimation addition + 4/16 decimation addition.
  • the thinning rate can be arbitrarily set as long as it is 2N times the number of vertical signal lines VSL.
  • the combined use of the read mode may be performed according to the number of systems of the A / D converters of the column A / D converter 123, but may be realized by time division as in the example shown in FIG. Good.
  • two readout modes are realized using two A / D conversion units of the column A / D conversion unit 123 by reading out pixel signals in each readout mode as in pattern 2 in FIG. be able to.
  • pattern 1 by shifting the read timing of each mode, one system of A / D converters can be time-divided and used in two read modes. That is, the number of read modes equal to or greater than the number of systems of the A / D converters of the column A / D converter 123 can be realized.
  • the sensor controller 131 controls the selection unit 122 to sequentially switch the signal lines to be selected and to read out the pixel signals in a plurality of modes in a time division manner.
  • the CMOS image sensor 100 can realize more various data outputs more easily by allocating the vertical signal lines VSL to each readout mode.
  • the distribution of the vertical signal line VSL to the read mode may be performed not only for the effective pixels but also for the dummy pixels. That is, the dummy pixel may be connected to the vertical signal line VSL corresponding to the reading mode.
  • FIG. 23 shows an example of the behavior of dummy addresses and dummy shutters in each readout mode.
  • FIG. 24 shows a dummy address arrangement example.
  • the CMOS image sensor 100 performs a read or shutter operation in order to equalize the load even during an ineffective period or a blanking period.
  • the pixels used at this time are dummy pixels. For example, in the case of the two streams described above, there is a time zone in which the blanking period of mode 2 and the effective period of mode 1 overlap, and if the vertical signal line VSL of the dummy address hits at this time, image quality degradation such as horizontal stripes in mode 1 May lead to
  • the dummy address is controlled by distributing the vertical signal line VSL in the same manner as the effective address. That is, for each column of the pixel array unit 111, the sensor controller 131 controls the pixel signal to be read in the mode from the dummy pixel connected to the vertical signal line VSL corresponding to the pixel signal reading mode.
  • the CMOS image sensor 100 can obtain a good image quality even in a period overlapping with the blanking period of mode 1 or mode 2. That is, the CMOS image sensor 100 can realize more various data outputs more easily.
  • the sensor controller 131 may further control to perform the shutter operation of the dummy pixel in that mode.
  • FIG. 25 shows a V access image of normal speed reading. In this reading mode, two pixels are read out in one horizontal synchronization period (1XHS).
  • Fig. 26 shows the V access image of double speed reading.
  • Fig. 27 shows the V access image of quadruple speed reading.
  • the CMOS image sensor 100 is generally made of a silicon (Si) substrate, and can also perform near infrared (for example, wavelength range of 1 ⁇ m or less) photoelectric conversion from its band gap.
  • near infrared for example, wavelength range of 1 ⁇ m or less
  • the R pixel has the highest sensitivity around 1um, and only the R pixel is set to quadruple speed readout to support near infrared.
  • the CMOS image sensor 100 can be realized. Further, by providing a plurality of A / D conversion units per column, the CMOS image sensor 100 can realize a frame rate twice as high as that at the normal reading speed.
  • Fig. 28 shows the control method for high S / N readout.
  • the high S / N readout proposed so far can be easily realized.
  • FIG. 28 by dividing the shutter system by long-time accumulation and short-time accumulation, long-time accumulation and short-time accumulation can be realized every two rows by a control method equivalent to two streams.
  • the exposure time of each pixel may be set for each mode corresponding to the signal line to which the pixel is connected.
  • the CMOS image sensor 100 can more easily realize various data outputs.
  • Second Embodiment> ⁇ Transfer of pixel signal in high-speed readout mode>
  • one A / D converter is mounted per column.
  • a / D conversion is performed while sequentially scanning pixels in line units. This is called a rolling shutter system. Due to this scanning method, the A / D conversion timing is shifted for each line. For this reason, distortion occurs when a moving object is imaged. This is called rolling shutter distortion. Since the A / D conversion speed depends on the settling time of the D / A converter, it is difficult to achieve extreme speedup. Therefore, it has been difficult to reduce rolling shutter distortion.
  • a / D conversion units are provided per column, and A / D conversion for two lines is performed in parallel to reduce rolling shutter distortion. be able to.
  • a plurality of A / D converters are provided per column so that a plurality of lines of pixel signals can be A / D converted in parallel to reduce rolling shutter distortion. Furthermore, the pixel signals for two lines subjected to A / D conversion in parallel are compressed to reduce the bandwidth required for transfer. As a result, data transfer can be performed within 1H. By doing so, a large-capacity buffer can be eliminated, and an increase in cost and power consumption can be suppressed.
  • FIG. 29 is a block diagram illustrating a configuration example of a part of a complementary metal oxide semiconductor (CMOS) image sensor that is an embodiment of an imaging device to which the present technology is applied.
  • CMOS image sensor 200 shown in FIG. 29 is an image sensor that images a subject and obtains digital data of a captured image, as in the CMOS image sensor 100.
  • a CMOS image sensor will be described as an example.
  • the present technology is, for example, a CCD (Charge Coupled Device) image sensor.
  • the present invention can also be applied to image sensors other than CMOS image sensors.
  • the CMOS image sensor 200 has the same configuration as the CMOS image sensor 100.
  • the CMOS image sensor 200 includes a column A / D converter 123A-0 (column A / D converter 123A-0-1 to column A / D converter 123A-0-P) and a column A / D converter 123B-0.
  • the pixel signals read from the pixel array unit 111 are A / D converted by these column A / D conversion units 123.
  • the pixel signals (digital data) A / D converted by these column A / D converters 123 are supplied to the horizontal transfer unit 124.
  • the CMOS image sensor 200 includes a horizontal transfer unit 124A-0 and a horizontal transfer unit 124B-0, and a horizontal transfer unit 124A-1 and a horizontal transfer unit 124B-1.
  • the pixel signal A / D converted in the column A / D converter 123A-0 (column A / D converter 123A-0-1 to column A / D converter 123A-0-P) is converted into a horizontal transfer unit 124A- 0 is supplied.
  • the pixel signal A / D converted in the column A / D converter 123B-0 (column A / D converter 123B-0-1 to column A / D converter 123B-0-P) is converted into a horizontal transfer unit 124B- 0 is supplied.
  • the pixel signal A / D converted in the column A / D converter 123A-1 (column A / D converter 123A-1-1 to column A / D converter 123A-1-P) is converted into a horizontal transfer unit 124A- 1 is supplied.
  • the pixel signal A / D converted in the column A / D converter 123B-1 (column A / D converter 123B-1-1 to column A / D converter 123B-1-P) is converted into a horizontal transfer unit 124B- 1 is supplied.
  • the CMOS image sensor 200 includes a horizontal processing unit 221A and a horizontal processing unit 221B. When there is no need to distinguish between them, the horizontal processing unit 221 is simply referred to.
  • the horizontal transfer unit 124A-0 and the horizontal transfer unit 124B-0 supply pixel signals to the horizontal processing unit 221A.
  • the horizontal transfer unit 124A-1 and the horizontal transfer unit 124B-1 supply pixel signals to the horizontal processing unit 221B.
  • the horizontal transfer unit 124 outputs the pixel signals to the horizontal processing unit 221 in parallel as two systems.
  • the horizontal processing unit 221A and the horizontal processing unit 221B perform predetermined signal processing on the pixel signals of the respective systems.
  • the horizontal processing unit 221 may be configured as one processing unit that performs signal processing on the pixel signals of each system independently of each other. Further, the horizontal processing unit 221 may be omitted.
  • the CMOS image sensor 200 further includes a compression unit 222A and a compression unit 222B.
  • a compression unit 222A When there is no need to distinguish between the compression unit 222A and the compression unit 222B, they are simply referred to as the compression unit 222.
  • the horizontal processing unit 221A supplies the signal-processed pixel signal to the compression unit 222A.
  • the horizontal processing unit 221B supplies the pixel signal subjected to signal processing to the compression unit 222B.
  • the compression unit 222A and the compression unit 222B compress the pixel signals of the respective systems. At that time, the compression unit 222A and the compression unit 222B compress the pixel signals until the data amount is such that the pixel signals of all systems can be transferred within a predetermined unit period (for example, one horizontal synchronization period). To do.
  • the CMOS image sensor 200 further includes an output unit 223.
  • the compression unit 222A and the compression unit 222B supply the compressed pixel signal to the output unit 222.
  • the output unit 223 outputs the supplied compressed pixel signals of all systems to the outside of the CMOS image sensor 200.
  • the compression unit 222 may be configured as a single processing unit that performs compression processing on pixel signals of each system independently of each other.
  • the CMOS image sensor 200 can output a plurality of pixel signals without increasing the transfer band.
  • the pixel signal is read out as two lines, but the number of lines of reading is arbitrary as long as it is plural.
  • the compression units 222 may be prepared for the number of systems. However, if the number of systems increases, it is necessary to increase the compression ratio accordingly. For example, when reading is performed with N systems, N compression units 222 may be prepared, and compression may be performed in each compression unit until the data size of the pixel signal is 1 / N or less.
  • N compression units 222 may be prepared, and compression may be performed in each compression unit until the data size of the pixel signal is 1 / N or less.
  • FIG. 30 is a timing chart for explaining the state of data output of the CMOS image sensor 200.
  • CMOS image sensor 200 When pixel signals are read as in the section 231 in FIG. 30, one line of pixel signals can be output per unit time.
  • the CMOS image sensor 200 by compressing and outputting the pixel signals of each system as shown in the example of FIG. 29, it is possible to output the pixel signals for two lines in one system per unit time as in the section 232. it can. Therefore, the CMOS image sensor 200 can output an image with small focal plane distortion without exceeding the bandwidth of the output interface.
  • FIG. 31 is a diagram illustrating an example of main configurations of the horizontal processing unit 221A and the horizontal processing unit 221B.
  • the horizontal processing unit 221A includes an interface (I / F) 241A, a horizontal rearrangement unit 242A, a clamp amount calculation unit 243A, a digital clamp 244A, a horizontal addition unit 245A, a gain adjustment unit 246A, and a black level.
  • a correction unit 247A is included.
  • the horizontal processing unit 221B includes an interface (I / F) 241B, a horizontal rearrangement unit 242B, a clamp amount calculation unit 243B, a digital clamp 244B, a horizontal addition unit 245B, a gain adjustment unit 246B, and a black level correction unit 247B.
  • the interface (I / F) 241A and the interface (I / F) 241B are simply referred to as an interface (I / F) 241.
  • the horizontal rearrangement unit 242A and the horizontal rearrangement unit 242B are simply referred to as a horizontal rearrangement unit 242 when there is no need to distinguish between them.
  • the clamp amount calculation unit 243A is simply referred to as a clamp amount calculation unit 243.
  • the digital clamp 244A and the digital clamp 244B are simply referred to as a digital clamp 244.
  • the horizontal adder 245A When there is no need to distinguish between the horizontal adder 245A and the horizontal adder 245B, the horizontal adder 245A is simply referred to as a horizontal adder 245.
  • the gain adjustment unit 246A and the gain adjustment unit 246B are simply referred to as the gain adjustment unit 246.
  • the black level correction unit 247B When there is no need to distinguish between the black level correction unit 247A and the black level correction unit 247B, the black level correction unit 247B is simply referred to as a black level correction unit 247.
  • the signal processing performed by the horizontal processing unit 221 is arbitrary. Therefore, the configuration of the horizontal processing unit 221 is not limited to the example of FIG.
  • the output unit 223 includes a FIFO buffer 251 and a differential output interface (I / F) 252.
  • I / F differential output interface
  • the compression unit 222 sufficiently compresses the pixel signal, the occurrence of overflow of the FIFO buffer 251 can be suppressed, and a plurality of lines of pixel signals can be output in one system within a unit time. it can.
  • the structure of the output part 223 is arbitrary and is not limited to the example of FIG.
  • FIG. 32 is a diagram illustrating an example of a main configuration of the compression unit 222 in that case.
  • the structure of the compression part 222 is arbitrary and is not limited to the example of FIG.
  • the CMOS image sensor 200 can output a plurality of pixel signals without increasing the transfer band, it is possible to more easily realize various data outputs.
  • ⁇ Data latch> In the case of an image sensor in which one SingleSlope type A / D converter is assigned to one column of the pixel array, the count value (A / D) counted by the A / D converter for that one A / D converter.
  • One data latch for storing the converted pixel signal (digital data) is provided. By storing the count value in the data latch, the count value can be transferred to the logic unit while reading the next row and performing A / D conversion.
  • a line memory for storing data in different rows is required when it is desired to add or output differential data with other rows.
  • the circuit area (ie, manufacturing cost) and power consumption may increase.
  • a plurality of data latches for storing a count value (pixel signal after A / D conversion (digital data)) counted by the A / D conversion unit are provided for one SingleSlope type A / D conversion unit.
  • the pixel signals (pixel signals of a plurality of lines) can be transferred in parallel (within one unit time).
  • FIG. 33 is a diagram showing an example of a main configuration of the CMOS image sensor in that case.
  • a CMOS image sensor 300 shown in FIG. 33 is an image sensor that captures a subject and obtains digital data of the captured image, as in the CMOS image sensor 100 and the CMOS image sensor 200.
  • a CMOS image sensor will be described as an example, but the present technology can also be applied to an image sensor other than a CMOS image sensor, such as a CCD image sensor.
  • the CMOS image sensor 300 includes a pixel array unit 311, an A / D conversion unit 312, a horizontal transfer path 313, an amplification unit 314, a calculation unit 315, and an image processing unit 316.
  • the CMOS image sensor 300 includes a control unit 331, a vertical scanning unit 332, and a horizontal scanning unit 333.
  • the pixel array unit 311 is a pixel region in which a pixel configuration (unit pixel) 321 having a photoelectric conversion element such as a photodiode is arranged in a planar shape or a curved shape.
  • Each unit pixel 321 of the pixel array unit 111 is controlled by the vertical scanning unit 332 to receive light from the subject, photoelectrically convert the incident light, accumulate electric charges, and store the electric charges at a predetermined timing. Output as a signal.
  • the pixel signal output from each unit pixel 321 is transmitted to the A / D conversion unit 312 for each column through a vertical signal line VSL (for example, VSL0, VSL1, etc.) assigned to the column.
  • VSL vertical signal line
  • the A / D conversion unit 312 has a column A / D conversion unit that performs A / D conversion on the pixel signal of the column for each column.
  • the A / D conversion unit 312 is controlled by the horizontal scanning unit 333 and performs A / D conversion on the pixel signal of each column of the pixel array using each column A / D conversion unit.
  • the pixel signal (digital data) A / D converted by the A / D conversion unit 312 is supplied to the amplification unit 314 through the horizontal transfer path 313, amplified by the amplification unit 314, and supplied to the calculation unit 315.
  • the calculation unit 315 performs a predetermined calculation (for example, addition or subtraction of pixel signals of a plurality of lines) on the supplied pixel signals of the plurality of lines as necessary under the control of the control unit 331.
  • the calculation unit 315 supplies the supplied pixel signal or calculation result to the image processing unit 316.
  • the image processing unit 316 performs predetermined image processing, signal processing, and the like using the pixel signal supplied from the calculation unit 315.
  • the control unit 331 controls each processing unit of the CMOS image sensor 300.
  • the control unit 331 controls the vertical scanning unit 332 to control driving of the unit pixel 321.
  • the control unit 331 controls the A / D conversion unit 312 to perform A / D conversion (more specifically, A / D converted pixels) of the pixel signal read from the pixel array unit 311. Signal latching).
  • the control unit 331 controls the horizontal scanning unit 333 to read out and transfer pixel signals from the A / D conversion units 312 (more specifically, data latches) of each column, which are A / D converted.
  • the control unit 331 controls the calculation unit 315 to control calculation processing using the pixel signal.
  • the vertical scanning unit 332 is controlled by the control unit 331 to control the driving of each unit pixel 321 of the pixel array unit 311 so that the pixel signal is read from the unit pixel 321.
  • the horizontal scanning unit 333 is controlled by the control unit 331 to control the A / D conversion unit 312 to perform A / D conversion of the pixel signal read from the pixel array unit 311 or perform A / D conversion. Transfer the pixel signal.
  • the amplification unit 314, the calculation unit 315, and the image processing unit 316 may be omitted.
  • FIG. 34 is a diagram illustrating an example of a main configuration of the A / D conversion unit 312.
  • the A / D converter 312 has a column A / D converter for each column.
  • the A / D converter 312 includes a D / A converter 351 that supplies a ramp signal to each column A / D converter.
  • the column A / D conversion unit for A / D converting the pixel signal supplied via the vertical signal line VSL0 includes a comparison unit 352-0, a counter 353-0, a selector 354- 0, data latch 355A-0, and data latch 355B-0.
  • a column A / D conversion unit for A / D converting a pixel signal supplied via the vertical signal line VSL1 includes a comparison unit 352-1, a counter 353-1, a selector 354-1, and a data latch 355A-1. And a data latch 355B-1.
  • each column A / D conversion unit includes a comparison unit 352, a counter 353, a selector 354, a data latch 355A, and a data latch 355B.
  • a comparison unit 352 when there is no need to separately describe the configuration of each column, they are referred to as a comparison unit 352, a counter 353, a selector 354, a data latch 355A, and a data latch 355B.
  • the configuration of the column A / D conversion unit of column X is configured by comparing unit 352-X, counter 353-X, selector 354-X, data latch 355A- X, referred to as data latch 355B-X.
  • the data latch 355A and the data latch 355B are referred to as a data latch 355 when it is not necessary to distinguish between them.
  • the comparison unit 352 compares the magnitude of the pixel signal supplied via the vertical signal line VSL of the column and the ramp signal supplied from the D / A conversion unit 351, and the comparison result is sent to the counter 353. Supply.
  • the counter 353 counts the period from the start of the comparison by the comparison unit 352 until the comparison result changes, and outputs the count value to the selector 354.
  • the selector 354 supplies the count value (pixel signal digital data) supplied from the counter 353 to at least one of the data latch 355A and the data latch 355B according to the control of the control unit 331.
  • the data latch 355 latches the pixel signal (digital data) supplied from the selector 354.
  • the data latch 355 supplies the latched pixel signal (digital data) to the horizontal transfer path 313 under the control of the horizontal scanning unit 333 and transfers it to the amplification unit 314.
  • the A / D converter 312 has a column A / D converter for each column of the pixel array, and has two data latches 355 in each column A / D converter. Therefore, the A / D conversion unit 312 can latch the two lines of pixel signals (digital data). Accordingly, the horizontal scanning unit 333 can arbitrarily select and transfer one or both of the pixel signals of the two lines in one unit time (for example, one horizontal synchronization period).
  • the CMOS image sensor 300 can realize pixel signal calculation between lines while suppressing an increase in manufacturing cost and power consumption. Further, since the horizontal scanning unit 333 can select and transfer pixel signals of an arbitrary line, the CMOS image sensor 300 can output pixel signals in more various modes.
  • control unit 331 controls each unit pixel 321 of the pixel array unit 311 via the vertical scanning unit 332 in step S301, and starts from the unit pixel 321 of the current row (current line) to be processed.
  • the pixel signal is read out.
  • step S302 the control unit 331 controls the A / D conversion unit 312 to perform A / D conversion on the pixel signal read from the unit pixel.
  • step S303 the control unit 331 controls the A / D conversion unit 312 (more specifically, the selector 354), and according to the operation mode (readout mode), the A / D converted pixel data of the current row ( The data latch 355 for storing the pixel signal digital data) is selected.
  • step S304 the control unit 331 controls the A / D conversion unit 312 to store the pixel data in the data latch 355 selected in step S303.
  • step S305 the control unit 331 controls the horizontal scanning unit 333 to read out pixel data from the desired data latch 355 according to the operation mode.
  • step S306 the control unit 331 controls the calculation unit 315 to calculate pixel data between lines according to the operation mode. If no calculation is required, the processing in this step can be omitted.
  • step S307 the control unit 331 controls the image processing unit 316 to output pixel data subjected to image processing to the outside of the CMOS image sensor 300.
  • step S308 the control unit 331 determines whether to read out pixel signals of other lines (rows). If there is an unprocessed line and it is determined that the pixel signal of another line (row) is read, the process returns to step S301 and the subsequent processes are repeated. If it is determined in step S308 that pixel signals for other lines are not read, the reading process is terminated.
  • the CMOS image sensor 300 can realize calculation of pixel signals between lines while suppressing an increase in manufacturing cost and power consumption as necessary. Further, the CMOS image sensor 300 can output pixel signals in more various modes.
  • the CMOS image sensor 300 can read out pixel signals as shown in FIG. 36, for example.
  • data obtained by adding the preceding and succeeding rows can be output.
  • each processing unit may be configured as in the example of FIG. 36A, and pixel signals may be read out, latched, and transferred as in the timing chart of the example of FIG. 36B.
  • the Nth row data is stored in both the data latch 355A and the data latch 355B, and the next N + 1 row data is stored only in the data latch 355B.
  • the data latch 355A keeps storing N rows of data.
  • the addition data can be output by adding the two data by the arithmetic unit 315.
  • the data before addition can be output by reading the data in the data latch 355B. Further, for example, the above-described addition data output and pre-addition data output can be performed in parallel.
  • the arithmetic unit 315 adds the data stored in the data latch 355A and the data stored in the data latch 355B, and outputs the addition result (A + B) every other unit time.
  • the data (B) stored in the data latch 355B can be output in each unit time. By doing so, it is possible to output pixel signals by more various methods.
  • the CMOS image sensor 300 can read out pixel signals as shown in FIG. 37, for example.
  • data difference data
  • each processing unit may be configured as in the example of FIG. 37A, and pixel signals may be read, latched, and transferred as in the timing chart of the example of FIG. 37B.
  • the Nth row data is stored only in the data latch 355A, and the next N + 1th row data is stored only in the data latch 355B. That is, the data latch 355 that latches data is switched for each row. By doing so, two consecutive rows of data are stored in the data latch 355A and the data latch 355B. By subtracting these two data by the calculation unit 315, it becomes possible to output difference data.
  • the data before subtraction can be output by alternately reading the data stored in the data latch 355A and the data stored in the data latch 355B. Furthermore, for example, the above-described output of difference data and the output of data before subtraction can be performed in parallel.
  • the arithmetic unit 315 subtracts the data stored in the data latch 355A and the data stored in the data latch 355B, In each unit time, the subtraction result (AB or BA) is output.
  • the data (A) stored in the data latch 355A and the data (B) stored in the data latch 355B are It is possible to output alternately every unit time. By doing so, it is possible to output pixel signals by more various methods.
  • FIG. 38A the configuration is the same as in FIG. 38A (in the case of subtraction), and the data obtained by adding the preceding and succeeding rows is output as in the example of FIG. You can also In that case, pixel signals may be read out, latched, and transferred as in the timing chart of the example of FIG.
  • the Nth row data is stored only in the data latch 355A, and the next N + 1th row data is stored only in the data latch 355B. That is, the data latch 355 that latches data is switched for each row. By doing so, two consecutive rows of data are stored in the data latch 355A and the data latch 355B.
  • the addition data can be output by adding the two data by the arithmetic unit 315.
  • the data before addition can be output.
  • the above-described addition data output and pre-addition data output can be performed in parallel.
  • the arithmetic unit 315 adds the data stored in the data latch 355A and the data stored in the data latch 355B, and outputs the addition result (A + B) every other unit time.
  • the data (A) stored in the data latch 355A and the data (B) stored in the data latch 355B can be alternately output every unit time. By doing so, it is possible to output pixel signals by more various methods.
  • the data stored in each data latch may be calculated (addition or subtraction) by applying a predetermined weight.
  • each column A / D conversion unit each column A / D conversion unit
  • the number of data latches 355 per column is arbitrary.
  • three or more data latches 355 may be provided for each column.
  • pixel data of a larger number of lines can be stored, and more various operations can be performed between the lines. That is, the pixel signal can be output by various methods.
  • the sampling timings of the P phase and the D phase may be shifted from each other, and the respective addition averages may be obtained.
  • the DAC waveforms of each system are shifted from each other. Since the column ADCs of each system operate independently of each other, such control can be easily realized. By doing so, the number of times of sampling is doubled. If there is no correlation between the noises, the signal-to-noise ratio can be improved by outputting the addition average of the signals obtained by both samplings. That is, output data noise can be reduced.
  • a / D conversion processing time per column may be long.
  • the sampling timing may be shifted by relatively shifting the offset of the reference signal (ramp signal) without changing the timing control of the plurality of A / D conversions.
  • the P-phase and D-phase sampling timings may be divided into a plurality, and the average of the outputs may be obtained.
  • the supply timing of the ramp signal is the same in all systems, and therefore control is easier than in the case where the supply timing of the ramp signal is shifted for each system.
  • the method of shifting the offset of the ramp signal for each system can perform A / D conversion in a shorter time than the case of shifting the supply timing of the ramp signal for each system. That is, an increase in A / D conversion processing time can be suppressed. That is, A / D conversion processing can be performed at higher speed.
  • the comparison result between the pixel signal (VSL signal) and the ramp signal 1 indicated by the dotted line 401 does not invert in the P-phase readout period, but the pixel signal (VSL signal) and the ramp indicated by the solid line 402
  • the comparison result with signal 2 is inverted during the P-phase readout period.
  • the offset amount of the ramp signal may be changed according to the slope of the ramp signal. For example, when the slope of the ramp signal is large, the difference in the offset of the ramp signal of each A / D converter is set to be small, and when the slope of the ramp signal is small, the offset of the ramp signal of each A / D converter The difference may be set so as to increase.
  • Whether or not the slope of the ramp signal is large may be determined using a predetermined threshold value. That is, when the slope of the ramp signal is larger than the predetermined threshold (or more than the threshold), it is determined that the slope of the ramp signal is large, and the difference in the offset of the ramp signal of each A / D converter is reduced. When the slope of the ramp signal is less than or equal to a predetermined threshold (or smaller than the threshold), it is determined that the slope of the ramp signal is small, and the offset of the ramp signal of each A / D converter is You may make it set so that a difference may become large.
  • This threshold value is arbitrary, may be a predetermined fixed value, or may be determined based on some information. Further, the offset difference between the ramp signals of each system may be set to a value corresponding to the magnitude of the slope of the ramp signal without using the threshold value.
  • the blackening phenomenon can be corrected normally even when very strong light is incident on the photoelectric conversion unit, and the noise reduction effect by multi-sampling can be obtained. Is possible.
  • the fixed value when a fixed value corrected for blackening is output from any of the output signals using a plurality of system outputs, the fixed value may be selected and output without performing the averaging process.
  • the number of A / D converters per column is arbitrary.
  • Such control can be applied to any image sensor as long as it is an image sensor in which a plurality of A / D conversion units are provided per column.
  • it can be realized in each CMOS image sensor described in each of the above embodiments.
  • the CMOS image sensor 100 of FIG. 1 will be described as an example.
  • the sensor controller 131 determines the slope of the ramp signal output from the D / A conversion unit 113 in step S401.
  • the D / A converter 113 generates and outputs a ramp signal according to the control of the sensor controller 131. That is, the sensor controller 131 determines the slope of the ramp signal based on the control information.
  • the sensor controller 131 may analyze the output waveform of the D / A converter 113 (the waveform of the ramp signal) and determine the inclination thereof.
  • step S402 the sensor controller 131 controls the D / A conversion unit 113, and the ramp signal shift amount (offset difference) as described above according to the magnitude of the ramp signal inclination determined in step S401. To control. When the shift amount of the ramp signal is controlled, the ramp signal control process ends.
  • the CMOS image sensor 100 can obtain a noise reduction effect by multi-sampling and can suppress the occurrence of the blackening phenomenon. That is, the pixel signal can be output by various methods.
  • an imaging element to which the present technology is applied may include a plurality of semiconductor substrates that are overlapped with each other.
  • FIG. 43 is a diagram illustrating a main configuration example of an example of an imaging element to which the present technology is applied.
  • a CMOS image sensor 500 shown in FIG. 43 is an image sensor that captures a subject and obtains digital data of a captured image, in the same manner as each CMOS image sensor described above in each embodiment.
  • the CMOS image sensor 500 has two semiconductor substrates (laminated chips (pixel chip 501 and circuit chip 502)) that are superposed on each other. Note that the number (number of layers) of the semiconductor substrates (laminated chips) may be plural, and may be, for example, three or more layers.
  • the pixel chip 501 is formed with a pixel region 511 in which a plurality of unit pixels including a photoelectric conversion element that photoelectrically converts incident light are arranged.
  • a peripheral circuit region 512 in which a peripheral circuit for processing a pixel signal read from the pixel region 511 is formed.
  • the pixel chip 501 and the circuit chip 502 are overlapped with each other to form a multilayer structure (laminated structure).
  • Each pixel in the pixel area 511 formed in the pixel chip 501 and a peripheral circuit in the peripheral circuit area 512 formed in the circuit chip 502 are through vias (via areas (VIA) 513 and via areas (VIA) 514). VIA) etc. are electrically connected to each other.
  • the CMOS image sensor 500 can have the configuration of each CMOS image sensor described in each embodiment. That is, the present technology can be applied to the CMOS image sensor 500 having such a stacked structure.
  • FIG. 44 is a block diagram illustrating a main configuration example of an imaging device as an example of an electronic apparatus to which the present technology is applied.
  • An imaging apparatus 600 shown in FIG. 44 is an apparatus that images a subject and outputs an image of the subject as an electrical signal.
  • the imaging apparatus 600 includes an optical unit 611, a CMOS image sensor 612, an image processing unit 613, a display unit 614, a codec processing unit 615, a storage unit 616, an output unit 617, a communication unit 618, and a control unit 621. , An operation unit 622, and a drive 623.
  • the optical unit 611 includes a lens that adjusts the focal point to the subject and collects light from the focused position, an aperture that adjusts exposure, a shutter that controls the timing of imaging, and the like.
  • the optical unit 611 transmits light (incident light) from the subject and supplies the light to the CMOS image sensor 612.
  • the CMOS image sensor 612 photoelectrically converts incident light, A / D converts a signal for each pixel (pixel signal), performs signal processing such as CDS, and supplies the processed captured image data to the image processing unit 613. .
  • the image processing unit 613 performs image processing on the captured image data obtained by the CMOS image sensor 612. More specifically, the image processing unit 613 performs, for example, color mixture correction, black level correction, white balance adjustment, demosaic processing, matrix processing, gamma correction, on the captured image data supplied from the CMOS image sensor 612. And various image processing such as YC conversion.
  • the image processing unit 613 supplies captured image data subjected to image processing to the display unit 614.
  • the display unit 614 is configured as a liquid crystal display or the like, for example, and displays an image of captured image data (for example, an image of a subject) supplied from the image processing unit 613.
  • the image processing unit 613 further supplies the captured image data subjected to the image processing to the codec processing unit 615 as necessary.
  • the codec processing unit 615 subjects the captured image data supplied from the image processing unit 613 to encoding processing of a predetermined method, and supplies the obtained encoded data to the storage unit 616. Further, the codec processing unit 615 reads the encoded data recorded in the storage unit 616, decodes it to generate decoded image data, and supplies the decoded image data to the image processing unit 613.
  • the image processing unit 613 performs predetermined image processing on the decoded image data supplied from the codec processing unit 615.
  • the image processing unit 613 supplies the decoded image data subjected to the image processing to the display unit 614.
  • the display unit 614 is configured as a liquid crystal display, for example, and displays an image of the decoded image data supplied from the image processing unit 613.
  • the codec processing unit 615 supplies the encoded data obtained by encoding the captured image data supplied from the image processing unit 613 or the encoded data of the captured image data read from the storage unit 616 to the output unit 617. You may make it output outside the imaging device 600.
  • the codec processing unit 615 supplies captured image data before encoding or decoded image data obtained by decoding encoded data read from the storage unit 616 to the output unit 617, and outputs the image data to the outside of the imaging device 600. You may make it output to.
  • the codec processing unit 615 may transmit the captured image data, the encoded data of the captured image data, or the decoded image data to another device via the communication unit 618. Further, the codec processing unit 615 may acquire captured image data and encoded data of the image data via the communication unit 618. The codec processing unit 615 appropriately encodes and decodes the captured image data acquired through the communication unit 618 and the encoded data of the image data. The codec processing unit 615 may supply the obtained image data or encoded data to the image processing unit 613 as described above, or output it to the storage unit 616, the output unit 617, and the communication unit 618. Good.
  • the storage unit 616 stores encoded data supplied from the codec processing unit 615 and the like.
  • the encoded data stored in the storage unit 616 is read out and decoded by the codec processing unit 615 as necessary.
  • the captured image data obtained by the decoding process is supplied to the display unit 617, and a captured image corresponding to the captured image data is displayed.
  • the output unit 617 has an external output interface such as an external output terminal, and outputs various data supplied via the codec processing unit 615 to the outside of the imaging apparatus 600 via the external output interface.
  • the communication unit 618 supplies various types of information such as image data and encoded data supplied from the codec processing unit 615 to another device that is a communication partner of predetermined communication (wired communication or wireless communication). Further, the communication unit 618 acquires various types of information such as image data and encoded data from another device that is a communication partner of predetermined communication (wired communication or wireless communication), and supplies the acquired information to the codec processing unit 615. .
  • the control unit 621 controls the operation of each processing unit (each processing unit indicated by a dotted line 620, the operation unit 622, and the drive 623) of the imaging apparatus 600.
  • the operation unit 622 includes, for example, an arbitrary input device such as a jog dial (trademark), a key, a button, or a touch panel.
  • the operation unit 622 receives an operation input by a user or the like and supplies a signal corresponding to the operation input to the control unit 621. To do.
  • the drive 623 reads information stored in a removable medium 631 attached to itself, such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the drive 623 reads various information such as programs and data from the removable medium 631 and supplies the information to the control unit 621.
  • the drive 623 stores various information such as image data and encoded data supplied through the control unit 621 in the removable medium 631. .
  • the CMOS image sensor 612 of the imaging apparatus 600 As the CMOS image sensor 612 of the imaging apparatus 600 as described above, the present technology described above in each embodiment is applied. That is, as the CMOS image sensor 612, the CMOS image sensor of each of the above-described embodiments (for example, the CMOS image sensor 100, the CMOS image sensor 200, or the CMOS image sensor 300) is used. Thereby, the CMOS image sensor 612 can more easily realize various data outputs. Therefore, the imaging apparatus 600 can realize more various data output more easily by imaging the subject.
  • the imaging apparatus to which the present technology is applied is not limited to the configuration described above, and may have another configuration.
  • an information processing apparatus having an imaging function such as a mobile phone, a smart phone, a tablet device, and a personal computer.
  • it may be a camera module used by being mounted on another information processing apparatus (or mounted as an embedded device).
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed from a network or a recording medium.
  • this recording medium includes a removable medium 631 on which the program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • the removable medium 631 includes a magnetic disk (including a flexible disk) and an optical disk (including a CD-ROM and a DVD). Further, magneto-optical disks (including MD (Mini-Disc)) and semiconductor memories are also included.
  • the program can be installed in the storage unit 616 by attaching the removable medium 631 to the drive 623.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 18 and installed in the storage unit 616.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 18 and installed in the storage unit 616.
  • this program can be installed in advance in a ROM (Read Only Memory) or the like in the storage unit 616 or the control unit 621.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
  • Information necessary for processing may be transmitted to the apparatus as appropriate.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology is not limited to this, and any configuration mounted on such a device or a device constituting the system, for example, a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • a processor as a system LSI (Large Scale Integration)
  • a module using a plurality of processors a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • this technique can also take the following structures.
  • a plurality of signal lines for transmitting pixel signals read from the pixels are assigned to each column, and a different mode of reading the pixel signals is assigned to each of the plurality of signal lines of each column, A pixel array to which pixels corresponding to the mode are connected; For each column of the pixel array, a pixel signal is read in the mode from pixels connected to the signal line corresponding to a pixel signal reading mode, and the read pixel signal is transmitted via the signal line.
  • An image sensor comprising: a control unit for controlling. (2) The control unit controls to read out a pixel signal from the pixel at a frame rate of the mode corresponding to the pixel. (1), (3) to (13) Image sensor.
  • the control unit further controls the main shutter operation and the pre-shutter operation of each column to be performed at the frame rate of the mode.
  • (1), (2), (4) to (13) The imaging device described.
  • Each column further includes a selection unit that selects a signal line corresponding to a pixel signal readout mode from the plurality of signal lines,
  • the control unit causes the selection unit to select one of the signal lines for each column, reads out a pixel signal from a pixel connected to the signal line selected by the selection unit in the mode, and reads the pixel
  • the imaging device according to any one of (1) to (4) and (6) to (13), wherein control is performed so that a signal is transmitted via the signal line selected by the selection unit.
  • the control unit controls the selection unit to sequentially switch the signal lines to be selected and to read out the pixel signals in a plurality of modes in a time division manner.
  • (1) to (5), (7) to (13) The imaging device according to any one of items.
  • a dummy pixel corresponding to the mode corresponding to the signal line is further connected to each of the plurality of signal lines of each column of the pixel array,
  • the control unit controls each column of the pixel array to read out a pixel signal in the mode from a dummy pixel connected to the signal line corresponding to a pixel signal reading mode.
  • the imaging device according to any one of (1) to (7) and (9) to (13), wherein the control unit further controls to perform a shutter operation of the dummy pixel in the mode.
  • Each column of the pixel array further includes an A / D converter for A / D converting the pixel signal transmitted via the signal line.
  • the imaging device according to any one of (10) In each column of the pixel array, further includes a selection unit that selects a signal line corresponding to a pixel signal readout mode from the plurality of signal lines, The A / D conversion unit performs A / D conversion on the pixel signal read from the pixel connected to the signal line selected by the selection unit.
  • (1) to (9), (11) to (11) 13) The imaging device according to any one of (11) A plurality of the A / D conversion units are provided for each column of the pixel array, The selection unit further selects the A / D conversion unit used for A / D conversion of a pixel signal.
  • the imaging device according to any one of (1) to (10), (12), and (13).
  • the control unit causes the selection unit to select a plurality of signal lines and a plurality of A / D conversion units for each column of the pixel array, For each column of the pixel array, control is performed so that pixel signals in the mode are read in parallel from each other between the signal lines from the pixels connected to the signal lines selected by the selection unit.
  • the imaging device according to any one of (11) to (13).
  • (13) The imaging device according to any one of (1) to (12), wherein an exposure time of each pixel is set for each mode corresponding to a signal line to which the pixel is connected.
  • a plurality of signal lines for transmitting pixel signals read from the pixels are assigned to each column, and a different mode of reading the pixel signals is assigned to each of the plurality of signal lines of each column, For each column of the pixel array to which the pixel corresponding to the mode is connected, the pixel signal is read in the mode from the pixel connected to the signal line corresponding to the pixel signal reading mode, A control method of transmitting the read pixel signal through the signal line.
  • an imaging unit for imaging a subject An image processing unit that performs image processing on image data obtained by imaging by the imaging unit, The imaging unit
  • a plurality of signal lines for transmitting pixel signals read from the pixels are assigned to each column, and a different mode for reading the pixel signals is assigned to each of the plurality of signal lines in each column, corresponding to the mode.
  • a pixel array to which pixels to be connected are connected, For each column of the pixel array, a pixel signal is read in the mode from pixels connected to the signal line corresponding to a pixel signal reading mode, and the read pixel signal is transmitted via the signal line.
  • An imaging device comprising: a control unit for controlling.
  • a pixel array in which a plurality of signal lines for transmitting pixel signals read from the pixels are assigned to each column, and the pixels in each column are connected to any of the plurality of signal lines assigned to the column.
  • a plurality of compression units for compressing the pixel signals A / D converted by the different A / D conversion units, and pixel signals from pixels on a plurality of lines assigned to the different signal lines in each column of the pixel array Are read in parallel, and pixel signals of a plurality of lines read from the pixels of the plurality of lines are respectively transmitted in parallel using the signal lines corresponding to the pixels, and transmitted using the plurality of signal lines.
  • the plurality of lines of pixel signals are A / D-converted in parallel using the plurality of A / D converters, and the pixel signals of different lines A / D-converted by the different A / D converters are An imaging device comprising: a control unit that controls to compress in parallel using a plurality of compression units.
  • the plurality of compression units compress the pixel signals of each line so that the data size after compression of the pixel signals of the plurality of lines is equal to or less than a size that can be transmitted within one unit period.
  • the imaging device according to any one of (20).
  • the controller reads the image signal line by line, The image sensor according to any one of (16), (17), (19), and (20), wherein the plurality of compression units compress the pixel signals of each line so that the data size is halved.
  • a plurality of signal processing units that perform predetermined signal processing in parallel on pixel signals of different lines A / D converted by the different A / D conversion units, The imaging device according to any one of (16) to (19), wherein the plurality of compression units compress in parallel pixel signals of different lines on which the signal processing is performed by the different signal processing units.
  • a pixel array in which a plurality of signal lines for transmitting pixel signals read from the pixels are allocated to each column, and the pixels in each column are connected to any of the plurality of signal lines allocated to the column.
  • the pixel signals are read in parallel from the pixels of a plurality of lines assigned to the different signal lines,
  • the pixel signals of the plurality of lines read from the pixels of the plurality of lines are respectively transmitted in parallel using the signal lines corresponding to the pixels,
  • a control method that compresses A / D converted pixel signals on different lines in parallel.
  • the imaging unit A pixel array in which a plurality of signal lines for transmitting pixel signals read from the pixels are assigned to each column, and a pixel in each column is connected to one of the plurality of signal lines assigned to the column; A plurality of A / D converters for A / D converting pixel signals transmitted through different signal lines of each column of the pixel array; A plurality of compression units for compressing the pixel signals A / D converted by the different A / D conversion units; Pixel signals are read in parallel from pixels of a plurality of lines assigned to different signal lines of each column of the pixel array, and pixel signals of a plurality of lines read from the pixels of the plurality of lines are respectively read from the pixels.
  • the signal lines corresponding to the same are transmitted in parallel, and the pixel signals of the plurality of lines transmitted using the plurality of signal lines are A / D converted in parallel using the plurality of A / D conversion units.
  • a control unit that controls to compress pixel signals of different lines A / D converted by the different A / D conversion units in parallel using the plurality of compression units.
  • (23) a pixel array; A plurality of A / D conversion units that are assigned to each column of the pixel array and each A / D-converts pixel signals read from the pixels of the column; A plurality of latches assigned to each A / D converter, each of which stores the pixel signals A / D converted by the A / D converter, In each column of the pixel array, a pixel signal is read from a pixel of a processing target line, and the pixel signal read from the pixel is converted into an A / D using the A / D conversion unit assigned to the column.
  • the pixel signal that has been converted and A / D converted by the A / D conversion unit is selected from any of a plurality of latches corresponding to the A / D conversion unit, depending on a mode of reading the pixel signal, or
  • An image sensor comprising: a control unit that stores all the data and controls to read out the pixel signals stored in any or all of the plurality of latches according to the mode. (24) A calculation unit that adds or subtracts the pixel signals read from the plurality of latches, The image sensor according to (23), wherein the control unit controls the pixel signals read from the plurality of latches to be added or subtracted using the arithmetic unit according to the mode.
  • the pixel signal is read from the pixel of the processing target line of the column, A / D conversion of the pixel signal read from the pixel, The A / D converted pixel signal is stored in any or all of a plurality of latches according to the readout mode of the pixel signal, A control method for reading out the pixel signal stored in any or all of the plurality of latches according to the mode.
  • an imaging unit for imaging a subject An image processing unit that performs image processing on image data obtained by imaging by the imaging unit, The imaging unit A pixel array; A plurality of A / D conversion units that are assigned to each column of the pixel array and each A / D-converts pixel signals read from the pixels of the column; A plurality of latches assigned to each A / D converter, each of which stores the pixel signals A / D converted by the A / D converter, In each column of the pixel array, a pixel signal is read from a pixel of a processing target line, and the pixel signal read from the pixel is converted into an A / D using the A / D conversion unit assigned to the column.
  • the pixel signal that has been converted and A / D converted by the A / D conversion unit is selected from any of a plurality of latches corresponding to the A / D conversion unit, depending on a mode of reading the pixel signal, or And a control unit that controls to read out the pixel signals stored in any or all of the plurality of latches according to the mode.
  • a pixel array A plurality of A / D converters that are assigned to each column of the pixel array, each A / D-converts pixel signals read from the pixels of the column using different ramp signals;
  • the offset of the ramp signal of each A / D converter is set to a different value, and in each column of the pixel array, the pixel signal is read from the pixel of the line to be processed, and the pixel signal read from the pixel is read
  • a control unit that performs control to perform A / D conversion using the plurality of A / D conversion units assigned to the column.
  • the control unit sets the offset difference of the ramp signal of each A / D conversion unit to be small, and when the slope of the ramp signal is small, The imaging device according to (27) or (28), wherein the difference between the offsets of the ramp signals of the D conversion unit is set to be large.
  • a plurality of A / D conversion units that are assigned to the respective columns of the pixel array and each A / D-converts the pixel signals read from the pixels of the column using different ramp signals.
  • each column of the pixel array the pixel signal is read from the pixel of the processing target line, A control method in which the pixel signals read from the pixels are A / D converted by the plurality of A / D conversion units assigned to the column.
  • an imaging unit for imaging a subject An image processing unit that performs image processing on image data obtained by imaging by the imaging unit, The imaging unit A pixel array; A plurality of A / D converters that are assigned to each column of the pixel array, each A / D-converts pixel signals read from the pixels of the column using different ramp signals; The offset of the ramp signal of each A / D converter is set to a different value, and in each column of the pixel array, the pixel signal is read from the pixel of the line to be processed, and the pixel signal read from the pixel is read A control unit that performs control to perform A / D conversion using the plurality of A / D conversion units assigned to the column.
  • CMOS image sensor 111 pixel array unit, 112 readout unit, 113 D / A conversion unit, 121 column pixel unit, 122 selection unit, 123 column A / D conversion unit, 124 horizontal transfer unit, 131 sensor controller, 132 vertical scan Unit, 133 horizontal scanning unit, 141 address decoder, 142 pixel drive unit, 151 unit pixel, 161 photodiode, 162 readout transistor, 163 reset transistor, 164 amplification transistor, 165 select transistor, 181 current source, 182 comparison unit, 183 counter , 200 CMOS image sensor, 221 horizontal processing unit, 222 compression unit, 223 output unit, 300 CMOS image sensor, 311 pixels Ray section, 312 A / D conversion section, 313 horizontal transfer path, 314 amplification section, 315 calculation section, 316 image processing section, 321 unit pixel, 331 control section, 332 vertical scanning section, 333 horizontal scanning section, 351 D / A Conversion unit, 352 comparison unit, 353 counter, 354 selector

Abstract

　本技術は、より容易に、より多様なデータ出力を実現することができるようにする撮像素子、制御方法、並びに、撮像装置に関する。 本技術の一側面においては、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の信号線のそれぞれに、画素信号の読み出しの互いに異なるモードが割り当てられ、そのモードに対応する画素が接続される画素アレイの各カラムについて、画素信号の読み出しのモードに対応する信号線に接続される画素から画素信号がそのモードで読み出され、読み出された画素信号が信号線を介して伝送される。本技術は、例えば、撮像素子や撮像装置に適用することができる。

Description

撮像素子、制御方法、並びに、撮像装置
　本技術は、撮像素子、制御方法、並びに、撮像装置に関し、特に、より容易に、より多様なデータ出力を実現することができるようにした撮像素子、制御方法、並びに、撮像装置に関する。
　従来、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子において、列毎に画素が接続される各出力線に対して、それぞれ複数のA/D変換器（ADC（Analog Digital Converter））が接続され、その複数のADCを用いることにより高速なデータ読み出しを実現するものがあった（例えば、特許文献１参照）。
　また、各出力線に対し複数の比較器とカウンタを搭載し、D/A変換器（DAC（Digital Analog Converter））の電圧を任意の値だけずらし、高ビット精度の信号を高速に読み出すものもあった（例えば、特許文献２参照）。
　さらに、読み出し信号に対して２回のA/D変換を実施することで低ノイズ化やダイナミックレンジ向上を実現するものあった（例えば、特許文献３および特許文献４参照）。
特開２００５－３４７９３２号公報 特開２０１０－２５２１４０号公報 特開２００９－２９６４２３号公報 特開２００８－０１２４８２号公報
　しかしながら、特許文献１に記載の方法の場合、高速な読み出しが可能であるのみであり、例えばダイナミックレンジの拡張やノイズの低減等、高機能性への展開を図ることは困難であった。
　また、特許文献２に記載の方法の場合、ADCが複数設けられてはいるものの、その構成は分解能の向上のみに利用されており、例えばノイズの低減や、低消費電力化等を実現することは困難であった。
　さらに、特許文献３や特許文献４に記載の方法の場合、処理時間が増大しており、高速な読み出しを行うことが困難であった。
　近年、情報処理技術の向上により、画像処理や撮像装置もより多機能化および高機能化の一途を辿っている。これに伴い、撮像素子から出力される画像データに要求される出力形式も、より多様化している。しかしなら、従来の方法では、上述したように、多様なデータ出力形式に対応することが困難であった。
　本開示は、このような状況に鑑みてなされたものであり、より容易に、より多様なデータ出力を実現することを目的とする。
　本技術の一側面は、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイと、前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記信号線を介して伝送させるように制御する制御部とを備える撮像素子である。
　前記制御部は、前記画素からの画素信号の読み出しを、前記画素に対応する前記モードのフレームレートで行うように制御することができる。
　前記制御部は、さらに、各カラムのメインシャッタ動作およびプリシャッタ動作を前記モードのフレームレートで行うように制御することができる。
　各カラムにおいて、各信号線に割り当てられる画素数が互いに異なるようにすることができる。
　各カラムにおいて、画素信号の読み出しのモードに対応する信号線を、前記複数の信号線の中から選択する選択部をさらに備え、前記制御部は、各カラムについて、前記選択部にいずれかの前記信号線を選択させ、前記選択部により選択された信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記選択部により選択された信号線を介して伝送させるように制御することができる。
　前記制御部は、前記選択部に、選択する信号線を順次切り替えさせ、複数モードの画素信号の読み出しを時分割で行うように制御することができる。
　前記画素アレイの各カラムの複数の前記信号線のそれぞれに、前記信号線に対応する前記モードに対応するダミー画素がさらに接続され、前記制御部は、前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続されるダミー画素から画素信号を前記モードで読み出すように制御することができる。
　前記制御部は、さらに、前記ダミー画素のシャッタ動作を前記モードで行うように制御することができる。
　前記画素アレイの各カラムにおいて、前記信号線を介して伝送される前記画素信号をA/D変換するA/D変換部をさらに備えることができる。
　前記画素アレイの各カラムにおいて、画素信号の読み出しのモードに対応する信号線を、前記複数の信号線の中から選択する選択部をさらに備え、前記A/D変換部は、前記選択部により選択された前記信号線に接続される画素から読み出された前記画素信号をA/D変換することができる。
　前記画素アレイの各カラムに対して、前記A/D変換部が複数備えられ、前記選択部は、画素信号のA/D変換に用いる前記A/D変換部をさらに選択することができる。
　前記制御部は、前記画素アレイの各カラムについて、前記選択部に複数の信号線と複数のA/D変換部を選択させ、前記画素アレイの各カラムについて、前記選択部により選択された各信号線に接続される画素からの前記モードでの画素信号の読み出しを、前記信号線間で互いに並列に行うように制御することができる。
　各画素の露光時間は、前記画素が接続される信号線に対応するモード毎に設定されるようにすることができる。
　本技術の一側面は、また、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出させ、読み出させた前記画素信号を前記信号線を介して伝送させる制御方法である。
　本技術の一側面は、さらに、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイと、前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記信号線を介して伝送させるように制御する制御部とを備える撮像装置である。
　本技術の他の側面は、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイと、前記画素アレイの各カラムの互いに異なる信号線を介して伝送される画素信号をA/D変換する複数のA/D変換部と、互いに異なる前記A/D変換部によりA/D変換された前記画素信号を圧縮する複数の圧縮部と前記画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出し、前記複数ラインの画素から読み出された複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送し、前記複数の信号線を用いて伝送された前記複数ラインの画素信号を前記複数のA/D変換部を用いて並列にA/D変換し、互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号を前記複数の圧縮部を用いて並列に圧縮するように制御する制御部とを備える撮像素子である。
　前記複数の圧縮部は、前記複数ラインの画素信号の圧縮後のデータサイズが１単位期間内に伝送可能なサイズ以下になるように、各ラインの画素信号を圧縮することができる。
　前記制御部は、２ラインずつ画像信号を読み出させ、前記複数の圧縮部は、各ラインの画素信号を、データサイズが半分になるように圧縮することができる。
　前記圧縮部は、前記画素信号を、所定のビットレートで圧縮することができる。
　互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号に対して、所定の信号処理を並列に行う複数の信号処理部をさらに備え、前記複数の圧縮部は、互いに異なる前記信号処理部により前記信号処理が行われた互いに異なるラインの画素信号を並列に圧縮することができる。
　本技術の他の側面は、また、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出させ、前記複数ラインの画素から読み出させた前記複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送させ、前記複数の信号線を用いて伝送させた前記複数ラインの画素信号を並列にA/D変換させ、A/D変換させた互いに異なるラインの画素信号を並列に圧縮させる制御方法である。
　本技術の他の側面は、さらに、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイと、前記画素アレイの各カラムの互いに異なる信号線を介して伝送される画素信号をA/D変換する複数のA/D変換部と、互いに異なる前記A/D変換部によりA/D変換された前記画素信号を圧縮する複数の圧縮部と、前記画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出し、前記複数ラインの画素から読み出された複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送し、前記複数の信号線を用いて伝送された前記複数ラインの画素信号を前記複数のA/D変換部を用いて並列にA/D変換し、互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号を前記複数の圧縮部を用いて並列に圧縮するように制御する制御部とを備える撮像装置である。
　本技術のさらに他の側面は、画素アレイと、前記画素アレイの各カラムに対して割り当てられ、それぞれが前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、各A/D変換部に対して複数個ずつ割り当てられ、それぞれが前記A/D変換部によりA/D変換された前記画素信号を記憶する複数のラッチと、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記A/D変換部を用いてA/D変換し、前記A/D変換部によりA/D変換された前記画素信号を、前記画素信号の読み出しのモードに応じて、前記A/D変換部に対応する複数のラッチのうちのいずれか若しくは全部に記憶し、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶されている前記画素信号を読み出すように制御する制御部とを備える撮像素子である。
　前記複数のラッチから読み出された前記画素信号同士を加算若しくは減算する演算部をさらに備え、前記制御部は、前記モードに応じて、前記複数のラッチから読み出された前記画素信号同士を、前記演算部を用いて加算若しくは減算するように制御することができる。
　本技術のさらに他の側面は、また、画素アレイの各カラムについて、前記カラムの処理対象のラインの画素から画素信号を読み出させ、前記画素から読み出させた前記画素信号をA/D変換させ、A/D変換させた前記画素信号を、前記画素信号の読み出しのモードに応じて、複数のラッチのうちのいずれか若しくは全部に記憶させ、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶させている前記画素信号を読み出させる制御方法である。
　本技術のさらに他の側面は、さらに、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、画素アレイと、前記画素アレイの各カラムに対して割り当てられ、それぞれが前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、各A/D変換部に対して複数個ずつ割り当てられ、それぞれが前記A/D変換部によりA/D変換された前記画素信号を記憶する複数のラッチと、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記A/D変換部を用いてA/D変換し、前記A/D変換部によりA/D変換された前記画素信号を、前記画素信号の読み出しのモードに応じて、前記A/D変換部に対応する複数のラッチのうちのいずれか若しくは全部に記憶し、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶されている前記画素信号を読み出すように制御する制御部とを備える撮像装置である。
　本技術の他の側面は、画素アレイと、前記画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、各A/D変換部のランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部を用いてA/D変換するように制御する制御部とを備える撮像素子である。
　前記制御部は、前記ランプ信号の傾きの大きさに応じて、各A/D変換部のランプ信号のオフセットを設定することができる。
　前記制御部は、前記ランプ信号の傾きが大きい場合、各A/D変換部のランプ信号のオフセットの差が小さくなるように設定し、前記ランプ信号の傾きが小さい場合、各A/D変換部のランプ信号のオフセットの差が大きくなるように設定することができる。
　本技術の他の側面は、また、画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部のそれぞれのランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出させ、前記画素から読み出させた前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部にA/D変換させる制御方法である。
　本技術の他の側面は、さらに、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、画素アレイと、前記画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、各A/D変換部のランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部を用いてA/D変換するように制御する制御部とを備える撮像装置である。
　本技術の一側面においては、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の信号線のそれぞれに、画素信号の読み出しの互いに異なるモードが割り当てられ、そのモードに対応する画素が接続される画素アレイの各カラムについて、画素信号の読み出しのモードに対応する信号線に接続される画素から画素信号がそのモードで読み出され、読み出された画素信号が信号線を介して伝送される。
　本技術の他の側面においては、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、カラムに割り当てられた複数の信号線のいずれかに接続される画素アレイの各カラムの、互いに異なる信号線に割り当てられた複数ラインの画素から画素信号が並列に読み出され、複数ラインの画素から読み出された複数ラインの画素信号が、それぞれ、画素に対応する信号線を用いて並列に伝送され、複数の信号線を用いて伝送された複数ラインの画素信号が並列にA/D変換され、A/D変換された互いに異なるラインの画素信号が並列に圧縮される。
　本技術のさらに他の側面においては、画素アレイの各カラムについて、カラムの処理対象のラインの画素から画素信号が読み出され、画素から読み出された画素信号がA/D変換され、A/D変換された画素信号が、画素信号の読み出しのモードに応じて、複数のラッチのうちのいずれか若しくは全部に記憶され、モードに応じて、複数のラッチのうちのいずれか若しくは全部に記憶されている画素信号が読み出される。
　本技術の他の側面においては、画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部のそれぞれのランプ信号のオフセットを互いに異なる値に設定され、画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号が読み出され、画素から読み出された画素信号が、カラムに割り当てられた複数のA/D変換部にA/D変換される。
　本技術によれば、被写体を撮像することができる。特に、より容易に、より多様なデータ出力を実現することができる。
本技術を適用したイメージセンサの主な構成例を示すブロック図である。 カラム画素部の主な構成例を示す図である。 単位画素の主な構成例を示す図である。 単位画素の他の構成例を示す図である。 選択部の主な構成例を示す図である。 カラムA/D変換部の主な構成例を示す図である。 アドレスデコーダの主な構成例を示す図である。 画素駆動部の主な構成例を示す図である。 画素読み出しの様子の例を説明するタイミングチャートである。 アドレスデコーダの駆動の様子の例を説明するタイミングチャートである。 単位画素動作制御の様子の例を説明するタイミングチャートである。 A/D変換部の駆動の様子の例を説明するタイミングチャートである。 ２ストリーム読み出しの様子の例を示す図である。 読み出し処理の流れの例を説明するフローチャートである。 ２ストリームアクセスの様子の例を示す図である。 ２ストリームアクセスの様子の他の例を示す図である。 ２ストリームアクセスの様子の他の例を示す図である。 ２ストリームアクセスの様子の他の例を示す図である。 ２ストリームアクセスの様子の他の例を示す図である。 ２ストリームアクセスの様子の他の例を示す図である。 ２ストリームアクセスの様子の他の例を示す図である。 時分割の２ストリームアクセスの様子の例を示す図である。 ダミーアドレス適用の例を示す図である。 ダミーアドレス適用の例を示す図である。 倍速読み出しの例を示す図である。 倍速読み出しの他の例を示す図である。 倍速読み出しの例を示す図である。 高S/N読み出しの例を示す図である。 本技術を適用したイメージセンサの他の構成例を示すブロック図である。 圧縮の様子の例を示す図である。 水平処理部の例を示す図である。 圧縮部の例を示す図である。 本技術を適用したイメージセンサの他の構成例を示すブロック図である。 A/D変換部の主な構成例を示すブロック図である。 読み出し処理の流れの例を説明するフローチャートである。 画素信号読み出しに関する構成の例を示す図である。 画素信号読み出しに関する構成の他の例を示す図である。 画素信号読み出しに関する構成のさらに他の例を示す図である。 ランプ信号のオフセットのずらし量の保護の他の例を示す図である。 オフセットのずらし量の保護の例を示す図である。 オフセットのずらし量の保護の他の例を示す図である。 ランプ信号制御処理の流れの例を説明するフローチャートである。 撮像素子の主な構成例を示す図である。 撮像装置の主な構成例を示す図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（CMOSイメージセンサ）
　２．第２の実施の形態（CMOSイメージセンサ）
　３．第３の実施の形態（CMOSイメージセンサ）
　４．第４の実施の形態（CMOSイメージセンサ）
　５．第５の実施の形態（CMOSイメージセンサ）
　６．第６の実施の形態（撮像装置）
　＜１．第１の実施の形態＞
　　＜CMOSイメージセンサ＞
　図１は、本技術を適用した撮像素子の一実施の形態であるCMOS（Complementary Metal Oxide Semiconductor）イメージセンサの一部の構成例を示すブロック図である。図１に示されるCMOSイメージセンサ１００は、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。なお、本明細書においては、CMOSイメージセンサを例に説明するが、本技術は、例えば、CCD（Charge Coupled Device）イメージセンサ等の、CMOSイメージセンサ以外の撮像素子にも適用することができる。
　図１に示されるように、CMOSイメージセンサ１００は、画素アレイ部１１１、読み出し部１１２Ａ、読み出し部１１２Ｂ、およびD/A変換部１１３を有する。
　画素アレイ部１１１は、フォトダイオード等の光電変換素子を有する画素構成（単位画素）が平面状または曲面状に配置される画素領域である。画素アレイ部１１１の各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。
　画素アレイ部１１１において、単位画素は、例えば行列（アレイ）状に配置される。各単位画素には、画素信号を転送する信号線（垂直信号線）が単位画素のカラム（列）毎に割り当てられる。また、画素信号の読み出しに関する動作は、単位画素のライン（行）毎に制御される。
　なお、この画素アレイは、各単位画素を互いに異なる２方向に分類（グループ化）することができる構成であればどのようなものであってもよく、互いに直交する２直線方向に並べられるNxMの典型的な行列構成でなくてもよい。つまり、例えばハニカム構造のように、単位画素のライン（行）やカラム（列）が直線でなくてもよい。すなわち、各ラインや各カラムの単位画素が直線状に並べられていなくてもよいし、単位画素のラインとカラムが直交していなくてもよい。
　つまり、画素アレイ部１１１は、単位画素の１カラム（列）分の構成であるカラム画素部１２１を、画素アレイのカラム数の数だけ有する。図１には１カラム（列）分の構成のみ示しているが、例えば、画素アレイ部１１１がＰ（Ｐは自然数）列の単位画素を有する場合、画素アレイ部１１１は、Ｐ個のカラム画素部１２１を有する。カラム画素部１２１の詳細については後述するが、カラム画素部１２１は、当該カラムの単位画素から読み出された画素信号を伝送する信号線（垂直信号線）を複数（例えばＮ本（Ｎは２以上の自然数））有する。つまり、カラム画素部１２１からは複数（例えばＮ個）の画素信号を並列に読み出すことができる。
　読み出し部１１２Ａは、画素アレイ部１１１から画素信号を読み出し、A/D変換等の信号処理を行って出力する。読み出し部１１２Ａは、画素アレイ部１１１の各カラム（各カラム画素部１２１）に対して、選択部１２２ＡおよびカラムA/D変換部１２３Ａを有する。つまり、図１には１カラム（列）分の構成のみ示しているが、例えば、画素アレイ部１１１がＰ列の単位画素を有する場合、読み出し部１１２Ａは、Ｐ個の選択部１２２ＡとカラムA/D変換部１２３Ａを有する。
　選択部１２２Ａは、自身が対応するカラム画素部１２１の複数（例えばＮ本）の垂直信号線の中から、画素信号をカラムA/D変換部１２３Ａに供給する信号線を選択する。すなわち、選択部１２２Ａは、カラム画素部１２１の垂直信号線（その垂直信号線に接続される単位画素）とカラムA/D変換部１２３Ａとの接続を制御する。
　カラムA/D変換部１２３Ａは、自身が対応する選択部１２２Ａを介してカラム画素部１２１から伝送される画素信号（アナログデータ）をA/D変換する。カラムA/D変換部１２３Ａは、複数（例えばＭ個（Ｍは２以上の自然数。ただしＭ≦Ｎ））のA/D変換部を有し、選択部１２２Ａを介して伝送される複数（例えばＭ個）の画素信号を並列にA/D変換することができる。つまり、選択部１２２Ａは、例えば、Ｎ本の中からＭ本の垂直信号線を選択し、カラムA/D変換部１２３Ａに接続させることができる。
　カラムA/D変換部１２３Ａは、D/A変換部１１３から供給されるランプ信号を用いて画素信号をA/D変換する。詳細については後述する。
　読み出し部１１２Ａは、さらに水平転送部１２４Ａを有する。水平転送部１２４Ａは、各カラムA/D変換部１２３Ａから出力される画素信号（デジタルデータ）、すなわち、画素アレイ部１１１の各カラムの画素信号を順次出力する。例えば、例えば、画素アレイ部１１１がＰ列の単位画素を有し、各カラムA/D変換部１２３ＡがＭ個のA/D変換部を有する場合、水平転送部１２４Ａには、PxM個の画素信号が並列に供給される。水平転送部１２４Ａは、そのPxMの画素信号を順次伝送する。水平転送部１２４Ａから出力される画素信号は、例えば、信号処理部等の後段の処理部（図示せず）に供給される。この後段の処理部は、CMOSイメージセンサ１００の内部に設けられるようにしてもよいし、外部に設けられるようにしてもよい。
　読み出し部１１２Ｂは、読み出し部１１２Ａと同様の処理部であり、読み出し部１１２Ａと同様の構成を有し、読み出し部１１２Ａと同様の処理を行う。すなわち、読み出し部１１２Ｂは、画素アレイ部１１１の単位画素のカラム毎に選択部１２２ＢおよびカラムA/D変換部１２３Ｂを有し、さらに水平転送部１２４Ｂを有する。選択部１２２Ｂは、選択部１２２Ａと同様の処理部であり、選択部１２２Ａと同様の構成を有し、選択部１２２Ａと同様の処理を行う。カラムA/D変換部１２３Ｂは、カラムA/D変換部１２３Ａと同様の処理部であり、カラムA/D変換部１２３Ａと同様の構成を有し、カラムA/D変換部１２３Ａと同様の処理を行う。水平転送部１２４Ｂは、水平転送部１２４Ａと同様の処理部であり、水平転送部１２４Ａと同様の構成を有し、水平転送部１２４Ａと同様の処理を行う。
　以下において、読み出し部１１２Ａおよび読み出し部１１２Ｂを互いに区別して説明する必要が無い場合、単に読み出し部１１２と称する。同様に、選択部１２２Ａおよび選択部１２２Ｂを互いに区別して説明する必要が無い場合、単に選択部１２２と称する。同様に、カラムA/D変換部１２３ＡおよびカラムA/D変換部１２３Ｂを互いに区別して説明する必要が無い場合、単にカラムA/D変換部１２３と称する。同様に、水平転送部１２４Ａおよび水平転送部１２４Ｂを互いに区別して説明する必要が無い場合、単に水平転送部１２４と称する。
　D/A変換部１１３は、各カラムA/D変換部１２３に所定のランプ信号を供給する。
　以上のように図１の例の場合、CMOSイメージセンサ１００は、画素アレイ部１１１から画素信号を読み出す経路を２系統有する。つまり、図１の例の場合、読み出し部１１２が読み出し部１１２Ａと読み出し部１１２Ｂの２つの構成とされている。ただし、この経路の数は任意であり、１系統であってもよいし、３系統以上であってもよい。つまり、読み出し部１１２Ａと読み出し部１１２Ｂを１つの読み出し部１１２として構成するようにしてもよいし、例えば、読み出し部１１２Ａ、読み出し部１１２Ｂ、読み出し部１１２Ｃ（図示せず）、・・・のように、読み出し部１１２を３つ以上の構成としてもよい。
　CMOSイメージセンサ１００は、さらに、センサコントローラ１３１、垂直走査部１３２、および水平走査部１３３を有する。
　センサコントローラ１３１は、CMOSイメージセンサ１００の各処理部の動作を制御する。例えば、センサコントローラ１３１は、垂直走査部１３２や水平走査部１３３を制御して、画素アレイ部１１１からの画素信号の読み出しを制御する。
　垂直走査部１３２は、センサコントローラ１３１に制御されて、画素アレイ部１１１の各カラムの各単位画素をライン毎に駆動させ、画素信号を読み出させる。垂直走査部１３２は、アドレスデコーダ１４１および画素駆動部１４２を有する。アドレスデコーダ１４１は、センサコントローラ１３１から供給されるアドレス指定情報をデコードし、画素駆動部１４２の指定されたアドレスに対応する構成に制御信号を供給する。画素駆動部１４２は、センサコントローラ１３１に制御されて、画素アレイ部１１１の各単位画素に対して駆動させる制御信号を供給する。画素駆動部１４２は、制御信号を供給する構成を画素アレイのライン毎に有する。画素駆動部１４２は、アドレスデコーダ１４１により指定された構成を用いて、センサコントローラ１３１から指定された制御内容に対応する制御信号を、画素アレイ部１１１（すなわち、センサコントローラ１３１により指定されたラインの各単位画素）に供給する。
　水平走査部１３３は、読み出し部１１２の動作を制御し、画素アレイ部１１１から供給される各カラムの画素信号を順次後段に伝送させる。
　　＜カラム画素部＞
　カラム画素部１２１の主な構成の例を図２に示す。上述したように、カラム画素部１２１には、複数（例えばＮ本（Ｎは２以上の自然数））の垂直信号線が割り当てられている。カラム画素部１２１の各単位画素（すなわち画素アレイの当該カラムの各単位画素）は、この複数の垂直信号線のいずれかに接続される。また、カラム画素部１２１が有する単位画素の数は任意である。
　図２の例の場合、４本の垂直信号線（VSL0、VLS1、VSL2、VSL3）が割り当てられており、４つの単位画素（単位画素１５１Ａ、単位画素１５１Ｂ、単位画素１５１Ｃ、単位画素１５１Ｄ）が示され、単位画素１５１Ａは垂直信号線VSL0に接続され、単位画素１５１Ｂは垂直信号線VSL1に接続され、単位画素１５１Ｃは垂直信号線VSL2に接続され、単位画素１５１Ｄは垂直信号線VSL3に接続されている。カラム画素部１２１が５つ以上単位画素を有する場合、その他の単位画素も同様に、４本の垂直信号線（VSL0、VLS1、VSL2、VSL3）のいずれかに接続される。
　なお、以下において、単位画素を互いに区別して説明する必要が無い場合、単に、単位画素１５１と称する。また、垂直信号線を互いに区別して説明する必要が無い場合、単に、垂直信号線VSLと称する。
　　＜単位画素＞
　単位画素１５１の主な構成の例を図３に示す。図３に示されるように、単位画素１５１は、フォトダイオード１６１、読み出しトランジスタ１６２、リセットトランジスタ１６３、増幅トランジスタ１６４、およびセレクトトランジスタ１６５を有する。
　フォトダイオード（PD）１６１は、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード１６１のアノード電極は画素領域のグランド（画素グランド）に接続され、カソード電極は読み出しトランジスタ１６２を介してフローティングディフュージョン（FD）に接続される。
　読み出しトランジスタ１６２は、フォトダイオード１６１からの光電荷の読み出しを制御する。読み出しトランジスタ１６２は、ドレイン電極がフローティングディフュージョンに接続され、ソース電極がフォトダイオード１６１のカソード電極に接続される。また、読み出しトランジスタ１６２のゲート電極には、画素駆動部１４２から制御信号TRGが供給される。制御信号TRG（すなわち、読み出しトランジスタ１６２のゲート電位）がオフ状態のとき、フォトダイオード１６１からの光電荷の読み出しが行われない（フォトダイオード１６１において光電荷が蓄積される）。制御信号TRG（すなわち、読み出しトランジスタ１６２のゲート電位）がオン状態のとき、フォトダイオード１６１に蓄積された光電荷が読み出され、フローティングディフュージョン（FD）に供給される。
　リセットトランジスタ１６３は、フローティングディフュージョン（FD）の電位をリセットする。リセットトランジスタ１６３は、ドレイン電極が電源電位に接続され、ソース電極がフローティングディフュージョン（FD）に接続される。また、リセットトランジスタ１６３のゲート電極には、画素駆動部１４２から制御信号RSTが供給される。制御信号RST（すなわち、リセットトランジスタ１６３のゲート電位）がオフ状態のとき、フローティングディフュージョン（FD）は電源電位と切り離されている。制御信号RST（すなわち、リセットトランジスタ１６３のゲート電位）がオン状態のとき、フローティングディフュージョン（FD）の電荷が電源電位に捨てられ、フローティングディフュージョン（FD）がリセットされる。
　増幅トランジスタ１６４は、フローティングディフュージョン（FD）の電位変化を増幅し、電気信号（アナログ信号）として出力する。増幅トランジスタ１６４は、ゲート電極がフローティングディフュージョン（FD）に接続され、ドレイン電極が電源電位に接続され、ソース電極がセレクトトランジスタ１６５のドレイン電極に接続されている。例えば、増幅トランジスタ１６４は、リセットトランジスタ１６３によってリセットされたフローティングディフュージョン（FD）の電位をリセット信号（リセットレベル）としてセレクトトランジスタ１６５に出力する。また、増幅トランジスタ１６４は、読み出しトランジスタ１６２によって光電荷が転送されたフローティングディフュージョン（FD）の電位を光蓄積信号（信号レベル）としてセレクトトランジスタ１６５に出力する。
　セレクトトランジスタ１６５は、増幅トランジスタ１６４から供給される電気信号の垂直信号線VSLへの出力を制御する。セレクトトランジスタ１６５は、ドレイン電極が増幅トランジスタ１６４のソース電極に接続され、ソース電極が垂直信号線VSLに接続されている。また、セレクトトランジスタ１６５のゲート電極には、画素駆動部１４２から制御信号SELが供給される。制御信号SEL（すなわち、セレクトトランジスタ１６５のゲート電位）がオフ状態のとき、増幅トランジスタ１６４と垂直信号線VSLは電気的に切り離されている。したがって、この状態のとき、当該単位画素から画素信号が出力されない。制御信号SEL（すなわち、セレクトトランジスタ１６５のゲート電位）がオン状態のとき、当該単位画素が選択状態となる。つまり、増幅トランジスタ１６４と垂直信号線VSLが電気的に接続され、増幅トランジスタ１６４から出力される信号が、当該単位画素の画素信号として、垂直信号線VSLに供給される。すなわち、当該単位画素から画素信号が読み出される。
　　＜単位画素の他の例＞
　単位画素１５１の構成は任意であり、図３の例に限定されない。例えば、読み出しトランジスタ１６２が省略されていてもよい。また、１単位画素当たりの画素数は任意であり、図３の例のように１画素であってもよいし、複数画素であってもよい。
　複数画素を有する場合の単位画素の構成例を図４に示す。図４の例の場合、単位画素１５１は、フォトダイオード１６１を４つ有する（フォトダイオード１６１－０、フォトダイオード１６１－１、フォトダイオード１６１－２、フォトダイオード１６１－３）。つまり、この場合、単位画素１５１は、４画素により構成される。各フォトダイオード１６１は、互いに同一の特性を有するようにしてもよいが、互いに異なる特性を有するようにしてもよい。例えば、これらのフォトダイオード１６１のうち、一部若しくは全部が、他と異なる波長帯域の入射光を光電変換するようにしてもよい。例えば、フォトダイオード１６１－０乃至フォトダイオード１６１－３を２行２列に配列し、左上のフォトダイオード１６１－０が主に赤（R）の帯域を光電変換し、右上のフォトダイオード１６１－１が主に緑（GR）の帯域を光電変換し、左下のフォトダイオード１６１－２が主に緑（GB）の帯域を光電変換し、右下のフォトダイオード１６１－３が主に青（B）の帯域を光電変換するようにしてもよい。このようにすることにより、単位画素１５１がベイヤ配列の１単位を構成するようにすることができる。
　また、図４の例の場合、単位画素１５１は、読み出しトランジスタ１６２を４つ有する（読み出しトランジスタ１６２－０、読み出しトランジスタ１６２－１、読み出しトランジスタ１６２－２、読み出しトランジスタ１６２－３）。読み出しトランジスタ１６２－０は、画素駆動部１４２から供給される制御信号TRG（TR0）に基づいて、フォトダイオード１６１－０からの光電荷の読み出しを制御する。読み出しトランジスタ１６２－１は、画素駆動部１４２から供給される制御信号TRG（TR1）に基づいて、フォトダイオード１６１－１からの光電荷の読み出しを制御する。読み出しトランジスタ１６２－２は、画素駆動部１４２から供給される制御信号TRG（TR2）に基づいて、フォトダイオード１６１－２からの光電荷の読み出しを制御する。読み出しトランジスタ１６２－３は、画素駆動部１４２から供給される制御信号TRG（TR3）に基づいて、フォトダイオード１６１－３からの光電荷の読み出しを制御する。
　図４の例の場合、フローティングディフュージョン（FD）、リセットトランジスタ１６３、増幅トランジスタ１６４、およびセレクトトランジスタ１６５等の構成は、単位画素内で共有される。そして、各画素（フォトダイオード１６１－０、フォトダイオード１６１－１、フォトダイオード１６１－２、フォトダイオード１６１－３）の画素信号は、互いに同一垂直信号線VSLを介して伝送される。
　以下においては、単位画素１５１の構成として図４の例を用いて説明する。
　　＜選択部＞
　図５は、選択部１２２の主な構成の例を示す図である。図５のＡに選択部１２２Ａの構成例を示す。図５のＢに選択部１２２Ｂの構成例を示す。選択部１２２は、カラム画素部１２１毎に設けられ、カラム画素部１２１のＮ本の垂直信号線とカラムA/D変換部１２３のＭ系統のA/D変換部（Ｍ本の垂直信号線）との接続を制御する。図５のＡの例の場合、選択部１２２Ａは、自身が対応するカラム画素部１２１の４本の垂直信号線（VSL0乃至VSL3）の中のいずれか２本を選択し、カラムA/D変換部１２３Ａの２本の垂直信号線（VSLA0、VSLA1）に接続する。
　選択部１２２Ｂは、選択部１２２Ａと基本的に同様の構成を有する。すなわち、図５のＢの例の場合、選択部１２２Ｂは、自身が対応するカラム画素部１２１の４本の垂直信号線（VSL0乃至VSL3）の中のいずれか２本を選択し、カラムA/D変換部１２３Ｂの２本の垂直信号線（VSLB0、VSLB1）に接続する。
　つまり、選択部１２２は、各カラムにおいて、画素信号の読み出しのモードに対応する垂直信号線VSLを、そのカラムに割り当てられた複数の垂直信号線VSLの中から選択する。その際、センサコントローラ１３１は、各カラムについて、選択部１２２にいずれかの垂直信号線VSLを選択させ、その選択部１２２により選択された垂直信号線VSLに接続される画素から画素信号をそのモードで読み出し、読み出した画素信号を選択部１２２により選択された信号線を介して伝送させるように制御する。なお、この選択部１２２は、省略するようにしてもよい。例えば、カラムA/D変換部１２３が並列に動作するＮ系統のA/D変換部を有する場合、選択部１２２は不要になる。
　　＜カラムA/D変換部＞
　カラムA/D変換部１２３Ｂの主な構成の例を図６に示す。カラムA/D変換部１２３は、上述したようにＭ系統のA/D変換部を有する。図６の例の場合、２系統（VSLB0, VSLB1）のA/D変換部を有する。そして、カラムA/D変換部１２３Ｂは、垂直信号線VSLB0の系統のA/D変換部として、電流源１８１－０、比較器１８２－０、およびカウンタ１８３－０を有する。電流源１８１－０は、垂直信号線VSLB0に接続される周辺回路の負荷を表している。電流源１８１－０は、垂直信号線VSLB0とグランドとに接続される。
　D/A変換部１１３は、カラムA/D変換部１２３Ｂの各系統に対してランプ信号を供給する。図６の例の場合、カラムA/D変換部１２３Ｂは、D/A変換部１１３は、垂直信号線VSLB0の系統のA/D変換部にランプ信号を供給するD/A変換部１１３－０と、垂直信号線VSLB1の系統のA/D変換部にランプ信号を供給するD/A変換部１１３－１とを有する。
　比較部１８２－０は、画素アレイ部１１１の単位画素１５１から垂直信号線VSL、選択部１２２Ｂ、および垂直信号線VSLB0を介して伝送される画素信号を、D/A変換部１１３－０から供給されるランプ信号と比較し、比較結果（どちらの値が大きいかを示す情報）をカウンタ１８３－０に供給する。
　カウンタ１８３－０は、カウント開始からその比較結果の値が変化するまでの期間をカウントし、比較結果の値が変化した時点でそのカウント値を画素信号のデジタルデータとして水平転送部１２４Ｂに出力する。
　カラムA/D変換部１２３Ｂは、垂直信号線VSLB1の系統のA/D変換部として、電流源１８１－１、比較器１８２－１、およびカウンタ１８３－１を有する。電流源１８１－１は、電流源１８１－０と同様の構成である。すなわち、電流源１８１－１は、垂直信号線VSLB1に接続される周辺回路の負荷を表している。電流源１８１－１は、垂直信号線VSLB1とグランドとに接続される。
　比較部１８２－１は、比較部１８２－０と同様の構成を有し、比較部１８２－０と同様の処理を行う。つまり、比較部１８２－１は、画素アレイ部１１１の単位画素１５１から垂直信号線VSL、選択部１２２Ｂ、および垂直信号線VSLB1を介して伝送される画素信号を、D/A変換部１１３－１から供給されるランプ信号と比較し、比較結果（どちらの値が大きいかを示す情報）をカウンタ１８３－１に供給する。
　カウンタ１８３－１は、カウンタ１８３－０と同様の構成を有し、同様の処理を行う。すなわち、カウンタ１８３－１は、カウント開始からその比較結果の値が変化するまでの期間をカウントし、比較結果の値が変化した時点でそのカウント値を画素信号のデジタルデータとして水平転送部１２４Ｂに出力する。
　カラムA/D変換部１２３ＡもカラムA/D変換部１２３Ｂと同様の構成を有し、同様の処理を行う。つまり、カラムA/D変換部１２３が、いくつの構成とされる場合であっても、各カラムA/D変換部１２３は、図６の例と同様の構成を有し、同様の処理を行う。
　なお、カラムA/D変換部１２３が、有するA/D変換部の系統数は任意であり、１系統であってもよいし、３系統以上であってもよい。系統数がいくつであっても、D/A変換部１１３は、各系統に互いに独立にランプ信号を供給する。すなわち、例えば、カラムA/D変換部１２３が、Ｍ系統のA/D変換部を有する場合、D/A変換部１１３が、Ｍ個の独立したD/A変換部を有するようにしてもよい。
　　＜アドレスデコーダ＞
　図７にアドレスデコーダ１４１の主な構成の例を示す。アドレスデコーダ１４１は、画素アレイの各ラインに対して、図７に示されるような構成の論理回路を有する。そして、アドレスデコーダ１４１には、画素を選択するためのアドレス（ADD_X）、読み出しラッチリセット（RLRST）、読みだしラッチセット（RLSET_X）、電子シャッタラッチリセット（SLRST）、および電子シャッタラッチセット（SLSET_X）等の、アドレスを指定する制御信号が、センサコントローラ１３１から入力される。アドレスデコーダ１４１は、センサコントローラ１３１により指定されるラインの論理回路において、これら入力信号を基に、読み出しラッチ（RLQ）または電子シャッタラッチ（SLQ）として値”Ｈ（ハイ）”を画素駆動部１４２に出力する。NOT_読み出しラッチ（XRLQ）やNOT_電子シャッタラッチ（XSLQ)はそれらの制御信号を負論理にしたパルスである。
　　＜画素駆動部＞
　画素駆動部１４２の主な構成例を図８に示す。画素駆動部１４２は、画素アレイの各ラインに対して、図８に示されるような構成の論理回路を有する。
　図8に画素駆動タイミング駆動回路の等価回路図とタイミングチャートを示す。アドレスデコーダ１４１から供給される読み出しラッチ出力パルスRLQや電子シャッタラッチSLQ、センサコントローラ１３１から供給される読み出し時転送パルスRTR、電子シャッタ時転送パルスSTR、電子シャッタ時リセットパルスSRST、読み出し時リセットパルスRRST、および読み出し時選択パルスRSEL等の各種制御信号の値に従って、当該ラインの各単位画素１５１の各トランジスタに対して制御信号TRG、制御信号SEL、および制御信号RSTを供給する。
　　＜タイミングチャート＞
　図９に、このようなCMOSイメージセンサ１００を駆動するための各種制御信号のタイミングチャートの例を示す。センサコントローラ１３１は、図９に示されるように、画素を選択するためのアドレス（ADD）、アドレスデコーダ１４１の読み出しラッチリセット（RLRST）、読み出しラッチセット（RLSET）、電子シャッタラッチリセット（SLRST）、および電子シャッタラッチセット（RLSET）等の制御信号をアドレスデコーダ１４１に入力することにより、任意のアドレスを駆動させることができる。
　また、センサコントローラ１３１は、読み出し時転送パルス（RTR）、読み出し時リセットパルス（RRST）、読み出し時選択パルス（RSEL）、電子シャッタ時転送パルス（STR）、および電子シャッタ時リセットパルス（SRST）等の制御信号を画素駆動部１４２に入力することにより、アドレスデコーダ１４１にセットした任意のアドレスを任意の期間のみ駆動させることができる。
　これらの制御信号に対するアドレスデコーダ１４１が出力する各種制御信号のタイミングチャートの例を図１０に示す。また、画素駆動部１４２が出力する各種制御信号のタイミングチャートの例を図１１に示す。
　これらの制御信号に基づいて、画素アレイの各単位画素から画素信号が読み出される。読み出された画素信号は、各カラムA/D変換部１２３において、図１２に示されるタイミングチャートのようにA/D変換される。
　　＜読み出しモードと垂直信号線の振り分け＞
　以上のようなCMOSイメージセンサ１００の場合、各カラムの複数の垂直信号線や複数のA/D変換部を用いて、多様な読み出し方法（読み出しモード）で画素信号を読み出すことができる。例えば、２系統のデータの同時出力を実現する２ストリーム読み出しや、より高速に読み出すために縦列カラムを全数使用する並列読み出し、またダイナミックレンジ向上を実現するためのマルチサンプリング等の読出しモードを実現することができる。
　しかしながら、各垂直信号線と単位画素とが不規則に接続されている場合、画素信号の読み出し制御が煩雑になる恐れがあった。例えば、駆動させる単位画素のラインを切り替える度に（水平同期毎に）、画素信号に利用する垂直信号線を指定しなければならなかった。特に複数の読み出しモードを併用する場合、モード毎に指定する垂直信号線を変えなければならず、制御がより複雑になった。
　そこで、単位画素と垂直信号線VSLとを読み出しモードに応じて接続するようにする。つまり、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の信号線のそれぞれに、画素信号の読み出しの所定のモードが割り当てられ、画素アレイのそのカラムの、そのモードに対応する画素が接続されるようにし、画素アレイの各カラムについて、画素信号の読み出しのモードに対応する信号線に接続される画素から画素信号をそのモードで読み出し、読み出した画素信号を信号線を介して伝送させるように制御するようにする。
　換言するに、各読み出しモードに垂直信号線VSLのいずれかを割り当て、その読み出しモードにおいて画素信号を読み出す単位画素をその垂直信号線VSLに接続するようにする。この読み出しモードに割り当てる垂直信号線VSLの数は任意であり、単数でも複数でもよい。また、垂直信号線の割り当てが読み出しモード間で重複すするようにしてもよい。例えば、１本の垂直信号線VSLが複数の読み出しモードに割り当てられるようにしてもよい。
　このようにすることにより、例えば、ある読み出しモードを選択する場合、最初に（翠帳同期毎に）、その読み出しモードに応じた垂直信号線を選択するだけで、その読み出しモードに対応する全ての単位画素から画素信号を読み出すことができるようになる。したがって、各水平同期においては、駆動させるラインを選択するだけで、容易に所望の読み出しモードを実現することができるようになる。複数の読み出しモードを併用する場合も、垂直同期において切り替え後のモードに対応する垂直信号線を選択するだけで、各水平同期の制御は、どのモードも同様に、その読み出しモードに応じたラインを選択するのみでよい。
　図１３にその例を示す。図１３の例の場合、読み出しモード１においては、単位画素Ａ、単位画素Ｃ、単位画素Ｅ、および単位画素Ｇから画素信号が読み出され、読み出しモード２においては、単位画素Ｂ、単位画素Ｄ、単位画素Ｆ、および単位画素Ｈから画素信号が読み出される。そして図１３に示されるように、単位画素Ａ、単位画素Ｃ、単位画素Ｅ、および単位画素Ｇは、単位画素Ｂ、単位画素Ｄ、単位画素Ｆ、および単位画素Ｈと異なる垂直信号線に接続されている。
　したがって、読み出しモード１で読み出す場合、選択部１２２は、垂直同期の最初に、単位画素Ａ、単位画素Ｃ、単位画素Ｅ、および単位画素Ｇが接続される垂直信号線を選択すればよい。逆に、読み出しモード２で読み出す場合、選択部１２２は、垂直同期の最初に、単位画素Ｂ、単位画素Ｄ、単位画素Ｆ、および単位画素Ｈが接続される垂直信号線を選択すればよい。水平同期毎にこの垂直信号線の選択を切り替える必要がない。
　つまり、より容易により多様な読出しモードを実現することができる。
　図１４のフローチャートを参照して、センサコントローラ１３１による読み出し処理の流れの例を説明する。
　読み出し処理が開始されると、センサコントローラ１３１は、ステップＳ１０１において、水平走査部１３３を介して各カラムの選択部１２２を制御し、各カラムについて、読み出しモードに応じて垂直信号線を選択する。センサコントローラ１３１は、この処理を、読み出しを開始する際、若しくは、読み出しモードを切り替える際に、垂直同期の最初に行う。
　ステップＳ１０２において、センサコントローラ１３１は、選択した垂直信号線に対応する単位画素から、その垂直信号線に対応する読み出しモードで画素信号の読み出しを行う。つまり、センサコントローラ１３１は、垂直走査部１３２のアドレスデコーダ１４１や画素駆動部１４２を制御して、各カラムの読み出しモードに対応する単位画素を選択し、その単位画素から、その読み出しモードで画素信号を読み出す。センサコントローラ１３１は、この処理を水平同期毎に行う。
　以上のように読出し処理を行うことにより、センサコントローラ１３１は、より多様な読み出しモードの動作を実現させることができる。つまり、CMOSイメージセンサ１００は、より容易に、より多様なデータ出力を実現することができる。
　　＜読み出しモードの例＞
　以下に、以上のようなCMOSイメージセンサ１００により実現可能な読み出しモードの例を説明する。
　図１５に２ストリームアクセスの例（XVS単位）を示す。図１５に示される例では、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。例えば、モード１がモニタリングモードの場合30fpsで動作して、モード２がAFモードの場合240fpsで動作する。このように、画素からの画素信号の読み出しは、その画素に対応するモードのフレームレートで行うように制御されるようにしてもよい。
　このとき、モード１には垂直信号線VSL1と垂直信号線VSL3とが割り当てられ、モード２には、垂直信号線VSL0と垂直信号線VSL2が割り当てられている。したがって、このようなフレームレートの異なる２つの読み出しモードで画素信号を読み出す場合においても、各読み出しモードに垂直信号線VSLを振り分けているため、各読み出しモードでの画素信号の読み出しにおいて、画素や垂直信号線VSLがぶつかることはない。そのため、CMOSイメージセンサ１００は、画質に影響を及ぼすことなく、２つの読み出しモードでの読み出しをより容易に実現することができる。
　また、各カラムのメインシャッタ動作およびプリシャッタ動作も、そのモードのフレームレートで行うように制御されるようにしてもよい。図１６に２ストリームアクセスの例（XHS単位）を示す。この図１６の例の場合も、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。図１５の場合と同様に、モード１は30fpsのモニタリングモードであり、モード２は240fpsのAFモードである。図１５の例と同様に、モード１には垂直信号線VSL1と垂直信号線VSL3とが割り当てられ、モード２には、垂直信号線VSL0と垂直信号線VSL2が割り当てられている。
　この場合、図１６の例のように、メインシャッタおよびリード、並びにプリシャッタの両方とも垂直信号線VSLの振り分けを実施することで、各読み出しモードでの画素信号の読み出しにおいて画素や垂直信号線VSLがぶつかることを抑制することができる。したがって、従来のCMOSイメージセンサと同等の良好な画質が２系統において得られることになる。
　図１７に2/8間引き加算＋2/8間引き加算の例を示す。この図１７の例の場合も、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。図１５の場合と同様に、モード１は30fpsのモニタリングモードであり、モード２は240fpsのAFモードである。図１５の例と同様に、モード１には垂直信号線VSL1と垂直信号線VSL3とが割り当てられ、モード２には、垂直信号線VSL0と垂直信号線VSL2が割り当てられている。
　ただし、図１７の例の場合、モード１（モニタリングモード）では、画素８ライン毎に２ラインを読み出して加算する2/8間引き加算が行われる。すなわち、モード１（モニタリングモード）では「2/8間引き加算 30fpsモード」での読み出しが行われる。また、モード２（AFモード）でも2/8間引き加算が行われる。すなわち、モード２（AFモード）では「2/8間引き加算240fpsモード」での読み出しが行われる。
　加算モードの場合、例えば、画素８ラインのうち２ライン（すなわち、R画素とGR画素が並ぶライン（R/GR）とGB画素とB画素が並ぶライン（GB/B））が２ラインずつ読み出され、その２ライン（R/GRのライン同士と、GB/Bのライン同士）が加算される。これにより、高感度な画像（加算画像）を得ることができる。画素信号の加算方法は、任意である。例えば、カウンタ加算、コンパレータの容量加算、ロジック内部での加算等の方法が考えられる。
　このような２モードの読み出しの場合も、CMOSイメージセンサ１００は、各読み出しモードに垂直信号線VSLの振り分けを実施することで、各読み出しモードでの画素信号の読み出しにおいて画素や垂直信号線VSLがぶつかることを抑制することができる。
　図１８に4/16間引き＋4/16間引きの例を示す。この図１８の例の場合も、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。図１５の場合と同様に、モード１は30fpsのモニタリングモードであり、モード２は240fpsのAFモードである。図１５の例と同様に、モード１には垂直信号線VSL1と垂直信号線VSL3とが割り当てられ、モード２には、垂直信号線VSL0と垂直信号線VSL2が割り当てられている。
　ただし、図１８の例の場合、モード１（モニタリングモード）として、画素１６ライン毎に４ラインを読み出す4/16間引きが行われる。すなわち、モード１（モニタリングモード）では「4/16間引き30fpsモード」での読み出しが行われる。また、モード２（AFモード）でも4/16間引きが行われる。すなわち、モード２（AFモード）では、「4/16間引き240fpsモード」での読み出しが行われる。
　4/16間引きの場合、図１７および図１８に示されるように、2/8間引きとラインの読出しパターンが異なる。また、図１８の例の場合、ライン同士の加算は行われない。
　このような２モードの読み出しの場合も、CMOSイメージセンサ１００は、各読み出しモードに垂直信号線VSLの振り分けを実施することで、各読み出しモードでの画素信号の読み出しにおいて画素や垂直信号線VSLがぶつかることを抑制することができる。
　図１９に4/8間引き＋4/8間引きの例を示す。この図１９の例の場合も、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。モード１は30fpsのモニタリングモードであり、モード２は120fpsのAFモードである。図１５の例と同様に、モード１には垂直信号線VSL1と垂直信号線VSL3とが割り当てられ、モード２には、垂直信号線VSL0と垂直信号線VSL2が割り当てられている。
　ただし、図１９の例の場合、モード１（モニタリングモード）として、画素８ライン毎に４ラインを読み出す4/8間引きが行われる。すなわち、モード１（モニタリングモード）では「4/8間引き30fpsモード」での読み出しが行われる。また、モード２（AFモード）でも4/8間引きが行われる。すなわち、モード２（AFモード）では、「4/8間引き120fpsモード」での読み出しが行われる。図１９の例の場合、ライン同士の加算は行われない。
　このような２モードの読み出しの場合も、CMOSイメージセンサ１００は、各読み出しモードに垂直信号線VSLの振り分けを実施することで、各読み出しモードでの画素信号の読み出しにおいて画素や垂直信号線VSLがぶつかることを抑制することができる。
　図２０に8/16間引き＋8/16間引きの例を示す。この図２０の例の場合も、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。図１９の例と同様に、モード１は30fpsのモニタリングモードであり、モード２は120fpsのAFモードである。図１５の例と同様に、モード１には垂直信号線VSL1と垂直信号線VSL3とが割り当てられ、モード２には、垂直信号線VSL0と垂直信号線VSL2が割り当てられている。
　ただし、図２０の例の場合、モード１（モニタリングモード）として、画素１６ライン毎に８ラインを読み出す8/16間引きが行われる。すなわち、モード１（モニタリングモード）では「8/16間引き30fpsモード」での読み出しが行われる。また、モード２（AFモード）でも8/16間引きが行われる。すなわち、モード２（AFモード）では、「8/16間引き120fpsモード」での読み出しが行われる。図２０の例の場合、ライン同士の加算は行われない。
　このような２モードの読み出しの場合も、CMOSイメージセンサ１００は、各読み出しモードに垂直信号線VSLの振り分けを実施することで、各読み出しモードでの画素信号の読み出しにおいて画素や垂直信号線VSLがぶつかることを抑制することができる。
　なお、各モードで読み出す画素のラインの比率は互いに同一でなくてもよい。つまり、各カラムにおいて、各信号線に割り当てられる画素数が互いに異なるようにしてもよい。例えば、モード１とモード２とで間引きの割合が互いに異なるようにしてもよい。また、各モードに割り当てる垂直信号線VSLの数が互いに異なるようにしてもよい。例えば、モード１に割り当てる垂直信号線VSLの本数と、モード２に割り当てる垂直信号線VSLの本数とが互いに異なるようにしてもよい。
　図２１に4/16間引き＋12/16間引きの例を示す。この図２１の例の場合も、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。図１５の場合と同様に、モード１は30fpsのモニタリングモードであり、モード２は90fpsのAFモードである。モード１には垂直信号線VSL3が割り当てられ、モード２には、垂直信号線VSL0、垂直信号線VSL1、および垂直信号線VSL2が割り当てられている。
　図２１の例の場合、モード１（モニタリングモード）として、画素１６ライン毎に４ラインを読み出す4/16間引きが行われる。すなわち、モード１（モニタリングモード）では「4/16間引き30fpsモード」での読み出しが行われる。また、モード２（AFモード）として、画素１６ライン毎に１２ラインを読み出す12/16間引きが行われる。すなわち、モード２（AFモード）では、「12/16間引き90fpsモード」での読み出しが行われる。なお、図２１の例の場合、ライン同士の加算は行われない。
　このような画素信号の読み出し量が互いに異なる２モードの読み出しの場合も、CMOSイメージセンサ１００は、各読み出しモードに垂直信号線VSLの振り分けを実施することで、各読み出しモードでの画素信号の読み出しにおいて画素や垂直信号線VSLがぶつかることを抑制することができる。
　以上のように、CMOSイメージセンサ１００は、より容易に、より多様なデータ出力を実現することができる。もちろん、読み出しモードは任意であり、上述した例に限定されない。また、併用する読み出しモードの数や組み合わせパターンも任意であり、上述した例に限らない。例えば、2/8間引き加算+4/16間引き加算などのような、非加算モードと加算モードが混ざった場合であっても制御可能である。また、間引き率については垂直信号線VSLの本数の2N倍であれば任意に設定可能である。
　　＜その他の読み出しモードの例＞
　読み出しモードの併用は、カラムA/D変換部１２３のA/D変換部の系統数によって行うようにしてもよいが、図２２に示される例のように、時分割により実現するようにしてもよい。
　例えば、図２２のパターン２のように各読み出しモードでの画素信号の読み出しを行うことにより、カラムA/D変換部１２３の２系統のA/D変換部を用いて２つの読み出しモードを実現することができる。これに対して、パターン１のように、各モードの読出しタイミングをずらすことにより、１系統のA/D変換部を時分割して２つの読み出しモードに用いることができる。すなわち、カラムA/D変換部１２３のA/D変換部の系統数以上の数の読み出しモードを実現することができる。その場合、例えば、センサコントローラ１３１が、選択部１２２に選択する信号線を順次切り替えさせ、複数モードの画素信号の読み出しを時分割で行うように制御する。
　つまり、１カラム当たりに１つのA/D変換部が設けられる場合であっても、上述したような複数の読み出しモードを実現することができる。なお、A/D変換部を共有する読み出しモードの数は任意である。例えば、３つ以上の読み出しモードが互いに同一のA/D変換部を使用するようにしてもよい。
　このような制御を行う場合であっても、CMOSイメージセンサ１００は、各読み出しモードに垂直信号線VSLの振り分けを実施することで、より容易に、より多様なデータ出力を実現することができる。
　また、読み出しモードへの垂直信号線VSLの振り分けは、有効画素だけでなく、ダミー画素についても行われるようにしてもよい。つまり、ダミー画素が、その読み出しモードに対応する垂直信号線VSLに接続されるようにしてもよい。
　図２３に、各読み出しモードにおけるダミーアドレスやダミーシャッタの動作の様子の例を示す。また、図２４にダミーアドレスの配置例を示す。
　CMOSイメージセンサ１００は非有効期間、もしくはブランキング期間などであっても負荷を揃えるためにリードやシャッタ動作を実施する。この際に使用する画素はダミー画素である。例えば上述した２ストリームの場合、モード２のブランキング期間とモード１の有効期間が重なる時間帯があり、この際にダミーアドレスの垂直信号線VSLがぶつかっているとモード１の横筋などの画質劣化につながるおそれがある。
　そこで、２ストリームの画質改善のため、ダミーアドレスも有効アドレスと同様に垂直信号線VSLを振り分けて制御するようにする。つまり、センサコントローラ１３１は、画素アレイ部１１１の各カラムについて、画素信号の読み出しのモードに対応する垂直信号線VSLに接続されるダミー画素からも画素信号を、そのモードで読み出すように制御する。これにより、CMOSイメージセンサ１００は、モード１またはモード２のブランキング期間と重なった期間であっても良好な画質を得ることができる。つまり、CMOSイメージセンサ１００は、より容易に、より多様なデータ出力を実現することができる。
　もちろん、センサコントローラ１３１が、さらに、そのダミー画素のシャッタ動作をそのモードで行うように制御するようにしてもよい。
　さらに、本技術は、通常の読み出し速度よりも高速に画素信号を読み出す読み出しモードに適用することができる。図２５に通常の速度の読み出しのVアクセスイメージを示す。この読み出しモードの場合、１水平同期期間（1XHS）に２画素ずつ読み出しする。
　図２６に２倍速読み出しのVアクセスイメージを示す。VSL4本を常時A/D変換するようにすることで、上述した通常の読み出し速度のモードの場合の２倍のフレームレートを実現することができる。また、プリシャッタも通常の読み出し速度の２倍とすることにより、この２倍速読出しモードの場合も、通常の読み出し速度の場合と同等の良好な画質を得ることができる。
　図２７に４倍速読み出しのVアクセスイメージを示す。CMOSイメージセンサ１００は一般的にシリコン（Si）基板で作成され、そのバンドギャップから近赤外線(例えば、1um以下の波長域)の光電変換も可能である。また、赤外線（IR）カットフィルタを外した場合、1um付近で最も感度が高くなるのがR画素であることに注目してR画素のみを４倍速読み出しとすることで、近赤外に対応したCMOSイメージセンサ１００を実現することが可能となる。また、１カラム当たりに複数のA/D変換部を設けることにより、CMOSイメージセンサ１００は、通常の読み出し速度の場合の２倍のフレームレートを実現することができる。
　図２８に高S/N読み出しの制御方法を示す。上述した２ストリームの制御方法を応用することで、これまで提案されている高S/N読み出しが容易に実現可能となる。図２８に示されるように、長時間蓄積と短時間蓄積でシャッタの系統を分割することで２ストリームと同等の制御方法で２行おきに長時間蓄積と短時間蓄積が実現できる。読み出しは、従来のCMOSイメージセンサと同様に１水平同期期間（1XHS）当たりに２画素読み出しで問題ない。つまり、各画素の露光時間は、その画素が接続される信号線に対応するモード毎に設定されるようにしてもよい。
　以上のように、CMOSイメージセンサ１００は、より容易に、より多様なデータ出力を実現することができる。
　＜２．第２の実施の形態＞
　　＜高速読み出しモードにおける画素信号の転送＞
　一般的なCMOSイメージセンサの場合、１カラム当たり１つのA/D変換部が搭載されている。ライン単位で順次画素を走査しながらA/D変換が行われる。これをローリングシャッタ方式と称する。この走査方式のためにラインごとにA/D変換されるタイミングがずれる。そのため動体などを撮像した際に歪が発生してしまう。これをローリングシャッタ歪と称する。A/D変換速度はD/A変換部のセトリング時間に依存するため極端な高速化は難しい。そのためローリングシャッタ歪を低減することが困難であった。
　そこで、第１の実施の形態において説明したように、１カラム当たり２つ以上のA/D変換部を設け、並列に２ライン分のA/D変換を行うことにより、ローリングシャッタ歪を低減させることができる。
　しかしながら、このような構成にすると、今度は転送帯域の問題が発生する。後段のカメラ信号処理LSIの転送帯域に限界がある。そのため、２ライン同時にA/D変換された撮像データを単位時間内に転送しきれないおそれがあった。そのためイメージセンサ側にバッファとして膨大な数のラインメモリを搭載しなければならず、チップサイズや消費電力が増大してしまうおそれがあった。
　そこで、上述したようにA/D変換部を１カラム当たり複数設け、複数ラインの画素信号を並列にA/D変換することができるようにし、ローリングシャッタ歪を低減させる。さらに、並列にA/D変換した２ライン分の画素信号を圧縮し、転送に必要な帯域を削減するようにする。これによってデータ転送を1H内に行うことができるようにする。このようにすることにより、大容量のバッファが不要にすることができ、コストや消費電力の増大を抑制することができる。
　　＜CMOSイメージセンサ＞
　図２９は、本技術を適用した撮像素子の一実施の形態であるCMOS（Complementary Metal Oxide Semiconductor）イメージセンサの一部の構成例を示すブロック図である。図２９に示されるCMOSイメージセンサ２００は、CMOSイメージセンサ１００と同様に、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。なお、以下においては、CMOSイメージセンサを例に説明するが、本実施の形態の場合も、第１の実施の形態の場合と同様に、本技術は、例えば、CCD（Charge Coupled Device）イメージセンサ等の、CMOSイメージセンサ以外の撮像素子にも適用することができる。
　図２９に示されるように、CMOSイメージセンサ２００は、CMOSイメージセンサ１００と同様の構成を有する。CMOSイメージセンサ２００は、カラムA/D変換部１２３Ａ－０（カラムA/D変換部１２３Ａ－０－１乃至カラムA/D変換部１２３Ａ－０－Ｐ）およびカラムA/D変換部１２３Ｂ－０（カラムA/D変換部１２３Ｂ－０－１乃至カラムA/D変換部１２３Ｂ－０－Ｐ）、並びに、カラムA/D変換部１２３Ａ－１（カラムA/D変換部１２３Ａ－１－１乃至カラムA/D変換部１２３Ａ－１－Ｐ）およびカラムA/D変換部１２３Ｂ－１（カラムA/D変換部１２３Ｂ－１－１乃至カラムA/D変換部１２３Ｂ－１－Ｐ）を有する。
　画素アレイ部１１１から読み出された画素信号は、これらのカラムA/D変換部１２３によりA/D変換される。これらのカラムA/D変換部１２３においてA/D変換された画素信号（デジタルデータ）は、水平転送部１２４に供給される。
　CMOSイメージセンサ２００は、水平転送部１２４Ａ－０および水平転送部１２４Ｂ－０、並びに、水平転送部１２４Ａ－１および水平転送部１２４Ｂ－１を有する。カラムA/D変換部１２３Ａ－０（カラムA/D変換部１２３Ａ－０－１乃至カラムA/D変換部１２３Ａ－０－Ｐ）においてA/D変換された画素信号は、水平転送部１２４Ａ－０に供給される。カラムA/D変換部１２３Ｂ－０（カラムA/D変換部１２３Ｂ－０－１乃至カラムA/D変換部１２３Ｂ－０－Ｐ）においてA/D変換された画素信号は、水平転送部１２４Ｂ－０に供給される。カラムA/D変換部１２３Ａ－１（カラムA/D変換部１２３Ａ－１－１乃至カラムA/D変換部１２３Ａ－１－Ｐ）においてA/D変換された画素信号は、水平転送部１２４Ａ－１に供給される。カラムA/D変換部１２３Ｂ－１（カラムA/D変換部１２３Ｂ－１－１乃至カラムA/D変換部１２３Ｂ－１－Ｐ）においてA/D変換された画素信号は、水平転送部１２４Ｂ－１に供給される。
　また、CMOSイメージセンサ２００は、水平処理部２２１Ａおよび水平処理部２２１Ｂを有する。互いに区別して説明する必要が無い場合、単に水平処理部２２１と称する。水平転送部１２４Ａ－０および水平転送部１２４Ｂ－０は、画素信号を水平処理部２２１Ａに供給する。水平転送部１２４Ａ－１および水平転送部１２４Ｂ－１は、画素信号を水平処理部２２１Ｂに供給する。
　すなわち、水平転送部１２４は、画素信号を２系統として並列に水平処理部２２１に出力する。水平処理部２２１Ａおよび水平処理部２２１Ｂは、それぞれの系統の画素信号に対して所定の信号処理を施す。なお、水平処理部２２１は、各系統の画素信号に対して互いに独立に信号処理を施す１つの処理部として構成されるようにしてもよい。また、水平処理部２２１は、省略するようにしてもよい。
　CMOSイメージセンサ２００は、さらに、圧縮部２２２Ａおよび圧縮部２２２Ｂをさらに有する。圧縮部２２２Ａと圧縮部２２２Ｂとを互いに区別して説明する必要が無い場合、単に、圧縮部２２２と称する。
　水平処理部２２１Ａは、信号処理した画素信号を圧縮部２２２Ａに供給する。水平処理部２２１Ｂは、信号処理した画素信号を圧縮部２２２Ｂに供給する。圧縮部２２２Ａおよび圧縮部２２２Ｂは、それぞれの系統の画素信号を圧縮する。その際、圧縮部２２２Ａおよび圧縮部２２２Ｂは、画素信号を、そのデータ量が全ての系統の画素信号を所定の単位期間（例えば１水平同期期間）内に転送することができる程度になるまで圧縮する。
　CMOSイメージセンサ２００は、さらに出力部２２３を有する。圧縮部２２２Ａおよび圧縮部２２２Ｂは、圧縮された画素信号を出力部２２２に供給する。出力部２２３は、供給された全ての系統の圧縮された画素信号をCMOSイメージセンサ２００の外部に出力する。
　なお、圧縮部２２２は、各系統の画素信号に対して互いに独立に圧縮処理を施す１つの処理部として構成されるようにしてもよい。
　このようにすることにより、CMOSイメージセンサ２００は、転送帯域を増大させずに複数系統の画素信号を出力することができる。なお、図２９においては、画素信号が２系統として読み出されるように説明したが、この読出しの系統数は、複数であれば任意である。系統数がいくつであっても、圧縮部２２２をその系統数分用意するようにすればよい。ただし、系統数が増大するとその分、圧縮率を高くする必要がある。例えば、Ｎ系統で読み出しを行う場合、圧縮部２２２をＮ個用意し、各圧縮部において画素信号のデータサイズをＮ分の１以下にするまで圧縮するようにすればよい。以下においては、画素信号が２系統として読み出される場合について説明する。
　　＜タイミングチャート＞
　図３０は、このCMOSイメージセンサ２００のデータ出力の様子を説明するタイミングチャートである。図３０の区間２３１のように画素信号の読み出しを行う場合、単位時間当たり、１系統で１ラインの画素信号を出力することができる。これに対して、図２９の例のように各系統の画素信号を圧縮して出力することにより、区間２３２のように、単位時間当たり、１系統で２ライン分の画素信号を出力することができる。したがって、CMOSイメージセンサ２００は、出力インターフェイスの帯域を超えずにフォーカルプレーン歪の小さい画像を出力することができる。
　＜水平処理部＞
　図３１は、水平処理部２２１Ａおよび水平処理部２２１Ｂの主な構成の例を示す図である。
　図３１の例の場合、水平処理部２２１Ａは、インターフェイス（I/F）２４１Ａ、水平並び替え部２４２Ａ、クランプ量演算部２４３Ａ、デジタルクランプ２４４Ａ、水平加算部２４５Ａ、ゲイン調整部２４６Ａ、および黒レベル補正部２４７Ａを有する。
　同様に、水平処理部２２１Ｂは、インターフェイス（I/F）２４１Ｂ、水平並び替え部２４２Ｂ、クランプ量演算部２４３Ｂ、デジタルクランプ２４４Ｂ、水平加算部２４５Ｂ、ゲイン調整部２４６Ｂ、および黒レベル補正部２４７Ｂを有する。
　インターフェイス（I/F）２４１Ａとインターフェイス（I/F）２４１Ｂとを互いに区別して説明する必要が無い場合、単に、インターフェイス（I/F）２４１と称する。水平並び替え部２４２Ａと水平並び替え部２４２Ｂとを互いに区別して説明する必要が無い場合、単に、水平並び替え部２４２と称する。クランプ量演算部２４３Ａとクランプ量演算部２４３Ｂとを互いに区別して説明する必要が無い場合、単に、クランプ量演算部２４３と称する。デジタルクランプ２４４Ａとデジタルクランプ２４４Ｂとを互いに区別して説明する必要が無い場合、単に、デジタルクランプ２４４と称する。水平加算部２４５Ａと水平加算部２４５Ｂとを互いに区別して説明する必要が無い場合、単に、水平加算部２４５と称する。ゲイン調整部２４６Ａとゲイン調整部２４６Ｂとを互いに区別して説明する必要が無い場合、単に、ゲイン調整部２４６と称する。黒レベル補正部２４７Ａと黒レベル補正部２４７Ｂとを互いに区別して説明する必要が無い場合、単に、黒レベル補正部２４７と称する。
　水平処理部２２１が行う信号処理は任意である。したがって、水平処理部２２１の構成は、図３１の例に限定されない。
　また、図３１に示されるように、出力部２２３は、FIFOバッファ２５１および差動出力インターフェイス（I/F）２５２を有する。上述したように、圧縮部２２２が画素信号を十分に圧縮することにより、FIFOバッファ２５１のオーバフローの発生を抑制することができ、複数ラインの画素信号を１系統で単位時間内に出力させることができる。なお、出力部２２３の構成は任意であり、図３１の例に限定されない。
　　＜圧縮部＞
　なお、圧縮部２２２による画素信号の圧縮方法は任意である。ただし、圧縮処理の処理時間の増大を抑制するために、圧縮方法や制御方法が簡易的な方法であるのが望ましい。例えば、固定ビットレート（CBR）の圧縮方式を採用するようにしてもよい。図３２は、その場合の圧縮部２２２の主な構成の例を示す図である。もちろん、圧縮部２２２の構成は任意であり、図３２の例に限定されない。
　以上のように、CMOSイメージセンサ２００は、転送帯域を増大させずに複数系統の画素信号を出力することができるので、より容易に、より多様なデータ出力を実現することができる。
　＜３．第３の実施の形態＞
　　＜データラッチ＞
　画素アレイの１カラムにつき１つのSingleSlope型A/D変換部が割り当てられるイメージセンサの場合、その１つのA/D変換部に対して、そのA/D変換部がカウントしたカウント値（A/D変換後の画素信号（デジタルデータ））を格納するデータラッチが１つ設けられていた。カウント値をデータラッチに格納することで、次の行の読み出しとA/D変換を行いつつ、カウント値をロジック部に転送することが可能になる。
　このような１つのA/D変換部に対して１つのデータラッチを設ける構成の場合、他の行との加算や差分データを出力したいときに異なる行のデータを格納するラインメモリが必要になる。このようなラインメモリを実装すると、回路面積（すなわち製造コスト）や消費電力が増大するおそれがあった。
　そこで、１つのSingleSlope型A/D変換部に対して、そのA/D変換部がカウントしたカウント値（A/D変換後の画素信号（デジタルデータ））を格納するデータラッチを複数設け、複数の画素信号（複数ラインの画素信号）を並列に（１単位時間内に）転送することができるようにする。
　なお、以上のような複数のデータラッチから読み出された画素信号同士を加算若しくは減算する演算部をさらに備えるようにしてもよい。
　以上のようにすることにより、画像処理部にラインメモリを持つ場合よりも、回路規模（製造コスト）や消費電力の増大を抑制することができる。
　　＜CMOSイメージセンサ＞
　図３３は、その場合のCMOSイメージセンサの主な構成の例を示す図である。図３３に示されるCMOSイメージセンサ３００は、CMOSイメージセンサ１００やCMOSイメージセンサ２００と同様に、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。なお、本明細書においては、CMOSイメージセンサを例に説明するが、本技術は、例えば、CCDイメージセンサ等の、CMOSイメージセンサ以外の撮像素子にも適用することができる。
　図３３に示されるように、CMOSイメージセンサ３００は、画素アレイ部３１１、A/D変換部３１２、水平転送路３１３、増幅部３１４、演算部３１５、および画像処理部３１６を有する。また、CMOSイメージセンサ３００は、制御部３３１、垂直走査部３３２、および水平走査部３３３を有する。
　画素アレイ部３１１は、フォトダイオード等の光電変換素子を有する画素構成（単位画素）３２１が平面状または曲面状に配置される画素領域である。画素アレイ部１１１の各単位画素３２１は、垂直走査部３３２に制御されて、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。
　各単位画素３２１から出力された画素信号は、カラム毎に、そのカラムに割り当てられた垂直信号線VSL（例えば、VSL0やVSL1等）によってA/D変換部３１２に伝送される。
　A/D変換部３１２は、カラム毎に、そのカラムの画素信号をA/D変換するカラムA/D変換部を有する。A/D変換部３１２は、水平走査部３３３に制御されて、各カラムA/D変換部を用いて、画素アレイの各カラムの画素信号をA/D変換する。A/D変換部３１２においてA/D変換された画素信号（デジタルデータ）は、水平転送路３１３を介して増幅部３１４に供給され、増幅部３１４により増幅され、演算部３１５に供給される。
　演算部３１５は、制御部３３１の制御の下、必要に応じて、供給された複数ラインの画素信号に対して所定の演算（例えば、複数ラインの画素信号同士の加算や減算等）を行う。演算部３１５は、供給された画素信号若しくは演算結果を画像処理部３１６に供給する。
　画像処理部３１６は、演算部３１５から供給される画素信号を用いて所定の画像処理や信号処理等を行う。
　制御部３３１は、CMOSイメージセンサ３００の各処理部を制御する。例えば、制御部３３１は、垂直走査部３３２を制御して単位画素３２１の駆動を制御させる。また、例えば、制御部３３１は、A/D変換部３１２を制御して、画素アレイ部３１１から読み出された画素信号のA/D変換（より具体的には、A/D変換された画素信号のラッチ）を制御する。さらに、例えば、制御部３３１は、水平走査部３３３を制御してA/D変換された、各カラムのA/D変換部３１２（より具体的にはデータラッチ）からの画素信号の読み出しや転送を制御させる。さらに、例えば、制御部３３１は、演算部３１５を制御して、画素信号を用いた演算処理を制御する。
　垂直走査部３３２は、制御部３３１に制御されて、画素アレイ部３１１の各単位画素３２１の駆動を制御し、単位画素３２１からの画素信号の読み出しを行わせる。水平走査部３３３は、制御部３３１に制御されて、A/D変換部３１２を制御し、画素アレイ部３１１から読み出された画素信号のA/D変換を行わせたり、A/D変換された画素信号を転送させたりする。
　なお、増幅部３１４、演算部３１５、および画像処理部３１６は、省略するようにしてもよい。
　　＜A/D変換部＞
　図３４は、A/D変換部３１２の主な構成の例を示す図である。上述したように、A/D変換部３１２は、カラム毎にカラムA/D変換部を有する。図３４に示されるように、A/D変換部３１２は、各カラムA/D変換部に対してランプ信号を供給するD/A変換部３５１を有する。
　また、図３４に示されるように、垂直信号線VSL0を介して供給される画素信号をA/D変換するカラムA/D変換部は、比較部３５２－０、カウンタ３５３－０、セレクタ３５４－０、データラッチ３５５Ａ－０、およびデータラッチ３５５Ｂ－０を有する。同様に、垂直信号線VSL1を介して供給される画素信号をA/D変換するカラムA/D変換部は、比較部３５２－１、カウンタ３５３－１、セレクタ３５４－１、データラッチ３５５Ａ－１、およびデータラッチ３５５Ｂ－１を有する。
　つまり、各カラムA/D変換部は、比較部３５２、カウンタ３５３、セレクタ３５４、並びにデータラッチ３５５Ａおよびデータラッチ３５５Ｂを有する。なお、以下において、各カラムの構成を互いに区別して説明する必要が無い場合、このように、比較部３５２、カウンタ３５３、セレクタ３５４、データラッチ３５５Ａ、データラッチ３５５Ｂと称する。カラムを区別して説明する必要がある場合は、上述したように、カラムＸのカラムA/D変換部の構成を、比較部３５２－Ｘ、カウンタ３５３－Ｘ、セレクタ３５４－Ｘ、データラッチ３５５Ａ－Ｘ、データラッチ３５５Ｂ－Ｘと称する。さらに、データラッチ３５５Ａとデータラッチ３５５Ｂとを互いに区別して説明する必要が無い場合、データラッチ３５５と称する。
　比較部３５２は、そのカラムの垂直信号線VSLを介して供給される画素信号と、D/A変換部３５１から供給されるランプ信号とでその大きさを比較し、その比較結果をカウンタ３５３に供給する。
　カウンタ３５３は、比較部３５２の比較を開始してから比較結果が変化するまでの期間をカウントし、そのカウント値をセレクタ３５４に出力する。
　セレクタ３５４は、カウンタ３５３から供給されたカウント値（画素信号のデジタルデータ）を、制御部３３１の制御に従って、データラッチ３５５Ａおよびデータラッチ３５５Ｂの少なくともいずれか一方に供給する。
　データラッチ３５５は、セレクタ３５４から供給される画素信号（デジタルデータ）をラッチする。データラッチ３５５は、水平走査部３３３の制御に従って、ラッチしている画素信号（デジタルデータ）を水平転送路３１３に供給し、増幅部３１４に転送させる。
　このように、A/D変換部３１２は、画素アレイのカラム毎にカラムA/D変換部を有し、その各カラムA/D変換部に２つずつデータラッチ３５５を有する。したがって、A/D変換部３１２は、２ラインの画素信号（デジタルデータ）をラッチすることができる。したがって、水平走査部３３３は、１単位時間（例えば、１水平同期期間）において、この２ラインの画素信号のうち、いずれか一方若しくは両方を任意に選択して転送させることができる。
　これにより、CMOSイメージセンサ３００は、ライン間の画素信号の演算を、製造コストや消費電力の増大を抑制しながら実現することができる。また、水平走査部３３３は、任意の１ラインの画素信号を選択して転送させることもできるので、CMOSイメージセンサ３００は、より多様なモードで画素信号を出力させることができる。
　　＜読み出し処理の流れ＞
　図３５のフローチャートを参照して、読み出し処理の流れの例を説明する。読み出し処理を開始すると、制御部３３１は、ステップＳ３０１において、垂直走査部３３２を介して画素アレイ部３１１の各単位画素３２１を制御し、処理対象であるカレント行（カレントライン）の単位画素３２１から画素信号を読み出させる。
　ステップＳ３０２において、制御部３３１は、A/D変換部３１２を制御し、単位画素から読み出された画素信号をA/D変換させる。
　ステップＳ３０３において、制御部３３１は、A/D変換部３１２（より具体的にはセレクタ３５４）を制御し、動作モード（読み出しモード）に応じて、A/D変換されたカレント行の画素データ（画素信号のデジタルデータ）を記憶させるデータラッチ３５５を選択する。
　ステップＳ３０４において、制御部３３１は、A/D変換部３１２を制御し、ステップＳ３０３において選択されたデータラッチ３５５に画素データを記憶させる。
　ステップＳ３０５において、制御部３３１は、水平走査部３３３を制御し、動作モードに応じて、所望のデータラッチ３５５から画素データを読み出させる。
　ステップＳ３０６において、制御部３３１は、演算部３１５を制御し、動作モードに応じて、ライン間で画素データの演算を行わせる。演算が不要な場合、このステップの処理は省略することができる。
　ステップＳ３０７において、制御部３３１は、画像処理部３１６を制御し、画像処理を施した画素データをCMOSイメージセンサ３００の外部に出力させる。
　ステップＳ３０８において、制御部３３１は、他のライン（行）の画素信号を読み出すか否かを判定する。未処理のラインが存在し、他のライン（行）の画素信号を読み出すと判定された場合、処理は、ステップＳ３０１に戻り、それ以降の処理を繰り返す。また、ステップＳ３０８において、他のラインの画素信号を読み出さないと判定された場合、読み出し処理を終了する。
　このように制御することにより、CMOSイメージセンサ３００は、ライン間の画素信号の演算を、必要に応じて、製造コストや消費電力の増大を抑制しながら実現することができる。また、CMOSイメージセンサ３００は、より多様なモードで画素信号を出力させることができる。
　　＜読み出しモード例＞
　CMOSイメージセンサ３００は、例えば、図３６に示されるように、画素信号の読み出しを行うことができる。図３６の例では前後の行を加算したデータを出力することができる。各カラムについて、各処理部を図３６のＡの例のように構成し、図３６のＢの例のタイミングチャートのように画素信号の読み出し、ラッチ、転送を行うようにすればよい。例えば、Ｎ行目のデータをデータラッチ３５５Ａとデータラッチ３５５Ｂの両方に格納し、次のN+1行のデータをデータラッチ３５５Ｂのみに格納する。この時データラッチ３５５ＡではＮ行のデータを格納したままになる。この２つのデータを演算部３１５で加算することによって、加算データを出力することが可能になる。
　またデータラッチ３５５Ｂのデータを読み出すことで、加算前のデータを出力することもできる。さらに、例えば、上述した加算データの出力と加算前のデータの出力とを並行して行うこともできる。例えば、動画モードの場合、演算部３１５がデータラッチ３５５Ａに格納されたデータと、データラッチ３５５Ｂに格納されたデータとを加算し、１単位時間置きにその加算結果（A+B）を出力するようにし、静止画モードの場合、データラッチ３５５Ｂに格納されたデータ（Ｂ）を、各単位時間において出力するようにすることができる。このようにすることにより、より多様な方法で画素信号を出力させることができる。
　また、CMOSイメージセンサ３００は、例えば、図３７に示されるように、画素信号の読み出しを行うことができる。図３７の例では前後の行を減算したデータ（差分データ）を出力することができる。各カラムについて、各処理部を図３７のＡの例のように構成し、図３７のＢの例のタイミングチャートのように画素信号の読み出し、ラッチ、転送を行うようにすればよい。例えば、Ｎ行目のデータをデータラッチ３５５Ａのみに格納し、次のN+1行目のデータをデータラッチ３５５Ｂのみに格納する。すなわち、データをラッチさせるデータラッチ３５５を、行毎に切り替えるようにする。このようにすることにより、データラッチ３５５Ａおよびデータラッチ３５５Ｂには、連続する２行のデータが格納されることとなる。この２つのデータを演算部３１５で減算することによって、差分データを出力することが可能になる。
　またデータラッチ３５５Ａに格納されているデータと、データラッチ３５５Ｂに格納されているデータとを交互に読み出すことで、減算前のデータを出力することもできる。さらに、例えば、上述した差分データの出力と減算前のデータの出力とを並行して行うこともできる。例えば、コントラストAF（Auto Focus）機能の精度向上のためのモードであるAFモードの場合、演算部３１５がデータラッチ３５５Ａに格納されたデータと、データラッチ３５５Ｂに格納されたデータとを減算し、各単位時間においてその減算結果（A-B若しくはB-A）を出力するようにし、静止画モードの場合、データラッチ３５５Ａに格納されたデータ（Ａ）とデータラッチ３５５Ｂに格納されたデータ（Ｂ）とを、単位時間毎に交互に出力するようにすることができる。このようにすることにより、より多様な方法で画素信号を出力させることができる。
　また、例えば、図３８のＡに示されるように、図３８のＡ（減算の場合）と同様の構成にして、図３６の例と同様に、前後の行を加算したデータを出力するようにすることもできる。その場合、図３８のＢの例のタイミングチャートのように画素信号の読み出し、ラッチ、転送を行うようにすればよい。
　例えば、Ｎ行目のデータをデータラッチ３５５Ａのみに格納し、次のN+1行目のデータをデータラッチ３５５Ｂのみに格納する。すなわち、データをラッチさせるデータラッチ３５５を、行毎に切り替えるようにする。このようにすることにより、データラッチ３５５Ａおよびデータラッチ３５５Ｂには、連続する２行のデータが格納されることとなる。この２つのデータを演算部３１５で加算することによって、加算データを出力することが可能になる。
　またデータラッチ３５５Ａに格納されているデータと、データラッチ３５５Ｂに格納されているデータとを交互に読み出すことで、加算前のデータを出力することもできる。さらに、例えば、上述した加算データの出力と加算前のデータの出力とを並行して行うこともできる。例えば、動画モードの場合、演算部３１５がデータラッチ３５５Ａに格納されたデータと、データラッチ３５５Ｂに格納されたデータとを加算し、１単位時間置きにその加算結果（A+B）を出力するようにし、静止画モードの場合、データラッチ３５５Ａに格納されたデータ（Ａ）とデータラッチ３５５Ｂに格納されたデータ（Ｂ）とを、単位時間毎に交互に出力するようにすることができる。このようにすることにより、より多様な方法で画素信号を出力させることができる。
　なお、演算（加算若しくは減算）した後のデータの重心をそろえるために、各データラッチに格納されたデータに、それぞれ所定の加重をかけて演算（加算若しくは減算）するようにしてもよい。
　以上のようにすることにより、複数のデータを並行して出力することができるようになる。また、データラッチ後に演算を行うようにすることで、複数行の画素データを用いた演算（加算や減算等）を行うことができる。さらに、以上のような構成とすることにより、ラインメモリが不要になるので、回路規模（製造コスト）や消費電力の増大を抑制することができる。
　以上においては、各カラム（各カラムA/D変換部）に対して２つのデータラッチ３５５を設けるように説明したが、１カラム当たりのデータラッチ３５５の数は任意である。例えば、各カラムに対して３つ以上のデータラッチ３５５を設けるようにしてもよい。このようにすることにより、より多数のラインの画素データを格納することができ、ライン間でより多様な演算を行うことができるようになる。つまり、より多様な方法で画素信号を出力させることができるようになる。
　＜４．第４の実施の形態＞
　　＜マルチサンプリングによるノイズ低減＞
　以上の各実施の形態において説明したように各カラムに対して複数系統のA/D変換を行う場合、その互いに独立した複数系統を利用して、出力データのノイズを低減させるようにしてもよい。
　その場合、各系統のA/D変換において、Ｐ相、Ｄ相のサンプリングタイミングを互いにずらし、それぞれの加算平均を求めるようにしてもよい。
　例えば、各系統のDAC波形を互いにずらす。各系統のカラムADCは互いに独立に動作するので、このような制御は容易に実現することができる。このようにすることにより、サンプリング回数が２倍に増えるので、互いのノイズに相関がなければ、両サンプリングにより得られた信号の加算平均を出力することにより、SN比を改善することができる。つまり、出力データのノイズを低減させることができる。
　しかしながら、この方法の場合、１カラムあたりのA/D変換処理時間が長くなってしまうおそれがあった。
　そこで、複数のA/D変換のタイミング制御を変更することなく、参照信号（ランプ信号）のオフセットを相対的にずらすことで、サンプリングタイミングをずらすようにしてもよい。例えば、図３９の例の点線４０１と実線４０２のように、Ｐ相、Ｄ相のサンプリングタイミングを複数に分け、各出力の加算平均を求めるようにしてもよい。
　例えば、図４０のＡに示されるように、各系統のランプ信号のオフセットがずれていない（各系統のランプ信号に互いに同一のオフセットを付与する）と、各系統のサンプリングタイミングが同一となるので、出力データには、略同一のノイズがのってしまう。そのため、仮に各系統の出力データの加算平均を求めても、A/D変換部のSN比は改善されるが、画素信号のSN比を改善することは困難である。
　これに対して、図３９の例のように、各系統のランプ信号のオフセットを相対的にずらす（各系統のランプ信号に互いに異なるオフセットを付与する）と、図４０のＢに示されるように、各系統のサンプリングタイミングが互いに異なるタイミングとなり、出力データにのるノイズがランダムノイズであるとすると、各系統の出力データの加算平均を出力データとすることにより、A/D変換部とともに画素信号のSN比も改善することができる。すなわち、出力データのノイズをより低減させることができる。
　また、この方法の場合、ランプ信号の供給タイミングは、全系統で同一であるので、上述したランプ信号の供給タイミングを系統毎にずらす場合よりも制御が容易である。また、このランプ信号のオフセットを系統毎にずらす方法の方が、ランプ信号の供給タイミングを系統毎にずらす場合よりもより短時間にA/D変換を行うことができる。つまり、A/D変換処理時間の増大を抑制することができる。すなわち、A/D変換処理をより高速に行うことができる。
　　＜黒化現象補正とマルチサンプリングの両立＞
　なお、撮像装置においては、光電変換部（フォトダイオード）に非常に強い光が入射した場合、黒化現象が発生する可能性がある。この黒化現象を補正する方法として、Ｐ相読み出し期間に比較部の出力が反転しない場合、A/D変換結果として固定値を出力させる方式がある。この方式の場合、ランプ信号のオフセットを小さくし過ぎると、Ｐ相読み出し期間に比較部の出力が反転してしまうので、上述したような固定値を出力する制御方法が有効に機能せず、黒化現象の発生を抑制することが困難になる可能性が考えられる。
　例えば、図４１の場合、画素信号（VSL信号）と点線４０１で示されるランプ信号１との比較結果は、Ｐ相読み出し期間において反転しないが、画素信号（VSL信号）と実線４０２で示されるランプ信号２との比較結果は、Ｐ相読み出し期間において反転する。このように、ランプ信号１とランプ信号２との間でオフセットの差を大きくしすぎてしまうと、すなわち、ランプ信号に付与するオフセットを小さくし過ぎてしまうと、ランプ信号と画素信号との比較結果が反転し易くなり、上述したような固定値を出力することによる黒化現象の発生の抑制制御が効き難くなる。
　そこで、ランプ信号のオフセットのずらし量をランプ信号の傾きに応じて変化させるようにしてもよい。例えば、ランプ信号の傾きが大きい場合、各A/D変換部のランプ信号のオフセットの差が小さくなるように設定し、ランプ信号の傾きが小さい場合、各A/D変換部のランプ信号のオフセットの差が大きくなるように設定するようにしてもよい。
　このランプ信号の傾きが大きいか否かは、所定の閾値を用いて判定するようにしてもよい。つまり、ランプ信号の傾きが所定の閾値よりも大きい場合（若しくは閾値以上の場合）は、ランプ信号の傾きが大きいと判定され、各A/D変換部のランプ信号のオフセットの差が小さくなるように設定されるようにし、ランプ信号の傾きが所定の閾値以下の場合（若しくは閾値よりも小さい場合）は、ランプ信号の傾きが小さいと判定され、各A/D変換部のランプ信号のオフセットの差が大きくなるように設定されるようにしてもよい。この閾値は任意であり、所定の固定値であってもよいし、何らかの情報に基づいて決定されるようにしてもよい。また、閾値を用いずに、各系統のランプ信号のオフセットの差を、ランプ信号の傾きの大きさに応じた値に設定するようにしてもよい。
　このように制御することにより、光電変換部に非常に強い光が入射した場合においても、黒化現象は正常に補正されるようにすることができ、かつ、マルチサンプリングによるノイズ低減効果を得ることが可能となる。
　なお、複数系統出力を利用して、出力信号のいずれかから黒化補正された固定値が出力された場合、加算平均処理を行わず、その固定値を選択して出力するようにしてもよい。
　もちろんこの場合も、１カラム当たりのA/D変換部の系統数は任意である。なお、このような制御は、１カラム当たりに複数系統のA/D変換部が設けられるイメージセンサであれば、どのようなイメージセンサにも適用することができる。例えば、上述した各実施の形態において説明した各CMOSイメージセンサにおいて実現することができる。以下においては、図１のCMOSイメージセンサ１００を例に説明する。
　　＜ランプ信号制御処理の流れ＞
　図４２のフローチャートを参照して、上述したようなランプ信号のオフセット量の制御を行うためのランプ信号制御処理の流れの例を説明する。
　ランプ信号制御処理が開始されると、センサコントローラ１３１は、ステップＳ４０１において、D/A変換部１１３が出力するランプ信号の傾きを判定する。D/A変換部１１３は、センサコントローラ１３１の制御に従ってランプ信号を生成し、出力する。すなわち、センサコントローラ１３１は、その制御情報に基づいて、ランプ信号の傾きを判定する。なお、もちろん、センサコントローラ１３１が、D/A変換部１１３の出力波形（ランプ信号の波形）を解析し、その傾きを判定するようにしてもよい。
　ステップＳ４０２において、センサコントローラ１３１は、D/A変換部１１３を制御し、ステップＳ４０１において判定されたランプ信号の傾きの大きさに応じて、ランプ信号のずらし量（オフセットの差）を上述したように制御する。ランプ信号のずらし量を制御すると、ランプ信号制御処理が終了する。
　以上のように制御することにより、CMOSイメージセンサ１００は、マルチサンプリングによるノイズ低減効果を得ることができるとともに、黒化現象の発生を抑制することができる。つまり、より多様な方法で画素信号を出力させることができるようになる。
　＜５．第５の実施の形態＞
　　＜CMOSイメージセンサ＞
　なお、本技術を適用する撮像素子が、互いに重畳される複数の半導体基板を有するようにしてもよい。
　図４３は、本技術を適用した撮像素子の一例の主な構成例を示す図である。図４３に示されるCMOSイメージセンサ５００は、各実施の形態において上述した各CMOSイメージセンサと同様に、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。図４３に示されるように、CMOSイメージセンサ５００は、互いに重畳される２枚の半導体基板（積層チップ（画素チップ５０１および回路チップ５０２））を有する。なお、この半導体基板（積層チップ）の数（層数）は、複数であればよく、例えば、３層以上であってもよい。
　画素チップ５０１には、入射光を光電変換する光電変換素子を含む単位画素が複数並べられた画素領域５１１が形成されている。また、回路チップ５０２には、画素領域５１１から読み出された画素信号を処理する周辺回路が形成される周辺回路領域５１２が形成されている。
　上述したように画素チップ５０１および回路チップ５０２は、互いに重畳され、多層構造（積層構造）を形成する。画素チップ５０１に形成される画素領域５１１の各画素と回路チップ５０２に形成される周辺回路領域５１２の周辺回路は、ビア領域（VIA）５１３およびビア領域（VIA）５１４に形成される貫通ビア（VIA）等を介して互いに電気的に接続されている。
　CMOSイメージセンサ５００が、このような積層構造を形成する場合であっても、各実施の形態において説明した各CMOSイメージセンサの構成を有することができる。つまり、このような積層構造のCMOSイメージセンサ５００にも本技術を適用することができる。
　＜６．第６の実施の形態＞
　　＜撮像装置＞
　なお、本技術は、撮像素子以外にも適用することができる。例えば、撮像装置のような、撮像素子を有する装置（電子機器等）に本技術を適用するようにしてもよい。図４４は、本技術を適用した電子機器の一例としての撮像装置の主な構成例を示すブロック図である。図４４に示される撮像装置６００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
　図４４に示されるように撮像装置６００は、光学部６１１、CMOSイメージセンサ６１２、画像処理部６１３、表示部６１４、コーデック処理部６１５、記憶部６１６、出力部６１７、通信部６１８、制御部６２１、操作部６２２、およびドライブ６２３を有する。
　光学部６１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部６１１は、被写体からの光（入射光）を透過し、CMOSイメージセンサ６１２に供給する。
　CMOSイメージセンサ６１２は、入射光を光電変換して画素毎の信号（画素信号）をA/D変換し、CDS等の信号処理を行い、処理後の撮像画像データを画像処理部６１３に供給する。
　画像処理部６１３は、CMOSイメージセンサ６１２により得られた撮像画像データを画像処理する。より具体的には、画像処理部６１３は、CMOSイメージセンサ６１２から供給された撮像画像データに対して、例えば、混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部６１３は、画像処理を施した撮像画像データを表示部６１４に供給する。
　表示部６１４は、例えば、液晶ディスプレイ等として構成され、画像処理部６１３から供給された撮像画像データの画像（例えば、被写体の画像）を表示する。
　画像処理部６１３は、さらに、画像処理を施した撮像画像データを、必要に応じて、コーデック処理部６１５に供給する。
　コーデック処理部６１５は、画像処理部６１３から供給された撮像画像データに対して、所定の方式の符号化処理を施し、得られた符号化データを記憶部６１６に供給する。また、コーデック処理部６１５は、記憶部６１６に記録されている符号化データを読み出し、復号して復号画像データを生成し、その復号画像データを画像処理部６１３に供給する。
　画像処理部６１３は、コーデック処理部６１５から供給される復号画像データに対して所定の画像処理を施す。画像処理部６１３は、画像処理を施した復号画像データを表示部６１４に供給する。表示部６１４は、例えば、液晶ディスプレイ等として構成され、画像処理部６１３から供給された復号画像データの画像を表示する。
　また、コーデック処理部６１５は、画像処理部６１３から供給された撮像画像データを符号化した符号化データ、または、記憶部６１６から読み出した撮像画像データの符号化データを出力部６１７に供給し、撮像装置６００の外部に出力させるようにしてもよい。また、コーデック処理部６１５は、符号化前の撮像画像データ、若しくは、記憶部６１６から読み出した符号化データを復号して得られた復号画像データを出力部６１７に供給し、撮像装置６００の外部に出力させるようにしてもよい。
　さらに、コーデック処理部６１５は、撮像画像データ、撮像画像データの符号化データ、または、復号画像データを、通信部６１８を介して他の装置に伝送させるようにしてもよい。また、コーデック処理部６１５は、撮像画像データや画像データの符号化データを、通信部６１８を介して取得するようにしてもよい。コーデック処理部６１５は、通信部６１８を介して取得した撮像画像データや画像データの符号化データに対して、適宜、符号化や復号等を行う。コーデック処理部６１５は、得られた画像データ若しくは符号化データを、上述したように、画像処理部６１３に供給したり、記憶部６１６、出力部６１７、および通信部６１８に出力するようにしてもよい。
　記憶部６１６は、コーデック処理部６１５から供給される符号化データ等を記憶する。記憶部６１６に格納された符号化データは、必要に応じてコーデック処理部６１５に読み出されて復号される。復号処理により得られた撮像画像データは、表示部６１７に供給され、その撮像画像データに対応する撮像画像が表示される。
　出力部６１７は、外部出力端子等の外部出力インターフェイスを有し、コーデック処理部６１５を介して供給される各種データを、その外部出力インターフェイスを介して撮像装置６００の外部に出力する。
　通信部６１８は、コーデック処理部６１５から供給される画像データや符号化データ等の各種情報を、所定の通信（有線通信若しくは無線通信）の通信相手である他の装置に供給する。また、通信部６１８は、所定の通信（有線通信若しくは無線通信）の通信相手である他の装置から、画像データや符号化データ等の各種情報を取得し、それをコーデック処理部６１５に供給する。
　制御部６２１は、撮像装置６００の各処理部（点線６２０内に示される各処理部、操作部６２２、並びに、ドライブ６２３）の動作を制御する。
　操作部６２２は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等の任意の入力デバイスにより構成され、例えばユーザ等による操作入力を受け、その操作入力に対応する信号を制御部６２１に供給する。
　ドライブ６２３は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア６３１に記憶されている情報を読み出す。ドライブ６２３は、リムーバブルメディア６３１からプログラムやデータ等の各種情報を読み出し、それを制御部６２１に供給する。また、ドライブ６２３は、書き込み可能なリムーバブルメディア６３１が自身に装着された場合、制御部６２１を介して供給される、例えば画像データや符号化データ等の各種情報を、そのリムーバブルメディア６３１に記憶させる。
　以上のような撮像装置６００のCMOSイメージセンサ６１２として、各実施の形態において上述した本技術を適用する。すなわち、CMOSイメージセンサ６１２として、上述した各実施の形態のCMOSイメージセンサ（例えば、CMOSイメージセンサ１００、CMOSイメージセンサ２００、またはCMOSイメージセンサ３００等）が用いられる。これにより、CMOSイメージセンサ６１２は、より容易に、より多様なデータ出力を実現することができる。したがって撮像装置６００は、被写体を撮像することにより、より容易に、より多様なデータ出力を実現することができる。
　なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　この記録媒体は、例えば、図４４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア６３１により構成される。このリムーバブルメディア６３１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。
　その場合、プログラムは、そのリムーバブルメディア６３１をドライブ６２３に装着することにより、記憶部６１６にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１８で受信し、記憶部６１６にインストールすることができる。
　その他、このプログラムは、記憶部６１６や制御部６２１内のROM（Read Only Memory）等に、あらかじめインストールしておくこともできる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイと、
　前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記信号線を介して伝送させるように制御する制御部と
　を備える撮像素子。
　（２）　前記制御部は、前記画素からの画素信号の読み出しを、前記画素に対応する前記モードのフレームレートで行うように制御する
　（１）、（３）乃至（１３）のいずれかに記載の撮像素子。
　（３）　前記制御部は、さらに、各カラムのメインシャッタ動作およびプリシャッタ動作を前記モードのフレームレートで行うように制御する
　（１）、（２）、（４）乃至（１３）のいずれかに記載の撮像素子。
　（４）　各カラムにおいて、各信号線に割り当てられる画素数が互いに異なる
　（１）乃至（３）、（５）乃至（１３）のいずれかに記載の撮像素子。
　（５）　各カラムにおいて、画素信号の読み出しのモードに対応する信号線を、前記複数の信号線の中から選択する選択部をさらに備え、
　前記制御部は、各カラムについて、前記選択部にいずれかの前記信号線を選択させ、前記選択部により選択された信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記選択部により選択された信号線を介して伝送させるように制御する
　（１）乃至（４）、（６）乃至（１３）のいずれかに記載の撮像素子。
　（６）　前記制御部は、前記選択部に、選択する信号線を順次切り替えさせ、複数モードの画素信号の読み出しを時分割で行うように制御する
　（１）乃至（５）、（７）乃至（１３）のいずれかに記載の撮像素子。
　（７）　前記画素アレイの各カラムの複数の前記信号線のそれぞれに、前記信号線に対応する前記モードに対応するダミー画素がさらに接続され、
　前記制御部は、前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続されるダミー画素から画素信号を前記モードで読み出すように制御する
　（１）乃至（６）、（８）乃至（１３）のいずれかに記載の撮像素子。
　（８）　前記制御部は、さらに、前記ダミー画素のシャッタ動作を前記モードで行うように制御する
　（１）乃至（７）、（９）乃至（１３）のいずれかに記載の撮像素子。
　（９）　前記画素アレイの各カラムにおいて、前記信号線を介して伝送される前記画素信号をA/D変換するA/D変換部をさらに備える
　（１）乃至（８）、（１０）乃至（１３）のいずれかに記載の撮像素子。
　（１０）　前記画素アレイの各カラムにおいて、画素信号の読み出しのモードに対応する信号線を、前記複数の信号線の中から選択する選択部をさらに備え、
　前記A/D変換部は、前記選択部により選択された前記信号線に接続される画素から読み出された前記画素信号をA/D変換する
　（１）乃至（９）、（１１）乃至（１３）のいずれかに記載の撮像素子。
　（１１）　前記画素アレイの各カラムに対して、前記A/D変換部が複数備えられ、
　前記選択部は、画素信号のA/D変換に用いる前記A/D変換部をさらに選択する
　（１）乃至（１０）、（１２）、（１３）のいずれかに記載の撮像素子。
　（１２）　前記制御部は、前記画素アレイの各カラムについて、前記選択部に複数の信号線と複数のA/D変換部を選択させ、
　前記画素アレイの各カラムについて、前記選択部により選択された各信号線に接続される画素からの前記モードでの画素信号の読み出しを、前記信号線間で互いに並列に行うように制御する
　（１）乃至（１１）、（１３）のいずれかに記載の撮像素子。
　（１３）　各画素の露光時間は、前記画素が接続される信号線に対応するモード毎に設定される
　（１）乃至（１２）のいずれかに記載の撮像素子。
　（１４）　画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出させ、
　読み出させた前記画素信号を前記信号線を介して伝送させる
　制御方法。
　（１５）　被写体を撮像する撮像部と、
　前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
　を備え、
　前記撮像部は、
　　画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイと、
　　前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記信号線を介して伝送させるように制御する制御部と
　を備える撮像装置。
　（１６）　画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイと、
　前記画素アレイの各カラムの互いに異なる信号線を介して伝送される画素信号をA/D変換する複数のA/D変換部と、
　互いに異なる前記A/D変換部によりA/D変換された前記画素信号を圧縮する複数の圧縮部と
　前記画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出し、前記複数ラインの画素から読み出された複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送し、前記複数の信号線を用いて伝送された前記複数ラインの画素信号を前記複数のA/D変換部を用いて並列にA/D変換し、互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号を前記複数の圧縮部を用いて並列に圧縮するように制御する制御部と
　を備える撮像素子。
　（１７）　前記複数の圧縮部は、前記複数ラインの画素信号の圧縮後のデータサイズが１単位期間内に伝送可能なサイズ以下になるように、各ラインの画素信号を圧縮する
　（１６）、（１８）乃至（２０）のいずれかに記載の撮像素子。
　（１８）　前記制御部は、２ラインずつ画像信号を読み出させ、
　前記複数の圧縮部は、各ラインの画素信号を、データサイズが半分になるように圧縮する
　（１６）、（１７）、（１９）、（２０）のいずれかに記載の撮像素子。
　（１９）　前記圧縮部は、前記画素信号を、所定のビットレートで圧縮する
　（１６）乃至（１８）、（２０）のいずれかに記載の撮像素子。
　（２０）　互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号に対して、所定の信号処理を並列に行う複数の信号処理部をさらに備え、
　前記複数の圧縮部は、互いに異なる前記信号処理部により前記信号処理が行われた互いに異なるラインの画素信号を並列に圧縮する
　（１６）乃至（１９）のいずれかに記載の撮像素子。
　（２１）　画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出させ、
　前記複数ラインの画素から読み出させた前記複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送させ、
　前記複数の信号線を用いて伝送させた前記複数ラインの画素信号を並列にA/D変換させ、
　A/D変換させた互いに異なるラインの画素信号を並列に圧縮させる
　制御方法。
　（２２）　被写体を撮像する撮像部と、
　前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
　を備え、
　前記撮像部は、
　　画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイと、
　　前記画素アレイの各カラムの互いに異なる信号線を介して伝送される画素信号をA/D変換する複数のA/D変換部と、
　　互いに異なる前記A/D変換部によりA/D変換された前記画素信号を圧縮する複数の圧縮部と、
　　前記画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出し、前記複数ラインの画素から読み出された複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送し、前記複数の信号線を用いて伝送された前記複数ラインの画素信号を前記複数のA/D変換部を用いて並列にA/D変換し、互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号を前記複数の圧縮部を用いて並列に圧縮するように制御する制御部と
　を備える撮像装置。
　（２３）　画素アレイと、
　前記画素アレイの各カラムに対して割り当てられ、それぞれが前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
　各A/D変換部に対して複数個ずつ割り当てられ、それぞれが前記A/D変換部によりA/D変換された前記画素信号を記憶する複数のラッチと、
　前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記A/D変換部を用いてA/D変換し、前記A/D変換部によりA/D変換された前記画素信号を、前記画素信号の読み出しのモードに応じて、前記A/D変換部に対応する複数のラッチのうちのいずれか若しくは全部に記憶し、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶されている前記画素信号を読み出すように制御する制御部と
　を備える撮像素子。
　（２４）　前記複数のラッチから読み出された前記画素信号同士を加算若しくは減算する演算部をさらに備え、
　前記制御部は、前記モードに応じて、前記複数のラッチから読み出された前記画素信号同士を、前記演算部を用いて加算若しくは減算するように制御する
　（２３）に記載の撮像素子。
　（２５）　画素アレイの各カラムについて、前記カラムの処理対象のラインの画素から画素信号を読み出させ、
　前記画素から読み出させた前記画素信号をA/D変換させ、
　A/D変換させた前記画素信号を、前記画素信号の読み出しのモードに応じて、複数のラッチのうちのいずれか若しくは全部に記憶させ、
　前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶させている前記画素信号を読み出させる
　制御方法。
　（２６）　被写体を撮像する撮像部と、
　前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
　を備え、
　前記撮像部は、
　　画素アレイと、
　　前記画素アレイの各カラムに対して割り当てられ、それぞれが前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
　　各A/D変換部に対して複数個ずつ割り当てられ、それぞれが前記A/D変換部によりA/D変換された前記画素信号を記憶する複数のラッチと、
　　前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記A/D変換部を用いてA/D変換し、前記A/D変換部によりA/D変換された前記画素信号を、前記画素信号の読み出しのモードに応じて、前記A/D変換部に対応する複数のラッチのうちのいずれか若しくは全部に記憶し、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶されている前記画素信号を読み出すように制御する制御部と
　を備える撮像装置。
　（２７）　画素アレイと、
　前記画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
　各A/D変換部のランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部を用いてA/D変換するように制御する制御部と
　を備える撮像素子。
　（２８）　前記制御部は、前記ランプ信号の傾きの大きさに応じて、各A/D変換部のランプ信号のオフセットを設定する
　（２７）または（２９）に記載の撮像素子。
　（２９）　前記制御部は、前記ランプ信号の傾きが大きい場合、各A/D変換部のランプ信号のオフセットの差が小さくなるように設定し、前記ランプ信号の傾きが小さい場合、各A/D変換部のランプ信号のオフセットの差が大きくなるように設定する
　（２７）または（２８）に記載の撮像素子。
　（３０）　画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部のそれぞれのランプ信号のオフセットを互いに異なる値に設定し、
　前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出させ、
　前記画素から読み出させた前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部にA/D変換させる
　制御方法。
　（３１）　被写体を撮像する撮像部と、
　前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
　を備え、
　前記撮像部は、
　　画素アレイと、
　　前記画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
　　各A/D変換部のランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部を用いてA/D変換するように制御する制御部と
　を備える撮像装置。
　１００　CMOSイメージセンサ，　１１１　画素アレイ部，　１１２　読み出し部，　１１３　D/A変換部，　１２１　カラム画素部，　１２２　選択部，　１２３　カラムA/D変換部，　１２４　水平転送部，　１３１　センサコントローラ，　１３２　垂直走査部，　１３３　水平走査部，　１４１　アドレスデコーダ，　１４２　画素駆動部，　１５１　単位画素，　１６１　フォトダイオード，　１６２　読み出しトランジスタ，　１６３　リセットトランジスタ，　１６４　増幅トランジスタ，　１６５　セレクトトランジスタ，　１８１　電流源，　１８２　比較部，　１８３　カウンタ，　２００　CMOSイメージセンサ，　２２１　水平処理部，　２２２　圧縮部，　２２３　出力部，　３００　CMOSイメージセンサ，　３１１　画素アレイ部，　３１２　A/D変換部，　３１３　水平転送路，　３１４　増幅部，　３１５　演算部，　３１６　画像処理部，　３２１　単位画素，　３３１　制御部，　３３２　垂直走査部，　３３３　水平走査部，　３５１　D/A変換部，　３５２　比較部，　３５３　カウンタ，　３５４　セレクタ，　３５５　データラッチ，　５００　CMOSイメージセンサ，　５０１　画素チップ，　５０２　回路チップ，　５１１　画素領域，　５１２　周辺回路領域，　５１３および５１４　ビア領域，　６００　撮像装置，　６１２　CMOSイメージセンサ，　６１３　画像処理部，　６２１　制御部

Claims (31)

  1. 　画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイと、
    　前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記信号線を介して伝送させるように制御する制御部と
    　を備える撮像素子。
  2. 　前記制御部は、前記画素からの画素信号の読み出しを、前記画素に対応する前記モードのフレームレートで行うように制御する
    　請求項１に記載の撮像素子。
  3. 　前記制御部は、さらに、各カラムのメインシャッタ動作およびプリシャッタ動作を前記モードのフレームレートで行うように制御する
    　請求項２に記載の撮像素子。
  4. 　各カラムにおいて、各信号線に割り当てられる画素数が互いに異なる
    　請求項１に記載の撮像素子。
  5. 　各カラムにおいて、画素信号の読み出しのモードに対応する信号線を、前記複数の信号線の中から選択する選択部をさらに備え、
    　前記制御部は、各カラムについて、前記選択部にいずれかの前記信号線を選択させ、前記選択部により選択された信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記選択部により選択された信号線を介して伝送させるように制御する
    　請求項１に記載の撮像素子。
  6. 　前記制御部は、前記選択部に、選択する信号線を順次切り替えさせ、複数モードの画素信号の読み出しを時分割で行うように制御する
    　請求項５に記載の撮像素子。
  7. 　前記画素アレイの各カラムの複数の前記信号線のそれぞれに、前記信号線に対応する前記モードに対応するダミー画素がさらに接続され、
    　前記制御部は、前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続されるダミー画素から画素信号を前記モードで読み出すように制御する
    　請求項１に記載の撮像素子。
  8. 　前記制御部は、さらに、前記ダミー画素のシャッタ動作を前記モードで行うように制御する
    　請求項７に記載の撮像素子。
  9. 　前記画素アレイの各カラムにおいて、前記信号線を介して伝送される前記画素信号をA/D変換するA/D変換部をさらに備える
    　請求項１に記載の撮像素子。
  10. 　前記画素アレイの各カラムにおいて、画素信号の読み出しのモードに対応する信号線を、前記複数の信号線の中から選択する選択部をさらに備え、
    　前記A/D変換部は、前記選択部により選択された前記信号線に接続される画素から読み出された前記画素信号をA/D変換する
    　請求項９に記載の撮像素子。
  11. 　前記画素アレイの各カラムに対して、前記A/D変換部が複数備えられ、
    　前記選択部は、画素信号のA/D変換に用いる前記A/D変換部をさらに選択する
    　請求項１０に記載の撮像素子。
  12. 　前記制御部は、前記画素アレイの各カラムについて、前記選択部に複数の信号線と複数のA/D変換部を選択させ、
    　前記画素アレイの各カラムについて、前記選択部により選択された各信号線に接続される画素からの前記モードでの画素信号の読み出しを、前記信号線間で互いに並列に行うように制御する
    　請求項１１に記載の撮像素子。
  13. 　各画素の露光時間は、前記画素が接続される信号線に対応するモード毎に設定される
    　請求項１に記載の撮像素子。
  14. 　画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出させ、
    　読み出させた前記画素信号を前記信号線を介して伝送させる
    　制御方法。
  15. 　被写体を撮像する撮像部と、
    　前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
    　を備え、
    　前記撮像部は、
    　　画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイと、
    　　前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記信号線を介して伝送させるように制御する制御部と
    　を備える撮像装置。
  16. 　画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイと、
    　前記画素アレイの各カラムの互いに異なる信号線を介して伝送される画素信号をA/D変換する複数のA/D変換部と、
    　互いに異なる前記A/D変換部によりA/D変換された前記画素信号を圧縮する複数の圧縮部と
    　前記画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出し、前記複数ラインの画素から読み出された複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送し、前記複数の信号線を用いて伝送された前記複数ラインの画素信号を前記複数のA/D変換部を用いて並列にA/D変換し、互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号を前記複数の圧縮部を用いて並列に圧縮するように制御する制御部と
    　を備える撮像素子。
  17. 　前記複数の圧縮部は、前記複数ラインの画素信号の圧縮後のデータサイズが１単位期間内に伝送可能なサイズ以下になるように、各ラインの画素信号を圧縮する
    　請求項１６に記載の撮像素子。
  18. 　前記制御部は、２ラインずつ画像信号を読み出させ、
    　前記複数の圧縮部は、各ラインの画素信号を、データサイズが半分になるように圧縮する
    　請求項１７に記載の撮像素子。
  19. 　前記圧縮部は、前記画素信号を、所定のビットレートで圧縮する
    　請求項１６に記載の撮像素子。
  20. 　互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号に対して、所定の信号処理を並列に行う複数の信号処理部をさらに備え、
    　前記複数の圧縮部は、互いに異なる前記信号処理部により前記信号処理が行われた互いに異なるラインの画素信号を並列に圧縮する
    　請求項１６に記載の撮像素子。
  21. 　画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出させ、
    　前記複数ラインの画素から読み出させた前記複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送させ、
    　前記複数の信号線を用いて伝送させた前記複数ラインの画素信号を並列にA/D変換させ、
    　A/D変換させた互いに異なるラインの画素信号を並列に圧縮させる
    　制御方法。
  22. 　被写体を撮像する撮像部と、
    　前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
    　を備え、
    　前記撮像部は、
    　　画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイと、
    　　前記画素アレイの各カラムの互いに異なる信号線を介して伝送される画素信号をA/D変換する複数のA/D変換部と、
    　　互いに異なる前記A/D変換部によりA/D変換された前記画素信号を圧縮する複数の圧縮部と、
    　　前記画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出し、前記複数ラインの画素から読み出された複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送し、前記複数の信号線を用いて伝送された前記複数ラインの画素信号を前記複数のA/D変換部を用いて並列にA/D変換し、互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号を前記複数の圧縮部を用いて並列に圧縮するように制御する制御部と
    　を備える撮像装置。
  23. 　画素アレイと、
    　前記画素アレイの各カラムに対して割り当てられ、それぞれが前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
    　各A/D変換部に対して複数個ずつ割り当てられ、それぞれが前記A/D変換部によりA/D変換された前記画素信号を記憶する複数のラッチと、
    　前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記A/D変換部を用いてA/D変換し、前記A/D変換部によりA/D変換された前記画素信号を、前記画素信号の読み出しのモードに応じて、前記A/D変換部に対応する複数のラッチのうちのいずれか若しくは全部に記憶し、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶されている前記画素信号を読み出すように制御する制御部と
    　を備える撮像素子。
  24. 　前記複数のラッチから読み出された前記画素信号同士を加算若しくは減算する演算部をさらに備え、
    　前記制御部は、前記モードに応じて、前記複数のラッチから読み出された前記画素信号同士を、前記演算部を用いて加算若しくは減算するように制御する
    　請求項２３に記載の撮像素子。
  25. 　画素アレイの各カラムについて、前記カラムの処理対象のラインの画素から画素信号を読み出させ、
    　前記画素から読み出させた前記画素信号をA/D変換させ、
    　A/D変換させた前記画素信号を、前記画素信号の読み出しのモードに応じて、複数のラッチのうちのいずれか若しくは全部に記憶させ、
    　前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶させている前記画素信号を読み出させる
    　制御方法。
  26. 　被写体を撮像する撮像部と、
    　前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
    　を備え、
    　前記撮像部は、
    　　画素アレイと、
    　　前記画素アレイの各カラムに対して割り当てられ、それぞれが前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
    　　各A/D変換部に対して複数個ずつ割り当てられ、それぞれが前記A/D変換部によりA/D変換された前記画素信号を記憶する複数のラッチと、
    　　前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記A/D変換部を用いてA/D変換し、前記A/D変換部によりA/D変換された前記画素信号を、前記画素信号の読み出しのモードに応じて、前記A/D変換部に対応する複数のラッチのうちのいずれか若しくは全部に記憶し、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶されている前記画素信号を読み出すように制御する制御部と
    　を備える撮像装置。
  27. 　画素アレイと、
    　前記画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
    　各A/D変換部のランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部を用いてA/D変換するように制御する制御部と
    　を備える撮像素子。
  28. 　前記制御部は、前記ランプ信号の傾きの大きさに応じて、各A/D変換部のランプ信号のオフセットを設定する
    　請求項２７に記載の撮像素子。
  29. 　前記制御部は、前記ランプ信号の傾きが大きい場合、各A/D変換部のランプ信号のオフセットの差が小さくなるように設定し、前記ランプ信号の傾きが小さい場合、各A/D変換部のランプ信号のオフセットの差が大きくなるように設定する
    　請求項２８に記載の撮像素子。
  30. 　画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部のそれぞれのランプ信号のオフセットを互いに異なる値に設定し、
    　前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出させ、
    　前記画素から読み出させた前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部にA/D変換させる
    　制御方法。
  31. 　被写体を撮像する撮像部と、
    　前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
    　を備え、
    　前記撮像部は、
    　　画素アレイと、
    　　前記画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
    　　各A/D変換部のランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部を用いてA/D変換するように制御する制御部と
    　を備える撮像装置。
PCT/JP2015/055140 2014-03-06 2015-02-24 撮像素子、制御方法、並びに、撮像装置 WO2015133323A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/119,636 US10484634B2 (en) 2014-03-06 2015-02-24 Image pickup element, control method, and image pickup device
EP15758339.4A EP3116217B1 (en) 2014-03-06 2015-02-24 Imaging element, control method, and imaging device
JP2016506432A JPWO2015133323A1 (ja) 2014-03-06 2015-02-24 撮像素子、制御方法、並びに、撮像装置
KR1020167022689A KR102277599B1 (ko) 2014-03-06 2015-02-24 촬상 소자, 제어 방법, 및, 촬상 장치
CN201580010326.5A CN106031162B (zh) 2014-03-06 2015-02-24 摄像元件、控制方法和摄像装置
US16/577,558 US20200014874A1 (en) 2014-03-06 2019-09-20 Image pickup element, control method, and image pickup device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-044036 2014-03-06
JP2014044036 2014-03-06

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/119,636 A-371-Of-International US10484634B2 (en) 2014-03-06 2015-02-24 Image pickup element, control method, and image pickup device
US16/577,558 Division US20200014874A1 (en) 2014-03-06 2019-09-20 Image pickup element, control method, and image pickup device

Publications (1)

Publication Number Publication Date
WO2015133323A1 true WO2015133323A1 (ja) 2015-09-11

Family

ID=54055132

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/055140 WO2015133323A1 (ja) 2014-03-06 2015-02-24 撮像素子、制御方法、並びに、撮像装置

Country Status (7)

Country Link
US (2) US10484634B2 (ja)
EP (1) EP3116217B1 (ja)
JP (2) JPWO2015133323A1 (ja)
KR (1) KR102277599B1 (ja)
CN (2) CN106031162B (ja)
TW (1) TWI672952B (ja)
WO (1) WO2015133323A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012068A1 (ja) * 2016-07-12 2018-01-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
CN107786822A (zh) * 2016-08-30 2018-03-09 三星电子株式会社 图像传感器及其驱动方法
CN109891876A (zh) * 2016-11-07 2019-06-14 索尼半导体解决方案公司 具有开关电路的成像器件
WO2019225122A1 (ja) 2018-05-25 2019-11-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び固体撮像装置を搭載した電子機器
WO2020095659A1 (ja) * 2018-11-09 2020-05-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP7357477B2 (ja) 2019-07-08 2023-10-06 キヤノン株式会社 撮像装置及びその製造方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6690650B2 (ja) * 2015-09-30 2020-04-28 株式会社ニコン 撮像素子、撮像装置、及び電子機器
WO2017057382A1 (ja) 2015-09-30 2017-04-06 株式会社ニコン 撮像素子および撮像装置
KR102502955B1 (ko) * 2016-04-12 2023-02-27 에스케이하이닉스 주식회사 단위 픽셀 및 그 동작 방법과 그를 이용한 씨모스 이미지 센서
JP6765859B2 (ja) * 2016-05-31 2020-10-07 キヤノン株式会社 撮像装置、およびその制御方法
US10375338B2 (en) * 2017-02-01 2019-08-06 Omnivision Technologies, Inc. Two stage amplifier readout circuit in pixel level hybrid bond image sensors
JP6953274B2 (ja) * 2017-02-01 2021-10-27 ソニーセミコンダクタソリューションズ株式会社 撮像システム及び撮像装置
US10873714B2 (en) * 2017-11-09 2020-12-22 Semiconductor Components Industries, Llc Image sensor with multiple pixel access settings
JP2019193085A (ja) * 2018-04-24 2019-10-31 キヤノン株式会社 撮像素子及びその制御方法、及び撮像装置
CN110933341B (zh) * 2018-09-20 2022-08-16 西安中兴新软件有限责任公司 图像传感器及其控制方法、终端、计算机可读存储介质
KR20200098163A (ko) 2019-02-12 2020-08-20 삼성전자주식회사 이미지 센서의 구동 방법 및 이를 수행하는 이미지 센서
JP2020170947A (ja) * 2019-04-03 2020-10-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN110149489A (zh) * 2019-05-23 2019-08-20 Oppo广东移动通信有限公司 采样方法、装置以及计算机存储介质和图像传感器
EP4131937A4 (en) * 2020-03-31 2023-10-11 Sony Semiconductor Solutions Corporation IMAGING DEVICE AND METHOD FOR CONTROLLING SAME
KR20230055696A (ko) 2021-10-19 2023-04-26 에스케이하이닉스 주식회사 이미지 센싱 장치와 그의 동작방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003234967A (ja) * 2002-02-12 2003-08-22 Photron Ltd 高速撮像装置
JP2008134390A (ja) * 2006-11-28 2008-06-12 Sony Corp 撮像装置
JP2008219243A (ja) * 2007-03-01 2008-09-18 Sony Corp 撮像装置およびカメラ
JP2010147614A (ja) * 2008-12-16 2010-07-01 Panasonic Corp 固体撮像装置およびその駆動方法、撮像装置
JP2010263526A (ja) * 2009-05-11 2010-11-18 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および電子機器
JP2011097540A (ja) * 2009-11-02 2011-05-12 Sony Corp 固体撮像素子およびカメラシステム
JP2012253624A (ja) * 2011-06-03 2012-12-20 Sony Corp 固体撮像装置およびカメラシステム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3951946B2 (ja) * 2003-03-24 2007-08-01 ブラザー工業株式会社 イメージセンサ、読取装置、及び解像度設定方法
JP4423112B2 (ja) 2004-06-01 2010-03-03 キヤノン株式会社 固体撮像装置および撮像システム
JP2007150643A (ja) * 2005-11-28 2007-06-14 Sony Corp 固体撮像素子、固体撮像素子の駆動方法および撮像装置
JP2008012482A (ja) 2006-07-07 2008-01-24 Max Co Ltd 蓋体
US7920191B2 (en) * 2006-12-08 2011-04-05 Casio Computer Co., Ltd. Image capturing apparatus in which pixel charge signals are divided and output in a different order than an arrangement of pixels on an image capturing element and then rearranged and stored in a same order as the arrangement of the pixels on the image capturing element, and method thereof
JP5163935B2 (ja) * 2007-05-17 2013-03-13 ソニー株式会社 イメージセンサ
JP5106092B2 (ja) * 2007-12-26 2012-12-26 パナソニック株式会社 固体撮像装置およびカメラ
JP5347341B2 (ja) 2008-06-06 2013-11-20 ソニー株式会社 固体撮像装置、撮像装置、電子機器、ａｄ変換装置、ａｄ変換方法
JP5292939B2 (ja) * 2008-06-20 2013-09-18 ソニー株式会社 画像処理装置および方法、製造装置
JP5495551B2 (ja) * 2008-12-26 2014-05-21 オリンパス株式会社 固体撮像装置
JP5304410B2 (ja) 2009-04-17 2013-10-02 ソニー株式会社 Ａｄ変換装置、固体撮像素子、およびカメラシステム
JP2011259407A (ja) * 2010-05-13 2011-12-22 Sony Corp 信号処理回路、固体撮像素子およびカメラシステム
DE102010051438B4 (de) * 2010-11-15 2024-03-14 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor
KR101754131B1 (ko) * 2010-12-01 2017-07-06 삼성전자주식회사 샘플링 회로와 광감지 장치
JP5739653B2 (ja) * 2010-12-03 2015-06-24 キヤノン株式会社 撮像装置
KR20120119279A (ko) * 2011-04-21 2012-10-31 삼성전자주식회사 픽셀 어레이 및 이를 포함하는 3차원 이미지 센서
JP5814050B2 (ja) * 2011-09-02 2015-11-17 ルネサスエレクトロニクス株式会社 固体撮像装置
JP5862126B2 (ja) * 2011-09-06 2016-02-16 ソニー株式会社 撮像素子および方法、並びに、撮像装置
US9053993B2 (en) * 2011-10-07 2015-06-09 Semiconductor Components Industries, Llc Imaging systems with selectable column power control
JP5853594B2 (ja) * 2011-10-31 2016-02-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5988744B2 (ja) * 2012-07-18 2016-09-07 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP5904899B2 (ja) * 2012-08-06 2016-04-20 オリンパス株式会社 撮像装置
CN103595410A (zh) * 2012-08-17 2014-02-19 联咏科技股份有限公司 图像传感器及其列模数转换器
KR101999341B1 (ko) * 2012-11-27 2019-10-01 삼성전자주식회사 이미지 센서, 및 이를 포함하는 시스템
JP6097574B2 (ja) * 2013-01-25 2017-03-15 キヤノン株式会社 撮像装置、その駆動方法、及び撮像システム
CN103402063B (zh) * 2013-08-16 2019-04-23 上海集成电路研发中心有限公司 Cmos图像传感器及其图像数据的传输方法
JP6214353B2 (ja) * 2013-11-20 2017-10-18 キヤノン株式会社 放射線撮像装置及び放射線撮像システム
EP3236652A4 (en) * 2014-12-19 2018-07-11 Olympus Corporation Endoscope and endoscope system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003234967A (ja) * 2002-02-12 2003-08-22 Photron Ltd 高速撮像装置
JP2008134390A (ja) * 2006-11-28 2008-06-12 Sony Corp 撮像装置
JP2008219243A (ja) * 2007-03-01 2008-09-18 Sony Corp 撮像装置およびカメラ
JP2010147614A (ja) * 2008-12-16 2010-07-01 Panasonic Corp 固体撮像装置およびその駆動方法、撮像装置
JP2010263526A (ja) * 2009-05-11 2010-11-18 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および電子機器
JP2011097540A (ja) * 2009-11-02 2011-05-12 Sony Corp 固体撮像素子およびカメラシステム
JP2012253624A (ja) * 2011-06-03 2012-12-20 Sony Corp 固体撮像装置およびカメラシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3116217A4 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012068A1 (ja) * 2016-07-12 2018-01-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
CN107786822A (zh) * 2016-08-30 2018-03-09 三星电子株式会社 图像传感器及其驱动方法
US11223788B2 (en) 2016-08-30 2022-01-11 Samsung Electronics Co., Ltd. Image sensor including at least one autofocusing pixel and at least one normal pixel and driving method thereof
CN107786822B (zh) * 2016-08-30 2021-07-16 三星电子株式会社 图像传感器
US10848700B2 (en) * 2016-11-07 2020-11-24 Sony Semiconductor Solutions Corporation Imaging device with switch circuit
US20200186739A1 (en) * 2016-11-07 2020-06-11 Sony Semiconductor Solutions Corporation Imaging device with switch circuit
CN109891876B (zh) * 2016-11-07 2021-10-22 索尼半导体解决方案公司 成像器件
CN109891876A (zh) * 2016-11-07 2019-06-14 索尼半导体解决方案公司 具有开关电路的成像器件
WO2019225122A1 (ja) 2018-05-25 2019-11-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び固体撮像装置を搭載した電子機器
US11470269B2 (en) 2018-05-25 2022-10-11 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device equipped with solid-state imaging device
WO2020095659A1 (ja) * 2018-11-09 2020-05-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
US11570390B2 (en) 2018-11-09 2023-01-31 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
JP7357477B2 (ja) 2019-07-08 2023-10-06 キヤノン株式会社 撮像装置及びその製造方法

Also Published As

Publication number Publication date
JP7028274B2 (ja) 2022-03-02
EP3116217B1 (en) 2020-11-18
TWI672952B (zh) 2019-09-21
US20200014874A1 (en) 2020-01-09
CN110312087B (zh) 2021-05-14
CN106031162B (zh) 2020-03-20
KR102277599B1 (ko) 2021-07-15
EP3116217A4 (en) 2018-03-14
TW201536054A (zh) 2015-09-16
CN106031162A (zh) 2016-10-12
US20170195603A1 (en) 2017-07-06
CN110312087A (zh) 2019-10-08
US10484634B2 (en) 2019-11-19
JPWO2015133323A1 (ja) 2017-04-06
EP3116217A1 (en) 2017-01-11
KR20160129844A (ko) 2016-11-09
JP2020141405A (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
JP7028274B2 (ja) 撮像素子、制御方法、並びに、撮像装置
US9866771B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
US11146752B2 (en) Solid-state imaging apparatus, driving method of the solid-state imaging apparatus, and electronic equipment
US10419700B2 (en) Imaging device and imaging apparatus
WO2014103730A1 (ja) 固体撮像素子およびその駆動方法、並びに電子機器
JP2009290659A (ja) 固体撮像装置、撮像装置、固体撮像装置の駆動方法
US8508641B2 (en) Solid-state image sensor and imaging apparatus
WO2013172205A1 (ja) 撮像装置および撮像方法、電子機器、並びにプログラム
JP5895525B2 (ja) 撮像素子
US8896736B2 (en) Solid-state imaging device, imaging apparatus and signal reading method having photoelectric conversion elements that are targets from which signals are read in the same group
JP2014165526A (ja) 固体撮像装置、その制御方法、および制御プログラム
JP5624228B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP2015173387A (ja) 撮像素子、その駆動方法、およびプログラム
JP2022043846A (ja) 撮像装置、撮像素子、撮像素子の制御方法、コンピュータプログラム及び記憶媒体
JP2014233018A (ja) 固体撮像素子、撮像装置及び加算回路

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15758339

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016506432

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15119636

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20167022689

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015758339

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015758339

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE