WO2012111401A1 - 撮像装置、撮像素子、および撮像制御方法、並びにプログラム - Google Patents

撮像装置、撮像素子、および撮像制御方法、並びにプログラム Download PDF

Info

Publication number
WO2012111401A1
WO2012111401A1 PCT/JP2012/051600 JP2012051600W WO2012111401A1 WO 2012111401 A1 WO2012111401 A1 WO 2012111401A1 JP 2012051600 W JP2012051600 W JP 2012051600W WO 2012111401 A1 WO2012111401 A1 WO 2012111401A1
Authority
WO
WIPO (PCT)
Prior art keywords
control signal
exposure
pixel
pixel group
row
Prior art date
Application number
PCT/JP2012/051600
Other languages
English (en)
French (fr)
Inventor
光永　知生
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/983,672 priority Critical patent/US9060134B2/en
Priority to EP12746920.3A priority patent/EP2677739A1/en
Priority to BR112013020495A priority patent/BR112013020495A2/pt
Priority to KR1020137021144A priority patent/KR20140044289A/ko
Priority to CN2012800083906A priority patent/CN103370930A/zh
Priority to RU2013137453/07A priority patent/RU2013137453A/ru
Priority to CA2823028A priority patent/CA2823028A1/en
Priority to AU2012218816A priority patent/AU2012218816A1/en
Priority to MX2013009298A priority patent/MX2013009298A/es
Publication of WO2012111401A1 publication Critical patent/WO2012111401A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • the present invention relates to an imaging device, an imaging device, an imaging control method, and a program. More specifically, the present invention relates to an imaging apparatus, an imaging element, an imaging control method, and a program that perform exposure control in units of areas.
  • CMOS Complementary Metal Oxide Semiconductor
  • the dynamic range is one of the performance axes of the image sensor (image sensor).
  • the dynamic range is the brightness width of incident light that can be converted as an effective image signal.
  • the large dynamic range means that it can be converted into an image signal from dark light to bright light, and means that the image sensor has good performance.
  • Many ideas for expanding the dynamic range of the image sensor (image sensor) have been proposed so far. Among them, there is a technique of performing different exposure control for each pixel.
  • Each pixel of a normal image sensor is provided with a photodiode (PD: Photo Diode), and incident light to the photodiode (PD) corresponding to each pixel is converted into electric charge by photoelectric conversion. Since the amount of charge that can be accumulated in the PD of each pixel is determined, a charge overflow occurs for incident light that is too strong, resulting in a saturation state in which no more signals are accumulated, and as a result, signals above the saturation level can be extracted. Can not. Also, due to noise generated in the pixel and readout circuit, the generated charge is buried in the noise for the too weak incident light, and the signal cannot be extracted.
  • PD Photo Diode
  • Patent Document 1 Japanese Patent Publication No. 2003-527775. This is because one exposure period is divided into a plurality of sub-periods, and a binary signal indicating whether or not to integrate the exposure signal in each sub-period is used as a program (Prg) signal line in the row (Row) direction and the column (Column) direction. With this configuration, each pixel is distributed. With this configuration, exposure control for each pixel is realized.
  • Non-Patent Document 1 (Takayuki Hamamoto, Kiyoharu Aizawa, “Design and Prototyping of Adaptive Storage Time Image Sensor (Image Sensor)”, Journal of the Institute of Image Information and Television Engineers: 55 (2), 271-278, February, 2001) is a configuration that realizes exposure control for each pixel by verifying the accumulated charge during the exposure for each pixel as a non-destructive state for each pixel and resetting the immediate charge for the pixel determined to be saturated. Is disclosed.
  • Patent Document 2 Japanese Patent Laid-Open No. 2010-136205 discloses a means for determining, for each pixel, one of two types of exposure times, ie, an ultra-long time or a short time, based on an output of an image sensor (image sensor).
  • a configuration is disclosed in which exposure control for each pixel is realized by a pixel circuit in which reset and charge transfer timing can be controlled for each pixel.
  • the above-described conventional technology has a common problem of difficulty in wiring as described below.
  • In order to perform different exposure control for each pixel it is necessary to transmit information related to exposure control separately for each pixel, which increases the number of wiring lines for signal transmission.
  • Such a configuration in which pixel-corresponding wiring is added is possible with a conventional imaging device with a small number of pixels, but it is extremely difficult to cope with a recent imaging device with a dramatic increase in the number of pixels. That is the current situation.
  • Patent Document 1 it is possible in principle to perform exposure control in multiple stages.
  • the same bit map as the number of pixels of the sensor that encodes the exposure control is applied to the row (Row).
  • a configuration in which a time-series encoded signal (Prg) in the direction and column direction is generated in the sensor for each frame, or a simultaneous sequence is supplied from outside the sensor for each frame is required. It is almost impossible for a sensor with a high number of pixels to execute such signal generation or supply in a short time.
  • Non-Patent Document 1 discloses a wiring reduction configuration by performing saturation determination and reset control for each pixel in parallel in each column (Column). However, if the number of pixels increases, it is expected that control will not be in time even if a plurality of columns are controlled in parallel.
  • Patent Document 2 can realize exposure control for each pixel with a simpler pixel control structure because the degree of freedom is lower than that of the technique of Patent Document 1. Therefore, it is possible to relatively easily control whether each pixel has two stages (long / short exposure two stages) on the entire imaging surface.
  • the conventional technique for performing different exposure control for each pixel in order to improve the dynamic range of the image sensor (image sensor) has difficulty in wiring and control configuration for reliably transmitting the control signal to each pixel. Therefore, it is considered that it is not suitable for application to an imaging element (image sensor) having a high pixel count.
  • the present invention has been made in view of such a situation, and an imaging apparatus, an imaging element, an imaging control method, and an imaging control method that realize exposure control in units of regions that can be applied to an imaging element having a high pixel count, and
  • the purpose is to provide a program.
  • the first aspect of the present invention is: A luminance evaluation unit that performs luminance evaluation in units of pixel groups composed of a plurality of pixels; An exposure control value calculation unit that calculates an exposure control value for each pixel group according to an evaluation result of the luminance evaluation unit;
  • the image pickup apparatus includes an image pickup device that outputs a control signal corresponding to an exposure control value in units of pixel groups calculated by the exposure control value calculation unit to constituent pixels of each pixel group to perform exposure control in units of pixel groups.
  • the imaging device sequentially outputs, as the control signal, an exposure control signal having the same pattern in time series for a plurality of pixels in the pixel group.
  • the exposure control is performed so that the exposure times of a plurality of pixels belonging to one pixel group are the same.
  • the imaging device controls the control signal by combining a control signal in a row unit and a control signal in a column unit. A control process specifying the target pixel is executed.
  • the imaging device sets an exposure start control signal indicating the start timing of the exposure process and a read start control signal indicating the start timing of the read process for each pixel group. Then, exposure control is performed in units of pixel groups.
  • the imaging element includes a plurality of row line selectors that output an exposure control signal for a pixel group set in a row direction, and the plurality of row line selectors. It has a hierarchical structure with a Row group selector that outputs a control signal that indicates control signal output timing.
  • the Row line selector outputs a control signal in units of pixel groups to be controlled in accordance with a control signal instructing a control signal output timing from the Row group selector. To do.
  • the Row line selector includes a shutter control signal generation unit that outputs an exposure pattern signal for executing an exposure process for each pixel, and a read pattern for executing a read process for each pixel.
  • a read control signal generation unit that outputs a signal, and the shutter control signal generation unit or the read control signal generation unit generates according to the type of the control signal that instructs the control signal output timing from the row group selector Perform selective output processing of control signals.
  • the imaging device includes a column ADC that performs AD conversion in parallel with respect to pixel signals of one row of the imaging device, It has a hierarchical structure of a column (Column) group selector that generates a control signal for each pixel group, and a plurality of column (Column) line selectors that receive the control signal for each pixel group and generate a control signal in the pixel group. It has a column selector.
  • the pixel group is a pixel group composed of a set of adjacent pixels.
  • the pixel group is a pixel group including a set of pixels in a plurality of separated regions.
  • the image pickup device performs exposure control in units of pixel groups by outputting a control signal corresponding to an exposure control value set in units of pixel groups obtained by dividing a plurality of pixels on the imaging surface to constituent pixels of the pixel groups.
  • control signal is subjected to a process of sequentially outputting an exposure control signal having the same pattern in time series to a plurality of pixels in the pixel group. Exposure control is performed with the same exposure time for a plurality of pixels belonging to the pixel group.
  • control signal is specified by combining a control signal in row units and a control signal in column units as the control signal.
  • the control processing performed is executed.
  • an exposure start control signal indicating the start timing of the exposure process and a read start control signal indicating the start timing of the read process are set for each pixel group, Perform exposure control.
  • the third aspect of the present invention provides An imaging control method executed in the imaging device, A luminance evaluation step in which the luminance evaluation unit performs luminance evaluation in units of pixel groups composed of a plurality of pixels; An exposure control value calculating unit that calculates an exposure control value for each pixel group according to an evaluation result in the luminance evaluation step; Imaging having an imaging step in which an imaging element outputs a control signal corresponding to the exposure control value for each pixel group calculated in the exposure control value calculation step to the constituent pixels of each pixel group to execute exposure control for each pixel group It is in the control method.
  • the fourth aspect of the present invention provides A program for executing an imaging control process in an imaging apparatus; A luminance evaluation step for causing the luminance evaluation unit to perform luminance evaluation in units of pixel groups composed of a plurality of pixels; An exposure control value calculation step for causing an exposure control value calculation unit to calculate an exposure control value for each pixel group according to the evaluation result in the luminance evaluation step; Causing the imaging device to execute an imaging step of outputting a control signal corresponding to the exposure control value of each pixel group calculated in the exposure control value calculating step to the constituent pixels of each pixel group and executing exposure control of each pixel group In the program.
  • the program of the present invention is a program that can be provided by, for example, a storage medium or a communication medium provided in a computer-readable format to an image processing apparatus or a computer system that can execute various program codes.
  • a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • a configuration is realized in which different exposure control is executed in units of pixel groups obtained by dividing a plurality of pixels on the imaging surface of the imaging device.
  • Luminance evaluation is performed in units of pixel groups composed of a plurality of pixels, and exposure control values in units of pixel groups are calculated according to the evaluation results.
  • the image sensor outputs a control signal corresponding to the calculated exposure control value for each pixel group to the constituent pixels of each pixel group to execute exposure control for each pixel group.
  • an exposure control signal having the same pattern is sequentially output to a plurality of pixels in a pixel group in time series, and exposure control in units of groups in which the exposure times of a plurality of pixels belonging to one pixel group are made the same. Is realized.
  • FIG. 3 is a diagram illustrating an example of a correspondence relationship between an internal configuration of a Row selector and a block (pixel group) set in an image sensor 103.
  • FIG. 3 is a diagram illustrating an example of a correspondence relationship between an internal configuration of a Row selector and a block (pixel group) set in an image sensor 103.
  • FIG. 7 is a block diagram illustrating an internal configuration of one Row line selector shown in FIG. 6.
  • FIG. 10 is a timing chart for explaining the operation of the row line selector when a control signal SHy indicating SHUTTER (shutter) control start for instructing start of exposure processing is input. It is a figure explaining operation
  • FIG. 6 is a timing diagram for explaining control of a row group selector when imaging is performed by exposure control (shutter control) with a normal overall exposure time.
  • FIG. 13 is a timing chart for explaining the operation of the row line selector when a control signal SHy indicating SHUTTER (shutter) control start to instruct the start of exposure processing is input to one row line selector in the row selector 132 of FIG. It is.
  • FIG. 13 is a timing chart for explaining the operation of the row line selector when the control signal RDy indicating the start of reading (reading) control for instructing the start of reading processing is input to one row line selector in the row selector 132 of FIG. It is. It is a figure explaining the hierarchical structure of the Row selector which forms the pixel group from which an area
  • the imaging apparatus includes a lens 101, a diaphragm 102, an imaging element (image sensor) 103, a DSP block 104, an LCD driver 105, an LCD 106, a CODEC 107, a memory 108, a CPU 109, and an input device 110.
  • the input device 110 includes operation buttons such as a shutter button on the camera body.
  • the DSP block 104 is a block having a signal processing processor and an image RAM for temporarily storing a captured image output from the image sensor 103.
  • a signal processor performs pre-programmed image processing on the image data stored in the image RAM.
  • the DSP block is simply referred to as a DSP.
  • Incident light passing through the optical system and reaching the image sensor (image sensor) 103 is converted into image data by the image sensor (image sensor) 103 and temporarily stored in an image memory in the DSP 104.
  • the image sensor (image sensor) 103 is controlled to output image data at a constant frame rate.
  • Image data is sent to the DSP 104 at a constant rate, and after appropriate image processing is performed there, the image data is sent to the LCD driver 105 and / or the CODEC 107.
  • the LCD driver 105 converts the image data sent from the DSP 104 into an analog signal, and outputs it to the LCD 106 for display.
  • the LCD 106 serves as a camera finder in this embodiment.
  • the CODEC 107 encodes image data sent from the DSP 104, and the encoded image data is recorded in the memory 108.
  • the memory 108 is, for example, a recording device using a semiconductor, a magnetic recording medium, a magneto-optical recording medium, an optical recording medium, or the like.
  • the CPU 109 and the DSP 140 can execute various processes according to a program recorded in advance in the memory 108, for example, and the processes described below can also be executed according to the program.
  • the image sensor (image sensor) 103 can capture one image by setting different exposures for different pixel regions provided in the image sensor, that is, different exposure times for each region. For example, an area where a dark subject exists in one scene to be photographed is a bright exposure, that is, a long exposure area, while an area where a bright subject exists is photographed as a dark exposure, that is, a short exposure area, and one image data. Is output. In this way, image data with less noise and saturation can be generated by performing shooting with optimum exposure corresponding to the brightness of the subject in each area unit.
  • FIG. 2 is a block diagram illustrating a processing configuration for exposure evaluation and exposure control value calculation according to this embodiment.
  • a figure indicated by two parallel horizontal lines such as the block average luminance 114, the exposure control value 116, and the exposure control value 117 represents data or a memory that stores the data.
  • a figure such as the image sensor 103 indicated by a rectangle represents a process execution unit or process.
  • the exposure evaluation process and the exposure control value calculation process performed by the configuration shown in FIG. 2 are processes executed in the DSP 104 shown in FIG. 1, and the configuration shown in FIG. 2 is a configuration set in the DSP 104. .
  • the image data output from the image sensor (image sensor) 103 is photographed with different exposure for each region. Accordingly, since the image data output from the image sensor (image sensor) 103 shown in FIG. 1 is used as it is, a signal output based on different exposure time settings is made for each region. It is necessary to set the final output value.
  • the exposure control value at the time when the image data output from the image sensor (image sensor) 103 is captured is stored in the memory in the DSP 104 as the exposure control value 117.
  • Image data output from the image sensor (image sensor) 103 is compensation processing for calculating an output value as a final pixel value for each pixel by the exposure compensation multiplier 111 based on the exposure control value 117 stored in the memory. Execute. Thereafter, the image data is sent to the signal processing unit 112, and the signal processing unit 112 performs camera signal processing such as white balance adjustment, demosaic, linear matrix, gamma correction, aperture correction, and the like, and can be output as a camera photographed image. It becomes.
  • image data output from the image sensor (image sensor) 103 is also input to the block luminance evaluation unit 113.
  • the block luminance evaluation unit 113 evaluates the average luminance value for each block area obtained by dividing the image into rectangles.
  • the evaluated luminance average value for each block is stored in the memory as the block average luminance 114.
  • a block (pixel group) defined as an exposure control unit is a rectangular area.
  • the block is not limited to a rectangular area.
  • the exposure control value calculation unit 115 calculates an exposure control value input to the image sensor (image sensor) 103 based on the block average luminance 114.
  • the exposure control value is calculated from the average luminance of each block and a preset target luminance value.
  • the target luminance value is an output luminance value expected from the image sensor (image sensor) 103 by exposure control, and is usually set to a luminance level of about 18% to 20% of the white level.
  • the image sensor (image sensor) 103 performs exposure control for each block which is an area obtained by dividing the imaging surface by a rectangle.
  • the exposure control value calculation unit 115 calculates the exposure control value so as to correspond to the block region one by one, and stores the calculated exposure control value in the memory as the exposure control value 116.
  • the image sensor (image sensor) 103 captures the image data of the next frame based on the exposure control value 116 corresponding to the block stored in the memory. Note that another exposure control value 117 shown in FIG. 2 is copy data of the exposure control value 116, and information for performing exposure compensation on the image data output from the image sensor (image sensor) 103 next time. Used as
  • the output luminance value from each component pixel of the image sensor (image sensor) 103 is defined as I.
  • Output luminance value: I is Incident light quantity: L Square of aperture diameter: A 2 , Shutter time: T and Sensor sensitivity: S, It is proportional to these.
  • the output luminance value I from each component pixel of the image sensor (image sensor) 103 can be calculated by the following calculation formula (Formula 1).
  • I k ⁇ L ⁇ A 2 ⁇ T ⁇ S (Formula 1)
  • k is a proportionality coefficient.
  • the output luminance value I is proportional to the shutter time T.
  • the shutter time corresponds to the exposure time. Therefore, the shutter time Tt for obtaining the predetermined target luminance value It can be calculated according to the following (Equation 2) using the current output luminance value I and the shutter time T.
  • Tt T (It / I) (Equation 2)
  • the average luminance of the current block (pixel group) is I, T, the current shutter time of each block (pixel group)
  • Tt shutter time Tt for obtaining a predetermined target luminance value It
  • the exposure control in units of blocks is executed based on the average luminance in units of blocks (pixel groups) made up of a plurality of pixels, not the exposure control in units of pixels based on the luminance in units of pixels.
  • FIG. 3 is a diagram illustrating the configuration of the image sensor (image sensor) of the present embodiment.
  • Each small square in the figure represents a pixel arranged in a two-dimensional grid on the imaging surface. That is, it represents a pixel having a photoelectric conversion element.
  • Each pixel receives control signals RSr, TRr, and SLr via three types of control lines extending in the horizontal direction, and further receives a control signal RSTRc via one type of control line extending in the vertical direction.
  • the pixel signal SIGc that is, the charge accumulated in each pixel in accordance with the incident light is output via a signal line extending in the vertical direction.
  • All the control lines that transmit the three types of control signals (RSr, TRr, SLr) in the horizontal direction are all connected to a Row selector (row selector) 119, and the control signal is transmitted from the Row selector 119 toward each pixel.
  • All the vertical control lines are connected to a column selector (column selector) 120, and a control signal is transmitted from the column selector 120 to each pixel.
  • the row selector 119 and the column selector 120 are connected to a timing generator (TG) 118, and the timing generator (TG) 118 accepts an input of an exposure control signal from the outside to the image sensor (image sensor) 103. Yes.
  • the exposure control signal input from the outside is the exposure control value 116 described with reference to FIG. 2, that is, the exposure control value in block units.
  • the timing generator (TG) 118 converts the exposure control value for each block into shutter control timing information for each block, and transmits it to the row selector 119 and the column selector 120.
  • the row selector 119 and the column selector 120 generate control signals for each row and each column, and transmit the control signals RSr, TRr, SLr, and RSTRc to each pixel.
  • the output pixel signal SIGc output from each pixel passes through a switch for selecting in column units.
  • the switch is opened and closed by a column selection signal SLc from the column selector 120.
  • a pixel signal SIGc from each pixel of the Column selected by the Column selection signal SLc is input to a CDS (Correlated Double Sampling circuit) 121, where reset noise is suppressed, and then input to an ADC (Analog-Digital Converter circuit). Then, after being converted from an analog signal to a digital signal, it is output from an image sensor (image sensor) as an image output.
  • CDS Correlated Double Sampling circuit
  • FIG. 4 is an equivalent circuit for explaining a configuration example of one pixel in the image sensor (image sensor) of this embodiment.
  • a portion surrounded by a broken-line rectangle in FIG. 4 corresponds to one pixel.
  • Each pixel receives control signals RSr, TRr, and SLr from three types of control lines extending horizontally.
  • control signals RSr, TRr, and SLr all pixels belonging to the same row (row) are input from the same control line.
  • One pixel inputs a control signal RSTRc via a control line extending vertically.
  • This control signal RSTRc is inputted from the same control line to all pixels belonging to the same column (column).
  • a charge corresponding to the amount of light is generated by photoelectric conversion in the photodiode PD.
  • the charge accumulated in the photodiode PD is transferred to the floating diffusion FD via the transistor M2.
  • the gate of the transistor M2 is controlled by the control signals TRr and RSTRc via the transistor M1.
  • the transistor M4 performs an operation of resetting the electric charge accumulated in the floating diffusion FD when it is energized.
  • the gate of the transistor M4 is controlled by the control signals RSr and RSTRc through the transistor M3.
  • the charge accumulated in the floating diffusion FD is amplified by the transistor M5, and the output pixel signal SIGc is output via the transistor M6.
  • the gate of the transistor M6 is controlled by the control signal SLr.
  • the pixel operates in the following two patterns: (A) Charge accumulation process based on exposure process “SHUTTER (shutter)” (b) Accumulated charge output process based on read process “READ (read)” These two processes are performed. When neither of the operations (a) and (b) is performed, the state in which the exposed charge is accumulated is maintained.
  • FIG. A timing chart for explaining the control signal pattern during the operation of these two processes. Show. The horizontal axis is time.
  • the control signal RSTRc in the Column (column) direction creates a state in which the pixel is controllable by holding the active state when the column pixel is in the pixel control period.
  • the control signals RSr and TRr in the Row direction are simultaneously active while RSTRc is active.
  • the transistors M2 and M4 in FIG. 4 are simultaneously opened, and the charge stored in the photodiode PD and the floating diffusion FD is reset, that is, the exposure is started by the electronic shutter.
  • the control signal SLr in the row direction holds the active state simultaneously with the control signal RSTRc during the pixel control period.
  • the control signal RSr operates first, and then the control signal TRr sequentially becomes active.
  • the control signal RSr becomes active, the transistor M4 is opened, and the charge of the floating diffusion FD is reset.
  • the transistor M6 is opened by the control signal SLr.
  • Signal SIGc is output.
  • the transistor M2 is opened, and the charge accumulated in the photodiode PD is transferred to the floating diffusion FD.
  • the output pixel signal SIGc corresponding to the transferred charge is output via the signal line.
  • the reset state and accumulation state signals sequentially output by the READ operation are respectively held in the CDS, and then signals corresponding to the reset noise canceled by the difference detection operation in the CDS are generated.
  • the exposure time (shutter time) is different for each pixel group including a plurality of pixels.
  • a block (pixel group) is formed for each region obtained by dividing the imaging surface of the image sensor (image sensor) 103 into rectangular blocks, and different exposure times (shutter times) are provided for each block (pixel group). ) Is an example of performing control.
  • FIG. 6 rectangular blocks (pixel groups) set in the image sensor 103 are indicated by broken-line rectangles.
  • FIG. 6 an example in which one block includes pixels of P rows (Row) and Q columns (Column) is shown as an example.
  • Various settings can be made for the block setting.
  • the total number of pixel columns (Column) of the entire image sensor is W columns.
  • the horizontal direction is the x direction and the vertical direction is the y direction.
  • the block identifier (address) of the upper left block (pixel group) in FIG. 6 is (x1, yi).
  • the block on the right side of the block (x1, yi) is the block (x2, yi).
  • the block adjacent to the block (x1, yi) is the block (x1, yi + 1).
  • the rightmost block in the horizontal direction of the block (x1, yi) is the block (xN, yi), and N blocks (x1, yi) to (xN, yi) are set in the horizontal direction of one block. Is done.
  • the internal configuration of the row selector (row selector) 119 of this embodiment has the configuration shown in FIG. 6, the row selector (row selector) 119 includes a row group selector 123 that generates a control signal (SHy, RDy) in block (pixel group) units, and a block (pixel group) unit from the row group selector 123.
  • the control signal (SHy, RDy) is input to generate a control signal to be output to the pixels in the block (pixel group).
  • the row group selector 123 selects each row line selector 124 from (A) Start of SHUTTER control (SHy), or (B) READ control start (RDy), The above two types of control signals are selected and transmitted.
  • control signals are (a) exposure start timing or (b) read start timing transmission in block (pixel group) units, and at the same time, a plurality of rows arranged in the horizontal direction for which one Row line selector 124 is responsible. It includes designation information indicating which of the blocks (pixel groups) is to be controlled.
  • the row line selector 124 receives the control signal SHy or RDy from the row group selector 123 and applies all of the pixels in the block (pixel group) corresponding to the block designation information included in the input control signal to the FIG.
  • A Charge accumulation process based on exposure process “SHUTTER (shutter)”
  • Accumulated charge output process based on read process “READ (read)”
  • a control signal pattern of either of these two processes is transmitted.
  • a single block (pixel group) includes a plurality of blocks extending over several rows (Row) and several columns (Column). For example, in the example shown in FIG. 6, P ⁇ Q pixels are included in one block. Therefore, in order to complete the operation of one block (pixel group), it is necessary to appropriately shift the control signal to be given to each pixel in the block.
  • the Row line selector 124 illustrated in FIG. 6 generates a control signal so that all the pixels in the pixel group operate at appropriate timing.
  • FIG. 7 is a block diagram for explaining the internal configuration of one Row line selector 124 shown in FIG.
  • One Row line selector includes N line selectors 125, 126,..., 127, a SHUTTER (shutter) control signal generator 128, a READ (readout) control signal generator 129, and P row selection switches 130. Is done.
  • N corresponding to the number of line selectors is the number of blocks (pixel groups) arranged in the horizontal direction that are handled by the same Row line selector.
  • P corresponding to the number of row selection switches 130 is the number of rows (rows) handled by the same row line selector.
  • Each of the line selectors 125, 126,..., 127 is a control signal from the row group selector 123.
  • Start of SHUTTER control SHy
  • READ control start RDy
  • they are control signals for the blocks (pixel groups) that they are responsible for, they generate a timing signal that sends a control signal to each pixel, and send the timing signal to the SHUTTER control signal generator 128
  • the signals are output to the READ control signal generator 129 and the P row selection switches 130 to control them. That is, each of the N line selectors 125, 126,..., 127 is set for each of the N blocks (pixel groups) in the horizontal direction, and sets the output timing of the control signal corresponding to each block. To do.
  • the SHUTTER control signal generator 128 and the READ control signal generator 129 are circuits for generating the pixel control patterns shown in FIGS. 5A and 5B, respectively.
  • the SHUTTER control signal generator 128 is (A) A circuit for generating the pixel control pattern shown in FIG. 5A used in the “SHUTTER” process as the exposure process.
  • the READ control signal generator 129 is (B) A circuit for generating the pixel control pattern shown in FIG. 5B used in the “READ” process as the readout process.
  • any one of the line selectors 125, 126,..., 127 is inputted with a control signal (timing signal) from the active line selector, and the above (a), (b), that is, FIG. ) And (b) are generated, and the output is output toward all rows.
  • the control signal once passes through the row selection switch 130 for each row, and the row selection switch 130 outputs a control signal output from any of the N line selectors 125, 126,. It is opened by (timing signal), and a pixel control signal is transmitted to the row.
  • FIG. 7 is a timing chart for explaining the operation of the row line selector 124 when a control signal SHy indicating SHUTTER (shutter) control start for instructing the start of exposure processing is input to one row line selector 124 shown in FIG. It is shown in FIG.
  • FIG. 8 shows the leftmost block (pixel group) among the blocks (x1, yi) to (xN, yi) which are blocks (pixel groups) to be controlled by the i-th row line selector (yi). It is an example of a process at the time of the input of the SHUTTER (shutter) start control signal (SHy) with respect to (x1).
  • the horizontal axis is time, and each line is in order from the top.
  • a control signal SHy to the yi-th row line selector 124 (see FIG. 6)
  • RSTRc control signal controlled by the Column selector 120 (see FIG. 3) (c1st, c2th,..., CQth, c (Q + 1) th, cWth Column from the top)
  • the yi-th row line selector 124 takes charge.
  • Q is a block (pixel group) that is a block (pixel group) to be controlled by the i-th row line selector (yi), and is a block (x1, yi) that is the x1th block (pixel group) of (x1, yi) to (xN, yi).
  • W is the total number of columns (number of columns) of the image sensor (image sensor).
  • P is the number of rows (number of rows) belonging to the block (x1, yi).
  • the Column selector 120 always performs the sequential scanning of the image sensor 103 in units of columns (columns) regardless of the exposure control input, and repeats the operation for all the columns (columns): c1 to cW of the image sensor. That is, the column control signal RSTRc repeats the cycle of becoming active sequentially from c1 to cW. A period in which RSTRc holds an active state with one column corresponds to a pixel control period.
  • the control signal SHy that is, the signal for starting the SHUTTER operation to the pixel group of the block (x1, yi)
  • the control signal SHy is RSTRc1 because x1 is the leftmost pixel group. Is transmitted to the yi-th row line selector 124 in synchronization with the.
  • the x1-th line selector In the yi-th row line selector that has received the control signal SHy, first, the x1-th line selector immediately enters the active state, and first, the SHUTTER control signal generator 128 is activated to start the generation of the SHUTTER control signal.
  • each row selection switch 130 shown in FIG. 7 is controlled at the timing of transmitting the control signal to each pixel, and the SHUTTER control signal is transmitted to each row (row): r1 row to rP row of the control target block.
  • a SHUTTER control signal (RSyir1 and TRyir1 signals) for the r1th Row (row r1 shown in FIG. 6) is transmitted Q times in synchronization with RSTRc1 to RSTRcQ. This is a control signal corresponding to each of Q pixels (c1 column to cQ column) in the first row (r1 row) of the block to be controlled, for example, the upper left block (x1, yi) shown in FIG. .
  • the SHUTTER control signal (RSyir2 and TRyir2 signals) for the r2th Row (row r2 shown in FIG. 6) is transmitted Q times in synchronization with RSTRc1 to RSTRcQ.
  • This is a control signal corresponding to each of Q pixels (columns c1 to cQ) in the second row (row r2) of the block to be controlled, for example, the upper left block (x1, yi) shown in FIG. .
  • the control signal is not generated during the period from RSTRc (Q + 1) to RSTRcW because it is not the corresponding column.
  • the same operation is repeated until rP. That is, the same processing is performed up to the P-th row (rP row) of the upper left block (x1, yi) shown in FIG.
  • the SHUTTER operation for all the pixels in the block (pixel group) to be controlled, for example, the upper left block (x1, yi) shown in FIG. 6 is completed, and thus the operation for the control signal SHy input is completed.
  • the Row line selector may be a simple pattern generation circuit composed of a counter or the like.
  • FIG. 9 is similar to FIG. 8 described above, in blocks (x1, yi) to (xN, yi) that are blocks (pixel groups) to be controlled by the i-th row line selector (yi). This is a processing example when a READ (reading) start control signal (RDy) is input to the leftmost block (pixel group) (x1).
  • RDy READ (reading) start control signal
  • the horizontal axis is time, and each line is in order from the top, (1) A control signal RDy to the yi-th Row line selector 124 (see FIG. 6), (2) RSTRc control signal controlled by the Column selector 120 (see FIG. 3) (c1st, c2th,..., CQth, c (Q + 1) th, cWth Column from the top), (3) The yi-th row line selector 124 (see FIG. 6) takes charge.
  • Q is a block (pixel group) that is a block (pixel group) to be controlled by the i-th row line selector (yi), and is a block (x1, yi) that is the x1th block (pixel group) of (x1, yi) to (xN, yi).
  • W is the total number of columns (number of columns) of the image sensor (image sensor).
  • P is the number of rows (number of rows) belonging to the block (x1, yi).
  • the Column selector 120 always performs the sequential scanning of the image sensor 103 in units of columns (columns) regardless of the exposure control input, and repeats the operation for all the columns (columns): c1 to cW of the image sensor. That is, the column control signal RSTRc repeats the cycle of becoming active sequentially from c1 to cW. A period in which RSTRc holds an active state with one column corresponds to a pixel control period.
  • the control signal RDy that is, the signal for starting the READ operation to the pixel group of the block (x1, yi)
  • the control signal RDy is RSTRc1 because x1 is the leftmost pixel group. Is transmitted to the yi-th row line selector 124 in synchronization with the.
  • the x1-th line selector In the yi-th row line selector that has received the control signal RDy, first, the x1-th line selector immediately enters the active state, and first the READ control signal generator 129 is activated to start generation of the READ control signal.
  • each row selection switch 130 shown in FIG. 7 is controlled at the timing at which the control signal is transmitted to each pixel, and the READ control signal is transmitted to each row (row): r1 to rP rows of the control target block.
  • a READ control signal (RSyir1, TRyir1, and SLyir1 signals) for the r1th Row (row r1 shown in FIG. 6) is transmitted Q times in synchronization with RSTRc1 to RSTRcQ.
  • a READ control signal (RSyir2, TRyir2, and SLyir2 signals) for the r2th Row (row r2 shown in FIG. 6) is transmitted Q times in synchronization with RSTRc1 to RSTRcQ.
  • This is a control signal corresponding to each of Q pixels (columns c1 to cQ) in the second row (row r2) of the block to be controlled, for example, the upper left block (x1, yi) shown in FIG. .
  • the control signal is not generated during the period from RSTRc (Q + 1) to RSTRcW because it is not the corresponding column.
  • the same operation is repeated up to rP. That is, the same processing is performed up to the P-th row (rP row) of the upper left block (x1, yi) shown in FIG.
  • the READ operation for all the pixels in the block (pixel group) to be controlled for example, the upper left block (x1, yi) shown in FIG. 6 is completed, so the operation for the control signal RDy input is completed.
  • the Row line selector may be a simple pattern generation circuit composed of a counter or the like.
  • Exposure control operation example 1 Normal uniform shutter operation
  • the number of blocks (pixel groups) in the image sensor (image sensor) is assumed to be 3 (x1 to x3) in the horizontal direction and 3 (y1 to y3) in the vertical direction.
  • Each block (pixel group) has two rows (r1 to r2).
  • FIG. 10 is a timing chart for explaining the control of the Row group selector in the case of performing imaging by exposure control (shutter control) with a normal uniform exposure time on the entire surface.
  • the horizontal axis represents time, and a section indicated by a vertical broken line represents Q pixel control periods corresponding to the width of one block (one pixel group).
  • the area is divided into three types at the top of the figure so that it can be easily understood that it is the control period of the corresponding pixel group (any of x1, x2, and x3).
  • White x3 It corresponds to these three blocks arranged in the horizontal direction.
  • the shutter control signal SHy shown in (a1) to (a3) is not used, and the sequence is performed using only the read control signal RDy shown in (b1) to (b3). .
  • the READ start control signal (RDy) is continuously given to the pixel group of x1, x2, and x3 to the y1th row line selector, and then 1 row worth. Just pause.
  • the READ start control signal (RDy) is continuously given to the pixel group of x1, x2, and x3 to the y2th row line selector, and then 1 row worth. Just pause.
  • the READ start control signal (RDy) is continuously given to the pixel group of x1, x2, and x3 to the y3th row line selector, and then 1 row worth. Just pause.
  • each Row line selector performs the operation described above with reference to FIG. 9, so that the pixel READ operation is performed in the horizontal direction in the pixel sequence and in the vertical direction in the line sequence.
  • Each line shown in FIG. 10C indicates the operation state of the pixel in a unit in which the block (pixel group) is further divided for each row.
  • x1y1r1 the r1th row of the pixel group of the block (x1, y1)
  • x2y1r1 The r1th row of the pixel group of the block (x2, y1)
  • x3y1r1 the r1th row in the pixel group of the block (x3, y1)
  • x1y1r2 the r2th row of the pixel group of the block (x1, y1)
  • x2y1r2 the r2nd row of the pixel group of the block (x2, y1)
  • x3y1r2 the r2th row of the pixel group of the block (x3, y1)
  • x1y2r1 the r1th row of the pixel group of the block (x1, y2)
  • [A solid line section] indicates a period during which a READ operation (reading) is performed. [Dashed line section] indicates that it is during the exposure period. As described above with reference to FIG. 5B, the READ operation of the pixel also serves to reset the charge of the photodiode PD, so that the next exposure period can be entered as it is at the end of the READ operation.
  • the uppermost (x1y1r1) shown in (c) shows the sequence of exposure processing (SHUTTER) and readout processing (READ) for the first row (r1) of the block (x1, y1).
  • the read process (READ) defined by the first solid line section (x1y1r1) in the uppermost stage shown in (c) is executed in response to the read start (RDy1) signal (s1) shown in (b1).
  • the signal pattern shown in FIG. 5B is provided to the pixels in the first row (r1) of the block (x1, y1), and signal reading is executed.
  • an exposure process (SHUTTER) is started. This is a broken line section shown in the figure.
  • the charges accumulated in the exposure processing engine are read out as pixel signals.
  • the wavy line sections indicating the exposure period are all the same period. That is, since the exposure period set from the preceding READ operation to the next READ operation is set to be the same for all pixels, all the pixels are exposed in the same exposure period (shutter period).
  • FIG. 11 is a timing chart for explaining the control of the Row group selector in the case of performing imaging by exposure control (shutter control) with different exposure times for each pixel group.
  • the horizontal axis represents time, and a section indicated by a vertical broken line represents Q pixel control periods corresponding to the width of one block (one pixel group).
  • the area is divided into three types at the top of the figure so that it can be easily understood that it is the control period of the corresponding pixel group (any of x1, x2, and x3).
  • White x3 It corresponds to these three blocks arranged in the horizontal direction.
  • Imaging by exposure control is the readout control shown in (b1) to (b3) at intervals equal to all pixel groups, as in the case of uniform shutter control over the entire surface.
  • this is realized by adding a sequence for providing the shutter control signal SHy shown in (a1) to (a3) at a different timing for each pixel group.
  • the shutter control signal SHy shown in (a1) to (a3) is sent to the block (pixel group) somewhere during the period when the next control signal RDy is given to the same pixel group after the control signal RDy is given. It can be given in synchronization with the corresponding control period.
  • the number of divisions of the vertical block (pixel group) is 3, and one pixel group includes 2 Row, so the interval from the control signal RDy to the next control signal RDy is 6 Row periods.
  • the shutter time setting has a resolution that is obtained by dividing one frame period by the number of rows of the image sensor (image sensor), and each pixel group has a shutter time based on the input exposure control value within the resolution range. You can choose.
  • the operation described with reference to FIG. 8 causes the SHUTTER operation as an exposure process to be performed on the pixel in charge of the row line selector, and the charge accumulated in the pixel is changed. Since it is reset, a new exposure period starts from that point.
  • x1y1r1 the r1th row of the pixel group of the block (x1, y1)
  • x2y1r1 The r1th row of the pixel group of the block (x2, y1), x3y1r1: the r1th row in the pixel group of the block (x3, y1), x1y1r2: the r2th row of the pixel group of the block (x1, y1), x2y1r2: the r2nd row of the pixel group of the block (x2, y1), x3y1r2: the r2th row of the pixel group of the block (x3, y1), x1y2r1: the r1th row of the pixel group of the block (x1, y2), : x1y3r2: the r2nd row of the pixel group of the block (x1, y3), x2y3r2: the r2nd row of the pixel pixel group
  • a solid line section indicates a period during which a READ operation (reading) is performed.
  • a broken line section indicates that it is during the exposure period.
  • the pixels in the same pixel group are controlled to have the same exposure time even if they are different rows.
  • the uppermost (x1y1r1) shown in (c) shows the sequence of exposure processing (SHUTTER) and readout processing (READ) for the first row (r1) of the block (x1, y1).
  • the read process (READ) defined by the first solid line section (x1y1r1) in the uppermost stage shown in (c) is executed in response to the read start (RDy1) signal (s1) shown in (b1).
  • RDy1 signal (s1) shown in (b1) Based on this signal (s1), the signal pattern shown in FIG. 5B is provided to the pixels in the first row (r1) of the block (x1, y1), and signal reading is executed.
  • the exposure period is reset by the control signal SHy, and after this reset, the next exposure period starts.
  • the exposure process is started in response to the input signal (s2) of (a1) the control signal SHy.
  • the uppermost (x1y1r1) exposure period shown in (c) is controlled to a period from this (s2) position to the next reading start (RDy1) signal (s3) position shown in (b1).
  • the entire imaging surface is controlled to the exposure time (shutter time) as shown in FIG.
  • the horizontal direction is x
  • the vertical direction is y
  • the upper left block is the block (x1, y1)
  • the lower right block is the block (x3, y3)
  • Numerical values 1 to 4 in each block indicate relative values of the exposure period (shutter time).
  • a block with a numerical value 4 indicates that an exposure period four times that of a block with a numerical value 1 is set.
  • the readout processing of the accumulated charge of each pixel of the image sensor (image sensor) includes a column ADC configuration that reads signals from the pixels in parallel.
  • the exposure control configuration of the present invention can also be applied to this column ADC readout configuration.
  • this configuration example will be described.
  • the configuration of FIG. 1 can be applied to the overall configuration of the imaging apparatus as in the above-described embodiment.
  • the configuration and processing of the image sensor (image sensor) 103 are different.
  • FIG. 13 is a diagram illustrating a configuration of an image sensor (image sensor) using a column ADC.
  • Each small square in the figure represents a pixel arranged in a two-dimensional grid on the imaging surface. That is, it represents a pixel as a photoelectric conversion element.
  • Each pixel is connected so that the control signals RSr, TRr, and SLr are input through three types of control lines extending in the horizontal direction and the control signal RSTRc is input through one type of control line extending in the vertical direction. Further, the pixel signal SIGc is output via a signal line extending in the vertical direction.
  • All the control lines that transmit the three types of control signals (RSr, TRr, SLr) in the horizontal direction are connected to the row selector (row selector) 132, and the control signal is transmitted from the row selector 132 toward each pixel.
  • All the vertical control lines are connected to a column selector (column selector) 133, and a control signal is transmitted from the column selector 133 to each pixel.
  • the row selector 132 and the column selector 133 are connected to a timing generator (TG) 131, and the timing generator (TG) 131 receives an exposure control signal input from the outside of the image sensor (image sensor) 103.
  • the exposure control signal input from the outside is the exposure control value 116 described with reference to FIG. 2, that is, the exposure control value in block units.
  • the timing generator (TG) 131 converts the exposure control value for each block into timing information for shutter control for each block, and transmits it to the row selector 132 and the column selector 133.
  • the row selector 132 and the column selector 133 generate control signals for each row and each column, and transmit the control signals RSr, TRr, SLr, and RSTRc to each pixel.
  • the output pixel signal SIGc output from each pixel is connected to a column ADC 134 that operates in parallel with a plurality of Columns, and signals from the pixels are taken into the column ADC 134.
  • the output pixel signal SIGc output from each pixel is read in parallel in units of blocks (pixel groups), and the signal is held in the column ADC 134.
  • the column ADC 134 performs an AD conversion operation in parallel when the signals for 1 Row are prepared, and converts the analog pixel signals for 1 Row into digital values.
  • the digitized pixel signals are sequentially output from the image sensor (image sensor) under the control of the Column selection control signal SLc.
  • the same pixel configuration as that described with reference to FIG. 4 can be used as the configuration of one pixel in the image sensor (image sensor).
  • the two pixel operation execution signal patterns described with reference to FIG. (A) Charge accumulation process based on the exposure process “SHUTTER (shutter)” (b) Accumulated charge output process based on the read process “READ (read)”
  • the signal patterns for these two processes can use the same pattern. It is.
  • the configuration described above with reference to FIGS. 6 and 7 can be used for the hierarchical internal configuration of the Row selector and the configuration of the Row line selector.
  • the second embodiment using the column ADC is different from the first embodiment described above, and will be described below.
  • the column selector of the second embodiment has a hierarchical structure as shown in FIG. 14 so that a plurality of pixels can be controlled simultaneously for each pixel group.
  • the internal configuration of the column selector 133 of this embodiment is a block that receives a control signal in units of blocks (pixel groups) and a column group selector 135 that generates control signals in units of blocks (pixel groups).
  • (Pixel group)] has a hierarchical structure with a plurality of column line selectors 136 that generate control signals.
  • the Column group selector 135 transmits the start of the control period in units of blocks (pixel groups) to each Column line selector 136 by the control signal SLx.
  • the column line selector 136 receives the control signal SLx from the column group selector 135 and transmits the control signal RSTRc in parallel to all columns of the pixel group in charge.
  • the operation of the Column line selector 136 is simple, and the control signal SLx from the Column group selector 135 is converted into a control signal RSTRc that is transmitted to the pixels, and is only transmitted in parallel to a plurality of Columns.
  • FIG. 15 shows the operation of the row line selector when the control signal SHy indicating the start of SHUTTER (shutter) control for instructing the start of exposure processing is input to one row line selector in the row selector 132 of FIG. A timing diagram to be described is shown.
  • the configuration of the row selector 132 in the second embodiment is the same as that of the first embodiment described above, and has the configuration described with reference to FIGS.
  • FIG. 15 shows the leftmost block (pixel group) among the blocks (x1, yi) to (xN, yi) which are blocks (pixel groups) to be controlled by the i-th row line selector (yi). It is an example of a process at the time of the input of the SHUTTER (shutter) start control signal (SHy) with respect to (x1).
  • the horizontal axis is time, and each line is in order from the top.
  • a control signal SHy to the yi-th Row line selector (see FIGS. 13 and 6)
  • (2) SLx control signals (x1, x2,..., X (N ⁇ 1) th, xNth block (pixel group) from the top) controlled by the Column selector 133 (see FIG. 13)
  • (3) RSTRc control signal (x1, x2,..., X (N ⁇ 1) th, xNth block (pixel group) from the top) controlled by the Column selector 133 (see FIG. 13)
  • the yi-th row line selector 124 takes charge.
  • N is the number of blocks (pixel groups) in the horizontal direction.
  • P is the number of rows (number of rows) belonging to (x1, yi).
  • the Column selector 133 always performs the sequential scanning in units of blocks (pixel groups) regardless of the exposure control input.
  • the control signal SLx of the Column group selector repeats a cycle of becoming active sequentially from the horizontal pixel group, that is, the blocks (x1, yi) to (xN, yi).
  • the control signal RSTRx of the Column line selector is synchronized with the control signal SLx and repeats a cycle of becoming active sequentially from the horizontal pixel group, that is, the blocks (x1, yi) to (xN, yi).
  • the period during which RSTRx shown in FIG. 15 (3) holds the active state is the control period of each block (pixel group), and also corresponds to the control period of a plurality of pixels performed in parallel.
  • the Row group selector outputs a signal to start the SHy, that is, the SHUTTER operation to the x1yi-th pixel group, since the x1 is the leftmost pixel group, the control signal SHy is synchronized with the RSTRx1 and the yi-th Row line. Is transmitted to the selector.
  • the x1-th line selector In the yi-th row line selector that has received the control signal SHy, the x1-th line selector immediately becomes active, and first the SHUTTER control signal generator (see FIG. 7) is activated to start generation of the SHUTTER control signal. .
  • each row selection switch 130 shown in FIG. 7 is controlled at the timing of transmitting the control signal to each pixel, and the SHUTTER control signal is transmitted to each row (row): r1 row to rP row of the control target block.
  • a SHUTTER control signal (RSyir1 and TRyir1 signals) for the r1th Row (for example, the r1 row shown in FIG. 6) is transmitted once in synchronization with RSTRx1.
  • a SHUTTER control signal (RSyir2 and TRyir2 signals) for the r2th Row (for example, the r2 row shown in FIG. 6) is transmitted once in synchronization with RSTRx1. Thereafter, the control signal is suspended because the period from RSTRc2 to RSTRxN is not the corresponding column.
  • the same operation is repeated until rP. That is, for example, the same processing is performed up to the P-th row (rP row) of the upper left block (x1, yi) shown in FIG.
  • the SHUTTER operation for all the pixels in the block (pixel group) to be controlled, for example, the upper left block (x1, yi) shown in FIG. 6 is completed, and thus the operation for the control signal SHy input is completed.
  • the Row line selector may be a simple pattern generation circuit composed of a counter or the like.
  • the configuration of the row selector 132 in the second embodiment is the same as that of the first embodiment described above, and has the configuration described with reference to FIGS.
  • FIG. 16 is also a block (pixel group) to be controlled by the i-th row line selector (yi) in the blocks (x1, yi) to (xN, yi).
  • This is a processing example when a READ (reading) start control signal (RDy) is input to the leftmost block (pixel group) (x1).
  • the horizontal axis is time, and each line is in order from the top.
  • a control signal RDy to the yi-th row line selector 124 (see FIGS. 13 and 6), (2) SLx control signals (x1, x2,..., X (N ⁇ 1) th, xNth block (pixel group) from the top) controlled by the Column selector 133 (see FIG. 13), (3) RSTRc control signal (x1, x2,..., X (N ⁇ 1) th, xNth block (pixel group) from the top) controlled by the Column selector 133 (see FIG. 13), (4) The yi-th row line selector 124 (see FIG. 6) takes charge.
  • N is the number of blocks (pixel groups) in the horizontal direction.
  • P is the number of rows (number of rows) belonging to (x1, yi).
  • the column selector 133 always repeats sequential scanning for each block (pixel group) of the image sensor regardless of the exposure control input.
  • the control signal SLx of the Column group selector repeats a cycle of becoming active sequentially from the horizontal pixel group, that is, the blocks (x1, yi) to (xN, yi).
  • the control signal RSTRx of the Column line selector is synchronized with the control signal SLx and repeats a cycle of becoming active sequentially from the horizontal pixel group, that is, the blocks (x1, yi) to (xN, yi).
  • the period during which RSTRx shown in FIG. 16 (3) holds the active state is a control period of each block (pixel group), and also corresponds to a control period of a plurality of pixels performed in parallel.
  • the Row group selector outputs a signal for starting the RDy, that is, the READ operation to the x1yi-th pixel group, since the x1 is the leftmost pixel group, the control signal RDy is synchronized with the RSTRx1 and the yi-th Row line. Is transmitted to the selector.
  • the x1-th line selector In the yi-th row line selector that has received the control signal SHy, first, the x1-th line selector immediately becomes active, and first, the READ control signal generator (see FIG. 7) is activated to start generation of the READ control signal. .
  • each row selection switch 130 shown in FIG. 7 is controlled so that the READ control signal is transmitted to each row (row): r1 row to rP row of the control target block.
  • READ control signal (RSyir1, TRyir1, and SLyir1 signals) for the r1th Row (for example, the r1 row shown in FIG. 6) is transmitted once in synchronization with RSTRx1.
  • control signal is not generated during the period from RSTRx2 to RSTRxN because it is not the corresponding Column.
  • a READ control signal (RSyir2, TRyir2, and SLyir2 signals) for the r2th Row (for example, the r2 row shown in FIG. 6) is transmitted once in synchronization with RSTRx1. Thereafter, the control signal is suspended because the period from RSTRc2 to RSTRxN is not the corresponding column.
  • the same operation is repeated until rP. That is, for example, the same processing is performed up to the P-th row (rP row) of the upper left block (x1, yi) shown in FIG.
  • the READ operation for all the pixels in the block (pixel group) to be controlled, for example, the upper left block (x1, yi) shown in FIG. 6 is completed, so the operation for the control signal RDy input is completed.
  • the Row line selector may be a simple pattern generation circuit composed of a counter or the like.
  • the present invention can coexist with the column ADC. Note that the exposure control operation of the entire image sensor (image sensor) is the same as the operation of FIGS. 10 and 11 described in the first embodiment, and thus the description thereof is omitted.
  • a striped pixel group with a spacing of one to several pixels in the horizontal or vertical direction can be formed, It is possible to form a pixel group having a parallelogram shape that is slanted and set the exposure period in units of pixel groups having these various shapes.
  • one pixel cannot belong to a plurality of pixel groups and cannot be controlled differently.
  • a pixel group shape with an interval such as a stripe as described above a plurality of pixel groups can be placed on the imaging surface. It is also possible to form the ranges so as to overlap each other. A simple example thereof will be specifically described with reference to FIG.
  • FIG. 17 is a diagram for explaining the hierarchical structure of the Row selector that forms blocks (pixel groups) whose regions overlap each other.
  • a row selector 137 distributes a control signal to each row corresponding to each pixel group based on a control signal from the row group selector 138 and a control signal from the row group selector 138.
  • the hierarchical structure by the row line selectors 139 and 140 is the same as the row selectors of the first and second embodiments described above with reference to FIG.
  • the feature of the image sensor shown in FIG. 17 is that one row line selector controls every other row.
  • the row line selector 139 extends a control line for each pixel in every other row pixel area (a ⁇ r1), (a ⁇ r2), (a ⁇ r3), and controls these pixels.
  • the row line selector 140 extends a control line to each pixel of every other row of pixel regions (br-1), (br-2), (br-3), and so on. Execute control.
  • this region can be subjected to two types of exposure control: a shutter by the row line selector 139 and a shutter by the row line selector 140.
  • the fact that a plurality of shutters are possible in one area means that, for example, effective exposure control is realized in an image in which a bright subject and a dark subject are mixed in the same region.
  • the structure of the Column selector 141 is changed to provide a Column group selector 142 and a plurality of Column line selectors.
  • the column line selector 143 and the column line selector 144 in the figure may be controlled every other column (Column) so that the controlled columns are alternated.
  • the column line selector 143 extends a control line for every other pixel pixel area (ac1), (ac2), (ac3)... And controls these pixels. Execute. Further, the column line selector 144 extends the control line to each of the pixels of every other column pixel area (b-c1), (bc2), (bc3),. Execute control. Such a setting is also possible.
  • the exposure period is set not for each pixel but for each block (pixel group) composed of a plurality of pixels located close to each other in the imaging surface. Perform the set exposure control.
  • adaptive exposure control for each region can be realized without excessively increasing the control circuit inside the image sensor (image sensor).
  • the bandwidth of the exposure control value input can be kept low, and the calculation can be realized with a small-scale calculation.
  • the mechanism for converting the exposure control value into the pixel control signal has a hierarchical structure, and the means for generating the control signal for the pixel group and the means for generating the control signal for the pixels in the pixel group are separated.
  • the control signal to the pixel group is scene-dependent, and the aspect of the control signal time series changes greatly, but it has the feature that the data amount in the low band is small, while the control signal in the pixel group has a high data amount in the high band.
  • the time series can be made in a fixed manner. In this way, the control signal generating means is divided into hierarchies to facilitate implementation.
  • the present invention realizes a control mechanism for making the exposure times of pixels belonging to the same pixel group the same even over a plurality of rows. Further, for pixel signal readout, a control mechanism is realized that reads out sequentially in the same manner as in conventional rolling shutter control. Even if the conventional pixel-by-pixel control mechanism is applied to the pixel group as it is, all the pixels in the pixel group operate in synchronism, so the signal readout becomes a non-uniform rate and the data buffer is arranged outside the sensor. If the replacement process is not performed, there is a problem that data cannot be flowed to the subsequent pipeline process. According to the control mechanism of the present invention, reading of pixel signals is always constant, and data rearrangement is not necessary.
  • the present invention realizes a mechanism that performs free exposure control on, for example, a rectangular block (pixel group).
  • the mechanism can be extended to a region that is a collection of a plurality of rectangles, thereby substantially allowing the regions to overlap.
  • it is possible to photograph one area with a plurality of exposure times, and it is possible to realize a highly practical exposure control mechanism that can handle any scene.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • a configuration in which different exposure control is executed in units of pixel groups obtained by dividing a plurality of pixels on the imaging surface of the imaging device Luminance evaluation is performed in units of pixel groups composed of a plurality of pixels, and exposure control values in units of pixel groups are calculated according to the evaluation results.
  • the image sensor outputs a control signal corresponding to the calculated exposure control value for each pixel group to the constituent pixels of each pixel group to execute exposure control for each pixel group.
  • an exposure control signal having the same pattern is sequentially output to a plurality of pixels in a pixel group in time series, and exposure control in units of groups in which the exposure times of a plurality of pixels belonging to one pixel group are made the same. Is realized.

Abstract

画素グループ単位で異なる露光制御を実行する撮像装置、方法を提供する。撮像素子の撮像面の複数の画素を分割した画素グループ単位の輝度評価を実行し、評価結果に応じて、画素グループ単位の露光制御値を算出する。撮像素子は、算出された画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する。制御信号として、例えば画素グループ内の複数画素に対して同一パターンからなる露光制御信号を時系列に順次、出力し、１つの画素グループに属する複数画素の露光時間を同一としたグループ単位の露光制御を実現する。

Description

撮像装置、撮像素子、および撮像制御方法、並びにプログラム
　本発明は、撮像装置、撮像素子、および撮像制御方法、並びにプログラムに関する。さらに、詳細には領域単位の露光制御を行う撮像装置、撮像素子、および撮像制御方法、並びにプログラムに関する。
　撮像装置において画像データ取得のための撮像素子（イメージセンサ）として、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）など、半導体を利用した光電変換素子によるエリア撮像素子（イメージセンサ）デバイスが広く利用されている。
　撮像素子（イメージセンサ）の性能軸の１つとしてダイナミックレンジがある。ダイナミックレンジとは有効な画像信号として変換できる入射光の明るさの幅である。ダイナミックレンジが大きいとは、暗い光から明るい光まで画像信号に変換できることを意味し、性能が良い撮像素子であることを意味する。撮像素子（イメージセンサ）のダイナミックレンジを拡大するための工夫はこれまでにも数多く提案されてきたが、その中に画素毎に異なる露光制御をおこなうという手法がある。
　通常の撮像素子（イメージセンサ）の画素の各々にはフォトダイオード（ＰＤ：Ｐｈｏｔｏ　Ｄｉｏｄｅ）が設けられ、各画素対応のフォトダイオード（ＰＤ）に対する入射光が光電変換によって電荷に変換される。各画素のＰＤは蓄積できる電荷量が決まっているので、強すぎる入射光に対しては電荷あふれが生じてそれ以上の信号を蓄積でない飽和状態となり、結果として飽和レベル以上の信号は取り出すことができない。また、画素および読み出しのための回路で発生するノイズのため、弱すぎる入射光に対しては生じた電荷がノイズに埋もれて信号を取り出すことができない。
　有効な画像信号を獲得するためには適切な強さの光が撮像素子の各画素に入射するように露光を調節する必要がある。この露光を場所毎の光強度にあわせて画素毎に調節できる仕組みを作れば、撮像素子（イメージセンサ）のダイナミックレンジを拡大することができる。
　このような考えに基づいた技術として、例えば特許文献１（特表２００３－５２７７７５号公報）に記載された技術がある。これは、一露光期間を複数のサブ期間に分割し、各サブ期間の露光信号を積分するかどうかのバイナリ信号を、行（Ｒｏｗ）方向および、列（Ｃｏｌｕｍｎ）方向のプログラム（Ｐｒｇ）信号線によって各画素に配信する構成を持つ。この構成によって、画素毎の露光制御を実現している。
　また、非特許文献１（浜本隆之，相澤清晴，"適応蓄積時間撮像素子（イメージセンサ）の設計と試作"，映像情報メディア学会誌：映像情報メディア，５５（２），２７１－２７８，Ｆｅｂｒｕａｒｙ，２００１）は、画素毎に露光途中の蓄積電荷を画素毎に非破壊状態として検証し、飽和したと判定した画素に対しては即時電荷のリセットをおこなうことで画素毎の露光制御を実現する構成を開示している。
　さらに、特許文献２（特開２０１０－１３６２０５号公報）は、撮像素子（イメージセンサ）の出力に基づいて、超時間か短時間の２種類の露光時間のどちらかを画素毎に決定する手段と、リセットおよび電荷転送のタイミングを画素毎に制御できるようにした画素回路によって画素毎の露光制御を実現する構成を開示している。
特表２００３－５２７７７５号公報 特開２０１０－１３６２０５号公報
浜本隆之，相澤清晴，"適応蓄積時間撮像素子（イメージセンサ）の設計と試作"，映像情報メディア学会誌：映像情報メディア，５５（２），２７１－２７８，Ｆｅｂｒｕａｒｙ，２００１
　前述の従来技術には、以下に説明するように、配線の困難さという共通の問題がある。画素毎に異なる露光制御をおこなうには、露光制御に関する情報を画素毎に別々に伝達する必要があり、信号伝達のための配線数が増加することになる。このような画素対応の配線を付加する構成は、画素数の少ない旧来の撮像素子では可能であるが、画素数が飛躍的に増加している昨今の撮像素子では対応することが極めて困難であるというのが現状である。
　例えば、前述の特許文献１に開示された技術においては、画素毎の電荷蓄積を制御するために、通常の撮像素子（イメージセンサ）にはない特別な制御信号線を複数追加する必要があった。特に前述の行（Ｒｏｗ）方向および列（Ｃｏｌｕｍｎ）方向のプログラム（Ｐｒｇ）信号線を用いた構成において、１つのサブ露光期間内という極めて短い時間内に全画素に対して次のサブ露光期間における制御信号を伝達するという信号伝達の高速性が要求される。
　また、特許文献１の技術によれば露光制御を多段階とすることは原理的に可能であるが、そのためには、露光制御を符号化したセンサの画素数と同じビットマップを行（Ｒｏｗ）方向および列（Ｃｏｌｕｍｎ）方向のプログラム（Ｐｒｇ）信号について時系列に符号化した信号をフレーム毎にセンサ内で生成するか、同時系列をフレーム毎にセンサ外から供給するといった構成が必要となる。このような信号生成あるい供給を短時間で実行することは、高画素数のセンサではほぼ不可能である。
　また、非特許文献１に開示された技術においては、画素毎の飽和判定およびリセット制御を各列（Ｃｏｌｕｍ）並列におこなうことによる配線軽減構成を開示している。しかし、画素数が増加すれば、複数列を並列に制御しても制御が間に合わなくなることが予想される。
　また、特許文献２に開示された構成は、特許文献１の技術より自由度が低い分、よりシンプルな画素制御構造で画素毎の露光制御を実現できるようになっている。そのため、撮像面全体で各画素が２段階（長／短時間露光の２段階）のどちらかという制御は比較的簡単にできる。
　しかしながら特許文献２の技術でも多段階の制御をおこなおうとすると前述の特許文献１の技術と同様に、全画素の露光時間情報をＲｏｗおよびＣｏｌｕｍｎ方向のリセットおよび転送信号時系列に符号化した信号がタイミングジェネレータから供給される必要がある。そのデータ量はフレームあたり全画素数ｘ２であり、かつ信号読み出しよりも露光制御のほうがより並列性の必要性が大きいことを考慮すれば、このような信号をセンサへ供給することは極めて困難であると考えられる。
　以上に説明したように、撮像素子（イメージセンサ）のダイナミックレンジ向上のために画素毎に異なる露光制御をする従来の技術は、その制御信号を各画素へ確実に伝達する配線や制御構成の難しさから、昨今の高画素数の撮像素子（イメージセンサ）に適用するには適さないと考えられる。
　本発明は、このような状況に鑑みてなされたものであり、昨今の高画素数の撮像素子にも適用可能な領域単位の露光制御を実現する撮像装置、撮像素子、および撮像制御方法、並びにプログラムを提供することを目的とする。
　本発明の第１の側面は、
　複数画素から構成される画素グループ単位の輝度評価を実行する輝度評価部と、
　前記輝度評価部の評価結果に応じて、前記画素グループ単位の露光制御値を算出する露光制御値算出部と、
　前記露光制御値算出部の算出した画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する撮像素子を有する撮像装置にある。
　さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、前記制御信号として、前記画素グループ内の複数画素に対して、同一パターンからなる露光制御信号を時系列に順次、出力する処理を行い、１つの画素グループに属する複数画素の露光時間を同一とした露光制御を行う。
　さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、前記制御信号として、行（ロー：Ｒｏｗ）単位の制御信号と、列（カラム：Ｃｏｌｕｍｎ）単位の制御信号を組み合わせて、制御対象の画素を特定した制御処理を実行する。
　さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、露光処理の開始タイミングを示す露光開始制御信号と、読み出し処理の開始タイミングを示す読み出し開始制御信号を画素グループ単位に設定して、画素グループ単位の露光制御を実行する。
　さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、行（Ｒｏｗ）方向に設定された画素グループに対する露光制御信号を出力する複数のＲｏｗラインセレクタと、前記複数のＲｏｗラインセレクタに対する制御信号出力タイミングを指示する制御信号を出力するＲｏｗグループセレクタとの階層構成を有する。
　さらに、本発明の撮像装置の一実施態様において、前記Ｒｏｗラインセレクタは、前記Ｒｏｗグループセレクタからの制御信号出力タイミングを指示する制御信号に応じて、制御対象とする画素グループ単位で制御信号を出力する。
　さらに、本発明の撮像装置の一実施態様において、前記Ｒｏｗラインセレクタは、各画素の露光処理を実行させる露光パターン信号を出力するシャッター制御信号生成部と、各画素の読み出し処理を実行させる読み出しパターン信号を出力する読み出し制御信号生成部を有し、前記Ｒｏｗグループセレクタからの制御信号出力タイミングを指示する制御信号の種類に応じて、前記シャッター制御信号生成部または前記読み出し制御信号生成部の生成する制御信号の選択的な出力処理を実行する。
　さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、撮像素子の１行（Ｒｏｗ）の画素信号に対して並列にＡＤ変換を実行するカラム（Ｃｏｌｕｍｎ）ＡＤＣを有し、さらに、画素グループ単位の制御信号を生成するカラム（Ｃｏｌｕｍｎ）グループセレクタと、画素グループ単位の制御信号を受けて画素グループ内の制御信号を生成する複数のカラム（Ｃｏｌｕｍｎ）ラインセレクタとの階層構造を有する、カラム（Ｃｏｌｕｍｎ）セレクタを有する。
　さらに、本発明の撮像装置の一実施態様において、前記画素グループは、隣接画素集合からなる画素グループである。
　さらに、本発明の撮像装置の一実施態様において、前記画素グループは、複数の離間領域にある画素集合からなる画素グループである。
　さらに、本発明の第２の側面は、
　撮像面の複数の画素を分割した画素グループ単位で設定された露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する撮像素子にある。
　さらに、本発明の撮像素子の一実施態様において、前記制御信号として、前記画素グループ内の複数画素に対して、同一パターンからなる露光制御信号を時系列に順次、出力する処理を行い、１つの画素グループに属する複数画素の露光時間を同一とした露光制御を行う。
　さらに、本発明の撮像素子の一実施態様において、前記制御信号として、行（ロー：Ｒｏｗ）単位の制御信号と、列（カラム：Ｃｏｌｕｍｎ）単位の制御信号を組み合わせて、制御対象の画素を特定した制御処理を実行する。
　さらに、本発明の撮像素子の一実施態様において、露光処理の開始タイミングを示す露光開始制御信号と、読み出し処理の開始タイミングを示す読み出し開始制御信号を画素グループ単位に設定して、画素グループ単位の露光制御を実行する。
　さらに、本発明の第３の側面は、
　撮像装置において実行する撮像制御方法であり、
　輝度評価部が、複数画素から構成される画素グループ単位の輝度評価を実行する輝度評価ステップと、
　露光制御値算出部が、前記輝度評価ステップにおける評価結果に応じて、前記画素グループ単位の露光制御値を算出する露光制御値算出ステップと、
　撮像素子が、前記露光制御値算出ステップにおいて算出した画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する撮像ステップを有する撮像制御方法にある。
　さらに、本発明の第４の側面は、
　撮像装置において撮像制御処理を実行させるプログラムであり、
　輝度評価部に、複数画素から構成される画素グループ単位の輝度評価を実行させる輝度評価ステップと、
　露光制御値算出部に、前記輝度評価ステップにおける評価結果に応じて、前記画素グループ単位の露光制御値を算出させる露光制御値算出ステップと、
　撮像素子に、前記露光制御値算出ステップにおいて算出した画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行させる撮像ステップを実行させるプログラムにある。
　なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本発明の一実施例の構成によれば、撮像素子の撮像面の複数の画素を分割した画素グループ単位で異なる露光制御を実行する構成が実現される。
　複数画素から構成される画素グループ単位の輝度評価を実行し、評価結果に応じて、画素グループ単位の露光制御値を算出する。撮像素子は、算出された画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する。制御信号として、例えば画素グループ内の複数画素に対して同一パターンからなる露光制御信号を時系列に順次、出力し、１つの画素グループに属する複数画素の露光時間を同一としたグループ単位の露光制御を実現する。
撮像装置の全体構成例について説明する図である。 撮像装置で実行する露光制御処理の実行構成について説明する図である。 撮像素子（イメージセンサ）の構成例について説明する図である。 撮像素子（イメージセンサ）内の１つの画素の構成例を説明する等価回路を示す図である。 （ａ）露光処理「ＳＨＵＴＴＥＲ（シャッター）」に基づく電荷蓄積処理と、（ｂ）読み出し処理「ＲＥＡＤ（リード）」に基づく蓄積電荷出力処理の２つの処理の動作時の制御信号パターンを説明する図である。 Ｒｏｗセレクタの内部構成と、撮像素子１０３に設定されたブロック（画素グループ）との対応関係例について説明する図である。 図６中に示す１つのＲｏｗラインセレクタ１２４の内部構成を説明するブロック図である。 露光処理開始を指示するＳＨＵＴＴＥＲ（シャッター）制御開始を示す制御信号ＳＨｙが入力された場合のＲｏｗラインセレクタの動作を説明するタイミング図である。 読み出し処理開始を指示するＲＥＡＤ（読み出し）制御開始を示す制御信号ＲＤｙが入力された場合のＲｏｗラインセレクタの動作を説明する図である。 通常の全面均一な露光時間の露光制御（シャッター制御）による撮像をおこなう場合のＲｏｗグループセレクタの制御を説明するタイミング図である。 画素グループ毎に異なる露光時間とした露光制御（シャッター制御）による撮像をおこなう場合のＲｏｗグループセレクタの制御を説明するタイミング図である。 図１１に示す制御の結果として撮像面全体に設定されるシャッター時間の例について説明する図である。 カラムＡＤＣを用いた撮像素子（イメージセンサ）の構成を説明する図である。 第２の実施例のＣｏｌｕｍｎセレクタの構成例について説明する図である。 図１３のＲｏｗセレクタ１３２内部の１つのＲｏｗラインセレクタに対して、露光処理開始を指示するＳＨＵＴＴＥＲ（シャッター）制御開始を示す制御信号ＳＨｙが入力された場合のＲｏｗラインセレクタの動作を説明するタイミング図である。 図１３のＲｏｗセレクタ１３２内部の１つのＲｏｗラインセレクタに対して、読み出し処理開始を指示するＲＥＡＤ（読み出し）制御開始を示す制御信号ＲＤｙが入力された場合のＲｏｗラインセレクタの動作について説明するタイミング図である。 互いに領域がオーバーラップする画素グループを形成するＲｏｗセレクタの階層構造を説明する図である。 互いに領域がオーバーラップする画素グループを形成するＲｏｗセレクタの階層構造を説明する図である。
　以下、図面を参照しながら本発明の撮像装置、撮像素子、および撮像制御方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
　１．撮像装置の構成例について
　２．露光評価および露光制御値算出処理について
　３．撮像素子（イメージセンサ）の構成および露光制御機構について
　４．露光制御動作例その１：通常の均一シャッター動作
　５．露光制御動作例その２：画素グループ毎に異なるシャッター動作
　６．第２の実施例：カラムＡＤＣとの共存
　７．第３の実施例：画素グループの設定構成と画素グループ位置のオーバーラップ構成について
　８．本発明の構成と効果のまとめ
　　［１．撮像装置の構成例について］
　以下、本発明の実施例について説明する。以下、本発明の一実施例としてデジタルビデオカメラの例について説明する。
　はじめにカメラの構成と動作について説明し、その後、撮像素子（イメージセンサデバイス）の構成例と撮像素子を用いた露光制御の詳細について説明する。
　まず、図１を参照して撮像装置（デジタルビデオカメラ）の構成について説明する。図１に示すように、撮像装置は、レンズ１０１、絞り１０２、撮像素子（イメージセンサ）１０３、ＤＳＰブロック１０４、ＬＣＤドライバ１０５、ＬＣＤ１０６、ＣＯＤＥＣ１０７、メモリ１０８、ＣＰＵ１０９、入力デバイス１１０から構成される。
　ここで、入力デバイス１１０はカメラ本体にあるシャッタボタンなどの操作ボタン類によって構成される。また、ＤＳＰブロック１０４は信号処理用プロセッサと、撮像素子１０３から出力される撮影画像を一時的に格納する画像用ＲＡＭを持つブロックである。ＤＳＰブロック１０４においては、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理をおこなう。以下ＤＳＰブロックを単にＤＳＰと呼ぶ。
　光学系を通過して撮像素子（イメージセンサ）１０３に到達した入射光は、撮像素子（イメージセンサ）１０３において画像データに変換され、ＤＳＰ１０４中の画像メモリに一時格納される。撮像中の状態においては、撮像素子（イメージセンサ）１０３が一定のフレームレートで画像データを出力するように制御される。ＤＳＰ１０４へ一定のレートで画像データが送られ、そこで適切な画像処理がおこなわれた後、画像データはＬＣＤドライバ１０５もしくはＣＯＤＥＣ１０７あるいはその両方に送られる。
　ＬＣＤドライバ１０５はＤＳＰ１０４から送られる画像データをアナログ信号に変換し、それをＬＣＤ１０６に出力し表示させる。このＬＣＤ１０６は本実施例においてカメラのファインダの役割を担っている。また、ＣＯＤＥＣ１０７はＤＳＰ１０４から送られる画像データの符号化をおこない、符号化された画像データはメモリ１０８に記録される。ここで、メモリ１０８は例えば半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などである。
　なお、ＣＰＵ１０９、ＤＳＰ１４０では、例えばメモリ１０８に予め記録されたプログラムに従って様々な処理を実行可能であり、以下に説明する処理もプログラムに従って実行可能な処理である。
　　［２．露光評価および露光制御値算出処理について］
　撮像素子（イメージセンサ）１０３は、撮像素子に設けられた画素の領域毎に異なる露光、すなわち領域単位で異なる露光時間を設定して１つの画像を撮影することができる。例えば、撮影する１つのシーン内で暗い被写体が存在する領域は明るい露光、すなわち長時間露光領域とし、一方、明るい被写体が存在する領域では暗い露光、すなわち短時間露光領域として撮影し１つの画像データを出力する。
　このように各領域単位で、被写体の明るさに応じた最適露光で撮影を実行することでノイズや飽和の少ない画像データを生成することができる。
　以下、撮像素子（イメージセンサ）の領域単位での異なる露光制御をおこなうための具体的な構成と処理について説明する。
　図２は本実施例の露光評価および露光制御値算出のための処理構成を説明するブロック図である。
　なお、図２において、ブロック平均輝度１１４、露光制御値１１６、露光制御値１１７等、平行な水平２本線で示す図形はデータあるいはデータを格納するメモリを表す。また、イメージセンサ１０３等の矩形で示された図形は、処理の実行部または処理を表す。
　なお、図２に示す構成によっておこなわれる露光評価処理および露光制御値算出処理は、図１に示すＤＳＰ１０４において実行される処理であり、図２に示す構成は、ＤＳＰ１０４内に設定される構成である。
　撮像素子（イメージセンサ）１０３から出力された画像データは領域毎に異なる露光で撮影される。
　従って、図１に示す撮像素子（イメージセンサ）１０３から出力される画像データそのままでは領域毎に異なる露光時間の設定に基づく信号出力がなされた状態であるので、各露光時間の違いを補償して最終的な出力値を設定する必要がある。なお、撮像素子（イメージセンサ）１０３から出力される画像データが撮影された時点における露光制御値は露光制御値１１７として、ＤＳＰ１０４内のメモリに格納される。
　撮像素子（イメージセンサ）１０３から出力される画像データは、メモリに格納された露光制御値１１７に基づき、露光補償乗算器１１１によって画素毎に最終的な画素値としての出力値を算出する補償処理を実行する。その後、画像データは信号処理部１１２に送られ、信号処理部１１２において、ホワイトバランス調整、デモザイク、リニアマトリクス、ガンマ補正、アパーチャ補正などのカメラ信号処理が施されて、カメラ撮影画像として出力できるデータとなる。
　一方で、撮像素子（イメージセンサ）１０３から出力される画像データはブロック輝度評価部１１３にも入力される。ブロック輝度評価部１１３は、画像を矩形状に分割したブロック領域毎に輝度平均値を評価する。評価されたブロック毎の輝度平均値はブロック平均輝度１１４としてメモリに格納される。
　なお、以下の実施例では、露光制御単位として規定するブロック（画素グループ）を矩形領域とした例を説明するが、ブロックは矩形領域に限定されるものではない。
　露光制御値算出部１１５は、ブロック平均輝度１１４に基づいて撮像素子（イメージセンサ）１０３へ入力する露光制御値を算出する。露光制御値は、各ブロックの平均輝度とあらかじめ設定されているターゲット輝度値によって算出される。ターゲット輝度値は、露光制御によって期待する撮像素子（イメージセンサ）１０３からの出力輝度値であり、通常は白レベルの１８％～２０％程度の輝度レベルに設定される。
　このように、撮像素子（イメージセンサ）１０３は、撮像面を矩形で区切った領域であるブロック毎に露光制御を行う。露光制御値算出部１１５は、そのブロック領域に逐一対応するように露光制御値を算出し、算出した露光制御値を露光制御値１１６としてメモリに格納する。
　撮像素子（イメージセンサ）１０３は、メモリに格納されたブロック対応の露光制御値１１６に基づいて次のフレームの画像データを撮影する。なお、図２に示すもう１つの露光制御値１１７は、露光制御値１１６のコピーデータであり、次に撮像素子（イメージセンサ）１０３から出力される画像データに対して露光補償をおこなうための情報として利用される。
　露光制御値算出部１１５が、ブロック毎に露光制御値を算出する具体的な方法について説明する。
　撮像素子（イメージセンサ）１０３の各構成画素からの出力輝度値をＩとする。
　出力輝度値：Ｉは、
　入射光量：Ｌ、
　絞り口径の２乗：Ａ２、
　シャッター時間：Ｔ、および、
　センサ感度：Ｓ、
　これらに比例する。
　従って、撮像素子（イメージセンサ）１０３の各構成画素からの出力輝度値Ｉは、以下の算出式（式１）によって算出できる。
　Ｉ＝ｋ・Ｌ・Ａ２・Ｔ・Ｓ　　　・・・・・・（式１）
　上記（式１）において、
　ｋは比例係数である。
　上記式から明らかなように、入射光量Ｌ、絞りＡと感度Ｓが一定である場合は、出力輝度値Ｉはシャッター時間Ｔに比例する。なお、シャッター時間とは露光時間に相当する。
　従って、所定のターゲット輝度値Ｉｔを得るためのシャッター時間Ｔｔは、現在の出力輝度値Ｉとシャッター時間Ｔを用いて、以下の（式２）に従って算出することができる。
　Ｔｔ＝Ｔ（Ｉｔ／Ｉ）　　　・・・・・・（式２）
　上記（式１）、（式２）は、撮像素子（イメージセンサ）１０３の各構成画素の画素単位の出力輝度値：Ｉと、所定のターゲット輝度値Ｉｔを得るためのシャッター時間Ｔｔの算出式であるが、本発明の構成では、複数の画素から構成されるブロック（画素グループ）単位で処理を行う。
　すなわち、
　現在のブロック（画素グループ）平均輝度をＩ、
　各ブロック（画素グループ）の現在のシャッター時間をＴ、
　このようなブロック（画素グループ）単位での算出構成とすることによって、ブロック（画素グループ）毎に、上記（式２）によってＴｔ（所定のターゲット輝度値Ｉｔを得るためのシャッター時間Ｔｔ）を算出し、それをブロック（画素グループ）毎の露光時間、すなわち露光制御値として利用する。
　このように本発明の構成では、画素単位の輝度に基づく画素単位の露光制御ではなく、複数画素からなるブロック（画素グループ）単位の平均輝度に基づいてブロック単位の露光制御を実行する。
　　［３．撮像素子（イメージセンサ）の構成および露光制御機構について］
　次に、撮像素子（イメージセンサ）１０３の構成と内部の露光制御機構について説明する。
　図３は本実施例の撮像素子（イメージセンサ）の構成を説明する図である。図中の小さな正方形の各々が、撮像面に２次元格子状に配置された画素を表す。すなわち光電変換素子を持つ画素を表す。各画素は、水平方向に延びる３種類の制御線を介して制御信号ＲＳｒ，ＴＲｒ，ＳＬｒを入力し、さらに垂直方向に延びる１種類の制御線を介して制御信号ＲＳＴＲｃを入力する。
　また、垂直方向に延びる信号線を介して画素信号ＳＩＧｃ、すなわち各画素が入射光に応じて蓄積した電荷を出力するようになっている。
　水平方向の３種類の制御信号（ＲＳｒ，ＴＲｒ，ＳＬｒ）を伝送する制御線は全てＲｏｗセレクタ（行セレクタ）１１９に接続し、Ｒｏｗセレクタ１１９から制御信号が各画素に向けて伝達される。
　また垂直方向の制御線は全てＣｏｌｕｍｎセレクタ（列セレクタ）１２０に接続し、Ｃｏｌｕｍｎセレクタ１２０から制御信号が各画素に向けて伝達される。
　Ｒｏｗセレクタ１１９およびＣｏｌｕｍｎセレクタ１２０は、タイミングジェネレータ（ＴＧ）１１８に接続し、タイミングジェネレータ（ＴＧ）１１８は撮像素子（イメージセンサ）１０３に対して外部からの露光制御信号の入力を受け付けるようになっている。
　ここで外部から入力する露光制御信号とは、図２を参照して説明した露光制御値１１６、すなわち、ブロック単位の露光制御値である。
　タイミングジェネレータ（ＴＧ）１１８は、ブロック単位の露光制御値をブロック単位のシャッター制御のタイミング情報に変換し、それをＲｏｗセレクタ１１９およびＣｏｌｕｍｎセレクタ１２０に伝達する。Ｒｏｗセレクタ１１９およびＣｏｌｕｍｎセレクタ１２０はそれを受けてＲｏｗ毎およびＣｏｌｕｍｎ毎の制御信号を発生させて、制御信号ＲＳｒ，ＴＲｒ，ＳＬｒおよびＲＳＴＲｃを各画素に伝達する。
　各画素から出力される出力画素信号ＳＩＧｃはＣｏｌｕｍｎ単位で選択するためのスイッチを通過するようになっている。スイッチはＣｏｌｕｍｎセレクタ１２０によるＣｏｌｕｍｎ選択信号ＳＬｃによって開閉する。Ｃｏｌｕｍｎ選択信号ＳＬｃによって選択されたＣｏｌｕｍｎの各画素からの画素信号ＳＩＧｃは、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ回路）１２１に入力され、そこでリセットノイズが抑制され、次にＡＤＣ（Ａｎａｌｏｇ－Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ回路）に入力し、そこでアナログ信号からデジタル信号へと変換された後、画像出力として撮像素子（イメージセンサ）から出力される。
　図４は本実施例の撮像素子（イメージセンサ）内の１つの画素の構成例を説明する等価回路である。図４の破線の四角形で囲まれた部分が１画素に相当する構成である。１つの画素は水平に延びる３種類の制御線から各制御信号ＲＳｒ，ＴＲｒ，ＳＬｒを入力する。
　これらの制御信号ＲＳｒ，ＴＲｒ，ＳＬｒについては、同じＲｏｗ（行）に属する画素は全て同じ制御線から入力するようになっている。また、１つの画素は垂直に延びる制御線を介して制御信号ＲＳＴＲｃを入力する。この制御信号ＲＳＴＲｃは同じＣｏｌｕｍｎ（列）に属する画素は全て同じ制御線から入力するようになっている。
　画素に光が入射されるとフォトダイオードＰＤにおいて光電変換により光量に応じた電荷が発生する。フォトダイオードＰＤに蓄積した電荷はトランジスタＭ２を介してフローティングディフュージョンＦＤに転送される。トランジスタＭ２のゲートはトランジスタＭ１を介して、制御信号ＴＲｒとＲＳＴＲｃによって制御される。トランジスタＭ４は、それが通電することによって、フローティングディフュージョンＦＤに蓄積された電荷をリセットする動作をおこなう。トランジスタＭ４のゲートはトランジスタＭ３を介して、制御信号ＲＳｒとＲＳＴＲｃによって制御される。フローティングディフュージョンＦＤに蓄積された電荷はトランジスタＭ５によって増幅され、トランジスタＭ６を介して出力画素信号ＳＩＧｃが出力される。トランジスタＭ６のゲートは制御信号ＳＬｒによって制御される。
　本実施例においては、画素は以下の２パターンの動作、すなわち、
　（ａ）露光処理「ＳＨＵＴＴＥＲ（シャッター）」に基づく電荷蓄積処理
　（ｂ）読み出し処理「ＲＥＡＤ（リード）」に基づく蓄積電荷出力処理
　これら２つの処理をおこなう。
　上記（ａ），（ｂ）のどちらの動作もおこなわないときは、露光した電荷を蓄積した状態を維持している。
　図５に、
　（ａ）露光処理「ＳＨＵＴＴＥＲ（シャッター）」に基づく電荷蓄積処理
　（ｂ）読み出し処理「ＲＥＡＤ（リード）」に基づく蓄積電荷出力処理
　これら２つの処理の動作時の制御信号パターンを説明するタイミングチャートを示す。
　横軸は時間である。
　Ｃｏｌｕｍｎ（列）方向の制御信号ＲＳＴＲｃは、当該Ｃｏｌｕｍｎの画素が画素制御期間にあるときにａｃｔｉｖｅ状態を保持することにより、その画素が制御可能である状態を作る。
　さらに、露光処理「ＳＨＵＴＴＥＲ」動作においては、ＲＳＴＲｃがａｃｔｉｖｅである間にＲｏｗ（行）方向の制御信号ＲＳｒとＴＲｒが同時にａｃｔｉｖｅになる。それによって、図４におけるトランジスタＭ２およびＭ４が同時に開状態となりフォトダイオードＰＤおよびフローティングディフュージョンＦＤの蓄積電荷がリセット、すなわち電子シャッターによる露光開始の動作となる。
　また、読み出し処理「ＲＥＡＤ」動作においては、画素制御期間に制御信号ＲＳＴＲｃと同時にＲｏｗ方向の制御信号ＳＬｒがａｃｔｉｖｅ状態を保持する。そしてその間に、まず制御信号ＲＳｒが先に、次に制御信号ＴＲｒが順次ａｃｔｉｖｅになるように動作する。制御信号ＲＳｒがａｃｔｉｖｅになることでトランジスタＭ４が開状態となり、フローティングディフュージョンＦＤの電荷がリセットされると同時に、制御信号ＳＬｒによってトランジスタＭ６が開状態となっているので、リセットされた状態の出力画素信号ＳＩＧｃが出力される。
　そして制御信号ＴＲｒがａｃｔｉｖｅになることでトランジスタＭ２が開状態となり、フォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに転送される。この時点でトランジスタＭ４は閉状態、トランジスタＭ６は引き続き開状態となっているため、転送された電荷に応じた出力画素信号ＳＩＧｃが信号線を介して出力される。ＲＥＡＤ動作によって順次出力されたリセット状態および蓄積状態の信号はそれぞれＣＤＳ内に保持された後、ＣＤＳ内の差分検出動作によってリセットノイズがキャンセルされた分の信号が生成される。
　図６を参照して、Ｒｏｗセレクタの内部構成と、撮像素子１０３に設定されたブロック（画素グループ）との対応関係例について説明する。
　本発明を実現する撮像素子（イメージセンサ）１０３は、複数の画素からなる画素グループ毎に異なる露光時間（シャッター時間）となるように制御することが１つの特徴である。
　ここで説明する実施例では、撮像素子（イメージセンサ）１０３の撮像面を矩形ブロック状に分割した領域毎にブロック（画素グループ）を形成し、ブロック（画素グループ）それぞれに異なる露光時間（シャッター時間）とする制御を行う例である。
　図６には撮像素子１０３に設定される矩形状のブロック（画素グループ）を破線四角形で示している。
　図６においては、１つのブロックは、Ｐ行（Ｒｏｗ）、Ｑ列（Ｃｏｌｕｍｎ）の画素によって構成された例を一例として示している。なお、ブロック設定は様々な設定が可能である。
　撮像素子全体の画素列（Ｃｏｌｕｍｎ）の総数はＷ列とする。
　ブロック（画素グループ）は、水平方向をｘ方向、垂直方向をｙ方向とし、例えば図６の左上のブロック（画素グループ）のブロック識別子（アドレス）を（ｘ１，ｙｉ）としている。
　ブロック（ｘ１，ｙｉ）の右隣りのブロックは、ブロック（ｘ２，ｙｉ）である。
　ブロック（ｘ１，ｙｉ）の下に隣接するブロックは、ブロック（ｘ１，ｙｉ＋１）である。
　ブロック（ｘ１，ｙｉ）の水平方向の右端のブロックは、ブロック（ｘＮ，ｙｉ）であり、１つのブロックの水平方向には（ｘ１，ｙｉ）～（ｘＮ，ｙｉ）のＮ個のブロックが設定される。
　ブロック（画素グループ）単位の露光時間の制御、すなわちシャッター制御を実現するために、本実施例のＲｏｗセレクタ（行セレクタ）１１９の内部構成は、図６に示す構成を有する。
　図６に示すように、Ｒｏｗセレクタ（行セレクタ）１１９は、ブロック（画素グループ）単位の制御信号（ＳＨｙ，ＲＤｙ）を生成するＲｏｗグループセレクタ１２３と、Ｒｏｗグループセレクタ１２３からブロック（画素グループ）単位の制御信号（ＳＨｙ，ＲＤｙ）を入力して、ブロック（画素グループ）内の画素に出力する制御信号を生成する複数のＲｏｗラインセレクタ１２４の階層構造となっている。
　Ｒｏｗグループセレクタ１２３は、各Ｒｏｗラインセレクタ１２４に対して、
　（ａ）ＳＨＵＴＴＥＲ制御開始（ＳＨｙ）、または、
　（ｂ）ＲＥＡＤ制御開始（ＲＤｙ）、
　上記の２種類の制御信号を選択して伝達する。
　（ａ）ＳＨＵＴＴＥＲ制御開始（ＳＨｙ）、
　（ｂ）ＲＥＡＤ制御開始（ＲＤｙ）、
　これらの制御信号は、ブロック（画素グループ）単位での（ａ）露光開始または（ｂ）読み取り開始のタイミングの伝達であると同時に、１つのＲｏｗラインセレクタ１２４が担当する水平方向に並んだ複数のブロック（画素グループ）のうちのどれに対する制御であるかの指定情報を含んでいる。Ｒｏｗラインセレクタ１２４は、Ｒｏｗグループセレクタ１２３からの制御信号ＳＨｙもしくはＲＤｙを入力して、入力制御信号に含まれるブロック指定情報に該当するブロック（画素グループ）の全画素に対して、先に図５を参照して説明した、
　（ａ）露光処理「ＳＨＵＴＴＥＲ（シャッター）」に基づく電荷蓄積処理
　（ｂ）読み出し処理「ＲＥＡＤ（リード）」に基づく蓄積電荷出力処理
　これら２つの処理いずれかの制御信号パターンを伝達する。
　１つのブロック（画素グループ）には、数行（Ｒｏｗ）および数列（Ｃｏｌｕｍｎ）にわたる複数のブロックが含まれる。例えば図６に示す例ではＰ×Ｑの画素が１つのブロックに含まれる。従って、１つのブロック（画素グループ）の動作を完結させるには、ブロック内の各画素に与える制御信号を、適切に時間をずらして与える必要がある。図６に示すＲｏｗラインセレクタ１２４は、画素グループ内の全画素が適切なタイミングで動作するように制御信号を生成する。
　ちなみに、本実施例では、Ｃｏｌｕｍｎ方向（列方向）にはＣｏｌｕｍｎ単位で順次走査するだけの動作をおこなうので、Ｃｏｌｕｍｎセレクタの階層構造は必要ない。
　図７は、図６中に示す１つのＲｏｗラインセレクタ１２４の内部構成を説明するブロック図である。１つのＲｏｗラインセレクタは、Ｎ個のラインセレクタ１２５，１２６，...，１２７とＳＨＵＴＴＥＲ（シャッター）制御信号ジェネレータ１２８とＲＥＡＤ（読み出し）制御信号ジェネレータ１２９と、Ｐ個のＲｏｗ選択スイッチ１３０によって構成される。
　ここで、ラインセレクタの数に相当するＮは、同じＲｏｗラインセレクタが担当する水平方向に並ぶブロック（画素グループ）の個数である。
　また、Ｒｏｗ選択スイッチ１３０の数に相当するＰは、同じＲｏｗラインセレクタが担当するＲｏｗ（行）の本数である。
　各ラインセレクタ１２５，１２６，...，１２７は、Ｒｏｗグループセレクタ１２３からの制御信号である、
　（ａ）ＳＨＵＴＴＥＲ制御開始（ＳＨｙ）、または、
　（ｂ）ＲＥＡＤ制御開始（ＲＤｙ）、
　これらの制御信号をうけて、それが各自が担当するブロック（画素グループ）に対する制御信号であった場合に、各画素に制御信号を送るタイミング信号を生成し、タイミング信号をＳＨＵＴＴＥＲ制御信号ジェネレータ１２８とＲＥＡＤ制御信号ジェネレータ１２９とＰ個のＲｏｗ選択スイッチ１３０に出力してこれらを制御する。
　すなわち、Ｎ個のラインセレクタ１２５，１２６，...，１２７の各々は、水平方向のＮ個のブロック（画素グループ）各々に対して設定され、各ブロックに対応する制御信号の出力タイミングを設定する。
　ＳＨＵＴＴＥＲ制御信号ジェネレータ１２８とＲＥＡＤ制御信号ジェネレータ１２９は、それぞれ図５（ａ）と図５（ｂ）に示した画素制御パターンを発生させる回路である。
　ＳＨＵＴＴＥＲ制御信号ジェネレータ１２８は、
　（ａ）露光処理としての「ＳＨＵＴＴＥＲ」処理において利用される図５（ａ）に示した画素制御パターンを発生させる回路である。
　ＲＥＡＤ制御信号ジェネレータ１２９は、
　（ｂ）読み出し処理としての「ＲＥＡＤ」処理において利用される図５（ｂ）に示した画素制御パターンを発生させる回路である。
　ラインセレクタ１２５，１２６，...，１２７のいずれか、ａｃｔｉｖｅに動作中のラインセレクタからの制御信号（タイミング信号）を入力して、上記（ａ），（ｂ）、すなわち、図５（ａ），（ｂ）の制御信号を発生させ、その出力を全Ｒｏｗに向けて出力する。その制御信号は一旦Ｒｏｗ毎にＲｏｗ選択スイッチ１３０を通過するようになっており、Ｒｏｗ選択スイッチ１３０は、Ｎ個のラインセレクタ１２５，１２６，...，１２７のいずれかから出力される制御信号（タイミング信号）により開状態となり、当該のＲｏｗに対して画素制御信号を伝達するようになっている。
　図７に示す１つのＲｏｗラインセレクタ１２４に対して、露光処理開始を指示するＳＨＵＴＴＥＲ（シャッター）制御開始を示す制御信号ＳＨｙが入力された場合のＲｏｗラインセレクタ１２４の動作を説明するタイミング図を図８に示す。
　この図８は、ｉ番目のＲｏｗラインセレクタ（ｙｉ）の制御対象となるブロック（画素グループ）である（ｘ１，ｙｉ）～（ｘＮ，ｙｉ）のブロック中の１番左のブロック（画素グループ）（ｘ１）に対するＳＨＵＴＴＥＲ（シャッター）開始制御信号（ＳＨｙ）の入力時の処理例である。
　図８に示すタイミングチャートにおいて、横軸は時間であり、各ラインは上から順に、
　（１）ｙｉ番目のＲｏｗラインセレクタ１２４（図６参照）への制御信号ＳＨｙ、
　（２）Ｃｏｌｕｍｎセレクタ１２０（図３参照）が制御するＲＳＴＲｃ制御信号（上からｃ１番目、ｃ２番目、…、ｃＱ番目、ｃ（Ｑ＋１）番目、…、ｃＷ番目のＣｏｌｕｍｎ）、
　（３）ｙｉ番目のＲｏｗラインセレクタ１２４（図６参照）が担当する、
　（３－１）ｒ１番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
　（３－２）ｒ２番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
　　　…、
　（３－Ｐ）ｒＰ番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
　を示す。
　ここで、
　Ｑはｉ番目のＲｏｗラインセレクタ（ｙｉ）の制御対象となるブロック（画素グループ）である（ｘ１，ｙｉ）～（ｘＮ，ｙｉ）のｘ１番目のブロック（画素グループ）であるブロック（ｘ１，ｙｉ）に属するＣｏｌｕｍｎ数（列数）である。
　Ｗは撮像素子（イメージセンサ）の全Ｃｏｌｕｍｎ数（列数）である。
　Ｐはブロック（ｘ１，ｙｉ）に属するＲｏｗ数（行数）である。
　Ｃｏｌｕｍｎセレクタ１２０は、露光制御入力に関係なく、常に撮像素子１０３のＣｏｌｕｍｎ（列）単位の順次走査を、撮像素子の全てのＣｏｌｕｍｎ（列）：ｃ１～ｃＷについて繰り返す動作をおこなう。すなわち、Ｃｏｌｕｍｎの制御信号ＲＳＴＲｃは、ｃ１～ｃＷまで順次ａｃｔｉｖｅになる周期を繰り返す。ＲＳＴＲｃが１つのＣｏｌｕｍｎでａｃｔｉｖｅ状態を保持する期間が画素制御期間に相当する。
　Ｒｏｗグループセレクタ１２３がブロック（ｘ１，ｙｉ）の画素グループに対して、制御信号ＳＨｙ、すなわちＳＨＵＴＴＥＲ動作の開始の信号を出す場合、ｘ１は１番左の画素グループであるので、制御信号ＳＨｙはＲＳＴＲｃ１に同期してｙｉ番目のＲｏｗラインセレクタ１２４に伝達される。
　制御信号ＳＨｙを受けたｙｉ番目のＲｏｗラインセレクタでは、まず、ｘ１番目のラインセレクタが直ちにａｃｔｉｖｅな状態となり、まずＳＨＵＴＴＥＲ制御信号ジェネレータ１２８をａｃｔｉｖｅにしてＳＨＵＴＴＥＲ制御信号の発生を開始させる。
　さらに各画素に制御信号を伝達するタイミングで、図７に示す各Ｒｏｗ選択スイッチ１３０を制御し、ＳＨＵＴＴＥＲ制御信号が、制御対象ブロックの各Ｒｏｗ（行）：ｒ１行～ｒＰ行に伝達されるように制御する。
　その結果として、まず、図８（３－１）に示すように、
　ｒ１番目のＲｏｗ（図６に示すｒ1行）に対するＳＨＵＴＴＥＲ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１の信号）がＱ回、ＲＳＴＲｃ１～ＲＳＴＲｃＱに同期して伝達される。
　これは、制御対象とするブロック、例えば図６に示す左上のブロック（ｘ１，ｙｉ）の第１行（ｒ１行）のＱ個の画素（ｃ１列～ｃＱ列）各々に対応する制御信号である。
　その後ＲＳＴＲｃ（Ｑ＋１）～ＲＳＴＲｃＷの期間は該当するＣｏｌｕｍｎではないので制御信号を発生させない。すなわち、図６に示す左上端のブロック（ｘ１，ｙｉ）の画素グループ内のＣｏｌｕｍｎに対応する処理期間ではないので、図８（３－１）に示すｒ１番目のＲｏｗ（行）への制御信号［＝ＳＨＵＴＴＥＲ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１の信号）］は発生させない。
　次に、図８（３－２）に示すように、
　ｒ２番目のＲｏｗ（図６に示すｒ２行）に対するＳＨＵＴＴＥＲ制御信号（ＲＳｙｉｒ２とＴＲｙｉｒ２の信号）がＱ回、ＲＳＴＲｃ１～ＲＳＴＲｃＱに同期して伝達される。
　これは、制御対象とするブロック、例えば図６に示す左上のブロック（ｘ１，ｙｉ）の第２行（ｒ２行）のＱ個の画素（ｃ１列～ｃＱ列）各々に対応する制御信号である。
　その後ＲＳＴＲｃ（Ｑ＋１）～ＲＳＴＲｃＷの期間は該当するＣｏｌｕｍｎではないので制御信号を発生させない。
　以降、図８（３－１）～（３－Ｐ）に示すように、同様の動作をｒＰまで繰り返す。すなわち、図６に示す左上のブロック（ｘ１，ｙｉ）の第Ｐ行（ｒＰ行）まで、同様の処理を行う。これにより、制御対象とするブロック（画素グループ）、例えば図６に示す左上のブロック（ｘ１，ｙｉ）中の全画素に対するＳＨＵＴＴＥＲ動作が完了するので、制御信号ＳＨｙ入力に対する動作を完了する。なお、この一連のタイミング制御を実現させるには、Ｒｏｗラインセレクタはカウンタなどで構成される簡単なパターン発生回路であればよい。
　次に、図９に示すタイミングチャートを参照して、図７に示す１つのＲｏｗラインセレクタ１２４に対して、読み出し処理開始を指示するＲＥＡＤ（読み出し）制御開始を示す制御信号ＲＤｙが入力された場合のＲｏｗラインセレクタ１２４の動作を説明する。
　この図９も、先に説明した図８と同様、ｉ番目のＲｏｗラインセレクタ（ｙｉ）の制御対象となるブロック（画素グループ）である（ｘ１，ｙｉ）～（ｘＮ，ｙｉ）のブロック中の１番左のブロック（画素グループ）（ｘ１）に対するＲＥＡＤ（読み出し）開始制御信号（ＲＤｙ）の入力時の処理例である。
　図９に示すタイミングチャートにおいて、横軸は時間であり、各ラインは上から順に、
　（１）ｙｉ番目のＲｏｗラインセレクタ１２４（図６参照）への制御信号ＲＤｙ、
　（２）Ｃｏｌｕｍｎセレクタ１２０（図３参照）が制御するＲＳＴＲｃ制御信号（上からｃ１番目、ｃ２番目、…、ｃＱ番目、ｃ（Ｑ＋１）番目、…、ｃＷ番目のＣｏｌｕｍｎ）、
　（３）ｙｉ番目のＲｏｗラインセレクタ１２４（図６参照）が担当する、
　（３－１）ｒ１番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
　（３－２）ｒ２番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
　　　…、
　（３－Ｐ）ｒＰ番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
　を示す。
　ここで、
　Ｑはｉ番目のＲｏｗラインセレクタ（ｙｉ）の制御対象となるブロック（画素グループ）である（ｘ１，ｙｉ）～（ｘＮ，ｙｉ）のｘ１番目のブロック（画素グループ）であるブロック（ｘ１，ｙｉ）に属するＣｏｌｕｍｎ数（列数）である。
　Ｗは撮像素子（イメージセンサ）の全Ｃｏｌｕｍｎ数（列数）である。
　Ｐはブロック（ｘ１，ｙｉ）に属するＲｏｗ数（行数）である。
　Ｃｏｌｕｍｎセレクタ１２０は、露光制御入力に関係なく、常に撮像素子１０３のＣｏｌｕｍｎ（列）単位の順次走査を、撮像素子の全てのＣｏｌｕｍｎ（列）：ｃ１～ｃＷについて繰り返す動作をおこなう。すなわち、Ｃｏｌｕｍｎの制御信号ＲＳＴＲｃは、ｃ１～ｃＷまで順次ａｃｔｉｖｅになる周期を繰り返す。ＲＳＴＲｃが１つのＣｏｌｕｍｎでａｃｔｉｖｅ状態を保持する期間が画素制御期間に相当する。
　Ｒｏｗグループセレクタ１２３がブロック（ｘ１，ｙｉ）の画素グループに対して、制御信号ＲＤｙ、すなわちＲＥＡＤ動作の開始の信号を出す場合、ｘ１は１番左の画素グループであるので、制御信号ＲＤｙはＲＳＴＲｃ１に同期してｙｉ番目のＲｏｗラインセレクタ１２４に伝達される。
　制御信号ＲＤｙを受けたｙｉ番目のＲｏｗラインセレクタでは、まず、ｘ１番目のラインセレクタが直ちにａｃｔｉｖｅな状態となり、まずＲＥＡＤ制御信号ジェネレータ１２９をａｃｔｉｖｅにしてＲＥＡＤ制御信号の発生を開始させる。
　さらに各画素に制御信号を伝達するタイミングで、図7に示す各Ｒｏｗ選択スイッチ１３０を制御し、ＲＥＡＤ制御信号が、、制御対象ブロックの各Ｒｏｗ（行）：ｒ１行～ｒＰ行に伝達されるように制御する。
　その結果として、まず、図９（３－１）に示すように、
　ｒ１番目のＲｏｗ（図６に示すｒ1行）に対するＲＥＡＤ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１とＳＬｙｉｒ１の信号）がＱ回、ＲＳＴＲｃ１～ＲＳＴＲｃＱに同期して伝達される。
　これは、制御対象とするブロック、例えば図６に示す左上のブロック（ｘ１，ｙｉ）の第１行（ｒ１行）のＱ個の画素（ｃ１列～ｃＱ列）各々に対応する制御信号である。
　その後ＲＳＴＲｃ（Ｑ＋１）～ＲＳＴＲｃＷの期間は該当するＣｏｌｕｍｎではないので制御信号を発生させない。すなわち、図６に示す左上端のブロック（ｘ１，ｙｉ）の画素グループ内のＣｏｌｕｍｎに対応する処理期間ではないので、図９（３－１）に示すｒ１番目のＲｏｗ（行）への制御信号［＝ＲＥＡＤ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１とＳＬｙｉｒ１の信号）］は発生させない。
　次に、図９（３－２）に示すように、
　ｒ２番目のＲｏｗ（図６に示すｒ２行）に対するＲＥＡＤ制御信号（ＲＳｙｉｒ２とＴＲｙｉｒ２とＳＬｙｉｒ２の信号）がＱ回、ＲＳＴＲｃ１～ＲＳＴＲｃＱに同期して伝達される。
　これは、制御対象とするブロック、例えば図６に示す左上のブロック（ｘ１，ｙｉ）の第２行（ｒ２行）のＱ個の画素（ｃ１列～ｃＱ列）各々に対応する制御信号である。
　その後ＲＳＴＲｃ（Ｑ＋１）～ＲＳＴＲｃＷの期間は該当するＣｏｌｕｍｎではないので制御信号を発生させない。
　以降、図９（３－１）～（３－Ｐ）に示すように、同様の動作をｒＰまで繰り返す。すなわち、図６に示す左上のブロック（ｘ１，ｙｉ）の第Ｐ行（ｒＰ行）まで、同様の処理を行う。これにより、制御対象とするブロック（画素グループ）、例えば図６に示す左上のブロック（ｘ１，ｙｉ）中の全画素に対するＲＥＡＤ動作が完了するので、制御信号ＲＤｙ入力に対する動作を完了する。なお、この一連のタイミング制御を実現させるには、Ｒｏｗラインセレクタはカウンタなどで構成される簡単なパターン発生回路であればよい。
　以上の構成を持つ撮像素子（イメージセンサ）とそれに対するブロック単位の露光制御入力があれば、ブロック毎に異なるシャッターで撮影する動作が可能となる。
　以下、撮像素子（イメージセンサ）１０３の全体の露光制御動作例について説明する。
　　［４．露光制御動作例その１：通常の均一シャッター動作］
　まず露光制御動作例その１として、従来の撮像素子（イメージセンサ）と同様に、撮像素子の撮像面の全面均一な露光期間設定としたシャッター制御撮影が可能であることを説明する。
　なお、説明の簡略化のため、前提として、撮像素子（イメージセンサ）内のブロック（画素グループ）の数を水平方向に３（ｘ１～ｘ３）、垂直方向に３（ｙ１～ｙ３）とし、また各ブロック（画素グループ）は２つのＲｏｗ（ｒ１～ｒ２）を有する構成とする。
　図１０に、通常の全面均一な露光時間の露光制御（シャッター制御）による撮像をおこなう場合のＲｏｗグループセレクタの制御を説明するタイミング図を示す。
　横軸は時間であり、垂直の破線で示す区間は１ブロック（１画素グループ）の幅に相当するＱ個の画素制御期間を示す。すなわちこの区間で画素グループの制御期間が切り替わるので、対応する画素グループ（ｘ１，ｘ２，ｘ３のいずれか）の制御期間であることが解り易いように、図の上部に３種類に塗り分けた領域を設定している。
　（１）黒＝ｘ１
　（２）斜線＝ｘ２
　（３）白＝ｘ３
　これら水平方向に並んだ３つのブロックに対応する。
　図１０に示すタイミング図では、撮像素子のブロックを水平方向３つ、垂直方向３つ、すなわち、ブロック識別子として、
　（ｘ１，ｙ１）、（ｘ２，ｙ１）、（ｘ３，ｙ１）
　（ｘ１，ｙ２）、（ｘ２，ｙ２）、（ｘ３，ｙ２）
　（ｘ１，ｙ３）、（ｘ２，ｙ３）、（ｘ３，ｙ３）
　これらの９つのブロックを制御対象とした例である。
　水平方向のブロック（画素グループ）は３つという前提なので、３区間で１Ｒｏｗ＝全Ｃｏｌｕｍｎ分となる。図の上半分に示す６つのラインは、Ｒｏｗグループセレクタ１２３が各Ｒｏｗラインセレクタ１２４へ出力する制御信号を示している。
　上から順に、
　（ａ１）ｙ１番目のＲｏｗラインセレクタへのＳＨｙ［ＳＨＵＴＴＥＲ（シャッター（露光））開始制御信号］、
　（ａ２）ｙ２番目のＲｏｗラインセレクタへのＳＨｙ［ＳＨＵＴＴＥＲ（シャッター（露光））開始制御信号］、
　（ａ３）ｙ３番目のＲｏｗラインセレクタへのＳＨｙ［ＳＨＵＴＴＥＲ（シャッター（露光））開始制御信号］、
　（ｂ１）ｙ１番目のＲｏｗラインセレクタへのＲＤｙ［ＲＥＡＤ（読み出し）開始制御信号］、
　（ｂ２）ｙ２番目のＲｏｗラインセレクタへのＲＤｙ［ＲＥＡＤ（読み出し）開始制御信号］、
　（ｂ３）ｙ３番目のＲｏｗラインセレクタへのＲＤｙ［ＲＥＡＤ（読み出し）開始制御信号］、
　これらの信号である。
　通常の全面均一なシャッター制御をおこなう場合は（ａ1）～（ａ３）に示すシャッター制御信号ＳＨｙを用いることなく（ｂ１）～（ｂ３）に示す読み出し制御信号ＲＤｙを利用するだけのシーケンスで実現する。
　最初に、図１０（ｂ１）に示すように、ｙ１番目のＲｏｗラインセレクタに対して、ＲＥＡＤ開始制御信号（ＲＤｙ）をｘ１，ｘ２，ｘ３の画素グループ向けに連続して与えた後、１Ｒｏｗ分だけ休止する。
　次に、図１０（ｂ２）に示すように、ｙ２番目のＲｏｗラインセレクタに対して、ＲＥＡＤ開始制御信号（ＲＤｙ）をｘ１，ｘ２，ｘ３の画素グループ向けに連続して与えた後、１Ｒｏｗ分だけ休止する。
　次に、図１０（ｂ３）に示すように、ｙ３番目のＲｏｗラインセレクタに対して、ＲＥＡＤ開始制御信号（ＲＤｙ）をｘ１，ｘ２，ｘ３の画素グループ向けに連続して与えた後、１Ｒｏｗ分だけ休止する。
　以降は同じシーケンスを繰り返す。
　このようなシーケンスで制御をすれば、各Ｒｏｗラインセレクタが先に図９を参照して説明した動作をおこなうので、水平方向に画素順次そして垂直方向にライン順次で画素のＲＥＡＤ動作が行われる。
　その様子を、図１０の下半分の（ｃ）に示す。
　図１０（ｃ）に示す各ラインは、ブロック（画素グループ）をさらにＲｏｗ毎に分割した単位での画素の動作状態を示している。上から、
　ｘ１ｙ１ｒ１：ブロック（ｘ１，ｙ１）の画素グループのｒ１番目のＲｏｗ、
　ｘ２ｙ１ｒ１：ブロック（ｘ２，ｙ１）の画素グループのｒ１番目のＲｏｗ、
　ｘ３ｙ１ｒ１：ブロック（ｘ３，ｙ１）の画素グループのｒ１番目のＲｏｗ、
　ｘ１ｙ１ｒ２：ブロック（ｘ１，ｙ１）の画素グループのｒ２番目のＲｏｗ、
　ｘ２ｙ１ｒ２：ブロック（ｘ２，ｙ１）の画素グループのｒ２番目のＲｏｗ、
　ｘ３ｙ１ｒ２：ブロック（ｘ３，ｙ１）の画素グループのｒ２番目のＲｏｗ、
　ｘ１ｙ２ｒ１：ブロック（ｘ１，ｙ２）の画素グループのｒ１番目のＲｏｗ、
　　　：
　ｘ１ｙ３ｒ２：ブロック（ｘ１，ｙ３）の画素グループのｒ２番目のＲｏｗ、
　ｘ２ｙ３ｒ２：ブロック（ｘ２，ｙ３）の画素グループのｒ２番目のＲｏｗ、
　ｘ３ｙ３ｒ２：ブロック（ｘ３，ｙ３）の画素グループのｒ２番目のＲｏｗ、
　このように、Ｒｏｗ毎に分割した単位での画素の動作状態を示している。
　［実線区間］はＲＥＡＤ動作（読み出し）をおこなう期間であることを示す。
　［破線区間］は露光期間中であることを示す。
　先に図５（ｂ）を参照して説明したように画素のＲＥＡＤ動作はフォトダイオードＰＤの電荷のリセットも兼ねているので、ＲＥＡＤ動作終了時点で、そのまま次の露光期間に入ることができる。
　例えば、（ｃ）に示す最上段の（ｘ１ｙ１ｒ１）は、ブロック（ｘ１，ｙ１）の第１行（ｒ１）の露光処理（ＳＨＵＴＴＥＲ）と読み出し処理（ＲＥＡＤ）のシーケンスを示している。
　（ｃ）に示す最上段の（ｘ１ｙ１ｒ１）の最初の実線区間で規定される読み出し処理（ＲＥＡＤ）は、（ｂ１）に示す読み取り開始（ＲＤｙ１）信号（ｓ１）に応じて実行される。この信号（ｓ１）に基づいて、図５（ｂ）に示す信号パターンがブロック（ｘ１，ｙ１）の第１行（ｒ１）の画素に提供され、信号読み取りが実行される。
　この信号読み取りが終了すると、露光処理（ＳＨＵＴＴＥＲ）が開始される。図に示す破線区間である。次に、さらに、（ｂ１）に示す読み取り開始（ＲＤｙ１）信号（ｓ２）に応じて、露光処理機関に蓄積された電荷が画素信号として読み出される。
　図１０（ｃ）に示すように、全ての行ｘ１ｙ１ｒ１～ｘ３ｙ３ｒ２において、露光期間を示す波線区間は、すべて同じ期間になる。すなわち、先行するＲＥＡＤ動作から次のＲＥＡＤ動作までとして設定される露光期間は全ての画素で同じに設定されるため、全画素が同じ露光期間（シャッター期間）で露光されるようになる。
　　［５．露光制御動作例その２：画素グループ毎に異なるシャッター動作］
　次に、露光制御動作例その２として、ブロック（画素グループ）単位で異なる露光期間（シャッター期間）を設定した撮影が可能であることを説明する。
　図１０を参照して説明した通常の全面均一なシャッターによる撮像例と同様、前提として、撮像素子（イメージセンサ）内の画素グループの数を水平方向に３（ｘ１～ｘ３）、垂直方向に３（ｙ１～ｙ３）とし、また各ブロック（画素グループ）は２つのＲｏｗ（ｒ１～ｒ２）を有する構成とする。
　図１１に、画素グループ毎に異なる露光時間とした露光制御（シャッター制御）による撮像をおこなう場合のＲｏｗグループセレクタの制御を説明するタイミング図を示す。
　横軸は時間であり、垂直の破線で示す区間は１ブロック（１画素グループ）の幅に相当するＱ個の画素制御期間を示す。すなわちこの区間で画素グループの制御期間が切り替わるので、対応する画素グループ（ｘ１，ｘ２，ｘ３のいずれか）の制御期間であることが解り易いように、図の上部に３種類に塗り分けた領域を設定している。
　（１）黒＝ｘ１
　（２）斜線＝ｘ２
　（３）白＝ｘ３
　これら水平方向に並んだ３つのブロックに対応する。
　図１１に示すタイミング図では、撮像素子のブロックを水平方向３つ、垂直方向３つ、すなわち、ブロック識別子として、
　（ｘ１，ｙ１）、（ｘ２，ｙ１）、（ｘ３，ｙ１）
　（ｘ１，ｙ２）、（ｘ２，ｙ２）、（ｘ３，ｙ２）
　（ｘ１，ｙ３）、（ｘ２，ｙ３）、（ｘ３，ｙ３）
　これらの９つのブロックを制御対象とした例である。
　水平方向のブロック（画素グループ）は３つという前提なので、３区間で１Ｒｏｗ＝全Ｃｏｌｕｍｎ分となる。図の上半分に示す６つのラインは、Ｒｏｗグループセレクタ１２３が各Ｒｏｗラインセレクタ１２４へ出力する制御信号を示している。
　上から順に、
　（ａ１）ｙ１番目のＲｏｗラインセレクタへのＳＨｙ［ＳＨＵＴＴＥＲ（シャッター（露光））開始制御信号］、
　（ａ２）ｙ２番目のＲｏｗラインセレクタへのＳＨｙ［ＳＨＵＴＴＥＲ（シャッター（露光））開始制御信号］、
　（ａ３）ｙ３番目のＲｏｗラインセレクタへのＳＨｙ［ＳＨＵＴＴＥＲ（シャッター（露光））開始制御信号］、
　（ｂ１）ｙ１番目のＲｏｗラインセレクタへのＲＤｙ［ＲＥＡＤ（読み出し）開始制御信号］、
　（ｂ２）ｙ２番目のＲｏｗラインセレクタへのＲＤｙ［ＲＥＡＤ（読み出し）開始制御信号］、
　（ｂ３）ｙ３番目のＲｏｗラインセレクタへのＲＤｙ［ＲＥＡＤ（読み出し）開始制御信号］、
　これらの信号である。
　ブロック（画素グループ）毎に異なる露光時間とする露光制御（シャッター制御）による撮像は、全面均一なシャッター制御の場合と同様の全画素グループに等しい間隔の（ｂ１）～（ｂ３）に示す読み出し制御信号ＲＤｙを与えるシーケンスに加えて、画素グループ毎に異なるタイミングで、（ａ1）～（ａ３）に示すシャッター制御信号ＳＨｙを与えるシーケンスを加えることで実現する。
　（ａ1）～（ａ３）に示すシャッター制御信号ＳＨｙは、制御信号ＲＤｙが与えられてから同じ画素グループに対して次の制御信号ＲＤｙが与えられる期間のどこかで、そのブロック（画素グループ）に対応する制御期間に同期して与えることができる。図１１に示す例においては、垂直方向のブロック（画素グループ）の分割数が３であり、１画素グループが２Ｒｏｗを含むので、制御信号ＲＤｙから次の制御信号ＲＤｙまでの間隔は６Ｒｏｗ期間であり、１Ｒｏｗ期間に１回の対応する画素グループ制御期間があるので、制御信号ＳＨｙを与える機会は５回ある（露光期間（シャッター）の長さのバリエーションは６だが、そのうち１回は制御信号ＲＤｙのタイミングと重なるので制御信号ＳＨｙを与える必要がない）。すなわちシャッター時間設定は、１フレーム期間を撮像素子（イメージセンサ）のＲｏｗ数で分割しただけの分解能を持ち、各画素グループはその分解能の範囲で、入力される露光制御値に基づいたシャッター時間を選択することができる。
　各Ｒｏｗラインセレクタにシャッター制御信号ＳＨｙが与えられると、図８を参照して説明した動作によって、そのＲｏｗラインセレクタが担当する画素で露光処理としてのＳＨＵＴＴＥＲ動作がおこなわれ、画素に蓄積した電荷がリセットされるので、その時点から新たな露光期間が開始されるようになる。
　図１１の上半分に示した（ａ）制御信号ＳＨｙと、（ｂ）ＲＤｙを与えたときの各画素の動作状態を同図の下半分の（ｃ）に示す。
　図１１（ｃ）に示す各ラインは、ブロック（画素グループ）をさらにＲｏｗ毎に分割した単位での画素の動作状態を示している。上から、
　ｘ１ｙ１ｒ１：ブロック（ｘ１，ｙ１）の画素グループのｒ１番目のＲｏｗ、
　ｘ２ｙ１ｒ１：ブロック（ｘ２，ｙ１）の画素グループのｒ１番目のＲｏｗ、
　ｘ３ｙ１ｒ１：ブロック（ｘ３，ｙ１）の画素グループのｒ１番目のＲｏｗ、
　ｘ１ｙ１ｒ２：ブロック（ｘ１，ｙ１）の画素グループのｒ２番目のＲｏｗ、
　ｘ２ｙ１ｒ２：ブロック（ｘ２，ｙ１）の画素グループのｒ２番目のＲｏｗ、
　ｘ３ｙ１ｒ２：ブロック（ｘ３，ｙ１）の画素グループのｒ２番目のＲｏｗ、
　ｘ１ｙ２ｒ１：ブロック（ｘ１，ｙ２）の画素グループのｒ１番目のＲｏｗ、
　　　：
　ｘ１ｙ３ｒ２：ブロック（ｘ１，ｙ３）の画素グループのｒ２番目のＲｏｗ、
　ｘ２ｙ３ｒ２：ブロック（ｘ２，ｙ３）の画素グループのｒ２番目のＲｏｗ、
　ｘ３ｙ３ｒ２：ブロック（ｘ３，ｙ３）の画素グループのｒ２番目のＲｏｗ、
　このように、Ｒｏｗ毎に分割した単位での画素の動作状態を示している。
　実線区間はＲＥＡＤ動作（読み出し）をおこなう期間であることを示している。
　破線区間は露光期間中であることを示す。
　均一露光処理例として説明した図１０とは異なり、制御信号ＳＨｙによって露光期間がリセットされるので、画素グループ毎に異なる長さの露光期間（＝破線区間）によって撮像される。
　しかし、図８で説明した、制御信号ＳＨｙに対するＲｏｗラインセレクタの動作によって、同じ画素グループ内の画素は異なるＲｏｗであっても同じ露光時間になるように制御される。
　例えば、（ｃ）に示す最上段の（ｘ１ｙ１ｒ１）は、ブロック（ｘ１，ｙ１）の第１行（ｒ１）の露光処理（ＳＨＵＴＴＥＲ）と読み出し処理（ＲＥＡＤ）のシーケンスを示している。
　（ｃ）に示す最上段の（ｘ１ｙ１ｒ１）の最初の実線区間で規定される読み出し処理（ＲＥＡＤ）は、（ｂ１）に示す読み取り開始（ＲＤｙ１）信号（ｓ１）に応じて実行される。この信号（ｓ１）に基づいて、図５（ｂ）に示す信号パターンがブロック（ｘ１，ｙ１）の第１行（ｒ１）の画素に提供され、信号読み取りが実行される。
　図１１に示す例では、均一露光処理例として説明した図１０とは異なり、制御信号ＳＨｙによって露光期間がリセットされ、このリセット後に、次の露光期間が開始する。
　（ｃ）に示す最上段の（ｘ１ｙ１ｒ１）は、（ａ１）制御信号ＳＨｙの入力信号（ｓ２）に応じて、露光処理が開始される。（ｃ）に示す最上段の（ｘ１ｙ１ｒ１）の露光期間は、この（ｓ２）位置から、次の（ｂ１）に示す読み取り開始（ＲＤｙ１）信号（ｓ３）の位置までの期間に制御される。
　このように、露光（ＳＨＵＴＴＥＲ）制御信号と読み取り（ＲＥＡＤ）制御信号を各ブロック単位で設定することで、ブロック単位の任意の露光期間の設定を可能としている。
　図１１に示す制御の結果、撮像面全体では図１２に示されるような露光時間（シャッター時間）に制御される。図１２に示す９つのブロックは、水平方向をｘ、垂直方向をｙとして、左上端のブロックをブロック（ｘ１，ｙ１）、右下端のブロックをブロック（ｘ３，ｙ３）として、ブロック（ｘ１，ｙ１）～（ｘ３，ｙ３）の９つのブロック（画素グループ）を示している。
　各ブロック内の数値１～４は、露光期間（シャッター時間）の相対的な値を示している。数値４の設定されたブロックは、数値１の設定されたブロックの４倍の露光期間が設定されていることを示している。
　本実施例の制御機構を用いることで、この図１２に示すようにブロック（画素グループ）毎に異なる露光期間としたシャッター制御をおこなっても、各画素からの信号読み出しはセンサの左上から等しい時間間隔で順次おこなわれるので、１フレーム分の画像データをそろえるのに外部にフレームメモリやディレイラインなどを設ける必要はない。すなわち、蓄積電荷の読み出し処理は、図１１に示すライン２０１ａ，２０１ｂに沿って実行され、従来の読み出し処理シーケンスと同様に実行されることになり、読み出し処理のための新たなメモリ等の構成は必要とならない。
　　［６．第２の実施例：カラムＡＤＣとの共存］
　ここまで、複数画素からなるブロック（画素グループ）毎に異なる露光期間を設定する露光期間制御（シャッター制御）を行って画像撮影を実行する撮像素子（イメージセンサ）について、画素順次読み出しをおこなう撮像素子（イメージセンサ）を例として説明した。
　撮像素子（イメージセンサ）の各画素の蓄積電荷の読み出し処理は、上述したような画素順次読み出し構成の他、画素から並列に信号を読み出すカラムＡＤＣ構成がある。本発明の露光制御構成は、このカラムＡＤＣの読み出し構成にも適用可能である。
　以下、この構成例について説明する。なお、本実施例においても、撮像装置の全体構成は、先に説明した実施例と同様、図１の構成が適用可能である。
　撮像素子（イメージセンサ）１０３の構成と処理が異なってくる。
　図１３は、カラムＡＤＣを用いた撮像素子（イメージセンサ）の構成を説明する図である。図中の小さな正方形の各々が、撮像面に２次元格子状に配置された画素を表す。すなわち光電変換素子としての画素を表す。各画素は、水平方向に延びる３種類の制御線を介して制御信号ＲＳｒ，ＴＲｒ，ＳＬｒと垂直方向に延びる１種類の制御線を介して制御信号ＲＳＴＲｃを入力するように接続される。
　また、垂直方向に延びる信号線を介して画素信号ＳＩＧｃを出力するようになっている。
　水平方向の３種類の制御信号（ＲＳｒ，ＴＲｒ，ＳＬｒ）を伝送する制御線は全てＲｏｗセレクタ（行セレクタ）１３２に接続し、Ｒｏｗセレクタ１３２から制御信号が各画素に向けて伝達される。
　また垂直方向の制御線は全てＣｏｌｕｍｎセレクタ（列セレクタ）１３３に接続し、Ｃｏｌｕｍｎセレクタ１３３から制御信号が各画素に向けて伝達される。
　Ｒｏｗセレクタ１３２およびＣｏｌｕｍセレクタ１３３は、タイミングジェネレータ（ＴＧ）１３１に接続し、タイミングジェネレータ（ＴＧ）１３１は撮像素子（イメージセンサ）１０３外からの露光制御信号の入力を受け付けるようになっている。
　ここで外部から入力する露光制御信号とは、図２を参照して説明した露光制御値１１６、すなわち、ブロック単位の露光制御値である。
　タイミングジェネレータ（ＴＧ）１３１は、ブロック単位の露光制御値をブロック単位のシャッター制御のタイミング情報に変換し、それをＲｏｗセレクタ１３２およびＣｏｌｕｍセレクタ１３３に伝達する。Ｒｏｗセレクタ１３２およびＣｏｌｕｍセレクタ１３３はそれを受けてＲｏｗ毎およびＣｏｌｕｍｎ毎の制御信号を発生させて、制御信号ＲＳｒ，ＴＲｒ，ＳＬｒおよびＲＳＴＲｃを各画素に伝達する。
　各画素から出力される出力画素信号ＳＩＧｃは、第１の実施例とは異なり、複数のＣｏｌｕｍｎで並列に動作するカラムＡＤＣ１３４に接続され、画素からの信号はカラムＡＤＣ１３４に取り込まれるようになっている。本実施例では、各画素から出力される出力画素信号ＳＩＧｃは、ブロック（画素グループ）単位で並列に読みだされ、カラムＡＤＣ１３４内に信号が保持される。
　カラムＡＤＣ１３４は１Ｒｏｗ分の信号がそろった時に並列にＡ－Ｄ変換動作をおこない、１Ｒｏｗ分のアナログの画素信号をデジタル値に変換する。
　デジタル化された画素信号は、Ｃｏｌｕｍｎ選択制御信号ＳＬｃの制御によって、順次撮像素子（イメージセンサ）から出力される。
　なお、この第２の実施例においても、撮像素子（イメージセンサ）内の１つの画素の構成としては、図４を参照して説明した構成と同じ画素構成が利用できる。同様に、図５を参照して説明した２つの画素動作実行用の信号パターン、すなわち、
　（ａ）露光処理「ＳＨＵＴＴＥＲ（シャッター）」に基づく電荷蓄積処理
　（ｂ）読み出し処理「ＲＥＡＤ（リード）」に基づく蓄積電荷出力処理
　これら２つの処理のための信号パターンも同様のパターンの利用が可能である。
　さらに、Ｒｏｗセレクタの階層的な内部構成およびＲｏｗラインセレクタの構成についても、先に図６と図７を参照して説明した構成が利用できる。
　ただし、Ｃｏｌｕｍｎセレクタに関しては、このカラムＡＤＣを利用した第２実施例では、先に説明した実施例１とは異なる構成となるので以下に説明する。
　第２の実施例ではカラムＡＤＣによって複数の画素の画素信号（蓄積電荷）を並列に読みだすことが可能になる。そこで第２の実施例のＣｏｌｕｍｎセレクタは図１４に示すような階層構造とすることによって、画素グループ毎に複数の画素を同時に制御できるようにする。
　図１４に示すように、本実施例のＣｏｌｕｍｎセレクタ１３３の内部構成は、ブロック（画素グループ）単位の制御信号を生成するＣｏｌｕｍｎグループセレクタ１３５と、ブロック（画素グループ）単位の制御信号を受けてブロック（画素グループ）］内の制御信号を生成する複数のＣｏｌｕｍｎラインセレクタ１３６との階層構造となっている。
　Ｃｏｌｕｍｎグループセレクタ１３５は、制御信号ＳＬｘによって、各Ｃｏｌｕｍｎラインセレクタ１３６に対してブロック（画素グループ）単位の制御期間の開始を伝達する。Ｃｏｌｕｍｎラインセレクタ１３６は、Ｃｏｌｕｍｎグループセレクタ１３５からの制御信号ＳＬｘを受けて、担当する画素グループの全Ｃｏｌｕｍｎに向けて並列に制御信号ＲＳＴＲｃを伝達する。
　ちなみに、Ｃｏｌｕｍｎラインセレクタ１３６の動作は単純で、Ｃｏｌｕｍｎグループセレクタ１３５からの制御信号ＳＬｘを画素へ伝達する制御信号ＲＳＴＲｃに変換し、複数Ｃｏｌｕｍｎに並列に伝達するだけである。
　図１５に、図１３のＲｏｗセレクタ１３２内部の１つのＲｏｗラインセレクタに対して、露光処理開始を指示するＳＨＵＴＴＥＲ（シャッター）制御開始を示す制御信号ＳＨｙが入力された場合のＲｏｗラインセレクタの動作を説明するタイミング図を示す。
　なお、前述したように、本実施例２におけるＲｏｗセレクタ１３２の構成は、先に説明した実施例１と同様の構成であり、図６、図７を参照して説明した構成を持つ。
　この図１５は、ｉ番目のＲｏｗラインセレクタ（ｙｉ）の制御対象となるブロック（画素グループ）である（ｘ１，ｙｉ）～（ｘＮ，ｙｉ）のブロック中の１番左のブロック（画素グループ）（ｘ１）に対するＳＨＵＴＴＥＲ（シャッター）開始制御信号（ＳＨｙ）の入力時の処理例である。
　図１５に示すタイミングチャートにおいて、横軸は時間であり、各ラインは上から順に、
　（１）ｙｉ番目のＲｏｗラインセレクタ（図１３、図６参照）への制御信号ＳＨｙ、
　（２）Ｃｏｌｕｍｎセレクタ１３３（図１３参照）が制御するＳＬｘ制御信号（上からｘ１番目、ｘ２番目、…、ｘ（Ｎ－１）番目、ｘＮ番目のブロック（画素グループ））、
　（３）Ｃｏｌｕｍｎセレクタ１３３（図１３参照）が制御するＲＳＴＲｃ制御信号（上からｘ１番目、ｘ２番目、…、ｘ（Ｎ－１）番目、ｘＮ番目のブロック（画素グループ））、
　（４）ｙｉ番目のＲｏｗラインセレクタ１２４（図６参照）が担当する、
　（４－１）ｒ１番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
　（４－２）ｒ２番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
　　　…、
　（４－Ｐ）ｒＰ番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
　を示す。
　ここで、
　Ｎは水平方向のブロック（画素グループ）数である。
　Ｐは（ｘ１，ｙｉ）に属するＲｏｗ数（行数）である。
　Ｃｏｌｕｍｎセレクタ１３３は、露光制御入力に関係なく、常にブロック（画素グループ）単位の順次走査を繰り返す動作をおこなう。Ｃｏｌｕｍｎグループセレクタの制御信号ＳＬｘは水平方向の画素グループ、すなわちブロック（ｘ１，ｙｉ）～（ｘＮ，ｙｉ）まで順次ａｃｔｉｖｅになる周期を繰り返す。Ｃｏｌｕｍｎラインセレクタの制御信号ＲＳＴＲｘはその制御信号ＳＬｘに同期し、水平方向の画素グループ、すなわちブロック（ｘ１，ｙｉ）～（ｘＮ，ｙｉ）まで順次ａｃｔｉｖｅになる周期を繰り返す。
　図１５（３）に示すＲＳＴＲｘがａｃｔｉｖｅ状態を保持する期間は各ブロック（画素グループ）の制御期間であり、並列におこなわれる複数の画素の制御期間にも相当する。Ｒｏｗグループセレクタがｘ１ｙｉ番目の画素グループに対してＳＨｙすなわちＳＨＵＴＴＥＲ動作の開始の信号を出す場合、ｘ１は１番左の画素グループであるので、制御信号ＳＨｙはＲＳＴＲｘ１に同期してｙｉ番目のＲｏｗラインセレクタに伝達される。
　制御信号ＳＨｙを受けたｙｉ番目のＲｏｗラインセレクタでは、まず、ｘ１番目のラインセレクタが直ちにａｃｔｉｖｅな状態となり、まずＳＨＵＴＴＥＲ制御信号ジェネレータ（図７参照）をａｃｔｉｖｅにしてＳＨＵＴＴＥＲ制御信号の発生を開始させる。
　さらに各画素に制御信号を伝達するタイミングで、図７に示す各Ｒｏｗ選択スイッチ１３０を制御し、ＳＨＵＴＴＥＲ制御信号が、制御対象ブロックの各Ｒｏｗ（行）：ｒ１行～ｒＰ行に伝達されるように制御する。
　その結果として、まず、図１５（４－１）に示すように、
　ｒ１番目のＲｏｗ（例えば図６に示すｒ1行）に対するＳＨＵＴＴＥＲ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１の信号）が１回、ＲＳＴＲｘ１に同期して伝達される。
　その後、ＲＳＴＲｘ２～ＲＳＴＲｘＮの期間は該当するＣｏｌｕｍｎではないので制御信号を発生させない。すなわち、図６に示す左上端のブロック（ｘ１，ｙｉ）に対応する処理期間ではないので、図１５（４－１）に示すｒ１番目のＲｏｗ（行）への制御信号［＝ＳＨＵＴＴＥＲ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１の信号）］は発生させない。
　次に、図１５（４－２）に示すように、
　ｒ２番目のＲｏｗ（例えば図６に示すｒ２行）に対するＳＨＵＴＴＥＲ制御信号（ＲＳｙｉｒ２とＴＲｙｉｒ２の信号）が１回、ＲＳＴＲｘ１に同期して伝達される。
　その後ＲＳＴＲｃ２～ＲＳＴＲｘＮの期間は該当するＣｏｌｕｍｎではないので制御信号を休止する。
　以降、図１５（４－１）～（４－Ｐ）に示すように、同様の動作をｒＰまで繰り返す。すなわち、例えば、図６に示す左上のブロック（ｘ１，ｙｉ）の第Ｐ行（ｒＰ行）まで、同様の処理を行う。これにより、制御対象とするブロック（画素グループ）、例えば図６に示す左上のブロック（ｘ１，ｙｉ）中の全画素に対するＳＨＵＴＴＥＲ動作が完了するので、制御信号ＳＨｙ入力に対する動作を完了する。なお、この一連のタイミング制御を実現させるには、Ｒｏｗラインセレクタはカウンタなどで構成される簡単なパターン発生回路であればよい。
　次に、図１３のＲｏｗセレクタ１３２内部の１つのＲｏｗラインセレクタに対して、読み出し処理開始を指示するＲＥＡＤ（読み出し）制御開始を示す制御信号ＲＤｙが入力された場合のＲｏｗラインセレクタの動作について、図１６に示すタイミング図を参照して説明する。
　なお、前述したように、本実施例２におけるＲｏｗセレクタ１３２の構成は、先に説明した実施例１と同様の構成であり、図６、図７を参照して説明した構成を持つ。
　この図１６も、先に説明した図１５と同様、ｉ番目のＲｏｗラインセレクタ（ｙｉ）の制御対象となるブロック（画素グループ）である（ｘ１，ｙｉ）～（ｘＮ，ｙｉ）のブロック中の１番左のブロック（画素グループ）（ｘ１）に対するＲＥＡＤ（読み出し）開始制御信号（ＲＤｙ）の入力時の処理例である。
　図１６に示すタイミングチャートにおいて、横軸は時間であり、各ラインは上から順に、
　（１）ｙｉ番目のＲｏｗラインセレクタ１２４（図１３、図６参照）への制御信号ＲＤｙ、
　（２）Ｃｏｌｕｍｎセレクタ１３３（図１３参照）が制御するＳＬｘ制御信号（上からｘ１番目、ｘ２番目、…、ｘ（Ｎ－１）番目、ｘＮ番目のブロック（画素グループ））、
　（３）Ｃｏｌｕｍｎセレクタ１３３（図１３参照）が制御するＲＳＴＲｃ制御信号（上からｘ１番目、ｘ２番目、…、ｘ（Ｎ－１）番目、ｘＮ番目のブロック（画素グループ））、
　（４）ｙｉ番目のＲｏｗラインセレクタ１２４（図６参照）が担当する、
　（４－１）ｒ１番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
　（４－２）ｒ２番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
　　　…、
　（４－Ｐ）ｒＰ番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
　を示す。
　ここで、
　Ｎは水平方向のブロック（画素グループ）数である。
　Ｐは（ｘ１，ｙｉ）に属するＲｏｗ数（行数）である。
　Ｃｏｌｕｍｎセレクタ１３３は、露光制御入力に関係なく、常に撮像素子のブロック（画素グループ）単位の順次走査を繰り返す動作をおこなう。Ｃｏｌｕｍｎグループセレクタの制御信号ＳＬｘは水平方向の画素グループ、すなわちブロック（ｘ１，ｙｉ）～（ｘＮ，ｙｉ）まで順次ａｃｔｉｖｅになる周期を繰り返す。Ｃｏｌｕｍｎラインセレクタの制御信号ＲＳＴＲｘはその制御信号ＳＬｘに同期し、水平方向の画素グループ、すなわちブロック（ｘ１，ｙｉ）～（ｘＮ，ｙｉ）まで順次ａｃｔｉｖｅになる周期を繰り返す。
　図１６（３）に示すＲＳＴＲｘがａｃｔｉｖｅ状態を保持する期間は各ブロック（画素グループ）の制御期間であり、並列におこなわれる複数の画素の制御期間にも相当する。Ｒｏｗグループセレクタがｘ１ｙｉ番目の画素グループに対してＲＤｙすなわちＲＥＡＤ動作の開始の信号を出す場合、ｘ１は１番左の画素グループであるので、制御信号ＲＤｙはＲＳＴＲｘ１に同期してｙｉ番目のＲｏｗラインセレクタに伝達される。
　制御信号ＳＨｙを受けたｙｉ番目のＲｏｗラインセレクタでは、まず、ｘ１番目のラインセレクタが直ちにａｃｔｉｖｅな状態となり、まずＲＥＡＤ制御信号ジェネレータ（図７参照）をａｃｔｉｖｅにしてＲＥＡＤ制御信号の発生を開始させる。
　さらに図７に示す各Ｒｏｗ選択スイッチ１３０を制御し、ＲＥＡＤ制御信号が、制御対象ブロックの各Ｒｏｗ（行）：ｒ１行～ｒＰ行に伝達されるように制御する。
　その結果として、まず、図１６（４－１）に示すように、
　ｒ１番目のＲｏｗ（例えば図６に示すｒ1行）に対するＲＥＡＤ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１とＳＬｙｉｒ１の信号）が１回、ＲＳＴＲｘ１に同期して伝達される。
　その後、ＲＳＴＲｘ２～ＲＳＴＲｘＮの期間は該当するＣｏｌｕｍｎではないので制御信号を発生させない。
　次に、図１６（４－２）に示すように、
　ｒ２番目のＲｏｗ（例えば図６に示すｒ２行）に対するＲＥＡＤ制御信号（ＲＳｙｉｒ２とＴＲｙｉｒ２とＳＬｙｉｒ２の信号）が１回、ＲＳＴＲｘ１に同期して伝達される。その後ＲＳＴＲｃ２～ＲＳＴＲｘＮの期間は該当するＣｏｌｕｍｎではないので制御信号を休止する。
　以降、図１６（４－１）～（４－Ｐ）に示すように、同様の動作をｒＰまで繰り返す。すなわち、例えば、図６に示す左上のブロック（ｘ１，ｙｉ）の第Ｐ行（ｒＰ行）まで、同様の処理を行う。これにより、制御対象とするブロック（画素グループ）、例えば図６に示す左上のブロック（ｘ１，ｙｉ）中の全画素に対するＲＥＡＤ動作が完了するので、制御信号ＲＤｙ入力に対する動作を完了する。なお、この一連のタイミング制御を実現させるには、Ｒｏｗラインセレクタはカウンタなどで構成される簡単なパターン発生回路であればよい。
　以上に説明した第２の実施例の構成を用いれば、本発明はカラムＡＤＣとの共存も可能となる。なお、撮像素子（イメージセンサ）全体の露光制御動作に関しては、第１の実施例で説明した図１０と図１１の動作と同様であるので、説明を省略する。
　　［７．第３の実施例：画素グループの設定構成と画素グループ位置のオーバーラップ構成について］
　上述した実施例では、撮像素子に含まれる多数の画素について、矩形上のブロック（画素グループ）を設定して、矩形上のブロック（画素グループ）単位での露光期間制御を行う例について説明した。
　しかし、露光期間の制御は、このような矩形上なブロック単位とすることは必須ではない。例えば、Ｒｏｗラインセレクタが算出する制御タイミングをあえてずらしたり、間隔を変えたりすることによって、水平方向あるいは垂直方向に１画素～数画素間隔をあけたストライプ状の画素グループを形成したり、矩形でなく斜めにひしゃげた平行四辺形状の画素グループを形成し、これらの様々な形状を持つ画素グループ単位での露光期間設定を行うことが可能である。
　また、１つの画素が複数の画素グループに属して異なる制御を受けることはできないが、上記のようにストライプ状など間隔をおいた画素グループ形状を利用することによって、複数の画素グループが撮像面上でその範囲を互いにオーバーラップするように形成することも可能である。その簡単な例について図１７を参照して具体的に説明する。
　図１７は、互いに領域がオーバーラップするブロック（画素グループ）を形成するＲｏｗセレクタの階層構造を説明する図である。Ｒｏｗセレクタ１３７が、画素グループ単位の制御信号を配するＲｏｗグループセレクタ１３８と、Ｒｏｗグループセレクタ１３８からの制御信号に基づいて、各画素グループに対応し、各Ｒｏｗへの制御信号を配する複数のＲｏｗラインセレクタ１３９，１４０による階層構造をなすことに関しては、先に図６を参照して説明した第１および第２の実施例のＲｏｗセレクタと同じである。
　図１７に示す撮像素子の特徴は、１つのＲｏｗラインセレクタは制御するＲｏｗが１Ｒｏｗおきであることである。
　例えばＲｏｗラインセレクタ１３９は、１つおきのＲｏｗの画素領域（ａ－ｒ１）、（ａ－ｒ２）、（ａ－ｒ３）・・の各画素に対して制御線を延ばし、これらの画素の制御を実行する。
　また、Ｒｏｗラインセレクタ１４０は、１つおきのＲｏｗの画素領域（ｂ－ｒ１）、（ｂ－ｒ２）、（ｂ－ｒ３）・・の各画素に対して制御線を延ばし、これらの画素の制御を実行する。
　互いに担当する画素が交互になることによって、巨視的にみればこの領域は、Ｒｏｗラインセレクタ１３９によるシャッターとＲｏｗラインセレクタ１４０によるシャッターの２種類の露光制御が可能になる。
　１つの領域で複数のシャッターが可能になるということは、例えば明るい被写体と暗い被写体が同一領域に混在するような画像において有効な露光制御が実現される。
　まったく同様の手法で、Ｃｏｌｕｍｎを分割して画素グループを互いにオーバーラップさせることも可能である。
　この場合は、図１８に示すように、Ｃｏｌｕｍｎセレクタ１４１の構造を変更し、Ｃｏｌｕｍｎグループセレクタ１４２と、複数のＣｏｌｕｍｎラインセレクタを設ける。例えば図中のＣｏｌｕｍｎラインセレクタ１４３と、Ｃｏｌｕｍｎラインセレクタ１４４が１各列（Ｃｏｌｕｍｎ）おきに制御するようにして、制御するＣｏｌｕｍｎを交互にするような構造をとればよい。
　例えばＣｏｌｕｍｎラインセレクタ１４３は、１つおきのＣｏｌｕｍｎの画素領域（ａ－ｃ１）、（ａ－ｃ２）、（ａ－ｃ３）・・の各画素に対して制御線を延ばし、これらの画素の制御を実行する。
　また、Ｃｏｌｕｍｎラインセレクタ１４４は、１つおきのＣｏｌｕｍｎの画素領域（ｂ－ｃ１）、（ｂ－ｃ２）、（ｂ－ｃ３）・・の各画素に対して制御線を延ばし、これらの画素の制御を実行する。
　このような設定とすることも可能である。
　　［８．本発明の構成と効果のまとめ］
　上述した複数の実施例において説明したように、本発明の撮像装置では、画素毎でなく、撮像面内で互いに近い位置にある複数の画素で構成されるブロック（画素グループ）毎に露光期間を設定した露光制御をおこなう。この構成により撮像素子（イメージセンサ）内部の制御回路を過度に大規模にすることなく、領域毎の適応的な露光制御を実現することができる。
　また、画素グループに対応した数の露光制御値を受け付ける入力Ｉ／Ｆを設けることで、露光制御値入力の帯域も低く抑えられ、その算出も小規模な演算で実現できる。また、露光制御値を画素制御信号に変換する機構を階層構造とし、画素グループへの制御信号を生成する手段と、画素グループ内の画素への制御信号を生成する手段を分離した構成としている。画素グループへの制御信号はシーン依存であり制御信号時系列の様相は大きく変化するが低帯域で小データ量である特徴があり、一方、画素グループ内の制御信号は高帯域で高データ量であるがその時系列は定型的に作ることができる。このように制御信号の生成手段を階層的に分割することで実装が容易になる。
　また、本発明は、複数のＲｏｗにわたっていても、同一の画素グループに属する画素の露光時間を同一にするための制御機構を実現している。さらに、画素信号の読み出しについては、従来のローリングシャッター制御と同様にＲｏｗ順次で読みだす制御機構を実現する。従来技術の画素毎の制御機構をそのまま画素グループに応用しても、画素グループ内の画素が全て同期して動作するために、信号読み出しは不均一レートとなり、センサ外部にデータバッファを持って並び替え処理をおこなわないと後段のパイプライン処理にデータを流せないという問題が発生する。本発明の制御機構によれば、画素信号の読みだしは常に一定であり、データ並び替えも必要がない。
　また、本発明は、例えば矩形状をなすブロック（画素グループ）に対して自由な露光制御をおこなう機構を実現する。その仕組みは、複数の矩形の集合である領域に対しても拡張可能であり、それにより、実質的に領域のオーバーラップを可能にする。これにより、１つの領域を複数の露光時間で撮影することも可能であり、あらゆるシーンに対応可能な、実用性の高い露光制御機構を実現できる
　以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本発明の一実施例の構成によれば、撮像素子の撮像面の複数の画素を分割した画素グループ単位で異なる露光制御を実行する構成が実現される。
　複数画素から構成される画素グループ単位の輝度評価を実行し、評価結果に応じて、画素グループ単位の露光制御値を算出する。撮像素子は、算出された画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する。制御信号として、例えば画素グループ内の複数画素に対して同一パターンからなる露光制御信号を時系列に順次、出力し、１つの画素グループに属する複数画素の露光時間を同一としたグループ単位の露光制御を実現する。
　１０１　レンズ
　１０２　絞り
　１０３　撮像素子（イメージセンサ）
　１０４　ＤＳＰブロック
　１０５　ＬＣＤドライバ
　１０６　ＬＣＤ
　１０７　ＣＯＤＥＣ
　１０８　メモリ
　１０９　ＣＰＵ
　１１０　入力デバイス
　１１１　露光補償乗算器
　１１２　信号処理部
　１１３　ブロック輝度評価値
　１１５　露光制御値算出部
　１１８　タイミングジェネレータ（ＴＧ）
　１１９　Ｒｏｗセレクタ
　１２０　Ｃｏｌｕｍｎセレクタ
　１２１　ＣＤＳ
　１２２　ＡＤＣ
　１２３　Ｒｏｗグループセレクタ
　１２４　Ｒｏｗラインセレクタ
　１２５～１２７　ラインセレクタ
　１２８　シャッター制御信号ジェネレータ
　１２９　ＲＥＡＤ（読み出し）制御信号ジェネレータ
　１３０　Ｒｏｗ選択スイッチ
　１３１　タイミングジェネレータ（ＴＧ）
　１３２　Ｒｏｗセレクタ
　１３３　Ｃｏｌｕｍｎセレクタ
　１３４　ＡＤＣ
　１３５　Ｃｏｌｕｍｎグループセレクタ
　１３６　Ｃｏｌｕｍｎラインセレクタ
　１３７　Ｒｏｗセレクタ
　１３８　Ｒｏｗグループセレクタ
　１３９　Ｒｏｗラインセレクタ
　１４０　Ｒｏｗラインセレクタ
　１４１　Ｃｏｌｕｍｎセレクタ
　１４２　Ｃｏｌｕｍｎグループセレクタ
　１４３　Ｃｏｌｕｍｎラインセレクタ
　１４４　Ｃｏｌｕｍｎラインセレクタ

Claims (16)

  1. 　複数画素から構成される画素グループ単位の輝度評価を実行する輝度評価部と、
    　前記輝度評価部の評価結果に応じて、前記画素グループ単位の露光制御値を算出する露光制御値算出部と、
    　前記露光制御値算出部の算出した画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する撮像素子を有する撮像装置。
  2. 　前記撮像素子は、
    　前記制御信号として、前記画素グループ内の複数画素に対して、同一パターンからなる露光制御信号を時系列に順次、出力する処理を行い、１つの画素グループに属する複数画素の露光時間を同一とした露光制御を行う請求項１に記載の撮像装置。
  3. 　前記撮像素子は、
    　前記制御信号として、行（ロー：Ｒｏｗ）単位の制御信号と、列（カラム：Ｃｏｌｕｍｎ）単位の制御信号を組み合わせて、制御対象の画素を特定した制御処理を実行する請求項１に記載の撮像装置。
  4. 　前記撮像素子は、
    　露光処理の開始タイミングを示す露光開始制御信号と、読み出し処理の開始タイミングを示す読み出し開始制御信号を画素グループ単位に設定して、画素グループ単位の露光制御を実行する請求項１に記載の撮像装置。
  5. 　前記撮像素子は、
    　行（Ｒｏｗ）方向に設定された画素グループに対する露光制御信号を出力する複数のＲｏｗラインセレクタと、
    　前記複数のＲｏｗラインセレクタに対する制御信号出力タイミングを指示する制御信号を出力するＲｏｗグループセレクタとの階層構成を有する請求項１に記載の撮像装置。
  6. 　前記Ｒｏｗラインセレクタは、
    　前記Ｒｏｗグループセレクタからの制御信号出力タイミングを指示する制御信号に応じて、制御対象とする画素グループ単位で制御信号を出力する請求項５に記載の撮像装置。
  7. 　前記Ｒｏｗラインセレクタは、
    　各画素の露光処理を実行させる露光パターン信号を出力するシャッター制御信号生成部と、
    　各画素の読み出し処理を実行させる読み出しパターン信号を出力する読み出し制御信号生成部を有し、
    　前記Ｒｏｗグループセレクタからの制御信号出力タイミングを指示する制御信号の種類に応じて、前記シャッター制御信号生成部または前記読み出し制御信号生成部の生成する制御信号の選択的な出力処理を実行する請求項５に記載の撮像装置。
  8. 　前記撮像素子は、
    　撮像素子の１行（Ｒｏｗ）の画素信号に対して並列にＡＤ変換を実行するカラム（Ｃｏｌｕｍｎ）ＡＤＣを有し、さらに、
    　画素グループ単位の制御信号を生成するカラム（Ｃｏｌｕｍｎ）グループセレクタと、
    　画素グループ単位の制御信号を受けて画素グループ内の制御信号を生成する複数のカラム（Ｃｏｌｕｍｎ）ラインセレクタとの階層構造を有する、
    　カラム（Ｃｏｌｕｍｎ）セレクタを有する請求項１に記載の撮像装置。
  9. 　前記画素グループは、隣接画素集合からなる画素グループである請求項１に記載の撮像装置。
  10. 　前記画素グループは、複数の離間領域にある画素集合からなる画素グループである請求項１に記載の撮像装置。
  11. 　撮像面の複数の画素を分割した画素グループ単位で設定された露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する撮像素子。
  12. 　前記制御信号として、前記画素グループ内の複数画素に対して、同一パターンからなる露光制御信号を時系列に順次、出力する処理を行い、１つの画素グループに属する複数画素の露光時間を同一とした露光制御を行う請求項１１に記載の撮像素子。
  13. 　前記制御信号として、行（ロー：Ｒｏｗ）単位の制御信号と、列（カラム：Ｃｏｌｕｍｎ）単位の制御信号を組み合わせて、制御対象の画素を特定した制御処理を実行する請求項１１に記載の撮像素子。
  14. 　露光処理の開始タイミングを示す露光開始制御信号と、読み出し処理の開始タイミングを示す読み出し開始制御信号を画素グループ単位に設定して、画素グループ単位の露光制御を実行する請求項１１に記載の撮像素子。
  15. 　撮像装置において実行する撮像制御方法であり、
    　輝度評価部が、複数画素から構成される画素グループ単位の輝度評価を実行する輝度評価ステップと、
    　露光制御値算出部が、前記輝度評価ステップにおける評価結果に応じて、前記画素グループ単位の露光制御値を算出する露光制御値算出ステップと、
    　撮像素子が、前記露光制御値算出ステップにおいて算出した画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する撮像ステップを有する撮像制御方法。
  16. 　撮像装置において撮像制御処理を実行させるプログラムであり、
    　輝度評価部に、複数画素から構成される画素グループ単位の輝度評価を実行させる輝度評価ステップと、
    　露光制御値算出部に、前記輝度評価ステップにおける評価結果に応じて、前記画素グループ単位の露光制御値を算出させる露光制御値算出ステップと、
    　撮像素子に、前記露光制御値算出ステップにおいて算出した画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行させる撮像ステップを実行させるプログラム。
PCT/JP2012/051600 2011-02-18 2012-01-26 撮像装置、撮像素子、および撮像制御方法、並びにプログラム WO2012111401A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
US13/983,672 US9060134B2 (en) 2011-02-18 2012-01-26 Imaging apparatus, image sensor, imaging control method, and program
EP12746920.3A EP2677739A1 (en) 2011-02-18 2012-01-26 Image capturing device, image capturing element, method for controlling image capturing, and program
BR112013020495A BR112013020495A2 (pt) 2011-02-18 2012-01-26 aparelho de tratamento de imagem, sensor de imagem, método de controle de tratamento de imagem, e, programa
KR1020137021144A KR20140044289A (ko) 2011-02-18 2012-01-26 촬상 장치, 촬상 소자, 촬상 제어 방법 및 프로그램
CN2012800083906A CN103370930A (zh) 2011-02-18 2012-01-26 成像设备、成像元件、成像控制方法和程序
RU2013137453/07A RU2013137453A (ru) 2011-02-18 2012-01-26 Устройство формирования изображения, датчик изображения, способ управления формированием изображения и программа
CA2823028A CA2823028A1 (en) 2011-02-18 2012-01-26 Imaging apparatus, image sensor, imaging control method, and program
AU2012218816A AU2012218816A1 (en) 2011-02-18 2012-01-26 Image capturing device, image capturing element, method for controlling image capturing, and program
MX2013009298A MX2013009298A (es) 2011-02-18 2012-01-26 Aparato de formacion de imagenes, detector de imagenes, metodo de control de la formacion de imagenes, y programa.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011033085A JP2012175234A (ja) 2011-02-18 2011-02-18 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
JP2011-033085 2011-02-18

Publications (1)

Publication Number Publication Date
WO2012111401A1 true WO2012111401A1 (ja) 2012-08-23

Family

ID=46672338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/051600 WO2012111401A1 (ja) 2011-02-18 2012-01-26 撮像装置、撮像素子、および撮像制御方法、並びにプログラム

Country Status (11)

Country Link
US (1) US9060134B2 (ja)
EP (1) EP2677739A1 (ja)
JP (1) JP2012175234A (ja)
KR (1) KR20140044289A (ja)
CN (1) CN103370930A (ja)
AU (1) AU2012218816A1 (ja)
BR (1) BR112013020495A2 (ja)
CA (1) CA2823028A1 (ja)
MX (1) MX2013009298A (ja)
RU (1) RU2013137453A (ja)
WO (1) WO2012111401A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015072982A (ja) * 2013-10-02 2015-04-16 株式会社ニコン 撮像素子および撮像装置
JP2017188955A (ja) * 2017-07-11 2017-10-12 株式会社ニコン 撮像素子および撮像装置
WO2019069532A1 (ja) * 2017-10-02 2019-04-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および固体撮像装置
CN110225271A (zh) * 2013-10-02 2019-09-10 株式会社尼康 摄像元件以及摄像装置
JP2019208221A (ja) * 2019-06-26 2019-12-05 株式会社ニコン 撮像素子および撮像装置
JPWO2021210621A1 (ja) * 2020-04-15 2021-10-21

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
JP5989681B2 (ja) 2011-02-25 2016-09-07 ザ・トラスティーズ・オブ・コロンビア・ユニバーシティ・イン・ザ・シティ・オブ・ニューヨーク 符号化画像から時空領域を再構成するシステム、方法、及び媒体
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
IN2014DN08388A (ja) 2012-03-30 2015-05-08 Nikon Corp
US9648248B2 (en) 2012-12-17 2017-05-09 Sony Corporation Methods, systems, and media for high dynamic range imaging
EP2963917B1 (en) * 2013-02-27 2021-04-14 Nikon Corporation Electronic apparatus comprising an image sensor
JP2014220644A (ja) * 2013-05-08 2014-11-20 コニカミノルタ株式会社 固体撮像装置
US11290652B2 (en) 2013-05-31 2022-03-29 Nikon Corporation Electronic apparatus and control program
WO2015002005A1 (ja) * 2013-07-04 2015-01-08 ソニー株式会社 固体撮像装置、制御方法、及び、電子機器
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
CN110213508B (zh) * 2013-08-12 2021-10-15 株式会社尼康 电子设备
JP5904673B2 (ja) 2013-09-27 2016-04-20 富士フイルム株式会社 撮像装置及び内視鏡装置
JP6916418B2 (ja) * 2013-11-26 2021-08-11 株式会社ニコン 撮像装置
WO2015080163A1 (ja) * 2013-11-26 2015-06-04 株式会社ニコン 電子機器、撮像装置、および、撮像素子
KR102170627B1 (ko) 2014-01-08 2020-10-27 삼성전자주식회사 이미지 센서
KR102174192B1 (ko) * 2014-01-14 2020-11-04 에스케이하이닉스 주식회사 프로세서 기반의 타이밍 생성 장치 및 그 방법과 그를 이용한 씨모스 이미지 센서
WO2015160967A1 (en) 2014-04-15 2015-10-22 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for extracting information and a display image from two captured images
CN104050104B (zh) * 2014-06-19 2017-04-12 电子科技大学 一种数据对齐方法
JP2016019076A (ja) 2014-07-07 2016-02-01 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに再生装置
JP6520035B2 (ja) * 2014-09-30 2019-05-29 株式会社ニコン 電子機器
JP6613554B2 (ja) * 2014-09-30 2019-12-04 株式会社ニコン 画像処理装置およびプログラム
JP6451443B2 (ja) * 2015-03-26 2019-01-16 セイコーエプソン株式会社 撮像回路装置及び電子機器
US20170142313A1 (en) * 2015-11-16 2017-05-18 Microsoft Corporation Image sensor system
CN105763816B (zh) * 2016-01-31 2019-01-08 天津大学 一种基于逐像素编码曝光的高速高分辨率成像方法
JP6859701B2 (ja) * 2016-03-01 2021-04-14 株式会社リコー 撮像装置
JP6882910B2 (ja) * 2017-02-22 2021-06-02 キヤノン株式会社 固体撮像装置、固体撮像装置の制御方法、撮像システム及び移動体
EP3681145B1 (en) * 2017-09-06 2024-03-20 Sony Semiconductor Solutions Corporation Solid-state imaging device, control method and drive method therefor, and electronic equipment
EP3462731B1 (en) 2017-09-29 2021-11-10 Canon Kabushiki Kaisha Imaging device, imaging system, and moving body
JP7250454B2 (ja) * 2017-09-29 2023-04-03 キヤノン株式会社 撮像装置、撮像システム、移動体
JP6879278B2 (ja) * 2018-09-27 2021-06-02 株式会社ニコン 電子機器及び制御プログラム
KR102441628B1 (ko) * 2018-10-01 2022-09-08 테크 아이디어 컴퍼니 리미티드 이미지 센서
US11258978B2 (en) * 2019-07-17 2022-02-22 Solsona Enterprise, Llc Methods and systems for representing video in continuous time
CN110677594B (zh) * 2019-10-11 2020-08-25 北京富吉瑞光电科技有限公司 一种光电周视成像系统的补偿成像方法及装置
JP2021082934A (ja) * 2019-11-19 2021-05-27 キヤノン株式会社 撮像装置及び撮像システム
JP2020074596A (ja) * 2020-01-23 2020-05-14 株式会社ニコン 撮像装置
WO2023186529A1 (en) * 2022-03-31 2023-10-05 Sony Group Corporation Sensor device and method for operating a sensor device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298142A (ja) * 1994-04-25 1995-11-10 Canon Inc 階調制御機能を有する撮像装置
JP2001503935A (ja) * 1996-09-30 2001-03-21 インテル・コーポレーション Ｃｍｏｓセンサ・アレイの露光を制御する方法および装置
JP2003527775A (ja) 1999-07-29 2003-09-16 ビジョン−サイエンシズ・インコーポレイテッド ピクセル単位の電荷積分制御を行うためのイメージセンサ構造
JP2010136205A (ja) 2008-12-05 2010-06-17 Canon Inc 撮像装置及び撮像方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US8295601B2 (en) * 2009-08-12 2012-10-23 Hand Held Products, Inc. Indicia reading terminal having multiple exposure periods and methods for same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298142A (ja) * 1994-04-25 1995-11-10 Canon Inc 階調制御機能を有する撮像装置
JP2001503935A (ja) * 1996-09-30 2001-03-21 インテル・コーポレーション Ｃｍｏｓセンサ・アレイの露光を制御する方法および装置
JP2003527775A (ja) 1999-07-29 2003-09-16 ビジョン−サイエンシズ・インコーポレイテッド ピクセル単位の電荷積分制御を行うためのイメージセンサ構造
JP2010136205A (ja) 2008-12-05 2010-06-17 Canon Inc 撮像装置及び撮像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAMAMOTO, TAKAYUKI; AIZAWA, KIYOHARU: "Design and Implementation of Adaptive-integration-time Image Sensor", JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS: IMAGE INFORMATION MEDIA, vol. 55, no. 2, February 2001 (2001-02-01), pages 271 - 278

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015072982A (ja) * 2013-10-02 2015-04-16 株式会社ニコン 撮像素子および撮像装置
CN110225271A (zh) * 2013-10-02 2019-09-10 株式会社尼康 摄像元件以及摄像装置
JP2017188955A (ja) * 2017-07-11 2017-10-12 株式会社ニコン 撮像素子および撮像装置
WO2019069532A1 (ja) * 2017-10-02 2019-04-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および固体撮像装置
CN111149351A (zh) * 2017-10-02 2020-05-12 索尼半导体解决方案公司 固态成像元件和固态成像装置
JP2019208221A (ja) * 2019-06-26 2019-12-05 株式会社ニコン 撮像素子および撮像装置
JPWO2021210621A1 (ja) * 2020-04-15 2021-10-21
WO2021210621A1 (ja) * 2020-04-15 2021-10-21 株式会社ニコン 撮像素子、撮像装置及び装置
JP7468632B2 (ja) 2020-04-15 2024-04-16 株式会社ニコン 撮像素子、撮像装置及び装置

Also Published As

Publication number Publication date
BR112013020495A2 (pt) 2016-10-18
US9060134B2 (en) 2015-06-16
JP2012175234A (ja) 2012-09-10
RU2013137453A (ru) 2015-02-20
CN103370930A (zh) 2013-10-23
EP2677739A1 (en) 2013-12-25
MX2013009298A (es) 2013-09-13
AU2012218816A1 (en) 2013-07-11
US20130308044A1 (en) 2013-11-21
KR20140044289A (ko) 2014-04-14
CA2823028A1 (en) 2012-08-23

Similar Documents

Publication Publication Date Title
WO2012111401A1 (ja) 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
US10110827B2 (en) Imaging apparatus, signal processing method, and program
TWI644568B (zh) 攝像元件、攝像方法及攝像程式
US9160934B2 (en) Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same
JP5850680B2 (ja) 撮像装置及びその制御方法
WO2013008596A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013066145A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6082274B2 (ja) 撮像装置、及びその制御方法
US10757348B2 (en) Image pickup apparatus, image pickup apparatus control method and computer-readable non-transitory recording medium recording program
JP2012175600A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
JP2017118197A (ja) 画像処理装置、画像処理方法、および撮像装置
JP6070301B2 (ja) 固体撮像素子及びこれを用いた撮像装置
WO2012014553A1 (ja) 撮像装置及び撮像方法
JP2019096923A (ja) 撮像素子、撮像装置
JP2018019296A (ja) 撮像装置およびその制御方法
JP6362511B2 (ja) 撮像装置及びその制御方法
JP2017112409A (ja) 撮像装置および方法
JP2014150444A (ja) 固体撮像装置
JP6583268B2 (ja) 撮像制御装置、撮像装置、撮像システムおよび撮像制御方法
JP6545013B2 (ja) 画像形成方法、画像形成装置、および画像形成プログラム
JP2011166515A (ja) 撮像装置
JP2016218291A (ja) 撮像装置およびその制御方法
JP2012023663A (ja) 読出し制御装置、読出し制御方法、プログラム、固体撮像装置、および撮像装置
JP2014120795A (ja) 光電変換装置、光電変換システム、光電変換装置の駆動方法、光電変換システムの駆動方法
JP2020048135A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12746920

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2823028

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2012218816

Country of ref document: AU

Date of ref document: 20120126

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012746920

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13983672

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2013137453

Country of ref document: RU

Kind code of ref document: A

Ref document number: 20137021144

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2013/009298

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013020495

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013020495

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130812