WO2014141663A1 - 撮像ユニット、撮像装置および撮像制御プログラム - Google Patents

撮像ユニット、撮像装置および撮像制御プログラム Download PDF

Info

Publication number
WO2014141663A1
WO2014141663A1 PCT/JP2014/001297 JP2014001297W WO2014141663A1 WO 2014141663 A1 WO2014141663 A1 WO 2014141663A1 JP 2014001297 W JP2014001297 W JP 2014001297W WO 2014141663 A1 WO2014141663 A1 WO 2014141663A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
unit
charge accumulation
pixel group
imaging
Prior art date
Application number
PCT/JP2014/001297
Other languages
English (en)
French (fr)
Inventor
栗山　孝司
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN202010141295.XA priority Critical patent/CN111225161B/zh
Priority to CN202010141294.5A priority patent/CN111314632B/zh
Priority to JP2015505279A priority patent/JP6578942B2/ja
Priority to EP14765589.8A priority patent/EP2975839B1/en
Priority to CN202010141293.0A priority patent/CN111327804B/zh
Priority to CN201480024545.4A priority patent/CN105165005B/zh
Publication of WO2014141663A1 publication Critical patent/WO2014141663A1/ja
Priority to US14/851,785 priority patent/US20150381910A1/en
Priority to US15/800,493 priority patent/US10750106B2/en
Priority to US16/915,016 priority patent/US11553144B2/en
Priority to US18/080,059 priority patent/US20230107373A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS

Definitions

  • the present invention relates to an imaging unit, an imaging apparatus, and an imaging control program.
  • Patent Literature Japanese Patent Application Laid-Open No. 2006-49361
  • the dynamic range of the imaging unit has been limited to a narrow range.
  • An imaging unit includes an imaging unit including a pixel capable of performing charge accumulation a plurality of times in response to an imaging instruction for generating one frame of image data, and a pixel based on an output from the pixel
  • the storage unit for storing the signal, the pixel signal output from the pixel by the new charge accumulation, and the pixel signal already stored in the storage unit are integrated to update the pixel signal already stored in the storage unit
  • An update unit and a control unit that controls whether or not the update by the integration update unit is executed for each pixel group including one or more pixels.
  • An imaging apparatus includes the above-described imaging unit, an imaging instruction unit that generates an imaging instruction to be transmitted to the imaging unit, and image processing that generates image data by processing pixel signals from the storage unit A part.
  • the imaging control program is a charge accumulation in which at least some of the pixels constituting the imaging unit execute charge accumulation a plurality of times in response to an imaging instruction for generating one frame of image data.
  • an update step of updating the pixel signal already stored in the storage unit is executed by the computer.
  • FIG. 1 is a cross-sectional view of a backside illuminating type MOS imaging device according to the present embodiment. It is a figure explaining the pixel arrangement
  • FIG. 1 is a cross-sectional view of a back-illuminated image sensor 100 according to this embodiment.
  • the imaging device 100 includes an imaging chip 113 that outputs a pixel signal corresponding to incident light, a signal processing chip 111 that processes the pixel signal, and a memory chip 112 that stores the pixel signal.
  • the imaging chip 113, the signal processing chip 111, and the memory chip 112 are stacked, and are electrically connected to each other by a conductive bump 109 such as Cu.
  • incident light is incident mainly in the positive direction of the Z axis indicated by the white arrow.
  • the surface on the side where incident light is incident is referred to as a back surface.
  • the left direction of the paper orthogonal to the Z axis is the X axis plus direction
  • the front side of the paper orthogonal to the Z axis and the X axis is the Y axis plus direction.
  • the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes of FIG.
  • the imaging chip 113 is a back-illuminated MOS image sensor.
  • the PD layer 106 is disposed on the back side of the wiring layer 108.
  • the PD layer 106 includes a plurality of PDs (photodiodes) 104 arranged two-dimensionally and a transistor 105 provided corresponding to the PD 104.
  • a color filter 102 is provided on the incident light incident side of the PD layer 106 via a passivation film 103.
  • the color filter 102 has a plurality of types that transmit different wavelength regions, and has a specific arrangement corresponding to each of the PDs 104. The arrangement of the color filter 102 will be described later.
  • a set of the color filter 102, the PD 104, and the transistor 105 forms one pixel.
  • a microlens 101 is provided on the incident light incident side of the color filter 102 corresponding to each pixel.
  • the microlens 101 condenses incident light toward the corresponding PD 104.
  • the wiring layer 108 includes a wiring 107 that transmits a pixel signal from the PD layer 106 to the signal processing chip 111.
  • the wiring 107 may be multilayer, and a passive element and an active element may be provided.
  • a plurality of bumps 109 are arranged on the surface of the wiring layer 108.
  • the plurality of bumps 109 are aligned with the plurality of bumps 109 provided on the opposing surfaces of the signal processing chip 111, and the imaging chip 113 and the signal processing chip 111 are pressed and aligned.
  • the bumps 109 are joined and electrically connected.
  • a plurality of bumps 109 are arranged on the mutually facing surfaces of the signal processing chip 111 and the memory chip 112.
  • the bumps 109 are aligned with each other, and the signal processing chip 111 and the memory chip 112 are pressurized, so that the aligned bumps 109 are joined and electrically connected.
  • the bonding between the bumps 109 is not limited to Cu bump bonding by solid phase diffusion, and micro bump bonding by solder melting may be employed. Further, for example, about one bump 109 may be provided for one pixel group described later. Therefore, the size of the bump 109 may be larger than the pitch of the PD 104. Further, a bump larger than the bump 109 corresponding to the pixel region may be provided in a peripheral region other than the pixel region where the pixels are arranged.
  • the signal processing chip 111 has TSVs (silicon through electrodes) 110 that connect circuits provided on the front and back surfaces to each other.
  • the TSV 110 is preferably provided in the peripheral area.
  • the TSV 110 may also be provided in the peripheral area of the imaging chip 113 and the memory chip 112.
  • FIG. 2 is a diagram for explaining the pixel array and the unit group 131 of the imaging chip 113. In particular, a state where the imaging chip 113 is observed from the back side is shown. In the pixel area, 20 million or more pixels are arranged in a matrix. In the present embodiment, 16 pixels of adjacent 4 pixels ⁇ 4 pixels form one group. The grid lines in the figure indicate the concept that adjacent pixels are grouped to form a unit group 131.
  • the unit group 131 includes four so-called Bayer arrays, which are composed of four pixels of green pixels Gb, Gr, blue pixels B, and red pixels R, vertically and horizontally.
  • the green pixel is a pixel having a green filter as the color filter 102, and receives light in the green wavelength band of incident light.
  • a blue pixel is a pixel having a blue filter as the color filter 102 and receives light in the blue wavelength band
  • a red pixel is a pixel having a red filter as the color filter 102 and receiving light in the red wavelength band. Receive light.
  • FIG. 3 is a circuit diagram corresponding to the unit group 131 of the imaging chip 113.
  • a rectangle surrounded by a dotted line typically represents a circuit corresponding to one pixel. Note that at least some of the transistors described below correspond to the transistor 105 in FIG.
  • the unit group 131 is formed of 16 pixels.
  • the 16 PDs 104 corresponding to the respective pixels are respectively connected to the transfer transistors 302, and the gates of the transfer transistors 302 are connected to the TX wiring 307 to which transfer pulses are supplied.
  • the TX wiring 307 is commonly connected to the 16 transfer transistors 302.
  • each transfer transistor 302 is connected to the source of the corresponding reset transistor 303, and a so-called floating diffusion FD between the drain of the transfer transistor 302 and the source of the reset transistor 303 is connected to the gate of the amplification transistor 304.
  • the drain of the reset transistor 303 is connected to a Vdd wiring 310 to which a power supply voltage is supplied, and the gate thereof is connected to a reset wiring 306 to which a reset pulse is supplied.
  • the reset wiring 306 is commonly connected to the 16 reset transistors 303.
  • each amplification transistor 304 is connected to a Vdd wiring 310 to which a power supply voltage is supplied.
  • the source of each amplification transistor 304 is connected to the drain of each corresponding selection transistor 305.
  • Each gate of the selection transistor is connected to a decoder wiring 308 to which a selection pulse is supplied.
  • the decoder wiring 308 is provided independently for each of the 16 selection transistors 305.
  • the source of each selection transistor 305 is connected to a common output wiring 309.
  • the load current source 311 supplies current to the output wiring 309. That is, the output wiring 309 for the selection transistor 305 is formed by a source follower. Note that the load current source 311 may be provided on the imaging chip 113 side or on the signal processing chip 111 side.
  • the PD 104 converts the incident light received into charges and accumulates them. Thereafter, when the transfer pulse is applied again without the reset pulse being applied, the accumulated charge is transferred to the floating diffusion FD, and the potential of the floating diffusion FD changes from the reset potential to the signal potential after the charge accumulation. .
  • a selection pulse is applied to the selection transistor 305 through the decoder wiring 308, a change in the signal potential of the floating diffusion FD is transmitted to the output wiring 309 through the amplification transistor 304 and the selection transistor 305. Thereby, a pixel signal corresponding to the reset potential and the signal potential is output from the unit pixel to the output wiring 309.
  • the reset wiring 306 and the TX wiring 307 are common to the 16 pixels forming the unit group 131. That is, the reset pulse and the transfer pulse are simultaneously applied to all 16 pixels. Therefore, all the pixels forming the unit group 131 start charge accumulation at the same timing and end charge accumulation at the same timing. However, the pixel signal corresponding to the accumulated electric charge is sequentially applied to each selection transistor 305 by a selection pulse, and is selectively output to the output wiring 309.
  • the charge accumulation time can be controlled for each unit group 131. Since the charge accumulation time can be controlled for each unit group, pixel signals with different charge accumulation times can be output between adjacent unit groups 131. Furthermore, a common charge accumulation time is set for all the unit groups 131, one unit charge accumulation and pixel signal output are executed for a certain unit group 131, and two adjacent unit groups 131 are performed twice. It is also possible to control such that charge accumulation and pixel signal output are repeated. Such latter control of charge accumulation and pixel signal output in a common unit time is referred to as unit time control. If the unit time control is performed and the charge accumulation start time and end time are synchronized in all the unit groups 131, the reset wiring 306 is connected to all the reset transistors 303 on the imaging chip 113. It may be connected in common.
  • unit time control will be described in detail. In particular, a description will be given of control for changing the number of repetitions of charge accumulation and pixel signal output among the unit groups 131 for one imaging instruction.
  • FIG. 4 is a block diagram showing a functional configuration of the image sensor 100. In particular, the flow of pixel signals will be described here.
  • the analog multiplexer 411 sequentially selects the 16 PDs 104 that form the unit group 131 and outputs each pixel signal to the output wiring 309.
  • the multiplexer 411 is formed on the imaging chip 113 together with the PD 104.
  • the pixel signal output via the multiplexer 411 is supplied to the signal processing chip 111 by a signal processing circuit 412 that performs correlated double sampling (CDS) / analog / digital (A / D) conversion. D conversion is performed. A / D conversion converts an input analog pixel signal into a 12-bit digital pixel signal. The A / D converted pixel signal is delivered to the arithmetic circuit 415 that is also formed in the signal processing chip 111. The arithmetic circuit 415 subjects the received pixel signal to integration processing described later and passes it to the demultiplexer 413.
  • CDS correlated double sampling
  • a / D analog / digital
  • the demultiplexer 413 stores the received pixel signal in the pixel memory 414 corresponding to each pixel.
  • Each of the pixel memories 414 has a capacity capable of storing a pixel signal after executing an integration process described later.
  • the demultiplexer 413 and the pixel memory 414 are formed in the memory chip 112.
  • the arithmetic circuit 415 reads the corresponding pixel signal used for the integration process from the pixel memory 414 via the demultiplexer 413.
  • the pixel signal read from the pixel memory 414 via the demultiplexer 413 is delivered to the subsequent image processing unit in accordance with an external delivery request.
  • the arithmetic circuit 415 may be provided in the memory chip 112.
  • the flow of pixel signals for one group is shown in the figure, these actually exist for each group and operate in parallel.
  • the arithmetic circuit 415 may not exist for each group.
  • one arithmetic circuit 415 may perform sequential processing while sequentially referring to the values of the pixel memory 414 corresponding to each group.
  • FIG. 5 is a block diagram mainly showing a specific configuration of the signal processing chip 111.
  • the signal processing chip 111 includes a sensor control unit 441, a block control unit 442, a synchronization control unit 443, a signal control unit 444 as a shared control function, and a drive control unit 420 that performs overall control of these control units.
  • the drive control unit 420 converts an instruction from the system control unit 501 responsible for integrated control of the entire imaging apparatus into a control signal that can be executed by each control unit, and delivers the control signal to each.
  • the sensor control unit 441 performs transmission control of control pulses that are transmitted to the imaging chip 113 and are related to charge accumulation and charge readout of each pixel. Specifically, the sensor control unit 441 controls the start and end of charge accumulation by sending a reset pulse and a transfer pulse to the target pixel, and sends a selection pulse to the readout pixel. A pixel signal is output to the output wiring 309.
  • the block control unit 442 executes transmission of a specific pulse for specifying the unit group 131 to be controlled, which is transmitted to the imaging chip 113.
  • the system control unit 501 divides the pixel region of the imaging chip 113 into a plurality of blocks so that each pixel region includes one or more unit groups 131 according to the characteristics of the scene that is the scene. To do.
  • the same unit time control is executed for the pixels included in the same block. That is, the pixels included in the same block repeat the same number of charge accumulations and pixel signal outputs in response to a single imaging instruction. Therefore, the block control unit 442 plays a role of blocking the unit group 131 by sending a specific pulse to the target unit group 131 based on the designation from the drive control unit 420.
  • the transfer pulse and the reset pulse received by each pixel via the TX wiring 307 and the reset wiring 306 are the logical product of each pulse sent by the sensor control unit 441 and a specific pulse sent by the block control unit 442. Specific block designation from the drive control unit 420 will be described in detail later.
  • the synchronization control unit 443 sends a synchronization signal to the imaging chip 113.
  • Each pulse becomes active in the imaging chip 113 in synchronization with the synchronization signal. For example, by adjusting the synchronization signal, random control, thinning control, and the like that control only specific pixels of pixels belonging to the same unit group 131 are realized.
  • the signal control unit 444 is mainly responsible for timing control for the A / D converter 412b.
  • the pixel signal output via the output wiring 309 is input to the CDS circuit 412a and the A / D converter 412b through the multiplexer 411.
  • the A / D converter 412b is controlled by the signal control unit 444 and converts the input pixel signal into a digital signal.
  • the pixel signal converted into the digital signal is delivered to the arithmetic circuit 415 and subjected to integration processing and the like described later.
  • the pixel signal that has been subjected to the integration processing or the like is transferred to the demultiplexer 413 of the memory chip 112, and is stored as a pixel value of digital data in the pixel memory 414 corresponding to each pixel.
  • the signal processing chip 111 includes block division information as to which unit group 131 is combined to form a block, and accumulation count information as to how many times charge accumulation and pixel signal output are repeated for each formed block. And a timing memory 430 as an accumulation control memory.
  • the timing memory 430 is configured by a flash RAM, for example.
  • which unit group is combined to form a block is determined by the system control unit 501 based on, for example, the detection result of the luminance distribution detection of the scene executed prior to a series of shooting sequences. Is done.
  • the determined block is divided into, for example, a first block, a second block, etc., and is defined by which unit group 131 each block includes.
  • the drive control unit 420 receives this block division information from the system control unit 501 and stores it in the timing memory 430.
  • the system control unit 501 determines, for example, how many times charge accumulation and pixel signal output are repeated for each block based on the detection result of the luminance distribution.
  • the drive control unit 420 receives this repetition count information from the system control unit 501 and stores it in the timing memory 430 in pairs with the corresponding block division information. By storing the block division information and the repetition count information in the timing memory 430 in this way, the drive control unit 420 can independently execute a series of charge accumulation control with reference to the timing memory 430 sequentially. That is, once the drive control unit 420 receives an imaging instruction signal from the system control unit 501 in one image acquisition control, the drive control unit 420 stores the image without receiving an instruction from the system control unit 501 for each pixel control thereafter. Control can be completed.
  • the drive control unit 420 receives the updated block classification information and repetition count information from the system control unit 501, and updates the storage contents of the timing memory 430 as appropriate. For example, the drive control unit 420 updates the timing memory 430 in synchronization with the imaging preparation instruction or the imaging instruction. By configuring in this way, faster charge accumulation control can be realized, and the system control unit 501 can execute other processes in parallel while the drive control unit 420 is executing charge accumulation control. .
  • the drive control unit 420 refers not only to the charge accumulation control for the imaging chip 113 but also to the timing memory 430 in the execution of the read control. For example, the drive control unit 420 reads the pixel signal already stored in the pixel memory 414 with reference to the repetition count information of each block, and passes it to the arithmetic circuit 415. Further, the pixel signal subjected to the arithmetic processing by the arithmetic circuit 415 is stored in the pixel memory 414 again. That is, the pixel signal in the pixel memory 414 is updated.
  • the drive control unit 420 reads out the target pixel signal from the pixel memory 414 via the arithmetic circuit 415 and the demultiplexer 413 in accordance with a delivery request from the system control unit 501, and delivers it to the image processing unit 511 provided in the imaging apparatus.
  • the pixel memory 414 is provided with a data transfer interface that transmits pixel signals in accordance with a delivery request.
  • the data transfer interface is connected to a data transfer line connected to the image processing unit 511.
  • the data transfer line is constituted by a data bus of the bus lines, for example.
  • the delivery request from the system control unit 501 to the drive control unit 420 is executed by address designation using the address bus.
  • the pixel signal transmission by the data transfer interface is not limited to the addressing method, and various methods can be adopted. For example, when performing data transfer, a double data rate method in which processing is performed using both rising and falling edges of a clock signal used for synchronization of each circuit may be employed. Further, it is possible to adopt a burst transfer method in which data is transferred all at once by omitting a part of the procedure such as addressing and the like, thereby achieving high speed. Further, a bus system using a line in which a control unit, a memory unit, and an input / output unit are connected in parallel, or a serial system that transfers data one bit at a time can be combined.
  • the image processing unit 511 can receive only the necessary pixel signals, so that image processing can be completed at high speed, particularly when a low-resolution image is formed.
  • the image processing unit 511 does not have to execute the integration process, so that the image processing can be speeded up by the function sharing and the parallel processing.
  • FIG. 6 is a block diagram illustrating a configuration of the imaging apparatus according to the present embodiment.
  • the imaging apparatus 500 includes a photographic lens 520 as a photographic optical system, and the photographic lens 520 guides a subject luminous flux incident along the optical axis O to the imaging element 100.
  • the photographing lens 520 may be an interchangeable lens that can be attached to and detached from the imaging apparatus 500.
  • the imaging apparatus 500 mainly includes an imaging device 100, a system control unit 501, a photometry unit 503, a work memory 504, a recording unit 505, and a display unit 506.
  • the system control unit 501 functions as an imaging instruction unit that receives an instruction from the user and generates an imaging instruction to be transmitted to the image sensor 100.
  • the photographing lens 520 is composed of a plurality of optical lens groups, and forms an image of a subject light flux from the scene in the vicinity of its focal plane. In FIG. 6, a single virtual lens disposed in the vicinity of the pupil is representatively shown.
  • the drive control unit 420 of the image sensor 100 is a control circuit that performs charge accumulation control such as timing control and area control of the image sensor 100 in accordance with instructions from the system control unit 501.
  • the image sensor 100 delivers the pixel signal to the image processing unit 511 of the system control unit 501.
  • the image processing unit 511 performs various image processing using the work memory 504 as a work space, and generates image data. For example, when generating image data in JPEG file format, compression processing is executed after white balance processing, gamma processing, and the like are performed.
  • the generated image data is recorded in the recording unit 505, converted into a display signal, and displayed on the display unit 506 for a preset time.
  • the image processing unit 511 may be configured as an ASIC independent of the system control unit 501.
  • the photometric unit 503 detects the luminance distribution of the scene prior to a series of shooting sequences for generating image data.
  • the photometry unit 503 includes, for example, an AE sensor having about 1 million pixels.
  • the calculation unit 512 of the system control unit 501 receives the output of the photometry unit 503 and calculates the luminance for each area of the scene.
  • the calculation unit 512 determines the unit time, aperture value, and ISO sensitivity according to the calculated luminance distribution. In the present embodiment, the calculation unit 512 further determines how many times charge accumulation and pixel signal output are to be repeated according to the unit time determined for which pixel group region of the imaging chip 113.
  • the calculation unit 512 determines the shutter opening / closing timing by calculating the time until the charge accumulation of the pixel group region to which the maximum number of repetitions is assigned ends. Note that the arithmetic unit 512 also executes various arithmetic operations for operating the imaging device 500.
  • FIG. 7 is a diagram for explaining an example of a scene and area division.
  • FIG. 7A shows a scene captured by the pixel area of the imaging chip 113. Specifically, this is a scene in which the shadow subject 601 and the intermediate subject 602 included in the indoor environment and the highlight subject 603 in the outdoor environment observed inside the window frame 604 are reflected simultaneously.
  • charge accumulation is performed using the highlight part as a reference. When charge accumulation was performed with reference to the portion, whiteout occurred in the highlight portion.
  • the dynamic range of the photodiode is insufficient for a scene having a large contrast between light and dark in order to output an image signal by charge accumulation uniformly in both the highlight portion and the shadow portion. Therefore, in this embodiment, the scene is divided into partial regions such as a highlight portion and a shadow portion, and the charge accumulation of the photodiode corresponding to each region and the number of repetitions of pixel signal readout are made different from each other, thereby enabling dynamic Strive to substantially expand the range.
  • FIG. 7B shows area division in the pixel area of the imaging chip 113.
  • the calculation unit 512 analyzes the scene of FIG. 7A captured by the photometry unit 503, and divides the pixel area based on the luminance.
  • the system control unit 501 causes the photometry unit 503 to execute a plurality of scene acquisitions while changing the exposure time, and the calculation unit 512 refers to the change in the distribution of the whiteout region and the blackout region, thereby changing the pixel region Determine the dividing line.
  • the calculation unit 512 is divided into three areas, a shadow area 611, an intermediate area 612, and a highlight area 613.
  • the division line is defined along the boundary of the unit group 131. That is, each divided area includes an integer number of unit groups 131. Then, the pixels in each group included in the same region perform the same number of times of charge accumulation and pixel signal output by the unit time determined by the calculation unit 512. If the region to which the region belongs is different, charge accumulation and pixel signal output are performed a different number of times.
  • FIG. 8 is a diagram illustrating unit control for each divided area according to the example of FIG.
  • the calculation unit 512 receives the output of the photometry unit 503, the difference between the EV value of the intermediate area 612 and the EV value of the highlight area 613 is about one stage, and the EV value of the shadow area 611 A case where the difference between the EV value of the intermediate area 612 and the EV value of the intermediate area 612 is calculated to be about one stage will be described.
  • the calculation unit 512 determines a common unit time T 0 that is a charge accumulation time per time from the output of the photometry unit 503.
  • the unit time T 0 is determined from the EV value of the highlight area 613 so that the pixels in the highlight area 613 are not saturated by one charge accumulation.
  • the unit time T 0 is determined on the basis that 80% to 90% of charges that can be accumulated by one charge accumulation operation are accumulated in the pixel corresponding to the brightest part in the highlight region 613.
  • the ISO sensitivity correlated with the amplification factor of the output pixel signal and the aperture value of the aperture provided in the photographing lens 520 are selected in the highlight region according to the unit time T 0 determined by the arithmetic unit 512. 613 is calculated so as to be an appropriate exposure.
  • the ISO sensitivity is set in common for all pixels.
  • the calculation unit 512 refers to the calculated difference between the EV value of the highlight area 613 and the EV value of the intermediate area 612, and sets the number of repetitions of the intermediate area 612 twice. That is, the charge accumulation for the unit time T 0 and the pixel signal readout by the charge accumulation are repeated twice. Similarly, the calculation unit 512 refers to the calculated difference between the EV value of the highlight area 613 and the EV value of the shadow area 611, and sets the charge accumulation count of the shadow area 611 to four times. That is, the charge accumulation unit time T 0, and repeats four times the pixel signals read by the charge storage. As will be described later, the pixel signals repeatedly read out are sequentially added by the arithmetic circuit 415 and stored in the pixel memory 414.
  • the drive control unit 420 applies a transfer pulse to all the pixels. Then, a selection pulse is sequentially applied to the pixels in each group, and the respective pixel signals are output to the output wiring 309.
  • the drive control unit 420 converts each pixel signal into a digital signal by the A / D converter 412b, passes through the arithmetic circuit 415, and stores it in the corresponding pixel memory 414. This process completes the first unit control. Then, the process for the group of pixels belonging to the highlight area 613 is terminated. At this time, the image generated from the pixel signal stored in the pixel memory 414 corresponding to the pixel in the highlight area 613 uses the entire dynamic range of the PD 104 with almost no whiteout or blackout. It can be expected that the image is properly exposed.
  • the drive control unit 420 applies a transfer pulse to the pixels in the group belonging to the intermediate region 612 and the shadow region 611. Then, a selection pulse is sequentially applied to the pixels in these groups, and the respective pixel signals are output to the output wiring 309.
  • the drive control unit 420 converts each pixel signal into a digital signal by the A / D converter 412b. In parallel with this, the first pixel signal stored in the corresponding pixel memory 414 is read out. Then, the drive control unit 420 causes the arithmetic circuit 415 to perform an integration process of adding the first pixel signal and the newly acquired second pixel signal.
  • the drive control unit 420 stores the pixel signal newly generated by the integration process in the corresponding pixel memory 414. Accordingly, each pixel memory 414 is updated from the first pixel signal to the pixel signal that has been subjected to integration processing. This process completes the second unit control. Then, the process for the pixels in the group belonging to the intermediate area 612 is finished.
  • the image generated from the pixel signal stored in the pixel memory 414 corresponding to the pixel in the intermediate area 612 uses the bit width of the image data as a whole with almost no whiteout or blackout. It can be expected that the image is properly exposed. In other words, the charge accumulation time is not sufficient in one unit control, and an under image that tends to cause black crushing occurs. By performing the integration process across the two unit controls, it is substantially 2T 0. It is possible to obtain an appropriate image equivalent to the charge accumulation during the period. Furthermore, by dividing the charge accumulation into two times, it can be expected that the random noise is reduced as compared with an image obtained by one charge accumulation over a period of 2T 0 .
  • the drive control unit 420 applies a transfer pulse to the pixels in the group belonging to the shadow region 611. Then, selection pulses are sequentially applied to the pixels in this group, and the respective pixel signals are output to the output wiring 309.
  • the drive control unit 420 converts each pixel signal into a digital signal by the A / D converter 412b. In parallel with this, the corresponding pixel signals already stored in the pixel memory 414 are read out. Then, the drive control unit 420 causes the arithmetic circuit 415 to perform an integration process of adding the read pixel signal and the newly acquired third pixel signal.
  • the drive control unit 420 stores the pixel signal newly generated by the integration process in the corresponding pixel memory 414. As a result, each pixel memory 414 is updated to a newly integrated pixel signal. This process completes the third unit control.
  • the drive control unit 420 applies a transfer pulse to the pixels in the group belonging to the shadow region 611. Then, selection pulses are sequentially applied to the pixels in this group, and the respective pixel signals are output to the output wiring 309.
  • the drive control unit 420 converts each pixel signal into a digital signal by the A / D converter 412b. In parallel with this, the corresponding pixel signals already stored in the pixel memory 414 are read out. Then, the drive control unit 420 causes the arithmetic circuit 415 to execute an integration process of adding the read pixel signal and the newly acquired fourth pixel signal.
  • the drive control unit 420 stores the pixel signal newly generated by the integration process in the corresponding pixel memory 414. As a result, each pixel memory 414 is updated to a newly integrated pixel signal. With this process, the fourth unit control is completed. Then, the process for the group of pixels belonging to the shadow area 611 is terminated.
  • the image generated from the pixel signal stored in the pixel memory 414 corresponding to the pixel in the shadow area 611 uses the bit width of the image data as a whole with almost no whiteout or blackout. It can be expected that the image is properly exposed. In other words, the charge accumulation time is not sufficient in one unit control, and an under image that tends to cause black crushing occurs. However, by performing integration processing over four unit controls, substantially 4T 0 is obtained. It is possible to obtain an appropriate image equivalent to the charge accumulation during the period. Furthermore, by dividing the charge accumulation into four times, it can be expected that random noise is reduced as compared with an image obtained by one charge accumulation over a period of 4T 0 .
  • the image processing unit 511 generates image data with a high dynamic range by connecting and processing the pixel signals of the regions processed as described above.
  • the drive control unit 420 does not continue the unit control in other regions. Thereafter, charge accumulation was not performed. However, the charge accumulation may be executed after that in accordance with the unit control of other regions. In this case, it is not necessary to output a pixel signal by applying a transfer pulse and a selection pulse. Alternatively, even if the pixel signal is output, the pixel signal is discarded at any stage of conversion to a digital signal by the A / D converter 412b, integration processing by the arithmetic circuit 415, storage in the pixel memory 414, etc. Just do it.
  • FIG. 9 is a flowchart showing processing of the photographing operation. The flow is started when the power of the imaging apparatus 500 is turned on.
  • step S101 the system control unit 501 waits until the shutter switch SW1, which is an imaging preparation instruction, is pressed down. If it is detected that the shutter switch SW1 is depressed, the process proceeds to step S102.
  • step S102 the system control unit 501 performs photometry processing. Specifically, the output of the photometry unit 503 is obtained, and the calculation unit 512 calculates the luminance distribution of the scene. Then, the process proceeds to step S103, and unit time, area division, the number of repetitions, etc. are determined as described above. The determined information is sent from the system control unit 501 to the drive control unit 420 and stored in the timing memory 430.
  • step S104 the process proceeds to step S104 and waits until the shutter switch SW2, which is an imaging instruction from the user, is pressed down. At this time, if the elapsed time exceeds a predetermined time Tw (YES in step S105), the process returns to step S101. If the depression of the switch SW2 is detected before exceeding Tw (NO in step S105), the process proceeds to step S106.
  • step S106 the drive control unit 420 performs charge accumulation by all the pixels as the first unit control. Then, after the unit time elapses, pixel signal output and A / D conversion are executed (step S107), and the converted digital pixel signal is stored in the pixel memory 414 (step S108).
  • step S109 the drive control unit 420 proceeds to step S109 and determines a target region for which the second unit control is executed with reference to the region division information of the timing memory 430. Then, charge accumulation is executed in the target region (step S110).
  • the drive control unit 420 executes pixel signal output and A / D conversion by the second charge accumulation after elapse of the unit time (step S111). In parallel or before or after this, the drive control unit 420 reads out the pixel signal stored by the first unit control from the pixel memory 414 (step S112). Then, the drive control unit 420 causes the arithmetic circuit 415 to perform integration processing that integrates the pixel signal that has been A / D converted in step S111 and the pixel signal that has been read out in step S112 (step S113). The result integrated by the arithmetic circuit 415 is updated and stored as a new pixel signal in the pixel memory 414 read in step S112 (step S114).
  • the drive control unit 420 proceeds to step S115 and determines whether or not the number of repetitions determined in step S103 has been reached with reference to the number of repetitions information in the timing memory 430. If it is determined that the number of repetitions has not been reached, the process proceeds to step S109, and unit control (step S109 to step S114) for the third time, fourth time,... Is executed. If it is determined that the number of repetitions has been reached, the process proceeds to step S116.
  • step S116 the drive control unit 420 reports the completion of unit control to the system control unit 501, and the system control unit 501 responds to the pixel stored in the pixel memory 414 with respect to the drive control unit 420.
  • the signal is transmitted to the image processing unit 511.
  • the image processing unit 511 executes image processing and generates image data such as JPEG.
  • the system control unit 501 executes a recording process for recording the generated image data in the recording unit 505.
  • step S117 it is determined whether or not the power of the imaging apparatus 500 is turned off. If it is determined that the power has not been turned off, the process returns to step S101. If it is determined that the power has been turned off, the series of photographing operation processing is terminated.
  • the drive control unit 420 determines the unit time T 0 as a time during which the pixels in the highlight area 613 are not saturated. Highlight region 613, since it is determined based on a photometry result of the photometry section 503, the drive control unit 420, in accordance with the capturing timing as described with reference to the flowchart of FIG. 9, each time the unit time T 0 Has been decided. However, the unit time T 0 is not dynamically changed for each photographing, but a predetermined fixed value can also be adopted.
  • the unit time T 0 since the unit time T 0 as a fixed value cannot be stored for a shorter time than this, the unit time T 0 should be set to a relatively short time so that the unit time can be controlled even for a bright scene. Is preferred. However, in this embodiment, since the integration process is executed with the digital pixel signal after A / D conversion, the A / D conversion is performed so that the shadow portion has a value of 1 or more due to the charge accumulation of unit time T 0. The number of quantization bits of the unit 412b should be increased. In this case, the storage size of the pixel memory 414 is also set according to the number of quantization bits.
  • the arithmetic circuit 415 performs bit conversion in synchronization with the delivery request from the system control unit 501.
  • the pixel signal may be delivered to the image processing unit 511 after performing the above.
  • unit control can be executed without using the photometric result of the photometric unit 503.
  • the pixel signal stored in the pixel memory 414 when the pixel signal stored in the pixel memory 414 is transferred to the image processing unit 511, it may be normalized by the number of repetitions. Specifically, for example, a value obtained by dividing each pixel signal by the number of repetitions may be used. Note that the value for which it is determined whether or not the threshold value has been exceeded is not limited to the average value, and a calculated value calculated by various statistical processes can be used.
  • unit control can be executed in relation to various image effects, in addition to executing unit control to achieve appropriate exposure for each region.
  • the unit time T 0 can be set to a relatively short time in which camera shake is unlikely to occur, and the unit control can be repeated until the image shift exceeds an allowable amount.
  • the detection result of the motion detection unit can be used to detect the image shift amount.
  • the motion detection unit can be used by the photometric unit 503 or another motion detection sensor provided separately. According to such unit time control, an image with little image blur can be obtained. Note that the lack of brightness due to not reaching the scheduled charge accumulation time may be adjusted by amplifying the pixel signal.
  • unit control can be executed exclusively for each area.
  • the first unit control is performed only for the highlight area 613
  • the second and third unit control is performed only for the intermediate area 612
  • the subsequent fourth to seventh times Unit control can be performed only for the shadow area 611.
  • unit control can be executed exclusively for each area in this way, it is possible to acquire various images in which optical conditions such as an aperture value are changed for each area. More specifically, the unit control can be repeated more frequently by narrowing the aperture for the region where the waterfall flows, and less unit control can be performed by opening the aperture for the surrounding trees region. . According to such control, since images with different shutter speeds can coexist in one image, an image that has not existed in the past can be acquired by one imaging instruction. For example, if an instruction is received from a user in advance through a live view image, it is possible to determine in advance in which area of the scene how many unit controls are repeated.
  • a moving image can also be generated by performing similar unit control for each frame.
  • the above-described processing can be executed not only on a digital camera dedicated machine, but also on a camera unit incorporated in an electronic device such as a mobile phone, an information terminal, or a PC.
  • FIG. 10 is a diagram for explaining charge accumulation control for each divided area as another embodiment.
  • the calculation unit 512 receives the output of the photometry unit 503, and the difference between the EV value of the intermediate area 612 and the EV value of the highlight area 613 is about one stage.
  • the difference between the EV value of the shadow area 611 and the EV value of the intermediate area 612 is calculated to be about one step.
  • the arithmetic unit 512 determines a common unit time T 0 that is a charge accumulation time per time from the output of the photometric unit 503, as in the example of FIG.
  • the calculation unit 512 refers to the difference between the calculated EV value of the highlight area 613 and the EV value of the intermediate area 612 and determines the required number of charge accumulations in the intermediate area 612 as two. Similarly, the calculation unit 512 refers to the difference between the calculated EV value of the highlight area 613 and the EV value of the shadow area 611 and determines the required number of charge accumulations in the shadow area 611 to be four times.
  • four times which is the maximum value of the number of charge accumulations determined in the shadow region 611, that is, determined to be necessary, is set as the number of charge accumulations in all regions.
  • the highlight region 613, an intermediate region 612, the entire area of the shadow area 611, a charge storage unit of time T 0, and repeats four times the pixel signals read by the charge storage.
  • the drive control unit 420 applies a transfer pulse to all the pixels. Then, a selection pulse is sequentially applied to the pixels in each group, and the respective pixel signals are output to the output wiring 309.
  • the drive control unit 420 converts each pixel signal into a digital signal by the A / D converter 412b, passes through the arithmetic circuit 415, and stores it in the corresponding pixel memory 414. This process completes the first unit control.
  • the drive control unit 420 applies a transfer pulse to all the pixels. Then, a selection pulse is sequentially applied to the pixels in each group, and the respective pixel signals are output to the output wiring 309.
  • the drive control unit 420 converts each pixel signal into a digital signal by the A / D converter 412b. In parallel with this, the first pixel signal stored in the corresponding pixel memory 414 is read out. Then, the drive control unit 420 causes the arithmetic circuit 415 to perform an integration process of adding the first pixel signal and the newly acquired second pixel signal.
  • the drive control unit 420 stores the pixel signal newly generated by the integration process in the corresponding pixel memory 414. Accordingly, each pixel memory 414 is updated from the first pixel signal to the pixel signal that has been subjected to integration processing. This process completes the second unit control.
  • the unit time T 0 is based on the fact that 80% to 90% of charges that can be accumulated by one charge accumulation operation are accumulated in the pixel corresponding to the brightest part of the highlight area 613 as described above. Therefore, there is no saturation in each charge accumulation.
  • the image of the highlight area 613 obtained by reducing the value of the pixel signal subjected to the integration processing to 1 ⁇ 4 is an image of appropriate exposure using the dynamic range of the PD 104 as a whole with almost no whiteout or blackout. Can be expected.
  • the point where the charge accumulation of two times is sufficient is repeated four times, so that the value of the pixel signal subjected to the integration process is halved. I do.
  • the image of the intermediate area 612 obtained by reducing the value of the pixel signal subjected to the integration processing to 1 ⁇ 2 is an image of appropriate exposure that uses the bit width of the image data as a whole with almost no overexposure and blackout. I can expect that.
  • the image of the shadow area 611 obtained from the pixel signal subjected to the integration processing four times is expected to be an image with appropriate exposure using the entire bit width of the image data, with almost no overexposure and blackout. it can.
  • the charge accumulation time is not sufficient in one unit control, and an under image that tends to cause black crushing occurs.
  • substantially 4T 0 is obtained. It is possible to obtain an appropriate image equivalent to the charge accumulation during the period.
  • the arithmetic circuit 415 reduces the number of pixels in the highlight area 613 to 1/4 and the intermediate area 612.
  • the calculation of 1/2 may be performed on the pixels. That is, the reduction calculation may be performed for each region in each pixel signal readout process. Even if it processes in this way, the effect similar to the above is acquired.
  • the system control unit 501 calculates the luminance distribution of the scene from the output of the photometry unit 503, and determines the unit time T 0 , the region division, and the number of repetitions. However, these can be determined without obtaining the output result of the photometry unit 503.
  • the system control unit 501 determines the unit time T 0 from the live view image used as the viewfinder. At this time, it is preferable that the time is shorter than the shutter speed for acquiring the live view image so that the highlight portion does not fly out.
  • the system control unit 501 first performs charge accumulation and pixel signal readout for the first time. Then, the level of the pixel signal obtained here is analyzed, the region is divided, and the number of repetitions of charge accumulation for each divided region is determined.
  • an area where a large number of pixels in which 50% or more of charge that can be accumulated is accumulated occupies a large number of areas is defined as an area that ends with one accumulation control, and 25% or more and less than 50% of charge is accumulated
  • a region in which a large number of pixels occupy is defined as a region that ends with two accumulation controls, and a region that occupies a large number of pixels in which less than 25% of charge has been accumulated is defined as a region that ends with four accumulation controls.
  • the system control unit 501 executes up to area division in the first charge accumulation and pixel signal readout, and determines whether or not to perform the next charge accumulation and pixel signal readout for each area after each signal readout. It can also be controlled to judge. That is, the system control unit 501 performs the (m + 1) th time if the pixel signal value after the integration processing is within a predetermined range when m (natural number) times of charge accumulation and pixel signal reading are completed in a certain region. The process ends without performing charge accumulation, and if not, the m + 1th charge accumulation is executed.
  • the threshold value may be changed according to the number of times of accumulation. Specifically, the threshold value is gradually decreased as the number of accumulations increases. By gradually reducing the threshold value, it is possible to generate a natural image in which the brightness of the shadow area and the highlight area does not reverse.
  • imaging element 101 microlens, 102 color filter, 103 passivation film, 104 PD, 105 transistor, 106 PD layer, 107 wiring, 108 wiring layer, 109 bump, 110 TSV, 111 signal processing chip, 112 memory chip, 113 imaging Chip, 131 unit group, 302 transfer transistor, 303 reset transistor, 304 amplification transistor, 305 selection transistor, 306 reset wiring, 307 TX wiring, 308 decoder wiring, 309 output wiring, 310 Vdd wiring, 311 load current source, 411 multiplexer, 412 signal processing circuit, 413 demultiplexer, 414 pixel memory, 415 arithmetic circuit, 420 drive control unit, 430 tie Memory, 441 sensor control unit, 442 block control unit, 443 synchronization control unit, 444 signal control unit, 500 imaging device, 501 system control unit, 503 photometry unit, 504 work memory, 505 recording unit, 506 display unit, 511 image processing , 512 arithmetic unit, 601 shadow subject,

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

　撮像ユニットは、１フレームの画像データを生成するための撮像指示に対して複数回の電荷蓄積を実行可能な画素を含む撮像部と、画素からの出力に基づく画素信号を格納する格納部と、新たな電荷蓄積により画素から出力された画素信号と、既に格納部に格納された画素信号とを積算処理して、既に格納部に格納された画素信号を更新する更新部と、画素を１つ以上含む画素グループごとに、積算更新部による更新を実行するか否かを制御する制御部とを備える。

Description

撮像ユニット、撮像装置および撮像制御プログラム
　本発明は、撮像ユニット、撮像装置および撮像制御プログラムに関する。
　裏面照射型撮像チップと信号処理チップが、複数画素をまとめたセル単位ごとにマイクロバンプを介して接続された撮像ユニットが知られている。
［先行技術文献］
［特許文献］
　　［特許文献１］　特開２００６－４９３６１号公報
　入射光が強く、変換される電荷が多い場合に合わせて電荷蓄積時間を短くすると、入射光の弱い領域から読み出される信号が小さくなる。逆に、入射光が弱い領域に合わせて電荷蓄積時間を長くすると、入射光が強い領域から読み出される信号が飽和してしまう。このため、撮像ユニットのダイナミックレンジは、狭い範囲に限られていた。
　本発明の第１の態様における撮像ユニットは、１フレームの画像データを生成するための撮像指示に対して複数回の電荷蓄積を実行可能な画素を含む撮像部と、画素からの出力に基づく画素信号を格納する格納部と、新たな電荷蓄積により画素から出力された画素信号と、既に格納部に格納された画素信号とを積算処理して、既に格納部に格納された画素信号を更新する更新部と、画素を１つ以上含む画素グループごとに、積算更新部による更新を実行するか否かを制御する制御部とを備える。
　本発明の第２の態様における撮像装置は、上記の撮像ユニットと、撮像ユニットへ送信する撮像指示を生成する撮像指示部と、格納部からの画素信号を処理して画像データを生成する画像処理部とを備える。
　本発明の第３の態様における撮像制御プログラムは、撮像部を構成する少なくとも一部の画素が、１フレームの画像データを生成するための撮像指示に対して複数回の電荷蓄積を実行する電荷蓄積ステップと、電荷蓄積ステップにおける画素からの出力に基づく画素信号を格納部に格納する格納ステップと、画素を１つ以上含む画素グループごとに格納部に格納された画素信号の更新を実行するか否かを判断する判断ステップと、判断ステップで更新を実行すると判断した場合に、電荷ステップにおける新たな電荷蓄積により画素から出力された画素信号と、格納ステップにより既に格納部に格納された画素信号とを積算処理して、既に格納部に格納された画素信号を更新する更新ステップとをコンピュータに実行させる。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る裏面照射型のＭＯＳ型撮像素子の断面図である。 撮像チップの画素配列と単位グループを説明する図である。 撮像チップの単位グループに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 主に信号処理チップの具体的構成を示すブロック図である。 本実施形態に係る撮像装置の構成を示すブロック図である。 シーンの例と領域分割を説明する図である。 分割された領域ごとの電荷蓄積制御を説明する図である。 撮影動作の処理を示すフロー図である。 分割された領域ごとの他の電荷蓄積制御を説明する図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、本実施形態に係る裏面照射型の撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
　なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
　撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配された複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
　ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。
　カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
　配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
　配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
　同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
　なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの画素グループに対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。
　信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられて良い。
　図２は、撮像チップ１１３の画素配列と単位グループ１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する４画素×４画素の１６画素が一つのグループを形成する。図の格子線は、隣接する画素がグループ化されて単位グループ１３１を形成する概念を示す。
　画素領域の部分拡大図に示すように、単位グループ１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
　図３は、撮像チップ１１３の単位グループ１３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。
　上述のように、単位グループ１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。
　各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。
　各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けても良いし、信号処理チップ１１１側に設けても良い。
　ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位はリセットされる。
　ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。
　図示するように、本実施形態においては、単位グループ１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位グループ１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５が選択パルスによって順次印加されて、選択的に出力配線３０９に出力される。
　このように単位グループ１３１を基準として回路を構成することにより、単位グループ１３１ごとに電荷蓄積時間を制御することができる。単位グループごとに電荷蓄積時間を制御できるので、隣接する単位グループ１３１同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。さらには、全ての単位グループ１３１について共通の電荷蓄積時間を設定しておき、ある単位グループ１３１については、１回分の電荷蓄積と画素信号出力を実行させ、隣接する単位グループ１３１については、２回分の電荷蓄積と画素信号出力を繰り返させるといった制御もできる。後者のような、共通の単位時間による電荷蓄積および画素信号出力の繰り返し制御を単位時間制御という。なお、単位時間制御を行う場合であって、電荷蓄積の開始時点および終了時点を、全ての単位グループ１３１で同期させるのであれば、リセット配線３０６は、撮像チップ１１３上の全てのリセットトランジスタ３０３に対して共通接続されて良い。
　本実施形態においては、単位時間制御について詳細に説明する。特に、一度の撮像指示に対して、電荷蓄積と画素信号出力の繰り返し回数を単位グループ１３１間で異ならせる制御について説明する。
　図４は、撮像素子１００の機能的構成を示すブロック図である。特にここでは画素信号の流れを説明する。
　アナログのマルチプレクサ４１１は、単位グループ１３１を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。
　マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換は、入力されるアナログ画素信号を、１２ｂｉｔのデジタル画素信号に変換する。Ａ／Ｄ変換された画素信号は、同じく信号処理チップ１１１に形成された、演算回路４１５に引き渡される。演算回路４１５は、受け取った画素信号に後述の積算処理等を施して、デマルチプレクサ４１３へ引き渡す。
　デマルチプレクサ４１３は、受け取った画素信号をそれぞれの画素に対応する画素メモリ４１４に格納する。画素メモリ４１４のそれぞれは、後述の積算処理を実行した後の画素信号を格納できる容量を有する。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。
　演算回路４１５は、積算処理に用いる対応する画素信号を、デマルチプレクサ４１３を介して画素メモリ４１４から読み出す。あるいは、外部からの引渡要求に従って、デマルチプレクサ４１３を介して画素メモリ４１４から読み出した画素信号を、後段の画像処理部に引き渡す。なお、演算回路４１５は、メモリチップ１１２に設けられても良い。
　また、図では１グループ分の画素信号の流れを示すが、実際にはこれらがグループごとに存在して、並列で動作する。ただし、演算回路４１５はグループごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれのグループに対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理しても良い。
　次に、主に信号処理チップ１１１の具体的な構成の一例について説明する。図５は、主に信号処理チップ１１１の具体的構成を示すブロック図である。
　信号処理チップ１１１は、分担化された制御機能としてのセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４と、これらの各制御部を統括制御する駆動制御部４２０とを含む。駆動制御部４２０は、撮像装置全体の統合制御を担うシステム制御部５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。
　センサ制御部４４１は、撮像チップ１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部４４１は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線３０９へ出力させる。
　ブロック制御部４４２は、撮像チップ１１３へ送出する、制御対象となる単位グループ１３１を特定する特定パルスの送出を実行する。システム制御部５０１は、後述するように、被写界であるシーンの特性等に応じて撮像チップ１１３の画素領域を、それぞれが１つ以上の単位グループ１３１を含むように、複数のブロックに分割する。同一のブロックに含まれる画素は、同一の単位時間制御が実行される。すなわち、同一のブロックに含まれる画素は、一度の撮像指示に対して、同じ回数の電荷蓄積と画素信号出力を繰り返す。そこで、ブロック制御部４４２は、駆動制御部４２０からの指定に基づいて対象となる単位グループ１３１に特定パルスを送出することにより、単位グループ１３１をブロック化する役割を担う。各画素がＴＸ配線３０７およびリセット配線３０６を介して受ける転送パルスおよびリセットパルスは、センサ制御部４４１が送出する各パルスとブロック制御部４４２が送出する特定パルスの論理積となる。駆動制御部４２０からの具体的なブロック化指定については、後に詳述する。
　同期制御部４４３は、同期信号を撮像チップ１１３へ送出する。各パルスは、同期信号に同期して撮像チップ１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一の単位グループ１３１に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。
　信号制御部４４４は、主にＡ／Ｄ変換器４１２ｂに対するタイミング制御を担う。出力配線３０９を介して出力された画素信号は、マルチプレクサ４１１を経てＣＤＳ回路４１２ａおよびＡ／Ｄ変換器４１２ｂに入力される。Ａ／Ｄ変換器４１２ｂは、信号制御部４４４によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、演算回路４１５に引き渡され、後述の積算処理等が施される。積算処理等が施された画素信号は、メモリチップ１１２のデマルチプレクサ４１３に引き渡され、そしてそれぞれの画素に対応する画素メモリ４１４にデジタルデータの画素値として格納される。
　信号処理チップ１１１は、いずれの単位グループ１３１を組み合わせてブロックを形成するかについてのブロック区分情報と、形成されたそれぞれのブロックが何回の電荷蓄積と画素信号出力を繰り返すかについての蓄積回数情報とを格納する、蓄積制御メモリとしてのタイミングメモリ４３０を有する。タイミングメモリ４３０は、例えばフラッシュＲＡＭによって構成される。
　後述するように、いずれの単位グループを組み合わせてブロックを形成するかについては、例えば、一連の撮影シーケンスに先立って実行されるシーンの輝度分布検出の検出結果に基づいて、システム制御部５０１により決定される。決定されたブロックは、例えば第１ブロック、第２ブロック…のように区分され、それぞれのブロックがいずれの単位グループ１３１を包含するかにより規定される。駆動制御部４２０は、このブロック区分情報をシステム制御部５０１から受け取り、タイミングメモリ４３０へ格納する。
　システム制御部５０１は、例えば、輝度分布の検出結果に基づいて、各ブロックが何回の電荷蓄積と画素信号出力を繰り返すかを決定する。駆動制御部４２０は、この繰り返し回数情報をシステム制御部５０１から受け取り、対応するブロック区分情報と対でタイミングメモリ４３０へ格納する。このようにタイミングメモリ４３０へブロック区分情報と繰り返し回数情報を格納することにより、駆動制御部４２０は、一連の電荷蓄積制御を、タイミングメモリ４３０を逐次参照して独立して実行し得る。すなわち、駆動制御部４２０は、１枚の画像取得制御において撮像指示の信号をシステム制御部５０１から一旦受け取ると、その後は各画素の制御についてその都度システム制御部５０１から指示を受けること無く、蓄積制御を完了させることができる。
　駆動制御部４２０は、更新されるブロック区分情報と繰り返し回数情報をシステム制御部５０１から受け取って、タイミングメモリ４３０の記憶内容を適宜更新する。例えば、駆動制御部４２０は、撮像準備指示または撮像指示に同期して、タイミングメモリ４３０を更新する。このように構成することにより、より高速な電荷蓄積制御を実現すると共に、駆動制御部４２０が電荷蓄積制御を実行している間に、システム制御部５０１は他の処理を並行して実行し得る。
　駆動制御部４２０は、撮像チップ１１３に対する電荷蓄積制御を実行するに留まらず、読み出し制御の実行においてもタイミングメモリ４３０を参照する。例えば、駆動制御部４２０は、各ブロックの繰り返し回数情報を参照して、すでに画素メモリ４１４に格納されている画素信号を読み出し、演算回路４１５へ引き渡す。更には、演算回路４１５が演算処理を施した画素信号を、再度当該画素メモリ４１４に格納する。すなわち、画素メモリ４１４の画素信号を更新する。
　また、駆動制御部４２０は、システム制御部５０１からの引渡要求に従って、対象画素信号を演算回路４１５およびデマルチプレクサ４１３を介して画素メモリ４１４から読み出し、撮像装置に設けられた画像処理部５１１へ引き渡す。画素メモリ４１４には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部５０１から駆動制御部４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。
　データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。
　このように構成することにより、画像処理部５１１は、必要な画素信号に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。また、演算回路４１５に積算処理を実行させる場合には、画像処理部５１１が積算処理を実行しなくて良いので、機能分担と並行処理により、画像処理の高速化を図ることができる。
　図６は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸Ｏに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像素子１００、システム制御部５０１、測光部５０３、ワークメモリ５０４、記録部５０５、および表示部５０６を主に備える。システム制御部５０１は、ユーザからの指示を受けて、撮像素子１００へ送信する撮像指示を生成する撮像指示部の機能を担う。
　撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図６では瞳近傍に配置された仮想的な１枚のレンズで代表して表している。上述の通り、撮像素子１００の駆動制御部４２０は、システム制御部５０１からの指示に従って撮像素子１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。
　撮像素子１００は、画素信号をシステム制御部５０１の画像処理部５１１へ引き渡す。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。なお、画像処理部５１１は、システム制御部５０１とは独立したＡＳＩＣとして構成されても良い。
　測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従って上述の単位時間、絞り値、ＩＳＯ感度を決定する。本実施形態において演算部５１２は、更に、撮像チップ１１３のどの画素グループ領域に決定した単位時間により何回の電荷蓄積と画素信号出力を繰り返させるかを決定する。また、演算部５１２は、最大の繰り返し回数が割り当てられた画素グループ領域の電荷蓄積が終了するまでの時間を計算して、シャッタの開閉タイミングを決定する。なお、演算部５１２は、撮像装置５００を動作させるための各種演算も実行する。
　図７は、シーンの例と領域分割を説明する図である。図７（ａ）は、撮像チップ１１３の画素領域が捉えるシーンを示す。具体的には、屋内環境に含まれるシャドウ被写体６０１および中間被写体６０２と、窓枠６０４の内側に観察される屋外環境のハイライト被写体６０３とが同時に写り込むシーンである。このような、ハイライト部からシャドウ部までの明暗差が大きなシーンを撮影する場合、従来の撮像素子であれば、ハイライト部を基準として電荷蓄積を実行するとシャドウ部で黒潰れが生じ、シャドウ部を基準として電荷蓄積を実行するとハイライト部で白飛びが生じた。すなわち、ハイライト部もシャドウ部も一律に一度の電荷蓄積により画像信号を出力させるには、明暗差の大きなシーンに対してフォトダイオードのダイナミックレンジが不足していると言える。そこで、本実施形態においては、シーンをハイライト部、シャドウ部といった部分領域に分割して、それぞれの領域に対応するフォトダイオードの電荷蓄積と画素信号読み出しの繰り返し回数を互いに異ならせることにより、ダイナミックレンジの実質的な拡大を図る。
　図７（ｂ）は、撮像チップ１１３の画素領域における領域分割を示す。演算部５１２は、測光部５０３が捉えた図７（ａ）のシーンを解析して、輝度を基準に画素領域を分割する。例えば、システム制御部５０１は、測光部５０３に露光時間を変更しつつ複数回のシーン取得を実行させ、演算部５１２は、その白飛び領域、黒潰れ領域の分布の変化を参照して画素領域の分割ラインを決定する。図７（ｂ）の例においては、演算部５１２は、シャドウ領域６１１、中間領域６１２、およびハイライト領域６１３の３領域に分割している。
　分割ラインは、単位グループ１３１の境界に沿って定義される。すなわち、分割された各領域は、整数個の単位グループ１３１をそれぞれ含む。そして、同一の領域に包含される各グループの画素は、演算部５１２によって決定された単位時間による同一回数の電荷蓄積および画素信号出力を行う。属する領域が異なれば、異なる回数の電荷蓄積および画素信号出力を行う。
　図８は、図７の例による分割された領域ごとの単位制御を説明する図である。ここでは、演算部５１２が、測光部５０３の出力を受けて、中間領域６１２のＥＶ値とハイライト領域６１３のＥＶ値との差が約１段分であり、また、シャドウ領域６１１のＥＶ値と中間領域６１２のＥＶ値との差が同じく約１段分であると算出した場合を説明する。
　演算部５１２は、ユーザから撮影準備指示を受けると、測光部５０３の出力から１回あたりの電荷蓄積時間である共通の単位時間Ｔ０を決定する。ここでは、単位時間Ｔ０は、１回の電荷蓄積によりハイライト領域６１３の画素が飽和しないように、ハイライト領域６１３のＥＶ値から決定される。例えば、ハイライト領域６１３の中でも最も明るい部分に対応する画素において、１回の電荷蓄積動作により蓄積可能な８割から９割の電荷が蓄積されることを基準として、単位時間Ｔ０が決定される。このとき、出力される画素信号の増幅率に相関するＩＳＯ感度、および撮影レンズ５２０に設けられた絞りの絞り値は、演算部５１２により、決定された単位時間Ｔ０に応じて、ハイライト領域６１３が適正露出となるように算出される。なお、ＩＳＯ感度は、全ての画素に共通に設定される。
　演算部５１２は、算出したハイライト領域６１３のＥＶ値と中間領域６１２のＥＶ値の差を参照して、中間領域６１２の繰り返し回数を２回とする。すなわち、単位時間Ｔ０の電荷蓄積と、その電荷蓄積による画素信号読み出しを２回繰り返させる。同様に、演算部５１２は、算出したハイライト領域６１３のＥＶ値とシャドウ領域６１１のＥＶ値の差を参照して、シャドウ領域６１１の電荷蓄積回数を４回とする。すなわち、単位時間Ｔ０の電荷蓄積と、その電荷蓄積による画素信号読み出しを４回繰り返させる。後述するように、繰り返し読み出された画素信号は、演算回路４１５で順次足し合わされて画素メモリ４１４に格納される。
　ユーザから撮像指示を時刻ｔ＝０で受けると、駆動制御部４２０は、いずれの領域に属するグループの画素に対しても、リセットパルスと転送パルスを印加する。この印加をトリガーとして、いずれの画素も電荷蓄積を開始する。
　時刻ｔ＝Ｔ０となったら、駆動制御部４２０は、全ての画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。駆動制御部４２０は、Ａ／Ｄ変換器４１２ｂによりそれぞれの画素信号をデジタル信号に変換して、演算回路４１５を通過させ、それぞれ対応する画素メモリ４１４に格納する。この処理により、１回目の単位制御が完了する。そして、ハイライト領域６１３に属するグループの画素に対する処理を終了する。この時点で、ハイライト領域６１３の画素に対応する画素メモリ４１４に格納された画素信号から生成される画像は、白飛びおよび黒潰れがほとんど生じていない、ＰＤ１０４のダイナミックレンジを全体的に利用した適正露出の画像であることが期待できる。
　全ての画素の画素信号を出力させたら、駆動制御部４２０は、中間領域６１２とシャドウ領域６１１に属するグループの画素に対して、時刻ｔ＝Ｔ０のタイミングで再びリセットパルスと転送パルスを印加して、２回目の電荷蓄積を開始させる。なお、画素信号の選択出力には時間を要するので、１回目の電荷蓄積の終了と２回目の電荷蓄積の開始の間には時間差が生じる。この時間差が実質的に無視し得ないのであれば、その時間分を遅延させて２回目の電荷蓄積を開始すれば良い。
　時刻ｔ＝２Ｔ０となったら、駆動制御部４２０は、中間領域６１２とシャドウ領域６１１に属するグループの画素に対して転送パルスを印加する。そして、これらのグループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。駆動制御部４２０は、Ａ／Ｄ変換器４１２ｂによりそれぞれの画素信号をデジタル信号に変換する。これに並行して、それぞれ対応する既に画素メモリ４１４に格納された１回目の画素信号を読み出す。そして、駆動制御部４２０は、演算回路４１５に、１回目の画素信号と新たに取得した２回目の画素信号とを足し合わせる積算処理を実行させる。駆動制御部４２０は、積算処理により新たに生成された画素信号を、対応する画素メモリ４１４に格納する。これにより、それぞれの画素メモリ４１４は、１回目の画素信号から積算処理された画素信号に更新される。この処理により、２回目の単位制御が完了する。そして、中間領域６１２に属するグループの画素に対する処理を終了する。
　この時点で、中間領域６１２の画素に対応する画素メモリ４１４に格納された画素信号から生成される画像は、白飛びおよび黒潰れがほとんど生じていない、画像データのビット幅を全体的に利用した適正露出の画像であることが期待できる。つまり、１回の単位制御では電荷蓄積時間が十分ではなく、黒潰れが生じがちなアンダー画像となってしまうところ、２回の単位制御を跨いで積算処理を施すことにより、実質的に２Ｔ０の期間の電荷蓄積を行ったのと同等の適正画像を得ることができる。さらには、電荷蓄積を２回に分けることにより、２Ｔ０の期間に渡る１回の電荷蓄積で得られる画像に比べ、ランダムノイズが低減することも期待できる。
　中間領域６１２とシャドウ領域６１１に属するグループの各画素の画素信号を出力させたら、駆動制御部４２０は、シャドウ領域６１１に属するグループの画素に対して、時刻ｔ＝２Ｔ０のタイミングで再びリセットパルスと転送パルスを印加して、３回目の電荷蓄積を開始させる。
　時刻ｔ＝３Ｔ０となったら、駆動制御部４２０は、シャドウ領域６１１に属するグループの画素に対して転送パルスを印加する。そして、このグループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。駆動制御部４２０は、Ａ／Ｄ変換器４１２ｂによりそれぞれの画素信号をデジタル信号に変換する。これに並行して、それぞれ対応する既に画素メモリ４１４に格納された画素信号を読み出す。そして、駆動制御部４２０は、演算回路４１５に、読み出した画素信号と新たに取得した３回目の画素信号とを足し合わせる積算処理を実行させる。駆動制御部４２０は、積算処理により新たに生成された画素信号を、対応する画素メモリ４１４に格納する。これにより、それぞれの画素メモリ４１４は、新たに積算処理された画素信号に更新される。この処理により、３回目の単位制御が完了する。
　続けて、駆動制御部４２０は、シャドウ領域６１１に属するグループの画素に対して、時刻ｔ＝３Ｔ０のタイミングで再びリセットパルスと転送パルスを印加して、４回目の電荷蓄積を開始させる。
　時刻ｔ＝４Ｔ０となったら、駆動制御部４２０は、シャドウ領域６１１に属するグループの画素に対して転送パルスを印加する。そして、このグループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。駆動制御部４２０は、Ａ／Ｄ変換器４１２ｂによりそれぞれの画素信号をデジタル信号に変換する。これに並行して、それぞれ対応する既に画素メモリ４１４に格納された画素信号を読み出す。そして、駆動制御部４２０は、演算回路４１５に、読み出した画素信号と新たに取得した４回目の画素信号とを足し合わせる積算処理を実行させる。駆動制御部４２０は、積算処理により新たに生成された画素信号を、対応する画素メモリ４１４に格納する。これにより、それぞれの画素メモリ４１４は、新たに積算処理された画素信号に更新される。この処理により、４回目の単位制御が完了する。そして、シャドウ領域６１１に属するグループの画素に対する処理を終了する。
　この時点で、シャドウ領域６１１の画素に対応する画素メモリ４１４に格納された画素信号から生成される画像は、白飛びおよび黒潰れがほとんど生じていない、画像データのビット幅を全体的に利用した適正露出の画像であることが期待できる。つまり、１回の単位制御では電荷蓄積時間が十分ではなく、黒潰れが生じがちなアンダー画像となってしまうところ、４回の単位制御に跨いで積算処理を施すことにより、実質的に４Ｔ０の期間の電荷蓄積を行ったのと同等の適正画像を得ることができる。さらには、電荷蓄積を４回に分けることにより、４Ｔ０の期間に渡る１回の電荷蓄積で得られる画像に比べ、ランダムノイズが低減することも期待できる。
　システム制御部５０１は、４回目の電荷蓄積が終了するｔ＝４Ｔ０のタイミングで、シャッタを閉じる。画像処理部５１１は、以上のように処理された各領域の画素信号を繋ぎ合わせて処理することにより、高ダイナミックレンジの画像データを生成する。
　なお、上記で説明した処理においては、駆動制御部４２０は、ある領域において予め定められた回数の単位制御が終了すると、他の領域が単位制御を継続している場合でも、その領域については、その後は電荷蓄積を実行しなかった。しかし、他の領域の単位制御に合わせて、その後も電荷蓄積を実行しても良い。この場合、転送パルスおよび選択パルスの印加による画素信号出力を行わなければ良い。あるいは、画素信号出力を行ったとしても、Ａ／Ｄ変換器４１２ｂによるデジタル信号への変換、演算回路４１５による積算処理、画素メモリ４１４への格納等のいずれかの段階で画素信号を破棄する処理を行えば良い。
　次に、一連の撮影動作処理について説明する。図９は、撮影動作の処理を示すフロー図である。フローは、撮像装置５００の電源がＯＮにされて開始される。
　システム制御部５０１は、ステップＳ１０１で、撮像準備指示であるシャッタスイッチＳＷ１の押し下げがなされるまで待機する。シャッタスイッチＳＷ１の押し下げを検知したらステップＳ１０２へ進む。
　ステップＳ１０２では、システム制御部５０１は、測光処理を実行する。具体的には、測光部５０３の出力を得て、演算部５１２がシーンの輝度分布を算出する。そして、ステップＳ１０３へ進み、上述のように、単位時間、領域分割、繰り返し回数等を決定する。決定されたこれらの情報は、システム制御部５０１から駆動制御部４２０へ送られ、タイミングメモリ４３０で記憶される。
　撮像準備動作が完了したら、ステップＳ１０４へ進み、ユーザからの撮像指示であるシャッタスイッチＳＷ２の押し下げがなされるまで待機する。このとき、経過時間が予め定められた時間Ｔｗを超えたら（ステップＳ１０５のＹＥＳ）、ステップＳ１０１へ戻る。Ｔｗを超える前に（ステップＳ１０５のＮＯ）スイッチＳＷ２の押し下げを検知したら、ステップＳ１０６へ進む。
　駆動制御部４２０は、ステップＳ１０６において、１回目の単位制御として全画素による電荷蓄積を実行する。そして、単位時間の経過後に画素信号出力とＡ／Ｄ変換を実行し（ステップＳ１０７）、変換されたデジタル画素信号を、画素メモリ４１４に格納する（ステップＳ１０８）。
　続いて駆動制御部４２０は、ステップＳ１０９へ進み、２回目の単位制御を実行する対象領域を、タイミングメモリ４３０の領域分割情報を参照して決定する。そして、当該対象領域において電荷蓄積を実行する（ステップＳ１１０）。
　駆動制御部４２０は、単位時間の経過後に２回目の電荷蓄積による画素信号出力とＡ／Ｄ変換を実行する（ステップＳ１１１）。これに並行して、あるいは前後して、駆動制御部４２０は、１回目の単位制御により格納された画素信号を画素メモリ４１４から読み出す（ステップＳ１１２）。そして、駆動制御部４２０は、演算回路４１５に、ステップＳ１１１でＡ／Ｄ変換された画素信号と、ステップＳ１１２で読み出された画素信号とを積算する積算処理を実行させる（ステップＳ１１３）。演算回路４１５によって積算された結果は、新たな画素信号として、ステップＳ１１２で読み出した画素メモリ４１４の値を更新して、格納される（ステップＳ１１４）。
　駆動制御部４２０は、ステップＳ１１５へ進み、ステップＳ１０３で決定された繰り返し回数に到達したか否かを、タイミングメモリ４３０の繰り返し回数情報を参照して判断する。繰り返し回数に達していないと判断したら、ステップＳ１０９へ進み、３回目、４回目…の単位制御（ステップＳ１０９からステップＳ１１４）を実行する。繰り返し回数に達したと判断したら、ステップＳ１１６へ進む。
　ステップＳ１１６では、駆動制御部４２０が単位制御の完了報告をシステム制御部５０１へ対して行い、これに応じて、システム制御部５０１は、駆動制御部４２０に対して画素メモリ４１４に格納された画素信号を画像処理部５１１へ送信させる。画像処理部５１１は画像処理を実行し例えばＪＰＥＧ等の画像データを生成する。システム制御部５０１は、生成された画像データを記録部５０５に記録する記録処理を実行する。
　記録処理が完了したらステップＳ１１７へ進み、撮像装置５００の電源がＯＦＦにされたか否かを判断する。電源がＯＦＦにされていないと判断したらステップＳ１０１へ戻り、ＯＦＦにされたと判断したら一連の撮影動作処理を終了する。
　なお、上記で説明した処理においては、駆動制御部４２０は、単位時間Ｔ０を、ハイライト領域６１３の画素が飽和しない時間として決定した。ハイライト領域６１３は、測光部５０３の測光結果に基づいて決定されるので、駆動制御部４２０は、図９のフローを用いて説明したような撮像タイミングに合わせて、単位時間Ｔ０をその都度決定している。しかし、単位時間Ｔ０は、撮影ごとに動的に変更するのでは無く、予め定められた固定値を採用することもできる。
　例えば、固定値としてＴ０＝１／２５６秒を採用した場合の、図８のシーンに対する単位制御を考える。システム制御部５０１は、測光結果として、ハイライト領域６１３を適正露出とする電荷蓄積時間を１／６４秒、中間領域６１２を適正露出とする電荷蓄積時間を１／３２秒、シャドウ領域６１１を適正露出とする電荷蓄積時間を１／１６秒と算出した場合を想定する。この場合、ハイライト領域６１３に対しては、（１／６４）÷（１／２５６）＝４回、中間領域６１２に対しては、（１／３２）÷（１／２５６）＝８回、シャドウ領域６１１に対しては、（１／１６）÷（１／２５６）＝１６回の繰り返し回数を決定すれば良い。
　ここで、固定値としての単位時間Ｔ０は、これより短時間の電荷蓄積を行えないことになるので、明るいシーンに対しても単位時間制御が行えるように、比較的短い時間に設定することが好ましい。ただし、本実施形態においてはＡ／Ｄ変換後のデジタルの画素信号で積算処理を実行するので、単位時間Ｔ０の電荷蓄積によりシャドウ部においても１以上の値を持つように、Ａ／Ｄ変換器４１２ｂの量子化ビット数を増やしておくべきである。この場合、画素メモリ４１４も、当該量子化ビット数に合わせて格納サイズが設定される。ここで、画像処理部５１１で処理されるビット数と画素メモリ４１４に格納される画素信号のビット数が異なる場合は、システム制御部５０１からの引渡要求に同期して、演算回路４１５によりビット変換を行った後に画素信号を画像処理部５１１へ引き渡せば良い。
　さらに、測光部５０３の測光結果を利用すること無く、単位制御を実行することもできる。具体的には、画素メモリ４１４から画素信号を読み出して単位グループごとの平均値、あるいは、隣接する単位グループも含めた例えば縦横５×５＝２５グループごとの平均値を逐次算出しつつ、これが閾値を超えたか否かにより、更なる単位制御を行うか否かを決定する。すなわち、単位制御を繰り返した結果、明るい画像となったと考えられる領域はそれ以上の単位制御を行わず、まだ暗い画像であると考えられる領域は更なる単位制御を続ける。このような平均値判断を行うことによっても、それぞれの領域の画像を適正露出に近い画像とすることができる。この場合、画素メモリ４１４に格納された画素信号を画像処理部５１１へ引き渡すときには、繰り返し回数で正規化すれば良い。具体的には、例えばそれぞれの画素信号を繰り返し回数で割った値とすれば良い。なお、閾値を超えたか否かの判断を行う対象となる値は、平均値に限らず、さまざまな統計処理により算出された算出値を利用することができる。
　本実施形態における撮像装置５００の構成によれば、領域ごとに適正露出にすべく単位制御を実行するに留まらず、さまざまな画像効果との関係において単位制御を実行することができる。例えば、単位時間Ｔ０を、手振れが生じにくい比較的短い時間に設定しておき、像ずれが許容量を超えるまで単位制御の繰り返しを実行することができる。この場合、像ずれ量の検出は動作検出部の検出結果を用いることができる。動作検出部は、例えば測光センサの出力を利用するのであれば測光部５０３が担うこともできるし、別途設けられた他の動き検出センサが担うこともできる。このような単位時間制御によれば、像振れの少ない画像を得ることができる。なお、予定された電荷蓄積時間に到達しないことによる明るさの不足分は、画素信号を増幅することにより調整すれば良い。
　また、領域ごとに排他的に単位制御を実行することもできる。例えば図８の例において、１回目の単位制御はハイライト領域６１３に対してのみを行い、続く２回目と３回目の単位制御は中間領域６１２に対してのみ行い、続く４回目から７回目の単位制御はシャドウ領域６１１に対してのみを行うことができる。このように領域ごとに排他的に単位制御を実行すれば、例えば領域ごとに絞り値などの光学条件を変更した、多彩な画像を取得することができる。より具体的には、滝の流れる領域に対しては絞りを絞って単位制御をより多く繰り返し、その周辺に存在する木々の領域に対しては絞りを開いて少ない単位制御を実行することができる。このような制御によれば、１枚の画像の中に異なるシャッタ速度の像を共存させることができるので、従来に無い画像を一度の撮像指示により取得することができる。なお、例えばライブビュー画像を通じてユーザから予め指示を受け付ければ、シーンのどの領域に何回の単位制御を繰り返させるかを事前に定めることができる。
　以上説明した各実施形態においては、静止画像を前提として説明したが、もちろんフレームごとに同様の単位制御をおこなうことにより、動画像を生成することもできる。また、デジタルカメラ専用機に限らず、もちろん携帯電話、情報端末、ＰＣ等の電子機器に組み込まれたカメラユニットに対しても上述の処理を実行させることができる。
　さらにバリエーションについて説明する。図１０は、別実施例としての、分割された領域ごとの電荷蓄積制御を説明する図である。ここでは、図８の例と同様に、演算部５１２が、測光部５０３の出力を受けて、中間領域６１２のＥＶ値とハイライト領域６１３のＥＶ値との差が約１段分であり、また、シャドウ領域６１１のＥＶ値と中間領域６１２のＥＶ値との差が同じく約１段分であると算出した場合を説明する。演算部５１２は、ユーザから撮影準備指示を受けると、図８の例と同様に、測光部５０３の出力から１回あたりの電荷蓄積時間である共通の単位時間Ｔ０を決定する。
　演算部５１２は、算出したハイライト領域６１３のＥＶ値と中間領域６１２のＥＶ値の差を参照して、中間領域６１２において必要な電荷蓄積回数を２回と決定する。同様に、演算部５１２は、算出したハイライト領域６１３のＥＶ値とシャドウ領域６１１のＥＶ値の差を参照して、シャドウ領域６１１において必要な電荷蓄積回数を４回と決定する。ここで、本実施例においては、シャドウ領域６１１において決定された、すなわち必要と決定された電荷蓄積回数の最大値である４回を、全領域における電荷蓄積回数とする。つまり、ハイライト領域６１３、中間領域６１２、シャドウ領域６１１の全領域において、単位時間Ｔ０の電荷蓄積と、その電荷蓄積による画素信号読み出しを４回繰り返させる。
　ユーザから撮像指示を時刻ｔ＝０で受けると、駆動制御部４２０は、いずれの領域に属するグループの画素に対しても、リセットパルスと転送パルスを印加する。この印加をトリガーとして、いずれの画素も電荷蓄積を開始する。
　時刻ｔ＝Ｔ０となったら、駆動制御部４２０は、全ての画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。駆動制御部４２０は、Ａ／Ｄ変換器４１２ｂによりそれぞれの画素信号をデジタル信号に変換して、演算回路４１５を通過させ、それぞれ対応する画素メモリ４１４に格納する。この処理により、１回目の単位制御が完了する。
　全ての画素の画素信号を出力させたら、駆動制御部４２０は、再び全領域の画素に対して、時刻ｔ＝Ｔ０のタイミングで再びリセットパルスと転送パルスを印加して、２回目の電荷蓄積を開始させる。なお、画素信号の選択出力には時間を要するので、１回目の電荷蓄積の終了と２回目の電荷蓄積の開始の間には時間差が生じる。この時間差が実質的に無視し得ないのであれば、その時間分を遅延させて２回目の電荷蓄積を開始すれば良い。
　時刻ｔ＝２Ｔ０となったら、駆動制御部４２０は、全ての画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。駆動制御部４２０は、Ａ／Ｄ変換器４１２ｂによりそれぞれの画素信号をデジタル信号に変換する。これに並行して、それぞれ対応する既に画素メモリ４１４に格納された１回目の画素信号を読み出す。そして、駆動制御部４２０は、演算回路４１５に、１回目の画素信号と新たに取得した２回目の画素信号とを足し合わせる積算処理を実行させる。駆動制御部４２０は、積算処理により新たに生成された画素信号を、対応する画素メモリ４１４に格納する。これにより、それぞれの画素メモリ４１４は、１回目の画素信号から積算処理された画素信号に更新される。この処理により、２回目の単位制御が完了する。
　同様に、時刻ｔ＝２Ｔ０から３Ｔ０の間に３回目の電荷蓄積および画素信号読み出しを行い、時刻ｔ＝３Ｔ０から４Ｔ０の間に４回目の電荷蓄積および画素信号読み出しを行う。４回目の積算処理が終了した時点で、ハイライト領域６１３においては、１回の電荷蓄積で足りるところを４回繰り返しているので、積算処理した画素信号の値を１／４とする演算を行う。単位時間Ｔ０は、上述のように、ハイライト領域６１３の中でも最も明るい部分に対応する画素において、１回の電荷蓄積動作により蓄積可能な８割から９割の電荷が蓄積されることを基準として定められているので、それぞれの電荷蓄積において飽和することはない。したがって、積算処理した画素信号の値を１／４にして得られるハイライト領域６１３の画像は、白飛びおよび黒潰れがほとんど生じていない、ＰＤ１０４のダイナミックレンジを全体的に利用した適正露出の画像であることが期待できる。
　同様に、４回目の積算処理が終了した時点で、中間領域６１２においては、２回の電荷蓄積で足りるところを４回繰り返しているので、積算処理した画素信号の値を１／２とする演算を行う。積算処理した画素信号の値を１／２にして得られる中間領域６１２の画像は、白飛びおよび黒潰れがほとんど生じていない、画像データのビット幅を全体的に利用した適正露出の画像であることが期待できる。
　また、４回積算処理した画素信号から得られるシャドウ領域６１１の画像は、白飛びおよび黒潰れがほとんど生じていない、画像データのビット幅を全体的に利用した適正露出の画像であることが期待できる。つまり、１回の単位制御では電荷蓄積時間が十分ではなく、黒潰れが生じがちなアンダー画像となってしまうところ、４回の単位制御に跨いで積算処理を施すことにより、実質的に４Ｔ０の期間の電荷蓄積を行ったのと同等の適正画像を得ることができる。
　本実施例におけるこのような電荷蓄積制御を行うと、４Ｔ０の期間の間に被写体が領域間を跨いで移動するような場合でも、領域の境界において被写体像が不連続となるような不自然な画像にはならない。例えば、太陽光が車体の一部に当たった移動する自動車を撮影する場合でも、撮影画像において輝点の軌跡が領域間で途切れることがない。
　なお、以上の制御においては、すべての積算処理を終えてから、ハイライト領域６１３では１／４とし、中間領域６１２では１／２とする演算を行った。しかし、それぞれの画素信号をデジタル信号に変換して、それぞれに対応する画素メモリ４１４に格納する段階において、演算回路４１５が、ハイライト領域６１３の画素に対しては１／４とし、中間領域６１２の画素に対しては１／２とする演算を行っても良い。つまり、各回の画素信号読み出し処理において、領域ごとに低減演算を行っても良い。このように処理しても、上記と同様の効果が得られる。
　さらに別のバリエーションについて説明する。図８を用いて説明した実施例においては、システム制御部５０１は、測光部５０３の出力からシーンの輝度分布を算出して、単位時間Ｔ０、領域分割、繰り返し回数を決定した。しかし、測光部５０３の出力結果を得なくても、これらを決定することができる。
　システム制御部５０１は、例えば、ビューファインダとして用いていたライブビュー画像から単位時間Ｔ０を決める。このとき、ハイライト部が白飛びしないように、ライブビュー画像を取得するためのシャッタ速度よりも短い時間とすると良い。そして、ユーザから撮像指示であるシャッタスイッチＳＷ２の押し下げ操作を受けたら、システム制御部５０１は、まず１回目の電荷蓄積および画素信号読み出しを行う。そして、ここで得られた画素信号のレベルを解析して、領域を分割し、その分割された領域ごとの電荷蓄積の繰り返し回数を決定する。具体的には、例えば、蓄積可能な５０％以上の電荷が蓄積された画素が多数を占める領域を１回の蓄積制御で終了する領域と定め、２５％以上５０％未満の電荷が蓄積された画素が多数を占める領域を２回の蓄積制御で終了する領域と定め、２５％未満の電荷が蓄積された画素が多数を占める領域を４回の蓄積制御で終了する領域と定める。そして、２回目以降の電荷蓄積および画素信号読み出しを継続して実行する。このように制御すれば、測光部５０３を独立して設けなくても良い。あるいは、撮影モードの特性に合わせて、測光部５０３の出力を用いた制御とこのような制御を切り替えることもできる。
　あるいは、システム制御部５０１は、１回目の電荷蓄積および画素信号読み出しにおいては領域分割までを実行し、それぞれの領域ごとに次の電荷蓄積および画素信号読み出しを行うか否かを各回の信号読み出し後に判断するように制御することもできる。すなわち、システム制御部５０１は、ある領域においてｍ（自然数）回の電荷蓄積および画素信号読み出しが終了した時に、積算処理後の画素信号の値が予め定められた範囲に入っていればｍ＋１回目の電荷蓄積を行わず終了し、入っていなければｍ＋１回目の電荷蓄積を実行する。また、別の領域においてｎ（自然数）回の電荷蓄積および画素信号読み出しが終了した時に、積算処理後の画素信号の値が予め定められた範囲に入っていればｎ＋１回目の電荷蓄積を行わず終了し、入っていなければｎ＋１回目の電荷蓄積を実行する。
　また上述において、測光部５０３の測光結果を用いず、単位グループごとの平均値等を逐次算出しつつ、これが閾値を超えたか否かにより、更なる単位制御を行うか否かを決定する例を説明したが、この制御において閾値を蓄積回数に応じて変更しても良い。具体的には、蓄積回数が増えるに従って、閾値を徐々に小さくする。閾値を徐々に小さくすることにより、シャドウ領域とハイライト領域の明るさが逆転することのない、自然な画像を生成することができる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１００　撮像素子、１０１　マイクロレンズ、１０２　カラーフィルタ、１０３　パッシベーション膜、１０４　ＰＤ、１０５　トランジスタ、１０６　ＰＤ層、１０７　配線、１０８　配線層、１０９　バンプ、１１０　ＴＳＶ、１１１　信号処理チップ、１１２　メモリチップ、１１３　撮像チップ、１３１　単位グループ、３０２　転送トランジスタ、３０３　リセットトランジスタ、３０４　増幅トランジスタ、３０５　選択トランジスタ、３０６　リセット配線、３０７　ＴＸ配線、３０８　デコーダ配線、３０９　出力配線、３１０　Ｖｄｄ配線、３１１　負荷電流源、４１１　マルチプレクサ、４１２　信号処理回路、４１３　デマルチプレクサ、４１４　画素メモリ、４１５　演算回路、４２０　駆動制御部、４３０　タイミングメモリ、４４１　センサ制御部、４４２　ブロック制御部、４４３　同期制御部、４４４　信号制御部、５００　撮像装置、５０１　システム制御部、５０３　測光部、５０４　ワークメモリ、５０５　記録部、５０６　表示部、５１１　画像処理部、５１２　演算部、６０１　シャドウ被写体、６０２　中間被写体、６０３　ハイライト被写体、６０４　窓枠、６１１　シャドウ領域、６１２　中間領域、６１３　ハイライト領域

Claims (16)

  1. 　少なくとも１つの画素を含む第１画素グループと、
    　前記第１画素グループの画素とは異なる少なくとも１つの画素を含む第２画素グループと、
    　前記第１画素グループの電荷蓄積回数と前記第２画素グループの電荷蓄積回数とを異ならせることで、前記第１画素グループに対する電荷蓄積時間と、前記第２画素グループに対する電荷蓄積時間とが異なるように制御する制御部と
    を備える撮像ユニット。
  2. 　前記制御部は、前記第１画素グループのｍ（ｍは自然数）回の電荷蓄積による画素信号に応じて前記第１画素グループのｍ＋１回目の電荷蓄積を制御し、前記第２画素グループのｎ（ｎは自然数）回の電荷蓄積による画素信号に応じて前記第２画素グループのｎ＋１回目の電荷蓄積を制御する請求項１記載の撮像ユニット。
  3. 　前記制御部は、前記第１画素グループのｍ回の電荷蓄積による画素信号と閾値とを比較した結果に応じて前記第１画素グループのｍ＋１回目の電荷蓄積を制御し、前記第２画素グループのｎ回の電荷蓄積による画素信号と前記閾値とを比較した結果に応じて前記第２画素グループのｎ＋１回目の電荷蓄積を制御する請求項１または２に記載の撮像ユニット。
  4. 　前記第１画素グループから出力された画素信号を格納する第１格納部と、
    　前記第２画素グループから出力された画素信号を格納する第２格納部と、
    　前記第１格納部に格納されている前記画素信号と、次の電荷蓄積により前記第１画素グループから出力された画素信号とを加算した信号を前記第１格納部に格納する第１信号処理部と、
    　前記第２格納部に格納されている前記画素信号と、次の電荷蓄積により前記第２画素グループから出力された画素信号とを加算した信号を前記第２格納部に格納する第２信号処理部と
    を備える請求項１記載の撮像ユニット。
  5. 　少なくとも１つの画素を含む第１画素グループと、
    　前記第１画素グループの画素とは異なる少なくとも１つの画素を含む第２画素グループと、
    　前記第１画素グループのｍ（ｍは自然数）回の電荷蓄積による画素信号に応じて前記第１画素グループのｍ＋１回目の電荷蓄積を制御し、前記第２画素グループのｎ（ｎは自然数）回の電荷蓄積による画素信号に応じて前記第２画素グループのｎ＋１回目の電荷蓄積を制御する制御部と
    を備える撮像ユニット。
  6. 　複数回の電荷蓄積を行う少なくとも１つの画素を含む第１画素グループと、
    　前記第１画素グループの画素とは異なる複数回の電荷蓄積を行う少なくとも１つの画素を含む第２画素グループと、
    　前記第１画素グループから出力された画素信号を格納する第１格納部と、
    　前記第２画素グループから出力された画素信号を格納する第２格納部と、
    　前記第１格納部に格納されている前記画素信号と、次の電荷蓄積により前記第１画素グループから出力された画素信号とを加算した信号を前記第１格納部に格納する第１信号処理部と、
    　前記第２格納部に格納されている前記画素信号と、次の電荷蓄積により前記第２画素グループから出力された画素信号とを加算した信号を前記第２格納部に格納する第２信号処理部と、
    　前記第１格納部に格納されている前記画素信号に応じて、前記第１信号処理部による加算を行うか否かを制御し、前記第２格納部に格納されている前記画素信号に応じて、前記第２信号処理部による加算を行うか否かを制御する制御部と
    を備える撮像ユニット。
  7. 　１フレームの画像データを生成するための撮像指示に対して複数回の電荷蓄積を実行可能な画素を含む撮像部と、
    　前記画素からの出力に基づく画素信号を格納する格納部と、
    　新たな前記電荷蓄積により前記画素から出力された前記画素信号と、既に前記格納部に格納された前記画素信号とを積算処理して、既に前記格納部に格納された前記画素信号を更新する更新部と、
    　前記画素を１つ以上含む画素グループごとに、前記更新部による更新を実行するか否かを制御する制御部と
    を備える撮像ユニット。
  8. 　前記撮像部を含む撮像チップと、前記更新部を含む信号処理チップとが、積層構造により電気的に接続されている請求項７に記載の撮像ユニット。
  9. 　前記撮像部を含む撮像チップと、前記格納部を含むメモリチップとが、積層構造によって電気的に接続されている請求項７または８に記載の撮像ユニット。
  10. 　前記制御部は、被写体の明るさを測る測光部の測光結果に基づいて前記更新を実行するか否かを制御する請求項７から９のいずれか１項に記載の撮像ユニット。
  11. 　前記制御部は、前記画素グループに対応する前記画素信号を統計処理した結果に基づいて前記更新を実行するか否かを制御する請求項７から１０のいずれか１項に記載の撮像ユニット。
  12. 　前記制御部は、被写体の動きを検出する動作検出部の検出結果に基づいて前記更新を実行するか否かを制御する請求項７から１１のいずれか１項に記載の撮像ユニット。
  13. 　前記制御部は、前記画素グループごとに指定される外部回路からの引渡要求に従って、指定された前記画素グループの画素信号を前記格納部から読み出して画像処理部へ引き渡す請求項７から１２のいずれか１項に記載の撮像ユニット。
  14. 　請求項７から１３のいずれか１項に記載の撮像ユニットと、
    　前記撮像ユニットへ送信する前記撮像指示を生成する撮像指示部と、
    　前記格納部からの画素信号を処理して前記画像データを生成する画像処理部と
    を備える撮像装置。
  15. 　前記撮像指示部は、前記電荷蓄積の１回あたりの電荷蓄積時間を決定する請求項１４に記載の撮像装置。
  16. 　撮像部を構成する少なくとも一部の画素が、１フレームの画像データを生成するための撮像指示に対して複数回の電荷蓄積を実行する電荷蓄積ステップと、
    　前記電荷蓄積ステップにおける前記画素からの出力に基づく画素信号を格納部に格納する格納ステップと、
    　前記画素を１つ以上含む画素グループごとに前記格納部に格納された画素信号の更新を実行するか否かを判断する判断ステップと、
    　前記判断ステップで更新を実行すると判断した場合に、前記電荷蓄積ステップにおける新たな前記電荷蓄積により前記画素から出力された前記画素信号と、前記格納ステップにより既に前記格納部に格納された前記画素信号とを積算処理して、既に前記格納部に格納された前記画素信号を更新する更新ステップと
    をコンピュータに実行させる撮像制御プログラム。
PCT/JP2014/001297 2013-03-14 2014-03-07 撮像ユニット、撮像装置および撮像制御プログラム WO2014141663A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN202010141295.XA CN111225161B (zh) 2013-03-14 2014-03-07 摄像元件及摄像装置
CN202010141294.5A CN111314632B (zh) 2013-03-14 2014-03-07 摄像单元及摄像装置
JP2015505279A JP6578942B2 (ja) 2013-03-14 2014-03-07 撮像ユニット、電子機器、プログラム、および制御方法
EP14765589.8A EP2975839B1 (en) 2013-03-14 2014-03-07 Image-capturing unit, image-capturing device, and image-capture control program
CN202010141293.0A CN111327804B (zh) 2013-03-14 2014-03-07 摄像元件及摄像装置
CN201480024545.4A CN105165005B (zh) 2013-03-14 2014-03-07 摄像单元、摄像装置及摄像控制程序
US14/851,785 US20150381910A1 (en) 2013-03-14 2015-09-11 Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program
US15/800,493 US10750106B2 (en) 2013-03-14 2017-11-01 Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program
US16/915,016 US11553144B2 (en) 2013-03-14 2020-06-29 Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program
US18/080,059 US20230107373A1 (en) 2013-03-14 2022-12-13 Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013052202 2013-03-14
JP2013-052202 2013-03-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/851,785 Continuation US20150381910A1 (en) 2013-03-14 2015-09-11 Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program

Publications (1)

Publication Number Publication Date
WO2014141663A1 true WO2014141663A1 (ja) 2014-09-18

Family

ID=51536342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/001297 WO2014141663A1 (ja) 2013-03-14 2014-03-07 撮像ユニット、撮像装置および撮像制御プログラム

Country Status (5)

Country Link
US (4) US20150381910A1 (ja)
EP (1) EP2975839B1 (ja)
JP (4) JP6578942B2 (ja)
CN (4) CN111225161B (ja)
WO (1) WO2014141663A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3588940B1 (en) * 2013-07-04 2023-03-22 Nikon Corporation Electronic apparatus, method for controlling electronic apparatus, and control program
US9961271B2 (en) 2013-11-26 2018-05-01 Nikon Corporation Electronic device, imaging device, and imaging element
FR3046897B1 (fr) * 2016-01-19 2018-01-19 Teledyne E2V Semiconductors Sas Procede de commande d'un capteur d'image a pixels actifs
WO2017169446A1 (ja) * 2016-03-29 2017-10-05 株式会社ニコン 撮像素子および撮像装置
CN114339036A (zh) * 2017-03-30 2022-04-12 株式会社尼康 摄像元件及摄像装置
US11451724B2 (en) * 2019-11-19 2022-09-20 Canon Kabushiki Kaisha Imaging device and imaging system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03143080A (ja) * 1989-10-27 1991-06-18 Olympus Optical Co Ltd 測光装置
JPH07298142A (ja) * 1994-04-25 1995-11-10 Canon Inc 階調制御機能を有する撮像装置
JPH1118002A (ja) * 1997-06-23 1999-01-22 Mitsubishi Electric Corp 撮像装置
JP2002277922A (ja) * 2001-03-16 2002-09-25 Ricoh Co Ltd 自動露出制御方法、自動露出制御装置およびデジタルカメラ
JP2005065119A (ja) * 2003-08-19 2005-03-10 Hitachi Ltd 撮像装置及び方法
JP2006049361A (ja) 2004-07-30 2006-02-16 Sony Corp 半導体モジュール及びｍｏｓ型固体撮像装置
JP2006333229A (ja) * 2005-05-27 2006-12-07 Canon Inc 撮像装置、カメラ及び撮像方法
JP2012182657A (ja) * 2011-03-01 2012-09-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
JPH10304238A (ja) * 1997-04-22 1998-11-13 Toshiba Corp 固体撮像素子を備えたカメラの自動露光時間設定装置
JP3668611B2 (ja) * 1998-06-19 2005-07-06 株式会社東芝 画像撮影装置及びその方法
JP3710334B2 (ja) 1999-08-04 2005-10-26 キヤノン株式会社 撮像装置
JP2003259234A (ja) * 2002-02-26 2003-09-12 Tohoku Techno Arch Co Ltd Ｃｍｏｓイメージセンサ
JP4103129B2 (ja) 2002-04-19 2008-06-18 ソニー株式会社 固体撮像装置および撮像方法
JP3868885B2 (ja) * 2002-10-22 2007-01-17 日本テキサス・インスツルメンツ株式会社 Ｃｃｄ撮像装置
JP4178548B2 (ja) * 2003-01-17 2008-11-12 富士フイルム株式会社 撮像装置
US7385638B2 (en) * 2004-04-28 2008-06-10 Eastman Kodak Company Image sensor for still or video photography
JP4264382B2 (ja) * 2004-04-30 2009-05-13 株式会社モリタ製作所 撮影画像の自動露出制御方法及びその方法を用いた自動露出制御装置
US20050248676A1 (en) * 2004-05-08 2005-11-10 Mark Christenson High-speed frame transfer of sub-frame area
JP2006157862A (ja) 2004-11-08 2006-06-15 Matsushita Electric Ind Co Ltd Ｍｏｓ型撮像素子および撮像装置
TWI429066B (zh) * 2005-06-02 2014-03-01 Sony Corp Semiconductor image sensor module and manufacturing method thereof
US7566855B2 (en) * 2005-08-25 2009-07-28 Richard Ian Olsen Digital camera with integrated infrared (IR) response
JP2007228019A (ja) * 2006-02-21 2007-09-06 Olympus Corp 撮像装置
JP4289377B2 (ja) * 2006-08-21 2009-07-01 ソニー株式会社 物理量検出装置及び撮像装置
JP4483841B2 (ja) * 2006-09-06 2010-06-16 カシオ計算機株式会社 撮像装置
JP4867552B2 (ja) * 2006-09-28 2012-02-01 株式会社ニコン 撮像装置
WO2008072310A1 (ja) * 2006-12-12 2008-06-19 Shimadzu Corporation 撮像装置
US8159585B2 (en) * 2007-05-01 2012-04-17 Omnivision Technologies, Inc. Image sensor pixel with gain control
KR101424717B1 (ko) * 2007-09-13 2014-08-01 삼성전자주식회사 노출 시간 설정 장치 및 방법
JP5106052B2 (ja) * 2007-11-08 2012-12-26 キヤノン株式会社 固体撮像素子、撮像システム、及び固体撮像素子の駆動方法
JP5266916B2 (ja) 2008-07-09 2013-08-21 ソニー株式会社 撮像素子、カメラ、撮像素子の制御方法、並びにプログラム
JP4661912B2 (ja) 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
JP2010109607A (ja) * 2008-10-29 2010-05-13 Olympus Corp 固体撮像装置
WO2010073520A1 (ja) 2008-12-26 2010-07-01 パナソニック株式会社 固体撮像デバイスおよびその製造方法
JP5215262B2 (ja) * 2009-02-03 2013-06-19 オリンパスイメージング株式会社 撮像装置
JP5226552B2 (ja) * 2009-02-03 2013-07-03 オリンパスイメージング株式会社 撮像装置
CN101494739B (zh) * 2009-02-09 2011-09-28 胡燕翔 一种多次曝光组合中曝光次数确定及曝光时间分配的方法
JP5521721B2 (ja) * 2009-08-28 2014-06-18 ソニー株式会社 撮像素子およびカメラシステム
JP5342969B2 (ja) * 2009-09-10 2013-11-13 富士フイルム株式会社 撮像装置及び撮像方法
FR2954034B1 (fr) * 2009-12-16 2012-07-20 St Microelectronics Grenoble 2 Commande d'un capteur dynamique d'image
JP5685898B2 (ja) 2010-01-08 2015-03-18 ソニー株式会社 半導体装置、固体撮像装置、およびカメラシステム
JP5500007B2 (ja) 2010-09-03 2014-05-21 ソニー株式会社 固体撮像素子およびカメラシステム
WO2012042967A1 (ja) * 2010-09-27 2012-04-05 富士フイルム株式会社 撮像装置及び撮像方法
JP5664141B2 (ja) * 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
FR2970598B1 (fr) * 2011-01-17 2013-08-16 Commissariat Energie Atomique Dispositif imageur a grande gamme dynamique
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN102104744B (zh) * 2011-03-04 2013-01-16 北京思比科微电子技术股份有限公司 Cmos图像传感器像素读出电路结构及像素结构
JP5742313B2 (ja) * 2011-03-10 2015-07-01 株式会社ニコン 撮像装置
JP5903772B2 (ja) 2011-04-11 2016-04-13 ソニー株式会社 固体撮像素子およびカメラシステム
JP2012237769A (ja) * 2011-05-09 2012-12-06 Nikon Corp 撮像装置
JP2013005017A (ja) * 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2013058661A (ja) 2011-09-09 2013-03-28 Sony Corp 固体撮像素子および電子機器
JP5947507B2 (ja) * 2011-09-01 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
JP5850680B2 (ja) * 2011-09-09 2016-02-03 キヤノン株式会社 撮像装置及びその制御方法
US8981511B2 (en) * 2012-02-29 2015-03-17 Semiconductor Components Industries, Llc Multi-chip package for imaging systems
CN104247401B (zh) 2012-03-30 2019-07-02 株式会社尼康 拍摄元件以及拍摄装置
US9270906B2 (en) * 2012-05-02 2016-02-23 Semiconductor Components Industries, Llc Exposure time selection using stacked-chip image sensors
CN102801930B (zh) * 2012-07-13 2014-05-14 天津大学 低功耗时间延时积分型 cmos 图像传感器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03143080A (ja) * 1989-10-27 1991-06-18 Olympus Optical Co Ltd 測光装置
JPH07298142A (ja) * 1994-04-25 1995-11-10 Canon Inc 階調制御機能を有する撮像装置
JPH1118002A (ja) * 1997-06-23 1999-01-22 Mitsubishi Electric Corp 撮像装置
JP2002277922A (ja) * 2001-03-16 2002-09-25 Ricoh Co Ltd 自動露出制御方法、自動露出制御装置およびデジタルカメラ
JP2005065119A (ja) * 2003-08-19 2005-03-10 Hitachi Ltd 撮像装置及び方法
JP2006049361A (ja) 2004-07-30 2006-02-16 Sony Corp 半導体モジュール及びｍｏｓ型固体撮像装置
JP2006333229A (ja) * 2005-05-27 2006-12-07 Canon Inc 撮像装置、カメラ及び撮像方法
JP2012182657A (ja) * 2011-03-01 2012-09-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム

Also Published As

Publication number Publication date
US20200329207A1 (en) 2020-10-15
JP6578942B2 (ja) 2019-09-25
EP2975839A4 (en) 2016-11-02
US20150381910A1 (en) 2015-12-31
CN111225161A (zh) 2020-06-02
CN105165005B (zh) 2020-03-27
JP7222377B2 (ja) 2023-02-15
US11553144B2 (en) 2023-01-10
CN111225161B (zh) 2023-04-18
US20180054577A1 (en) 2018-02-22
CN111327804B (zh) 2023-04-18
JP2023052894A (ja) 2023-04-12
CN111327804A (zh) 2020-06-23
CN111314632A (zh) 2020-06-19
EP2975839A1 (en) 2016-01-20
US10750106B2 (en) 2020-08-18
JP2020123985A (ja) 2020-08-13
JP6702362B2 (ja) 2020-06-03
JP2018174586A (ja) 2018-11-08
EP2975839B1 (en) 2020-11-25
JPWO2014141663A1 (ja) 2017-02-16
US20230107373A1 (en) 2023-04-06
CN105165005A (zh) 2015-12-16
CN111314632B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
JP6593470B2 (ja) 撮像素子、撮像装置、および電子機器
JP6780745B2 (ja) 電子機器
JP6702362B2 (ja) 撮像素子および撮像装置
JP2020036330A (ja) 撮像装置および撮像素子
JP2014179911A (ja) 撮像装置
CN105934944B (zh) 摄像元件及摄像装置
JP2014179781A (ja) 撮像ユニット、撮像装置および撮像制御プログラム
JP6610648B2 (ja) 撮像装置
WO2023027018A1 (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480024545.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14765589

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015505279

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014765589

Country of ref document: EP