WO2015141490A1 - 撮像素子、制御方法、並びに、撮像装置 - Google Patents

撮像素子、制御方法、並びに、撮像装置 Download PDF

Info

Publication number
WO2015141490A1
WO2015141490A1 PCT/JP2015/056598 JP2015056598W WO2015141490A1 WO 2015141490 A1 WO2015141490 A1 WO 2015141490A1 JP 2015056598 W JP2015056598 W JP 2015056598W WO 2015141490 A1 WO2015141490 A1 WO 2015141490A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
unit
image data
analog
signal
Prior art date
Application number
PCT/JP2015/056598
Other languages
English (en)
French (fr)
Inventor
慶太 佐々木
中島　務
淳 橋爪
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/125,292 priority Critical patent/US10313621B2/en
Priority to KR1020167017718A priority patent/KR20160136272A/ko
Priority to CN201580013063.3A priority patent/CN106134183B/zh
Priority to JP2016508657A priority patent/JP6614133B2/ja
Publication of WO2015141490A1 publication Critical patent/WO2015141490A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14632—Wafer-level processed structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present technology relates to an imaging device, a control method, and an imaging device, and more particularly, to an imaging device, a control method, and an imaging device that can obtain more various captured images.
  • a non-volatile memory is provided in the subsequent stage of the signal processing unit that digitizes the analog pixel signal read from the pixel, and high-speed reading is performed using the non-volatile memory.
  • There is a technique for realizing see, for example, Patent Document 1).
  • the present technology has been proposed in view of such a situation, and an object thereof is to obtain a variety of captured images.
  • One aspect of the present technology provides a pixel array that reads out a pixel signal obtained by photoelectrically converting incident light from each of a plurality of pixels of the pixel array, and performs signal processing on the analog pixel signal to obtain a digital image
  • An analog processing unit for obtaining data, a storage unit for storing the image data, a signal processing unit for signal processing the image data stored in the storage unit, and the image data stored in the storage unit are output.
  • An output unit, a readout process for reading out the pixel signal by the pixel array, an analog process that is a signal process for the analog pixel signal by the analog processing unit, and a signal process for the digital image data by the signal processing unit Digital processing and output processing for outputting the image data by the output unit are independent of each other.
  • the controller can execute the reading process and the analog process at a higher speed than the digital process and the output process.
  • the control unit can further execute the digital processing at a lower speed than the output processing.
  • the control unit can execute the digital processing at a higher speed than the reading processing, the analog processing, and the output processing.
  • the control unit can execute the digital processing a plurality of times during one frame processing period.
  • the controller can execute the reading process and the analog process at a higher speed and a higher rate than the digital process and the output process.
  • the storage unit can be a frame memory.
  • the frame memory may have a ring buffer for storing the latest predetermined number of frames.
  • the control unit can cause the digital processing to be performed on image data of past frames stored in the ring buffer.
  • the frame memory has a storage capacity capable of storing image data for a plurality of frames, and the control unit causes the digital processing to be performed on image data of past frames stored in the frame memory. it can.
  • a single semiconductor substrate may be provided, and the pixel array, the analog processing unit, the storage unit, the signal processing unit, the output unit, and the control unit may be formed on the semiconductor substrate. .
  • the pixel array, the analog processing unit, the storage unit, the signal processing unit, the output unit, and the control unit are any one of the plurality of semiconductor substrates. Can be formed.
  • One aspect of the present technology also includes a readout process of reading out a pixel signal obtained by photoelectrically converting incident light from each of a plurality of pixels of the pixel array, and an analog read out from each pixel of the pixel array.
  • Analog processing that performs signal processing on the pixel signal to obtain digital image data
  • digital processing that is signal processing on the digital image data stored in the storage unit
  • the digital stored in the storage unit This is a control method for executing output processing for outputting the image data at a processing speed independent of each other.
  • the imaging unit includes a plurality of pixels in a pixel array.
  • a pixel array that reads out pixel signals obtained by photoelectrically converting incident light from each, an analog processing unit that performs signal processing on the analog pixel signals and obtains digital image data, and stores the image data
  • a storage unit a signal processing unit that performs signal processing on the image data stored in the storage unit, an output unit that outputs the image data stored in the storage unit, and a readout that reads out the pixel signals by the pixel array
  • analog processing that is signal processing for the analog pixel signal by the analog processing unit, and the digital image by the signal processing unit.
  • a digital processing is signal processing for data
  • an output process of outputting the image data by the output unit is an imaging device and a control unit to execute at mutually independent processing speed.
  • a readout process for reading out a pixel signal obtained by photoelectrically converting incident light from each of a plurality of pixels in the pixel array, and an analog pixel signal read out from each pixel of the pixel array Is subjected to signal processing to obtain digital image data, digital processing that is signal processing for digital image data stored in the storage unit, and digital image data stored in the storage unit is output.
  • Output processing is executed at processing speeds independent of each other.
  • a subject is imaged, a readout process of reading out a pixel signal obtained by photoelectrically converting incident light from each of a plurality of pixels of the pixel array, and each of the pixel arrays Signal processing is performed on analog pixel signals read from the pixels to obtain digital image data, digital processing that is signal processing on digital image data stored in the storage unit, and storage unit Output processing for outputting stored digital image data is executed at processing speeds independent of each other, and image data obtained by the above imaging is subjected to image processing.
  • a captured image can be obtained. Further, according to the present technology, it is possible to obtain more various captured images.
  • movement of each process It is a block diagram which shows the main structural examples of an image sensor. It is a figure which shows the main structural examples of a unit pixel. It is a figure explaining the mode of independence of the processing speed and processing rate of each process. It is a figure which shows the example of the mode of control. It is a flowchart explaining the example of the flow of control processing. It is a figure which shows the example of the mode of control. It is a flowchart explaining the example of the flow of control processing. It is a figure which shows the example of the mode of control. It is a flowchart explaining the example of the flow of control processing. It is a figure which shows the mode of control. It is a flowchart explaining the example of the flow of control processing. It is a figure which shows the mode of control.
  • First Embodiment> ⁇ Processing speed and processing rate> Conventional image sensors do not have memory that can store frames (such as dynamic random access memory (DRAM)) or memory that can store a sufficient amount of lines (such as static random access memory (SRAM)). Therefore, each process such as pixel signal reading, analog processing, digital processing, and output processing performed in the image sensor is executed at the same processing speed and processing rate (frame rate).
  • DRAM dynamic random access memory
  • SRAM static random access memory
  • the processing speed and processing rate (frame rate) of each processing are determined for the slowest processing system.
  • it is difficult to freely set the output specification because it affects the device connected at the subsequent stage.
  • other processing such as shutter operation and signal processing is also limited by the processing speed and processing rate of the output processing, and it may be difficult to set freely.
  • the processing speed of the output processing is determined by the output specification, and the processing speed of the pixel signal readout processing is limited by the processing speed of the output processing, that is, the output specification. The For this reason, it has been difficult to realize high-speed reading processing.
  • the processing speed of the digital processing is also limited by the processing speed of the reading process and the output process. For this reason, it has been difficult to reduce the speed of digital processing.
  • the image sensor is provided with a large-capacity storage unit that can store frames and a sufficient amount of lines, and digital processing is controlled independently of readout processing, analog processing, and output processing using the storage unit. (Flow control). Then, the operation of each process is controlled so that the read process, the analog process, the digital process, and the output process are executed at mutually independent processing speeds.
  • the reading process is a process of reading a pixel signal from each pixel of the pixel array
  • the analog process is a signal process for an analog pixel signal read from the pixel
  • the digital process is, for example, This is signal processing for digital image data obtained by A / D converting an analog pixel signal
  • the output processing is, for example, processing for outputting digital image data.
  • the storage unit is composed of an arbitrary storage medium such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory).
  • DRAM Dynamic Random Access Memory
  • SRAM Static Random Access Memory
  • the imaging device can eliminate the limitation of the processing speed between the processes, and can freely set the processing speed of each process.
  • a captured image can be generated.
  • processing speed but also the processing rate (frame rate) of each processing may be set independently of each other. By doing in this way, the image sensor can generate more various captured images.
  • FIG. 2 shows a configuration example of an image sensor which is an embodiment of an image sensor to which the present technology is applied.
  • An image sensor 100 shown in FIG. 2 is a device that photoelectrically converts light from a subject and outputs it as image data.
  • the image sensor 100 is configured as a CMOS image sensor using CMOS (Complementary Metal Oxide Semiconductor), a CCD image sensor using CCD (Charge Coupled Device), or the like.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the image sensor 100 includes a pixel array unit 111, an analog processing unit 112, a digital processing unit 113, a memory bus 114, a frame memory 115, and an output unit 116.
  • the pixel array unit 111 is a pixel region in which pixel configurations (unit pixels) having photoelectric conversion elements such as photodiodes are arranged in a planar shape or a curved shape. Each unit pixel of the pixel array unit 111 receives light from a subject, photoelectrically converts the incident light, accumulates charges, and outputs the charges as pixel signals at a predetermined timing.
  • the reading process is a process of reading a pixel signal from such a unit pixel.
  • the analog processing unit 112 performs analog processing on the analog pixel signal read from each unit pixel of the pixel array unit 111.
  • This analog processing includes, for example, A / D conversion processing for converting a pixel signal into digital image data.
  • the digital processing unit 113 performs logic processing such as signal processing and timing control on the digital image data A / D converted by the analog processing unit 112. As shown in FIG. 2, the digital processing unit 113 includes a timing control unit 121 and a signal processing unit 122.
  • the timing control unit 121 controls operations of the pixel array unit 111, the analog processing unit 112, the signal processing unit 122, and the output unit 116 (for example, processing speed and processing rate (frame rate)).
  • the signal processing unit 122 performs signal processing on the digital image data A / D converted by the analog processing unit 112.
  • This digital processing includes, for example, primary processing of sensor functions such as pixel rearrangement processing and black level processing, and image processing such as HDR (High Dynamic Range) processing and scaling processing that converts resolution and aspect ratio.
  • HDR High Dynamic Range
  • the signal processing unit 122 writes and reads image data to and from the frame memory 115.
  • the signal processing unit 122 supplies the image data to the frame memory 115 via the memory bus 114.
  • the signal processing unit 122 requests the desired image data from the frame memory 115 and obtains the image data via the memory bus 114.
  • the signal processing unit 122 performs output control processing for outputting image data. For example, when outputting image data to the outside of the image sensor 100, the signal processing unit 122 acquires the image data from the frame memory 115 via the memory bus 114 and supplies the image data to the output unit 116.
  • the memory bus 114 is a data transmission path provided between the digital processing unit 113 (signal processing unit 122) and the frame memory 115. Data (image data or the like) stored in the frame memory 115 is transmitted via the memory bus 114.
  • the frame memory 115 is an embodiment of the storage unit described above, and is a storage medium having a capacity capable of storing image data of one frame or more.
  • the frame memory 115 is formed using, for example, a DRAM. Of course, other semiconductor memories such as SRAM and flash memory may be used.
  • the frame memory 115 stores image data supplied from the signal processing unit 122 via the memory bus 114.
  • the frame memory 115 supplies the stored image data to the signal processing unit 122 via the memory bus 114 in response to a request from the signal processing unit 122. That is, the frame memory 115 stores image data generated from the pixel signal read from the pixel array unit 111.
  • a line memory (sufficiently large line memory) capable of storing a sufficiently large number of lines of image data may be used instead of the frame memory 115.
  • the output unit 116 includes, for example, a high-speed I / F (MIPI (Mobile Industry Processor Interface)), an I / O cell, and the like, and the image data acquired from the frame memory 115 via the signal processing unit 122 is transferred to the image sensor 100. Output to the outside.
  • I / F MIPI (Mobile Industry Processor Interface)
  • I / O cell I/ O cell
  • each unit pixel formed in the pixel array unit 111 basically has the same configuration as in the example shown in FIG.
  • the unit pixel 131 includes a photodiode 141, a read transistor 142, a reset transistor 143, an amplification transistor 144, and a select transistor 145.
  • the photodiode (PD) 141 photoelectrically converts the received light into a photocharge (here, photoelectrons) having a charge amount corresponding to the light quantity, and accumulates the photocharge.
  • the anode electrode of the photodiode 141 is connected to the ground (pixel ground) of the pixel region, and the cathode electrode is connected to the floating diffusion (FD) via the read transistor 142.
  • Read transistor 142 controls the reading of photocharge from the photodiode 141.
  • the read transistor 142 has a drain electrode connected to the floating diffusion and a source electrode connected to the cathode electrode of the photodiode 141. Further, a control signal TRG is supplied to the gate electrode of the reading transistor 142 from a pixel driver (not shown).
  • the control signal TRG that is, the gate potential of the reading transistor 142
  • the control signal TRG that is, the gate potential of the reading transistor 142
  • the control signal TRG that is, the gate potential of the read transistor 142
  • the control signal TRG that is, the gate potential of the read transistor 142
  • the photocharge accumulated in the photodiode 141 is read and supplied to the floating diffusion (FD).
  • the reset transistor 143 resets the potential of the floating diffusion (FD).
  • the reset transistor 143 has a drain electrode connected to the power supply potential and a source electrode connected to the floating diffusion (FD).
  • a control signal RST is supplied to the gate electrode of the reset transistor 143 from a pixel driving unit (not shown). When the control signal RST (that is, the gate potential of the reset transistor 143) is off, the floating diffusion (FD) is disconnected from the power supply potential. When the control signal RST (that is, the gate potential of the reset transistor 143) is on, the charge of the floating diffusion (FD) is discarded to the power supply potential, and the floating diffusion (FD) is reset.
  • the amplification transistor 144 amplifies the potential change of the floating diffusion (FD) and outputs it as an electric signal (analog signal).
  • the amplification transistor 144 has a gate electrode connected to the floating diffusion (FD), a drain electrode connected to the power supply potential, and a source electrode connected to the drain electrode of the select transistor 145.
  • the amplification transistor 144 outputs the potential of the floating diffusion (FD) reset by the reset transistor 143 to the select transistor 145 as a reset signal (reset level).
  • the amplification transistor 144 outputs the potential of the floating diffusion (FD) to which the photocharge has been transferred by the read transistor 142 to the select transistor 145 as a light accumulation signal (signal level).
  • the select transistor 145 controls the output of the electrical signal supplied from the amplification transistor 144 to the vertical signal line VSL.
  • the select transistor 145 has a drain electrode connected to the source electrode of the amplification transistor 144 and a source electrode connected to the vertical signal line VSL.
  • a control signal SEL is supplied to the gate electrode of the select transistor 145 from a pixel driving unit (not shown).
  • the control signal SEL that is, the gate potential of the select transistor 145
  • the amplification transistor 144 and the vertical signal line VSL are electrically disconnected. Therefore, in this state, no pixel signal is output from the unit pixel.
  • the control signal SEL that is, the gate potential of the select transistor 145) is in the on state, the unit pixel is in the selected state.
  • the amplification transistor 144 and the vertical signal line VSL are electrically connected, and a signal output from the amplification transistor 144 is supplied to the vertical signal line VSL as a pixel signal of the unit pixel. That is, a pixel signal is read from the unit pixel.
  • the image sensor 100 has a frame memory 115 as shown in FIG.
  • this frame memory 115 digital processing can be executed independently of readout processing, analog processing, and output processing.
  • the timing control unit 121 uses the frame memory 115 to execute each process performed in the image sensor 100 independently of each other (performs flow control).
  • the timing control unit 121 sets the processing speed and processing rate (frame rate) of read processing, analog processing, digital processing, and output processing independently of each other, and sets each processing. Execute at each processing speed and processing rate.
  • the normal processing speed is assumed to be a medium speed, a case where it is faster than that is assumed to be a high speed, and a case where it is slow is assumed to be a low speed.
  • the normal processing rate (frame rate) is the medium speed rate, the higher speed is the higher speed rate, and the lower speed is the lower speed rate.
  • the image sensor 100 can generate a variety of captured images depending on the combination of the processing speed and processing rate of each process.
  • timing control unit 121 may make the reading process and the analog process faster (perform high-speed execution) than the digital process and the output process.
  • FIG. 5 shows an example of a state of an operation period of each process in a period for performing processing for one frame (vertical synchronization period XVS).
  • the reading process and the analog process are executed at a speed higher than the normal processing speed, and the digital process and the output process are executed at a normal processing speed.
  • the processing rate (frame rate) of each process remains the same as the normal processing rate (the processing rate is not changed).
  • the image sensor 100 can reduce the focal plane distortion without changing the output specification.
  • step S101 the timing control unit 121 controls the operation of the pixel array unit 111 by supplying a control signal to the pixel array unit 111, for example, and controls each pixel of the pixel array. Conversion is performed, and a pixel signal is read from each pixel.
  • the timing control unit 121 causes the pixel array unit 111 to execute the reading process at a high speed and a medium speed rate.
  • step S102 the timing control unit 121 controls the operation of the analog processing unit 112, for example, by supplying a control signal to the analog processing unit 112, and outputs each analog pixel signal obtained at high speed by the control in step S101.
  • analog processing such as A / D conversion is performed.
  • the timing control unit 121 causes the analog processing unit 112 to execute the analog processing at a high speed and a medium speed rate.
  • step S103 the timing control unit 121 controls the operation of the signal processing unit 122, for example, by supplying a control signal to the signal processing unit 122, and the digital image data obtained at high speed by the control in step S102.
  • the timing control unit 121 causes the signal processing unit 122 to execute the digital processing at a medium speed and a medium speed rate.
  • step S104 the timing control unit 121 controls the operation of the output unit 116 by supplying a control signal to the output unit 116, for example, and outputs image data appropriately digitally processed at medium speed by the control in step S103. .
  • the timing control unit 121 causes the output unit 116 to execute this output process at a medium speed and a medium speed rate.
  • step S104 ends, the control process ends.
  • the digital image data obtained by the analog processing performed based on the control in step S102 is stored in the frame memory 115. Therefore, even if the reading process and the analog process are executed at high speed, the digital process and the output process can be executed at a slower medium speed.
  • the timing control unit 121 executes the control process as described above, so that the image sensor 100 can reduce the focal plane distortion without changing the output specification.
  • the reading process and the analog process may be speeded up, and the digital processing may be performed at a speed lower than that of the output process (executed at a lower speed).
  • FIG. 7 shows an example of the operating period of each process in the period (vertical synchronization period XVS) in which processing for one frame is performed, as in FIG.
  • the reading process and the analog process are executed at a speed higher than the normal processing speed
  • the digital process is executed at a speed lower than the normal processing speed
  • the output process is executed at the normal processing speed.
  • the processing rate (frame rate) of each process remains the same as the normal processing rate (the processing rate is not changed).
  • the focal plane distortion can be reduced by speeding up the reading process and the analog process. Also, by reducing the speed of the digital processing, the processing time of the digital processing becomes longer and the load of the digital processing is distributed. Thereby, it can suppress that power consumption timing concentrates and can smooth the fluctuation
  • the timing control unit 121 controls the operation of the pixel array unit 111 by supplying a control signal to the pixel array unit 111 in step S121, for example. Conversion is performed, and a pixel signal is read from each pixel.
  • the timing control unit 121 causes the pixel array unit 111 to execute the reading process at a high speed and a medium speed rate.
  • step S122 the timing control unit 121 controls the operation of the analog processing unit 112, for example, by supplying a control signal to the analog processing unit 112, and outputs the analog pixel signals obtained at high speed by the control in step S121.
  • analog processing such as A / D conversion is performed.
  • the timing control unit 121 causes the analog processing unit 112 to execute the analog processing at a high speed and a medium speed rate.
  • step S123 the timing control unit 121 controls the operation of the signal processing unit 122, for example, by supplying a control signal to the signal processing unit 122, and the digital image data obtained at high speed by the control in step S122. To perform digital processing.
  • the timing control unit 121 causes the signal processing unit 122 to execute this digital processing at a low speed and a medium speed rate.
  • step S124 the timing control unit 121 controls the operation of the output unit 116 by supplying a control signal to the output unit 116, for example, and outputs image data that has been appropriately digitally processed at a low speed by the control in step S123.
  • the timing control unit 121 causes the output unit 116 to execute this output process at a medium speed and a medium speed rate.
  • step S124 ends, the control process ends.
  • the digital image data obtained by the analog processing performed based on the control in step S122 is stored in the frame memory 115. Therefore, even if the reading process and the analog process are executed at a high speed, the digital process can be executed at a slower speed. Further, the digitally processed image data is also stored in the frame memory 115. Therefore, the output process can be executed at a medium speed faster than the digital process.
  • the timing control unit 121 executes the control process as described above, so that the image sensor 100 reduces the focal plane distortion without changing the output specification, and further increases the power consumption margin. Can be larger.
  • FIG. 9 shows an example of the operating period of each process in the period (vertical synchronization period XVS) for processing for one frame, as in FIG.
  • the reading process, the analog process, and the output process are executed at a normal processing speed.
  • the digital processing is executed at a speed higher than the normal processing speed, and the digital processing is executed a plurality of times.
  • the processing rate (frame rate) of each process remains the same as the normal processing rate (the processing rate is not changed).
  • digital processing digital signal processing
  • the effect of the signal processing can be further strengthened.
  • the scaling process for converting the resolution and the aspect ratio is performed a plurality of times, an object having a different resolution and the aspect ratio is generated separately from the output, and the detection process can be performed a plurality of times to improve the detection accuracy. .
  • the image sensor 100 can increase the effect of signal processing (digital processing) without changing the output specification.
  • the timing control unit 121 controls the operation of the pixel array unit 111 by supplying a control signal to the pixel array unit 111, for example, in step S141, and outputs a photoelectric signal to each pixel of the pixel array. Conversion is performed, and a pixel signal is read from each pixel.
  • the timing control unit 121 causes the pixel array unit 111 to execute this reading process at a medium speed and a medium speed rate.
  • step S142 the timing control unit 121 controls the operation of the analog processing unit 112, for example, by supplying a control signal to the analog processing unit 112, and each analog pixel signal obtained at a medium speed by the control in step S141. For example, analog processing such as A / D conversion is performed.
  • the timing control unit 121 causes the analog processing unit 112 to execute this analog processing at a medium speed and a medium speed rate.
  • step S143 the timing control unit 121 controls the operation of the signal processing unit 122, for example, by supplying a control signal to the signal processing unit 122, and converts the digital image data obtained at medium speed by the control in step S142.
  • digital processing is performed.
  • the timing control unit 121 causes the signal processing unit 122 to execute this digital processing a plurality of times at a high speed and at a high rate.
  • step S144 the timing control unit 121 controls the operation of the output unit 116, for example, by supplying a control signal to the output unit 116, and outputs image data digitally processed a plurality of times at high speed by the control in step S143. .
  • the timing control unit 121 causes the output unit 116 to execute this output process at a medium speed and a medium speed rate.
  • step S144 ends, the control process ends.
  • the digital image data obtained by the analog processing performed based on the control in step S142 is stored in the frame memory 115. Therefore, even if the reading process and the analog process are executed at a medium speed, the digital process can be executed at a higher speed than that. Also, digital processing can be executed multiple times. Further, the digitally processed image data is also stored in the frame memory 115. Therefore, the output process can be executed at a medium speed slower than the digital process.
  • the timing control unit 121 executes control processing as described above, so that the image sensor 100 can increase the effect of signal processing (digital processing) without changing the output specification. it can.
  • the processing rate of each process may be changed.
  • the reading process and the analog process may be faster (executed at a higher speed) than the digital process and the output process, and may be further increased in speed (the frame rate is increased).
  • FIG. 11 shows an example of a state of an operation period of each process in a period (vertical synchronization period XVS) in which a process for a plurality of frames is performed.
  • the reading process and the analog process are executed at a higher speed than the normal processing speed, and the digital process and the output process are executed at a normal processing speed. Further, the reading process and the analog process are executed at a higher rate than the normal processing rate, and the digital process and the output process are executed at a normal processing rate.
  • High-speed imaging can be realized by increasing the speed and rate of the readout processing and analog processing.
  • digital processing and output processing at a normal processing speed and processing rate, it is possible to perform slow playback of the high-speed captured image. That is, the image sensor 100 can realize high-speed shooting and slow reproduction without changing the output specification.
  • the timing control unit 121 controls the operation of the pixel array unit 111 by supplying a control signal to the pixel array unit 111, for example, in step S161, and outputs a photoelectric signal to each pixel of the pixel array. Conversion is performed, and a pixel signal is read from each pixel.
  • the timing control unit 121 causes the pixel array unit 111 to execute this readout process at a high speed and a high rate.
  • step S162 the timing control unit 121 controls the operation of the analog processing unit 112 by supplying a control signal to the analog processing unit 112, for example, and each analog obtained at a high speed and a high rate by the control in step S161.
  • analog processing such as A / D conversion is performed on the pixel signal.
  • the timing control unit 121 causes the analog processing unit 112 to execute the analog processing at a high speed and a high rate.
  • step S163 the timing control unit 121 controls the operation of the signal processing unit 122 by supplying a control signal to the signal processing unit 122, for example, and a digital image obtained at a high speed and a high rate by the control in step S162. Digital processing is performed on the data.
  • the timing control unit 121 causes the signal processing unit 122 to execute the digital processing at a medium speed and a medium speed rate.
  • step S164 the timing control unit 121 controls the operation of the output unit 116 by supplying a control signal to the output unit 116, for example, and the image data digitally processed at a medium speed and a medium speed rate by the control in step S163. Is output.
  • the timing control unit 121 causes the output unit 116 to execute this output process at a medium speed and a medium speed rate.
  • step S164 When the process of step S164 is finished, the control process is finished.
  • Digital image data obtained by analog processing performed based on the control in step S162 is stored in the frame memory 115. Therefore, even if the reading process and the analog process are executed at a high speed and a high speed rate, the digital process and the output process can be executed at a slower medium speed and a medium speed rate.
  • the timing control unit 121 executes the control process as described above, so that the image sensor 100 can realize high-speed shooting and slow playback without changing the output specification.
  • the number of frames that can be shot at a higher rate than usual and reproduced at a normal processing rate depends on the capacity of the frame memory 115.
  • image data is accumulated in the frame memory 115 by the difference between the processing rate of the readout processing and analog processing and the processing rate of the digital processing and output processing.
  • the capacity of the frame memory 115 is arbitrary but limited, so there is a limit in absorbing the rate difference. That is, such shooting can be performed only within the capacity range of the frame memory 115.
  • the shooting may be returned to the normal processing rate, as in frames 8 and 9 in FIG. That is, the processing rate of the reading process and the analog process performed at the high rate may be changed to the medium rate.
  • the high-speed shot image may be output continuously to an image shot at a normal processing rate, or a so-called picture
  • the image may be superimposed and output within an image captured at a normal processing rate, or may be output separately after the capturing is stopped.
  • Second Embodiment> ⁇ Time shift>
  • a ring buffer may be provided in the frame memory 115 as shown in FIG.
  • the image data read out from the pixel array unit 111 and A / D converted is subjected to primary processing 211 of sensor functions such as pixel rearrangement processing and black level processing by the digital processing unit 113.
  • the image data subjected to the primary processing 211 is stored in a primary processing area 221 provided in the frame memory 115.
  • the primary processing area 221 forms a ring buffer, and sequentially stores image data supplied from the digital processing unit 113 and subjected to the primary processing 211 of each frame.
  • the image data of the captured image which is a captured image obtained by the pixel array unit 111 in a state where the user has not pressed the shooting button or the like and shooting is not instructed, is thus for primary processing that is a ring buffer.
  • the data are sequentially stored in the area 221.
  • the digital processing unit 113 displays an image of a past frame stored in the primary processing area 221 based on the user instruction. Read data.
  • the image data stored in the primary processing area 221 has the latest stored frame.
  • the digital processing unit 113 reads the image data of the past frame stored temporally before the latest frame.
  • the digital processing unit 113 may read image data of a predetermined number of frames before the latest frame from the latest frame, or the most recent frame in the primary processing area 221 that is a ring buffer. You may make it read the image data stored in predetermined positions other than the position where image data is stored.
  • the digital processing unit 113 performs secondary processing 212 of image processing such as HDR (High Dynamic Range) processing and scaling processing for converting resolution and aspect ratio on the read image data.
  • the image data subjected to the secondary processing 212 is stored in a secondary processing area 222 provided in the frame memory 115.
  • the digital processing unit 113 performs an output control process 213, reads out image data stored in the secondary processing area 222 at a predetermined timing, supplies the image data to the output unit 116, and outputs it.
  • the image sensor 100 can output data going back in the past.
  • the timing control unit 121 controls the operation of the pixel array unit 111 by supplying a control signal to the pixel array unit 111, for example, in step S201, and outputs a photoelectric signal to each pixel of the pixel array. Conversion is performed, and a pixel signal is read from each pixel.
  • step S202 the timing control unit 121 controls the operation of the analog processing unit 112, for example, by supplying a control signal to the analog processing unit 112. For each analog pixel signal obtained by the control in step S201, For example, analog processing such as A / D conversion is performed.
  • step S203 the timing control unit 121 controls the operation of the signal processing unit 122, for example, by supplying a control signal to the signal processing unit 122, and 1 for the digital image data obtained by the control in step S202. Next processing is performed.
  • step S204 the timing control unit 121 controls the operation of the signal processing unit 122 by supplying a control signal to the signal processing unit 122, for example, and the image data subjected to the primary processing by the control in step S202 is framed. It is stored in the ring buffer (primary processing area 221) of the memory 115.
  • step S205 the timing control unit 121 determines whether to capture an image. For example, if it is determined that no imaging instruction is input from the user or the like and the imaging is not performed, the process returns to step S201, and the subsequent processes are repeated. That is, in the state before photographing, each processing of step S201 to step S205 is repeatedly executed, and the captured image is stored in the primary processing area 221.
  • step S205 for example, when an imaging instruction is input, such as when the user operates the shooting button, and it is determined that imaging is performed, the process proceeds to step S206.
  • step S206 the timing control unit 121 controls the operation of the signal processing unit 122 by supplying a control signal to the signal processing unit 122, for example, and writes it in the ring buffer (primary processing region 221) of the frame memory 115.
  • the image data of a frame (past frame) before the latest frame is read out.
  • step S207 the timing control unit 121 controls the operation of the signal processing unit 122, for example, by supplying a control signal to the signal processing unit 122, and performs secondary processing on the image data read by the control in step S206. Let the process do.
  • step S208 the timing control unit 121 controls the operation of the signal processing unit 122, for example, by supplying a control signal to the signal processing unit 122, and the image data subjected to the secondary processing by the control in step S207 is framed. It is stored in the secondary processing area 222 of the memory 115.
  • step S209 the timing control unit 121 controls the operation of the signal processing unit 122, for example, by supplying a control signal to the signal processing unit 122, and performs the tertiary processing. That is, the signal processing unit 122 performs the tertiary processing according to the control of the timing control unit 121, and thereby the image data stored in the secondary processing area 222 of the frame memory 115 by the control of step S208 at a predetermined timing. Read.
  • step S210 the timing control unit 121 controls the operation of the output unit 116, for example, by supplying a control signal to the output unit 116, and the image data read by the control in step S209 is transferred to the outside of the image sensor 100. Output.
  • step S210 When the process of step S210 is finished, the control process is finished.
  • the image sensor 100 can output data going back in the past using the ring buffer.
  • Such an image sensor 100 can be applied to any device or system.
  • a drive recorder that records video from a time before that, or a motion of a person or animal is detected. It is suitable for application to a surveillance camera or the like that records video from a time slightly before the detection time.
  • the frame memory 115 may have a capacity capable of storing image data for a plurality of frames.
  • the data stored in the frame memory 115 may be read by a FIFO (First In First Out) method.
  • FIG. 16 shows an example in that case.
  • the signal processing unit 122 performs image data of a frame (past frame) temporally before the latest frame currently stored in the frame memory 115. Will be read out.
  • a predetermined process is performed after the user presses the shooting button until image data of the captured image is output. Time is required and a delay occurs accordingly. If this delay time is large, it may be difficult for the user to obtain a captured image at a desired timing.
  • an image sensor is obtained by digitally processing an image of a frame temporally prior to a captured image obtained by a user operating a shooting button and outputting the image as a captured image.
  • 100 can suppress an increase in the delay time (time lag).
  • the image data may be a moving image or a still image.
  • the timing control unit 121 controls the operation of the pixel array unit 111 by supplying a control signal to the pixel array unit 111, for example, in step S251, and performs photoelectric control on each pixel of the pixel array. Conversion is performed, and a pixel signal is read from each pixel.
  • step S252 the timing control unit 121 controls the operation of the analog processing unit 112, for example, by supplying a control signal to the analog processing unit 112. For each analog pixel signal obtained by the control in step S251, the timing control unit 121 controls the operation of the analog processing unit 112. For example, analog processing such as A / D conversion is performed.
  • step S253 the timing control unit 121 controls the operation of the signal processing unit 122, for example, by supplying a control signal to the signal processing unit 122, and 1 for the digital image data obtained by the control in step S252. Next processing is performed.
  • step S254 the timing control unit 121 controls the operation of the signal processing unit 122, for example, by supplying a control signal to the signal processing unit 122, and the image data subjected to the primary processing by the control in step S252 is framed. It is stored in the memory 115.
  • step S ⁇ b> 255 the timing control unit 121 operates the signal processing unit 122 by supplying a control signal to the signal processing unit 122, for example, at a predetermined timing such as a timing at which an imaging instruction is input from a user or the like. And the image data of the frame (past frame) before the frame written in the frame memory 115 is read out.
  • step S256 the timing control unit 121 controls the operation of the signal processing unit 122, for example, by supplying a control signal to the signal processing unit 122, and performs secondary processing on the image data read by the control in step S255. Let the process do.
  • step S257 the timing control unit 121 controls the operation of the signal processing unit 122, for example, by supplying a control signal to the signal processing unit 122, and the image data subjected to the secondary processing by the control in step S256 is framed. It is stored in the memory 115.
  • step S258 the timing control unit 121 controls the operation of the signal processing unit 122, for example, by supplying a control signal to the signal processing unit 122, and performs the tertiary processing. That is, the signal processing unit 122 performs the tertiary processing according to the control of the timing control unit 121, thereby causing the image data stored in the frame memory 115 to be read at a predetermined timing by the control in step S257.
  • step S259 the timing control unit 121 controls the operation of the output unit 116, for example, by supplying a control signal to the output unit 116, and the image data read by the control in step S258 is transferred to the outside of the image sensor 100. Output.
  • step S259 ends, the control process ends.
  • the image sensor 100 can output data that goes back in the past, and can suppress an increase in the delay time (time lag) from the input of the imaging instruction to the output of the image data.
  • Such an image sensor 100 can be applied to an arbitrary apparatus or system, and is suitable for application to, for example, a digital camera or a video camera in which a user operates a shooting button to image a subject.
  • an imaging element to which the present technology is applied can be realized, for example, as a sealed package or a module in which the package is installed on a circuit board.
  • the imaging element in the package may be configured by a single semiconductor substrate, or may be configured by a plurality of semiconductor substrates superimposed on each other.
  • FIG. 18 is a diagram illustrating an example of a physical configuration of the image sensor 100 which is an image sensor to which the present technology is applied.
  • the circuit configuration of the image sensor 100 described with reference to FIG. 3 is all formed on a single semiconductor substrate.
  • output units 116-1 to 116-4 are arranged so as to surround the pixel / analog processing unit 311, the digital processing unit 113, and the frame memory 115.
  • the pixel / analog processing unit 311 is an area where the configuration of the pixel array unit 111 and the analog processing unit 112 (for example, a pixel array or an A / D conversion unit) is formed.
  • the output unit 116-1 to the output unit 116-4 are regions in which the configuration of the output unit 116 (for example, I / O cells) is arranged.
  • the circuit configuration of the image sensor 100 described with reference to FIG. 3 has two semiconductor substrates (laminated chips (pixel chip 321 and circuit chip 322)) that are superimposed on each other. It is formed.
  • the pixel chip 321 includes a pixel / analog processing unit 311, a digital processing unit 113, and an output unit 116-1 and an output unit 116-2.
  • the output unit 116-1 and the output unit 116-2 are regions in which the configuration of the output unit 116 (for example, an I / O cell) is arranged.
  • a frame memory 115 is formed in the circuit chip 322.
  • the pixel chip 321 and the circuit chip 322 overlap each other to form a multilayer structure (laminated structure).
  • the digital processing unit 113 formed in the pixel chip 321 and the frame memory 115 formed in the circuit chip 322 are connected via via regions (VIA) 323 and through vias (VIA) formed in the via regions (VIA) 324. They are electrically connected to each other (a memory bus 114 is formed).
  • This technology can also be applied to such a laminated image sensor.
  • the number (number of layers) of the semiconductor substrates (laminated chips) is arbitrary, and for example, as shown in FIG.
  • the image sensor 100 includes a semiconductor substrate 351, a semiconductor substrate 352, and a semiconductor substrate 353.
  • a pixel / analog processing unit 311 is formed on the semiconductor substrate 351, a digital processing unit 113 and an output unit 116 are formed on the semiconductor substrate 352, and a frame memory 115 is formed on the semiconductor substrate 353.
  • Each processing part of each semiconductor substrate is electrically connected to each other via through vias (VIA) 361 to through vias (VIA) 363.
  • each semiconductor substrate is arbitrary, and is not limited to the example of FIG.
  • FIG. 19 is a block diagram illustrating a main configuration example of an imaging apparatus as an example of an electronic apparatus to which the present technology is applied.
  • An imaging apparatus 600 shown in FIG. 19 is an apparatus that images a subject and outputs an image of the subject as an electrical signal.
  • the imaging apparatus 600 includes an optical unit 611, a CMOS image sensor 612, an image processing unit 613, a display unit 614, a codec processing unit 615, a storage unit 616, an output unit 617, a communication unit 618, and a control unit 621. , An operation unit 622, and a drive 623.
  • the optical unit 611 includes a lens that adjusts the focal point to the subject and collects light from the focused position, an aperture that adjusts exposure, a shutter that controls the timing of imaging, and the like.
  • the optical unit 611 transmits light (incident light) from the subject and supplies the light to the CMOS image sensor 612.
  • the CMOS image sensor 612 photoelectrically converts incident light, A / D converts a signal for each pixel (pixel signal), performs signal processing such as CDS, and supplies the processed captured image data to the image processing unit 613. .
  • the image processing unit 613 performs image processing on the captured image data obtained by the CMOS image sensor 612. More specifically, the image processing unit 613 performs, for example, color mixture correction, black level correction, white balance adjustment, demosaic processing, matrix processing, gamma correction, on the captured image data supplied from the CMOS image sensor 612. And various image processing such as YC conversion.
  • the image processing unit 613 supplies captured image data subjected to image processing to the display unit 614.
  • the display unit 614 is configured as a liquid crystal display or the like, for example, and displays an image of captured image data (for example, an image of a subject) supplied from the image processing unit 613.
  • the image processing unit 613 further supplies the captured image data subjected to the image processing to the codec processing unit 615 as necessary.
  • the codec processing unit 615 subjects the captured image data supplied from the image processing unit 613 to encoding processing of a predetermined method, and supplies the obtained encoded data to the storage unit 616. Further, the codec processing unit 615 reads the encoded data recorded in the storage unit 616, decodes it to generate decoded image data, and supplies the decoded image data to the image processing unit 613.
  • the image processing unit 613 performs predetermined image processing on the decoded image data supplied from the codec processing unit 615.
  • the image processing unit 613 supplies the decoded image data subjected to the image processing to the display unit 614.
  • the display unit 614 is configured as a liquid crystal display, for example, and displays an image of the decoded image data supplied from the image processing unit 613.
  • the codec processing unit 615 supplies the encoded data obtained by encoding the captured image data supplied from the image processing unit 613 or the encoded data of the captured image data read from the storage unit 616 to the output unit 617. You may make it output outside the imaging device 600.
  • the codec processing unit 615 supplies captured image data before encoding or decoded image data obtained by decoding encoded data read from the storage unit 616 to the output unit 617, and outputs the image data to the outside of the imaging device 600. You may make it output to.
  • the codec processing unit 615 may transmit the captured image data, the encoded data of the captured image data, or the decoded image data to another device via the communication unit 618. Further, the codec processing unit 615 may acquire captured image data and encoded data of the image data via the communication unit 618. The codec processing unit 615 appropriately encodes and decodes the captured image data acquired through the communication unit 618 and the encoded data of the image data. The codec processing unit 615 may supply the obtained image data or encoded data to the image processing unit 613 as described above, or output it to the storage unit 616, the output unit 617, and the communication unit 618. Good.
  • the storage unit 616 stores encoded data supplied from the codec processing unit 615 and the like.
  • the encoded data stored in the storage unit 616 is read out and decoded by the codec processing unit 615 as necessary.
  • the captured image data obtained by the decoding process is supplied to the display unit 614, and a captured image corresponding to the captured image data is displayed.
  • the output unit 617 has an external output interface such as an external output terminal, and outputs various data supplied via the codec processing unit 615 to the outside of the imaging apparatus 600 via the external output interface.
  • the communication unit 618 supplies various types of information such as image data and encoded data supplied from the codec processing unit 615 to another device that is a communication partner of predetermined communication (wired communication or wireless communication). Further, the communication unit 618 acquires various types of information such as image data and encoded data from another device that is a communication partner of predetermined communication (wired communication or wireless communication), and supplies the acquired information to the codec processing unit 615. .
  • the control unit 621 controls the operation of each processing unit (each processing unit indicated by a dotted line 620, the operation unit 622, and the drive 623) of the imaging apparatus 600.
  • the operation unit 622 includes, for example, an arbitrary input device such as a jog dial (trademark), a key, a button, or a touch panel.
  • the operation unit 622 receives an operation input by a user or the like and supplies a signal corresponding to the operation input to the control unit 621. To do.
  • the drive 623 reads information stored in a removable medium 624 attached to the drive 623 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the drive 623 reads various information such as programs and data from the removable medium 624 and supplies the information to the control unit 621.
  • the drive 623 stores various information such as image data and encoded data supplied through the control unit 621 in the removable medium 624 when the writable removable medium 624 is attached to the drive 623. .
  • the CMOS image sensor 612 of the imaging apparatus 600 As the CMOS image sensor 612 of the imaging apparatus 600 as described above, the present technology described above in each embodiment is applied. That is, the image sensor 100 described above is used as the CMOS image sensor 612. Thereby, the CMOS image sensor 612 can obtain a wider variety of captured images. Therefore, the imaging apparatus 600 can obtain a wider variety of captured images by imaging the subject.
  • the imaging apparatus to which the present technology is applied is not limited to the configuration described above, and may have another configuration.
  • an information processing apparatus having an imaging function such as a mobile phone, a smart phone, a tablet device, and a personal computer.
  • it may be a camera module used by being mounted on another information processing apparatus (or mounted as an embedded device).
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed from a network or a recording medium.
  • this recording medium is constituted by a removable medium 624 on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • the removable medium 624 includes a magnetic disk (including a flexible disk) and an optical disk (including a CD-ROM and a DVD). Further, magneto-optical disks (including MD (Mini-Disc)) and semiconductor memories are also included.
  • the program can be installed in the storage unit 616 by attaching the removable medium 624 to the drive 623.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 18 and installed in the storage unit 616.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 18 and installed in the storage unit 616.
  • this program can be installed in advance in a ROM (Read Only Memory) or the like in the storage unit 616 or the control unit 621.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
  • Information necessary for processing may be transmitted to the apparatus as appropriate.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology is not limited to this, and any configuration mounted on such a device or a device constituting the system, for example, a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • a processor as a system LSI (Large Scale Integration)
  • a module using a plurality of processors a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • the imaging apparatus to which the present technology is applied is not limited to the configuration described above, and may have another configuration.
  • an information processing apparatus having an imaging function such as a mobile phone, a smart phone, a tablet device, and a personal computer.
  • it may be a camera module used by being mounted on another information processing apparatus (or mounted as an embedded device).
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • this technique can also take the following structures. (1) a pixel array that reads out a pixel signal obtained by photoelectrically converting incident light from each of a plurality of pixels of the pixel array; An analog processing unit that performs signal processing on the analog pixel signal and obtains digital image data; A storage unit for storing the image data; A signal processing unit that performs signal processing on the image data stored in the storage unit; An output unit for outputting the image data stored in the storage unit; Read processing for reading out the pixel signal by the pixel array, analog processing as signal processing for the analog pixel signal by the analog processing unit, and digital processing as signal processing for the digital image data by the signal processing unit And a control unit that executes output processing for outputting the image data by the output unit at a processing speed independent of each other.
  • the control unit causes the reading process and the analog process to be executed at a higher speed and at a higher rate than the digital process and the output process.
  • (1) to (5), (7) to (12) An imaging device according to claim 1.
  • the storage unit is a frame memory.
  • the frame memory includes a ring buffer that stores a latest predetermined number of frames.
  • the control unit causes the digital processing to be performed on image data of a past frame stored in the ring buffer.
  • the frame memory has a storage capacity capable of storing image data for a plurality of frames,
  • the image pickup device according to any one of (1) to (9), (11), and (12), wherein the control unit causes the digital processing to be performed on image data of a past frame stored in the frame memory. .
  • (11) having a single semiconductor substrate;
  • the pixel array, the analog processing unit, the storage unit, the signal processing unit, the output unit, and the control unit are formed on the semiconductor substrate.
  • (1) to (10), (12) The imaging device described. (12) having a plurality of semiconductor substrates superimposed on each other;
  • the pixel array, the analog processing unit, the storage unit, the signal processing unit, the output unit, and the control unit are each formed on any of the plurality of semiconductor substrates.
  • an imaging unit for imaging a subject An image processing unit that performs image processing on image data obtained by imaging by the imaging unit, The imaging unit A pixel array that reads out a pixel signal obtained by photoelectrically converting incident light from each of a plurality of pixels of the pixel array; An analog processing unit that performs signal processing on the analog pixel signal and obtains digital image data; A storage unit for storing the image data; A signal processing unit that performs signal processing on the image data stored in the storage unit; An output unit for outputting the image data stored in the storage unit; Read processing for reading out the pixel signal by the pixel array, analog processing as signal processing for the analog pixel signal by the analog processing unit, and digital processing as signal processing for the digital image data by the signal processing unit And a control unit that executes an output process of outputting the image data by the output unit at a processing speed independent of each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

　本技術は、より多様な撮像画像を得ることができるようにする撮像素子、制御方法、並びに、撮像装置に関する。 本技術の撮像素子は、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、アナログの画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、画像データを格納する記憶部と、記憶部に格納される画像データを信号処理する信号処理部と、記憶部に格納される画像データを出力する出力部と、読み出し処理およびアナログ処理と、デジタル処理と、出力処理とを、互いに独立した処理速度で実行させる制御部とを備える。本技術は、例えば、撮像素子や電子機器に適用することができる。

Description

撮像素子、制御方法、並びに、撮像装置
　本技術は、撮像素子、制御方法、並びに、撮像装置に関し、特に、より多様な撮像画像を得ることができるようにした撮像素子、制御方法、並びに、撮像装置に関する。
　従来のイメージセンサには、フレーム格納が可能なメモリ（DRAM（Dynamic Random Access Memory）など）や十分な量のライン格納が可能なメモリ（SRAM（Static Random Access Memory）など）がなかった。そのため、イメージセンサにおいて行われる、画素信号の読み出し、アナログ処理、デジタル処理、出力処理等の各処理は、互いに同一の処理速度および処理レート（フレームレート）で実行されていた。
　ところで、イメージセンサにおける、画素アレイ部の各画素からの信号の読み出し方法として、画素から読み出したアナログ画素信号をデジタル化する信号処理部の後段に不揮発メモリを設け、当該不揮発メモリを用いて高速読み出しを実現する技術があった（例えば、特許文献１参照）。
特開２００４－６４４１０号公報
　読み出し、アナログ処理、デジタル処理、出力処理等を互いに同一の処理速度および処理レート（フレームレート）で行う場合、最も遅い処理系に対して各処理の処理速度や処理レート（フレームレート）が確定してしまう。特に出力仕様は後段接続の装置に影響を及ぼすため、自由に設定することが困難である。そのため、シャッタ動作や信号処理等の他の処理も、この出力処理の処理速度や処理レートによって制限され、自由に設定することが困難になるおそれがあった。例えば、シャッタ動作や信号処理の高速化を実現することは困難であった。
　なお、特許文献１に記載の方法の場合、高速読み出しを実現することができるが、デジタル処理や出力処理の処理速度を制御することはできなかった。また、処理レートを制御することも困難であった。このように、特許文献１に記載の方法では、各処理の処理速度や処理レートを制御することにより、多様な撮像画像を得ることは困難であった。
　本技術は、このような状況に鑑みて提案されたものであり、より多様な撮像画像を得ることができるようにすることを目的とする。
　本技術の一側面は、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、前記画像データを格納する記憶部と、前記記憶部に格納される前記画像データを信号処理する信号処理部と、前記記憶部に格納される前記画像データを出力する出力部と、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理と、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理と、前記出力部による前記画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御部とを備える撮像素子である。
　前記制御部は、前記読み出し処理および前記アナログ処理を、前記デジタル処理および前記出力処理よりも高速で実行させることができる。
　前記制御部は、さらに、前記デジタル処理を、前記出力処理よりも低速で実行させることができる。
　前記制御部は、前記デジタル処理を、前記読み出し処理および前記アナログ処理、並びに、前記出力処理よりも高速で実行させることができる。
　前記制御部は、１フレーム処理期間中に、前記デジタル処理を複数回実行させることができる。
　前記制御部は、前記読み出し処理および前記アナログ処理を、前記デジタル処理および前記出力処理よりも高速かつ高速レートで実行させることができる。
　前記記憶部は、フレームメモリであるようにすることができる。
　前記フレームメモリは、最新の所定数のフレームを記憶するリングバッファを有するようにすることができる。
　前記制御部は、前記リングバッファに格納される過去のフレームの画像データに対して前記デジタル処理を実行させることができる。
　前記フレームメモリは、複数フレーム分の画像データを格納可能な記憶容量を有し、前記制御部は、前記フレームメモリに格納される過去のフレームの画像データに対して前記デジタル処理を実行させることができる。
　単一の半導体基板を有し、前記画素アレイ、前記アナログ処理部、前記記憶部、前記信号処理部、前記出力部、および前記制御部は、前記半導体基板に形成されるようにすることができる。
　互いに重畳される複数の半導体基板を有し、前記画素アレイ、前記アナログ処理部、前記記憶部、前記信号処理部、前記出力部、および前記制御部は、それぞれ、前記複数の半導体基板のいずれかに形成されるようにすることができる。
　本技術の一側面は、また、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、および、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理と、記憶部に格納された前記デジタルの画像データに対する信号処理であるデジタル処理と、前記記憶部に格納された前記デジタルの画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御方法である。
　本技術の他の側面は、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、前記画像データを格納する記憶部と、前記記憶部に格納される前記画像データを信号処理する信号処理部と、前記記憶部に格納される前記画像データを出力する出力部と、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理と、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理と、前記出力部による前記画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御部とを備える撮像装置である。
　本技術の一側面においては、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、および、画素アレイの各画素から読み出されたアナログの画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理と、記憶部に格納されたデジタルの画像データに対する信号処理であるデジタル処理と、記憶部に格納されたデジタルの画像データを出力する出力処理とが、互いに独立した処理速度で実行させられる。
　本技術の他の側面においては、撮像装置において、被写体が撮像され、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、および、画素アレイの各画素から読み出されたアナログの画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理と、記憶部に格納されたデジタルの画像データに対する信号処理であるデジタル処理と、記憶部に格納されたデジタルの画像データを出力する出力処理とが、互いに独立した処理速度で実行され、以上のような撮像により得られた画像データが画像処理される。
　本技術によれば、撮像画像を得ることが出来る。また本技術によれば、より多様な撮像画像を得ることができる。
各処理の動作の例を説明する図である。 イメージセンサの主な構成例を示すブロック図である。 単位画素の主な構成例を示す図である。 各処理の処理速度と処理レートの独立化の様子を説明する図である。 制御の様子の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 制御の様子の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 制御の様子の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 制御の様子の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 制御の様子の例を示す図である。 制御の様子の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 制御の様子の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 イメージセンサの物理構成の例を示す図である。 撮像装置の主な構成例を示す図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（イメージセンサ）
　２．第２の実施の形態（イメージセンサ）
　３．第３の実施の形態（イメージセンサ）
　４．第４の実施の形態（撮像装置）
　＜１．第１の実施の形態＞
　　＜処理速度・処理レート＞
　従来のイメージセンサには、フレーム格納が可能なメモリ（DRAM（Dynamic Random Access Memory）など）や十分な量のライン格納が可能なメモリ（SRAM（Static Random Access Memory）など）がなかった。そのため、イメージセンサにおいて行われる、画素信号の読み出し、アナログ処理、デジタル処理、出力処理等の各処理は、互いに同一の処理速度および処理レート（フレームレート）で実行されていた。
　この場合、図１のＡに示される例のように、最も遅い処理系に対して各処理の処理速度や処理レート（フレームレート）が確定してしまう。特に出力仕様は後段接続の装置に影響を及ぼすため、自由に設定することが困難である。そのため、シャッタ動作や信号処理等の他の処理も、この出力処理の処理速度や処理レートによって制限され、自由に設定することが困難になるおそれがあった。例えば、シャッタ動作や信号処理の高速化を実現することは困難であった。
　例えば、図１のＢに示される例のように、出力処理の処理速度が出力仕様によって決定され、画素信号の読み出し処理の処理速度は、その出力処理の処理速度、すなわち、出力仕様によって制限される。そのため、読み出し処理の高速化を実現することは困難であった。
　また、例えば、図１のＣに示される例のように、デジタル処理の処理速度も、読み出し処理や出力処理の処理速度によって制限される。そのため、デジタル処理の低速化を実現することは困難であった。
　なお、特許文献１に記載の方法の場合、高速読み出しを実現することができるが、デジタル処理や出力処理の処理速度を制御することはできなかった。また、処理レートを制御することも困難であった。このように、特許文献１に記載の方法では、各処理の処理速度や処理レートを制御することにより、多様な撮像画像を得ることは困難であった。
　　＜フロー制御＞
　そこで、イメージセンサに、フレームや十分な量のラインを格納することができる大容量の記憶部を設け、その記憶部を用いてデジタル処理を、読み出し処理およびアナログ処理、出力処理とは独立に制御（フロー制御）するようにする。そして、読み出し処理およびアナログ処理と、デジタル処理と、出力処理とを互いに独立した処理速度で実行させるように、各処理の動作を制御する。
　ここで、読み出し処理は、例えば、画素アレイの各画素から画素信号を読み出す処理であり、アナログ処理は、例えば、画素から読み出されたアナログの画素信号に対する信号処理であり、デジタル処理は、例えば、アナログの画素信号がA/D変換されたデジタルの画像データに対する信号処理であり、出力処理は、例えば、デジタルの画像データを出力する処理である。
　また、記憶部は、例えばDRAM（Dynamic Random Access Memory）やSRAM（Static Random Access Memory）等、任意の記憶媒体により構成される。
　このようにすることにより、撮像素子は、各処理間の処理速度の制限を無くすことができ、各処理の処理速度を自由に設定することができるので、各処理の処理速度の組み合わせによってより多様な撮像画像を生成することができる。
　なお、処理速度だけでなく、各処理の処理レート（フレームレート）も互いに独立に設定するようにしてもよい。このようにすることにより、撮像素子は、より多様な撮像画像を生成することができる。
　　＜イメージセンサ＞
　このような本技術を適用した撮像素子の一実施の形態であるイメージセンサの構成例を、図２に示す。図２に示されるイメージセンサ１００は、被写体からの光を光電変換して画像データとして出力するデバイスである。例えば、イメージセンサ１００は、CMOS（Complementary Metal Oxide Semiconductor）を用いたCMOSイメージセンサ、CCD（Charge Coupled Device）を用いたCCDイメージセンサ等として構成される。
　図２に示されるように、イメージセンサ１００は、画素アレイ部１１１、アナログ処理部１１２、デジタル処理部１１３、メモリバス１１４、フレームメモリ１１５、および出力部１１６を有する。
　画素アレイ部１１１は、フォトダイオード等の光電変換素子を有する画素構成（単位画素）が平面状または曲面状に配置される画素領域である。画素アレイ部１１１の各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。読み出し処理は、このような単位画素から画素信号を読み出す処理である。
　アナログ処理部１１２は、画素アレイ部１１１の各単位画素から読み出されたアナログの画素信号に対してアナログ処理を行う。このアナログ処理には、例えば、画素信号をデジタルの画像データに変換するA/D変換処理が含まれる。
　デジタル処理部１１３は、アナログ処理部１１２によりA/D変換されたデジタルの画像データに対して信号処理やタイミング制御等のロジック処理を行う。図２に示されるように、デジタル処理部１１３は、タイミング制御部１２１および信号処理部１２２を有する。
　タイミング制御部１２１は、画素アレイ部１１１、アナログ処理部１１２、信号処理部１２２、および出力部１１６の動作（例えば、処理速度や処理レート（フレームレート）等）を制御する。信号処理部１２２は、アナログ処理部１１２によりA/D変換されたデジタルの画像データに対して信号処理を行う。このデジタル処理には、例えば、画素並び替え処理や黒レベル処理等のセンサー機能の1次処理、並びに、HDR（High Dynamic Range）処理や解像度やアスペクト比を変換するスケーリング処理等の画像処理の2次処理、並びに、出力制御等の3次処理等が含まれる。
　また、信号処理部１２２は、画像データのフレームメモリ１１５への書き込みや読み出しを行う。例えば、画像データの書き込みを行う場合、信号処理部１２２は、画像データを、メモリバス１１４を介してフレームメモリ１１５に供給する。また、画像データの読み出しを行う場合、信号処理部１２２は、所望の画像データをフレームメモリ１１５に対して要求し、メモリバス１１４を介してその画像データを取得する。さらに、信号処理部１２２は、画像データを出力させる出力制御処理を行う。例えば、画像データをイメージセンサ１００の外部に出力する場合、信号処理部１２２は、その画像データを、フレームメモリ１１５からメモリバス１１４を介して取得し、出力部１１６に供給する。
　メモリバス１１４は、デジタル処理部１１３（信号処理部１２２）とフレームメモリ１１５との間に設けられたデータ伝送路である。フレームメモリ１１５に格納されるデータ（画像データ等）は、このメモリバス１１４を介して伝送される。
　フレームメモリ１１５は、上述した記憶部の一実施の形態であり、１フレーム以上の画像データを格納することができる容量を有する記憶媒体である。フレームメモリ１１５は、例えばDRAMを用いて形成される。もちろん、SRAMやフラッシュメモリ等のその他の半導体メモリを用いるようにしてもよい。フレームメモリ１１５は、信号処理部１２２からメモリバス１１４を介して供給される画像データを格納する。また、フレームメモリ１１５は、信号処理部１２２の要求に応じて、格納している画像データを、メモリバス１１４を介して信号処理部１２２に供給する。つまり、フレームメモリ１１５は、画素アレイ部１１１から読み出された画素信号から生成された画像データを格納する。
　なお、フレームメモリ１１５の代わりに十分に多くのライン数の画像データを格納することができるラインメモリ（十分に大容量のラインメモリ）を用いるようにしてもよい。
　出力部１１６は、例えば、高速I/F(MIPI（Mobile Industry Processor Interface）)やI/Oセル等よりなり、信号処理部１２２を介してフレームメモリ１１５から取得した画像データを、イメージセンサ１００の外部に出力する。
　　＜単位画素構成＞
　ここで、画素アレイ部１１１に形成される各単位画素の主な構成の例を図３に示す。画素アレイ部１１１に形成される各単位画素は、図３に示される例のような、基本的に互いに同一の構成を有する。図３に示される例の場合、単位画素１３１は、フォトダイオード１４１、読み出しトランジスタ１４２、リセットトランジスタ１４３、増幅トランジスタ１４４、およびセレクトトランジスタ１４５を有する。
　フォトダイオード（PD）１４１は、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード１４１のアノード電極は画素領域のグランド（画素グランド）に接続され、カソード電極は読み出しトランジスタ１４２を介してフローティングディフュージョン（FD）に接続される。
　読み出しトランジスタ１４２は、フォトダイオード１４１からの光電荷の読み出しを制御する。読み出しトランジスタ１４２は、ドレイン電極がフローティングディフュージョンに接続され、ソース電極がフォトダイオード１４１のカソード電極に接続される。また、読み出しトランジスタ１４２のゲート電極には、画素駆動部（図示せず）から制御信号TRGが供給される。制御信号TRG（すなわち、読み出しトランジスタ１４２のゲート電位）がオフ状態のとき、フォトダイオード１４１からの光電荷の読み出しが行われない（フォトダイオード１４１において光電荷が蓄積される）。制御信号TRG（すなわち、読み出しトランジスタ１４２のゲート電位）がオン状態のとき、フォトダイオード１４１に蓄積された光電荷が読み出され、フローティングディフュージョン（FD）に供給される。
　リセットトランジスタ１４３は、フローティングディフュージョン（FD）の電位をリセットする。リセットトランジスタ１４３は、ドレイン電極が電源電位に接続され、ソース電極がフローティングディフュージョン（FD）に接続される。また、リセットトランジスタ１４３のゲート電極には、画素駆動部（図示せず）から制御信号RSTが供給される。制御信号RST（すなわち、リセットトランジスタ１４３のゲート電位）がオフ状態のとき、フローティングディフュージョン（FD）は電源電位と切り離されている。制御信号RST（すなわち、リセットトランジスタ１４３のゲート電位）がオン状態のとき、フローティングディフュージョン（FD）の電荷が電源電位に捨てられ、フローティングディフュージョン（FD）がリセットされる。
　増幅トランジスタ１４４は、フローティングディフュージョン（FD）の電位変化を増幅し、電気信号（アナログ信号）として出力する。増幅トランジスタ１４４は、ゲート電極がフローティングディフュージョン（FD）に接続され、ドレイン電極が電源電位に接続され、ソース電極がセレクトトランジスタ１４５のドレイン電極に接続されている。例えば、増幅トランジスタ１４４は、リセットトランジスタ１４３によってリセットされたフローティングディフュージョン（FD）の電位をリセット信号（リセットレベル）としてセレクトトランジスタ１４５に出力する。また、増幅トランジスタ１４４は、読み出しトランジスタ１４２によって光電荷が転送されたフローティングディフュージョン（FD）の電位を光蓄積信号（信号レベル）としてセレクトトランジスタ１４５に出力する。
　セレクトトランジスタ１４５は、増幅トランジスタ１４４から供給される電気信号の垂直信号線VSLへの出力を制御する。セレクトトランジスタ１４５は、ドレイン電極が増幅トランジスタ１４４のソース電極に接続され、ソース電極が垂直信号線VSLに接続されている。また、セレクトトランジスタ１４５のゲート電極には、画素駆動部（図示せず）から制御信号SELが供給される。制御信号SEL（すなわち、セレクトトランジスタ１４５のゲート電位）がオフ状態のとき、増幅トランジスタ１４４と垂直信号線VSLは電気的に切り離されている。したがって、この状態のとき、当該単位画素から画素信号が出力されない。制御信号SEL（すなわち、セレクトトランジスタ１４５のゲート電位）がオン状態のとき、当該単位画素が選択状態となる。つまり、増幅トランジスタ１４４と垂直信号線VSLが電気的に接続され、増幅トランジスタ１４４から出力される信号が、当該単位画素の画素信号として、垂直信号線VSLに供給される。すなわち、当該単位画素から画素信号が読み出される。
　　＜各処理の制御の独立化＞
　従来のイメージセンサでは、図４のＡに示されるように、信号処理部１２２におけるデジタルの画像データに対する信号処理であるデジタル処理、画素アレイ部１１１における画素信号を読み出す読み出し処理、アナログ処理部１１２におけるアナログの画素信号に対する信号処理であるアナログ処理、並びに、出力部１１６におけるデジタルの画像データを出力する出力処理の各処理は、共通の処理速度・処理レートで動作していた。
　これに対してイメージセンサ１００は、図４のＢに示されるように、フレームメモリ１１５を有する。このフレームメモリ１１５を利用することにより、デジタル処理を、読み出し処理や、アナログ処理や、出力処理に対して独立に実行することができる。
　したがって、タイミング制御部１２１は、このフレームメモリ１１５を利用して、イメージセンサ１００において行われる各処理を互いに独立に実行させるようにする（フロー制御を行う）。
　より具体的には、タイミング制御部１２１は、例えば、読み出し処理およびアナログ処理、デジタル処理、並びに出力処理の処理速度や処理レート（フレームレート）を互いに独立に設定し、各処理を、その設定した処理速度・処理レートでそれぞれ実行させる。
　なお、説明の便宜上、以下において、通常の処理速度を中速とし、それより速い場合を高速、遅い場合を低速とする。また、通常の処理レート（フレームレート）を中速レートとし、それより速い場合を高速レート、遅い場合を低速レートとする。
　このようにすることにより、各処理の処理速度や処理レートの組み合わせによって、イメージセンサ１００は、より多様な撮像画像を生成することができる。
　　＜読み出し・アナログ処理の高速化＞
　以下に、タイミング制御部１２１による各処理の制御の具体例について説明する。例えば、タイミング制御部１２１は、図５に示される例のように、読み出し処理およびアナログ処理を、デジタル処理や出力処理よりも高速化する（高速に実行させる）ようにしてもよい。
　図５は、１フレーム分の処理を行う期間（垂直同期期間XVS）の各処理の動作期間の様子の例を示している。図５に示されるように、読み出し処理とアナログ処理を通常の処理速度よりも高速に実行させ、デジタル処理および出力処理は通常の処理速度で実行させる。なお、各処理の処理レート（フレームレート）は、通常の処理レートと同一のままである（処理レートは変更しない）。
　このようにすることにより、イメージセンサ１００の出力仕様を変更せずに、読み出し処理とアナログ処理を高速化することができる。読み出し処理とアナログ処理を高速化することにより、画素アレイの各行の読み出し時刻が異なることにより発生する動体歪みであるフォーカルプレーン歪みを低減させることができる。つまり、イメージセンサ１００は、出力仕様を変更せずに、フォーカルプレーン歪みを低減させることができる。
　　＜制御処理の流れ＞
　次に、図６のフローチャートを参照して、以上のような、各処理の動作の制御を行うためにタイミング制御部１２１が実行する制御処理の流れの例を説明する。
　制御処理が開始されると、タイミング制御部１２１は、ステップＳ１０１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。タイミング制御部１２１は、画素アレイ部１１１に、この読み出し処理を高速かつ中速レートで実行させる。
　ステップＳ１０２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ１０１の制御により高速に得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。タイミング制御部１２１は、アナログ処理部１１２に、このアナログ処理を高速かつ中速レートで実行させる。
　ステップＳ１０３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ１０２の制御により高速に得られたデジタルの画像データに対してデジタル処理を行わせる。タイミング制御部１２１は、信号処理部１２２に、このデジタル処理を中速かつ中速レートで実行させる。
　ステップＳ１０４において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ１０３の制御により中速で適宜デジタル処理された画像データを出力させる。タイミング制御部１２１は、出力部１１６に、この出力処理を中速かつ中速レートで実行させる。
　ステップＳ１０４の処理が終了すると、制御処理が終了する。
　ステップＳ１０２の制御に基づいて行われたアナログ処理により得られたデジタルの画像データは、フレームメモリ１１５に格納される。したがって、読み出し処理とアナログ処理が高速に実行されても、デジタル処理と出力処理は、それより遅い中速で実行することができる。このことを利用して、タイミング制御部１２１が上述したように制御処理を実行することにより、イメージセンサ１００は、出力仕様を変更せずに、フォーカルプレーン歪みを低減させることができる。
　　＜デジタル処理の低速化＞
　また、例えば、図５の例のように読み出し処理およびアナログ処理を高速化し、さらに、デジタル処理を出力処理よりも低速化する（低速に実行させる）ようにしてもよい。
　図７は、図５と同様に、１フレーム分の処理を行う期間（垂直同期期間XVS）の各処理の動作期間の様子の例を示している。図７に示されるように、読み出し処理とアナログ処理を通常の処理速度よりも高速に実行させ、デジタル処理を通常の処理速度よりも低速に実行させ、出力処理は通常の処理速度で実行させる。なお、各処理の処理レート（フレームレート）は、通常の処理レートと同一のままである（処理レートは変更しない）。
　このようにすることにより、イメージセンサ１００の出力仕様を変更せずに、読み出し処理とアナログ処理を高速化するとともに、デジタル処理を低速化することができる。読み出し処理とアナログ処理を高速化することによりフォーカルプレーン歪みを低減させることができる。また、デジタル処理を低速化することにより、デジタル処理の処理時間が長くなり、デジタル処理の負荷が分散される。これにより電力消費タイミングが集中するのを抑制し、消費電力の変動を平滑化することができる。つまり、消費電力のピーク値（最大値）を低減させることができる。これにより、消費電力のマージンをより大きくすることができる。つまり、イメージセンサ１００は、出力仕様を変更せずに、フォーカルプレーン歪みを低減させ、さらに消費電力のマージンをより大きくすることができる。
　　＜制御処理の流れ＞
　次に、図８のフローチャートを参照して、以上のような、各処理の動作の制御を行うためにタイミング制御部１２１が実行する制御処理の流れの例を説明する。
　制御処理が開始されると、タイミング制御部１２１は、ステップＳ１２１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。タイミング制御部１２１は、画素アレイ部１１１に、この読み出し処理を高速かつ中速レートで実行させる。
　ステップＳ１２２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ１２１の制御により高速に得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。タイミング制御部１２１は、アナログ処理部１１２に、このアナログ処理を高速かつ中速レートで実行させる。
　ステップＳ１２３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ１２２の制御により高速に得られたデジタルの画像データに対してデジタル処理を行わせる。タイミング制御部１２１は、信号処理部１２２に、このデジタル処理を低速かつ中速レートで実行させる。
　ステップＳ１２４において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ１２３の制御により低速で適宜デジタル処理された画像データを出力させる。タイミング制御部１２１は、出力部１１６に、この出力処理を中速かつ中速レートで実行させる。
　ステップＳ１２４の処理が終了すると、制御処理が終了する。
　ステップＳ１２２の制御に基づいて行われたアナログ処理により得られたデジタルの画像データは、フレームメモリ１１５に格納される。したがって、読み出し処理とアナログ処理が高速に実行されても、デジタル処理を、それより遅い低速で実行することができる。さらに、デジタル処理された画像データは、また、フレームメモリ１１５に格納される。したがって、出力処理は、デジタル処理よりも速い中速で実行することができる。このことを利用して、タイミング制御部１２１が上述したように制御処理を実行することにより、イメージセンサ１００は、出力仕様を変更せずに、フォーカルプレーン歪みを低減させ、さらに消費電力のマージンをより大きくすることができる。
　　＜デジタル処理の複数回実行＞
　また、例えば、図９の例のようにデジタル処理を読み出し処理、アナログ処理、および出力処理よりも高速化し（高速に実行し）、さらにそのデジタル処理を複数回繰り返す（複数回デジタル処理を実行する）ようにしてもよい。
　図９は、図５と同様に、１フレーム分の処理を行う期間（垂直同期期間XVS）の各処理の動作期間の様子の例を示している。図９に示されるように、読み出し処理、アナログ処理、出力処理は、通常の処理速度で実行させる。これに対してデジタル処理は、通常の処理速度よりも高速に実行させ、さらに、デジタル処理を複数回実行させる。なお、各処理の処理レート（フレームレート）は、通常の処理レートと同一のままである（処理レートは変更しない）。
　このようにすることにより、イメージセンサ１００の出力仕様を変更せずに、デジタル処理（デジタルの信号処理）を複数回適用することができる。デジタル処理を複数回適用することにより、その信号処理の効果をより強くすることができる。例えば、フィルタ処理等を複数回繰り返し適用することにより、画像データにそのフィルタ処理の効果をより強く反映させることができる。さらには、例えば、解像度やアスペクト比を変換するスケーリング処理を複数回行い、出力用とは別に解像度やアスペクト比の異なる対象を生成し、複数回の検出処理を行い検出精度を向上させることができる。
　つまり、イメージセンサ１００は、出力仕様を変更せずに、信号処理（デジタル処理）の効果を大きくすることができる。
　　＜制御処理の流れ＞
　次に、図１０のフローチャートを参照して、以上のような、各処理の動作の制御を行うためにタイミング制御部１２１が実行する制御処理の流れの例を説明する。
　制御処理が開始されると、タイミング制御部１２１は、ステップＳ１４１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。タイミング制御部１２１は、画素アレイ部１１１に、この読み出し処理を中速かつ中速レートで実行させる。
　ステップＳ１４２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ１４１の制御により中速に得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。タイミング制御部１２１は、アナログ処理部１１２に、このアナログ処理を中速かつ中速レートで実行させる。
　ステップＳ１４３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ１４２の制御により中速に得られたデジタルの画像データに対してデジタル処理を行わせる。タイミング制御部１２１は、信号処理部１２２に、このデジタル処理を高速かつ高速レートで複数回実行させる。
　ステップＳ１４４において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ１４３の制御により高速に複数回デジタル処理された画像データを出力させる。タイミング制御部１２１は、出力部１１６に、この出力処理を中速かつ中速レートで実行させる。
　ステップＳ１４４の処理が終了すると、制御処理が終了する。
　ステップＳ１４２の制御に基づいて行われたアナログ処理により得られたデジタルの画像データは、フレームメモリ１１５に格納される。したがって、読み出し処理とアナログ処理が中速に実行されても、デジタル処理を、それより速い高速で実行することができる。また、デジタル処理を複数回実行することもできる。さらに、デジタル処理された画像データは、また、フレームメモリ１１５に格納される。したがって、出力処理は、デジタル処理よりも遅い中速で実行することができる。このことを利用して、タイミング制御部１２１が上述したように制御処理を実行することにより、イメージセンサ１００は、出力仕様を変更せずに、信号処理（デジタル処理）の効果を大きくすることができる。
　　＜処理レートの制御＞
　また、各処理の処理レートを変更するようにしてもよい。例えば、図１１の例のように、読み出し処理およびアナログ処理を、デジタル処理および出力処理よりも高速化し（高速に実行し）、さらに、高速レート化（フレームレートを上げる）ようにしてもよい。
　図１１は、複数フレーム分の処理を行う期間（垂直同期期間XVS）の各処理の動作期間の様子の例を示している。図１１に示されるように、読み出し処理とアナログ処理は、通常の処理速度よりも高速に実行され、デジタル処理および出力処理は通常の処理速度で実行されている。さらに、読み出し処理とアナログ処理は、通常の処理レートよりも高速レートで実行され、デジタル処理および出力処理は通常の処理レートで実行されている。
　このようにすることにより、イメージセンサ１００の出力仕様を変更せずに、読み出し処理とアナログ処理を高速化・高速レート化することができる。読み出し処理とアナログ処理を高速化・高速レート化することにより、高速撮影を実現することができる。また、デジタル処理と出力処理を通常の処理速度・処理レートで実行することにより、その高速撮影された画像をスロー再生することができる。つまり、イメージセンサ１００は、出力仕様を変更せずに、高速撮影やスロー再生を実現することができる。
　　＜制御処理の流れ＞
　次に、図１２のフローチャートを参照して、以上のような、各処理の動作の制御を行うためにタイミング制御部１２１が実行する制御処理の流れの例を説明する。
　制御処理が開始されると、タイミング制御部１２１は、ステップＳ１６１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。タイミング制御部１２１は、画素アレイ部１１１に、この読み出し処理を高速かつ高速レートで実行させる。
　ステップＳ１６２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ１６１の制御により高速かつ高速レートで得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。タイミング制御部１２１は、アナログ処理部１１２に、このアナログ処理を高速かつ高速レートで実行させる。
　ステップＳ１６３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ１６２の制御により高速かつ高速レートで得られたデジタルの画像データに対してデジタル処理を行わせる。タイミング制御部１２１は、信号処理部１２２に、このデジタル処理を中速かつ中速レートで実行させる。
　ステップＳ１６４において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ１６３の制御により中速かつ中速レートでデジタル処理された画像データを出力させる。タイミング制御部１２１は、出力部１１６に、この出力処理を中速かつ中速レートで実行させる。
　ステップＳ１６４の処理が終了すると、制御処理が終了する。
　ステップＳ１６２の制御に基づいて行われたアナログ処理により得られたデジタルの画像データは、フレームメモリ１１５に格納される。したがって、読み出し処理とアナログ処理が高速かつ高速レートで実行されても、デジタル処理や出力処理は、それより遅い、中速かつ中速レートで実行することができる。このことを利用して、タイミング制御部１２１が上述したように制御処理を実行することにより、イメージセンサ１００は、出力仕様を変更せずに、高速撮影やスロー再生を実現することができる。
　なお、このような通常よりも高速レートで撮影し、通常の処理レートで再生することができるフレーム数は、フレームメモリ１１５の容量に依存する。このような撮影を行うと、読み出し処理およびアナログ処理の処理レートと、デジタル処理及び出力処理の処理レートとの差の分だけ、フレームメモリ１１５に画像データが蓄積されていく。フレームメモリ１１５の容量は任意であるが有限であるので、そのレート差の吸収にも限界がある。つまり、このような撮影は、フレームメモリ１１５の容量の範囲内でのみ行うことができる。
　なお、フレームメモリ１１５の空き容量が不足した場合、図１１のフレーム８、フレーム９のように、撮影を通常の処理レートに戻すようにしてもよい。すなわち、高速レートで行われていた読み出し処理およびアナログ処理の処理レートを中速レートに変更するようにしてもよい。
　また、通常の処理レートで撮影中に、一時高速撮影を行うような場合、その高速撮影した画像は、通常の処理レートで撮影した画像に連続して出力するようにしてもよいし、所謂ピクチャインピクチャのように、通常の処理レートで撮影した画像内に重畳して出力するようにしてもよいし、撮影停止後に別途出力するようにしてもよい。
　＜２．第２の実施の形態＞
　　＜タイムシフト＞
　なお、フレームメモリ１１５を利用することにより、上述したように、各処理の処理速度や処理レートを変更するだけでなく、各処理の処理対象のフレームを時間方向に変更することができる（つまり、各処理の処理対象のフレームを互いに独立に設定することができる）ようにしてもよい。
　例えば、図１３に示されるように、フレームメモリ１１５にリングバッファを設けるようにしてもよい。この場合、画素アレイ部１１１から読み出され、A/D変換された画像データは、デジタル処理部１１３により、例えば、画素並び替え処理や黒レベル処理等のセンサー機能の１次処理２１１が行われる。１次処理２１１が施された画像データは、フレームメモリ１１５内に設けられた１次処理用領域２２１に格納される。この１次処理用領域２２１は、リングバッファを形成し、デジタル処理部１１３から供給される、各フレームの、１次処理２１１が施された画像データを順次記憶する。
　利用者が撮影ボタン等を押下していない、撮影が指示されていない状態において画素アレイ部１１１により得られる撮像画像である取り込み画像の画像データは、このように、リングバッファである１次処理用領域２２１に順次格納される。
　例えば、図１４のようにユーザが撮影ボタンを押下する等して撮影を指示すると、デジタル処理部１１３は、そのユーザ指示に基づいて、１次処理用領域２２１に格納される過去のフレームの画像データを読み出す。１次処理用領域２２１に格納される画像データは、最後に格納されるフレームが最新である。デジタル処理部１１３は、その最新のフレームよりも時間的に前に格納された過去のフレームの画像データを読み出す。
　このデジタル処理部１１３により読み出される画像データが最新のフレームから何フレーム前の画像データであるかは任意である。例えば、デジタル処理部１１３が、最新のフレームから予め定められた所定数分前のフレームの画像データを読み出すようにしてもよいし、リングバッファである１次処理用領域２２１の、最新のフレームの画像データが格納される位置以外の所定の位置に格納される画像データを読み出すようにしてもよい。
　デジタル処理部１１３は、読み出した画像データに対して、HDR（High Dynamic Range）処理や解像度やアスペクト比を変換するスケーリング処理等の画像処理の２次処理２１２を行う。２次処理２１２が行われた画像データは、フレームメモリ１１５内に設けられた２次処理用領域２２２に格納される。
　デジタル処理部１１３は、出力制御処理２１３を行い、所定のタイミングにおいてその２次処理用領域２２２に格納される画像データを読み出し、出力部１１６に供給し、出力させる。
　以上のように、リングバッファを用いることにより、イメージセンサ１００は、過去にさかのぼったデータを出力することができる。
　　＜制御処理の流れ＞
　その場合の制御処理の流れの例を、図１５のフローチャートを参照して説明する。
　制御処理が開始されると、タイミング制御部１２１は、ステップＳ２０１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。
　ステップＳ２０２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ２０１の制御により得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。
　ステップＳ２０３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２０２の制御により得られたデジタルの画像データに対して１次処理を行わせる。
　ステップＳ２０４において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２０２の制御により１次処理が行われた画像データをフレームメモリ１１５のリングバッファ（１次処理用領域２２１）に格納させる。
　ステップＳ２０５において、タイミング制御部１２１は、撮像するか否かを判定する。例えば、ユーザ等から撮像指示が入力されておらず、撮像しないと判定された場合、処理をステップＳ２０１に戻し、それ以降の処理を繰り返す。すなわち、撮影前の状態において、ステップＳ２０１乃至ステップＳ２０５の各処理が繰り返し実行され、取り込み画像が１次処理用領域２２１に格納される。
　ステップＳ２０５において、例えば、ユーザが撮影ボタンを操作する等、撮像指示が入力され、撮像すると判定された場合、処理はステップＳ２０６に進む。
　ステップＳ２０６において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、フレームメモリ１１５のリングバッファ（１次処理用領域２２１）に書き込まれた最新のフレームより前のフレーム（過去のフレーム）の画像データを読み出させる。
　ステップＳ２０７において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２０６の制御により読み出された画像データに対して２次処理を行わせる。
　ステップＳ２０８において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２０７の制御により２次処理が行われた画像データをフレームメモリ１１５の２次処理用領域２２２に格納させる。
　ステップＳ２０９において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、３次処理を行わせる。すなわち、信号処理部１２２は、タイミング制御部１２１の制御に従って３次処理を行うことにより、ステップＳ２０８の制御によりフレームメモリ１１５の２次処理用領域２２２に格納された画像データを、所定のタイミングで読み出させる。
　ステップＳ２１０において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ２０９の制御により読み出された画像データをイメージセンサ１００の外部に出力させる。
　ステップＳ２１０の処理が終了すると、制御処理が終了する。
　以上のように処理を行うことにより、イメージセンサ１００は、リングバッファを利用して、過去にさかのぼったデータを出力することができる。
　このようなイメージセンサ１００は、任意の装置やシステムに適用することができるが、例えば、事故発生時にその少し前の時刻からの映像を記録するドライブレコーダや、人や動物の動きを検出し、その検出時より少し前の時刻からの映像を記録する監視カメラ等に適用するのに好適である。
　　＜タイムシフトの他の例＞
　なお、リングバッファは用いずに、過去にさかのぼったデータを出力するようにしてもよい。例えば、フレームメモリ１１５が複数フレーム分画像データを格納することができる容量を有していればよい。例えば、フレームメモリ１１５に格納されているデータがFIFO（First In First Out）方式で読み出されるようにしてもよい。図１６にその場合の例を示す。図１６の例の場合、フレームメモリ１１５がFIFOとして動作するので、信号処理部１２２は、現在フレームメモリ１１５に格納中である最新のフレームより時間的に前のフレーム（過去のフレーム）の画像データを読み出すことになる。
　例えば、ユーザが撮影ボタンを操作すると、被写体が撮像されて撮像画像が得られるような場合、ユーザが撮影ボタンを押下してからその撮像画像の画像データが出力されるまでの間に所定の処理時間が必要であり、その分遅延が発生する。この遅延時間が大きいと、ユーザが所望のタイミングの撮像画像を得ることが困難になるおそれがある。
　そこで、図１６の例のように、ユーザが撮影ボタンを操作して得られる撮像画像よりも時間的に前のフレームの画像をデジタル処理し、撮像画像として出力するようにすることにより、イメージセンサ１００は、この遅延時間（タイムラグ）の増大を抑制することができる。
　なお、画像データは動画像であってもよいし、静止画像であってもよい。
　　＜制御処理の流れ＞
　その場合の制御処理の流れの例を、図１７のフローチャートを参照して説明する。
　制御処理が開始されると、タイミング制御部１２１は、ステップＳ２５１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。
　ステップＳ２５２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ２５１の制御により得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。
　ステップＳ２５３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２５２の制御により得られたデジタルの画像データに対して１次処理を行わせる。
　ステップＳ２５４において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２５２の制御により１次処理が行われた画像データをフレームメモリ１１５に格納させる。
　ステップＳ２５５において、タイミング制御部１２１は、例えばユーザ等から撮像指示が入力されるタイミングのような、所定のタイミングにおいて、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、フレームメモリ１１５に書き込まれるフレームより前のフレーム（過去のフレーム）の画像データを読み出させる。
　ステップＳ２５６において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２５５の制御により読み出された画像データに対して２次処理を行わせる。
　ステップＳ２５７において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２５６の制御により２次処理が行われた画像データをフレームメモリ１１５に格納させる。
　ステップＳ２５８において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、３次処理を行わせる。すなわち、信号処理部１２２は、タイミング制御部１２１の制御に従って３次処理を行うことにより、ステップＳ２５７の制御によりフレームメモリ１１５に格納された画像データを、所定のタイミングで読み出させる。
　ステップＳ２５９において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ２５８の制御により読み出された画像データをイメージセンサ１００の外部に出力させる。
　ステップＳ２５９の処理が終了すると、制御処理が終了する。
　以上のように処理を行うことにより、イメージセンサ１００は、過去にさかのぼったデータを出力し、撮影指示の入力から画像データ出力までの遅延時間（タイムラグ）の増大を抑制することができる。
　このようなイメージセンサ１００は、任意の装置やシステムに適用することができるが、例えば、ユーザが撮影ボタンを操作して被写体を撮像するデジタルカメラやビデオカメラ等に適用するのに好適である。
　＜３．第３の実施の形態＞
　　＜イメージセンサの物理構成＞
　なお、本技術を適用する撮像素子は、例えば、封止されたパッケージやパッケージが回路基板に設置されたモジュール等として実現することができる。例えば、パッケージとして実現する場合、そのパッケージにおいて撮像素子が、単一の半導体基板により構成されるようにしてもよいし、互いに重畳される複数の半導体基板により構成されるようにしてもよい。
　図１８は、本技術を適用した撮像素子であるイメージセンサ１００の物理構成の一例を示す図である。
　図１８のＡに示される例の場合、図３を参照して説明したイメージセンサ１００の回路構成は、全て単一の半導体基板に形成される。図１８のＡの例の場合、画素・アナログ処理部３１１、デジタル処理部１１３、およびフレームメモリ１１５を囲むように出力部１１６－１乃至出力部１１６－４が配置されている。画素・アナログ処理部３１１は、画素アレイ部１１１とアナログ処理部１１２の構成（例えば、画素アレイやA/D変換部等）が形成される領域である。出力部１１６－１乃至出力部１１６－４は、出力部１１６の構成（例えば、I/Oセル等）が配置される領域である。
　もちろん、図１８のＡの構成例は一例であり、各処理部の構成の配置は、この例に限らない。
　図１８のＢに示される例の場合、図３を参照して説明したイメージセンサ１００の回路構成は、互いに重畳される２枚の半導体基板（積層チップ（画素チップ３２１および回路チップ３２２））に形成される。
　画素チップ３２１には、画素・アナログ処理部３１１、デジタル処理部１１３、並びに、出力部１１６－１および出力部１１６－２が形成される。出力部１１６－１および出力部１１６－２は、出力部１１６の構成（例えば、I/Oセル等）が配置される領域である。
　また、回路チップ３２２には、フレームメモリ１１５が形成されている。
　上述したように画素チップ３２１および回路チップ３２２は、互いに重畳され、多層構造（積層構造）を形成する。画素チップ３２１に形成されるデジタル処理部１１３と回路チップ３２２に形成されるフレームメモリ１１５は、ビア領域（VIA）３２３およびビア領域（VIA）３２４に形成される貫通ビア（VIA）等を介して互いに電気的に接続されている（メモリバス１１４が形成される）。
　このような積層構造のイメージセンサにも本技術を適用することができる。なお、この半導体基板（積層チップ）の数（層数）は任意であり、例えば、図１８のＣに示されるように、３層以上であってもよい。
　図１８のＣの例の場合、イメージセンサ１００は、半導体基板３５１、半導体基板３５２、および半導体基板３５３を有する。半導体基板３５１乃至半導体基板３５３は、互いに重畳され、多層構造（積層構造）を形成する。半導体基板３５１には、画素・アナログ処理部３１１が形成され、半導体基板３５２には、デジタル処理部１１３および出力部１１６が形成され、半導体基板３５３には、フレームメモリ１１５が形成されている。各半導体基板の各処理部は、貫通ビア（VIA）３６１乃至貫通ビア（VIA）３６３を介して互いに電気的に接続されている。
　このような積層構造のイメージセンサにも本技術を適用することができる。もちろん、各半導体基板に形成される処理部は、任意であり、図１８の例に限定されない。
　＜４．第４の実施の形態＞
　　＜撮像装置＞
　なお、本技術は、撮像素子以外にも適用することができる。例えば、撮像装置のような、撮像素子を有する装置（電子機器等）に本技術を適用するようにしてもよい。図１９は、本技術を適用した電子機器の一例としての撮像装置の主な構成例を示すブロック図である。図１９に示される撮像装置６００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
　図１９に示されるように撮像装置６００は、光学部６１１、CMOSイメージセンサ６１２、画像処理部６１３、表示部６１４、コーデック処理部６１５、記憶部６１６、出力部６１７、通信部６１８、制御部６２１、操作部６２２、およびドライブ６２３を有する。
　光学部６１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部６１１は、被写体からの光（入射光）を透過し、CMOSイメージセンサ６１２に供給する。
　CMOSイメージセンサ６１２は、入射光を光電変換して画素毎の信号（画素信号）をA/D変換し、CDS等の信号処理を行い、処理後の撮像画像データを画像処理部６１３に供給する。
　画像処理部６１３は、CMOSイメージセンサ６１２により得られた撮像画像データを画像処理する。より具体的には、画像処理部６１３は、CMOSイメージセンサ６１２から供給された撮像画像データに対して、例えば、混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部６１３は、画像処理を施した撮像画像データを表示部６１４に供給する。
　表示部６１４は、例えば、液晶ディスプレイ等として構成され、画像処理部６１３から供給された撮像画像データの画像（例えば、被写体の画像）を表示する。
　画像処理部６１３は、さらに、画像処理を施した撮像画像データを、必要に応じて、コーデック処理部６１５に供給する。
　コーデック処理部６１５は、画像処理部６１３から供給された撮像画像データに対して、所定の方式の符号化処理を施し、得られた符号化データを記憶部６１６に供給する。また、コーデック処理部６１５は、記憶部６１６に記録されている符号化データを読み出し、復号して復号画像データを生成し、その復号画像データを画像処理部６１３に供給する。
　画像処理部６１３は、コーデック処理部６１５から供給される復号画像データに対して所定の画像処理を施す。画像処理部６１３は、画像処理を施した復号画像データを表示部６１４に供給する。表示部６１４は、例えば、液晶ディスプレイ等として構成され、画像処理部６１３から供給された復号画像データの画像を表示する。
　また、コーデック処理部６１５は、画像処理部６１３から供給された撮像画像データを符号化した符号化データ、または、記憶部６１６から読み出した撮像画像データの符号化データを出力部６１７に供給し、撮像装置６００の外部に出力させるようにしてもよい。また、コーデック処理部６１５は、符号化前の撮像画像データ、若しくは、記憶部６１６から読み出した符号化データを復号して得られた復号画像データを出力部６１７に供給し、撮像装置６００の外部に出力させるようにしてもよい。
　さらに、コーデック処理部６１５は、撮像画像データ、撮像画像データの符号化データ、または、復号画像データを、通信部６１８を介して他の装置に伝送させるようにしてもよい。また、コーデック処理部６１５は、撮像画像データや画像データの符号化データを、通信部６１８を介して取得するようにしてもよい。コーデック処理部６１５は、通信部６１８を介して取得した撮像画像データや画像データの符号化データに対して、適宜、符号化や復号等を行う。コーデック処理部６１５は、得られた画像データ若しくは符号化データを、上述したように、画像処理部６１３に供給したり、記憶部６１６、出力部６１７、および通信部６１８に出力するようにしてもよい。
　記憶部６１６は、コーデック処理部６１５から供給される符号化データ等を記憶する。記憶部６１６に格納された符号化データは、必要に応じてコーデック処理部６１５に読み出されて復号される。復号処理により得られた撮像画像データは、表示部６１４に供給され、その撮像画像データに対応する撮像画像が表示される。
　出力部６１７は、外部出力端子等の外部出力インターフェイスを有し、コーデック処理部６１５を介して供給される各種データを、その外部出力インターフェイスを介して撮像装置６００の外部に出力する。
　通信部６１８は、コーデック処理部６１５から供給される画像データや符号化データ等の各種情報を、所定の通信（有線通信若しくは無線通信）の通信相手である他の装置に供給する。また、通信部６１８は、所定の通信（有線通信若しくは無線通信）の通信相手である他の装置から、画像データや符号化データ等の各種情報を取得し、それをコーデック処理部６１５に供給する。
　制御部６２１は、撮像装置６００の各処理部（点線６２０内に示される各処理部、操作部６２２、並びに、ドライブ６２３）の動作を制御する。
　操作部６２２は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等の任意の入力デバイスにより構成され、例えばユーザ等による操作入力を受け、その操作入力に対応する信号を制御部６２１に供給する。
　ドライブ６２３は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア６２４に記憶されている情報を読み出す。ドライブ６２３は、リムーバブルメディア６２４からプログラムやデータ等の各種情報を読み出し、それを制御部６２１に供給する。また、ドライブ６２３は、書き込み可能なリムーバブルメディア６２４が自身に装着された場合、制御部６２１を介して供給される、例えば画像データや符号化データ等の各種情報を、そのリムーバブルメディア６２４に記憶させる。
　以上のような撮像装置６００のCMOSイメージセンサ６１２として、各実施の形態において上述した本技術を適用する。すなわち、CMOSイメージセンサ６１２として、上述したイメージセンサ１００が用いられる。これにより、CMOSイメージセンサ６１２は、より多様な撮像画像を得ることができる。したがって撮像装置６００は、被写体を撮像することにより、より多様な撮像画像を得ることができる。
　なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　この記録媒体は、例えば、図１９に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア６２４により構成される。このリムーバブルメディア６２４には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。
　その場合、プログラムは、そのリムーバブルメディア６２４をドライブ６２３に装着することにより、記憶部６１６にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１８で受信し、記憶部６１６にインストールすることができる。
　その他、このプログラムは、記憶部６１６や制御部６２１内のROM（Read Only Memory）等に、あらかじめインストールしておくこともできる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成も取ることができる。
　（１）　画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
　アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
　前記画像データを格納する記憶部と、
　前記記憶部に格納される前記画像データを信号処理する信号処理部と、
　前記記憶部に格納される前記画像データを出力する出力部と、
　前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理と、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理と、前記出力部による前記画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御部と
　を備える撮像素子。
　（２）　前記制御部は、前記読み出し処理および前記アナログ処理を、前記デジタル処理および前記出力処理よりも高速で実行させる
　（１）、（３）乃至（１２）のいずれかに記載の撮像素子。
　（３）　前記制御部は、さらに、前記デジタル処理を、前記出力処理よりも低速で実行させる
　（１）、（２）、（４）乃至（１２）のいずれかに記載の撮像素子。
　（４）　前記制御部は、前記デジタル処理を、前記読み出し処理および前記アナログ処理、並びに、前記出力処理よりも高速で実行させる
　（１）乃至（３）、（５）乃至（１２）のいずれかに記載の撮像素子。
　（５）　前記制御部は、１フレーム処理期間中に、前記デジタル処理を複数回実行させる
　（１）乃至（４）、（６）乃至（１２）のいずれかに記載の撮像素子。
　（６）　前記制御部は、前記読み出し処理および前記アナログ処理を、前記デジタル処理および前記出力処理よりも高速かつ高速レートで実行させる
　（１）乃至（５）、（７）乃至（１２）のいずれかに記載の撮像素子。
　（７）　前記記憶部は、フレームメモリである
　（１）乃至（６）、（８）乃至（１２）のいずれかに記載の撮像素子。
　（８）　前記フレームメモリは、最新の所定数のフレームを記憶するリングバッファを有する
　（１）乃至（７）、（９）乃至（１２）のいずれかに記載の撮像素子。
　（９）　前記制御部は、前記リングバッファに格納される過去のフレームの画像データに対して前記デジタル処理を実行させる
　（１）乃至（８）、（１０）乃至（１２）のいずれかに記載の撮像素子。
　（１０）　前記フレームメモリは、複数フレーム分の画像データを格納可能な記憶容量を有し、
　前記制御部は、前記フレームメモリに格納される過去のフレームの画像データに対して前記デジタル処理を実行させる
　（１）乃至（９）、（１１）、（１２）のいずれかに記載の撮像素子。
　（１１）　単一の半導体基板を有し、
　前記画素アレイ、前記アナログ処理部、前記記憶部、前記信号処理部、前記出力部、および前記制御部は、前記半導体基板に形成される
　（１）乃至（１０）、（１２）のいずれかに記載の撮像素子。
　（１２）　互いに重畳される複数の半導体基板を有し、
　前記画素アレイ、前記アナログ処理部、前記記憶部、前記信号処理部、前記出力部、および前記制御部は、それぞれ、前記複数の半導体基板のいずれかに形成される
　（１）乃至（１１）のいずれかに記載の撮像素子。
　（１３）　画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、および、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理と、記憶部に格納された前記デジタルの画像データに対する信号処理であるデジタル処理と、前記記憶部に格納された前記デジタルの画像データを出力する出力処理とを、互いに独立した処理速度で実行させる
　制御方法。
　（１４）　被写体を撮像する撮像部と、
　前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
　を備え、
　前記撮像部は、
　　画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
　　アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
　　前記画像データを格納する記憶部と、
　　前記記憶部に格納される前記画像データを信号処理する信号処理部と、
　　前記記憶部に格納される前記画像データを出力する出力部と、
　　前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理と、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理と、前記出力部による前記画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御部と
　を備える撮像装置。
　１００　イメージセンサ，　１１１　画素アレイ部，　１１２　アナログ処理部，　１１３　デジタル処理部，　１１４　メモリバス，　１１５　フレームメモリ，　１１６　出力部，　１２１　タイミング制御部，　１２２　信号処理部，　３２１　画素チップ，　３２２　回路チップ，　６００　撮像装置，　６１２　CMOSイメージセンサ

Claims (14)

  1. 　画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
    　アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
    　前記画像データを格納する記憶部と、
    　前記記憶部に格納される前記画像データを信号処理する信号処理部と、
    　前記記憶部に格納される前記画像データを出力する出力部と、
    　前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理と、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理と、前記出力部による前記画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御部と
    　を備える撮像素子。
  2. 　前記制御部は、前記読み出し処理および前記アナログ処理を、前記デジタル処理および前記出力処理よりも高速で実行させる
    　請求項１に記載の撮像素子。
  3. 　前記制御部は、さらに、前記デジタル処理を、前記出力処理よりも低速で実行させる
    　請求項２に記載の撮像素子。
  4. 　前記制御部は、前記デジタル処理を、前記読み出し処理および前記アナログ処理、並びに、前記出力処理よりも高速で実行させる
    　請求項１に記載の撮像素子。
  5. 　前記制御部は、１フレーム処理期間中に、前記デジタル処理を複数回実行させる
    　請求項４に記載の撮像素子。
  6. 　前記制御部は、前記読み出し処理および前記アナログ処理を、前記デジタル処理および前記出力処理よりも高速かつ高速レートで実行させる
    　請求項１に記載の撮像素子。
  7. 　前記記憶部は、フレームメモリである
    　請求項１に記載の撮像素子。
  8. 　前記フレームメモリは、最新の所定数のフレームを記憶するリングバッファを有する
    　請求項７に記載の撮像素子。
  9. 　前記制御部は、前記リングバッファに格納される過去のフレームの画像データに対して前記デジタル処理を実行させる
    　請求項８に記載の撮像素子。
  10. 　前記フレームメモリは、複数フレーム分の画像データを格納可能な記憶容量を有し、
    　前記制御部は、前記フレームメモリに格納される過去のフレームの画像データに対して前記デジタル処理を実行させる
    　請求項１に記載の撮像素子。
  11. 　単一の半導体基板を有し、
    　前記画素アレイ、前記アナログ処理部、前記記憶部、前記信号処理部、前記出力部、および前記制御部は、前記半導体基板に形成される
    　請求項１に記載の撮像素子。
  12. 　互いに重畳される複数の半導体基板を有し、
    　前記画素アレイ、前記アナログ処理部、前記記憶部、前記信号処理部、前記出力部、および前記制御部は、それぞれ、前記複数の半導体基板のいずれかに形成される
    　請求項１に記載の撮像素子。
  13. 　画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、および、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理と、記憶部に格納された前記デジタルの画像データに対する信号処理であるデジタル処理と、前記記憶部に格納された前記デジタルの画像データを出力する出力処理とを、互いに独立した処理速度で実行させる
    　制御方法。
  14. 　被写体を撮像する撮像部と、
    　前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
    　を備え、
    　前記撮像部は、
    　　画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
    　　アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
    　　前記画像データを格納する記憶部と、
    　　前記記憶部に格納される前記画像データを信号処理する信号処理部と、
    　　前記記憶部に格納される前記画像データを出力する出力部と、
    　　前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理と、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理と、前記出力部による前記画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御部と
    　を備える撮像装置。
PCT/JP2015/056598 2014-03-20 2015-03-06 撮像素子、制御方法、並びに、撮像装置 WO2015141490A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/125,292 US10313621B2 (en) 2014-03-20 2015-03-06 Image pickup device, control method, and image pickup apparatus
KR1020167017718A KR20160136272A (ko) 2014-03-20 2015-03-06 촬상 소자, 제어 방법 및 촬상 장치
CN201580013063.3A CN106134183B (zh) 2014-03-20 2015-03-06 摄像组件、控制方法及摄像装置
JP2016508657A JP6614133B2 (ja) 2014-03-20 2015-03-06 撮像素子、制御方法、並びに、撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014058760 2014-03-20
JP2014-058760 2014-03-20

Publications (1)

Publication Number Publication Date
WO2015141490A1 true WO2015141490A1 (ja) 2015-09-24

Family

ID=54144463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/056598 WO2015141490A1 (ja) 2014-03-20 2015-03-06 撮像素子、制御方法、並びに、撮像装置

Country Status (6)

Country Link
US (1) US10313621B2 (ja)
JP (1) JP6614133B2 (ja)
KR (1) KR20160136272A (ja)
CN (1) CN106134183B (ja)
TW (1) TWI685258B (ja)
WO (1) WO2015141490A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183952A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 撮像装置およびその制御方法、撮像素子
WO2020090166A1 (ja) * 2018-11-02 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、イメージセンサ、撮像装置、並びに情報処理装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2581641B (en) * 2017-09-29 2022-03-02 Canon Kk Image sensor and image capturing apparatus
KR102637732B1 (ko) * 2018-09-21 2024-02-19 삼성전자주식회사 이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 애플리케이션 프로세서
US11032507B2 (en) * 2018-12-06 2021-06-08 Flir Commercial Systems, Inc. Frame rate and associated device manufacturing techniques for imaging systems and methods
US10931874B2 (en) * 2018-12-06 2021-02-23 Flir Commercial Systems, Inc. Burst mode calibration sensing and image mode sensing for imaging systems and methods
JP7520724B2 (ja) 2019-01-17 2024-07-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像システムおよび故障検出方法
CN111062857B (zh) * 2019-11-25 2024-03-19 上海芯歌智能科技有限公司 3d轮廓相机反射光消除系统与方法
KR20210152618A (ko) 2020-06-08 2021-12-16 삼성전자주식회사 카메라 모듈, 카메라 모듈의 동작 방법, 그리고 카메라 모듈을 포함하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165820A (ja) * 1998-11-26 2000-06-16 Dainippon Printing Co Ltd 画像記録再生方法及び装置
JP2005341278A (ja) * 2004-05-27 2005-12-08 Photron Ltd アナログ・デジタル混載型システムの動作タイミング制御回路
JP2006140642A (ja) * 2004-11-10 2006-06-01 Olympus Corp 撮像装置
JP2009105852A (ja) * 2007-10-25 2009-05-14 Sharp Corp 映像信号処理装置、固体撮像装置および電子情報機器
JP2012054495A (ja) * 2010-09-03 2012-03-15 Sony Corp 半導体集積回路、電子機器、固体撮像装置、撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023031B2 (en) * 2002-08-19 2006-04-04 Micron Technology, Inc. CMOS imager having on-chip ROM
EP2451147A4 (en) * 2010-03-10 2012-12-05 Smk Kk CAMERA MODULE
US8446484B2 (en) * 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
KR101752411B1 (ko) 2010-06-30 2017-06-29 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP2014057268A (ja) * 2012-09-13 2014-03-27 Toshiba Corp 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165820A (ja) * 1998-11-26 2000-06-16 Dainippon Printing Co Ltd 画像記録再生方法及び装置
JP2005341278A (ja) * 2004-05-27 2005-12-08 Photron Ltd アナログ・デジタル混載型システムの動作タイミング制御回路
JP2006140642A (ja) * 2004-11-10 2006-06-01 Olympus Corp 撮像装置
JP2009105852A (ja) * 2007-10-25 2009-05-14 Sharp Corp 映像信号処理装置、固体撮像装置および電子情報機器
JP2012054495A (ja) * 2010-09-03 2012-03-15 Sony Corp 半導体集積回路、電子機器、固体撮像装置、撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183952A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 撮像装置およびその制御方法、撮像素子
WO2020090166A1 (ja) * 2018-11-02 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、イメージセンサ、撮像装置、並びに情報処理装置

Also Published As

Publication number Publication date
US10313621B2 (en) 2019-06-04
JPWO2015141490A1 (ja) 2017-04-06
TWI685258B (zh) 2020-02-11
JP6614133B2 (ja) 2019-12-04
CN106134183B (zh) 2020-03-20
US20170078602A1 (en) 2017-03-16
KR20160136272A (ko) 2016-11-29
CN106134183A (zh) 2016-11-16
TW201537980A (zh) 2015-10-01

Similar Documents

Publication Publication Date Title
JP6614133B2 (ja) 撮像素子、制御方法、並びに、撮像装置
US9088726B2 (en) Solid-state image capturing device, method of driving solid-state image capturing device, and image capturing apparatus
CN100574384C (zh) 摄像装置以及摄像方法
JP2008278379A (ja) 固体撮像装置および撮像システム
JP2007020156A (ja) 撮像装置及び撮像システム
US10277853B2 (en) Image capturing apparatus and control method of the same
US9350920B2 (en) Image generating apparatus and method
US9282245B2 (en) Image capturing apparatus and method of controlling the same
JP5340374B2 (ja) 撮像装置及び撮像システム
WO2015141491A1 (ja) 撮像素子、制御方法、並びに、撮像装置
US11089217B2 (en) Image-pickup apparatus and control method thereof
JP5080127B2 (ja) 固体撮像装置、並びにそれを用いたビデオカメラ及びデジタルスチルカメラ
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法
JP5672363B2 (ja) 固体撮像素子およびカメラシステム
JP2014107739A (ja) 撮像装置及びその制御方法
JP4840991B2 (ja) 光電変換装置及びその制御方法並びに撮像装置
JP2015109502A (ja) イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
JP2008092478A (ja) 光電変換装置及びその制御方法並びに撮像装置
EP4344243A1 (en) Image sensor comprising pixels usable in both rolling shutter and global shutter mode and image processing device including the same
JP2018133600A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
US20230164464A1 (en) Imaging apparatus having memory including voltage holding circuits
JP6375614B2 (ja) 固体撮像素子及び撮像装置
JP4088898B2 (ja) 撮像装置
JP2018019238A (ja) 撮像素子およびその駆動方法、ならびに電子機器
JP2016158033A (ja) 撮像装置およびその制御方法、プログラム、並びに記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15764322

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20167017718

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2016508657

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15125292

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15764322

Country of ref document: EP

Kind code of ref document: A1