JPWO2015141490A1 - 撮像素子、制御方法、並びに、撮像装置 - Google Patents

撮像素子、制御方法、並びに、撮像装置 Download PDF

Info

Publication number
JPWO2015141490A1
JPWO2015141490A1 JP2016508657A JP2016508657A JPWO2015141490A1 JP WO2015141490 A1 JPWO2015141490 A1 JP WO2015141490A1 JP 2016508657 A JP2016508657 A JP 2016508657A JP 2016508657 A JP2016508657 A JP 2016508657A JP WO2015141490 A1 JPWO2015141490 A1 JP WO2015141490A1
Authority
JP
Japan
Prior art keywords
processing
unit
image data
analog
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016508657A
Other languages
English (en)
Other versions
JP6614133B2 (ja
Inventor
慶太 佐々木
慶太 佐々木
中島　務
務 中島
淳 橋爪
淳 橋爪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015141490A1 publication Critical patent/JPWO2015141490A1/ja
Application granted granted Critical
Publication of JP6614133B2 publication Critical patent/JP6614133B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14632—Wafer-level processed structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、より多様な撮像画像を得ることができるようにする撮像素子、制御方法、並びに、撮像装置に関する。本技術の撮像素子は、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、アナログの画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、画像データを格納する記憶部と、記憶部に格納される画像データを信号処理する信号処理部と、記憶部に格納される画像データを出力する出力部と、読み出し処理およびアナログ処理と、デジタル処理と、出力処理とを、互いに独立した処理速度で実行させる制御部とを備える。本技術は、例えば、撮像素子や電子機器に適用することができる。

Description

本技術は、撮像素子、制御方法、並びに、撮像装置に関し、特に、より多様な撮像画像を得ることができるようにした撮像素子、制御方法、並びに、撮像装置に関する。
従来のイメージセンサには、フレーム格納が可能なメモリ（DRAM（Dynamic Random Access Memory）など）や十分な量のライン格納が可能なメモリ（SRAM（Static Random Access Memory）など）がなかった。そのため、イメージセンサにおいて行われる、画素信号の読み出し、アナログ処理、デジタル処理、出力処理等の各処理は、互いに同一の処理速度および処理レート（フレームレート）で実行されていた。
ところで、イメージセンサにおける、画素アレイ部の各画素からの信号の読み出し方法として、画素から読み出したアナログ画素信号をデジタル化する信号処理部の後段に不揮発メモリを設け、当該不揮発メモリを用いて高速読み出しを実現する技術があった（例えば、特許文献１参照）。
特開２００４−６４４１０号公報
読み出し、アナログ処理、デジタル処理、出力処理等を互いに同一の処理速度および処理レート（フレームレート）で行う場合、最も遅い処理系に対して各処理の処理速度や処理レート（フレームレート）が確定してしまう。特に出力仕様は後段接続の装置に影響を及ぼすため、自由に設定することが困難である。そのため、シャッタ動作や信号処理等の他の処理も、この出力処理の処理速度や処理レートによって制限され、自由に設定することが困難になるおそれがあった。例えば、シャッタ動作や信号処理の高速化を実現することは困難であった。
なお、特許文献１に記載の方法の場合、高速読み出しを実現することができるが、デジタル処理や出力処理の処理速度を制御することはできなかった。また、処理レートを制御することも困難であった。このように、特許文献１に記載の方法では、各処理の処理速度や処理レートを制御することにより、多様な撮像画像を得ることは困難であった。
本技術は、このような状況に鑑みて提案されたものであり、より多様な撮像画像を得ることができるようにすることを目的とする。
本技術の一側面は、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、前記画像データを格納する記憶部と、前記記憶部に格納される前記画像データを信号処理する信号処理部と、前記記憶部に格納される前記画像データを出力する出力部と、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理と、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理と、前記出力部による前記画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御部とを備える撮像素子である。
前記制御部は、前記読み出し処理および前記アナログ処理を、前記デジタル処理および前記出力処理よりも高速で実行させることができる。
前記制御部は、さらに、前記デジタル処理を、前記出力処理よりも低速で実行させることができる。
前記制御部は、前記デジタル処理を、前記読み出し処理および前記アナログ処理、並びに、前記出力処理よりも高速で実行させることができる。
前記制御部は、１フレーム処理期間中に、前記デジタル処理を複数回実行させることができる。
前記制御部は、前記読み出し処理および前記アナログ処理を、前記デジタル処理および前記出力処理よりも高速かつ高速レートで実行させることができる。
前記記憶部は、フレームメモリであるようにすることができる。
前記フレームメモリは、最新の所定数のフレームを記憶するリングバッファを有するようにすることができる。
前記制御部は、前記リングバッファに格納される過去のフレームの画像データに対して前記デジタル処理を実行させることができる。
前記フレームメモリは、複数フレーム分の画像データを格納可能な記憶容量を有し、前記制御部は、前記フレームメモリに格納される過去のフレームの画像データに対して前記デジタル処理を実行させることができる。
単一の半導体基板を有し、前記画素アレイ、前記アナログ処理部、前記記憶部、前記信号処理部、前記出力部、および前記制御部は、前記半導体基板に形成されるようにすることができる。
互いに重畳される複数の半導体基板を有し、前記画素アレイ、前記アナログ処理部、前記記憶部、前記信号処理部、前記出力部、および前記制御部は、それぞれ、前記複数の半導体基板のいずれかに形成されるようにすることができる。
本技術の一側面は、また、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、および、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理と、記憶部に格納された前記デジタルの画像データに対する信号処理であるデジタル処理と、前記記憶部に格納された前記デジタルの画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御方法である。
本技術の他の側面は、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、前記画像データを格納する記憶部と、前記記憶部に格納される前記画像データを信号処理する信号処理部と、前記記憶部に格納される前記画像データを出力する出力部と、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理と、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理と、前記出力部による前記画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御部とを備える撮像装置である。
本技術の一側面においては、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、および、画素アレイの各画素から読み出されたアナログの画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理と、記憶部に格納されたデジタルの画像データに対する信号処理であるデジタル処理と、記憶部に格納されたデジタルの画像データを出力する出力処理とが、互いに独立した処理速度で実行させられる。
本技術の他の側面においては、撮像装置において、被写体が撮像され、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、および、画素アレイの各画素から読み出されたアナログの画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理と、記憶部に格納されたデジタルの画像データに対する信号処理であるデジタル処理と、記憶部に格納されたデジタルの画像データを出力する出力処理とが、互いに独立した処理速度で実行され、以上のような撮像により得られた画像データが画像処理される。
本技術によれば、撮像画像を得ることが出来る。また本技術によれば、より多様な撮像画像を得ることができる。
各処理の動作の例を説明する図である。 イメージセンサの主な構成例を示すブロック図である。 単位画素の主な構成例を示す図である。 各処理の処理速度と処理レートの独立化の様子を説明する図である。 制御の様子の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 制御の様子の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 制御の様子の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 制御の様子の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 制御の様子の例を示す図である。 制御の様子の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 制御の様子の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 イメージセンサの物理構成の例を示す図である。 撮像装置の主な構成例を示す図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（イメージセンサ）
２．第２の実施の形態（イメージセンサ）
３．第３の実施の形態（イメージセンサ）
４．第４の実施の形態（撮像装置）
＜１．第１の実施の形態＞
＜処理速度・処理レート＞
従来のイメージセンサには、フレーム格納が可能なメモリ（DRAM（Dynamic Random Access Memory）など）や十分な量のライン格納が可能なメモリ（SRAM（Static Random Access Memory）など）がなかった。そのため、イメージセンサにおいて行われる、画素信号の読み出し、アナログ処理、デジタル処理、出力処理等の各処理は、互いに同一の処理速度および処理レート（フレームレート）で実行されていた。
この場合、図１のＡに示される例のように、最も遅い処理系に対して各処理の処理速度や処理レート（フレームレート）が確定してしまう。特に出力仕様は後段接続の装置に影響を及ぼすため、自由に設定することが困難である。そのため、シャッタ動作や信号処理等の他の処理も、この出力処理の処理速度や処理レートによって制限され、自由に設定することが困難になるおそれがあった。例えば、シャッタ動作や信号処理の高速化を実現することは困難であった。
例えば、図１のＢに示される例のように、出力処理の処理速度が出力仕様によって決定され、画素信号の読み出し処理の処理速度は、その出力処理の処理速度、すなわち、出力仕様によって制限される。そのため、読み出し処理の高速化を実現することは困難であった。
また、例えば、図１のＣに示される例のように、デジタル処理の処理速度も、読み出し処理や出力処理の処理速度によって制限される。そのため、デジタル処理の低速化を実現することは困難であった。
なお、特許文献１に記載の方法の場合、高速読み出しを実現することができるが、デジタル処理や出力処理の処理速度を制御することはできなかった。また、処理レートを制御することも困難であった。このように、特許文献１に記載の方法では、各処理の処理速度や処理レートを制御することにより、多様な撮像画像を得ることは困難であった。
＜フロー制御＞
そこで、イメージセンサに、フレームや十分な量のラインを格納することができる大容量の記憶部を設け、その記憶部を用いてデジタル処理を、読み出し処理およびアナログ処理、出力処理とは独立に制御（フロー制御）するようにする。そして、読み出し処理およびアナログ処理と、デジタル処理と、出力処理とを互いに独立した処理速度で実行させるように、各処理の動作を制御する。
ここで、読み出し処理は、例えば、画素アレイの各画素から画素信号を読み出す処理であり、アナログ処理は、例えば、画素から読み出されたアナログの画素信号に対する信号処理であり、デジタル処理は、例えば、アナログの画素信号がA/D変換されたデジタルの画像データに対する信号処理であり、出力処理は、例えば、デジタルの画像データを出力する処理である。
また、記憶部は、例えばDRAM（Dynamic Random Access Memory）やSRAM（Static Random Access Memory）等、任意の記憶媒体により構成される。
このようにすることにより、撮像素子は、各処理間の処理速度の制限を無くすことができ、各処理の処理速度を自由に設定することができるので、各処理の処理速度の組み合わせによってより多様な撮像画像を生成することができる。
なお、処理速度だけでなく、各処理の処理レート（フレームレート）も互いに独立に設定するようにしてもよい。このようにすることにより、撮像素子は、より多様な撮像画像を生成することができる。
＜イメージセンサ＞
このような本技術を適用した撮像素子の一実施の形態であるイメージセンサの構成例を、図２に示す。図２に示されるイメージセンサ１００は、被写体からの光を光電変換して画像データとして出力するデバイスである。例えば、イメージセンサ１００は、CMOS（Complementary Metal Oxide Semiconductor）を用いたCMOSイメージセンサ、CCD（Charge Coupled Device）を用いたCCDイメージセンサ等として構成される。
図２に示されるように、イメージセンサ１００は、画素アレイ部１１１、アナログ処理部１１２、デジタル処理部１１３、メモリバス１１４、フレームメモリ１１５、および出力部１１６を有する。
画素アレイ部１１１は、フォトダイオード等の光電変換素子を有する画素構成（単位画素）が平面状または曲面状に配置される画素領域である。画素アレイ部１１１の各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。読み出し処理は、このような単位画素から画素信号を読み出す処理である。
アナログ処理部１１２は、画素アレイ部１１１の各単位画素から読み出されたアナログの画素信号に対してアナログ処理を行う。このアナログ処理には、例えば、画素信号をデジタルの画像データに変換するA/D変換処理が含まれる。
デジタル処理部１１３は、アナログ処理部１１２によりA/D変換されたデジタルの画像データに対して信号処理やタイミング制御等のロジック処理を行う。図２に示されるように、デジタル処理部１１３は、タイミング制御部１２１および信号処理部１２２を有する。
タイミング制御部１２１は、画素アレイ部１１１、アナログ処理部１１２、信号処理部１２２、および出力部１１６の動作（例えば、処理速度や処理レート（フレームレート）等）を制御する。信号処理部１２２は、アナログ処理部１１２によりA/D変換されたデジタルの画像データに対して信号処理を行う。このデジタル処理には、例えば、画素並び替え処理や黒レベル処理等のセンサー機能の1次処理、並びに、HDR（High Dynamic Range）処理や解像度やアスペクト比を変換するスケーリング処理等の画像処理の2次処理、並びに、出力制御等の3次処理等が含まれる。
また、信号処理部１２２は、画像データのフレームメモリ１１５への書き込みや読み出しを行う。例えば、画像データの書き込みを行う場合、信号処理部１２２は、画像データを、メモリバス１１４を介してフレームメモリ１１５に供給する。また、画像データの読み出しを行う場合、信号処理部１２２は、所望の画像データをフレームメモリ１１５に対して要求し、メモリバス１１４を介してその画像データを取得する。さらに、信号処理部１２２は、画像データを出力させる出力制御処理を行う。例えば、画像データをイメージセンサ１００の外部に出力する場合、信号処理部１２２は、その画像データを、フレームメモリ１１５からメモリバス１１４を介して取得し、出力部１１６に供給する。
メモリバス１１４は、デジタル処理部１１３（信号処理部１２２）とフレームメモリ１１５との間に設けられたデータ伝送路である。フレームメモリ１１５に格納されるデータ（画像データ等）は、このメモリバス１１４を介して伝送される。
フレームメモリ１１５は、上述した記憶部の一実施の形態であり、１フレーム以上の画像データを格納することができる容量を有する記憶媒体である。フレームメモリ１１５は、例えばDRAMを用いて形成される。もちろん、SRAMやフラッシュメモリ等のその他の半導体メモリを用いるようにしてもよい。フレームメモリ１１５は、信号処理部１２２からメモリバス１１４を介して供給される画像データを格納する。また、フレームメモリ１１５は、信号処理部１２２の要求に応じて、格納している画像データを、メモリバス１１４を介して信号処理部１２２に供給する。つまり、フレームメモリ１１５は、画素アレイ部１１１から読み出された画素信号から生成された画像データを格納する。
なお、フレームメモリ１１５の代わりに十分に多くのライン数の画像データを格納することができるラインメモリ（十分に大容量のラインメモリ）を用いるようにしてもよい。
出力部１１６は、例えば、高速I/F(MIPI（Mobile Industry Processor Interface）)やI/Oセル等よりなり、信号処理部１２２を介してフレームメモリ１１５から取得した画像データを、イメージセンサ１００の外部に出力する。
＜単位画素構成＞
ここで、画素アレイ部１１１に形成される各単位画素の主な構成の例を図３に示す。画素アレイ部１１１に形成される各単位画素は、図３に示される例のような、基本的に互いに同一の構成を有する。図３に示される例の場合、単位画素１３１は、フォトダイオード１４１、読み出しトランジスタ１４２、リセットトランジスタ１４３、増幅トランジスタ１４４、およびセレクトトランジスタ１４５を有する。
フォトダイオード（PD）１４１は、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード１４１のアノード電極は画素領域のグランド（画素グランド）に接続され、カソード電極は読み出しトランジスタ１４２を介してフローティングディフュージョン（FD）に接続される。
読み出しトランジスタ１４２は、フォトダイオード１４１からの光電荷の読み出しを制御する。読み出しトランジスタ１４２は、ドレイン電極がフローティングディフュージョンに接続され、ソース電極がフォトダイオード１４１のカソード電極に接続される。また、読み出しトランジスタ１４２のゲート電極には、画素駆動部（図示せず）から制御信号TRGが供給される。制御信号TRG（すなわち、読み出しトランジスタ１４２のゲート電位）がオフ状態のとき、フォトダイオード１４１からの光電荷の読み出しが行われない（フォトダイオード１４１において光電荷が蓄積される）。制御信号TRG（すなわち、読み出しトランジスタ１４２のゲート電位）がオン状態のとき、フォトダイオード１４１に蓄積された光電荷が読み出され、フローティングディフュージョン（FD）に供給される。
リセットトランジスタ１４３は、フローティングディフュージョン（FD）の電位をリセットする。リセットトランジスタ１４３は、ドレイン電極が電源電位に接続され、ソース電極がフローティングディフュージョン（FD）に接続される。また、リセットトランジスタ１４３のゲート電極には、画素駆動部（図示せず）から制御信号RSTが供給される。制御信号RST（すなわち、リセットトランジスタ１４３のゲート電位）がオフ状態のとき、フローティングディフュージョン（FD）は電源電位と切り離されている。制御信号RST（すなわち、リセットトランジスタ１４３のゲート電位）がオン状態のとき、フローティングディフュージョン（FD）の電荷が電源電位に捨てられ、フローティングディフュージョン（FD）がリセットされる。
増幅トランジスタ１４４は、フローティングディフュージョン（FD）の電位変化を増幅し、電気信号（アナログ信号）として出力する。増幅トランジスタ１４４は、ゲート電極がフローティングディフュージョン（FD）に接続され、ドレイン電極が電源電位に接続され、ソース電極がセレクトトランジスタ１４５のドレイン電極に接続されている。例えば、増幅トランジスタ１４４は、リセットトランジスタ１４３によってリセットされたフローティングディフュージョン（FD）の電位をリセット信号（リセットレベル）としてセレクトトランジスタ１４５に出力する。また、増幅トランジスタ１４４は、読み出しトランジスタ１４２によって光電荷が転送されたフローティングディフュージョン（FD）の電位を光蓄積信号（信号レベル）としてセレクトトランジスタ１４５に出力する。
セレクトトランジスタ１４５は、増幅トランジスタ１４４から供給される電気信号の垂直信号線VSLへの出力を制御する。セレクトトランジスタ１４５は、ドレイン電極が増幅トランジスタ１４４のソース電極に接続され、ソース電極が垂直信号線VSLに接続されている。また、セレクトトランジスタ１４５のゲート電極には、画素駆動部（図示せず）から制御信号SELが供給される。制御信号SEL（すなわち、セレクトトランジスタ１４５のゲート電位）がオフ状態のとき、増幅トランジスタ１４４と垂直信号線VSLは電気的に切り離されている。したがって、この状態のとき、当該単位画素から画素信号が出力されない。制御信号SEL（すなわち、セレクトトランジスタ１４５のゲート電位）がオン状態のとき、当該単位画素が選択状態となる。つまり、増幅トランジスタ１４４と垂直信号線VSLが電気的に接続され、増幅トランジスタ１４４から出力される信号が、当該単位画素の画素信号として、垂直信号線VSLに供給される。すなわち、当該単位画素から画素信号が読み出される。
＜各処理の制御の独立化＞
従来のイメージセンサでは、図４のＡに示されるように、信号処理部１２２におけるデジタルの画像データに対する信号処理であるデジタル処理、画素アレイ部１１１における画素信号を読み出す読み出し処理、アナログ処理部１１２におけるアナログの画素信号に対する信号処理であるアナログ処理、並びに、出力部１１６におけるデジタルの画像データを出力する出力処理の各処理は、共通の処理速度・処理レートで動作していた。
これに対してイメージセンサ１００は、図４のＢに示されるように、フレームメモリ１１５を有する。このフレームメモリ１１５を利用することにより、デジタル処理を、読み出し処理や、アナログ処理や、出力処理に対して独立に実行することができる。
したがって、タイミング制御部１２１は、このフレームメモリ１１５を利用して、イメージセンサ１００において行われる各処理を互いに独立に実行させるようにする（フロー制御を行う）。
より具体的には、タイミング制御部１２１は、例えば、読み出し処理およびアナログ処理、デジタル処理、並びに出力処理の処理速度や処理レート（フレームレート）を互いに独立に設定し、各処理を、その設定した処理速度・処理レートでそれぞれ実行させる。
なお、説明の便宜上、以下において、通常の処理速度を中速とし、それより速い場合を高速、遅い場合を低速とする。また、通常の処理レート（フレームレート）を中速レートとし、それより速い場合を高速レート、遅い場合を低速レートとする。
このようにすることにより、各処理の処理速度や処理レートの組み合わせによって、イメージセンサ１００は、より多様な撮像画像を生成することができる。
＜読み出し・アナログ処理の高速化＞
以下に、タイミング制御部１２１による各処理の制御の具体例について説明する。例えば、タイミング制御部１２１は、図５に示される例のように、読み出し処理およびアナログ処理を、デジタル処理や出力処理よりも高速化する（高速に実行させる）ようにしてもよい。
図５は、１フレーム分の処理を行う期間（垂直同期期間XVS）の各処理の動作期間の様子の例を示している。図５に示されるように、読み出し処理とアナログ処理を通常の処理速度よりも高速に実行させ、デジタル処理および出力処理は通常の処理速度で実行させる。なお、各処理の処理レート（フレームレート）は、通常の処理レートと同一のままである（処理レートは変更しない）。
このようにすることにより、イメージセンサ１００の出力仕様を変更せずに、読み出し処理とアナログ処理を高速化することができる。読み出し処理とアナログ処理を高速化することにより、画素アレイの各行の読み出し時刻が異なることにより発生する動体歪みであるフォーカルプレーン歪みを低減させることができる。つまり、イメージセンサ１００は、出力仕様を変更せずに、フォーカルプレーン歪みを低減させることができる。
＜制御処理の流れ＞
次に、図６のフローチャートを参照して、以上のような、各処理の動作の制御を行うためにタイミング制御部１２１が実行する制御処理の流れの例を説明する。
制御処理が開始されると、タイミング制御部１２１は、ステップＳ１０１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。タイミング制御部１２１は、画素アレイ部１１１に、この読み出し処理を高速かつ中速レートで実行させる。
ステップＳ１０２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ１０１の制御により高速に得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。タイミング制御部１２１は、アナログ処理部１１２に、このアナログ処理を高速かつ中速レートで実行させる。
ステップＳ１０３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ１０２の制御により高速に得られたデジタルの画像データに対してデジタル処理を行わせる。タイミング制御部１２１は、信号処理部１２２に、このデジタル処理を中速かつ中速レートで実行させる。
ステップＳ１０４において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ１０３の制御により中速で適宜デジタル処理された画像データを出力させる。タイミング制御部１２１は、出力部１１６に、この出力処理を中速かつ中速レートで実行させる。
ステップＳ１０４の処理が終了すると、制御処理が終了する。
ステップＳ１０２の制御に基づいて行われたアナログ処理により得られたデジタルの画像データは、フレームメモリ１１５に格納される。したがって、読み出し処理とアナログ処理が高速に実行されても、デジタル処理と出力処理は、それより遅い中速で実行することができる。このことを利用して、タイミング制御部１２１が上述したように制御処理を実行することにより、イメージセンサ１００は、出力仕様を変更せずに、フォーカルプレーン歪みを低減させることができる。
＜デジタル処理の低速化＞
また、例えば、図５の例のように読み出し処理およびアナログ処理を高速化し、さらに、デジタル処理を出力処理よりも低速化する（低速に実行させる）ようにしてもよい。
図７は、図５と同様に、１フレーム分の処理を行う期間（垂直同期期間XVS）の各処理の動作期間の様子の例を示している。図７に示されるように、読み出し処理とアナログ処理を通常の処理速度よりも高速に実行させ、デジタル処理を通常の処理速度よりも低速に実行させ、出力処理は通常の処理速度で実行させる。なお、各処理の処理レート（フレームレート）は、通常の処理レートと同一のままである（処理レートは変更しない）。
このようにすることにより、イメージセンサ１００の出力仕様を変更せずに、読み出し処理とアナログ処理を高速化するとともに、デジタル処理を低速化することができる。読み出し処理とアナログ処理を高速化することによりフォーカルプレーン歪みを低減させることができる。また、デジタル処理を低速化することにより、デジタル処理の処理時間が長くなり、デジタル処理の負荷が分散される。これにより電力消費タイミングが集中するのを抑制し、消費電力の変動を平滑化することができる。つまり、消費電力のピーク値（最大値）を低減させることができる。これにより、消費電力のマージンをより大きくすることができる。つまり、イメージセンサ１００は、出力仕様を変更せずに、フォーカルプレーン歪みを低減させ、さらに消費電力のマージンをより大きくすることができる。
＜制御処理の流れ＞
次に、図８のフローチャートを参照して、以上のような、各処理の動作の制御を行うためにタイミング制御部１２１が実行する制御処理の流れの例を説明する。
制御処理が開始されると、タイミング制御部１２１は、ステップＳ１２１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。タイミング制御部１２１は、画素アレイ部１１１に、この読み出し処理を高速かつ中速レートで実行させる。
ステップＳ１２２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ１２１の制御により高速に得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。タイミング制御部１２１は、アナログ処理部１１２に、このアナログ処理を高速かつ中速レートで実行させる。
ステップＳ１２３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ１２２の制御により高速に得られたデジタルの画像データに対してデジタル処理を行わせる。タイミング制御部１２１は、信号処理部１２２に、このデジタル処理を低速かつ中速レートで実行させる。
ステップＳ１２４において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ１２３の制御により低速で適宜デジタル処理された画像データを出力させる。タイミング制御部１２１は、出力部１１６に、この出力処理を中速かつ中速レートで実行させる。
ステップＳ１２４の処理が終了すると、制御処理が終了する。
ステップＳ１２２の制御に基づいて行われたアナログ処理により得られたデジタルの画像データは、フレームメモリ１１５に格納される。したがって、読み出し処理とアナログ処理が高速に実行されても、デジタル処理を、それより遅い低速で実行することができる。さらに、デジタル処理された画像データは、また、フレームメモリ１１５に格納される。したがって、出力処理は、デジタル処理よりも速い中速で実行することができる。このことを利用して、タイミング制御部１２１が上述したように制御処理を実行することにより、イメージセンサ１００は、出力仕様を変更せずに、フォーカルプレーン歪みを低減させ、さらに消費電力のマージンをより大きくすることができる。
＜デジタル処理の複数回実行＞
また、例えば、図９の例のようにデジタル処理を読み出し処理、アナログ処理、および出力処理よりも高速化し（高速に実行し）、さらにそのデジタル処理を複数回繰り返す（複数回デジタル処理を実行する）ようにしてもよい。
図９は、図５と同様に、１フレーム分の処理を行う期間（垂直同期期間XVS）の各処理の動作期間の様子の例を示している。図９に示されるように、読み出し処理、アナログ処理、出力処理は、通常の処理速度で実行させる。これに対してデジタル処理は、通常の処理速度よりも高速に実行させ、さらに、デジタル処理を複数回実行させる。なお、各処理の処理レート（フレームレート）は、通常の処理レートと同一のままである（処理レートは変更しない）。
このようにすることにより、イメージセンサ１００の出力仕様を変更せずに、デジタル処理（デジタルの信号処理）を複数回適用することができる。デジタル処理を複数回適用することにより、その信号処理の効果をより強くすることができる。例えば、フィルタ処理等を複数回繰り返し適用することにより、画像データにそのフィルタ処理の効果をより強く反映させることができる。さらには、例えば、解像度やアスペクト比を変換するスケーリング処理を複数回行い、出力用とは別に解像度やアスペクト比の異なる対象を生成し、複数回の検出処理を行い検出精度を向上させることができる。
つまり、イメージセンサ１００は、出力仕様を変更せずに、信号処理（デジタル処理）の効果を大きくすることができる。
＜制御処理の流れ＞
次に、図１０のフローチャートを参照して、以上のような、各処理の動作の制御を行うためにタイミング制御部１２１が実行する制御処理の流れの例を説明する。
制御処理が開始されると、タイミング制御部１２１は、ステップＳ１４１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。タイミング制御部１２１は、画素アレイ部１１１に、この読み出し処理を中速かつ中速レートで実行させる。
ステップＳ１４２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ１４１の制御により中速に得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。タイミング制御部１２１は、アナログ処理部１１２に、このアナログ処理を中速かつ中速レートで実行させる。
ステップＳ１４３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ１４２の制御により中速に得られたデジタルの画像データに対してデジタル処理を行わせる。タイミング制御部１２１は、信号処理部１２２に、このデジタル処理を高速かつ高速レートで複数回実行させる。
ステップＳ１４４において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ１４３の制御により高速に複数回デジタル処理された画像データを出力させる。タイミング制御部１２１は、出力部１１６に、この出力処理を中速かつ中速レートで実行させる。
ステップＳ１４４の処理が終了すると、制御処理が終了する。
ステップＳ１４２の制御に基づいて行われたアナログ処理により得られたデジタルの画像データは、フレームメモリ１１５に格納される。したがって、読み出し処理とアナログ処理が中速に実行されても、デジタル処理を、それより速い高速で実行することができる。また、デジタル処理を複数回実行することもできる。さらに、デジタル処理された画像データは、また、フレームメモリ１１５に格納される。したがって、出力処理は、デジタル処理よりも遅い中速で実行することができる。このことを利用して、タイミング制御部１２１が上述したように制御処理を実行することにより、イメージセンサ１００は、出力仕様を変更せずに、信号処理（デジタル処理）の効果を大きくすることができる。
＜処理レートの制御＞
また、各処理の処理レートを変更するようにしてもよい。例えば、図１１の例のように、読み出し処理およびアナログ処理を、デジタル処理および出力処理よりも高速化し（高速に実行し）、さらに、高速レート化（フレームレートを上げる）ようにしてもよい。
図１１は、複数フレーム分の処理を行う期間（垂直同期期間XVS）の各処理の動作期間の様子の例を示している。図１１に示されるように、読み出し処理とアナログ処理は、通常の処理速度よりも高速に実行され、デジタル処理および出力処理は通常の処理速度で実行されている。さらに、読み出し処理とアナログ処理は、通常の処理レートよりも高速レートで実行され、デジタル処理および出力処理は通常の処理レートで実行されている。
このようにすることにより、イメージセンサ１００の出力仕様を変更せずに、読み出し処理とアナログ処理を高速化・高速レート化することができる。読み出し処理とアナログ処理を高速化・高速レート化することにより、高速撮影を実現することができる。また、デジタル処理と出力処理を通常の処理速度・処理レートで実行することにより、その高速撮影された画像をスロー再生することができる。つまり、イメージセンサ１００は、出力仕様を変更せずに、高速撮影やスロー再生を実現することができる。
＜制御処理の流れ＞
次に、図１２のフローチャートを参照して、以上のような、各処理の動作の制御を行うためにタイミング制御部１２１が実行する制御処理の流れの例を説明する。
制御処理が開始されると、タイミング制御部１２１は、ステップＳ１６１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。タイミング制御部１２１は、画素アレイ部１１１に、この読み出し処理を高速かつ高速レートで実行させる。
ステップＳ１６２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ１６１の制御により高速かつ高速レートで得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。タイミング制御部１２１は、アナログ処理部１１２に、このアナログ処理を高速かつ高速レートで実行させる。
ステップＳ１６３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ１６２の制御により高速かつ高速レートで得られたデジタルの画像データに対してデジタル処理を行わせる。タイミング制御部１２１は、信号処理部１２２に、このデジタル処理を中速かつ中速レートで実行させる。
ステップＳ１６４において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ１６３の制御により中速かつ中速レートでデジタル処理された画像データを出力させる。タイミング制御部１２１は、出力部１１６に、この出力処理を中速かつ中速レートで実行させる。
ステップＳ１６４の処理が終了すると、制御処理が終了する。
ステップＳ１６２の制御に基づいて行われたアナログ処理により得られたデジタルの画像データは、フレームメモリ１１５に格納される。したがって、読み出し処理とアナログ処理が高速かつ高速レートで実行されても、デジタル処理や出力処理は、それより遅い、中速かつ中速レートで実行することができる。このことを利用して、タイミング制御部１２１が上述したように制御処理を実行することにより、イメージセンサ１００は、出力仕様を変更せずに、高速撮影やスロー再生を実現することができる。
なお、このような通常よりも高速レートで撮影し、通常の処理レートで再生することができるフレーム数は、フレームメモリ１１５の容量に依存する。このような撮影を行うと、読み出し処理およびアナログ処理の処理レートと、デジタル処理及び出力処理の処理レートとの差の分だけ、フレームメモリ１１５に画像データが蓄積されていく。フレームメモリ１１５の容量は任意であるが有限であるので、そのレート差の吸収にも限界がある。つまり、このような撮影は、フレームメモリ１１５の容量の範囲内でのみ行うことができる。
なお、フレームメモリ１１５の空き容量が不足した場合、図１１のフレーム８、フレーム９のように、撮影を通常の処理レートに戻すようにしてもよい。すなわち、高速レートで行われていた読み出し処理およびアナログ処理の処理レートを中速レートに変更するようにしてもよい。
また、通常の処理レートで撮影中に、一時高速撮影を行うような場合、その高速撮影した画像は、通常の処理レートで撮影した画像に連続して出力するようにしてもよいし、所謂ピクチャインピクチャのように、通常の処理レートで撮影した画像内に重畳して出力するようにしてもよいし、撮影停止後に別途出力するようにしてもよい。
＜２．第２の実施の形態＞
＜タイムシフト＞
なお、フレームメモリ１１５を利用することにより、上述したように、各処理の処理速度や処理レートを変更するだけでなく、各処理の処理対象のフレームを時間方向に変更することができる（つまり、各処理の処理対象のフレームを互いに独立に設定することができる）ようにしてもよい。
例えば、図１３に示されるように、フレームメモリ１１５にリングバッファを設けるようにしてもよい。この場合、画素アレイ部１１１から読み出され、A/D変換された画像データは、デジタル処理部１１３により、例えば、画素並び替え処理や黒レベル処理等のセンサー機能の１次処理２１１が行われる。１次処理２１１が施された画像データは、フレームメモリ１１５内に設けられた１次処理用領域２２１に格納される。この１次処理用領域２２１は、リングバッファを形成し、デジタル処理部１１３から供給される、各フレームの、１次処理２１１が施された画像データを順次記憶する。
利用者が撮影ボタン等を押下していない、撮影が指示されていない状態において画素アレイ部１１１により得られる撮像画像である取り込み画像の画像データは、このように、リングバッファである１次処理用領域２２１に順次格納される。
例えば、図１４のようにユーザが撮影ボタンを押下する等して撮影を指示すると、デジタル処理部１１３は、そのユーザ指示に基づいて、１次処理用領域２２１に格納される過去のフレームの画像データを読み出す。１次処理用領域２２１に格納される画像データは、最後に格納されるフレームが最新である。デジタル処理部１１３は、その最新のフレームよりも時間的に前に格納された過去のフレームの画像データを読み出す。
このデジタル処理部１１３により読み出される画像データが最新のフレームから何フレーム前の画像データであるかは任意である。例えば、デジタル処理部１１３が、最新のフレームから予め定められた所定数分前のフレームの画像データを読み出すようにしてもよいし、リングバッファである１次処理用領域２２１の、最新のフレームの画像データが格納される位置以外の所定の位置に格納される画像データを読み出すようにしてもよい。
デジタル処理部１１３は、読み出した画像データに対して、HDR（High Dynamic Range）処理や解像度やアスペクト比を変換するスケーリング処理等の画像処理の２次処理２１２を行う。２次処理２１２が行われた画像データは、フレームメモリ１１５内に設けられた２次処理用領域２２２に格納される。
デジタル処理部１１３は、出力制御処理２１３を行い、所定のタイミングにおいてその２次処理用領域２２２に格納される画像データを読み出し、出力部１１６に供給し、出力させる。
以上のように、リングバッファを用いることにより、イメージセンサ１００は、過去にさかのぼったデータを出力することができる。
＜制御処理の流れ＞
その場合の制御処理の流れの例を、図１５のフローチャートを参照して説明する。
制御処理が開始されると、タイミング制御部１２１は、ステップＳ２０１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。
ステップＳ２０２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ２０１の制御により得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。
ステップＳ２０３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２０２の制御により得られたデジタルの画像データに対して１次処理を行わせる。
ステップＳ２０４において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２０２の制御により１次処理が行われた画像データをフレームメモリ１１５のリングバッファ（１次処理用領域２２１）に格納させる。
ステップＳ２０５において、タイミング制御部１２１は、撮像するか否かを判定する。例えば、ユーザ等から撮像指示が入力されておらず、撮像しないと判定された場合、処理をステップＳ２０１に戻し、それ以降の処理を繰り返す。すなわち、撮影前の状態において、ステップＳ２０１乃至ステップＳ２０５の各処理が繰り返し実行され、取り込み画像が１次処理用領域２２１に格納される。
ステップＳ２０５において、例えば、ユーザが撮影ボタンを操作する等、撮像指示が入力され、撮像すると判定された場合、処理はステップＳ２０６に進む。
ステップＳ２０６において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、フレームメモリ１１５のリングバッファ（１次処理用領域２２１）に書き込まれた最新のフレームより前のフレーム（過去のフレーム）の画像データを読み出させる。
ステップＳ２０７において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２０６の制御により読み出された画像データに対して２次処理を行わせる。
ステップＳ２０８において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２０７の制御により２次処理が行われた画像データをフレームメモリ１１５の２次処理用領域２２２に格納させる。
ステップＳ２０９において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、３次処理を行わせる。すなわち、信号処理部１２２は、タイミング制御部１２１の制御に従って３次処理を行うことにより、ステップＳ２０８の制御によりフレームメモリ１１５の２次処理用領域２２２に格納された画像データを、所定のタイミングで読み出させる。
ステップＳ２１０において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ２０９の制御により読み出された画像データをイメージセンサ１００の外部に出力させる。
ステップＳ２１０の処理が終了すると、制御処理が終了する。
以上のように処理を行うことにより、イメージセンサ１００は、リングバッファを利用して、過去にさかのぼったデータを出力することができる。
このようなイメージセンサ１００は、任意の装置やシステムに適用することができるが、例えば、事故発生時にその少し前の時刻からの映像を記録するドライブレコーダや、人や動物の動きを検出し、その検出時より少し前の時刻からの映像を記録する監視カメラ等に適用するのに好適である。
＜タイムシフトの他の例＞
なお、リングバッファは用いずに、過去にさかのぼったデータを出力するようにしてもよい。例えば、フレームメモリ１１５が複数フレーム分画像データを格納することができる容量を有していればよい。例えば、フレームメモリ１１５に格納されているデータがFIFO（First In First Out）方式で読み出されるようにしてもよい。図１６にその場合の例を示す。図１６の例の場合、フレームメモリ１１５がFIFOとして動作するので、信号処理部１２２は、現在フレームメモリ１１５に格納中である最新のフレームより時間的に前のフレーム（過去のフレーム）の画像データを読み出すことになる。
例えば、ユーザが撮影ボタンを操作すると、被写体が撮像されて撮像画像が得られるような場合、ユーザが撮影ボタンを押下してからその撮像画像の画像データが出力されるまでの間に所定の処理時間が必要であり、その分遅延が発生する。この遅延時間が大きいと、ユーザが所望のタイミングの撮像画像を得ることが困難になるおそれがある。
そこで、図１６の例のように、ユーザが撮影ボタンを操作して得られる撮像画像よりも時間的に前のフレームの画像をデジタル処理し、撮像画像として出力するようにすることにより、イメージセンサ１００は、この遅延時間（タイムラグ）の増大を抑制することができる。
なお、画像データは動画像であってもよいし、静止画像であってもよい。
＜制御処理の流れ＞
その場合の制御処理の流れの例を、図１７のフローチャートを参照して説明する。
制御処理が開始されると、タイミング制御部１２１は、ステップＳ２５１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。
ステップＳ２５２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ２５１の制御により得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。
ステップＳ２５３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２５２の制御により得られたデジタルの画像データに対して１次処理を行わせる。
ステップＳ２５４において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２５２の制御により１次処理が行われた画像データをフレームメモリ１１５に格納させる。
ステップＳ２５５において、タイミング制御部１２１は、例えばユーザ等から撮像指示が入力されるタイミングのような、所定のタイミングにおいて、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、フレームメモリ１１５に書き込まれるフレームより前のフレーム（過去のフレーム）の画像データを読み出させる。
ステップＳ２５６において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２５５の制御により読み出された画像データに対して２次処理を行わせる。
ステップＳ２５７において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、ステップＳ２５６の制御により２次処理が行われた画像データをフレームメモリ１１５に格納させる。
ステップＳ２５８において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号を供給する等して信号処理部１２２の動作を制御し、３次処理を行わせる。すなわち、信号処理部１２２は、タイミング制御部１２１の制御に従って３次処理を行うことにより、ステップＳ２５７の制御によりフレームメモリ１１５に格納された画像データを、所定のタイミングで読み出させる。
ステップＳ２５９において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ２５８の制御により読み出された画像データをイメージセンサ１００の外部に出力させる。
ステップＳ２５９の処理が終了すると、制御処理が終了する。
以上のように処理を行うことにより、イメージセンサ１００は、過去にさかのぼったデータを出力し、撮影指示の入力から画像データ出力までの遅延時間（タイムラグ）の増大を抑制することができる。
このようなイメージセンサ１００は、任意の装置やシステムに適用することができるが、例えば、ユーザが撮影ボタンを操作して被写体を撮像するデジタルカメラやビデオカメラ等に適用するのに好適である。
＜３．第３の実施の形態＞
＜イメージセンサの物理構成＞
なお、本技術を適用する撮像素子は、例えば、封止されたパッケージやパッケージが回路基板に設置されたモジュール等として実現することができる。例えば、パッケージとして実現する場合、そのパッケージにおいて撮像素子が、単一の半導体基板により構成されるようにしてもよいし、互いに重畳される複数の半導体基板により構成されるようにしてもよい。
図１８は、本技術を適用した撮像素子であるイメージセンサ１００の物理構成の一例を示す図である。
図１８のＡに示される例の場合、図３を参照して説明したイメージセンサ１００の回路構成は、全て単一の半導体基板に形成される。図１８のＡの例の場合、画素・アナログ処理部３１１、デジタル処理部１１３、およびフレームメモリ１１５を囲むように出力部１１６−１乃至出力部１１６−４が配置されている。画素・アナログ処理部３１１は、画素アレイ部１１１とアナログ処理部１１２の構成（例えば、画素アレイやA/D変換部等）が形成される領域である。出力部１１６−１乃至出力部１１６−４は、出力部１１６の構成（例えば、I/Oセル等）が配置される領域である。
もちろん、図１８のＡの構成例は一例であり、各処理部の構成の配置は、この例に限らない。
図１８のＢに示される例の場合、図３を参照して説明したイメージセンサ１００の回路構成は、互いに重畳される２枚の半導体基板（積層チップ（画素チップ３２１および回路チップ３２２））に形成される。
画素チップ３２１には、画素・アナログ処理部３１１、デジタル処理部１１３、並びに、出力部１１６−１および出力部１１６−２が形成される。出力部１１６−１および出力部１１６−２は、出力部１１６の構成（例えば、I/Oセル等）が配置される領域である。
また、回路チップ３２２には、フレームメモリ１１５が形成されている。
上述したように画素チップ３２１および回路チップ３２２は、互いに重畳され、多層構造（積層構造）を形成する。画素チップ３２１に形成されるデジタル処理部１１３と回路チップ３２２に形成されるフレームメモリ１１５は、ビア領域（VIA）３２３およびビア領域（VIA）３２４に形成される貫通ビア（VIA）等を介して互いに電気的に接続されている（メモリバス１１４が形成される）。
このような積層構造のイメージセンサにも本技術を適用することができる。なお、この半導体基板（積層チップ）の数（層数）は任意であり、例えば、図１８のＣに示されるように、３層以上であってもよい。
図１８のＣの例の場合、イメージセンサ１００は、半導体基板３５１、半導体基板３５２、および半導体基板３５３を有する。半導体基板３５１乃至半導体基板３５３は、互いに重畳され、多層構造（積層構造）を形成する。半導体基板３５１には、画素・アナログ処理部３１１が形成され、半導体基板３５２には、デジタル処理部１１３および出力部１１６が形成され、半導体基板３５３には、フレームメモリ１１５が形成されている。各半導体基板の各処理部は、貫通ビア（VIA）３６１乃至貫通ビア（VIA）３６３を介して互いに電気的に接続されている。
このような積層構造のイメージセンサにも本技術を適用することができる。もちろん、各半導体基板に形成される処理部は、任意であり、図１８の例に限定されない。
＜４．第４の実施の形態＞
＜撮像装置＞
なお、本技術は、撮像素子以外にも適用することができる。例えば、撮像装置のような、撮像素子を有する装置（電子機器等）に本技術を適用するようにしてもよい。図１９は、本技術を適用した電子機器の一例としての撮像装置の主な構成例を示すブロック図である。図１９に示される撮像装置６００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
図１９に示されるように撮像装置６００は、光学部６１１、CMOSイメージセンサ６１２、画像処理部６１３、表示部６１４、コーデック処理部６１５、記憶部６１６、出力部６１７、通信部６１８、制御部６２１、操作部６２２、およびドライブ６２３を有する。
光学部６１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部６１１は、被写体からの光（入射光）を透過し、CMOSイメージセンサ６１２に供給する。
CMOSイメージセンサ６１２は、入射光を光電変換して画素毎の信号（画素信号）をA/D変換し、CDS等の信号処理を行い、処理後の撮像画像データを画像処理部６１３に供給する。
画像処理部６１３は、CMOSイメージセンサ６１２により得られた撮像画像データを画像処理する。より具体的には、画像処理部６１３は、CMOSイメージセンサ６１２から供給された撮像画像データに対して、例えば、混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部６１３は、画像処理を施した撮像画像データを表示部６１４に供給する。
表示部６１４は、例えば、液晶ディスプレイ等として構成され、画像処理部６１３から供給された撮像画像データの画像（例えば、被写体の画像）を表示する。
画像処理部６１３は、さらに、画像処理を施した撮像画像データを、必要に応じて、コーデック処理部６１５に供給する。
コーデック処理部６１５は、画像処理部６１３から供給された撮像画像データに対して、所定の方式の符号化処理を施し、得られた符号化データを記憶部６１６に供給する。また、コーデック処理部６１５は、記憶部６１６に記録されている符号化データを読み出し、復号して復号画像データを生成し、その復号画像データを画像処理部６１３に供給する。
画像処理部６１３は、コーデック処理部６１５から供給される復号画像データに対して所定の画像処理を施す。画像処理部６１３は、画像処理を施した復号画像データを表示部６１４に供給する。表示部６１４は、例えば、液晶ディスプレイ等として構成され、画像処理部６１３から供給された復号画像データの画像を表示する。
また、コーデック処理部６１５は、画像処理部６１３から供給された撮像画像データを符号化した符号化データ、または、記憶部６１６から読み出した撮像画像データの符号化データを出力部６１７に供給し、撮像装置６００の外部に出力させるようにしてもよい。また、コーデック処理部６１５は、符号化前の撮像画像データ、若しくは、記憶部６１６から読み出した符号化データを復号して得られた復号画像データを出力部６１７に供給し、撮像装置６００の外部に出力させるようにしてもよい。
さらに、コーデック処理部６１５は、撮像画像データ、撮像画像データの符号化データ、または、復号画像データを、通信部６１８を介して他の装置に伝送させるようにしてもよい。また、コーデック処理部６１５は、撮像画像データや画像データの符号化データを、通信部６１８を介して取得するようにしてもよい。コーデック処理部６１５は、通信部６１８を介して取得した撮像画像データや画像データの符号化データに対して、適宜、符号化や復号等を行う。コーデック処理部６１５は、得られた画像データ若しくは符号化データを、上述したように、画像処理部６１３に供給したり、記憶部６１６、出力部６１７、および通信部６１８に出力するようにしてもよい。
記憶部６１６は、コーデック処理部６１５から供給される符号化データ等を記憶する。記憶部６１６に格納された符号化データは、必要に応じてコーデック処理部６１５に読み出されて復号される。復号処理により得られた撮像画像データは、表示部６１４に供給され、その撮像画像データに対応する撮像画像が表示される。
出力部６１７は、外部出力端子等の外部出力インターフェイスを有し、コーデック処理部６１５を介して供給される各種データを、その外部出力インターフェイスを介して撮像装置６００の外部に出力する。
通信部６１８は、コーデック処理部６１５から供給される画像データや符号化データ等の各種情報を、所定の通信（有線通信若しくは無線通信）の通信相手である他の装置に供給する。また、通信部６１８は、所定の通信（有線通信若しくは無線通信）の通信相手である他の装置から、画像データや符号化データ等の各種情報を取得し、それをコーデック処理部６１５に供給する。
制御部６２１は、撮像装置６００の各処理部（点線６２０内に示される各処理部、操作部６２２、並びに、ドライブ６２３）の動作を制御する。
操作部６２２は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等の任意の入力デバイスにより構成され、例えばユーザ等による操作入力を受け、その操作入力に対応する信号を制御部６２１に供給する。
ドライブ６２３は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア６２４に記憶されている情報を読み出す。ドライブ６２３は、リムーバブルメディア６２４からプログラムやデータ等の各種情報を読み出し、それを制御部６２１に供給する。また、ドライブ６２３は、書き込み可能なリムーバブルメディア６２４が自身に装着された場合、制御部６２１を介して供給される、例えば画像データや符号化データ等の各種情報を、そのリムーバブルメディア６２４に記憶させる。
以上のような撮像装置６００のCMOSイメージセンサ６１２として、各実施の形態において上述した本技術を適用する。すなわち、CMOSイメージセンサ６１２として、上述したイメージセンサ１００が用いられる。これにより、CMOSイメージセンサ６１２は、より多様な撮像画像を得ることができる。したがって撮像装置６００は、被写体を撮像することにより、より多様な撮像画像を得ることができる。
なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図１９に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア６２４により構成される。このリムーバブルメディア６２４には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。
その場合、プログラムは、そのリムーバブルメディア６２４をドライブ６２３に装着することにより、記憶部６１６にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１８で受信し、記憶部６１６にインストールすることができる。
その他、このプログラムは、記憶部６１６や制御部６２１内のROM（Read Only Memory）等に、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） 画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
前記画像データを格納する記憶部と、
前記記憶部に格納される前記画像データを信号処理する信号処理部と、
前記記憶部に格納される前記画像データを出力する出力部と、
前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理と、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理と、前記出力部による前記画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御部と
を備える撮像素子。
（２） 前記制御部は、前記読み出し処理および前記アナログ処理を、前記デジタル処理および前記出力処理よりも高速で実行させる
（１）、（３）乃至（１２）のいずれかに記載の撮像素子。
（３） 前記制御部は、さらに、前記デジタル処理を、前記出力処理よりも低速で実行させる
（１）、（２）、（４）乃至（１２）のいずれかに記載の撮像素子。
（４） 前記制御部は、前記デジタル処理を、前記読み出し処理および前記アナログ処理、並びに、前記出力処理よりも高速で実行させる
（１）乃至（３）、（５）乃至（１２）のいずれかに記載の撮像素子。
（５） 前記制御部は、１フレーム処理期間中に、前記デジタル処理を複数回実行させる
（１）乃至（４）、（６）乃至（１２）のいずれかに記載の撮像素子。
（６） 前記制御部は、前記読み出し処理および前記アナログ処理を、前記デジタル処理および前記出力処理よりも高速かつ高速レートで実行させる
（１）乃至（５）、（７）乃至（１２）のいずれかに記載の撮像素子。
（７） 前記記憶部は、フレームメモリである
（１）乃至（６）、（８）乃至（１２）のいずれかに記載の撮像素子。
（８） 前記フレームメモリは、最新の所定数のフレームを記憶するリングバッファを有する
（１）乃至（７）、（９）乃至（１２）のいずれかに記載の撮像素子。
（９） 前記制御部は、前記リングバッファに格納される過去のフレームの画像データに対して前記デジタル処理を実行させる
（１）乃至（８）、（１０）乃至（１２）のいずれかに記載の撮像素子。
（１０） 前記フレームメモリは、複数フレーム分の画像データを格納可能な記憶容量を有し、
前記制御部は、前記フレームメモリに格納される過去のフレームの画像データに対して前記デジタル処理を実行させる
（１）乃至（９）、（１１）、（１２）のいずれかに記載の撮像素子。
（１１） 単一の半導体基板を有し、
前記画素アレイ、前記アナログ処理部、前記記憶部、前記信号処理部、前記出力部、および前記制御部は、前記半導体基板に形成される
（１）乃至（１０）、（１２）のいずれかに記載の撮像素子。
（１２） 互いに重畳される複数の半導体基板を有し、
前記画素アレイ、前記アナログ処理部、前記記憶部、前記信号処理部、前記出力部、および前記制御部は、それぞれ、前記複数の半導体基板のいずれかに形成される
（１）乃至（１１）のいずれかに記載の撮像素子。
（１３） 画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、および、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理と、記憶部に格納された前記デジタルの画像データに対する信号処理であるデジタル処理と、前記記憶部に格納された前記デジタルの画像データを出力する出力処理とを、互いに独立した処理速度で実行させる
制御方法。
（１４） 被写体を撮像する撮像部と、
前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
を備え、
前記撮像部は、
画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
前記画像データを格納する記憶部と、
前記記憶部に格納される前記画像データを信号処理する信号処理部と、
前記記憶部に格納される前記画像データを出力する出力部と、
前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理と、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理と、前記出力部による前記画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御部と
を備える撮像装置。
１００ イメージセンサ， １１１ 画素アレイ部， １１２ アナログ処理部， １１３ デジタル処理部， １１４ メモリバス， １１５ フレームメモリ， １１６ 出力部， １２１ タイミング制御部， １２２ 信号処理部， ３２１ 画素チップ， ３２２ 回路チップ， ６００ 撮像装置， ６１２ CMOSイメージセンサ

Claims (14)

  1. 画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
    アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
    前記画像データを格納する記憶部と、
    前記記憶部に格納される前記画像データを信号処理する信号処理部と、
    前記記憶部に格納される前記画像データを出力する出力部と、
    前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理と、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理と、前記出力部による前記画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御部と
    を備える撮像素子。
  2. 前記制御部は、前記読み出し処理および前記アナログ処理を、前記デジタル処理および前記出力処理よりも高速で実行させる
    請求項１に記載の撮像素子。
  3. 前記制御部は、さらに、前記デジタル処理を、前記出力処理よりも低速で実行させる
    請求項２に記載の撮像素子。
  4. 前記制御部は、前記デジタル処理を、前記読み出し処理および前記アナログ処理、並びに、前記出力処理よりも高速で実行させる
    請求項１に記載の撮像素子。
  5. 前記制御部は、１フレーム処理期間中に、前記デジタル処理を複数回実行させる
    請求項４に記載の撮像素子。
  6. 前記制御部は、前記読み出し処理および前記アナログ処理を、前記デジタル処理および前記出力処理よりも高速かつ高速レートで実行させる
    請求項１に記載の撮像素子。
  7. 前記記憶部は、フレームメモリである
    請求項１に記載の撮像素子。
  8. 前記フレームメモリは、最新の所定数のフレームを記憶するリングバッファを有する
    請求項７に記載の撮像素子。
  9. 前記制御部は、前記リングバッファに格納される過去のフレームの画像データに対して前記デジタル処理を実行させる
    請求項８に記載の撮像素子。
  10. 前記フレームメモリは、複数フレーム分の画像データを格納可能な記憶容量を有し、
    前記制御部は、前記フレームメモリに格納される過去のフレームの画像データに対して前記デジタル処理を実行させる
    請求項１に記載の撮像素子。
  11. 単一の半導体基板を有し、
    前記画素アレイ、前記アナログ処理部、前記記憶部、前記信号処理部、前記出力部、および前記制御部は、前記半導体基板に形成される
    請求項１に記載の撮像素子。
  12. 互いに重畳される複数の半導体基板を有し、
    前記画素アレイ、前記アナログ処理部、前記記憶部、前記信号処理部、前記出力部、および前記制御部は、それぞれ、前記複数の半導体基板のいずれかに形成される
    請求項１に記載の撮像素子。
  13. 画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、および、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理と、記憶部に格納された前記デジタルの画像データに対する信号処理であるデジタル処理と、前記記憶部に格納された前記デジタルの画像データを出力する出力処理とを、互いに独立した処理速度で実行させる
    制御方法。
  14. 被写体を撮像する撮像部と、
    前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
    を備え、
    前記撮像部は、
    画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
    アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
    前記画像データを格納する記憶部と、
    前記記憶部に格納される前記画像データを信号処理する信号処理部と、
    前記記憶部に格納される前記画像データを出力する出力部と、
    前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理と、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理と、前記出力部による前記画像データを出力する出力処理とを、互いに独立した処理速度で実行させる制御部と
    を備える撮像装置。
JP2016508657A 2014-03-20 2015-03-06 撮像素子、制御方法、並びに、撮像装置 Active JP6614133B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014058760 2014-03-20
JP2014058760 2014-03-20
PCT/JP2015/056598 WO2015141490A1 (ja) 2014-03-20 2015-03-06 撮像素子、制御方法、並びに、撮像装置

Publications (2)

Publication Number Publication Date
JPWO2015141490A1 true JPWO2015141490A1 (ja) 2017-04-06
JP6614133B2 JP6614133B2 (ja) 2019-12-04

Family

ID=54144463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016508657A Active JP6614133B2 (ja) 2014-03-20 2015-03-06 撮像素子、制御方法、並びに、撮像装置

Country Status (6)

Country Link
US (1) US10313621B2 (ja)
JP (1) JP6614133B2 (ja)
KR (1) KR20160136272A (ja)
CN (1) CN106134183B (ja)
TW (1) TWI685258B (ja)
WO (1) WO2015141490A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183952A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 撮像装置およびその制御方法、撮像素子
WO2019065393A1 (ja) 2017-09-29 2019-04-04 キヤノン株式会社 撮像素子及び撮像装置
KR102637732B1 (ko) * 2018-09-21 2024-02-19 삼성전자주식회사 이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 애플리케이션 프로세서
JP2020072435A (ja) * 2018-11-02 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、イメージセンサ、撮像装置、並びに情報処理装置
US11032507B2 (en) * 2018-12-06 2021-06-08 Flir Commercial Systems, Inc. Frame rate and associated device manufacturing techniques for imaging systems and methods
US10931874B2 (en) * 2018-12-06 2021-02-23 Flir Commercial Systems, Inc. Burst mode calibration sensing and image mode sensing for imaging systems and methods
CN113170067B (zh) * 2019-01-17 2023-11-14 索尼半导体解决方案公司 摄像装置、摄像系统和故障检测方法
CN111062857B (zh) * 2019-11-25 2024-03-19 上海芯歌智能科技有限公司 3d轮廓相机反射光消除系统与方法
KR20210152618A (ko) 2020-06-08 2021-12-16 삼성전자주식회사 카메라 모듈, 카메라 모듈의 동작 방법, 그리고 카메라 모듈을 포함하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165820A (ja) * 1998-11-26 2000-06-16 Dainippon Printing Co Ltd 画像記録再生方法及び装置
JP2005341278A (ja) * 2004-05-27 2005-12-08 Photron Ltd アナログ・デジタル混載型システムの動作タイミング制御回路
JP2006140642A (ja) * 2004-11-10 2006-06-01 Olympus Corp 撮像装置
JP2009105852A (ja) * 2007-10-25 2009-05-14 Sharp Corp 映像信号処理装置、固体撮像装置および電子情報機器
JP2012054495A (ja) * 2010-09-03 2012-03-15 Sony Corp 半導体集積回路、電子機器、固体撮像装置、撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023031B2 (en) * 2002-08-19 2006-04-04 Micron Technology, Inc. CMOS imager having on-chip ROM
EP2451147A4 (en) * 2010-03-10 2012-12-05 Smk Kk CAMERA MODULE
US8446484B2 (en) * 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
KR101752411B1 (ko) 2010-06-30 2017-06-29 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP2014057268A (ja) * 2012-09-13 2014-03-27 Toshiba Corp 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165820A (ja) * 1998-11-26 2000-06-16 Dainippon Printing Co Ltd 画像記録再生方法及び装置
JP2005341278A (ja) * 2004-05-27 2005-12-08 Photron Ltd アナログ・デジタル混載型システムの動作タイミング制御回路
JP2006140642A (ja) * 2004-11-10 2006-06-01 Olympus Corp 撮像装置
JP2009105852A (ja) * 2007-10-25 2009-05-14 Sharp Corp 映像信号処理装置、固体撮像装置および電子情報機器
JP2012054495A (ja) * 2010-09-03 2012-03-15 Sony Corp 半導体集積回路、電子機器、固体撮像装置、撮像装置

Also Published As

Publication number Publication date
JP6614133B2 (ja) 2019-12-04
TWI685258B (zh) 2020-02-11
TW201537980A (zh) 2015-10-01
US20170078602A1 (en) 2017-03-16
US10313621B2 (en) 2019-06-04
KR20160136272A (ko) 2016-11-29
CN106134183A (zh) 2016-11-16
CN106134183B (zh) 2020-03-20
WO2015141490A1 (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
JP6614133B2 (ja) 撮像素子、制御方法、並びに、撮像装置
US9088726B2 (en) Solid-state image capturing device, method of driving solid-state image capturing device, and image capturing apparatus
JP2007020156A (ja) 撮像装置及び撮像システム
JP2013211615A (ja) 固体撮像素子、固体撮像素子の駆動方法、および電子機器
US9350920B2 (en) Image generating apparatus and method
KR20160015712A (ko) 이미지 촬상 장치 및 방법
JP5627728B2 (ja) 撮像装置及び撮像システム
US11089217B2 (en) Image-pickup apparatus and control method thereof
WO2015141491A1 (ja) 撮像素子、制御方法、並びに、撮像装置
JP5672363B2 (ja) 固体撮像素子およびカメラシステム
JP4840991B2 (ja) 光電変換装置及びその制御方法並びに撮像装置
JP2017103603A (ja) 撮像素子、撮像装置、及び撮像方法
JP2015109502A (ja) イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
JP2018133600A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法
JP6798532B2 (ja) 撮像素子及び撮像装置
JP2008092478A (ja) 光電変換装置及びその制御方法並びに撮像装置
JP2016144191A (ja) 撮像装置およびその制御方法、プログラム、並びに記憶媒体
JP6375614B2 (ja) 固体撮像素子及び撮像装置
JP2023067988A (ja) 撮像素子
JP4088898B2 (ja) 撮像装置
JP2021016201A (ja) 固体撮像素子及び撮像装置
JP2020120247A (ja) 撮像装置及び撮像装置の制御方法
JP2018019238A (ja) 撮像素子およびその駆動方法、ならびに電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191021

R151 Written notification of patent or utility model registration

Ref document number: 6614133

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151