JP6997720B2 - 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法 - Google Patents

固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法 Download PDF

Info

Publication number
JP6997720B2
JP6997720B2 JP2018552450A JP2018552450A JP6997720B2 JP 6997720 B2 JP6997720 B2 JP 6997720B2 JP 2018552450 A JP2018552450 A JP 2018552450A JP 2018552450 A JP2018552450 A JP 2018552450A JP 6997720 B2 JP6997720 B2 JP 6997720B2
Authority
JP
Japan
Prior art keywords
data
signal
pixel
reset
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018552450A
Other languages
English (en)
Other versions
JPWO2018096813A1 (ja
Inventor
雅樹 榊原
頼人 坂野
聡子 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2018096813A1 publication Critical patent/JPWO2018096813A1/ja
Application granted granted Critical
Publication of JP6997720B2 publication Critical patent/JP6997720B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本技術は、固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、相関二重サンプリング処理を行う固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法に関する。
従来より、固体撮像素子においては、リセットノイズや固定パターンノイズを低減するために相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）処理が行われている。このＣＤＳ処理において、信号レベルのサンプリングを複数回に亘って行う目的で、その回数に応じた容量のメモリを画素毎に設ける固体撮像素子が提案されている（例えば、非特許文献１参照。）。この固体撮像素子では、ＣＤＳ処理後のデータがＢ（Ｂは整数）ビットで、サンプリングの回数がＮ（Ｎは２以上の整数）回である場合、画素アレイの外部において画素毎に、Ｎ個のＢビットのメモリが設けられる。そして、ｎ（ｎは１乃至Ｎの整数）回目のサンプリングの際のデータがｎ番目のメモリに保持される。そして、固体撮像素子は、Ｎ個のメモリのそれぞれから読み出したデータの平均値を最終的な画素データとして出力する。
Stuart Kleinfelder, et al., A 10000 Frames/s CMOS Digital Pixel Sensor, IEEE JOURNAL OF SOLID-STATE CIRCUITS 2001.
上述の従来技術では、サンプリングの回数が多くなるほど、メモリの個数（Ｎ）が多くなり、それらのメモリからなるメモリアレイのメモリ容量が増大してしまうという問題がある。メモリ容量が大きいほど、コストや実装面積が増大するため、メモリ容量を削減することが望ましい。
本技術はこのような状況に鑑みて生み出されたものであり、相関二重サンプリング処理を行う固体撮像素子においてメモリ容量の増大を抑制することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する画素回路と、上記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に上記複数の信号データのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換器と、保持データを保持するメモリと、上記リセットデータと最初に出力された上記信号データとの差分を上記保持データとして上記メモリに保持させた後に当該保持させた保持データと２回目以降に出力された上記信号データとを加算して当該加算したデータを新たな保持データとして上記メモリに保持させる演算回路とを具備する固体撮像素子、および、その制御方法である。これにより、リセットデータと最初に出力された信号データとの差分と２回目以降に出力された信号データとを演算したデータがメモリに保持されるという作用をもたらす。
また、この第１の側面において、上記アナログデジタル変換器は、所定数の上記信号レベルのそれぞれを上記信号データに変換し、上記メモリの容量は、底を２とする上記所定数の対数と上記差分のデータサイズとの和であってもよい。これにより、底を２とする所定数の対数と差分のデータサイズとの和の容量のメモリにデータが保持されるという作用をもたらす。
また、この第１の側面において、上記画素回路は、上記複数の信号レベルと同じ個数の上記リセットレベルを生成し、上記演算回路は、上記リセットデータが出力されるたびに上記リセットデータと上記保持データとを加算して当該加算したデータを新たな保持データとして上記メモリに保持させてもよい。これにより、リセットデータが出力されるたびにリセットデータと保持データとを加算したデータによりメモリが更新されるという作用をもたらす。
また、この第１の側面において、上記複数の信号レベルのそれぞれに対応する露光時間は異なり、上記画素回路は、１つの上記リセットレベルを生成してもよい。これにより、リセットレベルの変換回数が１回になるという作用をもたらす。
また、この第１の側面において、上記アナログデジタル変換器は、上記露光時間の比率に応じた動作周波数により上記信号レベルを変換してもよい。これにより、露光時間の比率に応じた動作周波数により信号レベルが変換されるという作用をもたらす。
また、この第１の側面において、上記画素回路は、転送された電荷を蓄積して当該蓄積された電荷量に応じた電圧を生成する電荷蓄積部と、上記電荷蓄積部を共有する複数のフォトダイオードと上記複数のフォトダイオードのそれぞれにおいて光電変換により生成された上記電荷を上記電荷蓄積部に転送する転送部とを備えてもよい。これにより、電荷蓄積部を共有する画素回路により電圧が生成されるという作用をもたらす。
また、この第１の側面において、上記複数の信号レベルのそれぞれに対応する露光時間は異なり、上記演算回路は、上記露光時間のそれぞれの比率により上記リセットデータおよび上記信号データを乗算した後に上記差分の演算を行ってもよい。これにより、露光時間のそれぞれの比率によりリセットデータおよび信号データが乗算されるという作用をもたらす。
また、この第１の側面において、上記露光時間のそれぞれの比率は２のべき乗であり、
上記演算回路は、上記リセットデータおよび上記信号データに対してシフト演算を行ってもよい。これにより、リセットデータおよび上記信号データに対してシフト演算が実行されるという作用をもたらす。
また、この第１の側面において、上記画素回路は２次元格子状に配列され、上記アナログデジタル変換器は、上記画素回路ごとに設けられてもよい。これにより、画素回路ごとに設けられたメモリにデータが保持されるという作用をもたらす。
また、この第１の側面において、積層された２つの半導体基板をさらに具備し、上記画素回路は、上記２つの半導体基板の一方に配置され、上記アナログデジタル変換器および上記メモリは、上記２つの半導体基板の他方に配置されてもよい。これにより、積層された２つの半導体基板の一方で電圧が生成され、他方でデータの保持とＡＤ変換とが行われるという作用をもたらす。
また、この第１の側面において、積層された２つの半導体基板をさらに具備し、上記画素回路および上記メモリは、上記２つの半導体基板の一方に配置され、上記アナログデジタル変換器は、上記２つの半導体基板の他方に配置されてもよい。これにより、積層された２つの半導体基板の一方でデータが保持され、他方でＡＤ変換が行われるという作用をもたらす。
また、この第１の側面において、積層された第１、第２および第３の半導体基板をさらに具備し、上記画素回路は、上記第１の半導体基板に配置され、上記アナログデジタル変換器は、上記第２の半導体基板に配置され、上記メモリは、上記第３の半導体基板に配置されてもよい。これにより、第１の半導体基板で電圧が生成され、第２の半導体基板でＡＤ変換が行われ、第３の半導体基板でデータが保持されるという作用をもたらす。
また、本技術の第２の側面は、第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順に生成する画素回路と、上記第１のリセットレベルと上記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、上記第２のリセットレベルと上記第１の信号レベルとのそれぞれを上記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換器と、上記第１のリセットデータと上記第２の信号データとの差分を第１の画素データとして求め、上記第２のリセットデータと上記第１の信号データとの差分を上記第２の画素データとして求める相関二重サンプリング処理部と、上記第１の画素データを保持する第１メモリと、上記第２の画素データを保持する第２メモリと、上記保持された第２の画素データの値が所定値より高いか否かを判定して上記第２の画素データの値が上記所定値より高い場合には上記保持された第１の画素データを出力させ、上記第２の画素データの値が上記所定値に満たない場合には上記第２の画素データを出力させる判定部とを具備する固体撮像素子、および、その制御方法である。これにより、第２の画素データの値が所定値より高い場合には第１の画素データが出力され、第２の画素データの値が所定値に満たない場合には第２の画素データが出力されるという作用をもたらす。
また、この第２の側面において、上記第１のリセットレベルと上記第２の信号レベルとを所定の感度により上記画素回路に生成させ、上記第２のリセットレベルと上記第１の信号レベルとを所定の感度と異なる感度により上記画素回路に生成させる画素駆動部をさらに具備してもよい。これにより、感度が変更されるという作用をもたらす。
また、この第２の側面において、上記画素回路は、上記第１および第２のリセットレベルと上記第１および第２の信号レベルとのそれぞれを画素信号として生成し、上記アナログデジタル変換器は、スロープを持つ所定の参照信号と上記画素信号とを複数回に亘って比較して当該比較結果を出力する比較部と、上記比較結果のそれぞれからなるデータを上記第１および第２のリセットデータと上記第１および第２の信号データのいずれかとして記憶するデータ記憶部とを備え、上記第２のリセットレベルと上記第１の信号レベルとのそれぞれを比較するときの上記スロープの傾きは、上記第１のリセットレベルと上記第２の信号レベルとのそれぞれを比較するときの傾きより緩やかであってもよい。これにより、スロープの傾きが変更されるという作用をもたらす。
また、この第２の側面において、上記画素回路は、二次元格子状に配列され、上記アナログデジタル変換器は、上記画素回路ごとに配置され、上記第２メモリは、上記画素回路の全てに共有されてもよい。これにより、共有された第２メモリにデータが保持されるという作用をもたらす。
また、本技術の第３の側面は、所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する画素回路と、上記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に上記複数の信号レベルのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換器と、保持データを保持するメモリと、上記リセットデータと最初に出力された上記信号データとの差分を上記保持データとして上記メモリに保持させた後に当該保持させた保持データと２回目以降に出力された上記信号データとを加算して当該加算したデータを新たな保持データとして上記メモリに保持させる演算回路と、上記保持された保持データに対して所定の信号処理を実行するデジタル信号処理部とを具備する固体撮像装置である。これにより、リセットデータと最初に出力された信号データとの差分と２回目以降に出力された信号データとを加算したデータに対して信号処理が実行されるという作用をもたらす。
また、本技術の第４の側面は、第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順生成する画素回路と、上記第１のリセットレベルと上記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、上記第２のリセットレベルと上記第１の信号レベルとのそれぞれを上記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換器と、上記第１のリセットデータと上記第２の信号データとの差分を第１の画素データとして求め、上記第２のリセットデータと上記第１の信号データとの差分を上記第２の画素データとして求める相関二重サンプリング処理部と、上記第１の画素データを保持する第１メモリと、上記第２の画素データを保持する第２メモリと、上記保持された第２の画素データの値が所定値より高いか否かを判定して上記第２の画素データの値が上記所定値より高い場合には上記保持された第１の画素データを出力させ、上記第２の画素データの値が上記所定値に満たない場合には上記第２の画素データを出力させる判定部と、上記第１および第２の画素データのうち出力されたデータに対して所定の信号処理を実行するデジタル信号処理部とを具備する固体撮像装置である。これにより、第２の画素データの値が所定値より高い場合には第１の画素データに対して信号処理が実行され、第２の画素データの値が所定値に満たない場合には第２の画素データに対して信号処理が実行されるという作用をもたらす。
本技術によれば、相関二重サンプリング処理を行う固体撮像素子においてメモリ容量の増大を抑制することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素アレイ部の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素回路、差動入力回路、電圧変換回路および正帰還回路の一構成例を示す回路図である。 本技術の第１の実施の形態におけるデータ記憶部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるラッチ制御回路の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるラッチ回路および双方向バッファの一構成例を示すブロック図である。 本技術の第１の実施の形態における出力部の一構成例を示すブロック図である。 本技術の第１の実施の形態における演算回路およびメモリの一構成例を示すブロック図である。 本技術の第１の実施の形態における加算回路の一構成例を示す回路図である。 本技術の第１の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第１の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第１の実施の形態における画素および出力部の一構成例を示すブロック図である。 本技術の第１の実施の形態と比較例とのそれぞれにおけるＣＤＳ処理を説明するための図である。 本技術の第１の実施の形態におけるＣＤＳ処理の一例を示すフローチャートである。 本技術の第２の実施の形態における画素回路の一構成例を示す回路図である。 本技術の第３の実施の形態における演算回路およびメモリの一構成例を示すブロック図である。 本技術の第３の実施の形態におけるシフタの一構成例を示す回路図である。 本技術の第３の実施の形態における画素の駆動例を示すタイミングチャートである。 本技術の第３の実施の形態における１回目および２回目のＣＤＳ処理を説明するための図である。 本技術の第３の実施の形態における３回目および４回目のＣＤＳ処理を説明するための図である。 本技術の第３の実施の形態と比較例とのそれぞれにおけるＣＤＳ処理を説明するための図である。 本技術の第４の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第４の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第４の実施の形態におけるＣＤＳ処理を含む演算処理を説明するための図である。 本技術の第５の実施の形態における出力部の一構成例を示すブロック図である。 本技術の第５の実施の形態における出力部の処理を説明するための図である。 本技術の第５の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第５の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第５の実施の形態におけるスロープの傾きについて説明するための図である。 本技術の第５の実施の形態におけるＣＤＳ処理を説明するための図である。 本技術の第５の実施の形態におけるＣＤＳ処理の一例を示すフローチャートである。 本技術の第６の実施の形態における画素回路および差動入力回路の一構成例を示す回路図である。 本技術の第６の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第６の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第６の実施の形態におけるＣＤＳ処理を説明するための図である。 本技術の第７の実施の形態における固体撮像素子の積層構造の一例を示す斜視図である。 本技術の第７の実施の形態の第１の変形例における固体撮像素子の積層構造の一例を示す斜視図である。 本技術の第７の実施の形態の第２の変形例における固体撮像素子の積層構造の一例を示す斜視図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（データの加算値をメモリに保持する例）
２．第２の実施の形態（サブ画素からのデータの加算値をメモリに保持する例）
３．第３の実施の形態（露光時間の異なる複数のデータの加算値をメモリに保持する例）
４．第４の実施の形態（１つのリセットデータと複数の信号データとの加算値をメモリに保持する例）
５．第５の実施の形態（分解能の異なる２つのデータを異なるメモリに保持する例）
６．第６の実施の形態（分解能および感度の異なる２つのデータを異なるメモリに保持する例）
７．第７の実施の形態（積層型の固体撮像素子においてデータの加算値をメモリに保持する例）
８．移動体への応用例
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するための装置であり、光学部１１０、固体撮像素子２００、ＤＳＰ（Digital Signal Processing）回路１２０を備える。さらに撮像装置１００は、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記憶部１７０および電源部１８０を備える。撮像装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータが想定される。
光学部１１０は、被写体からの光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、垂直同期信号に同期して、光電変換により画像データを生成するものである。ここで、垂直同期信号は、撮像のタイミングを示す所定周波数の周期信号である。固体撮像素子２００は、生成した画像データをＤＳＰ回路１２０に信号線２０９を介して供給する。
ＤＳＰ回路１２０は、固体撮像素子２００からの画像データに対して所定の信号処理を実行するものである。このＤＳＰ回路１２０は、処理後の画像データをバス１５０を介してフレームメモリ１６０などに出力する。なお、ＤＳＰ回路１２０は、特許請求の範囲に記載のデジタル信号処理部の一例である。
表示部１３０は、画像データを表示するものである。表示部１３０としては、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルが想定される。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。
バス１５０は、光学部１１０、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、フレームメモリ１６０、記憶部１７０および電源部１８０が互いにデータをやりとりするための共通の経路である。
フレームメモリ１６０は、画像データを保持するものである。記憶部１７０は、画像データなどの様々なデータを記憶するものである。電源部１８０は、固体撮像素子２００、ＤＳＰ回路１２０や表示部１３０などに電源を供給するものである。
［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、半導体基板２０１を備える。この半導体基板２０１には、ＤＡＣ（Digital to Analog Converter）２１０と、複数の時刻コード発生部２２０とが設けられる。また、半導体基板２０１には、垂直駆動回路２３０、画素アレイ部２４０、画素駆動回路２５０、タイミング生成回路２６０および出力部２７０が設けられる。また、画素アレイ部２４０には、二次元格子状に複数の画素が配列される。
ＤＡＣ２１０は、ＤＡ（Digital to Analog）変換により、スロープ状に変化するアナログの参照信号を生成するものである。このＤＡＣ２１０は、参照信号を画素アレイ部２４０に供給する。
時刻コード発生部２２０は、時刻コードを発生するものである。この時刻コードは、参照信号がスロープ状に変化する期間内の時刻を示す。時刻コード発生部２２０は、発生した時刻コードを画素アレイ部２４０に供給する。
タイミング生成回路２６０は、様々なタイミング信号を生成して垂直駆動回路２３０や出力部２７０などに供給するものである。
垂直駆動回路２３０は、タイミング信号に同期して画素内で生成された画素データを出力部２７０に出力させる制御を行うものである。画素駆動回路２５０は、画素を駆動するものである。
出力部２７０は、画素データに対して、ＣＤＳ処理を含む信号処理を実行するものである。この出力部２７０は、処理後の画素データをＤＳＰ回路１２０に出力する。
［画素アレイ部の構成例］
図３は、本技術の第１の実施の形態における画素アレイ部２４０の一構成例を示すブロック図である。この画素アレイ部２４０は、複数の時刻コード転送部２４１と、複数の画素３００とを備える。時刻コード転送部２４１は、時刻コード発生部２２０ごとに配置される。また、画素３００は、二次元格子状に配列される。
時刻コード転送部２４１は、対応する時刻コード発生部２２０からの時刻コードを転送するものである。この時刻コード転送部２４１は、対応する時刻コード発生部２２０からの時刻コードを画素３００へ転送し、また、画素３００からの時刻コードを画素データとして出力部２７０に転送する。画素３００は、画素データを生成するものである。
［画素の構成例］
図４は、本技術の第１の実施の形態における画素３００の一構成例を示すブロック図である。この画素３００は、画素回路３１０およびＡＤＣ３２０を備える。ＡＤＣ３２０は、比較回路３２１およびデータ記憶部３６０を備える。また、比較回路３２１は、差動入力回路３３０、電圧変換回路３４０および正帰還回路３５０を備える。
画素回路３１０は、光電変換によりリセットレベルまたは信号レベルを画素信号ＳＩＧとして生成するものである。ここで、リセットレベルは、露光開始時以降にＦＤ（Floating Diffusion）が初期化された時の電圧であり、信号レベルは、露光終了時の露光量に応じた電圧である。画素回路３１０は、リセットレベルおよび信号レベルを順に差動入力回路３３０に供給する。
ＡＤＣ３２０は、画素信号ＳＩＧ（リセットレベルまたは信号レベル）をデジタルデータにＡＤ変換するものである。リセットレベルをＡＤ変換したデータを以下、「Ｐ相データ」と称する。また、信号レベルをＡＤ変換したデータを以下、「Ｄ相データ」と称する。なお、Ｐ相データは、特許請求の範囲に記載のリセットデータの一例であり、Ｄ相データは、特許請求の範囲に記載の信号データの一例である。
ＡＤＣ３２０内の差動入力回路３３０は、ＤＡＣ２１０からの参照信号ＲＥＦと、画素回路３１０からの画素信号ＳＩＧとを比較するものである。この差動入力回路３３０は、比較結果を示す比較結果信号を電圧変換回路３４０に供給する。
電圧変換回路３４０は、差動入力回路３３０からの比較結果信号の電圧を変換して正帰還回路３５０に出力するものである。
正帰還回路３５０は、出力の一部を入力（比較結果信号）に加算し、出力信号ＶＣＯとしてデータ記憶部３６０に出力するものである。
データ記憶部３６０は、出力信号ＶＣＯが反転したときの時刻コードを保持するものである。このデータ記憶部３６０は、リセットレベルに対応する時刻コードをＰ相データとして出力し、信号レベルに対応する時刻コードをＤ相データとして出力する。
なお、画素回路３１０ごとにＡＤＣ３２０を配置しているが、複数の画素回路３１０ごとにＡＤＣ３２０を配置してもよい。
図５は、本技術の第１の実施の形態における画素回路３１０、差動入力回路３３０、電圧変換回路３４０および正帰還回路３５０の一構成例を示す回路図である。
画素回路３１０は、リセットトランジスタ３１１、ＦＤ３１２、転送トランジスタ３１４、フォトダイオード３１５および排出トランジスタ３１６とを備える。リセットトランジスタ３１１、転送トランジスタ３１４および排出トランジスタ３１６として、例えば、Ｎ型のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタが用いられる。
フォトダイオード３１５は、光電変換により電荷を生成するものである。排出トランジスタ３１６は、画素駆動回路２５０からの駆動信号ＯＦＧに従ってフォトダイオード３１５に蓄積された電荷を排出させるものである。
転送トランジスタ３１４は、画素駆動回路２５０からの転送信号ＴＸに従って、フォトダイオード３１５からＦＤ３１２へ電荷を転送するものである。
ＦＤ３１２は、転送された電荷を蓄積して蓄積した電荷量に応じた電圧を生成するものである。なお、ＦＤ３１２は、特許請求の範囲に記載の電荷蓄積部の一例である。
リセットトランジスタ３１１は、画素駆動回路２５０からのリセット信号ＲＳＴに従って、ＦＤ３１２を初期化するものである。
差動入力回路３３０は、ＰＭＯＳ(Positive channel MOS)トランジスタ３３１、３３４および３３６と、ＮＭＯＳ(Negative channel MOS)トランジスタ３３２、３３３および３３５とを備える。
ＮＭＯＳトランジスタ３３２および３３５は、差動対を構成し、これらのトランジスタのソースは、ＮＭＯＳトランジスタ３３３のドレインに共通に接続される。また、ＮＭＯＳトランジスタ３３２のドレインは、ＰＭＯＳトランジスタ３３１のドレインとＰＭＯＳトランジスタ３３１および３３４のゲートとに接続される。ＮＭＯＳトランジスタ３３５のドレインは、ＰＭＯＳトランジスタ３３４のドレインとＰＭＯＳトランジスタ３３６のゲートとリセットトランジスタ３１１のドレインとに接続される。また、ＮＭＯＳトランジスタ３３２のゲートには、参照信号ＲＥＦが入力される。
ＮＭＯＳトランジスタ３３３のゲートには、所定のバイアス電圧Ｖｂが印加され、ＮＭＯＳトランジスタ３３３のソースには、所定の接地電圧が印加される。この接地電圧ＶＳＳは、画素回路３１０内のＮＭＯＳトランジスタの基板電位よりも高い。
ＰＭＯＳトランジスタ３３１および３３４は、カレントミラー回路を構成する。ＰＭＯＳトランジスタ３３１、３３４および３３６のソースには、電源電圧ＶＤＤＨが印加される。この電源電圧ＶＤＤＨは、電源電圧ＶＤＤＬよりも高い。また、ＰＭＯＳトランジスタ３３６のドレインは、電圧変換回路３４０に接続される。
電圧変換回路３４０は、ＮＭＯＳトランジスタ３４１を備える。このＮＭＯＳトランジスタ３４１のゲートには電源電圧ＶＤＤＬが印加される。また、ＮＭＯＳトランジスタ３４１のドレインは、ＰＭＯＳトランジスタ３３６のドレインに接続され、ソースは、正帰還回路３５０に接続される。
正帰還回路３５０はＰＭＯＳトランジスタ３５１、３５２、３５５および３５６と、ＮＭＯＳトランジスタ３５３、３５４および３５７とを備える。ＰＭＯＳトランジスタ３５１および３５２は、電源電圧ＶＤＤＬに直列に接続される。また、ＰＭＯＳトランジスタ３５１のゲートには、垂直駆動回路２３０からの駆動信号ＩＮＩ２が入力される。ＰＭＯＳトランジスタ３５２のドレインは、ＮＭＯＳトランジスタ３４１のソースとＮＭＯＳトランジスタ３５３のドレインと、ＰＭＯＳトランジスタ３５５およびＮＭＯＳトランジスタ３５４のゲートとに接続される。
ＮＭＯＳトランジスタ３５３のソースには接地電圧が印加され、ゲートには、垂直駆動回路２３０からの駆動信号ＩＮＩ１が入力される。
ＰＭＯＳトランジスタ３５５および３５６は、電源電圧ＶＤＤＬに直列に接続される。また、ＰＭＯＳトランジスタ３５６のドレインは、ＰＭＯＳトランジスタ３５２のゲートと、ＮＭＯＳトランジスタ３５４および３５７のドレインとに接続される。ＰＭＯＳトランジスタ３５６およびＮＭＯＳトランジスタ３５７のゲートには、垂直駆動回路２３０からの制御信号ＴＥＳＴＶＣＯが入力される。
ＮＭＯＳトランジスタ３５４および３５７のドレインからは、出力信号ＶＣＯが出力される。また、ＮＭＯＳトランジスタ３５４および３５７のソースには、接地電圧が印加される。
なお、画素回路３１０、差動入力回路３３０、電圧変換回路３４０および正帰還回路３５０のそれぞれは、図４で説明した機能を持つのであれば、図５に例示した回路に限定されない。
［データ記憶部の構成例］
図６は、本技術の第１の実施の形態におけるデータ記憶部３６０の一構成例を示すブロック図である。このデータ記憶部３６０は、ラッチ制御回路３７０と、Ｄ相データのビット数Ｄ（Ｄは、整数）と同じ個数のラッチ回路３８０と、Ｄ個の双方向バッファ３９０と、リピータ３６１とを備える。ラッチ制御回路３７０は、垂直駆動回路２３０からの制御信号ｘＷＯＲＤに従って、出力信号ＶＣＯの値（論理値「０」または「１」）をラッチ回路３８０のいずれかに保持させるものである。制御信号ｘＷＯＲＤは、制御信号ＷＯＲＤを反転した信号である。
ラッチ回路３８０は、ラッチ制御回路３７０の制御に従って、出力信号ＶＣＯの値を保持するものである。双方向バッファ３９０は、垂直駆動回路２３０からの制御信号ｘＰＲＣ、ライトイネーブルＷＥＮおよびリードイネーブルＲＥＮに従って、対応するラッチ回路３８０とリピータ３６１との間でデータを双方向に転送するものである。
リピータ３６１は、双方向バッファ３９０と時刻コード転送部２４１との間で時刻コードを転送するものである。
［ラッチ制御回路の構成例］
図７は、本技術の第１の実施の形態におけるラッチ制御回路３７０の一構成例を示すブロック図である。このラッチ制御回路３７０は、ＮＯＲゲート３７１と、インバータ３７２、３７３および３７４とを備える。
ＮＯＲゲート３７１は、制御信号ｘＷＯＲＤおよび出力信号ＶＣＯの否定論理和（ＮＯＲ）をインバータ３７２に出力するものである。インバータ３７２は、ＮＯＲゲート３７１からの出力値を反転してラッチ制御信号Ｔとしてラッチ回路３８０に出力するものである。
インバータ３７３は、出力信号ＶＣＯを反転してインバータ３７４に出力するものである。インバータ３７４は、インバータ３７３の出力値を反転してラッチ入力信号Ｌとしてラッチ回路３８０に出力するものである。
なお、ラッチ制御回路３７０は、同等の機能を持つものであれば、図７に例示した回路に限定されない。
［ラッチ回路および双方向バッファの構成例］
図８は、本技術の第１の実施の形態におけるラッチ回路３８０および双方向バッファ３９０の一構成例を示すブロック図である。ラッチ回路３８０は、スイッチ３８１と、インバータ３８２および３８３を備える。
スイッチ３８１は、ラッチ制御回路３７０からのラッチ制御信号Ｔに従って、インバータ３８２と、ビット線ＬＢＬとの間の経路を開閉するものである。このビット線ＬＢＬは、双方向バッファ３９０に接続される。
インバータ３８２は、ラッチ制御回路３７０からのラッチ入力信号Ｌに従って、インバータ３８３からの信号を反転するものである。このインバータ３８２は、反転した信号をインバータ３８３の入力端子とスイッチ３８１とに出力する。
インバータ３８３は、インバータ３８２からの信号を反転してインバータ３８２の入力端子に出力するものである。
双方向バッファ３９０は、ＮＭＯＳトランジスタ３９１と、インバータ３９２と、バッファ３９３とを備える。
ＮＭＯＳトランジスタ３９１のゲートには、垂直駆動回路２３０からの制御信号ｘＰＲＣが入力される。また、ＮＭＯＳトランジスタ３９１のドレインは電源に接続され、ソースはビット線ＬＢＬに接続される。この制御信号ｘＰＲＣには、双方向バッファ３９０にデータを転送させる場合にローレベルが設定され、ビット線ＬＢＬは一旦ハイレベルになる。その後にラッチ回路３８０より信号が読み出される。
インバータ３９２は、リードイネーブルＲＥＮに従って、ビット線ＬＢＬからの信号を反転し、ビット線ＭＢＬとバッファ３９３の入力端子とに出力するものである。このビット線ＭＢＬは、リピータ３６１に接続される。
バッファ３９３は、ライトイネーブルＷＥＮに従って、インバータ３９２またはビット線ＭＢＬからの信号をビット線ＬＢＬとインバータ３９２の入力端子とに出力するものである。
なお、ラッチ回路３８０および双方向バッファ３９０は、同等の機能を持つものであれば、図８に例示された回路に限定されない。
［出力部の構成例］
図９は、本技術の第１の実施の形態における出力部２７０の一構成例を示すブロック図である。この出力部２７０は、演算部２７１およびメモリアレイ２７２を備える。この演算部２７１には、画素３００ごとに演算回路２８０が配置される。また、メモリアレイ２７２には、画素３００ごとにメモリ２７３が設けられる。水平方向の画素３００の個数をＨ（Ｈは２以上の整数）とし、垂直方向の画素３００の個数をＶ（Ｖは２以上の整数）とすると、演算回路２８０およびメモリ２７３のそれぞれの個数はＨ×Ｖである。演算回路２８０のそれぞれは、互いに異なる画素３００と１対１で対応付けられる。また、メモリ２７３も互いに異なる画素３００と１対１で対応付けられる。
演算回路２８０は、対応する画素３００からのデジタルデータ（Ｐ相データまたはＤ相データ）に対してＣＤＳ処理を行うものである。この演算回路２８０は、ＣＤＳ処理において、対応するメモリ２７３にデータを保持させる。メモリ２７３は、保持したデータを画素データとしてＤＳＰ回路１２０に出力する。
また、メモリ２７３のメモリ容量は、次の式により表される。
Ｃｍ＝ＲＯＵＮＤＵＰ（ｌｏｇ２Ｎ）＋Ｂ
上式において、Ｃｍはメモリ容量であり、単位は、例えば、ビットである。Ｂは、Ｐ相データおよびＤ相データの差分（すなわち、正味の画素データ）のビット数である。Ｎは、信号レベルのサンプリング回数である。ＲＯＵＮＤＵＰ（）は、端数を切り上げて整数値を返す関数である。
例えば、画素データのデータサイズＢを１４ビット、サンプリング回数Ｎを２回とすると、メモリ容量Ｃｍは、上式より１５ビットとなる。また、画素３００の個数をＨ×Ｖ個とすると、メモリアレイ２７２全体の総容量は、Ｃｍ×Ｈ×Ｖビットである。
なお、Ｋ（Ｋは、２以上の整数）個の画素回路３１０ごとにＡＤＣ３２０を配置する場合には、演算回路２８０およびメモリ２７３も、Ｋ画素毎に設けられる。
［演算回路およびメモリの構成例］
図１０は、本技術の第１の実施の形態における演算回路２８０およびメモリ２７３の一構成例を示すブロック図である。演算回路２８０は、セレクタ２８１と、複数段の加算回路２８２とを備える。サンプリング回数Ｎが２である場合、加算回路２８２の段数は、画素データのビット数Ｂ（例えば、１４）と同数である。メモリ２７３は、１ビットを保持する複数のメモリセル２７４を備える。メモリセル２７４の個数は、Ｂ＋１個である。なお、サンプリング回数Ｎが３回以上である場合には、その回数に応じて加算回路２８２の段数と、メモリ２７３のメモリ容量とが増加する。
セレクタ２８１は、タイミング生成回路２６０からの減算制御信号ＳＵＢに従って、論理値「１」および「０」のいずれかを選択して桁上げ入力信号Ｘｉｎ［０］として初段の加算回路２８２に出力するものである。
加算回路２８２は、加算処理を行うものである。初段の加算回路２８２には、セレクタ２８１からの桁上げ入力信号Ｘｉｎ［０］と、対応する画素３００からのＤＡＴＡの０ビット目のＤＡＴＡ［０］とが入力される。ｂ（ｂは０乃至Ｂ－１の整数）段目の加算回路２８２には、前段からの桁上げ出力信号Ｃｏｕｔ［ｂ］とｂビット目のＤＡＴＡ［ｂ］とが入力される。また、全ての加算回路２８２には、タイミング生成回路２６０からの初期化信号ＩＮＩおよび減算制御信号ＳＵＢが入力される。
ｂ段目の加算回路２８２は、ｂ個目のメモリセル２７４に出力信号Ｓｏｕｔ［ｂ］を保持させる。また、ｂ段目の加算回路２８２は、後段の加算回路２８２に桁上げ信号Ｃｏｕｔ［ｂ］を出力する。そして、最終段の加算回路２８２は、最後のメモリセル２７４に桁上げ出力信号Ｃｏｕｔ［Ｂ－１］を保持させる。
［加算回路の構成例］
図１１は、本技術の第１の実施の形態における加算回路２８２の一構成例を示す回路図である。この加算回路２８２は、インバータ２８３と、セレクタ２８４および２８６と、全加算器２８５とを備える。
インバータ２８３は、ＤＡＴＡ［０］を反転してセレクタ２８４に供給するものである。セレクタ２８４は、減算制御信号ＳＵＢに従って、ＤＡＴＡ［０］とインバータ２８３からの反転値とのいずれかを選択して全加算器２８５の入力端子Ａに入力するものである。
セレクタ２８６は、初期化信号ＩＮＩに従って、対応するメモリセル２７４に保持されたＳｏｕｔ［０］と論理値「０」とのいずれかを選択して全加算器２８５の入力端子Ｂに入力するものである。
全加算器２８５は、桁上げを考慮して２進数の同じ桁同士の加算を行うものである。全加算器２８５には、前述の入力端子Ａ、Ｂと、入力端子Ｘと、出力端子ＳおよびＣとが設けられる。入力端子Ｘには、桁上げ入力信号Ｘｉｎ［０］が入力される。また、出力端子Ｓからは、出力信号Ｓｏｕｔ［０］が、対応するメモリセル２７４へ出力される。出力端子Ｃからは、桁上げ出力信号Ｃｏｕｔ［０］が後段の全加算器２８５の入力端子Ｘへ出力される。全加算器２８５の真理値表は、一般的な全加算器と同様である。また、２段目以降の加算回路２８２の構成は、初段と同様である。
図１０および図１１に例示した構成により、初期化信号ＩＮＩおよび減算制御信号ＳＵＢに従って演算回路２８０は、最初のＰ相データ（リセットレベル）の符号を反転してメモリ２７３に保持させる。そして、減算制御信号ＳＵＢに従って演算回路２８０は、２回目以降のＰ相データの符号を反転して、その反転値とメモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。
そして、演算回路２８０は、１回目のＤ相データ（信号レベル）と、メモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。ここで、Ｐ相データの符号は、反転されているため、１回目のＤ相データとＰ相データとの差分が演算される。Ｐ相データは、固定パターンノイズやリセットノイズを含むため、差分の演算により、これらを除去することができる。
続いて演算回路２８０は、２回目以降のＤ相データと、メモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。この加算により、２回のＣＤＳ処理のそれぞれの結果を平均した値と等価な値が得られる。なお、演算回路２８０は、上述の機能を持つ回路であれば、図１０および図１１に例示した回路に限定されない。
［固体撮像素子の動作例］
図１２は、本技術の第１の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。１Ｖ期間の開始タイミングｔ１０の直後のタイミングｔ１１において、画素駆動回路２５０は、リセット信号ＲＳＴを供給する。これにより、ＦＤが初期化される。ここで、１Ｖ期間は、垂直同期信号の周期である。また、この１Ｖ期間の直前において、全画素の露光が開始されているものとする。
タイミングｔ１１の直後のタイミングｔ１２において、垂直駆動回路２３０は、駆動信号ＩＮＩ２およびＩＮＩ１を順に供給する。また、出力信号ＶＣＯの供給が開始される。
タイミングｔ１２の後のタイミングｔ１３からタイミングｔ１４に亘って、ＤＡＣ２１０は、参照信号ＲＥＦをスロープ状に減少させる。また、この期間に亘って、垂直駆動回路２３０は、制御信号ＴＥＳＴＶＣＯをローレベルにし、タイミング生成回路２６０は、イネーブルに設定したライトイネーブルＷＥＮを供給する。このような制御により、１回目のリセットレベルがＡＤ変換（言い換えれば、サンプリング）される。
また、正帰還回路３５０は、参照信号ＲＥＦとリセットレベルとの比較結果に基づいて出力信号ＶＣＯを出力する。出力信号ＶＣＯの値は、Ｄ相データのビット数Ｄ（例えば、１５）個と同じ個数のラッチ回路３８０に順に保持される。それらの保持値が、Ｄ本のビット線ＬＢＬを介して双方向バッファ３９０に転送される。ビット線ＬＢＬ上の黒塗りの部分は、出力信号ＶＣＯが反転したときのデータを示す。
タイミングｔ１４の後のタイミングｔ１５において、タイミング生成回路２６０は、制御信号ＷＯＲＤを出力し、また、イネーブルに設定したリードイネーブルＲＥＮを出力する。これにより、Ｄ本のビット線ＭＢＬを介して双方向バッファ３９０からリピータ３６１にＰ相データが転送される。
そして、１回目と同様の制御により、タイミングｔ１６からタイミングｔ１７までの間において、２回目のリセットレベルがＡＤ変換される。
図１３は、本技術の第１の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。
リセットレベル変換後のタイミングｔ２１において、垂直駆動回路２３０は、駆動信号ＩＮＩ２およびＩＮＩ１を順に供給する。また、その直後のタイミングｔ２２において、画素駆動回路２５０は、全画素に転送信号ＴＸを供給する。これにより、露光が終了する。
タイミングｔ２２の後のタイミングｔ２３からタイミングｔ２４に亘って、ＤＡＣ２１０は、参照信号ＲＥＦをスロープ状に減少させる。また、この期間に亘って、垂直駆動回路２３０は、制御信号ＴＥＳＴＶＣＯをローレベルにし、タイミング生成回路２６０は、イネーブルに設定したライトイネーブルＷＥＮを供給する。このような制御により、１回目の信号レベルがＡＤ変換（言い換えれば、サンプリング）される。
また、正帰還回路３５０は、参照信号ＲＥＦと信号レベルとの比較結果に基づいて出力信号ＶＣＯを出力する。出力信号ＶＣＯの値は、Ｄ個のラッチ回路３８０に順に保持される。それらの保持値が、Ｄ本のビット線ＬＢＬを介して双方向バッファ３９０に転送される。ビット線ＬＢＬ上の黒塗りの部分は、出力信号ＶＣＯが反転したときのデータを示す。
タイミングｔ２４の後のタイミングｔ２５において、タイミング生成回路２６０は、制御信号ＷＯＲＤを出力し、また、イネーブルに設定したリードイネーブルＲＥＮを出力する。これにより、Ｄ本のビット線ＭＢＬを介して双方向バッファ３９０からリピータ３６１にＤ相データが転送される。
そして、１回目と同様の制御により、タイミングｔ２６からタイミングｔ２７までの間において、２回目の信号レベルがＡＤ変換される。その後のタイミングｔ２８において画素駆動回路２５０は、全画素に駆動信号ＯＦＧを供給する。これにより、次の露光が開始される。
図１２および図１３に例示したように、リセットレベルおよび信号レベルは、それぞれ２回ずつサンプリングされる。なお、サンプリングの回数は２回に限定されず、３回以上であってもよい。
図１４は、本技術の第１の実施の形態における画素３００および出力部２７０の一構成例を示すブロック図である。画素３００内の画素回路３１０は、リセットレベルと信号レベルとのそれぞれをＮ（例えば、「２」）回ずつ順に生成する。画素３００内のＡＤＣ３２０は、それらのリセットレベルおよび信号レベルをＰ相データおよびＤ相データに変換して出力部２７０に出力する。
出力部２７０内の演算回路２８０は、最初のＰ相データの符号を反転してメモリ２７３に保持させる。そして、演算回路２８０は、２回目以降のＰ相データの符号を反転して、その反転値とメモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。
そして、演算回路２８０は、１回目のＤ相データと、メモリ２７３に保持されたデータとを加算し、その加算値（すなわち、Ｐ相データとＤ相データとの差分）によりメモリ２７３を更新する。続いて演算回路２８０は、２回目以降のＤ相データと、メモリ２７３に保持されたデータ（差分）とを加算し、その加算値によりメモリ２７３を更新する。そして、その加算値が、ＣＤＳ処理後の画素データとして画素３００から出力される。
Ｐ相データのデータサイズを、例えば、１３ビットとし、Ｄ相データのデータサイズを、例えば、１５ビットとする。また、リセットレベルおよび信号レベルのそれぞれのサンプリング回数Ｎを例えば、２とする。この場合、最初のＰ相データと最初のＤ相データとの差分のデータサイズは、１４ビットとなる。２回目の差分も同様である。メモリ２７３は、それらの差分の加算値を保持するため、そのメモリ容量は１５ビットである。
図１５は、本技術の第１の実施の形態と比較例とのそれぞれにおけるＣＤＳ処理を説明するための図である。同図におけるａは、本技術の第１の実施の形態におけるＣＤＳ処理を説明するための図であり、同図におけるｂは、比較例におけるＣＤＳ処理を説明するための図である。この比較例では、演算回路は、１回目のＰ相データおよびＤ相データと、２回目のＰ相データおよびＤ相データとを互いに異なるメモリに書き込むものとする。
図１５におけるａに例示するように、演算回路２８０は、最初のＰ相データの符号を反転してメモリ２７３に保持させる。そして、演算回路２８０は、２回目のＰ相データの符号を反転して、その反転値とメモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。そして、演算回路２８０は、１回目のＤ相データと、メモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。続いて演算回路２８０は、２回目のＤ相データと、メモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。
このように、演算回路２８０は、１回目および２回目のＰ相データの反転値を加算した値と、１回目および２回目のＤ相データの加算値とをメモリ２７３に保持している。言い換えれば、１回目のＰ相データおよびＤ相データの差分と、２回目の差分とを加算した値がメモリ２７３に保持される。この構成では、差分のビット数を１４ビットとすると、画素毎のメモリ容量は１５ビットで済む。
一方、図１５におけるｂに例示するように、比較例では、演算回路が、最初のＰ相データの符号を反転してメモリＭ１に保持させ、２回目のＰ相データの符号を反転してメモリＭ２に保持させる。そして、演算回路は、１回目のＤ相データと、メモリＭ１に保持されたデータとを加算し、その加算値（差分）によりメモリＭ１を更新する。続いて演算回路は、２回目のＤ相データと、メモリＭ２に保持されたデータとを加算し、その加算値（差分）によりメモリＭ２を更新する。そして、演算回路は、メモリＭ１に保持された差分とメモリＭ２に保持された差分とを加算して画素データとして出力する。このように、１回目の差分（１４ビット）をメモリＭ１に保持させ、２回目の差分（１４ビット）をメモリＭ２に保持させるため、それぞれのメモリのメモリ容量は１４ビットである。すなわち、画素毎のメモリの総容量は、２８ビットも必要になる。
したがって、画素数をＨ×Ｖとすると、比較例ではＨ×Ｖ×２８ビットのメモリ容量が必要であるのに対し、出力部２７０では、Ｈ×Ｖ×１５ビットのメモリ容量で十分である。このように、メモリ容量を大幅に削減することができる。
図１６は、本技術の第１の実施の形態におけるＣＤＳ処理の一例を示すフローチャートである。このＣＤＳ処理は、例えば、垂直同期信号が立ち上がったときに開始される。画素３００は、１回目のリセットレベルを生成してＰ相データに変換する（ステップＳ９０１）。出力部２７０は、そのＰ相データの符号を反転してメモリ２７３に保持する（ステップＳ９０２）。そして、画素３００は、２回目のリセットレベルを生成してＰ相データに変換する（ステップＳ９０３）。出力部２７０は、２回目のＰ相データの符号を反転して、メモリ２７３の保持データと加算し、その加算値によりメモリ２７３を更新する（ステップＳ９０４）。
そして、画素３００は、１回目の信号レベルを生成してＤ相データに変換する（ステップＳ９０５）。出力部２７０は、１回目のＤ相データと、メモリ２７３の保持データとを加算し、その加算値によりメモリ２７３を更新する（ステップＳ９０６）。続いて画素３００は、２回目の信号レベルを生成してＤ相データに変換する（ステップＳ９０７）。出力部２７０は、２回目のＤ相データと、メモリ２７３の保持データとを加算し、その加算値によりメモリ２７３を更新する。この加算値が画素データとして出力される（ステップＳ９０８）。ステップＳ９０８の後に固体撮像素子２００は、ＣＤＳ処理を終了する。
このように、本技術の第１の実施の形態では、固体撮像素子２００は、Ｂビットの差分をＮ回加算した値をメモリに保持するため、画素当たりのメモリ容量をＢ＋ｌｏｇ２Ｎビットに抑制することができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、フォトダイオードごとにＦＤを設けていたが、フォトダイオードの個数の増大に伴ってＦＤの個数も増大する。ＦＤ数の増大を抑制するには、例えば、複数のフォトダイオードが１つのＦＤを共有する構成とすればよい。この第２の実施の形態の固体撮像素子２００は、複数のフォトダイオードが１つのＦＤを共有する点において第１の実施の形態と異なる。
図１７は、本技術の第２の実施の形態における画素回路３１０の一構成例を示す回路図である。この画素回路３１０は、リセットトランジスタ３１１およびＦＤ３１２と、４つのサブ画素回路３１３とを備える。リセットトランジスタ３１１およびＦＤ３１２は、これらのサブ画素回路３１３により共有される。サブ画素回路３１３のそれぞれは、転送トランジスタ３１４、フォトダイオード３１５および排出トランジスタ３１６を備える。これらのサブ画素回路３１３をサブ画素ａ、ｂ、ｃおよびｄとする。サブ画素ａには、画素駆動回路２５０からの転送信号ＴＸａおよび駆動信号ＯＦＧａが入力される。サブ画素ｂは、転送信号ＴＸｂおよび駆動信号ＯＦＧｂが入力され、サブ画素ｃには、転送信号ＴＸｃおよび駆動信号ＯＦＧｃが入力される。サブ画素ｄは、転送信号ＴＸｄおよび駆動信号ＯＦＧｄが入力される。サブ画素回路３１３内の転送トランジスタ３１４は、対応する転送信号に従って、電荷をＦＤ３１２に転送する。なお、４つの転送トランジスタ３１４からなる回路は、特許請求の範囲に記載の転送部の一例である。
画素駆動回路２５０は、露光開始時に全画素へ駆動信号ＯＦＧａ、ＯＦＧｂ、ＯＦＧｃおよびＯＦＧｄを順に供給し、リセット信号ＲＳＴを供給する。また、画素駆動回路２５０は、露光終了時に全画素へ転送信号ＴＸａ、ＴＸｂ、ＴＸｃおよびＴＸｄを順に供給する。それぞれのサブ画素回路３１３の露光時間は、同一であるものとする。
なお、４つのサブ画素回路３１３で１つのＦＤ３１２を共有しているが、ＦＤ３１２を共有するサブ画素回路３１３の個数は４つに限定されず、２つなどであってもよい。
このように、本技術の第２の実施の形態では、複数のフォトダイオード３１５が１つのＦＤ３１２を共有するため、ＦＤ３１２の個数の増大を抑制することができる。
＜３．第３の実施の形態＞
上述の第２の実施の形態では、サブ画素回路３１３のそれぞれの露光時間を同一としていたが、自然光の下などでは、ダイナミックレンジが不足するおそれがある。ダイナミックレンジを広くするには、例えば、４つのサブ画素回路３１３を互いに異なる露光時間により露光させて、露光時間の長い画素データと、露光時間の短い画素データとを合成すればよい。このような合成は、ハイダイナミックレンジ合成と呼ばれる。この第３の実施の形態の固体撮像素子２００は、ハイダイナミックレンジ合成を行う点において第２の実施の形態と異なる。
図１８は、本技術の第３の実施の形態における演算回路２８０およびメモリ２７３の一構成例を示すブロック図である。この第３の実施の形態の演算回路２８０は、シフタ２９０をさらに備える点において第２の実施の形態と異なる。
シフタ２９０は、タイミング生成回路２６０からのシフト制御信号ＳＨに従って、画素アレイ部２４０からのデータＤＡＴＡｉｎを左シフト（言い換えれば、２のべき乗で乗算）するものである。シフト量には、露光時間の比率（露光比）に応じた値が設定される。シフタ２９０は、シフト後のデータをＤＡＴＡｏｕｔとして加算回路２８２に出力する。
ここで、サブ画素ａ、ｂ、ｃおよびｄのそれぞれの露光時間をＥａ、Ｅｂ、ＥｃおよびＥｄとする。これらの露光時間には、例えば、次の式を満たす値が設定されるものとする。
Ｅｃ＝２×Ｅｄ
Ｅｂ＝２×Ｅｃ＝４×Ｅｄ
Ｅａ＝２×Ｅｂ＝８×Ｒｄ
このように、最小の露光時間に対する他の露光時間の比率（露光比）を２のべき乗（２、４および８）に設定した場合、乗算をシフト演算により行うことができる。例えば、サブ画素ｂからのＤＡＴＡｉｎは、１ビット分、左シフトされる。また、サブ画素ｃからのＤＡＴＡｉｎは、２ビット分、左シフトされ、サブ画素ｄからのＤＡＴＡｉｎは、３ビット分、左シフトされる。一方、サブ画素ａからのＤＡＴＡｉｎは、シフトされない。
なお、露光比を２のべき乗としているが、露光比を２のべき乗以外の値に設定してもよい。露光比が２のべき乗でない場合に演算回路２８０は、シフタ２９０の代わりに、乗算器を備え、露光比を乗算すればよい。
図１９は、本技術の第３の実施の形態におけるシフタ２９０の一構成例を示す回路図である。シフタ２９０は、３ビットまでのシフトを行うことができるが、ここでは、１ビットのシフトのみを行う回路例について説明する。シフタ２９０は、Ｂ（例えば、１５）個のセレクタ２９１を備える。ｂ（ｂは０乃至Ｂ－１の整数）個目のセレクタ２９１は、ＤＡＴＡｉｎのｂビット目に対応付けられる。
０ビット目に対応するセレクタ２９１は、シフト制御信号ＳＨに従って、論理値「０」とＤＡＴＡｉｎ［０］とのいずれかを選択して、ＤＡＴＡｏｕｔ［０］として出力する。ｂビット目に対応するセレクタ２９１は、シフト制御信号ＳＨに従って、ＤＡＴＡｉｎ［ｂ－１］とＤＡＴＡｉｎ［ｂ］とのいずれかを選択して、ＤＡＴＡｏｕｔ［ｂ］として出力する。なお、左シフトでは、ＬＳＢ（least significant bit)を右端として左にビットをシフトするが、図１９では、記載の便宜上、ＬＳＢを左端に記載している。
例えば、シフト制御信号ＳＨは、１ビット分、左シフトさせるか否かを示す。シフトさせない場合に、ｂビット目に対応するセレクタ２９１は、ＤＡＴＡｉｎ［ｂ］を選択してＤＡＴＡｏｕｔ［ｂ］として出力する。一方、シフトさせる場合に、ｂビット目に対応するセレクタ２９１は、ＤＡＴＡｉｎ［ｂ－１］または「０」を選択してＤＡＴＡｏｕｔ［ｂ］として出力する。
図２０は、本技術の第３の実施の形態における画素３００の駆動例を示すタイミングチャートである。画素駆動回路２５０は、サブ画素ａの露光開始のタイミングｔ４１において駆動信号ＯＦＧａを出力する。その後のタイミングｔ４２、ｔ４３およびｔ４４において、画素駆動回路２５０は、駆動信号ＯＦＧｂ、ＯＦＧｃおよびＯＦＧｄを順に出力する。これにより、サブ画素ａ、ｂ、ｃおよびｄの順で露光が開始される。
そして、画素駆動回路２５０は、タイミングｔ４４の後のサブ画素ｄの露光終了のタイミングｔ４５において駆動信号ＴＸｄを出力する。その後のタイミングｔ４６、ｔ４７およびｔ４８において、画素駆動回路２５０は、駆動信号ＴＸｃ、ＴＸｂおよびＴＸｄを順に出力する。これにより、サブ画素ｄ、ｃ、ｂおよびａの順で露光が終了する。
また、ＡＤＣ３２０は、サブ画素ｄ、ｃ、ｂおよびａの順でＰ相データおよびＤ相データを出力する。
図２１は、本技術の第３の実施の形態における１回目および２回目のＣＤＳ処理を説明するための図である。最小の露光時間Ｅｄが設定されたサブ画素ｄからのＰ相データが入力されると、シフタ２９０は、そのデータを３ビット左シフト（言い換えれば、８を乗算）し、加算器２９２は、そのシフト後のデータの符号を反転してメモリ２７３に保持させる。ここで、加算器２９２は、Ｂ個の加算回路２８２からなる演算器である。次にサブ画素ｄからのＤ相データが入力されると、シフタ２９０は、そのデータを３ビット左シフトし、加算器２９２は、そのシフト後のデータと、メモリ２７３の保持データとを加算して、その加算値（差分）によりメモリ２７３を更新する。
そして、露光時間Ｅｃが設定されたサブ画素ｃからのＰ相データが入力されると、シフタ２９０は、そのデータを２ビット左シフトする。加算器２９２は、そのシフト後のデータの符号を反転し、その反転値と、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。次にサブ画素ｃからのＤ相データが入力されると、シフタ２９０は、そのデータを２ビット左シフトし、加算器２９２は、そのシフト後のデータと、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。
図２２は、本技術の第３の実施の形態における３回目および４回目のＣＤＳ処理を説明するための図である。露光時間Ｅｂが設定されたサブ画素ｂからのＰ相データが入力されると、シフタ２９０は、そのデータを１ビット左シフトする。加算器２９２は、そのシフト後のデータの符号を反転し、その反転値と、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。次にサブ画素ｂからのＤ相データが入力されると、シフタ２９０は、そのデータを１ビット左シフトし、加算器２９２は、そのシフト後のデータと、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。
そして、最大の露光時間Ｅａが設定されたサブ画素ａからのＰ相データが入力されると、シフタ２９０は、そのデータをシフトせずに加算器２９２に出力する。加算器２９２は、そのデータの符号を反転し、その反転値と、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。次にサブ画素ａからのＤ相データが入力されると、シフタ２９０は、そのデータをシフトせずに加算器２９２に出力する。加算器２９２は、そのデータと、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。
図２３は、本技術の第３の実施の形態と比較例とのそれぞれにおけるＣＤＳ処理を説明するための図である。同図におけるａは、第３の実施の形態におけるＣＤＳ処理を説明するための図である。ここでは、説明を簡易にするために、ＦＤを共有するサブ画素がａおよびｄの２つしかないものとしている。同図におけるｂは、比較例におけるＣＤＳ処理を説明するための図である。
図２３におけるａに例示するように、露光時間の短い方のサブ画素ｄからのＰ相データが入力されると、シフタ２９０は、露光比（例えば、「８」）でＰ相データを乗算し、加算器２９２には、その乗算値の符号を反転してメモリ２７３に保持する。次にサブ画素ｄからのＤ相データが入力されると、シフタ２９０は、露光比でＤ相データを乗算する。加算器２９２には、その乗算値とメモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。
そして、露光時間の長い方のサブ画素ａからのＰ相データが入力されると、加算器２９２には、そのＰ相データの符号を反転し、その反転値とメモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。次にサブ画素ａからのＤ相データが入力されると、加算器２９２には、そのＤ相データとメモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。
このように、加算器２９２には、露光時間の短い方のＰ相データおよびＤ相データの差分と、露光時間の長い方の差分とを加算して同じメモリ２７３に保持させる。これにより、ダイナミックレンジの広い画素データが得られる。差分のデータサイズを１４ビットとすると、信号レベルのサンプリング回数Ｎが２であるため、上式より、画素毎のメモリ容量は、１５ビットで済む。
一方、図２３におけるｂに例示するように、比較例では、露光時間の短い方のＰ相データおよびＤ相データの差分を演算回路がメモリＭ１に保持させ、露光時間の長い方の差分を演算回路がメモリＭ２に保持させる。そして、演算回路は、メモリＭ１の保持データに露光比を乗算し、メモリＭ２の保持データと加算し、画素データとして出力する。この構成では、差分のデータサイズを１４ビットとすると、画素毎に、２８ビットのメモリ容量が必要となる。
したがって、画素数をＨ×Ｖとすると、比較例ではＨ×Ｖ×２８ビットのメモリ容量が必要であるのに対し、出力部２７０では、Ｈ×Ｖ×１５ビットのメモリ容量で十分である。このように、メモリ容量を大幅に削減することができる。
このように、本技術の第３の実施の形態では、露光時間の異なるＮ回の露光のうち最初のＢビットの差分と、２回目以降の差分とを加算してメモリ２７３に保持させるため、Ｂ＋ｌｏｇ２Ｎの値に画素当たりのメモリ容量を抑制することができる。
＜４．第４の実施の形態＞
上述の第１の実施の形態では、固体撮像素子２００が信号レベルのサンプリングの回数と同じ回数に亘ってリセットレベルのサンプリングを行っていた。しかし、この構成では、信号レベルのサンプリング回数の増大に伴ってリセットレベルのサンプリング回数も増大し、消費電力が大きくなってしまう。ここで、２回目以降の信号レベルに対応する露光時間を１回目より長くした場合、その信号レベルは、高照度の光を光電変換した値となり、ショットノイズが支配的になる。このため、２回目以降の信号レベルにおいては、１回目のリセットレベルとの間で固定パターンノイズの相関があるものの、リセットノイズとの相関は乏しい。したがって、リセットレベルのサンプリングを１回としても画質に対する影響は少ない。この第４の実施の形態の固体撮像素子２００は、リセットレベルのサンプリングを１回のみ行う点において第１の実施の形態と異なる。
図２４は、本技術の第４の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。タイミングｔ１０から、タイミングｔ１５までの最初のリセットレベルの変換動作は、第１の実施の形態と同様である。ただし、２回目以降のリセットレベルは生成されない。
図２５は、本技術の第４の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。タイミングｔ２１からタイミングｔ２５までの１回目の信号レベルの変換動作は、第１の実施の形態と同様である。
タイミングｔ２５の後のタイミングｔ２６において、画素駆動回路２５０は、リセット信号ＲＳＴを出力する。そして、タイミングｔ２７において画素駆動回路２５０は、転送信号ＴＸを供給する。ここで、１回目の露光時間は、前の１Ｖ期間の駆動信号ＯＦＧの出力時点からタイミングｔ２２までである。２回目の露光時間は、タイミングｔ２２からタイミングｔ２７までである。この２回目の露光時間は、１回目よりも長いものとする。
そして、タイミングｔ２８からタイミングｔ２９までの間に２回目の信号レベルがＡＤ変換される。この２回目の信号レベルの変換では、参照信号ＲＥＦのスロープの傾きは１回目と同じであるが、タイミング生成回路２６０は、出力部２７０を動作させるクロック信号の動作周波数を露光比に応じて１回目よりも低下させるものとする。これにより、ＡＤ変換の１ＬＳＢに対応する電圧値が、１回目よりも大きくなる。すなわち、ＡＤ変換における分解能が低くなる。
なお、クロック信号の動作周波数を低くする場合、パルス幅を維持したまま低下させてもよいし、低下させる際にパルス幅を変更してもよい。パルス幅を維持する際には、動作周波数の低下によりクロック信号のデューティ比も変化する。
図２６は、本技術の第４の実施の形態におけるＣＤＳ処理を含む演算処理を説明するための図である。第４の実施の形態の演算回路２８０は、第３の実施の形態と同様にシフタ２９０および加算器２９２を備える。１回目のＰ相データが入力されると、演算回路２８０は、そのＰ相データの符号を反転し、かつ、Ｄ相を読む回数（Ｎ回）分、この符号反転したＰ相データに乗算器２９０でゲイン（Ｎ倍）をかけてメモリ２７３に保持する。次に１回目のＤ相データが入力されると、加算器２９２は、そのＤ相データとメモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。
続いて分解能の低い２回目のＤ相データが入力されると、シフタ２９０は、分解能を低くした分だけ左シフトする。通常であれば、分解能の異なるデータ（ここでは、１回目および２回目のＤ相データ）は、デジタル値が飛ばないようにディザ処理などを行う必要がある。しかし、リセットレベルのＡＤ変換時の分解能を高くしたため、自然とディザがかかり、デジタル値が歯抜けになることが無い。したがって、ディザ処理等が不要となる。
加算器２９２は、シフト後のＤ相データとメモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。この２回目のＰ相データは、２回目よりも露光時間が長いため、ショットノイズが支配的となり、リセットノイズとの相関が乏しい。このため、２回目のリセットサンプリングを行う必要がなくなり、リセットサンプリングが１回のみで済む。
なお、信号レベルのサンプリング回数を２回としているが、３回以上としてもよい。その際に演算回路２８０は、Ｐ相データの入力前のゲインとして、サンプリング回数分かける処理を行う。
このように、本技術の第４の実施の形態では、固体撮像素子２００は、２回目の露光時間を１回目よりも長くするため、リセットレベルのサンプリング回数を削減することができる。これにより、固体撮像素子２００の消費電力を小さくすることができる。
＜５．第５の実施の形態＞
上述の第１の実施の形態では、ＡＤＣ３２０は、複数の信号レベルを同一の露光時間によりＡＤ変換していたが、自然光の下などでは、ダイナミックレンジが不足するおそれがある。ダイナミックレンジを拡大するには、一般的に、短時間露光の画素データと長時間露光の画素データとを生成し、それらを合成する方法が用いられる。しかし、この方法では、長時間露光と短時間露光との合計の露光時間が長くなってしまうという問題がある。この第５の実施の形態の固体撮像素子２００は、露光時間の増大を抑制しつつ、ダイナミックレンジを拡大した点において第１の実施の形態と異なる。
図２７は、本技術の第５の実施の形態における出力部２７０の一構成例を示すブロック図である。この第５の実施の形態の出力部２７０は、共有メモリ２９５をさらに具備する点において第１の実施の形態と異なる。この共有メモリ２９５は、画素毎に設けられた演算回路２８０の全てにより共有される。
図２８は、本技術の第５の実施の形態における出力部２７０の処理を説明するための図である。画素回路３１０は、リセットレベルおよび信号レベルのそれぞれを２回ずつ生成する。信号レベルのそれぞれの露光時間は同一である。
ＡＤＣ３２０は、１回目のリセットレベルを所定の分解能ＲＬによりＰ相データに変換する。そして、ＡＤＣ３２０は、２回目のリセットレベルと１回目の信号レベルとを分解能ＲＬより高いＲＨによりＰ相データおよびＤ相データに変換する。続いてＡＤＣ３２０は、２回目の信号レベルを分解能ＲＬによりＤ相データに変換する。
出力部２７０は、ＣＤＳ処理部２９６および飽和判定部２９７を備える。ＣＤＳ処理部２９６は、１回目のＰ相データの符号を反転してメモリ２７３に保持し、２回目のＰ相データの符号を反転して共有メモリ２９５に保持する。
そして、ＣＤＳ処理部２９６は、１回目のＤ相データと、共有メモリ２９５の保持データとを加算して、その加算値により共有メモリ２９５を更新する。これにより、２回目のＰ相データと１回目のＤ相データとの差分（画素データ）が共有メモリ２９５に保持される。なお、共有メモリ２９５は、特許請求の範囲に記載の第２メモリの一例である。
続いてＣＤＳ処理部２９６は、２回目のＤ相データと、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。これにより、１回目のＰ相データと２回目のＤ相データとの差分（画素データ）がメモリ２７３に保持される。なお、メモリ２７３は、特許請求の範囲に記載の第１メモリの一例である。
飽和判定部２９７は、共有メモリ２９５の保持データ（画素データ）がフルスケールを越える（言い換えれば、飽和している）か否かを判定する。飽和している場合には飽和判定部２９７は、共有メモリ２９５を初期化し、メモリ２７３の保持データを最終的な画素データとして出力させる。一方、飽和していない場合には飽和判定部２９７は、共有メモリ２９５の保持データによりメモリ２７３を更新し、更新後のメモリ２７３のデータを最終的な画素データとして出力させる。なお、飽和判定部２９７は、共有メモリ２９５の保持データがフルスケールを越えるか否かを判定しているが、フルスケール未満の所定値を越えるか否かを判定してもよい。また、飽和判定部２９７は、特許請求の範囲に記載の判定部の一例である。
メモリ２７３および共有メモリ２９５のそれぞれには、Ｂ（例えば、１４）ビットの画素データが保持されるため、それぞれのメモリ容量は、Ｂビットで済む。また、メモリ２７３は画素ごとに設けられ、共有メモリ２９５は全画素で共有される。このため、画素数をＨ×Ｖとすると、出力部２７０全体のメモリの総容量Ｃtotalは、次の式により表される。
Ｃtotal＝Ｈ×Ｖ×Ｂ＋Ｂ
図２９は、本技術の第５の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。第５の実施の形態におけるタイミングｔ１０からｔ１７までの１回目および２回目のリセットレベルの変換動作は、第１の実施の形態と同様である。ただし、２回目のリセットレベルのＡＤ変換において、ＤＡＣ２１０は、参照信号ＲＥＦのスロープの傾きを１回目よりも緩やかにする。これにより、２回目のリセットレベルは、１回目よりも高い分解能によりＡＤ変換される。
図３０は、本技術の第５の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。第５の実施の形態におけるタイミングｔ２１からｔ２８までの１回目および２回目の信号レベルの変換動作は、第１の実施の形態と同様である。ただし、１回目の信号レベルのＡＤ変換において、ＤＡＣ２１０は、参照信号ＲＥＦのスロープの傾きを２回目よりも緩やかにする。これにより、１回目の信号レベルは、２回目よりも高い分解能によりＡＤ変換される。
図３１は、本技術の第５の実施の形態におけるスロープの傾きについて説明するための図である。前述したように、参照信号がスロープ状に変化している期間において、ＡＤＣ３２０は、参照信号と画素信号とを比較する動作をクロック信号に同期して繰り返す。このため、クロック信号の周波数を一定にしたままで、参照信号のスロープの傾きを緩やかにすると、ＬＳＢに対応する電圧値が小さくなる。すなわち、ＡＤＣ３２０の分解能が高くなる。また、分解能が高いと、分解能が低い場合よりも変換後のデジタル値が大きくなる。したがって、照度の比較的低い画素が分解能の高い（すなわち、デジタル値の大きな）画素データを出力し、照度の比較的高い画素が分解能の低い画素データを出力すれば、画像データ全体のダイナミックレンジを広くすることができる。
図３２は、本技術の第５の実施の形態におけるＣＤＳ処理を説明するための図である。同図におけるａは、低照度時のＣＤＳ処理を説明するための図であり、同図におけるｂは高照度時のＣＤＳ処理を説明するための図である。
図３２におけるａに例示するように、演算回路２８０は、１回目の低分解能のＰ相データの符号を反転してメモリ２７３に保持し、２回目の高分解能のＰ相データの符号を反転して共有メモリ２９５に保持する。
そして、演算回路２８０は、１回目のＤ相データと、共有メモリ２９５の保持データとを加算して、その加算値により共有メモリ２９５を更新する。これにより、２回目のＰ相データと１回目のＤ相データとの差分（正味の画素データＴＥＭＰ）が共有メモリ２９５に保持される。
続いてＣＤＳ処理部２９６は、２回目のＤ相データと、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。これにより、１回目のＰ相データと２回目のＤ相データとの差分がメモリ２７３に保持される。なお、メモリ２７３は、特許請求の範囲に記載の第１メモリの一例である。
演算回路２８０は、共有メモリ２９５の画素データＴＥＭＰがフルスケールＦＳを越える（飽和している）か否かを判定する。飽和していない場合に演算回路２８０は、図３２におけるａに例示するように、共有メモリ２９５の保持データによりメモリ２７３を更新する。更新後の高分解能のデータが最終的な画素データとして出力される。一方、飽和している場合には演算回路２８０は、同図におけるｂに例示するように共有メモリ２９５を初期化し、メモリ２７３の低分解能の保持データを最終的な画素データとして出力させる。
このように、分解能を切り替える方式によれば、画素３００の露光は１回でよく、長時間露光と短時間露光との両方を行わずに済むため、露光時間の増大を抑制することができる。
図３３は、本技術の第５の実施の形態におけるＣＤＳ処理の一例を示すフローチャートである。画素３００は、１回目のリセットレベルを生成してＰ相データに変換する（ステップＳ９１１）。出力部２７０は、そのＰ相データの符号を反転してメモリ２７３に保持する（ステップＳ９１２）。そして、画素３００は、２回目のリセットレベルを生成し、スロープを緩やかにしてＰ相データに変換する（ステップＳ９１３）。出力部２７０は、２回目のＰ相データの符号を反転して、共有メモリ２９５に保持する（ステップＳ９１４）。
画素３００は、１回目の信号レベルを生成し、スロープを緩やかにしてＤ相データに変換する（ステップＳ９１５）。出力部２７０は、そのＤ相データを、共有メモリ２９５の保持データと加算し、加算値により共有メモリ２９５を更新する（ステップＳ９１６）。続いて画素３００は、２回目の信号レベルを生成してＤ相データに変換する（ステップＳ９１７）。出力部２７０は、そのＤ相データを、メモリ２７３の保持データと加算し、加算値によりメモリ２７３を更新する（ステップＳ９１８）。
出力部２７０は、共有メモリ２９５の保持値が飽和しているか否かを判定する（ステップＳ９１９）。飽和している場合に（ステップＳ９１９：Ｙｅｓ）、出力部２７０は、共有メモリ２９５を初期化し、メモリ２７３の値を画素データとして出力する（ステップＳ９２０）。一方、飽和していない場合に（ステップＳ９１９：Ｎｏ）、出力部２７０は、共有メモリ２９５の保持値によりメモリ２７３を更新し、その更新後の値を画素データとして出力する（ステップＳ９２１）。ステップＳ９２０またはＳ９２１の後に、固体撮像素子２００は、ＣＤＳ処理を終了する。
このように、本技術の第５の実施の形態では、高照度時に低分解能の画素データを出力し、低照度時に高分解能の画素データを出力するため、１回の露光によりダイナミックレンジを拡大することができる。
＜６．第６の実施の形態＞
上述の第５の実施の形態では、画素回路３１０は、ＦＤで生成した電圧を増幅せずに出力していたが、照度が高い場合などに取扱い飽和信号量が不足するおそれがある。取扱い飽和信号量が不足する際は、ＦＤで生成した電圧を低減して低電圧化したデータを出力することが望ましい。この第６の実施の形態の画素回路３１０は、ＦＤで生成したアナログの電圧を低減する点において第５の実施の形態と異なる。
図３４は、本技術の第６の実施の形態における画素回路３１０および差動入力回路３３０の一構成例を示す回路図である。この第６の実施の形態の画素回路３１０は、ゲイン制御トランジスタ３１７および容量３１８をさらに備える点において第５の実施の形態と異なる。ゲイン制御トランジスタ３１７として、例えば、Ｎ型のＭＯＳトランジスタが用いられる。
ゲイン制御トランジスタ３１７のゲートには、画素駆動回路２５０からのゲイン制御信号ＦＤＧが入力される。また、ゲイン制御トランジスタ３１７のドレインは、容量３１８の一端とリセットトランジスタ３１１のドレインとに接続される。ゲイン制御トランジスタ３１７のソースは、ＰＭＯＳトランジスタ３３４およびＮＭＯＳトランジスタ３３５のドレインとＰＭＯＳトランジスタ３３６のゲートとに接続される。また、容量３１８の他端には、基板電圧が印加される。
上述の構成により、画素駆動回路２５０がハイレベルのゲイン制御信号ＦＤＧを供給すれば、画素３００は、ＦＤ３１２の電圧を所定のアナログゲインにより低減して出力することができる。これにより、画素３００の取扱い信号量、すなわち飽和信号量が拡大する。
図３５は、本技術の第６の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。画素駆動回路２５０は、１回目のリセットレベル変換時のタイミングｔ１０からｔ１６までの間において、ハイレベルのゲイン制御信号ＦＤＧを供給する。そして、画素駆動回路２５０は、２回目のリセットレベル変換時のタイミングｔ１６以降において、ローレベルのゲイン制御信号ＦＤＧを供給する。
図３６は、本技術の第６の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。画素駆動回路２５０は、１回目の信号レベル変換時のタイミングｔ２１からｔ２７までの間において、ローレベルのゲイン制御信号ＦＤＧを供給する。そして、画素駆動回路２５０は、２回目の信号レベル変換時のタイミングｔ２７以降において、ハイレベルのゲイン制御信号ＦＤＧを供給する。
図３７は、本技術の第６の実施の形態におけるＣＤＳ処理を説明するための図である。同図におけるａは、低照度時のＣＤＳ処理を説明するための図であり、同図におけるｂは高照度時のＣＤＳ処理を説明するための図である。第６の実施の形態のＣＤＳ処理部２９６は、乗算器２９３および加算器２９２を備える。
図３７におけるａに例示するように、加算器２９２は、１回目の低分解能のＰ相データの符号を反転してメモリ２７３に保持する。
また、乗算器２９３は、１回目の高分解能のＰ相データの符号に対してデジタル値Ａｇを乗算する。このデジタル値Ａｇには、スロープの傾きによる分解能の比率とアナログゲインとに応じた値が設定される。デジタル値Ａｇを２のべき乗とすれば、乗算器２９３は、第３の実施の形態のようにシフタにより実現することができる。加算器２９２は、乗算後のＰ相データの符号を反転して共有メモリ２９５に保持する。
そして、乗算器２９３は、２回目のＤ相データに対してデジタル値Ａｇを乗算する。加算器２９２は、乗算後のＤ相データと、共有メモリ２９５の保持データとを加算して、その加算値により共有メモリ２９５を更新する。これにより、２回目のＰ相データと１回目のＤ相データとの差分（正味の画素データＴＥＭＰ）が共有メモリ２９５に保持される。
続いて加算器２９２は、２回目のＤ相データと、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。これにより、１回目のＰ相データと２回目のＤ相データとの差分（正味の画素データ）がメモリ２７３に保持される。
飽和判定部２９７は、共有メモリ２９５の画素データＴＥＭＰがフルスケールＦＳを越える（飽和している）か否かを判定する。第６の実施の形態の飽和判定後の処理は、第５の実施の形態と同様である。
このように、本技術の第６の実施の形態では、出力部２７０が、ＦＤの電圧の低減により感度を低減させるため、飽和信号量の不足を抑制することができる。
＜７．第７の実施の形態＞
上述の第１の実施の形態では、１つの半導体基板に、画素回路３１０、ＡＤＣ３２０およびメモリ２７３を配置していたが、積層した複数の半導体基板に、それらを分散して配置することもできる。この第７の実施の形態の固体撮像素子２００は、積層した複数の半導体基板に、画素回路３１０などを分散して配置した点において第１の実施の形態と異なる。
図３８は、本技術の第７の実施の形態における固体撮像素子２００の積層構造の一例を示す斜視図である。この第７の実施の形態の固体撮像素子２００は、積層された上側基板２０２および下側基板２０４を備える。それぞれの基板の貼り合わせは、Ｃｕ－Ｃｕ接合や、ＴＳＶ（Through-Silicon Via）技術などにより行われる。
上側基板２０２には、画素回路３１０が二次元格子状に配列される。また、下側基板２０４には、画素回路３１０と同じ個数のＡＤＣ３２０およびメモリ２７３が配列される。画素回路３１０、ＡＤＣ３２０およびメモリ２７３以外の回路や素子は、省略されている。上側基板２０２の「上」は、光学部１１０に近い方を示す。
このように、本技術の第７の実施の形態では、積層された上側基板２０２および下側基板２０４に画素回路３１０、ＡＤＣ３２０およびメモリ２７３を分散して配置するため、固体撮像素子２００の実装密度や集積度を向上させることができる。
［第１の変形例］
上述の第７の実施の形態では、メモリ２７３を下側基板２０４に配置していたが、上側基板２０２に配置することもできる。この第７の実施の形態の第１の変形例の固体撮像素子２００は、上側基板２０２にメモリ２７３を配置した点において第７の実施の形態と異なる。
図３９は、本技術の第７の実施の形態の第１の変形例における固体撮像素子２００の積層構造の一例を示す斜視図である。この第７の実施の形態の第１の変形例では、画素回路３１０およびメモリ２７３が上側基板２０２に配置され、ＡＤＣ３２０が下側基板２０４に配置される。画素回路３１０、ＡＤＣ３２０およびメモリ２７３以外の回路や素子は、省略されている。
このように、本技術の第７の実施の形態の第１の変形例では、上側基板２０２に画素回路３１０およびメモリ２７３を配置し、下側基板２０４にＡＤＣ３２０を配置したため、固体撮像素子２００の実装密度や集積度を向上させることができる。
［第２の変形例］
上述の第７の実施の形態では、積層した２つの半導体基板に、画素回路３１０、ＡＤＣ３２０およびメモリ２７３を配置していたが、それらを、３つの半導体基板に分散して配置することもできる。この第７の実施の形態の第２の変形例の固体撮像素子２００は、積層した３つの半導体基板に、画素回路３１０などを分散して配置した点において第７の実施の形態と異なる。
図４０は、本技術の第７の実施の形態の第２の変形例における固体撮像素子２００の積層構造の一例を示す斜視図である。この第７の実施の形態の第２の変形例の固体撮像素子２００は、積層された上側基板２０２、中間基板２０３および下側基板２０４を備える。
上側基板２０２には、画素回路３１０が二次元格子状に配列される。また、中間基板２０３には、画素回路３１０と同じ個数のＡＤＣ３２０が配列される。下側基板２０４には、画素回路３１０と同じ個数のメモリ２７３が配列される。画素回路３１０、ＡＤＣ３２０およびメモリ２７３以外の回路や素子は、省略されている。
このように、本技術の第７の実施の形態の第２の変形例では、積層された３枚の半導体基板に画素回路３１０、ＡＤＣ３２０およびメモリ２７３を分散して配置するため、固体撮像素子２００の実装密度や集積度をさらに向上させることができる。
＜８．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図４１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図４２は、撮像部１２０３１の設置位置の例を示す図である。
図４２では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図４２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２１０１ないし１２１０４内の固体撮像素子に適用され得る。具体的には、固体撮像素子内の出力部は、１回目の差分と２回目以降のＤ相データとの加算値をメモリに保持する。撮像部１２１０１ないし１２１０４とに本開示に係る技術を適用することにより、固体撮像素子のメモリ容量の増大を抑制することができるため、撮像部のコストを削減することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する画素回路と、
前記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に前記複数の信号データのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換器と、
保持データを保持するメモリと、
前記リセットデータと最初に出力された前記信号データとの差分を前記保持データとして前記メモリに保持させた後に当該保持させた保持データと２回目以降に出力された前記信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算回路と
を具備する固体撮像素子。
（２）前記アナログデジタル変換器は、所定数の前記信号レベルのそれぞれを前記信号データに変換し、
前記メモリの容量は、底を２とする前記所定数の対数と前記差分のデータサイズとの和である
前記（１）記載の固体撮像素子。
（３）前記画素回路は、前記複数の信号レベルと同じ個数の前記リセットレベルを生成し、
前記演算回路は、前記リセットデータが出力されるたびに前記リセットデータと前記保持データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる
前記（１）または（２）に記載の固体撮像素子。
（４）前記複数の信号レベルのそれぞれに対応する露光時間は異なり、
前記画素回路は、１つの前記リセットレベルを生成する
前記（１）または（２）に記載の固体撮像素子。
（５）前記アナログデジタル変換器は、前記露光時間の比率に応じた動作周波数により前記信号レベルを変換する
前記（４）記載の固体撮像素子。
（６）前記画素回路は、
転送された電荷を蓄積して当該蓄積された電荷量に応じた電圧を生成する電荷蓄積部と、
前記電荷蓄積部を共有する複数のフォトダイオードと
前記複数のフォトダイオードのそれぞれにおいて光電変換により生成された前記電荷を前記電荷蓄積部に転送する転送部と
を備える
前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）前記複数の信号レベルのそれぞれに対応する露光時間は異なり、
前記演算回路は、前記露光時間のそれぞれの比率により前記リセットデータおよび前記信号データを乗算した後に前記差分の演算を行う
前記（１）から（６）のいずれかに記載の固体撮像素子。
（８）前記露光時間のそれぞれの比率は２のべき乗であり、
前記演算回路は、前記リセットデータおよび前記信号データに対してシフト演算を行う
前記（７）記載の固体撮像素子。
（９）前記画素回路は２次元格子状に配列され、
前記アナログデジタル変換器は、前記画素回路ごとに設けられる
前記（１）から（８）のいずれかに記載の固体撮像素子。
（１０）積層された２つの半導体基板をさらに具備し、
前記画素回路は、前記２つの半導体基板の一方に配置され、
前記アナログデジタル変換器および前記メモリは、前記２つの半導体基板の他方に配置される
前記（１）から（９）のいずれかに記載の固体撮像素子。
（１１）積層された２つの半導体基板をさらに具備し、
前記画素回路および前記メモリは、前記２つの半導体基板の一方に配置され、
前記アナログデジタル変換器は、前記２つの半導体基板の他方に配置される
前記（１）から（９）のいずれかに記載の固体撮像素子。
（１２）積層された第１、第２および第３の半導体基板をさらに具備し、
前記画素回路は、前記第１の半導体基板に配置され、
前記アナログデジタル変換器は、前記第２の半導体基板に配置され、
前記メモリは、前記第３の半導体基板に配置される
前記（１）から（９）のいずれかに記載の固体撮像素子。
（１３）第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順に生成する画素回路と、
前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを前記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換器と、
前記第１のリセットデータと前記第２の信号データとの差分を第１の画素データとして求め、前記第２のリセットデータと前記第１の信号データとの差分を前記第２の画素データとして求める相関二重サンプリング処理部と、
前記第１の画素データを保持する第１メモリと、
前記第２の画素データを保持する第２メモリと、
前記保持された第２の画素データの値が所定値より高いか否かを判定して前記第２の画素データの値が前記所定値より高い場合には前記保持された第１の画素データを出力させ、前記第２の画素データの値が前記所定値に満たない場合には前記第２の画素データを出力させる判定部と
を具備する固体撮像素子。
（１４）前記第１のリセットレベルと前記第２の信号レベルとを所定の感度により前記画素回路に生成させ、前記第２のリセットレベルと前記第１の信号レベルとを所定の感度と異なる感度により前記画素回路に生成させる画素駆動部をさらに具備する
前記（１３）記載の固体撮像素子。
（１５）前記画素回路は、前記第１および第２のリセットレベルと前記第１および第２の信号レベルとのそれぞれを画素信号として生成し、
前記アナログデジタル変換器は、
スロープを持つ所定の参照信号と前記画素信号とを複数回に亘って比較して当該比較結果を出力する比較部と、
前記比較結果のそれぞれからなるデータを前記第１および第２のリセットデータと前記第１および第２の信号データのいずれかとして記憶するデータ記憶部と
を備え、
前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを比較するときの前記スロープの傾きは、前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを比較するときの傾きより緩やかである
前記（１３）または（１４）に記載の固体撮像素子。
（１６） 前記画素回路は、二次元格子状に配列され、
前記アナログデジタル変換器は、前記画素回路ごとに配置され、
前記第２メモリは、前記画素回路の全てに共有される
前記（１３）から（１５）のいずれかに記載の固体撮像素子。
（１７）所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する画素回路と、
前記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に前記複数の信号レベルのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換器と、
保持データを保持するメモリと、
前記リセットデータと最初に出力された前記信号データとの差分を前記保持データとして前記メモリに保持させた後に当該保持させた保持データと２回目以降に出力された前記信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算回路と、
前記保持された保持データに対して所定の信号処理を実行するデジタル信号処理部と
を具備する固体撮像装置。
（１８）第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順生成する画素回路と、
前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを前記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換器と、
前記第１のリセットデータと前記第２の信号データとの差分を第１の画素データとして求め、前記第２のリセットデータと前記第１の信号データとの差分を前記第２の画素データとして求める相関二重サンプリング処理部と、
前記第１の画素データを保持する第１メモリと、
前記第２の画素データを保持する第２メモリと、
前記保持された第２の画素データの値が所定値より高いか否かを判定して前記第２の画素データの値が前記所定値より高い場合には前記保持された第１の画素データを出力させ、前記第２の画素データの値が前記所定値に満たない場合には前記第２の画素データを出力させる判定部と、
前記第１および第２の画素データのうち出力されたデータに対して所定の信号処理を実行するデジタル信号処理部と
を具備する固体撮像装置。
（１９）所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する生成手順と、
前記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に前記複数の信号データのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換手順と、
前記リセットデータと最初に出力された前記信号データとの差分を前記保持データとしてメモリに保持させた後に当該保持させた保持データと２回目以降に出力された前記信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算手順と
を具備する固体撮像素子の制御方法。
（２０）第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順に生成する生成手順と、
前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを前記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換手順と、
前記第１のリセットデータと前記第２の信号データとの差分を第１の画素データとして求めて第１メモリに保持し、前記第２のリセットデータと前記第１の信号データとの差分を前記第２の画素データとして求めて第２メモリに保持する相関二重サンプリング処理手順と、
前記保持された第２の画素データの値が所定値より高いか否かを判定して前記第２の画素データの値が前記所定値より高い場合には前記保持された第１の画素データを出力させ、前記第２の画素データの値が前記所定値に満たない場合には前記第２の画素データを出力させる判定手順と
を具備する固体撮像素子の制御方法。
１００ 撮像装置
１１０ 光学部
１２０ ＤＳＰ回路
１３０ 表示部
１４０ 操作部
１５０ バス
１６０ フレームメモリ
１７０ 記憶部
１８０ 電源部
２００ 固体撮像素子
２０１ 半導体基板
２０２ 上側基板
２０３ 中間基板
２０４ 下側基板
２１０ ＤＡＣ
２２０ 時刻コード発生部
２３０ 垂直駆動回路
２４０ 画素アレイ部
２４１ 時刻コード転送部
２５０ 画素駆動回路
２６０ タイミング生成回路
２７０ 出力部
２７１ 演算部
２７２ メモリアレイ
２７３ メモリ
２７４ メモリセル
２８０ 演算回路
２８１、２８４、２８６、２９１ セレクタ
２８２ 加算回路
２８３、３７２、３７３、３７４、３８２、３８３、３９２ インバータ
２８５ 全加算器
２９０ シフタ
２９２ 加算器
２９３ 乗算器
２９５ 共有メモリ
２９６ ＣＤＳ処理部
２９７ 飽和判定部
３００ 画素
３１０ 画素回路
３１１ リセットトランジスタ
３１２ ＦＤ
３１３ サブ画素回路
３１４ 転送トランジスタ
３１５ フォトダイオード
３１６ 排出トランジスタ
３１７ ゲイン制御トランジスタ
３１８ 容量
３２０ ＡＤＣ
３２１ 比較回路
３３０ 差動入力回路
３３１、３３４、３３６、３５１、３５２、３５５、３５６ ＰＭＯＳトランジスタ
３３２、３３３、３３５、３４１、３５３、３５４、３５７、３９１ ＮＭＯＳトランジスタ
３４０ 電圧変換回路
３５０ 正帰還回路
３６０ データ記憶部
３６１ リピータ
３７０ ラッチ制御回路
３７１ ＮＯＲ（否定論理和）ゲート
３８０ ラッチ回路
３８１ スイッチ
３９０ 双方向バッファ
３９３ バッファ

Claims (17)

  1. 第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとのそれぞれを順に生成する画素回路と、
    前記第１および第２のリセットレベルのそれぞれをデジタルデータに変換して第１および第２のリセットデータとして出力した後に前記第１および第２の信号レベルのそれぞれをデジタルデータに変換して第１および第２の信号データとして出力するアナログデジタル変換器と、
    保持データを保持するメモリと、
    前記第１および第２のリセットデータの加算値と前記第１の信号データとの差分を前記保持データとして前記メモリに保持させた後に当該保持させた保持データと前記第２の信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算回路と
    を具備する固体撮像素子。
  2. 前記アナログデジタル変換器は、前記第１および第２の信号レベルを含む所定数の信号レベルのそれぞれを信号データに変換し、
    前記メモリの容量は、底を２とする前記所定数の対数と前記差分のデータサイズとの和である
    請求項１記載の固体撮像素子。
  3. 前記画素回路は、
    転送された電荷を蓄積して当該蓄積された電荷量に応じた電圧を生成する電荷蓄積部と、
    前記電荷蓄積部を共有する複数のフォトダイオードと
    前記複数のフォトダイオードのそれぞれにおいて光電変換により生成された前記電荷を前記電荷蓄積部に転送する転送部と
    を備える
    請求項１記載の固体撮像素子。
  4. 前記画素回路は２次元格子状に配列され、
    前記アナログデジタル変換器は、前記画素回路ごとに設けられる
    請求項１記載の固体撮像素子。
  5. 積層された２つの半導体基板をさらに具備し、
    前記画素回路は、前記２つの半導体基板の一方に配置され、
    前記アナログデジタル変換器および前記メモリは、前記２つの半導体基板の他方に配置される
    請求項１記載の固体撮像素子。
  6. 積層された２つの半導体基板をさらに具備し、
    前記画素回路および前記メモリは、前記２つの半導体基板の一方に配置され、
    前記アナログデジタル変換器は、前記２つの半導体基板の他方に配置される
    請求項１記載の固体撮像素子。
  7. 積層された第１、第２および第３の半導体基板をさらに具備し、
    前記画素回路は、前記第１の半導体基板に配置され、
    前記アナログデジタル変換器は、前記第２の半導体基板に配置され、
    前記メモリは、前記第３の半導体基板に配置される
    請求項１記載の固体撮像素子。
  8. 第１および第２のリセットレベルと対応する露光時間の異なる第１および第２の信号レベルとのそれぞれを順に生成する画素回路と、
    前記第１のリセットレベルと前記第１の信号レベルとのそれぞれをデジタルデータに変換して第１リセットデータおよび第１信号データとして出力した後に前記第２のリセットレベルと前記第２の信号レベルとのそれぞれをデジタルデータに変換して第２リセットデータおよび第２信号データとして出力するアナログデジタル変換器と、
    保持データを保持するメモリと、
    前記露光時間のそれぞれの比率により前記第１リセットデータおよび前記第１信号データのそれぞれを乗算し、乗算後の前記第１リセットデータおよび前記第１信号データの差分を前記保持データとして前記メモリに保持させた後に当該保持させた保持データと前記第２リセットデータおよび前記第２信号データの差分とを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算回路と
    を具備する固体撮像素子。
  9. 所定のリセットレベルと対応する露光時間の異なる複数の信号レベルとのそれぞれを順に生成する画素回路と、
    前記リセットレベルをデジタルデータに変換してリセットデータとして出力した後に異なる動作周波数により前記複数の信号レベルのそれぞれをデジタルデータに変換して第１および第２の信号データとして出力するアナログデジタル変換器と、
    保持データを保持するメモリと、
    前記複数の信号レベルの個数により前記リセットデータを乗算し、乗算後の前記リセットデータと最初に出力された信号データとの差分を前記保持データとして前記メモリに保持させた後に２回目以降に出力された信号データをシフトし、当該保持させた保持データとシフト後の前記信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算回路と
    を具備する固体撮像素子。
  10. 第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順に生成する画素回路と、
    前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを前記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換器と、
    前記第１のリセットデータと前記第２の信号データとの差分を第１の画素データとして求め、前記第２のリセットデータと前記第１の信号データとの差分を前記第２の画素データとして求める相関二重サンプリング処理部と、
    前記第１の画素データを保持する第１メモリと、
    前記第２の画素データを保持する第２メモリと、
    前記保持された第２の画素データの値が所定値より高いか否かを判定して前記第２の画素データの値が前記所定値より高い場合には前記保持された第１の画素データを出力させ、前記第２の画素データの値が前記所定値に満たない場合には前記第２の画素データを出力させる判定部と
    を具備する固体撮像素子。
  11. 前記第１のリセットレベルと前記第２の信号レベルとを所定の感度により前記画素回路に生成させ、前記第２のリセットレベルと前記第１の信号レベルとを所定感度と異なる感度により前記画素回路に生成させる画素駆動部をさらに具備する
    請求項１０記載の固体撮像素子。
  12. 前記画素回路は、前記第１および第２のリセットレベルと前記第１および第２の信号レベルとのそれぞれを画素信号として生成し、
    前記アナログデジタル変換器は、
    スロープを持つ所定の参照信号と前記画素信号とを複数回に亘って比較して当該比較結果を出力する比較部と、
    前記比較結果のそれぞれからなるデータを前記第１および第２のリセットデータと前記第１および第２の信号データのいずれかとして記憶するデータ記憶部と
    を備え、
    前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを比較するときの前記スロープの傾きは、前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを比較するときの傾きより緩やかである
    請求項１０記載の固体撮像素子。
  13. 前記画素回路は、二次元格子状に配列され、
    前記アナログデジタル変換器は、前記画素回路ごとに配置され、
    前記第２メモリは、前記画素回路の全てに共有される
    請求項１０記載の固体撮像素子。
  14. 第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとのそれぞれを順に生成する画素回路と、
    前記第１および第２のリセットレベルのそれぞれをデジタルデータに変換して第１および第２のリセットデータとして出力した後に前記第１および第２の信号レベルのそれぞれをデジタルデータに変換して第１および第２の信号データとして出力するアナログデジタル変換器と、
    保持データを保持するメモリと、
    前記第１および第２のリセットデータの加算値と前記第１の信号データとの差分を前記保持データとして前記メモリに保持させた後に当該保持させた保持データと前記第２の信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算回路と、
    前記保持された保持データに対して所定の信号処理を実行するデジタル信号処理部と
    を具備する固体撮像装置。
  15. 第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順に生成する画素回路と、
    前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを前記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換器と、
    前記第１のリセットデータと前記第２の信号データとの差分を第１の画素データとして求め、前記第２のリセットデータと前記第１の信号データとの差分を前記第２の画素データとして求める相関二重サンプリング処理部と、
    前記第１の画素データを保持する第１メモリと、
    前記第２の画素データを保持する第２メモリと、
    前記保持された第２の画素データの値が所定値より高いか否かを判定して前記第２の画素データの値が前記所定値より高い場合には前記保持された第１の画素データを出力させ、前記第２の画素データの値が前記所定値に満たない場合には前記第２の画素データを出力させる判定部と、
    前記第１および第２の画素データのうち出力されたデータに対して所定の信号処理を実行するデジタル信号処理部と
    を具備する固体撮像装置。
  16. 第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとのそれぞれを順に生成する生成手順と、
    前記第１および第２のリセットレベルのそれぞれをデジタルデータに変換して第１および第２のリセットデータとして出力した後に前記第１および第２の信号レベルのそれぞれをデジタルデータに変換して第１および第２の信号データとして出力するアナログデジタル変換手順と、
    前記第１および第２のリセットデータの加算値と前記第１の信号データとの差分を前記保持データとしてメモリに保持させた後に当該保持させた保持データと前記第２の信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算手順と
    を具備する固体撮像素子の制御方法。
  17. 第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順に生成する生成手順と、
    前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを前記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換手順と、
    前記第１のリセットデータと前記第２の信号データとの差分を第１の画素データとして求めて第１メモリに保持し、前記第２のリセットデータと前記第１の信号データとの差分を前記第２の画素データとして求めて第２メモリに保持する相関二重サンプリング処理手順と、
    前記保持された第２の画素データの値が所定値より高いか否かを判定して前記第２の画素データの値が前記所定値より高い場合には前記保持された第１の画素データを出力させ、前記第２の画素データの値が前記所定値に満たない場合には前記第２の画素データを出力させる判定手順と
    を具備する固体撮像素子の制御方法。
JP2018552450A 2016-11-24 2017-10-10 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法 Active JP6997720B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016227398 2016-11-24
JP2016227398 2016-11-24
PCT/JP2017/036630 WO2018096813A1 (ja) 2016-11-24 2017-10-10 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法

Publications (2)

Publication Number Publication Date
JPWO2018096813A1 JPWO2018096813A1 (ja) 2019-10-17
JP6997720B2 true JP6997720B2 (ja) 2022-01-18

Family

ID=62194896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018552450A Active JP6997720B2 (ja) 2016-11-24 2017-10-10 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法

Country Status (4)

Country Link
US (1) US11039099B2 (ja)
JP (1) JP6997720B2 (ja)
CN (1) CN110024377B (ja)
WO (1) WO2018096813A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018198691A1 (ja) * 2017-04-25 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP7059031B2 (ja) * 2018-02-09 2022-04-25 キヤノン株式会社 撮像装置、撮像システム、移動体
KR102601213B1 (ko) * 2018-07-03 2023-11-10 삼성전자주식회사 비휘발성 메모리 장치 및 비휘발성 메모리 장치의 제조 방법
US11631465B2 (en) 2018-07-03 2023-04-18 Samsung Electronics Co., Ltd. Non-volatile memory device
US11164638B2 (en) 2018-07-03 2021-11-02 Samsung Electronics Co., Ltd. Non-volatile memory device
JP2020043504A (ja) * 2018-09-12 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
KR102587895B1 (ko) * 2018-09-13 2023-10-12 삼성전자주식회사 픽셀 어레이와 메모리 셀 어레이가 병합된 이미지 센서 및 이를 포함하는 전자 장치
DE112020003436T5 (de) * 2019-07-18 2022-04-14 Sony Semiconductor Solutions Corporation Festkörper-Bildgebungselement, Bildgebungseinrichtung und Verfahren zum Steuern eines Festkörper-Bildgebungselements
JP7365823B2 (ja) 2019-08-23 2023-10-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11368639B2 (en) * 2019-09-30 2022-06-21 Canon Kabushiki Kaisha Photoelectric conversion apparatus, image capturing system, method for driving photoelectric conversion apparatus, and moving object
CN114982222A (zh) * 2020-01-08 2022-08-30 华为技术有限公司 一种图像读取电路、图像传感器以及终端设备
CN111510651B (zh) * 2020-04-26 2022-09-06 Oppo广东移动通信有限公司 一种图像传感电路、图像传感器及终端设备
JP2022144243A (ja) * 2021-03-18 2022-10-03 キヤノン株式会社 光電変換装置および電子機器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001024941A (ja) 1999-07-06 2001-01-26 Victor Co Of Japan Ltd 電子カメラ
JP2005191641A (ja) 2003-12-24 2005-07-14 Mitsubishi Electric Corp 画像入力方法および画像入力装置
JP2011211535A (ja) 2010-03-30 2011-10-20 Sony Corp 固体撮像素子およびカメラシステム
WO2013099723A1 (ja) 2011-12-27 2013-07-04 ソニー株式会社 撮像素子、撮像装置、電子機器および撮像方法
JP2015130563A (ja) 2014-01-06 2015-07-16 株式会社リコー 光電変換素子、画像読取装置及び画像形成装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136101B2 (en) * 2001-12-24 2006-11-14 Hewlett-Packard Development Company, L.P. Use-controlled exposure method and system with visual feedback
TW201101476A (en) * 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
JP4289377B2 (ja) * 2006-08-21 2009-07-01 ソニー株式会社 物理量検出装置及び撮像装置
JP5288965B2 (ja) * 2008-09-22 2013-09-11 キヤノン株式会社 固体撮像装置及びその駆動方法
TWI505453B (zh) * 2011-07-12 2015-10-21 Sony Corp 固態成像裝置，用於驅動其之方法，用於製造其之方法，及電子裝置
JP2013251607A (ja) 2012-05-30 2013-12-12 Panasonic Corp 固体撮像装置
CN104704812B (zh) * 2012-10-05 2018-05-25 拉姆伯斯公司 集成电路图像传感器以及在其中操作的方法
KR102025928B1 (ko) * 2013-05-14 2019-09-26 삼성전자주식회사 촬상 장치 및 제어 방법
CN110233978B (zh) * 2014-02-07 2022-03-11 拉姆伯斯公司 馈通补偿图像传感器
US9491442B2 (en) * 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
US9686483B2 (en) * 2015-01-07 2017-06-20 Forza Silicon, Inc. Pixel with switchable high gain and high capacity modes
TWI684363B (zh) 2015-02-13 2020-02-01 日商新力股份有限公司 圖像感測器、讀出控制方法、及電子機器
CN105681692B (zh) * 2016-01-11 2018-10-30 珠海艾思克科技有限公司 Cmos图像传感器及其复位噪声评估方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001024941A (ja) 1999-07-06 2001-01-26 Victor Co Of Japan Ltd 電子カメラ
JP2005191641A (ja) 2003-12-24 2005-07-14 Mitsubishi Electric Corp 画像入力方法および画像入力装置
JP2011211535A (ja) 2010-03-30 2011-10-20 Sony Corp 固体撮像素子およびカメラシステム
WO2013099723A1 (ja) 2011-12-27 2013-07-04 ソニー株式会社 撮像素子、撮像装置、電子機器および撮像方法
JP2015130563A (ja) 2014-01-06 2015-07-16 株式会社リコー 光電変換素子、画像読取装置及び画像形成装置

Also Published As

Publication number Publication date
US11039099B2 (en) 2021-06-15
US20190273883A1 (en) 2019-09-05
CN110024377A (zh) 2019-07-16
JPWO2018096813A1 (ja) 2019-10-17
CN110024377B (zh) 2022-03-18
WO2018096813A1 (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
JP6997720B2 (ja) 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法
CN110546945B (zh) 固态摄像元件、摄像装置和固态摄像元件的控制方法
CN113170064B (zh) 固态成像元件、成像装置和用于控制固态成像元件的方法
WO2018198691A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN110710197B (zh) 模拟数字转换器、固态成像元件和模拟数字转换器的控制方法
JP2019092143A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020072471A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020235146A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2019047383A (ja) 撮像装置、および、固体撮像素子の制御方法
JP2019216379A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020100427A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2019239670A1 (ja) 信号処理回路、固体撮像素子、および、信号処理回路の制御方法
WO2021090538A1 (ja) センシングデバイス、電子機器およびセンシングデバイスの制御方法
WO2020003646A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2022123205A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020090311A1 (ja) 固体撮像素子
WO2023074522A1 (ja) 物理量検出装置及び撮像装置
WO2022244293A1 (ja) アナログデジタル変換回路、固体撮像素子、および、アナログデジタル変換回路の制御方法
WO2022004125A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021145033A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022038903A1 (ja) 固体撮像素子
WO2023112594A1 (ja) 物理量検出装置及び撮像装置
WO2022249736A1 (ja) 撮像装置および電子機器
WO2022270109A1 (ja) 撮像装置及び電子機器
WO2023276199A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211217

R150 Certificate of patent or registration of utility model

Ref document number: 6997720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150