JP2023545370A

JP2023545370A - 量子化動作を低減したデジタル画素センサ

Info

Publication number: JP2023545370A
Application number: JP2023518203A
Authority: JP
Inventors: ツァイ、ツン－スン; リュウ、シンチャオ; チェン、ソン
Original assignee: Meta Platforms Technologies LLC
Current assignee: Meta Platforms Technologies LLC
Priority date: 2020-10-09
Filing date: 2021-10-09
Publication date: 2023-10-30
Also published as: US11956560B2; US20220116565A1; WO2022076929A1; CN116349240A; EP4226606A1

Abstract

いくつかの例において、センサ装置は、電圧を生成するように構成された画素セルであって、入射光に応答して電荷を生成するように構成されたフォトダイオードと、電荷を電圧に変換する電荷蓄積デバイスとを含む画素セルと、第１の期間中に電荷蓄積デバイスによって変換された第１のキャプチャ電圧を決定し、第１のキャプチャ電圧を閾値電圧値と比較し、第１のキャプチャ電圧が閾値電圧値を満たすかまたは超えると判定することに応答して、第１の期間に対応する第１の時間データを決定し、電荷蓄積デバイスが電荷をさらに生成することを防止するように構成された集積回路と、第１のキャプチャ電圧に基づいてデジタル画素値を生成するように構成されたアナログデジタル変換器（ＡＤＣ）と、デジタル画素値および第１の時間データを記憶するメモリとを備える。

Description

本開示は、量子化動作を低減したデジタル画素センサに関する。本願は、２０２０年１０月９日に出願された「DIGITAL PIXEL SENSOR HAVING REDUCED QUANTIZATION OPERATION」を名称とする米国仮特許出願第６３／０８９，７０４号の優先権を主張し、その全体が参照によって本明細書に明示的に組み込まれる。

典型的な画像センサは、画素セルのアレイを含む。各画素セルは、光子を電荷（例えば、電子または正孔）に変換することによって光を感知するフォトダイオードを含み得る。また、画像センサは、生成された電荷を記憶し、その電荷をアナログデジタル変換器（ＡＤＣ）に送るように構成された集積回路を含み得る。ＡＤＣは、デジタル画像生成のための処理の一部として、記憶された電荷をデジタル値に変換する（すなわち、電荷を「量子化」する）。画素セルが受光する環境を正確に表すために、画素セルは、露光時間の期間にわたって光子から十分な電荷を生成し、蓄積し、変換しなければならない。

したがって、本発明は、添付の特許請求の範囲による画像センサおよび方法を開示する。具体的には、これに限定されないが、本開示は、デジタル画像センサのダイナミックレンジ（すなわち、センサが生成および出力し得る光値の範囲）を保ちながら、電荷を量子化するときの電力消費を低減するように構成された集積回路を含む画素セルを組み込んだデジタル画像センサに関する。

いくつかの例において、装置が提供される。装置は、電圧を生成するように構成された画素セルであって、入射光に応答して電荷を生成するように構成されたフォトダイオードと、前記電荷を電圧に変換する電荷蓄積デバイスとを含む前記画素セルと、第１の期間中に前記電荷蓄積デバイスによって変換された第１のキャプチャ電圧を決定し、前記第１のキャプチャ電圧を閾値電圧値と比較し、前記第１のキャプチャ電圧が前記閾値電圧値を満たすかまたは超えると判定することに応答して、前記第１の期間に対応する第１の時間データを決定し、前記電荷蓄積デバイスが電荷をさらに生成することを防止するように構成された集積回路と、前記第１のキャプチャ電圧に基づいてデジタル画素値を生成するように構成されたアナログデジタル変換器（ＡＤＣ）と、前記デジタル画素値および前記第１の時間データを記憶するためのメモリとを含む。

いくつかの態様において、前記集積回路はラッチを含み得る。前記画素セルのフォトダイオードは、前記ラッチを介して前記画素セルの前記電荷蓄積デバイスに結合され得る。いくつかのさらなる態様において、前記ラッチは、前記ラッチが閉じられているときに前記電荷蓄積デバイスによる電荷の蓄積を可能とし得る。前記ラッチは、前記ラッチが開いているときに前記電荷蓄積デバイスによる電荷の蓄積を防止し得る。いくつかのさらなる態様において、前記集積回路は、前記電荷蓄積デバイスから前記第１のキャプチャ電圧を受け取って前記第１のキャプチャ電圧を前記閾値電圧値と比較するように構成された比較器をさらに含み得る。

いくつかのさらなる態様において、演算増幅器はさらに、ラッチに比較信号を出力するように構成され得る。前記ラッチは、前記電荷蓄積デバイスからの前記第１のキャプチャ電圧が前記閾値電圧値を満たすかまたは超えることを示す信号を前記演算増幅器から受信することに応答して開かれる。いくつかの態様において、前記センサ装置はさらに、記憶されたデジタル画素値を増幅するように構成された１つまたは複数のセンス増幅器をさらに含み得る。前記センス増幅器は、前記記憶された画素値を前記センサ装置からエクスポートする前に当該画素値を増幅するように構成されている。

いくつかの態様において、前記第１の時間データは、前記第１の期間とともに少なくとも第２の期間を含む複数の期間を表すバイナリフラグフィールドであり得る。前記集積回路はさらに、バイナリフラグ値および前記第１のキャプチャ電圧を記憶するように構成され得る。いくつかのさらなる実施形態において、前記複数の期間は、前記フォトダイオードのタイプに基づいて決定され得る。前記フォトダイオードのタイプは、入射光強度に基づく電荷生成のレートを示す。いくつかのさらなる態様において、前記複数の期間は、前記センサ装置のターゲットダイナミックレンジに基づいて決定され得る。

これに加えて、いくつかの態様において、前記第２の期間は、前記第１の期間の前に生じ得る。前記集積回路はさらに、前記第２の期間に前記電荷蓄積デバイスによって変換された第２のキャプチャ電圧を決定するように構成され得る。いくつかのさらなる態様において、前記集積回路はさらに、前記第２の期間に前記電荷蓄積デバイスによって変換された前記第２のキャプチャ電圧を前記閾値電圧値と比較するように構成され得る。いくつかのさらなる態様において、前記集積回路はさらに、前記第２のキャプチャ電圧が前記閾値電圧値を満たさないかまたは超えないと判定することに応答して、前記バイナリフラグフィールドを更新するように構成され得る。いくつかのさらなる態様において、前記バイナリフラグは、前記第１および第２の期間に対応する１ビットバイナリフラグであり得る。いくつかのさらなる態様において、前記バイナリフラグは、前記第１および第２の期間ならびに第３および第４の期間に対応する２ビットバイナリフラグであり得る。前記第３および第４の期間は、前記第１の期間の後に発生する。

いくつかの態様において、前記集積回路はさらに、前記第１のキャプチャ電圧を前記閾値電圧値と比較する前に、前記閾値電圧値を受け取るように構成され得る。いくつかのさらなる態様において、前記集積回路は、ＡＤＣランプ生成器から前記閾値電圧値を受け取り得る。いくつかのさらなる態様において、前記センサ装置はさらに、前記集積回路に結合された集積回路周辺部を備え得る。前記集積回路周辺部は前記ＡＤＣランプ生成器を含み、前記ＡＤＣランプ生成器は、前記ＡＤＣランプ生成器において受信されたランプ入力に基づいて前記閾値電圧値を決定するように構成されている。いくつかのさらなる態様において、前記集積回路周辺部は、アプリケーションインスタンスにさらに結合され得る。前記アプリケーションインスタンスは、シーンの１つまたは複数の特徴に基づいてランプ入力を決定し、前記ランプ入力を前記ＡＤＣランプ生成器に送るように構成されている。いくつかのさらなる態様において、シーンの前記１つまたは複数の特徴は、環境センサ、モーションセンサ、および生成モデルのうちの１つ以上に基づいて生成され得る。

いくつかの例において、方法は、フォトダイオードで受光した入射光に基づいて電荷を変換することによって電圧を生成すること、第１の期間中に生成された第１のキャプチャ電圧を決定すること、前記第１のキャプチャ電圧を閾値電圧値と比較すること、前記第１のキャプチャ電圧が前記閾値電圧値を満たすかまたは超えると判定することに応答して、前記第１の期間に対応する第１の時間データを決定し、電荷のさらなる蓄積を防止すること、前記第１のキャプチャ電圧および前記第１の時間データを、１つまたは複数のデジタル画素値を含むデジタル画素データに変換することを備える。

図１は、ニアアイディスプレイを含むシステムの一実施形態のブロック図である。図２Ａは、画像センサおよびその動作の例を示す図である。図２Ｂは、画像センサおよびその動作の例を示す図である。図２Ｃは、画像センサおよびその動作の例を示す図である。図２Ｄは、画像センサおよびその動作の例を示す図である。図２Ｅは、画像センサおよびその動作の例を示す図である。図２Ｆは、画像センサおよびその動作の例を示す図である。図３は、画素アレイの画素セルの例示的な内部構成要素を示す図である。図４Ａは、画像センサの周辺回路および画素セルアレイの例示的な構成要素を示す図である。図４Ｂは、画像センサの周辺回路および画素セルアレイの例示的な構成要素を示す図である。図４Ｃは、画像センサの周辺回路および画素セルアレイの例示的な構成要素を示す図である。図５は、量子化演算を低減した、画素セル、集積回路、および周辺部の一例を示す図である。図６は、スタティックランダムアクセスメモリを含む、量子化演算を低減した画素セル、集積回路、および周辺機器の一例を示す図である。図７は、キャプチャ期間中の構成要素の動作の時系列を示すタイミング図である。図８は、フォトダイオード内に電荷を生成する様々な光の影に対する一連の時間ベースの飽和閾値を示す電荷キャプチャグラフである。図９は、時間データおよび飽和画素電荷に基づいて単一量子化を使用してデジタル画素データを量子化するための例示的処理を示す図である。

以下、図面を参照して例示的な実施形態を説明する。以下では、説明を目的として、特定の発明の実施形態の十分な理解を提供するために特定の詳細を述べる。しかしながら、様々な実施形態がこれら具体的な詳細なしに実施され得ることは明らかである。図面および説明は限定を意図するものではない。

図面は、例示のみを目的として本開示の実施形態を示すものである。当業者であれば、以下の説明から、例示された構造および方法の代替的な実施形態が本開示の原理または利益から逸脱することなく使用され得ることを容易に認識し得る。

添付の図面において、同様の構成要素および／または特徴は同じ参照符号を有し得る。さらに、同種の様々な構成要素は、参照符号の後に、ダッシュと、同様の構成要素を区別する第２の符号とを続けることによって区別され得る。第１の参照符号のみが本明細書で使用される場合、説明は、第２の参照符号にかかわらず、同じ第１の参照符号を有する同様の構成要素のうちのいずれか１つに適用可能である。

典型的な画像センサは、画素セルのアレイを含む。各画素セルは、光子を電荷（例えば、電子または正孔）に変換することによって入射光を感知するフォトダイオードを含む。画素セルのアレイのフォトダイオードによって生成された電荷は、次いでアナログデジタル変換器（ＡＤＣ）によってデジタル値に量子化され得る。ＡＤＣは、例えば、比較器を使用して、電荷を表す電圧を１つまたは複数の量子化レベルと比較することによって電荷を量子化し得る。デジタル値は、その比較結果に基づいて生成され得る。デジタル値は次いでメモリに記憶され、デジタル画像を生成するために使用され得る。

デジタル画像データは、オブジェクト認識および追跡、位置追跡、拡張現実（ＡＲ）、仮想現実（ＶＲ）などの種々のウェアラブルアプリケーションをサポートし得る。これらおよび他のアプリケーションは、抽出技術を利用して、デジタル画像の画素のサブセットから、デジタル画像の態様（すなわち、光レベル、風景、意味領域）および／またはデジタル画像の特徴（すなわち、デジタル画像において表されるオブジェクトおよびエンティティ）を抽出し得る。例えば、アプリケーションは、反射構造化光の画素（例えば、ドット）を識別し、その画素から抽出されたパターンを透過構造化光と比較し、その比較に基づいて深度計算を実行し得る。

また、アプリケーションは、抽出された構造化光のパターンを提供する同じ画素セルからの２Ｄ画素データを識別して、２Ｄセンシングと３Ｄセンシングの融合を実施し得る。オブジェクト認識および追跡を実行するために、アプリケーションはさらに、オブジェクトの画像特徴の画素を識別し、その画素から画像特徴を抽出し、その抽出結果に基づいて認識および追跡を実行し得る。これらのアプリケーションは、典型的には、画像センサと電気的に接続されるとともに相互接続を介して画素データを受信し得るホストプロセッサ上で実行される。ホストプロセッサ、画像センサ、および相互接続は、ウェアラブル装置の一部であり得る。

現在のデジタル画像センサは、光をデジタル画像データに変換する複雑な装置である。デジタル画像センサの効率および電力は、様々な装置およびアプリケーションへのデジタル画像センサの統合において重要な要因である。例えば、効率的なセンサ機能（例えば、その通常動作中に可能な限り電力消費を少なくすること）は、コンシューマデバイス、特に、利用可能な電力が制限されている状況で動作する無線バッテリ動作デバイス（例えば、ウェアラブル装置）に組み込まれたデジタル画像センサにとって非常に望ましい特性である。同時に、高い処理能力のデジタル画像センサ（例えば、フォトダイオードでキャプチャされた色のより広いダイナミックレンジを出力し得るセンサ）も、広範囲の用途（例えば、より正確で視覚的に心地よいＡＲ／ＶＲ用途）での使用に望ましい。

デジタル画像センサは、センサキャプチャ能力のより高いダイナミックレンジを維持するために追加の電力を必要とするため、電力と効率との間のバランスを取らなければならない。例えば、表現可能な光強度のより高いダイナミックレンジを有するセンサは、キャプチャされたフレームごとの間隔でキャプチャされた電荷に対して複数の量子化動作を実行することが多い。これは、処理されるフレームごとにより多くの電力を消費するとともに、その機能のためにセンサの各ピクセル内により多くの埋め込みトランジスタを必要とする。複数の量子化演算は、キャプチャされた色をより正確にかつより高いレンジで提供し得るが、各量子化演算は、他の画素セル機能と比較して比較的電力の消費量が大きい。また、フォトダイオードで生成された電荷を蓄積し処理するために、追加の電力も必要とされる。したがって、高ダイナミックレンジ（ＨＤＲ）センサを促進させる上での典型的な画素セルにおける各追加の構成要素および動作は、集積センサ回路上により多くのスペースを必要とするとともに追加の電力を消費するものとなり、センサの効率を低下させる。対照的に、低ダイナミックレンジセンサは、動作する上でより少ないエネルギーを必要とし得る（すなわち、より少ない量子化動作が行われる）が、センサによって達成され得る、結果として生じるダイナミックレンジは制限される。

本開示は、単一量子化動作および時間ベースの画素電荷閾値処理動作を利用するデジタル画像センサに関する。具体的には、デジタル画像センサは、フレームキャプチャの複数の期間中において電荷蓄積デバイスが所望の電荷閾値に比較して十分な電荷を生成したかどうかを判定するための集積処理回路を含み得る。電荷蓄積デバイスが電荷を十分に変換する（すなわち、電荷蓄積デバイスによって蓄積された電荷が蓄積電荷の所望の閾値を上回る）と、論理回路はさらなる電荷蓄積を防止し得るとともに、十分な電荷がキャプチャされた期間を記録し得る。電荷蓄積デバイスがフォトダイオードから変換された電荷を蓄積するときに電力が消費されるため、所望の閾値を超えて蓄積された電荷は不要な電力消費を生じさせる。また、所望の閾値を超えて電力消費が継続すると、光による画素の飽和が生じ、画像センサによって生成される最終的なデジタル画像に歪みが生じ得る。したがって、所望の閾値を満たす電荷のみをキャプチャして、その点を超えるキャプチャを防止することが望ましい。

時間ベースのフラグフィールドは、電荷蓄積デバイスがフォトダイオードからの電荷を変換および蓄積している期間を表し得る。異なる波長および強度の光は異なるレートで電荷を生成するため、時間ベースのフラグフィールドは、画素セルによってキャプチャされた光が、デジタル画像において光強度を正確に表すのに十分な電荷に変換された時間を示すために使用され得る。例えば、キャプチャされる光の強度が高いほど、電荷蓄積デバイスは、光の強度が低い場合よりも速く閾値電荷に到達する。この時間ベースのフラグフィールドは、ＡＤＣによって出力されるデジタルデータのダイナミックレンジを改善するために、単一の量子化動作の一部として利用され得る。例えば、時間ベースのフラグフィールドが、フレームキャプチャにおいて早期に測定された電荷が十分であったことを示す場合、下流側アプリケーションは、記憶された電荷値およびフラグを利用して、画素値が下流側アプリケーションにて表される方法を変更し得る。これにより、デジタル画像センサは、下流側アプリケーションにて動作のより高いダイナミックレンジを維持しつつ電力消費を低減するために単一の量子化動作を実行することが可能になる。

いくつかの例において、センサ装置は、電圧を生成するように構成された画素セルを備え、画素セルは、光に応答して電荷を生成するように構成された１つまたは複数のフォトダイオードと、電荷を電圧に変換するための電荷蓄積デバイスとを含む。画素セルは、システムオンチップ（ＳＯＣ）画素の一部として構成され得る。また、画素セルは、画素セルのアレイにおける１つの画素セルであり得る。画素セルは、受光した光に応答して電荷を生成する１つまたは複数のフォトダイオードを有する独自の個別回路を含む。生成され蓄積される電荷の量は、入射光の強度およびフォトダイオードが光にさらされる時間の量に基づいて変化し得る。キャパシタなどの電荷蓄積デバイスは、１つまたは複数のフォトダイオードで生成された電荷を、以下で説明するように、画素値を生成するために使用され得るアナログ電圧信号に変換する。

いくつかの例において、センサ装置は、ＳＯＣ画素に結合された特定用途向け集積回路（ＡＳＩＣ）層に組み込まれた集積回路をさらに備える。集積回路は、電荷蓄積デバイスによってキャプチャされたアナログ電圧信号と相互作用してそれを処理するために、比較器および論理状態ラッチなどの複数の構成要素を含む。例えば、集積回路は、第１の期間に電荷蓄積デバイスによって変換されたキャプチャ電圧を決定し、第１のキャプチャ電圧を閾値電圧値と比較し、第１のキャプチャ電圧が閾値電圧値を満たすかまたは超えると判定することに応答して、第１の期間に対応する第１の時間データを決定し、電荷蓄積デバイスが電荷をさらに生成することを防止するように構成され得る。

集積回路は、フォトダイオードからの変換光を十分に正確に表現するために必要とされる閾値電圧に電圧が等しくなるかまたはそれを超えるまで電荷蓄積デバイスがアナログ電圧信号をキャプチャ可能とするように利用され得る。言い換えれば、所望の閾値電圧値を満たすかまたはそれを超える電圧値を有する電荷によって表されるアナログ電圧信号は「十分に電荷を有している」。言い換えれば、閾値未満の電荷は望ましくない低い信号対雑音比を有し、その閾値レベルを超えてキャプチャされた電荷は画素の望ましくない飽和を引き起こし得る。

したがって、電荷蓄積デバイスは、１つまたは複数のフォトダイオードが弱い光を受けているときに十分な電荷を達成するために、より長い期間にわたって１つまたは複数のフォトダイオードによって生成された電荷を変換する必要があり得る。一方、明るい光に対して電荷の変換および蓄積を継続することは、電荷が十分なレベルに達した後に不必要な電力を消費するだけでなく、強い光によって画素が飽和することで、最終的なデジタル画像にノイズまたはアーチファクトを生じさせ得るものとなる。電荷蓄積デバイスが閾値の電荷量に達すると、電荷蓄積デバイスは、電荷のさらなる蓄積を防止して電力の不必要な消費を防止するためにフォトダイオードから分離され得る。表現可能な値のより高いダイナミックレンジを可能にするために、飽和が達成される時間が判定され得るとともに、電荷に対応するバイナリフラグビットを記憶するために使用され得る。例えば、コンピュータメモリは、第１の値として受け取った電荷値と、信号が閾値を超えた時間に基づく時間ベースのバイナリフラグビットとの両方を記憶し得る。これらの値は、その後、より高いダイナミックレンジで新しい画素値を表すために使用され得る。例えば、２つの画素がそれぞれ１５０の量子化値を有するとともに、第１の画素が対応するフラグフィールド値「１０」を有し、第２の画素がフラグフィールド値「０１」を有する場合、第１の画素は、出力画像において第２の画素とは異なって表され得る。

いくつかの例において、センサ装置は、キャプチャ電圧を、１つまたは複数のデジタル画素値を含むデジタル画素データに変換するように構成された１つまたは複数のアナログデジタル変換器（ＡＤＣ）をさらに備える。具体的に、ＡＤＣは、電荷蓄積デバイスに記憶されたアナログ電圧信号を、画素セルにおいて取り込まれた入射光の強度を表すデジタル画素値を含むデジタルデータに変換し得る（アナログ電圧信号を「量子化する」と呼ばれる）。例えば、画素セルがフレームキャプチャの期間の非常に早期に十分な電荷を蓄積したことを示す第１の時間データは、キャプチャ時において光の強度がより高かったことを示し得る。画素値および第１の時間データの両方を記憶することによって、それらが高ダイナミックレンジ画素値を生成するために使用され得る。

いくつかの例において、集積回路は、電荷蓄積デバイスが特定の時間に隣接回路のフォトダイオードに結合されるかどうかを制御し得る状態ラッチを含む。状態ラッチは、信号に応答してラッチを開閉するように構成された１ビット状態ラッチを含む論理ラッチであり得る。例えば、電荷蓄積デバイスは、ラッチが閉状態にあるときに１つまたは複数のフォトダイオードによって生成された電荷を変換し得る。これは、電荷蓄積デバイスが露光中に十分なレベルの電圧電荷を依然として収集している間に起こり得る。電荷蓄積デバイスが十分な電荷を一旦蓄積すると、ラッチが開とされ得る。これにより、電荷蓄積デバイスとフォトダイオードとの間の接続が解除され、電荷蓄積デバイスがさらに電荷を収集することが防止される。したがって、画素セルは、正確な画素値を提供するのに十分な電荷を生成しつつも、さらなる不必要な電力消費および画素セルの望ましくない飽和を防止する。また、状態ラッチは、フラグデータの記憶を可能にするために、フラグデータを示す値を集積回路上のメモリに送信するように構成され得る。

集積回路はさらに、電荷蓄積デバイスが閾値電圧値以上の電圧電荷を含んでいるかどうかを判定するための比較器を含み得る。すなわち、比較器は、キャプチャされた電荷の電圧レベルが閾値電荷を満たすかまたはそれを超えるかどうか（すなわち、電荷蓄積デバイスが量子化のために十分な電荷を蓄積したかどうか）を所与の期間において決定する。比較器は、電荷蓄積デバイスからキャプチャ電圧と閾値電圧値とを受け取り得る演算増幅器を含み得る。比較器は、キャプチャ電圧が閾値電圧値以上であるかどうかを判定し得る。比較器は、キャプチャ電圧が閾値電圧値を満たさないかまたは超えないと判定した場合には、電力を節約するために信号を出力しないものとされ得るか、または電荷がまだ十分なレベルにない旨の単純な信号を出力し得る。比較器は、キャプチャ電圧が閾値電圧値を満たすかまたはそれを超えると判定した場合には、電荷蓄積の継続を防止するためにラッチを開くべきであることを示すとともに、そのときの現在のフラグデータを記憶すべきであることを示す信号をラッチに出力し得る。

デジタル画素センサはさらに、デジタル画素センサから値をエクスポートする前に、記憶されたデジタル画素値およびフラグデータを増幅するように構成された１つまたは複数のセンス増幅器を含み得る。いくつかの例において、使用される第１の時間データは、バイナリフラグフィールドデータとして表現可能である。バイナリフラグフィールドデータは、フレームのキャプチャ中の複数の期間を表し得る。バイナリフラグフィールドデータは、このように２の倍数で期間の数を表し得る。例えば、「１１」の値を有するバイナリ「フラグビットフィールド」は、現在の期間が合計４つの期間のうちの第１の期間であることを示し得る。また、「１０１」の値を有する別のフラグビットフィールドは、現在の期間が合計８つの期間のうちの６番目の期間であることを示し得る。この構成において、値「０」、「００」、「０００」などは、その期間がフレームキャプチャの終了前の最後の期間であり、電荷蓄積デバイスに蓄積された現在のアナログ電圧が電荷蓄積の現在のレベルにかかわらず量子化されるべきであることを示すが、任意の適切な規約が使用されてもよい。バイナリフラグビットフィールドは、フレームキャプチャ期間中の新たな期間ごとに更新され、キャプチャ電圧が閾値電圧を満たさないかまたは超えないと判定することに応答して更新され得る。なお、表現可能な全ての値が使用されなくてもよい。例えば、システムは、３つの期間のみを使用可能であるが、期間を表すために２ビットのフラグフィールドを依然として使用してもよい。代替として、本明細書で説明されるシステムは、例えば、以前にキャプチャされた画像において測定された光強度に基づいて、動作中にビットフィールド幅または値の数を動的に変更してもよい。

フレームキャプチャのために使用され得る期間の数および持続時間は、画素セル内のフォトダイオードのタイプ、センサ装置の予期されるダイナミックレンジ、フレームごとの所望の期間数など、いくつかのセンサ構成要素に依存し得る。例えば、他のフォトダイオードよりも光に対する感度が低いフォトダイオードの場合、画素セルが十分な電荷をできるだけ迅速に蓄積する機会を増加させるために、期間の数または期間の持続時間を増加させることが望ましい場合がある。

いくつかの例において、集積回路は、デジタル画像センサ上のＡＳＩＣ周辺回路に結合され得る。この周辺回路は、センサの「エッジ」における動作（すなわち、別個の構成要素または装置により、センサにおけるデータの入力または出力を伴う動作）を可能にするための構成要素を含み得る。センサの周辺回路は、比較器に送る閾値電圧値を決定するための構成要素を含み得る。例えば、ＡＤＣランプ生成器自体が、比較を実行するための比較器に、現在の相対的な期間に基づくランプ信号を送信し得る。入力する閾値電圧値は、デジタル画像センサの任意の要因または環境に基づき得る。例えば、デジタル画素センサが低照度環境にあると決定したことに応答して、閾値電圧値は、予期される低照度環境を補償するために、より低いレベルに設定され得る。いくつかの実施形態において、周辺回路と通信するソフトウェアアプリケーションは、閾値電圧値を決定し、それを最初に周辺回路に送り、次いで比較器に送り得る。

いくつかの例において、方法は、アプリケーションシステムおよびセンサ装置に関して上述した処理を含む。本開示の技術は、人工現実システムを含むかまたはそれと併せて実装され得る。人工現実は、ユーザへの提示の前に何らかの方法で調整された現実の形態であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、またはそれらのいずれかの組み合わせおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（例えば、現実世界の）コンテンツと組み合わされて生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらのいずれかの組み合わせを含み得る。それらはいずれも、単一チャネルまたは複数チャネル（例えば、視聴者に対して３次元効果を生成するステレオビデオなど）で提示され得る。加えて、いくつかの実施形態において、人工現実は、例えば、人工現実においてコンテンツを作成するために使用されるおよび／または人工現実において（例えば、アクティビティを行うために）使用される、アプリケーション、製品、アクセサリ、サービス、またはそれらのいくつかの組み合わせに関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスもしくはモバイルコンピューティングシステム、または人工現実コンテンツを１人もしくは複数の視聴者に提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上で実装され得る。

図１は、ニアアイディスプレイ１００を含むシステムの一実施形態のブロック図である。システムは、ニアアイディスプレイ１００と、撮像装置１６０と、入力／出力インタフェース１８０と、画像センサ１２０ａ～１２０ｄ，１５０ａ～１５０ｂとを含み、それらは各々、制御回路１７０に結合されている。システム１００は、ヘッドマウント装置、ウェアラブル装置などとして構成され得る。

ニアアイディスプレイ１００は、ユーザにメディアを提示するディスプレイである。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの実施形態において、音声は、ニアアイディスプレイ１００および／または制御回路１７０から音声情報を受信してその音声情報に基づく音声データをユーザに提示する外部デバイス（例えば、スピーカおよび／またはヘッドホン）を介して提示される。いくつかの実施形態において、ニアアイディスプレイ１００は、ＡＲアイウェアグラスとしても機能し得る。いくつかの実施形態において、ニアアイディスプレイ１００は、コンピュータ生成要素（例えば、画像、ビデオ、音）を用いて、物理的な実世界環境のビューを拡張する。

ニアアイディスプレイ１００は、導波管ディスプレイアセンブリ１１０、１つまたは複数の位置センサ１３０、および／または慣性測定ユニット（ＩＭＵ）１４０を含む。導波管ディスプレイアセンブリ１１０は、ソースアセンブリと、出力導波管と、コントローラとを含み得る。

ＩＭＵ１４０は、複数の位置センサ１３０のうちの１つ以上から受信した測定信号に基づいて、ニアアイディスプレイ１００の初期位置に対するニアアイディスプレイ１００の推定位置を示す高速較正データを生成する電子デバイスである。

撮像装置１６０は、様々なアプリケーションのための画像データを生成し得る。例えば、撮像装置１６０は、制御回路１７０から受信した較正パラメータに従って低速較正データを提供するための画像データを生成し得る。撮像装置１６０は、例えば、ユーザの位置追跡を実行するために、ユーザが位置する物理環境の画像データを生成するための画像センサ１２０ａ～１２０ｄを含み得る。撮像装置１６０はさらに、例えば、ユーザの注視点を決定するための画像データを生成してユーザの関心対象を識別するための画像センサ１５０ａ，１５０ｂを含み得る。

入力／出力インタフェース１８０は、ユーザがアクション要求を制御回路１７０に送信することを可能にするデバイスである。アクション要求は、特定のアクションを実行するための要求である。例えば、アクション要求は、アプリケーションを開始もしくは終了すること、またはアプリケーション内で特定のアクションを実行することであり得る。

制御回路１７０は、撮像装置１６０、ニアアイディスプレイ１００、および入力／出力インタフェース１８０のうちの１つ以上から受信した情報に従って、ユーザへの提示のためのメディアをニアアイディスプレイ１００に提供する。いくつかの例において、制御回路１７０は、ヘッドマウント装置として構成されたシステム１００内に収容され得る。いくつかの例において、制御回路１７０は、システム１００の他の構成要素と通信可能に結合されたスタンドアロンコンソールデバイスであり得る。図１に示された例では、制御回路１７０は、アプリケーションストア１７２、追跡モジュール１７４、およびエンジン１７６を含む。

アプリケーションストア１７２は、制御回路１７０による実行のための１つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたときに、ユーザに提示するためのコンテンツを生成する一群の命令である。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションが含まれる。

トラッキングモジュール１７４は、１つまたは複数の較正パラメータを使用してシステム１００を較正するとともに、ニアアイディスプレイ１００の位置の決定における誤差を低減するために１つまたは複数の較正パラメータを調整し得る。

追跡モジュール１７４は、撮像装置１６０からの低速較正情報を使用してニアアイディスプレイ１００の動きを追跡する。また、追跡モジュール１７４は、高速較正情報による位置情報を使用してニアアイディスプレイ１００の基準点の位置を決定する。

エンジン１７６は、システム１００内でアプリケーションを実行し、追跡モジュール１７４から、位置情報、加速度情報、速度情報、および／またはニアアイディスプレイ１００の予測される将来の位置を受信する。いくつかの実施形態において、エンジン１７６によって受信された情報は、ユーザに提示されるコンテンツのタイプを決定する、導波管ディスプレイアセンブリ１１０への信号（例えば、表示命令）を生成するために使用され得る。例えば、対話型体験を提供するために、エンジン１７６は、ユーザの位置（例えば、追跡モジュール１７４によって提供される）、またはユーザの注視点（例えば、撮像装置１６０によって提供される画像データに基づく）、オブジェクトとユーザとの間の距離（例えば、撮像装置１６０によって提供される画像データに基づく）に基づいて、ユーザに提示されるべきコンテンツを決定し得る。

図２Ａ、図２Ｂ、図２Ｃ、図２Ｄ、図２Ｅ、および図２Ｆは、画像センサ２００（すなわち、デジタル画像センサ）およびその動作の例を示す。図２Ａに示されるように、画像センサ２００は、画素セル２０１を含む画素セルのアレイを含むとともに、画像の画素に対応するデジタル強度データを生成し得る。画素セル２０１は、画像センサ２００内の画素セルのアレイの一部であり得る。図２Ａに示されるように、画素セル２０１は、１つまたは複数のフォトダイオード２０２と、電子シャッタスイッチ２０３と、転送スイッチ２０４と、リセットスイッチ２０５と、電荷蓄積デバイス２０６と、量子化器２０７とを含み得る。量子化器２０７は、画素セル２０１のみがアクセス可能な画素レベルＡＤＣであり得る。フォトダイオード２０２は、例えば、ＰＮダイオード、ＰＩＮダイオード、またはピン留めダイオードを含み得る。電荷蓄積デバイス２０６は、転送スイッチ２０４の浮遊拡散ノードであってもよい。フォトダイオード２０２は、露光期間内に光を受光すると電荷を生成して蓄積し得るものであり、露光期間内に生成された電荷の量は光の強度に比例し得る。

露光期間は、電子シャッタスイッチ２０３を制御するＡＢ信号のタイミングと、転送スイッチ２０４を制御するＴＸ信号のタイミングとに基づいて規定され得る。電子シャッタスイッチ１２は、イネーブル時に、フォトダイオード２０２によって生成された電荷をステアリングし得る。転送スイッチ２１２は、イネーブル時に、フォトダイオード２０２によって生成された電荷を電荷蓄積デバイス２０６に転送し得る。例えば、図２Ｂを参照すると、ＡＢ信号が時間Ｔ０においてデアサートされることにより、フォトダイオード２０２は電荷を生成することが可能となるとともに、フォトダイオード２０２が飽和するまで電荷の少なくとも一部を残留電荷として蓄積することが可能となる。Ｔ０は、露光期間の開始を示し得る。ＴＸ信号は、飽和後にフォトダイオード２０２によって生成された追加の電荷（例えば、オーバーフロー電荷）を電荷蓄積デバイス２０６に転送するために、転送スイッチ２０４を部分的にオン状態に設定し得る。時間Ｔ１において、ＴＧ信号がアサートされることにより、残留電荷が電荷蓄積デバイス２０６に転送され、これにより、電荷蓄積デバイス２０６は、時間Ｔ０における露光期間の開始以降にフォトダイオード２０２によって生成された電荷のすべてを蓄積し得る。

時間Ｔ２において、ＴＸ信号は、電荷蓄積デバイス２０６をフォトダイオード２０２から分離するためにデアサートされ得る一方、ＡＢ信号は、フォトダイオード２０２によって生成された電荷をステアリングするためにアサートされ得る。時間Ｔ２は、露光期間の終了を示し得る。時間Ｔ２における電荷蓄積デバイス２０６にわたるアナログ電圧は、電荷蓄積デバイス２０６内に蓄積された電荷の総量を表し得る。これは、露光期間内にフォトダイオード２０２によって生成された電荷の総量に相当し得る。ＴＸ信号およびＡＢ信号の両方は、画素セル２０１の一部であり得るコントローラ（図２Ａには図示せず）によって生成され得る。アナログ電圧が量子化された後、リセットスイッチ２０５がＲＳＴ信号によってイネーブルとされることで、電荷蓄積デバイス２０６内の電荷を除去して次の測定に備えることができる。

図２Ｃは、画素セル２０１の追加の構成要素を示す。図２Ｃに示されるように、画素セル２０１は、電荷蓄積デバイス２０６における電圧をバッファし、量子化器２０７に電圧を出力し得るソースフォロワ２１０を含み得る。電荷蓄積デバイス２０６およびソースフォロワ２１０は、電荷測定回路２１２を形成し得る。ソースフォロワ２１０は、ソースフォロワ２１０を流れる電流を設定するバイアス電圧Ｖ_ＢＩＡＳによって制御される電流源２１１を含み得る。量子化器２０７は、比較器を含み得る。電荷測定回路２１２および量子化器２０７は共に、処理回路２１４を形成し得る。比較器は、量子化出力を画素値２０８として記憶するためのメモリ２１６にさらに結合されている。メモリ２１６は、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイスなどのメモリデバイスのバンクを含み得る。各メモリデバイスはビットセルとして構成される。バンク内のメモリデバイスの数は、量子化出力の分解能に基づき得る。例えば、量子化出力が１０ビット分解能を有する場合、メモリ２１６は１０個のＳＲＡＭビットセルのバンクを含み得る。画素セル２０１が異なる波長チャネルの光を検出するために複数のフォトダイオードを含む場合、メモリ２１６はＳＲＡＭビットセルの複数のバンクを含み得る。

量子化器２０７は、時間Ｔ２の後のアナログ電圧を量子化して画素値２０８を生成するようにコントローラによって制御され得る。図２Ｄは、量子化器２０７によって実行される例示的な量子化動作を示す。図２Ｄに示されるように、量子化器２０７は、ソースフォロワ２１０によって出力されたアナログ電圧をランプ基準電圧（図２Ｃおよび図２Ｄにおいて「ＶＲＥＦ」のラベルが付されている）と比較することで比較結果（図２Ｃおよび図２Ｄにおいて「ラッチ」のラベルが付されている）を生成し得る。この比較結果がトリップするのにかかる時間は、アナログ電圧の量子化の結果を表すカウンタによって測定し得る。いくつかの例において、この時間は、ランプ基準電圧が開始点にあるときにカウントを開始する自走カウンタによって測定され得る。自走カウンタは、クロック信号（図２Ｄにおいて「クロック」のラベルが付されている）に基づき、ランプ基準電圧が増加（または減少）するにつれて、そのカウント値を周期的に更新し得る。比較器出力は、ランプ基準電圧がアナログ電圧を満たすときにトリップする。比較器出力のトリッピングにより、カウント値がメモリ２１６に記憶され得る。このカウント値は、アナログ電圧の量子化出力を表し得る。図２Ｃを再度参照すると、メモリ２１６に記憶されたカウント値は、画素値２０８として読み出され得る。

図２Ａおよび図２Ｃにおいて、画素セル２０１は、処理回路２１４（電荷測定回路２１２および量子化器２０７を含む）およびメモリ２１６を含むものとして示されている。いくつかの例において、処理回路２１４およびメモリ２１６は、画素セル２０１の外部にあってもよい。例えば、画素セルのブロックは、各画素セルのフォトダイオード（１つまたは複数）によって生成された電荷を量子化して量子化結果を記憶するために、処理回路２１４およびメモリ２１６を共有して順番にアクセスし得る。

図２Ｅは、画像センサ２００の追加の構成要素を示す。図２Ｅに示されるように、画像センサ２００は、画素セル２０１ａ０～ａ３，２０１ａ４～ａ７，２０１ｂ０～ｂ３，２０１ｂ４～ｂ７など、行および列に配置された画素セル２０１を含む。各画素セルは、１つまたは複数のフォトダイオード２０２を含み得る。画像センサ２００はさらに、処理回路２１４（例えば、電荷測定回路２１２および比較器／量子化器２０７）とメモリ２１６とを備える量子化回路２２０（例えば、量子化回路２２０ａ０，ａ１，ｂ０，ｂ１）を含む。図２Ｅの例では、４つの画素セルのブロックは、マルチプレクサ（図２Ｅには図示せず）を介してブロックレベルＡＤＣ（例えば、比較器／量子化器２０７）とブロックレベルメモリ２１６とを含み得るブロックレベル量子化回路２２０を共有し得る。各画素セルは、電荷を量子化するために量子化回路２２０に順番にアクセスする。例えば、画素セル２０１ａ０～ａ３は量子化回路２２０ａ０を共有し、画素セル２０１ａ４～ａ７は量子化回路２２０ａ１を共有し、画素セル２０１ｂ０～ｂ３は量子化回路２２０ｂ０を共有し、画素セル２０１ｂ４～ｂ７は量子化回路２２０ｂ１を共有する。いくつかの例において、各画素セルは、その専用の量子化回路を含み得るかまたは有し得る。

加えて、画像センサ２００は、カウンタ２４０およびデジタルアナログ変換器（ＤＡＣ）２４２などの他の回路をさらに含む。カウンタ２４０は、メモリ２１６にカウント値を供給するデジタルランプ回路として構成され得る。また、カウント値は、図２Ｃおよび図２ＤのＶＲＥＦなどのアナログランプを生成するためにＤＡＣ２４２に供給され得る。アナログランプは量子化動作を実行するために量子化器２０７に供給され得る。画像センサ２００は、カウンタ値を表すデジタルランプ信号とアナログランプ信号を画素セルの異なるブロックの処理回路２１４に分配するためのバッファ２３０ａ，２３０ｂ，２３０ｃ，２３０ｄなどを含むバッファネットワーク２３０をさらに含み、任意の所与の時間において各処理回路２１４が同じアナログランプ電圧と同じデジタルランプカウンタ値を受信するようにする。これは、異なる画素セルによって出力されるデジタル値の差が、画素セルによって受け取られる光の強度の差によるものであって、画素セルによって受け取られるデジタルランプ信号／カウンタ値およびアナログランプ信号の不一致によるものではないことを保証するためである。

画像センサ２００からの画像データは、ホストプロセッサ（図２Ａ～図２Ｅには図示せず）に送信されることで、物体２５２の識別および追跡、または図２Ｆに示される画像センサ２００に対する物体２５２の深度感知の実行など、異なるアプリケーションをサポートし得る。これら全てのアプリケーションに対して、画素セルのサブセットのみが関連情報（例えば、オブジェクト２５２の画素データ）を提供し、残りの画素セルは関連情報を提供しない。例えば、図２Ｆを参照すると、時間Ｔ０において、画像センサ２００の画素セル２５０の群が、物体２５２によって反射された光を受信する一方、時間Ｔ６において、物体２５２は（例えば、物体２５２の移動、画像センサ２００の移動、または両方に起因して）シフトしている可能性があり、画像センサ２００の画素セル２７０の群が、物体２５２によって反射された光を受信する。時間Ｔ０，Ｔ６の両方において、画像センサ２００は、画素セル２６０，２７０の群からの画素データのみをスパース画像フレームとしてホストプロセッサに送信することで、送信される画素データの量を低減し得る。このような構成は、より高いフレームレートでより高い解像度の画像の送信を可能にし得る。例えば、より多くの画素セルを含むより大きな画素セルアレイを使用して物体２５２を撮像することで画像解像度を向上させることができるとともに、物体２５２の画素データを提供する画素セルを含む画素セルのサブセットのみが画素データをホストプロセッサに送信する場合には、向上した画像解像度を提供するために必要な帯域幅および電力を低減することができる。同様に、画像センサ２００は、より高いフレームレートで画像を生成するように動作し得るが、各画像が画素セルのサブセットによって出力された画素値のみを含む場合、帯域幅および電力の増加を低減することができる。同様の技術が、３Ｄセンシングの場合に画像センサ２００によって使用され得る。

３Ｄセンシングの場合にも、画素データの伝送量を低減することができる。例えば、照明器は、構造化光のパターンを物体上に投影し得る。構造化光は物体の表面上で反射され得るとともに、反射光のパターンは、画像を生成するために画像センサ２００によってキャプチャされ得る。ホストプロセッサは、パターンをオブジェクトパターンと照合し、画像内のオブジェクトパターンの構成に基づいて、画像センサ２００に対するオブジェクトの深度を決定し得る。３Ｄセンシングの場合、画素セルの群のみが関連情報（例えば、パターン２５２の画素データ）を含む。送信される画素データの量を低減するために、画像センサ２００は、画素セルの群からの画素データまたは画像内のパターンの画像位置のみをホストプロセッサに送信するように構成され得る。

図３は、図２Ａの画素セル２０１の構成要素のうちの少なくともいくつかを含み得る画素セルアレイの画素セル３００の例示的な内部構成要素を示す。画素セル３００は、フォトダイオード３１０ａ，３１０ｂなどを含む１つまたは複数のフォトダイオードを含み得る。各フォトダイオードは、異なる周波数範囲の光を検出するように構成され得る。例えば、フォトダイオード３１０ａは可視光（例えば、単色、あるいは赤色、緑色、または青色のうちの１つ）を検出し得る一方、フォトダイオード３１０ｂは赤外光を検出し得る。画素セル３００はさらに、画素データ生成のためにどのフォトダイオードが電荷を出力するかを制御するためのスイッチ３２０（例えば、トランジスタ、コントローラバリア層）を含む。

加えて、画素セル３００は、図２Ａに示されるように、電子シャッタスイッチ２０３、転送スイッチ２０４、電荷蓄積デバイス２０５、バッファ２０６、量子化器２０７、およびメモリ３８０をさらに含む。電荷蓄積デバイス２０５は、電荷－電圧変換利得を設定するように構成可能なキャパシタンスを有し得る。いくつかの例において、電荷蓄積デバイス２０５のキャパシタンスは、電荷蓄積デバイス２０５がオーバーフロー電荷によって飽和される可能性を低減するために、中程度の光強度に対するＦＤ_ＡＤＣ動作のためのオーバーフロー電荷を蓄積するように増加され得る。また、電荷蓄積デバイス２０５のキャパシタンスは、低い光強度に対するＰＤ_ＡＤＣ動作のための電荷－電圧変換利得を増加させるように減少され得る。電荷－電圧変換利得を増加させることで、量子化誤差を低減し、量子化分解能を増加させることができる。いくつかの例においては、電荷蓄積デバイス２０５のキャパシタンスは、量子化分解能を増加させるために、ＦＤ_ＡＤＣ動作中にも減少され得る。バッファ２０６は、バイアス信号ＢＩＡＳ１によって電流が設定され得る電流源３４０と、バッファ２０６をオン／オフするためにＰＷＲ_ＧＡＴＥ信号によって制御され得る電力ゲート３３０とを含む。バッファ２０６は、画素セル３００をディセーブルにするための一部としてオフにされ得る。

また、量子化器２０７は、比較器３６０および出力論理３７０を含む。比較器２０７は、バッファの出力を基準電圧（ＶＲＥＦ）と比較して、出力を生成し得る。量子化動作（例えば、ＴＴＳ動作、ＦＤ_ＡＤＣ動作、およびＰＤ_ＡＤＣ動作）に応じて、比較器３６０は、バッファリングされた電圧を異なるＶＲＥＦ電圧と比較して出力を生成し得る。この出力は、画素出力として自走カウンタからの値をメモリ３８０に記憶させるために、出力論理３７０によってさらに処理され得る。比較器３６０のバイアス電流は、比較器３６０の帯域幅を設定し得るバイアス信号ＢＩＡＳ２によって制御され得る。この帯域幅は、画素セル３００によってサポートされるフレームレートに基づいて設定され得る。また、比較器３６０の利得は、利得制御信号ＧＡＩＮによって制御され得る。比較器３６０の利得は、画素セル３００によってサポートされる量子化分解能に基づいて設定され得る。比較器３６０はさらに、比較器３６０をオン／オフするためにＰＷＲ_ＧＡＴＥ信号によって制御され得る電力スイッチ３５０を含む。比較器３６０は、画素セル３００をディセーブルにするための一部としてオフにされ得る。

また、出力論理３７０は、ＴＴＳ動作、ＦＤ_ＡＤＣ動作、またはＰＤ_ＡＤＣ動作のうちの１つの出力を選択し得るとともに、その選択に基づいて、カウンタからの値を記憶するべく比較器３６０の出力をメモリ３８０に転送するかどうかを決定し得る。出力論理３７０は、比較器３６０の出力に基づいて、フォトダイオード３１０（例えば、フォトダイオード３１０ａ）が残留電荷によって飽和しているかどうか、および電荷蓄積デバイス２０５がオーバーフロー電荷によって飽和しているかどうかを示す値を記憶するための内部メモリを含み得る。電荷蓄積デバイス２０５がオーバーフロー電荷によって飽和している場合、出力論理３７０は、メモリ３８０に記憶されるべきＴＴＳ出力を選択し、メモリ３８０がＦＤ_ＡＤＣ／ＰＤ_ＡＤＣ出力によってＴＴＳ出力を上書きすることを防止し得る。電荷蓄積デバイス２０５は飽和していないが、フォトダイオード３１０が飽和している場合には、出力論理３７０は、ＦＤ_ＡＤＣ出力を選択してメモリ３８０に記憶するようにし得る。そうでない場合には、出力論理３７０は、ＰＤ_ＡＤＣ出力を選択してメモリ３８０に記憶するようにし得る。いくつかの例においては、カウンタ値の代わりに、フォトダイオード３１０が残留電荷によって飽和しているかどうか、および電荷蓄積デバイス２０５がオーバーフロー電荷によって飽和しているかどうかを示す値がメモリ３８０に記憶されることで最低精度画素データが提供され得る。

また、画素セル３００は、ＡＢ、ＴＧ、ＢＩＡＳ１、ＢＩＡＳ２、ＧＡＩＮ、ＶＲＥＦ、ＰＷＲ_ＧＡＴＥなどの制御信号を生成する論理回路を含み得る画素セルコントローラ３９０を含み得る。画素セルコントローラ３９０は、画素レベルプログラミング信号３９５によってプログラムされ得る。例えば、画素セル３００をディセーブルにするために、画素セルコントローラ３９０は、ＰＷＲ_ＧＡＴＥをデアサートしてバッファ２０６および比較器３６０をオフにするように画素レベルプログラミング信号３９５によってプログラムされ得る。また、量子化分解能を増加させるために、画素セルコントローラ３９０は、電荷蓄積デバイス２０５のキャパシタンスを減少させ、例えばＧＡＩＮ信号を介して比較器３６０の利得を増加させるように画素レベルプログラミング信号３９５によってプログラムされ得る。また、フレームレートを増加させるために、画素セルコントローラ３９０は、ＢＩＡＳ１信号およびＢＩＡＳ２信号を増加させてそれぞれバッファ２０６および比較器３６０の帯域幅を増加させるように画素レベルプログラミング信号３９５によってプログラムされ得る。さらには、画素セル３００によって出力される画素データの精度を制御するために、画素セルコントローラ３９０は、画素レベルプログラミング信号３９５によってプログラムされることで、例えば、カウンタのビットのサブセット（例えば、最上位ビット）のみをメモリ３８０に接続してメモリ３８０がビットのサブセットのみを記憶するようにしたり、または出力論理３７０に記憶された値を画素データとしてメモリ３８０に記憶するようにしたりする。加えて、画素セルコントローラ３９０は、画素レベルプログラミング信号３９５によってプログラムされることで、ＡＢ信号およびＴＧ信号のシーケンスおよびタイミングを制御して、例えば、露光期間を調整し、および／または特定の量子化動作（例えば、ＴＴＳ、ＦＤ_ＡＤＣ、またはＰＤ_ＡＤＣのうちの１つ）を選択する一方で、上述のように、動作条件に基づいて他をスキップし得る。

図４Ａ、図４Ｂ、および図４Ｃは、画像センサ２００などのイメージセンサの周辺回路および画素セルアレイの例示的な構成要素を示す。図４Ａに示されるように、画像センサは、プログラミングマップパーサ（parser）４０２と、列制御回路４０４と、行制御回路４０６と、画素データ出力回路４０７とを含み得る。プログラミングマップパーサ４０２は、シリアルデータストリーム内に存在し得る画素アレイプログラミングマップ４００を解析して、各画素セル（または画素セルのブロック）のプログラミングデータを識別し得る。プログラミングデータの識別は、例えば、２次元画素アレイプログラミングマップをシリアルフォーマットに変換する所定の走査パターン、およびプログラミングデータがシリアルデータストリームからプログラミングマップパーサ４０２によって受信される順序に基づき得る。プログラミングマップパーサ４０２は、画素セルを対象とするプログラミングデータに基づいて、画素セルの行アドレスと、画素セルの列アドレスと、１つまたは複数の設定信号（configuration signal）との間のマッピングを作成し得る。このマッピングに基づいて、プログラミングマップパーサ４０２は、列アドレスと設定信号とを含む制御信号４０８を列制御回路４０４に送信し得るとともに、列アドレスにマッピングされた行アドレスと設定信号とを含む制御信号４１０を行制御回路４０６に送信し得る。いくつかの例において、設定信号は、制御信号４０８と制御信号４１０との間で分割され得るか、または制御信号４１０の一部として行制御回路４０６に送信され得る。

列制御回路４０４および行制御回路４０６は、プログラミングマップパーサ４０２から受信した設定信号を画素セルアレイ３１８の各画素セルの設定（configuration）メモリに転送するように構成されている。図４Ａにおいて、Ｐ_ｉｊ（例えば、Ｐ_００，Ｐ_０１，Ｐ_１０，Ｐ_１１）のラベルが付された各ボックスは、画素セルまたは画素セルのブロック（例えば、画素セルの２×２アレイ、画素セルの４×４アレイ）を表し得るものであり、処理回路２１４とメモリ２１６とを含む図２Ｅの量子化回路２２０を含み得るかまたはそれに関連付けられ得る。図４Ａに示されるように、列制御回路４０４は、複数組の列バスＣ０，Ｃ１，・・・Ｃｉを駆動する。各組の列バスは１つまたは複数のバスを含み、列選択信号および／または他の設定信号を含み得る制御信号を画素セルの列に送信するために使用され得る。例えば、列バスＣ０は、列選択信号４０８ａを送信することにより、画素セルＰ_００，Ｐ_０１，・・・Ｐ_０ｊの列（または画素セルのブロックの列）を選択し得る。また、列バスＣ１は、列選択信号４０８ｂを送信することにより、画素セルＰ_１０，Ｐ_１１，・・・Ｐ_１ｊの列（または画素セルのブロック）を選択し得る。

さらに、行制御回路４０６は、Ｒ０，Ｒ１，・・・Ｒｊのラベルが付された複数組の行バスを駆動する。同様に、各組の行バスは１つまたは複数のバスを含み、行選択信号および／または他の設定信号を含み得る制御信号を画素セルの行または画素セルのブロックの行に送信するために使用され得る。例えば、行バスＲ０は、行選択信号４１０ａを送信することにより、画素セルＰ_００，Ｐ_１０，・・・Ｐ_ｉ０（または画素セルのブロック）の行を選択し得る。また、行バスＲ１は、行選択信号４１０ｂを送信することにより、画素セルＰ_０１，Ｐ_１１，・・・Ｐ_１ｉ（または画素セルのブロック）の行を選択し得る。画素セルアレイ３１８内の任意の画素セル（または画素セルのブロック）は、行選択信号と列選択信号との組み合わせに基づいて選択されることにより設定信号を受信し得る。行選択信号、列選択信号、および設定信号（ある場合）は、上述したように、プログラミングマップパーサ４０２からの制御信号４０８，４１０に基づいて同期される。画素セルの各列は、画素データを画素データ出力回路４０７に送信するための出力バスのセットを共有し得る。例えば、画素セルＰ_００，Ｐ_０１，・・・Ｐ_０ｊの列（または画素セルのブロック）は出力バスＤ_０を共有し得るとともに、画素セルＰ_１０，Ｐ_１１，・・・Ｐ_１ｊの列（または画素セルのブロック）は出力バスＤ_１を共有し得る。

画素データ出力回路４０７は、バスから画素データを受信し、画素データを（例えば、シフトレジスタを使用して）１つまたは複数のシリアルデータストリームに変換して、ＭＩＰＩなどの所定のプロトコル下でデータストリームをホストデバイス４３５に送信し得る。データストリームは、スパース画像フレームの一部として各画素セル（または画素セルのブロック）に関連付けられた量子化回路２２０（例えば、処理回路２１４およびメモリ２１６）から到来し得る。また、画素データ出力回路４０７は、プログラミングマップパーサ４０２から制御信号４０８，４１０を受信して、例えば、どの画素セルが画素データを出力しないのかまたは各画素セルによって出力される画素データのビット幅を決定し、それに応じてシリアルデータストリームの生成を調整し得る。例えば、画素データ出力回路４０７は、例えば画素セル間の出力画素データの可変ビット幅を考慮したり、または特定の画素セルにおける画素データ出力のディセーブル化を考慮したりするために、シリアルデータストリームを生成する際にいくつかのビットをスキップするようにシフトレジスタを制御し得る。

また、画素セルアレイ制御回路は、階層的電力状態制御回路を形成する各画素セルまたは画素セルの各ブロック（図４Ａには図示せず）において、グローバル電力状態制御回路４２０などのグローバル電力状態制御回路、列電力状態制御回路４２２、行電力状態制御回路４２４、およびローカル電力状態制御回路４３０をさらに含む。グローバル電力状態制御回路４２０は階層内の最高レベルのものとすることができ、行／列電力状態制御回路４２２／４２４が続き、ローカル電力状態制御回路４３０が階層内の最低レベルにある。

階層的電力状態制御回路は、画像センサ２００などの画像センサの電力状態を制御する際に異なる粒度を提供し得る。例えば、グローバル電力状態制御回路４２０は、全ての画素セルの処理回路２１４およびメモリ２１６、図２ＥのＤＡＣ２４２およびカウンタ２４０などを含む、画像センサの全ての回路のグローバル電力状態を制御し得る。行電力状態制御回路４２４は、各行の画素セル（または画素セルのブロック）の処理回路２１４およびメモリ２１６の電力状態を別々に制御し得る。また、列電力状態制御回路４２２は、各列の画素セル（または画素セルのブロック）の処理回路２１４およびメモリ２１６の電力状態を別々に制御し得る。いくつかの例は、行電力状態制御回路４２４を含む一方、列電力状態制御回路４２２を含まなくてもよく、またはその逆であってもよい。また、ローカル電力状態制御回路４３０は、画素セルまたは画素セルのブロックの一部とすることができ、画素セルまたは画素セルのブロックの処理回路２１４およびメモリ２１６の電力状態を制御し得る。

図４Ｂは、階層的電力状態制御回路の内部構成要素およびそれらの動作の例を示す。具体的に、グローバル電力状態制御回路４２０は、画像センサのグローバル電力状態を設定する、バイアス電圧、バイアス電流、供給電圧、またはプログラミングデータの形態であり得るグローバル電力状態信号４３２を出力し得る。また、列電力状態制御回路４２２（または行電力状態制御回路４２４）は、画像センサの画素セル（または画素セルのブロック）の列／行の電力状態を設定する列／行電力状態信号４３４を出力し得る。列／行電力状態信号４３４は、行信号４１０および列信号４０８として画素セルに送信され得る。また、ローカル電力状態制御回路４３０は、関連する処理回路２１４およびメモリ２１６を含む画素セル（または画素セルのブロック）の電力状態を設定するローカル電力状態信号４３６を出力し得る。ローカル電力状態信号４３６は、画素セルの処理回路２１４およびメモリ２１６に出力されることでそれらの電力状態を制御し得る。

階層的電力状態制御回路において、上位の電力状態信号は、下位の電力状態信号の上限を設定し得る。例えば、グローバル電力状態信号４３２は、列／行電力状態信号４３４の上位の電力状態信号であってよく、列／行電力状態信号４３４の上限を設定し得る。また、列／行電力状態信号４３４は、ローカル電力状態信号４３６の上位の電力状態信号であってよく、ローカル電力状態信号４３６の上限を設定し得る。例えば、グローバル電力状態信号４３２が低電力状態を示す場合、列／行電力状態信号４３４およびローカル電力状態信号４３６も低電力状態を示し得る。

グローバル電力状態制御回路４２０、列／行電力状態制御回路４２２／４２４、およびローカル電力状態制御回路４３０の各々は、電力状態信号生成器を含み得る。一方、列／行電力状態制御回路４２２／４２４、およびローカル電力状態制御回路４３０は、上位の電力状態信号によって課される上限を実施するためのゲーティング論理を含み得る。具体的に、グローバル電力状態制御回路４２０は、グローバル電力状態信号４３２を生成するグローバル電力状態信号生成器４２１を含み得る。グローバル電力状態信号生成器４２１は、例えば、（例えば、ホストデバイスからの）外部設定信号４４０またはグローバル電力状態の所定の時間シーケンスに基づいて、グローバル電力状態信号４３２を生成し得る。

また、列／行電力状態制御回路４２２／４２４は、列／行電力状態信号生成器４２３とゲーティング論理４２５とを含み得る。列／行電力状態信号生成器４２３は、例えば、（例えば、ホストデバイスからの）外部設定信号４４２または行／列電力状態の所定の時間シーケンスに基づいて、中間列／行電力状態信号４３３を生成し得る。ゲーティング論理４２５は、グローバル電力状態信号４３２と中間列／行電力状態信号４３３とのうちより低い電力状態を表す１つを列／行電力状態信号４３４として選択し得る。

さらに、ローカル電力状態制御回路４３０は、ローカル電力状態信号生成器４２７およびゲーティング論理４２９を含み得る。低電力状態信号生成器４２７は、例えば、画素アレイプログラミングマップ、行／列電力状態の所定の時間シーケンスなどによる外部設定信号４４４に基づいて、中間ローカル電力状態信号４３５を生成する。ゲーティング論理４２９は、ローカル電力状態信号４３５と列／行電力状態信号４３４とのうちより低い電力状態を表す１つをローカル電力状態信号４３６として選択し得る。

図４Ｃは、各画素セル（または画素セルの各ブロック）のローカル電力状態制御回路４３０（例えば、図４Ｃにおいて「ＰＷＲ」のラベルが付された４３０ａ，４３０ｂ，４３０ｃ，４３０ｄ）および設定メモリ４５０（例えば、図４Ｃにおいて「設定」のラベルが付された４５０ａ，４５０ｂ，４５０ｃ，４５０ｄ）を含む画素セルアレイの追加の詳細を示す。設定メモリ４５０は、画素セル（または画素セルのブロック）の光測定動作（例えば、露光期間持続時間、量子化分解能）を制御するための第１のプログラミングデータを記憶し得る。また、設定メモリ４５０は、処理回路２１４およびメモリ２１６の電力状態を設定するためにローカル電力状態制御回路４３０によって使用され得る第２のプログラミングデータを記憶し得る。設定メモリ４５０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）として実装され得る。図４Ｃは、ローカル電力状態制御回路４３０および設定メモリ４５０が各画素セルの内部にあることを示しているが、ローカル電力状態制御回路４３０および設定メモリ４５０が画素セルのブロック用のものである場合など、設定メモリ４５０は各画素セルの外部にあってもよいことが理解される。

図４Ｃに示されるように、各画素セルの設定メモリ４５０は、Ｓ_００，Ｓ_０１，Ｓ_１０，Ｓ_１１などのトランジスタＳを介して列バスＣおよび行バスＲと結合されている。いくつかの例において、列バス（例えば、Ｃ０，Ｃ１）および行バス（例えば、Ｒ０，Ｒ１）の各組は、複数のビットを含み得る。例えば、図４Ｃにおいて、列バスおよび行バスの各組は、Ｎ＋１ビットを搬送し得る。いくつかの例においては、列バスおよび行バスの各組が単一のデータビットを搬送し得ることが理解される。また、各画素セルは、画素セル（または画素セルのブロック）への設定信号の送信を制御するためにＴ_００，Ｔ_０１，Ｔ_１０，Ｔ_１１などのトランジスタＴと電気的に接続されている。各画素セルのトランジスタＳは、対応するトランジスタＴをイネーブル（またはディセーブル）にして設定信号を画素セルに送信するために行選択信号および列選択信号によって駆動され得る。いくつかの例において、列制御回路４０４および行制御回路４０６は、複数の画素セルの設定メモリ４５０に同時に書き込むように（例えば、ホストデバイスからの）単一の書込み命令によってプログラムされ得る。これにより、列制御回路４０４および行制御回路４０６は、行バスおよび列バスを制御して、画素セルの設定メモリに書き込むことができる。

いくつかの例において、ローカル電力状態制御回路４３０は、設定信号を設定メモリ４５０に記憶することなくトランジスタＴから設定信号を直接受信することもできる。例えば、上述したように、ローカル電力状態制御回路４３０は、画素セルの電力状態、および画素セルによって使用される処理回路および／またはメモリの電力状態を制御するために、電圧バイアス信号または供給電圧などのアナログ信号であり得る行／列電力状態信号４３４を受信し得る。

また、各画素セルは、画素セルの列の間の出力バスＤの共有を制御するために、Ｏ_００，Ｏ_０１，Ｏ_１０，Ｏ_１１などのトランジスタＯも含む。各行のトランジスタＯは、画素セルの１つの行が出力バスＤ０，Ｄ１，・・・Ｄｉを介して画素データを出力し、次いで画素セルの次の行がそれに続くように、画素データの行ごとの読み出しを可能にするための読み出し信号（例えば、Ｒｅａｄ_Ｒ０，Ｒｅａｄ_Ｒ１）によって制御され得る。

いくつかの例において、処理回路２１４およびメモリ２１６、カウンタ２４０、ＤＡＣ２４２、バッファ２３０を含むバッファネットワークなどを含む画素セルアレイの回路構成要素は、階層的電力状態制御回路によって管理される階層的電力領域に編成され得る。階層的電力ドメインは、複数の電力ドメインおよび電力サブドメインの階層を含み得る。階層的電力状態制御回路は、各電力ドメインの電力状態、および各電力ドメイン下の各電力サブドメインの電力状態を個別に設定し得る。そのような構成は、画像センサ３０４による電力消費のきめ細かな制御を可能にするとともに、様々な空間的および時間的電力状態制御動作をサポートすることで画像センサの電力効率をさらに改善する。

スパース画像感知動作は、電力および帯域幅要件を低減し得るが、スパース画像感知動作のための量子化動作を実行するために（例えば、図６Ｃに示されるような）画素レベルＡＤＣまたは（例えば、図２Ｅに示されるような）ブロックレベルＡＤＣを有することは、依然として電力の非効率的な使用につながり得る。具体的に、画素レベルＡＤＣまたはブロックレベルＡＤＣのうちのいくつかがディセーブルにされている間、クロック、アナログランプ信号、またはデジタルランプ信号などの高速制御信号は、依然として、バッファネットワーク６３０を介して各画素レベルＡＤＣまたはブロックレベルＡＤＣに送信され得る。これは、かなりの量の電力を消費し、各画素の生成のための平均電力消費を増加させ得る。画像フレームのスパース性が高くなる（例えば、より少ない画素を含む）一方、依然として高速制御信号が各画素セルに送信されることにより、高速制御信号を送信する際の電力消費が変わらないまま、生成される画素がより少ないことに起因して各画素の生成のための平均電力消費が増加する場合、非効率性がさらに悪化し得る。

図５は、量子化演算を低減した、画素セル、集積回路、および周辺部の一例を示す図である。具体的に、図５は、本明細書に記載の実施形態を実行するためのデジタル画像センサ装置の一例を示す。ＳＯＣ画素５００は、図２Ａおよび図２Ｃに示される画素セル２０１と同様に、フォトダイオードにおいて電荷を生成するように構成された画素セルであり得る。例えば、ＳＯＣ画素５００は、構成要素２０１～２０６などの画素セル２０１の構成要素を含む。

ＳＯＣ画素５００はさらに、サンプリングキャパシタ５０２を含む。サンプリングキャパシタ５０２は、フォトダイオード２０２などのフォトダイオードから生成された電荷をアナログ電圧信号に変換することが可能なキャパシタまたは他の電荷蓄積デバイスであり得る。図５に示されるように、サンプリングキャパシタ５０２は、ＡＳＩＣ５１０層内のスイッチ５１８を介してＳＯＣ画素５００の残りの部分に結合されている。したがって、スイッチ５１８が開状態にあるときはサンプリングキャパシタ５０２にて電荷をさらに生成することが防止され、スイッチ５１８が閉状態にあるときはサンプリングキャパシタ５０２にて電荷の生成が開始されるかまたは電荷の生成が継続され得る。

ＡＳＩＣ５１０は、比較器５１２をさらに備える。比較器５１２は、アナログ電圧値を比較するように構成された演算増幅器ベースの比較器であり得る。例えば、図５に示されるように、比較器５１２は、サンプリングキャパシタ５０２からの信号を１つの入力として受信し得る。様々な実施形態において、サンプリングキャパシタ５０２から受信される信号は、電荷共有演算増幅器の利得を２倍にするための相関二重サンプリング処理の一部として、第２の相関キャパシタ（図５ではＣＣとして示される）によって修正される。演算増幅器は、閾値電圧値信号を受信し、キャプチャ電圧信号と比較して、サンプリングキャパシタ５０２によって蓄積された電荷が閾値電圧値を満たすかまたは超えるのに十分であるかどうかを判定し得る。例えば、図５に示されるように、デジタル画像センサのＡＳＩＣ周辺部５２０に配置されたＡＤＣランプ生成器５２２は、比較を実行するための比較器５１２にランプ信号（図５においてＶＲＡＭＰとして示される）を送信し得る。比較器の出力は、別の論理回路に転送され得る。

状態ラッチ５１４は、比較器５１２の出力に結合されている。状態ラッチ５１４は、比較器５１２からの出力とＣＯＭＰ_ＣＨＫ信号とを入力として受信し、十分な電荷が収集されたかどうかを判定して、１ビット状態ラッチ信号（図５においてＳＥＬとして示される）を出力するように構成されたＡＳＩＣ５１０内のラッチベース回路であり得る。ＳＥＬ信号は、サンプリングキャパシタ５０２のキャプチャ電圧信号が、比較器５１２において受信された閾値電圧値を満たすかまたは超えると判定されたとき、スイッチ５１８を開くために使用される。いくつかの実施形態において、状態ラッチ５１４は、キャプチャ電圧値と閾値電圧値との比較が実行される期間に対応するフラグビットフィールドを生成し、有効にし、更新するように構成されている。状態ラッチ５１４は、正確な量子化のために十分な電荷についてサンプリングキャパシタ５０２がチェックされる期間を追跡するために、フレームキャプチャ期間全体を通じて特定の期間におけるフラグビットフィールドを更新し得る。

比較器５１２の出力および状態ラッチ５１４の出力は、メモリ５１６などのＡＳＩＣ５１０内のメモリに接続されている。メモリ５１６は、収集された電荷および対応するフラグビットフィールド値に基づいて画素値を記憶するためにＡＳＩＣ５１０に組み込まれたメモリであり得る。メモリ５１６は、例えば、本明細書に記載の実施形態を可能にするためのスタティックランダムアクセスメモリ（ＳＲＡＭ）の集合体であり得る。メモリ５１６は、比較器５１２および状態ラッチ５１４からの変換電圧値およびフラグビットフィールドを受信し、後続の読み出し動作のためにそれらの値を記憶し得る。

一例として、図５に示されるＲＯＷ_ＳＥＬ信号は、比較器５１２の出力とメモリ５１６との間の接続を切り替えるスイッチのための制御信号として機能し得る。キャパシタに蓄積された電荷が閾値電圧に達するか、または露光期間が終了すると、ＳＥＬスイッチが開き、電荷のさらなる蓄積が防止される。これと実質的に同時に、状態ラッチは、フラグビット値をメモリ５１６に記憶する。露光期間の終わりに達すると、記憶された電圧が量子化され、記憶されたフラグビット値に対応するようにメモリ５１６に記憶される。したがって、量子化された画素値とフラグビット値との両方がキャプチャされて一緒に記憶される。

図６は、スタティックランダムアクセスメモリを含む、量子化演算を低減した画素セル、集積回路、および周辺機器の一例を示す図である。具体的に、図６は、図５に示されるメモリ５１６の一部として実装されるデジタル相関二重サンプリング（ＣＤＳ）動作の一部としての、信号用ＳＲＡＭおよびリセット（ＲＳＴ）値用ＳＲＡＭを含む、図５に示されるデジタル画像センサと同様のデジタル画像センサを示している。デジタルＣＤＳ動作は、画素間固定パターンノイズ（ＦＰＮ）を除去し得る。図６に示されるように、デジタルＣＤＳ処理を可能にするために、ＲＳＴ用のＳＲＡＭ構成要素が図５のデジタル画像センサに導入される。この構成要素は、ＲＳＴ用ＳＲＡＭ６１０として図６に示されている。ＲＳＴ用ＳＲＡＭ６１０は、信号用ＳＲＡＭ６００として示されるメモリ内に存在し得る。信号用ＳＲＡＭ６００は、図５に示されるように、比較器５１２および状態ラッチ５１４に接続されている。ＲＳＴ用ＳＲＡＭ６１０は、ＲＯＷ_ＲＳＴ_ＳＥＬ接続を介して比較器にもさらに接続され得る。ＲＳＴ用ＳＲＡＭ６１０は、ＲＳＴ用ＳＲＡＭ６１０に記憶され得る画素のノイズレベルをキャプチャするために、第１のキャプチャ期間の開始前の期間にわたって信号をパルス化し得る。このＲＳＴ用ＳＲＡＭ６１０の構成要素におけるノイズ値は、信号用ＳＲＡＭ６００の構成要素に記憶された値における対応するノイズ信号をデジタル的に除去するために使用され得る。

図７は、キャプチャ期間中の構成要素の動作の時系列を示すタイミング図である。具体的に、図７は、本明細書に記載される単一量子化動作中のデジタル画像センサの構成要素のタイミング信号を示している。図７に示されたタイミング図は、全フレームキャプチャ期間中に発生する４つの別個の期間におけるデジタル画像センサ内の回路のタイミングを示している。例えば、図７のタイミング図は、全て異なる持続時間Ｔ１，Ｔ２，Ｔ３，Ｔ４を有する４つの別個の期間を示している。このタイミング図に示されるように、これらの期間は、期間のバイナリ表現に対応する２ビットバイナリフラグに対応する。

図７に示されるように、光の異なる強度に基づく例示的な電荷蓄積レベルおよびタイミング情報の描写が各期間において示されている。図７に示されたタイミング図は、画素間サンプリング動作における回路のリセットに続いて開始され、ＳＯＣ画素５００およびＡＳＩＣ５１０の処理回路は、先のデジタル画素値の量子化の後、図７に示される新たなフレームキャプチャの前にリセットされる。

ＳＯＣ画素５００およびＡＳＩＣ５１０のリセットから時間Ｔ１までの期間は、デジタル画素センサの露光の第１の期間である。この期間中、フォトダイオードは光に曝され、電荷蓄積デバイスは、その結果として生じる生成電荷をアナログ電圧信号に変換する。リセットが発生した後、フレームキャプチャの期間を示すフラグビットフィールドはヌル値（「Ｘ」として表される）に設定され、その後、期間を表すバイナリ値に変換される。例えば、タイミング図に示されるように、フラグビットフィールド値は１０進値の（とり得る値である３，２，１，０のうちの）３を表す「１１」のバイナリ値に変換される。フラグビットフィールドは、図７に示されるように、後続の期間に対して他の対応するバイナリ値にさらに変換される。例えば、第２の期間では、フラグビットフィールドはバイナリ値「１０」に変換され、第３の期間では、フラグビットフィールドはバイナリ値「０１」に変換され、第４の期間では、フラグビットフィールドはバイナリ値「００」に変換される。次いで、画素値および対応するフラグビットフィールド値が記憶され、後で最終画素値を生成するために使用され得る。

タイミング図が期間Ｔ１～Ｔ４を通じて進むにつれて、電荷蓄積デバイスは、フォトダイオードによって生成された電荷に対応する電圧信号を蓄積し変換する。フォトダイオードは低い光強度の環境ではそれほど強く変化を生じない可能性があるため、フォトダイオードで受光される光の強度に依存する十分に長い期間にわたってフォトダイオードが光に曝されるまでは、電荷蓄積デバイスは正確に量子化されるのに十分な電荷を蓄積しない可能性がある。例えば、構成要素ＣＳについてのタイミング図の点線は、フォトダイオードで受光される光の強度に基づいてキャプチャされた電荷の異なる例示的な状態を表している。

例えば、フォトダイオードが図７に示されるように「高」強度光源に基づき電荷を生成しているとき、電荷蓄積デバイスは、測定の第１の期間（Ｔ１で測定される）前に、閾値電圧値（Ｑ_{Ｔｈｒｅｓｈｏｌｄ}で示される）よりも大きな値を有する電荷を蓄積し得る。例えば、図７において「高」のラベルが付された行に示されるように、高強度の光を受けるフォトダイオードによって生成された電荷を蓄積していた電荷蓄積デバイス（電荷を蓄積するウェルとして図７に示される）は、時間Ｔ１の前にすでに十分な電圧を蓄積していることが考えられる（または飽和していることも考えられる）。これは、キャプチャされた電圧のレベルがＱ_{Ｔｈｒｅｓｈｏｌｄ}ラインを超える蓄積ウェルの対応する電荷レベルで示されている。「高」強度の例における電荷蓄積デバイスは、（例えば、比較器５１２によって）Ｔ１において測定されたときに量子化のために十分な電荷をすでに生成しているため、Ｔ１における「１１」の対応するフラグビットフィールドがラッチされてメモリ５１６に記憶され得る。電力を節約して電荷蓄積デバイスの飽和を防止するべく、回路が開かれて電荷蓄積デバイスにおける電荷のさらなる生成を防止する。露光期間の終わりに、蓄積電荷はＡＤＣに送られてデジタル値に量子化され、次いでメモリ５１６に記憶される。したがって、露光期間の終わりに、フラグビット値と量子化された画素値との両方が一緒にメモリ５１６に記憶される。

フォトダイオードで受光される光の他の強度は、正確な量子化のために電荷蓄積デバイスにおいて十分な量の電荷を生成するために、電荷蓄積デバイスがさらに露光される必要があり得ることを意味し得る。例えば、光源が「中～高」強度光源である場合、電荷蓄積デバイスは、閾値電圧値を満たさないまたは超えない時間Ｔ１までの電圧電荷（Ｑ_{Ｔｈｒｅｓｈｏｌｄ}ラインを満たさないＴ１の電荷を蓄積するウェルによって表される）を変換および蓄積し得る。電荷蓄積デバイスは、その後、期間Ｔ２の終わりに達する時間までに閾値電圧値を超えるのに十分な電荷を変換および蓄積し得るが、その時点において、電荷蓄積デバイスは、光を受光するフォトダイオードからの十分な電荷を、Ｑ_{Ｔｈｒｅｓｈｏｌｄ}値を満たすかまたは超える電圧値として蓄積している。時間Ｔ２においてフラグビットフィールドは「１０」であり、これは、電荷蓄積デバイスが「中～高」強度光をキャプチャするときに閾値を満たすかまたは超えるのに十分な電荷を蓄積した第２の期間を表している。

フォトダイオードで受光される光の強度がさらに低い場合は、電荷蓄積デバイスによって量子化のために十分な電荷を変換および蓄積するためにさらなる露光時間が必要とされ得る。例えば、光源が「中～低」強度の光である場合には、期間Ｔ１または期間Ｔ２のいずれかの前に変換および蓄積された電荷が量子化に十分でない可能性がある（これらの時間にＱ_{Ｔｈｒｅｓｈｏｌｄ}値を満たしていない電荷蓄積デバイスの対応するウェルによって表される）。代わりに、図７に示されるように、期間Ｔ３の前に十分な電荷の蓄積が行われる。時間Ｔ３において、フラグビットフィールドは現在「０１」であり、これは、蓄積電荷が閾値を満たすかまたは超える第３の期間を表している。次いで、回路が開かれることで電荷蓄積デバイスにおける電荷のさらなる生成が防止されて、フラグビット値がＳＲＡＭに記憶される。露光期間の終わりに、電荷信号は、上述したように量子化および記憶のためにＡＤＣに送られる。

フォトダイオードで受光される非常に低い強度の光は、十分な変換および蓄積された電荷に達するためにフレームキャプチャの全露光時間を必要とする場合がある。いくつかの場合には、最終期間（図７のＴ４）の前であっても、画素が十分な電荷レベルに到達しない場合がある。例えば、光源が「低」強度光である場合、変換および蓄積された電荷は、期間Ｔ３の前に十分でない可能性があり、期間Ｔ４の前であっても、十分である場合もあれば十分でない場合もある。例えば、フォトダイオードによってキャプチャされたくすんだ赤色光は、期間Ｔ３の前ではなく、期間Ｔ４のいくらか前に十分な電荷の変換および蓄積を引き起こし得る。Ｔ４の時点において、フラグビットフィールドは「００」であり、第４の期間が発生したことを表す。その後、蓄積電荷は、この期間における電荷の十分性にかかわらず量子化され、その量子化された画素値と対応するフラグビット値との両方がメモリ５１６に記憶される。例えば、蓄積電荷が期間Ｔ４において閾値電圧に到達するのに十分でない（例えば、受光された光が非常に低い強度であるため、結果として得られる画素の色が非常に薄暗いまたは黒である）場合であっても、この特定のフレームキャプチャ中に電荷蓄積デバイスに対するさらなる露光時間が存在しないため、電荷は依然として量子化される。

図８は、フォトダイオード内に電荷を生成する光の様々な強度に対する一連の時間ベースの電荷充足閾値を示す電荷キャプチャのグラフを示す。具体的に、図８は、どの信号範囲／強度が図７に示される４つの露光期間に対応するのかに対応するグラフを示している。例えば、Ｑ_{Ｔｈｒｅｓｈｏｌｄ}値は、十分な電荷が発生すると予想される、設定された電荷電圧閾値を示している。グラフの水平軸は、期間Ｔ１～Ｔ４およびフレームキャプチャ中のそれらのそれぞれの持続時間を表す。縦軸は、フォトダイオードＱ_ＰＤの全容量ダイナミックレンジを示す。

図９は、時間データおよび電荷閾値を満たすかまたは超える十分な画素電荷に基づく単一量子化を使用してデジタル画素データを量子化するための例示的な処理を示す。具体的に、図９は、本明細書に記載される単一量子化動作を実行するために電荷蓄積デバイスにおいて電荷を変換するためのフローチャートを示している。処理９００は９０２で開始し、フラグデータが初期期間に対して設定される（例えば、図７に示されるような２ビットフラグフィールド構成を使用する例ではフラグデータが「１１」に設定される）。このフラグデータは、初期期間の例えば図７のＴ_０～Ｔ_１に対応し、この期間にわたってフォトダイオードの露光が行われる。

いくつかの実施形態において、フラグデータは、状態ラッチ５１４などの状態ラッチによってキャプチャされる。例えば、フレームキャプチャ前に画素センサをリセットするための信号に応答して、状態ラッチ５１４は、現在存在するフラグビットフィールドを露光のための初期期間を表す新たなバイナリフラグビットフィールドに変換し得る。いくつかの実施形態では、状態ラッチ５１４は、フラグビットフィールドを第１の期間を表す第１のバイナリ値に設定する前にフラグビットフィールドをまずヌル値（例えば、図７に示されるような「Ｘ」）に設定可能であり得る。

９０４において、現在の期間中にフォトダイオードを露光した後に、その現在の期間についてキャプチャ電荷が判定される。例えば、ＳＯＣ画素層５００のフォトダイオード２０２は、電荷の生成を開始するために光源から光を受光し得る。電荷は、サンプリングキャパシタ５０２などの電荷蓄積デバイスによってキャプチャされるとともにアナログ電圧信号に変換され得る。電荷蓄積デバイスは、比較器５１２などの論理構成要素または回路に結合され得る。比較器５１２は、比較動作の一部としてキャプチャ電荷の値を判定するように構成され得る。様々な実施形態において、比較器５１２を含むＡＳＩＣ５１０は、比較のためのサンプリング電荷を得るために、別のキャパシタまたは他の電荷蓄積デバイスを含む。

９０６において、キャプチャ電荷が閾値電荷以上であるか否かについての判定が行われる。例えば、ＡＳＩＣ５１０の比較器５１２は、９０４で判定されたキャプチャ電荷を、ＡＤＣランプ生成器５２２などの別の構成要素から受け取った閾値電荷と比較する。この閾値電荷は、電荷蓄積デバイスによって変換された電圧を使用して、フォトダイオードにより受光された光の適切な信号対雑音比を提供するのに十分な電荷の電圧レベルを表す。キャプチャ電荷が閾値電荷以上でない場合、電荷蓄積デバイスは現在の露光時間中に十分な電荷を収集していない。そのような場合、方法９００はブロック９０８に進む。そうでない場合、以下で説明するように、方法９００はブロック９１０に進む。

９０８において、キャプチャ電荷が閾値電荷以上でないとの判定に続いて、次の期間のためにフラグデータが更新される。例えば、現在の期間における現在のキャプチャ電圧が閾値電圧値を満たさないかまたは超えないとの信号を比較器５１２から受信することに応答して、状態ラッチ５１４は、比較器５１２がキャプチャ電荷値を閾値と比較するときの次の期間を表すようにフラグビットフィールドを更新し得る。いくつかの実施形態において、状態ラッチ５１４などの構成要素は、比較器５１２からの信号の受信に応答してフラグデータをデクリメントし得るバイナリ算術回路を含み得る。デクリメント動作は、バイナリ値をデクリメントすることによって現在の期間フラグを更新することにより次の露光期間が発生しようとしていることを表す。

さらなる実施形態において、キャプチャ電荷が閾値電圧値を満たさないかまたは超えないことを示す値は、電荷蓄積デバイスが量子化のために十分な電荷を蓄積するまでフォトダイオードからの変換電荷を蓄積し続けることができるようにラッチが閉じられたままであることを表す。例えば、状態ラッチ５１４は、サンプリングキャパシタ５０２がフォトダイオード２０２によって生成された電荷を受け取り続けることができるように、ラッチが閉じたままであることを示す信号をスイッチ５１８に送信または継続し得る。９０８に続いて、処理は９０４に戻り、フォトダイオードに対する追加の露光および次の期間中に電荷蓄積デバイスで電荷の変換が行われた後に、キャプチャ電荷が次の期間についてもう一度判定される。

９０６において、キャプチャ電荷が閾値電荷以上であると判定された場合、処理は９１０に進み、電荷のさらなるキャプチャが防止されてフラグデータがメモリに記憶される。例えば、比較器５１２が、９０４で判定されたキャプチャ電荷が閾値電圧値以上であると判定した場合、ＳＥＬ信号は、電荷のさらなる蓄積を防止するためにスイッチ５１８を切り替えて開き得る。これにより、画素による電力消費を低減し得る。これは、電荷蓄積デバイスが十分なレベルの電荷に到達したかまたは露光期間が終了したかのいずれかであることによって生じる。この時点で、電荷蓄積デバイスにおける電荷のさらなる露光および変換は電荷蓄積デバイスを飽和させる可能性があるかまたはさらなる露光時間が利用可能でないかのいずれかである。したがって、９１０でキャプチャ電荷が十分であるとき、電荷蓄積デバイスとフォトダイオードとを接続する回路は、電力の浪費および望ましくない画素飽和を防止するために開かれる。

例えば、電荷蓄積デバイスにおける電荷のさらなるキャプチャの防止は、サンプリングキャパシタ５０２またはＣＤＳ実施形態における別のキャパシタ（例えば、ＣＣ）にフォトダイオード２０２が結合される回路を開くことによって実行され得る。この場合、９０４で判定されたキャプチャ電荷が閾値電荷以上であるとの入力を比較器５１２から受信することに応答して、状態ラッチ５１４は、スイッチ５１８を開かせるＳＥＬ回路の信号を更新または生成し得る。スイッチ５１８が開いているとき、フォトダイオードによって生成された電荷はもはや電荷蓄積デバイスには到達せず、電荷はもはや変換されない。

その後の電荷のキャプチャが防止されると、フラグデータは、回路が開かれてさらなる電荷蓄積が防止された期間を示す値としてメモリに記憶される。例えば、状態ラッチ５１４は、その期間を表すために２ビットバイナリフラグベースの値をＳＲＡＭコンピュータメモリにラッチし得る。

９１２において、量子化された画素値が記憶される。露光期間の終わりに蓄積電荷は量子化され、フラグビット値とともにＳＲＡＭに記憶される。そして、これら２つの値は、後で読み出されてＨＤＲ画像を構築するために使用され得る。

例示的な実施形態では、画素センサのフォトダイオードはリセットされて、フレームキャプチャ中に中程度の強度の光を受光し始める。フラグビットフィールドは、フレームキャプチャ中の４つの別個の期間のうちの第１の期間を示すバイナリ値「１１」に設定される。デジタルクロックは、画素センサのリセットから経過した時間を測定する。クロックが期間Ｔ１を示すとき、比較器は、基準電圧値と、フォトダイオードから受け取った電荷を変換および蓄積している電荷蓄積デバイスからの蓄積電荷値とを受信し得る。比較器は、蓄積電荷が期間Ｔ１において閾値基準電圧値を満たさないかまたは超えないと判定し得る。比較器は、電荷蓄積デバイスが電荷を蓄積し続けることができるように回路を閉じたままにし続けるための信号をラッチに送信する。期間Ｔ２前のある時点で、フラグビットフィールドは「１０」の値にデクリメントされ得る。

デジタルクロックが期間Ｔ２を示すとき、比較器は、基準電圧値と電荷蓄積デバイスからの記憶電荷値とを受信し得る。比較器は、蓄積電荷が期間Ｔ２において閾値基準電圧値を超えたと判定し得る。比較器は、ラッチに信号を送信することにより電荷蓄積デバイスとフォトダイオードとの間の回路を開いて電荷のさらなる蓄積を防止する。したがって、電荷蓄積デバイスは、フォトダイオードからの電荷を変換する不必要な電力をもはや消費せず、電荷蓄積デバイスの望ましくない飽和を防止する。

また、ラッチは、現在のフラグビットフィールドをＳＲＡＭなどのメモリに送信する。ただし、露光期間はまだ終了していないので、蓄積電荷はまだ量子化されていない。代わりに、露光期間の残りは、開かれたスイッチに起因して電荷のさらなる蓄積が生じることなく経過する。そして、露光期間の終わりに、蓄積電荷は量子化されて同様にＳＲＡＭに記憶される。したがって、量子化された画素値と、電荷蓄積が停止されたときの対応するフラグビット値との両方が記憶され、その後の読み出しに利用することが可能となる。

本明細書のいくつかの部分は、情報に対する動作のアルゴリズムおよび記号表現に関して本開示の実施形態を説明するものである。これらアルゴリズムの説明および表現は、データ処理技術の当業者によって作業の内容を他の当業者に効果的に伝えるために一般に使用される。これらの動作は、機能的、計算的、または論理的に説明されているが、コンピュータプログラムまたはそれと等価な電気回路、マイクロコードなどによって実装されるものであることが理解される。また、一般性を失うことなくこれらの動作の構成をモジュールと呼ぶことが便利である場合があることも分かっている。説明した動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、および／またはハードウェアにおいて具現化され得る。

説明したステップ、動作、または処理は、単独でまたは他のデバイスと組み合わせて、１つまたは複数のハードウェアモジュールまたはソフトウェアモジュールを用いて実行または実装され得る。いくつかの実施形態では、ソフトウェアモジュールは、上述したステップ、動作、または処理のうちのいずれかまたはすべてを実行するためのコンピュータプロセッサによって実行され得るコンピュータプログラムコードを含むコンピュータ可読媒体を備えたコンピュータプログラム製品を用いて実装される。

また、本開示の実施形態は、説明した動作を実行するための装置に関し得る。この装置は、必要な目的のために特別に構築されてもよく、および／またはコンピュータに記憶されたコンピュータプログラムによって選択的にアクティブにされるまたは再構成される汎用コンピューティングデバイスを含み得る。このようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形コンピュータ可読記憶媒体、または電子命令を記憶するのに適した任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含んでもよく、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであってもよい。

また、本開示の実施形態は、本明細書で説明されるコンピューティング処理によって生成される製品に関し得る。このような製品は、コンピューティング処理から生じる情報を含んでもよく、その情報は、非一時的な有形コンピュータ可読記憶媒体上に記憶される。また、そのような製品は、本明細書で説明されるコンピュータプログラム製品または他のデータ組み合わせの任意の実施形態を含んでもよい。

本明細書で使用される用語は、主に読みやすさおよび教示目的のために選択されたものであり、本発明の主題の境界を定めるまたは制限するために選択されたものでない場合がある。したがって、本開示の範囲は、この詳細な説明によってではなく、むしろ本明細書に基づく出願に関して記載される特許請求の範囲によって限定されることが意図される。したがって、実施形態の開示は、特許請求の範囲に記載される本開示の範囲の例示であり、限定ではないことが意図される。

Claims

センサ装置であって、
電圧を生成するように構成された画素セルであって、入射光に応答して電荷を生成するように構成されたフォトダイオードと、前記電荷を電圧に変換する電荷蓄積デバイスとを含む前記画素セルと、
集積回路であって、
第１の期間中に前記電荷蓄積デバイスによって変換された第１のキャプチャ電圧を決定し、
前記第１のキャプチャ電圧を閾値電圧値と比較し、
前記第１のキャプチャ電圧が前記閾値電圧値を満たすかまたは超えると判定することに応答して、
前記第１の期間に対応する第１の時間データを決定し、
前記電荷蓄積デバイスが電荷をさらに生成することを防止する、
ように構成された前記集積回路と、
前記第１のキャプチャ電圧に基づいてデジタル画素値を生成するように構成されたアナログデジタル変換器（ＡＤＣ）と、
前記デジタル画素値および前記第１の時間データを記憶するメモリと、
を備えるセンサ装置。
前記集積回路がラッチを含み、前記画素セルの前記フォトダイオードが前記ラッチを介して前記画素セルの電荷蓄積デバイスに結合されている、請求項１に記載のセンサ装置。
前記ラッチは、前記ラッチが閉じているときに前記電荷蓄積デバイスによる電荷の蓄積を可能とし、前記ラッチが開いているときに前記電荷蓄積デバイスによる電荷の蓄積を防止する、請求項２に記載のセンサ装置。
前記集積回路は、前記電荷蓄積デバイスから前記第１のキャプチャ電圧を受け取って前記第１のキャプチャ電圧を前記閾値電圧値と比較するように構成された比較器を含む、請求項３に記載のセンサ装置。
前記比較器はさらに、前記ラッチに比較信号を出力するように構成されており、前記ラッチは、前記電荷蓄積デバイスからの前記第１のキャプチャ電圧が前記閾値電圧値を満たすかまたは超えることを示す信号を前記比較器から受信することに応答して開かれる、請求項４に記載のセンサ装置。
前記デジタル画素値を処理して増幅値を生成する１つまたは複数のセンス増幅器であって、前記センサ装置から前記増幅値をエクスポートする前に当該増幅値を生成するように構成された前記１つまたは複数のセンス増幅器をさらに備える請求項１に記載のセンサ装置。
前記第１の時間データが、前記第１の期間と少なくとも第２の期間とを含む複数の期間を表すように構成されたバイナリフラグフィールドである、請求項１に記載のセンサ装置。
前記複数の期間は、前記フォトダイオードのタイプに基づいて決定され、前記フォトダイオードのタイプは、入射光強度に基づく電荷生成のレートを示す、請求項７に記載のセンサ装置。
前記複数の期間は、前記センサ装置のターゲットダイナミックレンジに基づいて決定される、請求項８に記載のセンサ装置。
前記第２の期間は前記第１の期間の前に生じ、
前記集積回路はさらに、前記第２の期間に前記電荷蓄積デバイスによって変換された第２のキャプチャ電圧を決定するように構成されている、請求項７に記載のセンサ装置。
前記集積回路はさらに、前記第２の期間に前記電荷蓄積デバイスによって変換された前記第２のキャプチャ電圧を前記閾値電圧値と比較するように構成されている、請求項１０に記載のセンサ装置。
前記集積回路は、前記第２のキャプチャ電圧が前記閾値電圧値を満たさないかまたは超えないと判定することに応答して前記バイナリフラグフィールドを更新するように構成されている、請求項１１に記載のセンサ装置。
前記バイナリフラグフィールドは、前記第１および第２の期間に対応する１ビットバイナリフラグである、請求項１２に記載のセンサ装置。
前記バイナリフラグフィールドは、前記第１および第２の期間ならびに第３および第４の期間に対応する２ビットバイナリフラグであり、前記第３および第４の期間は、前記第１の期間の後に生じる、請求項１２に記載のセンサ装置。
前記集積回路はさらに、前記第１のキャプチャ電圧を前記閾値電圧値と比較する前に前記閾値電圧値を受け取るように構成されている、請求項１に記載のセンサ装置。
前記集積回路は、ＡＤＣランプ生成器から前記閾値電圧値を受け取る、請求項１５に記載のセンサ装置。
前記センサ装置はさらに、前記集積回路に結合された集積回路周辺部を備えており、
前記集積回路周辺部は、前記ＡＤＣランプ生成器を含み、
前記ＡＤＣランプ生成器は、前記ＡＤＣランプ生成器において受信されたランプ入力に基づいて前記閾値電圧値を決定するように構成されている、請求項１６に記載のセンサ装置。
前記集積回路周辺部はさらに、アプリケーションインスタンスに結合されており、前記アプリケーションインスタンスは、
シーンの１つまたは複数の特徴に基づいて前記ランプ入力を決定し、
前記ランプ入力を前記ＡＤＣランプ生成器に送る、
ように構成されている、請求項１７に記載のセンサ装置。
シーンの前記１つまたは複数の特徴は、環境センサ、モーションセンサ、および生成モデルのうちの１つ以上に基づいて生成される、請求項１８に記載のセンサ装置。
フォトダイオードで受光した入射光に基づいて電荷を変換することによって電圧を生成すること、
第１の期間中に生成された第１のキャプチャ電圧を決定すること、
前記第１のキャプチャ電圧を閾値電圧値と比較すること、
前記第１のキャプチャ電圧が前記閾値電圧値を満たすかまたは超えると判定することに応答して、
前記第１の期間に対応する第１の時間データを決定し、
前記第１の時間データをメモリに記憶し、
電荷のさらなる蓄積を防止すること、
前記第１のキャプチャ電圧を、１つまたは複数のデジタル画素値を有するデジタル画素データに変換すること、および、
前記デジタル画素データを前記メモリに記憶すること、
を備える方法。