JP5740413B2 - ピクセルアレイと記憶アレイを別個に備える復調センサ - Google Patents

Description

関連出願

本願は、2010年1月6日付出願の米国仮特許出願第61/292,588号について米国特許法第１１９条(e)項に基づく利益を主張する。この米国仮特許出願の全内容は、参照をもって本明細書に取り入れたものとする。

通常、電子撮像センサは、ｍ×ｎ個の光電性ピクセル（画素）を含む行ｘ≧１、列ｙ≧１のアレイを備える。アレイの各ピクセルは、列および行の選択が可能な専用の読出し回路により、個々にアドレス指定される。センサには、任意で、信号後処理用のブロックが組み込まれている。

典型的に、ピクセルは４つの基本的な機能：光検出、信号処理、情報記憶、およびアナログまたはデジタル変換の機能を有する。これらの各機能がチップ上の一定の領域をそれぞれ消費する。

復調ピクセルと称されるスマートピクセルの特別な集合が、三次元（３Ｄ）撮像の用途で良く知られている。復調ピクセルのさらなる他の用途には、蛍光寿命画像化（ＦＬＩＭ）が含まれる。復調撮像センサのピクセルは、典型的には、入射光の復調を、同期サンプリングによって行うか、または信号と相関させることによって行う。具体的に述べると、信号処理機能は、サンプラまたは相関器に置き換えられる。ピクセルごとのサンプリングプロセスまたは相関プロセスの出力は、ｎ個の異なる電荷パケットまたはサンプル（Ａ０，Ａ１，Ａ３…）である。そのため、ｎ個の情報の記憶にｎ個の記憶箇所が用いられる。典型的に、アナログ領域におけるピクセルの出力は、標準的なソースフォロワ増幅によって達成される。しかし、ピクセルにＡＤ変換器までもが組み込まれるおそれがある。

復調センサの画像品質は、ピクセルごとの測定不確かさによって決まる。標準的な２Ｄ撮像センサと同じく、搬送波の数を多くするほど、復調センサの信号対ノイズ比（ＳＮ比）、つまり、画像品質は向上する。また、３Ｄ撮像センサの場合、搬送波の数を多くするほど、距離不確かさは低減する。一般的に、距離測定の標準偏差σは、フォトンショットノイズが優勢であるか否かに応じて、信号Ａと信号Ａの平方根のいずれかに反比例する。

フォトンショットノイズが優勢である場合、

他のノイズ源が優勢である場合、

復調センサ（ＴＯＦ（飛行時間型）撮像用のセンサ、ＦＬＩＭ用のセンサなど）に用いられるあらゆる復調ピクセルに共通することであるが、ピクセルサイズを縮小して高ピクセル数のアレイを実現しようとすると、問題が生じる。十分な記憶容量、つまり、十分な画像品質を維持するうえで、記憶ノードはピクセル内の一定の領域を必要とするが、高ピクセル数のアレイに移行しようとすると、ピクセルサイズの縮小に伴ってピクセルの開口率が低下する。すなわち、一定の画像品質を得るために必要な記憶領域と、開口率パラメータで表されるピクセルの光感度との間には、トレードオフの関係が成り立つ。達成可能な最低限の画像品質の場合、ピクセルの最小サイズは記憶領域全体の最小サイズで与えられる。

３Ｄ撮像においてセンチメートルないしミリメートルの分解能を得るには、典型的に数十万から数百万個の電荷キャリア、つまり、電子を記憶する必要がある。このような性能要件は、ピクセル内における記憶ノードの面積が、典型的に数百μｍ^２に及ぶことを意味する。その結果、距離分解能および距離精度を犠牲にしない限り、１０μｍ以下のピクセルピッチの実現はほぼ不可能である。

前述のトレードオフの問題は、ピクセルごとに後処理用の論理回路を追加で組み込みたい場合にさらに深刻になる。このような後処理部には、幾つかの例を挙げると、ＡＤ変換、共通信号（common signal）除去用の論理、積分器、微分器などが含まれる。

復調ピクセルのさらなる課題として、衝突電磁波の各種特性を明確に導き出すために必要とされるサンプルの個数が挙げられる。搬送波を正弦波で変調した場合、光波の特性は振幅Ａ、オフセットＢおよび位相Ｐとなる。この場合、一周期につき少なくとも３個のサンプルを取得する必要がある。しかし、ほとんどの一般的なシステムでは、設計的な理由および安定性の理由から４個のサンプルを使用する。一般的に、ｎ＝４個のサンプルの取込みおよび記憶可能なピクセルを実現するには、ピクセルごとに、記憶電子部および読出し電子部などの各種電子部を４組複製する必要がある。その結果、各ピクセルの電子部がさらに増大するので、開口率がさらに減少する。

上記のような感度損失を避けるために、ほとんどの一般的なアプローチでは、一周期につき２個のサンプルのサンプリングおよび記憶が可能な復調ピクセルである、いわゆる２タップ・ピクセルを使用する。このようなタイプのピクセルアーキテクチャは、全ての光電子を信号に変換することができ、光を一切無駄にしないので、感度の面で理想的である。しかし、一方で、４個のサンプルを得るには結果的に少なくとも２回の測定が必要となる。また、サンプリングミスマッチやその他の非理想特性により、ピクセルミスマッチを除去、あるいは、少なくとも軽減するために、さらに４個の画像が必要となる場合がある。このようなアプローチは、Lustenberger、Oggier、BeckerおよびLameschによる特許文献１（「位相測定システムにおいて冗長距離測定およびミスマッチ除去を行う方法および装置（Method and device for redundant distance measurement and mismatch cancellation in phase measurement systems）」）で紹介されている。なお、この特許文献の全内容は、参照をもって本明細書に取り入れたものとする。複数個の画像を取得および組み合わせて１つの奥行き画像を推定する構成では、シーン中の動きまたは移動カメラにより、測定したデプスマップ（奥行き情報）にアーチファクトが現れる。異なるサンプルが互いに時間的に離れているほど、モーションアーチファクトは悪化する。

米国特許第７４６２８０８号明細書

本発明は、ピクセルの開口率を著しく低下させることなく、また、記憶ノードのさらなる小型化により画像品質を犠牲にすることなく、ピクセルサイズを縮小させるという課題を解決することができる。また、この解決策は、各ピクセルの信号ごとに、追加の後処理回路をほぼ所望に組み込むことを可能にする。さらに、この解決策は、飛行時間型カメラのモーションアーチファクトを最小限に抑えることができる。

一般的に、本発明の一構成は復調センサに関し、この復調センサは、複数のピクセルを含み、各ピクセルが少なくとも２個のサンプルを生成するピクセルアレイと、複数の処理要素および／または記憶要素を含み、各記憶要素が前記複数のピクセルのうちの対応する１つから前記少なくとも２個のサンプルを受け取る記憶アレイ（プロクセル（proxel（process-pixel））アレイ）とを備える。

一部の実施形態において、前記ピクセルは、入射光が電荷キャリアを生成する光感受性領域（光電性領域）と、複数の記憶箇所に前記電荷キャリアを転送する復調器／相関器とを有する。

好ましくは、前記ピクセルによって生成された前記サンプルを対応する前記記憶要素に転送する転送システムが設けられる。例えば、前記転送システムは、前記記憶要素が受け取る前記サンプルをＡＤ変換する。

一部の例では、前記記憶要素が、前記サンプルを受け取る記憶ノードの飽和を監視する。また、前記サンプルを受け取る複数の互いに異なる大きさの記憶ノードが設けられてもよい。また、奥行き情報を求める後処理とともにミスマッチ除去が実行されてもよい。

一般的に、本発明の他の構成は飛行時間型カメラシステムに関し、この飛行時間型カメラシステムは、変調光を生成する光源と、復調センサとを備える。当該復調センサは、複数のピクセルを含み、各ピクセルが前記変調光の少なくとも２個のサンプルを生成するピクセルアレイと、複数の記憶要素を含む記憶アレイとを具備する。各記憶要素は、前記複数のピクセルのうちの対応する１つから前記少なくとも２個のサンプルを受け取る。

一般的に、本発明のさらなる他の構成は復調方法に関し、この復調方法は、ピクセルアレイにおいて変調光を検出する過程であって、当該ピクセルアレイが複数のピクセルを含み、各ピクセルが前記変調光の少なくとも２個のサンプルを生成するものである過程と、前記少なくとも２個のサンプルを前記ピクセルアレイの各ピクセルから記憶アレイに転送する過程と、前記記憶アレイの記憶要素において、前記ピクセルのうちの対応する１つのピクセルから前記少なくとも２個のサンプルを受け取る過程とを含む。

新規な各構成の詳細および構成要素の組合せも含め、本発明の上述の特徴およびその他の特徴、ならびにその他の利点を、添付の図面を参照しながら具体的に説明し、特許請求の範囲で指摘する。本発明を具体化した後述の装置および方法は一例に過ぎず、本発明を限定するものではない。本発明の原理および特徴は、本発明の範囲を逸脱しない範囲で様々な実施形態に用いることができる。

添付の図面における同一の符号は、異なる図をとおして同一の構成要素または構成を指す。図面は必ずしも縮尺どおりではなく、本発明の原理を表すことに重点を置いている。

光電性ピクセルアレイと、ピクセルごとにさらなる処理機能、最終記憶および読出し能力を具備した、前記ピクセルアレイとは別個の記憶アレイまたはプロクセルアレイとを備える電子撮像センサの概略図である。 飛行時間型カメラの基本原理を示す図である。 一般的な復調ピクセルの機能を示すブロック図である。 一般的なプロクセルの機能を示すブロック図である。 ピクセルからプロクセルに情報をシフトさせるのに必要な時間を短縮する、１つのピクセルマトリクスと２つのプロクセルアレイとを備えた電子撮像センサの概略図である。 アナログ領域で電荷を記憶するプロクセルを示す回路図である。 積算時間制御機能を有するプロクセルを示す回路図である。 可変出力感度を有するプロクセルを示す回路図である。 ＤＣ信号抑圧回路を有するプロクセルを示す回路図である。 復調ピクセルごとのサンプリング数を増加することが可能なプロクセルを示す回路図である。 図１０のプロクセルのタイミング図である。 ミスマッチ補償能力を具備したプロクセルを示す回路図である。 図１２のプロクセルのタイミング図である。 ＡＤ変換器を有するピクセル−プロクセル接続部を示す図である。 本発明を用いない、従来の２タップ・ピクセルを用いた２タップ数復調に基づく３Ｄ画像取得のタイミング図である。 互いに別個であるピクセルアレイおよびプロクセルアレイを用いた新規のアプローチに基づく、図１５に対応するタイミング図である。 露光時間を可変とした、２タップ・ピクセルおよびプロクセルのタイミング図である。

図１に、本発明の原理に従って構成された復調センサ１００を示す。

図示のアーキテクチャは、ピクセルから要素を抽出し、当該要素を物理的に離れた要素として配置する。前記要素は、典型的にはピクセル内に組み込まれる要素であるが、必ずしも光検出に必要とされない。前記物理的に離れた要素は、基本的には記憶要素、場合によっては記憶要素と処理要素の両方であり、記憶要素またはプロクセル（proxel（process-pixel））と称される。その結果、前記センサは、ｘ×ｙ個のピクセルを含むピクセルアレイ１１０と、ｘ×ｙ個の記憶要素またはプロクセル３１０を含む記憶プロクセルアレイ１５０とを備える。記憶要素またはプロクセル３１０は、さらなる処理、情報の記憶、および読出しに使用される。ｘおよびｙは、通常１００を超える数値であり、好ましくは２００を超える数値である。一部の例において、ｘおよびｙは１，０００を超える数値である。これら２つのアレイ１１０，１５０は、互いに物理的に離れており、好ましくはチップ上で互いに物理的に重なり合わない別個のアレイの形態で互いに物理的に離れている。

好ましくは、プロクセルアレイ１５０において複数の機能が取り扱われる。つまり、センサ１００は、ピクセルアレイ１００と、各プロクセル３１０がピクセル２１０（好ましくは、特定の１つのピクセル２１０）にリンクしかつ関連付けられたプロクセルアレイ１５０とを備える。

なお、プロクセルアレイ１５０は必ずしも連続的なアレイ（途切れのないアレイ）である必要がないことに留意されたい。例えば、プロクセルアレイ１５０は、ピクセルアレイ１１０を取り囲む２つ、３つまたは４つのマトリクスに分割されてもよい。

ピクセル２１０からプロクセル３１０へのデータの転送は、ピクセル読出しデコーダ１８２によって制御され、転送接続システム（転送または接続のシステム）１８０を介して転送される。ピクセル読出しデコーダ１８２は、ピクセル２１０を選択し、対応するプロクセル３１０との接続１８０を確立する。好ましくは、ピクセルフィールド１１０の読出しは行ごとに行われる。つまり、前記読出しデコーダは、ピクセルフィールド１１０のうちの少なくとも１つの行を選択し、このように選択された行が、プロクセルフィールド１５０におけるプロクセル３１０の対応する行に接続される。この場合、転送接続システム１８０の接続ラインが、一列の全てのピクセルによって共有される。ピクセルの読出しをさらに高速化するために、複数の行を選択して転送するようにしてもよい。

センサ１００には、さらに、プロクセルの読出しを制御するプロクセル読出しデコーダ１８６が含まれる。任意で、ＡＤ変換および／または位相／奥行き情報計算を、例えばｎ個の取得されたサンプルに基づいて行う、信号後処理用のブロック１８４が設けられてもよい。

一部の実施形態では、ピクセルアレイ１１０とプロクセルアレイ１５０との間の転送接続システム１８０がＡＤ変換器を有し、これにより、プロクセルアレイに到達して処理される情報はデジタルとなる。

図２に、本発明にかかるセンサ１００を用いた３Ｄ ＴＯＦ（飛行時間型三次元）カメラの典型的な用途を示す。

詳細には、光源または発光部５１０（任意で、リフレクタまたは投写光学系５１２を具備する）が変調光５１４を生成する。変調光５１４は、カメラから距離Ｒの範囲に位置する３Ｄシーン５１６に向けられている。シーン５１６からの反射光５１８が対物レンズ系５２０によって集光され、任意で、バンドパスフィルタに通されることにより、発光部５１０が放射する波長の光のみが伝達される。ＴＯＦセンサ１００のピクセルアレイ１１０に画像が形成される。制御部５２２が、発光部５１０の変調と、ＴＯＦ検出チップ１００のサンプリングとを連係させる。これにより、同期復調が達成される。つまり、ピクセルアレイ１１０の各ピクセル２１０において生成されたサンプルが、発光部５１０の変調と同期して、ピクセル内の記憶バケット（記憶箇所）、および／または記憶プロクセルアレイ（記憶もしくはプロクセルのアレイ）１５０におけるプロクセル３１０内の記憶バケット（記憶箇所）に記憶される。変調信号の種類は正弦波に限定されないが、ここでは正弦波変調を一例として用いる。

情報またはサンプルは、記憶プロクセルアレイ１５０に転送された後、制御部５２２によって読み出される。制御部５２２は、チップ１００によって生成されたサンプルを用いて、シーンまでの距離Ｒがチップ１００の全ピクセルについて得られるように３Ｄ画像表現を再構成する。

正弦波変調の場合において、各ピクセル／プロクセルによって生成されるサンプルとしてｎ＝４個のサンプルＡ０，Ａ１，Ａ２，Ａ３を用いると、変調信号の決定的な３つの変調パラメータである振幅Ａ、オフセットＢおよび位相シフトＢが以下の式によって導き出される：

Ａ＝ sqrt[(A3 - A1)^2 + (A2 - A1)^2] / 2

Ｂ＝ [A0 + A1 + A2 + A3] / 4

Ｐ＝ arctan[(A3 - A1) / (A0 - A2)]

センサ１００の各ピクセル２１０が同時に光信号を復調することができるので、制御部５２２は、リアルタイム、すなわち、最大３０ヘルツ（Ｈｚ）のフレームレート、あるいいは、それ以上のフレームレートで、３Ｄ画像を提供することができる。連続正弦波変調によって生じる発信信号と受信信号との間の位相遅延（Ｐ）は、以下の式のとおり距離Ｒに正比例する：

Ｒ＝ (P*c) / (4*π*fmod)

式中、fmodは光信号５１４の変調周波数である。技術水準の典型的な変調周波数は、数メガヘルツ（ＭＨｚ）ないし数百メガヘルツ（ＭＨｚ）、あるいは、それ以上のＧＨｚである。

図３に、複数の異なる機能ブロックを具備した復調ピクセル２１０を示す。ピクセル２１０の光感受性領域（光電性領域）２１２において、衝突光が荷電キャリアに変換される。典型的に、光感受性領域２１２には横方向のドリフト電場が設けられており、このドリフト電場により、電荷キャリアが復調器/相関器（復調器または相関器）２１８にスイープ（掃引または走査）される。復調器／相関器２１８は、光生成された電荷を、ｎ個の異なる記憶箇所２２０Ａ，２２０Ｂ〜２２０Ｎに交替して転送する。典型的に、複数の異なる記憶箇所２２０Ａ，２２０Ｂ〜２２０Ｎへの転送は、光源５１０の変調と同期して行われる。

復調ピクセルの多くは、ｎ個のサンプルを有する記憶箇所２２０の読出しの前段に、ピクセル内処理部２２２（例えば、コモンモード抑圧などを行う処理部）を有する。最も単純な形態の復調ピクセル２１０は、感受性領域２１２、相関器／復調器２１８、記憶箇所２２０および読出し部２２４のみを有する。

感知部２１２および復調部２１８は、米国特許法第７４９８６２１号明細書に記載された横方向の動的ドリフト電場を用いて行ってもよく、米国特許出願公開第２００８／０２３９４６６号明細書に記載された横方向の静的ドリフト電場を用いて行ってもよい。なお、これらの米国特許および米国特許出願の全内容は、参照をもって本明細書に取り入れたものとする。また、横方向の静的ドリフト電場の原理に基づくアプローチについては、様々なものが発表されている。例えば、B. Buttgen, F. LustenbergerおよびP. SeitzによるDemodulation Pixel Based on Static Drift Fields（静的ドリフト電場に基づく復調ピクセル）, IEEE Transactions on Electron Devices, 53(11):2741-2747, November 2006、Cedric TubertらによるHigh Speed Dual Port Pinned-photodiode for Time-Of-Flight Imaging（２つのポートにピン接続された飛行時間型撮像用の高速フォトダイオード）, International Image Sensor Workshop Bergen 2009、ならびにD. Durini, A. Spickermann, R. Mahdi, W. Brockherde, H. Vogt, A. Grabmaier、およびB. Hostickaによる“Lateral drift- field photodiode for low noise, high-speed, large photoactive-area CMOS imaging applications”（低ノイズかつ高速で広い光活性領域を有する、横方向のドリフト電場を具備したＣＭＯＳ撮像用のフォトダイオード）, Nuclear Instruments and Methods in Physics Research A, 2010を参照されたい。主電流の切替によって支援する光検出法（M. KuijkおよびD. van Niewenhoveによる2003年9月公開の欧州特許出願公開第１５１３２０２号である“Detector for electromagnetic radiation assisted by majority current”（主電流によって支援される、電磁放射検出器）の明細書を参照）や、大規模なトランスファゲート群の切替に基づく方法（米国特許第５８５６６６７号明細書、米国特許第６８２５４５５号明細書、および米国特許出願公開第２００２／００８４４３０号を参照）などといった他の方法では、光感受性領域２１２と復調部２１８とが互いに物理的に離れていない。これらの感知／復調の方法は、全て本発明に適用可能である。

図４に、記憶要素（プロクセル）３１０の機能を示す。さらなる処理部３１２により、対応するピクセルからの信号のさらなる処理が行われ、このようにして生成された情報を情報記憶部３１４が記憶し、データ読出し部３１６が情報読出しを可能にする。ピクセルマトリクス１１０が読み出される代わりに、プロクセルアレイ１５０が読み出される。

本発明にかかる技術を利用した復調センサは、数多くの利点を提供し得る。例えば、開口率および各ピクセルのデータ品質を犠牲にすることなく、ピクセルサイズを減少させることができる。また、ピクセルの出力に適用する処理工程について、より多くの処理工程を組み込むことを可能にする、高い融通性を提供し得る。そのような処理工程には、ダイナミックレンジ向上、ピクセルごとの積算時間制御、記憶部の静電容量をいくつか設けることによる電荷オーバーフロー能力、静電容量切替によるバックグラウンド抑圧、復調ピクセルを用いた際のサンプリング点の増加、および積算期間と積算期間との間におけるプロクセル内の適切な静電容量切替によって行うピクセル内のミスマッチ問題の解消等が含まれる。

図５に、ピクセル２１０のピクセルアレイ１１０と、分割されたプロクセルアレイとを備えるセンサを示す。分割されたプロクセルアレイは、プロクセル３１０の第１プロクセルアレイ１５０Ａと第２プロクセルアレイ１５０Ｂとを含む。半分のプロクセルアレイ（１５０Ｂ）を上方に設置し、もう半分のプロクセルアレイ（１５０Ａ）をピクセルアレイ１１０の下方に設置することにより、データフローのパラレル化によって、ピクセル２１０からプロクセル３１０への信号のシフト速度が上昇する。また、プロクセルアレイを分割することにより、設計上の空間的制約が軽減される。

同様に、信号後処理部も、第１プロクセルアレイ１５０Ａ用の第１信号後処理部１８４Ａと第２プロクセルアレイ１５０Ｂ用の第２信号後処理部１８４Ｂとに分割される。また同様に、２つのプロクセル読出しデコーダ１８６Ａ，１８６Ｂが設けられる。

以下では、さらなるプロクセルの構成を開示する。これらプロクセルの機能の各ピクセルへの統合は、これら特定の処理工程をピクセルアレイから取り除くという間接的な手法によってのみ可能となる。以下の例では、プロクセルアレイに組み込まれる機能を指し示すために、ピクセルアレイ２１０とプロクセルアレイ３１０との間に２つの接続部が設けられている。

なお、以下の異なる例は、互いに容易に組み合せることができる。

図６に、光電性のピクセルアレイと荷電記憶要素との分離を示す。詳細には、ピクセル２１０は、転送接続システム１８０において任意の数の出力ラインを有し得る。図示の例ではピクセルの出力の数は２つ（ｎ＝２）であるが、他の実施形態ではｎ＝４、あるいは、それ以上の数であってもよい。プロクセルは、前記ピクセルの出力と同じ数の記憶ノード３１４Ａ，３１４Ｂ（静電容量で表される）を有する。バッファ要素または読出しアンプ３１６Ａ，３１６Ｂは、プロクセル読出しデコーダ１８６で制御されるProxel_readout（「プロクセル読出し」）と称された選択信号によって活性化されることにより、記憶ノード３１４Ａ，３１４Ｂに記憶されたアナログ数値の読出しを可能にする。ピクセル２１０からプロクセル３１０への情報（電荷）の転送は、これらの要素同士を出力接続ライン１８０におけるスイッチ３１８Ａ，３１８Ｂによって接続することにより実現される。スイッチ３１８Ａ，３１８Ｂは、ピクセル読出しデコーダ１８２で制御されるPixel_readout（「ピクセル読出し」）と称された信号によって活性化される。

図７に、プロクセル３１０に対する自動積算制御が可能な一実施形態を示す。最終的なサブ画像は、まずピクセル２１０に取り込まれてから、ピクセル２１０から転送接続システム１８０を介してプロクセル３１０に転送される。ピクセル２１０の情報は、プロクセル３１０におけるキャパシタ３１４Ａ，３１４Ｂで記憶かつ積算され、サブ画像となる。キャパシタ３１４Ａ，３１４Ｂの電圧が基準電圧、例えば飽和を表す閾値を超えると、比較器３２０が、スイッチ３２２Ａ，３２２Ｂを制御することによって後続の全ての情報転送プロセスを不活性化させる。いくつかのサンプルが記憶されることを必要とする復調ピクセル２１０の場合、１個のサンプルの飽和をフィードバックすることにより、好ましくは後続の取得されるサブ画像用の全てのサンプルについて、プロクセル３１０におけるスイッチ３２２が解放される。

図８に、より大きいダイナミックレンジでの動作を可能にするプロクセル３１０の一例を示す。光生成された電荷（光で生成された電荷）は、ピクセルの出力ごとに、ピクセル２１０から転送接続システム１８０を介してプロクセル３１０における第１静電容量３２６Ａ，３２６Ｂに転送される。電圧が基準電圧Ｖｒ２を超えると、電荷が中間静電容量３２８Ａ，３２８Ｂに流れ込む。Ｖｒ１＜Ｖｒ２として、電圧がさらにＶｒ１を超えると、電荷は大静電容量３３０Ａ，３３０Ｂに流れ込む。この構成によると、低い信号が小さい静電容量に蓄積されるので、感度が高くなる。また、高い信号、すなわち強い信号が大きい静電容量に蓄積されることは、低い出力感度ではあるがダイナミックレンジの向上を意味するので、野外や日中での動作といったバックグラウンド光のレベルが高い環境でもセンサは動作することができる。

図９に、プロクセル３１０がＤＣ抑圧能力を有する一実施形態を示す。典型的な復調ピクセルはある程度の数のサンプリング出力を提供し、これらのサンプル数値間の差分が必要となる場合がある。アナログ領域においてサンプル間の減算を行うため、情報抽出に貢献せずに早期飽和を招くＤＣ成分を抑えることができる。

図示のプロクセル３１０は、ピクセルの２つの出力に適用されたＤＣ抑圧回路を有する。ピクセルのさらなる数の出力を減算する必要があれば、このようなＤＣ抑圧回路をプロクセルに複数組み込んでもよい。

スイッチングのタイミングを適切に設定することにより、最終的なサブ画像に取り込まれかねない各チャネル間のＤＣ成分が除去され、これを静電容量３１４に蓄積することができる。

差分出力３２２は、読出しの間バッファリングに用いられる。

一般的に、復調ピクセルのサンプル出力はタップと称される。すなわち、２タップの復調ピクセルはｎ＝２個のサンプル出力を有する。このようなピクセルを用いて、例えば正弦波で強度変調された光波を０°、９０°、１８０°および２７０°の等間隔のステップで４回サンプリングする場合、続けて２回の測定を実行する必要がある。第１の測定で例えば０°および１８０°のサンプルを出力し、第２の積算サイクルで９０°および２７０°位相のサンプルを出力する。

しかし、４タップ数ピクセル構造が利用可能な場合、ｎ＝４個の全てのサンプルを１つの取得サイクル内で得ることができる。本発明にかかるプロクセルを用いるアプローチであれば、２タップ・ピクセル構造であっても、１つの取得サイクル内で４個全てのサンプルを得ることが可能になる。このプロクセル３１０を用いることで、ｎ＝２個から＝４個にサンプルの数を増加することができる。

一般的に、このような概念は、任意のタップ数を有するピクセル構造およびプロクセル構造に拡張可能であり、これにより、サンプルの数も任意の数に増加することができる。

図１０に、２タップ・ピクセル構造を４タップ数プロクセル構造に変換する特別な例を示す。動作の第１フェーズにおいてスイッチ３４４，３４８は閉じられている。０°情報／１８０°情報の積算の間スイッチ３４４，３４８が閉じられていることにより、ピクセル２１０からの、転送接続システム１８０の出力ライン上の荷電は、記憶箇所３３６，３４０に転送されて当該記憶箇所３３６，３４０を帯電させる。次のフェーズでは、９０°情報／２７０°情報の積算の間スイッチ３４６，３５０が閉じられることにより、ピクセル２１０からの、出力ライン１８０上の荷電は、記憶箇所３３８，３４２に転送されて当該記憶箇所３３８，３４２を帯電させる。

図１１は、図１０に対応するタイミング図である。取込みプロセスごとに、サンプリングプロセスが０°／１８０°位相取得と９０°／２７０°位相取得との間で切り替わる。デジタル信号0/180_activated（「０／１８０活性化」）および90/270_activated（「９０／２７０活性化）により、０°および１８０°のサンプル群と、９０°および２７０°のサンプル群のいずれのサンプル群が現在取得されるのかが決まる。このスイッチング方式により、ピクセルの２つの出力値が、プロクセル３１０内の対応する積算段３３６および３４０、あるいは、積算段３３８および３４２に転送される。プロクセル３１０内のスイッチ３４４，３４６，３４８，３５０は、信号0/180_activatedおよび90/270_activatedによって制御される。

ピクセルの４つの出力は、各サンプルが表す特定の位相値に合わせて、Out_0，Out_90，Out_180，およびOut_270と表される。

図１２に、アナログ経路間のピクセル内ミスマッチの補償を可能にするプロクセル回路を示す。転送接続システム１８０が２つの出力部を有する復調ピクセル２１０を例として、ピクセルの出力部は、スイッチ３５６，３６０が閉じ、その後にスイッチ３５８，３６２が閉じることにより、プロクセル３１０内の２つの積算要素（記憶ノード）３５２，３５４に交互に接続される。このような交互接続は、１つの完全な取得サイクル内の連続する複数の積算プロセスの間に行われる。１つの完全な取得サイクルでは、少なくとも２個の連続する画像、好ましくは多数個の連続する画像が取得される。

図１３は、連続する積算プロセスのための、異なるピクセル−プロクセル接続部間の切替を詳細に示したタイミング図である。信号mismatch_comp（「ミスマッチ補償」）およびnot_mismatch_comp（「ミスマッチ補償でない」）により、それぞれ対応するスイッチ３５８／３６２、スイッチ３５６／３６０が制御される。スイッチ３５８／３６２、スイッチ３５６／３６０は、ピクセルの出力１８０とプロクセルの積算ノード３５２，３５４とを接続する。なお、物理的な出力経路が信号mismatch_compおよび信号not_mismatch_compによって変化してもサンプルの論理値がプロクセル内の常に同じ積算要素に接続されるように、ピクセルもそれに応じて交互に動作する必要がある。

図１４に、情報をデジタル領域に変換する、ピクセルからプロクセルへの転送接続システム１８０を示す。このように、プロクセル３１０はデジタルの数値を取り扱う。図１４の例では、１本の出力ラインにつき１つのＡＤ変換器を設ける。仕様に応じて、マルチプレクサ方式、シリアル方式、パイプライン方式、またはこれらの組合せなど、その他のＡＤ変換構成も考えられ得る。デジタル領域への変換により、プロクセル３１０内でのデータの処理手法として、様々な手法を実施することが可能になる。積算、ミスマッチ除去、サンプルの数の増加、バックグラウンド減算、感度の可変化などといった既述の様々な処理タスクを、プロクセル３１０内でデジタル的に実行できる。また、複数のプロクセルのデジタルビニングも可能になる。３Ｄ撮像用の復調ピクセルの場合、プロクセルは、全位相／全距離計算を後処理で実行することができ、さらには、基準測定値の減算などの較正を実行することもできる。サンプリングしたデータをデジタル値に変換する詳細な例として、Oggier、LehmannおよびBuettgenによる“On-chip time-based digital conversion of pixel outputs（ピクセル出力の、チップ上での時間ベースのデジタル変換）”（米国特許出願公開第２００９／００２１６１７号明細書）が挙げられる。この文献の全教示内容は、参照をもって本明細書に取り入れたものとする。

図１５は、典型的な２タップの復調ピクセル２１０のタイミング図である。ミスマッチ除去のアプローチでは、４個の画像が取得される。第１の取得では、出力１が０°のサンプルを供給し、出力２が１８０°のサンプルを取り込む。その後、データはチップ外に転送および記憶される。第２の取得では、９０°および２７０°が取り込まれる。サンプリングミスマッチおよびチャネルミスマッチを除去するために、第３の取得は、第１の取得の際のサンプリングを単純に逆にしたものとする。つまり、出力１は１８０°を提供し、出力２は０°を取り込む。最後の第４の画像では、出力１が２７０°のサンプルを有し、出力２が９０°のサンプルを有する。両方のチャネルの４個全ての画像がチップ外に転送された後、位相、振幅およびオフセットの算出に用いられる。

図１６は、２タップ・ピクセルアーキテクチャにおいて同様のミスマッチ除去を行う、センサ１００の動作を示すタイミング図である。サンプルの別々の積算時間が大幅に短縮されており、また、全体的な画像取得を通してサンプルの別々の積算が上手くミックスさている。このプロクセルは、チップ上での中間的な記憶が可能である。これにより、高速な読出しが可能となるので、異なるサンプルを極めて近接した間隔で取込むことができる。さらに、これにより、モーションアーチファクトを軽減することができる。

図１７は、ダイナミックレンジを向上させる、センサ１００の動作を示すタイミング図である。各サブ積算は、互いに異なる露光時間を有する。各プロクセル３１０は、ピクセル２１０ごとに連続するサンプルの品質を評価する。一般的に、飽和および信号対ノイズ比がチェックされる。品質が良好な場合、取り込まれたサンプル値がプロクセル内で積算される。この特定の例についても、ミスマッチ除去を行う２タップ・ピクセルセンサの積算タイミングおよび出力タイミングを図示する。このようなタイミングは、図１４のデジタル変換およびプロクセルと組み合わせて適用してもよく、さらには、前述したその他のプロクセルの実施形態にも適用可能である。

以上のように、ピクセルの信号記憶性能を犠牲にすることなくピクセルサイズを縮小することができる、撮像センサの新たな設計概念を立証した。この概念の要点は、信号の中間記憶を保証するのに絶対的に必要な記憶ノードのみをピクセル内に維持しながら、最終的な記憶ノードをピクセルフィールドからチップ上の記憶要素のアレイに移動させることである。また、複数の要素を含み、各要素が特定のピクセルとリンクした外部アレイを設けたことにより、新たな機能の導入が可能となる。例えば、アナログおよびデジタルの処理回路を、ピクセルの光感受性に悪影響を全く及ぼすことなく、極めて高い融通性をもってセンサに集積することができる。ピクセルごとにさらなる処理工程を組み込むことのできる融通性は、いわゆる復調ピクセルにとって有利である。ピクセルアーキテクチャを調節せずに、様々な概念、例えば、マルチサンプリングやピクセル内のミスマッチ補償等を容易に実施することができる。

以上のとおり、本発明を好ましい実施形態に基づいて具体的に図示し詳細に説明した。しかし、当業者であれば、添付の特許請求の範囲に包含される本発明の範囲を逸脱することなく形態および細部に対して様々な変更が可能であることを理解するであろう。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様１〕
複数のピクセルを含むピクセルアレイであって、前記ピクセルのそれぞれが少なくとも２個のサンプルを生成するピクセルアレイと、
複数の記憶要素を含む記憶アレイであって、前記記憶要素のそれぞれが前記複数のピクセルのうちの対応する１つから前記少なくとも２個のサンプルを受け取る記憶アレイとを備えた、復調センサ。
〔態様２〕
態様１に記載の復調センサにおいて、前記ピクセルが、
入射光が電荷キャリアを生成する光感受性領域と、
複数の記憶箇所に前記電荷キャリアを転送する復調器／相関器とを有する、復調センサ。
〔態様３〕
態様１に記載の復調センサにおいて、前記記憶要素が、対応する前記ピクセルによって生成された前記サンプルを蓄積する記憶箇所を有する、復調センサ。
〔態様４〕
態様１に記載の復調センサにおいて、さらに、
前記ピクセルによって生成された前記サンプルを対応する前記記憶要素に転送する転送システムを備えた、復調センサ。
〔態様５〕
態様４に記載の復調センサにおいて、前記転送システムは、前記記憶要素が受け取る前記サンプルをＡＤ変換する、復調センサ。
〔態様６〕
態様１に記載の復調センサにおいて、前記記憶要素が、前記サンプルを受け取る記憶ノードの飽和を監視する、復調センサ。
〔態様７〕
態様１に記載の復調センサにおいて、前記記憶要素が、前記サンプルを受け取る複数の互いに異なる大きさの記憶ノードを有する、復調センサ。
〔態様８〕
態様１に記載の復調センサにおいて、前記記憶要素が、ミスマッチ除去を実行するように、前記２個のサンプルを異なる記憶ノードに交替で記憶する、復調センサ。
〔態様９〕
態様１に記載の復調センサにおいて、さらに、
奥行き情報を求める後処理部を備えた、復調センサ。
〔態様１０〕
変調光を生成する光源と、
復調センサとを備えた飛行時間型カメラシステムであって、
前記復調センサは、
複数のピクセルを含むピクセルアレイであって、前記ピクセルのそれぞれが前記変調光の少なくとも２個のサンプルを生成するピクセルアレイと、
複数の記憶要素を含む記憶アレイであって、前記記憶要素のそれぞれが前記複数のピクセルのうちの対応する１つから前記少なくとも２個のサンプルを受け取る記憶アレイとを有する、飛行時間型カメラシステム。
〔態様１１〕
ピクセルアレイにおいて変調光を検出する過程であって、当該ピクセルアレイが、複数のピクセルを含み、これらピクセルのそれぞれが前記変調光の少なくとも２個のサンプルを生成するものである過程と、
前記少なくとも２個のサンプルを前記ピクセルそれぞれから記憶アレイに転送する過程と、
前記記憶アレイの記憶要素において、前記ピクセルのうちの対応する１つから前記少なくとも２個のサンプルを受け取る過程とを備えた、復調方法。
〔態様１２〕
態様１１に記載の復調方法において、前記ピクセルが、
前記変調光が電荷キャリアを生成する光感受性領域と、
複数の記憶箇所に前記電荷キャリアを転送する復調器／相関器とを有する、復調方法。
〔態様１３〕
態様１１に記載の復調方法において、さらに、
前記記憶要素が受け取る前記サンプルをＡＤ変換する過程を備えた、復調方法。
〔態様１４〕
態様１１に記載の復調方法において、さらに、
前記サンプルを受け取る記憶ノードの飽和を監視する過程を備えた、復調方法。
〔態様１５〕
態様１１に記載の復調方法において、さらに、
ミスマッチ除去を実行する過程を備えた、復調方法。
〔態様１６〕
態様１１に記載の復調方法において、さらに、
奥行き情報を求める後処理を行う過程を備えた、復調方法。
〔態様１７〕
変調光を生成する過程と、
ピクセルアレイにおいて前記変調光の少なくとも２個のサンプルを生成する過程と、
前記サンプルを記憶アレイに転送する過程とを備えた飛行時間法であって、
前記記憶アレイが、
複数の記憶要素を含み、前記記憶要素のそれぞれが前記ピクセルアレイの対応するピクセルから前記少なくとも２個のサンプルを受け取るものである、飛行時間法。

１００ 復調センサ
１１０ ピクセルアレイ
１５０ 記憶アレイ
２１０ ピクセル
３１０ 記憶要素

Claims (17)

1. 複数のピクセルを含むピクセルアレイであって、前記ピクセルのそれぞれが少なくとも２個のサンプルを生成するピクセルアレイと、
   複数の記憶要素および複数の処理要素を含むプロクセルアレイであって、前記記憶要素のそれぞれが前記複数のピクセルのうちの対応する１つから前記少なくとも２個のサンプルを受け取るプロクセルアレイと、
   前記ピクセルアレイから前記プロクセルアレイの対応する前記記憶要素に前記サンプルを転送する転送システムであって、受信される前記サンプルが前記プロクセルアレイにおける処理のためにデジタルとなるように、前記サンプルをＡＤ変換する、転送システムとを備えた、復調センサ。
2. 請求項１に記載の復調センサにおいて、前記ピクセルが、
   入射光が電荷キャリアを生成する光感受性領域と、
   複数の記憶箇所に前記電荷キャリアを転送する復調器とを有する、復調センサ。
3. 請求項１に記載の復調センサにおいて、前記記憶要素が、対応する前記ピクセルによって生成された前記サンプルを蓄積する記憶箇所を有する、復調センサ。
4. 請求項１に記載の復調センサにおいて、前記記憶要素が、前記サンプルを受け取る記憶ノードの飽和を監視する、復調センサ。
5. 請求項１に記載の復調センサにおいて、前記記憶要素が、前記サンプルを受け取る複数の互いに異なる大きさの記憶ノードを有する、復調センサ。
6. 請求項１に記載の復調センサにおいて、前記記憶要素が、ミスマッチ除去を実行するように、前記２個のサンプルを異なる記憶ノードに交替で記憶する、復調センサ。
7. 請求項１に記載の復調センサにおいて、さらに、
   奥行き情報を求める後処理部を備えた、復調センサ。
8. 請求項１に記載の復調センサにおいて、前記少なくとも２個のサンプルが、光源によって生成される変調光の１周期ごとに取得される、復調センサ。
9. 請求項１に記載の復調センサにおいて、前記プロクセルアレイの各プロクセルが、前記ピクセルアレイの特定のピクセルに関連付けられている、復調センサ。
10. 請求項１に記載の復調センサにおいて、当該復調センサがチップ上に実現されており、前記ピクセルアレイおよび前記プロクセルアレイが、前記チップ上にあり、前記プロクセルアレイが前記ピクセルアレイから物理的に離れている、復調センサ。
11. 変調光を生成する光源と、
    復調センサとを備えた飛行時間型カメラシステムであって、
    前記復調センサは、
    複数のピクセルを含むピクセルアレイであって、前記ピクセルのそれぞれが前記変調光の少なくとも２個のサンプルを生成するピクセルアレイと、
    複数の記憶要素および処理要素を含むプロクセルアレイであって、前記記憶要素のそれぞれが前記複数のピクセルのうちの対応する１つから前記少なくとも２個のサンプルを受け取るプロクセルアレイとを有し、
    前記復調センサが、さらに、前記ピクセルアレイから前記プロクセルアレイの対応する前記記憶要素に前記サンプルを転送する転送システムであって、受信される前記サンプルが前記プロクセルアレイにおける処理のためにデジタルとなるように、前記サンプルをＡＤ変換する、転送システムを備える、飛行時間型カメラシステム。
12. ピクセルアレイにおいて変調光を検出する過程であって、当該ピクセルアレイが、複数のピクセルを含み、これらピクセルのそれぞれが前記変調光の少なくとも２個のサンプルを生成するものである過程と、
    前記ピクセルそれぞれの前記少なくとも２個のサンプルをＡＤ変換する過程であって、このＡＤ変換が転送システムによって実行される過程と、
    前記少なくとも２個のサンプルを、前記ピクセルそれぞれから、複数の記憶要素および複数の処理要素を含むプロクセルアレイに前記転送システムが転送する過程と、
    前記プロクセルアレイの前記記憶要素において、前記ピクセルのそれぞれについての前記少なくとも２個のサンプルを受け取る過程とを備えた、復調方法。
13. 請求項１２に記載の復調方法において、前記ピクセルが、
    前記変調光が電荷キャリアを生成する光感受性領域と、
    複数の記憶箇所に前記電荷キャリアを転送する復調器とを有する、復調方法。
14. 請求項１２に記載の復調方法において、さらに、
    前記サンプルを受け取る記憶ノードの飽和を監視する過程を備えた、復調方法。
15. 請求項１２に記載の復調方法において、さらに、
    ミスマッチ除去を実行する過程を備えた、復調方法。
16. 請求項１２に記載の復調方法において、さらに、
    奥行き情報を求める後処理を行う過程を備えた、復調方法。
17. 変調光を生成する過程と、
    ピクセルアレイにおいて前記変調光の少なくとも２個のサンプルを生成する過程と、
    前記ピクセルそれぞれの前記少なくとも２個のサンプルをＡＤ変換する過程であって、このＡＤ変換が転送システムによって実行される過程と、
    前記少なくとも２個のサンプルを、前記ピクセルそれぞれから、複数の記憶要素および複数の処理要素を含むプロクセルアレイに前記転送システムが転送する過程とを備えた飛行時間法であって、
    前記記憶要素のそれぞれが前記ピクセルアレイの対応するピクセルについての前記少なくとも２個のサンプルを受け取るものである、飛行時間法。

Images