JP5977366B2 - カラー不可視光センサ、例えば、ｉｒセンサ、すなわち、マルチスペクトルセンサ - Google Patents

Description

本発明は、深度測定、反射率測定、およびカラー測定のための、ならびに、３Ｄ画像データまたは３Ｄ画像の発生のためのＴＯＦカメラ等のカメラで使用可能なカラー不可視光センサ、例えば、ＩＲセンサ、すなわち、マルチスペクトルセンサと、カメラ自体と、これらを動作させる方法とに関する。

カメラは、平面受容表面を有し、この表面に基づいて、ｘ、ｙがカメラのこの表面の平面内にあり、ｚがカメラの光路に沿った軸である座標系が定義することができる。タイム・オブ・フライト画像化システムは、ＬＥＤ、または、レーザ、例えば、レーザダイオードから放出されたパルス状の光と反射パルスとの間の時間差または位相差を測定する。３Ｄタイム・オブ・フライト画像化システムでは、重大な機能は、カメラの視野内のシーンのｚデータ（ｚは、測定された深度マップである）だけではなく、観察されるシーンのＩＲ照度およびカラーデータも提供することと、さらに、例えば、少なくともいくつかのカラー成分および深度値を組み込む３Ｄ形式でシーン自体の画像を提供することである。このようにするために、２台のカメラを使用することが可能である。別の実施選択肢は、単一のカメラに２組の画素アレイ（２台のセンサ）を入れることである。どちらの方法でも、このようなカラーデータは、このとき、２台の別個のセンサおよびレンズ系を含んでいるシステムによって構築される。部品代金の増大に加えて、このアプローチは、画素カラーデータを深度データ上にマッピングするために、そして、逆の場合も同様に、注意深いキャリブレーションおよび集約的な計算を必要とする。いわゆる画像位置合わせプロセスは、２つの画像化システムが同じ光学的性質を有しているレンズを含むとは限らないこと、これらが同じ解像度を有することもないこと、そして、これらが必ずしも十分に位置合わせされていないことを理由とする。

米国特許出願公開第２０１１００７４９８９号明細書は、深度測定アクティブ領域の最適化の必要性も、画素空間配置構成を深度感知することから起こることがある空間エイリアシングの最適化の必要性も考慮することなく、Ｒ、ＧまたはＢ画素を深度測定画素と結合する方法を提供する。付加的に、ＲＧＢＺ画像は、位置合わせ誤差に陥りやすいＲＧＢ画素上でＺ画素を補間することにより作成される。

本発明の目的は、少なくとも３Ｄデータと、より好ましい実施形態では、カラーデータ、および、不可視光反射率のような距離依存性要因に関係している付加データ、例えば、ＩＲ反射率データ測定量とを提供するために、ＴＯＦカメラのようなカメラで使用され得る従来のものとは異なる不可視光センサ、例えば、ＩＲカラーセンサ、すなわち、マルチスペクトルセンサと、カメラ自体と、これらを動作させる方法とを提供することである。

本発明の実施形態の利点は、単一のセンサにおいて、少なくとも２つの機能（すなわち、カラー画像および距離画像測定量）と、好ましくは３つの機能（すなわち、カラー／深度／反射率測定量のような距離依存性要因）とを結合することにより少なくとも色／深度マップを提供することができる点である。好ましい実施形態では、不可視光のような距離依存性要因に基づいているマップ、例えば、所定のセンシング積分時間中にシーン内の物体によって反射された不可視光、例えば、ＩＲ光の量に対応するＩＲ反射率マップを提供することができる。本発明の実施形態は、最小限の性能損失で両方の機能を結合するために最適な方法を提案する。本発明の実施形態の別の利点は、画素の光学的アクティブ部分、特に、深度測定領域を最大化することである。本発明の実施形態のさらなる利点は、空間的にＺ画素を補間する必要性なしに、すなわち、位置合わせも空間エイリアシング誤差も回避するカラー画素、例えば、ＲＧＢ画素上で、カラー／深度３Ｄ画像（例えば、ＲＧＢＺ画像）を作成することである。空間エイリアシングは、カラー画素が不可視光画素、例えば、ＩＲ画素とは異なった場所にあるときに起こる可能性がある。このような状況では、補間は、異なった場所の間の距離を補償するために必要であることがある。

本発明の実施形態は、画像の単一の画素に関連付けられた画素センサを備え、画素センサが、
−基板に入射する光に応答して電荷キャリアを発生可能な基板と、
−互いに隣接して配置され、画素センサに電気的に接触する第１および第２の接触素子と、
−第１の検出領域内で発生させられた電荷キャリアを検出するために構成されている第１の検出素子（３１４、４０４、５０４、６０４）と、
−第１の検出領域（３０１）の検出性を制御する手段と、
−第２の検出領域内で発生させられた電荷キャリアを検出するために構成されている第２の検出素子（３１６、４０１、５００、６００）と、
−第１および第２の接触素子を備える基板の一部に重なり、第１の波長範囲を持つ光を通過させるために構成されている第１のフィルタ素子と、
−第２の接触素子を備える基板の一部に重なり、第１の波長範囲とは異なり、かつ、カラーまたは波長範囲に関連付けられている第２の波長範囲を持つ光を通過させるために構成されている第２のフィルタ素子と、
を備える、カラーまたはマルチスペクトル画像センサ装置を提供する。
本発明の実施形態は、３Ｄ画像センサ装置が複数の画素センサを有し、複数のセンサの各画素センサが単一の画素に関連付けられている、本発明に係るカラーまたはマルチスペクトル画像センサ装置を有している３Ｄ画像センサを提供する。

本発明の実施形態は、本発明の実施形態に係る画像センサ装置と、
−第１の検出素子の組に接続され、カラー値を出力とするカラー計算ユニットと、
−深度測定量、シーン照度測定量 例えば、信頼度マップ）を出力とするＩＲ計算ユニットと、
を備える、カメラを提供する。

本発明の態様によれば、各単一の画素は、不可視光、例えば、ＩＲおよびカラーの両方のセンシングエリアが内部に組み込まれている。これらの２個の異なった画素の空間位置合わせは、ほぼ完全であり、補間は必要とされない。

センサは、センシングユニットのアレイ（すなわち、画素アレイ）を含むことができ、各個別のセンシングユニットは、画像位置合わせと、２種類のセンシングエリアの間の表面再区分比と、電気接続と、製造設計とを最適化する特定の方法で空間的に配置された、少なくとも不可視光センシングエリア、例えば、ＩＲセンシングエリアおよびカラーセンシングエリアを含む。

不可視光測定、例えば、ＩＲ測定は、深度測定のために使用され得るが、ＴＯＦカメラシステムにおいて不可視光測定量、例えば、ＩＲ測定量から計算され得るその他の情報を提供することもできる。このようにして、測定量は、例えば、
−深度マップを決定する源である同相成分および直交成分
−深度関連要因から導出され得る信頼度マップ、例えば、不可視光またはＩＲ反射率マップとすることができる。本発明のＴＯＦセンサおよびカメラシステムにおける特定の利点は、反射率マップ計算のような距離依存性要因のマップの計算である。これは、エイリアシングの存在を検出するために使用され得る。

センサは、シリコンに、ＳＯＩ基板に、またはＢＳＩを使用して実施され得る。

一態様では、本発明は、画素センサアレイを備え、アレイの各素子が単一の画素センサに関連付けられ、各単一の画素センサが、
−基板に入射する光に応答して電荷キャリアを発生可能な基板と、
−画素センサに電気的に接触する第１および第２の接触素子と、
−第１の接触素子の側方に、かつ、第１接触素子に隣接して配置され、第１の検出領域内で発生させられた電荷キャリアを検出するために構成されている第１の検出素子（３０３、３１６、４０１、５０１、６００）と、
−第１および第２の接触素子を備える基板の一部に重なり、第１の不可視波長範囲（例えば、ＩＲ範囲）を持つ光を通過させるために構成されている第１のフィルタ素子と、
−第１の検出素子を備える基板の一部に重なり、第１の波長範囲とは異なり、かつ、カラーに関連付けられている第２の波長範囲を持つ光を通過させるために構成されている第２のフィルタ素子と、
を備える、カラーまたはマルチスペクトル画像センサ装置を提供する。

カラーまたはマルチスペクトル画像センサ装置は、例えば、３Ｄカメラで使用され得る。

カラーは、人間視覚系におけるカラー認識に対応するカラーの関連する敏感な刺激のことを指す。

フィルタ素子は、第１および第２の検出素子の各々がそれぞれ異なった波長範囲を受容することを可能にする。一方の波長範囲は、不可視、例えば、ＩＲドメインに入り、もう一方の範囲は、可視スペクトルに入る。

画素センサは、
−第１の検出素子の側方に、かつ、第１の検出素子と共通の第１の側面に配置され、第１および第２の接触素子が第１および第２の接触素子の共通の第１の側面に対応している、第２の検出領域内で発生させられた電荷キャリアを検出するために構成されている第２の検出素子（３１４）と、
−第２の検出素子に重なる遮光素子と、
を備えることがある。

画素センサは、第１および／または第２の検出素子から、検出素子または別の電荷蓄積素子であってもよい共通素子に電荷を転送することができる少なくとも電荷転送素子を備えることがある。

画素センサは、
−エネルギーを供給されてもよく、供給されたエネルギーの量に基づいて（拡散によって）第２の検出素子から第１の検出素子に電荷キャリアを転送するために構成されている電荷キャリア拡散接触素子（３２０）
を備えることがある。

画素センサは、
−検出素子および第１の接触素子の側方に、かつ、検出素子と第１の接触素子との間に配置され、第１のフィルタ素子が重なる、第２の検出領域内で発生させられた電荷キャリアを検出するために構成されている第２の検出素子（４０４、５０４、６０４）
を備えることがある。

画素センサは、
−第１および第２の検出素子を互いに接続するスイッチング素子（４１４）
を備えることがある。

画素センサは、
−第１のフィルタ素子が重なった第２の検出素子から検出された電荷キャリアを拡散的に受容するために構成されている電荷キャリア拡散素子（６１４）と、
−エネルギーを供給されてもよく、供給されたエネルギーの量に基づいて第２の検出素子から電荷キャリア拡散素子に電荷キャリアを拡散的に転送するために構成されている電荷キャリア拡散接触素子（６０５）と、
を備えることがある。

画素センサは、
−第１の検出素子の側方に、かつ、第１の検出素子に隣接して配置され、第１の検出素子から検出された電荷キャリアを受容するために構成されている別の電荷キャリア拡散素子（５０１、６０１）と、
−エネルギーを供給されてもよく、供給されたエネルギーの量に基づいて第１の検出素子から別の電荷キャリア拡散素子に電荷キャリアを拡散的に転送するために構成されている別の電荷キャリア拡散接触素子（５０６、６０６）と、
を備えることがある。

画素センサは、
−第１および第２の検出素子に接続され、検出素子からの検出された電荷キャリアおよび第２の検出素子からの検出された電荷キャリアを選択的に蓄積するために構成されているバッファ素子または読み出し素子（４１５、５１３、６１３）
をさらに備えることがある。

画素センサは、
−第１および第２の検出素子を第１および第２の検出素子にエネルギーを供給するために構成されているエネルギー源に接続するために構成されている別のスイッチング素子（４１１、５１１、６１１）
を備えることがある。

画素センサは、半導体ベースの構造体を備えることがあり、第１および第２の接触素子は、第１の導電型を持つ半導体領域を備え、第１の検出素子および／または第２の検出素子は、第２の導電型を持つ半導体領域を備える。

場合によっては、第１の検出素子および／または第２の検出素子は、埋め込みフォトダイオードとして構成され得る。

画素センサは、アレイの一部分でもよく、故に、
−第２の接触素子の側方に、かつ、第２の接触素子に隣接して配置され、発生させられた電荷キャリアを検出するために構成されている別の第１の検出素子と、
−前記別の第１の検出素子を備える基板の一部に重なり、第１の波長範囲とは異なり、かつ、別のカラーに関連付けられている別の第２の波長範囲を持つ光を通過させるために構成されている別の第２のフィルタ素子と、
を備えることがあり、
前記別の第１の検出素子は、第１および第２の接触素子の側方に、かつ、第１および第２の接触素子の共通の第２の側面に配置されている。

好ましい実施形態は、複数の画素センサを備え、複数の画素センサのうちの各画素センサが画像の単一の画素に関連付けられ、
−基板に入射する光に応答して電荷キャリアを発生可能な基板と、
−互いに隣接して配置され、画素センサに電気的に接触する第１および第２の接触素子と、
−第１の接触素子の側方に、かつ、第１の接触素子に隣接して配置され、第１の検出領域内で発生させられた電荷キャリアを検出するために構成されている第１の検出素子と、
−第１および第２の接触素子を備える基板の一部に重なり、第１の波長範囲を持つ光を通過させるために構成されている第１のフィルタ素子と、
−第１の接触素子を備える基板の一部に重なり、第１の波長範囲とは異なり、かつ、カラーに関連付けられている第２の波長範囲を持つ光を通過させるために構成されている第２のフィルタ素子と、
第１および／または第２の検出素子から、検出素子または別の電荷蓄積素子である共通素子に電荷を転送することができる少なくとも１つの電荷転送素子（３２０、４１４、５０６、６０５＋６０６）を備える、カラー画像センサ装置である。

カラーまたはマルチスペクトル画像センサ装置は、
−検出された電荷キャリアに基づいて光のカラーおよび走行距離を決定する決定ユニットを備えることがあるか、または、この決定ユニットと協働するために適応していることがある。場合によっては、決定ユニットは、単一の画像センサユニットからの検出された電荷キャリアに基づいて光の走行距離を決定するために構成されている。

決定ユニットは、基板内、および／または、各画素の下に位置してもよく、電荷キャリアを：
−深度測定量
−反射率測定量のような距離依存性要因測定量
−カラー成分データ測定量
−場合によっては、Ｉ／Ｑ相
を含むデジタルデータ値に変換するために計算を実行する処理ユニットを典型的に有している。決定ユニットは、ケーブルまたは無線接続のような好適な通信経路によってセンサに連結されている別個のユニットでもよい。

決定ユニットは、複数の画素センサから受容された、検出された電荷キャリアに基づいて光の走行距離を決定するために構成されることがある。

決定ユニットは、画像センサ装置の単一の捕捉事象の間に検出された、検出された電荷キャリアに基づいて光の走行距離を決定するために構成されている。

代替的に、決定ユニットは、画像センサ装置の複数の捕捉事象の間に検出された、検出された電荷キャリアに基づいて光の走行距離を決定するために構成されてもよい。

３Ｄ画像センサ装置は、場合によっては、電流アシストフォトニック復調器装置、フォトニック混合復調器装置、ドリフト・フィールド画素ベース復調器装置、または、空乏領域変調ベース復調器装置として構成されてもよい。

別の態様では、本発明は、３Ｄ画像センサ装置において光を検出する方法であって、
−エネルギーを単一の画素に関連付けられた３Ｄ画像センサ装置の画素センサの第１および第２の接触素子に供給することと、
−第１のフィルタ素子が第１の波長範囲を持つ光を通過させるために構成され、第１のフィルタ素子が第１および第２の接触素子を備える基板の一部に重なり、第２のフィルタ素子が第２の波長範囲を持つ光を通過させるために構成され、第２のフィルタ素子が画像センサユニットの第１の検出素子を備える基板の一部に重なり、第２の波長範囲が第１の波長範囲とは異なり、かつ、カラーに関連付けられ、画像センサユニットの第１および第２のフィルタを介して基板に入射する光に応答して画素センサの基板内の電荷キャリアに発生させることと、
−第１の検出素子（３０３、３１６、４０１、５０１、６００）によって、発生させられた電荷キャリアを検出することと、
−電荷を検出素子または電荷蓄積素子であってよい共通素子に転送することと、
を備える方法を提供する。

第１の検出素子は、第１の接触素子の側方に、かつ、第１の接触素子に隣接して配置されてもよく、第１の検出素子は、第１および第２の接触素子の側方に、かつ、第１および第２の接触素子の共通の第１の側面に配置されている。

図１ａは、各画素が相関Ｃおよびカラー成分Ｒ、Ｇ、Ｂを時間的に順次または同時に捕捉するセンサ実施パターンを示した図である。各画素の相関Ｃは、アレイ内の画素の全体に亘って同じ相関成分であってよい、または、パターンに従って配置されてもよい。 図１ｂは、各画素が相関Ｃおよびカラー成分Ｒ、Ｇ、ＢまたはＷを時間的に順次または同時に捕捉するセンサ実施パターンを示した図である。各画素のこの相関Ｃは、アレイ内の画素の全体に亘って同じ相関成分であってよい、または、パターンに従って配置されてもよい。 図１ｃは、各画素が相関Ｃ、より具体的には、各々が異なった相関成分であるＩ、Ｑと、カラー成分Ｒ、Ｇ、Ｂと、を時間的に順次または同時に捕捉するセンサ実施パターンを示した図である。相関ＩおよびＱは、パターンで配置されている。 図１ｄは、各画素が相関Ｃ、より具体的には、各々が異なった相関成分であるＩ、Ｑと、カラー成分Ｒ、Ｇ、Ｂと、を時間的に順次または同時に捕捉するセンサ実施パターンを示した図である。相関ＩおよびＱは、別のパターンで配置されている。 図２ａは、各画素が相関Ｃと、カラー成分Ｒ、Ｇ、Ｂの組とを時間的に順次または同時に捕捉するセンサ実施パターンを示した図である。各画素の相関Ｃは、アレイ内の画素の全体に亘って同じ相関成分であってよい、または、パターンに従って配置されてもよい。 図２ｂは、各画素が相関Ｃと、カラー成分Ｒ、Ｇ、Ｂ、Ｗの組とを時間的に順次または同時に捕捉するセンサ実施パターンを示した図である。各画素の相関Ｃは、アレイ内の画素全体に亘って同じ相関成分であってよい、または、パターンに従って配置されてもよい。 図３は、カラーおよび相関の両方の成分を単一のアーキテクチャで捕捉できる本発明の実施形態を示した図である。 図３ｂは、カラーおよび相関の両方の成分が単一のアーキテクチャで捕捉できる本発明の別の実施形態を示した図である。 図４は、カラーおよび相関の両方の成分を単一のアーキテクチャで捕捉できる本発明の別の実施形態を示した図である。 図５は、カラーおよび相関の両方の成分を単一のアーキテクチャで捕捉できる本発明の別の実施形態を示した図である。 図６は、カラーおよび相関の両方の成分を単一のアーキテクチャで捕捉できる本発明の別の実施形態を示した図である。 図７は、タイム・オブ・フライト・システム・アーキテクチャおよび本発明の実施形態を具体化する方法を示した図である。 図８は、典型的なＲＧＢカラーフィルタと、本発明において請求項に記載されたカラーフィルタの戦略的な結合との透過プロファイルを示した図である。 図９は、カラーフィルタの戦略的な積み重ねを使用する本発明の実施形態を示した図である。

本発明は、特有の実施形態に関連して、かつ、いくつかの図面を参照して説明されることになるが、本発明は、これらに限定されない。記載された図面は、単に概略であり、限定的ではない。図面中、素子のうちのいくつかのサイズは、例示の目的のために誇張され、正しい縮尺で描かれていない。

本発明の実施形態では、（ＲＧＢのような）カラーおよび／または深度（Ｚ）および／または信頼度マップの統合が単に実施例としてＣＡＰＤ（電流アシストフォトニック復調器）装置について記載されている。いくつかの実施形態におけるこれらのＣＡＰＤ装置は、電気光学復調タイム・オブ・フライト装置で使用される。本発明は、ＣＡＰＤ装置に制限されることなく、フォトニック混合装置（ＰＭＤ、Ｐａｎａｓｏｎｉｃ、Ｍｅｓａ）、ドリフト・フィールド画素（Ｍｅｓａ）、空乏領域変調ベース画素（Ｃａｎｅｓｔａ）およびその他のような復調装置と共に使用することができる。

図１ａは、本発明の第１の実施形態を示す。同図は、個別の画素１０１、１０２、１０３、１０４が不可視光、例えば、深度（Ｚ）を再構成する少なくとも１つの相関成分（Ｃ_ｉ）であるＩＲ成分を捕捉する能力を持ち、そして、少なくとも１つのカラー成分を捕捉する能力を持つという画素のパターンを例示する。不可視光成分、例えば、ＩＲ成分は、観察されている物体からの反射された不可視光、例えば、ＩＲ光の反射率値のような距離依存性要因をさらに提供することができる。その他の距離依存性要因は、スペックルパターン、または、物体に積極的に投影されたパターンであってもよい。距離依存性要因は、信頼度レベルを発生させるために使用されてもよい。カラー成分は、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）などであってよい。カラーパターンは、Ｂａｙｅｒ、ＲＧＢＷなどのような最新技術のパターンに従って実施されてもよい。各画素は、ほぼ完全な位置合わせの利点をもたらす深度および色を再構成するために使用されてもよい。アレイ内の画素は、必ずしも同じ相関成分を捕捉することがない。例えば、図１ｃは、同相相関成分Ｉを測定する画素と、直交相関成分Ｑを測定するその他の画素とを含んでいるパターンを示す。その他のパラメータは、同相相関Ｉ、非同相相関否定（Ｉ）、直交Ｑ、および、逆直交否定（Ｑ）が測定される本発明の範囲に包含されている。付加的に、測定された相関成分は、１フレームの内部で、または、フレーム毎に時間的に変化していてもよい。例えば、捕捉された相関成分パターンは、図１ｃに示されたパターンと図１ｂに示されたパターンとの間で交互に変化することがあり得る。

図１ｂは、画素が深度を再構成する少なくとも１つの相関成分と、少なくとも１つのカラー成分Ｒ（赤）、Ｇ（緑）、Ｂ（青）またはＷ（白）とを捕捉する能力を持つ本発明の第２の実施形態を示す。

多数の方法を、空間的に分布した、時間的に分布した、または、空間的かつ時間的に分布した相関成分を使用して深度を再構成するために挙げることができる。画素深度（Ｚ）は、単一の画素および単一の捕捉を使用して取得されてもよい。各画素は、このようして、単一の光学的捕捉（または露光）中に、深度再構成のために必要とされる全ての相関成分を測定する。

あるいは、画素深度（Ｚ）は、各画素が深度再構成のために必要な相関成分を測定する２つ以上の画素および単一の捕捉を使用して取得されてもよい。各画素は、このようにして、少なくとも１つの相関成分を測定し、近傍画素を使用して欠けている相関成分を補間することがある。相関成分の整合性をチェックする方法は、無相関の相関成分を結合することを回避するために使用されてもよい。近傍の相関成分の全エネルギーを本来の相関成分と比較することがあり得る。近傍は、このとき、エネルギーが本来の相関成分におよそ等しい場合、欠けている相関成分の補間だけに寄与することがある。

あるいは、画素深度（Ｚ）は、各画素が２回以上の光学的捕捉に亘って広げられた深度再構成のために必要な相関成分を測定する単一の画素および複数の捕捉を使用して取得されてもよい。相関成分の捕捉の時間的な広がりは、動的シーンに誤りを生じさせる。物体の運動に起因して、時間的に、空間相関は、相関させられないかもしれない（同じ物体から情報を測定する、と読める）。この場合も、相関成分の整合性をチェックする方法は、無相関の相関成分を結合することを回避するために使用されてもよい。

あるいは、画素深度（Ｚ）は、前出の可能性の組み合わせを使用して、例えば、２つ以上の画素と２回以上の捕捉とを使用して取得されてもよい。相関成分全体に亘って整合性を決定する方法が適用されてもよい。

図２ａは、本発明の第２の実施形態を示す。画素２０１のような画素が深度を再構成する少なくとも１つの相関成分と、３つのカラー成分Ｒ、Ｇ、Ｂ（２０２、２０３、２０４、２０５）とを測定する能力を持つ画素のパターンが例示されている。

図２ｂは、本発明の第２の実施形態の変形を示す。画素２１１のような画素が深度を再構成する少なくとも１つの相関成分と、４つのカラー成分Ｒ、Ｇ、Ｂ、Ｗ（２１２、２１３、２１４、２１５）とを測定する能力を持つ画素のパターンが例示されている。

図３は、本発明の第３の実施形態を示す。

記載された本発明の実施形態では、ＣＡＰＤが復調画素として選択されるが、実施は、復調装置と独立であってもよい。

図３ａには、電流アシストフォトニック復調器が示され、電界３０７が基板端子３０１および３０２の間に、または、換言すると、第１および第２の接触素子３０１および３０２の間に流れる多数キャリア電流によって基板３０８に誘起されている（または逆の場合も同様である）。端子３０１と３０２との間の基板は、電磁放射線、すなわち、例えば、光のような入射電磁放射線に感受性がある第１のエリアを形成し、基板内にキャリアを発生させる。発生、例えば、動作の速度に有効である放射線の波長は、使用された基板の材料と、温度のようなその他の要因とに依存する。基板接点または接触素子３０１、３０２に並んでいるのは、それぞれ、第２のエリアにおいてそれぞれ検出接合部３０５、３０６が付いている第１および第２の検出器３０３、３０４である。同図において、これらは、それぞれの基板接点に関して外側方向で側方に位置付けられているが、検出器の位置は、それぞれの基板接点の周りのいかなる方向であってよい。第２のエリアは、可視光に感受性があってもよい。（接触素子３０１および３０２を使用して）第１の感受性エリア内の多数キャリア電流の方向および／または密度または振幅を修正することにより、または、注入された多数キャリア電流を変調することにより、第１の検出器３０３および３０４（すなわち、検出接合部３０５を備える第１の検出器３０３、および検出接合部３０６を備える第２の検出器３０４）の検出性は、制御されてもよい。図３に示された実施形態では、センサは、半導体ベースの基板において接触素子のためのｐドープ型領域と検出素子のためのｎドープ型領域とを備える。換言すると、画素センサは、半導体ベースの構造体を備え、第１および第２の接触素子は、第１の導電型を持つ半導体領域を備え、第１の検出素子および／または第２の検出素子は、第２の導電型を持つ半導体領域を備える。

ＣＡＰＤは、少なくとも１個から何個もの復調ノードを有してもよく、検出器（３０３）、検出接合部（３０５）、および、基板接点または接触素子（３０１）を備える、または、検出器（３０３）、検出接合部（３０５）、および、基板接点または接触素子（３０１）で構成されている復調ノードが復調ノードを形成する。

第１および第２の検出器３０３および３０４は、従来技術では、金属のような不透明材料で覆われている。なぜならば、検出接合部の付近で光子によって発生させられた電子がもはや復調される可能性がなく、パルス状の不可視光、例えば、ＩＲ光測定量に対して、ＩＱ直交および／または反射率測定量および／または深度測定量を決定するために使用されるエネルギーの遅延、位相および量を備える測定信号に寄与しないからである。このエリアは、しかし、非常に小さい。１０ミクロン×１０ミクロンの画素に対して、第２の感光性エリアは、検出ノード自体より遥かに大きくなる可能性があるので、僅かに１ミクロン×１ミクロンの検出ノードが使用されてもよい。面積比１：１００は、簡単な方法で達成されてもよい。

本発明の実施形態では、少なくとも１つの検出および／または変換ノード（３０３、３０４）は、例えば、光学可視範囲内にある人間視覚系のカラー認識に対応することがある１つの周波数または周波数範囲を持つ光を透過する第１のフィルタ３０９および３１０で覆われるが、第１の感受性エリアの大半または全部は、可視光を遮断し、第２の周波数または周波数範囲を持つ電磁放射線、例えば、ＮＩＲ光のような不可視光を透過する第２の（例えば、ＮＩＲ）フィルタ３１１で覆われる。このフィルタは、限定されることなく、タイム・オブ・フライト測定が動作する波長または波長範囲を通すローパスフィルタまたはバンドパスフィルタであってよい。第２のフィルタ３１１は、図９に示されるように、所要のスペクトル応答が２つ以上のカラーフィルタを重ねることにより作成された、カラーフィルタ（９０１）の積み重ねということもある。図８は、青（８０１）、緑（８０２）および赤（８０４）応答を作成する典型的なフィルタ応答の集合を示す。図３におけるフィルタ３１１は、例えば、フィルタ応答（８０５）を作成する青（８０１）および赤（８０４）の重なりによって作成されてもよい。青および赤の重なりが好ましい。図９は、カラーフィルタの戦略的な重なり（９０１）を使用する本発明の実施形態を示す。バンドパス効果を作り出すために、付加的な単純なショートパスフィルタ（８０３）は、センサ装置の完全な光学エリア、または、パッケージレベルのどちらかで蒸着させられてもよい。このフィルタ積み重ねは、本発明における実施形態のどれにでも適用されてもよい。換言すると、フィルタ素子は、フィルタ素子の積み重ねでもよく、積み重ねの中の各フィルタ素子は、所定のフィルタ応答を達成するために、ある種の波長範囲を持つ光を通過させるために構成されている。フィルタ３０３、３０４は、スペクトル応答において等しくてよいが、不可欠ではない。このように、本発明の実施形態は、第１および第２の接触素子を備える基板の一部に重なり、第１の感受性エリアを含み、第１の波長範囲を持つ光を通過させるために構成されている第１のフィルタ素子と、第２の感応性エリアおよび第２の検出素子を備える基板の一部に重なり、人間視覚系の可視スペクトルに含まれる第１の波長範囲とは異なり、より詳しくは、上記人間視覚系のカラー認識に対応している第２の波長範囲を持つ光を通過させるために構成されている第２のフィルタ素子とを開示する。

換言すると、図３に例示された実施形態では、接触素子（３０１）から（３０２）までを含む領域が第１の検出領域であると考えられることがある。この第１の検出領域内で発生させられた電荷は、次に、第１の検出素子（３０３）および（３０４）によって検出される。検出接合部（３０５）または（３０６）によって画定された領域は、第２の検出領域であると考えられることがある。この第２の検出領域内で発生させられた電荷は、本実施形態では、第１の検出素子（３０３）および（３０４）とそれぞれ同じである第２の検出素子（３０３）および（３０４）によって検出されることがある。

この装置は、時間的に順次または同時に、カラーおよび相関の両方の情報を捕捉できる。相関情報は、相関情報および／または反射率測定量（すなわち、反射パルスのエネルギーの量）を含むＩＲ関連データのような不可視データ光であってよい。これは、信頼度レベルを発生させるために使用されてもよい。

同時が好ましい。カラー情報は、相関成分に重畳されたＤＣ成分であることがある。多数キャリア電流が注入されない場合、バルクの第１の感受性エリア内のＮＩＲ光が発生させた少数キャリアは、電界も検出接合部も受けることがなく、これらのキャリアの大半は、検出されることなく再結合することになる。本モードでは、画素は、第１および第２の検出器３０３および３０４と第２の感受性エリアに直接的に影響を与えているカラー情報だけを検出している。

図３ｂは、ＣＡＰＤの検出器が第２の感受性エリアが関連している埋め込みフォトダイオード３１４、３１５として実施された本発明の別の実施形態を例示する。これは、相関成分がリセット雑音の追加なしに潜在的に捕捉できるという利点をもたらす。フォトダイオード３１４、３１５をそれぞれ含む第１および第２の検出器の各々に対して、フローティング拡散部３１６、３１７は、第２の感受性エリアを設けるために近傍のｐウェル３１８、３１９でそれぞれ実施されている。ｐウェルの外側にフローティング拡散領域を実施することが可能であるが、埋め込みダイオードによって検出されることが意図されている電子は、最後にはフローティング拡散部によって検出されるかもしれない。したがって、ｐウェル領域内でフローティング拡散部を実施することが好ましい。近傍のｐウェル３１８、３１９は、それぞれ基板接点３０１、３０２に対応する。これらの基板接点は、基板接点３０１、３０２の間で基板内に注入された多数キャリア電流を変調および／または交互に変化させる埋め込みフォトダイオードの検出性を制御するために使用される。検出後、埋め込みフォトダイオード３１４、３１５に蓄積された電荷は、転送ゲート３２１をそれぞれ使用してフローティング拡散部３１６、３１７に転送される可能性がある。換言すると、転送ゲート３２０および３２１は、検出素子から共通素子に電荷を転送する電荷転送素子であると考えられることがあり、この共通素子は、今度は、検出素子または何らかのその他の電荷蓄積素子であることもある。電荷キャリアの転送は、拡散によってさらに行われることがある。本発明の実施形態は、これらの電荷を検出素子または電荷蓄積素子であってよい共通素子に転送することを開示する。

フォトダイオード３１４、３１５の検出性の制御は、フォトダイオードの表面上でｐ型ピニング層を変調することによりさらに達成されてもよい。フォトダイオードエッジに関してピニング層を側方に延長することにより、ピニング層は、基板３０８、または、基板接点との境界面を有し、関連したフォトダイオードの検出性を制御するため、変調された多数キャリア電流を注入するために使用されてもよい。

カラー情報は、フローティング拡散部３１６、３１７において捕捉され、フォトダイオード３１４、３１５における電荷の転送前に読み取られてもよい。フローティング拡散部３１６、３１７は、このようにして、相関成分情報のための変換ノードとしての、カラー情報のための検出ノードとしての、そして、カラー情報のための変換ノードとしての機能を果たす。カラーフィルタ３０９、３１０は、それぞれフローティング拡散部３１６、３１７を覆い、タイム・オブ・フライト・システムの動作波長をスペクトル通過させるＮＩＲフィルタ３１１は、接点３０１および３０２の間で第１の感受性エリアを覆う。検出器３１４、３１５は、好ましくは、これらの検出器の直接露光を低減するために、したがって、復調のコントラストを最適化するために金属遮蔽物（３１２）のような光遮蔽素子としての不透明材料で覆われる。利点は、カラー情報が今度は異なったノードで検出され、したがって、測定された相関成分のＳＮＲを低下させないことである。

換言すると、図３ｂに例示されたとおりの実施形態では、第１の検出素子は、第１および第２の接触素子（３０１）から（３０２）までを含む第１の検出領域内で発生させられた電荷を検出する埋め込みフォトダイオード（３１４）および／または（３１５）である。フローティング拡散（３１６）および／または（３１７）は、このとき、第２のフィルタ素子（３０９）および／または（３１０）を通過した放射線によって発生させられた電荷のための第２の検出素子として考えることができる。

図４は、本発明の別の実施形態を例示する。ＣＡＰＤ ４０３の復調ノード４０４、４０５が示されている。検出器４０４は、バッファまたは読み出し素子４１５に電気接続され、スイッチ４１１を使用して電圧４１２にリセットされてもよい。ＣＡＰＤ、すなわち、第１の感受性エリアは、タイム・オブ・フライト・システムの動作波長を通過させるＮＩＲパスフィルタ４０９で覆われる。検出器４０４自体は、場合によっては、金属遮蔽物で覆うことができる。検出接合部４０２付きの検出器４０１は、同様に画素内で実施される。検出器４０１は、カラーフィルタ４０８で覆われ、第２の感受性エリアに関連付けられている。ＣＡＰＤに関する画素内の検出器４０１の場所は、自由に選択することができる。場合によっては、検出器４０１は、ＣＡＰＤ ４０３によって使用された画素エリアの内側にさえ位置していてもよい。検出器４０１は、場合によっては、スイッチ４１０を使用して電圧４１３にリセットされてもよい。検出器４０１は、スイッチ４１４および４１１を介してリセットされてもよい、したがって、スイッチ４１０および４１３は、いくつかの動作において不可欠ではない。スイッチ４１４は、検出器４０１を読み出しのためにバッファに接続してもよい。換言すると、スイッチ４１４は、検出素子から共通素子に電荷を転送する転送素子であるとして考えられることがある。読み出し素子４１５は、第１および／または第２の蓄積もしくは検出素子に接続され、第１および／または第２の蓄積もしくは検出素子からの信号を非破壊的に増幅またはバッファリングまたはコピーするために構成されることがある。このトポロジーを使用すると、カラーおよび相関の両方の情報は、相関情報に対するＳＮＲの損失なしで同時に捕捉できる。付加的に、埋め込みフォトダイオードは、実施のために可能なプロセスを増大するために必要とされることがない（埋め込みフォトダイオードは、典型的に、ＣＭＯＳ画像センサ（ＣＩＳ）プロセスで利用できるに過ぎない。弱点は、相関測定としてのカラー測定が両方共に、弱光性能を低下させるリセット雑音から悪影響を受けることになる。しかし、アプリケーションに依存して、弱光性能が必要とされることはない。

換言すると、図４に例示された実施形態では、検出器（４０４）は、第１の検出素子であると考えられ、第１の感受性エリアは、第１のフィルタ素子（４０９）によって覆われた第１の検出領域であると考えられることがある。検出器（４０１）は、次に、第２の検出素子であると考えられ、第２の感受性エリアは、第２のフィルタ素子（４０８）によって覆われた第２の検出領域であるとして考えられることがある。

図５は、本発明の別の実施形態を例示する。画素は、１つの復調ノードが示されているＣＡＰＤ ５０３の基板接点の間にある第１の感受性エリアの上方にＮＩＲフィルタ５０９を含む。第１の検出器５０４は、場合によっては、金属遮蔽物で覆われていてもよい。カラー成分は、今度は、関連する第２の感受性エリアおよびカラーフィルタ５０８を伴う埋め込みフォトダイオード５００を使用して検出される。金属層５１０のような不透明材料が遮蔽するために使用されてもよい。露光後、埋め込みフォトダイオード５００に蓄積された電荷は、転送ゲート５０６を使用して、好ましくは、ｐウェル５０２に位置しているフローディング拡散部５０１に転送される。換言すると、フローティング拡散部５０１は、電荷蓄積素子として、転送ゲート５０６は、検出素子５００から電荷蓄積素子に電荷を移動させる電荷転送素子として考えられることがある。転送素子５０６は、ある量のエネルギーを電荷に供給することにより電荷を転送することになる。フローティング拡散部は、バッファまたは読み出し素子５１３およびＣＡＰＤ検出器５０４に電気接続されている。フローティング拡散部５０１および検出器５０４は、スイッチ５１１を介して電圧５１２にリセットされる。画素内のＣＡＰＤに関するカラー検出成分の場所は、自由に選択することができる。

典型的な捕捉は、以下のように進むであろう：スイッチ５１１は、フローティング拡散部５０１および検出器５０４の電圧をリセットし、その間に、埋め込みフォトダイオードウェル５００は、転送ゲート５０６を通じて空乏化させられる。

転送ゲート５０６およびスイッチ５１１は、次に開かれ、捕捉は、フォトダイオード５００を使用するカラー成分および復調装置５０３を使用する相関成分の両方に対して開始することができる。露光の終わりに、検出器５０４上の電圧がバッファまたは読み出し素子５１３を介して読み取られる。この後に、５０４上の電圧と、そして、さらに５０１上の電圧とが５１２にリセットされる。このリセット電圧は、バッファ５１３を介して測定される。当業者は、次に、測定されたリセット値を使用して、相関成分からバッファ５１３の１／ｆと熱雑音の大部分とを除去することができる。今度は、転送ゲートが埋め込みフォトダイオードウェル５００内の電荷をフローティング拡散部５０１に転送する。本発明の実施形態は、検出素子または電荷蓄積素子であってよい共通素子への電荷転送を開示する。

カラー情報は、今度は、バッファ５１３を使用して読み取ることができる。この測定されたカラー情報から測定されたリセット電圧を差し引くことにより、１／ｆ雑音が、熱雑音の大部分と共に除去され、さらに、カラー測定量からリセット雑音が除去される。図５における構造体は、相関成分に対するバッファの１／ｆと熱雑音とが除去され、カラー成分からバッファ５１３の１／ｆ雑音および熱雑音とリセット雑音とが除去されたカラー成分および相関成分の同時捕捉を提供する。このトポロジーでは、カラー成分および相関成分の露光は、必ずしも同じではない。相関成分情報を使用したくない場合、検出器５０４が取り付けられている検出ノードは、フローティング拡散部５０１を用いて変換ノードとしての機能も果たすので、相関成分は、カラー成分を読み取る前に読み取られることが必要である。しかし、カラー成分を読み取ることなく、相関成分を読み取ることが可能である。カラー成分の露光は、相関成分が複数の露光および読み出しを受ける間でさえ継続することができる。

換言すると、図５に例示された実施形態では、検出器（５０４）は、第１の検出素子として、第１の感受性エリアは、第１のフィルタ素子（５０９）によって覆われた第１の検出領域として考えられることがある。埋め込みフォトダイオード（５００）は、このとき、第２の検出素子として、第２の感受性エリアは、第２のフィルタ素子（５０８）によって覆われた第２の検出領域として考えられることがある。

図６は、カラー成分の検出および相関成分の検出器の両方が埋め込みフォトダイオード構造体６００および６０４をそれぞれ用いて実行される本発明のさらなる実施形態を例示する。フローティング拡散部６０１は、好ましくは、ｐウェル６０２で実施される。露光後、ｎウェル６００に蓄積された電荷は、転送ゲート６０６を使用して、バッファまたは読み出し素子６１３に電気接続されているフローティング拡散部６０１に転送される。本発明の実施形態は、検出素子または電荷蓄積素子であってよい共通素子に電荷を転送することを開示する。換言すると、フローティング拡散部６０１は、検出素子６０４から検出された電荷キャリアを受容するために構成されている電荷蓄積素子として、そして、転送ゲート６０６は、検出素子６００から電荷蓄積素子６０１に電荷を移動させる電荷転送素子として考えられることがある。転送素子は、ある量のエネルギーを電荷に供給することにより電荷を転送するというものである。検出器６００は、カラー成分を捕捉し、光が第２の感受性エリアを通ることを可能にするカラーフィルタ６０８で覆われている。フローティング拡散部６０１は、好ましくは、しかし、不可欠ではないが、金属遮蔽物６１０のような不透明材料によって覆われる。

埋め込みフォトダイオード６０４は、検出器６０４と、タイム・オブ・フライト機能の動作波長を第１の感受性エリアに通過させるフィルタ６０９で覆われている復調装置６０３の基板接点６１６、６１５とによって形成された復調ノードのための検出器としての機能を果たす。検出器領域６０４は、検出器の直接露光を最小化し、変調コントラストを最適化するために金属のような不透明材料で覆われていてもよい。フローティング拡散部６１４は、基板接点６１６、６１５の一部であってよいｐウェル６１５で実施される。この基板接点は、基板６０７内に機能的な復調電界６１７を作り出すために使用される多数キャリア電流を注入する。転送ゲート６０５は、露光後にｎウェル６０４に蓄積された電荷をフローティング拡散部６０１に転送するために使用される。フローティング拡散部６１４は、カラーフローティング拡散部６１４に電気接続され、一体的に、カラー成分と相関成分の両方のための変換ノードとしての機能を果たす。フローティング拡散部６１４および６０１は、このようにして、画素の異なった場所に存在することが可能であるが、電気接続されている。本発明の実施形態は、検出素子または電荷蓄積素子であってよい共通素子に電荷を転送することを開示する。

図６に記載された実施形態を使用するカラーおよび相関成分の典型的な捕捉は、以下のとおり進むことになるであろう：ＦＤ ６１４およびＦＤ ６０１上の電圧は、リセットスイッチ６１１を用いて電位６１２にリセットされる。同時に、転送ゲート６０６および６０５は、埋め込みフォトダイオード６００および６０４のｎウェルを完全に使い果たし、これは、ｎウェル６００および６０４に電荷が残っていないことを意味する。この後に、転送ゲート６０６および６０５とリセットスイッチ６１１とが開かれる。カラー成分および相関成分を測定するために、露光が開始される。露光の終わりに、フローティング拡散部６１４および６０１は、スイッチ６１１を使用してリセットされる。リセットが解除され、リセット電圧がバッファ６１３を介して測定される。この後に、ｎウェル６００内の検出されたカラー成分電荷、または、ｎウェル６０４内の検出された相関成分電荷のいずれかが、転送ゲート６０６、６０５をそれぞれ用いて、ＦＤ ６０１、ＦＤ ６１４にそれぞれ転送され、その後、カラーまたは相関成分がそれぞれバッファ６１３を介して測定される。測定されたリセット電圧を差し引くことにより、カラーまたは相関成分は、バッファ６１３からの雑音が低減し、リセット雑音が存在しない状態で測定される。この後に、その他の埋め込みフォトダイオードから残りの情報成分を読み出すためにサイクルが繰り返されてもよい。

このアーキテクチャは、カラー成分と相関成分とに対して独立した露光時間を可能にすることに注意を要する。このアーキテクチャを使用して、相関成分は、蓄積され、カラー成分がより長い露光中に蓄積し続けている間に、複数回読み取ることができ、その逆もまた同様である。

この露光時間の切り離しは、両方のデータセットの型の最適化のために有利であり：深度再構成のための相関成分が一方のデータセットであり、少なくとも１つの別のカラー成分がもう一方を形成する。露光時間、シーンの動的範囲、およびフレームレートに関するこの要件は、全く異なっていてもよい。

換言すると、図６に例示された実施形態では、埋め込みフォトダイオードと、したがって、検出器（６０４）とは、第１の検出素子として、第１の感受性エリアは、第１のフィルタ素子（６０９）によって覆われた第１の検出領域として考えられることがある。埋め込みフォトダイオードと、したがって、検出器（６００）とは、このとき、第２の検出素子として、第２の感受性エリアは、第２のフィルタ素子（６０８）によって覆われた第２の検出領域として考えられることがある。

図７は、前述の画素センサのうちの１つを含む本発明の実施形態による距離測定システムまたはＴｏＦカメラの実施形態を示す。距離測定システムは、光５１、特に、ＩＲ成分を有する光を、好ましくは、光が反射される注目エリアに焦点が合わされたシーン５５に放出する光源４９を備える。距離測定システムは、反射された光を受容する少なくとも１つの画素３１をさらに備える。画素３１は、前述の画素のうちのいずれか１つであってよい。これらの画素は、前述のとおり、注目物体のカラー画像（ＲＧＢ）またはカラーと、深度またはＺ情報とを捕捉することができる。Ｚ情報は、ＴｏＦ原理、または、光およびＩＲ光の走行距離の使用によって取得することができ、または、反射された光の中にＩＲ成分を含むことができる。本発明の実施形態は、カラー画像、深度マップ、反射率マップまたは照度マップを取得する能力を有している１台の単一のセンサを提供する。その上、信頼度マップが取得されてもよい。Ｚ情報から、距離マップを取得することができ、カラー画像が従来式の手段を使用して画素によって発生させられてもよい。光源４９が変調光を放出するために、信号発生器４３が設けられている。信号発生器４３は、好ましくは、所定の周波数、例えば、約１０ＭＨｚで永続的に発振する第１のクロック信号または変調信号をノード４８に発生させる。この信号発生器４３は、好ましくは、ノード４４、４５、４６、４７にそれぞれ配給され、ノード４８上の第１のクロック信号と０°、１８０°、９０°および２７０°の位相関係を有している第２から第５のクロック信号のような複数のその他のクロック信号も発生させる。当業者は、動作スキームにおけるその他の、または、より多くのクロック位相、より長い測定時間と引き換えにより優れた測定精度をもたらすより多くのクロック位相をさらに考慮することができる。代替的に、クロック信号の位相を用いる変調の代わりに、当業者は、疑似ランダムビットストリームを送信することと、遅延および／または反転した同じ疑似ランダムビットストリームと混合することとをさらに考慮することができる。時には疑似雑音と呼ばれることもある疑似ランダムビットストリームの使用は、当業者による文献において周知である。その事例では、第１および第２のクロック信号の代わりに、疑似ランダムパターンと、第３のクロック信号の代わりに、同じであるが、しかし、ビット単位で反転させられた疑似ランダムパターンと、第４のクロック信号の代わりに、同じであるが、しかし、ビット周期単位で遅延させられた疑似ランダムパターンと、第５のクロック信号の代わりに、同じであるが、しかし、反転され、ビット周期単位で遅延させられた疑似ランダムパターンとを使用するように勧告されている。

信号発生器４３は、変調信号を変更するために、変調信号変更手段のために決定的である制御信号４１、例えば、種々のクロック信号、例えば、第２から第５のクロック信号の間で、すなわち、クロック信号の異なった位相の間で選択するためにセレクタ５８のために決定的である制御信号４１をさらに発生させる。セレクタ５８は、検出器およびミキサ段２００のミキサ２９の入力ノード４２をノード４４、４５、４６および４７上の第２から第５のクロック信号と順次に接続するこれらの４つの位相の間で順次に切り替わる。これらの位置の各々で、セレクタ５８は、緩和期間に亘って、例えば、約１ｍｓに亘って接続された状態を継続することが可能である。

バッファ５０は、好ましくは、注目エリアに焦点が合わされたＩＲ成分を含む光５１をシーン５５に放出する光源４９を駆動する。この光の一部分は、反射されることになり、したがって、反射光５２を発生させる。反射光５２は、ＩＲ成分およびカラー光成分を含んでいてもよい。この反射光５２は、次に、レンズ５６のような光学焦点合わせシステムに到達し、これを通過して、反射光は、画素３１の内部にある検出器２８に画像化されるか、または、焦点が合わされ、ここで、入射する部分は、反射された変調光（ＭＬ）２７と呼ばれ、ＩＲ成分を含む。

両方共にＴＯＦ測定を対象としない２次光源３０から発する間接光５３および直接光５４は、シーンにさらに存在するということになり、光学焦点合わせシステム５６に衝突し、そして、このようにして、検出器２８に焦点が合わされる。検出器２８に入るこの光の一部分は、背景光（ＢＬ）２６と呼ばれることになる。ＢＬを発生させる光源３０は、白熱ランプ、ＴＬランプ、太陽光、昼光、または、シーンに存在するが、ＴＯＦ測定のための光源４９から発することがない何らかのその他の光を含む。

ＩＲ成分を含むＭＬ ２７と、光検出器２８に衝突するＢＬ ２６とは、ＩＲ成分に対して、ＭＬ電流を発生させる。同様に、ＢＬ電流が誘起され、ＭＬ電流およびＢＬ電流は、両方共に、衝突するＢＬ ２６およびＭＬ ２７への光誘起電流応答である。検出器２８は、これらの電流を後続の混合手段に、例えば、衝突するＢＬ ２６およびＭＬ ２７への電流応答を入力ノード４２上の位相偏移クロック信号と混合するミキサ２９へ出力する。既に前述されているように、このＢＬ ２６は、ＴＯＦ測定のために受容されたＭＬ ２７によって誘起されたＭＬ電流より最大で６桁大きいＢＬ電流を誘起することができる。

検出器およびミキサ段２００を形成する検出器２８およびミキサ２９は、１台の単一の装置として同様に実施することができ、光で発生された電荷が混合され、混合生成電流を即座に発生させる。

検出器およびミキサ段２００は、衝突するＢＬ ２６およびＭＬ ２７への電流応答と位相偏移クロック信号との混合生成物を発生させることになり、これらの信号は、例えば、好ましくは、小さい状態、例えば、周囲のトランジスタの寄生容量に維持されたキャパシタ２５で実施された積分器を用いてノード３８上で積分されている。積分中に、積分器ノード３８上のミキサ出力信号の自動リセットが実行される。

これは、ノード３８上のミキサ出力信号が基準値Ｖｒｅｆに到達したときにいつでも自動的にリセットされ、したがって、飽和を回避するように、例えば、リセットスイッチ、例えば、リセットトランジスタ３２を始動させる比較器３３によって実施されることがある。

図示されていない代替的な実施形態では、積分器ノード３８上のミキサ出力信号の自動リセットは、いくつかのその他の方法で実施することができる。これらのうちの１つは、何らかのより一層の複雑さを犠牲にしてより優れた雑音性能をもたらす固定量の電荷をキャパシタ２５に追加するために、リセットスイッチ３２の代わりに、チャージポンプを始動させることである。

ミキサ出力信号を形成する混合生成物は、積分器ノード３８において、変調信号変更手段、例示された実施例では、セレクタ５８と同期した順次形式で利用可能である。出力ドライバ２４、例えば、バッファは、出力ノード２３により強い出力信号を供給するために、実質的に１である電圧利得と電流増幅とを与える。グラフ５９には、ノード２３での出力信号の実施例が表現されている。曲線６２は、出力ノード２３での出力信号の電圧展開対時間に対応する。平均ＢＬ寄与分２６および平均ＭＬ２７は、捕捉中に一定であると仮定する。

第１の緩和期間３４中に、セレクタ５８は、ノード４４に接続されている。検出器２８から入ってくる信号の混合（ＢＬ ２６およびＭＬ ２７への応答）は、ノード４４で、光源４９を駆動する第１のクロック信号の０°偏移バージョンである第２のクロック信号を使って行われる。ノード３８におけるミキサ出力信号は、このようにして、ＢＬ成分および０°混合ＭＬ出力によって決定されることになる。次の緩和期間３５は、セレクタ５８を通るノード４５への入力ノード４２の接続によって開始する。これ以降、ミキサ２９は、１８０°位相外れに駆動される。その結果、ミキサの出力は、同じＢＬ成分と、１８０°混合出力とによって決定されることになる。位相９０°および２７０°は、引き続き、後続の緩和期間３６および３７においてそれぞれ同様に取り扱われる。

タイム・オブ・フライトデータ再構成ブロック３９は、例えば、サンプルを利用することにより、位相間隔とも称される各緩和期間３４、３５、３６、３７の最終値を測定するために、出力ノード２３で出力信号を使用する。ＴｏＦデータは、反射光のＩＲ成分から取得される。このデータは、ＴＯＦペア、例えば、（０°、１８０°）および（９０°、２７０°）にグループ分けされる。ＴＯＦデータ再構成ブロック３９は、生の画素信号を有用なタイム・オブ・フライト出力４０に変換するために役立つ。

時に、変形ステップおよび／または検証ステップが含まれる。本発明の実施形態では、この再構成ブロックは、２つの考えられる部分：本発明の実施形態では、ＩＲ成分に対する画素内相対位置メモリ６０でもよい相対位置メモリ６０、および、本発明の実施形態では、画素外信号処理ブロック６１でもよい処理ブロック６１で構築されることがある。信号処理ブロック６１は、アプリケーションに依存して、何らかの好適な方法、例えば、画素内、オンチップ、マイクロプロセッサ内、ＤＳＰ、ＦＰＧＡ内、ソフトウェアレベルで実現されることがあり、そして、様々なレベルに亘って、例えば、部分的にオンチップ、部分的にＦＰＧＡ内、および、部分的にＰＣ上のソフトウェアレベルで、さらに分散および拡散させられてもよい。

ＴＯＦデータを順次に測定することは、１つのＴＯＦペアの内部の信号に対して必要とされる。２組以上のＴＯＦペアを使用するとき、これらの異なったＴＯＦペアは、２つの画素３１を使用して、いくつかの事例では、さらにミキサ２９、検出器２８または両方を部分的に共有して、並列に測定されてもよい。図７に示された実施形態では、信号４６および４７から生じるＴＯＦペアは、例えば、余分なシリコン面積を犠牲にして、両方のＴＯＦペアの並列捕捉を可能にさせ、高速背景および変調光変化に対するより一層の頑健性を獲得する付加的な回路で実施されてもよい。並列にその他のＴＯＦデータを捕捉する実施形態の倍増部分または全体は、異なった回路の間に存在する可能性がある不一致を補償するために後続の後処理ブロックをさらに必要とするかもしれない。

前述の装置は、１つの単一のセンサ内で距離マップの形式でカラー画像（ＲＧＢ）、および、深度またはＺ情報を捕捉できる。このようなセンサは、タイム・オブ・フライト・カメラで使用されてもよい。ＩＲ深度データと関連するカラー画像との結合は、「信頼度マップ」を発生させるために使用されてもよい。信頼度マップは、シーンの赤外線照度マップ（すなわち、一種の階調マップ）である。

したがって、本発明の実施形態による１つの単一のイメージャ／センサ内に３つの機能が存在する：

「信頼度マップ」は、測定された位相マップ（ＩおよびＱ）を全部一緒に積分することにより計算された画像であり、上記位相マップは、ＴｏＦ原理に従って深度マップを計算するために使用される。

信頼度マップは、このようにして、積分期間全体に亘るカメラ変調光源、例えば、ＬＥＤアレイによるシーンのＩＲ照度を基本的に表現する画像である。

検出された電荷キャリアに基づいて光のカラーおよび走行距離を決定すること、または、深度マップ、反射率マップ、信頼度もしくは照度マップを決定することは、決定ユニットによって行われることがある。

画素毎に、信頼度マップから抽出されたＩＲ値は、低い「階調レベル」（すなわち、低いＩＲ照度）が高い「階調レベル」（この中で雑音の影響は軽微である）より（多くの雑音を含むため）信頼性が低いので、深度推定量の指標として使用される。

上記センサアーキテクチャは、上記センサの実施形態のいずれかについて記載されたセンサアーキテクチャ、すなわち、各個別の単一の画素の内部にカラー検出エリアおよびＩＲ検出エリアと同じである。

カメラは、
−第１の検出素子の組に接続され、出力が、例えば、標準ＲＧＢ値（または、何らかの種類の他の座標系）として表現されたカラー値であるカラー計算ユニットと、
−出力が：
○深度測定量
○シーン照度測定量（すなわち、信頼度マップ）
であるＩＲ計算ユニットと、
を備える。

計算ユニットは、例えば、図７のユニット６１であってもよい。

Claims (12)

1. 画像の単一の画素に関連付けられた画素センサを備えるカラーまたはマルチスペクトル画像センサ装置であって、前記画素センサは、
   −入射する光に応答して電荷キャリアが発生可能である基板と、
   −前記基板に形成され、前記画素センサに電気的に接触する第１の接触素子（３０１、６１６）および第２の接触素子（３０２）と、
   を備え、前記第１の接触素子および前記第２の接触素子は互いに隣接して配置されることを特徴とし、
   前記画素センサは、
   −前記基板に形成され、前記第１の接触素子と前記第２の接触素子との間である第１の検出領域内で発生させられた電荷キャリアを検出するために構成されている第１の検出素子（３０３、３０４、３１４、３１５、４０４、５０４、６０４）と、
   −前記第１の接触素子及び前記第２の接触素子を介して注入された多数キャリア電流を変調するよう構成されている、前記第１の検出領域（３０１）の検出性を制御する手段と、
   −前記基板に形成され、第２の検出領域内で発生させられた電荷キャリアを検出するために構成されている第２の検出素子（３０３、３０４、３１６、４０１、５００、６００）と、
   −前記第１の接触素子および前記第２の接触素子を備える前記基板の一部に重なり、第１の波長範囲を持つ光を通過させるために構成されており、前記第１の検出領域内において光に感受性があるエリアを含む第１のフィルタ素子（３１１、４０９、５０９、６０９）と、
   −前記第２の検出素子を覆いかつ前記第１のフィルタ素子と重ならない前記基板の一部に重なり、前記第１の波長範囲とは異なり、かつ、カラーに関連付けられている第２の波長範囲を持つ光を通過させるために構成されている第２のフィルタ素子（３０９、３１０、４０８、５０８、６０８）と、
   を更に備え、
   前記第１の検出素子および前記第２の検出素子（３０３、３０４、３１６、３１４、３１５、４０１、４０４、５０４、６００、６０４）は、前記第１の接触素子および前記第２の接触素子（３０１、３０２、６１６）が前記第１の検出素子および前記第２の検出素子（３０３、３０４、３１６、３１４、３１５、４０１、４０４、５０４、６００、６０４）の検出性を制御できるように、前記第１の接触素子又は前記第２の接触素子（３０１、３０２、６１６）の側方に設置され、前記第１の接触素子と前記第２の接触素子の間に設置されることがなく、
   前記画素センサは、半導体ベースの構造体を備え、
   前記基板、前記第１の接触素子および前記第２の接触素子は、第１の導電型を持つ半導体領域を備え、前記第１の検出素子および前記第２の検出素子は、第２の導電型を持つ半導体領域を備える、カラーまたはマルチスペクトル画像センサ装置。
2. 前記画素センサは、
   −前記第１の検出素子および／または前記第２の検出素子から、検出素子またはその他の電荷蓄積素子である共通素子に電荷を転送することができる少なくとも１つの電荷転送素子（３２０、４１４、５０６、６０５、６０６）
   をさらに備える、請求項１に記載のカラーまたはマルチスペクトル画像センサ装置。
3. 前記第１の検出素子は、前記第２の検出素子にもなるように配置されている、請求項１又は２に記載のカラーまたはマルチスペクトル画像センサ装置。
4. 前記電荷転送素子（３２０、３２１）は、前記第１の検出素子から前記第２の検出素子に、または、前記第２の検出素子から前記第１の検出素子に電荷を転送し、遮光素子（３１２）が前記第２の検出素子に重なる、請求項２に記載のカラーまたはマルチスペクトル画像センサ装置。
5. 前記電荷転送素子（３２０）は、エネルギーを供給されることができ、電荷キャリア素子は、供給されたエネルギーの量に基づいて前記第２の検出素子から前記第１の検出素子に拡散により前記電荷キャリアを転送するために構成されている、請求項２又は４に記載のカラーまたはマルチスペクトル画像センサ装置。
6. 前記画素センサは、
   −前記第１の検出素子および前記第２の検出素子を互いに接続するために構成されているスイッチング素子（４１４）
   をさらに備える、請求項１から５のいずれか一項に記載のカラーまたはマルチスペクトル画像センサ装置。
7. 前記画素センサは、
   −前記第１の検出素子（６０４）から検出された電荷キャリアを受容するために構成されている電荷キャリア蓄積素子（６１４）と、
   −エネルギーを供給されることができ、供給されたエネルギーの量に基づいて前記第１の検出素子から前記電荷キャリア蓄積素子に電荷キャリアを転送するために構成されている、電荷キャリア転送素子（６０５）と、
   をさらに備える、請求項１から６のいずれか一項に記載のカラーまたはマルチスペクトル画像センサ装置。
8. 前記画素センサは、
   −前記第２の検出素子に近接して側方に配置され、前記第２の検出素子（５００、６００）から検出された電荷キャリアを受容するために構成されている第２の電荷キャリア蓄積素子（５０１、６０１）と、
   −エネルギーを供給されることができ、供給されたエネルギーの量に基づいて前記第２の検出素子から前記第２の電荷キャリア蓄積素子に電荷キャリアを転送するために構成されている第２の電荷キャリア転送素子（５０６、６０６）と、
   をさらに備える、請求項１から７のいずれか一項に記載のカラーまたはマルチスペクトル画像センサ装置。
9. 前記画素センサは、
   −前記第１および／または第２の蓄積もしくは検出素子に接続され、前記第１および／または第２の蓄積もしくは検出素子上の信号を非破壊的に増幅またはバッファリングまたはコピーするために構成されている読み出し素子（４１５、５１３、６１３）
   をさらに備える、請求項１から８のいずれか一項に記載のカラーまたはマルチスペクトル画像センサ装置。
10. 前記画素センサは、
    −前記第１の検出素子および前記第２の検出素子を前記第１の検出素子および前記第２の検出素子にエネルギーを供給するために構成されているエネルギー源に接続するために構成されている第２のスイッチング素子（４１１、５１１、６１１）
    をさらに備える、請求項１から９のいずれか一項に記載のカラーまたはマルチスペクトル画像センサ装置。
11. 前記第１の検出素子および検出性制御手段と一体となった前記第１の検出領域は、電流アシストフォトニック復調器装置、フォトニック混合復調器装置、ドリフト・フィールド画素ベース復調器装置、または、空乏領域変調ベース画素復調器装置として構成されている、請求項１から１０のいずれか一項に記載のカラーまたはマルチスペクトル画像センサ装置。
12. 前記第１のフィルタ素子は、フィルタ素子の積み重ねであり、前記積み重ねの各フィルタ素子は、ある種の波長範囲を持つ光を通過させるために構成されている、請求項１から１１のいずれか一項に記載のカラーまたはマルチスペクトル画像センサ装置。