JP6320406B2 - 深さ情報および画像センサにより画像を生成する方法 - Google Patents

Description

本発明は、画像の各点に深さ、すなわち観察対象点と画像を生成するカメラとの距離を関連付ける画像の生成に関する。

深さと関連付けた画像の生成は特に立体写真の作成に用いられるが、これに限らない。本出願では、例えばカメラを用いた画像生成、および各点に関連付けられた深さ値の取得が可能であり、次いで、当該１個の画像から互いに異なる左眼画像および右眼画像を生成することが可能であり、シーンの点は、無限遠にある場合、左眼および右眼画像で同じ位置を占める。当該点がカメラにより近い場合、当該点がカメラにどの程度近いかに比例して増大する距離により横方向にずれた異なる位置を占める。同時に射影されるが各々の目により別個に観察される左眼および右眼画像が深さに関する印象を与える。多くの場合、深さは、互いに間隔が空けられた２台のカメラにより取得される。本発明は、１台のカメラだけを用いる解決策を提案する。

別の用途において、障害物を検知すべく深さが関連付けられた画像を決定することが求められる。障害物と自動車との距離を知ることにより衝突を防止することができる。これは特に画像が赤外光により取得されている場合、霧の中でも検知が可能であるため有用である。この場合、カメラと障害物または障害物の部分との距離を表す深さ情報が特に重要である。

これらの目的を１台のカメラを用いて実現可能にすべく、本発明は、シーンの各点の距離に関する情報を含む３次元シーンの画像を生成する方法を提供し、本方法はパルス光源および画像センサを使用し、当該センサは、光により生成された電荷を各ピクセルの各蓄積ノードに累積可能なピクセルを含み、本方法は、当該光源からＮ個（Ｎは深さ情報に望まれる深さレベルの個数を表す整数）の連続的な光パルス列を基準クロックの制御下で発光するステップ、および当該Ｎ個のパルス列からランクｉの各パルス列について反復的に、
ａ）光パルスのｉ番目のパルス列の各パルスを、当該基準クロックを用いて決定された時点で、且つ当該クロックを用いて決定された間隔を空けて発光するステップと、
ａ１）ｉ番目のパルス列の各光パルスの電荷を、当該パルスに相対的な時間オフセットｔ_ｉから始まる長さＴ_ｉｎｔの短い積分時間スロットで積分するステップであって、当該時間オフセットは、センサからｉ番目の距離（ｄｉ）に位置する点から反射された後の、光源とセンサとの間の光パルスの移動時間を表し、ｉ番目の時間オフセットｔ_ｉはｉ番目のパルス列の全ての光パルスについて同一であり、Ｎ個のパルス列に対する各時間オフセットｔ_ｉの値はセンサまでの様々な距離に対応すべく互いに異なっていて、積分時間Ｔ_ｉｎｔよりも大きい時間増分だけ互いに間隔が空けられているステップと、
ｂ１）ｉ番目のパルス列の各光パルスについて積分された電荷を各ピクセルの電荷蓄積ノードに転送して、当該電荷を同一パルス列の先行光パルスから生じた電荷に累積させるステップと、
ｂ）ｉ番目のパルス列の終了後に各ピクセルの蓄積ノードに含まれる電荷を読み取り、蓄積ノードをリセットして、センサからｉ番目の距離（ｄ_ｉ）に位置するシーンの点を表すランクｉの各画像を供給するステップを含んでいる。

換言すれば、各パルス列は、明確に決定された距離ｄ_ｉに位置するシーンの点を観察し、他の点は当該観察から除外することを目的とする。距離ｄ_ｉよりも近い点は、当該点により反射された光パルスが時点ｔ_ｉよりも前、すなわち電荷積分時間スロット（ｔ_ｉからｔ_ｉ＋Ｔ_ｉｎｔまで）が開始されるよりも前に到達するため、観察されない。当該距離よりも遠くにある点は、当該点により反射された光パルスの到達が遅過ぎる、すなわち電荷積分時間スロットが閉じられた後であるため、観察されない。

長さＴ_ｉｎｔの電荷積分時間スロットは、当該スロットが光パルスに同期化されていて、好適には全てのピクセルに共通のフォトダイオードリセット信号の終了と、全てのピクセルに共通の電荷転送信号の終了との間に位置している。電荷転送信号は、ピクセルのフォトダイオードから、その電荷蓄積ノードまで電荷を転送可能にする。リセット信号は、フォトダイオードから電荷を排出させて、内部で電荷が積分されるのを防止する。

光パルスは短く、電荷積分時間スロットもまた短いが、これはその短さが距離ｄ_ｉの正確な位置特定を可能にするからである。積分スロットの長さは、対応する隣接距離ｄ_ｉ、、ｄ_ｉ＋１を正確に区別する必要がある場合、ｔ_ｉおよびｔ_ｉ＋１のような２個の隣接する時間オフセットの差よりも短くなければならない。パルスの短さを補償し、且つ各ピクセルの蓄積ノードに累積された電荷がパルス列の終了時に読み取られる前に累積的に充分な個数の光子が受光されることを保証するために、各パルス列には（可能ならば）多数の光パルスが存在する。

理論的には、あるピクセルにより観察されるシーンの点が当該パルス列に関連付けられた距離ｄ_ｉに位置するならば所与のパルス列に対して当該ピクセルにより信号が供給されるのに対し、シーンの当該点が当該距離に存在しなければ信号は供給されない。供給される信号のレベルは、パルス列の終了時点で累積されていた電荷量を表し、点の反射能またはアルベドに概ね比例しているが、当該点からの距離が、反射パルスの帰還が電荷積分スロットと部分的にしか一致しない程度である場合、信号レベルは低下する。

Ｎ個のパルス列の終了時点で、シーンのＮ個の画像が得られ、各画像には深さ情報が関連付けられていて、当該画像および関連付けられた深さに情報に基づいて、各ピクセルについて深さ情報が得られる。結果的に得られた情報は、Ｎ個の異なる距離に対応するＮ個の視平面を表すＮ個の画像の形式、または１ピクセル毎に加算されたＮ個の画像の輝度を組み合わせた単一の画像の形式のいずれかで、送信することができ、前記画像には、各ピクセルに対して、当該ピクセルに関連付けられた距離、すなわち当該ピクセルにより観察されたシーン部の点の距離を表す距離マトリクスが関連付けられている。

ピクセルに関連付けられた距離は、ピクセルが信号を受信した唯一の距離ｄ_ｉまたはピクセルがＮ個の画像内で最も強い信号を受信した距離であってよい。しかし、これは後述するように、ピクセルが複数の異なる距離について非ゼロの信号を受信した場合、補間により計算された距離であってもよい。

時間オフセット値ｔ_ｉは、値ｔ_ｉを有する「時間増分」と称する値だけ互いに異なっている。光パルスの長さがＴ_ｉｍｐであり、電荷積分時間スロットの長さがＴ_ｉｎｔである場合深さ解像度を決定する値ｔ_ｉを有する時間増分は好適には、時間Ｔ_ｉｍｐおよびＴ_ｉｎｔの和に等しい。これら２個の時間は等しいか、または概ね等しくてよい。２個のオフセットｔ_ｉ間の増分が和Ｔ_ｉｍｐ＋Ｔ_ｉｎｔよりも大きい場合、距離ｄ_ｉと距離ｄ_ｉ＋１の間に位置する点からの反射を見逃すリスクがある。増分がもっと小さければ、概ね距離にｄ_ｉ位置する点が当該距離ｄ_ｉに対応するランクｉのパルス列に反応すると共に、ランクｉ−１またはｉ＋１のパルス列にも反応する可能性があるため、複数の可能な値から最も関連性のある距離値を識別することを困難になる。

所与のピクセルが複数の異なるパルス列について非ゼロの信号を受信する全ての場合において、例えば反応が最も強い距離を選択することにより、またはピクセルにより受信された信号が表す距離の補間により当該距離を計算することによっても、各種の反応に基づいて当該ピクセルの距離情報を決定することが最良である。例えば、３個の値、すなわち読み取られた信号が最大値を示すランクｉのパルス列に対応する距離ｄ_ｉ、および当該ピクセルについて読み取られた、距離ｄ_ｉ−１および／またはｄ_ｉ＋１に対応する信号を用いて、受信した信号レベルに対応する重みを各距離に対し割り当てることにより重み付けした補間により距離を計算することができる。補間は５個以上の連続的な距離にわたり行われてよい。

次いで、センサの各ピクセルに対し当該ピクセルにより観察されるシーンの当該点の距離を割り当てる数値的距離の値のマトリクスが決定される。

上で要約した画像生成方法とは別に、本発明はまた、マトリクスアレイ画像センサおよび光パルスを供給可能な光源を含む画像取得装置に関し、本装置は、シーンの画像およびマトリクスアレイの各ピクセルに関連付けられた距離に関する情報を供給し、各ピクセルはフォトダイオード、フォトダイオードをリセットする手段、ピクセルに電荷を蓄積する手段、および蓄積ノードに累積された電荷を読み取る手段を含み、光源は光パルスのＮ個のパルス列を供給する手段を含み、当該パルスの長さが調整されていると共に互いの間隔が調整されていて、本装置は更に、フォトダイオードのリセットおよびフォトダイオードから蓄積ノードへの電荷の転送を制御するシークエンシング手段を含み、当該シークエンシング手段は光パルスに同期化されていて、当該シークエンシング手段が、光パルスのＮ個のパルス列の各々に対して、ランクｉの所与のパルス列の全ての光パルスについて同一であるが他のパルス列とは異なる時間オフセット（ｔ_ｉ）だけ各光パルスからずらされた短い時間スロットオフセット内で電荷を積分すべく構成されていて、当該時間オフセットが、シーンの点から反射された後の、光源とセンサとの間の光パルスの移動時間に対応し、当該点は各距離ｄ_ｉに位置していて、ランクｉの所与のパルス列のパルスによる照明に続いて積分された電荷は蓄積ノードに累積され、次いで距離ｔ_ｉに位置するシーンの点のランクｉの画像を生成すべく当該ノードから読み取られ、当該電荷は、別の距離ｄ_ｉ＋１に対応するランク_ｉ＋１の別のパルス列への新たな累積を意図してパルス列の終了時点で除去されることを特徴とする。

短い時間スロットの長さは、２個の異なるパルス列に対応する２個の隣接する時間オフセット値の差よりも小さい。
本発明の他の特徴および利点は、添付の図面を参照しながら以下の詳細な説明を読むことにより明らかになろう。

本発明による、距離情報を用いるシーンの画像生成の一般的原理を示す。 図１におけるシーンから生成された連続的な画像を示す。 本発明を実装するピクセルおよび読み取り回路のアーキテクチャを示す。 本方法の動作を示すタイミング図を示す。 光パルスに続く積分時間スロットを決定する信号の同期化を詳細に示す。

本発明の方法を図１に模式的に示す。本方法は、パルス光源ＬＳに関連付けられたカメラＣＡＭを使用し、カメラの画像センサの動作は光源の動作に同期化されている。光源は、特に霧発生時における障害物の観察または検知を目的とする画像生成の場合に、近赤外光の光源であってよい。カメラは、対物レンズおよび画像センサを含んでいる。センサは、能動ピクセルのマトリクスと、内部制御信号および特に光生成電荷を積分して当該電荷の読み取りを可能にする行および列制御信号を決定する内部シークエンシング回路とを含んでいる。

図１において、カメラと光源を２個の別々の構成要素として示しているが、光源はカメラのケースに組み込まれていてもよい。画像センサの動作を光源のパルス動作に同期化させる制御手段が設けられている。これらは光源またはカメラ、あるいはカメラと光源の両方に接続された電子回路ＳＹＮＣの一部をなしていてよい。これらの制御手段は、同期化を実現すべく画像センサのシークエンシング回路が用いる基準クロックを含んでいる。

カメラの前方で、深さを生成する物体を含むシーンが示されている、すなわちシーンの各種の部分が全てカメラから同じ距離に位置している訳ではない。

光源は、短い光パルスを発光する。パルスが発光されたならば、シーンの物体により反射されて、観察平面Ｐ_ｉ内で距離ｄ_ｉに位置する物体または物体の一部により反射されたパルスは当該距離に比例する遅延時間ｔ_ｉで画像センサに帰還する。光源は、画像センサと同じ距離ｄ_ｉにあると仮定している。時間ｔ_ｉは２ｄ_ｉ／ｃに等しい（ｃは光速）。

距離ｄ_１（最近距離）からｄ_Ｎ（最遠距離）にわたる所与の範囲の距離に分布するｄ_ｉに位置するシーンのこれらの位置を観察したいと仮定すれば、パルスの発光から、当該パルスが反射された後でピクセルにより観察されている点から帰還するまでに経過した時間を判定することにより、シーンの点の距離を判定することが可能である。

平面Ｐ_ｉ内で距離ｄ_ｉに位置するシーンのこれらの点により反射された短いパルス帰還の時点だけに対応する極めて狭い時間スロットで光生成電荷を積分して画像を形成する方法を選択することにより、当該平面内に位置するシーンの当該点だけを含む画像が生成される。

図２に、多数の平面Ｐ_ｉ、ここでは例えば平面Ｐ_１〜Ｐ_６について、各種の画像ＩＭ_１〜ＩＭ_６を示しており、これらの画像は、各画像毎に時点ｔ_ｉに到着した光信号だけが収集された場合、すなわち平面Ｐ_ｉ内で距離ｄ_ｉに位置する物体部分が観察された場合に、各センサにより得られるであろう。

本発明によれば、シーンのＮ個の連続的な画像が生成され、各画像は所与の平面Ｐ_ｉだけに対応している。各ピクセルが各種画像内で信号を供給するか否かに応じて、または各種画像内の信号の値に応じて、センサの各ピクセルにカメラまでの距離を関連付けることが可能であるため、得られた一連の画像には従って距離情報が本質的に含まれている。

これらの画像を取得する方法を説明する前に、図３において、ＣＭＯＳ技術によるマトリクス画像センサピクセルおよびその読み取り回路の従来のアーキテクチャを示しており、当該ピクセルおよび回路が本発明を実装可能にする。

ピクセルは従来より、フォトダイオードＰＨおよび積分時間Ｔ_ｉｎｔ中にフォトダイオードにより生成された電荷を蓄積可能な電荷蓄積ノードＮＤを含んでいる。ピクセルは更に、ピクセルの制御、積分時間の決定、および積分時間内に蓄積された電荷量を表す信号の抽出に用いる複数のＭＯＳトランジスタを含んでいる。

より正確には、ピクセルは、
−長さＴ_ｉｎｔの新たな積分期間が開始される前にフォトダイオードの電位をリセット可能にするトランジスタＴ１、すなわちマトリクスの全てのピクセルに共通の大域的リセット信号ＲＧにより制御され、ＲＧ信号の終了が積分時間Ｔ_ｉｎｔの開始を決定するトランジスタＴ１と、
−積分時間Ｔ_ｉｎｔの後で生成された電荷を蓄積ノードＮＤへ排出可能にする電荷転送トランジスタＴ２、すなわち全てのピクセルに共通の電荷転送信号ＴＲにより制御され、当該信号の終了が積分時間Ｔ_ｉｎｔの終了を決定するトランジスタはＴ２と、
−蓄積された電荷量が読み取られた後で蓄積ノードの電位をリセット可能にするリセットトランジスタＴ３、すなわち全てのピクセルに共通のリセット信号ＲＳＴにより制御されトランジスタＴ３と、
−電圧フォロワとして接続されていて、自身のゲートからソースへ電荷蓄積ノードの電位を転送可能にする読み取りトランジスタＴ４と、
−最後に、トランジスタＴ４のソースに接続されていて、電荷蓄積ノードに蓄積されている電荷量の読み取りが望まれる場合に電荷蓄積ノードの電位を列導体ＣＯＬ（マトリクスの所与のパルス列のピクセルに共通の）に転送可能にする選択トランジスタＴ５、すなわち行の全てのピクセルに共通の行選択信号ＳＥＬにより制御され、ピクセルを１行ずつ読み取るトランジスタＴ５を含んでいる。

読み取り回路は、ピクセルのマトリクスの外部にあって各種の列導体に接続されていて、蓄積ノードがゼロにリセットされた時点および蓄積ノードに累積された電荷の量を判定したい時点の各々でスイッチＫｒ、Ｋｓを用いて列導体の電位をサンプリングして例えば２個のコンデンサＣｒ、Ｃｓに蓄えるサンプリング回路を含んでいる。サンプリングされてコンデンサに蓄えられた電位の差分は累積された電荷の量を表す。累積された電荷の量は、差動増幅器ＡＭＰにより読み取られてからデジタル化されても、または例えばカウンタ、線形電圧ランプおよびコンパレータを用いて直接デジタル化されてもよい。

すなわち、マトリクスの全てのピクセルについて収集されて、１行ずつ続けて読み取られた全てのデジタル信号がシーンの画像を形成する。

図４に、シーン内で様々な距離に位置する要素を示すＮ個の連続的な画像を生成可能にするタイミング図を示す。波形ＬＰは光パルスを表す。波形ＩＮＴは各パルスに続く画像センサの積分期間を示す。

光パルスのＮ個のパルス列ＴＲ_ｉを生成することによりＮ個の画像が得られ、ここにｉは１〜Ｎの範囲の整数添え字であり、Ｎは画像の取得が望まれる平面Ｐ_ｉ（各々異なる距離ｄ_ｉに位置する）の個数である。各パルス列は、パルス列の長さにわたり規則的に分布する複数のパルスを含んでいる。

パルスレートは、上述のセンサまたは光源あるいは制御手段の一部を形成すると共に、光源およびセンサの動作を同期化させる機能を果たす基準クロック（図示せず）により設定される。

画像センサは、パルス列ＴＲ_ｉの各パルスについて、長さＴ_ｉｎｔの積分時間スロットにおいて光生成された電荷を収集する。（各パルスについて）パルスの開始が時間基準として採用される場合、長さＴ_ｉｎｔの時間スロットは時点ｔ_ｉで開始し、時点ｔ_ｉ＋Ｔ_ｉｎｔで終了する。値ｔ_ｉは従って、光パルスと積分スロットの開始との間の時間オフセットである。これは、光パルスが平面Ｐ_ｉに到達してからセンサに帰還するまでに移動する距離を表す。当該時間Ｔ_ｉｎｔにわたり光により生成された電荷は、スロットの終了時点で各ピクセルの蓄積ノードＮＤに蓄積される。当該電荷は当該ノードに既に蓄積されている電荷（後者の電荷は同一パルス列ＴＲ_ｉの他のパルスから生じたもの）に累積される。時間ｔ_ｉおよび時間Ｔ_ｉｎｔはパルス列ＴＲ_ｉの全てのパルスについて同一である。

パルス列ＴＲ_ｉの終了時点、すなわちパルス列ＴＲ_ｉの最後のパルスに続く時点ｔ_ｉ＋Ｔ_ｉｎｔの後で、全てのピクセルの蓄積ノードに累積された電荷が１行ずつ読み取られる。当該読み取り動作ＲＤ_ｉによりランクｉの画像ＩＭｉが生成される。

蓄積ノードは次いで、信号ＲＳＴにより全てリセットされる。

画像ＩＭ_ｉに含まれる情報は本質的に、距離ｄ_ｉまたは当該距離の付近に位置する物体部分により反射されたパルスの光量である。ここで、周囲照明レベルはパルス光源による照明に比べて無視できると仮定している。

次いで別の光パルス列ＴＲ_ｉ＋１が開始される。パルス列ＴＲ_ｉ＋１のパルスの積分時間Ｔ_ｉｎｔは好適にはパルス列ＴＲ_ｉのそれと同一である。しかし、当該積分時間が開始される前の遅延ｔ_ｉ＋１は遅延ｔ_ｉとは異なり、従ってｄ_ｉとは異なる距離ｄ_ｉ＋１に対応している。光パルスに続く時間区間ｔ_ｉ＋１からｔ_ｉ＋１＋Ｔ_ｉｎｔにわたりフォトダイオードにおいて生成された電荷は、各々の蓄積ノードに蓄積されて、同一パルス列ＴＲ_ｉ＋１の他の光パルスにより生成された電荷と共に当該ノードに累積される。

最後のパルスが受光された後で画像ＩＭ_ｉ＋１が読み取られる。次いで、蓄積ノードは再びリセットされる。

以下同様に、Ｎ個のパルス列が発光されて、Ｎ個の画像ＩＭ_１〜ＩＭ_Ｎが生成される。当該Ｎ個の画像の組は、画像の各ピクセルの信号レベルが当該ピクセルにより観察された点のアルベドに依存する状況でシーンの観察を可能にすると共に、画像の各ピクセルに関連付けられた距離情報、すなわち最大信号レベルを供給した当該ピクセルを含む画像に対応する距離を提供する。

図５に、積分スロットが実際に生成される方法を示す。

波形ＬＰは長さＴ_ｉｍｐの光パルスの発光を表す。

波形ＲＧは、センサのフォトダイオードの大域的リセット信号を表しており、当該信号が高レベルにある間はフォトダイオード内の電荷の積分を禁止し、終了時すなわち低レベルに戻った時点で許可する。リセット信号ＲＧの立ち下がりエッジ、すなわち信号の終了は、光パルスが開始された後で時間オフセットｔ_ｉにより起動される。当該立ち下がりエッジが積分時間Ｔ_ｉｎｔの開始を決定する。

信号ＴＲは、フォトダイオードから蓄積ノードへの電荷の転送を決定する。当該信号の開始はリセット信号の終了の後または同時である。転送の終了、従って積分時間の終了を決定するのは当該信号転送の終了である。これは、リセット信号ＲＧの終了に続いて時間Ｔ_ｉｎｔが経過した後に生起する。

波形ＩＮＴは、上記の結果得られた積分時間を表す。

上記において、光パルスと積分時間スロットとの時間オフセットｔ_ｉがより正確には光パルスの開始とセンサのフォトダイオードの電荷積分の開始とのオフセットである場合を考察した。しかし、異なる仕方で、例えば光パルスの中央と積分スロットＴ_ｉｎｔの中央との間で当該オフセットの測定を考察することもできる。仕方の選択は、例えば必ずしも互いに等しくない時間Ｔ_ｉｎｔおよびＴ_ｉｍｐの相対的な長さに依存する場合がある。

距離解像度、すなわち各種の観察平面Ｐ_ｉを分離するピッチが、各種のパルス列に対応する各種の時間オフセット値ｔ_ｉ、ｔ_ｉ＋１等を互いに分離する仕方に依存することが理解されよう。値ｔ_ｉと後続値ｔ_ｉ＋１または先行値ｔ_ｉ−１との差は、「各種の値ｔ_ｉ間の時間増分」と称される場合がある。

求められる解像度が高いほど、オフセット値同士の間隔はより密でなければならない。

しかし、オフセット値ｔ_ｉ同士の間隔が密である場合、積分スロットが、平面Ｐ_ｉにより反射されたパルスだけでなく平面Ｐ_ｉ＋１またはＰ_ｉ−１により反射されたパルスにも一致す時間ｔ_ｉから始まるリスクを冒すことを避ける必要がある。このリスクが存在するのは、パルスが長過ぎるかまたは、積分スロットが長過ぎる場合である。実際には、時間ｔ_ｉおよびｔ_ｉ＋１の値を、光パルスの長さＴ_ｉｍｐと積分スロットの長さＴ_ｉｎｔ和に少なくとも等しい（且つ好適には観察されていない平面が無いように等しいか概ね等しい）時間増分で分離することが必要である。

パルス列内の２個のパルスを分離する時間の長さは原理的に、２個の連続的な光パルス間でＮ個（Ｎは所望の画像の個数であり、従って観察された異なる距離の個数である）の時間（Ｔ_ｉｍｐ＋Ｔ_ｉｎｔ）が測定可能であるような長さである。当該時間は従って、少なくともＮ×（Ｔ_ｉｍｐ＋Ｔ_ｉｎｔ）である。パルス列内にＺ個のパルスがある場合、当該パルス列の全長はＺ×Ｎ×（Ｔ_ｉｍｐ＋Ｔ_ｉｎｔ）である。更に、Ｎ個のパルス列があるため、全体的な画像を取得する、すなわちＮ個の画像ＩＭ_１〜ＩＭ_Ｎを取得するのに必要な時間はＺ×Ｎ^２×（Ｔ_ｉｍｐ＋Ｔ_ｉｎｔ）である。

光パルスの長さは好適には積分時間よりも短いか等しい。さもなければパルス列に対応する平面Ｐ_ｉからパルスが正確に反射されたとしても、センサ内である程度の光エネルギーが系統的に消失してしまう。センサの感度を最大化させるべく、Ｔ_ｉｎｔをＴ_ｉｍｐに概ね等しく設定することが有利である。

各パルス列内のパルスの個数は、全体的な画像について求められる生成レートにより、および極めて短い光パルスを生成して極めて短い積分時間を実現する装置の能力により制約される。パルスが短いほど、より多くのパルスを各パルス列が含むことになる。求めるレートが高くほど、各パルス列に含まれるパルスが少なくなる。

一例として、３メートルの距離解像度ピッチが最短距離ｄ_１と最長距離ｄ_Ｎの間で３０メートルの距離にわたり求められている（従ってＮ＝１０）場合、２０ナノ秒以下の時間Ｔ_ｉｍｐ＋Ｔ_ｉｎｔ（２０ナノ秒で光が６メートルを往復移動）を用いる必要があり、すなわち実際にはＴ_ｉｍｐが１０ナノ秒およびＴ_ｉｎｔが１０ナノ秒である。パルス列の２個のパルス間の時間は従って２００ナノ秒である。１パルス列当たり１０個のパルスがある場合、Ｎ個のパルス列の全長は２０ミリ秒であり、このためＮ個の画像を含む全体的な画像を生成可能なレートが得られる。

より遅いレートでは、観察された距離の範囲および／または１パルス列当たりのパルスの個数Ｚを増やすことが可能である。光パルスおよび積分スロットの最大長は、距離解像度、すなわち２個の連続的な観察された平面同士の距離により固定される。和（Ｔ_ｉｍｐ＋Ｔ_ｉｎｔ）は２×（ｄ_ｉ＋１−ｄ_ｉ）／ｃ以下でなければならない（ｃは光速）。

パルス列内のパルスの個数を増やすことにより、センサの感度が向上させることができる。

所与の画像ＩＭ_ｉに対してピクセルから供給されたデジタル信号のレベルは、光パルスを反射したシーンの点のアルベド（反射能）に依存し、従ってｉ番目のパルス列により生成された当該画像により観察される平面Ｐ_ｉの全体に依存する。しかし、光パルスの長さは非ゼロであり、積分時間スロットの長さも非ゼロである。光源は、自身に対応する時間スロットと部分的にしか一致しないが、その理由は、例えばピクセルにより観察された点がちょうど距離ｄ_ｉにはなく、ｄ_ｉよりも僅かに大きいかかまたは小さい距離に位置しているためである。この場合、得られた信号レベルは、当該点のアルベドを考慮すれば本来のレベルよりも低い。

各ピクセルに距離を関連付けるために最も簡単なことは、Ｎ個の画像を考慮して当該ピクセルにより供給される信号レベルがＮ個の画像内の同一ピクセルに対する各種の値のうち最も高い画像ＩＭ_ｉを選択することである。関連付けられた距離が距離ｄ_ｉである。

しかし、より正確には、距離の測定精度を向上させるために、以下のように複数の画像の重み付き補間を行うことが好適であろう。すなわち、ピクセルの信号レベルが最も高い画像ＩＭ_ｉおよび近傍の画像ＩＭ_ｉ−１とＩＭ_ｉ＋１を選択して、平均距離、すなわち距離ｄ_ｉ−１、ｄ_ｉ、ｄ_ｉ＋１の正規化された加重合計（ａ．ｄ_ｉ−１＋ｂ．ｄ_ｉ＋ｃ．ｄ_ｉ＋１）を計算する。ａ、ｂ、ｃは、１に正規化された３個の画像内のピクセルの相対的な信号レベルを表す、すなわち（ａ＋ｂ＋ｃ）＝１である。

重み付けは、同一原理を用いて、多数の連続的な画像、例えば５個の画像にわたり行われてよい。

カメラの出力は、Ｎ個の画像のグループを含んでいてよく、各ピクセルに距離を関連付けさせる処理はカメラの外部で実行される。代替的に、当該関連付けを上述の原理に従って行う手段がカメラに付与されていてもよい。この場合、カメラは、一方では輝度の画像を、他方では各ピクセルに距離値を関連付ける距離マトリクス供給する。輝度画像は、各ピクセルの数値的な輝度値を含んでいる。当該値は、Ｎ個の画像内当該ピクセルについて得られた最大値であってよい。しかし、これは他の方法、例えばＮ個の画像内で得られた各種の数値の連結によっても得られる。連結は、例えばＮ個の画像内で検知された数値の和、または（実際に反射された光パルスに必ずしも対応していない弱い信号による雑音を防止すべく）最小閾値を超える数値の和であってもよい。

最後に、立体写真の生成に際し、輝度マトリクスのピクセルに割り当てられた輝度値を、（ピクセルのマトリクスの外側縁に相対的に）当該ピクセル用にカメラが供給する関連付け対象距離が減少するに従い増大する所与の距離だけ互いにずらされた左眼画像および右眼画像のピクセルのピクセルに割り当てるように、輝度画像の変換画像で両眼画像すなわち左眼画像および右眼画像を再構築すべく輝度画像マトリクスおよび距離マトリクスを処理することも可能である。

Claims (7)

1. ３次元シーンのＮ個の画像のランクｉ（ｉ＝１〜Ｎ）の各画像が、センサから各々距離ｄ_ｉに位置する前記シーンの各点を表す前記Ｎ個の画像を生成する方法であって、前記方法がパルス光源および画像センサを使用し、前記センサが、光により生成された電荷を各ピクセルの各蓄積ノードに累積可能なピクセルを含み、前記方法が、前記光源からＮ個の連続的な光パルス列を基準クロックの制御下で発光するステップ、および前記Ｎ個のパルス列からランクｉの各パルス列について反復的に、
   ａ）光パルスのｉ番目のパルス列の各パルスを、前記基準クロックを用いて決定された時点で、且つ前記クロックを用いて決定された間隔を空けて発光するステップと、
   ａ１）前記ｉ番目のパルス列の各光パルスの電荷を、前記パルスに相対的な時間オフセットｔ_ｉから始まる長さＴ_ｉｎｔの短い積分時間スロットで積分するステップであって、前記時間オフセットが、前記センサからｉ番目の距離ｄ_ｉに位置する点から反射された後の、前記光源と前記センサとの間の前記光パルスの移動時間を表し、ｉ番目の時間オフセットｔ_ｉがｉ番目のパルス列の全ての光パルスについて同一であり、Ｎ個のパルス列に対する各時間オフセットｔ_ｉの値が前記センサまでの様々な距離に対応すべく互いに異なっていて、前記積分時間Ｔ_ｉｎｔよりも大きい時間増分だけ互いに間隔が空けられているステップと、
   ｂ１）前記ｉ番目のパルス列の各光パルスについて積分された電荷を各ピクセルの前記電荷蓄積ノードに転送して、前記電荷を同一パルス列の先行光パルスから生じた電荷に累積させるステップと、
   ｂ）前記ｉ番目のパルス列の終了後に各ピクセルの前記蓄積ノードに含まれる電荷を読み取り、前記蓄積ノードをリセットして、前記センサからｉ番目の距離（ｄ_ｉ）に位置するシーンの当該点を表すランクｉの各画像を供給するステップを含み、
   シーンの各観察について各ピクセルが受光した輝度に対する値が決定され、
   ピクセルが受光した輝度の値が、Ｎ個の画像内の前記ピクセルにより供給される最も高い信号レベルに基づいて、または複数の画像内の当該ピクセルにより供給される信号レベルの和に基づいて決定されることを特徴とする、方法。
2. 前記時間オフセットｔ_ｉの値が、光パルスの長さＴ_ｉｍｐと前記積分時間Ｔ_ｉｎｔの和に概ね等しい時間増分だけ互いに間隔が空けられていることを特徴とする、請求項１に記載の方法。
3. 光パルスの長さが前記積分時間Ｔ_ｉｎｔにほぼ等しいことを特徴とする、請求項１〜２のいずれか１項に記載の方法。
4. 数値的距離値のマトリクスが、前記ピクセルにより観察される前記シーンの前記点の距離を前記センサの各ピクセルに関連付けて決定されることを特徴とする、請求項１〜３のいずれか１項に記載の方法。
5. 前記ピクセルに関連付けられた前記距離が、前記ピクセルから供給された信号が前記Ｎ個の画像内の前記所与のピクセルに対する様々な値のうち最も高い値を有するパルス列に対応する距離ｄ_ｉであることを特徴とする、請求項４に記載の方法。
6. 各ピクセルに関連付けられた距離が、
   −前記ピクセルについて読み取られた信号が最も高い値を有するランクｉのパルス列に対応する距離ｄ_ｉからの、
   −および前記ピクセルについて読み取られ、且つ距離ｄ_ｉ−１および／または距離ｄ_ｉ＋１に対応する信号からの、
   補間により計算されることを特徴とする、請求項４に記載の方法。
7. マトリクスアレイ画像センサおよび光パルスを供給可能な光源を含む画像取得装置であって、前記装置により、３次元シーンのＮ個の画像のランクｉ（ｉ＝１〜Ｎ）の各画像が、センサから各々距離ｄ_ｉに位置するシーンの各点を表す前記Ｎ個の画像を供給し、各ピクセルがフォトダイオード、前記フォトダイオードをリセットする手段、前記ピクセルに電荷を蓄積する手段、および前記蓄積する手段に累積された電荷を読み取る手段を含み、前記光源が光パルスのＮ個のパルス列を供給する手段を含み、前記パルスの長さが調整されていると共に互いの間隔が調整されていて、前記装置が更に、前記フォトダイオードのリセットおよび前記フォトダイオードから前記蓄積ノードへの電荷の転送を制御するシークエンシング手段を含み、前記シークエンシング手段が前記光パルスに同期化されていて、前記シークエンシング手段が、光パルスの前記Ｎ個のパルス列の各々に対して、ランクｉの所与のパルス列の全ての光パルスについて同一であるが他のパルス列とは異なる時間オフセット（ｔ_ｉ）だけ各光パルスからずらされた短い時間スロットオフセット内で電荷を積分すべく構成されていて、前記時間オフセットが、前記シーンの点から反射された後の、前記光源と前記センサとの間の光の移動時間に対応し、前記点が各距離ｄ_ｉに位置していて、ランクｉの所与のパルス列のパルスによる照明に続いて積分された電荷が前記蓄積ノードに累積され、次いで距離ｄ_ｉに位置するシーンの点のランクｉの画像を生成すべく前記ノードから読み取られ、前記電荷が、別の距離ｄ_ｉ＋１に対応するランクｉ＋１の別のパルス列への新たな累積を意図して前記パルス列の終了時点で除去され、短い時間スロットの長さは、２個の異なるパルス列に対応する２個の隣接する時間オフセット値の差よりも小さく、シーンの各観察について各ピクセルが受光した輝度に対する値が決定され、ピクセルが受光した輝度の値が、Ｎ個の画像内の前記ピクセルにより供給される最も高い信号レベルに基づいて、または複数の画像内の当該ピクセルにより供給される信号レベルの和に基づいて決定されることを特徴とする装置。

Images