JP6480441B2 - 飛行時間型カメラシステム - Google Patents

Description

本発明は、飛行時間型（ＴＯＦ）距離画像化システム、即ち、ＴＯＦカメラシステムに関する。具体的には、本発明の目的は、シーン（環境、領域）の高品質な３Ｄ画像を提供することにある。

コンピュータビジョンは、画像を捕捉し、処理し、分析しかつ理解するための方法を含む、成長中の研究分野である。この分野を推進する主たる考案は、人の視覚系を、シーンの画像を電子的に知覚しかつ理解することによって複製することにある。特に、コンピュータビジョンにおける研究テーマの１つは、奥行知覚、言い替えれば、三次元（３Ｄ）ビジョンである。

人の場合、奥行知覚は、脳が、両眼により捕捉される一シーンの僅かに異なる２つの画像を融合させてとりわけ奥行情報を回収する、所謂立体感によって生じる。さらに、最新の研究は、シーン内のオブジェクトを認識する能力が奥行知覚にさらに大きく寄与することを示している。

カメラシステムの場合、奥行情報の入手は容易でなく、複雑な方法およびシステムを必要とする。シーンを画像化する場合、ある従来の２次元（２Ｄ）カメラシステムは、シーンの各点を所定のＲＧＢ色情報に関連づける。画像化プロセスの終わりに、シーンの２Ｄ色マップが生成される。色は、変化するシーン照射への依存性が高く、かつ本質的に次元情報を全く含まないことから、標準的な２Ｄカメラシステムは、シーン内のオブジェクトをこの色マップから容易に認識することができない。コンピュータビジョンを開発するための、かつ特には３Ｄ画像化を開発するための、具体的には、奥行関連情報の直接的捕捉およびシーンまたはオブジェクトに関連する次元情報の間接的捕捉を可能にする新しい技術が導入されてきている。３Ｄ画像化システムにおける最近の進歩は著しく、業界、学界および消費者社会からの関心が高まってきている。

３Ｄ画像の生成に使用される最も一般的な技術は、立体感を基礎としている。２台のカメラが同一シーンの写真を撮るが、これらのカメラは、ちょうど人の両目のように、距離を隔てて分離されている。コンピュータは、２つの画像を移動させて互いに重ね合わせながらこれらの画像を比較し、一致する部分と一致しない部分とを見分ける。移動される量は、格差と呼ばれる。画像内のオブジェクトが最も良く一致する際の格差は、コンピュータにより、カメラセンサの幾何学的パラメータおよびレンズ仕様を追加的に用いて距離情報、即ち奥行マップを計算するために使用される。

さらに新しくかつ異なる別の技術は、図１に示されている飛行時間型（ＴＯＦ）カメラシステム３によって代表される。ＴＯＦカメラシステム３は、専用の照射部１８を有するカメラ１と、データ処理手段４とを含む。ＴＯＦカメラシステムは、光源１８からオブジェクトまでの光の飛行時間を分析することによって、シーン１５の３Ｄ画像を捕捉することができる。このような３Ｄカメラシステムは、現在、奥行または距離情報の測定を必要とする多くの用途において使用されている。赤−緑−青（ＲＧＢ）カメラシステム等の標準的な２Ｄカメラシステムは、受動的な技術であり、つまりは、周辺光を用いて画像を捕捉し、よって追加的な光の放射に基づくものではない。一方で、ＴＯＦカメラシステムの基本的な動作原理は、例えば少なくとも１つの既定の周波数である幾つかの光パルスを有する専用の照射部を用いて、シーン１５を既定の波長における変調光１６で積極的に照射するというものである。変調光は、シーン内のオブジェクトから反射されて戻る。レンズは、反射光１７を収集して、画像化センサ１上にオブジェクトの画像を形成する。オブジェクトのカメラからの距離に依存して、変調光、例えば所謂光パルスの放射と、カメラにおけるこれらの光パルスの受信との間に遅延が発生する。ある一般的な実施形態において、反射する側のオブジェクトとカメラとの間の距離は、観測される時間遅延および光速定数値の関数として決定され得る。さらに複雑かつ信頼性の高い別の実施形態において、放射される参照光パルスと捕捉される光パルスとの間の複数の位相差は、「３Ｄ ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ ｄｉｓｔａｎｃｅ ｍｅａｓｕｒｅｍｅｎｔ ｗｉｔｈ ｃｕｓｔｏｍ ｓｏｌｉｄ−ｓｔａｔｅ ｉｍａｇｅ ｓｅｎｓｏｒｓ ｉｎ ＣＭＯＳ／ＣＣＤ ｔｅｃｈｎｏｌｏｇｙ」と題するＲｏｂｅｒｔ Ｌａｎｇｅ著博士論文において紹介されているように決定され、かつ奥行情報の推定に使用され得る。

ＴＯＦカメラシステムは、各々が明確な機能を有する幾つかの要素を備える。
１）ＴＯＦカメラシステムの第１のコンポーネントは、照射部１８である。パルスを用いる場合、各光パルスのパルス幅は、カメラレンジを決定する。例えば、パルス幅が５０ｎｓである場合、レンジは、７．５ｍに制限される。その結果、シーンの照射は、ＴＯＦカメラシステムの動作にとって不可欠なものとなり、照射部の高速駆動周波数要件によって、このような短い光パルスを生成するために、発光ダイオード（ＬＥＤ）またはレーザ等の特殊化された光源を用いることが必要になる。

２）ＴＯＦカメラシステムの別のコンポーネントは、画像化センサ１またはＴＯＦセンサである。画像化センサは、典型的には、シーンの画像を形成するピクセルのマトリクスアレイを備える。ピクセルに関しては、画素が、光電磁放射線ならびにその関連電子回路に感応することは理解されるべきである。ピクセルの出力は、照射部からシーン内のオブジェクトに至り、かつオブジェクトから反射されてＴＯＦ画像化センサへ戻るまでの飛行時間を決定するために使用されることが可能である。飛行時間は、ＴＯＦセンサへ連結され得る、または直にＴＯＦセンサ自体に一体化され得る別の処理部において計算されることが可能である。照射部からオブジェクトへと進み、かつオブジェクトから画像化センサへ反射されて戻る際の光のタイミングを測定する方法は、様々なものが知られている。

３）ＴＯＦカメラシステムには、画像化光学系２および処理電子装置４も装備される。画像化光学系は、シーン（環境、領域）内のオブジェクトからの反射光を、通常はＩＲドメイン内で収集し、かつ照射部により放出された光とは異なる波長における光を除くように設計される。実施形態によっては、この光学系は、ＴＯＦ原理による測定値用の赤外線照射、およびＲＧＢ色測定用の可視照射の捕捉を可能にし得る。処理電子装置は、ＴＯＦセンサを、幾つかの特徴の中でも、照射部により放出されるものとは異なる周波数であるが、類似の波長を有する光（典型的には、太陽光）を除くように駆動する。望ましくない波長または周波数を除けば、背景光を効果的に抑制することができる。処理電子装置は、さらに、照射部および画像化センサの双方のためのドライバを含み、よって、これらのコンポーネントは、精確な画像捕捉が実行されること、およびシーンの信頼性のある奥行マップが決定されることを保証すべく正確に同期制御されることが可能である。

ＴＯＦカメラシステムを構成する要素の選定は、極めて重大である。ＴＯＦカメラシステムは、使用される要素のタイプおよびパフォーマンスに依存して、数ミリメートルから数キロメートルに至る広範な範囲をカバーする傾向がある。このようなＴＯＦカメラシステムは、センチメートル未満から数センチメートルまたは数メートルにまでも変わる距離精度を有することがある。ＴＯＦカメラシステムを用いて使用されることが可能な技術には、デジタル・タイム・カウンタを有するパルス光源、位相検出器を有する無線周波（ＲＦ）変調光源、およびレンジゲート式イメージャが含まれる。

ＴＯＦカメラシステムには、幾つかの欠点がある。現行のＴＯＦイメージャまたはＴＯＦセンサにおいて、ピクセルピッチは、通常、１０μｍから１００μｍまでの範囲内である。技術の新規性、およびＴＯＦピクセルのアーキテクチャが極めて複雑であるという事実に起因して、効率的な信号対雑音比（ＳＮＲ）を維持しかつ低コストでの大量生産の関連要件を維持しながら小さいピクセルサイズを設計することは、困難である。そのため、結果的に、ＴＯＦ画像センサのチップサイズは、比較的大きくなる。従来の光学素子の場合、このような大型サイズの画像センサは、ダイ上へ嵌合するように大きくて厚い光学スタックを必要とする。概して、必要とされる分解能と、可搬質量の消費者製品への埋込みを可能にするデバイス厚さとの間には、妥協が見出されなければならない。

さらに、ＴＯＦカメラシステムによって取得される奥行測定値は、幾つかの理由で誤って決定されることがある。第１に、このようなシステムの分解能は、改良されるべきものである。大きいピクセルサイズは、大きいセンサチップを必要とし、よって、センサの分解能は、ＴＯＦセンサのサイズによって制限される。第２に、このようなシステムの奥行測定精度は、複数のパラメータの中でもとりわけ、信号対雑音比および変調周波数（奥行精度および奥行測定動作範囲を決定する変調周波数）に大きく依存するという理由で、いまだ改良が必要である。具体的には、奥行測定における不確定性または不精確さは、後に詳述する「奥行のエイリアシング」と呼ばれる効果に起因し得る。さらに、不確定性の原因は、背景における追加的な光の存在にある可能性もある。実際に、ＴＯＦカメラシステムのピクセルは、入射光を受信しかつこれを電気信号、例えば電流信号、に変換する感光性要素を備える。シーンの捕捉中に、センサが感応する波長において背景光が強すぎれば、ピクセルは、シーン内のオブジェクトから反射されるものではない追加的な光を受信する場合があり、これが奥行の測定値を変えることがある。

現時点で、ＴＯＦ画像化の分野では、本技術固有の主たる欠点を少なくとも部分的に克服するために、例えば、よりロバストかつ精確な奥行測定、ディエイリアシングまたは背景光のロバスト性機構を可能にする改良された変調周波数システム等のオプションが幾つか利用可能である。

大量生産される携帯デバイスとの統合に準拠させるべくシステム全体の厚さを制限しかつ視差問題をも低減しながら、これらの欠点に纏めて対処しかつさらにはＴＯＦカメラシステムの分解能を向上させる解決策は、未だ提案されていない。

Ｒｏｂｅｒｔ Ｌａｎｇｅ著博士論文「３Ｄ ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ ｄｉｓｔａｎｃｅ ｍｅａｓｕｒｅｍｅｎｔ ｗｉｔｈ ｃｕｓｔｏｍ ｓｏｌｉｄ−ｓｔａｔｅ ｉｍａｇｅ ｓｅｎｓｏｒｓ ｉｎ ＣＭＯＳ／ＣＣＤ ｔｅｃｈｎｏｌｏｇｙ」

本発明は、幾つかのカメラを備えるＴＯＦカメラシステムに関し、これらのカメラのうちの少なくとも１つは、ＴＯＦカメラであり、これらのカメラは、共通の基板上に組み立てられて同じシーンを同時に画像化し、かつ少なくとも２つのカメラは、異なる駆動パラメータによって駆動される。

少なくとも１つのＴＯＦカメラの奥行情報を、異なるパラメータにより駆動される別のカメラからの少なくともこうした情報と組み合わせて用いれば、画像がこれらのカメラによって同時に捕捉されることに起因して、全てのカメラ情報の融合により、結果的に得られる画像品質の精緻化および増強が促進され、かつ具体的には、捕捉されるシーン（環境、領域）からのより高品質な奥行マップの取得が促進される。

効果的には、カメラのセンサは、製造されて、例えばシリコンベースの基板またはウエハ等の共通する基板上に組み立てられ、これにより、ＴＯＦカメラシステムの厚さおよびサイズが低減される。この共通基板は、幾つかのカメラの使用によって生じる視差問題の低減をも可能にする。

好ましくは、ＴＯＦカメラシステムは、さらに、幾つかのレンズによるアレイも備え、アレイの各レンズは、各カメラに関連づけられる。これらのレンズは、衝突光を関連する個々のカメラセンサの感光部位へ集束させる手助けをする。

効果的には、駆動パラメータは、立体技術を実装するため、かつ／またはディエイリアシングアルゴリズム（dealiasing:脱エイリアシングアルゴリズム）を実装するため、かつ／または背景光のロバスト性を備える機構を実装するためのパラメータを含む。ディエイリアシング（エイリアシングを除去すること）に関しては、後述する。

より効果的には、ＴＯＦカメラシステムの少なくとも２つのカメラは、同じシーンを異なる積分時間中に画像化してもよい。

より効果的には、ＴＯＦカメラシステムは、各々が同じシーンを画像化しかつ異なる変調周波数から奥行情報を決定するように駆動される１つのＴＯＦセンサを有する２つのＴＯＦカメラを備えてもよい。

より好ましくは、ＴＯＦカメラシステムは、さらに、可視レンジ内の光および／または赤外光を除去するための手段を備えてもよい。光を除去するためのこのような手段の使用は、各センサが感応しなければならないレンジ内の波長を選ぶための光のチューニングを可能にする。

本発明は、添付の図面を参照する以下の説明を読めば、より良く理解されるであろう。

ＴＯＦカメラシステムの基本的な動作原理を示す。 多レンズＴＯＦセンサスタックを示す。 図２に示されているようなスタックにおいて使用される標準的なＴＯＦセンサを示す。 図２に示されているようなスタック用に最適化されたカスタムＴＯＦセンサを示す。 別々の４つのＴＯＦセンサを用いる、図２に示されているようなスタックを示す。 カラーフィルタおよび赤外線フィルタも用いる多レンズＴＯＦセンサスタックを示す。

本発明を、特定の実施形態に関連して、かつ所定の図面を参照して説明するが、本発明は、これらに限定されるものではない。図面は、単なる略図であって、限定的なものではない。諸図を通じて、一部の要素のサイズは、例示を目的として誇張され、縮尺通りに描かれていない場合がある。

図１に示されているように、従来のＴＯＦカメラシステムは、１つのＴＯＦセンサ１およびその関連の光学手段２（例えば、レンズ）と、ＴＯＦ原理仕様を参考にしてシーン１５を照射するための照射部１８と、少なくとも照射部およびＴＯＦセンサを駆動するための電子回路４とを備える。光は、通常、赤外波長領域内に存在し、かつシーンへ向かって放出される周期的な変調光１６を含む。ＴＯＦセンサおよびその関連光学手段は、シーンから反射されて戻る放出された変調光を捕捉できるように設計される。シーンのオブジェクトと、こうして形成されるＴＯＦカメラシステムとの間の奥行情報を決定するための１つのオプションは、放出されるパルス光または変調光とＴＯＦセンサにおいて受信し戻される光との間の位相遅延を決定することである。

飛行時間画像、即ち奥行マップ、の品質および分解能を向上させ、かつＴＯＦカメラシステムの厚さを低減するために、本発明は、幾つかのカメラを備える新規ＴＯＦカメラシステムに関し、これらのカメラのうちの少なくとも１つは、ＴＯＦカメラであり、これらのカメラは、共通のサポート上に組み立てられて同じシーンを画像化し、かつ少なくとも２つのカメラは、異なる駆動パラメータによって駆動される。

カメラという用語は、少なくとも衝突光の電磁放射線を捕捉するための手段を備える電子デバイスシステムを意味する。例えば、１つのカメラは、少なくともセンサデバイスの単一ピクセルによって表されてもよい。また、１つのカメラは、センサデバイス上のピクセルグループによって、またはセンサデバイス全体によって表されてもよい。好ましくは、少なくとも１つのカメラを決定するセンサデバイスは、ピクセルのマトリクスアレイと、これを動作させるための回路とを備える。回路は、さらに、使用される少なくとも１つのセンサデバイスからの各ピクセルおよび／または各カメラにより測定されるデータをさらに処理するための電子手段を備えてもよい。また、本発明は、より一般的には、各々が少なくとも１つのセンサデバイスを有する複数の独立したカメラを備える、かつこれらのカメラのうちの少なくとも１つはＴＯＦセンサデバイスを備えるＴＯＦカメラシステムにも関連し得る。

次に、本発明を、４カメラアレイによる対称構造に関連して説明する。この時点で、本発明の諸態様は、各々が少なくとも１つのレンズに関連づけられる４つのカメラに限定されるものではなく、また使用する例に示されている対称性にも限定されないことに留意されたい。当業者であれば、記述される原理をより少数の、またはより多数のレンズおよびカメラへと、例えば、２つのカメラがその上に画定される少なくとも１つのセンサに関連づけられる２つのレンズへと、かつ／または異なる構造の視点へと容易に外挿することができる。

幾つかのカメラを備え、そのうちの少なくとも１つがＴＯＦカメラであるＴＯＦカメラシステムを設計する場合、カメラを配列する構成の可能性は幾つか存在する。

図２には、画像センサ平面１００であるサポートの上に４つのレンズＡ、Ｂ、Ｃ、Ｄ（１０１−１０４）を有する第１の構成が示されている。各レンズは、画像化されるシーンから到来する衝突光が画像センサ平面の個々のカメラ上に集束されることを可能にする。例えば、ある実施形態において、各レンズは、捕捉される光をＴＯＦ画像センサ上に画定される各カメラ上に集束する。４つの個別画像の融合により、より大きい単一の高分解能カメラＴＯＦセンサシステムより少ない厚さを有する、より高い分解能の画像が提供され得る。

図３から図５までには、サポート、即ち画像センサ平面１００と、４つのカメラ１０７と、その関連回路１１０が示されている。サポート内における可能な画像センサ回路構成が、幾つか表示されている。

１）図３に示されている第１の構成は、最も単純なものである。単一のＴＯＦ画像センサデバイスが使用され、これは、４つのレンズ１０１−１０４によって構成される、または区切られる４つの画像部位１０７（即ち、カメラ）を覆う。様々なアナログおよび／またはデジタルブロック（信号調整、アナログ−デジタル変換、フィルタリング、画像センサ処理．．．）を備える画像センサ回路１１０は、この事例では、画像センサ側に示されていて、全てのＴＯＦピクセルは、グループ化されている。この手法の優位点は、既存のＴＯＦ画像センサデバイスをこの原理に使用できることにある。この手法の１つの欠点は、領域１０７間の多くのＴＯＦピクセルが光学素子１０１−１０４の像平面内に存在せず、よってちなみに、これらは無用であることにある。この手法の別の欠点は、効率的なＴＯＦセンサデバイスは、元来、所与のサイズでは分解能が限定的であることから、このようなシステムは、分解能を制限されることにある。この手法の別の欠点は、シーンから、ＴＯＦ原理ベースの情報、即ち、奥行マップおよび照射または信頼度グレースケールマップしか提供されないことにある。

２）第２の可能な構成は、図４に示されていて、（例えば、同じシリコン基板上に設計される）共通のサポート上に幾つかのカメラが組み立てられる。この構成では、各カメラもその固有のレンズによって覆われる。光学素子により画定される領域内に位置決めされるカメラのみが、画像を生成する。この方法では、画像センサ回路は、領域１０７間の自由空間内に割り付けられることが可能である。図４において、領域１０７間の自由空間は、「十字」を形成する長方形の帯のように見受けられ、カメラを動作させるための電子回路は、シリコンを節約しかつこのように形成されるセンサシステムのサイズを最小限に抑えるように設定されることが可能である。図４に示されているように、達成される画像センサシステムのサイズは、図２の画像センサシステムより小さい。この第２の構成は、コストおよび基板スペースを最適化する。明らかに、カメラ間で利用可能な基板自由空間を満たす電子回路が、十字ほど最適ではない他の形式で、例えば縞形式で設計され得ることは、留意されるべきである。

３）第３の可能な構成は、図５に示されていて、（４つの個々のＴＯＦ画像センサで形成される）４つのカメラが、図２の４つのレンズ１０１−１０４の下に位置合わせされ、合わせて１つのサポートを形成している。この構成において、各ＴＯＦセンサは、その固有のレンズによって覆われ、かつその固有の回路によって管理される。この手法の場合、４つのカメラの個別校正および搭載整合ステップが必要である。

本発明の第１の実施形態によれば、ＴＯＦカメラシステムは、幾つかのカメラを備え、これらのカメラのうちの少なくとも１つは、ＴＯＦカメラであり、これらのカメラは、共通の基板上に組み立てられて同じシーンを同時に画像化し、かつ少なくとも２つのカメラは、異なる駆動パラメータによって駆動される。

共通の基板という用語からは、カメラが共通のベース上に製造されること、即ち、上にカメラを直接製造できる表面を提供する基礎材料、例えば、超小型電子技術の分野で一般的に使用されるもの等のウエハ上に製造されること、が理解されるべきである。この基板は、例えば、シリコンベースであることが可能であって、複数のカメラは、このシリコンから製造されることが可能である。

これらのカメラが同じシーンを同時に画像化するという事実は、例えば、何らかのパラメータで決定される１つのカメラ捕捉から他の何らかのパラメータで決定される少なくとも１つの他のカメラ捕捉への動作関連アーティファクトを示すことのない改良された測定値を取得するために、これらのカメラがシーンから到来する光に順次ではなく同時に暴露されることを意味する。

ＴＯＦカメラシステムは、上述の構成に従って設計されてもよい。好ましくは、ＴＯＦカメラシステムは、カメラが共通の基板上に組み立てられる、図４に表示された構成に従って設計されてもよい。この基板は、シリコンベースであってもよいが、本発明は、これに限定されない。

カメラが共通の基板上に組み立てられて同じシーンを画像化するという事実、および少なくとも２つのカメラが異なる駆動パラメータにより同時に駆動されるという事実は、具体的には、同じシーンから異なるタイプの情報を同時に取得することを可能にし、この情報は、例えば、色情報、照射情報または奥行マップ情報のうちの少なくとも１つである。好ましくは、この情報は、決定された分解能の幾つかの奥行マップ、および場合により、好ましくはより高い分解能のカラー画像であってもよい。

単一の各画像に含まれる異なる情報の融合、即ち、ＴＯＦ原理に従って取得される少なくとも１つの奥行マップと、少なくとも奥行情報または色情報を含む少なくとも別の画像との融合は、結果として得られる向上された品質の単一画像の計算を可能にする。「融合」という用語からは、改良された、かつ／または精緻化された最終画像、または各単一ピクセルの少なくともより高い品質の奥行測定またはより高い分解能を示す「スーパーイメージ」を生成するための、個々の画像に関連する情報のコンビネーションが理解されるべきである。

このＴＯＦカメラシステムを用いることにより、個々の画像を１つの「スーパーイメージ」に融合すること、例えば、４つの個別画像を融合することが可能である。ある好適な実施形態において、融合から結果的に生じる所謂「スーパーイメージ」の分解能および奥行マップ精度情報は共に、単一の各個別画像から生成される個々の情報よりも改良されている。

ある実施形態において、レンズアレイのレンズのうちの少なくとも１つ、またはＴＯＦシステムのカメラのうちの少なくとも１つは、これらのレンズが異なる焦点距離を有する画像を送出し得ること、かつこれらのカメラが異なるサイズおよび／または異なる分解能であり得ることにおいて、他のレンズまたはカメラとは異なってもよい。 例えば、２つのＴＯＦカメラおよび２つのカラーカメラを備えるＴＯＦカメラシステムは、ＴＯＦカメラ（それぞれ、ＴＯＦセンサ）とはサイズおよび分解能が異なるカラーカメラ（それぞれ、カラーセンサ）を有してもよい。ＴＯＦカメラに関連づけられるレンズの焦点距離は、さらに、カラーカメラに関連づけられるものとは異なってもよい。ＴＯＦカメラおよびカラーカメラによって観測されるシーンは、同じであることから、各種カメラに関連づけられるパラメータ、即ち、分解能、レンズの焦点距離、センササイズにより、各種カメラによって捕捉される画像が異なってくる場合がある。例えば、立体視原理によりカラー画像から推定される奥行マップは、少なくとも１つのＴＯＦカメラによって取得される奥行マップにより画像化されるシーンとは僅かに異なるビューを表す場合がある。

以下、ＴＯＦカメラシステムに実装され得る駆動パラメータを提示するが、これらは、限定的なものではない。

ある実施形態において、カメラのうちの少なくとも２つは、立体技術を実装するためのパラメータによって駆動されてもよい。立体視は、画像内の奥行の錯視を両眼視によって生成または増強するための技術を指す。この技術において、シーンの両眼視は、頭部における両眼の位置の違いに起因して、両眼に僅かに相違するシーン画像を生成する。これらの相違は、脳が視覚的シーンにおける奥行の計算に用いることができる、奥行知覚を規定する情報を提供する。ある実施形態では、飛行時間奥行き計算の次に、本発明の少なくとも２つの視点のコンビネーションを基礎として、受動的な立体計算が使用されてもよい。この計算は、ディエイリアシングを識別する、または消散するにはあまりに粗であり得る。好ましくは、最も遠く離れた領域１０７同士、即ち最も遠位のカメラ同士が使用されてもよい。さらに好ましくは、４つのピクセルの場合、対角的な領域を用いてこれらの駆動パラメータが実装されてもよい。

ある派生された実施形態では、同じ分解能である少なくとも２つのカラーカメラを用いて、少なくとも１つのＴＯＦカメラを起源とする奥行マップが融合され得る、立体原理ベースの奥行測定への入力が提供されてもよい。

立体技術を用いる本発明の派生された別の実施形態において、少なくとも２つのＴＯＦカメラは、各々が、同じシーンの２つの奥行マップを異なる固有の測定品質で提供するための異なるパラメータによって駆動される。これらの奥行マップは、互いに融合され、元の個々の２つの奥行マップの何れよりも品質が高い奥行マップが提供される。ＴＯＦカメラシステムは、さらに、元来２つのＴＯＦカメラによって提供される２つの個別ＩＲ照射マップまたは信頼度マップを用いて、融合に使用され得る立体写真撮影から奥行マップを生成しかつＴＯＦカメラからの２つの奥行マップのうちの少なくとも一方、またはこれらの融合により生成される奥行マップを精緻化する立体技術を実装してもよい。このような実施形態は、特に、例えば既定の光パルス周波数または光力が取得を許さない余分な距離測定レンジを取得する場合に適切であり得る。

センサのうちの少なくとも１つがＴＯＦ原理を参考にして動作されるためのＴＯＦセンサである具体的な一実施形態において、少なくとも２つの他のセンサは、異なるパラメータによって動作される、より高い分解能を有しかつ立体視原理から奥行マップを決定するために使用されるＲＧＢセンサであってもよい。この立体視ベースの高分解能奥行マップは、少なくとも１つのＴＯＦセンサ上でＴＯＦ原理から取得されるより低い分解能の奥行マップとの融合に使用されてもよい。立体視ベースの奥行マップは、ホールおよびＴＯＦ原理の奥行測定以外の最低の奥行推定によって損なわれることから、ＴＯＦカメラにおいて取得される奥行マップは、立体視原理によって取得される分解能は高いが不完全である奥行マップを精緻化するために使用されてもよい。好ましくは、融合は、ＴＯＦカメラシステムの回路内で動作されてもよく、かつ結果的に得られる改良された奥行マップは、立体視捕捉から生じる色情報も備えてもよい。結果的に得られるこの改良された画像の分解能は、少なくとも高分解能センサのそれに類似するものであるが、最新技術による補間計算手段を用いるより低い、またはより高い分解能であってもよい。

別の実施形態によれば、ＴＯＦカメラシステムのカメラ上に、かつ具体的には、ＴＯＦカメラシステムのＴＯＦカメラ上に実装され得る別の駆動パラメータは、放出されるパルス照射に適用される異なる周波数、およびシーンから個々の各ＴＯＦカメラ上へ戻って当たる際のこれらの同期捕捉の使用である。カメラを相違して駆動するためのこの具体的な実施形態の意図は、ＴＯＦ測定に奥行測定のディエイリアシング（dealiasing:脱エイリアシング、エイリアシングを除去すること）原理を適用することにある。信号処理および関連分野において、エイリアシングとは、サンプリング時に異なる信号が区別不可能になるようにする効果を指す。時間エイリアシングは、サンプルが時間的に区別不可能になる場合である。時間エイリアシングは、サンプリングされている信号が周期的に周期的なコンテンツも有する場合に発生することが可能である。ＴＯＦ原理で動作するシステムでは、既定の動作レンジを有するＴＯＦカメラシステムから異なる距離に存在するオブジェクトに関して同じ距離が測定され得ることから、所定の変調周波数において、奥行エイリアシングは、結果的に、記録されるべき距離に関する不確定性となる。例えば、１メートルから５メートルまでの動作レンジを有する単一の変調周波数で動作されるＴＯＦカメラシステムは、カメラへの変調光の跳ね返りが十分であれば、カメラシステムから６メートルに存在する測定対象オブジェクトを全て１メートルの距離にあるものとする（周期的挙動）。

ある実施形態において、ＴＯＦカメラシステムのＴＯＦカメラのうちの少なくとも１つは、このようなディエイリアシング原理によって、かつより具体的には、関連のディエイリアシングアルゴリズムまたは方法によって駆動されてもよい。この少なくとも１つのＴＯＦカメラは、ＴＯＦ原理に従って、少なくとも２つの異なる周波数を用いて距離情報を測定するために動作されかつ駆動されてもよく、かつこのＴＯＦカメラにより取得される距離測定値は、ディエイリアシング原理に従ってディエイリアスされてもよい。奥行マップの形式である距離測定値は、次に、ＴＯＦカメラシステムの他のカメラからの測定情報と融合されてもよく、前記他のカメラは、異なるパラメータで駆動される。例えば、他の情報は、立体視原理、またはＴＯＦ原理および／またはカラー画像を起源とする、より高い、またはより低い分解能の奥行マップのうちの少なくとも１つであってもよい。

さらに好適な実施形態では、異なるカメラ、即ち異なる領域１０７に異なるディエイリアシング技術を実装して、各カメラがディエイリアスされた奥行測定値を提供することからさらにロバストなディエイリアシング効果がもたらされてもよい。別の例は、異なるパラメータで動作される少なくとも２つのＴＯＦカメラを備えるＴＯＦカメラシステムであり、前記異なるパラメータは、これらの個々の捕捉が同期される変調周波数である。ＴＯＦカメラの駆動には、少なくとも２つの異なる周波数の使用が可能である。変調照射光は、一方が参照周波数でありかつさらなる周波数が例えば参照周波数の３分の１である、少なくとも２つの既定の周波数を含んでもよい。ＴＯＦカメラシステムの一方の第１のＴＯＦカメラは、３分の１の変調周波数と同期して駆動されてもよく、ＴＯＦカメラシステムの他のＴＯＦカメラは、参照周波数と同期して駆動されてもよい。この方法により、ＴＯＦカメラシステムの２つのＴＯＦカメラは、同じ時間内に、異なる明確な距離レンジを有する、奥行がエイリアスされた測定を獲得してもよく、これらの奥行測定値は、さらにディエイリアスされた単一の奥行マップを提供するために組み合わされてもよい。この原理は、必要であれば反復されることが可能であり、よって、完全なＴＯＦカメラシステムまでの明確さの極めて高い距離がもたらされる。

ＴＯＦ原理に従って動作される少なくとも１つのＴＯＦカメラを備える派生した一実施形態において、こうして生成されるディエイリアスされた奥行マップは、さらに、少なくとも１つの他のカメラからの他の測定値と融合されてもよく、前記他の測定値は、ＴＯＦ原理または立体視原理を起源とする別の同一分解能の奥行マップ、同一分解能の色マップ、ＴＯＦ原理または立体視原理を起源とするより高い分解能の奥行マップ、より高い分解能の分解能色マップ、のうちの少なくとも１つである。

ＴＯＦベースの奥行測定に対してディエイリアシング原理を動作させるために複数の、即ち少なくとも２つの周波数を用いる場合、第２の周波数が高いほど、その第２の奥行測定値の精度が高まることは留意されるべきである。ちなみに、少なくとも１つのＴＯＦカメラを備えるＴＯＦカメラシステムがディエイリアシング原理に従って動作され、かつ好ましくは、２つのＴＯＦカメラが各々少なくとも１つの周波数で動作されれば、奥行測定値の融合によって、奥行マップは、より精確になり得る。さらに、別の駆動パラメータで動作されるカメラのうちの少なくとも１つがより高い分解能であれば、結果的に得られる画像は、より高い分解能、より高い精度、およびディエイリアスされた奥行測定値を含む。またさらに好ましくは、カメラシステムは、さらに、色情報を捕捉するための手段を備えてもよく、これらの手段は、カメラのうちの少なくとも１つが色情報を捕捉することを特徴とする。またさらに好ましくは、ＴＯＦカメラシステムのカメラのうちの少なくとも１つは、ＲＧＢＺセンサ等のＲＧＢＺカメラである。したがって、ＴＯＦカメラシステムは、少なくとも３つのカメラを備えることが可能であり、これらのカメラのうちの少なくとも２つは、ＴＯＦカメラであり、これらの少なくとも２つのＴＯＦカメラは、周波数等の、但しこれに限定されない異なる駆動パラメータによって駆動され、一方で同じシーンを同時に画像化する。

さらなる一実施形態では、カメラ上に異なる背景光ロバスト性機構が実装されてもよい。背景光のロバスト性を高めることにより、ノイズまたはピクセルピッチを増加させ得ることが極めて多い。異なる領域１０７上、即ち異なるカメラ上での背景光ロバスト性機構の使用は、強力な優位点を与える場合がある。ある実施形態において、システムのカメラのうちの少なくとも１つは、背景光ロバスト性機構によって駆動されてもよい。これは、背景光が高い事例において、１つの領域１０７の分解能のみが必要とされる用途に対して優位点を有し得る。

さらなる一実施形態において、ＴＯＦカメラシステムの少なくとも２つのカメラは、２つの異なる積分時間で駆動されてもよい。実際には、極めて短い積分時間は、高い動作ロバスト性をもたらすが、奥行値に、本文書では奥行雑音と称する高い標準偏差ももたらす。したがって、１つの領域１０７は、短い積分時間用に最適化されてもよく、一方で別の領域１０７は、雑音パフォーマンス用に最適化されてもよい。画像、およびより具体的には、その関連情報を融合する際には、双方の構成の優位点が達成されかつ使用され得る。効果的には、この実施形態は、融合される各ピクセルが、より長い積分時間により駆動される他のカメラから低雑音情報を受け継ぎながら、短い積分時間により駆動されるＴＯＦカメラにより高速移動するオブジェクトに関する高信頼性情報を得ることを可能にする。派生された一実施形態において、他のカメラは、より長い積分時間で駆動される少なくとも１つの別のＴＯＦカメラを備えてもよい。別の一実施形態において、他のカメラは、より長い積分時間で駆動される少なくとも別のＴＯＦカメラと、少なくとも１つのカラーカメラとを備えてもよい。

異なる情報の信頼的融合を進めるために、回路内、またはコンパニオンチップ内、または分離された処理部上へ、各々が１つの座標系に関連づけられる異なる情報セットを、単一の共通する既定の座標系を有する単一のデータセットへ変換するためのプロセスが実装される。好ましくは、共通する既定の座標系は、カメラのうちの１つのｘ−ｙ平面（例えば、水平軸および垂直軸で画定される平面）、例えば、高分解能カメラのｘ−ｙ平面になる。他のカメラからのデータ、例えばカラー画像、奥行測定値またはＴＯＦ信頼度マップのグレースケール画像、は、レジストレーションを用いて、共通する既定の座標系に関連づけられる画像に投影される。具体的には、画像レジストレーション（image registration）は、この場合、標的画像、例えばＴＯＦ測定から取得される低分解能高精度奥行マップを参照画像、例えば立体視から取得されかつ色情報を含む高分解能低精度奥行マップと位置合わせするように空間的に見当を合わせる（register:照合する）ことを含む。画像レジストレーションの方法は、輝度ベースまたは特徴ベースの方法等の幾つかが使用されてもよい。輝度ベースの方法は、具体的には、画像内の輝度パターンを相関行列を介して比較し、一方で、特徴ベースの方法は、主として、点、線、輪郭および奥行等の画像機能間のマッチングまたは対応性を見出そうとする。輝度ベースの方法は、画像全体または部分画像の見当合わせ（register:照合）を目的とする。部分画像の見当が合わされれば、対応する部分画像の中心は、対応する機能点として扱われる。特徴ベースの方法は、画像における既定数の明確な点間の対応性を確立する。画像における幾つかの点間の対応性が分かれば、次に、標的画像を参照画像へマップするための変換が決定され、これにより、参照画像と標的画像との間の点毎の対応性が確立される。画像の分解能は異なる場合があることから、この事後のレジストレーションプロセスは、さらに、補間技術を含んでもよい。

複数のＴＯＦカメラが使用される場合、または少なくともＴＯＦカメラシステムが奥行情報を提供する少なくとも１つのカメラを備える場合に画像レジストレーションを用いる本発明の好適な一実施形態では、画像の融合を促進するために奥行情報が使用されてもよい。奥行は、視点角度および／または光条件とは一次独立したシーン固有の特徴である。したがって、これは、あらゆるアラインメント、あらゆるパターン認識または画像の融合に必要な他のあらゆる手段を実行するための極めて安定的な測定基準である。

ある好適な実施形態において、カメラのうちの少なくとも１つは、より完全に校正されることも可能であり、他のカメラは、この校正を受け継ぐことができる。飛行時間画像化では、絶対距離の校正、温度、変形、多経路解像、他等の完全な校正ステップが必要とされる。１つのカメラのみの校正は、ピクセル数がより少なく、かつ校正計算に適用されることが可能な数学がより高度であることに起因して、時間を節約し、次に、他のカメラは、校正された視点の恩恵を受けてこれを受け継ぎ、距離誤差および／または非線形性を補正することができる。この校正は、製造時に実行されてもよいが、ランタイムにおいて、例えば４つのＴＯＦカメラを備える上述のＴＯＦカメラシステムのうちの１つにより、４つの視点／カメラのうちの少なくとも１つを遙かに安定したイメージャとなるように、よってこれが校正基準として使用されるようなサイズにして実行される場合もある。

本発明のさらなる実施形態によれば、ＴＯＦカメラシステムは、さらに、可視レンジ内の光および／または赤外光を除去するための手段を備えてもよい。カラーフィルタは、図６に示されているように、カメラ上に実装されてもよい。本図において、Ｒ、Ｇ、ＢおよびＩＲの各部位は、各々赤色、緑色、青色および赤外線通過フィルタを表す。これは、１つの画像内にＲＧＢデータおよび奥行データの双方を組み合わせることを許容し、これらの全ての特性を組み合わせる融合された、または改良された画像を見込んでいる。しかしながら、少なくとも１つのＴＯＦカメラ、および異なるパラメータで駆動される少なくとも１つの別のカメラを備えるＴＯＦカメラシステムは、これらのカメラのうちの少なくとも１つが、ＲＧＢＺカメラであることを特徴としてもよい。ＲＧＢＺカメラは、幾つかのピクセルを備えるカメラであって、前記ピクセルの検出部位が、赤、緑、青のうちの少なくとも一色、好ましくはＲＧＢ三色を収集しかつさらに赤外線照射を捕捉し、この赤外線照射から奥行（Ｚ）情報が例えばＴＯＦ原理を参照して処理され得ることを特徴とする。

さらに別の実施形態において、ＴＯＦカメラシステムの少なくとも１つのカメラのピクセルは、さらに、量子ドットフィルムを備えてもよい。量子ドットは、２ｎｍから１０ｎｍまでの直径範囲を有する半導体物質のナノ粒子である。量子ドットは、その小型サイズに起因して固有の光学および電気特性を示し、即ち、量子ドットの特性は、対応するバルク材料のそれとは性質が異なる。明らかな主たる特性は、励磁下での光子放出（蛍光）であり、これは、人の目に光として見える場合もあれば、赤外領域で放出すれば不可視である場合もある。放出される光子の波長は、量子ドットの製造材料だけでなく、量子ドットのサイズにも依存する。量子ドットのサイズを精密に制御する能力は、製造者が放出の波長を決定すること、即ち光出力の波長を決定することを可能にする。したがって、量子ドットは、所望されるあらゆる波長を放出するように、製造中に「調整」されることが可能である。量子ドットからそのコアサイズを変更することによって放出を制御または「調整」する能力は、「サイズ量子化効果」と呼ばれる。ドットが小さいほど、ドットはスペクトルの青色の端に近くなり、ドットが大きいほど、赤色の端に近づく。量子ドットは、何らかの特有の材料の使用により、可視光を超えて赤外へ、または紫外へと調整されることも可能である。

カラーフィルタとして使用される量子ドットフィルムは、センサの感度が高まる範囲において波長を放出し直すように設計されてもよい。好ましくは、量子ドットフィルムの放出波長は、より低い雑音の測定を有効化するセンサの最大感度に近いものであってもよい。

Claims (12)

1. 各々が画像センサを有する幾つかのカメラ（１、１０７）を備えるＴＯＦカメラシステム（３）であって、前記カメラのうちの少なくとも１つは、ＴＯＦカメラであり、前記カメラのうち少なくとも１つは、前記ＴＯＦカメラとは異なる種類のカメラであり、前記各カメラは、共通の基板（１００）上に組み立てられて同じシーン（１５）を同時に画像化し、かつ前記少なくとも２つのカメラは、当該各カメラに対応する異なる駆動パラメータによって、前記同じシーン（１５）について独立した異なる種類の画像を同時に取得するように駆動される、ＴＯＦカメラシステム（３）。
2. 前記駆動パラメータは、ディエイリアシングアルゴリズムを実装するための少なくとも２つの異なる周波数を含む、請求項１に記載のＴＯＦカメラシステム（３）。
3. レンズ（１０１−１０４）によるアレイをさらに備え、前記アレイの各レンズは、前記カメラの各々に関連づけられる、請求項１または請求項２に記載のＴＯＦカメラシステム（３）。
4. 少なくとも２つのカメラは、同じシーンを異なる積分時間中に画像化する、請求項１から請求項３までのいずれか一項に記載のＴＯＦカメラシステム（３）。
5. 前記カメラにより提供される画像を互いに見当合わせするための画像レジストレーション手段をさらに備える、請求項１から請求項４までのいずれか一項に記載のＴＯＦカメラシステム（３）。
6. 少なくとも１つのカメラをランタイムにおいて校正するための手段をさらに備える、請求項１から請求項５までのいずれか一項に記載のＴＯＦカメラシステム（３）。
7. 前記校正されるカメラの少なくとも１つは、他のカメラを校正するための参考として使用される、請求項６に記載のＴＯＦカメラシステム（３）。
8. 前記シーンを画像化する前記カメラは、色情報、照射情報または奥行情報のうちの少なくとも１つを提供する、請求項１から請求項７までのいずれか一項に記載のＴＯＦカメラシステム（３）。
9. 前記カメラにより改良された画像形式で提供される情報を互いに融合または組み合わせるための手段をさらに備え、前記改良された画像は、より高い分解能又はより高い奥行測定精度のうちの少なくとも一方を含むという事実によって特徴づけられる、請求項１から請求項８までのいずれか一項に記載のＴＯＦカメラシステム（３）。
10. 可視領域内の光および／または赤外領域内の光を除去するための手段をさらに備える、請求項１から請求項９までのいずれか一項に記載のＴＯＦカメラシステム（３）。
11. 前記基板は、シリコンベースである、請求項１から請求項１０までのいずれか一項に記載のＴＯＦカメラシステム（３）。
12. 少なくとも３つのカメラ（１、１０７）を備え、前記カメラのうちの少なくとも２つは、ＴＯＦカメラであり、前記少なくとも２つのＴＯＦカメラは、異なる駆動パラメータによって駆動され、一方で前記同じシーン（１５）を同時に画像化する、請求項１から請求項１１までのいずれか一項に記載のＴＯＦカメラシステム（３）。