JP5688722B2 - 改善された光学測距カメラ - Google Patents

Description

本発明は一般的には三次元画像を発生させるためのシステムに関し、より特別には情景の画像を取り込んで、情景中の被写体および被写体の一部分までの距離を決定するカメラシステムに関する。

情景の三次元画像、即ち深度や距離情報を含む画像を発生させるための種々の技術が周知である。典型的な方法としては、いわゆる時間実測（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）法、位相検知法および三角測距法がある。これらの技術では一般に、画像を例えばレーザビームによりスキャンし、一点毎の深度データを得ることが要求される。多くの応用のためにはしかしながら、深度情報もしくは距離情報を画像全体にわたって同時に得ることが望ましい。

本発明の参照文献として挙げる米国特許第５，２００，７９３号は、光源とＣＣＤもしくは他の検知素子アレイを含む測距アレイカメラを開示している。光電変調器が光源による目的の情景の照明と、情景から検知素子アレイへ戻る反射光の両方を変調しており、照明光と反射光とは同じ変調パターンを有している。変調周波数が変化するにつれて、カメラから画素により表現された情景の部分までの距離を決定するために、コンピュータが上記アレイの各画素における強度変化を解析する。

エス．クリスティら（Ｓ．Ｃｈｒｉｓｔｉｅ，ｅｔ ａｌ）は、本発明の参照文献として挙げる、「メジャーメント・サイエンス・アンド・テクノロジー（Ｍｅａｓｕｒｍｅｎｔ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ）の第６号（１９９５年９月）」の１３０１ページ〜１３０８ページにて、二次元測距センサシステムを開示している。該システムは目的の情景を照射するレーザと、情景の画像を得るゲートおよび増強されたＣＣＤカメラを含んでいる。上記レーザは所望の長さの照射パルスを得るために変調され、上記カメラは等しい時間の長さの間に上記情景から光を受けるためにゲートされる。カメラのゲートパルスは、照射パルスと同期しているかまたは、それに対して遅延している。上記ゲートパルスの間にＣＣＤアレイの各画素が受光する光の全体の強度は、上記カメラから画素により画かれる情景の部分までの距離の関数である。コンピュータはこのようにして受けられた光の強度を全ての上記アレイにわたって解析し、それから測距情報を出力する。

レンジゲート式のカメラも同様に、従来より知られている。かかるカメラは一般に、情景を照明するパルス光源もしくはストロボ光源と連携して動作するゲート検知アレイを含んでいる。上記アレイは例えば、英国、エセックス州のイムコ・エレクトロ・オプティックス社（Ｉｍｃｏ Ｅｌｅｃｔｒｏ−ｏｐｔｉｃｓＬｔｄ．，）により製造されている、「インテンシィファイド・レンズ・システム（Ｉｎｔｅｎｓｉｆｉｅｄ Ｌｅｎｓ Ｓｙｓｔｅｍ）」のような、ゲートインテンシファイヤ（ｇａｔｅｄ ｉｎｔｅｎｓｉｆｉｅｒ）をそれに結合したり、従来周知の他の手段を結合することにより、ゲートされる。上記検知アレイのゲートタイミングは光源に対して遅延されていて、それによりカメラから所望の距離範囲にある物体のみが捕捉される。上記カメラでは、上記距離範囲内の種々の物体や異なる点までの距離を決定することはできない。

本発明の一つの目的は、一つの情景中の全ての画素から実質的に同時に深度情報を得る、改善された測距カメラを提供することにある。

本発明のいくつかの見地によれば、本測距カメラは該情景の強度画像と距離画像の両方を発生し、これらイメージは相互に登録される。

本発明の一つの見地によれば、本測距カメラは情景の三次元イメージを発生する。

本発明の他の見地によれば、本測距カメラは該カメラからの情景中の一以上の被写体の距離に関する情報を出力する。この距離情報は上記カメラにより得られた画像をフィルタしたり、およびまたはさらに処理するために使用するか、またはカメラ自身へのフィードバックとして使用し、より大きな選択性およびまたは精度に対してその距離検知機能を適合させることができる。

本発明の好ましい実施形態では、測距カメラは目的の情景を照射するための放射波源と検知アレイを含んでおり、該検知アレイは好ましくはＣＣＤアレイで、情景中の被写体からの反射光の強度を検知するためのものであり、本願と同じ出願人により同じ日に出願された「オプティカル・レンジング・カメラ（Ｏｐｔｉｃａｌ Ｒａｎｇｉｎｇ Ｃａｍｅｒａ）」なる名称を有する一番目のＰＣＴ特許出願に記載されているようなものであり、該発明は本発明の譲受人に譲渡されており、その開示は本願の参照文献とする。上記放射波源は、例えば機械式シャッタもしくは液晶シャッタにより変調され、該シャッタは予め定められた既知の期間および時間の間、上記放射波源を交互に遮断および開放する。反射波は同様に変調されて、上記検知アレイに到達する反射波は、好ましくは予め定められた既知の期間、遮断および開放され、それは上記放射波源が遮断および開放される期間と同じであるか、またはより好ましくは異なっていてもよい。上記検知アレイに到達する放射波の強度およびそれにより検知される強度は次いで、情景中の被写体のカメラからの距離を決定するために処理される。

本発明のいくつかの好ましい実施形態では、放射波源および反射源は上記したように、一つ以上の機械式シャッタもしくは液晶シャッタにより変調される一方、周知の他の形式の放射波変調器を同様に用いることができる。このように、本発明のいくつかの好ましい実施形態では、ＫＤＰ結晶変調器のような、一以上の光電変調器が放射波源およびまたは検知された放射波を変調する。それに加えてもしくはそれに代えて、本発明のいくつかの観点では、放射波源は適切な波形を放射波源を駆動している回路に印加することにより、電気的に変調することができる。さらにそれに加えてもしくはそれに代えて、反射波は従来周知のリセット／リードアウト技術により変調することができ、該技術では上記検知アレイはファーストリセットされる、すなわちアレイのエレメントは実質的にその中に集められた電荷がクリアされ、その後既知の予め定められた遅延期間の後、上記エレメントに集められた電荷が読み出されて測定される。

上記放射波源は好ましくはレーザ光源を含んでいるが、それに代えて他のタイプの適当な光源を含んでいてもよい。

本発明のいくつかの好ましい実施形態では、測距カメラは本発明と同日に出願された「テレセントリック・オプティカル・レンジング・カメラ（Ｔｅｌｅｃｅｎｔｒｉｃ Ｏｐｔｉｃａｌ Ｃａｍｅｒａ）」なる名称の２番目のＰＣＴ出願に記載されているような、テレセントリック（Ｔｅｌｅｃｅｎｔｒｉｃ）光学系を含んでおり、前記出願は同様に本願の譲受人に譲渡されており、その開示は本願の参照文献とする。好ましくは、反射波は適当な集光光学系により集光されて、ＫＤＰ結晶変調器のような光電変調器により変調される。より好ましくは、出射波および反射波は共通の光軸に沿う平行光とされる。一つのかかる好ましい実施形態では、出射波および反射波は同じ光電変調器により変調されるが、他の好ましい実施形態では、それらは別の変調器により別々に変調される。
本発明の好ましい実施形態では、放射源は第１の波形により変調され、反射波は第２の波形により変調される。これら第１の波形および第２の波形の形状およびこれら波形の間の遅延時間は、カメラから画素により撮像される被写体までの距離に上記検知アレイの各画素にて検知される強度に所望の関数依存性を与えるように調整される。

好ましくは、上記第１の波形および第２の波形並びにその間の遅延時間は、距離「ウィンドウ」、すなわち被写体の距離が決定されるカメラからの被写体の距離範囲を規定するように調整される。放射波源および反射波はそれぞれ第１および第２の波形により変調される一方、カメラは上記ウインドウ内の被写体のみの画像を得る。上記ウィンドウを適当に調節することにより、カメラから上記ウィンドウ内の被写体までの距離を決定する検知された放射波の処理が単純化される、およびまたはその精度が改善される。好ましくは、上記ウィンドウはまた、目的の情景の部分に対応するカメラからの距離範囲の被写体に対するカメラのダイナミックレンジを最大にするように調整される。

本発明のいくつかの好ましい実施形態では、上記第１の波形および第２の波形は放射波源からの放射波およびまたは反射波が上記検知アレイの単一フィールドまたはフレーム間に多数回遮断および開放される。好ましくは、上記第１および第２の波形は複数のパルスを含んでおり、第２の波形の各パルスは予め定められた、典型的には一定の、遅延時間により上記第１の波形の対応するパルスに追随する。標準的なビデオフィールドの持続時間は約１６ｍｓであるのに対し、上記第１および第２の波形のパルス幅は典型的には１マイクロセコンドよりも短いことを考慮すると、単一のフィールドもしくはフレームの時間中に何百、何千というかかるパルスが含まれることが分かるであろう。かかる多重パルス変調機能はカメラにより形成される画像のＳ／Ｎ比を増加させるのに有用である。

本発明のいくつかの好ましい実施形態では、上記ウィンドウは目的の一つ以上の被写体の画像のイメージが得られるように調整される。好ましくは、第１のウインドウは、カメラからの大きな距離範囲を包含していて、相対的に長いパルス幅の波形を使用している放射波源および反射波を変調することにより最初に規定されている。目的の被写体の画像はこのウィンドウ中に得られ、少なくとも一つの被写体までの距離が決定される。第２のウインドウがそのとき規定され、該ウインドウは上記少なくとも一つの被写体を含むとともに好ましくは上記第１のウィンドウよりも狭い距離範囲を包含している。このようにして、目的としない被写体の輻輳が削減され、上記少なくとも一つの目的の被写体までの距離をより正確に決定できるようにする第２の画像が得られる。

好ましくは、上記ウインドウは以降、目的の上記少なくとも一つの被写体を追跡するように調整されている。カメラからの上記被写体の距離が変化するにつれて、変調波形は上記被写体が上記ウィンドウにより包含される距離範囲内に留まるように変化する。
それに代えてもしくはそれに加えて、目的の被写体までの距離は最初、偵察ビーム、例えばレーザ測距装置もしくは従来周知の他の測距装置を使用して決定することができる。上記ウインドウはそのとき上記被写体がそれにより包含される距離範囲内にあるように調整される。

本発明の好ましい実施形態では、上記ウィンドウの外側にあるカメラからの距離に位置している情景の部分の画像は得られないか、または上記情景中の別の被写体画像から別に得られる。本発明はそのとき、例えば、目的の一以上の被写体をより遠い背景と区別するために使用することができる。いくつかの好ましい実施形態では、目的の被写体の物体の画像はそのとき、他の画像、例えばコンピュータ処理されたりまたはコンピュータで発生された画像と、従来周知の技術を使用して、所望の混合画像を形成するために結合される。

本発明のいくつかの好ましい実施形態では、上記検知アレイは二次元マトリックスアレイ、例えばＣＣＤアレイであり、一以上の光変調器が上記アレイに到達する反射光を変調し、異なる変調光は上記アレイの異なった行もしくは近接する行のグループとそれぞれ関連する。このようにして、異なった距離ウィンドウ、すなわち選択された異なった距離範囲は、異なった行もしくは近接する行のグループと連携する。かかる行もしくは近接する行のグループの各々は、線により切断された被写体の深度情報を含む情景のライン画像を発生させる。広範囲にわたる深度情報を含む情景の全体の画像を発生させるために、上記アレイの視野は一般に上記情景の上をスキャンされて、以下に述べるように、多重ライン画像が得られるともに結合される。

いくつかのこれらの好ましい実施形態では、液晶シャッタアレイが、ＣＣＤアレイの各行もしくは近接する行の連続するグループに到達する反射光を別々に変調するように、上記ＣＣＤアレイに関して配置されている。好ましくは、上記液晶アレイは連続する行もしくは該アレイの近接する行の連続するグループが等しく、連続する期間の間に反射光が入射するように駆動される。従って、各々の連続する行もしくはグループは情景の中の連続する距離ウインドウ中の被写体からの光を受光するとともに、上記カメラからのかかる被写体の距離を決定するために使用される。

さらに好ましくは、上記液晶アレイはその第１エッジに近接する第１行のＣＣＤアレイがカメラに相対的に近い第１距離ウインドウからの光を受光し、その第２エッジに近接する第１エッジとは反対側の上記ＣＣＤアレイの最終行がカメラから相対的に遠い最終距離ウインドウからの光を受光するように駆動される。上記第１行と最終行との間で、上記アレイの各々の連続する行が連続する距離ウインドウからの光を受光し、その全ての距離ウインドウはともに実質的に連続して、好ましくは実質的に等しいステップで、第１ウインドウと最終ウインドウとの間の距離をカバーする。

さらに、本発明の他の好ましい実施形態では、液晶シャッタアレイは上記ＣＣＤアレイに関して適切に配置されるとともに、上記ＣＣＤアレイ内の各画素もしくは隣接する画素グループに到達する反射光を別々に変調するように駆動され、その結果、各画素もしくは画素グループはそれに関連するそれ自身の距離ウインドウを有するようになる。上記シャッタアレイは好ましくは適切に駆動され、各距離ウインドウは画像が各画素もしくは画素グループにより捕捉される情景中の目的の被写体の点までの距離を追跡する。従って、各画素もしくは画素のグループに関連する距離ウインドウは、像の輻輳を少なくするとともに、上記点までの距離の正確な読みを包含並びに生成するように調整することができる。

各画素がそれ自身の距離ウインドウを有している、いくつかのこれらの好ましい実施形態では、相互に隣接する画素グループは「スーパ画素」として協動するように形成されている。各々のかかるスーパ画素は、例えば９個の画素の３×３グループを含んでいてもよく、その上には実質的に共通の軸に沿って情景から反射された光が結像される。上記シャッタアレイは上記９個のピクセルの各々が上記共通軸に沿う異なった距離ウインドウからの光を受光する。このようにして、横方向の解像度は犠牲になるが、所望の距離分解度を有する深度情報を含む上記情景の完全な像が捕捉される。例えば１×２画素、２×２画素もしくは４×４画素等、任意の所望サイズのスーパ画素が距離対横方向分解度の最適な見返りを達成するために使用することができる。

上記実施形態は液晶シャッタアレイの場合について述べたが、本発明の他の好ましい実施形態では、ゲーテッド・アドレッサブル・マイクロチャンネル・アレイ（ｇａｔｅｄ ａｄｄｒｅｓｓａｂｌｅ ｍｉｃｒｏｃｈａｎｎｅｌ ａｒｒａｙｓ）や、光電もしくは音響光変調器のアレイ等の他のタイプの光変調器アレイが同様の目的に使用することができる。

異なった距離ウインドウが検知アレイの異なった行と順次協動し、その各行が情景の部分のライン画像を形成するいくつかの本発明の好ましい実施形態では、上記したように、上記アレイの視野は「プッシュ・ブルーム（ｐｕｓｈ ｂｒｏｏｍ）」画像モードの情景を横断してスキャンされる。換言すれば、上記カメラは好ましくは、上記情景に関して横方向に、各行により形成されるライン画像が行の長さ寸法に対して実質的に垂直な方向で上記情景を横断して走査するような態様および方向で移動させる。上記カメラは連続する平行なラインに沿う検知器アレイの各行からの一連のライン画像を捕捉する。

さらに、上記カメラの視野は走査されもよく、また情景中の被写体はカメラに関して横方向に動いても、効果は同じである。

好ましくは、上記カメラによる画像の捕捉は、上記カメラにより捕捉された一連の画像中の任意の点におけるアレイの任意の行（第１行は除く）により画像形成された上記情景の一部分が、異なる距離ウインドウを有することを除いて、順序的に先行する点におけるアレイの先行する行により画像形成された情景の部分と実質的に同じになるように、情景に関する検知アレイの移動もしくは走査と同期させている。このようにして、情景の完全な三次元画像が得られるが、それは各情景の点に対して、反射光の強度が広い距離範囲にわたってカメラからの距離の関数として測定されるからである。

本発明の他の好ましい実施形態では、カメラは走査光学系を含んでおり、それは情景のライン画像の焦点を合わせるとともに変調して、該ライン画像が連続的に上記検知アレイの各行の上に投射されるようにする。従って、上記アレイの各行と連携する一連の距離ウインドウがあり、そのウインドウは上記ライン画像が上記行の上で休止する時間により規定される。連続する距離ウインドウの各々で、上記ライン画像により切断された情景中の被写体までの距離は上記した方法で決定される。上記走査光学系は高速光学機械式スキャナ、音響光学式もしくは光電式の変調器、もしくは従来周知の他のタイプのスキャナを含んでいてもよい。

本発明のいくつかの好ましい実施形態では、カメラは連携するカラーフィルタ、好ましくは従来周知の赤、緑、青の三つの検知アレイを含んでいる。それに代えて、カメラは従来周知の一つ以上のストリップもしくはモザイクカラーフィルタを有し、それによりカラー画像を得る一つまたは二つの検知アレイのみを含んでいてもよい。これにより、画像強度、カラーおよび深度情報がアレイの各画素に関して同時に得られる。

本発明のいくつかの好ましい実施形態では、二次元強度およびまたはカラー画像および三次元距離画像（すなわち、画素毎の距離情報）がカメラのユーザに対して深度画像を発生させ、提供するために相互に登録されるとともに重畳される。かかる深度画像は、従来周知の方法を使用して、例えば二次元画像上の等しい距離にある輪郭線を画くことにより、また、白黒画像中に表示された距離に対する疑似カラーを使用することにより、さらにはコンピュータにより発生される等大投射により、発生することができる。

本発明のいくつかの好ましい実施形態では、カメラは移動プラットホーム、例えば、その上を飛行している土地の地形図を得るために飛行機に搭載したり、もしくは水中または水上のいずれかに設置されたプラットホームや宇宙に設置されたプラットホームに搭載される。好ましくは、カメラは上記したように、プッシュ−ブルーム・モード（ｐｕｓｈ−ｂｒｏｏｍ ｍｏｄｅ）で動作するとともに、カメラによる画像の取り込みは上記移動プラットホームの対地速度と同期している。カメラにより取り込まれた画像は、プラットホームの下方の地形や物体の図形を画くために使用されるとともに、かかる地形や物体の三次元的な大きさを計算するために使用することができる。本発明の好ましい他の実施形態では、カメラはロボットに搭載されかまたはロボットと連携し、該ロボットは所望の仕事中の動作をガイドするためにカメラから供給される三次元画像情報を使用する。

それに代えてまたはそれに加えて、本発明のいくつかの好ましい実施形態では、カメラは例えば製造物品の多様な寸法を決定するとともに、標準値とのずれを確認するといった、製造工程の品質保証もしくは品質管理に使用される。同様に、積み荷やコンテナに貯蔵され、そのサイズをカメラを使用して同様に知ることができるか測定することができるものの表面の輪郭を測定することにより、上記積み荷や物品の大きさを決定することができる。

本発明の他の好ましい実施形態では、カメラは目的の被写体の三次元画像を得るために、モデル・スキャナで使用される。一つのかかる好ましい実施形態では、これらの三次元画像は、表面カラー再生を含む、目的の被写体の一以上の三次元コピーもしくはモデルを再生するために、従来周知の技術のような高速三次元画像のためのシステムとともに使用される。

本発明のさらに他の実施形態では、カメラは、例えば起こりうる障碍物を認識し、車両から障害物までの距離を決定することにより衝突を回避するためのシステムに使用するために車両に搭載される。

本発明の他の好ましい実施形態では、上記した測距カメラは患者の体内の目的の領域の三次元画像を得るために内視鏡とともに使用される。

本発明のいま一つの実施形態では、カメラは目の不自由な人により使用するための感覚マトリックスに結合される。例えば、上記感覚マトリックスは多数のピンを含んでいて、これらピンは目の不自由な人の皮膚、例えば額を押圧するように駆動され、各ピンにより上記皮膚に印加される圧力は目の不自由な人からカメラが視た情景中の対応する点の物体までの距離に比例する。好ましくは、目の不自由な人は、上記ピンにより印加される圧力範囲が目の不自由な人からの所望の距離範囲に対応するように、カメラの距離ウインドウを制御する。

従って、本発明の好ましい実施形態により、情景中の物体までの距離を表示する画像を生成するための装置を提供するものであり、該装置は、第１変調関数を有し、情景に向かって放射波を投射する変調された放射波源と、上記情景から反射され、第２変調関数により変調されたた反射波を検知するとともに、検知された変調波に対応して上記情景の領域までの距離に対応する信号を発生する検知器と、上記装置からの物体の距離を示す強度分布を有する信号に基づいて、上記検知器からの信号を受信するとともに画像を形成するプロセッサと、上記プロセッサにより形成される画像の強度分布に対応する第１および第２変調関数の少なくとも一つを変化させるコントローラとを含む。

本発明の好ましい実施形態により、さらに、情景中の物体までの距離を示す画像を発生するための装置を提供するものであり、該装置は、第１変調関数を有し、情景に向かって光を振り向ける変調された放射波源と、第２変調関数を有する検知変調器と、複数の検知エレメントを含む検知アレイとを含み、情景内の複数の平行間隔セグメントから反射された反射波を検知するとともに、検知された反射波に対応して、信号を発生する検知器と、少なくともいくつかの複数の間隔を有するセグメントを含むとともに、上記装置から物体までの距離を示す強度分布を有する画像を形成するプロセッサと、を含んでおり、複数の間隔を有するセグメントの各々が上記装置に関して距離限界を有しており、該距離限界は上記検知変調器により決定され、かつ、複数の間隔を有するセグメントの少なくとも一つは少なくとも一つの他の間隔を有するセグメントの限界とは異なる距離限界を有している。

本発明の好ましい実施形態により、また、情景中の物体までの距離を示す拡大された画像を生成するためのシステムを提供するものであり、該システムは上記したような画像を生成するための装置であって、該装置は情景の複数の画像を形成し、複数の画像の少なくとも一つは上記画像の少なくとも一つの他の画像に含まれていない情景の一以上の領域を含む装置と、拡大された画像を形成するために複数の画像を結合し、情景中の物体までの距離を示す画像プロセッサと、を含んでいる。

本発明の好ましい実施形態により、さらに、情景中の物体までの距離を示す画像を生成するための装置を提供するものであって、該装置は情景に向かって放射波を振り向ける、変調された放射波源と、上記情景から反射された放射波を受けるとともに平行にするテレセントリック（ｔｅｌｅｃｅｎｔｒｉｃ）光学系と、上記平行にされた放射波を変調する変調器と、上記変調され平行にされた放射波から形成された画像を検知する検知器と、検知された画像の強度分布に応じて、上記装置からの物体の距離を示す強度値分布を有する画像を形成するプロセッサと、を含み、上記放射波源および検知器は照準規正（ｂｏｒｅｓｉｇｈｔｅｄ）されており、かつ、上記情景から反射された平行な反射波を変調する変調器は上記放射波源により情景に向かって振り向けられた放射波を変調しない。

本発明の好ましい実施形態により、さらに、情景の中の物体までの距離を示す画像を生成するための装置を提供するものであって、該装置は、第１変調機能を有しており、情景に向かって放射波を振り向ける変調された放射波源と、第２変調機能により変調された、情景からの反射波を検知するとともに、検知された変調波に応答して、上記情景の領域までの距離に応じた信号を発生する第１検知器と、上記第１検知器により照準規正（ｂｏｒｅｓｉｇｈｔｅｄ）され、上記情景から反射されたるとともに上記第２変調機能により変調されない放射波を検知し、検知された放射波に応じて、上記情景の領域から反射された放射波の強度に応じた信号を発生する第２検知器と、上記第１および第２検知器からの信号を受信して、上記装置からの物体の距離を示す強度値分布を有する、上記信号に基づいて画像を形成するプロセッサと、を含む。

本発明の好ましい実施形態により、さらに、ロボット案内システムを提供するものであって、該システムは情景の中の物体までの距離を示す画像を発生するための上記した装置を含むとともに、案内のための上記装置により示された物体までの距離を使用して、上記情景中の物体に作用するロボットを含む。

本発明の好ましい実施形態により、さらに、物体の寸法を決定するためのシステムを提供するものであって、該システムは上記物体の領域までの距離を示す、物体の画像を生成するための装置を含むとともに、上記画像と示された距離を使用して、上記物体の大きさを決定するコンピュータを含む。好ましくは、該コンピュータは標準のものと寸法を比較する。それに代えてもしくはさらに、上記コンピュータは、決定された寸法を使用して、物体の体積を決定する。

本発明のさらにいま一つの好ましい実施形態により、物体の三次元モデルを生成するためのシステムをまた提供するものであって、該システムは上記したような物体の寸法を決定するためのシステムと、寸法を決定するためのシステムにより決定された寸法を受信し、上記寸法により三次元モデルを生成する迅速原型形成装置とを含む。好ましくは、上記迅速原型形成装置は、上記物体の画像を生成するための装置からの、より好ましくはカラー情報を含む画像情報を受信するとともに、該画像情報を三次元モデルの表面に付加する。

本発明の好ましい実施形態により、車両の案内システムをさらに提供するものであって、該案内システムは、上記したように車両の運動の方向における該車両の前方の情景中の物体までの距離を示す画像を生成するための装置と、該画像と示された距離とを使用して、情景中の障碍物を特定するプロセッサとを含む。

本発明の好ましい実施形態により、内視鏡の画像形成システムを提供するものであって、該システムは被験者の体内に挿入するための末端部を有するとともに、光学装置をそれに結合するための基部側の端部を有する内視鏡と、上記したような画像形成のための装置を含んでおり、該画像形成装置は上記内視鏡を通して体の中に放射波を投射し、そこから反射される放射波を検知するように、上記内視鏡の基部側の端部に結合される。

本発明の好ましい実施形態により、情景の実体的な画像を生成するためのシステムをさらに提供するものであって、該システムは、上記したように情景中の複数の点に関する距離情報を含む、情景の画像を生成するための測距カメラと、被験者の体の表面に接触する、触覚プローブのアドレス可能なマトリックスとを含んでおり、各プローブは情景中の複数の各点までの距離に応じて体の表面に圧力を印加する。

本発明の好ましい実施形態により、電子流を変調するためのマイクロチャンネルアレイ装置をさらに提供するものであって、該装置は電子がそれを通して加速されるマイクロチャンネルプレートと、該マイクロチャンネルプレートに近接するスイッチ可能な複数の電極であって、その各々の電極が上記プレートの対応する領域で電子の加速を変調する電極と、を含む。

好ましくは、上記マイクロチャンネルアレイは、光電陰極を含んでいて、該光電陰極は上記マイクロチャンネルプレートを通して加速された電子を受けてそれに対応する光子を発生し、かつ、上記電極が上記光電陰極の上にコートされた導電性の透明材料を含んでいる。

本発明の好ましい実施形態により、情景のイメージを形成するためのカメラシステムをまた提供するものであり、該カメラシステムは、上記情景からそれに入射する放射波に応じて、電子流を発生させる光電陽極と、上記電子流に応じて電子を発生させる上記したマイクロチャンネル・アレイ装置と、上記フォトンを受けるとともにそれに応じて情景の画像を形成する検知器と、を含む。

本発明の好ましい実施形態により、情景中の物体への距離を示す画像を生成するための方法であって、該方法は、第１変調関数により放射波源からの放射波を変調して、該放射波を情景に向かって投射すること、第２変調機能により上記情景からの反射波を変調すること、反射波を検知し、検知された反射波に応じて、上記情景の領域間での距離に応じた信号を発生させること、上記情景中の物体までの距離の強度値分布を有する画像を形成すること、および上記画像の強度値分布に応じて、少なくとも一つの第１および第２変調機能を変化させること、を含む。

本発明の好ましい実施形態により、情景中の物体までの距離を示す画像を発生するための方法をさらに提供するものであって、該方法は、第１変調関数により放射波源からの放射波を変調して、放射波を情景に投射すること、上記情景内に複数の平行な間隔を有し、各々が距離限界を有するセグメントを規定すること、各々の平行な間隔を有するセグメントから反射された反射波を検知するとともに、検知された反射波に応じて、情景の領域間での距離に対応する信号を発生すること、上記情景中の物体までの距離を示す強度値分布を有する画像を形成すること、を含み、上記複数の間隔を有するセグメントを規定することが複数のセグメントの各々の距離限界を規定することを含み、かつ、少なくとも一つの複数の間隔を有するセグメントの距離限界が少なくとも一つのほかの間隔を有するセグメントの距離限界と異なっている。

本発明の好ましい実施形態により、情景中の物体までの距離を示す拡大された画像を生成するための方法をさらに提供するものであり、該方法は、上記した方法により上記第１イメージを生成すること、上記情景に関して、間隔を有するセグメントを横方向に走査すること、上記第１イメージが生成されたのと同じ方法で上記情景の第２イメージを生成すること、および上記拡大された画像を生成するために、上記第１画像を第２画像と結合し登録すること、を含む。

本発明の好ましい実施形態により、別に得られた背景の画像の上に重畳された目的の物体を含む、混合された画像を生成するための方法をまた提供するものであって、該方法は、目的の物体を含み、情景中の物体までの距離を示す第１画像を生成すること、該第１画像により示されるような、物体までの距離を決定すること、少なくとも一つの物体までの距離を含む距離範囲を規定すること、フィルタされた画像を形成するために距離領域の外の第１画像の物体を除去すること、および上記背景画像の上にフィルタされた画像を重畳すること、を含む。

本発明の好ましい実施形態により、混合された画像の中の選択されたゾーン中へ挿入された所望の挿入画像を含む、情景の混合された画像を生成するための方法であって、該方法は、上記情景中にゾーンを画成すること、上記情景中の物体までの距離を示し、画成された上記ゾーンを含む情景の第１画像を生成すること、上記第１画像のゾーンの境界の位置および上記ゾーンまでの距離を、上記第１画像により示されたように決定すること、上記ゾーンまでの距離に従って、上記ゾーンの境界内に合致するように上記挿入画像を計測すること、および混合された画像を形成するために上記第１画像のゾーンの上に上記計測された挿入画像を重畳すること、を含む。

好ましくは、上記方法はさらに、上記第１画像内に挿入される物体を識別することを含み、挿入物体までの距離が上記ゾーンまでの距離よりも小さく、目的の物体のフィルタされた画像を形成するように第１画像をフィルタし、上記ゾーン内の挿入画像の上に挿入される物体のフィルタされた画像を重畳する。

本発明は、本発明の好ましい実施形態の以下の詳細な説明並びに添付の図面を参照することにより、よりよく理解されるであろう。

図１を参照すると、同日に出願されるとともに本発明の参照文献としてあげられた二番目に言及した上記ＰＣＴ出願に記載されている、本発明の好ましい実施形態の光学測距カメラが示されている。カメラ２０は検知アレイ２２、好ましくはニューヨーク、ロチェスタのイーストマン・コダック（Ｅａｓｔｍａｎ Ｋｏｄａｋ）社製のＫＡＦ ０４００ ＣＣＤアレイ、カリフォルニア州サニーベイルのイー・ジー・アンド・ジー（ＥＧ＆Ｇ）レチコン（Ｒｅｔｉｃｏｎ）社製のＨＳ ０５１２Ｊ ＣＣＤアレイのようなＣＣＤアレイを含んでいる。ＣＣＤ２２により発生された信号はビデオプロセッサ２４により処理され、それは好ましくは上記カメラにより撮像された情景２６の三次元デジタル画像、もしくは目的の物体までの距離が以下に述べるように示されている二次元ビデオ画像を生成する。

カメラ２０はさらに光学系２８を有しており、それは情景２６から受けた光を変調する。光学系２８は入射絞り３０、集光レンズ３２、光変調器３４、焦点レンズ３６および出射絞り３８を含んでいる。絞り３０および集光レンズ３２はテレセントリック（ｔｅｌｅｃｅｎｔｒｉｃ）光学系を形成しており、レンズ３２は情景２６から受けた光を変調器３４に平行に入射する。光学変調器３４は好ましくは、従来周知の結晶ＫＤＰもしくはほかの適当な材料からなる光電変調器を含んでいるが、それに代えて、音響光学変調器、液晶シャッタもしくは高速機械式シャッタのような、従来周知の他のタイプの光変調器を含んでいてもよい。説明の簡単化のため、光学系２８はここでは図式的に示されているが、実際は、カメラ２０は一般に他のレンズおよびまたは周知のほかの光学要素を含んでいることが理解されるであろう。

カメラ２０はまた、好ましくは、カリフォルニア州、シティ・オブ・インダストリ（Ｃｉｔｙ ｏｆ Ｉｎｄｕｓｔｒｙ）のオプト・パワー・コーポレーション（Ｏｐｔｏ Ｐｏｗｅｒ Ｃｏｒｐｏｒａｔｉｏｎ）製のＯＰＣ−１００３−８１３レーザダイオードのような、高出力レーザダイオードを有する光源４０を含むとともに、上記レーザダイオードによる情景２６のほぼ均一な照明を得るために、周知の適当な光学系を含んでいる。それに代えて、光源４０は他の適当なレーザを有していてもよく、また、例えばストロボランプ（ｓｔｒｏｂｅ ｌａｍｐ）のようなインコーヒーレントな光源を有していてもよい。駆動回路４２は、光源４０に入力パワーを供給する。変調器３４と同じタイプのものであってもよい光変調器４４は、情景２６の照明を変調するために光源４０と連携している。さらに、駆動回路４２は、さらなる変調器４４の必要なしに上記情景の照明を変調するように光源に適当に変調された入力パワーを供給するようにしてもよい。

コントローラ４６は、上記情景から反射された光およびアレイ２２に入射する光を変調するために、変調器３４を制御するとともに、変調器４４およびまたは回路４２により、情景２６の照明の変調を制御する。好ましくは、コントローラ４６はビデオプロセッサ２４と通信し、照明および反射光の変調が、以下に述べるように、適宜、変化するようにしてもよい。

図２Ａは、同日に出願され、本願の参照文献として挙げる上記の二番目のＰＣＴ特許出願に記載されている、テレセントリック光学測距カメラ５０を含む、本発明の他の好ましい実施形態を示している。カメラ５０は検知アレイ２２，光学系２８および光源４０を含んでいる。カメラ５０は一般にカメラ２０と同様のものであるが、それとは、カメラ５０では、共通の変調器５２は光源４０からの照明と情景２６からアレイ２２に戻る反射光との両方を変調するという点で、第１に相違している。変調器５２は好ましくはＫＤＰ結晶、もしくはそれに代えて、上記したような他の適切なタイプの変調器を含んでいる。光源４０からの照明光は投射レンズ５４により実質的に平行光とされ、ビーム結合器５８を使用して、光軸５６と照準規正されている。

変調器５２は、共通の変調波形を照明光と反射光の両方に印加するために使用されてもよい。本発明の好ましい実施形態ではしかしながら、変調器５２は多重光、好ましくは、照明光に印加される第１波形および反射光に印加される第２波形を、以下に述べるように印加するためにコントローラ４６により駆動される。

上記第１および第２波形がそれぞれ印加される一方、変調器５２は照明光と反射光との両方を無差別に一般に伝送することが分かるであろう。好ましくは、従って、ビデオプロセッサ２４はアレイ２２を制御し、上記アレイは第２波形による変調器５２により伝送された光にのみ応答して信号を発生する。従って、例えば、アレイ２２が上に述べたようなＣＣＤアレイを含む、本発明の好ましい実施形態では、ビデオプロセッサ２４が上記アレイの電子シャッタを、周知のように、上記第２波形と同期して駆動する。同様に、駆動回路４２は好ましくは、上記第１波形と同期して光源４０を駆動する。

図２Ｂは、テレセントリック光学測距カメラ５９を含む、本発明のさらにいま一つの好ましい実施形態を示している。カメラ５９は、該カメラ５９が反射光を変調する変調器５２と独立して情景２６の照明光を変調するための変調器４４を含んでいることを除いて、図２Ａに示されたカメラ５０と同じである。従って、カメラ２０に印加される変調波形は、以下に述べるように、テレセントリックカメラ５９にまた印加されても、同様の結果を得る。

図２Ｃは、２つの検知アレイ２２および６５を有するテレセントリック光学測距カメラ６４を含む、本発明のさらにいま一つの好ましい実施形態を示している。検知アレイ２２は、実質的に図２Ｂの検知アレイに関して記載されるとともに上記した他の好ましい実施形態で記載されているような、変調器５２により変調される光を受光する。アレイ６５はしかしながら、上記情景からの反射の後に変調されない情景２６からの光を受光する。アレイ６５は、ビームスプリッタ６６により、アレイ２２で照準規正される。画像レンズ６７および出射絞り６８は従って、アレイ６５の上に情景２６の変調されない画像を形成し、その画像は好ましくはアレイ２２の上に形成された実質的に（変調された）画像とともに登録される。

カメラ５９に関して上で注意したように、カメラ２０に印加される変調波形が、以下に述べるように、カメラ６４にまた印加されても、アレイ２２により受光される画像に関して同様の結果を得る。アレイ６５により受光される非変調画像の有用性はまた、以下に述べるであろう。

図１，図２Ａ，図２Ｂおよび図２Ｃに図示された好ましい実施形態はテレセントリック画像エレメントを含んでいるが、本発明の原理は上記した一番目のＰＣＴ特許出願に示されるとともに記載されているような、ノンテレセントリック光学測距カメラに同様に印加できることが理解されるであろう。

図３は、情景２６の照明光とそれからの反射光をそれぞれ変調するように、図１に示された、変調器４４および３４を駆動するために使用される波形を図式的に示している。両波形は、好ましくは図示されているように、矩形パルス波形を有している。各々の波形がその高い値にあるときには、各々の変調器は光がそれを通過させる。上記波形がその低い値にあるときには、上記変調器は光を遮断する。好ましくは、両波形６０および６２は、期間Ｔの間、それらの高い値を維持して、各々の上記変調器を開き、変調器３４が開くタイミングが上記変調器４４のタイミングに関して時間τだけ遅れている。

図３の波形は矩形であるが、他の波形もまた使用することができ、そのいくつかの例を以下に述べる。図３のパルス波形は以下の説明の簡単のために理想化されているが、かかる理想化されたパルス波形は本発明の動作には不要であることはまた理解されるであろう。

図４は、図１に示すようなカメラ２０により撮影された情景７０の模式図であり、上記カメラは図３に示された波形により制御される。情景７０は、カメラ２０からそれぞれ距離Ｄ１，Ｄ２およびＤ３に配置された第１被写体７２，第２被写体７４および第３被写体７６を含む複数の物体を含んでいる。被写体７２，７４および７６はカメラ２０に設けられている光源４０により照明され、それらはほぼカメラに向かって反射し、該反射光は光学系２８により集光されるとともに検知アレイ２２上に収束される。変調器３４および４４がＣＷモード、すなわち、一定の開きで動作する期間を考えると、上記各被写体からの反射光はそれぞれの被写体の画像が結像される上記検知アレイの一以上のエレメントにおいてそれぞれ実質的に一定な照射を生成する。上記照射のレベルは、とりわけ、カメラからのそれぞれの被写体の距離および上記被写体の特別な放射率とほぼ関数関係を有している。これらの実質的に一定の光の照射に応じて、検知アレイ２２のエレメントは各々のベースライン信号レベルＳ１，Ｓ２およびＳ３を発生する。

変調器３４および４４が波形６２および６０により駆動されるときには、それぞれ、しかしながら、被写体７２，７４および７６から反射された光に応じてアレイ２２により発生される信号は、各被写体に到達してカメラ２０に戻るのに光源４０により発射された光に対して要求される伝播時間のために、上記ベースライン信号とは異なっている。この伝播時間は一般にｔｉ＝２Ｄｉ／ｃで表され、ここでｃは光速であり、添え字ｉは情景７０中のｉ番目の被写体を表している。

図３に示されるように、Ｔおよびτの値の選択は、最小距離および最大距離、ＤｍｉｎおよびＤｍａｘによりそれぞれ区画される距離ウインドウ７８を規定しており、ここでＤｍｉｎ＝（τ−Ｔ）ｃ／２およびＤｍａｘ＝（τ＋Ｔ）ｃ／２であり、τ＜Ｔでないときには、Ｄｍｉｎ＝０である。変調器３４および４４が示されているように動作しているときには、Ｄ３＞Ｄｍａｘである被写体７６のような、ウインドウ７８の外にある被写体からの光は変調器３４により拒絶され、従ってアレイ２２はかかる被写体に対応する実質的な信号を発生しない。

さらに、図５に示すように、被写体７２もしくは７４のようなウインドウ７８内の物体に応答してアレイ２２により発生される信号Ｉｉの強さは、カメラからの被写体の距離に実質的にリニアに依存する。被写体７２および７４にそれぞれ対応する信号Ｉ１およびＩ２は、ほぼ次式により正規化される。
Ｉｉ＝Ｉｉ／Ｓｉτｆ （１）
ここで、Ｉｉはｉ番目の被写体による非正規化信号であり、ｆはアレイ２２がサンプリングされる適当なフィールドレートもしくはフレームレートである。

上記ベースライン信号レベルＳｉは、上記したように、変調器３４および４４が一時的に開いている間に、検知アレイ２２により得られる。さらに、図２Ｃに示されるように、カメラ６４内の検知アレイ６５はこれらのベースライン信号を得るために使用されてもよい。アレイ２２に入射する光は、上記したように、距離情報を得るために変調される一方、上記アレイ６５に入射する光は（光源４０が変調される大きさを除いて）実質的に変調されない。従って、距離に応じた信号Ｉｉおよびベースライン信号Ｓｉは同時に得られる。

Ｔおよびτがフィールドもしくはフレーム期間、１／ｆよりも実質的に小さく選ばれた、本発明の好ましいくつかの実施形態では、しかしながら、図３に示された波形は単一のフィールドもしくはフレームの間に引き続いて多数回、繰り返されてもよい。この場合、非正規化信号Ｉｉは回数に比例して増加し、上記波形は各フィールドもしくはフレームの間に繰り返され、その増加は上記カメラにより捕捉された画像のＳ／Ｎ比を典型的に改善する。周知のように、Ｎを回数とすると、波形は単一のフィールドの間に繰り返され、上記ノイズが光源に支配されているか回路に支配されているかに応じて、Ｓ／Ｎ比が改善される値は典型的にＮの平方根とＮとの間の範囲内の値になる。Ｔおよびτは両方とも典型的に１マイクロセコンドよりも短いので、波形は約１６ミリセコンドの単一のビデオフィールドの間に１０００回（もしくはそれ以上）、好ましくは繰り返されてもよく、それにより３０もしくはそれ以上のファクタのＳ／Ｎの改善がなされる。

カメラ２０からの距離に対する正規化された信号のリニアな関数依存性は、波形６０が各々の被写体に到達して上記カメラに戻ってくるように光源４０により発射された光に対して要求される時間２Ｄｉ／ｃだけ効果的に遅延された後の、照明光６０の反射光の変調波形６２との変化するオーバラップの結果である。この機能は、被写体が距離Ｄｉ＝τｃ／２にあるときに最大値を有するとともに、Ｔに比例する幅（Ｄｍａｘ−Ｄｍｉｎ）を有している。カメラ２０からウインドウ７８内の被写体までの距離は従って、上記被写体に応じて発生された正規化信号から決定される。例えば上記ウィンドウの中心近くに位置する被写体７２による上記正規化信号Ｉ１は、カメラからより大きな距離に位置している被写体７４によるＩ２よりも実質的に大きい。

波形６０および６２は上では等しい幅Ｔを有しているとして説明されているが、それに代えて、これらの波形はそれぞれＴ６０およびＴ６２の幅を有していてもよい。例えば、Ｔ６０もしくはＴ６２はより強力な信号Ｉ１およびＩ２を供給するために延長されてもよい。

しかしながら、その結果、被写体距離に対する正規化信号の関数依存性はもはや図５に示される三角形状を有し、どちらかといえば台形状になり、上記ウインドウの中心部における距離の差が識別されない。従って、本発明の好ましい実施形態では、波形６０および６２の幅は等しい。被写体距離を決定するこの方法は、本発明の参照文献として挙げる上記したＰＣＴ特許出願にさらに説明されている。これらのＰＣＴ特許出願に記載されているように、他の変調波形が変調器３４および４４を駆動するために同様に使用されてもよいが、被写体距離に対する正規化信号の一般的な依存性およびここで説明されているようなカメラ２０の適用が図３に示された矩形のパルス波形を参照することにより最も容易に説明される。

波形６０および６２は理想的な矩形形状を有しているとして示されているが、実際は、変調器３４および４４により投射光および反射光に与えられる波形はそれぞれ、例えば図６Ａの下に図示されているように、有限の立ち上がり時間および立ち下がり時間を有している。その結果、応答関数のコーナは図５に示されているような鋭い形よりもむしろ、まるくなる。本発明の原理はしかしながら、ほかの理想的でない波形が使用されるときにも等しく適用することができる。

上記の議論から、ウィンドウ７８の中心位置はτを変化させることにより制御されてもよく、上記ウインドウの幅はＴを変化させることにより制御されてもよいことがまた理解されるであろう。好ましくは、目的の被写体が情景中で識別されたときに、自動的もしくはカメラのオペレータの命令により、ウインドウの中心の近くに目的の被写体が維持されるように、τがコントローラ４６により適宜に制御され、そのとき上記被写体による上記正規化信号は最大である。

さらに、Ｔは好ましくは、目的の被写体があるカメラからの被写体距離の範囲のみを含むようにウインドウ７８の幅を制限するように、コントローラ４６により制御される。Ｔに対するこの制限は、図５に示すように、距離に対する正規化された信号の依存性の傾斜を増加させることにより、異なった距離にある被写体間の正規化信号の相違がより大きくなり、被写体距離決定の精度を増加させるのに有用である。Ｔを制限することは、例えば図４の被写体７６のように、興味のない物体を、アレイ２２により得られた画像から消去することにより、画像の「輻輳」を削減するのにさらに有用である。

本発明のいくつかの好ましい実施形態では、τおよびＴは被写体のダイナミックレンジおよびカメラ２０による距離検知を最適化するために、コントローラ４６により制御される。例えば、情景が上記カメラからの異なった距離にある目的のいくつかの被写体を含んでいるときに、τおよびＴはほぼ上記カメラから最も遠い被写体の距離にウインドウの中心をシフトさせるように制御するようにしてもよい。周知のように、被写体から反射された光によりアレイ２２に生成される放射照度は、ほぼカメラから被写体の３乗もしくは４乗減少する。従って、最も遠い被写体に応じて発生される（非正規化された）信号は一般に、最も弱い信号であって、ウインドウの中心を最も遠い被写体の距離にシフトすることはこの信号のダイナミックレンジを最小化するのを助ける。同様に、被写体の一つがいま他の被写体よりも実質的に低い反射率を有していると、上記ウインドウがそれによる信号のダイナミックレンジを広げるように、低い反射率の被写体に中心が合わされるようにしてもよい。

図６Ａは本発明の他の好ましい実施形態のタイミングダイヤグラムであり、照明光を変調するために印加される波形６０、および反射光を変調するために印加される波形６２は、ほぼ台形の形状を有しており、図３の理想化された矩形パルスよりもより実際に近い変調波形を含んでいる。さらに、波形６０の持続時間Ｔ６０は実質的に、波形６２の持続時間Ｔ６２よりも長い。

図６Ｂは、カメラ２０が図６Ａの波形に従って動作しているときに、図４に示されるように、被写体７２，７４および７６から受けた正規化された信号強度Ｉｉを図式的に示している。Ｄｍｉｎよりも小さい距離にある被写体に対する正規化信号は、上記したように、実質的にゼロに等しい。距離Ｄ３にある被写体７６のように、Ｄｍｉｄよりも大きくＤｍａｘまでの距離にある被写体に対して、正規化信号は実質的に１に等しい。ＤｍｉｄはＴ６２および波形６０および６２の立ち上がり時間に大きく依存する。Ｄｍａｘは時間τおよびＴ６０の和に依存する。好ましくは、Ｄｍａｘは情景中の最も遠い重要な被写体のカメラ２０からの距離よりも大きくなるように選択される。さらには、ＤｍａｘはＤｍａｘ＞ｃ／ｆとなるように選ばれてもよく、ここで前に述べたように、ｃは光速であり、ｆはカメラのフィールドレートもしくはフレームレートであり、従って、Ｄｍｉｃよりも大きい距離にある全ての物体は実質的に１に等しい正規化された信号を与える。

このように、ＤｍｉｎとＤｍｉｄとの間の目的の距離範囲内で、正規化された上記信号は単調増加関数であり、それに基づいて、被写体７２および７４の各々の距離Ｄ１およびＤ２は本発明の原理に基づいて決定される。この範囲の外側の距離にある被写体は好ましくは無視される。上記範囲はＴ６２を変化させることにより増加もしくは減少させるようにしてもよい。目的の範囲内の被写体に対して、正規化された信号の各値は、図５に示された関数と異なり、唯一の距離に対応しており、その中では０と１との間にある正規化された信号の与えられた値は二つの異なった被写体の距離に対応する。図５の図式において、これらの二つの距離はそのとき、他の手段、例えば異なった距離ウインドウを使用して得られる結果を比較することにより、一方を他方から一般的に区別されなければならない。

図７は本発明の一つの好ましい実施形態を示しており、この図７において、カメラ２０は情景７０内の距離ウインドウ７８からの三次元画像情報を得ており、該ウインドウの中心距離および幅は適宜に制御される。好ましくは、カメラ２０は最初、上記したように、変調器３４および４４がＣＷモードで動作する間に、二次元画像データを受信する。上記画像データは画像解析器８０により受信され、該画像解析器８０は情景７０内の被写体を識別するとともに、操作卓８２および連携するビデオディスプレイ８４を経由してオペレータにビデオ画像を提供する。画像解析器８０および操作卓８２は好ましくは、周知のように、画像処理に適合する一台以上のデジタルコンピュータを含んでいる。オペレータは、操作卓８２と連携する、好ましくはトラックボール、マウスもしくは他の周知のポインティング入力装置を使用して、少なくとも一つの目的の被写体、例えば被写体７２を情景７０内で識別し、画像解析器８０およびまたは別のシステムコントローラ８６に対して被写体を指定したり指示する。

いったん、目的の被写体が識別されると、システムコントローラ８６は被写体７２に関する初期距離の読みを要求する。図７に示されているように、この初期距離の読みは、例えばレーザ測距装置のような周知の測距装置８８で被写体７２を狙い、それから距離の読みを受けることにより得ることができる。該初期距離の読みは、τおよびＴの適切な値を決定して好ましくは被写体７２の距離に中心を有する所望の距離ウインドウを生成するためにシステムコントローラ８６により使用される。

本発明のさらに好ましい実施形態では、システムコントローラ８６は、測距装置８８を使用することなく、初期距離の読みを得ている。好ましくは、変調器３４および４４は、相対的にＴの大きい値を使用して、被写体７２の推定された距離に中心が合わされた広いウインドウを与えるように、コントローラ４６により制御される。被写体７２の距離がうまく推定されないときには、上記初期距離がみつかるまで、異なった距離で複数のウインドウを発生するようにτが所定の数値範囲にわたってスキャンされるようにしてもよい。その後、Ｔは好ましくは狭められて、上記ウインドウは被写体７２および目的の他の被写体を含む距離範囲により近く絞り込まれ、上記したように、これらの被写体までの距離が最適な精度で決定されるとともに画像の輻輳が削減されるようにしてもよい。

上記した好ましい実施形態では、目的の被写体は最初、オペレータによりインタラクティブに識別されているが、本発明の他の実施形態では、画像解析器８０が予めプログラムされた画像の属性に基づいて、自立的に目的の被写体を識別するようにしてもよい。例えば、上記画像解析器は、従来周知の画像解析およびまたは自動標的認識の手法を使用して、車両、人もしくは構築物を識別するようにプログラムされてもよい。これらの識別情報がシステムコントローラ８６に運ばれると、該システムコントローラ８６が測距装置８８およびまたはカメラ２０を制御し、識別された被写体までの距離を求めて決定するようにしてもよい。

しかしながら、目的の少なくとも一つの被写体が識別されてその初期距離がみつけられると、その後は画像解析器８０が好ましくは被写体およびそのカメラからの距離を追跡し続ける。システムコントローラ８６は、実質的に被写体に中心を有する、所望の幅でウインドウ７８を維持するようにτおよびＴを適宜、変化させる。

図８Ａおよび図８Ｂは本発明の一つの好ましい実施形態を図式的に示しており、該実施形態において、カメラ２０は所望の画像を生成するために、周知の画像プロセッサ９０とともに使用されている。

混合画像は、別に撮影された背景の前に、典型的には人物であり、その画像はビデオカメラにより撮影される目的の被写体を人工的に挿入するために、エンタテイメントや、ニュースの報道で共通して使用される。目的の人物もしくは他の被写体の画像は一般に、周知の、予め定められた色、典型的には青の背景に対して得られなければならない。目的の人物もしくは他の被写体の画像が得られた後、それは色彩固定（ｃｈｒｏｍａ−ｋｅｙｅｄ）される、すなわち、予め定められた色の画像中の全ての画素が同定され、別に得られた背景画像が上記の色が同定された画素で、画素毎に置換される。この色彩固定法は、予め定められた色の背景が人物もしくは目的の被写体の背後で固定されること、目的の人物もしくは他の被写体は実質的に予め定められた色を全く含んでいないことを要求する。

図８Ａに示すように、しかしながら、カメラ２０はウインドウ９６内で人物９２および９４の画像を選択的に得ることができるが、より離れた建物９８は得られた画像から除かれる。好ましくは、τおよびＴは、人物９２および９４の画像に応じてアレイ２２により生成される正規化された信号が、人物９４が人物９２よりもカメラ２０から遠い位置にあるにもかかわらず、実質的に等くなるように調節される。正規化された信号のかかる正規化は人物９４までのより正確な決定をなすのに有用であり、両方の人物９２および９４のより明瞭な再生により、また、より見栄えのする画像を生成するのに有用である。

図８Ｂに示すように、画像プロセッサ９０はカメラ２０からの選択的に得られた画像を受け、モニタ１０２上に所望の結合されたビデオ画像を生成、もしくは、かかる結合されたビデオ画像を記録およびまたは伝送するために、それを背景１００と混合する。決まった固定幕（バックドロップ）も色彩固定も不要である。背景１００は実物でも、別に得た画像でも、またさらにコンピュータ合成画像もしくは実際の画像と合成画像とが組み合わせられたものであってもよい。

図９は本発明のいま一つの好ましい実施形態を図式的に示しており、該実施形態において、カメラ２０および画像プロセッサ９０は、広告掲示板１０４とともに使用されて、所望の絵、例えば広告のメッセージが上記広告掲示板の内側に人工的に配置された混合画像を生成する。かかる好ましい実施形態は好ましくは、国際スポーツ放送において、例えば異なる国の観客に固有の広告を出すのに使用することができる。

従って、図示のように、カメラ２０は被写体１０６および広告掲示板１０４とを含む画像を撮像し、被写体および広告掲示板までのそれぞれの距離を上記のようにして決定する。画像プロセッサ９０は加えて、広告掲示板１０４の境界１０８を識別するとともに、周知の画像解析法を使用して、カメラ２０に関する上記広告掲示板の位置および方向を決定する。境界１０８は好ましくは、容易に識別可能な特徴、例えば逆反射ストリップ、赤外線反射材料からなるストリップもしくは赤外線ＬＥＤの光もしくは他の光源の列を含んでいる。さらには、広告掲示板１０４は、画像プロセッサ９０が正確に上記位置および方向を決定するのを助けるように、色彩固定されていてもよい。上記画像プロセッサはそのとき、所望の画像もしくはメッセージを、カメラ２０から受けた画像の中の広告掲示板１０４内に、上記画像もしくはメッセージのサイズおよび仮想的な視野角を適宜に調節した後に挿入する。被写体１０６の画像は広告掲示板内の画像もしくはメッセージに重畳される。

図１０は本発明のいま一つの好ましい実施形態にかかる測距ライン画像カメラ１１０を図式的に表している。カメラ１１０は、リニアアレイＣＣＤカメラおよびスキャナのような周知の画像取り込み装置と同じように使用することができる。かかる装置は一般に、被写体もしくは情景の狭くてリニアな部分の画像（深度情報はない）を生成する。上記装置の視界はそのとき、被写体もしくは情景の上を光学的もしくは機械的に走査されるとともに、そのようにして生成された多数の画像が単一の、二次元画像を形成するために結合される。以下に述べるように、視野測距ライン画像形成カメラ１１０は、好ましくは、三次元情報を含む画像を形成するために被写体もしくは情景の上を同様に走査する。

図１０に示すように、カメラ１１０は、カメラ２０のアレイ２２と同様の、好ましくはＣＣＤアレイである、検知マトリックスアレイ１１２を含んでいる。アレイ１１２は、検知エレメントの複数の平行な行１１４を含んでいる。ビデオプロセッサ１１６は駆動信号をアレイ１１２に供給するとともに、それから画像応答ビデオ信号を受信する。カメラ２０と同様に、情景２６の画像を形成しているライン画像カメラ１１０が示されており、該情景は変調器４４を介して、駆動回路４２により駆動される光源４０により照明されている。

カメラ１１０の光学系１１８は集光レンズ１２０，リニアシャッタアレイ１２２および画像レンズ１２４を含んでいる。シャッタアレイ１２２は、複数の狭いシャッタエレメント１３０，１３２，１３４，…，１３６を含むとともに、好ましくは、行１１４に実質的に平行な方向に向き付けられた要素１３０〜１３６を有する、検知アレイ１１２の面に実質的に平行に配置されている。コントローラ１２６は積分スイッチング回路網１２８によりリニアシャッタアレイ１２２を制御し、所望のシーケンスに従ってシャッタエレメント１３０〜１３６の各々を開くためにコントローラ１２６により好ましくは制御される。コントローラ１２６はさらに、カメラ２０のコントローラ４６を参照して上に説明したように、駆動回路４２および変調器４４を制御するとともに、ビデオプロセッサ１１６からのデータを受信および制御する。

好ましくは、シャッタアレイ１２２は液晶シャッタアレイであるかまたは、ゲート付きのマイクロチャンネルエレメント、または光電エレメントもしくは音響光学変調エレメントのアレイである。

図１１は例えば、本発明の一つの好ましい実施形態を示すものであって、該実施形態では、シャッタアレイ１２２は平行な分解断面図で示す、ゲート付きアレイを含んでいる。アレイ１２２は、第１ガラス板１３８にコートされたフォトアノード１３７、マイクロチャンネルプレート１３９、およびその上に重畳された積分スイッチング回路網１２８を有する第２ガラス板１４５を含んでいる。フォトアノード１３７およびフォトカソード１４３は、周知の適切な材料、例えば隣を含んでいる。スイッチング回路網１２８は好ましくは、複数の透明電極１４１、例えばフォトカソード１４３の面の上にコートされたＩＴＯ（ｉｎｄｉｕｍ ｔｉｎ ｏｘｉｄｅ）のストリップを含んでいる。図面を明瞭にするために、ガラス板１３８および１４５並びにマイクロチャンネルプレート１３９は図面では分離して示されているが、実際の使用では、周知のように、一般に、これらの要素は真空ケース内にて近接して保持される。

マイクロチャンネルプレート１３９は好ましくは、周知の通常のマイクロチャンネルプレートと同様のものであるが、シャッタエレメント１３０，１３２，１３４，…，１３６を構成している、プレート内のマイクロチャンネルの異なるグループは、対応する電極１４１により、個々にスイッチもしくはゲートされる。

上記電極は回路網１２８を通して、好ましくは−２００ＶＤＣのレンジで、周知の負の高圧源に回路網１２８を通して個々にスイッチ可能に接続されている。

図１１に示すように、シャッタアレイ１２２の動作は、次の例から理解されるであろう。フォトアノード１３７に衝突する光子は、マイクロチャンネルプレート１３９に近接して光電子を発生する。エレメント１３０に対応する電極１４７の一つが上記負の高電圧に接続されていると、エレメント１３０に近接する領域で発生された光電子は、エレメント１３０を構成しているプレート１３９のマイクロチャンネルを通して加速され、さらに周知のように、マイクロチャンネル内に二次電子がさらに発生する。これらの電子はそのとき電極１４７を通過し、光電陰極１４３に入射し、エレメント１３０に近接するカソードの領域に光子を発生する。残る電極１４１が負の高電圧に接続されていないと仮定すると、しかしながら、このプロセスは他のエレメント１３２，１３４，…，１３６のいずれにも実質的に起きない。このようにして、シャッタエレメント１３０は実効的に開いており、残るシャッタエレメントは実効的に閉じている。シャッタエレメント１３２，１３４，…，１３６は好ましくは、エレメント１３０に続いて、同じようにして、順次に開かれる。
集光レンズ１２０は、情景２６から反射された光をシャッタアレイ１２２の上に結像させ、該シャッタアレイ１２２は以下に述べるように光を変調する。上記シャッタアレイからの変調された光はその後、結像レンズ１２４により検知アレイ１１２の上に結像される。好ましくは、光学系１１８は、行１１４の数およびサイズに対比されるエレメント１３０〜１３６の数とサイズに応じて、シャッタアレイ１２２の各エレメント１３０〜１３６が検知アレイ１１２の一つの行１１４の上、近接する行１１４からなるグループの上に結像する。図１０には、結像レンズ１２４がシャッタアレイ１２２をほぼ１倍の倍率で検知アレイ１１２の上に結像させているように示されているが、シャッタアレイ１２２および検知アレイ１１２の相対的な寸法並びにそれらのエレメント１３０〜１３６および行１１４の相対的な寸法に応じて、適当な倍率が結像レンズ１２４の適正な選択と配列により選択されてもよいことが理解されるであろう。さらに、シャッタアレイ１２２およびシャッタエレメント１３０〜１３６の大きさが検知アレイ１１２および行１１４の寸法に適合するように十分小さくすることができるときは、シャッタアレイ１２２は検知アレイ１１２に近接して直接、配置するとともに直接接触によりそれに結合せ、結像レンズ１２４を介在させる必要をよりうまく回避して光学系１１８を単純化するようにしてもよい。

図１２Ａはタイミングダイヤグラムであって、本発明の一つの好ましい実施形態により、カメラ１１０の変調器４４およびシャッタアレイ１２２に印加されるスイッチングパルスおよび変調パルス１４０を図式的に示している。変調器４４およびシャッタエレメント１３０は最初は開かれていて、パルス幅がＴの矩形波により、光がそれを通過するようにしている。変調器４４とエレメント１３０とは近接しているので、実質的に同じ変調波形がエレメント１３２に印加される。

エレメント１３２が閉じるにつれて、エレメント１３４が開き、以下同様にして、最後のエレメント１３６が開かれるまで、順次、アレイ１２２を下っていく。
上記したように、シャッタエレメント１３０〜１３６の各々が開くにつれて、検知アレイ１１２の対応する行１１４もしくは行グループには情景２６から反射された光が入射する。

図１２Ｂに示すように、図１２Ａに示された変調パターン１４０は、シャッタエレメント１３０〜１３６により規定される一連の引き続く重なりを有する距離ウインドウ１４２を生じさせる。各行１１４もしくは検知アレイ１１２の行グループはその対応するシャッタエレメント１３０〜１３６により規定されるウインドウ内にある情景２６の被写体からのみ光を受光する。ウインドウ１４２の幅およびそれらのそれぞれの中心距離は、正規化された信号強度とともに、図３，図４および図５、さらには図６Ａおよび図６Ｂを参照して上に述べたようにして決定される。距離ウインドウ１４２の相互の重なりは、例えば図５の図式に従って、目的の被写体が単一の距離ウインドウの中にのみ含まれているときに出会う距離の曖昧さの問題を解消するために使用されてもよい。

変調パターン１４０および得られたウインドウ１４２がここでは例として示されており、他の適当な変調パターンも同様に使用できることが理解されるであろう。例えば、変調器４４に印加された変調波形は図６Ａに示されるとともに該図面を参照して上で説明された波形６０と同様であってもよい。シャッタエレメント１３０〜１３６に印加された波形は、波形が図６Ａの波形５２と同じで、ほぼ図１２Ａに示されるように、順次印加されるようにしてもよい。この場合、一連の重なりを有する距離ウインドウは、形が図６Ｂに示されたものと同様に規定される。

さらにまた、一連のシャッタエレメント１３０〜１３６に印加される変調パルスは重なりを生じるようにタイミングを取り、対応する距離ウインドウがそれらの各々の近傍とより大きな重なりを有するようにしてもよい。さらには、遅延が距離ウインドウと離れて広がるように、変調パルスの間に導入されるようにしてもよい。さらに、一連のシャッタエレメント１３０〜１３６に印加される波形は必ずしも全て等しいパルス幅を有している必要はないが、上記アレイの下方にいくにつれて、エレメントからエレメントに増加する期間を有していて、カメラ１１０からのより大きな距離で、距離ウインドウが広くなるようにしてもよい。

ライン撮像カメラ１１０により捕捉された各画像フレームは、画像切片のアレイを含んでいることが理解されるであろう。各画像切片は、その近傍と横方向に実質的に切れ目なく連続しているが、異なった距離ウインドウ内の被写体を捕捉する。従って、二つの画像切片の間の境界の上にある被写体は、二つの切片で正規化された強度の異なったレベルを有しているか、それは二つの切片のうちの一つの中に部分的に現れるが、他には現れないかもしれない。従って、周知の、通常のリニアアレイ画像形成装置との類似により前に言及されたように、本発明の好ましい実施形態では、画像切片は光学的および機械的に情景を横断して走査され、情景中の目的の各被写体は目的の被写体が含まれている距離ウインドウを有している少なくとも一つの画像切片中に捕捉される。

図１３は、三次元画像調査のための空挺システム１４６のライン撮像カメラ１１０の使用を図式的に示している。システム１４６はカメラ１１０を含んでおり、該カメラ１１０は飛行機１４８から下方をみるように搭載され、シャッタエレメント１３０〜１３６の長さ方向が実質的に飛行機の飛行方向に垂直である。カメラ１１０は、建物１５２および１５４、草木１５６および地形１５８を典型的に含んでいる。図１３に示されているように、アレイ１２２の各シャッタエレメント１３０，１３２，１３４，…，１３６は各々の画像切片１６０，１６２，１６４，…，１６６を規定する。上記切片は好ましくは、アレイ１２２のシャッタエレメントの高さにより規定された実質的に等しい角度、もしくは切断厚みを有するとともに、例えば図１２Ｂに示されているように、実質的に等しい深さを有する距離ウインドウを有している。実際はアレイ１１２の行１１４の番号に達するまで、どの切片の番号も使用することができるが、図１３では少数の切片のみを含んでいる。飛行機１４８が情景１５０の上を飛行するにつれて、切片１６０〜１６６は「プッシュ−ブルーム（ｐｕｓｈ−ｂｒｏｏｍ）（長い取って付きの箒）」形式で情景の上を走査し、それにより各切片は、その各々の距離ウインドウ内にある情景中の被写体の二次元画像内にある情景中の被写体の全二次元画像を、線毎に捕捉する。カメラ１１０から上記切片の任意の一つのウインドウ内の各被写体、例えば切片１６６内の建物１５２までの距離が、上記したように、その正規化された信号強度から正確に決定される。所望により、上記距離ウインドウは、地形１５８のスロープのような、情景中の高度の変化に適合するように適宜調節されてもよい。好ましくは、飛行機１４８の高度および対地速度は知られていて制御されるが、最も好ましくは一定であり、カメラ１１０からライン画像を受ける画像プロセッサ１７０は上記ライン画像と距離情報をともに、情景１５０のフルの三次元画像中組み込むことができる。

さらに好ましくは、アレイ検知器１１２は対地速度と同期するレートでスキャンされ、カメラ１１０により得られた一つのフィールドもしくはフレーム中の切片１６０中に捕捉された情景の領域は、例えば続くフィールドもしくはフレーム内の切片１６２により捕捉される。よって、ビデオプロセッサ１９４もしくは関連する画像捕捉システムは、多数の切片および対応する深度ウィンドウを都合よくしかも正確に登録することができる。
本発明のいくつかの好ましい実施形態では、カメラ１１０により得られたラインイメージおよび距離情報は、建物１５２および１５４並びに地形１５８のような、画像化された地形の横方向寸法および地形の高度を決定するために、王次元写真測量法で使用される。これらの寸法や高度はそのとき、例えば、正確な地形の地図および土地の測量図内に組み込まれてもよい。それらは同様に、通常の写真もしくはビデオ画像から高い精度で求めることが通常、非常に困難な、例えば建物１５２のような、ものの体積を計算するのに使用することができる。

図１３は飛行機１４８に搭載されたカメラ１１０を示しているが、カメラが空挺プラットホームもしくはそれに代わる、宇宙もしくは海上輸送プラットホームの上に搭載されるような、本発明の他の同様の好ましい実施形態もある。例えば、上記カメラは水の下もしくは海底の地形の地形を作るために海上船舶もしくは潜水船舶に搭載するようにしてもよい。

図１４は本発明の他の好ましい実施形態を図式的に示しており、該実施形態では、カメラ１１０は固定されていて、被写体１７４，１７６および１７８に関する距離情報を含む、多数のライン画像切片１６０〜１６６を発生する。回転シャフト１８２に取り付けられたミラー１８０が情景１７２を横断してライン画像を走査し、画像プロセッサ１７０が図１３に関して上に説明したのと同様にして、情景の全体の三次元画像を得ることができる。シャフト１８２が好ましくはガルバノメータ、ポリゴンスキャナもしくは周知の他の手段により回転される。

図１５は本発明のさらにいま一つの好ましい実施形態を示しており、該実施形態において、ライン撮像カメラ１９０は情景２６の三次元画像を迅速に得る。カメラ１９０は、カメラ１１０のアレイ１１２のような、複数の行１９３を含む好ましくはＣＣＤアレイのような検知アレイ１９２、およびビデオプロセッサ１１６と同様の、アレイ１９２に結合されたビデオプロセッサ１９４を含んでいる。

上記した好ましい実施形態のように、光源４０は情景２６を照明するために駆動回路４２により駆動される一方、変調器４４は所望の変調波形に従って照明光１９６の通路を交互に開閉する。円筒レンズ１９８が情景２６上に照明光の狭い光線２００を発生させるようにビーム１９６を収束させ、照明光の光線２００の長軸は図１５の面に垂直であって、アレイ１９２の行１９３に実質的に平行である。走査ミラー２０２は、光線２００を情景２６の範囲に垂直に縦断して光線２００を走査させるために、例えば周知のガルバノメータ装置のような走査モータ２０４により回転される。かかる走査は、例えばサーボモータにより適切に回転駆動される、ポリゴンミラーを使用して同様に行うことができる。

情景２６から反射した光は光学系２１０によりアレイ１９２上に集光され、走査され、かつ収束される。光学系２１０は入射側絞り２１２、集光レンズ２１４、光変調器２１６、収束レンズ２１８および出射絞り２２０を含んでいる。変調器２１６は好ましくは音響光学結晶を含んでおり、該変調器はアレイ１９２を縦断してビームをスキャンさせるように、情景２６から受けた画像ビーム２２４を偏向するためにコントローラ２２２により駆動される。画像ビーム２２４は照明光線２００と同様の、反射光の狭い線を含んでいることが分かるであろう。

コントローラ２２２はさらに、図１０に示されたコントローラ１２６を参照して説明したように、ビデオプロセッサ１９４からの画像データを制御するとともに受信し、ドライバ４２，変調器４４およびガルバノメータ２０４を制御する。

好ましくは、照明ビーム１９６は情景２６を縦断して走査し、変調器４４が繰り返し開閉し、照明光線２００が一連の水平な切片を照明する。各々のかかる切片に対して、変調器２１６は好ましくは、一番上の行からスタートして一番下の行で終わるように、順に、アレイ１９２の実質的に全ての行１９３にわたって、画像ビーム２２４をスキャンさせる。

従って、画像ビーム２２４は、図３および図１２Ａに示された変調波形のパルス幅Ｔに関数的に等価である、実質的に等しい休止期間の間、引き続いて行１９３の各々にとどまる。同様に、図１２Ａのように、ビーム２２４は、上記アレイの先行する行の累積する休止期間に実質的に等しい、照明ビーム１９６に対する遅延時間で各行１９３に到達する。

このようにして、変調器４４が開いている照明光線２００の位置により規定される上記２６の各切片に対して、カメラ１９０は距離情報を含む情景のライン画像を形成することが理解されるであろう。上記切片内の距離情報が引き続く距離情報内に捕捉され、各ウインドウはアレイ１９２の異なった行１９３に対応している。モータ２０４およびミラー２０２が情景２６の全体にわたってビーム１９６をスイープするにつれて、カメラ１９０は情景全体の完全な、三次元画像を形成する。

本発明の他の好ましい実施形態では、カメラ１９０は、図１３に示すように、例えばカメラ１１０の代わりに飛行機１４８、もしくはいくつかの他の適当なタイプの移動プラットホームにカメラを固定することにより、プッシュブルームモードで情景の上を走査する。この場合、照明光線２００が飛行機の運動による情景を走査するので、モータ２０４は不要である。さらに、かめら１９０の単一のフィールドもしくはフレームで得られた全ての距離ウインドウが（カメラ１１０と異なり）同じ画像切片内にあり、上記カメラにより生成された個々のライン画像の結合された、三次元画像内への表示が単純化される。ミラー２０２は好ましくは、図２に示されたビーム結合器５８のような、ビーム結合器により置換し、照明光のビーム１９６および反射光のビーム２２４が照準規正されるようにすることができる。

以上に説明した本発明の好ましい実施形態は一般に、白黒画像もしくはカラー画像のいずれかを生成するのに適用することができる。白黒画像は、目的の情景を照明するために可視光、赤外光もしくは紫外光および適当な光学系を使用するとともに、光を制御および受光する変調器および検知器を使用することにより、生成することができる。

さらに、本発明の原理は、他のタイプの放射波を使用して三次元画像を生成するために同様に適用することができる。例えば、ソナーもしくは超音波画像のような音響画像が、マイクロフォンもしくは圧電結晶のような周知の音響センサおよびまたは放射器のアレイを使用して生成することができ、また、画像中の被写体に関する深度情報が本発明により決定するとができる。海底音響画像に対しては、周知のように、図１および図１Ａ〜Ｃに示された光学レンズに代えて、音響レンズが都合よく使用することができる。

図１６は、本発明の好ましい実施形態により、カラー画像を生成するために、カメラ１１０で使用するための、検知アレイ１１２の適用を図示している。アレイ１１２は多数のストライプ２３２を有するカラーストライプフィルタ２３０により覆われており、その各々は実質的に行１１４に対して垂直な、アレイ１１２の単一のそれぞれのコラムを実質的に覆っている。ストライプ２３２は、好ましくは、赤、緑、青、緑、赤、緑等の順に、周知のように、異なったそれぞれの色の光を交互に通過する。従って、アレイ１１２の行１１４内で隣接する画素には、赤、緑もしくは青の光が交互に入射する。（好ましくは、光源４０により供給される光は白色光である。）近接する画素からの信号は好ましくは、局部の輝度およびクロミナンス情報を導出するために結合される。

従って、カメラ１１０により生成される多数のライン画像の各々は一般に、強度および深度情報に加えて、カラー情報を含んでいる。これらのカラーライン情報はそのとき、好ましくは、三次元カラー画像を生成するために、例えば図１３もしくは図１４を参照して説明したように、スキャンされる。

同様に、図１に示されたカメラ２０、もしくは図２Ａのカメラ５０または図２Ｂのカメラ５９の検知アレイ２２は、図１６に示されているような、カラーストライプフィルタ、もしくは周知のカラーモザイクフィルタを含んでいてもよい。

また、例えば周知のダイクロイックプリズムのアッセンブリのような、適当なダイクロイックフィルタを有するＣＣＤ検知アレイが、ＲＧＢＤ（赤−緑−青−深度）画像、すなわち深度情報を含むカラー画像を発生するために、カメラ２０、カメラ５０、カメラ５９、もしくは以下に述べるカメラ２４０のアレイ２２に置換されてもよい。

さらに、本発明の好ましい実施形態では、上記したいずれの光学測距カメラによって発生される三次元画像情報も融合されて、カメラにより生成される二次元強度画像を強調するために使用される。同様に、上記二次元強度画像は、三次元画像をシャープなものとするか、または強調するために使用することもできる。

二次元および三次元画像は、それらが同じ検知アレイからのものであるので、本質的に相互に登録されることが理解されるであろう。このように、例えば、二次元および三次元画像の画像情報が画像のエッジによる輪郭をシャープにするおよびまたは滑らかにするために、およびまたは周知の画像フィルタ法を使用してかかるエッジに近い画像の色を修正するために使用されてもよい。

図１７Ａは、本発明のさらにいま一つの好ましい実施形態にかかる、ピクセル−ワイズ（ｐｉｘｅｌ−ｗｉｓｅ）測距カメラ２４０を図示している。カメラ２４０は、図１０に示されるような、カメラ１１０に示されたアレイ１１２と同様の、複数の検知要素２４２を含む、検知マトリックスアレイ２４１を含んでいる。カメラ２４０はまた、カメラ１１０が有しているような、レンズ１２０および１２４に加えて、液晶シャッタアレイ２４４を含む、光学系２４３を含んでいる。

図１７Ａに示されたカメラ２４０の他の部品は、カメラ１１０の部品と構成および機能において実質的に同じである。

シャッタアレイ２４４は複数のシャッタアレイ２４６を含んでいる。光学系２４３は検知アレイ２４１に関して適切に整列および配置されており、各シャッタエレメント２４６はアレイ２４１の各々の検知エレメント２４２もしくは近接する検知エレメントのグループに到達する情景２６からの反射光を個々に変調する。シャッタアレイ２４４はコントローラ１２６により制御され、異なったシャッタエレメント２４６が同時もしくは異なったタイミングで開閉するように変調されてもよい。従って、各検知要素２４２もしくはエレメントのグループは、対応するシャッタエレメントの変調に応じて、それと連携するそれ自身の距離ウインドウを持っていてもよい。

シャッタアレイ２４４は、その画像がそれぞれの検知エレメント２４２もしくはエレメントのグループにより捕捉される情景２６中の点までの距離を、各距離ウインドウが追跡するように、好ましくは適当に動作するようにしてもよい。各々のかかる距離ウインドウは、画像の輻輳を削減するとともに、上記点までの距離の正確な読みを含むとともに生成するように調整されてもよい。

図１７Ｂに図式的に示されているように、カメラ２４０を使用している本発明のいくつかの好ましい実施形態では、アレイ２４１の相互に近接する検知エレメント２４２のグループは「スーパ画素（ｓｕｐｅｒ−ｐｉｘｅｌｓ）」２５０のように連携して動作するように構成される。かかるスーパ画素２５０の各々は、例えば、エレメント２４２が９個からなる３×３のグループを含んでおり、その上に情景２６から反射された光が光学系２４３による共通の軸に沿って実質的に画像形成される。スーパ画素２５０の９個のエレメント２４２の各々が共通の上記軸に沿って異なった距離ウインドウからの光を受けるように、シャッタアレイ２４４が動作する。これらのウインドウは、図１７ＢにおいてＷ１〜Ｗ９の符号が付されており、図１２Ａに図示されている変調波形に従って、順次開閉する九個の検知エレメントと連携しているシャッタエレメント２４６に、例えば対応していてもよい。

このようにして、横方向の分解度が犠牲になるが、所望の距離分解度を有する深度情報を含む、情景の完全な画像がカメラ２４０の単一のフィールドもしくはフレームに捕捉される。例えば１×２個の画素、２×２の画素もしくは４×４個の画素の所望のサイズのスーパ画素が情景中の被写体距離の最適な収束を達成するために使用されてもよい。

本発明のいくつかの好ましい実施形態では、上記したような測距カメラ、例えばカメラ２０は、ロボットに搭載されるかまたは連携しており、該ロボットは所望の仕事におけるその動作を案内するためにカメラから供給される三次元画像情報を使用している。

本発明の他の好ましい実施形態では、カメラ２０，５０もしくは１１０は製造工程における品質保証もしくは品質管理、例えば製造される種々の物品の寸法を検知して標準値とどれだけずれているかを検査するのに使用される。同様に、ばらの材料の表面の輪郭を測定することにより、その材料の体積が決定される。サイズが同様に知られているかまたは上記カメラを使用して測定される、容器に貯蔵されている物の体積は、同様の手法により決定することができる。

本発明の他の好ましい実施形態において、カメラ２０，５０もしくは１１０は目的の物体の三次元画像を得るために、モデルスキャナで使用される。一つのかかる好ましい実施形態では、これらの三次元画像が、表面のカラー再生を含む、目的の被写体の一以上の三次元コピーもしくはモデルを再生するために、周知のように、迅速な三次元モデルの試作とともに使用される。

本発明のさらに他の好ましい実施形態では、カメラ２０は例えば、衝突回避システムに使用するために、車両に搭載される。好ましくは、カメラ２０は画像解析システムの一部であり、それは起こりうる障碍を認識してカメラの出力を車両から障害物までの距離を決定するために使用する。

本発明の他の好ましい実施形態では、カメラ２０もしくは５０のような、上記したような測距カメラは、患者の体の内部の目的の部位の三次元画像を得るために内視鏡とともに使用される。

本発明のいま一つの好ましい実施形態では、カメラ２０もしくはカメラ５０は目の不自由な人が使用するためのセンサマトリックスに接続される。該センサマトリックスは多数のピンを有していて、これらピンは目の不自由な人の皮膚、例えば額を押圧し、その際、各ピンにより皮膚に印加される圧力はその人から上記カメラにより視認された情景の対応する点における物体までの距離に比例する。

好ましくは、目の不自由な人はカメラの距離ウインドウを制御し、上記ピンにより印加される圧力の範囲はその人からの所望の距離範囲に対応している。

以上に説明した好ましい実施形態は例として説明したものであり、本発明の権利範囲は請求の範囲によってのみ規定されることが理解されるであろう。

図１は、本発明の好ましい実施形態による光学測距カメラの構成の概略図である。 図２Ａは、本発明の好ましい実施形態によるテレセントリック光学カメラの構成の概略図である。 図２Ｂは、本発明の他の好ましい実施形態によるいま一つのテレセントリック光学測距カメラの構成の概略図である。 図２Ｃは、本発明の好ましい実施形態による二つの検知アレイを含むさらにいま一つの光学測距カメラの構成の概略図である。 図３は、本発明の好ましい実施形態による図１もしくは図２Ｂのカメラとともに使用するための変調の概要を示す波形の概略のダイヤグラムである。 図４は、本発明の好ましい実施形態による測距カメラにより形成される情景を示す概略図である。 図５は、本発明の好ましい実施形態による、図３に示された波形を図１もしくは図２Ｂのカメラに適用することにより得られた、距離に依存する画像フィルタ関数を示す概略図である。 図６Ａは、本発明のいま一つの好ましい実施形態による、図１もしくは図２Ｂのカメラとともに使用するための他の変調の波形図を示す概略のダイヤグラムである。 図６Ｂは、図６Ａで示された波形を図１もしくは図２Ｂのカメラに適用することにより得られる、距離に依存する画像フィルタ関数の概略図である。 図７は、本発明の好ましい実施形態による、アダプタ式光学測距カメラシステムの概略図である。 図８Ａは、本発明の好ましい実施形態による、混合されたビデオ画面を生成するための光学測距カメラシステムの概略図である。 図８Ｂは、図８Ａのシステムにより生成されるビデオ画像の概略図である。 図９は、本発明のいま一つの好ましい実施形態による、混合されたビデオ画像を生成するための光学測距カメラシステムの概略図である。 図１０は、本発明の好ましい実施形態による、光学測距線画像カメラの概略図である。 図１１は、本発明の好ましい実施形態による、好ましくは図１０のカメラに使用するためのシャッタアレイの概略の分解断面図である。 図１２Ａは、本発明の好ましい実施形態による、図１０のカメラとともに使用するための変調の概略の波形図を示すダイヤグラムである。 図１２Ｂは、本発明の好ましい実施形態による、図１１Ａに示された波形を図１０のカメラに適用することにより得られた一連の距離依存画像フィルタ関数の概略図である。 図１３は、本発明の好ましい実施形態による、図１０の線画像カメラに基づく地形画像形成システムの概略図である。 図１４は、本発明のいま一つの好ましい実施形態による、図１０の線画像形成カメラに基づくイメージ走査システムの概略図である。 図１５は、本発明のいま一つの好ましい実施形態による、光学測距線画像カメラの概略図である。 図１６は、本発明の好ましい実施形態による図１０の線画像カメラの検知アレイとともに使用するための、カラーストライプフィルタの概略図である。 図１７Ａは、本発明のさらに好ましいいま一つの実施形態による、光学測距カメラの概略図である。 図１７Ｂは、本発明の好ましい実施形態による、多重距離ウインドウを生成するために図１７Ａのカメラに使用される検知アレイの部分概略図である。

Claims (39)

1. 情景中の被写体までの距離を示す画像を生成する装置であって、
   第１変調関数により変調された放射波を情景に向かわせる変調された放射波源と、
   検知された放射波に応じて、上記情景の領域までの距離に応答する信号を発生させる検知器であって、当該検知器が、上記情景から反射された放射波を、上記第１変調関数とは異なる第２変調関数により変調する変調器と、上記第２変調関数により変調された、上記情景から反射された放射波を検知して、当該検知された変調放射波に応じて、前記情景の領域への距離に応じた信号を生成する、複数の検知要素を含む検知アレイとを有し、
   当該検知器が、画像フレームを捕捉し、前記画像フレームが、複数の画像切片のアレイを含み、当該画像切片が、情景の走査方向に隣接し、前記各画像切片が、その両端において他の画像切片と隣接し、各画像切片が、放射方向に距離ウィンドウを有し、各画像切片が、異なった距離ウィンドウの中で被写体を捕捉するように制御する、
   検知器と、
   前記画像フレームを利用することによって、前記検知器が発生させた信号に基づいて、少なくともいくつか前記情景の領域への距離であって上記装置から被写体までの距離を示す、所定の強度分布を有する画像を形成する、プロセッサと、
   を備え、
   前記距離ウィンドウが、前記第１変調関数により変調された放射波の放射の期間Ｔと、前記第２変調関数が前記変調器を開く期間Ｔと、前記第１変調関数に対する前記第２変調関数の遅れである時間τとに基づいて、前記変調器によって形成されるものであり、
   前記画像切片の少なくとも１つの距離ウィンドウが、少なくとも１つの他の画像切片の距離ウィンドウとは、異なった距離ウィンドウを有するものであり、
   １つの前記画像切片を走査中である際の、当該１つの画像切片内の複数の被写体の距離を示す、前記画像内の各点の輝度を有する信号が、次の式によって計算されるものであり、
   Ｉｉ^＊＝Ｉｉ／ＳｉＴｆ
   ここで、
   Ｉｉは、ｉ番目の被写体による、その距離に応じた信号であり、
   ｆは、アレイがサンプリングされる適当なフィールドレートもしくはフレームレートであり、
   Ｓｉは、前記変調器が、所定の期間、開の状態である間に、前記検知器アレイによって得られた基準信号レベルであり、
   Ｉｉ^＊は、正規化された信号であり、
   上記第２変調関数は、上記第１変調関数に対して、時間Ｔだけ遅延され、
   更に、上記装置が、
   上記プロセッサによって形成された画像の画像内の各点の輝度によって指示された距離に応じて、上記第１変調関数と上記第２変調関数の少なくとも１つを変化させ、上記時間Ｔを変化させるコントローラ、
   を備える、
   装置。
2. 請求項１に記載の装置において、上記変調器が、複数のシャッタ要素を含むシャッタアレイを含んでいる装置。
3. 請求項２に記載の装置において、上記シャッタアレイが液晶アレイを含んでいる装置。
4. 請求項２に記載の装置において、上記シャッタアレイがマイクロチャンネルアレイを含んでいる装置。
5. 請求項２に記載の装置において、上記シャッタアレイがリニアシャッタアレイを含む装置。
6. 請求項２から５のいずれか一項に記載の装置において、各シャッタ要素が複数の画像切片の一つと連携しており、上記複数の画像切片の一つの距離ウィンドウが、連携するシャッタ要素により決定される装置。
7. 請求項２から６のいずれか一項に記載の装置において、
   検知アレイの複数の検知要素が、それぞれが一以上の検知要素を含む複数のグループに分けられており、複数のシャッタ要素の各々が、当該複数のグループの各々と連携している装置。
8. 請求項２から７のいずれか一項に記載の装置において、上記変調器がスイッチ回路網を含んでおり、該スイッチ回路網が上記第２変調関数により上記シャッタ要素を制御する装置。
9. 請求項８に記載の装置において、上記第２変調関数の印加により複数のシャッタ要素の各々が、それぞれ順番に連続的に開閉する装置。
10. 請求項８または９に記載の装置において、上記第２変調関数が複数の非同時のパルスを含んでおり、これらのパルスの各々が対応するシャッタ要素を開閉させる装置。
11. 請求項７に記載の装置において、前記検知アレイのそれぞれのグループの各々が検知アレイの要素の行を含んでいる装置。
12. 請求項１１に記載の装置において、前記検知アレイのそれぞれのグループの各々が上記検知アレイの要素の相互に近接する行のグループを含む装置。
13. 請求項１１又は１２に記載の装置において、放射波源が情景の上に放射波を生成し、上記検知器が反射された放射波に対応する放射波を受ける装置。
14. 請求項１３に記載の装置において、上記情景の上に生成される放射波により情景を走査する走査装置を含む装置。
15. 請求項１３または１４に記載の装置において、上記変調器が、上記情景の上に生成される放射波が、検知アレイの複数の要素の行の各々に対して、ある期間の間にわたって順次走査するように、反射された放射波を偏向する装置。
16. 請求項１５に記載の装置において、上記検知アレイの複数の行の各々が、複数の画像切片の一つと連携し、反射された放射波が、当該連携された行で走査される上記期間により、複数の画像切片の上記一つの距離ウィンドウが決定される装置。
17. 請求項１５又は１６に記載の装置において、反射された放射波が上記複数の行の各々で走査される上記期間が、上記第２変調関数により決定される装置。
18. 情景中の被写体までの距離を示す拡大された画像を生成するためのシステムであって、
    請求項１から１７のいずれかに記載の、画像を生成するための装置であって、情景の複数の連続する画像を形成し、上記複数の画像の少なくとも一つが上記画像の少なくとも一つの他のものに含まれていない情景の一以上の領域を含んでいる装置と、
    上記情景中の被写体までの距離を示す、拡大された画像を形成するために複数の画像を結合する画像プロセッサと、
    を含むシステム。
19. 請求項１から１７のいずれか一項に記載の、情景中の被写体までの距離を示す画像を生成するための装置であって、
    上記情景から反射され、上記第２変調関数により変調されない放射波を検知するとともに、上記検知された放射波に応じて上記情景の領域から反射された光の強度に応じた信号を発生する、上記検知器と光軸が一致された第２検知器と、
    を含む装置。
20. 請求項１９に記載の装置であって、上記放射波源の光軸が上記検知器および上記第２検知器の光軸と一致されている装置。
21. 請求項１９又は２０に記載の装置であって、前記Ｓｉとして、前記変調器が、所定の期間、開の状態である間に、前記検知器アレイによって得られた基準信号レベルに代えて、前記第２検知器からの信号である基準信号レベルを用いる装置。
22. ロボットの案内のためのシステムであって、請求項１−１７、１９−２１のいずれか一項に記載の、情景中の被写体までの距離を示す画像を生成するための装置と、
    案内装置により示された物体までの距離を使用して、情景中の物体に作用するロボットと、
    を含むシステム。
23. 物体の大きさを決定するためのシステムであって、
    請求項１−１７、１９−２１のいずれかに記載の、物体の領域までの距離を示す、物体の画像を生成するための装置と、
    上記画像および表示された距離を使用し、上記物体の大きさを決定するコンピュータと、
    を含むシステム。
24. 請求項２３に記載のシステムにおいて、上記コンピュータが上記大きさを標準のものと比較するシステム。
25. 請求項２３に記載のシステムにおいて、上記コンピュータが決定された寸法を使用して、上記物体の体積を決定するシステム。
26. 物体の三次元モデルを生成するためのシステムであって、
    請求項２３に記載の物体の寸法を決定するためのシステムと、
    寸法を決定するためのシステムにより決定された寸法を受けて、該寸法により三次元モデルを生成する三次元モデル生成器と、
    を含むシステム。
27. 請求項２６に記載のシステムにおいて、上記三次元モデル生成器が上記物体の画像を生成するための装置からの画像情報を受け、該画像情報を三次元モデルの表面に適用するシステム。
28. 車両案内システムであって、
    請求項１−１７、１９−２１のいずれか一項に記載の、その運動の方向で車両の前方の情景中の物体までの距離を示す画像を生成するための装置と、
    上記画像および表示された距離を使用して、上記情景中の障碍物を識別するプロセッサと、
    を含むシステム。
29. 内視鏡の画像形成のためのシステムであって、
    患者の体内への挿入のための末端部と光学装置をそこに結合するための基部とを有する内視鏡と、
    上記内視鏡を通して放射波を体の中に導き、それから反射された放射波を検知するように、上記内視鏡の基部に結合される、請求項１−１７、１９−２１のいずれか一項に記載の、画像の生成のための装置と、
    を含むシステム。
30. 情景中の被写体までの距離を示す画像を生成するための方法であって、
    変調器が、第１変調関数により放射波源からの放射波を変調し、上記放射波を情景に向かわせるステップと、
    検知器が、画像フレームを捕捉し、前記画像フレームが、複数の画像切片のアレイを含み、当該画像切片が、情景の走査方向に隣接し、前記各画像切片が、その両端において他の画像切片と隣接し、各画像切片が、放射方向に距離ウィンドウを有し、各画像切片が、異なった距離ウィンドウの中で被写体を捕捉するように制御し、更に、当該検知器が、上記情景から反射された放射波を前記第１の変調関数とは異なった第２の変調関数により変調したものを検知する
    ことにより、上記情景の領域までの距離に応じた信号を発生するステップ、および、
    発生された前記信号に基づいて、プロセッサが、情景中の被写体までの距離を示す強度値分布を有する画像を形成するステップ、
    を含み、
    かつ、
    上記複数の画像切片の少なくとも一つの距離ウィンドウが少なくとも一つの他の画像切片の距離ウィンドウと異なっており、
    １つの前記画像切片を走査中である際の、当該１つの画像切片内の複数の被写体の距離を示す、前記画像内の各点の輝度を有する信号が、次の式によって計算され、
    Ｉｉ^＊＝Ｉｉ／ＳｉＴｆ
    ここで、
    Ｉｉは、ｉ番目の被写体による、その距離に応じた信号であり、
    ｆは、アレイがサンプリングされる適当なフィールドレートもしくはフレームレートであり、
    Ｓｉは、上記情景から反射された放射波を上記第１変調関数とは異なる第２変調関数により変調する第２の変調器が、所定の期間、開の状態である間に、前記検知器アレイによって得られた基準信号レベルであり、
    Ｉｉ^＊は、正規化された信号であり、
    上記第２変調関数は、上記第１変調関数に対して、時間Ｔだけ遅延され、
    更に、
    コントローラにより、上記プロセッサによって形成された画像の画像内の各点の輝度によって指示された距離に応じて、上記第１変調関数と上記第２変調関数の少なくとも１つを変化させ、上記時間Ｔを変化させる、
    方法。
31. 請求項３０に記載の方法において、複数の画像切片の第１のものの距離ウィンドウがそれに近接する第２の画像切片の距離ウィンドウと重なっている方法。
32. 請求項３０又は３１に記載の方法において、
    複数の画像切片のアレイを含む画像フレームが、
    それぞれの第２の変調関数に従って、上記画像切片の各々に対応する、反射された放射波を変調すること
    によって生成される、
    方法。
33. 請求項３０から３２のいずれか一項に記載の方法において、放射波を検知することが上記放射波に応答して生成される光電荷を蓄積して読み出すことを含んでおり、
    複数の画像切片のアレイを含む前記画像フレームが、
    上記電荷を蓄積して読み出す前に、各々の知られた予め定められた時間間隔で、上記画像切片の各々に対応する放射波に応答して生成される光電荷をクリアすること
    によって生成される、
    方法。
34. 請求項３０から３３のいずれか一項に記載の方法において、
    放射波を、情景に向けることが、放射波の線を生成し、前記情景に亘って、当該線を走査することを含む方法。
35. 請求項３０から３３のいずれか一項に記載の方法において、
    複数の画像切片のアレイを含む画像フレームが、相互に近接する画像切片のマトリックスを規定し、当該マトリックス内の、少なくとも１つの画像切片が、少なくとも１つの別の画像切片の距離ウィンドウとは異なった距離ウィンドウを有することによって生成され、
    画像を形成することが、前記マトリックス内の画像切片を結合して、マトリックス内の画像切片の、それぞれの距離ウィンドウを加算したものに実質的に等しい距離ウィンドウを有する、拡張された画像切片を生成することを含む、
    方法。
36. 請求項３０から３５のいずれか一項に記載の方法において、放射を検知することが色に従って放射波をフィルタすることを含み、かつ、画像を形成することがカラー画像を形成することを含む方法。
37. 別に得られた背景画像に重畳された目的の被写体を含む混合画像を生成するための方法であって、
    請求項３０から３６のいずれか一項に記載の、目的の被写体を含む情景の、該情景中の被写体までの距離を示す第１画像を形成すること、
    上記第１画像により示された、上記被写体までの距離を決定すること、
    少なくとも一つの被写体までの距離を含む距離領域を規定すること、
    フィルタされた画像を形成するために上記距離領域の外側にある被写体を第１画像から除去すること、
    上記フィルタされた画像を上記背景画像の上に重畳すること、
    を含む方法。
38. 混合された画像内の選択された領域内に挿入された所望のはめ込み画像を含む、情景の混合画像を生成するための方法であって、
    上記情景中に領域を指定すること、
    請求項３０から３６のいずれか一項に記載の、上記指定された領域を含む情景の、該情景中の被写体までの距離を示す第１画像を生成すること、
    上記第１画像中の領域の境界の位置および上記領域までの距離を、上記第１画像により示されているように、決定すること
    上記領域までの距離により、上記領域の境界内に適合するように上記はめ込み画像を計測すること、
    混合された画像を形成するために上記計測されたはめ込み画像を第１画像内の上記領域に重畳すること、
    を含む方法。
39. 請求項３８に記載の方法において、上記第１画像にはめ込まれる被写体を識別することを含んでおり、目的の被写体までの距離が上記領域までの距離よりも短く、
    目的の被写体のフィルタされた画像を形成するように上記第１画像をフィルタすること、
    上記領域内のはめ込み画像の上に目的の被写体のフィルタされた画像を重畳すること、
    を含む方法。

Images