JP5426174B2 - 単眼三次元撮像 - Google Patents

Description

（発明の分野）
本発明は撮像分野に関し、より詳細には複数の視野を有する（multi-view）三次元撮像用瞳サンプリングの分野に関する。

（関連出願の相互参照）
本願は、次の米国特許出願の優先権を主張する：米国特許出願番号第６０／７７３，１３２号（２００６年２月１３日出願）；米国特許出願番号第１１／５３０，４１３号（２００６年９月８日出願）；米国特許出願番号第１１／５３０，４２０号（２００６年９月８日出願）；および米国特許出願番号第１１／５３０，４２８（２００６年９月８日出願）。

三次元立体情報を捕獲するための一つの方法は、その相対配向が既知である二次元記録装置一対を使用することである。人間または動物の視覚系と酷似して、ステレオ光学系からの立体情報の取得は、２つの撮影センサーの１つ以上のターゲット点の記録位置の間の差異または格差に依存する三角測量技術である。各ターゲット特徴にとって、視差の規模は、イメージングシステムからのかかる特徴の距離に直接関連している。しかしながら、マシン・ビジョン・システムにおいて、この方法は、複数のカメラ／レンズシステムのコスト高および１つのセンサーともう１つのセンサーとの間のターゲット特徴の大きな格差を処理する高い計算コストなどの欠点を有している。

ステレオ撮影に密接な関係を持つ技術は、２つよりはむしろ３つの異なる画像を使用するトリプレット撮影である。トリプレット撮影は、一般に、処理のあいまいさを解消するおよび撮影の冗長を提供するために使用され、これにより最小限の計算コストの追加で精度およびロバスト性を向上させる。ほとんどのトリプレットイメージングシステムは、正三角形の形状で互いに等距離で定置された３つのカメラからなる。ステレオシステムは通常、一方向だけに視差が生じるように調整されたカメラ位置を利用する。この点において、トリプレット構成（例えば、「Ｌ］構造）は好ましい結果をもたらし得る。立体ベースのシステムのように、対象物はこれらシステムで捕獲された画像のそれぞれにおいてずれて現れ、カメラ間の変位は奥行きに比例する。しかしながら、ステレオシステムとは異なり、対象物は３つのカメラの間で水平方向および垂直方向の両方においてずれる。一旦カメラの相対位置がわかれば、画像の調整により二次元の差異を１次元の差異に減じることができる。三次元情報を分析するために、３つの画像に現れる物体特徴の視差を、ステレオベースの撮像（イメージング(imaging)）とほとんど同じ方法で三角測量を介して測定する。３つの視界は、撮像された空間内の全ての点および境界（線）を画定する。２超過のセンサーを使用することにより、イメージングシステムのいわゆる「アパーチャ効果」への対処がしやくすくなり、局所的な画像視差は、信号を提供する材質の特徴に対して垂直に測定することのみ可能である。この測定には非共線性のセンサーが必要である。より多くのセンサーを有することにより、目標表面の咬合がしやすくなり、１つのセンサーがブロックされてもなお、その他のセンサーが十分な情報を提供することができ、その利益は非共線性のセンサーでより大きい。

三角測量ベースの三次元イメージングシステム（ステレオおよびトリプレットイメージングシステムを含む）においては、獲得した画像間の物体特徴の変位を正確に測定する必要性がある。この変位を測定するために（および、これにより異なる画像を共通の座標系に変換することを可能にするために）必要な処理は、一般に画像レジストレーション(image registration)と呼ばれている。多くの種類の画像レジストレーション処理が開発されており、それらには、オプティカル・フロー（記録された画像強度の勾配に基づく）、相関（撮像された物体特徴の配向および強度に基づく）、およびグラフカット（ユーザが定義したエネルギー関数に関連する画像特性の最小化に基づく）が含まれる。

このように、光学データを撮像された対象物の三次元表示に変換するための多くの数学的手法およびアルゴリズム技法が開発されてきた。しかしながら、三次元撮像用の正確なデータを獲得するための改善された光学ユニットの必要性が残っている。

三次元イメージングシステムは、光チャネルのそれぞれが光学センサーによって個別に捕獲される３つのオフセット光チャネルを取得するために、１つの一次光学レンズをアパーチャ(aperture)の様々な配置、再収束装置等と共に使用する。

一態様において、本明細書に開示されるカメラは中心軸を有する光路を有する一次光学装置；複数の光チャネルを提供するために前記光路の一部を選択的に超過するための複数のアパーチャを有するアパーチャ要素；それぞれが複数のアパーチャの１つの前記光路内の共役位置にある複数の再集束レンズを有する再収束装置；および前記複数の光チャネルの１つ以上を光学センサーへと向かわせるサンプリング装置、を含む。

前記光学センサーは、複数の前記各光チャネルのためのセンサーを有してもよい。前記中心軸は前記複数のアパーチャの１つと交差し得る。前記中心軸は前記再集束レンズ１つと交差し得る。前記サンプリング装置は少なくとも一つのプリズムを有し得る。前記少なくとも一つのプリズムは、前記中心軸上に位置するホールを有するプリズムを含んでもよく、前記ホールは前記複数の光チャネルの中心の光チャネルを通過する。前記サンプリング装置は少なくとも一つのミラーを有し得る。前記少なくとも一つのミラーは、前記複数の光チャネルの、中心の光チャネルを通す空間によって隔てられる２つのミラーを有し得る。前記アパーチャ要素および前記再収束装置の少なくとも１つは、回転するように適合されていてもよい。前記アパーチャ要素は、前記再収束装置が静止している間回転するように適合されていてもよい。前記アパーチャ要素は３つのアパーチャを有し得る。前記カメラは、前記光学センサーによって取得されたデータを処理する画像プロセッサを有し得る。

本明細書に記載の三次元光学イメージングシステムは、前記イメージングシステムの一次光路内の１つの一次光学装置；前記一次光路内の光束をサンプリングして複数のサンプリングされた光束を提供する分割装置；前記複数のサンプリングされた光束の１つを受け取る少なくとも１つのセンサー；および前記少なくとも１つのセンサーの出力を処理する画像処理装置を含む。

前記複数のサンプリングされた光束は、それぞれが光チャネルを提供する３つの光束を含み得る。前記少なくとも１つのセンサーは、それぞれが前記複数の光束の１つからデータを取得する３つのセンサーを含み得る。

別の態様では、本明細書に記載の三次元光学イメージングシステムは、１つの一次光学装置；前記イメージングシステムの光路の第１の瞳に位置する瞳サンプリング装置；および前記光路の第２の瞳に位置する瞳分割装置、を含む。

前記瞳サンプリング装置は３つの光チャネルを含み得る。前記３つの光チャネルは、前記１つの一次光学装置の中心軸と軸を共有する少なくとも１つの中心チャネルを含み得る。

別の態様では、本明細書に記載の三次元光学イメージングシステムは、一次光学装置、前記一次光学装置の波面の一部をサンプリングしてサンプリングされた波面を提供する、少なくとも１つがバンドパスフィルターを有する複数のアパーチャを含む、アパーチャ要素；前記サンプリングされた波面の一部を受け取るセンサー；および前記センサーの出力を処理する画像処理装置、を含む。

前記複数のアパーチャは３つのアパーチャを含み得る。前記一次光学装置の中心軸は、前記３つのアパーチャの１つと交差し得る。

三次元イメージングシステムは、それぞれが光学センサーによって個別に捕獲され得る３つのオフセット光チャネルを取得するために、３つの共線的アパーチャと共に１つの一次光学レンズを用いる。

一態様において、本明細書に開示されるデバイスは、中心軸を有する一次光学装置内に配置されるアパーチャ要素を含み、前記アパーチャ要素は共線的に配置される３つのアパーチャを有し、前記アパーチャのそれぞれは前記一次光学装置の光波面(optical wavefront)の一部を選択的に透過し、これにより３つの光チャネルを提供し、および前記アパーチャの中心のアパーチャは前記中心軸上に配置される。

前記３つのアパーチャは、ほぼ等しく相隔たっていてもよい。前記アパーチャ要素は１以上の移動プレート、電子アパーチャ、シャッタ、シャッタ開口、振動式のアパーチャ、フリップミラー(flipping mirror)、回転ミラー(rotating mirror)、およびデジタル光プロセッサ(digital light processor)（ＤＬＰ）を含み得る。前記アパーチャ要素は前記中心軸上を回転するように適合されていてもよい。前記デバイスは、前記一次光学装置内の前記３つのアパーチャと共役位置に位置する３つの再収束素子を有する再収束装置を含み得る。前記再収束装置は前記中心軸上を回転するように適合されていてもよい。前記アパーチャ要素が前記中心軸上を回転するように適合されていてもよい。前記再収束装置は、前記アパーチャ要素と反対方向に回転するように適合されていてもよい。前記デバイスは、前記３つの光チャネルのそれぞれからのデータを捕獲するために配置される３つの光学センサーを含み得る。前記３つの光学センサーのそれぞれは、ＲＧＢデータを取得するための一群のセンサーを含み得る。前記デバイスは、前記３つの光チャネルを前記３つの光学センサーに向けなおすサンプリング装置を有し得る。前記サンプリング装置は、前記アパーチャの前記中心のアパーチャに対応する前記光チャネルの中心のチャネルを通す空間によって隔てられた２つのミラーを有し得る。前記サンプリング装置は３つのミラーを有し得る。前記サンプリング装置は少なくとも１つのプリズムを有し得る。前記少なくとも１つのプリズムは、前記アパーチャの前記中心のアパーチャに対応する前記光チャネルの中心のチャネルを通過するホールを有するプリズムを含み得る。

別の態様では、本明細書に開示されるデバイスは、中心軸を有する一次光学装置内に位置する再収束装置を含み、前記再収束装置は共線的に配置されおよびほぼ等しく離間する３つの再収束素子を含み、前記３つの再収束素子のそれぞれは前記一次光学装置の光波面の一部を再収束し、および前記再収束素子の中心の素子は前記中心軸上に配置される。

前記再収束装置は前記中心軸上で回転するように適合され得る。前記再収束素子は少なくとも１つのミラーを有し得る。前記再収束素子は少なくとも１つのレンズを有し得る。前記再収束素子は少なくとも１つの中間光学素子を有し得る。前記デバイスは、前記３つの光チャネルのそれぞれからのデータを捕獲するために配置される３つの光学センサーを有し得る。前記３つの光学センサーのそれぞれは、ＲＧＢデータを取得するための一群のセンサーを有し得る。

別の態様では、本明細書に開示されるセンサーからの画像を処理する方法は、光路の中心のチャネルからのデータを捕獲する中心センサーおよび２つの横側センサーを含み、各横側センサーが前記光路内の画像の動きに対して等しい変異を有する、イメージングシステムの３つの光学センサーの前記出力を受け取ること；前記センサーの２つの間のレジストレーションの変位方向のサインを変えること；および前記中心センサーと前記２つの横側センサーとの間のレジストレーションを合成すること、を含む。

三次元イメージングシステムは、光学センサーによって個別に捕獲され得る３つのオフセット光チャネルを獲得するために、３つの非共線的アパーチャと共に１つの一次光学レンズを使用する。

一態様において、本明細書に開示されるデバイスは、中心軸を有する一次光学装置内に配置されるアパーチャ要素を含み、前記アパーチャ要素は非共線的に配置される３つのアパーチャを有し、前記アパーチャのそれぞれが前記一次光学装置の光学的波面の一部を選択的に透過し、これにより３つの光チャネルを提供する。

前記３つのアパーチャの１つは、前記中心軸上に配置される中央のアパーチャであってもよい。前記デバイスは、前記中心軸上に配置される４つ目のアパーチャを有してもよい。前記３つのアパーチャはほぼ等しく相隔たっていてもよい。前記３つのアパーチャが直角を形成してもよい。前記３つのアパーチャの２つは、前記一次光学装置前記中心軸に対して１８０°離間し得る。前記アパーチャ要素は、１つ以上の移動プレート、電子アパーチャ、シャッタ、シャッタ開口、振動式のアパーチャ、フリップミラー、回転ミラー、およびデジタル光プロセッサ（ＤＬＰ）を含み得る。前記アパーチャ要素は前記中心軸上を回転するように適合され得る。前記デバイスは、前記一次光学装置内の前記３つのアパーチャと共役位置に位置する３つの再収束素子を有する再収束装置を含み得る。前記再収束装置は前記中心軸上を回転するように適合されていてもよい。前記アパーチャ要素は前記中心軸上を回転するように適合されていてもよい。前記再収束装置は、前記アパーチャ要素と反対方向に回転するように適合されていてもよい。前記デバイスは、前記３つの光チャネルのそれぞれからのデータを捕獲するために配置される３つの光学センサーを含み得る。前記３つの光学センサーのそれぞれは、ＲＧＢデータを取得するための一群のセンサーを含み得る。前記デバイスは、前記３つの光チャネルを前記３つの光学センサーに向けなおすサンプリング装置を有し得る。前記サンプリング装置は、前記アパーチャの前記中心のアパーチャに対応する前記光チャネルの中心のチャネルを通す空間によって隔てられた２つのミラーを有し得る。前記サンプリング装置は３つのミラーを有し得る。前記サンプリング装置は少なくとも１つのプリズムを有し得る。前記少なくとも１つのプリズムは、前記アパーチャの前記中心のアパーチャに対応する前記光チャネルの中心のチャネルを通過するホールを有するプリズムを含み得る。

別の態様では、本明細書に開示されるデバイスは中心軸を有する一次光学装置内に位置する再収束装置を含み、前記再収束装置は共線的に配置されおよびほぼ等しく離間する３つの再収束素子を含み、前記３つの再収束素子のそれぞれは前記一次光学装置の光波面の一部を再収束し、および前記再収束素子の中心の素子は前記中心軸上に配置される。

前記再収束装置は前記中心軸上で回転するように適合され得る。前記再収束素子は少なくとも１つのミラーを有し得る。前記再収束素子は少なくとも１つのレンズを有し得る。前記再収束素子は少なくとも１つの中間光学素子を有し得る。前記デバイスは、前記３つの光チャネルのそれぞれからのデータを捕獲するために配置される３つの光学センサーを有し得る。前記３つの光学センサーのそれぞれは、ＲＧＢデータを取得するための一群のセンサーを有し得る。

一態様において、本明細書に開示されるデバイスは、１つの一次光学装置；前記１つの一次光学装置を通過する光波面の１つ以上の部分をサンプリングし、および前記光波面を像面上に焦点を合わせるための、光学イメージングシステムの一次光路内の再収束装置；前記再収束装置と共役位置にある移動アパーチャ要素；前記光波面の１以上の部分を分割する分割装置；前記光波面の前記１以上の部分の少なくとも１つを受け取る少なくとも１つのセンサー；前記少なくとも１つのセンサーの出力を処理する画像処理装置；および前記移動アパーチャ要素および前記再収束装置の少なくとも１つを、前記少なくとも１つのセンサーの前記出力に基づいて制御するフィードバック装置、を含む。

前記デバイスは、光束を中継する１以上のリレー・レンズをさらに含んでもよい。前記１つの一次光学装置はレンズを含み得る。前記１つの一次光学装置はミラー一式を含み得る。前記１つの一次光学装置は電子光学装置であってもよい。前記電子光学装置は液晶表示装置を含み得る。前記電子光学装置はフリップミラーを含み得る。

前記再収束装置は３つの再収束素子を含み得る。前記３つの再収束素子は、前記一次光路の前記軸から外れて共線的に配置され得る。前記３つの再収束素子は三角形に配置され得る。前記三角形は直角三角形であってもよい。

前記再収束装置は２つの再集束レンズを含み得る。前記再収束装置は回転する再収束装置であってもよい。前記再収束装置は、前記移動アパーチャ要素の回転と同期して回転するように適合され得る。前記再収束装置はミラーベースの再収束装置であってもよい。前記再収束装置は、前記１つの一次光学装置の後ろに配置され得る。前記再収束装置は前記１つの一次光学装置の前に配置され得る。前記再収束装置は前記一次光学装置内にあってもよい。前記移動アパーチャ要素は回転するように適合され得る。

前記移動アパーチャ要素は、前記再収束装置の３つの再集束レンズに対応する３つのアパーチャを有していてもよい。前記３つのアパーチャは、前記一次光路の前記軸から外れて共線的に配置され得る。前記３つのアパーチャは三角形に配置され得る。前記三角形は直角三角形であってもよい。

前記移動アパーチャ要素は、前記再収束装置の回転と同期して回転するように適合され得る。前記移動アパーチャ要素は、前記再収束装置の前記回転の方向に回転するように適合され得る。前記移動アパーチャ要素は、前記再収束装置の前記回転と反対方向に回転するように適合され得る。前記移動アパーチャ要素は、前記一次光路の前記１つの一次光学装置の前にあってもよい。前記移動アパーチャ要素は、前記一次光路の前記１つの一次光学装置の後ろにあってもよい。前記移動アパーチャ要素は、前記システムの瞳に位置してもよい。前記移動アパーチャ要素の少なくとも１つのアパーチャは、前記一次光路の軸上に位置し得る。前記移動アパーチャ要素は回転式アパーチャ要素であってもよく、前記移動アパーチャ要素の少なくとも１つのアパーチャは、前記移動アパーチャ要素の回転中に、前記一次光路の軸に対して移動しない。前記移動アパーチャ要素の少なくとも１つのアパーチャを通過する画像は固定参照を提供し得る。

前記分割装置は瞳分割装置を含み得る。前記分割装置は瞳サンプリング装置を含み得る。前記分割装置は偏光分割器（polarizing splitter）を含み得る。前記分割装置はプリズムを含み得る。前記分割装置は一対のミラーを含み得る。前記一対のミラーは、画像の中心チャネルがセンサーに直接通過するのを可能にする空間によって隔てられ得る。前記分割装置は、画像の一部が前記ミラーの一部を通過するのを可能にする透過部分を有するミラーを含み得る。

前記デバイスは、前記移動アパーチャ要素の３つのアパーチャに対応する３つの光束に関連して配置される３つのセンサーをさらに含み得る。

前記デバイスは、前記一次光路の中心軸に沿った後部チャネルとして配置される第１のセンサー、および前記一次光路の中心軸に対して軸外に配置される第２のセンサーをさらに含み得る。前記少なくとも１つのセンサーは、１つのセンサーから構成され得る。前記１つのセンサーはＲＧＢセンサーであり得る。前記１つのセンサーは、それぞれが光の特定の波長に選択的に応答する複数のセンサー素子を含み得る。

前記画像処理装置はカメラを含み得る。前記画像処理装置はマシン・ビジョン・システムを含み得る。前記画像処理装置は動き検出システムを含み得る。前記画像処理装置は三次元イメージング装置を含み得る。前記画像処理装置は医療用イメージング装置を含み得る。前記画像処理装置は歯科用イメージング装置を含み得る。前記画像処理装置は、時空間処理に基づくトリプレット画像処理を実施し得る。前記画像処理装置は、相関に基づく画像処理を実施し得る。前記画像処理装置は、視差に基づく画像処理を実施し得る。前記画像処理装置は、速度測定を実施可能であってもよい。前記再収束装置は、前記一次光路内の前記１つの一次光学装置の前に配置され得る。

前記デバイスは、前記移動アパーチャ要素と同期して動くように適合された遮蔽素子をさらに含み得る。

前記デバイスは、光学的画像データの収差を補正するために用いることができる。

一態様において、本明細書に開示されるデバイスは、１つの一次光学装置；光波面の複数のサンプリングされた部分を提供するために、前記イメージングシステムの瞳の一部をサンプリングする分割装置；前記複数のサンプリングされた部分のそれぞれを受け取る３つ以上のセンサー一式；および前記センサーの出力を処理する画像処理装置を含む。

一態様において、本明細書に開示されるデバイスは、前記イメージングシステムの一次光路内の１つの一次光学装置；および前記一次光学装置を通過する波面の一部をサンプリングするように適合された、一次光路内の前記再収束装置を含み得る。

一態様において、本明細書に開示されるデバイスは、前記イメージングシステムの一次光路内の１つの一次光学装置；前記一次光学装置を通過する波面の一部をサンプリングするように適合された、一次光路内の再収束装置；サンプリングされた波面を提供するために前記波面の前記一部をサンプリングする移動アパーチャ要素；前記サンプリングされた波面を受け取る少なくとも１つのセンサー；および前記少なくとも１つのセンサーの出力を処理する画像処理装置を含み得る。

一態様において、本明細書に開示されるデバイスは、サンプリングされた波面を提供するために波面の一部をサンプリングする移動アパーチャ要素；前記サンプリングされた波面を受け取る少なくとも１つのセンサー；および前記少なくとも１つのセンサーの出力を処理する画像処理装置を含み得る。

一態様において、本明細書に開示されるデバイスは、前記イメージングシステムの一次光路の瞳の位置に位置し、前記一次光路の軸上に位置する少なくとも１つのアパーチャを有し、波面の一部をサンプリングする移動アパーチャ要素；前記波面のサンプリングされた部分を受け取る少なくとも１つのセンサー；および前記１以上のセンサーの出力を処理する画像処理装置を含み得る。

一態様において、本明細書に開示されるデバイスは、一次光路の瞳の位置のイメージングシステムの前記一次光路内に位置し、互いに対して直線状に配置される複数のアパーチャを含み、前記イメージングシステムの波面の部分をサンプリングする、アパーチャ要素を含む。

一態様において、本明細書に開示されるデバイスは、１つの一次光学装置；サンプリングされた波面を提供するための前記イメージングシステム内の波面の一部をサンプリングする、前記一次光路の瞳の位置の前記イメージングシステムの一次光路に位置する回転アパーチャ要素；前記サンプリングされた波面の一部を感知する少なくとも１つのセンサー；および前記少なくとも１つのセンサーの出力を処理する画像処理装置を含む。

一態様において、本明細書に開示されるデバイスは、イメージングシステムの一次光路内の１つの一次光学装置；前記一次光路の波面の一部をサンプリングするための前記一次光路内の再収束装置；前記一次光路内の前記波面の一部をサンプリングする移動アパーチャ要素；前記一次光路内の瞳の部分を分割する分割装置；前記再収束装置、前記移動アパーチャ、および前記分割装置の後に前記波面を受け取るセンサー；および前記センサーの出力を処理する画像処理装置を含む。

一態様において、本明細書に開示されるデバイスは、前記イメージングシステムの一次光路内の１つの一次光学装置；前記一次光路の波面の一部をサンプリングするための前記一次光路内の再収束装置；前記再収束装置から前記波面を受け取り、前記受け取った波面をサンプリングするように適合された、複数のアパーチャを有する複数のアパーチャ要素；複数のサンプリングされた波面を提供するために前記一次光路内の瞳の部分を分割する分割装置；前記複数のサンプリングされた波面の１以上を受け取るセンサーであって、前記センサーが前記複数のアパーチャの少なくとも２つから同時にサンプリングされた波面を受け取るように適合されている、センサー；および前記１以上のセンサーの前記出力を処理する画像処理装置を含む。

一態様において、本明細書に開示されるデバイスは、光路および２つの横側センサーの中央チャネルからのデータを捕獲し、前記各横側センサーが前記光路内の画像の動きに対して等しい変位を有している、イメージングシステムの３つの光学センサーの出力を受け取ること；前記センサーの２つの間のレジストレーションの変位方向のサインを変えること；および前記中央センサーと前記２つの横側センサーとの間のレジストレーションを組み合わせることを含む。

本明細書で特定されたすべての文献は、その全体を参照として援用する。

以下の図に描かれたレイトレース（ray traces）およびレンズは図示のみを目的としており、一般に開示されたシステム内の光路を示していることは理解されるであろう。以下の発明を実施するための最良の形態に明示的に示されている場合を除いて、レイトレースおよびレンズの形状は、様々な光学構成要素を通過する光線または光束の数、方向、形状、位置または寸法の任意の変化にかかわらず、それらの規模、方向、または焦点を含む本発明の範囲をいかなる意味においても制限するものではないと理解されるべきである。

図１を参照すると、様々な光学構成要素を含む、本開示の一つの好ましい実施形態におけるイメージングシステム１００の概要図が描かれている。イメージングシステム１００は、あらゆる種類の画像処理システムで使用することのできる第一次光学装置１０２を含んでもよい。一般に、本明細書において主要な光学装置は、一つの光チャネルを有する光学システムを言う。以下の記載において、この光チャネルの変形が明示的に説明されている場合、ないしは別の方法で文脈から明らかになる場合があるが、典型的には、この光チャネルは少なくとも１つのレンズを共有し、光学システム内に共有の像面を有している。イメージングシステム１００は、１つの一次レンズ、レンズ群、対物レンズ、ミラーシステム（従来のミラー、ディジタルミラーシステムまたはディジタル光プロセッサ等を含む）、集光ミラー、および本明細書に記載のシステムと共に使用するのに好適な任意のその他の光学装置を含んでもよい。イメージングシステム１００は、例えば、ステレオまたはその他の多重画像カメラシステムにおいて使用され得る。その他の光学装置はホログラフィック光学素子等を含んでもよい。様々な構成において、第一次光学装置１０２は、対物レンズ（またはレンズ群）１０２ｂ、視野レンズ１０２ｄ、リレー・レンズ１０２などの１つ以上のレンズを含んでもよい。対物レンズ１０２ｂは、イメージングシステム１００の入射瞳にまたはその近傍に配置されてもよい。視野レンズ１０２ｄは、システム１００の第１の像面１０２ｃにまたはその近傍に配置されてもよい。リレー・レンズ１０２ｆは、システム１００内の光線の束を中継することができる。図１には１つの実施形態が描かれているが、多くの変形が可能であることは理解されよう。さらに、レンズのいくつか（例えば、１０２ｄおよび１０２ｆ）はダブレットとして描かれているが、これらはまた単レンズであってもよい。

イメージングシステム１００は能動波面(active wavefront)サンプリング用に設計されてもよく、図１の物体１２０のような物体（１または複数）から、物体の二次元または三次元特徴を検出するのに役立つ、一連のまたは一群の光学データを、動きを検出する光学データ、速度測定または物体追跡のための光学データ等を用いてサンプリングするために用いられる任意の技術を包含すると考えられるべきである。物体１２０は、撮像スキャナ（imaging wand）、カメラ等に含まれるシステムなどのイメージングシステム１００によってスキャンされる、公称対象物面上に設置され得る。

イメージングシステム１００はアパーチャ要素１０８を有していてもよく、当該要素は、第一次光学装置１０２を通って通過する光信号の一部分を選択的に通過させるための任意の要素（１または複数）を含み得る。視野レンズ１０２ｄとリレー・レンズ１０２ｆとの間の位置に描かれているが、アパーチャ要素１０８が第一次光学装置１０２内側または外側の様々な位置、例えば第一次光学装置１０２としての機能を果たすレンズの前側、内側、または後ろ側、などに好適に定置することができることは理解されよう。アパーチャ要素１０８は、１つ以上のアパーチャ１１２を含んでもよい。実施形態において、アパーチャ要素１０８は任意の種類のアパーチャ要素を含んでもよい。当該アパーチャ要素には、動的アパーチャ（dynamic aperture）、移動プレート、移動アパーチャ、電子的に制御されたアパーチャ、電子アパーチャ、シャッタ、シャッタ開口、可変絞り、振動式のアパーチャ、制御可能なアパーチャ、回転アパーチャ、フリップミラー、回転ミラー、デジタル光プロセッサ（ＤＬＰ）、またはその他同様の構成要素が挙げられる。アパーチャ１１２は、イメージングシステムの第１光路と同一線上／軸上、または近軸／軸外などの様々な位置に配置され得る。実施形態において、アパーチャ要素１０８のアパーチャ１１２は、一連の３つのアパーチャ１１２、アパーチャ１１２の正三角形、一対のアパーチャ１１２、「Ｌ」形に配置されたアパーチャ１１２等など、様々な構成で配置された複数のアパーチャ１０８を含むことができる。実施形態において、アパーチャ１１２の１つはイメージングシステム１００の中心軸上に位置してもよい。一実施形態において、３つの共線形アパーチャ１１２がその中に配列され、当該アパーチャの１つがイメージングシステム１００の中心軸上に位置している回転アパーチャ要素１０８は、イメージングシステム１００の中心軸の周りを回転し得る。本明細書に記載の任意の回転要素は、当該技術分野において既知の、および本明細書に記載の光学システムと共に使用するのに好適な、任意の電気機械的またはその他の手段を用いて回転するように適合されている。アパーチャ要素１０８のその他２つのアパーチャ１１２は、中央に位置するアパーチャ１１２一直線に位置してもよく、当該２つの横側のアパーチャのそれぞれは、中心のアパーチャ１１２から同じ距離で間隔が開けられる。その他の実施形態において、アパーチャ１１２は、三角形、「Ｌ」形等のようなその他様々な形状に配置されてもよい。回転アパーチャ要素１０８上の３つのアパーチャ１１２は、第一次光学装置１０２を通過する光束の３つの個別部分のサンプリングを可能にする。アパーチャ要素１０８は、イメージングシステム１００の一次レンズなどの第一次光学装置１０２からの波面の一部の能動的サンプリングを可能とし得る。アパーチャ要素１０８のアパーチャ１１の１つ以上は定位置に配置され得る。当該定位置は、イメージングシステム１００の中心軸上またはイメージングシステム１００に対して固定されたまたは不変の別の位置のいずれかである。実施形態において、ホログラフィック光学素子の使用は横側アパーチャのオフセットを増加させることができ、これによりイメージングシステム１００の深さ分解能または感度を有利に増すことができる。

アパーチャ１１２の１つ以上は、撮像処理用の固定された参照画像としての役割を果たし得る。したがって、一態様において、本明細書において開示されるのは、参照画像を確立する少なくとも１つの不変アパーチャを有する、第１の光路中の複数のアパーチャ要素１０８を採用した三次元イメージングシステムである。本システムは、移動するまたは能動的な複数のアパーチャ要素１０８を含んでもよい。本システムは３つ以上の光チャネルを担持する分割装置を有してもよい。非移動アパーチャは近軸位置に位置してもよく、または中心軸上に位置してもよい。

別の態様では、本明細書において開示されるのは、３つのアパーチャ要素１０８を有する三次元イメージングシステムであり、アパーチャ１１２は共線的である、即ち、互いに直線的に配列されている。３つのアパーチャ要素１０８は、１つ以上のアパーチャ１１２が光路内を移動する移動型構成要素であってもよい。別の実施形態において、アパーチャ要素１０８は、三角形（例えば、正三角形）の形状で配置されたアパーチャを有してもよく、線状に配置された一対のアパーチャ、「Ｌ」形（例えば、直角三角形）に配置されたアパーチャ等を有してもよい。

イメージングシステム１００は１以上の再収束装置１１０を有してもよく、当該装置には、光束あるいは画像または画像の一部の焦点を再度合わせるため、または焦点を変えるため、焦点を調節するため等の任意の装置が含まれることを理解すべきである。実施形態は、再集束レンズ、リレー・レンズ、ミラーシステム、または、特定の文脈に応じて適切に、第一次光学装置１０２に関連して上記した光学装置のいずれかを含む、光を中継すること、符号化すること、または再度焦点を合わせることの可能なその他の光学装置を有してもよい。いくつかの実施形態において、再収束装置１１０は、光路の焦点深度を拡大させる１つ以上の中間光学素子、例えば、ガラスコーンまたはＣＤＭオプティクス社（CDM Optics, Inc.）から市販の波面変調（Wavefront Coding）（商標）デバイス、を有してもよい。本明細書に開示のシステムと共に使用するのに好適な中間光学素子は、例えば、Ｌ．Ｍ．ソロコ（L.M. Soroko）によるメソオプティクス：基礎と応用（Meso-Optics Foundations and Applications）（１９９６年１１月）に記載されており、当該文献の全体を参照として本明細書に援用する。これら素子は、関連光路の焦点範囲を拡大することが可能であり、第一次光学装置の焦点平面と異なる距離にある画像の捕獲を可能にし得る一方、センサーによって取得した対応する画像は、光束からのシャープな画像を回収するための復号アルゴリズムまたは処理を必要とする方法でコード化され得ることを理解されたい。好適な復号アルゴリズムは既知であり、一次光学装置を具現化するカメラに付随する任意の画像処理システムに配置され得る。

再収束装置１１０は複数の再集束レンズからなる１つ以上の再収束素子１０４を坦持してもよい。再収束装置１１０およびアパーチャ要素１０８は、光学システム１００の共役位置に位置することができ、特定の実施形態においては、システム１００内のほぼ同じ位置であると考えられ得る。例えば、制限の目的でなく、アパーチャ要素１０８および再収束装置１１０は、各アパーチャが光学装置の共有の瞳位置で再集束レンズを囲むなどによってなど、同一平面上にあってもよい。再収束装置１１０およびアパーチャ要素１０８は回転することができ、適切な位置にあるとき、１以上のセンサー上に画像の焦点を合わせる。再収束装置１１０は回転アパーチャ要素１０８と同じ方向、反対方向に、同じ速度および／または異なる速度で回転することが可能である。実施形態において、構成要素１１０、１０８はプロセッサ（図示せず）によって制御される。

イメージングシステム１００は、サンプリング装置１１８を有していてもよい。サンプリング装置１１８は、イメージングシステム１００を通過する光信号の一部をサンプリングするまたは光信号の一部の方向を変える任意の種類の装置を有していてもよく、当該装置には、分割装置、瞳分割部、瞳分割装置、プリズム、スプリッタ、ミラー、瞳サンプリング装置、複数のミラー、フィルター、透明要素を有するミラー、間に空間を有する一対のミラー、またはその他のかかる装置が挙げられる。出口瞳（即ち、第一次光学装置１０２の外側に位置する）でのサンプリングに加え、第一次光学装置１０２の内部の瞳でサンプリングすることが可能である。さらに図１を参照すると、サンプリング装置１１８は、異なる方向に光を反射するための一対のミラーをイメージングシステム１００内に有してもよい。サンプリング装置１１８は、異なる光束を異なるセンサー１１４ａ、１１４ｂおよび１１４ｃに向けて反射する位置に複数のミラーを有していてもよい。描かれているように、第１のサンプリング装置１１８は光を第１のサイドセンサー１１４ａに向け、第２のサンプリング装置１１８は光を第１のサイドセンサー１１４ｃに向けることができる。同軸の（または近軸の）光束を、イメージングシステム１００の中心軸に沿って後部センサー１１４ｂへと向かわせる、２つのサンプリング装置１１８の間には、空間が設けられてもよい。図１のシステムにおいて、各サンプリング装置１１８が、アパーチャ要素１０８のアパーチャ１１２の１つによって選択された一次光束の一部を受け取るように配置されていることに留意されたい。各アパーチャ１１２はまた、アパーチャ１１２に付随する再収束素子１１０を共役位置に有してもよい。言い換えると、各センサー１１４ａ、１１４ｂまたは１１４ｃは、第一次光学装置１０２からの光束の対応する部分を受け取ることができ、異なる光束を個別に処理することが可能である。

異なる光束を異なるセンサー１１４に向かわせるために、様々なその他の構造が提供され得ることは理解されるべきである。例えば、光の一部が後部センサー１１４へと通過するのを可能とするために、１つのミラーに透過型の中心要素、例えば、ホール、を設けてもよい。より一般的には、フィルター、スプリッタ、ミラー、屈折および／または反射素子等、並びに機械的な、電気機械の、および／または電気のシャッタを含む様々な光学技術を、本明細書に記載のシステムに有用に採用してもよい。

センサー１１４は、光エネルギー、例えば、可視光線、赤外線エネルギー、Ｘ線、紫外線または、第一次光学装置１０２を透過することのできる電磁スペクトルの任意の部分からのその他のエネルギー、の状態を感知するのに好適な任意のセンサーを有してもよい。センサーには、光の強度を測定可能なセンサー、光の色を感知するためのセンサー、センサーの集まり、例えば、ＲＧＢセンサー等が含まれることは理解されるべきである。センサーは、１つ、２つ、または３つのセンサーの集まり、あるいはもっと多くのセンサーの集まりなどのセンサーの集合体を含んでもよく、これらは異なる光束または同一の光束を受け取るために配置される。イメージングシステム１００は、サンプリングされた異なる光束を、同じセンサーの異なる部分に方向づけることができ、こうして一つのセンサーまたはピクセルアレイから多くの仮想センサーを形成する。一実施形態において、３つのセンサー１１４ａ、１１４ｂおよび１１４ｃは、例えばアパーチャ要素１０８を介して選択的に届く、第一次光学装置１０２からの異なる光束を受け取るための、２つのサイドチャネルおよび１つの後部チャネルとして配置されることができる。

イメージングシステム１００は１以上の画像処理装置（図示せず）を含んでもよく、当該装置には、機械設備、ソフトウエア、または画像データを処理するためのその他の処理システムが含まれることが理解されるべきである。画像処理装置は、本明細書に記載のような１以上の個別のセンサー、並びにカメラ（静止画カメラ、動画カメラ、デジタルカメラ、ビデオカメラ、またはその他のカメラ）、コンピュータ、マシン・ビジョン・システム、光学システム、読取機、物体追跡装置、スコープ等を含んでもよい。画像処理装置は、プロセッサ、マイクロプロセッサ、特定用途向け集積回路、回路、マイクロチップ、マイクロコントローラ、コントローラ、機械設備要素、ソフトウエア、ファームウエア、または画像データを含むデータを処理するその他の構成要素のような、１つ以上の追加的構成要素を含んでもよい。画像処理装置は、画像を処理するさまざまな技術を含むおよび可能にすると理解されるべきである。当該技術には、本明細書に記載の技術、参照により本明細書に組み込まれる文献中の光学像の能動波面サンプリングのための技術、異なる画像からの画像データの相関に基づく技術、または当業者に既知の波面符号化画像を復号する技術などが含まれる。一実施形態において、図１のセンサー１１４ａ、１１４ｂおよび１１４ｃからのデータは、例えば、物体１２０の画像を処理するおよび得られた画像を三次元データに改造するなど、画像データを処理することの可能な画像処理装置に中継される。実施形態において、かかる画像処理装置は、イメージングシステム１００からの異なる画像、例えば、アパーチャ要素１０８のアパーチャ１１２からの画像などを、アパーチャ１１２の位置およびアパーチャ要素１０８の動きを考慮しながらレジスタすることができる。例えば、画像処理装置は、効率的に画像を記録するのを助ける固定参照として中央のアパーチャ１１２からの画像データを使用して、回転アパーチャ要素１０８のそのアパーチャ１１２の固定位置を考慮にいれることができる。同様に、回転アパーチャ要素１０８の横側のアパーチャ１１２の相対位置およびそれらの既知の相対位置は、それぞれの横側のアパーチャ１１２を通ってセンサー１１４ａおよび１１４ｃに中継される、イメージングシステム１００の瞳の位置を効率的に記録することを可能にすることができる。

イメージングシステムは１つ以上のフィードバック装置を含んでもよく、当該装置は、画像処理装置に関連する制御可能な素子にフィードバックを提供するための、画像処理装置の任意の構成要素を包含する。実施形態において、フィードバック装置は、例えば、再収束装置１１０（例えば、回転再収束装置１１０の回転を制御する）、アパーチャ要素１０８（例えば、回転アパーチャの回転を、回転再収束装置１１０などと共に制御する）、一次光学装置に対する物体１２０の位置、電子的光学構成要素の操作、またはイメージングシステム１００の任意のその他の制御可能な態様、を制御するためのフィードバックを提供し得る。

イメージングシステムは、図１のリレー・レンズ１０２ｆのような、１つ以上の中継光学装置（relay optical facility）を含んでもよく、当該装置は、有効な光学装置の間の光路を維持するための任意の構成要素または素子を包含し得る。実施形態は、画像またはその一部を中継するさまざまなレンズを、光学装置１０２内または第一次光学装置１０２、再集束レンズ１０４、アパーチャ１１２、瞳分割装置１１８および／または１つ以上のセンサー１１４の間に備えてもよい。

イメージングシステムは、電子光学装置を含んでもよく、当該装置は、本明細書に記載の光学構成要素または装置のいずれかによって実行される１つ以上の機能、例えば、光を透過する、光の焦点を合わせる、光を反射する、回折する、屈折するまたは中継するなど、を達成する任意の電子的構成要素を包含し得る。実施形態は、フリップミラー、液晶素子、デジタル光プロセッサ等を含んでもよい。

一態様において、開示されたシステムは、１つの第一次光学装置１０２を有する三次元イメージングシステムを含む。本システムは、図１に示されおよび図１を参照して記載されたように、複数のセンサーと組み合わせて瞳分割または瞳サンプリングを用いてもよい。本システムは、ミラーなどの一対の分割装置１１８をイメージングシステムの一次光路に用いてもよい。光束は、中央経路と少なくとも一方の横側経路との間で分割され得る。

一般に、図１のシステム１００の多数の変形が可能であることが理解されよう。即ち、光学ユニット内で、特定の構成要素が削除され、その他が加えられ、さまざまな構成要素が再配置されることができる。例示目的であり、制限の目的ではなく、アパーチャの様々な構造を本明細書に記載のシステムと共に有用に使用することができる。例えば、システム１００を用いるカメラには、アパーチャ要素１０８を含むが再収束装置１１０を含まなくてもよく、アパーチャ要素１０８および１以上の再集束レンズを含むが光学的波面符号化素子を含まない再収束装置１１０を含んでもよく、またはアパーチャ要素１０８および１以上の光学的波面符号化素子を含むが再集束レンズを含まない再収束装置１１０を含んでもよい。異なる再収束装置１１０を組み合わせて使用することも可能である。例えば、システム１００は、再集束レンズを有する第１の再収束装置および中間光学素子を有する第２の再収束装置を含んでもよく、これらは一次光学装置内の共役位置に存在する。当業者には明らかであろうかかる変化の全ては、この開示の範囲に含まれることを意図している。

図２は、再収束装置１１０の実施形態を、イメージングシステム１００の中心軸に沿って見た図であり、再集束レンズ１０４は直線形状に配置され、中央の再集束レンズ１０４は再収束装置１１０の中心軸に位置し、その結果再収束装置１１０の回転中に固定された不動の位置を保つ。実施形態において、移動しない中心のアパーチャが配置された中心にホールを有する回転ディスクを作ることができる。

図３は、回転アパーチャ要素１０８を、イメージングシステム１００の中心軸に沿って見た図であり、アパーチャ１１２は回転アパーチャ要素１０８上に直線形状に配置され、当該アパーチャ要素の１つはアパーチャ要素１０８の中心軸に配置され、その結果アパーチャ要素１０８が回転したときに中央のアパーチャが移動しない。アパーチャ１１２は円形として図示されているが、その他の実施形態において円形でないアパーチャを使用することができ、および可能であれば不規則なアパーチャを通過する画像の画像データを解像するために、画像処理装置が不規則なアパーチャ形状をうまく利用することができることが理解されるべきである。図２および３に描かれたような３つの再集束レンズおよび３つのアパーチャの直線的配置は、ある種の利点を提供する。例えば、中心のアパーチャ１１２および中心の再集束レンズ１０４は、回転するアパーチャ１０８の動きにかかわらず同じ場所に位置するので、画像処理において参照画像として使用することができる。アパーチャ要素１０８が回転するとき、横側のアパーチャ１１２もまた一定の（および等しい）距離を移動し、当該２つの横側アパーチャは同じ回転方向に等しい距離だけ移動する。回転のこの既知の範囲は、前記２つの横側アパーチャからのデータのための画像データの画像処理を簡略化することができる。いくつかの実施形態においてアパーチャプレート１０８および再収束装置１１０は個別の装置であってもよいが、その他の実施形態において、例えば再集束小型レンズ１０４をアパーチャ１１２中にまたはアパーチャ１１２に近接近させて配置するなどして、当該２つの要素を１つの光学装置に合体することが可能であることが理解されるべきである。

図４は、画像処理システム１００が、図１の３つのセンサーシステムとは異なり、２つのセンサー１１４ａおよび１１４ｂを有している以外は、図１の画像処理システム１００と同様の画像処理システム４００を示している。前記２つのセンサーは、回転アパーチャ要素１０８のアパーチャ１１２から画像部分を受像するように構成されており、前記画像部分は、図１に関連して記載したのと同様の方法で、再収束装置１１０によって予めアパーチャに焦点が合わせられている。この場合、１つのミラー１１８が、横側のアパーチャからの光束をセンサー１１４へと方向づけ、一方、中央のアパーチャ１１２からの光束は後部センサー１１４ｂへ直接通過することができる。任意に、中央のアパーチャ１１２からの光束を横側のアパーチャへと方向づけ、横側のアパーチャからの光束を後部センサーへと通してもよい。かかるシステム４００において、画像処理装置は、中心のアパーチャからのデータを固定参照画像として任意に使用して、２つのセンサーからのデータを処理するように構成されることが可能であり、中央のアパーチャに対する横側のアパーチャの動きが既知であるので、横側のアパーチャ１１２からの画像を効率的に記録することが容易となる。

図５Ａ〜５Ｄは、再収束装置１１０の複数の代替的構成を示しており、再集束レンズ１０４は三角形に配置されている（ここでは正三角形に描かれているが、アパーチャプレート１０８が回転するときに場所が不変の、正三角形（または「Ｌ］形）５０２あるいは追加的な中央のアパーチャと組み合された三角形５０４など、任意に、三角形またはその他の幾何学的形状とすることができる）。対応する回転アパーチャ要素１０８は、再集束レンズ１０４に対応するように構成された三角形に配置されたアパーチャ１１２を含む。実施形態において、システム１００と同様なイメージングシステムを、再収束装置１１０およびアパーチャ要素１０８のこれら代替的実施形態と共に使用することが可能であるが、分割装置およびサンサーは、図１に示されたように直線に沿った拘束を受け取るように配置されるよりはむしろ、アパーチャ１１２の三角形の配置からの光束を処理するように配置される。アパーチャ１１２の既知の幾何学的形状は、画像処理装置が、アパーチャ要素１０８が動く際のアパーチャの既知の相対運動に基づいて光束の相対運動を処理することを可能とする。別の実施形態において、２つのアパーチャはアパーチャ要素の中心と（例えば、一次光学装置の中心軸に対して）共線的であってもよく、または中心に対して１８０°相隔たってもよい。一方、第３のアパーチャは中心に対して異なる角度および／または中心から異なる距離である。共線的なアパーチャは中心から等間隔であってもまたは間隔が異なっていてもよい。

図６は、異なる光束がアパーチャ要素１０８のアパーチャを通って１つのセンサー６０２に中継されること以外は、図１のイメージングシステム１００と同様のイメージングシステム６００を示している。実施形態において、１つのセンサー６０２は、異なるピクセルのような各アパーチャ１１２から当該センサーに供給される別個の光束に、例えば、搭載された別個のカラー・センサーを用いて、別々に対応することの可能な異なる部分を有してもよい。その他の実施形態において、１つのセンサー６０２の受光素子は異なる光スペクトルに別々に対応してもよい。例えば、ピクセル上にカラーフィルターを備えてもよい。フィルターは、例えば、アパーチャ１１２のそれぞれでフィルターをかけられる特定のスペクトルバンドに合わせることが可能である。１つのセンサーはマルチスペクトルセンサー（例えばＲ、Ｇ、ＢおよびＩＲピクセルを有する）であり得、または多重センサーであることができ、その中の１つ以上はＲＧＢまたはマルチスペクトルである。センサー６０２は異なるスペクトルバンドの光を捕獲する異なる層を有することができ、そうすることにより本質的に全てのピクセルの位置で全ての選択されたバンド内の光を捕獲する。このように、実施形態において、再集束レンズ１０４またはアパーチャ１１２は、カラーまたはスペクトルバンドパスフィルターなどの一式のフィルター１１６を備えてもよく、当該フィルターのそれぞれは特定の色または周波数の外側の光をフィルターにかけ、そうして物体１２０の異なるカラー画像は対応するアパーチャ１１２を通ってセンサー６０２に送られ、１つのセンサー６０２を３つの個別のセンサーと同等物として効果的にレンダリングする。その他の実施形態において、センサーの様々な領域を異なる光束に割り当てることができる。このように、かかる実施形態において映像処理システム（vision processing system）は、図１に関連して記載したような画像トリプレットの処理と同様の方法で、１つのセンサー６０２からのデータを処理することが可能である。したがって、一態様において、三次元イメージングシステムは、１つ以上のアパーチャに複数のアパーチャ構成要素およびバンドパスフィルター１１６を有することができる。

本明細書において、１つの第一次光学装置１０２、複数のアパーチャ要素１０８、および１つのセンサーを有する三次元撮像の方法およびシステムが提供されることもまた理解されるべきである。実施形態は、光線を異なるアパーチャを通って同じセンサーの異なる区域、例えば、センサーの特定のピクセル、に導く方法およびシステムを含む。実施形態は、異なるアパーチャ上のフィルターを提供すること、および別々にフィルターされたアパーチャからの異なる波長を検出する１つのセンサーを使用することを含む。

図７は、図１に関連して描かれた一対のミラーと同様の機能を果たすプリズム７０２が分割装置１１８としての機能を果たすことを以外は、図１のイメージングシステム１００と同様のイメージングシステム７００を示している。プリズム７０２は、第一次光学装置１０２からの異なる光束を異なるセンサー１１４ａ、１１４ｂおよび１１４ｃへと反射し、前記光束は、図１に関連して記載したのと同様の共役位置にある再収束装置１１０およびアパーチャ要素１０８によってすでに隔てられている。もしも構成要素１１０および１０８が共役位置にある（例えば、アパーチャ要素１０８が入射瞳平面にある）場合、それらは、再収束装置１１０が回転するときにそれに応じてアパーチャ要素１０８が回転するように同期し得る。さらに、再集束レンズ１０４は複数の小型レンズを有していてもよく（例えば、１つは中心に、および、例えば、１６個は軸外に）、その場合、瞳位置の回転アパーチャ要素１０８（１０２ａ、１０２ｅ、および１０２ｆと１１８／７０２との間のどこか）はどの小型レンズが実際に光を通すかを選択することができる。別の光学的実施形態において、再収束装置１１０は回転する放射状スリットと置き換えられてもよく、アパーチャ要素１０８は瞳の位置（例えば、１０２ａ、１０２ｅ、および１０２ｆと１１８／７０２との間のどこか）の環状マスクと置き換えられてもよい。これら２つの交点は、アパーチャの形状および位置を確定することが可能である。より一般的に、プリズム７０２および図１の一対のミラーは２つの可能な実施形態を示している一方で、本明細書に記載の任意のその他の種類の光学装置が、画像の瞳の異なる部分をそれぞれのセンサーに供給するように構成されてもよく、すべてのかかる実施形態が本明細書に包含されることが理解されるべきである。一例として、プリズム７０２は、中央の光束用に中央のチャネルを開いたままとする、２つのミラーまたはプリスムと置き換えられてもよい。

図８は、２つのセンサー１１４ａおよび１１４ｃを有するイメージングシステム８００を示しており、この場合、アパーチャ要素１０８に位置する一対のアパーチャ１１２からの光束を同様に受け取る一対のミラー１１８からの光束を受け取る。２つのセンサーを有する様々なその他の実施形態が可能であり、当該実施形態は本明細書に包含される。

図９Ａ〜９Ｂは一対の再集束レンズ１０４を有する再収束装置１１０、並びに対応する一対のアパーチャ１１２を有するアパーチャ要素１０８を示しており、図８のイメージングシステム８００などの２つのセンサーを有する実施形態に好適である。

図１０は図１のイメージングシステム１００と同様のイメージングシステム１０００を示しているが、図１０に描かれている実施形態では、再集束レンズ１０４を有する回転アパーチャ要素１０８および再収束装置１１０は１つの装置として一体化され、物体１２０と第一次光学装置１０２との間の入射瞳１０２ａにまたはその近接近に配置されている。この場合一次レンズ１０２ｂのみを示しており（しかしながら、様々なリレー・レンズ等を有することができる）、したがって光束は第一次光学装置１０２に入る前にサンプリングされる。このように、第一次光学装置１０２、回転アパーチャ要素１０８および再収束装置１１０の様々な構成が、本明細書に包含されることを意図していることを理解すべきである。

図１１は、図１のイメージングシステム１００および図１０のイメージングシステム１０００と同様のイメージングシステム１１００を示しているが、図１１に描かれている実施形態では、回転アパーチャ要素１０８および再収束装置１１０は第一次光学装置１０２内のリレー・レンズ１０２ｂの反対側に配置されているので、光束はレンズ１０２ｆに入る前に再収束され、次に、一次光学装置を出た後に回転アパーチャ要素１０８の異なるアパーチャによってサンプリングされる。再度、第一次光学装置１０２、回転アパーチャ要素１０８および再収束装置１１０の様々な構成が、本明細書に包含されることを意図していることを理解すべきである。

図１２は、第一次光学装置１０２が、物体１２０からの光を再収束装置１１０へと反射する、言い換えると回転アパーチャ要素１０８のアパーチャ１１２を通って反射するように構成されているミラー一式を有し得るミラーシステム１２０２を含んでいること以外は、図１のイメージングシステム１００と同様のイメージングシステム１２００を示している。様々な代替的実施形態が第一次光学装置１０２向けに想定され得、本明細書において意図される任意の種類の光学装置、あるいは構成要素またはそれらの組み合わせを包含している。より一般的に、アパーチャ要素１０８等に入る前に光を反射するまたは方向を変えるミラーシステム１２０２として描かれているが、１つ以上のミラーを、例えば、図１に図示されている光学ユニット内の多くの場所に定置することが可能であり、かかる変形の全てをこの開示の範囲に含むことを意図していることは理解されよう。例えば、上記のさまざまな屈折またはフィルター光学素子は、本明細書に記載のシステム内のミラーによって置き換えられ得るまたは補充され得る。

図１３は、第一次光学装置１０２がブロック図の形式で示されている電子光学装置１３０２を含むことができ、電子光学装置１３０２が、物体１２０からの光を再収束装置１１０に供給する、言い換えると回転アパーチャ要素１０８のアパーチャ１１２を通って供給すること以外は、図１のイメージングシステム１００と同様のイメージングシステム１３００を示している。実施形態において、電子光学装置１３０２は再収束装置１１０および／またはアパーチャ要素１０８をさらに包含してもよいまたはそれらの代りをすることができる。様々な代替的実施形態が電子光学装置１３０２向けに想定され得、本明細書において意図される任意の種類の電子光学装置、例えば、フリップミラー、デジタル光プロセッサ、液晶系構成要素等を包含している。実施形態において、電子光学装置はシステム１３００の入射瞳１０２ａに位置してもよい。より一般的に、様々な電子光学装置または電気機械光学素子を、例えば、図１に描かれている光学ユニット内のさまざまな場所で使用することができ、かかる実施形態の全てはこの開示の範囲に含まれることを意図している。

図１４は、図１のイメージングシステム１００と同様なイメージングシステム１４００を示しており、この場合、イメージングシステム１４００の瞳サンプリングシステムによってサンプリングされる光束からの画像データを受け取るおよび処理するためのセンサー１１４ａ、１１４ｂおよび１１４ｃに関連する画像処理装置１４０２を示しており、当該装置は、光束を分割装置１１８に供給する回転アパーチャ要素１０８および再収束装置１１０、図１に関連して描かれているのと同様のミラー一式を含む。この場合、画像処理装置は、画像処理装置１４０２の制御下の回転アパーチャ要素１０８および回転再収束装置１１０のフィードバック制御、例えば、本明細書に記載の技術および参照することにより本明細書に組み込まれる文献に記載の技術を含む様々な処理技術を達成するために、画像のサンプリングを制御するためなどのフィードバック制御を提供するフィードバック装置１４０４を含んでいる。

本明細書に記載の三次元イメージングシステムは、一次光学レンズまたはレンズ一式のような一つの第一次光学装置１０２からの光線の個別の束を、別々に処理するための装置を含み得る。装置は、再収束装置１１０、移動アパーチャ１０８、分割装置１１８、上記の組み合わせ、あるいは個別の束または画像データの部分を同様に処理する代替的光学配置を含み得る。

一次光路内の移動（例えば、回転）アパーチャ要素１０８は、スリットのような非標準的なアパーチャを有する軸外のアパーチャまたは軸上のアパーチャを有していてもよい。アパーチャ要素１０８は同様に、または代わりに、複数の移動もしくは回転プレートを有してもよい。加えて、１つ以上の移動型構成要素のそれぞれの中のアパーチャ１１２は様々な形状を有していてもよい。例えば、回転ディスクには、中央を通過するまたは中央の近傍を通る細長いスリットを有するアパーチャのそれぞれを一緒に制御して、光路内の任意のプログラム可能な場所にアパーチャを提供することが可能である。

特定の好ましい実施形態では、本明細書において提供されるのは、一次光路内の回転する複数のアパーチャプレート１０８を用いた三次元撮像の方法およびシステムであり、フィードバック装置１５０４を介して回転プレート１０８のフィードバック制御をする。

本明細書で提供されるのは、一次光路の瞳の位置の移動（例えば、回転）する複数のアパーチャ要素１０８を用いた三次元撮像の方法およびシステムである。実施形態において、移動するアパーチャ構成要素は、一次レンズなどの第一次光学装置１０２の後ろ、前、内部のいずれかに配置され得る。実施形態はリレー・レンズ１４０２を含み得る。その他の実施形態は、一次光学装置の前側の中継光学装置（intermediate optical facilities）、または再集束レンズ１１０を含み得る。

特定の好ましい実施形態は、イメージングシステムの光路内の光線の一次束の一部を遮蔽するために、１つ以上の遮蔽素子（例えば、回転シャッタ）を含み得ることが理解されるべきである。

実施形態において、本明細書に記載の方法およびシステムは、収差を補正するためなど、他の目的のために使用することが可能である。したがって、方法およびシステムは、画像データの収差を補正するための３つ（またはそれ以上）のセンサーシステムを含む。

本明細書に記載のさまざまな実施形態において三次元撮像の方法およびシステムが提供され、個別の光束がサンプリングされるが、一次光束のサンプリングされた部分は、サンプリングの後に少なくとも１つの光学素子を共有することに留意されたい。さらに、本明細書の特定の実施形態において、三次元撮像の方法およびシステムが提供され、イメージングシステムの一つの瞳で瞳がサンプリングし、もう一つの瞳で関連する瞳が分割することに留意すべきである。

本明細書で提供されるのは、瞳サンプリングまたは瞳分割を用いて、３つの独立した透視図を１つのレンズを介して記録する、３つの画像センサーを使用する方法およびシステムであることを留意されたい。実施形態において、３つのセンサーおよび１つのレンズが使用される。中心位置の周囲の三角パターン（ただし、その他様々なパターンを有していてもよい）に配置された３つのセンサーを有する典型的なトリプレットイメージングシステムと異なり、特定の好ましい実施形態において、本明細書に開示されている方法およびシステムは、２つのその他のセンサーの間に第３のセンサーを配置してもよい。これにより、第３のセンサーが、センサー（複数）によって記録された位置の理想的には平均である、物体特徴の位置（物体特徴 positions）を、左側および右側に記録することが可能となる。この第３のセンサーは、残りの物体画像が参照することの可能な物体の位置を記録する。物体の奥行と無関係の参照を提供する。このことが、移動している物体および／またはカメラに合わせて得た画像データの記録を大きく簡略化する。

実施形態において、センサーからの画像は、第３の撮像センサーの位置を利用した独自の画像レジストレーションを使用して処理される。第３のセンサーで撮像した物体特徴の変位は、理想的には、左および右のセンサーで記録した特徴の位置の平均であるので、第３（中央）のセンサーと左のセンサーとの間の画像レジストレーションは、中央のセンサーと右のセンサーとの間の撮像した特徴変位と距離は等しいが方向は反対の特徴変位を示す。２つのセンサー間のレジストレーションの変位方向のサインを変えることにより、異なるセンサーからのデータのレジストレーションを組み合わせることによって画像視差のより正確な測度を見出すことが可能である。さらに、より正確であり得る時空間処理方法を使用する能力を有している。

このように、本明細書に開示の様々な実施形態は、移動物体の三次元撮像用の単眼カメラによって同じスペクトルバンド内の複数画像を瞬間的に捕獲するために、一次光学システムの瞳を、１つを軸上のおよび複数を軸外のアパーチャに分割することによる、組み合わさされた瞳サンプリング方法およびシステムを含む。したがって、実施形態は、静止場面を撮像するためなどの単一移動／非移動アパーチャ要素による瞳サンプリングを含む。静止ミラーまたはプリズム一式により瞳分割された移動アパーチャマスク（例えば、３つの共線的アパーチャ）によりなされる瞳サンプリングを組み合わせることにより、異なるセンサー上の異なるアパーチャ位置で、同一スペクトルバンド内の複数の画像を瞬間的に捕獲することが可能となる。この条件下で、瞳サンプリング後に、個々の光線は同一光学素子を共用する。これにより、静止分割装置（例えば、ミラー、プリズム等）を有する自由に移動するサンプリングアパーチャ１１２および関連する素子の実施が可能となる。中央の１つのアパーチャおよび軸外位置の１以上のアパーチャは、移動物体の三次元画像を捕獲するために使用される。異なるアパーチャを通過する光線は、瞳サンプリング前後の光学を共有し、サンプリング前に異なる光路を有している。

したがって、本明細書に開示の様々な方法およびシステムは、瞳分割を有する移動アパーチャの使用を可能にする。様々な実施形態において、単レンズの光路は３つの領域に分割され得、別々のセンサーに送られ得る。３つのアパーチャ部を有する移動アパーチャプレートは、撮像に使用されるレンズの部分を制御するのに使用され得る。マスクを回転することにより、センサーそれぞれによって見られる透視図が変化する。この構成の利点は、オフセット回転アパーチャを用いる利点に加え、三次元情報を取得するために３つのセンサーからの画像を使用することができることである。したがって、物体の三次元形状を解像するのに、時間内に取られた複数の画像を必要としない。これにより、移動物体を撮像するのに波面撮像を用いた場合の三次元処理が非常に簡略化される。

その他の実施形態において、本明細書に開示された方法およびシステムはまた、軸上の画像が参照する軸外の光波面およびデフォーカス・ボケサンプリングをサポートする方法およびシステムを含む。実施形態において、イメージングシステムは、画像のデフォーカスボケ幅を定量的に測定することにより、三次元表面の画像用撮像データを捕獲するのを助ける。特に、１以上の軸外アパーチャ（例えば、図３に関連して開示した軸外アパーチャ）を有する瞳サンプリングによって、画像のデフォーカス（Ｄ）の量に関連するデータのみならず、ボケスポット（blur spot）（ｘ_o，ｙ_o）の中央に対するデータを回収することが可能である。「ボケスポット」は、レンズの軸線からオフセットしたアパーチャがレンズの軸線の周りを回転するときに、撮像された物体特徴が作る円の寸法を言う。上記の瞳サンプリングは、あらゆる計測点ごとに回収する未知数を提供する：ｘ_o（ｉ）、ｙ_o（ｉ）、Ｄ（ｉ）。しかしながら、イメージングシステム１００の光軸を軸とするアパーチャ１１２を活用して軸上の画像を捕獲することにより、問題は１つのみの未知数（デフォーカス、Ｄ（ｉ）の量に減少し得る。（参照としての）この中央の画像はまた、複数の軸外のアパーチャ位置で捕獲した画像からの情報を融合させることを容易にする。さらに、この中央の画像は、奥行を物体特徴の画像位置へとコード化しないので、カメラパスの回収、および異なるカメラ位置で測定した表面の画像を合わせてまとめるまたはレジスタすることをさらに可能とする。このように、ステレオイメージングシステムの中央撮像センサーは参照画像を提供する。この概念は、本明細書で開示された、回転アパーチャシステムを含むイメージングシステム１００およびその他のイメージングシステムに関連してすでに開示したが、中央画像を参照画像として使用すること、および光波面およびボケサンプリング用の軸外画像をこの画像に関して使用することが、トリプレット撮像または波面システムにおいてなど任意のマルチセンサイメージングシステムにおいて使用可能であることが理解されるべきである。

図１５を参照すると、撮像スキャナ（imaging wand）などの、イメージングシステムの瞳を物体の狭域に対して配向させる技術が提供されている。イメージングシステムの実施形態において、イメージングシステム１００または他のイメージングシステムなどのイメージングシステムの瞳サンプリングアパーチャの相対配向は、隣接部面を捕獲するときの閉塞を最小限にするために調節されてもよい。特に、アパーチャは軸外に配置されて隣接部面の線の配向と揃えられ得る。例えば、歯科用撮像スキャナなどを用いて歯の間の空隙を撮像する場合、３つのカメラ全部が空隙領域の中まで観察することができるように、センサーは空隙と平行に整列され得る。カメラが空隙と垂直に配置される場合、センサーの１つだけが空隙の中を見るように配置され得る。その他のセンサーは斜めから空隙を観察することになり、従って空隙の片側または反対側のみを見ることになる。このように、狭域の中（例えば、隣接空隙１５０２）を見るために、および閉塞なく複数（例えば、３つ）の画像を捕獲するために、３つのアパーチャの位置決めは、スキャナ（wand）の物体に対する最も可能な相対配向に整列させる。別の態様では、光束がイメージングシステム１００に入るときに、当該光束を動的にまたは制御可能に再整列するために、追加的なミラーまたはその他の光学装置を備えてもよい。

図１６を参照すると、その他の実施形態において、本明細書で提供される方法およびシステムは、相関視差（相関視差）に基づく画像トリプレット処理を可能にする。特に、既知の（例えば、エピポーラ線によって与えられる）視差方向をうまく利用することにより、および画像特徴が構造に対して移動するときに相関平面のパターンをどのように保存するかを基礎として、ロバストな、高空間分解能、および正確な画像トリプレット処理を実行することが可能である。例えば、図１６を参照すると、３つのカメラ１６０２、１６０４および１６０８（例えば、赤、緑および青（ＲＧＢ）画像を甘受するカメラ、またはその他のセンサー）からの画像が共線的に整列されると、視差検出（例えば、相関による）が、Ｒ対Ｇにおいて、および１８０度回転したＲ対Ｂ相関場で実施され得る。このように、Ｒ対Ｇおよび回転したＲ対Ｂの真の相関ピークは互いに高めあい、中心（Ｒ）チャネルで使用される呼びかけ信号（interrogation）（検索領域）の寸法をより小さくすることが可能である。これにより、ロバスト性および／または空間分解能が向上し得る。信号のピークの識別後に相関ピーク対称性を強化し、および「逆（backward）」相関（Ｒ対ＧおよびＧ対Ｒ等）を行うことにより、精度もまた向上し得る。このように、図１の実施形態のような実施形態において、中央の画像を左または右の画像のいずれかでレジスタすることは、対向するセンサーでレジスタされた同じ物体特徴の変位が、センサーの配置に並行であるが反対方向である線に沿って等距離であるという事実をうまく利用している。中央のセンサーに対する画像レジストレーションの１つのサインを逆にすることにより、中央のセンサーの対向するセンサーに対するレジストレーションと組み合わせることができる。これにより、画像トリプレットの処理に改善された精度およびロバスト性を提供する。

実施形態において、３つのセンサーからの画像は、３つ目の撮像センサーの位置をうまく利用する独自の相関技術を用いて処理される。３つ目の撮像センサーによって撮像された物体特徴の変位は右および左のセンサーによって記録された特徴の位置の平均であるので、３つ目の（中央）センサーと左のセンサーとの間の画像レジストレーションは、中央のセンサーと右のセンサーとの間の撮像された特徴変位の画像レジストレーションと距離は等しいが方向は逆である特徴変位を示す。２つのセンサー間のレジストレーションの変位方向のサインを変えることにより、中央のセンサーと右のセンサーおよび反対側のセンサー（右または左のセンサー）との間のレジストレーションを組み合わせることによって画像視差のより正確な測度を見出すことが可能である。

実施形態において、本明細書において開示した方法およびシステムは、複数の視野を有する撮像を像面のデフォーカス（ボケ）の量の予測と組み合わせることができる。光学収差の、奥行きに関連する画像の動きの捕獲への汚染効果（contaminating effect）を回避するため、本システムは、通常の作動距離では、物体が一次光学システム１０２の焦点／基準面の間に定置されるように設計されてもよい。これにより、軸上および軸外のアパーチャを介して捕獲された画像にボケ効果または低域フィルターの効果をもたらし得る。これを補うため、および通常の作動距離での光学解像度を増加させるため、一式の再収束小型レンズをアパーチャに使用して、主な光線の光路を変えずに光束を焦点へと戻すことができる。さらに、これらレンズは、一部のアパーチャ位置が特殊な光学的特徴を補うまたは補正することもでき、各アパーチャの光学（例えば、変調伝達関数）の解像力を向上させる。しかしながら、たとえ基準距離で現在画像の焦点が合っているとしても、狭い焦点深度が依然として問題である。この問題は、中間光学素子などの別の特殊な光学素子（焦点深度を増加させる回折光学素子）、または波面符号化素子をアパーチャに適用することにより対処され得る。これらを使用するには、深度または焦点に関連するデータを複合し、およびこれらの素子なしで取得した場合より大きな焦点深度を有する画像を作成するための、画像への特殊な処理工程が必要である。

本発明を特定の好ましい実施形態に関して説明してきたが、その他の実施形態を当業者は理解可能であり、それらは本明細書に包含される。

本発明および本発明の特定の実施形態の詳細な説明は、以下の図を参照することによって理解してよい。

移動するアパーチャ構成要素、再集束レンズ一式、および瞳分割装置を有するイメージングシステムの実施形態を示す。 再収束装置の実施形態を示す。 回転アパーチャ要素の実施形態を示す。 ２つのセンサーを有するイメージングシステムの実施形態を示す。 再収束装置および再集束レンズを有する移動式のアパーチャ、並びに三角形の配置のアパーチャの実施形態を示す。 再収束装置および再集束レンズを有する移動式のアパーチャ、並びに三角形の配置のアパーチャの実施形態を示す。 再収束装置および再集束レンズを有する移動式のアパーチャ、並びに三角形の配置のアパーチャの実施形態を示す。 再収束装置および再集束レンズを有する移動式のアパーチャ、並びに三角形の配置のアパーチャの実施形態を示す。 イメージングシステムの単一センサーの実施形態を示す。 瞳分割装置としてのプリズムを有する実施形態を示す。 ２つのサイドチャネル・センサーを有するイメージングシステムの実施形態を示す。 一対の再集束レンズおよび一対のアパーチャを有する再収束装置および移動アパーチャの実施形態を示す。 一対の再集束レンズおよび一対のアパーチャを有する再収束装置および移動アパーチャの実施形態を示す。 一次光学レンズの前に配置された再収束装置および移動アパーチャ要素の実施形態を示す。 一次光学レンズの前に再収束装置を有しおよび一次光学レンズの後ろに移動するアパーチャ構成要素を有するイメージングシステムの実施形態を示す。 一次光学装置としての役割をするミラー一式を有するイメージングシステムの実施形態を示す。 電子光学構成要素を有するイメージングシステムの実施形態を示す。 関連する画像処理装置を有し、およびイメージングシステムの構成要素にフィードバック制御を提供するためのフィードバック装置を含むイメージングシステムを示す。 イメージングシステムを有する狭域を検査する技術を示す。 画像トリプレット処理技術のカメラで撮影された画像一式を示す概略図。

Claims (7)

1. １つの一次光学レンズと中心軸を有する光路とを有する一次光学装置、
   複数の光チャネルを提供するために前記光路の一部を選択的に通すための複数のアパーチャを有するアパーチャ要素であって、前記複数のアパーチャの１つは前記１つの一次光学レンズと光学センサーとの間の前記中心軸上に配置されるアパーチャ要素、
   それぞれが複数のアパーチャの１つの前記光路内の共役位置にある複数の再集束レンズを有する再収束装置、および、
   前記中心軸上に位置し前記複数の光チャネルの中心の光チャネルを通過させるホールを有する少なくとも一つのプリズムを有し、前記複数の光チャネルの１つ以上を光学センサーへ向けるサンプリング装置、を含むカメラ。
2. 前記光学センサーが、複数の前記各光チャネルのためのセンサーを有する、請求項１に記載のカメラ。
3. 前記アパーチャ要素が３つのアパーチャを有する、請求項１に記載のカメラ。
4. １つの一次光学レンズと中心軸を有する光路とを有する一次光学装置、
   複数の光チャネルを提供するために前記光路の一部を選択的に通すための複数のアパーチャを有するアパーチャ要素であって、前記複数のアパーチャの１つは前記１つの一次光学レンズと光学センサーとの間の前記中心軸上に配置されるアパーチャ要素、
   それぞれが複数のアパーチャの１つの前記光路内の共役位置にある複数の再集束レンズを有する再収束装置、および、
   少なくとも一つのミラーを有し、前記複数の光チャネルの１つ以上を光学センサーへ向けるサンプリング装置、を含むカメラ。
5. 前記少なくとも一つのミラーが、前記複数の光チャネルの、中心の光チャネルを通す空間によって隔てられた２つのミラーを有する、請求項４に記載のカメラ。
6. 前記アパーチャ要素が３つのアパーチャを有する、請求項４に記載のカメラ。
7. 前記光学センサーが、複数の前記各光チャネルのためのセンサーを有する、請求項４に記載のカメラ。