JP5167279B2 - 定量的な三次元撮像のための方法および装置 - Google Patents

Description

本発明は、定量的な可視化システムに関し、より具体的には、表面撮像および三次元撮像により被写体から追加的な情報を得るためのシステムに関する。

本願は非仮特許出願であり、米国特許仮出願第６０／８８１，７７６号（２００７年１月２２日出願、発明の名称「デフォーカス技術に基づく単一レンズ三次元撮像装置」）、米国特許仮出願第６０／８８１，７７９号（２００７年１月２２日出願、発明の名称「デフォーカス技術に基づく携帯用三次元マッピング装置」、および、米国特許仮出願第６０／８８１，７６２号（２００７年１月２２日出願、発明の名称「カメラベースの定量三次元撮像システムにおける必要な視点の数を低減する方法」）による優先権主張をする。

三次元（３Ｄ）撮像は、撮像技術改良の恩恵を受けうる常に進化し続けている分野である。強化された三次元撮像は、例えば、（定量的三次元撮像により）撮像された被写体の定量的な情報を生成するなど、多様な目的に使用可能である。しかし、現在の撮像技術は、定量的な三次元撮像を十分支援することはできていない。例えば、撮像系の焦点面上にない点が、撮像系により撮像される時、センサーにより検出された獲得点は、デフォーカスであるといわれる。撮像系が大きな絞り開口を有する場合、この非合焦点は、ぼやけて現れる。したがって、点の画像のぼやけは、点から焦点面への空間距離を定量的に決定するために用いられうると提案されている。また、焦点面の位置を知ることにより、撮像系を用いて定量的な三次元撮像を行うことができると提案されている。点の三次元位置を再構成するためには、ぼやけた円盤の大きさおよび／または強度（Ｚ）と、センサー上の点の位置（Ｘ、Ｙ）とを測定することのみが必要である。

しかしながら、実践的には、このようなシステムを効果的に実現するのは難しい。第１に、ぼやけた画像は、センサー上の多大なスペースを占有するので、重複する画像を分離する洗練されたアルゴリズムが必要である。第２に、（焦点面が光学系に非常に接近していない限り）光学系に入射する光量は、合焦点と非合焦点との間で感知できるほど変わらない。したがって、ぼやけた画像も、合焦画像と同じ量のエネルギーをセンサー上へ投射するが、より大きな面積に広がっている。非合焦画像の強度は、その面積に反比例しており、その結果、ぼやけに基づいて焦点面と点との間の距離を定量的に測定するには、極端に大きい動的範囲を有するセンサーが必要である。実際のレンズでは回折効果もあり、これにより、ぼやけた画像が、ある深度領域では、広いガウス分布というよりはむしろ輪形状に見え、ソフトウェア処理側がより複雑になる。例えば、非特許文献１を参照されたい。レンズ収差または回折がない場合でさえ、深度情報はぼやけたスポットの直径の測定結果より導きだされるので、撮像された点の強度がこの測定結果に影響を与えるという事実により、画像処理は複雑になる。例えば、２つの非合焦点Ａ・Ｂが同じデフォーカス量を有するが、点Ａのほうが点Ｂよりも明るい場合、点Ｂの画像は、その場面において背景照度から同じように浮き上がっていないという理由だけで、通常、点Ａの画像よりも小さな直径を有するものとして測定されるであろう。

元来の「デフォーカス」の概念では、このようなぼやけに基づくシステムにおける深度情報は、画像を形成する光線束の周辺（外側）光により伝えられる。例えば、非特許文献２を参照されたい。撮像系の感度を決定付けるのは、これらの光線がセンサー面となす角度である。したがって、画像を形成するために周辺光のみが通過できるように、撮像系中に小さな絞り開口を軸外に置くことによる等価の測定も可能であるべきである。もし上述のように、ぼやけシステムが、その大きな絞り開口を小さな絞り開口に代えて、大きい絞り開口の周辺部の任意の場所に有する場合、非合焦点の画像は、ぼやけ画像の周辺にあったであろうものの上に位置する小さな点となる。結果として得られるのは、ぼやけたスポットの大きさにより伝えられる深度情報ではなく、はるかにより小さいスポット中にある横方向のオフセットにより伝えられる深度情報である。画像上のスポットの位置の測定における感度は、その大きさを測定するよりも、強度差に対する感度がずっと低い。

小さな絞り開口を用いることにより、ぼやけに基づくシステムに伴う動的範囲の問題は緩和されるが、これは、小さな絞り開口の大きなＦナンバーにより、回折ぼやけ（デフォーカスぼやけではなく）が画像中の主なぼやけの原因になるからである。これは、焦点面からの距離が長い領域では、画像がほぼ同じ大きさになることを意味する。

軸外絞り開口を用いるということは、空間内の点の位置の再現が、ここで、単一の点のセンサー上のすべての画像を見つけ、これらの画像間の距離を測定することを含むということを意味する。画像は、絞り開口構成と同じパターンで現れる。例えば、正三角形の頂点として、３つの小さな絞り開口が用いられる場合、非合焦点の画像は、正三角形中に配された３つの小さなスポットとなる。絞り開口の三角形に対するこれらの画像の三角形の方向により、非合焦点が焦点面の前方（ａｈｅａｄ ｏｆ）ないし前（ｉｎ ｆｒｏｎｔ ｏｆ）にあるか否かがわかる。さらに、画像の三角形の大きさは、非合焦点と焦点面との間の距離に関連する。合焦点の場合は、この三角形の大きさは０になり、これは、全ての３つの画像が互いに重なり合うことにより生じる。三角形は、デフォーカスの量が増加するにつれ、大きくなる。複数の小さな画像は、１つの大きなぼやけた像よりも、センサー上で占有するスペースが小さく、したがって、この構成により重複問題が緩和される。

再現におけるマッチング問題は、新しい問題を引き起こす。撮像される被写体が、特徴のない点の集合である場合、画像は識別不可能となり、その相対的な位置によってのみ（例えば、ある画像上中の正三角形を形成するある許容誤差内の全てのドットを見つけることによって）マッチング可能である。この比較的緩やかなマッチングの基準では、ミスマッチまたは「ゴースト」の数を減らすために、３つ以上の絞り開口を用いることが必要となる。

単一の軸外絞り開口は、深度情報を記録するが、しかし、Ｚは、撮像される点の面内位置から分離することはできない。２つの絞り開口は、深度情報を記録し、かつ、Ｚに依存せずに面内位置を抽出可能となる。実地では、２つの絞り開口のみで、ランダムな点の大群を再現することは不可能であるが、これは、画像がミスマッチされる際には、多くのゴースト粒子が生成されるからである。さらに、２つの画像のみから、ある粒子が焦点面の前または後にあるかを知ることは不可能である。３つの絞り開口により、ミスマッチは低減され、粒子から焦点面への距離の符号が、複数画像により形成された三角形の方向によりわかる。例えば、非特許文献２を参照されたい。

デフォーカス概念の元来の実地での実装は、３つの軸外絞り開口を備えた単一のレンズからなり、これらの３つの軸外絞り開口が１つの白黒センサー上に撮像することよりなる。（すなわち、３つは、許容可能な結果を生じさせるための絞り開口の最低限の数であると考えられた。）デフォーカス測定は、実際には、焦点面に対して相対的な点の位置の測定であるので、所望の点の絶対的な位置を知るために、装置の位置を知ることが必要である点に留意すべきである。

この３つの軸外絞り開口が、１つの白黒センサー上へ撮像するのにも欠点がある。領域内の点の密度が高いときには、センサーの過密は、まだ問題となる。この場合、各点は、センサー上に３つまでの画像を有し、まだ、動的範囲の問題が存在する。（すなわち、焦点面上の点は、センサー上で合致する３つの画像を有し、したがって、非合焦点よりも３倍明るく見える。）動的範囲の問題は、選択的にこの体積を照射し、焦点面上の点を撮像しないようにすることにより、克服されうる。

特許文献１および特許文献２に記載されているように、過密問題の１つの解決方法は、各絞り開口を別のセンサーを用いて撮像させることである。これにより、マッチング基準が増えるが、これは、この場合画像上の各スポットが、絞り開口構成の頂点のうちの１つのみになりうるからである。各スポットの源（絞り開口）がわかるので、マッチング過程の曖昧さが少し低減する。

さらに、センサーをより追加する（例えば、電荷結合素子（ＣＣＤ））ことにより、１つのセンサーシステムに比較して、製造の複雑さが増すことに加えて、コストが高く、サイズがより大きくなるという欠点がある。複数のセンサーの配置は、その配列、構造安定性に対する課題をもたらす。複数センサーは、温度、振動およびこれ以外の環境影響効果により異なる影響を受け、較正誤差が生じがちである。

上述の理由により、マッチング問題を緩和または解消する定量的な三次元撮像系の必要性が存在する。この撮像系は、簡素性および小型化のために、単一のレンズかつ単一のセンサー構成で実現可能であり、また、所望の場合、複数レンズかつ複数センサー構成へと容易に拡張可能であるべきである。

米国特許第６，９５５，６５６号明細書 米国特許第７，００６，１３２号明細書

ウー・Ｍ（Ｗｕ，Ｍ．）、ロバーツ・Ｊ・Ｗ（Ｒｏｂｅｒｔｓ，Ｊ．Ｗ．）およびバックレー・Ｍ（Ｂｕｃｋｌｅｙ，Ｍ．）著、「単一カメラを用いたミクロン尺度の蛍光粒子の三次元追跡（Ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ ｆｌｕｏｒｅｓｃｅｎｔ ｐａｒｔｉｃｌｅ ｔｒａｃｋｉｎｇ ａｔ ｍｉｃｒｏｎ−ｓｃａｌｅ ｕｓｉｎｇ ａ ｓｉｎｇｌｅ ｃａｍｅｒａ）」、液体における実験（Ｅｘｐｅｒｉｍｅｎｔｓ ｉｎ Ｆｌｕｉｄｓ）、２００５年、３８巻、４６１−４６５頁 ウィラート・Ｃ・Ｅ（Ｗｉｌｌｅｒｔ，Ｃ．Ｅ．）およびガリブ・Ｍ（Ｇｈａｒｉｂ，Ｍ．）著、「単一カメラを用いた三次元粒子撮像（Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｐａｒｔｉｃｌｅ ｉｍａｇｉｎｇ ｗｉｔｈ ａ ｓｉｎｇｌｅ ｃａｍｅｒａ）」、液体における実験（Ｅｘｐｅｒｉｍｅｎｔｓ ｉｎ Ｆｌｕｉｄｓ）、１９９２年、１２巻、３５３−３５８頁

本発明の目的は、被写体表面の三次元撮像用の単一レンズ装置を１つまたは複数使用するための装置（apparatus）を提供することである。

ある態様では、この装置（apparatus）は、被写体表面の三次元撮像用の単一レンズ装置を１つ有し、この単一レンズ装置は、１つのレンズと、レンズを遮る複数のフィルタリング用絞り開口であって、被写体表面から反射された光が、レンズとフィルタリング用絞り開口とを通過し、フィルターをかけられて表面のフィルターをかけられた情報になるように構成されているフィルタリング用絞り開口と、表面のフィルターをかけられた情報を獲得するために動作可能なセンサーと、表面のフィルターをかけられた情報をセンサーから受け取るためにセンサーと通信可能に接続され、さらに、被写体表面を表現する表面画像を生成するように構成されたプロセッサとを有する。

別の態様では、複数のフィルタリング用絞り開口は、色で符号化された少なくとも２つの絞り開口を有する。

別の態様では、この装置（apparatus）は、さらに、被写体表面上に、パターンを投影するための多波長のアドレス可能なパターンの投影機を有する。

別の態様では、この装置（apparatus）は、さらに、被写体表面上に物理的に置かれる多波長のアドレス可能なパターンを有する。

別の態様では、複数のフィルタリング用絞り開口は、偏光による符号化をされた少なくとも２つの絞り開口を有し、センサーは、偏光され符号化された情報を受け取るように構成されている。

別の態様では、この装置（apparatus）は、さらに、被写体表面上に、パターンを投影するための多波長のアドレス可能なパターンの投影機を有する。

別の態様では、この装置（apparatus）は、さらに、被写体表面上に物理的に置かれる多波長のアドレス可能なパターンを有する。

別の態様では、複数のフィルタリング用絞り開口は、それぞれ形状で符号化された少なくとも２つの絞り開口を有する。

別の態様では、この装置（apparatus）は、さらに、被写体表面上に、パターンを投影するための多波長のアドレス可能なパターンの投影機を有する。

別の態様では、多波長のアドレス可能なパターンは、一連の色、一連の形状および一連の位置からなる群から選択されている。

別の態様では、この装置（apparatus）は、さらに、被写体表面上に物理的に置かれる多波長のアドレス可能なパターンを有する。

別の態様では、複数のフィルタリング用絞り開口は、時間で符号化される少なくとも２つの絞り開口を有する。

別の態様では、この装置（apparatus）は、さらに、被写体表面上に、パターンを投影するための多波長のアドレス可能なパターンの投影機を有する。

別の態様では、多波長のアドレス可能なパターンは、一連の色、一連の形状および一連の位置からなる群から選択されている。

別の態様では、この装置（apparatus）は、さらに、被写体表面上に物理的に置かれる多波長のアドレス可能なパターンを有する。

別の態様では、この装置（apparatus）は、被写体表面の三次元撮像用の単一レンズ装置を有し、この単一レンズ装置は、１つのレンズと、レンズを遮る複数のフィルタリング用絞り開口であって、被写体表面から反射された光が、レンズとフィルタリング用絞り開口とを通過し、フィルターをかけられて表面のフィルターをかけられた情報になるように構成されている複数のフィルタリング用絞り開口と、被写体表面上にアドレス可能なパターン情報を置くためのアドレス可能なパターンと、被写体表面のフィルターをかけられた情報およびアドレス可能なパターン情報を獲得するために動作可能なセンサーと、表面のフィルターをかけられた情報をセンサーから受け取るためにセンサーと通信可能に接続され、さらに、被写体表面を表現する表面画像を生成するように構成されたプロセッサとを有する。

別の態様では、アドレス可能なパターンは、多波長のアドレス可能なパターンの投影機から投影される。

別の態様では、複数のフィルタリング用絞り開口は、センサー上に向かう光に対して選択的にフィルターをかける。

別の態様では、アドレス可能なパターンは、複数個の多波長のフィルターから生成され、深度情報は、多波長の画像から、異なる色画像中のマーカーの距離を算定することにより得られる。

別の態様では、この装置（apparatus）は、被写体表面の三次元撮像用の単一レンズ装置を有し、この単一レンズ装置は、１つのレンズと、第１色フィルタリング用絞り開口および第２色フィルタリング用絞り開口であって、被写体表面から反射された光が、第１色フィルタリング用絞り開口および第２色フィルタリング用絞り開口を通過し、フィルターをかけられて表面のフィルターをかけられた情報になるように構成されている第１色フィルタリング用絞り開口および第２色フィルタリング用絞り開口と、被写体表面上にアドレス可能なパターン情報を置くために、アドレス可能なパターンを投影するように構成されているアドレス可能なパターンの投影機と、被写体表面のフィルターをかけられた情報およびアドレス可能なパターン情報を獲得するために動作可能なセンサーと、表面のフィルターをかけられた情報をセンサーから受け取るためにセンサーと通信可能に接続され、さらに、被写体表面を表現する表面画像を生成するように構成されたプロセッサとを有する。

本発明の目的、特徴および利点は、以下の図面と組み合わせて、本発明の開示される態様の以下の詳細な説明を参照すると明らかであろう。

センサーを含む帯域通過フィルターシステムを示す図である。 図１Ａのセンサーにより受け取られた実点に関する、デフォーカスの複数の色で符号化された画像獲得を示す図である。 図１Ｂ中、枠で示した領域の拡大図であり、赤色ドットと対応する緑色ドットとの形式で、複数の波長でアドレス可能なパターンをマッチングする方法を示す図である。 焦点距離（Ｌ）と、図１Ｃにおけるマッチ粒子および「ゴースト」粒子のＺ距離との関係を示すチャートである。 偏光フィルター撮像系を示す図である。 点を撮像するための絞り開口システムを示す図である。 単一孔のマスクを有する同期した単一絞り開口システムを示す図であり、このマスクが、第１位置Ａにあるところを示す図である。 単一孔のマスクを有する同期した単一絞り開口システムを示す図であり、このマスクが、第２位置Ｂにあるところを示す図である。 複数のＦストップを有する単一絞り開口システムを示す図である。 複数のＦストップを有する単一絞り開口システムのセンサーから獲得した画像を示す図である。 図５Ｂ中、枠で示した領域の拡大図である。 プロセッサにより決定されたマッチングした点のチャートを示す図である。 振動する単一絞り開口システムを示す図である。 電子的にマスクされた撮像系を示す図であり、第１の複数窓の電子絞り開口が開いた状態であるところを示す図である。 電子的にマスクされた撮像系を示す図であり、第２の複数窓の電子絞り開口が開いた状態であるところを示す図である。 対象の被写体表面上に投影するのに適したアドレス可能な雛型パターンを示す図である。 アドレス可能な雛型を用いて撮った目標とする被写体の獲得画像を示す図である。 獲得画像および格子の一部分を示す図である。 図７Ｃの中央サンプルの図を再構成した図である。 非レーザーパターン投影機および撮像系を示す図である。 ２つのオフセットプリズムおよび２つのセンサーを有するシステムを示す図である。 １つの銀メッキオフセットプリズムと２つのセンサーとを有するシステムを示す図である。 ３つのＣＣＤセンサーアセンブリシステムを示す図である。 狭帯域ミラーセンサーアセンブリシステムを示す図である。 レーザーパターン投影機および撮像系を示す図である。 被写体表面の像を作成するための、画像獲得および画像処理の工程を示すフローチャートである。 画像の再構成を支援するために、撮像系にアドレス可能なパターンを組み込むことを示したフローチャートである。

本発明は、安価で正確な三次元撮像方法（例えば、マッピング）という、長年に渡るニーズに応えるものである。本発明の態様は、製造部品の表面および体積検査、実際の製品と元の設計との比較、三次元走査、人体部分の診断（ヘルニア、動脈、美容整形手術前および後など）、表面粗さの評価および表面変形の実時間フィードバックに適用可能である。以下の詳細な説明では、本発明のより完全な理解のために、多くの特定の詳細を挙げる。しかし、本発明は必ずしもこれらの特定の詳細に限定されずに実施可能であることは、当業者には明確である。本発明を不明瞭にしないように、周知の構造や装置を、詳細図ではなくブロック図の形態で示している場合もある。

読者には、本明細書と同時に提出された全ての論文および文献に注意を払われたい。これらの論文および文献は、本明細書と共に公衆が閲覧できるように公開され、これらの全論文および文献の内容は、本願中に参照として組み込まれている。本明細書（添付の請求項、要約および図面を含む）中に開示された全ての特徴は、別途明示的に言明しない限りは、同一の、等価のまたは類似の目的に沿う代替となる特徴に置き換えてもよい。したがって、別途明示的に言明しない限りは、開示された各特徴は、等価または類似の一連の包括的な特徴の１つの例にすぎない。

さらに、ある特定の機能を達成する「ための手段（ｍｅａｎｓ ｆｏｒ）」形式、または、ある特定の機能を達成する「ための工程（ｓｔｅｐ ｆｏｒ）」形式で、明示的に表明されていない請求項のいかなる要素も、米国特許法第１１２条第６項で指定された「手段」または「工程」として解釈されない。特に、本願請求項中の「〜の工程（ｓｔｅｐ ｏｆ）」または「〜の行為（ａｃｔ ｏｆ）」との文言の使用は、米国特許法第１１２条第６項の規定の行使を意図していない。

まず、本発明の導入を行い、全般的な理解を促す。第２に、光の特性およびマスクの形状に基づくデフォーカス方法を、特徴マッピングに関して説明する。第３に、単一絞り開口システムの態様を、特徴マッピングに関して説明する。第４に、パターンマッチングの例を提示する。第５に、本発明による撮像方法を提示する。最後に、画像マッチングの説明を行う。

（１．０）導入

デフォーカスによるぼやけを用いて、ある点とレンズの焦点面との間の距離を測定することができる。ここで提案するのは、元来のデフォーカス概念の欠点を克服するように、単一レンズおよび複数の絞り開口を有する構成に光学技術および照明技術の観点からの特徴を加える点である。以下の態様により、単一のレンズ、単一のセンサーおよび複数の絞り開口を有する装置を用いて、被写体表面を頑健に測定することができる。

複数の絞り開口を有する構成に、光学的な修正を行うことより、物理的にマスクをし、フィルターをかけられた情報をセンサーに伝達して、各絞り開口が、被写体表面を再構成するために、分離可能な画像を再構成することができるようにする。分離可能な画像を生成するために、絞り開口の形状を変える、絞り開口の透過率を符号化する、または、露光中または露光の合間に孔が絞り開口表面に対して移動する単一スリットを有するマスクを提供することでマスクを修正してもよい。各絞り開口マスクは、被写体の所望の特徴の表現に役立つ追加的な情報を提供する。

単一のレンズ、単一のセンサーおよび複数の絞り開口を有する装置は、登録情報を用いて、被写体から追加的な情報を入手するよう強化されてもよい。登録情報は、被写体の識別特徴、被写体表面に投影された情報、または、被写体の上に直接おかれたマーカーから得られてもよい。

一度の露光によって獲得不可能な大きな被写体に関しては、上述の態様は、所望の被写体の表面特徴を再作成するために、複数の露光を共に合わせるのに使用可能な情報を提供してもよい。あるいは、大きな被写体と小さな被写体との両方について複数の画像を走査して、被写体または被写体特徴の高解像度の像を生成することができる。このマッチング概念は、立体視システムにも同様に適用可能である。

ここで、本発明の態様を、以下に、添付の図面を参照してより十分記載し、ここで本発明の好適な実施形態を示す。本発明は、多くの様々な形態で実施可能であり、本願で記載した実施形態に限定されるよう解釈されるべきではない。さらに、添付の図面で示した層やその他の部材の寸法は、詳細をより明確に示すために、誇張されている場合がありうる。本発明は、図面に示されている寸法関係に限定されるように解釈されるべきではなく、図面に示されている個々の部材は、図示された寸法に限定されるよう解釈されるべきではない。

（２．０）光の特性および形状に基づくシステム

照射された被写体からの光がレンズを通過し、マスクされた絞り開口を通過し、このマスクされた絞り開口からの情報を受け取るのに適したセンサー上に渡されると、マスクされた絞り開口は、識別可能な画像を生成する。マスクされた絞り開口は、被写体の符号化されたデフォーカスの情報を、適切なセンサー上に渡す。デフォーカス情報は、焦点面に対する被写体の点の測定尺度を提供する。マスクされた絞り開口からの符号化された情報は、重複画像を分離するため、かつ、センサーにより検出された対応する点をマッチングするために必要な情報を提供する。

マスクされた絞り開口が２つ以上用いられた場合、単数または複数のマスクされた絞り開口から検出された形状の波長に対しての強度（明度）の特性および／または形態が、センサー上で容易に識別可能なように、理想的には各マスクは互いに異なっている。様々なフィルタリング用絞り開口を用いて、光にその特性に応じて選択的にフィルターをかけて、光センサー上へ渡し、各絞り開口からの画像が識別可能であるようしうる。さらに、２つ以上の絞り開口の形状が識別可能な場合、センサーによって検出される各絞り開口の画像もまた識別可能である。したがって、適切な絞り開口マスクとフィルターとの非限定的な例としては、波長帯域通過フィルター、光偏光フィルターおよび異なる形状を有するマスクが含まれる。

（２．１）色による符号化フィルター

図１Ａを参照すると、帯域通過フィルターシステム１００が示されている。この帯域通過フィルター１００は、レンズ１０２、赤色絞り開口１０６と緑色絞り開口１０８とを有するマスク１０４、および、センサー１１０を有する。ここでは、赤色絞り開口１０６と緑色絞り開口１０８としてそれぞれ示されているが、適切なセンサー１１０と組み合わせて、任意の数および任意の組み合わせの色フィルタリング用絞り開口を用いてもよい。したがって、絞り開口は、ここでは特定的に赤色絞り開口１０６および緑色絞り開口１０８として言及されているが、それに限定されることは意図せず、代わりに第１絞り開口、第２絞り開口などと言及可能である。

この帯域通過フィルターシステム１００は、照射された被写体１１２が焦点面１１４の前におかれると、この照射された被写体１１２の像を生成する。散光１１６は、照射された被写体１１２の表面から反射され、レンズ１０２を通過する。レンズ１０２を通過すると、この散光１１６は、赤色絞り開口１０６または緑色絞り開口１０８のいずれかを選択的に通過するか、反射されるか、または、マスク１０４により吸収される。赤色絞り開口１０６を透過した赤色光１１８および緑色絞り開口１０８を透過した緑色光１２０は、画像焦点１２２より前に位置づけられたセンサー１１０上に記録される。

図１Ｂを参照すると、複数の実点について複数の色で符号化されたデフォーカス画像獲得１２４が、図１Ａのセンサー１１０により受け取られたところが図示されている。各々の色で符号化された獲得１２４は、各絞り開口１０６・１０８により作られた複数波長のアドレス可能なパターンに対応している。図１Ｂに示すように、被写体上の各実点は、複数波長のアドレス可能なパターンである赤色ドット１２６と緑色ドット１２８とで表現される。当業者には理解されうるように、赤色ドット１２６と緑色ドット１２８とは、それぞれ赤色絞り開口と緑色絞り開口との結果である。しかしながら、ドットの色は絞り開口の色とその組み合わせとにより変更しうるので、本発明は、この態様に限定されることはない。対応する赤色ドット１２６と緑色ドット１２８は、対応線１３０により互いに連結されて図示されている。対応線１３０は見えないが、しかし、これは、色で符号化された画像獲得１２４における点のマッチングの困難さを強調するのに役立つ図示ツールである。対応線１３０により連結されているドットのみが、実際に互いに対応している。このマスク１０４がなければ、対応する点を連結するのに十分な情報はないであろう。

図１Ｃを参照すると、この図は、図１Ｂ中枠で示した領域１３２の拡大図であり、対応する赤色ドット１２６と緑色ドット１２８との間のマッチング方法を示した図である。複数色で符号化された画像獲得１２４が行われると、プロセッサは、この画像内で色で符号化された全ドットに関する検索を始める。あるいは、検索を生データから行ってもよい。（すなわち、画像１２４を生成する必要はない。）これに代えて、センサー１１０がプロセッサと接続され、プロセッサがセンサー情報を直接受け取る。いずれの場合にしても、全てのドットが検出されると、焦点面１１４に対する照射された点１１２の相対的な位置を想定して、マッチング過程が開始する。焦点面１１４に対する照射された点１１２の相対的な位置は、先験的に知られているか、ユーザーにより入力されるか、ソフトウェアにより決定されるか、あるいは、センサーにより決定されてもよい。ここでは、被写体の照射された点１１２は、焦点面１１４の前にあることが前提とされる。したがって、マッチングは、例えば以下のような指示コマンドで開始する。「２つの絞り開口を結ぶ線に対応する線の上に（ある許容誤差内で）存在する赤色ドット１２６・１４２・１４４・１４６の右側にある任意の緑色ドット１２８・１３６・１３８・１４０はマッチングである。」第１の赤色ドット１２６が検出され、続いて、上記指示コマンドにより、赤色ドット１２６の許容誤差１３４内の第１の緑色ドット１２８がマッチングする。赤色ドット１２６の許容誤差１３４内で、補足的な検索が緑色ドット１３６・１３８・１４０に対して行われ、合計３つの「ゴースト」マッチ（それぞれ緑色ドット１３６・１３８・１４０）が生成される。

図１Ｄを参照すると、この図は、焦点距離（Ｌ）と、図１Ｃ中のマッチ粒子および「ゴースト」粒子のＺ距離との関係を示す。赤色ドット１２６と、全ての緑色ドット１２８・１４２・１４４・１４６とのマッチングの結果として、１つのマッチ１４８と、３つのゴースト１５０・１５２・１５４が得られる。赤色ドット１２６と緑色ドット１２８との間のマッチは、第１のマッチング点１４８のＺ対Ｌの関係を演算するのに用いられる。赤色ドット１２６と緑色ドット１３６・１３８・１４０との間のミスマッチは、それぞれ第１の３つのゴースト１５０・１５２・１５４をもたらす。

第２の赤色ドット１４２に関しては、１つのマッチ１５６と、２つのゴースト１５８・１６０が生成される。第２の赤色ドット１４２と対応する緑色ドット１３６との間のマッチは、第２のマッチング点１５６のＺ対Ｌの関係を演算するのに用いられる。赤色ドット１４２と緑色ドット１３８・１４０との間のミスマッチは、それぞれ２つのゴースト１５８・１６０で表現される。

第３の赤色ドット１４４に関しては、１つのマッチ１６２と、２つのゴースト１５８・１６０が生成される。第３の赤色ドット１４４と対応する緑色ドット１３８との間のマッチは、第３のマッチング点１６２のＺ対Ｌの関係を演算するのに用いられる。赤色ドット１４４と緑色ドット１４０との間の１つのミスマッチは、ゴースト１６４で表現される。

最後に、第４の赤色ドット１４６に関しては、１つのマッチ１６２が生成されるが、ゴーストは生成されない。第４の赤色ドット１４６と対応する緑色ドット１４０との間のマッチは、第４のかつ最後のマッチング点１６６のＺ対Ｌの関係を演算するのに用いられる。赤色ドット１４６の右には、マッチングする緑色ドット１４０以外の緑色のドットはないので、図１Ｃの枠で示した領域１３２に関しては、これ以上のミスマッチは存在しない。

図１Ｃ中のマッチ粒子と「ゴースト」粒子との間の、焦点距離（Ｌ）対Ｚ距離の関係の決定においては、異なる符号化がされた点、例えば図１Ｂに示したような点１２６・１２８があることにより大いに強化される。絞り開口マスク１０４により色情報が提供されないような分離不可能な場合は、より多くのゴーストが存在するが、これは、色などの差別化要因がない場合、図１Ａの各「赤色ドット」は、他の任意の「赤色ドット」ともマッチング可能となり、より多くのゴーストが生成されるからである。さらに、任意の与えられたドットが、それ自体、実際には、他のドットの上にある２つのドットではないとの想定ができず、焦点面上により多くのゴーストが追加される。

（２．２）偏光フィルター

符号化情報は、任意の数の方法でセンサーに提供されうる。非限定的な例として、図２は、偏光フィルター撮像系２００を示す。この偏光フィルター撮像系２００は、レンズ２０２、水平方向での偏光を行う絞り開口２０６と垂直方向での偏光を行う絞り開口２０８とを備えたマスク２０４、および、偏光間での識別を行うことができるセンサー２１０を有する。ここでは、水平方向での偏光を行う絞り開口２０６と垂直方向での偏光を行う絞り開口２０８との組み合わせとしてそれぞれ図示したが、少なくともほぼ直交する方向の対であれば、任意の数の任意の組み合わせを使用してもよい。

照射された被写体２１２が焦点面２１４の前におかれると、偏光フィルター撮像系２００は照射された被写体２１２の像を生成する。散光２１６は、照射された被写体１１２の表面から反射され、レンズ２０２を透過する。レンズ２０２を透過すると、この散光２１６は、水平方向での偏光を行う絞り開口２０６と垂直方向での偏光を行う絞り開口２０８のいずれかを選択的に通過するか、あるいは、マスク２０４により反射される。その後水平方向での偏光を行う絞り開口２０６を透過した水平方向に偏光された光２１８と、垂直方向での偏光を行う絞り開口２０８を透過した垂直方向に偏光された光２２０は、焦点面２２２より前に位置づけられているセンサー２１０上に記録される。

水平方向での偏光を行う絞り開口２０６と垂直方向での偏光を行う絞り開口２０８とを異なるように符号化することで、図１Ｂに示したのと同様の識別可能なドットが得られる。しかし、この偏光の態様から得られる符号化情報は、色で符号化されたドットの代わりに、偏光マーカーを提供する。

（帯域通過フィルターシステム１００の場合のように）選択的な光の透過、または、（偏光フィルター撮像系２００の場合のように）光の特性の活用は、センサーが受け取る情報を符号化する効果的な手段である。最終的に、センサーによって検出される符号化情報は、図１Ｃおよび図１Ｄに記載したマッチングのタスクを容易にする。

（２．３）物理的なマスクの形状

図３を参照すると、この図は、ほぼ点光源と考えられるような十分小さい点を撮像するために、異なる形状を有する絞り開口システム３００を示す。異なる形状を有する絞り開口システム３００は、レンズ３０２、円形状の絞り開口３０６と四角形状の絞り開口３０８とを有するマスク３０４、および、センサー３１０を有する。ここでは円形状の絞り開口３０６と四角形状の絞り開口３０８として図示したが、任意の数の任意の組み合わせでの異なる形状のフィルタリング絞り開口を使用してもよい。適切な形状の非限定的な例には、凸多面体、凹多面体、円形、ポリフォームおよびこれらの組み合わせが含まれる。

異なる形状を有する絞り開口システム３００は、露光毎に、照射された被写体３１２の２つの像３１４・３１６を生成する。センサー３１０により検出された各形状３１４・３１６は、各絞り開口３０６・３０８の形状にそれぞれ対応する。散光３２０は、照射された被写体３１２の表面から反射され、レンズ３０２を通過すると、円形状の絞り開口３０６または四角形状の絞り開口３０８のいずれかを通過するか、あるいは、マスク３０４により反射され、センサーの焦点面３１８より後方に反射される。円形状の絞り開口３０６を通過した透過光３２２は、センサー３１０上に円形のパターン３１４を生成する。同様に、四角形状の絞り開口３０８を通過した透過光３２４は、センサー３１０上に四角形のパターン３１６を生成する。複数個の獲得により、多数の円形のパターン３１４と、多数の四角形のパターン３１６が検出され、プロセッサ３２６により、マッチング規則に基づいて、マッチングがなされる。マッチとゴーストとは双方とも、図１Ｄに図示されたようなＺ対Ｌのプロットグラフ上に描かれる。あるいは、ゴースト画像なしでマッチを示したプロットグラフを生成してもよい。

（３．０）単一絞り開口システム

図４Ａおよび図４Ｂを参照すると、同期化された単一絞り開口システム４００は、レンズ４０２、単一孔のマスク４０４、移動絞り開口４０６、センサー４０８、および、センサー４０８と通信するプロセッサ４１０を有し、これが図示されている。さらに、単一孔のマスク４０４は、それぞれ第１位置Ａと第２位置Ｂとで示されている。反射光線４１４を選択的にレンズ４０２、および、単一孔のマスク４０４の長くて狭いスリット絞り開口４０６を通過させることにより、照射された被写体４１２は再構成されうる。単一孔のマスク４０４の絞り開口４０６が露光間に絞り開口面上で動くが、この単一孔のマスク４０４の位置は、プロセッサ４１０により記録される。図４Ａに示すように、移動絞り開口４０６は光４１６を透過させ、センサー４０８により検出される第１の点４１４を生成する。第１露光時の移動絞り開口４０６の第１位置情報は、プロセッサ４１０により記録される。第２露光時には、移動絞り開口４０６が、第２位置Ｂへと移動する。図４Ｂに図示されるように、移動開口４０６は光４１８を透過させ、センサー４０８により検出される第２の点４２０を生成する。第２露光時の移動絞り開口４０６の第２位置情報は、プロセッサ４１０により記録される。第１の点４１４および第１位置情報、ならびに、第２の点４２０および第２位置情報は、その後、第１露光からの第１の点４１４を、第２の点４２０とマッチングさせるために用いられる。あるいは、第１露光と第２露光との間で、反射光４１４の色を変更して、マッチング過程支援用に用いられうるさらなる情報を提供してもよい。

（３．１）単一スリット絞り開口システム

図５Ａを参照すると、複数のＦストップを有する単一絞り開口システム５００が図示されている。この異なる形状を有する絞り開口システム５００は、レンズ５０２、長くて狭いスリット絞り開口５０６を１つ有するマスク５０４、センサー５０８、および、センサー５０８と通信するプロセッサ５１０を有する。ここでは、概略的に楕円形状の絞り開口５０６として示したが、一般的に、その形状に関わらず、幅より長さの方が著しく長い任意の絞り開口を用いてもよい。また、スリット絞り開口５０６は、非対称な形状で作成することもでき、これにより、焦点面の前方と後方とが識別可能となる。

反射光５１４がレンズおよびマスク５０４の長くて狭いスリット絞り開口５０６を選択的に通過できるようにすることにより、照射された被写体５１２が再構成されてもよい。この単一絞り開口システム５００は、標準的な円形の絞り開口の代わりに、長くて狭いスリット絞り開口５０６を用いている点が顕著である。スリット絞り開口５０６が２方向で異なるＦナンバーを有する点が効果的である。スリット絞り開口５０６の長さは長く、小さいＦナンバーをなし、これが、センサー５０８上で、大きく変動する円盤５１６を生成する。逆に、スリット絞り開口５０２の狭い幅は、大きなＦナンバーをなし、これは最低限の変動しか生成せず、点光源の画像は、円盤５１６ではなく、線５１８で表される。この場合の強度は、面積ではなく長さに反比例して変動すると考えられることができ、センサー上で要求される動的範囲は、純粋なぼやけシステムに比較して、大幅に小さくなる。さらに、生成された画像５１６・５１８は、一方向にのみ大きくなり、重複の可能性が最小限に抑えられる。

図５Ｂを参照すると、複数のＦストップを有する単一絞り開口のシステム５００のセンサー５０８により獲得された画像５２０が示されている。画像５２０の枠５２２内には、異なるＺ軸を有する複数のプロット５２４・５２６・５２８・５３０が示されている。画像５２０として示されているが、示された情報は、条件づけられ、信号を介してプロセッサ５１０で処理されるために送られてもよい。

図５Ｃを参照すると、図５Ｂの獲得された画像中の枠で示した領域５２２は、絞り開口の動きに対応する複数のＦストップの細長い筋５２４・５２６・５２８・５３０を見つけるために処理される。全ての複数のＦストップの細長い筋５２４・５２６・５２８・５３０が見つけられると、Ｚ対Ｌの関係を決定するための規則が適用される。マッチングが必要でない点が顕著である。

全ての点が、焦点面「Ｌ」より前方にあると想定して、Ｚ対Ｌの関係を演算するために複数のＦストップの細長い筋５２４、５２６、５２８・５３０が用いられる。プロセッサ５１０により決められたマッチングされた点５３２、５３４、５３６・５３８の例を図５Ｄに示す。一般的に、センサー５０８に接続されたプロセッサ５１０を用いて、センサーから得られた生データを収集してもよい。プロセッサ５１０は、続いて、Ｚ対Ｌの関係を用いて、各検出されたＦストップの細長い筋５２４・５２６・５２８・５３０の深度情報を演算してもよい。続いて、プロセッサ５１０を用いて、各照射された点５１２の深度情報から被写体の像を生成してもよい。別の態様では、プロセッサ５１０はメモリを有してもよい。このメモリを用いて、既知の距離におけるそれ以前にサンプリングをした点の較正情報を記憶しておいてもよい。この較正情報は、迅速なインライン処理のために、画像獲得システム中に参照テーブルとして記憶されていてもよい。あるいは、較正情報は遠隔で記憶され、プロセッサによりアクセスされてもよい。

図５Ｂ、図５Ｃおよび図５Ｄに示した結果は、図５Ｅで示したような振動する単一絞り開口システム５４０を用いて得られても良い。この振動する単一絞り開口システム５４０は、レンズ５０２、単一の移動絞り開口５０６を有するマスク５０４およびセンサー５０８を有する。

反射光５１４が、レンズおよびマスク５０４の長くて狭いスリット絞り開口５０６を選択的に通過できるようにすることにより、照射された被写体５１２が再構成されうる。この単一絞り開口システム５００は、移動絞り開口５０６を用い、２方向で異なるＦナンバーを有する効果を効果的にシュミレーションしている点が顕著である。移動絞り開口５０６が、制御下で、右から左へと、ＡとＢとの方向（あるいは、これ以外の任意の方向で）で周期振動し、移動絞り開口５０６のＡからＢへの正味の変位は、小さいＦナンバーを生成する。このＡからＢへの横方向への移動の小さいＦナンバーは、センサー５０８上で、大きく変動する円盤５１６を生成する。さらに、この移動絞り開口５０６は、ＡからＢへと動くので、移動絞り開口５０６の垂直の直径には正味の変化はない。したがって、移動絞り開口５０６の高さが一定であることにより、Ｆナンバーが大きくなり、これは最低限の変動しかせず、点光源の画像は、円盤５１６ではなく、線５１８で表される。この場合の強度は、絞り開口５０６が、ある特定の軸上位置で過ごす時間の量に依存し、したがって、画像は、薄暗い直線に連結された明るい端部のように見える。さらに、生成された画像５１６・５１８は、一方向にのみ大きくなり、重複の可能性が最小限に抑えられる。

ある態様では、本発明は、２つの絞り開口のシステムとして考えられ、２つの絞り開口画像を物理的に画像上で単に連結することによって、マッチングの曖昧さが除去される。絞り開口を通った大きい被写体（点光源ではなく）を撮像させるとき、３つの画像を見ることができる。中央画像が、被写体画像であり、外側の他の２つの画像は、回折およびレンズ効果の結果形成される。この被写体の尺度が小さくなるにしたがって点光源に近づき、極端な場合、点光源の被写体の画像は、絞り開口と同じ形状を有する。

（３．２）電子的にマスクされた絞り開口

図６Ａおよび図６Ｂを参照すると、電子的にマスクされた撮像系６００が、レンズ６０２、絞り開口板６０４、複数の窓を有する電子的な絞り開口６０６、センサー６０８、および、センサー６０８と絞り開口板６０４と通信するプロセッサ６１０を有することが示されている。適切な絞り開口板６０４の非限定的な例には、液晶表示（ＬＣＤ）が含まれ、これは、獲得センサー６０８と完全に同期化されてもよい。ある態様では、感度は、絞り開口の「軸外度合い」を変えることにより制御されてもよい。反射光６１６が、レンズ６０２、および、複数の窓を有する電子的な絞り開口６０６の多くの窓のうちの１つを選択的に通過できるようにすることにより、照射された被写体６１４が再構成されうる。

図６Ａに示すように、複数の窓を有する電子的な絞り開口６０６の第１の窓６１２は、光６１８を透過させ、センサー６０８により検出される第１の点６２０を生成する。第１露光の間、第１の開いた窓６１２の位置情報が、プロセッサ６１０により記録される。

第２露光を得るために、複数の窓を有する電子的な絞り開口６０６の第２の窓が開かれる。図６Ｂに示すように、複数の窓を有する電子的な絞り開口６０６の第２の窓６２２は、光６２４を透過させ、センサー６０８により検出される第２の点６２６を生成する。第２露光の間、第２の開いた窓６２２の位置情報が、プロセッサ６１０により記録される。第１の点６２０および第１の開いた窓６１２位置情報、ならびに、第２の点６２６および第２の開いた窓６２２位置情報は、その後、第１露光からの第１の点６２０を、第２の点６２６の情報とマッチングさせるために用いられる。

（４．０）パターンマッチング

対象の被写体が、その形状がマッチングされるべき表面である場合、マーカーのパターンがその表面上に投影され、投影されたマーカーの相対的な位置を測定することにより、検出される画像中の点がサンプリングされうる。センサーが許容する撮像されるドットの密度上限は、撮像系の限界である。各図中で点が特定されると、同じ点が両方の図中に存在するか否かのみが問題となる。別の態様では、マッピングされるべき体積が、ある体積中に非対称セルクラスタを含んでいる場合、セルの形状と方向とを、図同士のマッチングにおける追加的な制約として用いることができ、したがって、ミスマッチが生じうる可能性を低減することができる。これを「特徴マッチング」と称する

図７Ａを参照すると、対象の被写体の表面上に投影するのに適した、アドレス可能な雛型パターン７００が示されている。アドレス可能な雛型パターン７００は投影され、または、目標とする表面上に物理的に置かれ、被写体から様々な距離（Ｚ）だけ離れた位置で、撮像系により獲得される。ある態様では、アドレス可能な雛型パターン７００は、識別可能な中央点７０２を備えた格子パターンの形状を有する。

図７Ｂを参照すると、アドレス可能な雛型を用いて撮られた、目標とする被写体の獲得画像７０４が図示されている。図示されているように、獲得された画像７０４中で、いくつかのドット７０６・７０８・７１０・７１２は欠如している。

図７Ｃを参照すると、一部の格子７１４を用いた獲得画像７０４が示されている。アドレス可能なパターン７０２が正しく並んでいる場合、識別可能な源を有する格子パターン７１４は、必要とされる視点の数または画像獲得を２つに減らすために、「構造化されたパターンマッチング」という手法を採用可能である。コンピュータで読み取り可能な媒体上に記憶されているか、または、プロセッサで実行可能であるアドレス指定を行うアルゴリズムは、雛型パターンによるアドレス可能な雛型パターン７００中の各ドットの「相対的なアドレスを見つける」ために、各絞り開口の画像を処理する。適切なアドレス可能な雛型パターン７００の非限定的な例を図７Ａに示す。アドレス指定を行うアルゴリズムは、アドレス可能なパターン７０４の変形を許容するようにある程度の許容誤差を有する（図７Ｂおよび図７Ｃ参照）。アドレス可能なパターン７０４の変形は、元のアドレス可能な雛型パターン７００（図７Ａ参照）と対比してみると顕著である。さらに、アドレス指定を行うアルゴリズムは、獲得された画像７０４中の実体の欠如７０６・７０８・７１０・７１２を扱うこともできる。アドレス可能な雛型パターン７００上のある点が、アドレス可能なパターン７０４中に現れなかった場合に情報の欠如が生じると考えられる。

図７Ｃの中央サンプル７１６の再構成された図を、図７Ｄに示す。同じアドレスを有するドット対それぞれに対してＺを演算することにより、点が再構成される。欠如したドット対に関しては、再構成は行われない。

（４．１）パターン投影機（非レーザー）

図８Ａを参照すると、非レーザーパターン投影機８００および撮像系８０２が図示されている。非レーザーパターン投影機８００は、撮像系８０２の撮像レンズ８０６と同じレンズ８０４を有する。非レーザーパターン投影機８００のこのレンズ８０４は、撮像系８０２のレンズ８０６と等価距離分だけ、ビームスプリッター８０８から離れて置かれている。これにより、投影された点８１２の主光線８１０を、撮像系８０２のセンサー８１６により検出された主光線８１４と一致させることができる。したがって、投影された点８１２と撮像レンズ８０６の焦点面８２０との間の距離が変化した場合さえ、検出された画像中の投影されたパターン８１８は動いていないように見える。これにより、いくつかの点（例えば、ドット）が欠如している場合でさえ、アドレス可能なパターン８１８の特定がはるかに容易になる。

前提条件は、各視点からの画像が物理的に分離されていることである。これは、もちろん、写真測量法などの複数センサーシステムにおいては当てはまるのであるが、デフォーカス概念（単一のレンズ上の複数の絞り開口が、単一のセンサー上に撮像する）などの場合には、特別な注意が必要である。

光８２２が、パターンステンシル８２４およびレンズ８０４（実質的に、撮像レンズ８０６と同じであるレンズ）を有する投影機レンズ系８２６を通過することにより、投影されたパターン８１８が生成される。

単一のレンズ系では、絞り開口画像は分離されなくてはならない。これは、プリズム（図８Ｂおよび図８Ｃ参照）または光ファイバー束を用いて達成されることができ、これにより各絞り開口が分離されたセンサー上に投影される。あるいは、センサーが色センサーである場合、物理的にマスクされた絞り開口（図８Ｄおよび図８Ｅ参照）を用いて達成される。

図８Ｂを参照すると、２つのオフセットプリズムおよび２つのセンサーを有するシステム８２８が示されている。このシステム８２８は、マスクおよび２つのスリットを有する絞り開口８３８より後方にある、第１プリズム８３０、第２プリズム８３２、第１センサー８３４ならびに第２センサー８３６を有する。第１プリズム８３０および第２プリズム８３２は、２つのスリットを有する絞り開口８３８からの入射光８４０・８４２をオフセットし、第１プリズム８３０および第２プリズム８３２からの透過光が、分離されたセンサー８３４・８３６により検出されるようにする。２つのスリットを有する絞り開口８３８が、光の固有の特性に基づいて情報を符号化するために用いられる場合、あるいは、アドレス可能なパターン技術が採用された時のように光が分離されねばならない場合には、このような構成が用いられてもよい。適切な固有の特性の非限定的な例には、限定されるのではないが、周波数、複数の周波数、符号化され透過された光検出画像の偏光が含まれる。

図８Ｃを参照すると、１つの銀メッキのオフセットプリズムと２つのセンサーとを有するシステム８４４が示されている。このシステム８４４は、マスクおよび２つのスリットを有する絞り開口８５２より後方にある、銀メッキプリズム８４６、第１センサー８４８ならびに第２センサー８５０を有する。銀メッキプリズム８４６は、２つのスリットを有する絞り開口８５２からの第１の入射光束８５４をオフセットし、銀メッキプリズム８４６からの透過光が第１センサー８４８により検出されるようにする。あるいは、２つのスリットを有する絞り開口８５２を通過した光８５６は、第２センサー８５０上で別々に検出されてもよい。

図８Ｄを参照すると、３つのＣＣＤセンサーを集めたシステム８５８が示されている。このシステム８５８は、マスクおよび２つのスリットを有する絞り開口８６２の後方にある３つのＣＣＤセンサー８６０を有する。このＣＣＤセンサー８６０は、青色センサー８６２、緑色センサー８６４および赤色センサー８６６を有する。プリズム系８６８は、２つのスリットを有する絞り開口８５６からの第１入射光束８７０をオフセットし、このプリズム８６８からの透過光が、赤色センサー８６６により検出されるようにしうる。あるいは、２つのスリットを有する絞り開口８５２を通過した光８７２は、別々に緑色センサー８６４上で別々に検出されてもよい。

図８Ｅは、狭帯域ミラーセンサーを集めたシステム８７４を示す。このシステム８７４は、マスクおよび２つのスリットを有する絞り開口８７８の後方に位置づけられた狭帯域ミラー８７６、２つのスリットを有する絞り開口８７８、ならびに、第１センサー８８０および第２センサー８８２を有する。この狭帯域ミラー系８７６は、２つのスリットを有する絞り開口８７８からの入射光束８８４をオフセットし、この狭帯域ミラー系８７６の透過光が、第１センサー８８０により検出されうるようにする。あるいは、２つのスリットを有する絞り開口８７８を通過した光８８６が第２センサー８８２上で別々に検出されてもよい。

（４．２）パターン投影機（レーザー）

任意のレンズは、２つの「主平面」により表現されうる。この主平面の位置は、このレンズの関数に過ぎず、（ある点の画像の中央線を規定する）主光線は全て、軸上で第１の主平面に入り、第２の主平面を出るように動く。

前方の主平面と視野との位置を測定することにより、所望のパターンを有する回折格子を作って、レーザー投影機からのビームが、撮像されたドットの主光線と一致するように位置づけることができる。したがって、投影されたドットと撮像レンズの焦点面との間の距離が変化する場合さえ、投影されたパターンは、画像中で動いていないように見える。これにより、いくつかのドットが撮像されていない場合でさえ、アドレス可能なパターンの検索がはるかに容易になる。

複合レンズを通る複雑な光線追跡（光線が、全ての空気／ガラスの界面で屈折するような場合）は、光線が屈折する２つの平面で数学的に表現可能である。したがって、左側の画像が、「実際の」光線追跡を示し、右側の画像は、このようなレンズの数学的表現を示す。これらの表面は、第１のガラス界面に入り、最後のガラス界面を去り、レンズ軸を交差するためにこれらを広げる、主（ｃｈｉｅｆ）光線（「主（ｐｒｉｎｃｉｐａｌ）光線」とも称される）を用いることにより見つけられる。この交差点が、上述の平面の位置の印となる。

したがって、まず始めに較正を行い（これは、格子をいくつかのＺ距離で撮像することにより行う）、次に、これらの２つの面がどこにあるのか、および、視野角度はいくらであるのかを見つけるために、最小二乗適合法を行う。次に、視野角度に合うように回折格子を特注し、ビームスプリッターからの距離を第１主平面からの距離と同じ距離にしうる。したがって、レーザー光線は、主光線とまさに同じ光路をたどる。

作動においては、被写体がレンズに近づくに従い、画像中の被写体は大きくなる。これは、被写体の縁が、画像上で、横方向に動くことを意味する。同じことが、カメラの前で表面上に投影された任意のパターンに関しても該当する。図９で示した態様と同じように光線を正確にマッチングさせることによりＺ位置に関わらず、いずれの点も全く横方向には動かない。

ここで、２つの孔を有する絞り開口マスクが加えられると、対応するドットは、ここでも互いに対して離れて動く。（ドット（画像）は、周辺または外側光線により形成される。）しかし、主光線が横方向には動かないので、対応する「マッチ形状」の重心は、横方向には動かない。考えられるのは、アドレス可能なパターンの識別可能なドットが位置づけられると、マッチの重心を見つけることができる。このパターンが横方向には決して広がらないことがわかっていることにより、パターン上のこれ以外の全点の重心がどこにあるべきかがわかり、これが、点の「アドレス化」を支援する。

この点が従来のアドレス可能なパターン検索とは異なる点である。従来のアドレス可能なパターン検索では、点が全て互いに対して動き、その結果、表面のＺの変化が大きくなりすぎ、パターンが再構成できなくなりえる。

図９を参照すると、レーザーパターン投影機システム９００および撮像系９０２が図示されている。このレーザーパターン投影機システム９００は、レーザー投影機９０４およびフィルタリング用マスク９０６を有する。このフィルタリング用マスク９０６は、投影機９０４からの光を、５０％ビームスプリッター９０８上に選択的に通過させる。レーザー投影機９０４およびフィルタリング用マスク９０６は、ビームスプリッター９０８と一列に並び、これにより、投影された点９１２の主光線９１０は、撮像系９０２のセンサー９１６により検出された主光線９１４と一致する。したがって、投影された点９１２と撮像レンズ９０６の焦点面９２０との間の距離が変化する場合さえ、投影されたパターン９１８は、検出された画像中で動いていないように見える。これにより、いくつかの点（例えば、ドット）が欠如している場合でさえ、アドレス可能なパターン９１８の特定がずっと容易になる。

（５．０）撮像方法

図１０を参照すると、被写体表面の二次元または三次元表現を作成するための、画像獲得および画像処理の工程を示すフローチャートが示される。任意の単一レンズ装置が、撮像レンズ、識別可能な画像を生成できるように構成された絞り開口、センサーおよびプロセッサを含むように形成または修正される。

撮像過程は、被写体表面を照射する工程１０００から開始する。被写体表面は、撮像系または適切な外部光源により照射されうる。光は、被写体表面より反射され、絞り開口を透過する（工程１０１０）。この絞り開口は、撮像レンズの撮像レンズ面中、撮像レンズの前方もしくは撮像レンズの後方に置かれるか、アクセス可能な場合撮像レンズの絞り開口に適用されるか、または、リレーレンズ系を介してアクセス可能としうる。

光が絞り開口を通って移動する際、絞り開口を用いて、多くの方法でセンサーが受け取る情報を符号化しうる。センサー上に識別可能な画像を生成する工程１０２０用に光を符号化しうる適切な方法の非限定的な例には、限定されるのではないが以下が含まれる。すなわち、光の特性に応じて透過光にフィルターをかける方法（例えば、波長または偏光によりフィルターをかけるなどの）、時間の関数として光を透過させる方法（例えば、識別可能な画像を、時間の関数として、絞り開口を通過可能にするなど）、または、絞り開口の形状を物理的に変えて、一連の異なる形状を有するようにして、この絞り開口を通過する通過光が、識別可能な形状に基づく画像を生成する方法が含まれる。

追加的な画像を獲得する工程を行うか否かをシステムが決定するのを支援する工程１０３０を実装してもよい。この工程は、さらに、獲得画像の適切さを秤量するよう補強されてもよい。例えば、露光中に過度の移動が行われていた画像がセンサーにより検出された場合、この画像は、アルゴリズムにより放棄されてもよい。この場合、最後に獲得された画像が放棄され、過程は、被写体の照射工程１０００から繰り返される。別の態様では、受け取った画像は処理に適したものでありうるが、しかし、より多くの画像獲得が必要である（工程１０３０）。この場合、アルゴリズムをさらに補強するために、さらなる決定を追加可能である。この一例は、撮像系の視点を調節すべきか否かの決定する工程１０４０を追加することであるだろう。撮像装置の位置または被写体の所望の領域を移す必要があれば、撮像系または目標とする被写体のいずれかが、視点を調節する工程１０５０のために変えられてもよい。

画像の全てまたは少なくとも一部分が獲得されれば、各画像内での点間の関係または点情報間の関係を用いて、各点に対する相対的なまたは絶対的な距離情報を演算または決定する工程１０６０が行われる。距離情報がわかれば、この情報は、この距離情報を用いて被写体の像（例えば、３Ｄマッピング）を生成する工程１０７０用のアルゴリズムに供給されうる。

（６．０）画像マッチング

複数の露光獲得を必要とする大きな被写体または応用では、画像マッチングにより、被写体表面を再作成するために、関連する画像獲得を互いに結び付ける方法が提供される。目標とする被写体を再作成する必要はないが、目標とする被写体に対する撮像系の相対的な位置がわかっているとき、画像マッチングにより、正確な測定尺度を用いて目標とする被写体を再作成する能力が提供される。デジタルキルティングとも称される画像マッチングは、アドレス可能なパターンの雛型画像を用いることにより、一般に多いに支援される。ある態様では、アドレス可能なパターンの投影機を、物理的に獲得装置に結び付けてもよい。別の態様では、アドレス可能なパターンの投影機は、獲得装置に依存せずに動いてもよいが、獲得装置より見えるパターンがアドレス可能であるように動く。

撮像装置は、アドレス可能なパターンの雛型画像を初期位置で獲得する。このアドレス可能なパターンの雛型画像は、通常Ｘ、ＹおよびＺ平面において有限数の点を有する。その後、撮像装置の位置を調節して、第２のアドレス可能なパターンの雛型画像を第２位置で獲得する。移動制約を越えると決定された調節位置は無視するとの予防的措置をとってもよい。第２位置または調節された位置は、個々の６つの可変の平行移動および回転により、初期の撮像装置の位置に関連付けられる。新しい位置で獲得された画像は、部分的に第１の雛型画像と重複し、実質的に類似数の点を有しているという点により、通常、調節された位置は初期位置に関連付けられる。

作動においては、少なくとも１つの外殻が、プロセッサにより生成され、または、ユーザーにより手動で強調表示される。この外殻は、アドレス可能なパターンの雛型画像およびアドレス可能なパターンの表面画像内の全ての点を囲む。全ての場合にそうであるとはいえないが、アドレス可能なパターンの雛型画像の外殻の外側にある点は、放棄してもよい。アドレス可能なパターンの表面画像中の点の内殻も複数個生成される。この内殻は、個々の６つの可変の平行移動および回転による、複数の殻の交差内の獲得間の最大限許容可能な変位の関数である。誤差は、アドレス可能なパターンの表面画像上にある点とアドレス可能なパターンの雛型画像との間の差から演算してもよい。

殻が生成されたら、アドレス可能なパターン情報が、マッチングアルゴリズムを用いて処理される。このマッチングアルゴリズムは、アドレス可能なパターンの表面画像上の各点と、アドレス可能なパターンの雛型画像上の対応する点との間の距離を決定するように構成されている。各マッチングされた点は、その個体の移動および回転により、複数の内殻から、高解像度のデータセットを形成するために１つにまとめられる。

何百または場合によっては何千もの獲得をマッチングすると、この点の大群は、個体の平行移動および回転により１つにまとめられる。目標とする被写体の特徴を回復するのに十分なマッチング点が存在するか否かを決定するように、アドレス可能なパターン情報を用いたアルゴリズムを適応させてもよい。高解像度点の大群が作成されると、この高解像度点の大群を用いて、標準的なアルゴリズムまたは市販のパッケージを介し、補間ありまたはなしで、高解像度の表面（ナーブおよびメッシュなど）を生成または出力することができる。このような標準的なアルゴリズムまたは市販のパッケージは、例えば、ジオマジック（Ｇｅｏｍａｇｉｃ）社製のジオマジック・スタジオ（Ｇｅｏｍａｇｉｃ Ｓｔｕｄｉｏ）である。ジオマジック（Ｇｅｏｍａｇｉｃ）社は、アメリカ合衆国、２７７０９、ノースカロライナ州、リサーチ・トライアングル・パーク、３２００ イースト・ハイウェイ ５４、ケープフィアービルディング、３００号室（３２００ Ｅａｓｔ Ｈｗｙ ５４， Ｃａｐｅ Ｆｅａｒ Ｂｕｉｌｄｉｎｇ， Ｓｕｉｔｅ ３００， Ｒｅｓｅａｒｃｈ Ｔｒｉａｎｇｌｅ Ｐａｒｋ，ＮＣ，２７７０９）在である。

この適合は、全誤差が、この装置の精度の関数である、ある閾値以下であれば十分であると考えられている。これが行われれば、調節された位置における第２の獲得が雛型となり、次の獲得が、これにマッチングする表面となる。マッチングアルゴリズム中のアドレス可能なパターン情報の頑健さにより、十分な獲得が得られるまで表面形状を補間することなく、小さいセットを小さいセットにマッチングさせることができる。

図１１を参照すると、この図は、画像の再構成を支援するために、撮像系にアドレス可能なパターンを使用することを示すフローチャートである。表面特徴獲得時にアドレス可能なパターンを用いるのは、分離可能な視点の三次元撮像システム中で用いられる対応検索を回避する方法の１つである。

この過程は、各画像がアドレス可能なパターンを含む（アドレス可能なパターンで照射される）多数の画像を獲得する工程１１００から始まる。通常、各画像は、異なる視点から撮られるが、アドレス可能なパターンは、被写体の表面輪郭に関して静止している。複数の画像はそれぞれ、アドレス可能なパターン情報の少なくとも一部および目標とする被写体の少なくとも一面を表現する少なくとも１つの点を有する。被写体は、その上に様々な点を有しうると理解される。各点は、これから行われる被写体の再構成に関する重要な情報を提供しうる。

画像中の各点に対してアドレスが割り当てられる（工程１１１０）。一般的に、アドレス可能なパターンは、アドレス化（工程１１１０）中で支援するために参照される被写体上の一連のプロットを提供する。重要であるのは、アドレス可能なパターンは、対称形である必要はなく、通常の一連のマーカーまたは画像を包含する。適切なアドレス可能なパターン情報の非限定的な例には、色シーケンスパターン、異なる形状を有する被写体を有するパターン、および、位置シーケンスパターン、識別可能な被写体特徴または被写体ランドマーク、もしくは、これらの組み合わせが含まれる。アドレス可能なパターンの画像は、種々の方法で、被写体表面上に置かれうる。この適切な方法の非限定的な例には、アドレス可能なパターンの画像を被写体表面上に投影する方法、アドレス可能なパターンの画像を被写体表面上に物理的に置く方法、および、源としての撮像される被写体に固有の特徴を用いる方法が含まれる。

追加的な画像を獲得する工程を行うか否かをシステムが決定するのを支援する工程１１２０を実装してもよい。この工程は、さらに、獲得画像の適切さを秤量するよう補強されてもよい。例えば、露光中に過度の移動が行われていた画像がセンサーにより検出された場合、この画像は、アルゴリズムにより放棄されてもよい。この場合、最後に獲得された画像が放棄され、過程は、被写体の照射工程１１００から繰り返される。別の態様では、アドレス可能なパターンを用いて受け取った画像は処理に適したものでありうるが、しかし、被写体を再構成するために、より多くの画像獲得が必要である。この場合、アルゴリズムをさらに補強するために、さらなる決定過程を追加可能である。この一例は、撮像系の視点を調節すべきか否かの決定する工程を追加することであるだろう。撮像装置の位置または被写体の所望の領域を移す必要があれば、撮像系または目標とする被写体のいずれかが、視点を調節する工程１１４０のために変えられてもよい。

画像の全てまたは少なくとも一部分が獲得されれば、各画像内での点間の関係または点情報間の関係を用いて、各点に対する相対的なまたは絶対的な距離情報を演算または決定する。距離情報がわかれば、この情報は、この距離情報を用いて被写体の像を生成する工程１１６０に供給されうる。

図面および関連する詳細な説明は、本発明の実施形態を図解するために提供されるものであり、本発明の範囲を限定する目的で提供されるのではない。明細書中の「１実施形態」または「ある実施形態」への言及は、この実施形態に関連して記載された特定の特徴、構造または特性が、少なくとも本発明の１実施形態中に含まれることを示すことを意図する。明細書中の種々の箇所において記載した「１実施形態中」または「ある実施形態中」との語句は、必ずしも全て同じ実施形態を言及したのではない。

別途、文脈的に必要としている場合を除いて、本開示中で用いられる、「有する（ｃｏｍｐｒｉｓｅ）」という語句およびその変化形（“ｃｏｍｐｒｉｓｉｎｇ”、“ｃｏｍｐｒｉｓｅｓ”および“ｃｏｍｐｒｉｓｅｄ”）には、他の添加物、要素、整数または工程を排除する意図はない。

また、本実施形態は、フローチャート、フローダイヤグラム、構造図またはブロック図として表した過程として開示されている点に留意されたい。フローチャートは、作動の種々の工程を、順序だてた過程として開示しうるが、多くの作動は、並行的にまたは同時に実施されうる。図示した工程は、限定的な意図はなく、示した各工程が方法にとって本質的であるとして示す意図はなく、例示的な工程のみである。

上述の明細書で、本発明は特定の実施形態を参照して記載した。しかしながら、本発明のより広い精神および範囲を離れることなく、種々の修正および変更を行ってもよいことは明らかである。したがって、明細書および図面は、制限的な意味合いではなく、例示的な意味合いで考えられるべきである。本発明は、このような実施形態によって限定されると解釈されるべきではないと理解されるべきである。

上述の詳細な説明から、本発明は多くの利点を有することが明らかであり、本願中で説明したものもあり、本発明の実施形態中で本来的なものとして記載されたり特許請求されたものもある。修正は、本願中に記載した主題の教示を離れることなく、本願中に記載した装置、装置（apparatus）および方法に対して行われうるという点も理解される。本発明はこのようなものとして、添付の請求項で要求していない限り、記載した実施形態に限定されない。

Claims (8)

1. 被写体表面の三次元撮像用の単一レンズ装置であって、
   １つのレンズと、
   前記レンズを含んだ光学経路を遮る複数のフィルタリング用絞り開口であって、被写体表面から反射された光が、前記レンズと前記フィルタリング用絞り開口とを通過し、フィルターをかけられて前記表面を表すフィルターがかけられた情報となるように構成されているフィルタリング用絞り開口と、
   前記光学経路に沿って前記表面を表す前記フィルターをかけられた情報を獲得し、前記表面を表す出力信号を生成するために動作可能なセンサーと、
   前記表面の前記フィルターをかけられた情報を表す前記出力信号を前記センサーから受け取るために前記センサーと通信可能に接続され、さらに、前記被写体表面を表現する表面画像を生成するように構成されたプロセッサと、
   を有しており、前記プロセッサは、前記表面から、該表面によって変形されている変形パターンを検出し、前記表面により変形される前の元来のパターンを表す情報と前記パターンとを比較するものであり、前記表面画像は、デフォーカスされた情報によって前記元来のパターンと前記変形したパターンとの間の相違が見つけ出されることによって決定され、
   前記複数のフィルタリング用絞り開口は、偏光による符号化をされた少なくとも２つの絞り開口を有し、前記センサーは、偏光され符号化された情報を受け取るように構成されていることを特徴とする単一レンズ装置。
2. 前記複数のフィルタリング用絞り開口は、色で符号化された少なくとも２つの絞り開口を有する請求項１に記載の単一レンズ装置。
3. さらに、前記被写体表面上に、アドレス可能なパターンを投影するための多波長のアドレス可能なパターン投影機を有する請求項２に記載の単一レンズ装置。
4. 前記複数のフィルタリング用絞り開口は、それぞれの形状で符号化された少なくとも２つの絞り開口を有する請求項１に記載の単一レンズ装置。
5. 被写体表面の三次元撮像方法であって、
   レンズを含んだ光学経路を遮る複数のフィルタリング用絞り開口を利用し、前記光学経路に沿ってセンサーを利用するステップであって、前記フィルタリング用絞り開口は、被写体表面から反射された光が、前記レンズと前記フィルタリング用絞り開口とを通過し、フィルターをかけられて前記表面を表すフィルターがかけられた情報となるように構成されていることを特徴とするステップと、
   前記被写体の表面を表す表面画像を生成するため、前記表面の前記フィルターがかけられた情報を表す出力信号を受け取るためにセンサーと通信可能に接続されたプロセッサを使用するステップと、
   を含んでおり、前記プロフェッサを使用するステップは、前記表面から、該表面によって変形されている変形パターンを検出し、前記表面により変形される前の元来のパターンを表す情報と前記パターンとを比較するものであり、前記表面画像は、デフォーカスされた情報によって、前記元来のパターンと前記変形したパターンとの間の相違が見つけ出されることによって決定され、
   前記複数のフィルタリング用絞り開口は、偏光による符号化をされた少なくとも２つの絞り開口を有し、前記センサーは、偏光され符号化された情報を受け取るように構成されていることを特徴とする方法。
6. 前記複数のフィルタリング用絞り開口は、色で符号化された少なくとも２つの絞り開口を有する請求項５に記載の方法。
7. さらに、前記被写体表面上に、アドレス可能なパターンを提供する多波長のアドレス可能なパターンを投影するステップを含んだ請求項５に記載の方法。
8. 前記複数のフィルタリング用絞り開口は、それぞれの形状で符号化された少なくとも２つの絞り開口を有する請求項５に記載の方法。

Images