JP6097282B2 - 構造化された照明を用いる３ｄスキャナ - Google Patents

Description

本発明は、構造化された照明を用いて３Ｄ情報を決定する方法及びシステムに関する。

構造化された照明は、シーンから３Ｄ情報を引き出すのに用いられるよく知られた技術である。３Ｄ情報の抽出は、既知の照明パターンのシーンへの投影及びこのシーンのカメラを用いた、結果として生じる画像のキャプチャに基づかれる。この技術は、カメラと照明パターンを投影するプロジェクタとの間の距離（しばしば、ベースラインと呼ばれる）を用いて、（ステレオカメラが用いられるときの）不均衡に基づき機能する。この不均衡の結果として、（カメラから見られる）対象物の深度を決定することができる。ステレオカメラと同様、斯かるシステムは、深度を推定することができる。しかし、我々が、照明構造（パターン）を投影するとき、このシステムも、一様な対象物上で機能する。これは、ステレオカメラには当てはまらない。従って、構造化された光システムは、ステレオ視覚システムよりかなり信頼性が高い深度推定を提供する。

３Ｄ情報抽出におけるキーステップは、照明パターンのどこの特徴がプロジェクタにより対象物上に投影されるかを決定することである。これは、時々「デコード」と呼ばれる。Gumholdtその他による「Image-based motion compensation for structured light scanning of dynamic surfaces」（IJISTA(2008) 434-441）というタイトルの記事に、デコード技術が記載される。この技術では、複数の異なる構造化された照明パターンが連続して用いられる。ピクセル強度の時間依存性が、ピクセルで対象物と交差するプロジェクタからの平面を特定するために用いられる。最も簡単な形態では、この技術は、対象物が移動しないと想定する。対象物の運動が排除されることができない場合、運動ベクトルに基づかれる運動補償が、画像の系列における同じピクセルに対して対象物ポイントをマッピングするために用いられる。Gumholdtは、構造化された照明パターンからのストライプの運動の検出が、必要な運動ベクトルを決定するために用いられることができると述べる。しかし、Gumholdtは、より堅牢な技術を好む。この場合、運動ベクトルを決定するために相関されることができる画像を得るため、特別な参照照明パターンが用いられる。しかしながら、これらの技術はまだ完全に堅牢というわけでない。

本発明の目的は、構造化された照明を用いて得られるシーンの２Ｄ画像から３Ｄ表面位置情報を決定するより堅牢な方法及びシステムを提供することである。

請求項１に記載の３Ｄ表面位置情報を決定する方法が提供される。本書において、相互に異なる強度の領域の間のエッジといった強度特徴を持つ構造化された照明パターンの系列が用いられる。

系列からの構造化された照明パターンの異なるものが、異なる時間ポイントで対象物を照射するために用いられ、対象物の結果として生じる画像は、強度特徴が画像において見える位置を検出するために用いられる。強度特徴の第１及び第２のサブセットは、どの検出された位置が構造化された照明パターンにおけるどの強度特徴に対応するかを決定するために区別される。強度特徴がエッジである例において、第２のセットの特徴は、画像を通る経路に沿って強度が、高強度領域の強度レベルへと上昇するエッジであり、第１のサブセットの特徴は、強度が例えば高強度領域から降下する経路に沿ったエッジとすることができる。

構造化された照明パターンの系列において、各連続した画像の強度特徴の第１のサブセットは、（第１及び第２のサブセットからの）系列において前に構造化された照明パターンの特徴と空間的に一致する。前に構造化された照明パターンと比較して、第２のサブセットの強度特徴は、加えられた特徴であり、第１のサブセットの強度特徴の間に配置されるか、及び／又は前に構造化された照明パターンの最も外側の強度特徴を越えて配置される。従って、系列における構造化された照明パターンの強度特徴の位置は、連続的により高密度になる。

系列において前に構造化された照明パターンで得られる検出された強度特徴の識別に基づき、第１のサブセットの強度特徴は、第１のサブセットの強度特徴の検出された位置を用いて特定される。第１のサブセットの強度特徴の位置のペアの間に存在する第２のサブセットの強度特徴は、ペアの強度特徴の検出された位置の間の検出された位置で特定される。こうして、識別ミスのリスクが最小化される。

現在の構造化された照明パターンで得られる画像に関する第１のサブセットの強度特徴の関連付けられる画像位置は、第１のサブセットの強度特徴の関連付けられる画像位置の前か後に決定されることができる。ある実施形態では、前に構造化された照明パターンで得られる画像に関する第１のサブセットの画像強度特徴の関連付けられる画像位置に基づき選択される画像位置範囲から、第２のサブセットに関する関連付けられる位置が最初に決定される。本実施形態において、現在の構造化された照明パターンで得られる画像に関する第２のサブセットの画像強度特徴の関連付けられる画像位置に基づき選択される画像位置範囲から、第１のサブセットに関する関連付けられる位置が次に決定される。こうして、第２の強度特徴は、リスク又は識別エラーを減らす運動補償の形式を提供する。別の実施形態では、前に構造化された照明パターンで得られる画像に関する第１のサブセットの画像強度特徴の関連付けられる画像位置に基づき、第１のサブセットに関する関連付けられる位置が最初に決定される。以前に構造化された照明パターンで得られる画像に関する関連付けられる位置に最も近い画像位置が例えば選択されることができる。本実施形態において、現在の構造化された照明パターンで得られる画像に関する第１のサブセットの画像強度特徴の関連付けられる画像位置に基づき選択される画像位置範囲から、第２のサブセットに関する関連付けられる位置が次に決定されることができる。

ある実施形態において、対象物は、系列におけるシーケンスに対応する時間的シーケンス、即ち、それらが系列において生じるシーケンス内の時間における、又はそのシーケンスの逆順における構造化された照明パターンで照射される。こうして、第１のサブセットの強度特徴を特定するために用いられる画像のキャプチャの間の運動が最小化される。

ある実施形態において、系列における構造化された照明パターンの少なくとも１つを用いる照射が、補完的な照明パターンのペアを用いる連続した照射を有する。即ち、ペアにおける１つのパターンが、ある位置で暗く、他のパターンは白い。この逆でもよい。この実施形態において、対象物が補完的な照明パターンで照らされるとき、画像のペアがキャプチャされることができ、位置検出に関する結果として生じる画像は、ペアの画像の間の差画像とすることができる。

ある実施形態において、強度特徴が見える画像における位置は、画像ラインに沿った強度プロファイルから検出される。これは、複数の画像ラインに関して繰り返されることができる。こうして、強度プロファイルの位置は、最小の計算で検出されることができる。ある実施形態において、第１及び第２のサブセットの強度特徴は、画像ラインに沿った強度変化の相互に対向する方向における強度エッジである。こうして、強度特徴が第１のサブセット又は第２のサブセットに属するかどうかを検出するのが容易である。

ある実施形態において、複数の前に構造化された照明パターンが、第１のサブセットの強度特徴の検出された位置を特定するために用いられることができる。従って、直前に構造化された照明パターンで得られる適切な位置が発見されない場合、更に離れた前に構造化された照明パターンからの位置が用いられることができる。こうして、この方法は、いくつかの画像における特徴の不可視性に対してより堅牢である。

構造化された照明パターンの強度特徴を用いる位置の識別は、強度特徴が見える対象物上のポイントの３Ｄ位置を決定するために用いられる。これは、３Ｄ位置を計算するために最終的な構造化された照明パターンで得られる特徴の画像位置を用いて直接的に、又は、３Ｄ位置を計算するための追加的な構造化された照明パターンの強度特徴を用いて間接的に行われることができる。後者の場合、追加的な照明パターンの強度特徴は、３Ｄ位置を計算するための最終的な構造化された照明パターンにおける特定された強度特徴の位置の高密度セットを用いて特定されることができる。

この方法におけるステップは、プログラム可能な処理システムにより実行されるコンピュータプログラムの制御の下で実行されることができる。１つの側面によれば、斯かるプログラムを持つディスク又は半導体メモリといったコンピュータプログラム製品が提供される。

ある側面によれば、請求項１１に記載の３Ｄオブジェクトスキャナが提供される。

３Ｄ表面位置情報を決定するシステムを示す図である。 ３Ｄ表面位置の決定のフローチャートを示す図である。 画像ラインに沿った画像信号の値を示す図である。

これら及び他の目的及び有利な側面が、以下の図面を用いて、例示的な実施形態の説明から明らかになる。

図１は、３Ｄ表面位置情報を決定するシステムを示し、光源１０、カメラ１２、並びに光源１０及びカメラ１２に結合される処理システム１４を有する。光源１０及びカメラ１２は共に、異なる位置から目的１６に向けられる。

動作において、光源１０は対象物１６上へ照明パターンの系列Ｐ（ｎ）（ｎ＝０、１...）を投影し、対象物１６が個別のパターンにより照射されるとき、カメラ１２は対象物１６の画像ＩＭ（ｎ）をキャプチャする。以下において、照明パターンＰ（ｎ）は、光源１０からの光線に対して横断方向の平面での断面における強度により特徴づけられる（本書において用いられる「横断」は、平行でないもの、例えば垂直なものに対して用いられる）。照明パターンの３次元構造は、この断面及び光源１０の特性に追従する。例えば、発散光源の場合、照明パターンは、源ポイントからの方向の連続体において、光線の集合を有する。断面における各ポイントはこれらの方向の１つに対応し、断面における強度は、対応する方向における光線の強度に対応する。平行なビーム光の場合、断面における強度は、それぞれが断面において対応するポイントを通過する平行な光線の強度に対応する。

照明パターンが明るい及び暗い領域を持つ断面を持つ実施形態が説明される。この場合、照明パターンは、明るい及び暗い領域の間のエッジに関して特徴づけられる。

図２は、処理システム１４の制御下の３Ｄ表面位置の決定動作の実施形態のフローチャートを示す。第１のステップ２１において、処理システム１４は、現在の照明パターンを選択する。最初に、処理システム１４は、明るい領域及び暗い領域の間のちょうど１つのまっすぐなエッジを備える断面を持つ現在の照明パターンＰ（ｎ）（最初ｎ＝０である）を選択する。第２のステップ２２において、処理システム１４は、現在の照明パターンを対象物１６上へ投影するよう光源１０を制御する。ある実施形態において、補完的な画像のペアを持つ連続した照射が用いられることができる。

第３のステップ２３において、処理システム１４は、対象物１６が現在の照明パターンで照射される間に得られる、カメラ１２からの対象物１６の画像ＩＭ（ｎ）（最初ｎ＝０である）をキャプチャする。オプションで、画像ＩＭ（ｉ）は、対象物１６が現在の照明パターンＰ（ｎ）で照射される間に得られる画像ＩＭ１と、斯かる照明なしにキャプチャされる画像又は斯かる照明パターンの補完Ｐ'（ｎ）でキャプチャされる画像との画素値の間の差である画素値を持つ差画像ＩＭ１（ｎ）−ＩＭ０（ｎ）とすることができる（例えばその結果、照明パターンＰ（ｎ）、Ｐ'（ｎ）の断面における強度の合計が位置から独立する）。この実施形態において、処理システム１４は、照射をオフにするか又は補完的なパターンに切り替えるため光源１０を制御するよう構成され、及び照明パターンＰ（ｎ）あり及びなしで、又は照明パターンＰ（ｎ）及びその補完Ｐ'（ｎ）で、画像ＩＭ１（ｎ）及びＩＭ０（ｎ）を連続してキャプチャするよう構成される。オプションで、画像ＩＭ（ｎ）は、強度値画像又は差画像を２値化することにより、例えば強度値と閾値とを比較することにより得られることができる。パターンを用いる照射が補完的なパターンを用いる照射により追従される場合、エッジ位置は、差画像における符号変化に対応する。第４のステップ２４において、処理システム１４は、エッジに沿った方向に対して横断して延在する複数の平行な画像ラインに沿って、キャプチャされた画像ＩＭ（ｎ）をスキャンし、エッジに対応するステップ又は符号変化に関して、このラインに沿って画像強度を検索し、そのステップ又は符号変化の位置ｘ（ｉ）を決定する（インデックスｉは、この画像ラインに沿った変化をラベリングする：理想的には、初期の画像ＩＭ（０）に関して、唯一の画像ラインエッジが存在し、ｉ＝０である）。

第５のステップ２５及び第６のステップ２６において、処理システム１４は、現在の照明パターンＰ（ｎ）の断面における照明パターンエッジに画像ラインエッジを関連付ける。第７のステップ２７において、処理システム１４は、前のステップが所定の数の照明パターンに対して実行されたかどうかを検査する。行われていない場合、処理システム１４は、新しい照明パターンで第１のステップ２１から繰り返す。

従って、処理システム１４は、第１〜７のステップ２１〜２７の連続したサイクルをそれぞれ現在の照明パターンとして異なる照明パターンＰ（ｎ）を用いて実行する。各連続したサイクルにおける照明パターンＰ（ｎ）は、以前のサイクルにおける照明パターンＰ（ｎ−１）のエッジと同じ位置で相互に平行な照明パターンエッジの第１のサブセットと、第１のサブセットにおける各２つの連続した照明パターンエッジの間の、それらの２つの連続した照明パターンエッジに平行な照明パターンエッジの第２のサブセットとを持つ。オプションで、第２のサブセットは、第１のサブセットの最も外側の照明パターンエッジを越える照明パターンエッジを含むことができる。

図３は、対象物１６が固定されたままである第４のステップ２４において処理システム１４が遭遇することができるとき、連続した照明パターンで得られる連続した画像における同じ画像ラインに沿って理想とされた画像強度に関する照明パターンを示す。

画像ラインに沿った第１の画像強度プロファイル３１は、初期の照明パターンに対応し、１つの画像ラインエッジ３１ａを持つ。連続したサイクルにおける画像ラインの連続した強度プロファイル３２、３３（２つだけが示される）は、連続してより多くの画像ラインエッジ３２ａ〜ｃ、３３ａ〜ｇ等を持つ。画像ラインエッジの第１及び第２のサブセットは、第２の強度プロファイル３２において区別されることができる。第１のサブセットは、第１の強度プロファイル３１の画像ラインエッジ３１ａに対する同じ位置で１つの画像ラインエッジ３２ｂを持ち、第２のサブセットは、第１のサブセットにおける画像ラインエッジ３１ａの個別の側面上に２つの画像ラインエッジ３２ａ，ｃを持つ。同様に、画像ラインエッジの２つのサブセットが、第３の強度プロファイル３３において区別されることができる。第１のサブセットは、第２の強度プロファイル３２の画像ラインエッジ３２ａ、ｂ、ｃに対応する画像ラインエッジ３３ｂ、ｄ、ｆを持ち、第２のサブセットは、第１のサブセットの画像ラインエッジ３３ｂ、ｄ、ｆと、第１のサブセットにおける画像ラインエッジ３２ａ，ｃの個別の側面上の画像ラインエッジ３３ａ、ｇとの間の画像ラインエッジ３３ｃ，ｅを持つ。上述されるように、第２のサブセットにおけるすべての画像ラインエッジは、同じ第１の極性（低から高への強度）を持ち、第１のサブセットにおけるすべての画像ラインエッジは、第１の極性に対して反対の同じ第２の極性（高から低への強度）を持つ。

第５のステップ２５及び第６のステップ２６において、処理システム１４は、現在の照明パターンＰ（ｎ）の断面における照明パターンエッジと画像ＩＭ（ｎ）からの画像ラインエッジとを関連付ける。この関連付けは、照明パターンエッジのラベルＬ（ｉ）と組み合わせて、検出された画像ラインエッジ位置Ｘ（ｉ）（インデックスｉは、画像ラインに沿った変化をラベリングする）を記録することにより表されることができる。しかしながら、画像ラインエッジ又は他の画像特徴は、任意の便利な態様において照明パターンの特徴に関連付けられることができる。この態様は例えば、照明パターンの異なる特徴に関するエントリを持つテーブルに位置値Ｘ（ｉ）を格納し、ラインに沿った個別のピクセル位置の各々に対応するエントリを持つテーブルを用い、ピクセル位置Ｘ＝Ｘ（ｉ）に関するエントリにおける特徴のラベルＬ（ｉ）を格納し、各個別のエッジ位置に対応するエントリを持つテーブルを用い、エッジ位置Ｘ（ｉ）に関するエントリにおける特徴のラベルＬ（ｉ）を格納し、ペア（Ｘ（ｉ）、Ｌ（ｉ））のセット、各々の位置及びラベル等を格納することにより行われる。ラベルは、特徴の所定のシーケンスにおける照明特徴のインデックス、又は特徴に関する情報を持つデータブロックに対するポインタ等とすることができる。

第５のステップ２５において、処理システム１４は、第２の極性を持つ画像ラインエッジに関して、関連付けられる照明パターンエッジＬ（ｉ）を決定する（エッジの第１のサブセット）。初期の照明パターンに対して、第５のステップ２５は、スキップされることができる。第６のステップ２６において、処理システム１４は、第１の極性を持つ画像ラインエッジに関して、関連付けられる照明パターンエッジＬ（ｉ）を決定する（エッジの第２のサブセット）。

第５のステップ２５において、現在の照明パターンＰ（ｎ）で得られる画像ＩＭ（ｎ）からの画像ラインの関連付けられる照明パターンエッジを決定するため、処理システム１４は、１つ又は複数の以前の照明パターンＰ（ｎ−１）、Ｐ（ｎ−２）、...で得られる１つ又は複数の画像ＩＭ（ｎ−１）、ＩＭ（ｎ−２）、...からの画像ラインの関連付けられる照明パターンエッジＬ（ｉ）を用いる。

照明パターンＰ（ｎ）におけるすべての照明パターンエッジが、画像ラインに沿った位置ｘ（ｉ）での画像ラインエッジに対応し、この逆も成り立つと仮定されることができる場合、処理システム１４は、以前の照明パターンＰ（ｎ−１）で得られる画像ＩＭ（ｎ−１）からの各画像ラインエッジに対して、現在の照明パターンＰ（ｎ）で得られる現在の画像ＩＭ（ｎ）における第２の極性の最も近い画像ラインエッジの位置ｘ（ｉ）を決定することにより、第５のステップ２５を実行することができる。追加的な実施形態において、以前に構造化された照明パターンに対して決定される第２の極性のエッジに関して推定される運動が、最も近いエッジを検索する前に画像位置を調整するために用いられることができる。この運動は、（重要なエッジ及び／又はその周囲における１つ又は複数のエッジを用いて）以前に構造化された照明パターンの系列からの対応するエッジの画像位置から推定されることができる。処理システム１４は、位置ｘ（ｉ）に関連付けるため、画像ＩＭ（ｎ−１）からの画像ラインエッジの関連付けられる照明パターンエッジＬ（ｉ'）を複製することができる。同様に、この仮定が用いられることができる場合、処理システム１４は、第６のステップ２６において、位置ｘ（ｉ）での第１の極性の各画像ラインエッジに対して、位置ｘ（ｉ−１）、ｘ（ｉ＋ｌ）での第２の極性の隣接する画像ラインエッジの関連付けられる照明パターンエッジＬ（ｉ＋１）、Ｌ（ｉ−１）を決定する。処理システム１４は、隣接する位置ｘ（ｉ−１）、ｘ（ｉ＋ｌ）での第２の極性の画像ラインエッジに関連付けられる照明パターンエッジＬ（ｉ−１）、Ｌ（ｉ＋１）の間の現在の照明パターンＰ（ｎ）における変化の照明パターンエッジＬ（ｉ）を選択し、第１の極性の画像ラインエッジの位置ｘ（ｉ）と選択された照明パターンエッジＬ（ｉ）とを関連付ける。

いくつかのタイプの対象物を用い、いくつかの照射条件の下で、このタイプの仮定を用いると、エラーの確率が増加されることになる。ある実施形態において、以前の照明パターンＰ（ｎ−１）で得られる画像ＩＭ（ｎ−１）からの画像ラインエッジを用いて照明パターンエッジに関連付けられた第２の極性の画像ラインエッジの各ペアの間に第１の極性の唯一の正確な画像ラインエッジが発生することができるという知識を利用することにより、斯かるエラーの確率は減らされることができる。第１の極性の複数の画像ラインエッジがペアの間に発生する場合、処理システム１４は、第１の極性の１つのエッジを選択するよう構成されることができる。こうして、照明パターンエッジをすべての画像ラインエッジに関連付けることと比較して、「誤った」関連付けの確率は減らされる。

処理システム１４は、第１のタイプの画像ラインエッジの間の第２のタイプの１つのエッジを選択するため、複数の基準のいずれかを用いるよう構成されることができる。画像が（例えばあるパターンとそのパターンの補完を用いる照射の間に得られる画像値の間の差を取ることにより得られる）差画像であり、画像ラインエッジの位置で符号変化を持つ実施形態において、画像ラインエッジ位置は、累積的な信号関数

の局所極値を選択することにより選択されることができる（第２のタイプのエッジが下降エッジである場合最大で、上昇エッジである場合最小となる）。ここで、Ｓ（ｉ）は、ｉによりインデックス化されるラインに沿った位置での現在の画像ラインにおける画像ＩＭの値であり、合計は、そのライン上の位置ｘまでのインデックス値にわたり取られる。信号Ｓ（ｘ）は、マルチビット信号（例えば８ビット信号）とすることができる。関数Ｆは、第２のタイプの照明パターンエッジに関連付けられる画像位置の間の第２のタイプの１つの検出された画像ラインエッジを選択するために用いられることができる検出スコア値の関数の例である。

この累積的な信号関数の代わりに、効果的に類似する効果を持つ他の基準が用いられることができる。累積的な信号関数の使用は、信号の符号が、オリジナルの値から変化する画像ラインエッジであって、短いインターバルの後、リターンエッジが続き、順に、画像ラインに沿った信号がオリジナルの値を持つ長いインターバルが続くような画像ラインエッジに基づかれる位置検出を効果的に除去する（及び、オリジナルの値でのラインの割合がより長い場合、斯かる画像ラインエッジ及びリターン画像ラインエッジをより一般に除去する）。多くの斯かるペアが第２のタイプの正確なエッジの近くにある場合、小さな位置エラーはまだ起こる可能性がある。しかし、斯かる小さな位置エラーは最終的な結果に影響を及ぼす必要がない。もちろん、差画像が用いられない場合、類似する技術が適用されることができる。例えば、画像信号と、照明パターンエッジに関連付けられる第２の極性の画像ラインエッジのペアの間のその平均との間の累積的な差が用いられる（差画像が用いられる場合にも、これが用いられることができる）。位置は、照明パターンエッジに関連付けられる第２の極性のペア画像ラインエッジの間の信号セグメントにフィルタ動作を適用する結果から決定されることができる。代替的な基準として、他の検出スコアが用いられることができる。例えば、第２のタイプの１つのエッジが、検出スコアとしてエッジ振幅に基づき（例えば最も大きな振幅を持つエッジを選択することにより）選択されることができ、又は隣接する画像ラインにおける照明パターンエッジに関連付けられる第２のタイプの最も近いエッジ位置ｘ（ｉ）への距離に依存するスコアに基づき（例えばそのエッジ位置に最も近い現在の画像ラインにおけるエッジを選択することにより）選択されることができる。例えば、異なる基準（累積的な信号の値、振幅、距離等）に基づき位置にスコアを割り当て、各エッジに関して、異なる基準に基づきスコアを組み合わせ、最良の組み合わせスコアを持つエッジを選択することにより、斯かる基準の組合せが用いられることができる。

ある実施形態において、処理システム１４は、複数の画像ＩＭ（ｎ−１）、ＩＭ（ｎ−２）...から最も近いエッジを決定することにより、第５のステップ２５を実行することができる。本実施形態において、第５のステップ２５は、前の画像ＩＭ（ｎ−１）、ＩＭ（ｎ−２）...における照明パターンエッジＬ＝Ｌ（ｉ'）に関連付けられる位置ｘ（ｉ'）を、現在の照明パターンＰ（ｎ）で得られる画像ＩＭ（ｎ）における同じ照明パターンエッジＬ＝Ｌ（ｉ）に関連付けられる位置ｘ（ｉ）へと更新するステップを有する。

更に本実施形態において、第５のステップ２５は、第１の極性の各画像ラインエッジ位置ｘ（ｉ）に対して、任意の前の照明パターンＰ（ｎ−１）、Ｐ（ｎ−２）で得られる画像ＩＭ（ｎ−１）、ＩＭ（ｎ−２）...から最も近い更新された画像ラインエッジ位置ｘ（ｉ'）を決定し、その最も近い画像ラインエッジの関連付けられる照明パターンエッジＬ（ｉ'）を複製するステップを有する。この手順の様々な精練が用いられることができる。例えば、所定の距離ｄ内の位置ｘ（ｉ'）がより若い画像ＩＭ（ｎ''）（ｎ'＜ｎ''）から利用可能ではない場合にのみ、即ち、より若い画像ＩＭ（ｎ''）において

を満たす位置ｘ（ｉ'）が存在しない場合にのみ、処理システム１４は、現在の画像ＩＭ（ｎ）（ｎ'＜ｎ）に関して関連付けられる照明パターンエッジを複製するため、古い画像ＩＭ（ｎ'）からの位置を用いるよう構成されることができる。

別の例として、画像値と閾値との比較に基づき、バイナリ値（１又は０）が、連続した画像ＩＭ（０）、ＩＭ（１）...における画像ラインに沿ったピクセル位置に割り当てられることができる。こうして、対象物の運動がなければ、Ｎの異なる画像ＩＭ（０）、ＩＭ（１）...ＩＭ（Ｎ−１）から同じ位置に対するバイナリ値が、この位置で見える照射パターンの部分に対するインデックスとして用いられることができるＮビットコードを形成する。同じ関連付けられる照明パターンエッジを持つエッジに関して見つけ出された位置に基づき、毎回、このバイナリ値により形成される信号におけるエッジの位置をこのラインに沿って動かすことにより、運動が説明されることができる。

第２の極性のエッジ位置を決定する第５のステップ２５が、第１の極性のエッジ位置を決定する第６のステップ２６の前に実行される実施形態が説明されたが、このシーケンスは、逆転されることができる点に留意されたい。この場合、前に構造化された照明パターンに関して決定される第２の極性のエッジの画像位置が、第１の極性のエッジの画像位置に関する検索が決定される範囲をセットするために用いられることができる。追加的な実施形態において、前に構造化された照明パターンに関して決定される第２の極性のエッジに関して推定される運動が、この範囲をセットする前に画像位置を調整するために用いられることができる。運動は、前に構造化された照明パターンの系列に基づき、対応するエッジの画像位置から推定されることができる。次に、現在の構造化された照明パターンに関して決定される第１の極性のエッジの画像位置が、第２の極性のエッジの画像位置に関する検索が決定される範囲をセットするために用いられることができる。本実施形態において、第６のステップ２６の類似する累積的な合計アルゴリズムが、第５のステップ２５において用いられることができ、累積的な合計を計算する開始位置は、第１の極性のエッジの選択された位置から決定される。これは、運動効果に対する堅牢性を増加させることができる。

例えば、各画像に対する状態ｘ（０）＜ｘ（１）＜ｘ（２）＜...を維持するため、処理システム１４は、更新の間、単調性を強化するよう構成されることができる。例えば、より低い位置ｘ（ｉ'−１）の更新が、その低い位置を位置ｘ（ｉ'）を過ぎて動かす場合、処理システム１４は、若い画像において対応する位置が発見されない古い画像ＩＭ（ｎ'）におけるエッジの位置ｘ（ｉ'）も更新するよう構成されることができる。位置ｘ（ｉ'）は、例えば位置ｘ（ｉ'−１）と同じ量分シフトされるか、又は位置ｘ（ｉ'−１）からの所定のオフセットに対してシフトされることができる。

第７のステップ２７において前のステップが所定の数の照明パターンに対して実行されたと処理システム１４が決定するとき、処理システム１４は第８のステップ２８へ進む。第８のステップ２８において、位置ｘ（ｉ）と、この位置に関連付けられる照明パターンエッジＬ（ｉ）を持つエッジに対応する３Ｄ表面に関する情報とを用いて、処理システム１４は、照明パターンにおけるエッジで見える対象物ポイントの３Ｄ座標を決定する。処理システム１４は、位置ｘ（ｉ）及びそれが検出される画像ラインが、ピクセル位置を規定するという事実を用いることができる。このピクセル位置は、続いて、ピクセル上へ撮像されることができるポイントの３Ｄラインを規定する。更に、処理システム１４は、照明パターンエッジが、断面においてエッジを通過する光源１０から光線により形成される３Ｄ表面に対応するという事実を用いることができる。この３Ｄライン及びこの３Ｄ表面が交差する所でポイントを解くことにより、処理システム１４は、対象物ポイントの３Ｄ座標又は対象物ポイントからのカメラまで距離を解くことができる。

別の実施形態において、第８のステップ２８は、追加的な照明パターンＰ'で対象物を照射し、画像ＩＭ（ｎ）を用いて得られる関連付けられる照明パターンエッジＬ（ｉ）を用いて、照明パターンＰ（ｎ）の断面におけるエッジと追加的な照明パターンにおける特徴との間の所定の空間関係に基づき、この追加的な照明パターンにおける特徴を特定するよう、処理システム１４が光源を制御することを有する。

ある実施形態において、ピクセル位置の間の画像強度の内挿又は画像強度の得られた量が、所定のレベルと交差する位置を決定することにより、処理システム１４が、サブピクセル精度を持つ画像ラインエッジ位置ｘ（ｉ）の少なくとも１つを決定するよう構成される。こうして、エッジのより高い信頼性の識別が可能にされ、３Ｄ位置が高い精度で決定されることができる。

この処理は、画像ラインの異なる１つに対して独立的に画像ＩＭ（ｎ）の複数の画像ラインに対して実行されることができる。ある実施形態において、エッジが検出されない場合、隣接行におけるエッジの関連付けられる照明パターンエッジが、画像ライン上の位置に照明パターンエッジを関連付けるために用いられることができる。別の実施形態では、例えば、隣接する画像ラインにおいて対応するピクセルに対する画素値の合計から、２次元画像オペレータを用いてエッジが検出されることができる。

上述されたように、照明パターンの系列が用いられる。ここで、各連続する照明パターンＰ（ｎ＋１）は、前の照明パターンＰ（ｎ）における強度特徴（エッジ）に等しい位置で、（光強度を空間的に変化させる）特定のエッジにおける第１の強度特徴を持ち、第１の照明パターンエッジの間の第２の強度特徴を持つ。

ある実施形態において、第８のステップ２８は、異なる時間ポイントで得られる画像を用いて繰り返されることができる。従って、前のステップを用いるエッジの１つの識別は、複数の時間ポイントでの３Ｄ位置の決定に適用されることができる。ある実施形態において、第８のステップ２８が適用される異なる画像の間の対象物の運動が原因によるエッジの運動を補償するため、運動追跡が適用されることができる。ある実施形態において、上述されたように、構造化された照明パターンの系列の部分が、斯かる反復される第８のステップ２８の前又は後に対象物上へ投影されることができ、第１及び第２の極性のエッジに対応する画像位置を特定するために用いられることができる。更なる実施形態において、例えば、既存のエッジ識別が失われている又は信頼性が低いことをテストが示すとき、異なるラインにおける同じエッジに対して決定される画像位置が、閾値以上異なることが検出されるとき、時間的運動が閾値を超えるとき、又は、エッジが見つけ出されることができない場合、これが第８のステップ２８の選択された反復に対してのみ実行される。

この実施形態において、系列からの連続的な以前に構造化された照明パターンが、時間的連続において、即ち連続してより少ないエッジを持つパターンに投影されることができる。この場合、系列から構造化された照明パターンを用いて画像が得られるとき、そのパターンにおけるエッジの、以前に決定された、好ましくは運動補償された画像位置が、第１及び／又は第２の極性のエッジに関する検索範囲をセットするために用いられる。検索がすべてのエッジに対して新しい画像位置を生成する場合、これらは、図２のフローチャートを用いて説明される態様でエッジの後続の構造化された照明パターンに対する画像位置を決定するのに使用され、系列から新しく投影される構造化された照明パターンに適用される。画像位置がすべてのエッジに関して決定されるわけではない場合にのみ、系列に関する次の以前に構造化された照明パターンが、投影され、画像位置に関する検索等のために用いられる。こうして、系列からの構造化された照明パターンの最も高い周波数部分が、運動追跡の間、精度の損失を補償するために用いられることができる。例えば運動が原因による識別の損失を修正するため、構造化された照明パターンの部分だけを用いて再照射するこのオプションが、第８のステップ２８の反復実行での使用に関して説明されたが、信頼性の低い結果又は第５及び第６ステップ２５、２６における失われたエッジの検出に基づき、例えば、より少ないエッジを持つ構造化された照明パターンの１つ又は複数を用いて再照射し、検出されたエッジを画像において再特定することにより、第８のステップ２８最初の実行の前に適用されることもできる点を理解されたい。

本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。

照明パターンにおけるエッジが用いられる実施形態が記載されたが、他の局所化可能な特徴が用いられることができる点を理解されたい。例えば断面における所定の幅のライン又はウェーブレットを持つ照明パターンが、用いられることができる。エッジ位置の代わりに、ラインの中央位置が使用される。しかしながら、これは、エッジ極性に基づき第１及び第２のサブセットを区別することをより困難にする場合がある。

好ましくは照明パターンにおける各特徴が、次の照明パターンにおける同じ位置での相対物を持つが、このことは必ずしも常に必要であるわけではない点を理解されたい。従って、最終的な照明パターンまで用いられることなしに、特徴（例えば最も外側の特徴）が、限られた数の後続の照明パターンに関して、関連付けられる照明パターン特徴の選択を誘導するために用いられることができる。

処理が一般の光／画像強度特徴に関して説明されたが、色要素の強度又は色要素の組合せが用いられることができる点を理解されたい。光源１０は、１つの色要素の光パターン、又は、白色光パターン、又は異なる色要素における複数の異なるパターンで対象物を照射するよう構成されることができる。

第２のサブセットの特徴（エッジ）が第１のサブセットの特徴の各ペアの間に加えられる実施形態が説明されたが、第２のサブセットが、より少ない特徴を有することができる点を理解されたい。従って、照明パターンＰ（ｎ）は、前の照明パターンＰ（ｎ−１）においてすでに存在した連続した特徴のペアの間の追加的な特徴を何ら含まない場合がある。これは、新しくない特徴が照明パターン特徴に関連付けられ、異なる画像領域における第１及び第２のセットにおける特徴の極性の間で識別がなされなければならないという効果を持つ。別の実施形態では、第２のサブセットの１つ以上の特徴が、第１のサブセットの特徴のペアの間に加えられることができる。これは、より新しい特徴が照明パターン特徴に関連付けられ、同じ極性を持つ第１及び第２の特徴の間で識別がなされなければならないという効果を持つ。

連続してより多くの特徴を持つ照明パターンが用いられる実施形態が説明されたが、代替的に、照明パターンが逆順に用いられることができる点を理解されたい。この場合、処理システム１４は、異なる画像に関して検出された画像ライン特徴位置を格納することができ、その後最少の特徴を持つ画像から始まる照明パターン特徴関連付けステップを実行することができる。

別の実施形態では、照明パターンＰ（ｎ）は、任意の時間的オーダーにおいて用いられることができる。しかしながら、時間的に増加又は減少する数の特徴を持つ照明パターンが使用される。

最少の特徴を持つ照明パターンが１つの特徴を持つ実施形態が説明されたが、代替的に、最少の特徴を持つ照明パターンが１つ以上の特徴を持つことができる点を理解されたい。（例えば、画像ラインの開始から特徴を計数することにより）画像ライン特徴の初期の識別を可能にするよう特徴が十分に間隔を置かれる限り、処理は、開始ポイントとして斯かる照明パターンを用いて実行されることができる。

照明パターンが基本的にバイナリである（オンかオフ）実施形態が説明されたが、代替的に、位置の関数としてより漸進的な強度変動を持つ照明パターンが用いられることができる点を理解されたい。

照明パターンが光線のフラット平面における特徴を持つ実施形態が説明されたが、代替的に、対象物１０がフラット場合であっても、対象物１６とのカーブする交差を持つ、湾曲面における特徴が用いられることができる点を理解されたい。表面の３Ｄ形状の説明が与えられると、処理システム１４は、カメラ及び表面の３Ｄ形状から光線の交差を解くことにより、３Ｄ位置を決定することができる。照明パターンにおける特徴を持つ表面が互いに対して平行である必要はないが、それらがカメラ表示角度により規定される範囲において互いに交差しないことが好ましい。

図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「ａ」又は「ａｎ」は複数性を除外するものではない。シングルプロセッサ又は他のユニットが、請求項に記載される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な媒体に格納／配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims (12)

1. 構造化された照明を用いて対象物から３Ｄ表面位置情報を決定する方法において、
   構造化された照明パターンの系列を提供するステップであって、前記系列における各連続した構造化された照明パターンが、強度特徴の第１及び第２のサブセットを含み、前記第１のサブセットの各強度特徴は、前記系列において前に構造化された照明パターンからの前記第１又は第２のサブセットからの強度特徴の個別の１つと空間的に一致する、ステップと、
   少なくとも異なる時間ポイントで前記系列の前記構造化された照明パターンの異なる１つを用いて前記対象物を照射するステップと、
   前記照明パターンの個別の１つでシーンが照射されるとき、前記シーンの２Ｄ画像をキャプチャするステップと、
   前記構造化された照明パターンの前記第１及び第２のサブセットの強度特徴が前記画像において見えるような画像位置を検出するステップと、
   各連続した構造化された照明パターンに関して、
   前記系列において前に構造化された照明パターンで得られる前記画像において関連付けられる強度特徴を持つ検出された画像位置の前記関連付けられる強度特徴に基づき、前記第１のサブセットの強度特徴が見える画像位置と前記第１のサブセットの強度特徴とを関連付けるステップ、及び
   前記第１のサブセットの相互に隣接する強度特徴に関連付けられる前記画像位置のペアの間の個別の位置範囲において、前記第２のサブセットの強度特徴が見える画像位置と前記第２のサブセットの強度特徴とを関連付けるステップであって、前記第２のサブセットに関する関連付けが、前記相互に隣接する強度特徴の前記第１のサブセットに関する関連付けに基づかれる、ステップと、
   前記系列の最終的な構造化された照明パターンにおける強度特徴及び画像位置の間の前記関連付けを用いて、３Ｄ表面位置情報を決定するステップとを有し、
   前記第１及び第２のサブセットの強度特徴が、画像ラインに沿った強度変化の相互に対向する方向におけるエッジである、方法。
2. 前記対象物が、前記系列におけるシーケンスに対応する時間的シーケンスにおいて、前記構造化された照明パターンを用いて照射される、請求項１に記載の方法。
3. 前記強度特徴が、前記構造化された照明パターンにおいて相互に異なる光強度の領域の間のエッジである、請求項１に記載の方法。
4. 前記第２のサブセットの複数の強度特徴が前記ペアの１つにおける画像位置の間で検出される場合、前記第２のサブセットの強度特徴が前記ペアの１つにおける画像位置の間で見える画像位置を選択するステップと、
   前記位置のペアの１つに関連付けられる前記強度特徴の間の前記第２のサブセットの強度特徴と前記選択された画像位置とを関連付けるステップとを有する、請求項１に記載の方法。
5. 前記系列の次に前に構造化された照明パターンの最も近い検出された強度特徴の関連付けられる強度特徴に基づき、及び斯かる最も近い検出された強度が前記次に前に構造化された照明パターンにおいて発見されない場合、前記系列において更に前に構造化された照明パターンから、前記第１のサブセットの強度特徴の前記検出された画像位置を関連付けるステップを有する、請求項１に記載の方法。
6. 前記系列における現在の構造化された照明パターンで得られる前記画像における前記位置のペアに関連付けられる強度特徴の間の前記第２のサブセットの強度特徴と、前記系列において前に構造化された照明パターンで得られる前記画像における前記第１のサブセットの強度特徴に関連付けられる前記画像位置のペアの間の前記第２のサブセットの強度特徴が見える画像位置とを関連付けるステップと、
   前記系列における現在の構造化された照明パターンで得られる前記画像における前記第２のサブセットの連続した強度特徴に関連付けられる画像位置の間の検索範囲を規定するステップと、
   前記第１のサブセットの強度特徴が見える前記画像位置に関する前記検索範囲を検索するステップと、
   前記系列における現在の構造化された照明パターンで得られる前記画像における前記関連付けられる強度特徴と前記画像位置とを関連付けるステップとを有する、請求項１に記載の方法。
7. 前記第１及び／又は第２のサブセットの画像位置及び強度特徴の間の前記関連付けが失われたとき、前記系列の部分からの１つ又は複数の構造化された照明パターンを用いて前記対象物の照射を追加的に反復するステップと、
   前記照明パターンの前記部分の個別の１つでシーンが照射されるとき、前記シーンの１つ又は複数の追加的な２Ｄ画像をキャプチャするステップと、
   前記１つ又は複数の追加的な画像において前記第１のサブセットの強度特徴が見える画像位置と前記強度特徴とを再び関連付けるステップとを有する、請求項１に記載の方法。
8. 前記系列の最終的な構造化された照明パターンにおける前記特定された強度特徴の前記検出された位置を用いて、前記最終的な構造化された照明パターンの強度特徴が前記対象物と交差する対象物位置の３Ｄ表面位置情報を決定するステップを有する、請求項１に記載の方法。
9. 前記最終的な構造化された照明パターンに対して所定の空間関係を持つ追加的な構造化された照明パターンで前記対象物を照射するステップと、
   前記系列における初期の照明パターンで前記対象物を照射する時間より、前記最終的な照明パターンで前記対象物を照射する時間に近い時間で、前記追加的な構造化された照明パターンで前記対象物が照射される間、追加的な画像をキャプチャするステップと、
   前記最終的な照明パターンの強度特徴で得られる位置の前記関連付けられる強度特徴と前記所定の空間関係とを用いて、前記追加的な画像における検出された強度特徴を特定するステップと、
   前記追加的な構造化された照明パターンで得られる前記特定された強度特徴の前記検出された位置を用いて、前記追加的な構造化された照明パターンの強度特徴が前記対象物と交差する対象物位置の３Ｄ表面位置情報を決定するステップとを有する、請求項１に記載の方法。
10. 前記画像位置が、画像ラインに沿った画像強度変動から検出される、請求項１に記載の方法。
11. コンピュータに、請求項１乃至１０のいずれか一項に記載の方法を実行させるための、コンピュータプログラム。
12. 構造化された照明パターンの系列を用いて３Ｄ位置情報を決定する３Ｄオブジェクトスキャナであって、
    前記系列における各連続した構造化された照明パターンが、強度特徴の第１及び第２のサブセットを含み、
    前記第１のサブセットの各強度特徴は、前記系列において前に構造化された照明パターンからの前記第１又は第２のサブセットからの強度特徴の個別の１つと空間的に一致し、
    前記３Ｄオブジェクトスキャナが、構造化された光を投影するよう構成される光源と、カメラと、前記光源及び前記カメラに結合される処理システムとを有し、
    前記処理システムが、
    異なる時間ポイントで前記照明パターンの個別の１つを用いてシーンが照射されるとき、前記シーンの２Ｄ画像をキャプチャし、
    前記構造化された照明パターンの前記第１及び第２の強度特徴が前記対象物と交差する位置が前記画像において見えるような画像位置を検出し、
    各連続した構造化された照明パターンに関して、
    前記系列において前に構造化された照明パターンで得られる前記画像において関連付けられる強度特徴を持つ検出された画像位置の前記関連付けられる強度特徴に基づき、前記第１のサブセットの強度特徴が見える画像位置と前記第１のサブセットの強度特徴とを関連付け、及び
    前記第１のサブセットの相互に隣接する強度特徴に関連付けられる前記画像位置のペアの間の個別の位置範囲において、前記第２のサブセットの強度特徴が見える画像位置と前記第２のサブセットの強度特徴とを関連付け、前記第２のサブセットに関する関連付けが、前記相互に隣接する強度特徴の前記第１のサブセットに関する関連付けに基づかれ、
    前記系列の最終的な構造化された照明パターンにおける強度特徴のラベルを用いて、３Ｄ表面位置情報を決定するよう構成され、
    前記第１及び第２のサブセットの強度特徴が、画像ラインに沿った強度変化の相互に対向する方向におけるエッジである、３Ｄオブジェクトスキャナ。

Images