JP3571325B2 - 三次元の表面座標の決定方法 - Google Patents

Description

【０００１】
本発明は対象物の表面の光学的な三次元測量に関する。これは組立ての際、例えば複製に、製造管理の際、特に品質監視のために、既存の機械および設備の修理、拡張のようなリエンジニアリングにおいて特に重要である。それは例えば食品の品質管理の際または人の識別および認証の際のような非技術的な対象物の場合にも応用される。他の使用分野はバーチュアルリアリティのための対象物の三次元モデリング、マルチメディアおよびプレイ範囲である。
【０００２】
対象物の三次元測量のために長年の間“コード化された光を用いる空間コード化光投影法”（ＣＬＡ）が使用されてきた。この空間コード化光投影法では、プロジェクタが対象物を、構造化された光を有する種々の光パターンで順次照明する。カメラがこうして照明された対象物の像を撮像する。プロジェクタ、カメラおよび対象物は三角形を形成する。対象物表面上の点座標を計算するために三角測量が使用される。そのための前提条件は固定座標系におけるプロジェクタおよびカメラの空間的位置が前もって知られていることである。さらに、対象物像の各点に対して、プロジェクタが対象物点を照明する角度Φが知られていなければならない（図２）。最初に知られている位置データは、カメラの視光線の対象物点に属するカメラ角度κが像点座標によりかつ光学的なカメラ較正からのデータにより知られている較正過程により取得される。
【０００３】
“空間コード化光投影法”は、一連の帯状の光パターンが静止している対象物上に順次投影されかつそれからそれぞれ像が撮像されしかもこうして照明された対象物の明るい像点および暗い像点が各像点に対して別々にコーディングに構成されそのコーディングから投影角度Φが推定されることによって、投影角度Φを決定している。
【０００４】
この方法では各対象物点が種々の投影パターンによる全ての撮像中にその位置を維持しなければならないので、この方法は静的な不動の対象物には良く適しているが、運動する対象物または変形する対象物には適していない。従って、顔または他の身体部分に対する個人識別の際または輸送装置上の動かされる対象物の識別の際の使用は推奨できない。この方法を改善するために種々の提案がなされた。
【０００５】
文献〔１〕には、単一のパターンのみを投影し、このパターンを、全てのパターン内で無比でありそれによりカラーカメラの像内で識別される多色の垂直なストリップの群から構成することが提案されている。これらの部分群が妨害または損傷されなければ、それらから各カラーストリップに対してプロジェクタの光平面が決定され、三角測量が実行される。しかし、部分群が長いほど、例えば対象物における深いクラックまたは覆いにより生ずる障害の発生確率が高い。このことは群が識別されないこと、または誤って識別されることに通じ、それによって三次元座標の決定の際の誤りに通ずる。
【０００６】
文献〔２〕には、４つの色を有する長さ６の群における調査において、パターンのシミュレートされた障害の際に、全てのストリップの２０％までが決定されず、約８％までが誤って決定されたことが見い出されている。従って、垂直なカラーストリップの水平な群からストリップ番号を決定するこの方法は満足できないものとして評価されなければならない。
【０００７】
一般的に言えることとして、対象物の表面点の投影角度を決定するためには、単一のパターンのみが投影されるべきであれば、その近傍が観察されなければならない。投影角度の決定（デコーディング）のために必要な像点の近傍が大きいほど、深クラックまたは覆いによるコーディングの損傷の危険が大きい。
【０００８】
公知の三次元測量方法に関する展望は文献〔３〕にあげられている。
【０００９】
本発明の課題は、単一の投影されるパターンのみの使用の際に対象物の三次元の表面座標を決定するための確実な光コーディングを行い、それによってコーディングの誤った評価または対象物の運動による質低下をなくすことである。
【００１０】
この課題は請求項１の特徴組み合わせにより解決される。
【００１１】
有利な実施態様は従属請求項にあげられている。
【００１２】
本発明は、二次元のカラーパターンが、色または分光組成の点で予め定められた方式で区別される個々のパターン要素から構成されること、また投影角度Φがカラーパターンにより照明された対象物の撮像された像内で一義的に再構成され各パターン要素に対応付けられることに基づいている。これは、選び出されたパターン要素の色または分光組成が測定され、この色または分光組成が、例えばほぼ水平に向けられている行のなかで隣接するパターン要素の１つ、および隣接行のなかに位置している隣接するパターン要素の１つと比較されることによって、行われる。パターン要素に対するコーディングはパターン要素自体の色と、好ましくは水平方向の隣接パターン要素の１つ、および水平方向とほぼ直交する方向の隣接パターン要素の１つに対する色または分光組成の相違とから成っている。それによって、コーディングのために必要な局部的な近傍が最小限に、すなわち直接に隣接するパターン要素の２つに制限されている。コーディングは、カラーパターン内で、現在観察されるパターン要素と、行のなかの直接的に隣接するパターン要素、および行の方向にカラーパターンに対する隣接行からの直接的に隣接するパターン要素との組み合わせも無比であるように設定されている。
【００１３】
パターン要素の幾何学的な形状は任意であってよく、例えば多角形状（三角形、四角形、六角形…）または円形状であってよい。行のなかの好ましくは水平な隣接パターン要素の方向は、隣接行の方向の好ましくは垂直な隣接パターン要素の方向と互いに直交していなくてもよいが、９０°だけ異なっていてよい。カラーパターンを縦長の長方形のパターン要素から構成すると有利である。特に水平方向および垂直方向にシステマティックに色または分光組成が異なっている垂直に立っている短いストリップが使用される。例えば８種類の色、例えば３つの原色（赤、緑、青）から加法混色される、数字０、１、２、…７を付された色が使用されると、カラーパターンの一部分は色０、１、２、３、４、５、６、７を有する８つの垂直なストリップセクションの水平な配置から成っており、かつカラーパターンの他の部分は配置０、７、６、５、４、３、２、１から成っている。これらの両部分は水平な隣りとの比較により区別される。なぜならば、色番号の相違が第１の群では昇順であり、第２の群（モジュロ８！）では降順であるからである。相い並んだ配置から長さ１６のカラーシーケンス“０、１、２、３、４、５、６、７、０、７、６、５、４、３、２、１”が生ずる。これは周期的に多数回相い並んで、すなわち行のなかで繰り返される。全てのカラーパターンの周期の相違を区別し得るように、このストリップシーケンスの上側および下側に、すなわち隣接する行のなかに、色番号が垂直な方向にカラーパターンの差の相違により区別され得る他のストリップシーケンスが配置されている。
【００１４】
パターン要素の数またはそれらの大きさを表面構造にかつ分解能の必要とされる精度に適合させるために、繰り返されるシーケンスを有しかつ多数（少なくとも２つ）の異なって形成された隣接行から成る相応に長い行を有するカラーパターンが構成される。二次元のカラーパターンから撮像されたカメラ像内のシーケンスのなかですなわち行のなかで、シーケンスのなか、従って投影角度Φのなかの表面点の水平位置が決定される。すなわちパターン要素の水平位置は直接に投影角度Φに換算可能である。全体として各色は一義的に分類され、他の各色から区別される。
【００１５】
本発明の有利な実施態様では、それぞれ２つの行の間に、全てのパターンカラーと区別される色または分光組成を有する分離帯が置かれる。この変形例では、隣接行のなかで直接に隣接する２つパターン要素の色の同一性が許される。
【００１６】
以下において概要図面により実施例を説明する。
【００１７】
図１には上部に２つのパターンシーケンスＳ１、Ｓ２が示されている。シーケンスＳ１はここで２つの等しい半部７、８から成っている。シーケンスＳ２はここで２つの等しくない半部７１、８１から成っている。数字は、図１の下部に示されているように、それぞれカラーパターン内に存在している色に相当する。図１の中央部分に示されているカラーパターン９にはパターンシーケンスＳ１、Ｓ２が二重の行として全体で４回上下に並べられている。このパターンシーケンスのなかで２つの隣接するパターン要素間の水平の差は１よりも大きい。垂直の差は第１半部（７、７１）に対しては１もしくは−７であり、これは８つの異なる色の際に等値である。パターンシーケンスＳ１の図１に示されている部分シーケンス７、８は全てのバリエーション、すなわち順序の注意のもとに１に等しくない水平な差を有する８つの数字からの２つの数字の部分集合、を含んでいる。垂直の差に１、２または３だけ（モジュロ８）高められた番号も上記の特性を有するので、パターンシーケンスＳ２はシーケンスＳ１に対する隣接行として適している。パターン要素と隣接行からの直接に隣接するパターン要素との比較により色差が判明し、それによりシーケンスＳ１、Ｓ２の第１半部７、７１が第１半部８、８１から区別されるので、部分シーケンス７、８の繰り返しにもかかわらず、各パターン要素は行方向に全シーケンスのなかの隣接行の要素の比較により一義的に位置をつきとめられる。カラーパターン９は他の垂直な色番号の差（例えば０、３、４）を有する別のシーケンスを行方向に拡張され得る。カラーパターン９内でそれぞれ異なる色が隣り合っており、また境界範囲または境界帯を形成するので、色の差を検出することが重要である。例えば１または−７の垂直な差の代わりに垂直な差が０であるとすれば、すなわち垂直に隣接するパターン要素１０間の色の同一性が許されるならば、有利に水平な分離帯１３が行４間に挿入されていなければならない。これらの分離帯はパターン要素１０の全ての色とは異なる色を有する。分離帯の色は好ましくは黒色であってよい。この場合、例えば隣接するパターン要素間の垂直な差が０に等しいならば、隣接する行のパターン要素間の区別が行われる。なぜならば、例えば黒色の分離帯１３が垂直方向のパターン要素間の境界を示すからである。
【００１８】
カメラ像内のシーケンスのなかのパターン要素の絶対的な位置のデコーディングのために、最初にその色を決定しなければならない。この目的は投影角度Φの決定である。像内でその隣接するパターン要素を見い出すためには、対象物３に投影されてカメラ光学系により撮像されたパターン要素の輪郭を決定しなければならない。これは像内で一般に長方形ではなく、また投影されたパターン内での向きと全く同じ向きには向けられていない。検出すべき輪郭は隣接するパターン要素１０との境界である。プロジェクタ１およびカメラ２の先に行われた較正により、また投影パターン内の行の好ましくは水平の向きにより、像内のパターン要素とシーケンス行との向きが再構成される。パターン要素の輪郭の１つが超過されると、色値または分光組成が変化する。これが隣接要素との色番号の比較のために測定される。
【００１９】
障害の際および不確かな決定の生起の際には、計算された三次元座標と対象物点６の近傍の三次元座標との比較は同様に誤りの回避または補正のために寄与する。これは三次元モデルの計算された表面の等化に相当する。
【００２０】
透明陽画を有する従来のプロジェクタの代わりに、ビデオ信号により制御される制御可能な像マトリックスプロジェクタも使用され得る。この像マトリックスプロジェクタは、光変調器の能動的なマトリックスによりビデオ信号のなかに含まれるパターン像を発生し、光学系により対象物３上に投影する。像を発生する制御されるマトリックスの光変調器は通過光減衰に対するＬＣＤ要素または反射層を有するものであってよい。マイクロミラー、レーザーダイオードまたは他の光発生要素のマトリックスも使用され得る。最後に、平らなカラーパターン９が空間セクターにわたる単一の光源の運動、すなわちテレビジョンの場合のような１行ごとの走査によっても発生され、投影され得る。光変調のための種々のテクノロジーは光発生によるもの、光の通過時の光減衰によるもの、光反射によるもの、または二次元のスキャンによるものに分けられる。
【００２１】
固定の透明陽画の投影と比較して制御可能なマトリックスプロジェクタによるパターン発生の利点は、最初に撮像された基準像の評価の後に続いて発生されるパターンがその局部的な明るさ、そのコントラストまたは色の数または選択を制御され、それによって最適に対象物の特性に例えばその明るさまたは色に関して適合されることにある。
【００２２】
図２は色投影を用いた三角測量による三次元の座標測量の概要図を示す。三角測量のためにプロジェクタ１、カメラ２および対象物３が三角形のコーナーに配置されている。プロジェクタ１とカメラ２との間の線分は基線１４と呼ばれ、既知である。プロジェクタ１はカラーパターン９を対象物３の表面上に投影する。対象物３の多数の表面点６が測量され、それぞれ対象物点の三次元座標が決定される。計算のために好ましくは三角測量方法が使用される。これらの計算の際に一方ではカメラ角度κが、他方では投影角度Φが重要である。角度Φにより各対象物点６にプロジェクタ１およびカメラ２に対して相対的な位置が対応付けられる。カメラの視光線の角度κは像点座標と光学的なカメラ較正のデータとから既知である。図２に種々の色の相い続く列の形態のカラーパターン９により示されている照明は、このシーケンス内のパターン要素の位置を一義的に決定し得るコーディングを表す。文字ＲＧＢは赤‐緑‐青を表す。
【００２３】
図３は図１の一部分ＩＩＩ‐ＩＩＩに相当する一部分を示す。コーディングに相応して参照すべきカラーパターン９の要素が示されている。現在観察されるパターン要素１０は、この直角な系のなかで隣接しているパターン要素１１と、垂直に隣接しているすなわち隣の行に現れるパターン要素１２とにより隣接されている。行４は列５とほぼ直交している。
【００２４】
図４は行４および列５を有するカラーパターン９の一部分を示し、パターン要素１０がマークされている。行４間に、カラー要素と相違する色を有する分離帯１３が存在していることにより、列５のなかで隣接するパターン要素の色が等しいことを許す本発明の変形例が示される。
【００２５】
本発明に応じて、多色のパターン要素１０から成る二次元のカラーパターンが使用される。この二次元のカラーパターンは、パターン要素の色にもさらにこのパターン要素の直接に隣接するパターン要素との関係にも情報を含んでいる、すなわちコード化されている。隣接関係と一緒にこの色を決定することにより、カラーパターン内の位置が推定される。それによって、能動的な三角測量による三次元測量用の投影角度Φのコーディングのための特にコンパクトで従ってフェイルセーフなカラーパターンを作製することができる。こうして、プロジェクタ１（通常はスライドプロジェクタ）により測量すべき対象物上に投影される単一のパターンによって対象物点６の位置認識のためのコーディングを行うことが可能である。こうして、“空間コード化光投影法”によりパターンを交換して多数回の照明を実行する必要性がなくなる。本発明によれば、この単一のパターンを有する単一の照明で十分である。認識の確実性を高めるために基準像が均等な白色の対象物照明または等しいスペクトル分布の対象物照明の際に撮像されるべき場合には、最大２つの照明が必要であった。基準像（対象物の固有色を再現する正規のカラー像）の撮像は特に多色の対象物の場合に像内の色を決定するために役に立つ。弱いカラーバリエーションを有する対象物の場合（例えば灰色または白色の対象物の場合）、投影されるパターンによる対象物の撮像が三次元座標の決定のために十分である。
【００２６】
本発明の用途は特に人の顔の形状把握、顔認識またはポーズの認識である。利点のまとめを以下に示す。
−単一のパターンの投影のみが必要である。
−コーディングが水平および垂直方向の比較による一番近くの隣接関係への制限により特にトラブルフリーである。
−水平および垂直のコーディングが同時に行われる。
−さらに現在検出すべきパターン要素の水平および垂直に隣接するパターン要素の使用により、コーディングの際の場所範囲の最小化が行われる。なぜならば、対角線方向に隣接する要素が考慮に入れられないからである。
−コーディングが行方向の投影されたカラーパターン内のパターン要素を一義的に決定し、それによって投影角度Φを決定し、続いて三角測量によりこの対象物点６の三次元座標が決定される。
−基準像の撮像が擾乱光補償を可能にし、基準像はカラーパターンなしに均等な照明により撮像される。
【００２７】
文献：

【図面の簡単な説明】
【図１】パターンシーケンスＳ１、Ｓ２およびそれらから構成されたカラーパターンを示す図。
【図２】カラーパターン投影により対象物表面における三次元座標を計算するための装置の概要図。
【図３】カラーパターンの一部分を示す図。
【図４】行の間に分離帯が存在しているカラーパターンの一部分を示す図。
【符号の説明】
１ プロジェクタ
２ カメラ
３ 対象物
４ 行
５ 列
６ 表面点
７、８ 等しい半部
９ カラーパターン
１０、１１ パターン要素
１４ 基線
７１、８１ 等しくない半部
Φ 投影角度
κ カメラ角度

Claims (13)

1. −プロジェクタ（１）により既知の構造のカラーパターン（９）で対象物（３）を照明し、カメラ（２）により対象物像を撮像する過程を含み、カラーパターンはそれぞれ異なる色または投影される光のそれぞれ異なる分光組成またはそれらの組み合わせを有するパターン要素から成り、
   −撮像のために対象物（３）上にカラーパターン（９）を１回投影する過程を含み、カラーパターン（９）は多数のパターン要素（１０）を有する少なくとも２つの隣接する行（４）を有し、それぞれパターン要素（１０）の色または投影される光の分光組成は行のなかで隣接するパターン要素（１１）とも隣接行のなかに位置している隣接するパターン要素（１０）とも区別でき、それによって撮像された像のカラーパターン（９）内の行（４）のなかのパターン要素（１０）の位置を一義的に決定することができ、このパターン要素（１０）に投影角度（Φ）が対応付けられ、それによってカメラ（２）とプロジェクタ（１）との間の既知の相対的な位置のもとで観察される対象物点の三次元座標が決定されることを特徴とする三次元の表面座標の決定方法。
2. 観察される各パターン要素（１０）に対して、その行のなかの直接的に隣接するパターン要素との組み合わせも、行の方向にカラーパターンに対する隣接行の直接的に隣接するパターン要素との組み合わせも無比であることを特徴とする請求項１記載の方法。
3. パターン要素（１０）の異なる分光組成が紫外線または赤外線光の範囲内に位置していることを特徴とする請求項１または２記載の方法。
4. 行（４）のパターン要素（１０）が群としてシーケンスにまとめられることを特徴とする請求項１ないし３の１つに記載の方法。
5. それぞれ１つの行のなかに複数の等しいシーケンス（７；８）が並べられていることを特徴とする請求項４記載の方法。
6. それぞれ１つの行のなかに複数の異なるシーケンス（７１；８１）が並べられていることを特徴とする請求項４記載の方法。
7. パターン要素（１０）の輪郭が多角形であることを特徴とする請求項１ないし６の１つに記載の方法。
8. パターン要素が長方形に構成され、カラーパターン（９）が互いに垂直に向けられた行（４）および列（５）を有することを特徴とする請求項７記載の方法。
9. カラーパターン（９）内の垂直に隣接する行（４）が垂直に多数回並べられていることを特徴とする請求項１ないし８の１つに記載の方法。
10. ３〜６４個の異なる色または分光組成の間のパターン要素（１０）の区別のために使用されることを特徴とする請求項１ないし９の１つに記載の方法。
11. それぞれ２つの行の間に、全てのパターンカラーと区別される色または分光組成を有する分離帯（１３）が存在し、非水平方向に、２つの隣接するパターン要素（１０、１２）の色の同一性が許されることを特徴とする請求項１ないし１０の１つに記載の方法。
12. 周囲光または対象物の色による擾乱作用を最小化するために、基準像が均等に白い照明または均等に分光分布した照明により撮像されることを特徴とする請求項１ないし１１の１つに記載の方法。
13. プロジェクタとして、像点の色および明るさを制御し得るラスター像プロジェクタが使用され、パターンを対象物の色および明るさに最適に適合させるために、最初に撮像された基準像の評価の後に、続いて発生されるカラーパターンがその局部的な明るさ、そのコントラストまたは色の数および選択を制御されることを特徴とする請求項１２記載の方法。

Images