JP4988155B2 - 対象を３次元に検出する方法および装置ならびに装置及び方法の使用 - Google Patents

Description

本発明は対象を３次元に検出する方法に関し、この方法では、
−検出すべき対象に既知の投影データを有する色パターンを投影し、
−検出すべき対象に投影された色パターンをカメラを用いて検出し、
−カメラによって形成された画像を評価ユニットにおいて３次元の対象座標に処理する。

本発明はさらに本方法を実施するための装置ならびに装置および方法の使用に関する。

対象を３次元に検出する方法は種々の使用目的に関して、例えば人間の識別および認証のために必要とされる。例えばＤＥ１９９ ６３ ３３３ Ａ１からは、色のついたパターン要素からなる２次元の色パターンを検出すべき対象に投影し、検出すべき対象に投影されたこの色パターンをカメラを用いて検出することが公知である。検出すべき対象の表面は立体的な性質を有するので、色パターンはカメラによって形成された画像においては本来の配置に比べるとずらされており、その結果プロジェクタとカメラの位置が既知である場合には、検出すべき対象の表面における対象点の３次元データを計算することができる。

もっとも公知の方法は色のついたシーンには適していない。むしろ公知の方法では、参照画像を均一の白色の対象照明を用いて撮影することが必要である。この参照画像によってパターン画像における投影された色を検出することができる。公知の方法では少なくとも２つの画像を撮影することが必要とされるので、移動性または変形性の対象には制限的にしか適していない。したがってこの公知の方法は、手または顔の識別には制限的にしか適していない。

P. VuylstekeとA. Oosterlinckの「Range Image Acquisition with a Single Binary-Encoded Light Pattern」IEEE Transaction on Pattern Analysis and Machine Intelligence, 第１２巻２号、１９９０年２月からは、検出すべき対象に、付加的に符号化された白黒の２次元パターン投影することが公知である。この際、カメラ画像の各点に関する投影角度を点の画像周辺から求めることが試みられている。殊に、カメラの視点からの対象面への立体的な配向によって生じる投影パターンのひずみからそれぞれの点の投影角度を求めることが試みられている。しかしながらこのことは、滑らかに延在する表面を有する対象にしか良好に達成することができない。しかしながら検出すべき対象においてくぼみ（Tiefenspruenge）が存在する場合には、画像点周辺の符号化されたパターン要素は妨害され、このことは検出不可能または誤った投影角度を生じさせ、また結果として誤った３次元対象座標を生じさせる。

したがってこの従来技術を基礎とする本発明の課題は、検出すべき対象の色調によってもくぼみによっても損ねられることのない、対象を３次元に検出する方法を提供することである。

さらに本発明の課題は、この方法を実施するための装置を提供することである。

この課題は独立請求項の特徴を有する方法および装置によって解決される。従属請求項には本発明の有利な構成および実施形態が示されている。

本発明による方法では、投影座標が色パターンにおいて冗長符号を用いて符号化される。符号化のために色パターンを使用することは、殊に顔を識別する際にくぼみまたは遮蔽部によって符号の妨害は生じ得ないように符号化をコンパクトに実施できるという利点を有する。さらには符号化は、冗長符号化を用いることにより対象の色調によって惹起される画像内の色品質劣化を検出して除去できるので誤りに対してロバストである。

したがって方法を実施するために設けられている装置は、冗長符号化された色パターンを、検出すべき対象に投影するプロジェクタを有する。

方法の有利な実施形態においては、色パターンを構成する混合色に割り当てられる値は複数の符号語に分割されている。この場合符号語は有利には非自明なハミング距離を有する。ここで非自明なハミング距離とは１より大きいハミング距離とする。符号化のこのような形態でもって符号化された投影データを識別する際には良好な結果が得られた。

符号化のロバスト性は符号語を重畳することによってさらに高めることができる。

別の措置は個々のチャネルにおける色変化に関する。識別の精度を例えば、各色チャネルにおける色値はその都度、予め定められた２つの色値しかとらないことによって高めることができる。好適には各色チャネルにおける色は考えられる最小値と別の考えられる最大値とで変化する。

さらには、色変化が少なくとも２つの色チャネルにおいて同時に行われなければならないことが要求される。

これらの２つの措置によって、検出すべき対象の色調の変化に起因する障害を除去することができる。

色パターンに対する別の有意な要求は各符号語における色変化の数である。各符号語内でそれぞれの色チャネルにおいて少なくとも１つの色変化が生じるならば、識別エラーは複数の符号語にわたることはない。

色変化を冗長符号化された符号の符号語に統合することによっても識別の精度をさらに改善することができる。色パターンの符号化に対するこれらの要求によって復号時のエラーを確実に検出する事ができる。

復号は、一次導関数の最大値を決定することによって、検出された測定信号の変曲点が評価ユニットにおいて検出されることによって行われる。潜在的な色変化に対応付けることができるそのように検出された変曲点は引き続き、色符号の符号化が充足されているという判定基準について検査される。この際例えば色変化の大きさおよびチャネル間の色変化の相関が検査される。別の判定基準は例えば、変曲点は正の勾配と負の勾配とがそれぞれ対になって生じなければならず、且つ色変化は色変化の符号語に対応していなければならないといったものである。

最後に色変化は色変化の符号化された符号語と一致するか否かについて検査され、検出された画像の点に対応付けられた投影データが検出される。カメラによって検出された画像におけるそれぞれの点の投影データおよび座標から、検出すべき対象の表面の３次元対象座標を算出することができる。

以下では本発明を付属の図面に基づき詳細に説明する。ここで、
図１は対象データを３次元に検出するための装置の俯瞰図である。
図２ａから２ｃはデータ処理を具体的に説明するグラフである。
図３ａおよび３ｂは検出された対象の再構成されたプロファイル線を表す。

図１には、検出すべき対象３の表面２の３次元対象座標を決定するために使用される装置１を示す。

装置１は色パターン５を、検出すべき対象３の表面２に投影するプロジェクタ４を有する。図１に示されている事例では色パターン５は並置されている一連の色ストライプから構成されている。しかしながら、図１に示した１次元の色パターン５の代わりに２次元の色パターンを使用することも考えられる。

図１に示されている実施例では、対象３の表面２の各点Ｐに投影平面ｇを対応付けることができる。したがって色パターン５によって投影データは符号化されている。対象３の表面２に投影された色パターン５はカメラ６によって画像７に変換され、この画像７において表面２における点Ｐが点Ｐ′に変換される。プロジェクタ４とカメラ６の配置構成が既知である場合、殊に基線８の長さが既知である場合には、三角測量によって表面２における点Ｐの３次元空間座標を計算することができる。このために必要とされるデータ処理および評価は評価ユニット９によって行われる。

対象３の表面２がくぼみおよび遮蔽部を有する場合でも、表面２における点Ｐの３次元空間座標を１つの画像７から決定できるようにするために、色パターン５は投影平面ｇの符号化がエラーに対して可能な限りロバストであるように構成されている。さらには符号化によって対象の色調に基づくエラーを除去することができる。

図１に示されている実施例では、色パターン５の色はＲＧＢモデルによって表される。色パターン５を構成する混合色に割り当てられる値の変化は個々の色チャネルＲ、ＧおよびＢにおける色値が変化することによって行われる。

ここで色パターンは以下の条件を満たすものとする：
−各色チャネルにおいては２つの色値しか使用されない。殊に各色チャネルにおいてはそれぞれ最小値と最大値が使用され、その結果ＲＧＢモデルでは全部で８つの色が使用される。
−１つの符号語において各色チャネルは少なくとも１つの色変化を示す。この条件は個々の符号語の復号を可能にする。
−隣接する色要素は少なくとも２つの色チャネルで異なる。この条件は例えば、殊にくぼみに対するエラー許容差を保証するために使用される。
−色パターン５の個々の符号語は非自明なハミング距離を有する。この条件も、投影平面ｇの復号の際のエラー許容差を高めるために使用される。
−色変化も非自明なハミング距離を有する符号語に統合される。

以下では、上記の５つの条件を満たす色パターン５についての例を説明する。この色パターン５は赤色チャネルＲ、緑色チャネルＧおよび青色チャネルＢを有するＲＧＢモデルに関する。色値は各色チャネルにおいてそれぞれ最小値か最大値しかとらないので、全部で８つの混合色が使用され、この混合色にはそれぞれ以下の数が割り当てられている：
黒 ０
青 １
緑 ２
シアン ３
赤 ４
マゼンタ ５
黄 ６
白 ７

混合色に割り当てられる値の符号語の長さには色ストライプ４つの分の長さが選択され、この際隣接する符号語はそれぞれ３つの色ストライプと重畳している。

色変化も数値に対応付けた。３つの色チャネルのそれぞれのチャネルにおいては色値を一定に保たれる、低減する、上昇することができるので、混合色の全部で２７の種々の色変化が生じ、この色変化には０〜２６のうちの１つの数がそれぞれ割り当てられた。色変化に対応付けられている符号語の長さは３つの色変化で等しく選択されており、この際隣接する符号語はそれぞれ２つの色変化と重畳する。

検索アルゴリズムによって、前述の５つの条件を満たす色パターン５の実施例を表す以下の順番の数が発見された：
1243070561217414270342127216534171614361605306352717072416305250747147065035603634743506172524253607

ここで示した実施例においては第１の符号語は１２４３からなり、第２の符号語は２４３０からなり、第３の符号語は４３０７からなる。ここで示した実施例は非常にロバストな符号化を表す。

図２ａ〜２ｃはデータ処理を具体的に説明するものである。図２ａには元の色信号１０が示されている。対象３の表面２によって元の色信号１０が測定信号１１に変形される。明瞭にするために、ここでは色信号１０および測定信号１１は、図１に示した色パターン５の色ストライプを横断する方向で示していることを言及しておく。

データ処理のために、第１のステップでは測定信号１１の一次導関数１２が計算される。続いて、一次導関数１２の極大値１３が計算されることによって測定信号１１の変曲点が決定される。正確な位置は導関数１２の極大値の周辺において放物線または３次多項式を直接フィットさせることによって計算される。これにより生じる極大値はその空間的な分布に応じて、混合された色信号の極大値に統合され、これらの極大値は複数の色チャネルにわたり延在する。すなわち、複数の色チャネルが設けられている場合に、単一のチャネルＡの各極大値は、位置間隔がｎピクセル（ただしｎは１のような所定数）よりも小さければ、チャネルＢの直近の極大値およびチャネルＣの直近の極大値とまとめられる。このように極大値をまとめることの技術的な意味は、混合された色信号の極大値にちょうど１つの位置を割り当てることにある。複数の色チャネルにわたり延在する極大値の位置は、個々の色チャネルにおける極大値の位置の重み付けされた平均値が形成されることによって計算される。重み付けに使用される係数は、測定信号１１のフィット曲線の品質および信号ノイズ比を基礎として形成される。他の色チャネルにおける別の極大値に対応しない個々の極大値はそれ以降無視される。図２ｃにおいては例えば誤って検出された極大値１４を除去することができる。

さらなる方法ステップにおいては、同一の極大値がプロファイル線１５に結合される。図３ａは極大値にはさらなるフィルタリングが行われていない場合の結果を示す。しかしながら色変化は、相互に非自明なハミング距離を有している重畳された符号語を用いて構造化されているので、表面２の色調における色エッジに基づく極大値もフィルタリングすることができる。結果が図３ｂに示されている。すなわちここで説明する方法は色パターン５における色変化に基づく、色変化の実際のプロファイル線１５を十分に検出することができる。

さらなる経過においては画像７の点Ｐには色符号化によって投影平面ｇを対応付けることができる。この場合表面の３次元対象データは、カメラ６とプロジェクタ４の配置が既知である場合には三角測量によって得られる。

本方法は既に十分に試験された。１０４のストライプが一義的な符号化を形成した色パターンを使用した。しかしながら検査構造体の幾何学は符号化されたパターンの部分的な反復を許容するので、投影される色パターン５に関しては全部で１５６の光平面が使用された。

プロジェクタ４には簡単なスライドプロジェクタもＬＣＤプロジェクタも使用した。光学系が大きな焦点深度について最適化されている簡単なスライドプロジェクタはコストの観点からより良好な択一形態である。

カメラには５７４×７６８ピクセルの解像度を有する種々のＲＧＢカメラを使用した。個々の色チャネル間でのクロストークを可能な限り抑制するために、カメラ６における良好な色分離が重要である。評価ユニット９にはPentium（登録商標）４ ２．４ＧＨｚプロセッサを備えたコンピュータを使用した。これによりプログラムコードの速度を最適化せずとも１秒間に１５画像まで撮影および分析することができた。したがって本方法はジェスチャーの識別に十分適している。

本方法は、表面２の色調の変化および背景照明の変化が色パターン５の色変化と周波数および振幅に関して対応しない場合には確実に動作する。このことはまた図３ａおよび図３ｂからも識別でき、これらの図面においては指１６が多色の台１７上に載置されている。

面に３次元座標を対応付けられるようにするためには、この面は画像７において少なくとも８×８ピクセルの大きさでなくてはならない。何故ならば評価のためには少なくとも２つの完全な色ストライプが必要とされるからであり、この際カメラ６における１つの色ストライプは少なくとも３ピクセル幅である。

ここで説明する方法の実施に際して、表面２の３次元座標を決定するためには表面２の１回の撮影で十分であるので、ここで説明する方法およびここで説明する装置はことに移動または変形する対象の検出に適している。したがってここで説明する方法は生物測定学の枠内において、顔の識別およびジェスチャーの識別に適している。その限りではここで説明する方法は特に人間の識別および認証に適している。

別の適用領域は製品の品質保証、例えば改装、修理のための建造物内の物体の測定または既存の機械または装置の拡張、またはマルチメディアまたはゲームの分野における対象の３次元モデリングが該当する。

色パターン５を表すために別の色モデル、例えばＹＵＶモデルも使用できることを言及しておく。

さらに、カメラの概念はあらゆる画像システムと解することを言及しておく。

対象データを３次元に検出するための装置の俯瞰図である。 データ処理を具体的に説明するグラフである。 データ処理を具体的に説明するグラフである。 データ処理を具体的に説明するグラフである。 検出された対象の再構成されたプロファイル線を表す。 検出された対象の再構成されたプロファイル線を表す。

Claims (10)

1. 対象（３）を３次元に検出する方法であって、
   −検出すべき前記対象（３）に既知の投影データを有する色パターン（５）を投影し、該色パターン（５）は複数の混合色から構成されており、該混合色は複数の色チャネルにおける色値の組み合わせによって表され、
   −前記対象（３）に投影された前記色パターン（５）をカメラを用いて検出し、
   −前記カメラ（６）によって形成された画像（７）を評価ユニット（９）において前記対象（３）の３次元座標に処理する、対象（３）を３次元に検出する方法において、
   前記色パターン（５）における前記投影データを、該投影データが冗長符号を有するように符号化し、
   前記色値は少なくとも２つのチャネルにおいて共に変化し、前記評価ユニット（９）における評価の間に、少なくとも２つの色チャネルにおいて一緒に生じた色変化を有効な色変化として認めることを特徴とする、対象（３）を３次元に検出する方法。
2. 前記色チャネルにおける色値を冗長符号の符号語を用いて構造化し、前記画像（７）の点（Ｐ）の投影データを、前記評価ユニット（９）によって実施される、前記色値を符号化した符号語の検索でもって識別する、請求項１記載の方法。
3. 前記色チャネルの色変化を冗長符号の符号語を用いて構造化し、前記評価ユニット（９）における評価の間に、色変化を符号語に応じて有効な色変化として認める、請求項１または２記載の方法。
4. 隣接する符号語はそれぞれ３つの色ストライプと重畳するよう設けられている、請求項２または３記載の方法。
5. 各色チャネルにおける前記色値は２つの値で変化する、請求項１から４までのいずれか１項記載の方法。
6. 各色チャネルにおける前記色値は最小値と最大値の間で変化する、請求項５記載の方法。
7. 前記符号語それぞれの各色チャネルにおいて少なくとも１つの色変化を実施する、請求項２から６までのいずれか１項記載の方法。
8. 前記評価ユニット（９）において、各色チャネルにおける色変化の位置を測定信号（１１）の一次導関数（１２）の極大値を用いて決定する、請求項１から７までのいずれか１項記載の方法。
9. 前記対象（３）の表面（２）の３次元座標を決定するために前記画像（７）の撮影を１回実施する、請求項１から８までのいずれか１項記載の方法。
10. 検出すべき対象（３）の表面（２）に色パターン（５）を投影するプロジェクタ（４）と、前記表面（２）に投影された色パターン（５）の画像（７）を撮影するカメラ（６）と、前記画像（７）を評価する評価ユニット（９）とを用いて、対象を３次元に検出する装置において、
    前記プロジェクタ（４）から投影される色パターン（５）および前記評価ユニット（９）は請求項１から９までのいずれか１項記載の方法を実施するために設けられていることを特徴とする、対象を３次元に検出する装置。

Images