JP5882264B2 - 三次元ビデオスキャナ - Google Patents

Description

本発明は、三次元ビデオサンプリングまたはスキャニングのための方法および装置に関し、さらに詳しくは、スキャンデータを実時間で得るための方法または装置に関するが、それのみに限定されない。

物体の３Ｄ形状を走査する方法は多数あり、これらの方法の幾つかは長年使用されている。そのような方法の一つは、シェーディングから形状情報を得ることであるが、これには、物体がどのように照明されるかについて事前に知る必要がある。長年使用されている方法として、二台のカメラを使用して物体を撮影することを含む立体写真からの形状復元法がある。さらなる方法は、フォトメトリックステレオ(photometric stereo)から形状を得るものである。フォトメトリックステレオ法は、同一カメラ位置から異なる照明条件で撮影した連続画像を使用する。

さらなる技法は添付の図１ａおよび図１ｂに図示されており、構造光から形状を得る。簡単に言うと、該技法は、一連のよく定義された光パターンを物体に投影することに基づいて、物体の表面モデルを構成することを含む。パターン毎にシーンまたは物体の画像が撮影される。この画像は、パターンおよびカメラに対するその相対位置に関する知識と共に、物体の表面に属する点の座標を計算するために使用される。

構造光からの形状復元技術には幾つかの変形がある。図１は、レーザ光１２を使用して平面を物体１０に投影することを含む（図１ａ）。そのようなシーンの画像は、物体とレーザ平面の交差を表す線１２だけを含むように制御される。そのような画像を図１ｂに示す。

物体１０全体を再構成するために、レーザ平面を物体の異なる部分に投影する必要があり、これはレーザを動かすか、あるいは物体を動かすかのいずれかによって達成することができる。一つの方法では、物体を回転台上で回転することによって、物体の複数の像が得られる。該方法が実時間作業には適さないことは明らかである。

現在使用されている別の方法は、符号化光からの形状復元法として知られる。今、図２を参照すると、システムは、プロジェクタ１４からの急速に変化するパターンを物体に投影し、次いで、どのパターンが検出用カメラ１６のどの画素に到達するかを記録することを含む。先に投影されたパターンが到達する画素は、後で投影されたパターンが到達する画素より奥に位置するとみなすことができる。プロセッサユニット１７は深さパターン復号化を実行し、出力装置１８に３Ｄ情報を持つ画像を表示させる。

この手法の一例は、Song ZhangおよびPeisen Huang著「High Resolution Real Time 3D Shape Resolution」（ニューヨーク州立大学）に見られる。この論文は、構造光技法に基づく高解像度実時間３Ｄ形状取得システムを記載している。記載されたシステムは、ＲＧＢチャネルが正弦波状または台形の干渉縞パターンにより符号化されるカラーパターンを使用する。再び、図２に関連して。カラーフィルタを取り外した変形ＤＬＰプロジェクタ１４によって投影された場合、カラーパターンは、２４０Ｈｚの周波数で順次投影された三つのグレースケールパターンになる。プロジェクタと同期化された高速度白黒ＣＣＤカメラ１６は三つの画像を捕獲し、そこから物体の３Ｄ形状が再構成される。テクスチャマッピング用の画像を捕獲するために、カラーＣＣＤカメラ（図示せず）も使用することができる。

３Ｄ形状捕獲の最大速度は１２０Ｈｚ（５３２’５００画素）であり、それは動く物体の３Ｄ形状を捕獲するのに充分高い。正弦波状位相シフトおよび台形位相シフトの二つの符号化方法が試験された。台形位相シフトアルゴリズムは、実時間３Ｄ再構成を可能にすると報告されている。

上述した技法は実験的であるが、一部の市販製品に見ることのできるレーザスキャナは、構造光技法の一部として分類することができる。

実時間３Ｄセンシングを得るために、幾つかの新しい技法が最近開発された。上述した台形位相シフトに加えて、物体の３Ｄ構造も単一の既知のパターンの記録された光学的な歪みから計算することができる。しかし、物体内のテクスチャは、マッチングの問題および著しい誤差を引き起こすことがある。

別の興味深い着想は、３ＤＶシステムのそれである。これらのシステムは、高速の光パルスを標的に投光することを含む。パルスは、標的のカメラに最も近い部分からの反射が最初に到達するように、標的から反射する。より遠い部分からの反射は後で到達する。該システムは光パルスの移動時間の測定に基づく。３ＤＶシステム製品は非常に高い精度を必要とし、したがって非常に高価である。さらにそれらは、符号化光の場合ほどではないが、テクスチャに対して敏感である。

したがって、上記限界を持たない３Ｄスキャンシステムの必要性が幅広く認識されており、それを持つことは非常に有利である。

本発明の一態様では、
一連の構造光信号を物体に向けられる光ビームに符号化するためのデジタルマイクロミラーデバイスを含み、輪郭を表わされた物体による信号の歪みが輪郭の三次元情報を示すように信号の構造が選択されて成る、デジタル光符号化ユニットと、
物体からの光ビームの反射を検出するためにデジタル光処理ユニットと同期化される検出器と、
検出された反射における信号の歪みから物体の３Ｄ形状を決定するための復号器と、を備えた３Ｄスキャン装置を提供する。

急速に変化する時間信号は二値パターン要素を含むことが好ましい。

検出器は複数の画素を含み、各画素は反射の検出を示す二値信号を出力するように構成されることが好ましい。

急速に変化する時間信号は一連の時間フレームを定義することが好ましい。

検出器は複数の画素を含み、各画素は反射の検出を示す時間フレーム当たり単一ビットを出力するように構成されることが好ましい。

システムはさらに、検出器の画素で受信されたデータを二値化かつ符号化し、それによって二値データを復号するためのプリプロセッサを含む。

本発明の第二態様では、
デジタルマイクロミラーデバイスを介して光ビームを物体に向けるステップと、
デジタルマイクロミラーデバイスを操作して、急速に変化する構造光信号をビームに変調させるステップと、
ビームと同期化された検出器でビームの反射を検出するステップと、
反射を復号して物体の深さ情報を決定するステップと、
を含む、物体を実時間で三次元走査するための方法を提供する。

急速に変化する構造光信号は二値パターン要素を含むことが好ましい。

検出器は複数のセンシング画素を含み、各画素は復号化のための二値信号を送信することが好ましい。

急速に変化する構造光信号は時間フレームを定義し、検出器は複数のセンシング画素を含み、各画素は復号化のために時間フレーム当たり単一ビットを送信することが好ましい。

本発明の第三態様では、
物体に向けて投影するための光ビームを生成するためのビーム源と、
三次元輪郭による歪みに対して選択された構造を含む急速に変化する構造光信号を光ビームに変調するために、ビーム源の下流に接続されたデジタル光二値信号符号化ユニットと、
物体からの光ビームの反射をセンシング画素で二値データとして検出するために、センサ画素を含み、デジタル光二値信号符号化ユニットと同期化された検出器と、
検出された反射における時間信号の歪みから物体の３Ｄ形状を決定するための二値復号器と、
を備えた３Ｄスキャン装置を提供する。

システムは、センシング画素で検出された反射のデータを二値化かつ符号化し、それによって二値データを復号するために、検出器に関連づけられたプリプロセッサを含むことができる。

デジタル光二値信号符号化ユニットは、二値データを信号に変調するデジタルマイクロミラーデバイスを含むことが好ましい。

本発明の第四態様では、
光ビームを物体に向けるステップと、
形状の歪みが物体の三次元輪郭を表わすように選択された形状を含む、急速に変化する形状信号をビームに変調するステップと、
ビームの変調と同期する検出器でビームの反射を同期的に検出するステップと、
反射を復号して変調二値時間信号の歪み情報を抽出し、そこから物体の三次元輪郭の情報を決定するステップと、
を含む、物体を実時間で三次元走査するための方法を提供する。

本発明の第五態様では、
光ビームを物体に向けるステップと、
明フレームおよび暗フレームを物体に到達する前に連続フレームの光ビームに変調するステップと、
連続フレームの物体からの反射を検出器で検出して、明フレーム検出レベルおよび暗フレーム検出レベルを得るステップと、
明フレーム検出レベルと暗フレーム検出レベルとの間の中間レベルを計算するステップと、
中間レベルを検出器で検出閾値として設定するステップと、
複数の構造光信号をさらなる連続フレームのビームに変調するステップと、
検出器で検出閾値を使用して連続フレームを検出し、それによって構造光信号の二値検出を達成するステップと、
検出された構造光信号の歪みから物体の三次元構造を決定するステップと、
を含む、物体を実時間で三次元走査するための方法を提供する。

検出は変調と同期化することが好ましい。

変調はデジタルマイクロミラーデバイスを使用して実行することが好ましい。

本明細書で使用される技術用語と科学用語はすべて、特に断らない限り、本発明の属する技術分野の当業者が共通して理解しているのと同じ意味を持っている。本明細書の材料、方法及び実施例は例示することだけを目的とし本発明を限定するものではない。

本発明の方法及びシステムを実行することは、ある選択されたタスク又はステップを、手動操作で、自動的に又はそれらを組み合わせて実行又は完了することを含んでいる。さらに、本発明の方法とシステムの好ましい実施態様の実際の機器や装置によって、いくつもの選択されたステップを、いずれかのファームウエアのいずれかのオペレーティングシステムのハードウエア又はソフトウエア又はそれらの組合せによって実行できる。例えば本発明の選択されたステップはチップ又は回路のようなハードウエアとして実施できる。本発明の選択されたステップは、コンピュータが適切なオペレーティングシステムを使って実行する複数のソフトウエアの命令のようなソフトウエアとして実施できる。いずれにしろ、本発明の方法とシステムの選択されたステップは、データプロセッサ、例えば複数の命令を実行する計算プラットホームで実行されると言える。

本明細書では本発明を単に例示した添付図面を参照して説明する。特に詳細に図面を参照して、示されている詳細が例示として本発明の好ましい実施態様を例示考察することだけを目的としており、本発明の原理や概念の側面の最も有用でかつ容易に理解される説明であると考えられるものを提供するために提示していることを強調するものである。この点について、本発明を基本的に理解するのに必要である以上に詳細に本発明の構造の詳細を示す試みはなされないが、図面とともに行う説明によって本発明のいくつもの形態を実際に具体化する方法は当業者には明らかになるであろう。

図１ａおよび図１ｂは三次元物体の輪郭を明らかにするために構造光を使用する先行技術に係る原理を示す画像である。 図２は本願の発明者によって設計された早期の三次元スキャナの略図である。 図３はデジタルマイクロミラーデバイスを使用して構造光信号を投影ビームに変調するが、検出器が変調器と同期しない、本発明の第一の好適な実施形態の略図である。 図４は黒と白の縞を含む構造光信号をピラミッド形物体に当てたときの生の検出出力を示す。 図５は本発明の好適な実施形態に従って二値化検出を使用して検出されたときの生の検出出力を示す。 図６は検出器が変調器と同期する、本発明の第二の好適な実施形態の略図である。 図７は変調器がすでに二値化されたことを前提として、図６の装置がいかにして単一のフレームを検出するかを示す簡易フローチャートである。 図８は図６の実施形態に従って、フレーム群の開始時に二つの二値化フレームを含むフレーム群の投影および検出を示す簡易フローチャートである。

本発明の実施形態は、上述した構造光の部類に入る改善された解決策を含む。解決策は、古典的な符号化光技術が実時間で働くことを可能にした投影分野における最近のナノ技術の発達と共に、既存のＣＭＯＳセンシング技術の変形に基づく。その考えというのは、ナノ技術を使用して一連の二値パターンを非常に高いフレームレートで効率的に、三次元輪郭情報が要求される物体に投影することである。パターンは物体に衝突して歪む。その後、画像センサに到達した、歪んだ二値パターンシーケンスが、各画素について検出される。次いで、送信画素と受信画素との間の差異が計算され、物体の３Ｄ形状がもたらされる。実時間処理を達成するために、センサは、各画素で受信した情報を全部送信しようとはしない。むしろ原符号化画像は二値パターンを含み、物体の３Ｄ深さ情報を画素毎に各時刻の二値情報として入手できるので、画素毎の二値情報のみ（グレースケールではなく１ビット）を解析のためにセンサから受け渡すことが必要である。

本発明に係る３Ｄスキャナの原理および動作は、図面および付随の説明を参照することにより、いっそうよく理解することができる。

本発明の少なくとも一つの実施態様を詳細に説明する前に、本発明は以下の説明に記載されているか又は図面に例示されている要素の構造の詳細と配置にその用途が限定されないと解すべきである。本発明にはその他の実施態様があり又は種々の方法で実行もしくは実施できる。また、本明細書に使用される用語と語句は説明を目的とするものであり、本発明を限定するとみなすべきではないと解すべきである。

ここで図３を参照すると、本発明の第一の好適な実施形態が示されている。図３で、Ｔ１ ＤＬＰ（デジタル光処理）プロジェクタ２０は、通常プロジェクタ内に収容されたデジタルマイクロミラーデバイス２２によって変調された光ビームを投影する。変調は情報を光ビームに挿入し、それは後で深さ情報が復号されることを可能にする。特に、構造情報が光ビーム内に変調される。好適な実施形態は、単純な黒と白の縞模様を使用する。変調されたビームは物体またはシーンに投影され、高フレームレートＣＭＯＳベースカメラ２４で検出される。全ての画素から集められた検出信号はプロセッサ装置２６に向けられ、それは深さ情報を抽出する。深さ情報は、原信号の縞模様が反射の際歪むように抽出される。つまり、物体の輪郭特徴が縞を歪ませる。物体の形状情報を復号するためには、以下で詳述するように、原形状の輪郭を処理しさえすればよい。

ここで図４を参照すると、それは、縞模様画像により変調されたビームの投影後の検出器の生画像を示す。物体はピラミッド状であり、縞は黒と白である。しかし、物体における照明および／または着色および／またはテクスチャのため、生画像はシェーディングを含む。

ここで図５を参照すると、それは、以下で詳述するように、画素によって検出された縞模様画像の二値化後を示す簡易図である。二値化は物体のシェーディングを解消し、下述するように、個々の画素が二値出力を生成することを可能にする。

説明を続ける前に、デジタル光処理およびデジタルマイクロミラーデバイスについて多少見解を述べることが適切である。デジタル光処理（ＤＬＰ）は現在、主にデジタルプロジェクタに使用されている。ＤＬＰプロジェクタは、１９８７年にテキサス・インスツルメンツのLarry Hornbeck博士によって発明されたデジタルマイクロミラーデバイス、つまりＤＭＤチップとして知られる光半導体をベースとする。ＤＭＤチップは精巧な光スイッチであり、最高１３０万個までの蝶着された微小ミラーの矩形配列を含む。これらのマイクロミラーは各々、ヒトの髪の毛の幅の五分の一未満を測定し、投影される画像の一画素に対応する。ＤＭＤチップがデジタルビデオまたはグラフィック信号、光源、および投影レンズと協調する場合、そのミラーは、全デジタル画像をスクリーンまたは他の表面上に反射させることができる。ＤＭＤおよびそれを取り巻く精巧な電子工学は、デジタル光処理技術と呼ばれる。

ＤＭＤパネルのマイクロミラーは、それらをＤＬＰプロジェクタシステム内の光源の方向（オン）または反対方向（オフ）に傾斜させることを可能とし、投影表面に明画素または暗画素を形成する小さいヒンジ上に装着される。

半導体に入るビットストリーム画像符号は、毎秒最高数千回スイッチオンおよびオフの方向に各ミラーを向けさせる。ミラーのスイッチオフよりスイッチオンの方がより頻繁である場合、それは明るいグレー画素を反射する。ミラーのスイッチオフの方がより頻繁である場合、暗グレー画素を反射する。このようにして、ＤＬＰ投影システム内のミラーはグレー画素を反射し、ＤＭＤに入るビデオまたはグラフィック信号を高精細グレースケール画像に変換することができる。

図３に戻ると、そこに示された実施形態は、プロセッサ装置２６による処理のために、各画素から大量のデータを送信する必要がある。受信する生画像は図４に示すものと同様であり、明るい縞および暗い縞がどこにあるかを見出すために、画素によって検出されたグレーレベルを解釈する必要がある。結局、他のどんな照明が周囲にあるかによって、黒の表面上の白の縞が白の表面上の黒の縞より本質的に暗くなることがある。さらに、そのような大量のデータを送信し、その後に処理する能力がシステムの処理速度の障壁として作用し、システムはそれ以外の場合に要求されるより高価かつ複雑になる可能性が高い。

ここで図６を参照すると、それは本発明のさらなる実施形態の略図である。前の図と同一である部品には同一参照番号が付与されており、本実施形態を理解するために必要である場合を除き、再度は言及しない。図６で、ビーム源３０は物体３２に投影するための光ビームを生成する。ビームは変調器２２で、深さマッピングを可能にするパターン、例えば上述した縞模様により変調され、変調ビームはプロジェクタ２０から物体上に投影される。プロジェクタ２０は、同期接続を使用してカメラ２４と同期化される。ＤＭＤ素子の使用は、それがデジタル素子であるために、同期化を容易にすることが注目される。

特に好適な実施形態は、カメラ２４は、調整可能な基準レベルを持つ二値ＣＭＯＳ検出器を使用する。カメラおよびプロジェクタは同期するので、どのフレームがどの時間に予想されるかが分かる。ビームはカメラで受信され、検出された画像はプロセッサ２６に送られる。

上述したＣＭＯＳ技術は、我々が毎秒１０００フレームのレートで容易に感知することを可能にする。捕獲された画像を全てのそれらのグレーレベルと共に、毎秒１０００フレームから決定される程度の速度で処理ユニットに伝達することは、非常に困難な仕事であるが、図６に関連して下述する通り、実際には検出フレーム毎に各画素に対し二値情報を、つまり単一ビットを送信することが必要なだけである。

図４の生画像について検討すると、各画素は実際はグレーレベルを検出する。しかし、最も明るい画素と最も暗い画素との間で物体のダイナミックレンジを画定することが可能である。次いで、まさしく最も明るいレベルと最も暗いレベルとの間の閾レベルを設定することができる。個々の画素は二値化され、それらの検出信号が閾値より上か下かによって二値出力を出す。このようにして、縞模様は復号される。閾値を設定し、次いで検出を実行するための好適な実施形態は、図８に関連して以下で説明する。

単一フレームにおける図６の装置の動作を、図７のフローチャートに示す。説明した通り、ビームは段階４０で生成される。デジタルマイクロミラーデバイスを使用して段階４２で画像はビームに変調され、次いでビームは段階４４で物体またはシーンに投影される。物体は、物体の３Ｄ輪郭に従って画像を歪め、歪められた画像は、段階４６でプロジェクタと同期化された高速ＣＭＯＳ検出器またはカメラで検出される。画像は次いで、段階４８で各画素で二値レベルとして符号化され、画素は早い段階で二値化されており、その段階については、下で図８に関連してより詳細に説明する。最後に段階５０で、信号はプロセッサに到達し、次いで歪みを使用して、物体の３Ｄ輪郭が復元される。

ここで図８を参照すると、それは、各画素がフレーム当たり単一ビットを使用して縞模様信号をいかに復号しうるかを示す簡易図である。

一連のフレームが一つに集められる。本書に記載したプロジェクタおよび検出器を使用して、毎秒１０００フレームのフレームレートを極めて合理的に達成することができるので、例えば１０フレームの一群は、１秒の１００分の１の期間をカバーする。

プロセスは、検出器で画素に対して検出閾値を計算することを可能にする較正段階から開始される。較正段階は、シーケンスまたはグループの第一フレームを投影することを含み、この第一フレームは完全に白であり、その後に完全に黒の第二フレームが続く。二つのフレームは検出され、平均が算出される。黒および白のフレームは、局所的ダイナミックレンジの低値および高値を定義し、平均は局所的閾値として使用できる中間点を定義する。

ひとたび較正段階が終了すると、次いで一連の典型的には８個の検出フレームが投影される。検出されたフレームはビームに変調される構造光信号を含む。該構造は説明した通り物体で変形され、変形は検出器で検出される。各画素において、検出はこの閾値または局所的中点値を使用して次に二値化される。閾値より低い画素検出は一つの二値出力を導き、閾値より高いものは反対の二値出力を導く。

物体全体に対する単一の閾値を算出することができ、あるいはサブ領域に対する局所的な値を代わりに使用しうることが注目される。このプロセスは１０パターン毎に繰り返される。つまり、システムは１００分の１秒毎に再較正される。したがって、プロセスは照明等の変化に対して非常に頑健である。

上述した手順を使用して、毎秒１０００個の投影パターンまたはフレームのシーケンスで、毎秒１００群×８ビット／群または層より多くの量を単一の画素に提供することができる。各々のそのような８ビット層は、所与の画素の深さプロフィルを表わす。したがって、実時間に入手して送信することのできる方法で、深さマップ情報が提供される。

したがって、好適な実施形態は、二値パターンの時間変調に対するＤＭＤの能力を、局所的同期化および二値化により単純なＣＭＯＳセンサを結合することによって、実時間３Ｄスキャンを達成する。

局所的範囲および閾値の計算は専用のプリプロセッサに割り当てることができる。

したがって好適な実施形態は、デジタル光処理（ＤＬＰ）システムの心臓部に見られる類のデジタルマイクロミラーデバイス（ＤＭＤ）システムとデジタルＣＭＯＳカメラの形の既存のＣＭＯＳ光センサ技術との組合せであり、その結果、時間変調符号化光３Ｄビデオセンサがもたらされる。

従来毎秒０．７フレームで動く試作品が作られている。

構造光システムの投影モデル
以下の部分では、上述した縞模様のような形状符号化をいかに安定的に使用して、物体の輪郭情報を復号することができるかを教示する。

典型的な構造光システムは、カメラおよびプロジェクタから構成される。プロジェクタの役割は、カメラによって取得された画像（または一連の画像）から縞符号を抽出することができるように、走査される物体を照明することである。符号化は、単一のパターンを空間的に使用するか、あるいは一連の変化するパターンを時間的に使用するかのいずれかにより行うことができる。

構造光スキャナの生出力は、画像内の全ての画素に割り当てられる縞コードである。世界座標系（ＷＣＳ）における射線とＷＣＳの面との交差は、物体ポイントの世界座標を生成する。そのような三角測量法を使用して、生のセンサデータはＷＣＳの３Ｄデータに変換される。

以下では、カメラおよびプロジェクタが両方ともピンホール光学モデルに従うと仮定する。このモデルに従わないレンズの場合、非線形歪み補正が必要になるかもしれない。３Ｄ世界座標からカメラ像面座標への変換は一般的に、３×４透視射影行列（ＰＰＭ）によって記述される。我々はプロジェクタを２×４ＰＰＭでモデル化し、世界座標を縞識別コード（ｉｄ）にマッピングする。

物体の位置が特定される同次世界座標系Ｘｗ、像面内の画素の位置が特定される同次カメラ座標系Ｘｃ、および縞ｉｄが特定される同次プロジェクタ座標系Ｘｐを定義しよう。後者は、それが唯一の独立座標を含む点が注目に値する。

世界座標からカメラ座標への変換は次式によって得られる。
Ｘｃ＝ＣｃＸｗ； (1)
ここでＣｃは次式の形のカメラのＰＰＭである。

回転行列Ｒｃおよび並進ベクトルｔｃは、ＷＣＳ Ｘｗとカメラ中心基準フレームＸｃとの間の変換を定義する。パラメータｆｘおよびｆｙはＣＣＤの外径寸法の各々に合わせて縮小拡大されたカメラの焦点距離であり、ｘ_ｃ ^０およびｙ_ｃ ^０は画像座標におけるＸｃの原点である。パラメータαは比例係数であり、ｋはカメラ座標系の剪断である。

同様に、世界座標からプロジェクタ座標への変換は次式によって得られる。
Ｘｐ＝ＣｐＸｗ； (3)
ここでＣｐは次式の形のプロジェクタのＰＰＭである。

ＲｐおよびｔｐはＷＣＳとＸｐとの間の変換を定義する。パラメータｆｐはＬＣＤの寸法に合わせて縮小拡大されたプロジェクタの焦点距離であり、ｘ_ｐ ^０はプロジェクタ座標におけるＸｐの原点であり、それは物理的に光軸とプロジェクタの交点のｘ座標である。

ここで、我々は、縞符号がプロジェクタの水平方向に沿って変化すると暗黙に仮定する。Ｃｐは、その最初の三列によって形成される部分行列が最大階数を有する場合、有効なカメラのＰＰＭである。同様に、その最初の三列によって形成される部分行列の階数が２である場合、有効なプロジェクタのＰＰＭである。

方程式１および３は、次の変換を定義する。
Ｔ:Ｘｗ→（Ｘｃ;Ｘｐ）; (5)
これはＷＣＳ内の物体ポイントをカメラ像面内の画素位置および縞iｄ（プロジェクタ座標系の座標）にマッピングする。我々はこの変換を前方射影と呼ぶ。

物体ポイントの世界座標は通常不明であり、決定する必要がある一方、対（ｘｃ；ｘｐ）は構造光センサが測定し、生データから抽出することができる。したがって、カメラおよびプロジェクタのＰＰＭならびに一対の測定値（ｘｃ；ｘｐ）が与えられると、ｘｗを計算するために（５）を逆転することを試みることができる。我々は逆変換
Ｔ-１:（Ｘｃ;Ｘｐ）→Ｘｗ; (6)
を逆射影と呼び、測定データから世界座標を決定するプロセスを再構成と呼ぶことにする。

再構成はＣｃおよびＣｐの知識を必要とする。したがって、事前に較正を実行しなければならず、そのときに、前方射影演算子が推定される。これは、既知の世界座標(次式６−１)を持つ一組の点に対応する一組の対（次式６−２）を測定することによって行われる。

一組の基準点を持ち、その位置が既知である較正物体は、物理的に走査される。次いで、ＷＣＳが較正物体の局所的座標系となるように選択され、そこで各基準点が特定される。

再構成
この部分では、前方射影演算子Ｔが既知である（つまり、射影行列ＣｃおよびＣｐが与えられる）と仮定する。再構成の問題は次のように定めることができる。測定された（ｘｃ；ｘｐ）を前提として、次式に従ってｘｗを計算する。
ｘｗ＝Ｔ-１(ｘｃ;ｘｐ): (7)

明示的に、ｘｗは次の連立一次方程式を満たす必要がある。
ｘｗ＝Ｃｃｘｗ (8)
ｘｐ＝Ｃｐｘｗ (9)

しかし、全てのベクトルが同次座標で与えられるので、方程式(８)および(９)を同時に満足するｘｗが無い可能性がある。ｘｃ＝［ｗｃｘｃ；ｗｃｙｃ；ｗｃ］Ｔ、およびｘｐ＝［ｗｐｘｐ；ｗｐ］Ｔと表し、ｃｋ、ｐｋをそれぞれＣｃおよびＣｐのｋ行目であるとしよう。そうすると、連立一次方程式は次のように書き直すことができる。
ｗｃｘｃ＝ｃ１ｘｗ
ｗｃｙｃ＝ｃ２ｘｗ
ｗｃ＝ｃ３ｘｗ (10)
および
ｗｐｘｐ＝ｐ１ｘＷ
ｗｐ＝ｐ２ｘｗ： (11)
ｗｃを（１０）に、ｗｐを（１１）に代入すると、次のようになる。
ｘｃｃ３ｘｗ＝ｃ１ｘｗ
ｙｃｃ３ｘｗ＝ｃ２ｘｗ
ｘｐｐ２ｘｗ＝ｐ１ｘｗ； (12)
これは行列表記法でＱｘｗ＝０と書くことができる。ここで、

行列Ｑは、３×３の行列Ｒおよび３×１のベクトルｓに分割することができる。すなわち、Ｑ＝［Ｒ；ｓ］である。
ｘｗ＝［ｗｗｘｗ;ｗｗｙｗ;ｗｗｚｗ;ｗｗ］Ｔを代入すると、次のようになる。

したがって、非同次世界座標の物点ｘｗ＝［ｘｗ；ｙｗ;ｚｗ］Ｔは、
線形システム
Ｒｘｗ＝−ｓ:(15)
の解である。

したがって、逆射影は次式によって得られる。
ｘｗ＝-Ｒ-1s:(16)

我々は、Ｒおよびｓが両方ともｘｃ、ｙｃ、およびｘｐの関数であることを念頭に置いている。

ＣｃおよびＣｐが有効なカメラおよびプロジェクタのＰＰＭである場合、Ｒは、カメラの焦点から発する物点への射線がプロジェクタの焦点から発して物点を通過する面と平行である場合を除き、Ｒは可逆である。後者の例は、物点が無限遠に位置するか、あるいはカメラおよびプロジェクタの光軸が平行である（これはＲｃ＝Ｒｐのときに発生する）か、いずれかの場合に可能である。これは、カメラおよびプロジェクタの相互配置に制約をもたらす。三角測量法を可能にするために、カメラはしたがってその光軸をプロジェクタのそれと平行にしてはならない。

再構成の安定性
カメラ座標系の射線およびプロジェクタ座標系の面が平行であるときに、方程式(１５)の行列Ｒは特異行列になることを見てきた。起こり得る妥当な問題は、ｘｃおよびｘｐのランダム摂動状態で解がいかに安定するかである。ｘｐの摂動は、構造光システムにおいて最も解決が難しい問題であるので、ここではこれだけを取り扱う。

簡単にするために、ＷＣＳがカメラ座標系と一致し、プロジェクタ座標系への変換が次式によって得られると仮定する。
ｘｐ＝Ｒｐ＋ｔｐ (17)

一般性を失うことなく、カメラおよびプロジェクタの座標系の中心がそれらの光軸と一致すると仮定する。つまり、次式（１７−１）のとおりである。

物点がｘｃ＝αｖｃのある射線上に見られ、射線はカメラの像面座標ｘｃによって一意に定義され、点位置はパラメータαによって一意に定義されると仮定しよう。所与の物点に対応する縞ｉｄをｘｐによって表わすことにしよう。

すると、次の連立一次方程式
ｎＴｘｐ＝０
ｎＴ(Ｒｐｘｃ＋ｔｐ)＝０； (18)
が同時に有効でなければならない。ｎは縞ｉｄ ｘｐによって定義される面に対する法線を表す。

ｘｃ＝αｖｃを代入すると、次のようになる。
ｎＴｘｐ＝ｎＴ(αＲｐｖｃ＋ｔｐ); (19)
したがって、
となる。

しかし、実際には縞ｉｄ ｘｐは構造光を使用して推定され、したがって、それはノイズに特に敏感である。実際の縞ｉｄ ｘｐの代わりに、摂動縞ｉｄ
を測定したと仮定しよう。これは次に、
であることを意味し、次式をもたらす。

したがって、ｘｐの摂動は、次式
によって、射線ｘｃ＝αｖｃに沿って物点の位置の摂動を引き起こす。
ここで、Θnvは法線ｎによって定義される面と方向ｖｃによって定義される射線との間の角度である。したがって、

比率（次式２３−１）
は投射角の余弦の幾何学的解釈を有し、それを方程式(２３)に代入すると、縞ｉｄの摂動に対する再構成された物点の感受性が得られる(次式２４)。

較正
この部分では、前方射影演算子Ｔが未知であり、所与の組の測定された次式(２４−１)および対応する既知の次式(２４−２)から推定しなければならないと仮定する。
明示的に、ｋ＝１；……,に対し、次式に従うＣｃおよびＣｐを見出すことが求められる。
(ｘｃ)ｋ＝Ｃｃ (ｘｗ)ｋ (25)
(ｘｐ)ｋ＝Ｃｐ (ｘｗ)ｋ (26)
データ測定は完全ではない（例えば、カメラおよびプロジェクタの解像度が両方とも有限である）ので、射影演算子はデータに完全には適合しない。したがって我々の目標は、測定データおよび既知のデータを最適な方法で関連付けるようなＴ−１を見出すことである。したがって最適性規準に対処することが重要である。

Ｌ２ノルムの意味でカメラおよびプロジェクタの前方射影を別箇に最適化することが可能である。数学的に、これは次のように定式化することができる。
次のように定義する。

ここで、ckはＣｃのｋ番目の行である。この表記法を利用して、ｋ＝１;…..Ｎに対して、Ｎ個の方程式２５の組は次のように書き直すことができる。
Ｂkl＝０; (29)
それは次に単一の同次方程式として次のように表すことができる。
Ａl＝０; (30)
ここで、Ａ＝［Ｂ_１ ^Ｔ，...,Ｂ_Ｎ ^Ｔ］^Ｔである。変数ｌのベクトルはカメラの射影行列Ｃｃであり、決定を必要とする。カメラのＰＰＭはスケーリングファクタまで定義されるので、自明な解を避けるために、次式(３０−１)
を要求することができる。物理的に測定されたデータにより、行列Ａは通常最大階数を有し、したがってｌは方程式(３０)の正確な解にならない。しかし、次式
を解き、かつ得られたＣｃが有効なＰＰＭであることを確実にすることにより、最良の最小二乗解を見出すことができる。方程式(３１)を解くことは、カメラ行列に対して方程式(２７)を解くことに等しく、その解は、基準点の組の測定像面座標と、ＷＣＳの対応する点の組をカメラ像面に射影することによって得られるものとの間の二乗誤差を最少にする。

同様に、方程式(２８)のＢｋおよびｌを
と置き換えると、プロジェクタ行列に対する方程式(２７)のＬ２最少化問題が生じる。

最少化問題方程式(３１)は最少固有値問題であり、次式(３２−１)
を最少化するｌは、ＡＴＡの最小固有値に対応する固有ベクトルであることを示すことができる。しかし、ＡＴＡの最小固有値は通常非常に小さいので、数値誤差が発生しやすいことを指摘しなければならない。

方程式(２７)の問題を解くと、測定データとＷＣＳの既知の基準点のカメラおよび面座標系への前方射影との間の二乗誤差を最少化する二つのＰＰＭが得られる。しかし、実際に必要なことは、ＷＣＳの既知の基準点と逆射影測定値との間の二乗誤差を最少化することである。数学的に、これは次のように定式化することができる。

上記の問題はもはや分離できず、非凸問題である。したがって、数値大域最適化法によって解くことが好ましい。それでもなお、問題における変数の数が少なく、かつ費用関数、その勾配、およびヘッセ行列を解析的に計算することができるので、ニュートン法を使用して、ごくわずかな反復回数で効率的に解くことが可能である。反復最適化の開始点として、問題２７の解を使用することができる。

一度較正プロセスが実行されたときに、より優れた投影推定およびより優れた再構成結果を得るために、追加的な計算の複雑さを投入することが好ましい。

この特許の存続期間中に、多くの関連スキャン、変調、投影、および光検出装置およびシステムが開発されることが予想され、本書における対応する用語の範囲は、全てのそのような新しい技術を先験的に含むつもりである。

明確にするため別箇の実施態様で説明されている本発明の特定の特徴は単一の実施態様に組み合わせて提供することもできることは分かるであろう。逆に、簡潔にするため単一の実施態様で説明されている本発明の各種の特徴は別箇にまたは適切なサブコンビネーションで提供することもできる。

本発明はその特定の実施態様によって説明してきたが、多くの別法、変更及び変形があることは当業者には明らかであることは明白である。従って、本発明は、本願の請求項の精神と広い範囲の中に入る、このような別法、変更及び変形すべてを包含するものである。本願で挙げた刊行物、特許及び特許願はすべて、個々の刊行物、特許及び特許願が各々あたかも具体的にかつ個々に引用提示されているのと同程度に、全体を本明細書に援用するものである。さらに、本願で引用又は確認したことは本発明の先行技術として利用できるという自白とみなすべきでない。

Claims (1)

1. 物体に向けられる光ビームを符号化して構造光信号にするためのデジタルマイクロミラーデバイスを含み、輪郭を有する前記物体による前記信号の歪みが前記物体の輪郭の三次元情報を示すように前記信号の構造が選択されて成る、デジタル光符号化ユニットと、
   前記物体からの前記光ビームの反射を検出するために前記デジタル光符号化ユニットのプロジェクタと同期化されるカメラと、
   前記検出された反射における前記信号の歪みから前記物体の３Ｄ形状を決定するための復号器と、
   を備えた３Ｄスキャン装置であって、
   前記カメラは二値レベルを調整可能なＣＭＯＳ検出器を使用し、前記カメラは物体から反射された光ビームをプロジェクタと同期して検出し、前記構造光信号は二値パターン要素を含み、前記構造光信号はフレームを構成し、前記ＣＭＯＳ検出器は複数のセンシング画素を含み、各センシング画素は二値信号を出力するとともにフレーム当たり単一ビットを出力するように構成され、前記ＣＭＯＳ検出器は、検出信号が閾値より下であれば一つの二値出力を出し、検出信号が閾値より上であれば前記とは反対の二値出力を出して、前記ＣＭＯＳ検出器は、前記画素を二値化することにより得られた単一ビットのデータをフレーム当たり前記復号器に送るように構成されていることを特徴とする、スキャンデータを実時間で得るための３Ｄスキャン装置。