JP3623940B2 - 立体視、カラーの３ｄデジタル化、およびモーション・キャプチャの複合システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、対象物体の立体視、カラーの３Ｄデジタル化、およびモーション・キャプチャの機能を兼備するデジタイザと、そのデジタイザを使用するデジタル化システムと、関連するデジタル化およびモーション・トラッキングの方法とに関する。
【０００２】
【発明の背景】
３Ｄデジタル化、特に非接触式の光学３Ｄデジタル化の技術が、近年製品化されている。この技術の大半は、光学的な三角測量法の原理に基づくものである。受動的な光学三角測量法（立体視）が、写真測量法のために長年にわたって研究され、使用されているにもかかわらず、能動的な光学三角測量技術（特にレーザ・スキャンニング技術）は、その堅牢性と、得られたデータをコンピュータを使用して処理する際の平易さとから、支持を集めている。能動的な光学三角測量法の原理に基づくシステムの大半は、例えば、ロボットによる組み立て、ロボット誘導、産業検査、リバース・エンジニアリングなどの産業的用途のために開発された。レーザ・ビームまたはレーザ・ストライプは、物体の３Ｄ表面に投影され、レーザ・ビームまたはレーザ・ストライプを表面上に拡散させる。それは、光学電子装置を使用して測定される。信号は、測定点の位置（通例は奥行き）を表すものとして測定することができる。大半の場合、基本的な測定値は、点または部分のいずれかのプロファイルである。一般に、機械的または光学的な走査装置は、３Ｄ測定のフレームを得るために使用される。レーザは、単色の光源であり、フル・カラーの情報を提供しない。このため、カラーのテクスチャが必要とされる場合、さらに別のカメラと光源とが、使用される。
【０００３】
例えば、本出願人による製品ラインのような、新しいカテゴリに属する光学式のカラー３Ｄデジタイザが、開発されている。これらのシステムは、ＣＣＤカメラと組み合わせて構造化された白色光の投影を使用することにより、表面の３Ｄ幾何学的形状とカラーのテクスチャとの測定が可能になる。投影される構造化された光（光の投影とは異なる角度からカメラによって捕らえられる）は、３Ｄ表面の凹凸（ｒｅｌｉｅｆ）のために変形する。この変形を分析することによって、表面の３Ｄ座標は、計算される。この種のシステムは、例えば、コンピュータ・アニメーション、特殊効果、電子ゲーム等の開発に使用されている。
【０００４】
一方、受動的な光学三角測量法（例えば立体視）は、主に、モーション・キャプチャの目的に使用される。対応する問題（一般にはカメラである２つの光センサから物体表面上の１点を自動的に見つける）は、この用途にとって大きな障害にはならない。なぜならば、限られた数の点のみを測定すればよいからである。これらの点は、しばしば、可視のマーカを使用して特徴付けられる。
【０００５】
立体視の別の用途は、立体３Ｄディスプレイである。この用途では、３Ｄ空間内で物体のいくつかの点の３Ｄ座標を求める代わりに、画像の３Ｄ透視図が見えるように、モニタ（テレビまたはコンピュータ・モニタ）に対になった立体映像を表示するだけでよい。可能な構成の１つは、２台のカメラを使用して画像対を取り込むものであり、２台のカメラが物体の視差効果を捕らえる。そして左目でこの立体映像の対の１つの画像を見、右目でもう一方の画像を見る。人間の脳は、この画像対を容易に融合（ｍｅｒｇｅ）することができ、物体が３Ｄ画像として見える。
【０００６】
一般に、既存の３Ｄデジタル化システムと光学モーション・キャプチャ・システムとは、インターネットや大衆消費者向けの用途には複雑で、あまりにも高価である。こうしたシステムの大半は、高度な光学、電気光学、機械、および電子的な構成要素を組み込んでいる。このようなデジタイザを操作するために、特殊な専門知識が、必要とされる。さらに、既存のシステムでは、３Ｄデジタル化機能とモーション・キャプチャ機能とを別個にサポートしている。
【０００７】
【発明の概要】
本発明の目的は、立体映像の取り込み、カラーの３Ｄデジタル化、およびモーション・キャプチャの機能を兼備するデジタイザを提供することである。
【０００８】
本発明の別の目的は、このデジタイザを使用したシステムを提供することであり、このシステムは、構造が単純で、容易に使用でき、インターネットを介した会議、３Ｄウェブ、電子商取引、オフラインおよびオンラインのゲーム、あるいは手ごろな価格の３Ｄデジタル化および／またはモーション・キャプチャのソリューションを必要とする任意の用途など、インターネットや大衆消費者向け用途に適した価格である。
【０００９】
本発明の別の目的は、対象物体の動きのデジタル化および追跡の方法を提供することであり、この方法は、パーソナル・コンピュータと、単純な照明およびビデオ・カメラの構成要素とを使用して実施することができる。
【００１０】
本発明によると、対象物体の立体視、カラーの３Ｄデジタル化、およびモーション・キャプチャの機能を兼備するデジタイザが提供され、このデジタイザは、
第１のカメラと、
第２のカメラと、
各カメラについて能動的な３Ｄ範囲の感知のための照明を提供する第１の光プロジェクタ、および第１の光プロジェクタの前に位置し、対象物体の表面に符号化パターンを投影する回折格子要素を有する第１の投影機構と、
対象物体のテクスチャ情報を取得するための照明を提供する第２の光プロジェクタを有する第２の投影機構と、
第１および第２のカメラと第１および第２の投影機構が互いに対して固定された相対位置に設置される基部であって、各カメラは１点を通じて集中する光軸を有し、光プロジェクタの１つは、１点で各カメラの光軸と交差する光軸を有する基部と、
カメラおよび光プロジェクタの動作を設定する制御信号を受け取り、カメラからのビデオ信号を送信する、カメラおよび光プロジェクタに接続された通信ポートと、
を含む。
【００１１】
本発明によるとデジタル化システムも提供され、このシステムは、デジタイザの通信ポートに接続可能なポート、立体視、カラーの３Ｄデジタル化、およびモーション・キャプチャのための制御信号を生成することによりデジタイザの動作を制御する機能、およびポートを通じて受け取られるビデオ信号を処理して処理の結果デジタル化データを生成するための機能を有するコンピュータと、上記のデジタイザとを含む。
【００１２】
本発明によると、対象物体をデジタル化する方法も提供され、この方法は、
物体への追加的な照明を用いずに第１および第２のカメラにより物体の基本的な画像を取り込むステップであって、各カメラは、１点を通じて集中する光軸を有し、かつ、その１点を含む測定深度に関して有効な重複部分を有する視野を有するように、互いに対して角度をつけた方向に並べられるステップと、
符号化パターンが投影される光を物体に照射するステップと、
構造化された画像をカメラによって取り込むステップと、
パターンのない光を物体に照射するステップと、
カメラによってテクスチャ画像を取り込むステップと、
構造化された画像中の符号化パターンの要素を識別するステップと、
要素の位置を求めて、測定点のセットを生成することと、
カメラの位置と配列に関する較正情報を使用して、測定点の３Ｄ座標を求めるステップと、
テクスチャ画像中の各測定点に対応する座標を求めて、物体のデジタル化画像を生成するステップと
を含む。
【００１３】
本発明によると、対象物体の動きを追跡する方法も提供され、この方法は、
１点を通じて集中する光軸を有し、かつ、その１点を含む測定深度に関して有効な重複部分を有する視野を有するように互いに対して角度をつけた方向に並べられた第１および第２のカメラにより、対象物体の画像シーケンスを並行して取り込むステップと、
各シーケンスの最初の画像中の制御点を検出するステップと、
画像シーケンス中の制御点を追跡するステップと、
第１のカメラによる画像と第２のカメラによる画像中の制御点間の差異を求めるステップと、
差異と、カメラの相対位置および角度の整合を含む較正情報とを使用して、第１および第２のカメラによって同時に撮られた画像のうち対応する画像中の制御点の３Ｄ位置を求めるステップと、
制御点の３Ｄ位置の連続として制御点の軌跡をそれぞれ生成するステップと
を含む。
【００１４】
好ましくは、本発明のシステムは、ステレオの画像対を捕捉および転送し、表面の３Ｄ座標とカラーのテクスチャとを取得し、実時間または準実時間で複数の所与の点の移動を取り込むための要素を組み込む。データの取り込みプロセスが単純化されることにより、デジタイザの動作は、可能な限り自動化される。本発明のシステムによると、３Ｄモデルが、モデル表面上に位置するいくつかの識別可能な制御点を用いて、最初に作成される。そして、この制御点の３Ｄ位置が、実時間または準実時間で取り込まれ、全体的なモデルは、制御され、またはアニメーション化される。
【００１５】
カメラは、能動的な光プロジェクタによって作り出される差異を捕らえることができる。また、２台のカメラによって取り込まれる画像の対にも差異がある。このデジタイザは、ＵＳＢポートのようなデジタル・ポート、または他の標準的な高速接続を介してコンピュータに接続される。コンピュータは、カメラと個々の光プロジェクタとを制御する。スナップショット・ボタンは、３Ｄ測定プロセスを開始するために使用されることができる。デジタイザは、回転台の上に設置されることができ、コンピュータが、回転台の回転を直接制御する。また、対象物体を回転台の上に置いて、回転される物体の角度位置を、知ることも可能である。
【００１６】
好ましくは、このシステムは、少なくとも３つの機能を提供する。
第１に、１対のカメラは、ビデオ・レートで立体映像の対を取り込むことができる。この２つの画像がモニタに表示され、そこから１つの画像が左目に送られ、もう１つの画像が右目に送られると、ステレオの３Ｄ画像が、作り出される。この画像は、高速リンク（例えば、イーサネット（登録商標）、Ｔ１、Ｔ３）を介して、別のコンピュータに転送される。
【００１７】
第２に、このデジタイザは、光プロジェクタと両カメラとを組み合わせることにより、テクスチャ情報を用いた表面の３Ｄ座標の測定を提供する。光プロジェクタによって符号化パターンが、物体表面に投影され、両カメラは、その場面を取り込む。物体表面の凹凸のために、投影されたパターンは、カメラから見ると変形している。精密な較正技術を用いれば、投影パターンの変形を測定することにより、その表面上のいくつかの点の３Ｄ座標を求めることができる。原理的には、１台のカメラと１台の光プロジェクタとの組み合わせで、３Ｄ座標の測定を行うことができる。共通の空間をカバーする２台以上のカメラを１台の光プロジェクタと組み合わせて使用すると、３つの大きな利点が得られる。第１に、各カメラによって得られる３Ｄ測定の加重平均値が、より正確な３Ｄ測定に対応する。第２に、この構成により、オクルージョン（ｏｃｃｌｕｓｉｏｎ）効果によって生じるさらに多くの問題が、克服される。第３に、２台のカメラが、異なる視点から投影パターンを捕らえるので、非連続的な表面上の投影パターンの変形を、より正確に解釈することができる。測定された３Ｄ座標は、高速リンクを介して、別のコンピュータに転送することができる。
【００１８】
第３の機能は、３Ｄ空間内で限られた数の点のモーション・キャプチャを行うことである。表面上に何らかのマーカを使用すると、その点の３Ｄ位置を求めることが、比較的容易になる。また、例えば、皮膚、唇、まぶた、目などのような、物体上の何らかの知られる点を使用することも、可能である。無論カメラによって捕らえられる３Ｄ空間は、較正されなければならず、カメラによって取り込まれた所与の点の差異を評価して、その３Ｄ位置を計算することができる。測定する点の数が少ない場合、毎秒、数回、これらの点の３Ｄ位置を、求めることさえ可能である。このデータを使用して、物体またはモデルの動きを制御することができる。このデータは、高速リンクを介して、別のコンピュータに転送することができる。
【００１９】
モーション・トラッキングは、回転台上に設置されたカメラの１台または両方によって取り込まれる場面中の対象物の動的な動きを、分析するものであるが、本発明によるシステムにより、このモーション・トラッキングを実現することができる。サーボ制御を使用して、回転台の回転を（実時間で）制御することにより、デジタイザは、対象物の動的な動きを追うことができるようになる。また、その場にいるユーザ、あるいは離れた位置にいるユーザが、デジタイザを所望の方向に向けるために、コンピュータにコマンドを送信することもできる。サーボ制御により、回転台の正確な位置が提供されるので、回転台上に設置されたデジタイザがカバーする３Ｄ空間全体は、そのデジタイザにとって既知の幾何学空間として較正されることが明白である。この機能により、より広い空間をカバーして、この装置の基本的な３機能を行うことが可能になる。
【００２０】
デジタイザを、回転台に設置する代わりに、この台の上に、物体を置くことが利便な場合もある。この構成により、３Ｄ物体のいくつかのビューを融合して完成した３Ｄモデルを作成する演算が、単純化される。３Ｄデジタイザは、物体の単一ビューの３Ｄ表面を測定することができる。完成した物体モデルを作成するために、物体の様々なビューを取り込むことが、必要である。物体を、制御される回転台に置くと、他のビューに対する各ビューの正確な位置が、分かる。したがって、いくつかのビューを共通の３Ｄ座標系に登録し、それらのビューを融合して完成３Ｄモデルを作成することが、容易になる。
【００２１】
【発明の実施の形態】
以下に図面を参照しながら、好ましい実施形態を、詳細に説明する。なお、図面中、同様の番号は同様の要素を指す。
【００２２】
図２Ｂを参照すると、対象物体（例えば、図４に示す物品３５又は図１に示す人間の対象物１７）の立体視、カラーの３Ｄデジタル化、およびモーション・キャプチャの機能を兼備するデジタイザ１の一実施形態を示している。デジタイザ１は、第１の白色光プロジェクタ３からなる第１の投影機構を有し、白色光プロジェクタ３は、好ましくは投影レンズ４を通じて提供され、対象物体に向けられる光の中に符号化パターンを投影するための、プロジェクタ３の前に位置する回折格子要素５と光学的に結合されいる。また、デジタイザ１は、好ましくは別の投影レンズ７を通じてパターンのない照明を提供する第２の白色光プロジェクタ６からなる第２の投影機構を有する。好ましくはそのレンズ９を備える第１のカラー・カメラ８と、好ましくはそのレンズ１１を備える第２のカラー・カメラ１０とが、好ましくはそれらの投影機構の隣に配置される。光プロジェクタ３、６は、例えばＵＳＢポートなどの周辺インタフェース１５によってメイン制御ボード１４に接続された、個々のランプ・ドライバ・ボード１２、１３を使用して操作することができる。メイン制御ボード１４とカメラ８、１０とは、それぞれポート１５に連結され、信号は、ケーブル１６を通じてコンピュータ２へ、また、コンピュータ２から、通信される。デジタイザ１の個々の構成要素は、ケーシング１８内に封入されることが好ましい。
【００２３】
図２Ａを参照すると、投影レンズ４、７を有する投影機構は、好ましくは、互いに垂直に配置し、互いに対して角度をつけた方向に並べると、投影される２つの光照射野が、好ましい測定距離で、互いをカバーするようになる。同様に、投影レンズ９、１１を有するカメラは、水平に配置し、相互の間に間隔をあけることが好ましい。この結果、カメラと投影機構とは、十字形の構成において、互いに対称的に位置することになる。
【００２４】
図２Ｂを参照すると、回折格子要素５は、投影レンズ４から投影される光の中に、図５に示すような縞のパターン３６を制御可能に形成する。カメラ８、１０は、投影レンズ４および７の脇に配置し、互いに対して角度をつけた方向に並べる結果、カメラ８、１０の視野１９、２０（図１参照）が、物体の照明の当たる表面の方向を向き、かつ物体の測定深度に関する互いとの重なりが、最大になる。カメラ８、１０の個々のビデオ出力に生成されるビデオ信号は、視野１９と２０とが重なっていることにより、共通の画像部分を有する物体の相補的な画像を表す。カメラ８、１０は、好ましくはケーシング１８の後部側からアクセスできるポート１５に接続された、各自のビデオ出力を有するＣＣＤカメラでよい。
【００２５】
図５を参照すると、符号化された投影パターン３６は、２Ｄのグラフィック・パターンで構成されている。このパターンは、色のラインの連続である。好ましいパターンは、白、黒、黄、黒、緑、黒、シアン、黒が反復する連続である。この連続は、例えば１０回、反復する。マゼンタの基準の縞３７が、５番目の連続の最後の黒のラインの代わりとなっている。ラインの方向は、垂直、水平、あるいは所望の任意の角度でよい。ラインの幅は、パターンのどの位置においても一定にすることができる。ラインの幅は、不定であってもよい。マゼンタのラインは、識別可能な基準縞として機能し、この基準縞は、カメラ８、１０によって取り込まれる画像の中で、実験によって事前定義された関数を使用して確定できる、絶対的な３Ｄ位置を有している。好ましくは、基準の縞３７は、カメラ８、１０それぞれが物体１７、３５（図１および４参照）の全体にわたってその縞を取り込むように、配置する。
【００２６】
図２Ｂを参照すると、投影レンズ４の光軸は、投影パターンの表面に対して垂直にすべきである。このレンズ４の口径とその焦点は、精密に調整すれば、投影パターンが、測定深度全体にわたって、十分に鮮明になる。
【００２７】
カメラ・レンズ９、１１の光軸は、装置から等しい距離で、投影レンズ４、７の光軸と交差する。これら４つの光軸は、同じ点で交差し、一般に、これを装置の光学的中心と呼ぶ。カメラ８の光軸と投影レンズ４の光軸との角度によって、投影レンズ４の光軸方向の深度と称される距離測定の感度が決まる。この角度が大きいほど、深度測定の感度が高くなる。一方で、この角度は、過度に大きくすべきではない。なぜならば、２台のカメラ８、１０によってカバーされる測定深度に関して重複する範囲を、少なくとも各カメラ８、１０の視野１９、２０の８０〜９０％に保つためである。投影パターン３６は、反復する色のラインからなるパターンなので、同じ色のラインを、区別することはできない。このため、測定は、特定の測定深度に関してのみ、あいまいさのないものになる。投影機構の光軸とカメラ８、１０の光軸との角度が大きいほど、非あいまいさの深度は、小さくなる。
【００２８】
デジタイザ１を組み立てると、システムの光学的および機械的な構成が、固定される。３Ｄデータを得るために、システムを較正する。較正プロセスにおいて、投影パターン３６の要素の位置とそれらから測定システムまでの距離との関係が、求められる。
【００２９】
図６を参照すると、デジタイザ１のカメラ８、１０と、光プロジェクタ３、６と、メイン制御ボード１４とは、適切な電圧レベルを提供する、例えば３つの出力２１、２２、２３を有する電源機構から電力を供給される。この電源機構は、好ましくはケーシング１８の後部側に位置するコネクタ２４を通じて、エネルギーを受け取る。
【００３０】
図１および６を参照すると、本発明によるデジタイザ１を使用するシステムはコンピュータ２を備え、このコンピュータ２は、カメラ８、１０から送られるビデオ信号を捕らえ、かつコンピュータ２からメイン制御ボード１４へのコマンドを送るポート３８を有している。コンピュータ２は、カメラ８、１０から送られるビデオ信号を処理する。また、コンピュータ２は、測定シーケンスを開始し、２つの光プロジェクタ３、６を制御して、投影パターン３６のある画像と、パターンのない画像と、均一な白色照明を有する画像とを得る。好ましくは、画像の取得とプロジェクタの制御とは、ケーブル１６を通じてポート１５に接続されたコンピュータ２によって、メイン制御ボード１４を介して、制御される。
【００３１】
好ましくは、３Ｄデジタル化のための測定プロセスは、以下の要領である。まず、カメラ８、１０により、照明なしで、画像を得る。次いで、物体１７に投影するパターンを生成するために、光プロジェクタ３に通電する。カメラ８、１０により、投影パターンのある画像を得る。次いで、測定空間の均一な白色光照明を生成するために、投影機構３の光源の通電を切り、投影機構６の光源に通電する。カメラ８、１０により、均一な白色照明の画像を得る。投影パターンの要素を、投影パターンを用いて測定される物体の画像内で識別する。投影パターンの要素の位置を、投影パターンを用いて測定される物体の画像内で求める。このステップにおいて、測定された点の１セットが、生成される。較正情報を使用して、測定したすべての点の３Ｄ座標を求める。均一な白色照明によって得たテクスチャ画像中の各測定点に対応する座標を、さらに求める。
【００３２】
すべての記録シーケンスごとに、１セットのビデオ画像が、適切なソフトウェア・アプリケーションで処理され、テクスチャ情報と併せて、３Ｄ情報を、構築された画像から取り出す。アルゴリズム構造化された投影光を使用して、ビデオ画像から、形状およびテクスチャの情報を取り出すために、様々なアルゴリズムを使用することができる。こうしたアルゴリズムの大半は、縞の識別と位置判定に基づくものである。
【００３３】
こうしたアルゴリズムの最初のステップは、得られた画像中で、投影された縞を検出することである。画像処理アルゴリズムを使用して、縞を区分することにより、画像の各画素について、その画素がどの縞の一部であるのかを決定することができる。一度、縞を区分すると、縞の最大強度を見つけるか、または縞の強度分布の重心を計算することにより、画像に関するすべてのラインの中のすべての縞の位置を求めることができる。色をつけた縞を使用する場合、それぞれの縞の色を求める。
【００３４】
投影パターン内に符号化された基準の縞３７（図５参照）は、好ましくはその色によって、一意に識別できるようにする。３Ｄデジタル化プロセスの次のステップは、得られた画像中の基準の縞３７の区分と位置判定とである。大半のラインについては、ここで基準縞の位置が分かる。画像の各ラインごとに、縞の色に対応し、基準縞から始まり画像の端で終わるように、縞に番号を付ける。色によって、物体が非あいまいさの深度よりも大きな段差を含まない限り、縞に正確な番号を付けることができる。次いで、識別した縞の位置を、現実世界の座標から、現実世界の単位（例えばミリメートルなど）に変換する。光プロジェクタ３に関連するカメラ８、１０それぞれについて、較正表は、個別の較正プロセスで作成される。この較正表により、３Ｄ座標内の識別された縞の測定位置を、幾何学単位に変換することが可能になる。
【００３５】
この変換関数は、
（ｘ、ｙ、ｚ）^Ｔ＝ｆ（ｕ，ｊ，ｎ）
である。ここで、
（ｘ、ｙ、ｚ）^Ｔは、現実世界の座標であり、
ｎは、識別された縞の番号であり、
ｊは、縞ｎが識別された画像のラインであり、
ｕは、ラインｊにおける縞ｎの位置である。
【００３６】
一度、ポイント・クラウド（ｐｏｉｎｔ ｃｌｏｕｄ）が、すべての３Ｄ座標の測定値に基づいて、カメラ８、１０の１つによって得られた画像の１セットから生成されると、ポイント・クラウドの各点ごとに、カラー・テクスチャのベクトルは、座標と均一の白色光照明を用いて得たテクスチャ画像とから計算され、求められる。
【００３７】
コンピュータ２を使用して、白色光の投影によって得られる画像の各画素で検出される色を、判定することができ、また、各画素について、赤、緑、青の色チャンネルそれぞれの、これら３チャンネルの最大に対する比を、求めることができる。そして、この比の逆数を、構造化された光の投影によって得られた画像中の対応する画素に適用することにより、色の強化を実現することができる。
【００３８】
この３Ｄデジタル化のプロセスを、２つの独立した３Ｄモデルを生成するカメラ８とカメラ１０とについて実行する。最終ステップで、この２つのモデルを融合することができる。モデルの相対位置が、較正プロセスで正確に分かるので、円筒投影または立方体投影のアルゴリズムを使用して、モデルとテクスチャとの合成を実現することができる。
【００３９】
このようにして、構造化された光の投影による画像の各ラインの中で検出される縞の最大部分の実際の３Ｄ位置と、構造化された光投影の実際の３Ｄ位置との空間的関係に応じて、完全にデジタル化された物体の単一の画像が得られ、テクスチャ画像が、そのデジタル化画像に組み込まれる。
【００４０】
図４を参照すると、複数のビューを取り込むために、ケーブル３４を通じてコンピュータ２に接続された回転台３２の上に、測定する物体を置くと、コンピュータ２は、各ビュー間の相対位置が分かるように、回転の位置を厳密に制御する。複数の部分的なモデルをまとめて、完成モデルを作成することは、非常に簡単である。
【００４１】
図６を参照すると、メイン制御ボード１４は、ケーブル１６を介してコンピュータ２からコマンドを受け取り、また、コンピュータ２に信号を送信する。図示した実施形態において、メイン制御ボード１４は、ＣＰＵ２６と、ＵＳＢインタフェース２７と、データ及びプログラム用のＲＡＭおよびＰＲＯＭメモリ２８と、入出力部２９とを有する。ボードによって認識されるコマンドは、例えば、デジタイザ１のリセット、光プロジェクタ３の光のオンおよびオフ、光プロジェクタ６の光のオンおよびオフ、デジタル化プロセスの開始などである。
【００４２】
ランプ・ドライバ・ボード１２、１３は、メイン制御ボード１４を介して、オン／オフ信号を受け取る。光プロジェクタ３、６の強度は、ポテンショメータ３０、３１によって、手動で調整することができる。
【００４３】
図１および２を参照すると、立体視の表示を行うために、２つのカメラ８および１０によって取り込まれた画像は、まずホスト・コンピュータ２に転送され、次いでステレオの画像対が、計算されるが、画像は、別のコンピュータ（図示せず）に送られる前に、圧縮されることが好ましい。第２のコンピュータによって受け取られた画像は、必要であれば圧縮を解除し、モニタ画面３３に表示される。３Ｄのステレオ画像を見るために、２つの画像の１つが、左目で見られ、もう一方の画像が、右目で見られる必要がある。これは、ＬＣＤシャッター・アイグラス（図示せず）を使用して、２つの画像の表示に同期させることによって実現することができる。
【００４４】
モーション・キャプチャ機能に関して、カメラ８、１０によって捉えられる差異は、これらカメラ８、１０の共通の３Ｄ空間内で較正される。それにより、２つのカメラによって取り込まれ、対応する点の３Ｄ位置を、求めることができる。実時間による差異測定方法が開発され、準ビデオ・レートによる、限られた点のモーション・キャプチャを確実に行うことができる。
【００４５】
図３を参照すると、動いている物体を、追跡することができる。コンピュータ２によって制御される回転台３２は、動いている物体をデジタイザ１に追わせるために、使用することができる。この装置は、限られた測定空間を有する。物体を測定空間の中心に維持するために、画像は、カメラ８、１０によって取得され、コンピュータ２に転送される。後続のビデオ画像間の相違を求め、その相違を使用して、物体の移動を計算する。コンピュータ２は、物体を測定空間の中心に保つように、回転台３２を制御する。
【００４６】
モーション・キャプチャ・モードにおいて、コンピュータ２は、第１のカメラ８および第２のカメラ１０からのビデオ信号中の画像のシーケンスが、並行して得られるように動作することができる。そして、各シーケンスの最初の画像中の制御点を検出し、画像のシーケンス中で追跡する一方、同時に、カメラ８及びカメラ１０による画像中の制御点の差異を求める。この差異と、カメラの相対位置および角度の整合に関連する較正情報とを使用して、同時に撮られたカメラ８、１０による画像のうち、対応する画像中の制御点の３Ｄ位置も求める。制御点の３Ｄ位置の連続として、制御点の軌跡を、それぞれ生成することができる。制御点は、例えば、物体の上に配置された固有のマーカ、または、物体画像中の高い強度のデリバティブを有する点からなることができる。
【００４７】
コンピュータ２は、デジタル化データへの適用が可能な、圧縮および圧縮解除の機能と、デジタル化データをコンピュータ２の通信ポートを通じて送信するための機能とを備えることができる。
【００４８】
プロジェクタ３、６に対して、白色光が好ましいが、必要に応じて他の色を使用することも可能である。プロジェクタ３、６に対して、絞りおよびシャッターの機構（図示せず）を使用することができる。デジタイザ１で使用するカメラ８、１０は、必要であれば調節可能なゲイン機能を備えることが可能である。
【００４９】
本発明の実施形態を添付図面に示し上記で説明したが、当業者には、本発明の本質から逸脱せずに変更および修正を加えることが可能であることが明らかであろう。そのような修正形態および変形形態はすべて、特許請求の範囲で定義される本発明の範囲内にあると信じる。
【図面の簡単な説明】
【図１】本発明によるデジタル化システムの可能な動作環境を示す略図である。
【図２】図２Ａは、本発明によるデジタイザの正面図を示す略図である。
図２Ｂは、本発明によるデジタイザの簡略化した内部を示す概略ブロック図である。
【図３】本発明による回転台３２に設置したデジタイザを用いるデジタル化システムを示す略図である。
【図４】本発明による回転台に置かれた対象物体を用いるデジタル化システムを示す略図である。
【図５】本発明によるデジタイザで使用される可能なパターンを表す略図である。
【図６】本発明によるデジタイザの可能な制御システムを示す略図である。

Claims (29)

1. 対象物体の立体視、カラーの３Ｄデジタル化、およびモーション・キャプチャの機能を兼備するデジタイザであって、該デジタイザは、
   第１のカメラと、
   第２のカメラと、
   各々の前記カメラ用に、能動的な３Ｄ範囲を感知するための照明を提供する第１の光プロジェクタと、前記第１の光プロジェクタの前に位置し、対象物体の表面に符号化パターンを投影するための回折格子要素と、を有する第１の投影機構と、
   対象物体のテクスチャ情報を取得するための照明を提供する第２の光プロジェクタを有する第２の投影機構と、
   基部の上に前記第１及び第２のカメラと前記第１及び第２の投影機構とが互いに対して固定された相対位置で設置される、基部であって、前記第１及び第２のカメラが、１点を通じて集中する光軸を有し、前記第１及び第２の光プロジェクタの１つが、前記１点で前記第１及び第２のカメラの前記光軸と交差する光軸を有する、基部と、
   前記第１及び第２のカメラと前記第１及び第２の光プロジェクタとに接続され、前記第１及び第２のカメラと前記第１及び第２の光プロジェクタとの動作を設定する制御信号を受け取り、前記第１及び第２のカメラからのビデオ信号を送信する通信ポートと、
   を備えるデジタイザ。
2. 請求項１に記載のデジタイザにおいて、
   投影される光照射野が、前記第１及び第２の投影機構から所定の測定距離で互いをカバーするように、前記第１及び第２の投影機構は、互いに対して角度をつけた方向に並べられ、
   前記第１及び第２のカメラが、前記測定距離の周辺で測定深度に関して有効な重複部分を有する視野を有するように、前記第１及び第２のカメラは、互いに対して角度をつけた方向に並べられる、デジタイザ。
3. 請求項２に記載のデジタイザにおいて、
   前記第１及び第２の光プロジェクタは、白色光プロジェクタであり、
   前記第１及び第２のカメラは、カラー・カメラであり、
   前記符号化パターンは、色のラインの連続の反復からなり、そのラインの１本が、前記第１の投影機構から提供される照明を用いて前記第１及び第２のカメラによって取り込まれた画像内で、実験により事前定義された関数を使用して、確定可能な絶対的な３Ｄ位置を有する識別可能な基準として使用される、デジタイザ。
4. 請求項３に記載のデジタイザにおいて、
   色のラインの前記連続は、白、黒、黄、黒、緑、黒、シアン、及び黒を含み、
   前記第１の投影機構の光軸に最も近い黒のラインが、マゼンタの基準ラインに置き換えられる、デジタイザ。
5. 請求項１に記載のデジタイザにおいて、
   前記第１の投影機構は、前記第１の光プロジェクタに光学的に結合され、かつ前記符号化パターンの表面に対して実質的に垂直な光軸を有する投影レンズを有する、デジタイザ。
6. 請求項２に記載のデジタイザにおいて、
   前記第１及び第２の光プロジェクタのもう一方は、前記１点で前記第１及び第２のカメラの前記光軸と交差する光軸を有し、
   前記第１及び第２の投影機構と前記第１及び第２のカメラとは、十字形の配置で互いと対称に配置される、デジタイザ。
7. 請求項６に記載のデジタイザにおいて、
   前記第１の投影機構は、前記第１の光プロジェクタと光学的に結合された投影レンズを有し、
   前記第１のカメラの前記光軸は、前記投影レンズの投影軸とある角度を有し、この角度は、前記重複部分が各カメラの視野の８０％に等しいか、または８０％を上回るように調整される、デジタイザ。
8. 請求項１に記載のデジタイザにおいて、
   前記立体視の機能に関連する前記制御信号中の制御データに応答して、前記第１及び第２のカメラが、動作を開始し、前記通信ポートが、前記第１及び第２のカメラによりビデオ・レートで取り込まれる立体画像を転送する、デジタイザ。
9. 請求項１に記載のデジタイザにおいて、
   前記カラーの３Ｄデジタル化の機能と関連する前記制御信号中の制御データに応答して、前記第１の光プロジェクタが、オンになり、前記通信ポートが、前記第１及び第２のカメラによって取り込まれる画像を転送する、デジタイザ。
10. 請求項１に記載のデジタイザにおいて、
    前記モーション・キャプチャの機能に関連する前記制御信号中の制御データに応答して、前記通信ポートが、前記第１及び第２のカメラによって取り込まれる画像を転送する、デジタイザ。
11. 請求項１に記載のデジタイザにおいて、該デジタイザはさらに、
    前記第１及び第２の光プロジェクタのそれぞれに接続され、前記第１及び第２の光プロジェクタのそれぞれを制御するランプ・ドライバ・ボードと、
    前記通信ポートと前記ランプ・ドライバ・ボードとの間に結合されたメイン制御ボードと、
    を備えるデジタイザ。
12. 請求項１に記載のデジタイザにおいて、該デジタイザはさらに、
    前記第１及び第２のカメラと前記第１及び第２の投影機構とを封入するケーシングを備え、
    前記基部が、前記ケーシングの全体の一部分である、デジタイザ。
13. デジタル化システムにおいて、該システムは、
    対象物体の立体視、カラーの３Ｄデジタル化、およびモーション・キャプチャの機能を兼備するデジタイザであって、
    第１のカメラと、
    第２のカメラと、
    各々の前記カメラ用に、能動的な３Ｄ範囲を感知するための照明を提供する第１の光プロジェクタと、前記第１の光プロジェクタの前に位置し、対象物体の表面に符号化パターンを投影するための回折格子要素と、を有する第１の投影機構と、
    対象物体のテクスチャ情報を取得するための照明を提供する第２の光プロジェクタを有する第２の投影機構と、
    基部の上に前記第１及び第２のカメラと前記第１及び第２の投影機構とが互いに対して固定された相対位置で設置される、基部であって、前記第１及び第２のカメラが、１点を通じて集中する光軸を有し、前記第１及び第２の光プロジェクタの１つが、前記１点で前記第１及び第２のカメラの前記光軸と交差する光軸を有する、基部と、
    前記第１及び第２のカメラと前記第１及び第２の光プロジェクタとに接続され、前記第１及び第２のカメラと前記第１及び第２の光プロジェクタとの動作を設定する制御信号を受け取り、前記第１及び第２のカメラからのビデオ信号を送信する通信ポートと、
    を備えるデジタイザと、
    前記デジタイザの前記通信ポートに接続可能なポートと、立体視、カラーの３Ｄデジタル化、およびモーション・キャプチャのための前記制御信号を生成することにより前記デジタイザの動作を制御する機能と、前記ポートを通じて受け取られる前記ビデオ信号を処理し、処理の結果、デジタル化データを生成するための機能とを有するコンピュータと、
    を備えるデジタル化システム。
14. 請求項１３に記載のデジタル化システムにおいて、
    前記カラーの３Ｄデジタル化の機能が、モデリング・プロセスを含み、
    前記モデリング・プロセスが、前記コンピュータに、
    前記第１及び第２のプロジェクタから前記物体への照明を用いずに、前記第１及び第２のカメラからの前記ビデオ信号中の基本画像を取得すること、
    前記第１のプロジェクタから前記物体への照明を用いて、前記第１及び第２のカメラからの前記ビデオ信号中の構造化された画像を取得すること、
    前記第２のプロジェクタから前記物体への照明を用いて、前記第１及び第２のカメラからの前記ビデオ信号中のテクスチャ画像を取得すること、
    前記構造化された画像中の前記符号化パターンの要素を識別すること、
    前記要素の位置を判定して、測定点の１セットを生成すること、
    前記コンピュータに記憶された較正情報を使用して、前記測定点の３Ｄ座標を求めること、および
    前記テクスチャ画像中の各測定点に対応する座標を求めて、前記物体のデジタル化画像を生成し、前記デジタル化データが前記物体の前記デジタル化画像を含むこと、
    を逐次行わせる、デジタル化システム。
15. 請求項１４に記載のデジタル化システムにおいて、
    前記構造化された画像中の投影される縞を検出することによって、前記要素は、識別され、前記投影される縞が、前記構造化画像中で識別される前記符号化パターンの前記要素を形成しており、前記投影される縞が、区分されている、
    最大強度を見つけるか、または縞の強度分布の重心を計算することにより、前記構造化された画像中のラインの中の前記縞の相対位置を求めることによって、前記要素の前記位置は、求められ、前記縞の位置が、前記測定点を形成している、
    縞の特色のうち特徴的なものに基づいて前記構造化画像中の基準縞を見つけ、前記基準縞から始めて前記構造化画像の端まで縞の特色に従って縞に番号を付け、前記基準縞を基準として前記縞の前記相対位置を現実世界の単位による現実世界の座標に変換し、各カメラについての個別の較正操作で作成された較正表を使用して現実世界の座標中の前記位置を幾何学単位の３Ｄ座標に変換することにより、前記３Ｄ座標は、求められ、較正表が、較正情報を形成している、デジタル化システム。
16. 請求項１５に記載のデジタル化システムにおいて、
    特色のうち前記特徴的なものは、ある色であり、前記縞は、それらの色に従って番号を付けられ、
    前記変換には、関数（ｘ、ｙ、ｚ）^T＝ｆ（ｕ，ｊ，ｎ）を使用し、
    ここで、（ｘ、ｙ、ｚ）^Tは、現実世界の座標内の位置であり、
    ｎは、縞の番号であり、
    ｊは、縞ｎについての画像中のラインの番号であり、
    ｕは、ラインＪにおける縞ｎの位置であり、かつ
    前記カメラの１つによって取得された前記画像セットからの前記３Ｄ座標に基づいてポイント・クラウドを生成し、前記ポイント・クラウドの各点ごとに前記座標と前記テクスチャ画像とからカラー・テクスチャ・ベクトルを求めることにより、前記テクスチャ画像内の前記座標は、求められる、デジタル化システム。
17. 請求項１６に記載のデジタル化システムにおいて、
    前記コンピュータがさらに、前記ポイント・クラウドの各点ごとに、赤、緑、青それぞれの色チャンネルとそれらチャンネルの最大との比を求め、前記構造化された画像中の対応する点にその比の逆数を適用する、デジタル化システム。
18. 請求項１６に記載のデジタル化システムにおいて、
    前記第１及び第２のカメラのそれぞれからの前記画像に対して、個別に前記モデリング・プロセスを実行し、後に融合される２つの独立した３Ｄモデルを生成する、デジタル化システム。
19. 請求項１３に記載のデジタル化システムにおいて、該システムはさらに、
    テクスチャのついた前記物体の３Ｄモデルを作成するために、前記デジタイザおよび前記物体のどちらかを回転させる目的で前記コンピュータによって制御される回転台を備え、
    前記デジタル化データが、前記テクスチャのついた物体の３Ｄモデルを含む、デジタル化システム。
20. 請求項１３に記載のデジタル化システムにおいて、
    前記立体視の機能により、前記コンピュータが、場面の３Ｄ効果をつけて表示するためのステレオの画像対を計算し、前記デジタル化データが、前記ステレオの画像対を含む、デジタル化システム。
21. 請求項１３に記載のデジタル化システムにおいて、
    前記モーション・キャプチャの機能により、前記コンピュータが、
    前記第１及び第２のカメラから並行して前記ビデオ信号中の画像シーケンスを取得し、
    各シーケンスの最初の画像中の制御点を検出し、
    前記画像のシーケンス中でその制御点を追跡し、
    前記第１のカメラによる前記画像と前記第２のカメラによる前記画像との中の前記制御点間の差異を判定し、
    前記差異と、前記第１及び第２のカメラの相対位置および角度の整合を含む較正情報とを使用することにより、同時に撮られた前記第１及び第２のカメラによる画像のうち対応する画像中の前記制御点の３Ｄ位置を求め、
    前記制御点の３Ｄ位置の連続として前記制御点の軌跡をそれぞれ生成し、前記デジタル化データが、前記制御点の前記３Ｄ位置および前記軌跡を含む、デジタル化システム。
22. 請求項２１に記載のデジタル化システムにおいて、
    前記制御点が、前記物体上に配置された固有のマーカを含む、デジタル化システム。
23. 請求項２１に記載のデジタル化システムにおいて、
    前記制御点が、高い強度のデリバティブを有する物体画像中の点を含む、デジタル化システム。
24. 請求項１３に記載のデジタル化システムにおいて、
    前記コンピュータがさらに、前記デジタル化データに適用することが可能な、圧縮および圧縮解除の機能を有する、デジタル化システム。
25. 請求項１３に記載のデジタル化システムにおいて、
    前記コンピュータがさらに、前記コンピュータの通信ポートを通じて、前記デジタル化データを送信する機能を有する、デジタル化システム。
26. 対象物体をデジタル化する方法であって、
    前記物体への追加的な照明を用いずに第１及び第２のカメラにより前記物体の基本的な画像を取り込むステップであって、前記第１及び第２のカメラは、１点を通じて集中する光軸を有し、かつ、その１点を含む測定深度に関する有効な重複部分を有する視野をそれらのカメラが有するように、互いに対して角度をつけた方向に並べられるステップと、
    符号化パターンが投影される光を前記物体に照射するステップと、
    構造化された画像を前記第１及び第２のカメラによって取り込むステップと、
    パターンのない光を前記物体に照射するステップと、
    前記第１及び第２のカメラによってテクスチャ画像を取り込むステップと、
    構造化された画像中の符号化パターンの要素を識別するステップと、
    前記要素の位置を求めて、測定点の１セットを生成することと、
    前記第１及び第２のカメラの位置および配列に関する較正情報を使用して、前記測定点の３Ｄ座標を求めるステップと、
    前記テクスチャ画像中の各測定点に対応する座標を求めて、前記物体のデジタル化画像を生成するステップと、
    を含む方法。
27. 請求項２６に記載の方法において、
    前記構造化された画像中の投影される縞を検出することによって、前記要素は、識別され、前記投影される縞が、前記構造化画像中で識別される前記符号化パターンの前記要素を形成しており、前記投影される縞が、区分されている、
    最大強度を見つけるか、または縞の強度分布の重心を計算することにより、前記構造化された画像中のラインの中の前記縞の相対位置を求めることによって、前記要素の前記位置は、求められ、前記縞の位置が、前記測定点を形成している、
    縞の特色のうち特徴的なものに基づいて前記構造化画像中の基準縞を見つけ、前記基準縞から始めて前記構造化画像の端まで縞の特色に従って縞に番号を付け、前記基準縞を基準として前記縞の前記相対位置を現実世界の単位による現実世界の座標に変換し、各カメラについての個別の較正操作で作成された較正表を使用して現実世界の座標中の前記位置を幾何学単位の３Ｄ座標に変換することにより、前記３Ｄ座標は、求められ、較正表が、較正情報を形成している、方法。
28. 請求項２７に記載の方法において、
    特色のうち前記特徴的なものは、ある色であり、前記縞は、それらの色に従って番号を付けられ、
    前記変換には、関数（ｘ、ｙ、ｚ）^T＝ｆ（ｕ，ｊ，ｎ）を使用し、
    ここで、（ｘ、ｙ、ｚ）^Tは、現実世界の座標内の位置であり、
    ｎは、縞の番号であり、
    ｊは、縞ｎについての画像中のラインの番号であり、
    ｕは、ラインＪにおける縞ｎの位置であり、かつ
    前記カメラの１つによって取得された前記画像セットからの前記３Ｄ座標に基づいてポイント・クラウドを生成し、前記ポイント・クラウドの各点ごとに前記座標と前記テクスチャ画像とからカラー・テクスチャ・ベクトルを求めることにより、前記テクスチャ画像内の前記座標は、求められる、方法。
29. 請求項２８に記載の方法において、該方法はさらに、
    前記ポイント・クラウドの各点について、赤、緑、青それぞれの色チャンネルとそれらチャンネルの最大との比を求めるステップと、
    前記構造化された画像中の対応する点にその比の逆数を適用するステップと、
    を含む方法。

Images