JP5317206B2 - ３次元モデル取得のための方法及びシステム - Google Patents

Description

本発明は、概してデジタル・グラフィックスに関し、より詳しくは画像の３次元モデルを取得するシステム及び方法に関する。

３次元（３Ｄ）モデルの取得は、３Ｄジオメトリ・リカバリー（３次元形状復元）、３Ｄシェープ・リコンストラクション（３次元形状再構成）等と呼ばれているが、例えばイメージ・センサにより撮られた画像からの物体及びシーンの３次元形状（多くの場合、多項式メッシュとして表される）の復元を伴う難易度の高い課題である。物体の奥行き情報、即ち３次元（３Ｄ）形状の復元については、相当な研究が為されている。ある技術は、ストラクチャードライト法（ｓｔｒｕｃｔｕｒｅｄ＿ｌｉｇｈｔ＿ｍｅｔｈｏｄ）と呼ばれる各手法のカテゴリーに属している。ストラクチャードライト法とは、物体の表面に特殊な設計の光パターンを投射し、その被投射パターンの変形を分析することによって奥行き（即ち、物体の表面上の点とカメラとの距離）を推定することによって、物体の３次元形状を復元する方法である。

多数の３次元形状復元技術の中で、構造化光（ストラクチャードライト）による手法は、精度が高く、且つ、リアルタイムで実施できるので、実際の各アプリケーションにとって有望である。それにもかかわらず、現在の構造化光による手法には、実際のモデルへの適用を妨げる制約が幾つかある。例えば、正確な取得を実現する為には、高出力光と高コントラスト・パターンを物体の表面に投射する必要がある。これは、多くの場合、映画のシーンに於ける俳優等の人間の被写体にとっては受け入れ難い。

また、現在の構造化光の技術は、通常、物体表面上にはテクスチャ（ｔｅｘｔｕｒｅ）が殆ど無いか、或いは、全く無いことが前提として必要である。物体にテクスチャが存在すると、それは構造化光パターンの様相に影響を及ぼすことになる。従って、テクスチャによって精度が著しく低下することが有り得る。更に、取り込まれた画像やビデオが、例えば映画製作のようなコンテンツ作成にも使用される場合、画像及びビデオ内に構造化光が存在することは多くの場合において望ましくない。

種々の３Ｄ取得技術は、能動的手法と受動的手法に分類することが出来る。受動的手法は、通常の照明条件下で撮られた画像又はビデオから３Ｄ形状を取得する。３Ｄ形状は、画像及びビデオから抽出された形状的特徴又は測光学的特徴を用いて計算される。非常に広く使用されている手法の２つとして、ステレオ・アルゴリズム技術と測光学的技術がある。ステレオ・アルゴリズム技術は、視角が異なる２台のカメラで撮ったステレオ画像ペアの差異に基づいて奥行きを推定する。差異は、ステレオ画像ペア内の各ピクセルを比較し、座標差を計算することによって、推定される。測光学的技術は、各表面方位によって生ずる陰影効果（ｓｈａｄｉｎｇ＿ｅｆｆｅｃｔ）に基づいて表面の垂線を推定する。実際の画像については、両技術とも、不正確であり、計算コストが高くなる。ステレオ・アルゴリズムは、平坦な領域（テクスチャの無い領域）上の各ピクセルの奥行きを推定することが出来ない。測光学的技術は、物体表面のデータ（即ち、双方向反射率分布関数（ＢＲＤＦ：Ｂｉｄｉｒｅｃｔｉｏｎａｌ＿Ｒｅｆｌｅｃｔａｎｃｅ＿Ｄｉｓｔｒｉｂｕｔｉｏｎ＿Ｆｕｎｃｔｉｏｎ））がアプリオリに既知である必要がある。

一方、能動的手法によれば、高精度とリアルタイム・スピードを実現することができる。例えばレーザ走査は、表面にレーザ光を投射して、飛行時間原理に基づいて、或いは、光パターンの変形に基づいて奥行きを推定する処理を含む技術である。しかしながら、レーザ走査は、その適用範囲が非常に限られている。

構造化光と呼ばれるもう１つの技術が、当業分野において好適である。構造化光の技術は、可視パターン又は非可視（赤外線）パターンを物体の表面に投射して、そのパターンの変形に従って奥行きを推定する。構造化光の方式は、コンピュータ映像の研究者の間で広範囲に研究されている。現時点での先進技術としては複合構造化光があり、これは、単一のストライプに代わる複数のストライプとカラー構造化光とを用いて、色により各ストライプを区別及び識別する。しかしながら、高精度の奥行き推定を実現するには、表面テクスチャが構造化光パターンに干渉しないように、この手法では、構造化光の強度が高く、且つ／又は、表面が滑らかである必要がある。従って、現時点で利用できる技術を用いた実際の物体の３Ｄ形状の復元は、煩わしさがあり、且つ、不正確である。

本発明のコンセプトは、実際の物体の３次元形状情報及び画像を、高精度かつリアルタイム・スピードで取得する方法及びシステムを提供することによって、従来技術の不具合に対処することにある。

本発明の一態様では、画像の形状情報を取得する方法が、人間の目では知覚できない変調レートの構造化パターンで物体を照光することと、第１の画像が照光されており、第２の画像が照光されていない差分画像ペアが得られるレートで物体の画像を取り込むことと、差分画像ペアを比較して物体についての形状情報を求めることとを含んでいる。この方法には、更に、照光されなかった画像のシーケンスを復元するためにフレーム選択プロセスを実施することを含むことが出来る。

本発明の他の態様では、画像の形状情報を取得するシステムが、人間の目では知覚できないレートで光エネルギを供給して物体を照光するように構成された変調光の光源と、第１の画像が照光されており、第２の画像が照光されていない差分画像ペアが得られるレートで物体の画像を取り込むように構成されたカメラと、差分画像ペアを比較して物体についての形状情報を求めるように構成された比較モジュールとを備えている。このシステムの比較モジュールは、上記変調光の求められた構造化パターンの変形に従って、物体の奥行きを推定するように構成された奥行き推定器と、奥行きマップから各３次元メッシュを求めて物体の３次元モデルを求めるように構成された変換モジュールと、変調光により照光されたフレームを除去して、変調光により照光されなかった画像のシーケンスを再生用又は表示用に生成するように構成されたフレーム選択モジュールと、を備えることが出来る。

本発明の開示事項は、以下に述べる詳細な説明と添付の図面とにより容易に理解できる。

本発明の一実施形態に従って画像から形状情報を取得するシステムのハイレベルのブロック図である。 本発明の一実施形態に従って画像の形状情報を取得する方法を示す図である。 本発明の一実施例に従って奥行きマップを生成する差分分析プロセスを示す図である。 本発明の一実施形態に従って画像の形状情報を取得する方法のフロー図である。 本発明の一実施形態に従って照光画像を含まない画像シーケンス、即ち、ビデオを生成する為に実施されるフレーム選択プロセスを示す図である。

尚、各図面は、本発明のコンセプトを例示する為のものであって、必ずしも本発明を説明する唯一可能な構成であるという訳ではないことを理解されたい。理解を容易にする為、各図に共通の同一要素は、可能な場合、同一参照番号を用いて示している。

本発明は、画像から３次元モデルを取得する方法及びシステムを提供することによって、従来技術の不具合に対処するものである。本発明を主にビデオ記録システムの範囲内で説明するが、本発明の特定の実施形態が本発明の権利範囲を制限するものであると見なすべきではない。当業者であれば、本発明の開示事項の説明により、本発明のコンセプトが、形状情報の取得に使用できる実質的にあらゆるデジタル撮像システムに有利に適用可能であり、且つ／又は、電話機、デジタル・カメラ、ムービーカメラ等によるデータの記録を含むあらゆる記録システムに適用可能であることが理解できるであろう。即ち、以下の説明は本発明の原理を例示するものであり、従って、当業者であれば、本明細書に明示的に示されていなくても、本発明の原理を具現化する、本発明の範囲内に含まれる様々な構成を案出できることが理解できるであろう。

各図に示されている各要素は、ハードウェア、ソフトウェア、或いは、それらの組み合わせの形態で実施できる。好ましくは、これらの要素は、ハードウェアとソフトウェアとの組み合わせの形態で、１つ以上の適切にプログラミングされた汎用装置により実施される。当該汎用装置は、プロセッサ、メモリ、及び、入力／出力インタフェースを備えることが出来る。従って、例えば、当業者であれば、本願に於けるブロック図が、本発明の原理を具現化する回路例の概念図を表していることが理解できるであろう。同様に、フローチャート、フロー図、状態遷移図、及び、擬似コード等が種々のプロセスを表しており、その種々のプロセスは、実質的にコンピュータで読み取り可能な媒体内において表現することができ、従って、明示されているか否かに関らず、コンピュータまたはプロセッサによって実行することが出来ることが理解できるであろう。

図１には、本発明の一実施形態に従って画像から形状情報を取得するシステムのハイレベルのブロック図が示されている。図１のシステム１００は、例として、コンピュータ１０５、光源１０４、カメラ１０８、及び、記録すべき画像、即ちシーン１０３を含んでいる。図１のシステム１００に於いて、コンピュータは、例として、光制御モジュール１０２を含んでおり、この光制御モジュール１０２には、光源１０４と比較モジュール１１０とを制御する種々のプログラムが記憶されている。コンピュータ１０５の比較モジュール１１０には、例として、奥行き推定器１１２、変換モジュール１１４、及び、フレーム選択モジュール１１６が含まれている。

図１のシステム１００に於いて、点滅（フリッカリング）光、即ち変調光の光源１０４が、シーン１０３内の物体１１３上に構造化光パターンを投射する。カメラ１０８は、構造化光によって照光されるシーンを取り込む比較的高いフレーム・レートを有している。本発明の一実施形態では、カメラのフレーム・レートは、構造化光の点滅レートに等しいか、或いは、それより高い。図１の光源１０４は、ＰＣ１０５に接続されており、ＰＣ１０５は、構造化光パターンの生成を制御し、フリッカリング効果をシミュレートする。構造化パターンは、例えば、光制御モジュール１０２内の格納プログラム１０７によって生成することが出来る。即ち、フリッカリング効果は、プログラム１０７内に含まれているディテールに従って光パターンのオン／オフを切り替えることによって得られる。

光源に起因して物体上に生じる光擾乱を最小限に抑える為に、本発明の一実施形態では、図１のシステム１００は、人間の視覚系が知覚できないように十分に高い点滅周波数（例えば、６０Ｈｚ以上）の光源１０４を用いている。即ち、当該光源は、点滅光の光源の周波数がある閾値を超えると人間の目の知覚が実質的に低下する現象に基づいて、人間の目に見えない構造化光を発生する。従って、カメラ１０８を使用して物体を撮像する場合、その光は目に見えず、擾乱は、たとえあっても最小限となる。画像は、比較的高いフレーム・レートで、差分画像ペアとして取り込まれる。差分画像ペアは、一方が構造化光によって照光されており、他方が照光されていない、取り込まれた画像シーケンスに於ける２枚の連続画像から成る。この差分画像ペアに於ける画像相互間の差分を分析することによって、物体表面上のテクスチャの除去が可能になる一方、構造化光パターンの形と色が保持される。

例えば本発明の一実施形態では、コンピュータ１０５の比較モジュール１１０は、差分画像ペアに於ける画像相互間の差分を分析して、シーン内の物体の非照光部分を除去する。即ち、本発明の一実施形態では、差分分析には、構造化光パターンを含む画像と構造化光パターンを含まない画像とを比較して、あらゆる差分を求める処理が含まれている。

図２には、本発明の一実施形態に従って、画像の形状情報を取得する方法の適用例の図が示されている。図２に於いて、本発明の実施形態に従う構造化光パターン１２６が、カメラ１０８によって差分画像ペア１２０の第１の画像１２８内で取得される。カメラ１０８によって取り込まれる各ペア１２０の第２の画像１３０には構造化光パターンが含まれていない。

例えば、本発明の一実施形態に於いて、カラー構造化光が、被照光物体の奥行きを推定するのに使用されるカラー・ストライプをシーン上に投射する。より詳しくは、カメラ１０８が見た表面上の点に於けるカラー・ベクトルをＳ＝［Ｓ^ｒ，Ｓ^ｇ，Ｓ^ｂ］^Ｔと定義すると、プロジェクタ・クロストーク行列は次の等式（１）の通りに記述することができ、

そして、シーンのアルベド行列は次の等式（２）の通りに記述することができ、

更に、プロジェクタの照光ベクトルはＰ＝［ｐ^ｒｃｏｓθ，ｐ^ｇｃｏｓθ，ｐ^ｂｃｏｓθ］^Ｔと記述することができ（ここで、θは表面垂線とプロジェクタの入射光との間の角度）、環境照明ベクトルはＥ＝［ｅ^ｒ，ｅ^ｇ，ｅ^ｂ］^Ｔと記述することができ、周辺光ベクトルはＯ＝［ｏ^ｒ，ｏ^ｇ，ｏ^ｂ］^Ｔと記述することができる。上述の数量は、次の等式（３）に従って関連付けることができる。

カメラによって観測されるカラー・ベクトルＳが与えられると、照光ベクトルＰ内の構造化光カラーｐ^ｒ，ｐ^ｇ，ｐ^ｂが求められる。ｐ^ｒ，ｐ^ｇ，ｐ^ｂが求められると、その各値は、構造化光パターンにマッチングされ、物体の表面上の相対点の奥行きの推定に使用される。差分画像ペアに於ける２つのフレームの差分を求めることによって、環境照明光及び周辺光の各々の作用は、次の等式（４）の通りに記述することができる。

ここで、Ｓ（ｔ）及びＳ（ｔ＋１）は、カメラが時間ｔ及びｔ＋１で取り込むフレームである。クロストーク行列Ｘを推定して、δ_ｔＳにＸ^−１を乗算することによって、カメラ・プロジェクタ修正ステージＦＰを求めることが出来る。しかしながら、シーンのアルベド・ベクトルＦと、照光ベクトルに於ける表面配向項とは、依然として除去する必要がある。これを実現するには、空間差分に基づく方法を用いてアルベド及び表面配向を取り除く。本発明の一実施形態では、シーンのアルベド・ベクトルＦＰは、次の等式（５）の通りに記述することができる。

通常、アルベド・マップは区分的にコンスタントであり、かつ表面は滑らかであるので、隣接ピクセルのアルベドが上記と実質的に同じであると仮定すると、上記等式（５）に於いて、θは局部領域内でコンスタントに近い。更に、ピクセル１とピクセル２が隣接ピクセルであると仮定すると、シーン・アルベドと表面配向項とを除外して書き換えた等式（５）は、次の等式（６）の通りに記述することができる。

従って、対数差分δｌｏｇＦＰを用いて対応関係を計算して奥行き推定を行う場合、シーンのアルベドと局部表面配向は、このような算出に対して不変であると考えられる。この奥行き推定の例をカラー構造化光を実施するものとして説明したが、当業者であれば、本明細書に於ける開示事項から、奥行きの算定を、複合の、即ちカラーのストラクチャードライト法等による奥行き推定技術を使用して実現できることを理解できるであろう。

例えば、再び図１を参照すると、比較モジュール１１０には奥行き推定器１１２が含まれており、これは、一実施形態では、上記等式（６）に記述された対数差分δｌｏｇＦＰを用いて、構造化パターンの変形に従って、奥行きを推定する。奥行き推定器１１２は、シーンとその中の物体との奥行きマップを出力する。

図３には、本発明の一実施例に従って奥行きマップを生成する差分分析プロセスの図が示されている。図３では、差分分析が差分画像ペア１２０に適用され、被照光物体画像１２８から物体画像１３０の各部分が分離されて、構造化パターン１３４が求められる。次に、例えば、図１の奥行き推定器１１２が構造化パターン１３４を用いて奥行きマップ１３６を求める。

次に、奥行き情報（例えば、奥行きマップ）を用いて、被照光物体についての３次元（３Ｄ）モデルを求める。図１の実施形態を参照してより具体的に説明すると、比較モジュール１１０には変換モジュール１１４が含まれている。本発明の一実施形態に於いて、変換モジュール１１４は、奥行きマップを３Ｄメッシュに変換して、相異なる視点から撮られた複数のメッシュを１つの３Ｄメッシュに合成して、被照光物体についての３Ｄモデルを生成する。レンジ・マップ又は奥行きマップを１つの３Ｄメッシュに変換する周知の技術が当業分野において幾つか存在しており、従って、本明細書では、そのような技術の詳細については説明しない。例えば、一実施形態では、奥行きマップから３Ｄメッシュへの変換は、相異なる角度からレンジ画像を取り込み、次に、それらのレンジ画像を位置合わせして繋ぎ合わせて、完全な３Ｄメッシュ／モデルを作成する。

その後、構造化光パターンを含まない画像シーケンス、即ちビデオを、後処理段階で完全に復元することができる。より詳しくは、フレーム選択プロセス１１６を例えば図１のフレーム選択モジュール１１６によって行うことができ、構造化光によって照光されたフレームから構造化光によって照光されなかったフレームを分離して、構造化光によって照光された画像を含まない画像シーケンスを生成することによって、シーンの再生及び表示が悪影響を受けないようにできる。このようなプロセスを、以下に更に詳しく説明する。

図４には、本発明の一実施形態に従って画像の形状情報を取得する方法のフロー図が示されている。方法４００が、ステップ４０２で開始し、このステップに於いて、物体が、上述のように点滅光によって照光される。一実施形態では、点滅光は、人間の目には見えず、その周波数を６０Ｈｚとすることが出来る。ただし、他の周波数を用いることもできる。従って、たとえ高強度のテクスチャを有する物体であっても、高精度とリアルタイム・スピード（実時間速度）が実現できる。次に、方法４００はステップ４０４に進む。

ステップ４０４に於いて、点滅光が基準物体を照光する際に生成された各画像が、前述のようにカメラによって取り込まれる。次に、方法４００はステップ４０６に進む。

ステップ４０６に於いて、差分分析が、生成された差分画像ペア（例えば、第１の画像が点滅構造化光により照明されており、第２の画像が点滅構造化光により照明されていない一対の画像）に適用され、被照光物体上に生成された構造化光パターンを識別して分離する。次に、方法４００はステップ４０８に進む。

ステップ４０８に於いて、奥行きマップが、ステップ４０６の差分画像分析の結果から生成される。次に、当該方法はステップ４１０に進む。

ステップ４１０に於いて、物体の３Ｄモデルが、奥行きマップのメッシュ・オブジェクトから作成される。そして、方法４００は終了する。

本発明の方法４００には、更にステップ４１２を含めることが出来る。即ち、ステップ４１２に於いて、フレーム選択プロセスを用いて、点滅構造化光によって照光された画像フレームを破棄し、その結果、照光されなかったフレームの画像シーケンスを復元できる。

更に具体的に述べると、フレーム選択プロセス１１６を、例えば図１のフレーム選択モジュール１１６により行うことができ、構造化光によって照光されたフレームから構造化光によって照光されなかったフレームを分離して、構造化光によって照光された画像を含まない画像シーケンスを生成することによって、シーンの再生及び表示が照光によって悪影響を及ぼされないように、即ち損なわれないようにすることができる。

例えば、図５には、本発明の一実施形態に従って、照光画像を含まない画像シーケンスを生成する為に実施されるフレーム選択プロセスの図が示されている。図５の選択プロセスは、構造化光パターンを含むフレームを識別する。例えば、本発明の一実施形態に於いて、照光画像の識別は、前述の如く、差分推定器１１２により行われる差分分析から復元された各パターンを各画像フレームにマッチングして、構造化光パターンを含む画像フレームを識別することによって、行うことが出来る。構造化光パターンを含む各フレームを識別した後、これらのフレームをオリジナルの画像シーケンスから除外でき、照光画像を含まない画像シーケンスを生成できる。図５を参照すると、構造化光を含む各フレーム１２８が削除され、即ち、破棄されて、各フレーム１３０がフレーム選択プロセスにより選択される。従って、復元シーケンス１４０には、ビデオ、動画、静止画等の再生、或いは、表示に必要な各フレームが含まれている。

以上、実際の物体とシーンの３次元形状情報の取得についての好ましい実施形態（これらの実施形態は単なる例であって本発明を制限するものではない）を説明したが、当業者であれば、上述の開示事項を参照して、種々の修正及び変形を行うことが出来る。従って、本明細書に開示した本発明の特定の各実施形態に於いて、本願の特許請求の範囲に規定された本発明の範囲内で、種々の変更を行うことが出来る。上述の説明は本発明の種々の実施形態についてのものであるが、本発明のその他の更なる実施形態を、本発明の基本的な範囲から逸脱することなく案出できるであろう。従って、本発明の範囲は本願の特許請求の範囲に従って適切に特定されるべきである。

Claims (23)

1. 画像の形状情報を取得する方法であって、
   人間の目では知覚できない変調レートの構造化パターンで物体を照光することと、
   第１の画像が照光されており、第２の画像が照光されていない差分画像ペアが得られるレートで前記物体の画像を取り込むことと、
   前記差分画像ペアを比較して前記物体についての形状情報を求めることと、
   を含む前記方法。
2. 前記形状情報は、前記第１の画像から前記第２の画像を減算して、その結果得られた光パターンの変形を評価することによって求められる、請求項１に記載の方法。
3. 物体の奥行きが、前記得られた光パターンの前記変形を評価することによって求められる、請求項２に記載の方法。
4. 奥行きマップが、求められた前記形状情報から作成される、請求項１に記載の方法。
5. 各３次元メッシュが前記奥行きマップから求められ、該３次元メッシュが前記物体の３次元モデルを構成することに使用にされる、請求項４に記載の方法。
6. アルベド効果、環境照明、及び陰影のうちの少なくとも１つを除去して、前記奥行きマップを生成することを含む、請求項４に記載の方法。
7. 照光されなかった画像のシーケンスを復元するためにフレーム選択プロセスを実施することを含む、請求項１に記載の方法。
8. 前記照光されなかった画像のシーケンスがシーンの再生及び表示に使用される、請求項７に記載の方法。
9. 前記物体の画像が、前記変調レートに等しいか、或いは、それより高いフレーム・レートで取り込まれる、請求項１に記載の方法。
10. 前記物体のモデルを作成するためにアルベド効果、環境照明、及び陰影のうちの少なくとも１つを除去することを含む、請求項１に記載の方法。
11. 画像の形状情報を取得するシステムであって、
    人間の目では知覚できないレートで光エネルギを供給して物体を照光するように構成された変調光の光源と、
    第１の画像が照光されており、第２の画像が照光されていない差分画像ペアが得られるレートで前記物体の画像を取り込むように構成されたカメラと、
    前記差分画像ペアを比較して前記物体についての形状情報を求めるように構成された比較モジュールと、
    を備えた前記システム。
12. 前記変調光により照光されたフレームを除去して、前記変調光により照光されなかった画像のシーケンスを生成するように構成されたフレーム選択モジュールを備えた、請求項１１に記載のシステム。
13. 前記変調光の構造化パターンの変形に従って、前記物体に於ける奥行きを推定するように構成された奥行き推定器を備えた、請求項１１に記載のシステム。
14. 前記奥行き推定器は、前記第１の画像から前記第２の画像を減算して、その結果得られた光パターンの変形を評価して前記物体の奥行きを求める、請求項１３に記載のシステム。
15. 奥行きマップが、求められた前記形状情報から作成される、請求項１１に記載のシステム。
16. 前記奥行きマップから各３次元メッシュを求めて前記物体の３次元モデルを求めるように構成された変換モジュールを備えた、請求項１５に記載のシステム。
17. 前記物体が相異なる視点から照光され、前記カメラが該相異なる視点からの前記物体の画像を取り込む、請求項１１に記載のシステム。
18. 各奥行きマップが前記相異なる視点の求められた前記形状情報から作成され、各３次元メッシュが該奥行きマップから求められる、請求項１７に記載のシステム。
19. 相異なるメッシュが合成されて、前記物体の３次元モデルが求められる、請求項１８に記載のシステム。
20. 前記変調光の光源はコンピュータにより制御されるプロジェクタを含む、請求項１１に記載のシステム。
21. 前記カメラは、前記変調光の前記レートに等しいか、或いは、それより高いフレーム・レートで画像を取り込む、請求項１１に記載のシステム。
22. 前記カメラはビデオ・カメラを含む、請求項１１に記載のシステム。
23. 前記物体はテクスチャを有し、前記比較モジュールはアルベド効果、環境照明、及び陰影のうちの少なくとも１つを除去する、請求項１１に記載のシステム。
    

Images