JP5220144B2 - 低密度の反射対応から鏡面物体の表面を再構築するための方法 - Google Patents

Description

本発明は包括的にはコンピュータービジョンに関し、より詳細には低密度の反射対応から鏡面を再構成することに関する。

ミラー状の反射率を呈する鏡面物体は、該物体自体の外観を有するのではなく、周囲環境を歪ませる。動きからの構造復元（structure from motion）（ＳｆＭ）、ステレオ又は多眼ステレオのようなランバート面のために設計された従来の表面回復方法を鏡面物体のために直接使用することはできない。

鏡面フローからの形状復元（shape from specular flow）（ＳＦＳＦ）は、環境、ミラー、又はカメラの既知の動きの下でミラー上で観測される環境特徴の高密度のオプティカルフローを測定することによって表面推定を探究する。ＳＦＳＦにおける従来技術の研究の多くは環境の無限小の回転を想定する。ここで、動きフィールドを連結する前進フロー方程式（forward flow equation）において、表面パラメーター及び鏡面フロー（ＳＦ）は偏微分方程式（ＰＤＥ）として表すことができる。

しかしながら、従来の手法は、大きな変位をＰＤＥの枠組みに組み込むことができないため、有限の動き又は大きな動きには拡張されない。さらに、ＳＦＳＦは高密度のオプティカルフローを必要とし、これは鏡面物体の場合に得るのが困難である。なぜなら、ＳＦが未定義又は無限のフロー、及び１対多のマッピングのような或る特定の望ましくない特性を呈するためである。

鏡面フロー対反射対応
図１は、表面Ｓ１上の点Ｐ１及び表面Ｓ２上の点Ｐ２を示している。２つの点における表面の法線ｎ及び曲率は同一である。鏡面フロー前進方程式は、局所的な法線及び曲率にのみ依存するため、同じ無限小の環境の動きの場合、これらの２つの点に関してフローは同一となる。

しかしながら、図示されるような有限の又は大きな環境回転θの場合、観測されるフローは局所的な法線及び曲率のみでなく、近傍の特性にも依存する。これらの２つの表面点において観測される実際のフローは、それらの近傍の差に起因して根本的に異なることに注目されたい。

この依存は鏡面フローの枠組みに容易には組み込まれない。

質的特性
凹型又は凸型のような局所表面特性を、照明の知識を用いることなく観測者の動きの下で求めることができることがわかっている。鏡面ハイライトの立体画像を分析してハイライトの差異がその凹凸に関連することを示すことができる。

アクティブ照明
鏡面物体の構造は、測光ステレオ画像を使用して推定することができる。画像特徴が実物であるか又は反射であるかを判断するためにコースティクスを使用することができる。次に、未知のシーン点を追跡することによって表面回復を実行することができる。次に、この特性を使用して高い分解能で表面メソ構造を推定することができる。既知の表面及び反射率を精査することによって未知の表面の特性を求めることができる。

較正された環境
既知の環境下の表面再構築がよく知られている。平滑な表面の局所特性は、観測される、２つの較正された線の投影によって最大３次で求めることができる。較正されたパターンの複数の画像を使用して、表面ミラーの形状を再構築することができる。構造復元されたハイライトを使用して鏡面物体の形状を得ることもできる。

較正されていない環境
鏡面フローは、特に放物曲率（parabolic curvature）の点の近くにおいて動きフィールドと大きく異なり得る。鏡面経路摂動を複数の相互反射の高速レンダリングに使用することができる。

鏡面フローは、任意の軸を中心とした２つの既知の回転又は３つの未知の回転について求めることもできる。これらの手法の双方は表面の形状について解くための（法線の観点における）多数の初期状態を必要とする。表面の異なるパラメーター化の下で。推定問題は線形になる。これを使用してさらなる情報を何ら用いることなく複数の鏡面フローからミラーの形状が推定される。

しかしながら、ＳＦＳＦ定式化は本質的に特異（differential）であり大きな動きに拡張されない。

本発明の実施の形態は、低密度の反射対応（ＲＣ）を使用して鏡面物体の表面を再構築するための方法を提供する。本方法は、固定カメラ及び較正されていない環境での有限の物体及び／若しくは環境の動き、又はカメラ及び物体の連動した動きを想定し、ＲＣと表面形状との間の関係を導出する。

表面を二次方程式として局所的にモデリングすることによって、反射対応と未知の表面パラメーターとの間の関係が線形になる。表面再構築方法は、固有値問題又は二次錐計画（ＳＯＣＰ）を解く。

これは、低密度の反射対応から鏡面を再構築するための第１の方法であると考えている。好ましい実施の形態では、反射対応はスケール不変特徴変換（ＳＩＦＴ）によって得られる。しかしながら、オプティカルフロー、正規化相関、高速化ロバスト特徴（ＳＵＲＦ）等のような他の画像点対応手順も利用することができる。

本発明者らの方法は、放物点における高密度のオプティカルフロー及び未定義／無限のフローの要件のような、鏡面フロー（ＳＦＳＦ）からの形状における実際上の問題を克服する。本方法は、対応の高密度のセットが利用可能な場合であっても適用可能であることに注目されたい。

鏡面物体上で観測される点における有限の動きの効果の概略図である。 本発明の実施形態による、低密度の反射対応を使用して鏡面物体の表面を再構築するための方法のブロック図である。

図２に示すように、本発明の実施形態は、低密度の反射対応（ＲＣ）を使用して、平滑なミラー状物体２０３の表面２０９を再構築するための方法２００を提供する。本方法のステップは、該技術分野において既知のメモリ及び入力／出力インターフェースを備えるプロセッサ１００において実行することができる。

本明細書において定義されるように、低密度とは、対応の数が利用可能な高密度の対応の数よりも約２桁小さいことを意味する。

たとえば、６４０×４８０の画像、すなわち約Ｎ＝３０，０００ピクセルが存在する画像において、従来の方法は実質的に３０，０００の対応を必要とする。本発明者らの低密度の方法は、約３００〜５００の対応で問題を解くことができる。

カメラ２０２を用いて、回転を受ける物体の画像のセット２０１を取得する。回転は物体、カメラ、又は環境に対するものとすることができる。

好ましい実施形態では、スケール不変特徴変換（ＳＩＦＴ−米国特許第７，６４６，８８７号）手順２１０を適用して、反射対応２１１を生成する。しかしながら、オプティカルフロー、正規化相関、高速化ロバスト特徴（ＳＵＲＦ−米国特許出願公開第２００８−０３１３１４０号）のような他の画像点対応手順も利用することができる。

対応を使用して、二次方程式の線形系（linear system of quadratic equations）ＡΘ＝０を解く（２２０）。ここで、後述するように、Θは二次曲面パラメーター｛Ｊ_ｉ，Ｈ_ｉ，ｉ＝１，．．．，Ｎ｝２２１のベクトルである。

線形系の解を使用して、表面勾配２３１を求める。勾配は統合されて（２４０）表面法線２０９が出力される。表面法線２０９は物体の形状を定義する。

反射対応
単純にするために、まず本方法を正射影カメラに適用可能なものとして説明する。本方法は較正された透視投影カメラにも等しく適用可能である。

環境が無限遠にあると想定する。これによって或るピクセルにおいて撮像される環境特徴は、該ピクセルにおいて観測される表面要素の法線にのみ依存し、該ピクセルのロケーションには依存しないことが確実になる。

Ｉ（ｘ）をピクセルｘにおいて観測される強度とし、Ｅ（θ（ｘ））をオイラー角θ（ｘ）＝（θ（ｘ），φ（ｘ））によってパラメーター化された環境強度マップとする。既知のモンジュ形式ｚ＝ｆ（ｘ）＝ｆ（ｘ，ｙ）で表面をモデリングする。前進撮像方程式（forward imaging equation）は、

であり、∇ｆ（ｘ）＝（ｆ_ｘ（ｘ），ｆ_ｙ（ｘ））^Ｔはピクセルｘにおける表面勾配である。本明細書において、表面を該表面の勾配フィールド∇ｆ（ｘ）の観点からモデリングする。本発明者らの目標は、カメラ、物体、又は環境の既知の動きの下で物体の複数の画像から形状ｆ（ｘ）を推定することである。

観測される特徴に対する動きの影響
正射影カメラの場合、表面の並進はカメラ座標系における表面法線を変化させず、画像の並進のみを生成する。このため、これは新たな情報を何らもたらさない。同様に、環境は無限遠にあると想定されるため、物体の並進はさらなる情報を何ら与えない。光軸を中心としたカメラの回転（面内回転）は、ピクセルの再マッピングであり、新たな情報を何ら生成しない。同じ理由で、主軸を中心としたカメラの回転はピクセルの再マッピングであり、新たな情報を何ら生成しない。環境の回転は、物体をカメラの光軸上に設置すると共に、カメラ−物体対を連携させて回転することに等しい。

このため、ピクセル再マッピングを無視すると、環境回転はカメラの光軸を中心とし他物体の回転に等しい。物体の回転はカメラによって観測される法線フィールドを変化させ、それによって以前には見られなかった画像を生成するため、本明細書では物体の回転のみを考察するが、本方法は他の回転に容易に拡張される。

環境が無限遠にあるという想定に起因して、観測される環境特徴は物体の表面法線のみに依存する。物体の回転下では、該物体の画像は構造復元された形で変化する。或るピクセルにおいて観測される環境特徴は、表面法線が再度現れるロケーションにおいて再度現れ得る。物体回転の後に環境特徴が再度現れないこと、複数のロケーションにおいて再度現れることもあり得る。以下に、反射対応（ＲＣ）と表面形状との間の関係を導出する。

無限小の回転
完全を期すために、無限小の物体回転の下で反射対応が鏡面フローに等しいことを最初に説明する。表面は、ｔ＝０では、カメラ座標系においてｚ＝ｆ（ｘ）である。カメラ主軸を中心とした回転の後、時点ｔにおけるミラー表面はｆ（ｔ，ｘ）＝ｆ（Ｒ（ｔ）^Ｔｘ）である。２×２の回転行列はＲ（ｔ）＝ｅｘｐ（ωｔ）である。表面勾配は次の通りである。

物体が回転するにつれ、ｘ（ｔ）＝Ｘ_０＋ν（ｔ）に沿って移動する環境特徴を考察する。これらのモデリング推定の下では、次の通りである。

これは、

を暗に意味している。

ｔ＝０におけるこの式の値を求めることによって、次の式を得る。

これによって、無限小の鏡面フローνを局所表面パラメーターに関係付ける前進フロー方程式、及び既知の回転ωが与えられる。鏡面フローを所与とすると、表面勾配フィールドは、式（４）において定義される偏微分方程式を解くことによって回復することができる。

へシアン行列［∂^２ｆ∂ｘ^２］に符号化される表面の二次特性は、鏡面フローを求めるのに重要な役割を果たす。この行列が特異行列である場合、鏡面フローは無限に進む。放物曲率の点はへシアン特異行列を有し、無限のフローを呈する。

無限小から有限への回転
無限小の動きは簡潔な理論上の定式化をもたらすが、実際上、これは小さな動きによって近似されている。ランバート物体の場合、フロー値が明確に定義されているため、小さな動きは多くの場合に無限小の動きの良好な近似である。しかしながら、放物曲率の点における無限のフローの存在は、動きがどれだけ小さくても、鏡面の対応が放物曲率の点のパッチ（patch）において未定義となることを示している。パッチとは隣接するピクセルの領域である。このパッチのサイズは回転の大きさに依存する。このため、高密度の鏡面フローフィールドを推定するのが難しくなる。

この観測は、高密度のフローフィールドとは対照的に、低密度の反射対応の観点で画像間の合致をモデリングする動機付けとなる。低密度の対応によって、関連付けられるフローを有しないピクセル、及び複数の画像にわたって１対多のマッピングを呈するピクセルを組み込むことが可能になる。より重要なことには、１対多のマッピング、又は対応の消失（ステレオの場合、オクルージョン（occlusion）又は非オクルージョン（disocclusion）と同様）も同様に扱うことができる。

有限の動き
ここで、カメラの光軸を中心とした物体の有限の回転Ｒを考察する。

{Ｘ^Ａ _ｉ←→Ｘ^Ｂ _ｉ；ｉ＝１，...Ｎ｝を、画像Ａ上のピクセルＸ^Ａ _ｉにおいて観測される環境特徴が画像Ｂ上のピクセルＸ^Ｂ _ｉにおいて観測される環境特徴と合致するような、画像対における反射対応のセット２１１とする。これは、物体の表面勾配において以下の関係を生じさせる。

さらに、ｆ_Ｂ（ｘ）＝ｆ_Ａ（Ｒ^Ｔｘ）は、ロケーションＡにおける物体のみの観点から制約を与える。

変動する（既知の）回転の下での複数の画像を所与とすると、∇ｆ_Ａの観点から関係を適切に書き換えることによって、任意の画像対間で得られる対応を使用することができる。

このため、物体回転を所与とすると、本発明者らの着想は、低密度の反射対応が表面勾配に対し制約を与えるということである。高密度の表面を回復するために、表面に対しさらなる想定を必要とする。この目的のために、表面再構築のための表面に対して局所二次モデルを使用する。

低密度の対応からの形状
二次曲面を使用した表面近似
重複しないパッチにわたって局所二次モデルを使用して、一般的な平滑な表面を近似する。平滑とは、表面が鋭角エッジも他の不連続も含まないことを意味する。表面ｚ＝ｆ（ｘ）＝ｆ（ｘ，ｙ）は以下のように近似される。

ここで、Ｈ_ｉ、Ｊ_ｉ、及びα_ｉは、パッチＮ_ｉを定義する二次パラメーターであり、Ｔは転置演算子である。表面勾配は、次の通りである。

Ｊ_ｉ及びＨ_ｉは表面パラメーターであることに留意されたい。さらに、Ｈ_ｉは対称行列であり、カメラからの距離α_ｉは正射影カメラ設定の場合不可観測である。局所表面パラメーター化のための二次モデルの選択は、関連付けられる表面勾配フィールドがｘにおいてアフィンであるということから主に動機付けられる。これは、後述するように、反射対応を所与とした未知の表面パラメーター（Ｊ_ｉ及びＨ_ｉ）における線形関係をもたらす。より困難な干渉問題を解くことを代償に代替的な表面パラメーター化を使用することも十分に可能である。しかしながら、二次モデルは、広範囲の平滑な表面の良好な近似としての役割を果たす。

二次曲面パッチに関する反射率対応
ここで、局所二次曲面モデルの下で、式（６）の表面勾配関係を再解釈することができる。式（６）はｘ^Ａにおける表面勾配と、Ｒ^Ｔ（ｘ^Ｂ）とを関係付ける。式（６）は２つの点が属するパッチの表面パラメーターの観点から書き換えることができる。ｘ∈Ｎ_ｋ、及びＲ^Ｔ（ｘ^Ｂ）∈Ｎ_ｍとする。そして、式（８）の表面勾配に関する式を式（６）に代入して、次の式を得る。

回転Ｒが既知であるとき、式（９）は未知の表面パラメーターにおいて線形である。式（９）は、解空間におけるスケールの不明確性も示唆する。二次パラメーターのための解は、式も満たす別の解を得るようにスケーリングすることができる。

これは、二次パラメーターに対するいかなる解も、よくても大域規模の不明確性を被ることを暗に意味している。しかしながら、この問題は、パッチのクリークが形成され、対応が同じクリーク内の近傍間のみとなる場合に、より深刻になり得る。クリークとは近傍パッチのセットである。

これは潜在的に、各クリークが該クリーク自体のスケール不明確性を有することへとつながり、これによって、大域的にはるかに深刻な問題へとつながる。これを解消するために、本発明者らは、２つの隣接する近傍間の境界における表面勾配の平滑性を強制する。

平滑性制約
上述したように、式（９）のみの反射対応を強制することは、潜在的に、解消するのが非常に困難となり得る複数のスケール不明確性へとつながり得る。さらに、局所二次モデルは、近傍の境界において不連続が存在し得るという点において、必ずしも平滑な表面をもたらすとは限らない。

本発明者らは、２つのパッチの境界における勾配がパッチの両側で同じになることを強制することによって、これらの問題の双方を解決する。

ｘを２つの近傍Ｎ_ｍ及びＮ_ｎの境界におけるピクセルとする。Ｎ_ｍ及びＮ_ｎの二次モデルによって得られるｘにおける表面勾配が同じであることを保証することができる。

式（９）における関係に関して、境界平滑性制約は表面パラメーターにおいて線形であり、スケール不明確性を呈する。これは、いくつかの表面法線又は勾配の確かな情報なしに大域スケール不明確性を解消することができない点をさらに補強する。そのような情報は、いくつかの別個の点において輪郭又は法線の知識をオクルージョンすることによって潜在的に得ることができる。そのような制約を以下の本発明者らによる方法に組み込むことができる方法を説明する。

表面について解く
表面について解くために、局所二次曲面のパッチサイズを定義しなくてはならない。パッチを小さくすることによって表面の近似をより良好にすることができるが、表面推定問題において未知のものが増えることにつながる。表面に関する事前の知識がない場合、表面を良好に近似すると共にパラメーターの数も低減する近傍を選択することは容易でない。

画像平面にわたって、重複しない正方形のパッチを選択する。該パッチのサイズは効果的に解くことができる問題のサイズに依存する。反射対応のセット{Ｘ^Ａ _ｉ←→Ｘ^Ｂ _ｉ｝及び表面Ｒが受ける回転を所与とすると、ここで二次曲面パラメーターについて解くことができる。

利用可能な対応ごとに、式（９）において与えられる関係を定式化する。次に、２つの近傍の境界間で、式（１０）の境界平滑性制約を強制する。これらを積み重ねて、線形連立方程式系（a system of linear system of equations）ＡΘ＝０を得る。ここで、Θは全ての表面パラメーター｛Ｊ_ｉ，Ｈ_ｉ，ｉ＝１，…，Ｎ｝から構成されるベクトルである。解を行列Ａ^ＴＡの最小固有値として定式化することによって解が得られる。

代替的に、解を二次錐計画（ＳＯＣＰ）、

として定式化することができる。

固有値問題として解くことは、多くの場合に数値精度の観点において、より正確である。しかしながら、非常に大きな系の場合、リソース制約に起因して、固有値問題を解くことが可能でない。そのような場合、該固有値問題を凸計画として解くことが依然として可能である場合がある。凸定式化によって、利用可能であるかもしれないさらなる制約を組み込むことも可能になる。

表面パラメーターを使用して、勾配フィールド２３１を求める（２３０）ことができる。次に、ポアソン方程式を解くことにより勾配フィールドを統合することによって、表面２０９が推定される。

さらなる法線制約
反射対応に加えて、表面法線情報が表面上の点の低密度のセットにおいて利用可能である場合がある。この情報は、既知のシーン点を観測すること、又はカメラの反射を観測すること、又はオクルージョン輪郭からもたらされる場合がある。

これらのいずれの場合においても、この追加の情報が本発明者らの再構築方法にシームレスに統合されるように問題を再定式化することができる。ミラー状表面の形状を推定するための凸最適化の枠組みは、さらなる制約を組み込むその能力において、より柔軟性がある。

１つのそのような制約が、表面上のいくつかのロケーションにおける表面法線又は表面勾配の知識である。そのような表面勾配のセット

を所与とすると、最適化問題に制約を加えることによってこれらを強制することができる。既知の勾配のそれぞれが二次パラメーターに対し線形制約を生じさせる。

ここで、以下のように定義される最適化問題を解く（２２０）ことができる。

最適化問題の基本的性質は、ＳＯＣＰを保つという点において変化しない。実際は、そのような追加の情報を組み込んでミラーの表面を推定するという能力は、特に表面を確実に再構築するのに十分な反射対応が存在しない場合に非常に有用である。いくつかの既知の表面勾配／法線を有することは、表面推定を規則化する際に大きな役割を果たす。

以上の方法により得られる効果
対応の低密度性：本発明者らの推定における表面形状の全ての情報は反射対応からのものである。ＲＣが存在しなくても、式（１１）における行列Ａは、二次方程式の空間に広がる５次元のヌル空間を有することは注目すべきものである。ＲＣによって生成される制約は、解を大域二次曲面から本発明者らの対象とする表面にシフトする。この意味において、反射対応の密度によって、表面上の特徴が分解される粒度が決まる。特に、表面におけるきめの細かな微妙な差異を捕捉するには、形状のかすかな変動を捕捉するＲＣが必要となる。

ミラー表面の複雑度：ミラー形状の複雑度は、２つの形で再構築プロセスに影響を及ぼす。表面複雑度が増加するにつれ、二次想定が行われる近傍のサイズを小さくする必要がある。複雑な表面は、放物曲率の点をもたらすことによって間接的に本方法に影響を及ぼす。上述したように、有限の動きの下で、領域内で出現及び消失する特徴が放物曲率に近づく。結果として、これらの領域においてＳＩＦＴ特徴を得ない可能性が存在する。

本発明者らの表面再構築は鏡面再構築のために反射対応を使用する。本発明者らによるＲＣは、従来のＳＦＳＦ法に伴う実際上の困難を回避する。ミラー表面を局所二次方程式としてモデリングすることによって、ＲＣと表面との間の関係が線形になる。これによって、効果的な方法を使用して表面を再構築することが可能になる。

要約すれば、本発明者らは、較正されていない環境の下での有限の動きの場合に、反射対応から表面形状を回復する問題を定式化する。本発明者らは、表面を局所二次曲面としてモデリングし、効果的な方法を使用して解くことができる線形定式化をもたらす。本発明者らは、低密度の反射対応しか必要としないＳＦＳＦにおける実際上の問題を回避し、実際に機能可能な解をもたらす。そして最後に、低密度の表面法線のような補助情報を組み込んで再構築を改善する方法を説明している。

本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行うことができることは理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入るすべての変形及び変更を包含することである。

Claims (16)

1. 物体の表面を再構築するための方法であって、該物体は鏡面反射性の表面を有し、
   点対応手順を前記物体の画像のセットに適用するステップであって、低密度の反射対応を生成し、前記画像のセットは、カメラによって取得される間、回転を受ける、適用するステップと、
   線形系ＡΘ＝０を解くステップであって、ここでΘは表面パラメーターのベクトルであり、該表面パラメーターは局所的かつ二次であって、前記表面パラメーターは、Ｎ個の隣接するピクセルのパッチを定義する｛Ｊ _ｉ ，Ｈ _ｉ ，ｉ＝１，．．．，Ｎ｝であり、ここでＪ _ｉ 及びＨ _ｉ はｉ番目のパッチの二次曲面パラメーターであり、Ｈ _ｉ は対称行列である、解くステップと、
   前記表面パラメーターから前記表面の勾配を求めるステップと、
   前記勾配を法線に統合するステップであって、該法線は前記表面の形状を定義する、統合するステップとを含み、前記適用するステップ、前記解くステップ、及び前記統合するステップはプロセッサにおいて実行される、方法。
2. 前記カメラは、固定されると共に較正されていない、請求項１に記載の方法。
3. 前記低密度の反射対応の数は、利用可能な高密度の反射対応の数よりも約２桁小さい、請求項１に記載の方法。
4. 前記点対応手順は、スケール不変特徴変換（ＳＩＦＴ）を使用する、請求項１に記載の方法。
5. 前記点対応手順は、オプティカルフローを使用する、請求項１に記載の方法。
6. 前記点対応手順は、正規化相関を使用する、請求項１に記載の方法。
7. 前記点対応手順は、高速化ロバスト特徴（ＳＵＲＦ）を使用する、請求項１に記載の方法。
8. 前記カメラは、正射影である、請求項１に記載の方法。
9. 前記カメラは、較正されていると共に透視投影である、請求項１に記載の方法。
10. 前記オプティカルフローは、無限小の物体回転を受ける、請求項５に記載の方法。
11. 前記求めるステップは、偏微分方程式を解く、請求項１に記載の方法。
12. 前記表面は、局所的に平滑である、請求項１に記載の方法。
13. 前記表面パラメーターは、固有値ソルバーを使用することによって解かれる、請求項１に記載の方法。
14. 前記表面パラメーターは、二次錐計画を使用することによって解かれる、請求項１に記載の方法。
15. 境界平滑性制約は、前記表面パラメーターについて解いている間、強制されるものであって、
    前記境界平滑性制約は、隣接する２つの前記パッチの境界における勾配を、パッチの両側で同じにする制約である、請求項１に記載の方法。
16. 前記統合するステップは、ポアソン方程式を解く、請求項１に記載の方法。

Images