JP7119023B2 - オブジェクトの３ｄイメージングを実施するためのシステムおよび方法 - Google Patents

Description

本明細書に記載の実施形態は、オブジェクトの３Ｄイメージングを実施するためのシステムおよび方法に関する。

大抵の技法は特定のフレームワークにおいて良好な結果をもたらすが、オブジェクトの３Ｄ幾何形状を回復することは、コンピュータビジョンにおける挑戦課題である。特に、２つの周知の手法、すなわち、マルチビューおよびフォトメトリックステレオが、鍵となる相補的な想定を考慮してすばらしい結果を生み出すために開発されている。実際、マルチビューはテクスチャ化されたオブジェクトの粗い３Ｄボリューム再構成をもたらすとみなされているが、フォトメトリックステレオは、単一のビューから非常に詳細なサーフェスを回復すると考えられている。シェーディング情報で粗いマルチビュー再構成を洗練することによって達成されるオブジェクトの高品質なボリューム再構成は、相補的な情報をマージする１つの可能性のある方法である。

図１は、一実施形態に係るシステムの概略図である。 図２は、一実施形態に係る３Ｄイメージングを実施するためのカメラおよびライトの配置を示す概略図である。 図３は、一実施形態に係る方法を示すフローチャートである。 図４は、フォトメトリックステレオ（ＰＳ）データおよびマルチビューステレオ（ＭＶＳ）画像データの収集の概略図である。 図５は、ＳＤＦを決定するための一実施形態に係るフローチャートである。 図６は、八分木実装を示すフローチャートである。 図７は、画像平面とボクセルとの間の関係を示す図である。 図８は、八分木実装におけるノードおよびその子を示す図である。 図９（ａ）は、レイトレーシングを示す概略図である。 図９（ｂ）は、一実施形態に係るレイトレーシング及びボクセルサイズ変更を示す概略図である。 図１０（ａ）は、異なる解像度段階での３Ｄモデルのサーフェスの取得を示す結果である。 図１０（ｂ）は、異なる解像度段階での３Ｄモデルのサーフェスの取得を示す結果である。 図１１は、合成テストデータベースからのテストデータを示す。 図１２（ａ）は、図１１のモデルのグラウンドトゥルースを示す。 図１２（ｂ）は、図１１からのビジュアルハルを示す。 図１２（ｃ）は、本明細書に記載の方法のための開始点としてのオブジェクトの初期推定結果の図である。 図１２（ｄ）は、本明細書に記載の方法のための開始点としてのオブジェクトの初期推定結果の図である。 図１２（ｅ）は、本明細書に記載の方法のための開始点としてのオブジェクトの初期推定結果の図である。 図１３（ａ）は、図１１のグラウンドトゥルースについての一実施形態に係る方法からの結果を示す。 図１３（ｂ）は、ビジュアルハルについての結果を示す。 図１４は、２つの彫像について実データおよび初期推定結果を示す。 図１５は、実データのデータセットからのサンプル画像を示す。 図１６は、アルベド有り（左側）およびアルベド無し（右側）の３軒の（玩具の）家のシーンの３Ｄ再構成を示し、下段にサンプル画像を示し、シーンのスケールは、左下画像上のコインによって示される。 図１７は、図１４の実データセットに対する定性的評価を示す。 図１８は、図１５のデータセットについて提案方法（右）と従来技術（左）の比較を示す拡大レンダリングを示す。 図１９は、提案方法（右）と従来技術（左）の比較を示す拡大レンダリングを示す。 図２０は、図１６に提示された「村」データセットの再構成の上面図であり、これは、ＳＦＭで得られた初期幾何形状推定結果（左）、他の方法で得られた初期幾何形状推定結果（中央）、および提案方法で得られた初期幾何形状推定結果（右）を含む。 図２１は、図１１のアルマジロデータセットの再構成の上面図である。 図２２は、図１５および図１６におけるデータセットのアルベドマッピングされた再構成の結果を示し、アルベドは、最終的な幾何形状推定結果（オクルージョン／シャドウマップと共に）を使用して式（２）に対する単純な最小二乗を使用して計算され、黒いアルベド領域は、サーフェスのこの特定の部分がどの画像でも見えないことを示し、（左）従来技術（中央）および提案されている方法（右）である。 図２３は、一実施形態に係るシステムである。

一実施形態では、オブジェクトの３Ｄ画像を生成するためのシステムが提供され、このシステムは、
マルチビューステレオフォトメトリックデータを受け取るように構成されたプロセッサを備え、前記マルチビューフォトメトリックステレオデータは、画像データの第１のセットを備え、画像データの前記第１のセットは、異なる照明方向からの照明で複数の位置において第１のカメラによって取得された複数の画像を備え、前記第１のカメラの各位置について異なる照明方向からの複数の画像があり、
前記プロセッサは、拡散反射と鏡面反射の両方をモデル化する反射モデルを使用する放射照度の定式化を用いるフォトメトリックステレオ法を使用して前記マルチビューフォトメトリックステレオデータを処理するように構成される。

上記は、統一微分モデル（unified differential model）によって定義されるマルチビューフォトメトリックステレオ問題に対するボリューム法（volumetric approach）を可能にする。上記の方法は、高周波数細部を再投影する複雑なステップを回避する符号付き距離場パラメータ化を使用する。

八分木実装を加えたボリュームパラメータ化は、オクルージョン、不連続、シャドウなどを効果的にレイトレーシングする（ray-trace）フォトメトリックモデル化を可能にする。また、定式化（formulation）は、点光源伝搬および減衰と拡散反射および鏡面反射の両方との間のいくつかの物理的要素を扱うことが可能な近接場フォトメトリック画像形成モデル（near-field photometric image formation model）を含む。これは、合成シーンおよび現実世界シーンの両方に対して現況技術の方法を凌ぐ、適度な数のフォトメトリックステレオ撮影によるサブミリメートルの精密な３Ｄ再構成を可能にする。

一実施形態では、第２のカメラが設けられ、カメラ位置および初期推定結果（initial estimate）が非フォトメトリックステレオ法を使用して決定される。したがって、一実施形態では、プロセッサは、ステレオ画像データを受け取るように構成され、前記ステレオ画像データは、画像データの第２のセットを備え、前記画像データは、画像の対を複数備え、画像の各対は、第１のカメラによって得られた画像、および第１のカメラに対して既知の位置を有する第２のカメラによって得られた画像であり、プロセッサは、画像の各対について第１のカメラおよび第２のカメラのグローバルな位置を決定するように構成される。

一実施形態では、第１のカメラおよび第２のカメラは異なる視野を有する。２つのカメラを有することにより、よりロバストなカメラ位置と共に世界のスケール（scale of the world）を得ることができる。これらのカメラは、シーンおよび環境からも特徴を取得するステレオトラッキングを異なる視野により実施することを可能にする異なる焦点距離を有するレンズを使用する。

第１のカメラおよび第２のカメラは、可動なマウントに設けられてよく、前記第１のカメラは、複数の個々の光源によって囲まれて設けられ、前記個々の光源は、どの時点においてもただ１つの光源をオンになるように制御することができるように制御可能である。

上述のように、一実施形態では、フォトメトリックステレオ法は、符号付き距離関数を使用することによってオブジェクトのサーフェス（surface）の位置を決定し、符号付き距離関数は、点からサーフェスまでの距離を決定し、符号付き距離関数は、下記のサーフェス法線に関係し、

ここで、ｎ（ｘ）は、３Ｄ点ｘでのサーフェス法線であり、ｄ（ｘ）は、３Ｄ点ｘでの符号付き距離関数であり、∇は勾配演算子であり、符号付き距離関数は、放射照度（irradiance）をモデル化するときにサーフェス法線の代わりに使用される。

上記を使用することによって、サーフェスは、符号付き距離関数が最小であるときに示される。

一実施形態では、プロセッサは、ボリューム法を使用してフォトメトリックステレオデータを処理し、オブジェクトを含むボリューム（volume）は、ボクセルに細分され、符号付き距離関数は、ボクセルごとに計算される。

プロセッサは、反復法を使用してフォトメトリックステレオデータを処理するように構成されてよく、ボクセルサイズは、第１のサイズに設定され、符号付き距離関数が閾値未満である場合、さらに細分される。

プロセッサは、ステレオ画像データから符号付き距離関数の初期推定結果を得るように構成されてよい。

さらなる実施形態では、プロセッサは、オクルージョンを決定するために第１のカメラまたは照明に向かってボクセルをレイトレーシングすることを実施するように構成される。これは、トレースされる光線に沿ってボクセル間で符号付き距離関数の符号の変化からオクルージョンを決定することによって行われてよい。

プロセッサは、オブジェクトのサーフェスの光沢を示すパラメータを使用して拡散反射と鏡面反射の両方をモデル化する反射モデルを使用して放射照度を決定するように構成される。光沢パラメータは、オブジェクトについて固定であってよく、ＰＳデータの処理の前に決定されてよい。さらなる実施形態では、光沢パラメータは、未知であり、ＳＤＦで決定される。

一実施形態では、プロセッサは、ブリンフォン（Blinn-Phong）反射モデルを使用して拡散反射と鏡面反射の両方をモデル化する下記の反射モデルを使用して放射照度を決定するように構成される。

ここで、

は、３Ｄ点ｘの画像平面投影であり、ρ（ｘ）は、アルベド（albedo）を示し、ａ_k（ｘ）は、減衰を示し、ｃ（ｘ）は、光沢を示し、ｗｋ（ｘ）は、重み付きハーフベクトル

であり、ｖ_q（ｘ）は、カメラ位置Ｃ_qについてのボリューム上のｑ番目の視線方向であり、εは、遷移パラメータである。

さらなる実施形態では、プロセッサは、複数の画像対を処理するように構成され、各画像対は、異なる照明方向から照明される同じカメラ視点からの一対の画像を備え、複数の画像対は、異なるカメラ視点からの複数の画像を備え、可視性重み（visibility weight）が各画像対に適用される。

例えば、各画像対は、

を生成するように処理されてよく、ここで、

であり、可視性重み付きは、ｂ_hk（ｘ）に適用される。

上記の式（７）は、重み付き最小二乗問題として解かれてよい。

上記の式は、スタックされ、各ボクセルについて解かれてよい。

上記のシステムは、多数の用途を有する。一実施形態では、システムは、検査装置の一部として使用され、この装置は、
第１のカメラと、
第２のカメラと、
複数の空間的に分散された光源と
をさらに備える。

上記のシステムは、既知のオブジェクト認識および登録方法と組み合わせて使用されてもよい。

一実施形態では、システムは、金属オブジェクトなどの高い光沢を有するオブジェクトの３Ｄ画像を生成するために使用される。それは、通常、１（純粋な拡散反射）から０．２（鏡面反射が優勢であるとき、例えば、金属オブジェクト）の間の範囲である。

上記は、幾何学的に複雑なオブジェクトのボリューム再構成の２Ｄフォトメトリック画像を介して非常に正確な品質管理システムにおいて使用することができる。

また、品質管理目的のために非常に鏡面のオブジェクトの３Ｄボリュームスキャン技術のために使用することもできる。

また、手持ち型／可搬３Ｄスキャナのために使用することもできる。

さらなる実施形態では、オブジェクトの３Ｄ画像を生成するための方法が提供され、この方法は、
マルチビューステレオフォトメトリックデータを受け取ることと、前記マルチビューフォトメトリックステレオデータは、画像データの第１のセットを備え、画像データの前記第１のセットは、異なる照明方向からの照明で複数の位置において前記第１のカメラによって取り込まれた複数の画像を備え、第１のカメラの各位置について異なる照明方向からの複数の画像があり、
拡散反射と鏡面反射の両方をモデル化する反射モデルを使用する放射照度の定式化を用いるフォトメトリックステレオ法を使用して前記マルチビューフォトメトリックステレオデータを処理することとを備える。

上記は、コンピュータ上で実行中のソフトウェアによって実装され得る。ソフトウェアは、物理的なキャリアで、またはソフトウェアダウンロードとして提供され得る。

図１は、一実施形態に係るシステムの概略図である。このシステムは、オブジェクトまたはシーンの３Ｄ画像データを取得し、オブジェクトを再構成するために使用することができる。本明細書で使用されるとき、「オブジェクト」という用語は、イメージングされるものを指すために使用される。しかし、これは複数のオブジェクトまたはシーンなどを包含することができることに留意されたい。

一実施形態では、３Ｄ画像データは、装置３を使用して取得される。装置３の詳細については図２を参照して説明する。

装置３によって得られるデータは、コンピュータ５に送られて処理される。図１では、コンピュータ５は、デスクトップコンピュータとして示されている。しかし、これは任意のプロセッサ、例えば、分散プロセッサまたはプロセッサまたは携帯電話などとすることができる。可能なプロセッサの詳細については図２３を参照して説明する。

図２は、図１の装置３の可能な配置を詳細に示す。図２は、第１のカメラ５１と、第２のカメラ５３と、複数の光源５５とを互いに固定された関係で保持するマウント（mount）を示す。これは、第１のカメラ５１と、第２のカメラ５３と、光源５５とが一緒に移動し、互いに一定の離隔距離で維持されることを可能にする。

一実施形態では、光源は、第１のカメラ５１を囲む。第２のカメラ５５は、光源のエッジに設けられる。一実施形態では、第２のカメラ内の第１のカメラは、２ビューステレオ測定を実施するために共に使用される。第１のカメラ５１は、マルチビューフォトメトリックステレオデータを得るために、光源５５と共に単体で使用される。

一実施形態では、これら２つのカメラは、異なる焦点距離を有する。第１のカメラ（有用なマルチビューステレオである）の焦点距離は、第２のカメラの焦点距離より長いことになる。第１のカメラのより長い焦点距離により、カバレッジは、オブジェクトサーフェスの細かい細部を撮影するために使用され、オブジェクトサーフェスの近くに提供されることができる。第１のカメラは、近接場データを得るために使用することができる。

第２のカメラ５３は、第１のカメラ５１より大きな視野を有し、このより大きな視野は、２ビューステレオイメージングを実施するとき、後続の画像間のより良好なマッチングを可能にする。

特定の実施形態では、２つのＦＬＩＲカメラＦＬ３－Ｕ３－３２Ｓ２Ｃ－ＣＳが第１のカメラおよび第２のカメラとして使用される。第１のカメラ５１は、８ｍｍレンズを有し、近接場におけるデータを取得するために光源５５としてのＯＳＲＡＭ超高輝度ＬＥＤによって囲まれる。第２のカメラ５３は、両カメラの軌跡を追跡する助けとなるようにより広い範囲を撮影するために、４ｍｍレンズを有する。この特定の例では、２つのカメラ間の距離は、１５ｃｍである。しかし、多数の異なる距離、例えば、３ｃｍから６ｃｍまでの距離を使用することができる。さらなる例では、４．５ｃｍを使用することができる。

したがって、８ｍｍレンズは、オブジェクトサーフェス上のより多くの細部を撮ることができる。２つのカメラは、ビュー間でより確実なマッチングを提供することが可能なより広い視角４ｍｍレンズを用いて、ＭＶＳを実施するために使用される。

次に、一実施形態に係る方法の基本的なステップについて、図３を参照して説明する。

ステップＳ１０１では、カメラアセンブリ３（図１）がオブジェクト１周りで移動される。

アセンブリ３を移動させる前に、第１のカメラおよび第２のカメラは、近接光モデル化（near light modeling）（下記の式４を参照して説明する）に使用される世界の絶対スケールを取得することができるように、Ｍａｔｌａｂのコンピュータビジョンツールボックスとチェッカーボードとを使用して較正される。

ステップＳ１０１では、図２のカメラアセンブリが図１のオブジェクト１周りで移動される。マルチビューステレオデータが２つのカメラから収集される。フォトメトリックステレオデータが、単一の中央のカメラ５１を使用することによって取得される。中央のカメラがフォトメトリックステレオデータを取得することを可能にするために、個々のＬＥＤ５５が次々に作動される。一実施形態では、６～８個のＬＥＤ間のシーケンスを使用して取得された画像が使用される。

画像は、シーン周りでセットアップを移動させながら撮影される。図４は、オブジェクト２０１周りでカメラアセンブリ２０３（図１のカメラアセンブリ３に対応する）を移動させることの概略図を示す。カメラアセンブリはオブジェクト周りで移動され、各カメラ地点および複数の異なる照明条件で画像が取得される。異なる照明条件の各々では、オブジェクトは、単一の照明方向から照明される。これは、ただ１つの光源をオンに切り替えることによって行われる。様々な位置において、２ビューステレオもまた、２つのカメラを使用することによって収集される。これらの点は、ボックス内のカメラアセンブリ、例えば２０５として示されている。したがって、マルチビューステレオ画像とフォトメトリックステレオ画像の両方が得られる複数の位置２０５と、ただマルチビューフォトメトリックステレオ画像が得られる位置２０７とがある。

ステップＳ１０３では、マルチビューステレオデータ（すなわち、２つのカメラ５１、５３からの画像）を使用して粗い再構成が得られる。この画像は、非フォトメトリック技法を使用して構成され、すなわち、オブジェクトの照明方向は、再構成において使用されない。混乱を回避するために、このデータをＭＶＳデータと称することとする。異なる照明方向から単一のカメラにより得られたデータをＰＳデータと称することとする。

一実施形態では、ＣＯＬＭＡＰ－ＳＦＭアルゴリズムが、フォトメトリックステレオビュー間のカメラ回転および平行移動、ならびに初期推定結果として使用される低品質の再構成を得るために、ＭＶＳデータを処理するために使用される。この初期推定結果がどのように使用されることになるかは後述する。

さらに、ＳＦＭを画像間の小さすぎる重なり合いに対してよりロバストなものにするために、さらにいくつかの画像がフォトメトリックステレオ（ＰＳ）シーケンス（ニュートラル照明を用いたもの）間で取得される。ＭＶＳを通じて得られるモデルをノイズのより少ないものにするために、いくつかのノイズの多い領域と注目のシーンから離れた背景点とが除去される。

ＣＯＬＭＡＰは、ＭＶＳ取得における（例えば、両カメラからの）すべての画像の中でグローバルなマッチング（global matches）を探す。ＣＯＬＭＡＰは、相対的なカメラ姿勢（「カメラ離隔距離（camera separation）」）を知らないが、この情報は、正しいサイズを有するように、ステップＳ１０５において３Ｄ再構成（ＣＯＬＭＡＰから）をスケールするために帰納的に使用される。ＭＶＳで３Ｄシーンを再構成するために２つのカメラを使用することにより、「世界のスケール」を見つけ出すことができる。

次いで、初期推定結果が連続的なサーフェス（点群でない）を含むように、Ｐｏｉｓｓｏｎ再構成が低レベル設定で実施される。最後に、符号付き距離関数（ＳＦＤ）の初期推定が、初期サーフェスの距離変換として実施される。

さらに、フォトメトリック画像品質を改善するために、最小限の前処理が、シャドウエリアに変わる飽和した非常に暗い領域を除去する。

ステップＳ１０７では、符号付き距離関数が決定される。次に、これがどのように行われるかについて、図５を参照して説明する。

上記のステップから次のこと、すなわち、第１のカメラおよび第２のカメラのグローバルな位置と、各ＰＳ画像についての１つである光の位置とが既知である。

したがって、これは、Ｃ_q、ｖ_q（ｘ）、ｐ_kの知識を提供する。
Ｃ_q－ｑ番目の位置における第１のカメラのカメラ位置
ｖ_q（ｘ）－Ｃ_qについての３Ｄ点ｘについてのボリューム上のｑ番目の視線方向
ｐ_k－グローバル座標系に対する光源の既知の位置
さらに、Φ_k、ｓ_k、μ_kが既知である。
Φ_k－光源の固有の輝度
ｓ_k－光源の主方向
μ_k－光源の角度散逸係数（angular dissipation factor）

ステップＳ３０１では、ＳＤＦを決定する際に使用するために、上記のデータが取り出される。

一実施形態では、立体オブジェクトの集まりの好適な数学的特性付けをするために、暗黙のサーフェスパラメータ化が、

によって考慮される。

符号付き距離関数は、点ｘの座標が与えられたとき、ｘと定められたサーフェスとの間の最短の距離を返す。このパラメータ化は、サーフェスに対する外向きの法線ベクトルを記述する実用的な方法のため、本実施形態に適している。

ＳＤＦは、ボリュームサーフェス（volumetric surface）がｄのゼロ番目レベルセット、ｄ（ｘ）＝０として記述されることを可能にする。

本明細書に記載の手法には、以下のようにサーフェス法線ＮがＳＤＦＤの勾配に等しいという観察に基づく微分手法がある。

次いで、ＳＤＦが、ボリューム微分マルチビューフォトメトリックステレオ定式化（volumetric differential multi-view photometric stereo formulation）を導出するための放射照度式のために使用され、ここで、各既知のカメラ位置Ｃ_qについてＮ_ps個の画像（すなわち光源）を有することが仮定される（すなわち、Ｎ_ps（Ｃ_q），ｑ＝１，．．．Ｎ_views）。

フォトメトリックステレオ問題の単眼の面（monocular aspect）を利用するために、拡散反射と鏡面反射とを統一的に切り替える放射照度式についての影像比が考慮される。

ここで、

は、３Ｄ点ｘの画像平面投影であり、ρ（ｘ）はアルベドを示し、ａ_k（ｘ）は減衰を示す。光沢パラメータｃ（ｘ）は、ｃ（ｘ）＝１のときの拡散反射と、０＜ｃ（ｘ）＜１のときの鏡面ブリンフォン反射とを切り替えることを可能にする。

ブリンフォン反射では、シェーディングをモデル化するために、視線方向を画定するベクトルと光源の方向を画定するベクトルとの間の中間であるハーフウェイベクトルが計算される。これは、視線の方向と光反射の方向との間に大きな角度があるとき、鏡面ライティングのモデル化を可能にする。

拡散反射と鏡面反射との間で切り替えるために、以下の重み付きハーフベクトルが考えられる。

ｖ_q（ｘ）は、カメラ位置Ｃ_qについてのボリューム上のｑ番目の視線方向であり、εは、１０^-4に設定された遷移パラメータである。

一実施形態では、ボリューム法が考えられているので、各３Ｄ点ｘについて、放射照度式を考えることができる。次いで、以下のｌ_k（ｘ）＝ｘ－ｐ_kを考えることによって光源をモデル化することができ、ここで、ｐ_kは、グローバル座標系に対する点光源の既知の位置である。ベクトルの上のバーは、それが正規化されていることを意味する

次いで、以下の散逸の非線形放射モデル（non-linear radial model of dissipation）を考えて、光の減衰をモデル化することができる。

ここで、Φ_kは、光源の固有の輝度であり、ｓ_kは、主方向（すなわち、ＬＥＤ点光源の向き）であり、μ_kは、角度散逸係数である。

一実施形態では、アルベドならびに法線の非線形正規化に対する依存性をなくすことによって、フォトメトリックステレオ問題を著しく単純化する影像比法が使用される。したがって、ステップＳ３０３では、画像の対が選択される。

画像ｉ_hおよびｉ_k（同じ視点Ｃ_qからの異なる光源）について式を分割すると、

となり、これは、

をもたらす。

法線のパラメータ化を代わりに使用することによって、以下のアルベド非依存の均質な線形ＰＤＥがステップＳ３０５において生成される。

ここで、

である。

（７）の幾何学的意味は、ＰＤＥ手法の３Ｄボリューム再構成の延長である。実際、フォトメトリックステレオモデルは、依然として均質な線形ＰＤＥからなり、サーフェス上のｂ_hkの接線方向性（tangentiality）は、定義のとおり、ＳＤＦのゼロ番目レベルセットである。しかし、ｂ_hk（ｘ）は、関連の量がサーフェスの存在から独立であるグローバル座標系上で表されることにより、ｄに依存しない（すなわち、（７）は線形である）。このＳＤＦ定式化は、より自然な「オブジェクト中心の」深度であり、これは、下記で述べるように、統一的な最適化を可能にする。

表記を単純化するために、対ｈｋは、ｐとして書き換えられ、これが画像の対のすべての組合せのセットについて使用されることになる（繰り返しなし）。

単一の数学的フレームワーク内の異なるビューに由来する複数のフォトメトリックステレオ画像を扱うことができるように、式７の重み付けされたバージョンが、ステップＳ３０７で単一のシステム内でスタックされる。

ここで、ｗ_p(Ｃ_q，ｘ)＝ｍａｘ（ｎ（ｘ）・ｖ_q（ｘ），０）である。この重み項ｗ_pは、本質的に可視性の尺度である。次いで、得られるシステムは、下記の式（１０）に示されているように

式をカウントする。

上記を最小二乗問題としてステップＳ３０９で解くために、これらの正規方程式は、

のように考えられ、ここで、

である。

いま、Ｂ（ｘ）は、半正定値の３×３行列である。

式（７）に由来する幾何学的制約は、すべてのベクトル場

がそのボリュームの同じ２次元空間∀ｘにまたがることを保証する。なぜなら、それらは、ＳＤＦのレベルセットを定義するからである。これは、理想的な状況下で、（１１）におけるＢのランクが正確に２であるはずであることを意味する。

しかし、数値的近似により、これは、決して正確に真ではない。したがって、この制約は、Ｂの固有値分解を使用することによって実施され、したがって、

ここで、Λ₁≧Λ₂≧Λ₃であり、Λ₃＝０に設定する。

このランク補正は、サニティチェックステップであることに留意されたい。

実際、Ｂ∇ｄ＝０で、Ｂがフルランクである場合には、∇ｄ＝０であり、これは｜∇ｄ｜＝１（アイコナール方程式）であるので決して真になり得ず、その結果、ｄは、どの実サーフェスのＳＤＦにもなり得ない。実際、アイコナール方程式は、∇ｄ＝ｑ₃であることを要求することによって暗黙に実施されることができ、ここで、ｑ₃は、Ｑの第３列であり、Ｂのヌル空間に対応する（ｑ₃は、単位ベクトルであり、したがって、アイコナール方程式を実施する）。したがって、（１１）の正則化バージョンは、以下になる（Ｉ_3×3は、単位行列である）。

この正則化は、フルランクシステムをもたらし、ｄのスケールを設定する。

一実施形態では、上記で導入された符号付き距離場ベースのパラメータ化を計算するために、変分ソルバ（variational solver）が構築される。

一実施形態では、過剰な計算を回避するために、フォトメトリックステレオ式は、ボリューム全体において計算される必要はなく、サーフェスに近いボクセルのサブセット

に対してのみでよいことに留意されたい。

実際、式（１）は、サーフェスの近傍で真であるにすぎない。したがって、この変分問題は、１次前進有限差分（first order forward finite difference）∇ｄ＝Ｇ・ｄを使用することによって離散化され、ｄは、すべてにおけるベクトルスタッキングｄ（ｘ）である。Ｇは、Ωにおける連結度を表す疎なカーネル行列である。

微分手法はランク不足である（理論的に最小の解のための積分定数を必要とする）ことに留意されたい。この問題を解決するために、ｄ＝ｄ₀の形態のチコノフ正則化が使用され、ここでｄ₀は、ステップＳ１０３およびステップＳ１０５においてＭＶＳデータから得られた初期サーフェス推定結果の距離変換から得られるＳＤＦのある初期推定結果である。したがって、正則化された問題は、以下になる（λ＝０．０５を使用）。

ここで、Ｂ_Ωおよびｑ_Ωは、Ωにおけるすべてのボクセルについて（１３）からの関連の量をスタックすることによって得られる。得られる線形システムは、共役勾配法で解かれる。

上記のボクセルの必要とされるセット∈Ωを管理するために、八分木構造が使用される。Ωは、木の葉において定義され、有限差分を計算するための隣接ボクセルは、木の走査（traversal）をボトムアップすることによって見出される。

次に、この処理の概要について、図６を参照して説明する。

図７は、有限サイズｓを有するボクセルのセット５０３に離散化されたボリュームを示す。これは、線形補間を実施し、それによりｉ（ｘ；ｙ；ｚ）を決定するために、ピクセルに対する対応を決定するために使用される。この処理は、ボクセルとピクセルとの間の１対多のマッピングの可能性を強調するために、灰色の異なる陰影で画像平面５０５上の連続するピクセルを着色することによって示されている。Ｃはカメラ５０１の中心であり、ｆはカメラの焦点距離であることに留意されたい。画像平面上のボクセル投影が１ピクセルより小さい場合、これは、精密さの限界に達しており、再構成が終了され得ることを意味する。

図８では、各ノードが空間内の位置（上記で「ｘ」と称される）、ボクセル５２１サイズｓ（ｉ（ｘ）を計算するために画像平面５０５への投影を決定するために使用される、図７参照）、符号付き距離値ｄ（ｘ）、ならびに次のレベルの子ノード５２３に対する８つのポインタ（葉ノードの場合にはヌルとすることができる）を有する階層構造が示されている。

図８では、ノードは、３Ｄ立方体（位置、サイズ）の情報、ＳＤＦ値（グレイスケールでコード化され、ここでは、明るい灰色が正であり、暗い灰色が負である）、ならびに全３次元におけるボックスを細分することに対応する次のレベルのノードに対するポインタ（この２Ｄ図は、４つの子ノードだけを示すが、実際には、それらは８つである）を単純に含む。

初期ボクセルサイズがＳ４０１で設定される。４０３では、ＳＤＦが推定される。初めてアルゴリズムが実行されるときにつき、ＭＶＳデータからの初期サーフェス推定結果からＳＤＦが推定される。ボクセルについてＳＤＦを推定する処理は、反復処理である。このＳＤＦ推定結果を使用して、レイトレーシングがステップＳ４０５で実施される。

図９（ｂ）では、明るい灰色陰影６１１、６１３は、正のＳＤＦを有するボクセルを示し、暗い灰色／黒い陰影は、負のＳＤＦを有するものを示す。光源６０３からの光線６０１のトレーシングが明るいボクセルから暗いボクセルに移動するときオクルージョンが検出され、したがって、それはサーフェスと交差していることを意味する。オクルージョンが検出されたとき、式（１０）における可視性重みが、オクルージョンが発生した照明／カメラ位置についてゼロに設定される。しかし、各ボクセルについて多数の照明／カメラ位置があるので、オクルージョンが検出されたところでの重みだけがゼロに設定されることになる。

次いで、非ゼロの可視性重みが、式（９）に従って上記で述べたようにステップＳ４０７で計算される。次いで、ＳＤＦが式（１４）を使用して再推定される。

ステップＳ４０４では、ＳＤＦ推定結果が収束されたかどうか決定される。収束していない場合、レイトレーシングが実施され、ステップＳ４０７で、可視性重みが更新される。次いで、ステップＳ４０４で、収束するまでＳＤＦが再推定される。

ボクセルについてＳＤＦが収束した後で、ボクセルのサブセットを細分する必要があるかどうか決定される。一実施形態では、これは、ＳＤＦのサイズをボクセルのサイズと比較することによって行われる。一実施形態では、ＳＤＦの絶対値が２ボクセルサイズより小さいボクセルが選択される。したがって、これらのボクセルは、サーフェスに近づくことになる。これらのボクセルは、ステップＳ４１３で細分され、処理は、式（１４）を使用してこれらの細分されたボクセルについてＳＤＦを推定するためにステップＳ４０３に戻る。

この手順は、ステップＳ４１１で、ボクセルが、画像平面上のそれらの投影がピクセルサイズより小さく、したがって、得ることができる最大解像度に達したと決定されるまで繰り返される。その結果、ボリュームの小さな一部分だけが計算のために考えられ、ボクセルの階層は、提案される八分木ＳＤＦパラメータ化が固定解像度パラメータ化に比べてレイトレーシングをいかに加速するかを示す図９（ａ）および図９（ｂ）に示されているように、サーフェス周りで密にパックされる（packed）。ボクセルのサイズは可変であるため、光線が固定解像度深度マップ上でトレーシングされる（ａ）とは対照的に、調べる必要があるボクセルが少ない。

次いで、ＳＤＦのゼロレベルセットがＳ４１５で得られる。ここで、ＳＤＦの値が解像度によって可能にされるだけゼロに近いボクセルがサーフェスとなるようにとられる。次いで、再構成されたサーフェスが、ステップＳ４１７で、例えばマーチングキューブ法、例えば、Ｍ． Ｋａｚｈｄａｎ， Ａ． Ｋｌｅｉｎ， Ｋ． Ｄａｌａｌ， ａｎｄ Ｈ． Ｈｏｐｐｅ． Ｕｎｃｏｎｓｔｒａｉｎｅｄ ｉｓｏｓｕｒｆａｃｅ ｅｘｔｒａｃｔｉｏｎ ｏｎ ａｒｂｉｔｒａｒｙ ｏｃｔｒｅｅｓ． Ｉｎ ＥＳＧＰ， ２００７で論じられている変形形態を使用して計算される。マーチングキューブでは、アルゴリズムの前提は、入力ボリュームを立方体の離散的なセットに分割することである。線形再構成フィルタリングを仮定することによって、１つの所与のアイソサーフェスを含む各立方体は、立方体頂点におけるサンプル値は目標アイソサーフェス値に及ばなければならないため、容易に識別することができる。アイソサーフェスのセクションを含む各立方体について、内部立方体内のトリリニア補間の挙動を近似する三角形メッシュが生成される。

複雑な幾何形状および複数のオブジェクトを有するシーンに対処するために、オクルージョンおよびキャストシャドウが対処される必要がある。一実施形態では、これは、各ボクセルから各光源およびカメラへの線をレイトレーシングし、幾何形状の現在の推定結果を使用することによって実施される。八分木構造は、非常に迅速な可視性チェックを可能にし、オクルージョン／シャドウが検出されるときはいつでも、（１０）における関連の重みが０に設定される。

本明細書に記載のボリューム法は、特に八分木として実装されたとき、非常に速い可視性推定を可能にする。実際、Ｎ×Ｎ×Ｎ次元のボクセルグリッドを仮定すると、サーフェス周りのボクセル数は、Ο（Ｎ²）であることが予想される。次いで、各ボクセルについて、可視性計算は、密なボリューム／深度マップパラメータ化のためのΟ（Ｎ）演算、またはメッシュパラメータ化フレームワークにおいて必要とされるΟ（Ｎ²）演算（すなわち、すべての光線－ボックス交点をチェックする）とは反対に、Ο（ｌｏｇＮ）（図９（ｂ）のキャプションに示されているように）を調べることだけを必要とする。

したがって、総合的な複雑さは、密な深度マップパラメータ化のためのΟ（Ｎ³）、およびメッシュパラメータ化におけるΟ（Ｎ⁴）とは反対に、Ο（Ｎ² ｌｏｇＮ）である。

この方法は、ｍｅｘファイルにおけるｃ＋＋を使用する八分木コードでＭａｔｌａｂにおいて実装された。

図１０（ａ）および図１０（ｂ）は、各ボクセル細分ステップ後のサーフェス品質の増大の図である。図は、各木レベルで符号化された細部の、異なるレベルを示す。この例について、八分木は、深度７で初期化され、３細分ステップ後、深度１０に達し、ボクセルサイズを８分の１に縮小し、ボクセル数を約９６Ｋから約４．２Ｍに増大した。得られた最終サーフェスは、１．１Ｍ個の頂点および２．２Ｍ個の三角形からなる。

実際には、図１０（ａ）の例について、木は、レベル１０、したがってＮ＝２１０＝１０２４に達し、したがって、他のパラメータ化に比べた高速化は、それぞれ約１００倍および１０５倍である。実際には、すべてのビューに対するレイトレーシング可視性ならびにキャストシャドウは、これらのデータセットに対して数分しかかからない。

複雑なシーンを再構成するための本明細書に記載の手法の能力を証明するために、合成データと実データの両方を使用して調査が実施された。

合成の場合について、本発明者らは、Ｓｔａｎｆｏｒｄ ３Ｄ Ｓｃａｎｎｉｎｇ Ｒｅｐｏｓｉｔｏｒｙからの図１１に示されているアルマジロモデルを使用した。この仮想オブジェクトは、約半径２０ｍｍを有するようにスケールされ、焦点距離６ｍｍの仮想カメラが、オブジェクト周りの４５ｍｍの球上のいくつかの場所に配置された。

このモデルは、それぞれの解像度がピクセル当たり１２００×８００×２４ビットの８つの画像を有する１２のビューでレンダリングされた。図１１は、オクルージョン問題を示す、異なる視線およびライティング角度からオブジェクトの合成データサンプルを示す。上２つの図は、同じ視線方向であるが異なる照明方向からのものである。下段では、２つの左側画像が同じ視線方向であるが異なる照明方向からのものであり、２つの右側画像が同じ視線方向であるが異なる照明方向からのものである。

図１２（ａ）から図１２（ｅ）は、合成データ例からの結果を示す。図１２（ａ）は、グラウンドトゥルースを示し、図１２（ｂ）はビジュアルハル（visual hull）を示す。図１２（ｃ）から図１２（ｅ）は、ＰＳ最適化を初期化するために使用された合成データ初期推定結果を示す。下の行の可変品質の初期推定結果は、ＭｅｓｈＬａｂのｅｄｇｅ ｃｏｌｌａｐｓｅ ｄｅｃｉｍａｔｉｏｎ機能を使用して図１２（ａ）のグラウンドトゥルースをサブサンプリングすることによって生成される。図１２（ｃ）は、５００個の三角形についてのものであり、図１２（ｂ）は１５００個の三角形についてのものであり、図１２（ｅ）は１０，０００個の三角形についてのものである。

初期推定結果に対するボリューム再構成の精度の依存性について定量的に述べるために、初期メッシュは、三角形の数が２５０から３０Ｋの範囲である（元のメッシュは１５０ｋ個の三角形であった）５つの異なるメッシュにサブサンプリングされた。これらのメッシュのそれぞれについて、ガウスノイズが平均三角形サイズの標準０、５、１０％で頂点座標に追加された。最後に、素朴なボクセル彫刻を有するオブジェクトのビジュアルハルが最終実験のために計算された。

評価メトリックは、グラウンドトゥルースに対するＲＭＳハウスドルフ距離である（ＭｅｓｈＬａｂで計算）。結果は図１３および表１に示されている。図１３（ａ）は、グラウンドトゥルースの推定結果（ＲＭＳ誤差０．１４１ｍｍ）、および図１３（ｂ）はビジュアルハルのもの（ＲＭＳ誤差０．３０５ｍｍ）である。

上記のボリュームは、この光沢パラメータについて均一の値ｃ＝０．２を仮定して再構成された。

現実世界データセットは、大理石の仏像と、エリザベス女王の石膏胸像（図１４）と、フクロウ彫像隣のアルマジロのプラスチック３Ｄ印刷バージョン（図１５）と、玩具の村シーン（図１６）とを含む。

図１４は、実データ、すなわち、２／１０８フォトメトリックステレオ画像（ビューごとに９個のライトを用いた１２個のビューが使用された）と、ＭＶＳで得られた初期幾何形状推定結果とを示す。この初期推定結果は、女王および仏像データセットについてそれぞれ８千個および１万１千個の三角形だけである。

実験は、サーバマシン上で実行された。計算要件は、合成実験および図１４に示されている単一のオブジェクトデータセットのために、１５～２０ＧＢのＲＡＭおよび１０～２０分のＣＰＵ時間であった。図１５および図１６は、はるかに大きなボリュームに対応し、したがって、それらは、約２時間および１５０ＧＢのＲＡＭを必要としたが、このコストは、八分木が数リットルのボリュームをカバーするために必要とされるサイズ０．２ｍｍのボクセル約３千万（30M）個に増大させるという事実が根拠となる。

単純なオブジェクト（図１７参照）では、本明細書に記載の方法は、初期推定結果によって制限されず、精密さの限界までサーフェスを繰り返し洗練するので、非常に詳細なサーフェスを得ることができる。この方法は、２Ｄドメインを作成し、変位マップを計算するために使用されるので、初期推定結果によって制限されない。

八分木実装は、連続的な洗練およびシーンの異なる部分における異なるレベルの精密さを自然に可能にする。

図１７は、図１４の実データセットに対する定性的評価を示す。提案されているものは、詳細な再構成を生成する。

図１８は、図１５のデータセットについて、提案方法（右）と従来技術（左）の比較を示す拡大レンダリングである。

図１９は、提案方法（右）と従来技術（左）の比較を示す拡大レンダリングである。特に、キャストシャドウにより特に難しいシーンの中央におけるビュー（図１６参照）に対応する上段において、提案方法が競争相手を明らかに凌ぐことに留意されたい。

図２０は、図１６に提示されている「村」データセットの再構成の上面図である。これは、ＳＦＭで得られた初期幾何形状推定結果（左）と、他の方法で得られた初期幾何形状推定結果（中央）と、提案方法で得られた初期幾何形状推定結果（右）とを含む。

図２１は、アルマジロデータセットの再構成の上面図である。これは、ＳＦＭで得られた初期幾何形状推定結果を含む。

図２２は、２つのマルチオブジェクトデータセットのアルベドマッピング再構成（Albedo-mapped reconstruction）である。アルベドは、最終的な幾何形状推定結果（オクルージョン／シャドウマップと共に）を使用して式（２）に対する単純な最小二乗を使用して計算される。黒いアルベド領域は、サーフェスのこの特定の部分がどの画像でも見えないことを示す。（左）従来技術（中央）および提案方法（右）。

上記の方法は、キャストシャドウの存在により再構成の品質が非常に劣化する難しいデータセットに対して非常に良好に機能する。これは、この方法がキャストシャドウをレイトレーシングするからであると予想される。最後に、アルベドカラー化再構成（albedo colourised reconstructions）が図２２において見ることができる。

上記の実施形態に係る方法は、ＭＶＰＳ問題に関して符号付き距離関数に基づく第１のボリュームパラメータ化を提示する。

木においてボリュームを処理およびレイトレーシングするために八分木実装を使用することによって、非常に高い精度が達成される。フォトメトリックステレオ画像について考えているが、上記の完全な微分定式化は、近接場フォトメトリックステレオのために放射照度式比（irradiance equation ratio）手法を使用するので、アルベド非依存である。

一実施形態では、影像比ベースのモデル化は、鏡面ハイライトを扱うために拡張されることができる。これは、ボクセルごとの追加の未知数として、光沢パラメータを含めることと共に変分ソルバのエンハンスメントを必要とする。

図２３は、実施形態に係る方法を実装するために使用することができるハードウェアの概略図である。これは１つの例にすぎず、他の構成を使用することができることに留意されたい。

ハードウェアは、コンピューティングセクション９００を備える。この特定の例では、このセクションの構成要素について共に説明する。しかし、それらは必ずしも同じ場所にあるとは限らないことを理解されたい。

コンピューティングシステム９００の構成要素は、処理ユニット９１３（中央処理ユニット（ＣＰＵ）など）と、システムメモリ９０１と、システムメモリ９０１を含む様々なシステム構成要素を処理ユニット９１３に結合するシステムバス９１１とを含み得るが、これらに限定されない。システムバス９１１は、様々なバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バスおよびローカルバスを含むいくつかのタイプのバス構造のいずれかであってよい。コンピューティングセクション９００は、バス９１１に接続された外部メモリ９１５をさらに含む。

システムメモリ９０１は、揮発性メモリ、または読出し専用メモリなどの不揮発性メモリの形態にあるコンピュータ記憶媒体を含む。起動時などにおいてコンピュータ内の要素間で情報を転送する助けとなるルーチンを含むベーシックインプットアウトプットシステム（ＢＩＯＳ）９０３が、典型的にはシステムメモリ９０１に記憶される。さらに、システムメモリは、オペレーティングシステム９０５と、アプリケーションプログラム９０７と、ＣＰＵ９１３によって使用中であるプログラムデータ９０９とを含む。

さらに、インターフェース９２５がバス９１１に接続される。インターフェースは、コンピュータシステムがさらなるデバイスから情報を受信するためのネットワークインターフェースであってよい。また、インターフェースは、ユーザが特定のコマンドなどに応答することを可能にするユーザインターフェースであってもよい。

この例では、ビデオインターフェース９１７が設けられる。ビデオインターフェース９１７は、グラフィクスプロセッシングメモリ９２１に接続されるグラフィクスプロセッシングユニット９１９を備える。

グラフィクスプロセッシングユニット（ＧＰＵ）９１９は、多重並列コールの動作のため上記の方法に特によく適している。したがって、一実施形態では、処理は、ＣＰＵ９１３とＧＰＵ９１９との間で分割されてもよい。

一実施形態では、ＧＰＵは、１１Ｇｂメモリ付きのＮＶＩＤＩＡ１０８０Ｔｉである。

上記のアーキテクチャは、ＧＰＵを使用する携帯電話にも適している。

上記の方法は、マルチビューイメージング技法を複数シェーディング情報視点（フォトメトリックステレオ）とマージすることが可能である。これは、３Ｄボリューム再構成を、競合する手法に対してより詳細なものにする。これは、物理現象を光の伝搬および減衰としてより一貫した数学的モデルでモデル化することによって、提案手法が近接場フォトメトリックステレオデータをより確実にパラメータ化することができることによる。さらに、拡散反射と鏡面反射の両方を単一の数学的モデルにおいて扱うために、光の反射もまたパラメータ化される。これは、金属オブジェクトのフォトメトリック画像からの幾何学的情報の導出を可能にする。

上記のように、レイトレーシング処理が、複雑な幾何形状を有するオブジェクトまたはシーンの確実な可視性および影領域（shadowed areas）を決定するために使用される。光線およびカメラ可視性を効果的にレイトレーシングするために、一実施形態では、八分木実装が提案される。

実験セットアップユーザデータ取得は、２つのＲＧＢカメラおよび観察下でシーンをライティングするためのいくつかのＬＥＤの使用からなる。ＬＥＤ当たり単一の画像を撮るようにＬＥＤとカメラを同期させるために、Ａｒｄｕｉｎｏマイクロコントローラが使用される。高価な構成要素に基づく他の技術とは異なり、上記の方法は、安価な構成要素に基づく。

上記の実装では、標準的なマルチビュー技法で得られる粗い３Ｄ再構成を改善するために、複数のフォトメトリック画像が使用される。

一実施形態では、ボリューム再構成上で非常に正確な細部を投影するために、光の伝搬および減衰を説明する専用の数学的モデルで光の伝搬がパラメータ化される。

一実施形態では、複数のカメラ位置からのオブジェクトの可視性問題に対処するために、レイトレーシングアルゴリズムは、キャストシャドウを確立し、ならびにあらゆる画像の不可視領域を検出することが可能である。

上記は、サーフェス上の正確な細部を取り出すことが可能な３Ｄスキャン技術を可能にする。また、品質管理、製造、インバースエンジニアリングなどにおけるいくつかの応用例のためのオブジェクトのボリューム３Ｄ再構成をも可能にする。

この技術は、検査中のオブジェクトのサーフェスのサブミリメートルの細部を提供する３Ｄボリュームシップ（3D volumetric ship）を取り出すことが可能である。

要するに、上記の実施形態は、
マルチビューとフォトメトリックステレオイメージングデータとをマージする符号付き距離関数を用いたボリュームの微分パラメータ化を使用する３Ｄボリューム再構成と、
複数の視点からの情報を単一のシステム内でフォトメトリックステレオ画像と融合する変分最適化と、
新分野フォトメトリックステレオイメージングに対処し、鏡面反射および拡散反射に関連してポイントライトの伝搬と減衰とをモデル化する、放射照度式と、
可視性情報、ならびに複数の離散的なオブジェクトを有するシーンにおいて決定的に重要なシャドウをレイトレーシングすることが可能な八分木実装と、を提供する。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示されているにすぎず、本発明の範囲を限定することは意図していない。実際、本明細書に記載された新規なデバイスおよび方法は、様々な他の形態で実施され得、さらに、本明細書に記載されたデバイス、方法および製品の形態の様々な省略、置換、および変更は、発明の要旨から逸脱しない範囲でなされ得る。添付の特許請求の範囲およびそれらの均等物は、本発明の範囲および要旨に入る形態または修正を包含することが意図されている。

Claims (21)

1. オブジェクトの３Ｄ画像を生成するためのシステムであって、
   マルチビューフォトメトリックステレオデータおよびステレオ画像データを受け取るように構成されたプロセッサを備え、前記マルチビューフォトメトリックステレオデータは、画像データの第１のセットを備え、画像データの前記第１のセットは、異なる照明方向からの照明で複数の位置において第１のカメラによって取得された複数の画像を備え、前記第１のカメラの各位置について異なる照明方向からの複数の画像があり、前記ステレオ画像データは、画像データの第２のセットを備え、画像データの前記第２のセットは、複数の第１画像対を備え、各第１画像対は、前記第１のカメラによって得られた画像、および前記第１のカメラに対して既知の位置を有する第２のカメラによって得られた画像であり、前記第２のカメラは前記第１のカメラより大きい視野を有し、
   前記プロセッサは、各第１画像対について前記第１のカメラおよび前記第２のカメラのグローバルな位置を決定するように構成され、
   前記プロセッサは、拡散反射と鏡面反射の両方をモデル化する反射モデルを使用する放射照度の定式化を用いるフォトメトリックステレオ法を使用して前記マルチビューフォトメトリックステレオデータを処理するように構成される、システム。
2. 前記プロセッサは、前記オブジェクトのサーフェスの光沢を示すパラメータを使用して拡散反射と鏡面反射の両方をモデル化する反射モデルを使用して放射照度を決定するように構成される、請求項１に記載のシステム。
3. 前記プロセッサは、ブリンフォン反射モデルを使用して拡散反射と鏡面反射の両方をモデル化する下記の反射モデルを使用して放射照度を決定するように構成され、
   

   

   ここで、
   

   

   は、３Ｄ点ｘの画像平面投影であり、ρ（ｘ）は、アルベドを示し、ａ_k（ｘ）は、減衰を示し、ｃ（ｘ）は、光沢を示し、ｗ_ｋ（ｘ）は、重み付きハーフベクトル
   

   

   であり、ｖ_q（ｘ）は、カメラ位置Ｃ_qについてのボリューム上のｑ番目の視線方向であり、εは、遷移パラメータである、請求項２に記載のシステム。
4. 前記プロセッサは、複数の第２画像対を処理するように構成され、各第２画像対は、異なる照明方向から照明される同じカメラ視点からの一対の画像を備え、前記複数の第２画像対は、異なるカメラ視点からの複数の画像を備え、可視性重みが各第２画像対に適用される、請求項３に記載のシステム。
5. 各第２画像対は、
   

   

   を生成するように処理され、ここで、
   

   

   であり、可視性重み付きは、ｂ_hk（ｘ）に適用される、請求項４に記載のシステム。
6. オブジェクトの３Ｄ画像を生成するためのシステムであって、
   マルチビューフォトメトリックステレオデータおよびステレオ画像データを受け取るように構成されたプロセッサを備え、前記マルチビューフォトメトリックステレオデータは、画像データの第１のセットを備え、画像データの前記第１のセットは、異なる照明方向からの照明で複数の位置において第１のカメラによって取得された複数の画像を備え、前記第１のカメラの各位置について異なる照明方向からの複数の画像があり、前記ステレオ画像データは、画像データの第２のセットを備え、画像データの前記第２のセットは、複数の第１画像対を備え、各第１画像対は、前記第１のカメラによって得られた画像、および前記第１のカメラに対して既知の位置を有する第２のカメラによって得られた画像であり、
   前記プロセッサは、各第１画像対について前記第１のカメラおよび前記第２のカメラのグローバルな位置を決定するように構成され、
   前記プロセッサは、拡散反射と鏡面反射の両方をモデル化する反射モデルを使用する放射照度の定式化を用いるフォトメトリックステレオ法を使用して前記マルチビューフォトメトリックステレオデータを処理するように構成され、
   前記プロセッサは、ブリンフォン反射モデルを使用して拡散反射と鏡面反射の両方をモデル化する下記の反射モデルを使用して放射照度を決定するように構成され、
   

   

   ここで、
   

   

   は、３Ｄ点ｘの画像平面投影であり、ρ（ｘ）は、アルベドを示し、ａ_k（ｘ）は、減衰を示し、ｃ（ｘ）は、光沢を示し、ｗ_ｋ（ｘ）は、重み付きハーフベクトル
   

   

   であり、ｖ_q（ｘ）は、カメラ位置Ｃ_qについてのボリューム上のｑ番目の視線方向であり、εは、遷移パラメータであり、
   前記プロセッサは、複数の第２画像対を処理するように構成され、各第２画像対は、異なる照明方向から照明される同じカメラ視点からの一対の画像を備え、前記複数の第２画像対は、異なるカメラ視点からの複数の画像を備え、可視性重みが各第２画像対に適用され、
   各第２画像対は、
   

   

   を生成するように処理され、ここで、
   

   

   であり、可視性重み付きは、ｂ_hk（ｘ）に適用される、システム。
7. 前記第１のカメラおよび前記第２のカメラは異なる視野を有する、請求項６に記載のシステム。
8. 前記プロセッサは、式（７）を重み付き最小二乗問題として解くように構成される、請求項５乃至７のいずれか１項に記載のシステム。
9. 前記プロセッサは、反復処理を使用して前記最小二乗問題を解くように構成される、請求項８に記載のシステム。
10. 前記第１のカメラおよび前記第２のカメラは、可動なマウントに設けられ、前記第１のカメラは、複数の個々の光源によって囲まれて設けられ、前記個々の光源は、どの時点においてもただ１つの光源をオンになるように制御することができるように制御可能である、請求項１乃至９のいずれか１項に記載のシステム。
11. 前記フォトメトリックステレオ法は、符号付き距離関数を使用することによって前記オブジェクトのサーフェスの位置を決定し、前記符号付き距離関数は、点からサーフェスまでの距離を決定し、前記符号付き距離関数は、下記のサーフェス法線に関係し、
    

    

    ここで、ｎ（ｘ）は、３Ｄ点ｘでのサーフェス法線であり、ｄ（ｘ）は、３Ｄ点ｘでの前記符号付き距離関数であり、∇は勾配演算子であり、前記符号付き距離関数は、放射照度をモデル化するときにサーフェス法線の代わりに使用される、請求項１乃至１０のいずれか１項に記載のシステム。
12. サーフェスは、前記符号付き距離関数が最小であるときに示される、請求項１１に記載のシステム。
13. 前記プロセッサは、ボリューム法を使用して前記マルチビューフォトメトリックステレオデータを処理し、前記オブジェクトを含むボリュームは、ボクセルに細分され、前記符号付き距離関数は、ボクセルごとに計算される、請求項１１または１２に記載のシステム。
14. 前記プロセッサは、反復法を使用して前記マルチビューフォトメトリックステレオデータを処理するように構成され、ボクセルサイズは、第１のサイズに設定され、前記符号付き距離関数が閾値未満である場合、さらに細分される、請求項１３に記載のシステム。
15. 前記プロセッサは、前記ステレオ画像データから前記符号付き距離関数の初期推定結果を得るように構成される、請求項１３または１４に記載のシステム。
16. 前記プロセッサは、オクルージョンを決定するために前記第１のカメラまたは照明に向かってボクセルをレイトレーシングすることを実施するように構成される、請求項１３乃至１５のいずれか１項に記載のシステム。
17. トレースされる光線に沿うボクセル間での前記符号付き距離関数の符号の変化からオクルージョンが決定される、請求項１６に記載のシステム。
18. 第１のカメラと、
    第２のカメラと、
    空間的に分散された複数の光源と、
    請求項１乃至１７のいずれか１項に記載のシステムと
    を備える検査装置。
19. オブジェクトの３Ｄ画像を生成するための方法であって、
    マルチビューフォトメトリックステレオデータおよびステレオ画像データを受け取ることと、前記マルチビューフォトメトリックステレオデータは、画像データの第１のセットを備え、画像データの前記第１のセットは、異なる照明方向からの照明で複数の位置において第１のカメラによって取得された複数の画像を備え、前記第１のカメラの各位置について異なる照明方向からの複数の画像があり、前記ステレオ画像データは、画像データの第２のセットを備え、画像データの前記第２のセットは、複数の第１画像対を備え、各第１画像対は、前記第１のカメラによって得られた画像、および前記第１のカメラに対して既知の位置を有する第２のカメラによって得られた画像であり、前記第２のカメラは前記第１のカメラより大きい視野を有し、
    各第１画像対について前記第１のカメラおよび前記第２のカメラのグローバルな位置を決定することと、
    拡散反射と鏡面反射の両方をモデル化する反射モデルを使用する放射照度の定式化を用いるフォトメトリックステレオ法を使用して前記マルチビューフォトメトリックステレオデータを処理することと
    を備える方法。
20. オブジェクトの３Ｄ画像を生成するための方法であって、
    マルチビューフォトメトリックステレオデータおよびステレオ画像データを受け取ることと、前記マルチビューフォトメトリックステレオデータは、画像データの第１のセットを備え、画像データの前記第１のセットは、異なる照明方向からの照明で複数の位置において第１のカメラによって取得された複数の画像を備え、前記第１のカメラの各位置について異なる照明方向からの複数の画像があり、前記ステレオ画像データは、画像データの第２のセットを備え、画像データの前記第２のセットは、複数の第１画像対を備え、各第１画像対は、前記第１のカメラによって得られた画像、および前記第１のカメラに対して既知の位置を有する第２のカメラによって得られた画像であり、
    各第１画像対について前記第１のカメラおよび前記第２のカメラのグローバルな位置を決定することと、
    拡散反射と鏡面反射の両方をモデル化する反射モデルを使用する放射照度の定式化を用いるフォトメトリックステレオ法を使用して前記マルチビューフォトメトリックステレオデータを処理することと
    を備え、
    前記マルチビューフォトメトリックステレオデータを処理することは、ブリンフォン反射モデルを使用して拡散反射と鏡面反射の両方をモデル化する下記の反射モデルを使用して放射照度を決定することを含み、
    

    

    ここで、
    

    

    は、３Ｄ点ｘの画像平面投影であり、ρ（ｘ）は、アルベドを示し、ａ_k（ｘ）は、減衰を示し、ｃ（ｘ）は、光沢を示し、ｗ_ｋ（ｘ）は、重み付きハーフベクトル
    

    

    であり、ｖ_q（ｘ）は、カメラ位置Ｃ_qについてのボリューム上のｑ番目の視線方向であり、εは、遷移パラメータであり、
    前記マルチビューフォトメトリックステレオデータを処理することは、複数の第２画像対を処理することを含み、各第２画像対は、異なる照明方向から照明される同じカメラ視点からの一対の画像を備え、前記複数の第２画像対は、異なるカメラ視点からの複数の画像を備え、可視性重みが各第２画像対に適用され、
    各第２画像対は、
    

    

    を生成するように処理され、ここで、
    

    

    であり、可視性重み付きは、ｂ_hk（ｘ）に適用される、方法。
    
21. 実行されたときに、コンピュータに請求項１９または２０の方法を実行させるコンピュータ可読命令を搬送する非一時的キャリア媒体。

Images