JP7362044B2 - 修正されたシェイプフロムシェーディング（ｓｆｓ）スキームを使用した三角形３次元メッシュの形状改善 - Google Patents

Description

〔関連出願との相互参照／引用による組み入れ〕
なし。

本開示の様々な実施形態は、３次元（３Ｄ）モデリング、仮想人間技術及び仮想現実に関する。具体的には、本開示の様々な実施形態は、修正されたシェイプフロムシェーディング（ＳＦＳ）スキームを使用した三角形３Ｄメッシュの形状改善のための電子装置及び方法に関する。

３次元（３Ｄ）コンピュータグラフィクス及び３Ｄモデリング分野の進歩は、コンピュータ生成画像（ＣＧＩ）環境などの３Ｄ環境において異なるタイプのオブジェクト（例えば、人間の顔）のリアルな３Ｄモデルを開発して視覚化する道を開いてきた。通常、関心オブジェクトの３Ｄモデルは、多角形表面を使用して関心オブジェクトの形状及び構造を定める３Ｄメッシュからレンダリングすることができる。関心オブジェクトのリアルな３Ｄモデルを生成するには、３Ｄモデルの形状及びカラーテクスチャを精細化して関心オブジェクトの実際のテクスチャ及び形状に一致させることが必要となり得る。

通常、異なるオブジェクトは、そのそれぞれの表面に関連する異なる反射特性を有する。これらの特性は、所与の照明条件下で画像内のオブジェクトの表面上に異なるシェーディングパターンをもたらす。例えば、３Ｄの人間の顔をモデル化する場合、リアルな形状モデルを達成するには、一般的形状、並びにしわ及びほくろなどの顔の細部を正確にモデル化する必要がある。いくつかのシナリオでは、従来のシェイプフロムシェーディング（ＳＦＳ）法を使用して３Ｄモデルの形状を精細化することができる。従来のＳＦＳ法は、オブジェクトの入力画像を使用して３Ｄモデルを精細化し、顔の細部などの細部を再構成するために広く使用されている方法である。しかしながら、通常、ＳＦＳ法は、オブジェクトの３Ｄ三角形メッシュの非線形最適化を必要とする。このため、特にメモリ／処理が制約されたシステムでは、不必要に時間が消費されて計算効率が悪くなってしまうことがある。

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法のさらなる限界及び不利点が明らかになるであろう。

実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、修正されたシェイプフロムシェーディング（ＳＦＳ）スキームを使用した三角形３Ｄメッシュの形状改善のための電子装置及び方法を提供する。

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

本開示の実施形態による、修正されたシェイプフロムシェーディング（ＳＦＳ）スキームを使用した三角形３次元（３Ｄ）メッシュの形状改善のための例示的なネットワーク環境を示すブロック図である。 本開示の実施形態による、修正されたＳＦＳスキームを使用した三角形３Ｄメッシュの形状改善のための例示的な電子装置のブロック図である。 本開示の実施形態による、修正されたＳＦＳスキーム、を使用した三角形３Ｄメッシュの形状改善のための例示的な動作を示す図である。 本開示の実施形態による、画像平面上に位置する方形グリッド頂点の初期グリッド深度値、画像強度値及びアルベド値の推定のための例示的なシナリオを示す図である。 本開示の実施形態による、修正されたＳＦＳスキームを使用した三角形３Ｄメッシュの形状改善のための例示的な方法を示すフローチャートである。

開示する修正されたシェイプフロムシェーディング（ＳＦＳ）スキームを使用した三角形３Ｄメッシュの形状改善のための装置及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、人間の顔部分などのオブジェクト部分の三角形３Ｄメッシュの形状改善のための電子装置を提供する。開示する電子装置は、修正されたＳＦＳスキームを使用することによって初期三角形３Ｄメッシュの細部（例えば、顔の細部）をモデル化するように構成される。初期三角形３Ｄメッシュと、オブジェクト部分の対応するテクスチャマップ及びカラー画像とを使用して、初期三角形３Ｄメッシュから形状改善された３Ｄ三角形メッシュとしての最終的な３Ｄ三角形メッシュを推定することができる。正投影を採用して、方形グリッドを含む２Ｄ画像平面上に初期三角形３Ｄメッシュを投影する。修正されたシェイプフロムシェーディング（ＳＦＳ）スキームをさらに適用して、方形グリッドの全ての頂点のｚ座標値を再推定する。次に、ＳＦＳスキームの結果に基づいて、初期三角形３Ｄメッシュの各頂点のｚ座標値を更新する。２Ｄ画像平面に対する初期三角形３Ｄメッシュ、すなわち方形グリッド上のメッシュの投影は、正投影に基づく。重心補間（ｂａｒｙｃｅｎｔｒｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）によって、メッシュグリッドの各頂点の深度、画像強度及びアルベドの値を推定する。修正されたＳＦＳスキーム、及びランバートの反射率モデルなどの反射率モデルをさらに使用して、方形グリッドの各頂点の深度値を精細化する。線形最適化モデルの適用によって、方形グリッド上のメッシュから形状改善された３Ｄ三角形メッシュを再推定する。

一般に、例えばリアルな形状モデリングを達成するために３Ｄの人間の顔をモデル化する際には、一般的形状、並びにしわ、ほくろ及び深いしわの線（ｆｕｒｒｏｗ ｌｉｎｅｓ）などの顔の細部を正確にモデル化する必要がある。通常、入力画像を使用して形状モデル（メッシュ）を精細化できる既存のＳＦＳスキームは、方形グリッド上のメッシュに作用することによって、通常は最適化を線形関数として単純化する。既存のＳＦＳスキームには、三角形３Ｄメッシュのための効率的解法が欠けている。本開示では、三角形３Ｄメッシュに作用する効率的な修正されたＳＦＳスキームを提示する。通常、三角形３Ｄメッシュ上の既存のＳＦＳスキームは、非線形最適化問題を直接解決するものであり、時間が掛かるとともに計算効率が悪い。

図１は、本開示の実施形態による、修正されたシェイプフロムシェーディング（ＳＦＳ）スキームを使用した三角形３Ｄメッシュの形状改善のための例示的なネットワーク環境を示すブロック図である。図１には、ネットワーク環境１００を示す。ネットワーク環境１００は、電子装置１０２、スキャニング装置１０４及びサーバ１０６を含むことができる。スキャニング装置１０４は、イメージセンサ１０４Ａ及び深度センサ１０４Ｂを含むことができる。電子装置１０２、スキャニング装置１０４及びサーバ１０６は、通信ネットワーク１０８を介して互いに通信可能に結合することができる。一例として、図示の電子装置１０２は、顔部分などのオブジェクト部分のカラー画像１１０、カラー画像１１０に対応する深度情報１１２、及び顔部分などのオブジェクト部分の初期３次元（３Ｄ）三角形メッシュ１１４を記憶するように構成することができる。さらに、電子装置１０２及び／又はスキャニング装置１０４に関連することができるユーザ１１６も示す。

電子装置１０２は、複数の方形グリッド頂点を含む画像平面上の初期３Ｄ三角形メッシュ１１４の正投影に基づいてオブジェクト部分の平坦な２次元（２Ｄ）メッシュを生成するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。生成された平坦な２Ｄメッシュは、方形グリッド上のメッシュに対応することができる。電子装置１０２は、修正されたＳＦＳスキームに基づいて、平坦な２Ｄメッシュの複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値を推定するようにさらに構成することができる。電子装置１０２は、初期３Ｄ三角形メッシュ１１４と、複数の方形グリッド頂点の各方形グリッド頂点の推定される最終的なグリッド深度値とに基づいて、形状改善された３Ｄ三角形メッシュとしての最終的な３Ｄ三角形メッシュを推定するようにさらに構成することができる。電子装置１０２の例としては、以下に限定するわけではないが、コンピュータ装置、ビデオ会議システム、仮想現実（ＶＲ）ベースの装置、拡張現実（ＡＲ）ベースの装置、ゲーム装置、メインフレームマシン、サーバ、コンピュータワークステーション及び／又は消費者電子（ＣＥ）装置を挙げることができる。

スキャニング装置１０４は、ユーザ１１６の顔部分などのオブジェクト部分をスキャンするように構成できる好適なロジック、回路及びインターフェイスを含むことができる。スキャニング装置１０４は、ユーザ１１６の顔などのオブジェクト部分の複数のカラー画像及び対応する深度情報を１又は２以上の視野角から取り込むように構成することができる。スキャニング装置１０４は、取り込まれた複数のカラー画像及び対応する深度情報を、通信ネットワーク１０８を介して電子装置１０２及びサーバ１０６に送信するようにさらに構成することができる。スキャニング装置１０４は、様々な視野角からオブジェクト部分をスキャンするために使用できる（イメージセンサ１０４Ａなどの）イメージセンサ、（深度センサ１０４Ｂなどの）深度センサ、（赤色－緑色－青色（ＲＧＢ）センサなどの）カラーセンサ及び／又は赤外線（ＩＲ）センサの組み合わせなどの複数のセンサを含むことができる。スキャニング装置１０４の例としては、以下に限定するわけではないが、深度センサ、ＲＧＢセンサ、ＩＲセンサ、３Ｄメッシュ構造生成器、イメージセンサ又は動き検出装置を挙げることができる。

ある実施形態によれば、スキャニング装置１０４は、放射線又は光に依拠して３Ｄ空間内のオブジェクト部分の３Ｄ構造を取り込むアクティブ３Ｄスキャナを含むことができる。例えば、アクティブ３Ｄスキャナは、飛行時間（ＴＯＦ）ベースの３Ｄレーザースキャナ、レーザー測距器、ＴＯＦカメラ、ハンドヘルド式レーザースキャナ、構造光３Ｄスキャナ（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ３Ｄ ｓｃａｎｎｅｒ）、変調光３Ｄスキャナ、点群データを出力するＣＴスキャナ、空中光検知及び測距（ａｅｒｉａｌ Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ：ＬｉＤＡＲ）レーザースキャナ、３Ｄ ＬｉＤＡＲ、及び３Ｄモーションセンサなどとすることができる。

図１では、スキャニング装置１０４を電子装置１０２から独立した装置として示している。しかしながら、本開示はそのように限定されるわけではなく、いくつかの実施形態では、スキャニング装置１０４を電子装置１０２と一体化することもできる。或いは、本開示の範囲から逸脱することなく、スキャニング装置１０４の機能全体を電子装置１０２に組み込むこともできる。

サーバ１０６は、スキャニング装置１０４によって取り込まれた複数のカラー画像及び対応する深度情報を記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ある実施形態によれば、サーバ１０６は、初期３Ｄ三角形メッシュ１１４を記憶するようにさらに構成することができる。サーバ１０６の例としては、以下に限定するわけではないが、データベースサーバ、ファイルサーバ、ウェブサーバ、クラウドサーバ、アプリケーションサーバ、メインフレームサーバ又はその他のタイプのサーバを挙げることができる。

通信ネットワーク１０８は、電子装置１０２、スキャニング装置１０４及びサーバ１０６が互いに通信できるようにする通信媒体を含むことができる。通信ネットワーク１０８の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィディリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１０８に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、送信制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ８０２．１１ｓ、ＩＥＥＥ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを挙げることができる。

動作中、スキャニング装置１０４は、人間、ロボット、動物、生物オブジェクト、無生物オブジェクト又は他のいずれかのタイプの関心オブジェクトなどの関心オブジェクトのオブジェクト部分をスキャンするように構成することができる。例示的な実施形態では、関心オブジェクトがユーザ１１６に対応することができ、オブジェクト部分がユーザ１１６の顔部分に対応することができる。スキャニング装置１０４は、オブジェクト部分がスキャニング装置１０４の視野（ＦｏＶ）内に存在している間に１又は２以上の視野角からユーザ１１６の顔などのオブジェクト部分をスキャンするように構成することができる。

スキャン動作では、スキャニング装置１０４を、オブジェクト部分の複数のカラー画像及び対応する深度情報を取り込むようにさらに構成することができる。複数のカラー画像及び対応する深度情報は、複数のカラー画像の各々のＦｏＶがオブジェクト部分の深度情報の対応する部分のＦｏＶと整列している間に同時に（すなわち、時間的に同期して）取り込むことができる。複数のカラー画像に対応する深度情報は、３Ｄ空間内のユーザ１１６の顔部分などのオブジェクト部分の「Ｚ」座標に関する情報を含むことができる。複数のカラー画像及び対応する深度情報は、３Ｄ視点からのオブジェクト部分の各領域の異なる形状特徴及び深度の理解を高めることができる。いくつかの実施形態では、各カラー画像及び深度情報の対応する深度部分を高解像度（例えば、フルハイビジョン（ＦＨＤ）、ウルトラＨＤ（ＵＨＤ）など）で取り込み、オブジェクト部分の全ての必要な形状及びテクスチャ関連の詳細をまとめて保持することができる。

一例として、イメージセンサ１０４Ａは、１又は２以上の視野角からユーザ１１６の顔の複数のカラー画像を取り込むように構成することができる。同様に、深度センサ１０４Ｂは、ユーザ１１６の顔の複数のカラー画像に対応する深度情報を取り込むように構成することができる。取り込まれた複数のカラー画像の各カラー画像は、対応する深度画像を有することができる。複数のカラー画像に対応する深度情報は、ユーザ１１６の顔などのオブジェクト部分の異なる領域の深度に関する情報を示すことができる。一例として、しわを有する顔部分の異なる領域は、しわを含まない他の領域と比べて異なる深度値を有することができる。これらのしわを有する異なる領域は、３Ｄモデルリング中に正確な形状改善を必要とし得る顕著な領域とすることができる。

スキャニング装置１０４は、複数のカラー画像及び対応する深度情報を、通信ネットワーク１０８を介して電子装置１０２及びサーバ１０６に送信するようにさらに構成することができる。電子装置１０２は、複数のカラー画像のうちのカラー画像１１０と、カラー画像１１０に対応する深度情報１１２とを記憶するように構成することができる。また、電子装置１０２は、ユーザ１１６の顔などのオブジェクト部分の初期３Ｄ三角形メッシュ１１４を記憶するようにさらに構成することができる。初期３Ｄ三角形メッシュ１１４は、オブジェクト部分の形状改善されていない三角形メッシュに対応できる予め推定された３Ｄ三角形メッシュとすることができる。形状改善されていない三角形メッシュは、対応する深度値がオブジェクト部分上の対応する点の実際の深度値に一致しない異なる頂点を含むことができる。初期３Ｄ三角形メッシュ１１４では、オブジェクト部分のいくつかの部分の形状が不正確に取り込まれ、オブジェクト部分の実際の／リアルな形状を表さないことがある。一例として、ユーザ１１６の顔部分の初期３Ｄ三角形メッシュ１１４には、しわ、深いしわの線又はほくろなどの複雑な形状特徴が存在せず、又は部分的にしか取り込まれないことがある。

いくつかの実施形態では、初期３Ｄ三角形メッシュ１１４をサーバ１０６などのサーバに記憶することができる。このような事例では、電子装置１０２を、通信ネットワーク１０８を介してサーバ１０６から初期３Ｄ三角形メッシュ１１４を検索するように構成することができる。他のいくつかの実施形態では、電子装置１０２を、取り込まれた複数のカラー画像及び対応する深度情報に基づいてオブジェクト部分の初期３Ｄ三角形メッシュ１１４を生成するように構成することができる。

電子装置１０２は、画像平面上の初期３Ｄ三角形メッシュ１１４の正投影に基づいて平坦な２Ｄメッシュを生成するようにさらに構成することができる。画像平面は、複数の方形グリッド頂点を含む２Ｄ平面とすることができる。平坦な２Ｄメッシュは、２Ｄ平面上に投影された初期３Ｄ三角形メッシュ１１４の２Ｄ対応とすることができ、初期３Ｄ三角形メッシュ１１４を２Ｄ空間で表すことができる。初期３Ｄ三角形メッシュ１１４の各頂点は、３Ｄ座標（すなわち、ｘ、ｙ及びｚ座標値）に関して表すことができる。同様に、初期３Ｄ三角形メッシュ１１４の対応する頂点を表す平坦な２Ｄメッシュ上の各投影点は、２Ｄ座標（すなわち、ｘ及びｙ座標値）に関して表すことができる。画像平面上の各投影点の（ｘ、ｙ）座標値は、初期３Ｄ三角形メッシュ１１４の対応する頂点の（ｘ、ｙ）座標値と同じであることができる。

初期３Ｄ三角形メッシュ１１４上における従来のＳＦＳスキームの適用は非線形最適化を必要とすることがあり、従来のＳＦＳスキームの適用に基づく初期３Ｄ三角形メッシュ１１４の各頂点の深度値の再推定には時間が掛かる場合がある。平坦な２Ｄメッシュは、初期３Ｄ三角形メッシュ１１４の各頂点の深度値を再推定するために生成することができる。初期３Ｄ三角形メッシュ１１４の各頂点の深度値は、平坦な２Ｄメッシュ上における修正されたＳＦＳの適用に基づいて再推定することができる。平坦な２Ｄメッシュ上における修正されたＳＦＳの適用は、再推定プロセスを線形最適化問題として単純化する。また、平坦な２Ｄメッシュ上における修正されたＳＦＳの適用に基づく初期３Ｄ三角形メッシュ１１４の各頂点の深度値の再推定は、従来のＳＦＳスキームに比べて時間が掛からない。

通常、初期３Ｄ三角形メッシュ１１４の異なる頂点は、初期３Ｄ三角形メッシュ１１４の異なる頂点上に適用されるために（深度補正などの）位置補正を必要とすることがある。この理由は、初期３Ｄ三角形メッシュ１１４は不正確な表面配向を有することがあり、本開示は、オブジェクト部分のしわ、モデル及び深いしわの線などの異なる形状特徴を正確にモデル化する形状改善された３Ｄ三角形メッシュを取得することを目的とするからである。位置補正は、初期３Ｄ三角形メッシュ１１４からレンダリングできる３Ｄモデルの表面の配向（又は表面パッチ）を回復させるために必要となり得る。本開示は、オブジェクト部分の単一のカラー画像と、修正されたシェイプフロムシェーディング（ＳＦＳ）スキームとを使用して、初期３Ｄ三角形メッシュ１１４の異なる頂点に位置補正を適用し、形状改善された３Ｄ三角形メッシュを取得する。修正されたＳＦＳスキームを使用する目的は、表面法線を推定するとともに、初期３Ｄ三角形メッシュ１１４の異なる頂点の正確な位置値をさらに推定するためである。

電子装置１０２は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の初期深度値セットを推定するように構成することができる。初期深度値セットは、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の対応する３Ｄ座標セットに基づいて推定することができる。初期深度値セットは、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組のｚ座標値セットとすることができる。

電子装置１０２は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の推定される初期深度値セットの重心補間に基づいて、複数の方形グリッド頂点の各方形グリッド頂点の初期グリッド深度値を推定するようにさらに構成することができる。複数の方形グリッド頂点の各方形グリッド頂点の初期グリッド深度値の推定については、例えば図３及び図４でさらに詳細に説明する。

電子装置１０２は、修正されたＳＦＳスキームに基づいて、平坦な２Ｄメッシュの複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値を推定するように構成することができる。修正されたＳＦＳスキームは、画像平面上の複数の方形グリッド頂点の各方形グリッド頂点の基準グリッド画像強度値、初期グリッド深度値及びグリッドアルベド値間の客観的関係（ｏｂｊｅｃｔｉｖｅ ｒｅｌａｔｉｏｎｓｈｉｐ）に対応することができる。複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値は、複数の方形グリッド頂点の各方形グリッド頂点の再推定される深度値とすることができる。最終的な深度値は、ユーザ１１６の顔などのオブジェクト部分のカラー画像１１０の照明条件にさらに基づいて推定することができる。照明条件は、ランバートの反射率モデルなどの反射率モデルを使用して定めることができる。いくつかの実施形態では、乱反射のみをカラー画像１１０の照明条件として考慮することができる。平坦な２Ｄメッシュの複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値の推定については、例えば図３でさらに詳細に説明する。

電子装置１０２は、初期３Ｄ三角形メッシュ１１４と、複数の方形グリッド頂点の各方形グリッド頂点の推定される最終的なグリッド深度値とに基づいて、形状改善された３Ｄ三角形メッシュとしての最終的な３Ｄ三角形メッシュを推定するようにさらに構成することができる。推定される最終的な３Ｄ三角形メッシュの形状は、ユーザ１１６の顔などのオブジェクト部分の実際の形状に類似することができる。電子装置１０２は、推定される最終的な３Ｄ三角形メッシュに基づいて、オブジェクト部分の３Ｄモデルをレンダリングするようにディスプレイ装置を制御するようさらに構成することができる。オブジェクト部分の３Ｄモデルは、オブジェクト部分の表面特徴を写実的に表すことができる。いくつかの例示的なシナリオでは、この３Ｄモデルを、仮想現実（ＶＲ）又は拡張現実（ＡＲ）環境内でユーザ１１６の顔部分などのオブジェクト部分を表すようにさらにレンダリングすることができる。オブジェクト部分の３Ｄモデルの応用としては、ビデオゲーム内のアニメーション、視覚効果（ＶＦＸ）、コンピュータ生成画像（ＣＧＩ）、及び３Ｄモデルベースのビデオ会議を挙げることができる。

図２は、本開示の実施形態による、修正されたＳＦＳスキームを使用した三角形３Ｄメッシュの形状改善のための例示的な電子装置のブロック図である。図２の説明は、図１の要素に関連して行う。図２には、電子装置１０２のブロック図２００を示す。電子装置１０２は、回路２０２を含むことができる。回路２０２は、プロセッサ２０４などの１又は２以上のプロセッサをさらに含むことができる。電子装置１０２は、メモリ２０６、入力／出力（Ｉ／Ｏ）装置２０８、及びネットワークインターフェイス２１４をさらに含むことができる。Ｉ／Ｏ装置２０８は、グラフィカルユーザインターフェイス（ＧＵＩ）２１２をレンダリングするために利用できるディスプレイ装置２１０を含むことができる。回路２０２は、メモリ２０６及びＩ／Ｏ装置２０８に通信可能に結合することができる。回路２０２は、ネットワークインターフェイス２１４を使用してスキャニング装置１０４及びサーバ１０６と通信するように構成することができる。

プロセッサ２０４は、メモリ２０６に記憶された命令を実行するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４に基づいてオブジェクト部分の平坦な２Ｄメッシュを生成し、修正されたＳＦＳスキームに基づいて平坦な２Ｄメッシュの複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値を推定するように構成することができる。プロセッサ２０４は、複数の方形グリッド頂点の各方形グリッド頂点の推定される最終的なグリッド深度値及び初期３Ｄ三角形メッシュ１１４に基づいて、形状改善された３Ｄ三角形メッシュとしての最終的な３Ｄ三角形メッシュを推定するようにさらに構成することができる。プロセッサ２０４は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。プロセッサ技術の例としては、以下に限定するわけではないが、中央処理装置（ＣＰＵ）、Ｘ８６ベースプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、グラフィカルプロセッシングユニット（ＧＰＵ）、及びその他のプロセッサを挙げることができる。

メモリ２０６は、プロセッサ２０４によって実行される命令を記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。メモリ２０６は、初期３Ｄ三角形メッシュ１１４を記憶するようにさらに構成することができる。メモリ２０６は、カラー画像１１０と、カラー画像１１０に対応する深度情報１１２とを記憶するようにさらに構成することができる。メモリ２０６の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電子的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。

Ｉ／Ｏ装置２０８は、ユーザ（ユーザ１０６など）から入力を受け取り、ユーザから受け取られた入力に基づいてユーザに出力を提供するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。様々な入力及び出力装置を含むことができるＩ／Ｏ装置２０８は、回路２０２と通信するように構成することができる。Ｉ／Ｏ装置２０８の例としては、以下に限定するわけではないが、タッチ画面、キーボード、マウス、ジョイスティック、マイク、ディスプレイ装置（例えば、ディスプレイ装置２１０）、及びスピーカを挙げることができる。

ディスプレイ装置２１０は、オブジェクト部分の初期３Ｄ三角形メッシュ１１４の形状改善に基づいてオブジェクト部分の３Ｄモデルを表示するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。いくつかの実施形態では、ディスプレイ装置２１０を、電子装置１０２に関連する外部ディスプレイ装置とすることができる。いくつかの実施形態では、ディスプレイ装置２１０を、ユーザ１１６などのユーザがディスプレイ装置２１０を介してユーザ入力を提供することを可能にすることができるタッチ画面とすることができる。タッチ画面は、抵抗性タッチ画面、容量性タッチ画面、又は熱タッチ画面のうちの少なくとも１つとすることができる。ディスプレイ装置２１０は、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、或いはその他のディスプレイ装置などの複数の既知の技術を通じて実現することができる。ある実施形態によれば、ディスプレイ装置２１０は、頭部装着型装置（ＨＭＤ）、スマートグラス装置、シースルーディスプレイ、投影式ディスプレイ、エレクトロクロミックディスプレイ、又は透明ディスプレイのディスプレイ画面を意味することができる。

ＧＵＩ２１２は、ディスプレイ装置２１０などのディスプレイ装置上にレンダリングされるユーザインターフェイス（ＵＩ）に対応することができる。ＧＵＩ２１２は、オブジェクト部分の３Ｄモデルを表示するように構成することができる。いくつかの実施形態では、ＧＵＩ２１２を、電子装置１０２に通信可能に結合できる外部ディスプレイ画面上にレンダリングすることができる。ＧＵＩ２１２は、情報を表示して、３Ｄモデルの表示及び／又は表示された３Ｄモデルに関連する情報を制御する（又はこれらと相互作用する）ために使用できる異なるＧＵＩ及び非ＧＵＩ要素を含むことができる。

ネットワークインターフェイス２１４は、通信ネットワーク１０８を介して電子装置１０２、スキャニング装置１０４及びサーバ１０６間の通信を容易にするように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ネットワークインターフェイス２１４は、電子装置１０２と通信ネットワーク１０８との有線又は無線通信をサポートする様々な既知の技術を使用することによって実装することができる。ネットワークインターフェイス２１４は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ－デコーダ（ＣＯＤＥＣ）チップセット、加入者アイデンティティモジュール（ＳＩＭ）カード、又はローカルバッファ回路を含むことができる。

ネットワークインターフェイス２１４は、インターネット、イントラネットなどのネットワーク、又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び都市エリアネットワーク（ＭＡＮ）などの無線ネットワークと無線通信を介して通信するように構成することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ－ＣＤＭＡ）、長期進化（ＬＴＥ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ又はＩＥＥＥ８０２．１１ｎなどの）ワイヤレスフィディリティ（Ｗｉ－Ｆｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（Ｗｉ－ＭＡＸ）、電子メール用プロトコル、インスタントメッセージング及びショートメッセージサービス（ＳＭＳ）などの複数の通信規格、プロトコル及び技術のうちの１つ又は２つ以上を使用するように構成することができる。回路２０２の動作については、例えば図３及び図４で詳細に説明する。

図３に、本開示の実施形態による、修正されたＳＦＳスキームを使用した三角形３Ｄメッシュの形状改善のための例示的な動作を示す。図３の説明は、図１及び図２の要素に関連して行う。図３には、初期３Ｄ三角形メッシュ１１４の形状改善のための処理パイプライン３００の一部としての一連の例示的な動作を示す。

３０２において、平坦な２Ｄメッシュ生成動作を実行することができる。平坦な２Ｄメッシュ生成動作では、プロセッサ２０４を、メモリ２０６から初期３Ｄ三角形メッシュ１１４を検索するように構成することができる。いくつかの実施形態では、プロセッサ２０４を、通信ネットワーク１０８を介してサーバ１０６から初期３Ｄ三角形メッシュ１１４を検索するように構成することができる。

プロセッサ２０４は、画像平面上の初期３Ｄ三角形メッシュ１１４の正投影に基づいて平坦な２Ｄメッシュ３０２Ａを生成するようにさらに構成することができる。一例として、この画像平面は、ユーザ１１６の顔などのオブジェクト部分の正面像に対応することができる。正投影を利用して、２Ｄ空間内の画像平面上に初期３Ｄ三角形メッシュ１１４を投影することができる。平坦な２Ｄメッシュ３０２Ａは、複数の多角形（例えば、方形グリッドメッシュ）で構成することができる。平坦な２Ｄメッシュ３０２Ａは、複数の方形グリッド頂点を含むことができ、オブジェクト部分の表面の投影を表すことができる。

３０４において、初期グリッド深度推定動作を実行することができる。初期グリッド深度推定動作では、プロセッサ２０４を、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の初期グリッド深度値を推定するように構成することができる。本明細書では、初期グリッド深度値の推定プロセスについて説明する。

最初に、プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の初期深度値セットを推定するように構成することができる。初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の初期深度値セットは、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の対応する３Ｄ座標セットに基づいて推定することができる。一例として、プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４の第１の三角形の第１の頂点、第２の頂点及び第３の頂点の初期深度値セットを推定するように構成することができる。初期深度値セットは、第１の三角形の第１の頂点、第２の頂点及び第３の頂点の各々のｚ座標値を含むことができる。第１の三角形の第１の頂点、第２の頂点及び第３の頂点の各々のｚ座標値の推定は、第１の三角形の第１の頂点、第２の頂点及び第３の頂点の対応する３Ｄ座標に基づいて実行することができる。

プロセッサ２０４は、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の初期グリッド深度値を推定するようにさらに構成することができる。初期グリッド深度値は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の推定される初期深度値セットの重心補間に基づいて、複数の方形グリッド頂点の各方形グリッド頂点について推定することができる。一例として、プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４の対応する第１の三角形の対応する頂点の組について推定される初期深度値セットの重心補間に基づいて、複数の方形グリッド頂点のうちの第１の方形グリッド頂点の初期グリッド深度値を推定するように構成することができる。第１の方形グリッド頂点の初期グリッド深度値は、初期３Ｄ三角形メッシュ１１４の第１の三角形の重心座標に対応することができる。

プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の基準画像強度値セットを推定するようにさらに構成することができる。基準画像強度値セットは、オブジェクト部分のカラー画像１１０上の対応する頂点の組の投影に基づいて推定することができる。一例として、プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４の第１の三角形の第１の頂点、第２の頂点及び第３の頂点の基準画像強度値セットを推定するように構成することができる。第１の三角形の第１の頂点、第２の頂点及び第３の頂点の基準画像強度値セットは、カラー画像１１０上の第１の三角形の第１の頂点、第２の頂点及び第３の頂点の対応する投影位置における強度値とすることができる。

プロセッサ２０４は、複数の方形グリッド頂点の各方形グリッド頂点の基準グリッド画像強度値を推定するようにさらに構成することができる。各方形グリッド頂点の基準グリッド画像強度値は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の推定される基準画像強度値セットの重心補間に基づいて推定することができる。一例として、プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４の対応する第１の三角形の対応する第１の頂点、第２の頂点及び第３の頂点の推定される基準画像強度値セットの重心補間に基づいて、複数の方形グリッド頂点の第１の方形グリッド頂点の基準グリッド画像強度値を推定するように構成することができる。

プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組のアルベド値セットを推定するようにさらに構成することができる。対応する三角形の対応する頂点の組のアルベド値セットは、ユーザ１１６の顔などのオブジェクト部分のテクスチャマップに基づいて推定することができる。一例として、プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４の第１の三角形の第１の頂点、第２の頂点及び第３の頂点のアルベド値セットを推定するように構成することができる。アルベド値セットは、いずれかの外部光源からの照明影響を受けないオブジェクト部分の表面の実際の色の尺度とすることができる。第１の三角形の第１の頂点、第２の頂点及び第３の頂点のアルベド値は、テクスチャマップの対応する頂点から抽出することができる。さらに、テクスチャマップは、オブジェクト部分のテクスチャ情報又は色情報を表すこともできる。テクスチャマップは、反射率モデルに基づくことができる。反射率モデルは、表面上の点の照明の経験的モデルとすることができる。反射率モデルの例は、カラー画像１１０内のオブジェクト部分の乱反射をモデル化したランバートの反射率モデルとすることができる。この反射率モデルは、表面（例えば、ユーザ１１６の顔）が乱反射に基づいて光を反射できる方向を示すことができる。反射率モデルは、例えば以下のような方程式（１）を使用して表すことができ、

ここで、

は、オブジェクト部分の表面上の照明条件の調和展開（ｈａｒｍｏｎｉｃ ｅｘｐａｎｓｉｏｎ）の係数を表し、
ｎは、オブジェクト部分の表面上の複数の点の各々の表面法線を表し、

は、複数の点の表面法線において評価される球面調和ベース（ｓｕｒｆａｃｅ ｓｐｈｅｒｉｃａｌ ｈａｒｍｏｎｉｃｓ ｂａｓｅｓ）を表し、
ρは、複数の点の各々におけるアルベド値を表す。
方程式（１）の単純化形態は、例えば以下のような方程式（２）によって表すことができ、

ここで、
ρは、複数の点の各々におけるアルベド値を表し、
ωは、オブジェクト部分の表面上の照明方向及び照明強度を表し、

は、球面調和（ｓｕｒｆａｃｅ ｓｐｈｅｒｉｃａｌ ｈａｒｍｏｎｉｃｓ）の一次近似を表す。

プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の推定されるアルベド値セットの重心補間に基づいて、複数の方形グリッド頂点の各方形グリッド頂点のグリッドアルベド値を推定するようにさらに構成することができる。一例として、プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４の対応する第１の三角形の対応する第１の頂点、第２の頂点及び第３の頂点の推定されるアルベド値セットの重心補間に基づいて、複数の方形グリッド頂点の第１の方形グリッド頂点のグリッドアルベド値を推定するように構成することができる。第１の方形グリッド頂点のグリッドアルベド値は、いずれかの外部光源からの照明影響を受けない初期３Ｄ三角形メッシュ１１４の対応する第１の三角形上の点の実際の色値の尺度に対応することができる。

３０６において、修正されたＳＦＳスキーム適用動作を実行することができる。修正されたＳＦＳスキーム適用動作では、プロセッサ２０４を、平坦な２Ｄメッシュ３０２Ａ上に修正されたＳＦＳスキームを適用するように構成することができる。修正されたＳＦＳスキームは、複数の方形グリッド頂点の各方形グリッド頂点の基準グリッド画像強度値、初期グリッド深度値及びグリッドアルベド値間の客観的関係に対応することができる。修正されたＳＦＳ動作は、表面法線推定動作及び最終的なグリッド深度推定を含むことができる。

３０６Ａにおいて、表面法線推定動作が実行される。表面法線推定動作では、プロセッサ２０４を、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の表面法線を推定するように構成することができる。平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の表面法線は、複数の方形グリッド頂点の各方形グリッド頂点の２Ｄ座標、及び複数の方形グリッド頂点の各方形グリッド頂点の初期グリッド深度値に基づいて推定することができる。各方形グリッド頂点の表面法線は、例えば以下に示すような方程式（３）、方程式（４）及び方程式（５）を使用して推定することができ、

ここで、
ｐは、Ｘ軸に沿った深度値の勾配を表し、
ｑは、Ｙ軸に沿った深度値の勾配を表し、
ｎ（ｖ’）は、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の表面法線を表し、
ｘは、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点のＸ座標を表し、
ｙは、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点のＹ座標を表す。

３０６Ｂにおいて、最終的なグリッド深度推定動作を実行することができる。最終的なグリッド深度推定動作では、プロセッサ２０４を、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値を推定するように構成することができる。各方形グリッド頂点の最終的なグリッド深度値は、オブジェクト部分の表面法線、アルベド及び表面上の照明を使用してレンダリングされる画像と、オブジェクト部分のカラー画像１１０との間の色差の客観的関係の最小化（又は最適化）に基づいて推定することができる。客観的関係は、例えば以下のような方程式（６）によって表すことができ、

ここで、
Ｉは、カラー画像１１０を表し、
ｚ’は、複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値を表し、
ｎ（ｖ’）は、複数の方形グリッド頂点の各方形グリッド頂点の表面法線を表し、
α｜ｚ－ｚ’｜²は、第１の平滑化項を表し、
β（ΔＧ^*（ｚ－ｚ’））²は、第２の平滑化項を表し、
ΔＧ^*は、ガウシアンのラプラシアン（Ｌａｐｌａｃｉａｎ ｏｆ ａ Ｇａｕｓｓｉａｎ）を表す。

方程式（６）によって表される客観的関係の最適化中に、対応する頂点の組の初期深度値セットを「ｐ」及び「ｑ」を計算するものであるとみなすことができる場合には、方程式（３）の項「ｐ²＋ｑ²＋１」を定数とみなすことができる。さらに、客観的関係の最適化中には、球面調和の一次近似（すなわち、方程式（６）において表される

）を考慮することができる。この結果、目的関数を従来の非線形最適化問題の代わりに線形最適化問題として単純化することができる。

３０８において、初期３Ｄ三角形メッシュ１１４の最終的な深度計算動作を実行することができる。最終的な深度計算動作では、プロセッサ２０４を、対応する三角形内に位置する対応する方形グリッド頂点の推定される最終的なグリッド深度値に基づいて、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の最終的な深度値セットを計算するように構成することができる。最終的な深度値セットは、初期３Ｄ三角形メッシュ１１４の複数の三角形の各三角形についてさらに推定することができる。一例として、プロセッサ２０４は、対応する第１の三角形内に位置する第１の方形グリッド頂点の推定される最終的なグリッド深度値に基づいて、第１の三角形の対応する頂点の組の最終的な深度値セットを計算するように構成することができる。

３１０において、最終的な３Ｄ三角形メッシュ推定動作を実行することができる。最終的な３Ｄ三角形メッシュ推定では、プロセッサ２０４を、初期３Ｄ三角形メッシュ１１４と、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の計算された最終的な深度値セットとに基づいて、形状改善された３Ｄ三角形メッシュとしての最終的な３Ｄ三角形メッシュ３１０Ａを推定するようにさらに構成することができる。最終的な深度値セットは、対応する三角形内に位置する対応する方形グリッド頂点の推定される最終的なグリッド深度値に基づいて計算することができる。

本明細書では、最終的な３Ｄ三角形メッシュ３１０Ａの推定の詳細について説明する。プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の計算された最終的な深度値セットに基づいて、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の初期深度値セットを更新するようにさらに構成することができる。初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の初期深度値セットを更新するために、修正されたＳＦＳスキームの結果について最適化問題を定式化することができる。（３０８において推定される）最終的な深度値セットは、修正されたＳＦＳスキームの結果と呼ぶことができる。最適化問題は、目的関数に関連することができる。この目的関数の最小化に基づいて、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の初期深度値セットを更新することができる。

目的関数は、対応する三角形内に位置する対応する方形グリッド頂点の初期グリッド深度値と最終的なグリッド深度値との間の関係、並びに対応する三角形上の各頂点及び隣接する頂点の最終的な深度値間の自乗差を含むことができる。目的関数は、例えば以下に示すような方程式（７）によって表すことができ、

ここで、
ｚ_ortho、kは、方形グリッド頂点「ｋ」の初期グリッド深度値を表し、

は、方形グリッド頂点「ｋ」の最終的なグリッド深度値を表し、
ｚ_iは、対応する三角形上のグリッド頂点「ｉ」の深度値を表し、
ｚ_jは、対応する三角形上のグリッド頂点「ｊ」の深度値を表す。ある実施形態によれば、最終的な深度値セットは、複数の方形グリッド頂点の最終的な深度値セットと、複数の方形グリッド頂点の各方形グリッド頂点の初期グリッド深度値を推定している間に決定できる重心補間パラメータセットの係数との線形結合として表すことができる。

図４に、本開示の実施形態による、画像平面上に位置する方形グリッド頂点の初期グリッド深度値、画像強度値及びアルベド値の推定のための例示的なシナリオを示す。図４の説明は、図１、図２及び図３の要素に関連して行う。図４には、画像平面上に位置する複数の方形グリッド頂点の初期グリッド深度値の推定のための例示的なシナリオ４００を示す。例示的なシナリオ４００には、カラー画像４０２、平坦な２Ｄメッシュ４０４、カラー画像４０２上の第１の三角形４０６、及び平坦な２Ｄメッシュ４０４上の第２の三角形４０８を示す。平坦な２Ｄメッシュ４０４は、図３の平坦な２Ｄメッシュ３０２Ａに対応することができる。さらに、（「ｐ５」によっても表される）第１の方形グリッド頂点４１０、（「ｔ１」によっても表される）第１の頂点４１２Ａ、（「ｔ２」によっても表される）第２の頂点４１２Ｂ、及び（「ｔ３」によっても表される）第３の頂点４１２Ｃも示す。第１の頂点４１２Ａ、第２の頂点４１２Ｂ及び第３の頂点４１２Ｃは、初期３Ｄ三角形メッシュの対応する三角形に属することができる。

プロセッサ２０４は、カラー画像４０２上の第１の三角形４０６を平坦な２Ｄメッシュ４０４上の第２の三角形４０８にマッピングするように構成することができる。第１の三角形４０６は、画像平面上のカラー画像４０２の投影に基づいて第２の三角形４０８にマッピングすることができる。プロセッサ２０４は、第２の三角形４０８の対応する頂点の組の３Ｄ座標セットに基づいて、第２の三角形４０８の対応する頂点の組の初期深度値セットを推定するようにさらに構成することができる。例えば、プロセッサ２０４は、カラー画像４０２及び深度情報に基づいて、第２の三角形４０６の（「ｔ１」によって表される）第１の頂点４１２Ａ、（「ｔ２」によって表される）第２の頂点４１２Ｂ及び（「ｔ３」によって表される）第３の頂点４１２Ｃの各々の初期深度値を推定するように構成することができる。

プロセッサ２０４は、（「ｔ１」によって表される）第１の頂点４１２Ａ、（「ｔ２」によって表される）第２の頂点４１２Ｂ及び（「ｔ３」によって表される）第３の頂点４１２Ｃに対応する推定される初期深度値セットの重心補間に基づいて、（「ｐ５」によって表される）第１の方形グリッド頂点４１０の初期グリッド深度値を推定するようにさらに構成することができる。

プロセッサ２０４は、カラー画像４０２上の対応する頂点の組の投影に基づいて、第２の三角形４０８の対応する頂点の組の基準画像強度値セットを推定するようにさらに構成することができる。例えば、プロセッサ２０４は、第２の三角形４０８の（「ｔ１」によって表される）第１の頂点４１２Ａ、（「ｔ２」によって表される）第２の頂点４１２Ｂ及び（「ｔ３」によって表される）第３の頂点４１２Ｃの各々の基準画像強度値を推定するように構成することができる。

プロセッサ２０４は、（「ｔ１」によって表される）第１の頂点４１２Ａ、（「ｔ２」によって表される）第２の頂点４１２Ｂ及び（「ｔ３」によって表される）第３の頂点４１２Ｃに対応する推定される基準画像強度値セットの重心補間に基づいて、（「ｐ５」によって表される）第１の方形グリッド頂点４１０の基準グリッド画像強度値を推定するようにさらに構成することができる。

プロセッサ２０４は、ユーザ１１６の顔などのオブジェクト部分のテクスチャマップに基づいて、第２の三角形４０８の頂点の組のアルベド値セットを推定するようにさらに構成することができる。例えば、プロセッサ２０４は、第２の三角形４０８の（「ｔ１」によって表される）第１の頂点４１２Ａ、（「ｔ２」によって表される）第２の頂点４１２Ｂ及び（「ｔ３」によって表される）第３の頂点４１２Ｃの各々のアルベド値を推定するように構成することができる。プロセッサ２０４は、（「ｔ１」によって表される）第１の頂点４１２Ａ、（「ｔ２」によって表される）第２の頂点４１２Ｂ及び（「ｔ３」によって表される）第３の頂点４１２Ｃの推定されるアルベド値セットの重心補間に基づいて、（「ｐ５」によって表される）第１の方形グリッド頂点４１０のグリッドアルベド値を推定するようにさらに構成することができる。

図５は、本開示の実施形態による、修正されたＳＦＳスキームを使用した三角形３Ｄメッシュの形状改善のための例示的な方法を示すフローチャートである。図５の説明は、図１、図２、図３及び図４の要素に関連して行う。図５にはフローチャート５００を示す。フローチャート５００の動作は、電子装置１０２において実行することができる。動作は、５０２から開始して５０４に進むことができる。

５０４において、複数の方形グリッド頂点を含む画像平面上の初期３Ｄ三角形メッシュ１１４の正投影に基づいて、平坦な２Ｄメッシュ３０２Ａを生成することができる。プロセッサ２０４は、画像平面上の初期３Ｄ三角形メッシュ１１４の正投影に基づいて平坦な２Ｄメッシュ３０２Ａを生成するように構成することができる。平坦な２Ｄメッシュ３０２Ａは、２Ｄ空間における初期３Ｄ三角形メッシュ１１４を表すことができる。平坦な２Ｄメッシュ３０２Ａの生成については、例えば図１及び図３において説明した。

５０６において、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の対応する３Ｄ座標セットに基づいて、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の初期深度値セットを推定することができる。プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の初期深度値セットを推定するように構成することができる。対応する三角形の対応する頂点の組の初期深度値セットは、ユーザ１１６の顔などのオブジェクト部分の初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の対応する３Ｄ座標セットに基づいて推定することができる。初期深度値セットの推定については、例えば図３で説明した。

５０８において、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の推定される初期深度値セットの重心補間に基づいて、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の初期グリッド深度値を推定することができる。プロセッサ２０４は、複数の方形グリッド頂点の各方形グリッド頂点の初期グリッド深度値を推定するように構成することができる。複数の方形グリッド頂点の各方形グリッド頂点の初期グリッド深度値の推定については、例えば図３及び図４で説明した。

５１０において、修正されたＳＦＳスキームに基づいて、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値を推定することができる。プロセッサ２０４は、修正されたＳＦＳスキームに基づいて、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値を推定するように構成することができる。複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値は、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の再推定される深度値とすることができる。平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値の推定については、例えば図３で説明した。

５１２において、初期３Ｄ三角形メッシュ１１４と、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の推定される最終的なグリッド深度値とに基づいて、形状改善された３Ｄ三角形メッシュとしての最終的な３Ｄ三角形メッシュ３１０Ａを推定することができる。プロセッサ２０４は、初期３Ｄ三角形メッシュ１１４と、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の推定される最終的なグリッド深度値とに基づいて、ユーザ１１６の顔などのオブジェクト部分の形状改善された３Ｄ三角形メッシュとしての最終的な３Ｄ三角形メッシュ３１０Ａを推定するように構成することができる。最終的な３Ｄ三角形メッシュ３１０Ａは、オブジェクト部分の実際の形状及び表面特徴を表すことができる。最終的な３Ｄ三角形メッシュ３１０Ａの推定については、例えば図３で説明した。制御は終了に進むことができる。

本開示の様々な実施形態は、修正されたＳＦＳスキームを使用した三角形３Ｄメッシュの形状改善のための電子装置１０２などの機械及び／又はコンピュータが実行できる命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又は記憶媒体を提供することができる。少なくとも１つのコードセクションが、複数の方形グリッド頂点を含む画像平面上の初期３次元（３Ｄ）三角形メッシュの正投影に基づく平坦な２Ｄメッシュの生成を含む動作を機械及び／又はコンピュータに実行させることができる。初期３Ｄ三角形メッシュは、オブジェクト部分の形状改善されていない三角形メッシュに対応することができる。動作は、修正されたシェイプフロムシェーディング（ＳＦＳ）スキームに基づく、平坦な２Ｄメッシュの複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値の推定をさらに含む。修正されたＳＦＳスキームは、複数の方形グリッド頂点の各方形グリッド頂点の基準グリッド画像強度値、初期グリッド深度値、及びグリッドアルベド値間の客観的関係に対応することができる。動作は、初期３Ｄ三角形メッシュと、複数の方形グリッド頂点の各方形グリッド頂点の推定される最終的なグリッド深度値とに基づいて、形状改善された３Ｄ三角形メッシュとしての最終的な３Ｄ三角形メッシュを推定することをさらに含む。

本開示の例示的な態様は、回路２０２を含む電子装置１０２を含むことができる。回路２０２は、複数の方形グリッド頂点を含む画像平面上の初期３Ｄ三角形メッシュ１１４の正投影に基づいて、平坦な２Ｄメッシュ３０２Ａを生成するように構成することができる。初期３Ｄ三角形メッシュ１１４は、オブジェクト部分の形状改善されていない三角形メッシュに対応することができる。回路２０２は、修正されたＳＦＳスキームに基づいて、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値を推定するようにさらに構成することができる。修正されたＳＦＳスキームは、複数の方形グリッド頂点の各方形グリッド頂点の基準グリッド画像強度値、初期グリッド深度値及びグリッドアルベド値間の客観的関係に対応することができる。回路２０２は、初期３Ｄ三角形メッシュ１１４と、複数の方形グリッド頂点の各方形グリッド頂点の推定される最終的なグリッド深度値とに基づいて、形状改善された３Ｄ三角形メッシュとしての最終的な３Ｄ三角形メッシュ３１０Ａを推定するようにさらに構成することができる。

ある実施形態によれば、電子装置１０２は、オブジェクト部分の複数のカラー画像と、複数のカラー画像に対応する深度情報とを取り込むように構成されたスキャニング装置１０４をさらに含むことができる。回路２０２は、取り込まれた複数のカラー画像及び対応する深度情報に基づいて、オブジェクト部分の形状改善されていない三角形メッシュに対応する初期３Ｄ三角形メッシュ１１４を生成するようにさらに構成することができる。

ある実施形態によれば、回路２０２は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の初期深度値セットを推定するようにさらに構成することができる。対応する三角形の対応する頂点の組の初期深度値セットは、初期３Ｄ三角形メッシュの対応する三角形の対応する頂点の組の対応する３Ｄ座標セットに基づいて推定することができる。回路２０２は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の推定される初期深度値セットの重心補間に基づいて、複数の方形グリッド頂点の各方形グリッド頂点の初期グリッド深度値を推定するようにさらに構成することができる。

回路２０２は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の基準画像強度値セットを推定するようにさらに構成することができる。対応する三角形の対応する頂点の組の基準画像強度値セットは、オブジェクト部分のカラー画像１１０上の対応する頂点の組の投影に基づいて推定することができる。回路２０２は、複数の方形グリッド頂点の各方形グリッド頂点の基準グリッド画像強度値を推定するようにさらに構成することができる。各方形グリッド頂点の基準グリッド画像強度値は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の推定される基準画像強度値セットの重心補間に基づいて推定することができる。

回路２０２は、オブジェクト部分のテクスチャマップに基づいて、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組のアルベド値セットを推定するようにさらに構成することができる。回路２０２は、複数の方形グリッド頂点の各方形グリッド頂点のグリッドアルベド値を推定するようにさらに構成することができる。複数の方形グリッド頂点の各方形グリッド頂点のグリッドアルベド値は、初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の推定されるアルベド値セットの重心補間に基づいて推定することができる。

ある実施形態によれば、修正されたＳＦＳスキームにおいて、回路２０２を、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の表面法線を推定するようにさらに構成することができる。複数の方形グリッド頂点の各方形グリッド頂点の表面法線は、複数の方形グリッド頂点の各方形グリッド頂点の２Ｄ座標、及び複数の方形グリッド頂点の各方形グリッド頂点の初期グリッド深度値に基づいて推定することができる。修正されたＳＦＳスキームでは、回路２０２を、平坦な２Ｄメッシュ３０２Ａの複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値を推定するようにさらに構成することができる。複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値は、オブジェクト部分の表面法線、アルベド及び照明を使用してレンダリングされる画像と、オブジェクト部分のカラー画像１１０との間の色差の客観的関係の最小化に基づいて推定することができる。

回路２０２は、初期３Ｄ三角形メッシュ１１４の複数の三角形の各三角形について、対応する三角形の対応する頂点の組の最終的な深度値セットを計算するようにさらに構成することができる。対応する三角形の対応する頂点の組の最終的な深度値セットは、対応する三角形内に位置する対応する方形グリッド頂点の推定される最終的なグリッド深度値に基づいて計算することができる。回路２０２は、初期３Ｄ三角形メッシュ１１４の複数の三角形の各三角形について、対応する三角形の対応する頂点の組の初期深度値セットを更新するようにさらに構成することができる。対応する三角形の対応する頂点の組の初期深度値セットは、対応する三角形の対応する頂点の組の計算された最終的な深度値セットに基づいて更新することができる。

回路２０２は、初期３Ｄ三角形メッシュ１１４の複数の三角形の各三角形について、目的関数の最小化に基づいて初期３Ｄ三角形メッシュ１１４の対応する三角形の対応する頂点の組の初期深度値セットを更新するようにさらに構成することができる。目的関数は、対応する三角形内に位置する対応する方形グリッド頂点の初期グリッド深度値と最終的なグリッド深度値との間の関係、並びに対応する三角形上の各頂点及び隣接する頂点の最終的な深度値間の自乗差を含むことができる。回路２０２は、推定される最終的な３Ｄ三角形メッシュ３１０Ａに基づいてオブジェクト部分の３Ｄモデルをレンダリングするようにディスプレイ装置を制御するようさらに構成することができる。

本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、いずれかの言語、コード又は表記法におけるいずれかの表現を意味する。

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。

Claims (20)

1. 回路を備えた電子装置であって、前記回路は、
   複数の方形グリッド頂点を含む画像平面上の初期３次元（３Ｄ）三角形メッシュの正投影に基づいて、オブジェクト部分の平坦な２次元（２Ｄ）メッシュを生成し、
   前記複数の方形グリッド頂点の各方形グリッド頂点の基準グリッド画像強度値、初期グリッド深度値及びグリッドアルベド値間の客観的関係に対応する修正されたシェイプフロムシェーディング（ＳＦＳ）スキームに基づいて、前記平坦な２Ｄメッシュの前記複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値を推定し、ここで、前記基準グリッド画像強度値は、前記初期３Ｄ三角形メッシュの対応する三角形の対応する頂点の組の基準画像強度値セットに基づいて推定されたものであり、前記初期グリッド深度値は、前記初期３Ｄ三角形メッシュの対応する三角形の対応する頂点の組の初期深度値セットに基づいて推定されたものであり、前記グリッドアルベド値は、前記初期３Ｄ三角形メッシュの対応する三角形の対応する頂点の組のアルベド値セットに基づいて推定されたものであり、
   前記初期３Ｄ三角形メッシュと、前記複数の方形グリッド頂点の各方形グリッド頂点の前記推定される最終的なグリッド深度値とに基づいて、形状改善された３Ｄ三角形メッシュとしての最終的な３Ｄ三角形メッシュを推定する、
   ように構成される、
   ことを特徴とする電子装置。
2. 前記オブジェクト部分の複数のカラー画像と、該複数のカラー画像に対応する深度情報とを取り込むように構成されたスキャニング装置をさらに備える、
   請求項１に記載の電子装置。
3. 前記回路は、前記取り込まれた複数のカラー画像及び前記深度情報に基づいて、前記オブジェクト部分の形状改善されていない三角形メッシュに対応する前記初期３Ｄ三角形メッシュを生成するようにさらに構成される、
   請求項２に記載の電子装置。
4. 前記回路は、前記初期３Ｄ三角形メッシュの対応する三角形の対応する頂点の組の対応する３Ｄ座標セットに基づいて、前記初期３Ｄ三角形メッシュの前記対応する三角形の前記対応する頂点の組の初期深度値セットを推定するようにさらに構成される、
   請求項１に記載の電子装置。
5. 前記回路は、前記初期３Ｄ三角形メッシュの前記対応する三角形の前記対応する頂点の組の前記推定される初期深度値セットの重心補間に基づいて、前記複数の方形グリッド頂点の各方形グリッド頂点の前記初期グリッド深度値を推定するようにさらに構成される、
   請求項４に記載の電子装置。
6. 前記回路は、前記オブジェクト部分のカラー画像上の前記初期３Ｄ三角形メッシュの対応する三角形の対応する頂点の組に基づいて、前記対応する頂点の組の投影の基準画像強度値セットを推定するようにさらに構成される、
   請求項１に記載の電子装置。
7. 前記回路は、前記初期３Ｄ三角形メッシュの前記対応する三角形の前記対応する頂点の組の前記推定される基準画像強度値セットの重心補間に基づいて、前記複数の方形グリッド頂点の各方形グリッド頂点の前記基準グリッド画像強度値を推定するようにさらに構成される、
   請求項６に記載の電子装置。
8. 前記回路は、前記オブジェクト部分のテクスチャマップに基づいて、前記初期３Ｄ三角形メッシュの対応する三角形の対応する頂点の組のアルベド値セットを推定するようにさらに構成される、
   請求項１に記載の電子装置。
9. 前記回路は、前記初期３Ｄ三角形メッシュの前記対応する三角形の前記対応する頂点の組の前記推定されるアルベド値セットの重心補間に基づいて、前記複数の方形グリッド頂点の各方形グリッド頂点の前記グリッドアルベド値を推定するようにさらに構成される、
   請求項８に記載の電子装置。
10. 前記修正されたＳＦＳスキームにおいて、前記回路は、前記複数の方形グリッド頂点の各方形グリッド頂点の２Ｄ座標、及び前記複数の方形グリッド頂点の各方形グリッド頂点の前記初期グリッド深度値に基づいて、前記平坦な２Ｄメッシュの前記複数の方形グリッド頂点の各方形グリッド頂点の表面法線を推定するようにさらに構成される、
    請求項１に記載の電子装置。
11. 前記修正されたＳＦＳスキームにおいて、前記回路は、前記オブジェクト部分の表面法線、アルベド及び前記表面上の照明を使用してレンダリングされる画像と、前記オブジェクト部分のカラー画像との間の色差の前記客観的関係の最小化に基づいて、前記平坦な２Ｄメッシュの前記複数の方形グリッド頂点の各方形グリッド頂点の前記最終的なグリッド深度値を推定するようにさらに構成される、
    請求項１に記載の電子装置。
12. 前記回路は、前記初期３Ｄ三角形メッシュの複数の三角形の各三角形について、前記初期３Ｄ三角形メッシュの対応する三角形内に位置する対応する方形グリッド頂点の前記推定される最終的なグリッド深度値に基づいて、前記対応する三角形の対応する頂点の組の最終的な深度値セットを計算するようにさらに構成される、
    請求項１１に記載の電子装置。
13. 前記回路は、前記初期３Ｄ三角形メッシュの前記複数の三角形の各三角形について、前記対応する三角形の前記対応する頂点の組の前記計算された最終的な深度値セットに基づいて、前記対応する三角形の前記対応する頂点の組の初期深度値セットを更新するようにさらに構成される、
    請求項１２に記載の電子装置。
14. 前記回路は、前記初期３Ｄ三角形メッシュの前記複数の三角形の各三角形について、目的関数の最小化に基づいて前記初期３Ｄ三角形メッシュの前記対応する三角形の前記対応する頂点の組の初期深度値セットを更新するようにさらに構成され、
    前記目的関数は、前記対応する三角形内に位置する対応する方形グリッド頂点の前記初期グリッド深度値と前記最終的なグリッド深度値との間の関係、並びに前記対応する三角形上の各頂点及び隣接する頂点の最終的な深度値間の自乗差を含む、
    請求項１２に記載の電子装置。
15. 前記回路は、前記推定される最終的な３Ｄ三角形メッシュに基づいて前記オブジェクト部分の３Ｄモデルをレンダリングするようにディスプレイ装置を制御するようさらに構成される、
    請求項１に記載の電子装置。
16. 前記初期３Ｄ三角形メッシュは、前記オブジェクト部分の形状改善されていない三角形メッシュに対応する、
    請求項１に記載の電子装置。
17. 電子装置において、
    複数の方形グリッド頂点を含む画像平面上の初期３次元（３Ｄ）三角形メッシュの正投影に基づいて、オブジェクト部分の平坦な２次元（２Ｄ）メッシュを生成することと、
    前記複数の方形グリッド頂点の各方形グリッド頂点の基準グリッド画像強度値、初期グリッド深度値及びグリッドアルベド値間の客観的関係に対応する修正されたシェイプフロムシェーディング（ＳＦＳ）スキームに基づいて、前記平坦な２Ｄメッシュの前記複数の方形グリッド頂点の各方形グリッド頂点の最終的なグリッド深度値を推定し、ここで、前記基準グリッド画像強度値は、前記初期３Ｄ三角形メッシュの対応する三角形の対応する頂点の組の基準画像強度値セットに基づいて推定されたものであり、前記初期グリッド深度値は、前記初期３Ｄ三角形メッシュの対応する三角形の対応する頂点の組の初期深度値セットに基づいて推定されたものであり、前記グリッドアルベド値は、前記初期３Ｄ三角形メッシュの対応する三角形の対応する頂点の組のアルベド値セットに基づいて推定されたものであることと、
    前記初期３Ｄ三角形メッシュと、前記複数の方形グリッド頂点の各方形グリッド頂点の前記推定される最終的なグリッド深度値とに基づいて、形状改善された３Ｄ三角形メッシュとしての最終的な３Ｄ三角形メッシュを推定することと、
    を含むことを特徴とする方法。
18. 前記初期３Ｄ三角形メッシュの対応する三角形の対応する頂点の組の対応する３Ｄ座標セットに基づいて、前記初期３Ｄ三角形メッシュの前記対応する三角形の前記対応する頂点の組の初期深度値セットを推定することをさらに含む、
    請求項１７に記載の方法。
19. 前記初期３Ｄ三角形メッシュの前記対応する三角形の前記対応する頂点の組の前記推定される初期深度値セットの重心補間に基づいて、前記複数の方形グリッド頂点の各方形グリッド頂点の前記初期グリッド深度値を推定することをさらに含む、
    請求項１８に記載の方法。
20. 前記オブジェクト部分のカラー画像上の前記初期３Ｄ三角形メッシュの対応する三角形の対応する頂点の組に基づいて、前記対応する頂点の組の投影の基準画像強度値セットを推定することをさらに含む、
    請求項１７に記載の方法。

Images