JP6377863B2 - 反射マップ表現による奥行きマップ表現の増補 - Google Patents

Description

本開示は、概ね、立体照明の撮像の分野に関し、より具体的には、オブジェクトの反射マップ表現によって、オブジェクトの三次元（３Ｄ）表現を拡張することに関する。

シーンまたはシーン内のオブジェクトの三次元表現を使用して、バーチャルリアリティ（ＶＲ）システムのユーザに対してバーチャル体験を提供するＶＲシステム用の画像を表す。

しかしながら、オブジェクトの奥行きマップ表現だけを従来通りの方法で使用して、オブジェクトの三次元表現を生成することには欠点がある。例えば、シーンの三次元表現のために、あるシーンのキャプチャされたオブジェクトの奥行き情報だけを使用すると、オブジェクトの表面の詳細な情報が提供されないので、キャプチャされたオブジェクトの奥行きマップ表現から生成される三次元シーンの効果において、ユーザ体験の質が低下する。

開示された発明の実施形態は、オブジェクトの反射マップ表現によって、オブジェクトの奥行きマップ表現を増補して、オブジェクトの三次元（３Ｄ）表現を生成するためのシステム（またはコンピュータに実装される方法、または非一時的なコンピュータ可読媒体）を含む。「オブジェクト」は、任意の数の特定の要素および／または画像の背景を含むデジタル画像の任意のターゲットに及ぶ。オブジェクトは、画像全体、または画像によってキャプチャされたシーン内の特定の要素であってもよい。オブジェクトの「三次元表現」は、二次元（２Ｄ）画像と比較してより現実的に見えるオブジェクトの立体的表現に及ぶ。オブジェクトの「奥行きマップ表現」は、指定された視点（例えば、オブジェクトの画像をキャプチャするセンサの位置）からの、オブジェクトの表面の様々な部分の距離に関する情報を含む画像に及ぶ。オブジェクトの奥行きマップ表現は、Ｚ軸データで全ドットを結ぶメッシュの形体であってもよく、Ｚ軸は、オブジェクトから指定された視点への距離を測定する。オブジェクトの「反射マップ表現」は、オブジェクトの表面の様々な部分の反射に関する情報を含む画像に及び、反射マップ表現は、オブジェクトの奥行きマップ表現と比較して、オブジェクトの表面のより微細なスケールの詳細を提供する。

方法の実施形態は、立体照明に照射されたシーン内のオブジェクトの画像をキャプチャする動作を含む。「立体照明」は、オブジェクトに投影される特定の不均一な照射パターンの光に及ぶ。キャプチャ済み画像は、照射パターンに由来するパターン特性（例えば、一次元のストライプ）を含む。「パターン特性」または「パターン」は、不均一な照射、例えば、特定の立体照明によって生成される特定の形体または形状（例えば、線、ストライプ、ドット、および特定の幾何学形状）に及ぶ。複数のパターン特性は、均一のまたは異なる特徴（例えば、形状、サイズ、および／または強度）を有してもよい。パターン特性の幾何学的な変形に由来する情報をモデル化することによって、パターン特性を分析して、シーン内のキャプチャされたオブジェクトの奥行きマップ表現が導出される。また、オブジェクトの反射特性に関する情報を得ることによって、パターン特性を分析して、反射マップ表現が導出される。例えば、シーン内のオブジェクトのパターン特性は、まず、特性の特徴（例えば、強度、色、形状）に従って指標化され、次いで、パターン特性の機能的挙動が導出される。機能的挙動が導出された後、パターン特性は、キャプチャ済み画
像から除去され、オブジェクトの反射マップ表現が生成される。生成された奥行きマップ表現および反射マップ表現を組み合わせて、オブジェクトの三次元（３Ｄ）表現が生成される。オブジェクトの三次元表現はまた、オブジェクトの反射マップ表現によって提供される表面の詳細およびオブジェクトの奥行きマップ表現によって提供される奥行き情報の両方を反映する。オブジェクトの奥行きマップ表現をオブジェクトの反射マップ表現と組み合わせるプロセスは、オブジェクトの奥行きマップ表現をオブジェクトの反射マップ表現によって増補することに及ぶ。

いくつかの実施形態では、追加の照射を提供して、オブジェクトの反射マップ表現の導出を改善し、オブジェクトの追加の画像がキャプチャされる。オブジェクトの反射マップ表現は、追加の画像をオブジェクトの奥行きマップ表現に登録して、追加の三次元データを導出する。オブジェクトの拡張された三次元表現は、導出された追加の三次元データに基づいて生成される。いくつかの実施形態では、オブジェクトの三次元表現を使用して、ＶＲシステム内のオブジェクトのバーチャルシーンを提供する。ＶＲヘッドセットを着用しているユーザは、オブジェクトの増補された奥行きマップ表現によって提供されるオブジェクトのバーチャルシーンを体験できる。

一実施形態に係る、オブジェクトの三次元表現を使用して、オブジェクトのバーチャルシーンを提供するためのバーチャルリアリティ（ＶＲ）システムを含むシステム環境のブロック図。 一実施形態に係る、図１Ａに示すＶＲシステム内で動作する例示的なＶＲヘッドセットの斜視図。 一実施形態に係る、図１Ａに示すＶＲシステム内で動作するプロセッサのブロック図。 一実施形態に係る、シーン内のオブジェクトの画像をキャプチャし、オブジェクトの反射マップ表現によってオブジェクトの奥行きマップ表現を増補する工程を示すフロー図。 一実施形態に係る、特定の照射パターンを有する立体照明によって照射されたオブジェクトの例示的なキャプチャ済み画像を示す図。 一実施形態に係る、図３に示すキャプチャ済み画像内のオブジェクトの例示的な奥行きマップ表現を示す図。 一実施形態に係る、図３に示すキャプチャ済み画像内のオブジェクトの例示的な反射マップ表現を示す図。 一実施形態に係る、図３に示すキャプチャ済み画像内のオブジェクトのパターン特性の機能的挙動と、パターン特性の除去と、パターン特性の除去からの残存信号と、の一例を示すグラフ。 一実施形態に係る、図３に示すキャプチャ済み画像内のオブジェクトの照射された信号と、オブジェクトの表面上のパターン特性を除去するために使用される乗算関数と、を示すグラフ。 一実施形態に係る、オリジナル信号と、乗算関数と、キャプチャ済み画像内のオブジェクトの反射マップ表現を生成するための照射モデルと、の他の例を示すグラフ。 一実施形態に係る、図４に示す奥行きマップ表現と図５に示す反射マップ表現とを組み合わせることによって、図３に示すオブジェクトの三次元表現を生成することを示すフロー図。 一実施形態に係る、パターン特性とオブジェクトをキャプチャした画像内のオブジェクトのピクセルとの間の相対位置の効果の例。 一実施形態に係る、パターン特性とオブジェクトをキャプチャした画像内のオブジェクトのピクセルとの間の相対位置の効果の他の例。 一実施形態に係る、オブジェクトの奥行きマップ表現をオブジェクトの反射マップ表現で増補することによって、オブジェクトをキャプチャした画像内のオブジェクトの三次元表現を、プロセッサが生成するプロセスを示す例示的なフローチャート。 一実施形態に係る、図９Ａに示すプロセスに基づいて、拡張三次元表現を生成するプロセスを示す例示的なフローチャート。

図面は、例示の目的のためだけに本開示の実施形態を示している。当業者であれば、以下の説明から、本明細書に示される構造および方法の代替の実施形態が、本明細書に記載された開示の原理または得られる利点から逸脱することなく利用することができることを容易に認識するであろう。

図１Ａは、一実施形態に係る、バーチャルリアリティ（ＶＲ）システム１００を含むシステム環境のブロック図である。ＶＲシステム１００は、それぞれがＶＲコンソール１２０に連結される、ＶＲヘッドセット１４０と、撮像装置１１５と、を備える。簡潔化のために、１つのＶＲヘッドセット１４０、１つの撮像装置１１５、および１つのＶＲコンソール１２０のみがＶＲシステム１００内に図示されている。図示していない代替の実施形態では、ＶＲシステム１００は、ＶＲヘッドセット１４０と、撮像装置１１５と、ＶＲコンソール１２０と、追加のまたは異なる構成要素と、を複数備えてもよい。同様に、ＶＲシステム１００に備えられる様々なエンティティによって実行される機能は、実施形態によって異なっていてもよい。

ＶＲヘッドセット１４０は、ユーザにメディアを提示するヘッドマウントディスプレイ（ＨＭＤ）である。ＶＲヘッドセット１４０によって提示されるメディアの例として、１以上の画像、映像、オーディオ、またはこれらの組み合わせが挙げられる。いくつかの実施形態では、ＶＲヘッドセット１４０はまた、拡張現実（ＡＲ）および複合現実（ＭＲ）、あるいは拡張現実（ＡＲ）または複合現実（ＭＲ）のヘッドセットとしても機能することができる。これらの実施形態では、ＶＲヘッドセット１４０は、物理的な実世界の環境のビューを、サウンド、映像、グラフィックスデータなどのコンピュータ生成知覚入力によって物理的な実世界の環境を補填するなど、コンピュータ生成要素（例えば、画像、映像、サウンド等）によって増補する。図１Ａに示す実施形態では、ＶＲヘッドセット１４０は、電子ディスプレイ１４２と、光学ブロック１４３と、１以上の発光体１４４と、１以上の画像センサ１４５と、１以上のロケータ１４６と、１以上の位置センサ１４７と、慣性測定装置（ＩＭＵ）１４８と、を備える。

電子ディスプレイ１４２および光学ブロック１４３は、ＶＲヘッドセット１４０を着用しているユーザの目に対して提示される画像光を共にモニタする。より具体的には、電子ディスプレイ１４２は、元の画像光を提供する。光学ブロック１４３は、電子ディスプレイ１４２から受光した画像光を拡大し、受光した画像光に関連する光学誤差を補正し、補正された画像光は、ＶＲヘッドセット１４０のユーザに提示される。光学ブロック１４３は、１以上の光学素子を有してもよい。光学素子は、口径、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、または電子ディスプレイ１４２から放出された画像光に影響を与える任意の他の好適な光学素子であってもよい。更に、光学ブロック１４３は、異なる光学素子の組み合わせを含んでもよい。いくつかの実施形態では、光学ブロック１４３内の光学素子のうち１以上は、１以上の反射防止コーティングなどのコーティングを有してもよい。

発光体１４４は、シーン内のオブジェクトを照射するための照明を提供する。一実施形態では、発光体１４４は、オブジェクトを照射するための立体照明を提供する。
「立体照明」は、ピクセルの既知の照射パターンを照射されたオブジェクトまたはシーン
に対して投影する１以上の発光体１４４によって提供される光を意味する。例示的な発光体１４４として、レーザー発信器および赤外線（ＩＲ）パターン発光体を挙げることができる。

画像センサ１４５は、発光体１４４によって照射されたオブジェクトまたはシーンの画像をキャプチャする。ＶＲヘッドセット１４０に備えられる画像センサ１４５は、視距離内の単色センサ、カラー（ＲＧＢ）センサ、またはＩＲセンサであってもよい。例示的な画像センサ１４５として、ＩＲカメラまたはカラー（ＲＧＢ）カメラを挙げることができる。

ロケータ１４６は、互いに対する、かつＶＲヘッドセット１４０上の特定の基準点に対する、ＶＲヘッドセット１４０上の特定の位置に位置するオブジェクトの位置を識別する。ロケータ１４６は、発光ダイオード（ＬＥＤ）、コーナーキューブリフレクタ、反射マーカ、ＶＲヘッドセット１４０が動作する環境と対照的である、ある種の光源、またはこれらの組み合わせであってもよい。ロケータ１４６がアクティブ（つまり、ＬＥＤまたは他のタイプの発光装置）である実施形態では、ロケータ１４６は、可視帯（約３８０ｎｍ〜７５０ｎｍ）、赤外（ＩＲ）帯（約７５０ｎｍ〜１ｍｍ）、紫外帯（１０ｎｍ〜３８０ｎｍ）、電磁スペクトルのある他の部分、またはこれらのある組み合わせの光を放つことができる。

いくつかの実施形態では、ロケータ１４６は、ＶＲヘッドセット１４０の外側表面の下に位置し、外側表面は、ロケータ１４６によって放出または反射された光の波長に対して透過性を有し、ロケータ１４６によって放出または反射された光の波長を実質的に減衰しない程度に薄い。更に、いくつかの実施形態では、ＶＲヘッドセット１４０の外側表面または他の部分は、光の可視帯の波長において不透過性である。したがって、ロケータ１４６は、ＩＲ帯では透過性であるが、可視帯では不透過性である外側表面下で、ＩＲ帯の光を放ってもよい。

ＩＭＵ１４８は、位置センサ１４７のうち１以上から受信した測定信号に基づく較正データを生成する電子機器である。位置センサ１４７は、ＶＲヘッドセット１４０の動きに応じて、１以上の測定信号を生成する。位置センサ１４７の例として、１以上の加速度計と、１以上のジャイロスコープと、１以上の磁気計と、動きを検出する他の好適なタイプのセンサと、ＩＭＵ１４８の誤差補正のために使用されるタイプのセンサと、またはこれらの組み合わせと、が挙げられる。位置センサ１４７は、ＩＭＵ１４８の外部、ＩＭＵ１４８の内部、またはこれらの組み合わせに位置することができる。

１以上の位置センサ１４７からの１以上の測定信号に基づいて、ＩＭＵ１４８は、ＶＲヘッドセット１４０の初期の位置に対するＶＲヘッドセット１４０の推定位置を示す較正データを生成する。例えば、位置センサ１４７は、並行動作（例えば、前／後、上／下、左／右）を測定するための複数の加速度計と、回転動作（例えば、ピッチ、ヨー、ロール）を測定するための複数のジャイロスコープと、を含む。いくつかの実施形態では、ＩＭＵ１４８は、測定信号をサンプリングし、ＶＲヘッドセット１４０の推定位置をサンプリングデータから算出する。例えば、ＩＭＵ１４８は、加速度計から受信した測定信号を経時的に積分し、ＶＲヘッドセット１４０の速度ベクタを推定し、速度ベクタを経時的に積分し、ＶＲヘッドセット１４０上の基準点の推定位置を決定する。あるいは、ＩＭＵ１４８は、サンプリングされた測定信号をＶＲコンソール１２０に提供し、ＶＲコンソール１２０は較正データを決定する。基準点は、ＶＲヘッドセット１４０の位置を表すために使用することができる点である。基準点は、空間内の点として概ね定義することができるが、一実施形態では、基準点は、ＶＲヘッドセット１４０（例えば、ＩＭＵ１４８の中心）内の点として定義される。

ＩＭＵ１４８は、ＶＲコンソール１２０から１以上の較正パラメータを受け取って、ＶＲヘッドセット１４０の動作を追跡する。受信した較正パラメータに基づいて、ＩＭＵ１４８は、１以上のＩＭＵパラメータ（例えば、サンプルレート）を調整することができる。いくつかの実施形態では、ある較正パラメータは、ＩＭＵ１４８に対して、ＶＲヘッドセット１４０が基準点の次の較正位置に対応するようにＶＲヘッドセット１４０の基準点の初期の位置を更新させる。基準点の初期の位置を基準点の次の較正位置として更新することによって、決定された推定位置に関連する累積誤差を減少させることができる。ドリフト誤差とも称される累積誤差によって、基準点の推定位置が基準点の実際の位置から離れる方向に経時的に「ドリフト」する。

撮像装置１１５は、ＶＲコンソール１２０から受信した較正パラメータに従って、較正データを生成する。較正データの例として、撮像装置１１５によって検出されたロケータ１４６の観察位置を示す１以上の画像が挙げられる。撮像装置１１５は、１以上のカメラ、１以上の映像カメラ、画像をキャプチャすることができる任意の他の装置、またはこれらの組み合わせを含んでもよい。更に、撮像装置１１５は、（例えば、撮像装置１１５によってキャプチャされた画像の信号雑音比を増大させるために使用される）１以上のフィルタを備えてもよい。撮像装置１１５は、撮像装置１１５の視野内で、ロケータ１４６から放出または反射された光を検出するように設計されている。ロケータ１４６が受動素子（例えば、再帰反射体）を含む実施形態では、撮像装置１１５は、撮像装置１１５内の光源に向かって光を再帰反射するロケータ１４６の一部または全てを照射する光源を備えてもよい。較正データは、撮像装置１１５からＶＲコンソール１２０へ伝達され、撮像装置１１５は、１以上の撮像パラメータ（例えば、焦点距離、焦点、フレームレート、ＩＳＯ、センサ温度、シャッタースピード、口径等）を調節するための１以上の較正パラメータをＶＲコンソール１２０から受信する。

ＶＲコンソール１２０は、撮像装置１１５およびＶＲヘッドセット１４０のうち片方または両方から受信した情報に従って、ユーザに提示するために、メディアをＶＲヘッドセット１４０に提供する。図１Ａに示す例では、ＶＲコンソール１２０は、アプリケーション記憶部１２２と、トラッキングモジュール１２４と、バーチャルリアリティ（ＶＲ）エンジン１２６と、プロセッサ２００と、を備える。ＶＲコンソール１２０のいくつかの実施形態では、図１Ａに関連して説明したモジュールとは異なるモジュールが備えられる。同様に、以下に更に説明する機能は、本明細書に説明する手法とは異なる手法で、ＶＲコンソール１２０の構成要素間で分散していてもよい。

アプリケーション記憶部１２２は、ＶＲコンソール１２０によって実行される１以上のアプリケーションを記憶している。アプリケーションは、プロセッサ（例えば、コンピュータプロセッサ）によって実行された場合、ユーザに対して提示するためのコンテンツを生成する命令（例えば、実行可能なコンピュータプログラムの命令）のグループである。アプリケーションによって生成されたコンテンツは、ＶＲヘッドセット１４０の動きを介してユーザから受信する入力に対して応答してもよい。アプリケーションの例として、ゲーム用アプリケーション、会議用アプリケーション、映像再生アプリケーション、または他の適切なアプリケーションを挙げることができる。

トラッキングモジュール１２４は、１以上の較正パラメータを使用し、ＶＲシステム１００を較正し、ＶＲヘッドセット１４０の位置の決定における誤りを削減するために、１以上の較正パラメータを調整する。例えば、トラッキングモジュール１２４は、撮像装置１１５の焦点を調整して、ＶＲヘッドセット１４０上に観察されているロケータのためのより正確な位置を求める。更に、トラッキングモジュール１２４によって実行された較正はまた、ＩＭＵ１４８から受信した情報となる。更に、ＶＲヘッドセット１４０のトラッ
キングを見失った（例えば、撮像装置１１５が少なくとも閾値の数のロケータ１４８の視線を見失った）場合、トラッキングモジュール１２４は、ＶＲシステム１００の一部または全てを再較正する。

トラッキングモジュール１２４は、撮像装置１１５から受信した較正情報を使用して、ＶＲヘッドセット１４０の動きを追跡する。トラッキングモジュール１２４は、較正情報からの観察されたロケータを使用して、ＶＲヘッドセット１４０の基準点の位置を決定する。トラッキングモジュール１２４はまた、ＩＭＵ１４８から受信した位置情報を使用して、ＶＲヘッドセット１４０の基準点の位置を決定する。更に、いくつかの実施形態では、トラッキングモジュール１２４は、ＶＲコンソール１２０からの較正情報、撮像装置１１５からの較正情報、またはこれらのある組み合わせを使用して、ＶＲヘッドセット１４０の将来の位置を予測する。トラッキングモジュール１２４は、ＶＲヘッドセット１４０の推定または予測された位置をＶＲエンジン１２６に提供する。

ＶＲエンジン１２６は、ＶＲシステム１００内のアプリケーションを実行し、ＶＲヘッドセット１４０の位置情報、加速情報、速度情報、予測された将来の位置、またはこれらのある組み合わせをトラッキングモジュール１２４から受信する。受信した情報に基づいて、ＶＲエンジン１２６は、コンテンツを決定して、ユーザへの提示のためにＶＲヘッドセット１４０に提供する。例えば、受信した情報がユーザが左を見たと示す場合、ＶＲエンジン１２６は、仮想環境におけるユーザの動きを映すＶＲヘッドセット１４０用コンテンツを生成する。

プロセッサ２００は、撮像装置１１５およびＶＲヘッドセット１４０から、あるいは撮像装置１１５またはＶＲヘッドセット１４０から受信した情報を処理する。いくつかの実施形態では、プロセッサ２００は、画像および関連する画像データを、撮像装置１１５から受信し、受信した画像の１以上のバーチャルシーンを生成し、ＶＲヘッドセット１４０のユーザに提示するために、生成したバーチャルシーンをＶＲヘッドセット１４０に提示する。例えば、プロセッサ２００は、撮像装置１１５から、立体照明が照射されたシーン内のオブジェクトのキャプチャ済み画像を受け取り、キャプチャ済み画像の１以上のパターン特性を分析する。プロセッサ２００は、分析されたパターン特性に基づいて、シーン内のオブジェクトの奥行きマップ表現と、キャプチャ済み画像からのオブジェクトの反射マップ表現と、を生成し、以下の図２Ａおよび図２Ｂによって詳細に記載されるように、オブジェクトの奥行きマップ表現とオブジェクトの反射マップ表現とを組み合わせることによって、オブジェクトの三次元表現を生成する。

図１Ｂは、一実施形態に係る、図１Ａに示すＶＲシステム１００内で動作する例示的なＶＲヘッドセット１６０の斜視図である。図１Ｂでは、ＶＲヘッドセット１６０は、バンド１６１と、ＶＲヘッドセット１６０の本体１６３を保持する保持用スリーブ１６２と、発光体１６５と、側方センサ１６４と、前方センサ１６６と、を備える。説明上の理由で、１つのバンド１６１、１つの保持用スリーブ１６２、１つの発光体１６５、１つの前方センサ１６６、１つの側方センサ１６４だけが図１Ｂに図示されている。図示しない代替の実施形態では、ＶＲヘッドセット１６０は、バンド１６１と、保持用スリーブ１６２と、発光体１６５と、前方センサ１６６と、側方センサ１６６と、追加のまたは異なる構成要素と、を複数備える。更に、ＶＲヘッドセット１６０の様々なエンティティによって実行される機能は、実施形態によって異なっていてもよい。いくつかの実施形態では、図１Ｂに示すＶＲヘッドセット１６０は、図１Ａに示すＶＲシステム１００内のＶＲヘッドセット１４０と同一または同様である。

発光体１６５は、シーンまたはシーン内のオブジェクトを照射する。いくつかの実施形態では、発光体１６５は、特定の照射パターンを有する立体照明を提供するが、この場合
、発光体に照射されたオブジェクトまたはシーンは、立体照明に基づいて特定のパターンを表す。（図１Ａに示される）プロセッサ２００は、発光体１６５を制御して、時間によって異なる照射パターンを有する立体照明を提供することができる。簡潔化のために、１つの発光体１６５だけが図１Ｂに図示されている。図示しない代替の実施形態では、ＶＲヘッドセット１６０は、異なるタイプの追加の発光体を有してもよい。例えば、ＶＲヘッドセット１６０は、シーン内のオブジェクトに追加の照射を提供するための（本明細書には図示しない）追加の発光体を備える。いくつかの実施形態では、図１Ｂに示す発光体１６５は、図１Ａに示すＶＲシステム１００内の発光体１４４と同一または同様である。

前方センサ１６６および側方センサ１６４は、様々な視点から、オブジェクトの画像、またはＶＲヘッドセット１６０の前のシーンをキャプチャする。一実施形態では、前方センサ１６６は、ＶＲヘッドセット１６０のメインセンサであってもよく、側方センサ１６４は、オブジェクトの追加の画像をキャプチャするための追加のセンサとして機能する。前方センサ１６６および側方センサ１６４のどちらも赤外線センサ、ＲＧＢセンサまたは単色センサであってもよい。簡潔化のために、１つの前方センサ１６６と、１つの側方センサ１６４だけが図１Ｂに示される。図示しない代替の実施形態では、ＶＲヘッドセット１６０は、異なるタイプのセンサ、および／またはＶＲヘッドセット上の異なる場所に位置づけられる、異なる数のセンサを備えてもよい。同様に、追加のセンサは、異なるタイプのセンサであってもよい。いくつかの実施形態では、前方センサ１６６および側方センサ１６４は、図１Ａに示すＶＲシステム１００内の画像センサ１４５と同一または同様である。

図２Ａは、一実施形態に係る、図１Ａに示すＶＲシステム１００内で動作するプロセッサ２００のブロック図である。図２Ａに示す例では、プロセッサ２００は、キャプチャモジュール２１２と、奥行きマップモジュール２１４と、反射マップモジュール２１６と、三次元表現モジュール２１８と、画像データ記憶部２３２と、奥行きマップデータ記憶部２３４と、反射マップデータ記憶部２３６と、三次元表現データ記憶部２３８と、を備える。図示しない代替の実施形態では、プロセッサ２００は、追加のおよび／または異なるモジュールまたはデータ記憶部を備えてもよい。同様に、プロセッサ２００の様々なエンティティによって実行される機能は、実施形態によって異なっていてもよい。

キャプチャモジュール２１２は、シーンまたはシーン内のオブジェクトの画像をキャプチャする。一実施形態では、プロセッサ２００は、１以上のセンサ（例えば、図１Ｂに示す前方センサ１６６、側方センサ１６４）に対して、シーン内のオブジェクトまたはそのシーン自体の画像をキャプチャするように命令する。１つの例として、キャプチャモジュール２１２は、オブジェクトの奥行きマップ表現およびオブジェクトの反射マップ表現を生成するために使用されるオブジェクトの元の画像をキャプチャすることができる。他の例として、キャプチャモジュール２１２は、同じオブジェクトの１以上の追加の画像をキャプチャして、生成されたオブジェクトの三次元表現を拡張することができる。追加の画像は、同じセンサまたは異なるセンサによって、元の画像と同じ視野または異なる視野からキャプチャされてもよい。更なる例として、キャプチャモジュール２１２は、異なるオブジェクトまたは異なるシーンの画像をキャプチャすることができる。

一実施形態では、キャプチャモジュール２１２は、特定の照射パターンを有する立体照明をオブジェクトに対して投影する発光体によって照射されたオブジェクトの画像をキャプチャする。オブジェクトのキャプチャ済み画像は、照射パターンを有しない（例えば、均一の照射の）通常光が照射された同じオブジェクトの画像と比較して、反射マップ表現を将来的に生成するためのより有用な情報を提供する。立体照明が照射されたオブジェクトのキャプチャ済み画像は、オブジェクトに投影された照射パターンに対応する特定のパターン特性を含む。パターン特性は、ストライプ、線、ドット、または他の幾何学形状で
あってもよく、形状、サイズ、および強度など均一または不均一な特徴を備える。特定の立体照明が照射された例示的なキャプチャ済み画像を図３において以下に説明する。キャプチャ済み画像および関連する画像データ（例えば、強度、奥行き、それぞれのピクセルの傾き）は、以下に詳細に記載されるように、画像データ記憶部２３２に記憶されている。

奥行きマップモジュール２１４は、照射されたオブジェクトのキャプチャ済み画像を画像データ記憶部２３２から取り出し、オブジェクトの奥行きマップ表現を照射されたオブジェクトのキャプチャ済み画像から生成する。上述のように、オブジェクトの奥行きマップ表現とは、指定された視点からの、オブジェクト表面の異なる部分の距離に関する情報を含む画像を意味し、指定された視点は、オブジェクトの画像をキャプチャするセンサの位置であってもよい。例示的な奥行きマップ表現を、図４を参照して以下に更に説明する。オブジェクトの生成された奥行きマップ表現および関連奥行きデータは、以下に詳細に説明するように、奥行きマップデータ記憶部２３４に記憶される。

一実施形態では、奥行きマップモジュール２１４は、キャプチャ済み画像の奥行き情報を導出するためのパターン特性を識別および分析する。オブジェクトに関連する識別および分析されたパターン特性に基づいて、奥行きマップモジュール２１４は、オブジェクトの奥行きマップ表現を生成する。奥行き情報の例は、キャプチャ済み画像のオブジェクト上のそれぞれのピクセルの奥行きの差異による、オブジェクトの幾何学的な変形であってもよい。オブジェクトのピクセルの「奥行き」は、実際のオブジェクト上のピクセルと、指定された視点（例えば、センサの位置）との間の距離を意味する。

いくつかの実施形態では、奥行きマップモジュール２１４は、キャプチャ済み画像の検出されたパターンと基準パターンとの間の補正に基づいて、キャプチャ済み画像のオブジェクトの奥行きマップ表現を生成する。検出されたパターンは、オブジェクトに投影され、キャプチャ済み画像に表されたパターンを意味し、基準パターンは、発光体によって提供される元の照射パターンを意味する。立体照明が、オブジェクトに投影された照射パターンを有するので、オブジェクトのキャプチャ済み画像で検出されたパターンは、立体照明の元の照射パターンの歪んだバージョンである。元のパターンの歪んだバージョンは、オブジェクトの奥行きのために、ズレおよび他の歪みが含まれる。検出されたパターンを元の照射パターンと比較することによって、または検出されたパターンの一部を元の照射パターンの対応する部分と比較することによって、奥行きマップモジュール２１４は、ズレまたは歪みを識別し、オブジェクトの奥行きマップ表現を生成する。

一実施形態では、検出されたパターンと基準パターンとの間の補正は、キャプチャ済み画像内で検出されたパターン特性の調整後の特性のシーケンスを使用して得られる。例えば、キャプチャ済み画像に表されたパターン特性を個別に識別して、検出されたパターンと基準パターンとの間の補正に役立たせる。一実施形態では、補正は、全体の検出されたパターンの個別に識別されたパターン特性と基準パターンの対応するパターン特性との比較に基づいている。他の実施形態では、補正は、基準パターンの対応する部分の特性を有する、検出されたパターンの一部の個別に識別された特性に基づいている。補正によって、キャプチャ済み画像のオブジェクトの個別のピクセルの奥行き情報が導出される。

奥行きマップモジュール２１４はまた、１以上の異なる変化を直交方向の照射パターンに適用することに基づいて、キャプチャ済み画像内のオブジェクトの奥行きマップ表現を生成する。照射パターンに変化を加えることによって、奥行きマップモジュール２１４は、オブジェクトのキャプチャ済み画像で検出された特定のパターン特性を明確に識別することができる。１つの例として、照射パターンの変化は、強度変化（例えば、図３に示すストライプ）であってもよく、照射パターンに由来するパターン特性のそれぞれの部分に
対する固有のシグネチャを提供することができる。他の例として、変化は、（同位相ではないが、）周期性であって、最低限のコンピューティングリソースを使用して、最大限の固有の識別を提供してもよい。更に、奥行きマップモジュール２１４は、２つ以上の異なるタイプの変化を使用してもよい。異なるタイプの変化を互いに対して測定して、キャプチャ済み画像内のオブジェクトの異なる場所に位置するピクセルの奥行き情報を提供することができる。

１つの例として、パターン特性（例えば、変化する強度を有するストライプ）の１つの強度変化を使用する場合、奥行きマップモジュール２１４は、固有のシグネチャ（例えば、周期的に固有のシグネチャ）を、指定された寸法（例えば、キャプチャ済み画像と共有される同一の座標系内のＹ軸に揃う方向）のそれぞれのストライプに適用する。奥行きマップモジュール２１４は、指定された基礎となる位置からのそれぞれのストライプのズレに基づいて、キャプチャ済み画像内のオブジェクトの奥行きマップ表現を生成する。ズレを正確に検出するために、奥行きマップモジュール２１４は、周期的に固有のシグネチャをそれぞれの個別のラインに付与することによって、キャプチャ済み画像内のオブジェクトのピクセルのそれぞれの個別のラインを識別し、それぞれのラインと関連する固有のシグネチャに基づいて識別を行うことができる。この例では、強度変化は、一次元での様々な強度のストライプを含み、検出されたストライプは、様々な検出効果を表す。例えば、一部のストライプは、弱くてもよく、一部は、中間でもよく、一部は、強くてもよい。検出されたパターンは、弱い、中間の、強いストライプが所与の順番に（例えば、弱いから強いへ）生じる単一の場所を有してもよく、この場合、奥行きマップモジュール２１４は、パターン特性の指標化を実現する。代替の例では、異なる強度の四角形を使用してもよく、奥行きマップモジュール２１４は、同様に、パターン特性の指標化を実現する。

他の例として、奥行きマップモジュール２１４は、パターン特性の２つの強度の変化を使用してもよい。２つの強度の変化は、周期性であってもよく、周期的な強度変化は、例えば、キャプチャ済み画像内のオブジェクトの個別のピクセルに対して設定できる利用可能なグレイレベルに基づいて、費用削減型の代替案として、生成されてもよい。２つの周期的な変化が位相を異にしている（同期していない）限り、奥行きマップモジュール２１４は、２つの周期的な変化を１つと考えたとき、２つの周期的な変化の個別の周期より比較的大きな組み合わされた周期を得ることができる。

更に別の実施形態では、奥行きマップモジュール２１４は、２つ以上の特有の強度変化を使用して、キャプチャ済み画像内のオブジェクトの奥行きマップを算出する。１以上の特有の強度変化を有する照射パターンを投影してもよい。それぞれの変化は、ＶＲヘッドセットの空間全体を通して、固有の強度交代機能を有してもよい。例えば、パターンは、パターン特性として、それぞれのストライプに沿ったガウス形状の強度ホットスポットを有する連続的なストライプを含んでもよい。ストライプの強度は、センサから照射されたオブジェクトへの方向に移動しながら、線形に低下する一方、それぞれのホットスポットのピークでカメラによって測定される強度は一定のままである。奥行き情報（例えば、照射パターンをセンサに逆反射するオブジェクトまでの距離）は、ホットスポットの強度をホットスポット周辺のストライプの強度と比較することによって抽出することができる。

いくつかの実施形態では、奥行きマップモジュール２１４は、ホットスポットの強度とラインの強度との比を更に算出して、上述のようなストライプのズレに基づく補足的な奥行きマップを算出する。ホットスポットの強度およびラインの強度は、キャプチャ済み画像に表されたパターン特性の絶対的指標化を導出するための、少なくとも２つの変化を提供する。例えば、キャプチャ済み画像に表されたパターン特性は、平行のストライプから成り立ってもよい。平行のストライプは、そのベース強度、例えば、周期で変化して、平行のストライプに直行する方向などの第一の方向における変化を付与することができる。
ストライプ自体は、長手方向の表記を示し、変化は、それぞれのストライプまたはストライプのそれぞれのクラスタを識別および指標化できるように、ストライプによって異なって設けられてもよい。一実施形態では、ストライプによって示される表記は、強度が一定のままである点を考えれば、ピーク強度またはピーク値を有してもよい。全強度は、光源およびオブジェクトを検出するセンサからのオブジェクトの距離が増すに従って徐々に減少することが想定され、センサによってキャプチャされたストライプの強度の減少によって、奥行き情報を提供することができる。いくつかの実施形態では、キャプチャ済み画像内のオブジェクトの絶対輝度はまた、反射表面に依存するが、この場合、光源またはセンサと照射されたオブジェクトとの間の距離を含む複数の要因並びに他の要因（例えば、反射表面の特性）が、奥行き情報を取得するために共に検討される。

一実施形態では、奥行きマップモジュール２１４は、ストライプのベース強度と、ストライプのピーク強度との比を使用して、特にセグメント化または三角形分割の結果と組み合わせた場合、より正確な奥行きの算出が可能になる。他の実施形態では、奥行きマップモジュール２１４は、それぞれのストライプまたは単一のストライプの特定のセクタ上の異なる強度および異なる表記分布を識別するが、これにより、より正確な奥行きマップの算出が可能になる。いくつかの実施形態では、上述の表記は、使用が簡易なため、ガウス輝度分布から解釈されてもよい。

プロセッサ２００の反射マップモジュール２１６は、画像データ記憶部２３２内に記憶されたキャプチャ済み画像におけるオブジェクトの反射マップ表現を生成する。上述のように、オブジェクトの反射マップ表現は、キャプチャ済み画像におけるオブジェクトの表面の異なる部分の反射特性に関する情報を含む画像を意味し、オブジェクトの反射マップ表現は、表面の詳細（オブジェクトの表面の目視で判別される点の細かなスケールの詳細）を提供する。一実施形態では、反射マップモジュール２１６は、オブジェクトに対して投影された立体照明に由来するオブジェクトの本質的に不均一な照射を処理することによって、キャプチャ済み画像におけるオブジェクトのより均一な照射を表すためにオブジェクトの反射マップを導出する。反射マップ表現の一例は図５に示されている。生成された反射マップ表現および関連するデータは、反射マップデータ記憶部２３６に記憶される。

一実施形態では、反射マップモジュール２１６は、キャプチャ済み画像における同じオブジェクトの反射マップ表現を生成し、そこからオブジェクトの奥行きマップ表現が奥行きマップモジュール２１４によって生成される。更に別の実施形態では、反射マップモジュール２１６は、奥行きマップ表現が生成されるオブジェクトのキャプチャ済み画像とは異なるオブジェクトのキャプチャ済み画像の反射マップを生成する。この実施形態では、２つの異なるキャプチャ済み画像は、異なる視野からの同じオブジェクトまたはシーンを含む。

いくつかの実施形態では、反射マップモジュール２１６は、オブジェクトの反射マップ表現を生成するため細かい表面の詳細を有する領域など、照射されたオブジェクトの特定の領域用の反射マップ表現を導出することができる。例えば、人の正面の顔を含むオブジェクトに関して、顔の肌領域は、表面の詳細に関する豊富な情報並びにパターン化された照射の非照射領域（つまり、照射パターン特性間の領域）への拡散のための情報を含む。この例では、反射マップモジュール２１６は、豊富な表面情報を提供する肌領域用の反射マップ表現を導出する。

キャプチャ済み画像におけるオブジェクトの反射マップ表現を生成するために、反射マップモジュール２１６は、まず、照射されたオブジェクトに投影され、オブジェクトのキャプチャ済み画像に表されたパターン特性を指標化する。キャプチャ済み画像内のパターン特性の指標化の一例は、図３を参照して以下に詳細に説明される。反射マップモジュー
ル２１６は、指標化を適用して、発光体によって提供された照射パターンの特性をキャプチャ済み画像に表されたパターン特性と相関させる。補正によって、キャプチャ済み画像における照射されたオブジェクトの表面に投影されたパターン特性の機能的挙動の算出が更に可能になる。パターン特性の機能的挙動は、所定のラインに沿った撮像強度のようにキャプチャ済み画像において表されたパターン特性と関連する１以上の特性によって表現できる。機能的挙動の例は、以下に詳細に説明されるように図６Ａに示されている。パターン特性の機能的挙動から、反射マップモジュール２１６は、オブジェクトのキャプチャ済み画像からパターン特性を除去することによって、照射されたオブジェクトの実際の表面反射を算出することができる。パターン特性の機能的挙動に基づいて、パターン特性を除去する例は、図６Ａおよび図６Ｂに示されている。

いくつかの実施形態では、反射マップモジュール２１６は、オブジェクトの生成された反射マップ表現を追加の発光体によって提供される追加の照射によって改善して、照射パターンを最適化することができる。追加の照射を使用して、パターン特性間に位置するオブジェクトの領域を照射できる。例えば、パターン特性が一次元のストライプの場合、追加の照射によって照射される領域は、明るいストライプ間の暗い領域である。かかる照射によって、反射マップの導出を改善することができる。いくつかの実施形態では、照射パターンをまた変更して、背景の照射およびより広い特性寸法、あるいは背景の照射またはより広い特性寸法を導入して、オブジェクトの奥行きマップ表現の許容範囲の品質低下とオブジェクトの反射マップ表現の改善との間のトレードオフなど、いくつかの許容範囲の最適化の制限下において、より広く表面を照射することができる。

プロセッサ２００の三次元表現モジュール２１８は、オブジェクトの生成された奥行きマップ表現とキャプチャ済み画像におけるオブジェクトの反射マップ表現とに基づいて、キャプチャ済み画像におけるオブジェクトの三次元表現を生成する。一実施形態では、三次元表現モジュール２１８は、オブジェクトの反射マップ表現とオブジェクトの奥行きマップ表現とを組み合わせて、オブジェクトの三次元表現を生成する。オブジェクトの三次元表現は、表面の詳細およびオブジェクトの奥行き情報の両方を含む。生成された三次元表現および関連するデータは、三次元表現データ記憶部２３８に記憶される。

いくつかの実施形態では、三次元表現モジュール２１８は、キャプチャされたオブジェクトの１以上の追加の画像を使用して、オブジェクトの三次元表現を拡張することができる。１つの追加の画像を例として挙げると、三次元表現を拡張するために、三次元表現モジュール２１８は、オブジェクトの生成された反射マップ表現を反射マップデータ記憶部２３６から取り出し、オブジェクトの生成された奥行きマップ表現を三次元表現データ記憶部２３８から取り出す。三次元表現モジュール２１８は、オブジェクトの反射マップ表現を使用して、追加の画像を、抽出された奥行きマップ表現に登録し、追加の画像の表面情報を三次元表現内に既に含まれている表面情報に相関させる。三次元表現モジュール２１８は、オブジェクトの反射マップ表現と追加のオブジェクトの画像とを比較することによって、オブジェクトの追加の三次元情報を導出し、導出された三次元情報を加えて、奥行きマップ表現を拡張し、更に拡張三次元表現を産出する。

プロセッサ２００の画像データ記憶部２３２は、特定のオブジェクトまたはシーンのキャプチャ済み画像と、キャプチャ済み画像に関連する画像データと、を記憶する。一実施形態では、画像データ記憶部２３２に記憶されたキャプチャ済み画像は、同じオブジェクトまたは同じシーンの画像であってもよい。この実施形態では、キャプチャ済み画像はまた、１以上の発光体によって提供される照射パターンという点で異なってもよい。例えば、上述のように、キャプチャ済み画像は、反射マップ表現の構造を改善するために使用される追加の照射という点以外では、同じオブジェクトまたはシーンの画像であってもよい。他の実施形態では、画像データ記憶部２３２に記憶されたキャプチャ済み画像は、同じ
または異なる照射パターンを有する異なるオブジェクトまたは異なるシーンの画像を含んでもよい。画像データ記憶部２３２はまた、追加のセンサによってキャプチャされた追加の画像と、追加の画像に関連する画像データと、を記憶する。

プロセッサ２００の奥行きマップデータ記憶部２３４は、奥行きマップモジュール２１４によって生成された、オブジェクトの奥行きマップ表現および関連するデータを記憶する。例えば、奥行きマップデータ記憶部２３４は、元の奥行きマップ表現および関連する奥行きデータ、並びに拡張奥行きマップ表現および関連する奥行きデータを記憶する。上述したように、元の奥行きマップ表現は、追加の画像を含まない元のキャプチャ済み画像から導出された奥行きマップ表現を意味する一方、拡張奥行きマップ表現は、追加の画像および追加の三次元データを使用して拡張された奥行きマップ表現を意味する。

プロセッサ２００の反射マップデータ記憶部２３６は、反射マップモジュール２１６によって生成されたオブジェクトの反射マップ表現および関連するデータを記憶する。例えば、反射マップデータ記憶部２３６は、元の反射マップ表現および関連する反射データ並びに改善された反射マップ表現および関連する反射データを記憶する。上述したように、元の反射マップ表現は、追加の照射を伴わない元のキャプチャ済み画像から導出される反射マップ表現を意味する一方、改善された反射マップ表現は、追加の照射で改善された反射マップ表現を意味する。反射マップ表現および関連する反射データは、キャプチャ済み画像におけるオブジェクトの表面の反射特性を提供する。

プロセッサ２００の三次元表現データ記憶部２３８は、三次元表現モジュール２１８によって生成されたオブジェクトの三次元表現および関連するデータを記憶する。例えば、三次元表現データ記憶部２３８は、元の三次元表現および関連する三次元データ並びに拡張三次元表現および関連する三次元データを記憶する。上述したように、元の三次元表現は、追加の画像および拡張奥行きマップ表現を伴わない反射マップ表現および奥行きマップ表現から導出される三次元表現を意味する一方、拡張三次元表現は、追加の画像と、更に追加の三次元データおよび拡張奥行きマップ表現によって生成される三次元表現を意味する。

図２Ｂは、一実施形態に係る、シーン２５２内のオブジェクト２５４の画像２６０をキャプチャし、オブジェクトの反射マップ表現２８８で、オブジェクト２５４の奥行きマップ表現２７０を増補する工程を示すフロー図２５０である。図２Ｂに示すように、発光体２６５は、特定の照射パターン（例えば、ストリップ）を有する立体照明を、シーン２５２内のオブジェクト２５４に提供し、センサ２６６は、シーン２５２におけるオブジェクト２５４の画像をキャプチャする。一実施形態では、プロセッサ２００は、発光体２６５に対して、オブジェクト２５４に特定の立体照明を照射するように命令する。キャプチャ済み画像２６０をプロセッサ２００に提供して、オブジェクト２５４の奥行きマップ表現２７０およびオブジェクト２５４の反射マップ表現２８８を生成する。オブジェクト２５４の反射マップ表現２８８を生成するために、プロセッサ２００はまず、キャプチャ済み画像２６０に表されたパターン特性を指標化することによって、指標化されたパターン特性２８２を導出する。プロセッサ２００は、その後、キャプチャ済み画像２６０の指標化されたパターン特性を分析することによって、少なくとも１つのパターン特性２８４の機能的挙動を導出する。プロセッサ２００は、パターン特性の導出された機能的挙動に基づいて、キャプチャ済み画像２６０からパターン特性を除去２８６することによって、オブジェクト２５４の反射マップ表現２８８を生成する。プロセッサ２００は、オブジェクト２５４の奥行きマップ表現２７０と、オブジェクト２５４の反射マップ表現２８８とを組み合わせて、オブジェクト２５４の三次元表現２９０を生成する。

一実施形態では、図２Ｂに示すように、追加の発光体２６７は、シーン２５２内のオブ
ジェクト２５４に対して追加の照射を伴う立体照明を提供して、図２Ａにおいて上述したように、反射マップ表現２８８の構造を改善する。追加のセンサ２６８は、シーン２５２内のオブジェクト２５４の追加の画像２６９をキャプチャし、図２Ａにおいて上述したように、プロセッサ２００は、反射マップ表現２８８に対して、追加の画像を奥行きマップ表現２７０に登録するよう命令して、拡張三次元表現２９２を生成する。

図３は、一実施形態に係る、特定の照射パターン３２０を有する立体照明によって照射されたオブジェクト３５４の例示的なキャプチャ済み画像３００である。図３に示すように、キャプチャ済み画像３００内のオブジェクト３５４は、照射パターン３２０を有する立体照明によって照射されている正面の顔、首、および肩を有する人である。キャプチャ済み画像３００は、オブジェクト３５４の正面の顔（つまり、３２２Ａ）および肩（つまり、３２２Ｂ）に表されたパターン特性３２２が、ある強度を有するそれぞれ個別のストライプがパターン特性である、異なる強度を有するある方向（水平方向）の線形のストライプであることを示している。キャプチャ済み画像３００はまた、パターン特性３２２の指標化３４２およびパターン特性の導出された機能的挙動３４４を示している。例えば、パターン特性（例えば、変化する強度を有する水平のストライプ）３２２のそれぞれは、それぞれのパターン特性の特性の特徴（例えば、強度）に従って、矢印によって示されるように指標化されている。「特性の特徴」は、個別のパターン特性を区別するために使用できる特定のタイプのパターン特性の特徴を意味する。この例では、個別のストライプの強度は、個別のパターン特性の指標化が可能となる２つの隣接する明るいストライプ間の暗い区間により互いから離間しているため、特性の特徴は、それぞれのパターン特性（例えば、それぞれの水平のストライプ）を区別するために使用される強度である。図示しない代替の例では、異なるタイプの特性の特徴を適用して、対応するタイプのパターン特性を指標化させることができる。例えば、形状（例えば、線幅）および色は、他のタイプのパターン特性の他の特性の特徴であってもよい。更に、異なるタイプの照射パターンが照射された異なるオブジェクトをキャプチャすることができ、キャプチャ済み画像は、異なるタイプのパターン特性を表すことができ、対応する特性の特徴を使用して、パターン特性を指標化する。

オブジェクトの異なる部分のパターン特性３２２の機能的挙動３４４は、異なってもよい。例えば、肌領域上（例えば、顔の上または首の上）のパターン特性３２２Ａは、衣服領域上（例えば、肩の上）のパターン特性３２２Ｂよりもより拡散しているように見える。衣服の上のパターン特性３２２Ｂはまた、より広がっているように見え、特性間ギャップ３２４はまた、肌を通った照射の拡散によって照射されている。

本明細書に記載の特性間ギャップ３２４は、同じパターン特性（例えば、同じ水平のストライプ内）内の強度の間隙を意味する。いくつかの実施形態では、肌領域上のパターン特性３２２Ａと衣服領域上のパターン特性３２２Ｂとの間の差異は、２つの領域の質感の差異から生じる場合がある。パターン特性３２２Ａと３２２Ｂとの間の差異はまた、肌領域上のパターン特性３２２Ａが、パターン特性のより高い視認性のため、パターン特性の機能的挙動を導出すること、および反射マップ表現に従って構造化するためにより好適であることを示している。

図４は、一実施形態に係る、図３に示すキャプチャ済み画像３００内のオブジェクト３５４の奥行きマップ表現４００の一例である。図４に示すように、奥行きマップ表現４００は、キャプチャ済み画像３００内のオブジェクト３５４のターゲットパターン特性の変形から導出される。ターゲットパターン特性は、キャプチャ済み画像３００内の人の肌領域上（例えば、顔の上または首の上）のパターン特性を含む。ターゲットパターン特性の変形は、キャプチャ済み画像３００内の水平のストライプの変形を含む。一実施形態では、ターゲットパターン特性の変形は、変形を生成するために補間されたメッシュ型モデル
４４０に基づく。人の奥行きマップ表現４００は、キャプチャ済み画像３００内の人の奥行き情報を含むが、キャプチャされたオブジェクト３５４の表面の表面情報および微細スケールの詳細を有していない。

図５は、一実施形態に係る、図３に示すキャプチャ済み画像３００内のオブジェクト３５４の反射マップ表現５００の一例である。図５に示す反射マップ表現５００は、オブジェクト３５４の肌領域（例えば、顔および首）の表面上の反射情報だけを含み、オブジェクト３５４の衣服領域を含まない。衣服領域および反射マップ表現５００の背景は、図３に示すキャプチャ済み画像３００の対応する部分から取り出される。肌領域だけを作図する１つの理由は、これらの領域のパターン特性の機能的挙動が、図３において上述したようにより見やすいからである。図４に示す奥行きマップ表現４００と比較して、反射マップ表現５００は、オブジェクト３５４の表面の微細スケールの詳細を提供する。例えば、反射マップ表現５００は、オブジェクト３５４の顔のまゆ５２２と、まつ毛５２３と、頬５２４と、鼻孔５２５と、口５２６の領域を示すが、図４に示す奥行きマップ表現４００ではこれらを見ることができない。

図６Ａ〜図６Ｃは、一実施形態に係る、図３に示すキャプチャ済み画像３００内のオブジェクト３５４の反射マップ表現を生成する多様な態様を示す。より具体的には、図６Ａは、一実施形態に係る、オブジェクト３５４のパターン特性の機能的挙動６１０と、パターン特性６２０の除去と、図３に示すキャプチャ済み画像３００内のオブジェクト３５４の結果的に残存する信号６３０と、の例を示す。６１０に示す例では、オブジェクト３５４のパターン特性の機能的挙動は、図３に示すキャプチャ済み画像３００内のオブジェクト３５４に表された水平のストライプの長手方向に対して直交するライン６１２に沿ったキャプチャされた強度として表現されている。機能的挙動のラインダイアグラム６１０のピーク値６１４は、キャプチャ済み画像３００内のオブジェクト３５４のパターン特性（例えば、明るいストライプ）の最大強度を表す。バレー値６１６は、キャプチャ済み画像３００内のオブジェクト３５４のパターン特性（例えば、明るいストライプ）のうち最小強度を表す。

例６２０は、パターン特性６２２の機能挙動に基づくパターン特性６２２の除去を示す。オブジェクト３５４からのパターン特性６２２の除去によって、キャプチャ済み画像３００内のオブジェクト（例えば、人）の表面３５４の反射を表すか、または反射に類似する残存信号６２４を得る。図６Ｂにおいてより詳しく以下に記載されるように、パターン特性の除去は、乗算関数６５４によって実行されてもよい。

結果として生じる残存信号の例６３０は、パターン特性がキャプチャ済み画像３００から除去された後の残存信号６２４を示す。残存信号６２４は、キャプチャ済み画像３００内のオブジェクトの表面３５４に対する反射に関する情報を提供し、キャプチャ済み画像３００内のオブジェクトの反射マップ表現３５４を構造化するために使用される。

図６Ｂは、キャプチャ済み画像３００内のオブジェクト３５４の照射された信号６５２と、キャプチャ済み画像３００内のオブジェクト３５４の表面上のパターン特性を除去するために使用される乗算関数６５４と、を示す。より詳細には、乗算関数６５４は、照射された信号６５２から導出され、乗算関数６５４を対応する二次元形体で使用して、キャプチャ済み画像を増加させて、オブジェクト３５４の反射マップ表現３５４を生成する。

図６Ｃは、元の信号６７２の他の例６７０と、乗算関数６７４と、照射モデル６７６と、を示す。
図７は、一実施形態に係る、図４に示すオブジェクトの奥行きマップ表現４００と、図５に示すオブジェクトの反射マップ表現５００とを組み合わせることによる、図３に示す
オブジェクト３５４の三次元表現７５０の生成を示すフロー図７００である。図７に示すように、キャプチャ済み画像３００は、キャプチャされたオブジェクト３５４（例えば、人）の上にパターン特性を表す。オブジェクトの奥行きマップ表現４００および反射マップ表現５００は、オブジェクトのキャプチャ済み画像３００から導出され、オブジェクトの奥行きマップ表現４００は、オブジェクトの奥行き情報を提供する一方、反射マップ表現５００は、オブジェクトの表面の反射情報を提供する。三次元表現７５０は、オブジェクトの奥行きマップ表現４００とオブジェクトの反射マップ表現５００とを組み合わせることによって生成される。生成された三次元表現７５０の実際の三次元効果は、例えば、図１に示すＶＲヘッドセット１４０などＶＲ装置を使用することによって立体的に見える。

図８Ａは、一実施形態に係る、パターン特性とオブジェクトをキャプチャした画像内のオブジェクトのピクセルとの間の相対位置の効果の一例を示す。図８Ａでは、ラインダイアグラム８１０は、パターン特性が、キャプチャ済み画像のオブジェクトのピクセルの中心に沿ってセンタリングされることを示している。ラインダイアグラム８２０は、機能的挙動に従ってパターン特性を除去するために適用される補正モジュールを示し、ラインダイアグラム８３０は、パターン特性の完全除去を示している。

図８Ｂは、一実施形態に係る、パターン特性とオブジェクトをキャプチャした画像内のオブジェクトのピクセルとの間の相対位置の効果の他の例を示す。図８Ｂでは、ラインダイアグラム８６０は、パターン特性が、キャプチャ済み画像のオブジェクトのピクセルの中心に沿ってセンタリングされないことを示している。ラインダイアグラム８７０は、機能的挙動に従ってパターン特性を除去するために適用される補正モジュールを示し、ラインダイアグラム８８０は、パターン特性のズレのために、パターン特性の除去が完全ではないことを示している。

いくつかの実施形態では、キャプチャ済み画像内のオブジェクトのピクセルの中心に沿ってセンタリングされていないパターン特性に対して、オブジェクトのピクセルの中心に対するパターン特性のズレは、副解像度の補正によって補正され、補正された反射マップ表現が、かかる補正によって生成される。ピクセルの中心に対するパターン特性のズレの補正は、隣接ピクセルにわたる光の分布を追跡する工程と、二次元または三次元の複数のピクセルにわたる全体的な分布パターンを、ピクセルサイズより小さい単一ピクセル上のスポットへマッピングする工程と、を備えてもよい。副解像度の補正に関する更なる詳細は、米国特許出願第１４／５９５，３６９号において見出される。

図９Ａは、一実施形態に係る、オブジェクトの奥行きマップ表現をオブジェクトの反射マップ表現で増補することによって、プロセッサ２００が、オブジェクトをキャプチャした画像内のオブジェクトの三次元表現を生成するプロセスを示す例示的なフローチャート９００である。最初に、シーン内のオブジェクトは、発光体（例えば、図２Ｂの発光体２６５）によって、立体照明が照射され（９１０）、照射されたオブジェクトの画像は、画像センサ（例えば、図２Ｂのセンサ２６６）によってキャプチャされる。上述のように、キャプチャ済み画像は、立体照明によって提供された照射パターンに由来するパターン特性を表す。プロセッサ２００は、キャプチャ済み画像内のパターン特性を分析する（９３０）。プロセッサ２００は、分析されたパターン特性に基づいて、キャプチャ済み画像からオブジェクトの奥行きマップ表現を生成する（９４０）。プロセッサ２００はまた、分析された特性に基づいて、キャプチャ済み画像からオブジェクトの反射マップ表現を生成する（９５０）。

オブジェクトの反射マップ表現を生成するために、プロセッサ２００はまず、キャプチャ済み画像に示されるオブジェクトにわたるパターン特性を指標化し（９５２）、その後
、オブジェクトの表面上のパターン特性の機能的挙動を導出する（９５４）。機能的挙動を導出した後、プロセッサ２００は、キャプチャ済み画像からパターン特性を除去して（９５６）、オブジェクトの反射マップ表現を生成する。

奥行きマップ表現および反射マップ表現が両方とも生成された後、プロセッサ２００は、オブジェクトの奥行きマップ表現と反射マップ表現とを組み合わせることによって、オブジェクトの三次元表現を生成する（９６０）。プロセッサ２００は、オブジェクトの１以上の追加の画像および追加の照射によって、オブジェクトの拡張三次元表現を更に生成する（９７０）。

図９Ｂは、一実施形態に係る、図９Ａに示すプロセスに基づいて、拡張三次元表現を生成するプロセスを示す例示的なフローチャートである。図９Ｂに示すように、追加の発光体は、追加の照射をオブジェクトに提供して、反射マップ表現の構造を改善する（９７１）。シーン内のオブジェクトの１以上の追加の画像がキャプチャされる（９７２）。プロセッサ２００は、追加の照射によって改善された反射マップ表現とともに追加の画像をオブジェクトの奥行きマップ表現に登録する（９７３）。プロセッサ２００は、登録された追加の画像に基づいて、オブジェクト上の追加の三次元データを導出する（９７４）。プロセッサ２００は、追加の三次元データおよび改善された反射マップ表現に基づいて、オブジェクトの拡張三次元表現を生成する（９７５）。

追加の構成情報
本開示の実施形態に関するこれまでの説明は、説明の目的のために提示され、包括的であることを意図するものではなく、開示された正確な形態に本開示を限定する意図はない。当業者であれば、上述の開示に照らせば、多数の変更例および変形例が可能であることが理解可能である。

本明細書の一部は、情報に関する動作のアルゴリズムおよびシンボリックな表現という観点から本開示の実施形態を説明している。データ処理分野の当業者は、これらのアルゴリズム的な説明および表現を一般的に使用して、当業者の仕事の重要な部分を他の当業者に伝達している。これらの動作は、機能的、算術的、または論理的に説明される一方、コンピュータプログラムまたは同等の電気回路、マイクロコード等によって実施されると理解されたい。更に、一般性を失うことなく、これらの動作の構成をモジュールと言及することがときには便宜的であることが証明されている。説明された動作およびその関連するモジュールは、ソフトウエア、ファームウエア、ハードウェア、またはこれらの任意の組み合わせにおいて具現化されてもよい。

本明細書に記載の工程、動作、または処理のうち任意のものは、１以上のハードウェアまたはソフトウェアモジュールを使用して、単独でまたは他の装置と組み合わせて実行または実施されてもよい。一実施形態では、ソフトウェアモジュールは、説明された工程、動作、または処理のうちいずれかまたは全てを実行するためのコンピュータプロセッサによって実行可能なコンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラムプロダクトを使用して実施される。

本開示の実施形態はまた、本明細書に記載の動作を実行するための装置に関する場合がある。この装置は、要求される目的のために特別に設計されてもよく、および／またはコンピュータに記憶されているコンピュータプログラムによって選択的に作動または再設定される汎用コンピューティング装置を含んでもよい。このようなコンピュータプログラムは、非一時的、有形コンピュータ可読記憶媒体、またはコンピュータシステムバスに接続することができる電子命令を記憶するために好適な任意のタイプの媒体に記憶されてもよい。更に、本明細書に言及される任意のコンピューティングシステムは、単一のプロセッ
サを含み、コンピューティング能力を高めるために複数のプロセッサの設計を用いるアーキテクチャであってもよい。

本開示の実施形態はまた、本明細書に記載のコンピューティング処理によって生成されるプロダクトに関する。かかるプロダクトは、コンピューティング処理に由来する情報であって、非一時的、有形コンピュータ可読記憶媒体に記憶される情報であり、コンピュータプログラムプロダクトまたは本明細書に記載の他のデータの組み合わせの任意の実施形態を含んでもよい。

最後に、本明細書で使用される言語は、可読性および指示的な目的のために主に選択されたものであり、発明性を有する主題を記述または限定するために選択されたものではない場合がある。したがって、本開示の範囲は、本明細書の詳細な説明によって限定されることを意図しておらず、本明細書に基づく出願に基づく任意の請求項によって限定される。したがって、実施形態の開示は、以下の請求項に記載される、本開示の範囲を限定するのではなく、本開示の範囲の説明を目的としている。

Claims (20)

1. 照射パターンの立体照明によってシーン内のオブジェクトを照射する工程と、
   前記オブジェクトの画像をキャプチャする工程であって、前記オブジェクトの前記画像は、前記照射パターンに従う複数のパターン特性を有する、工程と、
   前記オブジェクトのキャプチャされた前記画像における少なくとも１つのパターン特性を分析する工程と、
   キャプチャされた前記画像の前記少なくとも１つのパターン特性の前記分析に基づいて、前記オブジェクトの奥行きマップ表現を生成する工程であって、前記オブジェクトの前記奥行きマップ表現は、前記オブジェクトの前記画像をキャプチャするときの視点に対する前記オブジェクトの距離を表す情報を備える、工程と、
   前記オブジェクトのキャプチャされた前記画像から反射マップ表現を生成する工程であって、前記オブジェクトの前記反射マップ表現は、前記オブジェクトの少なくとも一部分の反射特性を表す情報を備える、反射マップ表現生成工程と、
   前記オブジェクトの前記奥行きマップ表現と前記オブジェクトの前記反射マップ表現とを組み合わせる工程と、
   前記オブジェクトの前記奥行きマップ表現と前記オブジェクトの前記反射マップ表現との前記組み合わせに基づいて、前記オブジェクトの三次元（３Ｄ）表現を生成する工程と、を備え、
   前記反射マップ表現生成工程は、
   キャプチャされた前記画像内の前記オブジェクトに投影された前記少なくとも１つのパターン特性を指標化する、指標化工程と、
   前記少なくとも１つの指標化されたパターン特性の機能的挙動を導出する工程と、
   前記パターン特性の導出された前記機能的挙動に基づいて、前記少なくとも１つのパターン特性を、前記オブジェクトのキャプチャされた前記画像から除去する、除去工程と、を含む、方法。
2. 前記指標化工程は、
   前記少なくとも１つのパターン特性の特性の特徴に基づいて、前記少なくとも１つのパターン特性に標識を付ける工程であって、前記特性の特徴は、前記少なくとも１つのパターン特性の強度、形状、サイズ、および色のうちの少なくとも１つを含む、工程を含む、請求項１に記載の方法。
3. 前記少なくとも１つのパターン特性の前記機能的挙動は、所定の方向に沿った前記少なくとも１つのパターン特性の強度によって表現される、請求項１に記載の方法。
4. 前記除去工程は、
   乗算関数を前記少なくとも１つのパターン特性に適用する工程と、
   前記乗算関数の前記適用に基づいて、前記少なくとも１つのパターン特性を除去する工程と、を含む、請求項１に記載の方法。
5. 前記除去工程は、
   キャプチャされた前記画像内の前記オブジェクトのピクセルの中心に対する前記少なくとも１つのパターン特性の位置を決定する工程と、
   前記オブジェクトの前記ピクセルの前記中心に対する前記少なくとも１つのパターン特性の前記位置を補正する工程であって、前記少なくとも１つのパターン特性は、前記補正後、前記オブジェクトのキャプチャされた前記画像から除去される、工程と、を含む、請求項１に記載の方法。
6. 追加の照射を前記オブジェクトに提供する工程と、
   前記オブジェクトに対する前記追加の照射によって前記オブジェクトの前記反射マップ表現を改善する工程であって、前記オブジェクトの改善された前記反射マップ表現は、前記オブジェクトの表面の少なくとも一部分の反射特性を表す追加の情報を提供する、工程と、を更に備える、請求項１に記載の方法。
7. 前記オブジェクトの拡張三次元表現を生成する拡張三次元表現生成工程を更に備え、前記拡張三次元表現生成工程は、
   前記オブジェクトの１以上の追加の画像をキャプチャする工程と、
   前記１以上の追加の画像を、前記反射マップ表現とともに、前記オブジェクトの前記奥行きマップ表現に登録する工程と、
   追加の三次元データを前記１以上の追加の画像から導出する工程と、
   前記追加の三次元データによって、前記オブジェクトの拡張三次元表現を生成する工程と、を含む、請求項１に記載の方法。
8. 前記オブジェクトの改善された反射マップ表現によって、前記オブジェクトの前記拡張三次元表現を生成する工程を更に備える、請求項７に記載の方法。
9. 前記パターン特性は、異なる強度を有するストライプであって、隣接する２つのストライプは、暗い区間により離間されている、請求項１に記載の方法。
10. コンピュータプログラム命令を記憶する非一時的コンピュータ可読記憶媒体であって、コンピュータプロセッサによって実行される際、前記コンピュータプログラム命令は、前記プロセッサに、
    照射パターンの立体照明によってシーン内のオブジェクトを照射する工程と、
    前記オブジェクトの画像をキャプチャする工程であって、前記オブジェクトの前記画像は、前記照射パターンに従う複数のパターン特性を有する、工程と、
    前記オブジェクトのキャプチャされた前記画像における少なくとも１つのパターン特性を分析する工程と、
    キャプチャされた前記画像の前記少なくとも１つのパターン特性の前記分析に基づいて、前記オブジェクトの奥行きマップ表現を生成する工程であって、前記オブジェクトの前記奥行きマップ表現は、前記オブジェクトの前記画像をキャプチャするときの視点に対する前記オブジェクトの距離を表す情報を備える、工程と、
    前記オブジェクトのキャプチャされた前記画像から反射マップ表現を生成する工程であって、前記オブジェクトの前記反射マップ表現は、前記オブジェクトの少なくとも一部分の反射特性を表す情報を備える、反射マップ表現生成工程と、
    前記オブジェクトの前記奥行きマップ表現と前記オブジェクトの前記反射マップ表現とを組み合わせる工程と、
    前記オブジェクトの前記奥行きマップ表現と前記オブジェクトの前記反射マップ表現との前記組み合わせに基づいて、前記オブジェクトの三次元（３Ｄ）表現を生成する工程と、を行わせ、
    前記反射マップ表現生成工程は、
    キャプチャされた前記画像内の前記オブジェクトに投影された前記少なくとも１つのパターン特性を指標化する、指標化工程と、
    前記少なくとも１つの指標化されたパターン特性の機能的挙動を導出する工程と、
    前記少なくとも１つのパターン特性の導出された前記機能的挙動に基づいて、前記少なくとも１つのパターン特性を、前記オブジェクトのキャプチャされた前記画像から除去する、除去工程と、を含む、非一時的コンピュータ可読記憶媒体。
11. 前記指標化工程は、
    前記少なくとも１つのパターン特性の特性の特徴に基づいて、前記少なくとも１つのパターン特性に標識を付ける工程であって、前記特性の特徴は、前記少なくとも１つのパターン特性の強度、形状、サイズ、および色のうちの少なくとも１つを含む、工程を含む、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
12. 前記少なくとも１つのパターン特性の前記機能的挙動は、所定の方向に沿った前記少なくとも１つのパターン特性の強度によって表現される、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
13. 前記除去工程は、
    乗算関数を前記少なくとも１つのパターン特性に適用する工程と、
    前記乗算関数の前記適用に基づいて、前記少なくとも１つのパターン特性を除去する工程と、を含む、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
14. 前記除去工程は、
    キャプチャされた前記画像内の前記オブジェクトのピクセルの中心に対する前記少なくとも１つのパターン特性の位置を決定する工程と、
    前記オブジェクトの前記ピクセルの前記中心に対する前記少なくとも１つのパターン特性の前記位置を補正する工程であって、前記少なくとも１つのパターン特性は、前記補正後、前記オブジェクトのキャプチャされた前記画像から除去される、工程と、を含む、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
15. 追加の照射を前記オブジェクトに提供する工程と、
    前記オブジェクトに対する前記追加の照射によって前記オブジェクトの前記反射マップ表現を改善する工程であって、前記オブジェクトの改善された前記反射マップ表現は、前記オブジェクトの表面の少なくとも一部分の反射特性を表す追加の情報を提供する、工程と、を更に備える、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
16. 前記オブジェクトの拡張三次元表現を生成する拡張三次元表現生成工程を更に備え、前記拡張三次元表現生成工程は、
    前記オブジェクトの１以上の追加の画像をキャプチャする工程と、
    前記１以上の追加の画像を、前記反射マップ表現とともに、前記オブジェクトの前記奥行きマップ表現に登録する工程と、
    追加の三次元データを前記１以上の追加の画像から導出する工程と、
    前記追加の三次元データによって、前記オブジェクトの拡張三次元表現を生成する工程と、を含む、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
17. 前記オブジェクトの改善された反射マップ表現によって、前記オブジェクトの前記拡張三次元表現を生成する工程を更に備える、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
18. 前記パターン特性は、異なる強度を有するストライプであって、隣接する２つのストライプは、暗い区間により離間されている、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
19. コンピュータプログラム命令を記憶する非一時的コンピュータ可読記憶媒体であって、コンピュータプロセッサによって実行される際、前記コンピュータプログラム命令は、前記プロセッサに、
    照射パターンの立体照明によってシーン内のオブジェクトを照射する工程と、
    前記オブジェクトの画像をキャプチャする工程であって、前記オブジェクトの前記画像は、前記照射パターンに従う複数のパターン特性を有する、工程と、
    前記オブジェクトのキャプチャされた前記画像における少なくとも１つのパターン特性を分析する工程と、
    キャプチャされた前記画像の前記少なくとも１つのパターン特性の前記分析に基づいて、前記オブジェクトの奥行きマップ表現を生成する工程であって、前記オブジェクトの前記奥行きマップ表現は、前記オブジェクトの前記画像をキャプチャするときの視点に対する前記オブジェクトの距離を表す情報を備える、工程と、
    前記オブジェクトのキャプチャされた前記画像から反射マップ表現を生成する工程であって、前記オブジェクトの前記反射マップ表現は、前記オブジェクトの少なくとも一部分の反射特性を表す情報を備える、反射マップ表現生成工程と、
    追加の照射を前記オブジェクトに提供する工程と、
    前記オブジェクトに対する前記追加の照射によって前記オブジェクトの前記反射マップ表現を改善する工程であって、前記オブジェクトの改善された前記反射マップ表現は、前記オブジェクトの表面の１以上の部分の反射を表す追加の情報を提供する、工程と、
    前記オブジェクトの前記奥行きマップ表現と改善された前記オブジェクトの前記反射マップ表現とを組み合わせる工程と、
    前記オブジェクトの前記奥行きマップ表現と改善された前記オブジェクトの前記反射マップ表現との前記組み合わせに基づいて、前記オブジェクトの三次元（３Ｄ）表現を生成する工程と、を行わせる、非一時的コンピュータ可読記憶媒体。
20. コンピュータプログラム命令を記憶する非一時的コンピュータ可読記憶媒体であって、コンピュータプロセッサによって実行される際、前記コンピュータプログラム命令は、前記プロセッサに、
    照射パターンの立体照明によってシーン内のオブジェクトを照射する工程と、
    前記オブジェクトの画像をキャプチャする工程であって、前記オブジェクトの前記画像は、前記照射パターンに従う複数のパターン特性を有する、工程と、
    前記オブジェクトのキャプチャされた前記画像における少なくとも１つのパターン特性を分析する工程と、
    キャプチャされた前記画像の前記少なくとも１つのパターン特性の前記分析に基づいて、前記オブジェクトの奥行きマップ表現を生成する工程であって、前記オブジェクトの前記奥行きマップ表現は、前記オブジェクトの前記画像をキャプチャするときの視点に対する前記オブジェクトの距離を表す情報を備える、工程と、
    前記オブジェクトのキャプチャされた前記画像から反射マップ表現を生成する工程であって、前記オブジェクトの前記反射マップ表現は、前記オブジェクトの少なくとも一部分の反射特性を表す情報を備える、反射マップ表現生成工程と、
    追加の照射を前記オブジェクトに提供する工程と、
    前記オブジェクトに対する前記追加の照射によって前記オブジェクトの前記反射マップ表現を改善する工程であって、前記オブジェクトの改善された前記反射マップ表現は、前記オブジェクトの表面の１以上の部分の反射を表す追加の情報を提供する、工程と、
    前記オブジェクトの前記奥行きマップ表現と改善された前記オブジェクトの前記反射マップ表現とを組み合わせる工程と、
    前記オブジェクトの前記奥行きマップ表現と改善された前記オブジェクトの前記反射マップ表現との前記組み合わせに基づいて、前記オブジェクトの三次元（３Ｄ）表現を生成する工程と、
    前記オブジェクトの拡張三次元表現を生成する拡張三次元表現生成工程と、を行わせ、
    前記拡張三次元表現生成工程は、
    前記オブジェクトの１以上の追加の画像をキャプチャする工程と、
    前記１以上の追加の画像を、前記反射マップ表現とともに、前記オブジェクトの前記奥行きマップ表現に登録する工程と、
    追加の三次元データを前記１以上の追加の画像から導出する工程と、
    前記追加の三次元データによって、前記オブジェクトの拡張三次元表現を生成する工程と、を含む、非一時的コンピュータ可読記憶媒体。