JP6360200B2 - アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 - Google Patents

Description

関連出願の相互参照

本願は２０１４年５月１３日に出願された米国特許仮出願第６１／９９２，８０４号の優先権を主張し、その全文は参照により本稿に組み込まれる。

本発明の技術分野は、拡張現実技術に関する。

以下の背景技術の説明で、本発明の理解に有用となり得る情報を示す。ここで説明される情報の全てが従来技術、本発明に関連するものと解されるべきではなく、直接的又は間接的に触れられた刊行物の全てが従来技術と解されるべきではない。

カメラ付き携帯装置（例えば携帯電話、タブレット、ゲームシステム等）の普及により、拡張又は仮想現実コンテンツが益々求められている。拡張現実コンテンツは、現実世界の物体の画像に重畳でき、使用者の使用感を高めるものである。例えば、Ｇａｚｚｕｏｌｏによる、２００１年６月２９日に出願された、名称「Ｖｉｒｔｕａｌ Ｆｉｔｔｉｎｇ Ｒｏｏｍ」の米国特許第６，５４６，３０９号には、身体の数学的モデルから使用者のサイズを決定する処理が記載されている。そしてそのサイズは、使用者の画像に重畳可能な衣服モデルの調整に供される。即ちＧａｚｚｕｏｌｏによる手法によると、使用者は「バーチャルに」衣服を試着可能となるのである。

多種多様な市場で、拡張現実（ＡＲと略する）コンテンツを現実世界に重畳する数多の例が存在するが、やはり人が見ると重畳されたＡＲコンテンツはあくまで作り物と感じられてしまう。それはＡＲコンテンツが、荒いコンピュータ生成グラフィックとしてレンダリングされ、装置のセンサが撮像した実際の現実世界における感覚に合わないためである。

より自然さを追求するよう、コンテンツを改良しようという試みもなされている。Ｇｅｉｇｅｒらによる、２０１１年６月３０日出願の、名称「Ｖｉｒｔｕａｌ Ｌｅｎｓ−Ｒｅｎｄｅｒｉｎｇ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｌｅｎｓ」の米国特許公開第２０１３／０００２６９８号には、あるシーンの照明特性を、周囲の照明情報から修正する技術が記載されている。このような修正により、再レンダリングされたシーンがより写実的になる。

更に、物体情報を利用して画像修正を行おうという試みもある。例えば、Ｂｅｎｉｔｅｚらによる、２００６年１１月２１日に国際出願された、名称「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｃｏｌｏｒ Ｃｏｒｒｅｃｔｉｏｎ ｏｆ ３Ｄ Ｉｍａｇｅｓ」の米国特許第８，５３８，１４４号は、撮影中に判定されたアルベド情報を利用して、色情報を修正することが記載されている。更に、Ａｈｍｅｄらによる、名称「Ｓｋｉｎ ａｎｄ Ｏｔｈｅｒ Ｓｕｒｆａｃｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ Ａｌｂｅｄｏ」の米国特許公開第２０１４／００８５６２５号では、素材の種類（例えば、肌）についてのアルベド情報を使用して、物体のアルベドが判定される。

Ｍｏｇｈａｄｄａｍによる、２００５年２月１４日に出願された、名称「Ｆａｃｅ Ｒｅｌｉｇｈｔｉｎｇ ｆｏｒ Ｎｏｒｍａｌｉｚａｔｉｏｎ ｏｆ Ｄｉｒｅｃｔｉｏｎ Ｌｉｇｈｔｉｎｇ」の米国特許第７，３２４，６８８号では、アルベドを利用して入力画像から照明方向を判定している。Ｍｏｇｈａｄｄａｍは、肌アルベド情報を使用して、照明情報が得られる人物の顔画像からアルベドマップを構築している。

本稿で指定された全ての刊行物は、それぞれの刊行物又は特許出願が具体的かつ個別に参照により組み込まれるよう指定されているものとして、参照により本稿に組み込まれる。組み込まれた参照資料内の用語の定義や用法が、本稿における当該用語の定義と一致しない又は異なる場合、その用語については本稿の定義が適用され、参照資料での定義は適用されない。

以下の説明では、本発明の理解に有用となり得る情報を示す。ここで説明される情報の全てが従来技術、本発明に関連するものと解されるべきではなく、直接的又は間接的に触れられた刊行物の全てが従来技術と解されるべきではない。

いくつかの実施形態では、本発明のある実施形態を説明及び特許請求するために使用される材料の分量、濃度や反応条件等の特性は、例えば「約」という用語によって修飾されているものと理解される。したがって、いくつかの実施形態において、明細書及び添付の請求項中にルールされた数値的パラメータは概数であり、具体的な実施形態で達成しようとする所望の特性によっては変更可能である。いくつかの実施形態では、数値的パラメータは記載されている有効桁数を鑑みて、通常の四捨五入も踏まえて解釈されるべきものである。本発明のいくつかの実施形態の広い範囲を規定する数値的範囲及びパラメータは概数であるが、特定の例においてルールされた数値は実施可能となるように正確に記載されている。本発明のいくつかの実施形態に挙げられている数値は、それぞれの実測に見られる標準偏差から必然的に発生した誤差を含んでいる場合がある。

文脈に違わない限り、本稿にルールされた全ての範囲は、その上下限値を含むものと解釈すべきであり、上下限値を定めない範囲については商用に現実的な値のみを含むものと解釈すべきである。同様に、文脈に違わない限り、全ての値の列挙には中間値が含まれるものと解釈すべきである。

本稿及び請求項において、明確に矛盾する文脈でない限り、単数で記載されたものはそれが複数の場合も含む。また、本稿において、明確に矛盾する文脈でない限り、「〜において」という表現には「〜において」及び「〜上に」という意味も含む。

本稿において、値の範囲は、その範囲にある個々の値を個別に言及することの代用を単に意図するものとして挙げられている。本稿に別途ルールされない限り、個々の値は個別に言及されたものとして本稿に組み込まれる。本稿に記載された全ての方法は、本稿に別途ルールされない限り、又は明確に矛盾する文脈でない限り、任意の適切な順番で実行できる。本稿のある実施形態に関するいずれかの例又は全ての例や例示的な語（例えば「等」）は、本発明をより良く説明することを単に意図しているものであり、別の表現で請求されている本発明の範囲を制限するものではない。本明細書内のいずれの語も、特許請求されていないが本発明の実施に不可欠な構成要素を示すと解釈されるべきではない。

本稿に開示されている本発明の代用の構成要素又は実施形態の組は、それらに限定するものと解釈されるものではない。各組の部材は、個別に又は本稿に挙げられている組の別の部材や別の構成要素と任意の組合せで言及又は特許請求されてもよい。ある組における１つ以上の部材は、便宜上及び／又は特許性により、ある組に含まれても、そこから削除されてもよい。そのように含めたり削除したりする場合、本明細書は、添付の請求項で用いられている全てのマーカッシュ形式の記載を満たすものとして変更された組を含むものと解釈される。

例えば構築された物体（例えば玩具や自動車等）の真のアルベドを事前に認識（又は推定）可能な状況が存在することがあまり知られていない。そのような情報によりレンダリング装置近傍の環境に対して、よりリアルに拡張現実コンテンツをレンダリングできるようになる。したがって、例えばアルベドのような既知の物体特性に基づいて拡張現実コンテンツをレンダリングすることに対する要求が存在する。

本発明の主題は、拡張現実（ＡＲ）コンテンツが現実世界の環境の自然な一部に見えるような形で現実世界の物体の画像上に拡張現実コンテンツを表示することができる装置、システム、及び方法を提供する。本発明の主題の一態様は、ＡＲコンテンツをレンダリングするコンピュータにより実行される方法を含む。一実施形態では、当該方法は、物体の１つ以上の事前定義３Ｄアルベドモデルを取得することを含む。アルベドモデルは、好ましくは物体の反射性についての情報、及び例えば法線ベクトルのような、モデルの幾何学的情報を含む。ＡＲモデルは、物体に関する既知の特徴を更に含む。この方法は、物体のデジタル表現（おそらく物体のデジタル表現を含む画像又はビデオフレーム）から特徴（例えば、ＦＡＳＴ、ＳＩＦＴ、Ｈａｒｒｉｓコーナー等）を導出することを更に含む。レンダリング装置は、次に観察特徴に基づいてＡＲコンテンツを取得し、ここで、そのＡＲコンテンツは、物体に対してどのように表示されるかについての情報を含む（例えば、物体モデル情報、既知の特徴、動画、プログラム指示等）。レンダリング装置は、デジタル表現から、観察物体特徴に基づいて物体の体勢を導出できる。レンダリング装置は、次にアルベドモデルを体勢に当てはめ、これは、物体の観察特徴の比較及びアルベドモデルに組み込まれた既知の特徴に基づき得る。レンダリング装置は、デジタル表現および当てはめられたアルベドモデルを使用して、観察シェーディングを導出する。観察シェーディングを使用して、推定シェーディングモデル（本稿において、環境的シェーディングモデルと呼ぶこともある）を導出する。いくつかの実施形態では、センサエラー（複数可）、物体の歪みやずれ（例えば、ゴミ、キズ、汚れ等）又はその他パラメータを含むセンサ環境エラーマップが導出される。センサ環境エラーマップは、物体のあるべき姿と、センサが捉える実際の姿との差を示す。この方法は、推定シェーディングモデルをＡＲコンテンツに適用することにより、環境的に調整されたＡＲコンテンツを生成することを更に含む。このように、レンダリング装置は、ＡＲコンテンツを、撮像された物体の見た目に近いと考えられる見た目を有するコンテンツに変換する。最後に、環境的に調整されたＡＲコンテンツは装置でレンダリングされ、使用するユーザに供される。いくつかの実施形態では、環境エラーマップでは特定不能な環境的アーチファクトも、ＡＲコンテンツと共にレンダリングされて、よりリアルな感覚が得られる。

本発明の主題についての各種目的、特徴、態様、効果は、以下の好適な実施形態の記載でより明らかになる。添付の図面が参照されるが、同様の参照符号は同様の構成要素を指す。

図１は、ＡＲコンテンツをレンダリングする方法を概略的に示す。

図２は、図１の方法の一部の、物体の追跡、ＡＲコンテンツのレンダリングを概略的に示す。

図３は、既知の物体からの３Ｄアルベドモデル構築の特性を示す。

図４は、物体の観察された体勢に対する３Ｄアルベドモデルの当てはめ（alignment）を示す。

図５は、調整、レンダリングされた拡張現実コンテンツを取得する処理をグラフィックで示す。

図６は、表面法線に関する、図５の推定シェーディングモデルのグラフィック表示を示す。

図７は、環境エラーマップ内で特定されたアーチファクトに対して、拡張現実のレンダリングを調整するさらなる処理をグラフィックで示す。

図８は、本発明の実施形態に係るコンピュータプログラムプロダクトに含まれる指示コードを実施するために使用される１つ以上のレンダリング装置及び／又はその他のコンピュータに含まれ得る又はこれらを示すコンピュータシステムの例を示す。

コンピュータに指示されるあらゆる言語は、サーバ、インターフェース、システム、データベース、エージェント、ピア、エンジン、コントローラ、又は個別に又はまとめて動作するその他の種類の演算装置構造を含む、演算装置のあらゆる適切な組合せを含むよう読み込まれることに留意されたい。演算装置は、有形、非一時的コンピュータ読取可能記憶媒体（例えばハードドライブ、ソリッドステートドライブ、ＲＡＭ、フラッシュ、ＲＯＭ等）に記憶されるソフトウェア指示を実行するよう構成されるプロセッサを含むことが理解されよう。ソフトウェア指示は、好ましくは、開示されている装置について以下に記載する役割、責任、又はその他の機能を提供するように演算装置を構成する。また、開示されている技術は、プロセッサに対して開示されているステップを実行させるソフトウェア指示を記憶する非一時的コンピュータ読取可能媒体を含むコンピュータプログラムプロダクトとして実施することもできる。特に好ましい実施形態では、各種サーバ、システム、データベース又はインターフェースは、ＨＴＴＰ、ＨＴＴＰＳ、ＡＥＳ、公開秘密鍵の交換、ウェブサービスＡＰＩ、既知の金融取引プロトコル、又はその他の電子情報交換方法に基づき得る、標準化されたプロトコル又はアルゴリズムを用いてデータをやり取りする。データのやり取りは、パケット交換ネットワーク、インターネット、ＬＡＮ、ＷＡＮ、ＶＰＮ、又はその他の種類のパケット交換ネットワークを介して行われてもよい。

開示の技術は、アルベドモデルを観察物体に当てはめることを含む、多くの技術的利点が得られることが理解されよう。この当てはめ（alignment）に基づいて、コンピューティング装置は、センサが物体を観察した状況を判定することができる。そして、ＡＲコンテンツはその状況を踏まえて、ユーザによる使用のために提供又はレンダリング可能となる。

以下、本発明の主題の多くの例示的実施形態が説明される。それら各実施形態は発明の要素のある組合せからなるが、本発明の主題は、開示されている要素のあらゆる組合せを含むと考えられることが理解されよう。したがって、一実施形態が要素Ａ、Ｂ、Ｃを含み、別の実施形態が要素Ｂ、Ｄを含む場合、本発明の主題は、本稿に明示的に述べられていない場合でも、Ａ、Ｂ、Ｃ、又はＤの他の組合せも含むと考えられる。

本稿で使用される「と接続される」という語は、別途明確にルールされない限り、直接接続（２つの要素が互いに接して接続される）及び間接接続（少なくとも１つの追加の要素が当該２つの要素間に配置されている）の両方を含むことを意図している。したがって、「と接続される」も「に接続される」も同義として使用される。

以下の説明では、本発明の主題はＡＲコンテンツを玩具に重ね合わせるという文脈で提示される。ＡＲコンテンツは、現実世界の物体の画像と共に表示された際、より周辺の物体に自然に溶け込むよう調整される。記載の例は、人形の画像に対して、人形の顔を示すＡＲコンテンツ（例えばアニメーション等）を重畳することについて説明される。開示の技術は、印刷媒体、医療画像、車両、建物、機器、又はその他種類の物体のような、上記とは異なる種類の物体にも適用可能であることが理解されよう。

図１は、ＡＲコンテンツをレンダリングする方法１００を示す。図３、４は方法１００のいくつかのステップについての詳細を示すもので、方法１００と共に説明される。方法１００は、記載のステップに従って動作するよう構成又はプログラムされたレンダリング装置により実行されるステップの集合である。レンダリング装置は、少なくとも１つのプロセッサと、装置に開示の通りにＡＲコンテンツをレンダリングさせるソフトウェア指示を記憶するメモリを有するコンピューティング装置である。レンダリング装置として動作するよう構成又はプログラム可能な装置の例としては、携帯電話、スマートフォン、タブレット、ファブレット、ゲーム筐体、カメラ又はビデオカメラ、車両ナビゲーションシステム、ロボット、セキュリティシステム、携帯ゲーム機、キオスク、機器、又はその他種類のコンピューティング装置が挙げられる。

方法１００は任意で、物体の事前定義３Ｄアルベドモデルを生成することを含むステップ１１０から開始する。当該モデルは、物体の特性に合わせて様々な技術で生成できる。図３に示す例では、物体は人形３０１である。アルベドモデル３０６は、人形の既知の幾何学的特性や、人形の素材の既知の特性に基づいて定義可能である。したがって、モデルは人形のコンピュータ生成モデルと、人形の素材の特性を示す材料表により構築されてもよい。

図３では、図をわかりやすくするため、アルベドモデル３０６のグラフィック表現３０２も示す。アルベドモデル３０６は好ましくは、メッシュを含み得る３Ｄモデルであることが理解されよう。アルベドモデルは、開示の技術に有用な多数の特性を持つ。まず、モデルは、モデルの表面上に分布された法線ベクトル３０７を含む。法線ベクトルは表面に対して垂直である。各法線ベクトルにおいて、モデルはその位置に対応するアルベド情報を更に含む。アルベド情報は、その場所での物体の実際の反射特性を示す。例えば、人形の顔面皮膚素材に対応するアルベド情報は、若干反射性のないマットプラスチックを示し、人形の目素材に対応するアルベド情報は、非常に反射性の高いガラスやプラスチックビーズを示す場合がある。したがって、アルベド情報はモデルの表面を通じて非連続的となり得るのである。一方、アルベド情報が連続的となり得る場合もある。アルベドモデル情報が表面幾何学的に算出可能な場合である。この場合、この暫時的に生成されたアルベドモデルが得られる。完全なアルベドモデルの代わりに、暫時的なもの（例えば、関数、ソフトウェア指示、ルール、幾何学特性等）をレンダリング装置に転送できるのである。したがって、レンダリング装置は事前に構築されたモデルを転送する帯域コストを発生させる代わりに、部分的なアルベドモデルを暫時的に生成できる。この手法は、帯域に制限があるか、費用が掛かるような状況で有効と考えられる。例えばデータプランが限られた携帯電話のような場合である。

３Ｄアルベドを、物体に関連した部位に分解してもよい。図示の例では、モデルは２つの目部位３０４と、顔部位３０３という部位を含む。ＡＲコンテンツのレンダリングに有利であれば、３Ｄモデルは多数の部位を有してもよいことが理解されよう。更に、各部位は独自の照明ポリシーを有し得る。３Ｄアルベドモデルにおける対応する部位に対して設定された照明ルール等である。照明ルールは、表示装置に重ね合わせられるなどして提示された際に、ＡＲコンテンツの対応する要素がどのようにレンダリングされるべきかを規定するものである。例えば、人形の肌又は顔の表面は、マット仕上げされているため、ランバート照明技術が使用され得る。人形の目は反射性の高いガラスやプラスチックを含み得るため、照明ルールとして鏡面照明用の指示が含まれ得る。更なる照明ルールとしては、フォン照明、フォンシェーディング、ガウシアンフィルタやその他照明アルゴリズムが挙げられる。照明ルールは、顔面特徴、武器、パネル、衣服一着、車両特徴、プリント用インクの種類、組織種類、基板、ゲーム特徴、素材の種類やその他物体特徴が挙げられる。

３Ｄアルベドモデルは、更に、位置合わせ特徴３０５を有してもよい。これにより、モデルが対応する現実世界の物体に正しく合わせられる。画像データ用の位置合わせ特徴は、ＳＩＦＴ、ＢＲＩＳＫ、ＳＵＲＦ、ＦＡＳＴ、ＢＲＩＥＦ、Ｈａｒｒｉｓ Ｃｏｒｎｅｒｓ、Ｅｄｇｅｓ、ＤＡＩＳＹ、ＧＬＯＨ、ＨＯＧ、ＥＯＧ、ＴＩＬＴ等の画像処理アルゴリズムによって導出された特徴を含んでもよい。当該特徴は、レンダリング装置がフィールド内の正しいモデルや、物体を特定可能になるので有利である。アルベドモデル内の各特徴は、記述子値、モデル内の３Ｄ座標やその他情報を含んでもよい。

３Ｄアルベドモデルは、物体取り込みエンジンの一部のようなレンダリング装置以外の装置により、オフライン処理中に構築されてもよい。例えば人形デザイナーがＣＡＤシステムで人形のモデルを構築する際、ＣＡＤシステムはコンピュータ生成物体モデルとしてアルベドモデルを構築する。コンピュータ生成モデル内のメッシュの各ポリゴンは、対応するアルベド情報と共に、法線ベクトルを含んでもよい。更に、コンピュータ生成モデルが、例えば人形の顔面のような物体の一部のみを示してもよいことが理解されよう。したがって、３Ｄアルベドモデルは、玩具、車両、顔面、市販製品、印刷媒体、自動販売機、機器、植物、看板、組織、患者、ゲームコンポーネント、人物又はその顔やその他種類の物体の１つ以上を示してもよい。別の実施形態では、装置はランタイム中に、人形の３Ｄ像を構築してもよい。多数の視点（好ましくは照明条件が異なる）でセンサが観察した特徴を平均化して、ランタイム中に推定アルベドモデルを生成できる。

ステップ１１５は、レンダリング装置が、物体の事前定義３Ｄアルベドモデルを取得することを含む。ここでも人形を例に挙げるが、レンダリング装置は人形のアルベドモデルを含み、人形と相互作用するアプリを持つよう構成されたタブレット装置を含んでもよい。別の場合として、レンダリング装置はステップ１２０に記載のように、物体のデジタル表現（例えば画像、ビデオ、音声等）を取得してもよい。そして、レンダリング装置はデジタル表現から、Ｂｏｎｙｃｋらが共同所有する、２００１年１１月５日出願の、名称「Ｉｍａｇｅ Ｃａｐｔｕｒｅ ａｎｄ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ ａｎｄ Ｐｒｏｃｅｓｓ」の米国特許第７，０１６，５３２号のような既知の技術を利用して物体を認識できる。認識後、レンダリング装置はデジタル表現から導出された特性（例えば画像特性、記述子等）を使用して、データベースやその他種類のデータ記憶部からアルベドモデルを検索してもよい。更に上述のように、装置は別の実施形態において、多数の視点（好ましくは照明条件が異なる）でセンサが観察した特徴を平均化して、推定アルベドモデルを生成することで、ランタイム中に人形の３Ｄ表現を構築してもよい。

ステップ１３０は、レンダリング装置が物体のデジタル表現から特徴を導出することを含む。導出された特徴は、デジタル表現の態様に応じて、様々な形態をとり得る。レンダリング装置は、ステップ１３５のようにデジタル表現に１つ以上の特徴検出アルゴリズムを適用して画像データの特徴を生成してもよい。アルゴリズムの例としては、ＳＩＦＴ（Ｌｏｗｅによる、２０００年３月６日出願の、名称「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｉｄｅｎｔｉｆｙｉｎｇ Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅｓ ｉｎ ａｎ Ｉｍａｇｅ ａｎｄ Ｕｓｅ ｏｆ Ｓａｍｅ ｆｏｒ Ｌｏｃａｔｉｎｇ ａｎ Ｏｂｊｅｃｔ ｉｎ ａｎ Ｉｍａｇｅ」の米国特許第６，７１１，２９３号参照）、ＢＲＩＳＫ、ＳＵＲＦ、ＦＡＳＴ、ＢＲＩＥＦ、Ｈａｒｒｉｓ Ｃｏｒｎｅｒｓ、ｅｄｇｅｓ、ＤＡＩＳＹ、ＧＬＯＨ、Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）、Ｅｄｇｅ Ｏｒｉｅｎｔａｔｉｏｎ Ｈｉｓｔｏｇｒａｍｓ（ＥＯＧ）、ＴＩＬＴ（Ｍａらによる、２０１０年１１月２９日出願の、名称「Ｒｏｂｕｓｔ Ｒｅｃｏｖｅｒｙ ｏｆ Ｔｒａｎｓｆｏｒｍ Ｉｎｖａｒｉａｎｔ Ｌｏｗ−Ｒａｎｋ Ｔｅｘｔｕｒｅｓ」の米国特許第８，４６３，０７３号参照）等が挙げられる。導出された特徴が、前述の３Ｄアルベドモデルの取得に使用された特徴と同様であってもよいことが理解されよう。

ステップ１４０は、レンダリング装置が、ステップ１３０で導出された特徴に基づいて物体に関連したＡＲコンテンツを取得することを含む。ＡＲコンテンツは、物体に対応する記述子に応じて、データベース又はデータ構造内でインデックスされてもよい。例えば、人形のコンピュータアニメーションを含むＡＲコンテンツは、アプリ動作中のタブレットのメモリに記憶できる。そして、デジタル表現の記述子が、メモリ内でアニメーションコンテンツのインデックスに使用されたものと十分一致すれば、人形に対応するアニメーションが抽出できる。いくつかの実施形態では、ＡＲコンテンツ又は、ＡＲコンテンツに対するポインタは、例えばスピルツリー又はｋ−ｄツリーのようなｋ近傍法（ｋＮＮ）ルックアップに対応するデータ構造内でインデックスされてもよい。例えば、ステップ１４５のように、方法は更に特徴に対応する記述子に基づいて、ＡＲコンテンツを検索することを含んでもよい。更には、ＡＲコンテンツはデータベース、遠隔検索、検索エンジン、又はその他データ記憶部から取得されてもよい。

ＡＲコンテンツは、上述のようにレンダリング装置に対してローカルなものであってもよい。あるいは、ＡＲコンテンツは遠隔で記憶されてもよい。そのような実施形態では、レンダリング装置は、ｋＮＮルックアップの検索結果等、アドレスを用いて、ＡＲコンテンツを取得してもよい。アドレスの例としては、ＵＲＬ、ファイルハンドル、ＵＲＩ、ＩＰアドレス、インデックス、ドキュメントオブジェクト識別子（ＤＯＩ）、又はその他種類のアドレスが挙げられる。

ＡＲコンテンツ自体幅広い種類のコンテンツを含む。より好ましいコンテンツとしては、レンダリングされて、レンダリング装置に接続されたディスプレイ画面に表示可能な視覚的コンテンツが挙げられる。例示的なＡＲコンテンツとしては、ゲーム、アプリケーション、ビデオ、画像、アニメーション、３Ｄレンダリング物体、物体メッシュ、アニメーションメッシュ、年齢投影動画（ａｇｅ ｐｒｏｊｅｃｔｅｄ ａｎｉｍａｔｉｏｎ）、医療画像、衣服、メイク、眼鏡、家具、ウェアラブルアクセサリ（例えば指輪やネックレス等）、人物、アバター、ペット、クーポン、店棚、標識、解剖図の一部、超音波画像、又はその他種類の物品が挙げられる。視覚的コンテンツがＡＲコンテンツとして好ましいが、ＡＲコンテンツは例えば音声や触感等その他態様であってもよい。なお、別の実施形態では、ＡＲコンテンツは図示の方法フローの後半で検索してもよい。例えば、推定シェーディングモデルを導出１６７した後に検索されてもよい。概して、ステップの実行が、文脈的に別のステップの完了により得られた結果の使用が必須となるような場合を除いて、ステップの実行順序は図示のものから変更可能である。

ステップ１５０は、レンダリング装置がデジタル表現から物体の体勢を導出することを含む。体勢は、いくつかの情報に基づいて判定できる。いくつかの実施形態では、レンダリング装置は、上述のように既知の基準特徴を含む３Ｄアルベドモデルのような物体モデルを記憶可能である。観察された特徴がデジタル表現から導出されたのち、既知の基準特徴と観察された特徴が一致するように又は相対配置されるように、物体モデルの体勢を決定できる。ＡＲコンテンツが物体の画像に重ね合わせられるような実施形態において、体勢情報は有効である。体勢情報は、ＡＲコンテンツが表示画像内で物体に対して並置される場合にも有効である。人形の例に戻ると、ＡＲコンテンツは、人形が指さす又は見つめる先に存在する妖精であってもよい。なお、体勢は例えば物体の画像を撮影するカメラのような、デジタル表現を取得するセンサに対して配向される。

上述したように、３Ｄアルベドモデルは、既知の基準特徴を含んでもよい。アルベドモデル特徴は、ステップ１６０で利用できる。当該ステップは、アルベドモデルを体勢に当てはめて、物体シェーディングモデルの解を得るため連立方程式を立てることを含む。ステップ１６５のように、アルベドモデル内の既知の特徴を、デジタル表現から導出された対応する特徴に当てはめることで、アルベドモデルを当てはめることができる。アルベドモデルと画像を当てはめた後、それらの差分を利用して観察シェーディングデータを導出できる。

図４は、人形の顔面の３Ｄアルベドモデルを、人形の観察画像に当てはめた様子を示す。図４は、ここでは人形の顔面である物体のデジタル表現４０１を示す。物体特徴４０５は、例えばＳＩＦＴ、ＦＡＳＴ等の既知の画像特徴アルゴリズムを利用して、デジタル表現から導出可能である。デジタル表現４０１の特定の特徴４０５を、アルベドモデル３０６の表現３０２からの所定の訓練特徴３０５と比較してもよい。その結果一致した特徴を使用して、画像４０１をアルベドモデル３０６（図４のグラフィック表現３０２で示す）に当てはめることができる。ここで、全ての特徴、又はその記述子が、必ずしも使用する必要や完全に一致する必要はないことを強調しておく。

図１のステップ１６７は、レンダリング装置が推定シェーディングモデルを、観察シェーディングデータから導出することを含む。観察シェーディングデータは、デジタル表現を取得する１つ以上のセンサによる、センサ環境内の物体のシェーディングの認識に対応し、推定シェーディングモデルを当該データから導出することで、撮像物体に対応するＡＲ物体に対して推定シェーディングを適用する。物体シェーディングデータが、観察体勢と事前定義アルベドモデルの両方から導出されることを鑑みて、推定シェーディングモデルは物体に対応する画素レベル情報を含んでもよい。例えば、物体の表示画像に対応する画素の照明は、アルベドモデルからの算出アルベドや、実際の撮像時の体勢の画素の観察色値から導出可能である。推定シェーディングモデルは、コンピュータグラフィック情報の理想的状態から、センサ観察環境のシェーディングに沿った状態に変換する変換と捉えることができる。

この時点で、レンダリング装置は物体に関する２つの情報を有していることになる。レンダリング装置は、デジタル表現を取得するセンサに環境で、実際に物体がどのように見えているかを把握しており、更に事前定義３Ｄアルベドモデルから、元々理想的な状態では物体がどのように見えているべきなのかも把握しているのである。これら情報を組み合わせて、シェーディングモデルの把握していないパラメータを推定し、それを推定物体シェーディングモデルとして実施するのである。

推定シェーディングモデルは、照明環境についての膨大な情報を含むが、それぞれの基となる情報のソース／種類は必ずしも区別されなくてもよい。例えば、推定シェーディングモデルが、対象物体の照明の特性を捉えることに、実際の照明源を判定する必要はないのである。これは、センサにより観察された物体と、アルベドモデルに基づく物体の既知の理想的状態との間の例えば画素レベルでの差異を判定することで可能となる。或いは、実際の表現（物体の撮像画像のデジタル表現に基づく）を想定された表現（アルベドモデルに対する推定シェーディングモデルに基づく）と比較することで、環境エラーマップを導出してもよい。このようなエラーマップにより、センサに対応する又はその他要因で環境に存在するアーチファクトが特定できる。この例として、携帯電話のレンズ表面に指紋汚れがついている場合を考える。このような汚れは、環境（したがって、物体の想定されるシェーディング）の照明に影響しないが、取得されるデジタル表現の特性には影響する。更に、汚れはユーザに対する撮像画像の表示又はレンダリングに影響する。センサ環境エラーマップにより、そのようなセンサ関連異常を、異常を精確に推定することなく理解できる。センサエラーマップを利用した手法は概して、センサによる撮像時の、撮像データ上の環境的アーチファクトの影響を判定する低負荷な方法が得られるという点で有効である。例えばカメラのようなセンサは、環境からのデータが装置に入る際の、最終入力点となることが理解されよう。センサにより収集されたデータは、物体の観察環境状態を表す。したがって、別の実施形態（図７において更に説明される）において、環境エラーマップを使用して、図１記載の方法を補強してもよい。即ち、ＡＲコンテンツのレンダリングに含まれるようなセンサ環境異常を特定してより現実的感覚が得られる。

推定シェーディングモデルや、センサ環境エラーマップは、必須ではないが、多数の特徴を有してもよい。特徴の１つとして、センサ環境マップは環境照明マップを含むことが考えられる。照明マップは、物体のアルベドモデルを、物体の観察された色に比較することで導出できる。更に、上述のように、センサエラーマップは、所定の状態からのずれ、汚れ、レンズ形状、キズ等を示すことができる。そして、センサ環境マップは、デジタル表現取得に対して環境が及ぼす影響を示すノイズマップを更に含んでもよい。ノイズを解説するため、超音波振動子によりデジタル表現を取得することで開示の技術を実施する技術について考える。例えば組織や反射に関連するノイズによりノイズマップが構成される。そのような実施形態では、例えば物体の組織密度により、物体のアルベドモデルと同等の音響が得られ得る。このような実施形態は、ＡＲコンテンツをレンダリングしてよりリアルに感じさせるため、推定シェーディングモデルに替えて又は加えて、環境モデルやマップが寄与できることを示す。さらなる実施形態では、観察された物体の自然の状態からのずれや歪みを含むセンサ環境マップを含んでもよい。例えば、人形の顔面であれば、キズやペンで描いた跡を含み得る。これら特徴を、レンダリングされるＡＲコンテンツに反映させ、含めることができる。レンダリング装置は、そのような歪みを、既知の物体モデルと観察された物体との差異に基づいて観察可能である。既知の物体モデルは、アルベドモデルに組み込まれてもよいし、区別されてもよい。

ステップ１７０は、ＡＲコンテンツに推定シェーディングモデルを適用することで、環境的に調整されたＡＲコンテンツを生成することを含む。前述のように、推定シェーディングモデル（本稿では環境シェーディングモデルとも称する場合がある）は、ＡＲコンテンツをそのより理想的な状態から、レンダリング装置により観察された態様の物体により適合した状態にする変換を表す。ＡＲコンテンツは、ステップ１７５のように、３Ｄアルベドモデルからの１つ以上の照明ルール群を、当該モデルの部位に対応するＡＲコンテンツの部位に適用することで、調整可能である。幾何拘束（例えばポリゴン、バウンディングボックス等）、認識特徴（例えば記述子、キーポイント等）又はその他マッチング技術により、ルール群のＡＲコンテンツの部位への正しいマッチングが可能となる。

例えば、ディズニー（登録商標）社製のお姫様人形のような人形が、ダウンロード可能な拡張現実アプリと共に販売されている場合を考える。当該アプリは、子供がそのお姫様とお茶会で対話できるようにするものであるとする。子供が、例えばタブレットで人形のリアルタイム動画を撮影する。これに対し、アプリは、話したり又は子供の質問に応答したりする人形の顔のアニメーションとしてのＡＲコンテンツを重ね合わせる。アニメーションの唇、目、肌は、アルベドモデルにおけるそれぞれのルールに従って個別に調整されるため、子供に対して非常に自然に提示されるのである。

ステップ１８０は、レンダリング装置が、環境的に調整されたＡＲコンテンツをレンダリングすることを含む。レンダリング処理は、センサ環境マップ情報や、システム内のその他要素から生成されたルールに従って、ＡＲコンテンツを変換することを含む。例えば、体勢情報を使用して、視線又は隠面除去等に対応できる。更に、デジタル表現を取得するセンサの位置又は向きを使用して、ＡＲコンテンツをレンダリング用に正しい位置へと並進できる。

ステップ１９０は、ディスプレイにレンダリングされた環境的に調整されたＡＲコンテンツを提示することを含む。ディスプレイは、レンダリング装置と一体的に設けられてもよい。例えば、タブレットがレンダリング装置である上述の例で記載したように、レンダリング装置はタブレットであってもよい。その他の実施形態では、ディスプレイはレンダリング装置に対して遠隔地に設けられてもよい。例えば、ディスプレイ装置がクライアントコンピュータのコンピュータスクリーンであって、レンダリング装置がインターネットを通じてそのレンダリングサービスを提供するウェブサーバやサービスであってもよい。レンダリングされた環境的に調整されたＡＲコンテンツは、ステップ１９５のように、物体の少なくとも一部の画像に重ね合わせることができる。或いは、調整されたＡＲコンテンツはディスプレイ内の物体の位置に対して相対配置されてもよい。また、調整されたＡＲコンテンツが、視野外の状態では、スクリーン内に提示されず、視野内に入れば、提示できるものであってもよい。例えば、人形のＡＲコンテンツが、人形の位置の近くに座る友達の画像を含み、その画像が定期的に表示されなくなったりしてもよい。ＡＲコンテンツは、推定環境マップの特性に応じて配置できる。例えば、物体から所定の半径離間したところであって、常に環境マップ中でも最も暗い箇所に雲をレンダリングする方法を実行してもよい。

対象物体が観察される環境が多分に変動し得ることを考え、いくつかの実施形態にかかわるレンダリング装置は、図２に記載のように物体のリアルタイム追跡が可能であってもよい。図２に記載の追跡機能は、方法１００のステップ１８０について説明したようなレンダリング処理の一部と考えることもできよう。

ステップ２００では、デジタル表現から導出された特徴の少なくとも一部が追跡される。追跡される特徴は、必ずしも最初に物体の認識に使用されていた特徴と対応する必要がないことが理解されよう。例えば、レンダリング装置はＳＩＦＴ特徴や記述子を利用して物体を認識し、その後ＦＡＳＴ特徴を利用して追跡を実行してもよい。ステップ２０５では、追跡物体の更新された体勢が推定され、現在の物体シェーディングモデルが更新される。ステップ２１０では、環境的に調整されたＡＲコンテンツが、特に撮像センサに関連した特徴の動きに応じて再レンダリングされる。再レンダリングされたコンテンツは、物体の体勢の変化、表情の変化、予測運動、又は物体或いは特徴の動きに関連したその他要素を考慮したものとなりうる。一実施形態では、ステップ２０５において、シェーディングモデルを更新するために体勢が再推定され、ステップ２１０において環境的に調整されたＡＲコンテンツが実質的にビデオシーケンスのフレームに合わせて（例えば１０ｆｐｓ、２０ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ等）再レンダリングされる。これにより、更にユーザに自然な印象を与えることができる。

開示の技術により、面白い機能が得られる。１つの実現可能な機能としては、物体（例えば人物、車両等）の既知のアルベドモデルを使用して、当該物体を古いビデオシーケンスに落とし込むことが挙げられる。例えば、古いビデオシーケンス（例えば白黒画像、昔のシットコム等）に存在する既知の物体から３Ｄアルベドモデルを構築できる。物体の昔の記録映像を新たに生成されたアルベドモデルと比較することで、レンダリング装置はＡＲコンテンツを記録映像に落とし込むために必要な変換を決定できる。このような既知の物体としては、現存する建物、自動車、家具やシーケンス内のその他物体が挙げられる。

ショッピングに利用する場合、小売店や商品提供者は開示の技術を利用して、使用者のショッピング経験を向上できる。商品提供者は、例えば自社製品の飲料缶のような既知のアルベドモデルを提供できる。使用者が飲料缶を撮像すると、ＡＲコンテンツが環境に落とし込まれ、使用者は飲料缶に対して操作が可能となる。例えばコカ・コーラ（登録商標）社であれば、コーラ（登録商標）を料理に使用するためのレシピの調理を補強するＡＲを提示するような既知のアルベドモデルを使用するアプリを提供できる。

図５は、本発明の実施形態で実行される画像処理をグラフィックで示す。人形の顔面の３Ｄアルベドモデル５０１が取得され、撮影（観察）された人形の顔面の画像５０２に当てはめられる。なお、画像５０２は、画像を撮影するタブレットやその他装置のレンズの汚れ等に起因し得るアーチファクト５１１を含む。当該アーチファクトに対応し、ＡＲコンテンツのレンダリングの補強に使用可能なエラーマップの生成についは、図７を参照に更に説明する。図５に戻ると、観察シェーディング５０３が、画像５０２からアルベドモデル５０１を使用して抽出される。後述のように、観察シェーディング５０３から、推定シェーディングモデル５０４が取得される。観察シェーディング５０３は、ＡＲコンテンツをレンダリングする装置の特定の環境における照明状況に対応するよう、ＡＲコンテンツ５０５を修正するために使用される。具体的には、シェーディングモデル５０４をＡＲコンテンツ５０５に組み合わせて、再照明コンテンツ５０６をレンダリングする。

以下に、主題の数学的側面を、図５の画像処理フローに合わせて説明する。

一般に、画像Ｉ内の画素ｐ∈Ｒ^２（Ｒ：実数の集合を表す白抜きＲ）における色チャネルｃの値Ｉ_ｃ（ｐ）は、アルベドおよびシェーディングの関数としてモデル化することができる（ここで、Ａｌｂｅｄｏ_ｃ（ｐ）∈Ｒ、Ｓｈａｄｉｎｇ_ｃ（ｐ）∈Ｒ）。

あくまで一般的なケースとして、説明をシンプルにするため、画像内の全画素が既知の物体に対応するものとする。実際のシェーディングモデル推定は、既知の物体に対応する画像画素のサブセットにのみ基づく。当てはめの後、画像内の各画素は３Ｄアルベドモデルに対応する、Ａ_ｃ：Ｒ^３→Ｒ。このようにして、画素ｐに対して、３Ｄ位置Ｘ∈Ｒ^３、その法線Ｎ∈Ｒ^３およびャネルに対応したアルベドＡ_ｃ（Ｘ）∈Ｒが得られる。

モデル上の各３Ｄ位置のアルベドが与えられれば、当てはめの後、観察シェーディングを以下の式により抽出することができる。

これは、各観察画素ｐと３Ｄ点Ｘとの間に対応が確認されているため成立するものであって、以下の式も成立する。

さらに、各画素ｐにおける３Ｄ法線Ｎも確認している。多くの場合、法線のみで環境照明によるシェーディングのモデル化が可能であるため、以下の式が成立する。

ここで、式４におけるＮは、ｐに対応する法線であって、Ｓ_ｃ：Ｒ^３→Ｒは関数である。

さらに、以下の二次関数のように真のシェーディングモデルを近似することができる。

ここで、Ｑ_ｃは３×３行列、Ｎ^ＴはＮの転置である。

そして、以下の関数の最小化によって、Ｑ_ｃを推定することができる。
ここで、ｉは、２Ｄ−３Ｄ対応のある全ての画像画素群からの画素インデックスを示す。標準的な最小二乗推定により、Ｑ_ｃの解を得ることができる。なお、Ｑ_ｃは対応する任意の場所、即ちモデル全体又は特徴点のみで決定することができる。

ただし、その場合はいくつかの分布からのさらなるノイズモデルとの干渉、最適化関数又は画像領域の誤差のスパース性の制限、センサ又は環境についてのその他想定されうる事項に基づくさらなる制限等を含むより複雑な最適化の問題となるとも思われる。

各画像チャネルについてシェーディングモデルパラメータＱ_ｃが得られれば、単純に推定Ｑ_ｃやＡＲ物体のアルベドモデルをＳ_ｃ（Ｎ）＊Ａ_ｃ（Ｘ）に代入することで、シェーディングモデルに応じて、投影されたあらゆるＡＲコンテンツ（真の３Ｄ幾何特性と、アルベドモデルＡ_ｃが得られている）をレンダリングすることができる。

図６は、説明のため、Ｑ_ｃで推定されたシェーディングモデルを、球又は立方体の表面に対する法線に関して視覚化することで、シェーディング環境マップ５０４Ｎを生成されることを図示するものである。

図７は、ＡＲコンテンツのレンダリングに、環境異常を組み込む上位処理のフローを示す。図５の推定シェーディングモデル５０４を使用して、既知の３Ｄ物体の推定レンダリング結果７０２が得られる。そして、想定された見た目７０２と、観察画像５０２との間の差異を、既知の物体の表面に応じて逆投影することで、環境エラーマップ７０１が生成される。図７に示すマップは、逆投影エラーアーチファクトを示すテクスチャ付き立方体である。ここで、観察画像５０２のアーチファクト５１１は、図示の通りマップ７０１に示される。その後、マップ７０１を使用してレンダリング５０６を補強することで、アーチファクト５１１を含んだレンダリング７０６を生成できる。これにより、よりリアルなＡＲレンダリング７０６が実現できる。図７の実施形態は、レンズ上の汚れ、キズやその他センサ関連アーチファクトの取得に有利となりうる。ただし、図示の種類のエラーマップにより、環境に起因したその多種類の視覚的アーチファクトを取得でき得る。また、物体の推定レンダリングと、実際の画像との差に基づいてその他種類のエラーマップも生成できる。

図８は、本発明の実施形態に係るコンピュータプログラムプロダクト８０６０に含まれる指示コードを実施するために使用される１つ以上のレンダリング装置及び／又はその他のコンピュータに含まれ得る又はこれらを示すコンピュータシステム８０００の例を示す。コンピュータプログラムプロダクト８０６０は、本稿で言及されている実施形態によって実施される例示的方法ステップを実現する処理を実施するようにコンピュータシステム８０００等の１つ以上のコンピュータに指示してもよい電子的可読媒体における実行可能コードを含む。当該電子的可読媒体は、情報を電子的に記憶する任意の非一時的媒体であってもよく、ローカルで、又は例えばネットワーク接続を介してリモートでアクセスされてもよい。当該媒体は、それぞれ異なる位置及び／又は異なる時間に実行可能コードの異なる部分を記憶するように構成された複数の地理的に分散された媒体を含んでもよい。電子的可読媒体における当該実行可能指示コードは、図示されたコンピュータシステム８０００に対して本稿に記載されている各種例示的タスクを実施するように指示する。本稿に記載されているタスクを実施するように指示する当該実行可能コードは、典型的にはソフトウェアによって実施されるであろう。しかし、本発明から逸脱することなく、コンピュータ又はその他の電子装置が、特定されているタスクの多くを、又はその全てを実施するように、ハードウェアにおいて実現されたコードを活用することが、当業者には理解されるであろう。また、実行可能コードに様々な変化を加えたものが本発明の精神及び範囲における例示的方法を実施することも、当業者には理解されよう。

コンピュータプログラムプロダクト４０６０におけるコード又はコードのコピーは、プロセッサ８０２０によって実行されるために持続記憶装置８０７０及び／又はメモリ８０１０に読み込み、記憶するためにシステム４０００に通信可能に接続される１つ以上の持続記憶媒体（個別に図示せず）に存在してもよい。コンピュータシステム８０００は、更にＩ／Ｏサブシステム８０３０及び周辺装置８０４０を含む。Ｉ／Ｏサブシステム８０３０，周辺装置８０４０，プロセッサ８０２０，メモリ８０１０，及び持続記憶装置８０６０は、バス８０５０を介して接続される。コンピュータプログラムプロダクト８０６０を含み得る持続記憶装置８０７０やその他任意の持続ストレージと同様に、メモリ８０１０は、（典型的な揮発性コンピュータメモリ装置として実施されるものであっても）非一時的媒体である。更に、本稿に記載の処理を実施するためにコンピュータプログラムプロダクト８０６０を記憶することに加えて、メモリ８０１０及び／又は持続記憶装置８０６０は、本稿に言及され図示された各種データ要素を記憶するように構成されてもよいことも、当業者には理解されよう。

コンピュータシステム８０００は、本発明の実施形態に係るコンピュータプログラムプロダクトが実施され得るシステムの単に一例を示しているに過ぎないことが、当業者には理解されよう。別の実施形態の単なる一例を挙げると、本発明の実施形態に係るコンピュータプログラムプロダクトに含まれる指示の実行は、例えば、分散型コンピュータネットワークのコンピュータを介する等の複数のコンピュータを介する分散型であってもよい。

記載されたもの以外にも多くの変形例が、本稿の発明の概念から逸脱することなく可能であることは、当業者に理解されるであろう。したがって、本発明の主題は、添付の請求項の精神をおいて他のものに限定されることはない。更に、明細書及び請求項を解釈するに際し、全ての用語はその文脈に応じて可能な最も広い意味に解釈されるべきである。特に、「〜を含む」という用語は、要素、構成要素、又はステップを非排他的に言及するように解釈されるべきであり、当該言及された要素、構成要素、又はステップは、明示的に言及されていないその他の要素、構成要素、又はステップと共に存在、活用、又は組み合わせられることを示している。明細書及び請求項において、Ａ、Ｂ、Ｃ・・・、Ｎからなる群から選択された少なくとも１つの何かを言及する場合、Ａに加えてＮ、又はＢに加えてＮ等ではなく、この群からただ１つの要素のみが必要であると解釈されるべきである。

Claims (35)

1. 拡張現実コンテンツをレンダリングする方法であって、
   レンダリング装置によって、物体の事前定義３Ｄアルベドモデルを取得することと、
   前記レンダリング装置によって、前記物体のデジタル表現から認識特徴を導出することと、
   前記レンダリング装置によって、前記認識特徴に基づいて前記物体に関する拡張現実（ＡＲ）コンテンツを取得することと、
   前記レンダリング装置によって、前記デジタル表現から前記物体の体勢を導出することと、
   前記レンダリング装置によって、前記アルベドモデルと前記デジタル表現との間の対応する、前記認識特徴のサブセットとしての決定された特徴に基づいて、前記体勢に前記アルベドモデルを当てはめることと、
   前記レンダリング装置によって、前記デジタル表現と前記アルベドモデルとのシェーディングの差分に基づいて観察シェーディングデータを導出することと、
   前記デジタル表現と前記アルベドモデルに基づいて判定された前記物体の既知の理想的状態との間の照明環境差を少なくとも１つ判定することを含む、前記アルベドモデル及び前記観察シェーディングデータを使用して推定物体シェーディングモデルを導出することと、
   前記レンダリング装置によって、前記推定物体シェーディングモデルを前記ＡＲコンテンツに適用することにより、環境的に調整されたＡＲコンテンツを生成することと、
   前記レンダリング装置によって、前記環境的に調整されたＡＲコンテンツをレンダリングすることと
   を含む方法。
2. 前記事前定義３Ｄアルベドモデルはコンピュータ生成物体モデルを含む
   請求項１記載の方法。
3. 前記コンピュータ生成物体モデルはメッシュを含む
   請求項２記載の方法。
4. 前記コンピュータ生成物体モデルは、前記物体の部位のモデルを含む
   請求項２記載の方法。
5. 前記デジタル表現から認識特徴を導出することは、前記デジタル表現に少なくとも１つの特徴検出アルゴリズムを適用することを含む
   請求項１記載の方法。
6. 前記特徴検出アルゴリズムは、ＳＩＦＴ、ＢＲＩＳＫ、ＳＵＲＦ、ＦＡＳＴ、ＢＲＩＥＦ、Ｈａｒｒｉｓ Ｃｏｒｎｅｒｓ、Ｅｄｇｅｓ、ＤＡＩＳＹ、ＧＬＯＨ、ＨＯＧ、ＥＯＧ、ＴＩＬＴの内の少なくとも１つのアルゴリズムを含む
   請求項５記載の方法。
7. 前記ＡＲコンテンツを取得することは、前記認識特徴に対応する記述子に基づいて前記ＡＲコンテンツを検索することを含む
   請求項１記載の方法。
8. 前記レンダリング装置によって、前記デジタル表現を取得すること
   をさらに含む請求項１記載の方法。
9. 前記推定物体シェーディングモデルに基づいて、環境照明マップを含むセンサ環境マップを導出すること
   をさらに含む請求項１記載の方法。
10. 前記センサ環境マップは、ノイズマップを含む
    請求項９記載の方法。
11. 前記センサ環境マップは、センサエラーマップを含む
    請求項９記載の方法。
12. 前記事前定義３Ｄアルベドモデルは、玩具、車両、顔面、市販製品、印刷媒体、自動販売機、機器、植物、看板、組織、患者、ゲームコンポーネントの少なくとも１つの既知のアルベド情報を表す
    請求項１記載の方法。
13. 前記ＡＲコンテンツは、ゲーム、アプリケーション、ビデオ、画像、アニメーション、３Ｄレンダリング物体、物体メッシュ、アニメーションメッシュ、年齢投影動画（ａｇｅ ｐｒｏｊｅｃｔｅｄ ａｎｉｍａｔｉｏｎ）、医療画像、衣服、メイク、眼鏡、家具、ウェアラブルアクセサリ、人物、アバター、ペット、クーポン、店棚、標識、解剖図、超音波画像の内の少なくとも１つを含む、請求項１に記載の方法。
14. 前記認識特徴の少なくとも一部をリアルタイムに追跡すること
    をさらに含む請求項１記載の方法。
15. 前記認識特徴の少なくとも一部を追跡することは、ビデオシーケンスのフレーム内で特徴を追跡することを含む
    請求項１４記載の方法。
16. 前記追跡される認識特徴の動きに応じて、前記環境的に調整されたＡＲコンテンツを再レンダリングすること
    をさらに含む請求項１４記載の方法。
17. 前記環境的に調整されたＡＲコンテンツを、前記ビデオシーケンスのフレームレートに合わせて再レンダリングすることをさらに含む
    請求項１６記載の方法。
18. 前記フレームレートは、３０ｆｐｓ以上である
    請求項１７記載の方法。
19. 前記環境的に調整されたＡＲコンテンツは、アニメーションを含む
    請求項１記載の方法。
20. 前記環境的に調整されたＡＲコンテンツをレンダリングすることは、前記物体の少なくとも一部の画像に前記環境的に調整されたＡＲコンテンツを重ね合わせることを含む
    請求項１記載の方法。
21. 前記環境的に調整されたＡＲコンテンツをレンダリングすることは、前記環境的に調整されたＡＲコンテンツを、ディスプレイ上で前記物体の少なくとも一部に対して提示することを含む
    請求項１記載の方法。
22. 事前定義３Ｄアルベドモデルは、前記モデル内に位置する既知の特徴を含む
    請求項１記載の方法。
23. 前記体勢に前記事前定義３Ｄアルベドモデルを当てはめることは、前記デジタル表現から対応する特徴を導出して、前記既知の特徴に基づいて、前記事前定義３Ｄアルベドモデルを前記体勢に当てはめることを含む
    請求項２０記載の方法。
24. 前記事前定義３Ｄアルベドモデルは、前記事前定義３Ｄアルベドモデルの該当部分に対応する照明ルール群を含む照明ポリシーを含む
    請求項１記載の方法。
25. 前記環境的に調整されたＡＲコンテンツを生成することは、前記事前定義３Ｄアルベドモデルの部位に対応する前記ＡＲコンテンツの部位に対して、前記照明ルール群の少なくとも１つを適用することを含む
    請求項２４記載の方法。
26. 前記照明ルール群は、前記事前定義３Ｄアルベドモデルの部位として、顔面特徴、武器、パネル、衣服一着、車両特徴、物体の組織、基板、ゲーム特徴、素材の種類の内の少なくとも１つに対する照明ルールを含む
    請求項２４記載の方法。
27. 前記事前定義３Ｄアルベドモデルは、様々な照明状態において及び／又は様々な視点から、前記レンダリング装置によって取得された、前記物体の複数の訓練画像から生成される
    請求項１記載の方法。
28. 前記複数の訓練画像の内の少なくとも１つは、前記認識特徴が導出される前記物体の前記デジタル表現に対応する
    請求項２７記載の方法。
29. 前記訓練画像は、前記デジタル表現から前記物体の前記体勢を導出することと並行して、前記レンダリング装置によって取得され、前記事前定義３Ｄアルベドモデルは、ランタイム中、各新訓練画像の前記体勢の当てはめが終わるたびに更新される
    請求項２７記載の方法。
30. 前記事前定義３Ｄアルベドモデルをランタイム中に更新するため、オンライン平均化及びベイジアンフィルタの少なくとも一方を利用する
    請求項２９記載の方法。
31. 前記環境的に調整されたＡＲコンテンツをレンダリングすることは、前記環境的に調整されたＡＲコンテンツを、前記推定物体シェーディングモデルにより示唆された環境特徴から導出された前記物体に対する空間位置に表示することを含む
    請求項１記載の方法。
32. 前記ＡＲコンテンツは、前記推定物体シェーディングモデルにおいて、最も暗い点から径方向に位置する雲及び前記推定物体シェーディングモデルの最も明るい点から径方向に位置する光源の少なくとも一方である
    請求項３１記載の方法。
33. 前記推定物体シェーディングモデルと、前記事前定義３Ｄアルベドモデルを使用して、前記物体の推定レンダリング結果を生成することと、
    前記物体の前記デジタル表現と前記観察シェーディングデータを使用して、前記デジタル表現内の１つ以上の環境的アーチファクトを特定することと、
    前記レンダリング装置によって、前記１つ以上の環境的アーチファクトの少なくとも一部を、前記環境的に調整されたＡＲコンテンツと共にレンダリングすることと
    をさらに含む請求項１記載の方法。
34. 前記推定物体シェーディングモデルに加えて、ＡＲコンテンツをより前記レンダリング装置の環境に適合させながらレンダリングするように前記ＡＲコンテンツを修正するために使用可能な１つ以上の別の環境マップを導出すること
    をさらに含む請求項１記載の方法。
35. １つ以上のコンピュータの１つ以上のコンピュータプロセッサによって実行可能な指示を含む非一時的コンピュータ読取可能媒体に記録されたコンピュータプログラムであって、少なくとも、
    前記レンダリング装置において取得された物体のデジタル表現から、画像認識特徴を導出することと、
    アルベドモデルと前記デジタル表現との間の対応する特徴であって、前記認識特徴のサブセットとしての決定された特徴を使用して、前記物体の前記アルベドモデルを前記物体の前記デジタル表現に当てはめることと、
    前記レンダリング装置において取得された前記物体の前記デジタル表現及び前記物体の前記アルベドモデルとのシェーディングの差分から、観察シェーディングデータを導出することと、
    前記デジタル表現と、前記アルベドモデルに基づいて判定された前記物体の既知の理想的状態との間の照明環境差を少なくとも１つ判定することを含む、前記観察シェーディングデータから、推定物体シェーディングモデルを導出することと、
    前記レンダリング装置において、前記推定物体シェーディングモデルを前記物体に関するＡＲコンテンツに適用することにより、環境的に調整された拡張現実（ＡＲ）コンテンツを生成することと
    を実行するコンピュータプログラム。