JP2024502495A - テンプレート画像を使用して拡張現実事前レンダリングを生成すること - Google Patents

Abstract

拡張現実事前レンダリングを生成するためのシステムおよび方法は、ユーザデータの使用を必要とすることなく、拡張現実レンダリングの利点をもたらすことができる。ユーザのプライバシーを保護するとともに、好みの1つのテンプレート画像または様々なテンプレート画像上にレンダリングされたオブジェクトまたは製品をユーザが見ることを可能にするために、ユーザデータの代わりにテンプレート画像を使用することができる。

Description

関連出願
本出願は、2021年1月20日に出願された米国非仮特許出願第17/153,263号の優先権および利益を主張する。米国非仮特許出願第17/153,263号は、その全体が参照により本明細書に組み込まれる。

本開示は、一般に、画像を事前レンダリングすることに関する。より詳細には、本開示は、たとえば、リアルタイムのパーソナライズされた拡張現実体験の代替として、テンプレート画像からの限定された拡張現実体験を可能にするために、テンプレート画像のセットから拡張現実画像を事前レンダリングすることに関する。

拡張現実(AR)は、現実世界に存在するオブジェクトがコンピュータで生成された知覚情報によって強化される、現実世界環境のインタラクティブな体験の作成と実行を指すことができる。一例として、AR体験は、カメラによってキャプチャされたシーンを、シーンに仮想オブジェクトを挿入すること、および/または、シーンに含まれる現実世界のオブジェクトの外観を修正することによって拡張することを含むことができる。

化粧品など、美的側面の強い製品を検索するとき、しばしば、製品の包装を、あるいは製品自体ですら、見るだけでは十分ではない。この問題を解決するために、化粧品および他の製品を拡張現実(AR)においてデジタル化して、消費者が製品を自身上にまたは自身の個人的環境内に視覚化できるようにしようとする取組みが行われてきた。しかし、多くのユーザは、自然な摩擦(natural friction)のため、AR試着を使用することを望まないことがある。たとえば、ユーザはカメラの使用が現実的である場所にいないことがあり、ユーザは自身が最良に見えると感じないことがあり、カメラをオンにするのをいやがり、かつ/またはユーザは単にカメラの許可を与えたくないことがある。

さらに、ライブAR体験は、大きなデータ帯域幅および処理パワーを必要とすることがある。

本開示の実施形態の態様および利点は、以下の説明において部分的に記載されるか、説明から知ることができるか、または実施形態の実践を通じて知ることができる。

本開示の1つの例示的な態様は、事前レンダリングされた拡張画像を提供するためのコンピュータ実装方法を対象とする。本方法は、コンピューティングデバイスによって、複数のテンプレート画像を入手するステップを含むことができる。本方法は、コンピューティングデバイスによって、複数の事前レンダリングされた画像を生成するために、拡張現実レンダリングモデルを用いて複数のテンプレート画像を処理するステップを含むことができる。いくつかの実装形態では、本方法は、コンピューティングデバイスによって、結果画像を求める要求および選好を受信するステップを含むことができる。本方法は、コンピューティングデバイスによって、要求および選好に少なくとも部分的に基づく事前レンダリングされた結果を提供するステップを含むことができる。いくつかの実装形態では、事前レンダリングされた結果は、複数の事前レンダリングされた画像からの事前レンダリングされた画像とすることができる。

本開示の別の例示的な態様は、コンピューティングシステムを対象とする。コンピューティングシステムは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行されると、コンピューティングシステムに、動作を実行させる命令を集合的に記憶する1つまたは複数の非一時的コンピュータ可読媒体とを含むことができる。本動作は、拡張現実資産を入手することを含むことができる。いくつかの実装形態では、拡張現実資産はデジタル化パラメータを含むことができる。本動作は、複数のテンプレート画像を入手することを含むことができる。本動作は、デジタル化パラメータに少なくとも部分的に基づいて、複数の事前レンダリングされた画像を生成するために、拡張現実モデルを用いて複数のテンプレート画像を処理することと、複数の事前レンダリングされた画像を記憶することとを含むことができる。

本開示の別の例示的な態様は、1つまたは複数のプロセッサによって実行されると、コンピューティングシステムに、動作を実行させる命令を集合的に記憶する1つまたは複数の非一時的コンピュータ可読媒体を対象とする。本動作は、拡張現実資産を入手することを含むことができる。拡張現実資産はデジタル化パラメータを含むことができる。いくつかの実装形態では、本動作は、複数のテンプレート画像を入手することを含むことができる。本動作は、デジタル化パラメータに少なくとも部分的に基づいて、複数の事前レンダリングされた画像を生成するために、拡張現実モデルを用いて複数のテンプレート画像を処理することを含むことができる。本動作は、複数の事前レンダリングされた画像をサーバ上に記憶することと、1つまたは複数の検索語を含むことができる検索クエリを受信することとを含むことができる。1つまたは複数の検索語は製品に関連することができる。いくつかの実装形態では、本動作は、検索結果を提供することを含むことができる。検索結果は、サーバから取り出した複数の事前レンダリングされた画像からの事前レンダリングされた画像を含むことができる。事前レンダリングされた画像は製品のレンダリングを含むことができる。

本開示の他の態様は、様々なシステム、装置、非一時的コンピュータ可読媒体、ユーザインターフェース、および電子デバイスを対象とする。

本開示の様々な実施形態のこれらおよび他の特徴、態様、および利点は、以下の説明および添付の特許請求の範囲を参照することにより、よりよく理解されるであろう。本明細書に組み込まれ、その一部を構成する添付の図面は、本開示の例示的な実施形態を示しており、説明とともに関連する原理を説明するために役立つ。

当業者を対象とした実施形態の詳細な説明は、添付の図面を参照して本明細書に記載される。

本開示の例示的な実施形態による、事前レンダリングを実行する例示的なコンピューティングシステムのブロック図である。 本開示の例示的な実施形態による、事前レンダリングを実行する例示的なコンピューティングデバイスのブロック図である。 本開示の例示的な実施形態による、事前レンダリングを実行する例示的なコンピューティングデバイスのブロック図である。 本開示の例示的な実施形態による、事前レンダリングされた画像の例示的な表示のブロック図である。 本開示の例示的な実施形態による、事前レンダリングされた画像の例示的な表示のブロック図である。 本開示の例示的な実施形態による、事前レンダリングされた画像の例示的な表示のブロック図である。 本開示の例示的な実施形態による、例示的な事前レンダリングシステムのブロック図である。 本開示の例示的な実施形態による、事前レンダリングを実行するための例示的な方法のフローチャート図である。 本開示の例示的な実施形態による、事前レンダリングを実行するための例示的な方法のフローチャート図である。 本開示の例示的な実施形態による、事前レンダリングを実行するための例示的な方法のフローチャート図である。 本開示の例示的な実施形態による、例示的な事前レンダリングシステムのブロック図である。

複数の図面にわたって繰り返される参照番号は、様々な実装形態において同じ特徴を識別することが意図されている。

概観
一般に、本開示は、たとえば、ユーザの特定の画像を使用するリアルタイムのパーソナライズされた拡張現実体験の代替として、テンプレート画像からの限定された拡張現実体験を可能にするために、拡張現実テンプレート画像を事前レンダリングするためのシステムおよび方法を対象とする。いくつかの実装形態では、システムおよび方法は、テンプレート画像のセットから事前レンダリングされた拡張現実画像を生成するためのプラットフォームとして実装することができる。システムは、拡張現実資産、およびテンプレート画像のセットを入手することを含むことができる。テンプレート画像は、たとえば、異なる目の色や他の視覚的特性など、多様な特性または特徴を有する人物または設定を示す画像の多様なセットであってよい。テンプレート画像のセットは、入手した拡張現実資産によりパラメータ化された拡張モデルまたは拡張現実モデルによって、処理することができる。拡張現実モデルは、事前レンダリングされた画像のセットを出力することができ、事前レンダリングされた画像はサーバ上に記憶することができる。いくつかの実装形態では、システムは、結果画像を求める要求を、ユーザ選好とともに受信することができる。たとえば、要求は、1つまたは複数の検索語の形態をとる検索クエリとすることができる。システムは、結果画像を決定するために、要求および選好を処理し得る。結果画像は、事前レンダリングされた画像のセットからの1つまたは複数の事前レンダリングされた画像とすることができる。たとえば、ユーザは、1つまたは複数の選好を選択する(または事前選択しておく)ことができ、その選好が、1つまたは複数の事前レンダリングされた画像を結果画像として選択する案内をすることができる。結果はユーザに提供され得る。そのようにして、ユーザの選好を満足させる1つまたは複数の事前レンダリングされた画像(たとえば、ユーザの特性に一致する特性を有するテンプレートから生成された事前レンダリングされた画像)をユーザに提供することができる。したがって、場合によっては、ユーザは、それ自身に類似の人物または設定上に製品がどのように現れることになるかを確認することができるが、カメラの使用が現実的である場所にいる必要はなく、かつ/または自身もしくは自身の環境の実際の画像を供給する必要はない。いくつかの実装形態では、システムは、たとえば、ユーザが必要に応じて完全なリアルタイムのAR体験を引き続き追及し得るように、リアルタイムの拡張現実体験へのリンクをユーザに提供することもできる。

いくつかの実装形態では、拡張現実画像の事前レンダリングは、プラットフォームによって容易にすることができる。プラットフォームは、プラットフォームを使用して作成された拡張現実データ資産を収集するために使用され得、または代わりに、プラットフォームの外部で生成された拡張現実資産を収集し得る。プラットフォームは、販売用製品(たとえば、化粧品(たとえば、口紅、アイシャドウなど)、家具または他の家庭用品(たとえば、電子機器、調理器具、ガラス製品、装飾品、植物など)、衣類、ペイントカラー、自動車、様々な電子機器など)を提供するサードパーティ企業からの拡張現実資産を収集し得る。さらに、プラットフォームは、事前レンダリングされた画像を生成すべく、レンダリング効果をテンプレート画像内にレンダリングするために、収集された拡張現実資産を使用し得る。テンプレート画像は、ローカルに記憶されるか、またはプラットフォームの外部から入手され得る。次いで、事前レンダリングされた画像は、ユーザに後で表示できるように記憶され得る。たとえば、ユーザコンピューティングデバイスが、1つまたは複数の事前レンダリングされた画像を求める要求を送信することができる。要求は、検索クエリ、ユーザ選択、またはユーザアクションに反応する自動要求とすることができる。プラットフォームは、要求およびユーザの選好に関連する1つまたは複数の事前レンダリングされた画像を提供するために、要求を選好とともに処理することができる。

システムおよび方法は、複数のテンプレート画像を入手することを含むことができる。複数のテンプレート画像は、同様の焦点を描いているが相違がある画像のセットすることができる(たとえば、テンプレート画像はそれぞれ、あるリビングルームを描いたものであるが、各写真はその部屋とは異なる配色を描いており、家具および装飾が様々なテーマおよび色を有する)。システムおよび方法は、複数の事前レンダリングされた画像を生成するために、拡張現実レンダリングモデルを用いて複数のテンプレート画像を処理することができる。いくつかの実装形態では、拡張現実レンダリングモデルは、オブジェクト追跡およびレンダリングを含むことができる。複数の事前レンダリングされた画像は、拡張画像のセットすることができ、その場合、テンプレート画像はそれぞれ、拡張現実レンダリング効果を含めるように拡張することができる。拡張現実レンダリング効果は、サードパーティによって販売される製品とすることができ、その場合、消費者は、異なるテンプレートシナリオにおいて製品を仮想的に「試着」することができる(たとえば、テンプレート部屋画像内にレンダリングされた家具品目)。いくつかの実装形態では、システムおよび方法は、結果画像を求める要求および選好を受信することを含むことができる。要求は、ユーザコンピューティングシステムから到来することができ、ユーザはその要求の中で事前レンダリングされた画像を見たいという望みを示している。いくつかの実装形態では、要求は、検索エンジンに入力された検索語を含むことができる。選好は、要求時点で行われたかまたは以前に記憶された、好みのテンプレートタイプまたは好みのテンプレートを示すことができる選択を含むことができる。次いで、システムおよび方法は、要求および選好に少なくとも部分的に基づく事前レンダリングされた結果を提供することができ、事前レンダリングされた結果は、複数の事前レンダリングされた画像からの事前レンダリングされた画像とすることができる。いくつかの実装形態では、事前レンダリングされた結果は、選好に一致する事前レンダリングされた画像とすることができ、選好は、複数のテンプレート画像からユーザによって選択されたテンプレートを含む。いくつかの実装形態では、システムおよび方法は、ライブ試着のための拡張現実レンダリング体験へのリンクを提供し得る。

いくつかの実装形態では、システムおよび方法は、拡張現実モデルまたは拡張モデルによって使用できるように記憶することができる、拡張現実資産を入手することができる。拡張現実資産はデジタル化パラメータを含むことができる。デジタル化パラメータにより、拡張現実モデルまたは拡張モデルが特定のレンダリング効果をレンダリングすることが可能になり得る。いくつかの実装形態では、事前レンダリングされた画像のセットを生成すべく、テンプレート画像のセットを処理するために、拡張現実資産を拡張現実モデルによって使用することができる。次いで、事前レンダリングされた画像のセットは、後で取り出すことができるように記憶することができる。いくつかの実装形態では、事前レンダリングされた画像のセットはサーバ上に記憶され得る。

いくつかの実装形態では、製品の外観を真似た事前レンダリングされた拡張現実画像を生成するために、テンプレート画像のセットをオブジェクト追跡コンピュータビジョンアルゴリズムおよびコンピュータレンダリング動作によって処理することができる。製品は、テンプレート画像内の描かれた顔に適用されるか、またはテンプレート画像のセットの描かれた画像に挿入され得る。レンダリング動作は、CPUアルゴリズムまたはGPUアルゴリズム、および対応するパラメータの影響を受けることがある。対応するパラメータは、描かれた照明条件下でテンプレート画像に挿入された製品の外観を写実的にキャプチャするパラメータとすることができる。

いくつかの実装形態では、システムおよび方法は、1つまたは複数の検索語を含む検索クエリを受信することであって、1つまたは複数の検索語が製品に関連する、ことを含むことができる。さらに、システムおよび方法は、検索結果を提供することを含むことができる。検索結果は、複数の事前レンダリングされた画像からの事前レンダリングされた画像を含むことができる。さらに、事前レンダリングされた画像は製品のレンダリングを含むことができる。

いくつかの実装形態では、拡張現実モデルまたは拡張モデルによって処理することができるテンプレートモデルのセットを生成するために、テンプレート画像のセットを処理することができる。いくつかの実装形態では、テンプレートモデルは、処理される前に修正することができる。システムおよび方法は、複数のテンプレートモデルのうちのあるテンプレートモデルを修正するための入力を受信することができる。システムおよび方法は、この入力に少なくとも部分的に基づいて、このテンプレートモデルを修正することができる。いくつかの実装形態では、システムおよび方法は、表示するために複数のテンプレートモデルのうちのあるテンプレートモデルを提供することを含むことができる。

いくつかの実装形態では、拡張現実モデルは、知覚サブグラフとレンダリングサブグラフを含み得る。知覚サブグラフはシステム全体で均一にすることができる。知覚サブグラフは、様々な異なるレンダリングサブグラフとともに使用され得る。レンダリングサブグラフは、ユーザに提供するレンダリング効果を生成するために、サードパーティによって構築することができる。レンダリングサブグラフは、構築され、次いで、知覚サブグラフを記憶する拡張現実事前レンダリングプラットフォームによって使用され得る。レンダリングサブグラフは、レンダリング効果とサードパーティによって異なる場合がある。いくつかの実装形態では、拡張された画像またはビデオにおいて複数のレンダリングをレンダリングするために単一の知覚サブグラフを複数のレンダリングサブグラフとともに使用することができる。たとえば、顔の口紅、アイシャドウ、およびマスカラの拡張現実レンダリングを生成するために、顔の写真またはビデオを処理することができる。処理は、単一の知覚サブグラフを含み得るが、それぞれの製品(すなわち、口紅、アイシャドウ、およびマスカラ)のレンダリングサブグラフを含み得る。

本明細書に開示されるシステムおよび方法は、様々な拡張現実体験(たとえば、家庭用品、メイクアップ、オートモーティブ(3D)、メガネ、宝石類、衣類、およびヘアカット)に適用可能とすることができる。たとえば、本明細書に開示されるシステムおよび方法は、様々な環境またはアプリケーションにおいて製品のレンダリングを消費者に提供すべく、事前レンダリングされた画像のセットを生成するために使用することができる。いくつかの実装形態では、テンプレート画像は、様々なセットアップ、配色、および装飾の様々な部屋画像とすることができる。所望のレンダリング効果は、ソファであってよい。システムは、テンプレート画像のセット、およびソファに関連する拡張現実資産を取り込むことができ、ユーザに提供するための事前レンダリングされた画像のセットを生成することができる。事前レンダリングされた画像は、様々な配色、装飾、およびレイアウトを有する様々な部屋タイプにおいて所望のソファがどのように見え得るかをユーザが確認できるようにするために、テンプレート画像のそれぞれ内のそのソファの拡張現実レンダリングを含むことができる。

いくつかの実装形態では、複数のテンプレート画像は、たとえば、異なる目の色や他の視覚的特性など、多様な特性または特徴を有する顔画像のセットを含むことができ、その際、消費者は、自身に最も類似し得る選好テンプレートを選択および/または記憶することができる。レンダリング効果は、メイクアップレンダリング(たとえば、口紅、アイシャドウ、マスカラ、ファンデーションなど)とすることができる。拡張現実モデルは、事前レンダリングされたメイクアップ画像を生成するために、拡張現実資産およびテンプレート画像のセットを処理することができ、その際、複数のテンプレート画像はそれぞれ、メイクアップ製品を含めるように拡張することができる。たとえば、口紅の特定の色合いが、テンプレート画像のそれぞれ内にレンダリングされ得る。

いくつかの実装形態では、所与のトピックについての様々なシナリオまたは特徴の代表画像を示すテンプレート画像からなる代表グループを提供するために、テンプレート画像のセットを画像の大規模コーパスから人手でまたは自動的に選択することができる。たとえば、トピックは、部屋、隣人、顔などとすることができる。

本明細書に開示されるシステムおよび方法は、パーソナライズされた広告をユーザに提供するために使用することができる。たとえば、ユーザの選好が記憶され得る。この記憶された選好により、広告の製品をユーザの好みのテンプレート画像上にレンダリングするために、提供される製品広告が適応されることが可能である。

いくつかの実装形態では、拡張現実資産は、製品ブランドによって管理、生成、および/または再現することができる。デジタル化パラメータは、サードパーティ企業から取り込まれ得る。いくつかの実装形態では、デジタル化パラメータは、サードパーティレンダリングエンジンから抽出されるか、または拡張現実レンダリング効果生成用の提供されたテンプレートからエクスポートされ得る。

さらに、最適化されたメッシュを提供するために、知覚モデルを人手でまたは自動的に調整することができる。調整は、照明または様々な画像品質に反応することができる。プラットフォームは、拡張現実モデルを修正する際に支援するために、プレビューを提供し得る。いくつかの実装形態では、プラットフォームは、画像を取り出すためのパイプラインを含み得る。

事前レンダリングされた画像は、レンダリングされた製品にインデックス付けするためのタグ付けを含み得る。

いくつかの実装形態では、インデックス付けされた製品は、よりよい検索結果が得られるように、製品および製品の色についての一貫性のある命名手順を含み得る。プラットフォームは、拡張現実資産を特定のセマンティックエンティティまたは辞書編集エンティティと関係付けることができるデータ構造を含むことができる。このデータ構造は、製品マッピングを作成すべく検索クエリを理解するために役立ち得る。

いくつかの実装形態では、事前レンダリングされた画像は、ユーザがスクロールするためのカルーセルとして提供され得る。あるいは、製品レンダリングは異なるが同じテンプレート画像を有する、様々な事前レンダリングされた画像が、パーソナライズされたプレビューができるようにカルーセルの形で提供され得る。さらに、いくつかの実装形態では、カルーセルは、ユーザ拡張画像またはビデオを提供するためにユーザのデータを処理する拡張現実レンダリング体験をユーザに提供するための仮想「試着」パネルを含み得る。

いくつかの実装形態では、拡張現実プラットフォームは、拡張現実効果をレンダリングするためのデータ資産を、データ資産取得のためのシステムおよび方法を介して取り出し得る。データ資産取得のためのシステムおよび方法は、1つまたは複数のシステムまたはデバイスが関与する場合がある。第1のコンピューティングデバイスは、サーバ、促進コンピューティングデバイス、または仲介コンピューティングデバイスであってもよい。第2のコンピューティングデバイスは、サードパーティのコンピューティングデバイスであってもよい。サードパーティは、ビデオゲーム会社、製品メーカ、または製品ブランドとすることができる。第1のコンピューティングデバイスと第2のコンピューティングデバイスは、ユーザのために拡張現実レンダリング体験を生成するために、データを交換することができる。拡張現実レンダリング体験は、1つまたは複数の製品または品目を含む拡張現実ビューのレンダリングを含むことができる。製品は、化粧品(たとえば、口紅、アイシャドウなど)、家具もしくは他の家庭用品(たとえば、電子機器、調理器具、ガラス製品、装飾品、植物など)、衣類、ペイントカラー、自動車、様々な電子機器、または他の品目であり得る。

データ資産の取得は、第1のコンピューティングデバイスがソフトウェア開発キットを第2のコンピューティングデバイスに送信することを含むことができる。ソフトウェア開発キットは、レンダリング効果シェーダを構築するためのテンプレートを含むことができる。ソフトウェア開発キットは、例示的な効果、レンダリング効果を構築するためのツール、および拡張現実レンダリングを構築するために役立つプレビューモードを含むことができる。第2のコンピューティングデバイスは、レンダリング効果を構築するために使用することができ、レンダリング効果が構築されると、第2のコンピューティングデバイスは、構築されたレンダリング効果データを、レンダリング効果を再作成するために必要なデータ資産を含めることができるレンダリング可能な圧縮ファイル(たとえば、.ZIPファイル)にエクスポートすることができる。次いで、データ資産を第1のコンピューティングデバイスに送信することができる。第1のコンピューティングデバイスは、データ資産を受信すると、ユーザに提供される拡張現実レンダリング体験において使用するためにデータ資産を記憶することができる。提供される拡張現実レンダリング体験は、ユーザに提供することができ、ユーザは、処理のためにユーザデータを入力することができ、出力は、第2のコンピューティングデバイス上に構築されたレンダリング効果を含む拡張ユーザデータとすることができる。ユーザデータは、ユーザデバイスによってキャプチャされた画像データまたはビデオデータであり得る。いくつかの実装形態では、ユーザデータはライブカメラフィードであり得る。

さらに、いくつかの実装形態では、システムおよび方法は、視覚的な互換性計算機として使用され得る。たとえば、システムおよび方法は、特定の製品または部品が所望の空間または場所に適合することを保証するために使用することができる。システムおよび方法は、仮想現実を使用して製品の寸法/サイズを仮想的にテストするために使用することができる。サードパーティは、製品の測定値を記述するデータを含むことができるデータ資産を提供することができる。次いで、データ資産は、サードパーティによって提供される測定値に従って製品がレンダリングされる拡張現実レンダリング体験をユーザに提供するために使用することができる。この態様により、製品が占有する空間を視覚化するために、消費者は製品を「試着」することができる。

本開示のシステムおよび方法は、多くの技術的効果および利点を提供する。一例として、システムおよび方法は、テンプレート画像のセットおよび拡張現実体験を使用して、事前レンダリングされた画像のセットを生成することができる。このシステムおよび方法は、様々なテンプレート上の製品の事前レンダリングされた画像を消費者に提供するためにさらに使用することもできる。さらに、このシステムおよび方法により、消費者が、消費者の選好を満たすテンプレート上の事前レンダリングされた拡張現実レンダリングを見ることが可能になり得る。

本開示のシステムおよび方法の別の技術的利点は、拡張現実リアルタイム試着体験が理想的ではないときに、買い物に関する消費者の選好に一致する「試着」画像を提供できることである。

次に、図面を参照して、本開示の例示的な実施形態をさらに詳細に説明する。

例示的なデバイスおよびシステム
図1Aは、本開示の例示的な実施形態による、事前レンダリングを実行する例示的なコンピューティングシステム100のブロック図を示している。システム100は、ネットワーク180を介して通信可能に結合されたユーザコンピューティングデバイス102、サーバコンピューティングシステム130、およびトレーニングコンピューティングシステム150を含む。

ユーザコンピューティングデバイス102は、たとえば、パーソナルコンピューティングデバイス(たとえば、ラップトップもしくはデスクトップ)、モバイルコンピューティングデバイス(たとえば、スマートフォンもしくはタブレット)、ゲームコンソールもしくはコントローラ、ウェアラブルコンピューティングデバイス、組込みコンピューティングデバイス、または任意の他のタイプのコンピューティングデバイスなどの、任意のタイプのコンピューティングデバイスであり得る。

ユーザコンピューティングデバイス102は、1つまたは複数のプロセッサ112およびメモリ114を含む。1つまたは複数のプロセッサ112は、任意の適切な処理デバイス(たとえば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラなど)であり得、1つのプロセッサまたは動作可能に接続された複数のプロセッサであり得る。メモリ114は、RAM、ROM、EEPROM、EPROM、フラッシュメモリデバイス、磁気ディスクなど、およびそれらの組合せなどの、1つまたは複数の非一時的コンピュータ可読ストレージ媒体を含むことができる。メモリ114は、ユーザコンピューティングデバイス102に動作を実行させるためにプロセッサ112によって実行されるデータ116および命令118を記憶することができる。

いくつかの実装形態では、ユーザコンピューティングデバイス102は、1つまたは複数の拡張現実モデル120、または拡張現実モデルを記憶または含むことができる。たとえば、拡張現実モデル120は、ニューラルネットワーク(たとえば、ディープニューラルネットワーク)または非線形モデルおよび/もしくは線形モデルを含む他のタイプの機械学習モデルなどの様々な機械学習モデルであってもよく、そうでなければそれを含むことができる。ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク(たとえば、長期短期記憶リカレントニューラルネットワーク)、畳み込みニューラルネットワーク、または他の形式のニューラルネットワークを含むことができる。例示的な拡張現実レンダリングモデル120については、図5～図9を参照して説明する。

いくつかの実装形態では、1つまたは複数の拡張現実レンダリングモデル120は、ネットワーク180を介してサーバコンピューティングシステム130から受信され、ユーザコンピューティングデバイスメモリ114に記憶され、次いで、1つまたは複数のプロセッサ112によって使用または実装されることができる。いくつかの実装形態では、ユーザコンピューティングデバイス102は、単一の拡張現実レンダリングモデル120の複数の並列インスタンスを実装することができる。

より具体的には、拡張現実レンダリングモデルは、拡張現実レンダリングをテンプレート画像内にレンダリングするために、知覚モデルおよびレンダリングモデルを利用することができる。知覚モデルは、様々なレンダリングモデルとともに適用可能である、プラットフォーム上に記憶されたモデルであってよい。レンダリングモデルは、サードパーティによって、ソフトウェア開発キットを使用して生成され得る。レンダリングモデルは、サードパーティによって構築された後に、プラットフォームに送信され得る。いくつかの実装形態では、プラットフォームは、サードパーティから、レンダリングモデルのためのデータ資産を受信し得る。

テンプレート画像は、テンプレート画像の処理に基づいてメッシュおよびセグメンテーションマスクを生成する知覚モデルとともに、拡張現実レンダリングモデルによって処理され得、レンダリングモデルは、事前レンダリングされた画像を生成するために、テンプレート画像、メッシュ、およびセグメンテーションマスクを処理し得る。

さらに、または代わりに、1つまたは複数の拡張現実レンダリングモデル140は、クライアント-サーバ関係に従ってユーザコンピューティングデバイス102と通信するサーバコンピューティングシステム130に含まれるか、またはそれによって記憶および実装され得る。たとえば、拡張現実レンダリングモデル140は、ウェブサービス(たとえば、「事前レンダリングされた試着」サービス)の一部としてサーバコンピューティングシステム130によって実装することができる。したがって、1つもしくは複数のモデル120をユーザコンピューティングデバイス102に記憶および実装することができ、ならびに/または1つもしくは複数のモデル140をサーバコンピューティングシステム130に記憶および実装することができる。

ユーザコンピューティングデバイス102はまた、ユーザ入力を受信する1つまたは複数のユーザ入力コンポーネント122を含むこともできる。たとえば、ユーザ入力コンポーネント122は、ユーザ入力オブジェクト(たとえば、指またはスタイラス)のタッチを感知するタッチ感知コンポーネント(たとえば、タッチ感知表示画面またはタッチパッド)であり得る。タッチ感知コンポーネントは、仮想キーボードを実装するために機能する。他の例示的なユーザ入力コンポーネントは、マイク、従来のキーボード、またはユーザがユーザ入力を提供することができる他の手段を含む。

サーバコンピューティングシステム130は、1つまたは複数のプロセッサ132およびメモリ134を含む。1つまたは複数のプロセッサ132は、任意の適切な処理デバイス(たとえば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラなど)であり得、1つのプロセッサまたは動作可能に接続された複数のプロセッサであり得る。メモリ134は、RAM、ROM、EEPROM、EPROM、フラッシュメモリデバイス、磁気ディスクなど、およびそれらの組合せなどの、1つまたは複数の非一時的コンピュータ可読ストレージ媒体を含むことができる。メモリ134は、サーバコンピューティングシステム130に動作を実行させるためにプロセッサ132によって実行されるデータ136および命令138を記憶することができる。

いくつかの実装形態では、サーバコンピューティングシステム130は、1つまたは複数のサーバコンピューティングデバイスを含むか、またはそれによって実装される。サーバコンピューティングシステム130が複数のサーバコンピューティングデバイスを含む場合、そのようなサーバコンピューティングデバイスは、逐次コンピューティングアーキテクチャ、並列コンピューティングアーキテクチャ、またはそれらの何らかの組合せに従って動作することができる。

上述したように、サーバコンピューティングシステム130は、1つまたは複数の機械学習された拡張現実レンダリングモデル140を記憶するか、またはそれを含むことができる。たとえば、モデル140は、様々な機械学習されたモデルであってもよく、そうでなければそれを含むこともできる。例示的な機械学習モデルは、ニューラルネットワークまたは他の多層非線形モデルを含む。ニューラルネットワークの例は、フィードフォワードニューラルネットワーク、ディープニューラルネットワーク、リカレントニューラルネットワーク、畳み込みニューラルネットワークなどを含む。例示的なモデル140については、図5～図9を参照して説明する。

ユーザコンピューティングデバイス102および/またはサーバコンピューティングシステム130は、ネットワーク180を介して通信可能に結合されたトレーニングコンピューティングシステム150との対話を介して、モデル120および/または140をトレーニングすることができる。トレーニングコンピューティングシステム150は、サーバコンピューティングシステム130とは別個であってもよく、またはサーバコンピューティングシステム130の一部であってもよい。

トレーニングコンピューティングシステム150は、1つまたは複数のプロセッサ152およびメモリ154を含む。1つまたは複数のプロセッサ152は、任意の適切な処理デバイス(たとえば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラなど)であり得、1つのプロセッサまたは動作可能に接続された複数のプロセッサであり得る。メモリ154は、RAM、ROM、EEPROM、EPROM、フラッシュメモリデバイス、磁気ディスクなど、およびそれらの組合せなどの、1つまたは複数の非一時的コンピュータ可読ストレージ媒体を含むことができる。メモリ154は、トレーニングコンピューティングデバイス150に動作を実行させるためにプロセッサ152によって実行されるデータ156および命令158を記憶することができる。いくつかの実装形態では、トレーニングコンピューティングデバイス150は、1つまたは複数のサーバコンピューティングデバイスを含むか、またはそれによって実装される。

トレーニングコンピューティングシステム150は、たとえば誤差の逆方向伝播などの様々なトレーニングまたは学習技法を使用して、ユーザコンピューティングデバイス102および/またはサーバコンピューティングシステム130に記憶された機械学習モデル120および/または140をトレーニングするモデルトレーナ160を含むことができる。たとえば、損失関数は、(たとえば、損失関数の勾配に基づいて)モデルの1つまたは複数のパラメータを更新するために、モデルを通じて逆伝播され得る。平均二乗誤差、尤度損失、クロスエントロピ損失、ヒンジ損失、および/または他の様々な損失関数など、様々な損失関数を使用することができる。トレーニングを何回も繰り返してパラメータを繰り返し更新するために、勾配降下法を使用することができる。

いくつかの実装形態では、誤差の逆伝播の実行は、時間の経過に伴う切捨て逆伝播の実行を含むことができる。モデルトレーナ160は、トレーニングされているモデルの一般化能力を向上させるために、多くの一般化技法(たとえば、重みの減衰、ドロップアウトなど)を実行することができる。

特に、モデルトレーナ160は、トレーニングデータ162のセットに基づいて、拡張現実モデル120および/または140をトレーニングすることができる。トレーニングデータ162は、たとえば、ソフトウェア開発キットを使用してサードパーティによって構築されたシェーダを含むことができ、この場合、サードパーティは、促進コンピューティングデバイスまたはサーバコンピューティングシステム130からソフトウェア開発キットを受信した。サードパーティは、ソフトウェア開発キットを使用して拡張現実体験を構築およびテストすることによって、シェーダおよびデータ資産を生成した可能性がある。

いくつかの実装形態では、ユーザが同意した場合、ユーザコンピューティングデバイス102によってトレーニング例を提供することができる。したがって、そのような実装形態では、ユーザコンピューティングデバイス102に提供されるモデル120は、ユーザコンピューティングデバイス102から受信したユーザ固有のデータに基づいてトレーニングコンピューティングシステム150によってトレーニングすることができる。場合によっては、このプロセスをモデルのパーソナライズと呼ぶことができる。

いくつかの実装形態では、拡張現実モデルの知覚モデルおよびレンダリングモデルが、テンプレート画像を使用してトレーニングされ得る。テンプレート画像は、ユーザに事前レンダリングされた画像として提供される、テンプレート画像のコーパスからの画像であってよく、またはいくつかの実装形態では、トレーニングテンプレート画像は、トレーニングのみに使用される別のテンプレート画像のセットであってよい。

モデルトレーナ160は、所望の機能を提供するために利用されるコンピュータロジックを含む。モデルトレーナ160は、ハードウェア、ファームウェア、および/または汎用プロセッサを制御するソフトウェアにおいて実装することができる。たとえば、いくつかの実装形態では、モデルトレーナ160は、ストレージデバイスに記憶され、メモリにロードされ、1つまたは複数のプロセッサによって実行されるプログラムファイルを含む。他の実装形態では、モデルトレーナ160は、RAMハードディスク、または光学媒体もしくは磁気媒体などの有形のコンピュータ可読ストレージ媒体に記憶されるコンピュータ実行可能命令の1つまたは複数のセットを含む。

ネットワーク180は、ローカルエリアネットワーク(たとえば、イントラネット)、ワイドエリアネットワーク(たとえば、インターネット)、またはそれらの何らかの組合せなどの任意のタイプの通信ネットワークであり得、任意の数のワイヤードまたはワイヤレスリンクを含むことができる。一般に、ネットワーク180上の通信は、様々な通信プロトコル(たとえば、TCP/IP、HTTP、SMTP、FTP)、エンコーディングもしくはフォーマット(たとえば、HTML、XML)、および/または保護スキーム(たとえば、VPN、セキュアHTTP、SSL)を使用して、あらゆる種類のワイヤードおよび/またはワイヤレス接続を介して伝送することができる。

本明細書に置いて記述されている機械学習モデルは、様々なタスク、アプリケーション、および/またはユースケースにおいて使用され得る。

いくつかの実装形態では、本開示の機械学習モデルへの入力は画像データであり得る。機械学習モデルは、出力を生成するために画像データを処理することができる。一例として、機械学習モデルは、画像認識出力(たとえば、画像データの認識、画像データの潜在的な埋込み、画像データのエンコードされた表現、画像データのハッシュなど)を生成するために、画像データを処理することができる。別の例として、機械学習モデルは、画像セグメンテーション出力を生成するために、画像データを処理することができる。別の例として、機械学習モデルは、画像分類出力を生成するために、画像データを処理することができる。別の例として、機械学習モデルは、画像データ修正出力(たとえば、画像データの変更など)を生成するために、画像データを処理することができる。別の例として、機械学習モデルは、エンコードされた画像データ出力(たとえば、画像データのエンコードされた、および/または圧縮された表現など)を生成するために、画像データを処理することができる。別の例として、機械学習モデルは、アップスケールされた画像データ出力を生成するために画像データを処理することができる。別の例として、機械学習モデルは、予測出力を生成するために画像データを処理することができる。

いくつかの実装形態では、本開示の機械学習モデルへの入力は、テキストまたは自然言語データであり得る。機械学習モデルは、出力を生成するために、テキストまたは自然言語データを処理することができる。一例として、機械学習モデルは、言語エンコード出力を生成するために自然言語データを処理することができる。別の例として、機械学習モデルは、潜在的なテキスト埋込み出力を生成するためにテキストまたは自然言語データを処理することができる。別の例として、機械学習モデルは、翻訳出力を生成するためにテキストまたは自然言語データを処理することができる。別の例として、機械学習モデルは、分類出力を生成するためにテキストまたは自然言語データを処理することができる。別の例として、機械学習モデルは、テキストのセグメンテーション出力を生成するために、テキストまたは自然言語データを処理することができる。別の例として、機械学習モデルは、セマンティック意図出力を生成するために、テキストまたは自然言語データを処理することができる。別の例として、機械学習モデルは、アップスケールされたテキストまたは自然言語出力(たとえば、入力テキストまたは自然言語よりも高品質のテキストまたは自然言語データなど)を生成するために、テキストまたは自然言語データを処理することができる。別の例として、機械学習モデルは、予測出力を生成するために、テキストまたは自然言語データを処理することができる。

いくつかの実装形態では、本開示の機械学習モデルへの入力は、潜在的なエンコーディングデータ(たとえば、入力の潜在的な空間表現など)であり得る。機械学習モデルは、出力を生成するために、潜在的なエンコーディングデータを処理することができる。一例として、機械学習モデルは、認識出力を生成するために、潜在的なエンコーディングデータを処理することができる。別の例として、機械学習モデルは、再構築出力を生成するために、潜在的なエンコーディングデータを処理することができる。別の例として、機械学習モデルは、検索出力を生成するために、潜在的なエンコーディングデータを処理することができる。別の例として、機械学習モデルは、再クラスタリング出力を生成するために、潜在的なエンコーディングデータを処理することができる。別の例として、機械学習モデルは、予測出力を生成するために、潜在的なエンコーディングデータを処理することができる。

いくつかの実装形態では、本開示の機械学習モデルへの入力は、センサデータであり得る。機械学習モデルは、出力を生成するためにセンサデータを処理することができる。一例として、機械学習モデルは、認識出力を生成するためにセンサデータを処理することができる。別の例として、機械学習モデルは、予測出力を生成するためにセンサデータを処理することができる。別の例として、機械学習モデルは、分類出力を生成するためにセンサデータを処理することができる。別の例として、機械学習モデルは、セグメンテーション出力を生成するためにセンサデータを処理することができる。別の例として、機械学習モデルは、セグメンテーション出力を生成するためにセンサデータを処理することができる。別の例として、機械学習モデルは、視覚化出力を生成するためにセンサデータを処理することができる。別の例として、機械学習モデルは、診断出力を生成するためにセンサデータを処理することができる。別の例として、機械学習モデルは、検出出力を生成するためにセンサデータを処理することができる。

場合によっては、機械学習モデルは、信頼性の高いおよび/または効率的な送信もしくは記憶(および/または対応するデコーディング)のために入力データをエンコードすることを含むタスクを実行するように構成することができる。別の例では、入力は視覚データ(たとえば、1つまたは複数の画像またはビデオ)を含み、出力は圧縮視覚データを備え、タスクは視覚データ圧縮タスクである。別の例では、タスクは、入力データ(たとえば、視覚データ)の埋込みを生成することを備え得る。

場合によっては、入力は視覚データを含み、タスクはコンピュータビジョンタスクである。場合によっては、入力は1つまたは複数の画像のピクセルデータを含み、タスクは画像処理タスクである。たとえば、画像処理タスクは画像分類であり、出力はスコアのセットであり、各スコアは異なるオブジェクトクラスに対応し、1つまたは複数の画像がそのオブジェクトクラスに属するオブジェクトを描写する可能性を表す。画像処理タスクはオブジェクト検出であってもよく、画像処理出力は、1つまたは複数の画像内の1つまたは複数の領域、および領域ごとに、その領域が対象のオブジェクトを表す可能性を識別する。別の例として、画像処理タスクは画像セグメンテーションであってよく、画像処理出力は、1つまたは複数の画像内のピクセルごとに、あらかじめ定められたカテゴリのセット内のカテゴリごとのそれぞれの可能性を定義する。たとえば、カテゴリのセットは前景と背景にすることができる。別の例として、カテゴリのセットをオブジェクトクラスにすることができる。別の例として、画像処理タスクは深度推定であり、画像処理出力は、1つまたは複数の画像内のピクセルごとに、それぞれの深度値を定義する。別の例として、画像処理タスクは動き推定であり、ネットワーク入力は複数の画像を含み、画像処理出力は入力画像のうちの1つのピクセルごとに、ネットワーク入力における画像間のピクセルに描かれたシーンの動きを定義する。

図1Aは、本開示を実装するために使用できる、1つの例示的なコンピューティングシステムを示している。他のコンピューティングシステムも同様に使用することができる。たとえば、いくつかの実装形態では、ユーザコンピューティングデバイス102は、モデルトレーナ160およびトレーニングデータセット162を含むことができる。このような実装形態では、モデル120は、ユーザコンピューティングデバイス102において、ローカルにトレーニングおよび使用の両方を行うことができる。そのような実装形態のいくつかでは、ユーザコンピューティングデバイス102は、ユーザ固有のデータに基づいてモデル120をパーソナライズするために、モデルトレーナ160を実装することができる。

図1Bは、本開示の例示的な実施形態に従って実行する例示的なコンピューティングデバイスのブロック図を示している。コンピューティングデバイス10は、ユーザコンピューティングデバイスであってもよく、サーバコンピューティングデバイスであってもよい。

コンピューティングデバイス10は、多数のアプリケーション(たとえば、アプリケーション1からN)を含む。各アプリケーションは、独自の機械学習ライブラリと機械学習モデルとを含む。たとえば、各アプリケーションは機械学習モデルを含むことができる。例示的なアプリケーションは、テキストメッセージングアプリケーション、電子メールアプリケーション、ディクテーションアプリケーション、仮想キーボードアプリケーション、ブラウザアプリケーションなどを含む。

図1Bに示されるように、各アプリケーションは、たとえば、1つまたは複数のセンサ、コンテキストマネージャ、デバイス状態コンポーネント、および/または追加のコンポーネントなどの、コンピューティングデバイスの他の多くのコンポーネントと通信することができる。いくつかの実装形態では、各アプリケーションは、API(たとえば、パブリックAPI)を使用して各デバイスコンポーネントと通信することができる。いくつかの実装形態では、各アプリケーションによって使用されるAPIはそのアプリケーションに固有である。

図1Cは、本開示の例示的な実施形態に従って実行する例示的なコンピューティングデバイス50のブロック図を示している。コンピューティングデバイス50は、ユーザコンピューティングデバイスであってもよく、サーバコンピューティングデバイスであってもよい。

コンピューティングデバイス50は、多数のアプリケーション(たとえば、アプリケーション1からN)を含む。各アプリケーションは中央のインテリジェンス層と通信する。例示的なアプリケーションは、テキストメッセージングアプリケーション、電子メールアプリケーション、ディクテーションアプリケーション、仮想キーボードアプリケーション、ブラウザアプリケーションなどを含む。いくつかの実装形態では、各アプリケーションは、API(たとえば、すべてのアプリケーションにわたる共通のAPI)を使用して、中央インテリジェンス層(およびそこに記憶されたモデル)と通信することができる。

中央インテリジェンス層には、多数の機械学習モデルを含む。たとえば、図1Cに示されるように、それぞれの機械学習モデル(たとえば、モデル)をアプリケーションごとに提供し、中央インテリジェンス層によって管理することができる。他の実装形態では、2つ以上のアプリケーションが単一の機械学習モデルを共有することができる。たとえば、いくつかの実装形態では、中央インテリジェンス層は、すべてのアプリケーションに対して単一のモデル(たとえば、単一のモデル)を提供することができる。いくつかの実装形態では、中央インテリジェンス層は、コンピューティングデバイス50のオペレーティングシステム内に含まれるか、またはそれによって実装される。

中央インテリジェンス層は、中央デバイスデータ層と通信することができる。中央デバイスデータ層は、コンピューティングデバイス50のためのデータの集中リポジトリであり得る。図1Cに示されるように、中央デバイスデータ層は、たとえば、1つまたは複数のセンサ、コンテキストマネージャ、デバイス状態コンポーネント、および/または追加のコンポーネントなどの、コンピューティングデバイスの他の多くのコンポーネントと通信することができる。いくつかの実装形態では、中央デバイスデータ層は、API(たとえば、プライベートAPI)を使用して各デバイスコンポーネントと通信することができる

例示的なモデル配置
図2は、本開示の例示的な実施形態による、例示的な実装例200のブロック図を示している。いくつかの実装形態では、例示的な実装例200は、検索クエリの結果を記述する検索結果リスト204を含み、検索結果リスト204を受信した結果として、事前レンダリングされた画像208を提供し、この事前レンダリングされた画像208は、検索結果リスト204からの1つまたは複数の結果206の、結果として得られる製品のレンダリングを含む事前レンダリングされた拡張現実画像である。したがって、いくつかの実装形態では、例示的な実装例200は、検索クエリ入力を受け取るように動作可能である検索クエリ入力エリア202を含むことができる。

図2の例示的な実装例は、検索エンジンウェブサービス210を示している。検索エンジン入力エリア202は、1つまたは複数の検索語を含むことができる検索クエリを取り込むことができる。プラットフォームは、検索結果リスト204を提供するために、検索クエリを取り込み、それを処理することができる。1つまたは複数の検索語は購入用製品に関連することができる。これらの実装形態では、検索結果リスト204は、検索語に関連する1つまたは複数の製品とすることができる。いくつかの実装形態では、検索結果リスト204からの1つまたは複数の結果206は、結果206に関連する1つまたは複数の事前レンダリングされた画像208を含むことができる。いくつかの実装形態では、事前レンダリングされた画像208は、対応する結果206のレンダリングを含むことができる。いくつかの実装形態では、ユーザは、仮想ライブ試着拡張現実体験をさらに選択することができる。

図3は、本開示の例示的な実施形態による、例示的な実装例300のブロック図を示している。例示的な実装例300は、例示的な実装例300が例示的な結果をさらに示していることを除いて、図2の例示的な実装例200と同様である。

図3は、家具試着体験としての例示的な実装例300を示している。たとえば、実装例300内に示される事前レンダリングされた画像を生成するために、製品302をテンプレート環境内にレンダリングすることができる。この例では、ラブシート304、テレビ306、およびラグ308が、例示的な部屋のテンプレート画像の一部である。このテンプレート画像は、複数の事前レンダリングされた画像を生成するために処理することができる複数のテンプレート画像のうちの1つとすることができる。この例では、複数の事前レンダリングされた画像は、それぞれに対応する各テンプレート画像内の製品302のレンダリングを含み得る。テンプレート画像は、様々なサイズ、テーマ、および構成を有することができる。たとえば、この例示的な事前レンダリングされた画像は、ラブシート304の向かいに、ラグ308を間に挟んで、テレビ306を含む。いくつかの実装形態では、プラットフォームは、ユーザがレンダリングされた製品をテンプレート画像内の様々な場所において見られるようにし得る。

図4は、本開示の例示的な実施形態による例示的な実装例400のブロック図を示している。例示的な実装例400は、例示的な実装例400がモバイルアプリケーションにおける例示的な実装例をさらに示していることを除いて、図2の例示的な実装例200と同様である。

図4に示される例示的な実装例では、プラットフォームには、モバイルデバイス402上のモバイルアプリケーション内のユーザインターフェースを通じてアクセスされる。ユーザは、モバイルアプリケーションにアクセスするために、モバイルデバイスを使用することができ、ユーザはこのモバイルアプリケーションにおいて選好を記憶させ、事前レンダリングされた画像のライブラリにアクセスすることができる。たとえば、ユーザは、ユーザが選択した特定のリビングルームテンプレート画像408を選好する可能性がある。ユーザはそのテンプレート画像408を、ユーザのリビングルームに最もよく一致しているものとして選択した可能性がある。テンプレート画像408は、ユーザの自宅に見られるのと同様のカウチ404および同様のランプ406を含むことができる。テンプレート画像408は他の複数のテンプレート画像とともに、様々な家具製品および装飾製品についての様々な事前レンダリングされた画像を生成するために、処理された可能性がある。プラットフォームは、モバイルアプリケーションを用いて、ユーザ自身の買い物体験を支援するために、ユーザの好みのテンプレート画像408内にレンダリングされた様々な装飾製品または家具製品を提供することができる。たとえば、ユーザは、自身のリビングルーム内のセットアップと同様のカウチ404およびランプ406の下で特定のラグがどのように見えることになるかを確認するために、モバイルアプリケーションを使用し得る。

図5は、本開示の例示的な実施形態による、例示的なプラットフォーム500のブロック図を示している。いくつかの実装形態では、プラットフォーム500は、要求、およびユーザ固有の選好を記述する選好506を受信し、選好506を受信した結果として、ユーザ固有の選好506に関連するテンプレート画像上の拡張現実レンダリングの事前レンダリングされた画像を含む出力データを提供するようにトレーニングされる。したがって、いくつかの実装形態では、プラットフォーム500は、テンプレート画像、拡張現実データ資産、および事前レンダリングされた画像を記憶するように動作可能であるディレクトリ510を含むことができる。

図5の例示的なプラットフォームは、事前レンダリングされた画像のディレクトリ510、およびユーザ502を含む。ユーザは、ユーザによって選択される設定504を有することができ、設定504は選好506を含むことができる。いくつかの実装形態では、選好506は、テンプレート画像に関連する選択された選好を含むことができる。選好506は、要求が行われたときに複数の事前レンダリングされた画像からどの事前レンダリングされた画像がユーザに提供され得るかを決定するために使用することができる。たとえば、第1のテンプレート画像に関連する選好は、プラットフォームに、第1のテンプレート画像内にレンダリングされた製品を含む事前レンダリングされた画像を提供させることができる。

ディレクトリ510は、テンプレート画像、拡張現実資産、および事前レンダリングされた画像を記憶することができる。テンプレート画像は、部屋、庭、私道、および顔を含むがこれらに限定されない、様々な環境についてのテンプレート画像とすることができる。拡張現実資産は、家具、装飾、植物、電子機器、自動車、およびメイクアップを含むがこれらに限定されない、様々なオブジェクトおよび製品をレンダリングするために使用することができる。いくつかの実装形態では、事前レンダリングされた画像は、テンプレート画像内にレンダリングされた製品を含むことができ、その場合、製品は拡張現実資産に基づいてレンダリングすることができる。

いくつかの実装形態では、プラットフォームは、様々な環境内の様々な異なる製品についての事前レンダリングされた画像を記憶することができる。たとえば、データセット1は、様々なリビングルーム内のランプの様々な事前レンダリングされた画像512を含むことができる。データセット2は、顔の口紅の複数の事前レンダリングされた画像514を含むことができる。データセット3は、庭の木の複数の事前レンダリングされた画像516を含むことができる。いくつかの実装形態では、ユーザは、買い物を支援すべく、事前レンダリングされた画像にアクセスするために、ウェブサービス、モバイルアプリケーション、またはキオスクによって提供されるユーザインターフェースを使用することができる。

図9は、本開示の例示的な実施形態による、例示的な拡張プラットフォーム900のブロック図を示している。いくつかの実装形態では、拡張プラットフォーム900は、ユーザ要求を記述する入力データのセットを受信し、入力データを受信した結果として、テンプレート画像内の事前レンダリングされたレンダリングを含む出力データを提供するようにトレーニングされる。したがって、いくつかの実装形態では、拡張プラットフォーム900は、ユーザデバイスと対話しかつ拡張現実事前レンダリング体験を可能にするように動作可能である、拡張現実事前レンダリングプラットフォーム920を含むことができる。

図9に示される拡張現実事前レンダリングプラットフォーム920は、ユーザ対話を可能にするためのユーザインターフェース922、処理のためのテンプレートライブラリ924、テンプレート画像を処理するためのレンダリングエンジン926、およびテンプレート画像を処理することによって生成された事前レンダリングされた画像を記憶する事前レンダリング済みライブラリ928を含む。

いくつかの実装形態では、拡張現実事前レンダリングプラットフォーム920は、ユーザコンピューティングデバイス910からユーザ選好912を受信することができる。ユーザ選好912は、複数の事前レンダリングされた画像のうちのどれが事前レンダリング済みライブラリ928からユーザコンピューティングデバイス910に提供されるかを決定するために使用することができる。

いくつかの実装形態では、拡張現実事前レンダリングプラットフォーム920は、拡張現実ライブ試着体験のためのオプションを提供することができる。体験には、ユーザの提供するデータにおいてレンダリングを生成するために、レンダリングエンジン926によるユーザメディアデータまたはユーザカメラフィード914の処理が関与することができる。

例示的な方法
図6は、本開示の例示的な実施形態に従って実行するための例示的な方法のフローチャート図を示している。図6は、例示および議論の目的で特定の順序で実行されるステップを示しているが、本開示の方法は、特に図示された順序または配置に限定されない。方法600の様々なステップは、本開示の範囲から逸脱することなく、様々な方法で省略、再配置、組合せ、および/または適合させることができる。

602において、コンピューティングシステムは、複数のテンプレート画像を入手することができる。いくつかの実装形態では、テンプレート画像は、部屋画像、顔画像、または庭画像を含むことができる。複数のテンプレート画像は、様々な環境の画像を含むことができる。たとえば、複数のテンプレート画像は、様々な異なる部屋サイズ、構成、テーマ、照明、または色を含むことができる。

604において、コンピューティングシステムは、拡張現実レンダリングモデルを用いて複数のテンプレート画像を処理することができる。拡張現実レンダリングモデルは、オブジェクト追跡およびレンダリングを含むことができる。拡張現実レンダリングモデルを用いたテンプレート画像の処理により、複数の事前レンダリングされた画像が生成されることが可能である。複数の事前レンダリングされた画像は、複数のテンプレート画像のそれぞれ内にレンダリングされた拡張現実レンダリングを含むことができる。拡張現実レンダリングは、製品を記述することができる。拡張現実レンダリングモデルは、サードパーティによって提供されるデータ資産に少なくとも部分的に基づくことができ、その場合、データ資産は、サードパーティによって、画像およびビデオにおいて製品をレンダリングする拡張現実レンダリング体験を構築することにより生成される。たとえば、レンダリングされている製品は、家具(たとえば、カウチ、椅子、テーブルなど)とすることができる。複数の事前レンダリングされた画像は、異なるサイズ、色、テーマ、および構成を有する様々な異なる部屋を描いた複数の異なるテンプレート画像内にレンダリングされた特定のカウチを含むことができる。別の例では、製品は、メイクアップ製品(たとえば、口紅、マスカラ、ファンデーション、アイライナー、アイシャドウなど)とすることができる。この実装形態では、複数の事前レンダリングされた画像は、口紅などのメイクアップ製品のレンダリングを含むことができる。この実装形態では、口紅は、複数のテンプレート顔画像上にレンダリングすることができる。

いくつかの実装形態では、拡張現実レンダリングモデルを用いた処理は、メッシュおよびセグメンテーションマスクを生成するために、知覚モデルを用いて複数のテンプレート画像を処理することと、次いで、複数の事前レンダリングされた画像を生成するために、レンダリングモデルを用いてメッシュ、セグメンテーションマスク、およびテンプレート画像を処理することとを含むことができる。

606において、コンピューティングシステムは、結果画像を求める要求および選好を受信することができる。要求は、検索エンジンに入力された検索語を含むことができる。いくつかの実装形態では、選好は、事前選択されたテンプレートを含むことができる。

608において、コンピューティングシステムは、事前レンダリングされた結果を提供することができる。事前レンダリングされた結果は、要求および選好に少なくとも部分的に基づくことができる。事前レンダリングされた結果は、複数の事前レンダリングされた画像からの事前レンダリングされた画像とすることができる。いくつかの実装形態では、事前レンダリングされた結果は、選好に一致する事前レンダリングされた画像とすることができ、選好は、複数のテンプレート画像からユーザによって選択されたテンプレートを含むことができる。

いくつかの実装形態では、コンピューティングシステムは拡張現実体験を提供することができる。拡張現実体験は、拡張現実体験に進む選択を受信したときに提供することができる。

図7は、本開示の例示的な実施形態に従って実行するための例示的な方法のフローチャート図を示している。図7は、例示および議論の目的で特定の順序で実行されるステップを示しているが、本開示の方法は、特に図示された順序または配置に限定されない。方法700の様々なステップは、本開示の範囲から逸脱することなく、様々な方法で省略、再配置、組合せ、および/または適合させることができる。

702において、コンピューティングシステムは、拡張現実資産を入手することができる。拡張現実資産はデジタル化パラメータを含むことができる。

704において、コンピューティングシステムは、複数のテンプレート画像を入手することができる。

706において、コンピューティングシステムは、複数の事前レンダリングされた画像を生成するために、拡張現実モデルを用いて複数のテンプレート画像を処理することができる。複数の事前レンダリングされた画像は、デジタル化パラメータに少なくとも部分的に基づいて、生成することができる。いくつかの実装形態では、コンピューティングシステムは、複数のテンプレート画像に少なくとも部分的に基づいて、複数のテンプレートモデルを生成することができる。次いで、拡張現実モデルは、複数の事前レンダリングされた画像を生成するために、複数のテンプレートモデルを処理することができる。

いくつかの実装形態では、コンピューティングシステムは、複数のテンプレートモデルのうちのあるテンプレートモデルを修正するための入力を受信することを含むことができる。このテンプレートモデルは、テンプレートに少なくとも部分的に基づいて修正することができる。いくつかの実装形態では、表示するためにテンプレートモデルを提供することができる。

708において、コンピューティングシステムは、複数の事前レンダリングされた画像を記憶することができる。いくつかの実装形態では、複数の事前レンダリングされた画像はサーバ上に記憶することができる。

コンピューティングシステムは、記憶された事前レンダリングされた画像をユーザに提供することができる。いくつかの実装形態では、コンピューティングシステムは、1つまたは複数の検索語を含む検索クエリを受信することができ、1つまたは複数の検索語は製品に関連する。次いで、コンピューティングシステムは、検索結果を提供することができ、検索結果は、複数の事前レンダリングされた画像からの事前レンダリングされた画像を含む。いくつかの実装形態では、事前レンダリングされた画像は製品のレンダリングを含むことができる。

いくつかの実装形態では、コンピューティングシステムは、リアルタイムの拡張現実体験へのリンクを提供し得る。

図8は、本開示の例示的な実施形態に従って実行するための例示的な方法のフローチャート図を示している。図8は、例示および議論の目的で特定の順序で実行されるステップを示しているが、本開示の方法は、特に図示された順序または配置に限定されない。方法800の様々なステップは、本開示の範囲から逸脱することなく、様々な方法で省略、再配置、組合せ、および/または適合させることができる。

802において、コンピューティングシステムは、拡張現実資産を入手することができる。拡張現実資産はデジタル化パラメータを含むことができる。

804において、コンピューティングシステムは、複数のテンプレート画像を入手することができる。

806において、コンピューティングシステムは、複数の事前レンダリングされた画像を生成するために、拡張現実モデルを用いて複数のテンプレート画像を処理することができる。拡張現実モデルは、デジタル化パラメータに少なくとも部分的に基づいて、複数の事前レンダリングされた画像を生成することができる。

808において、コンピューティングシステムは、複数の事前レンダリングされた画像を記憶することができる。

810において、コンピューティングシステムは、検索クエリを受信することができる。検索クエリは、1つまたは複数の検索語を含むことができ、1つまたは複数の検索語は製品に関連する。

812において、コンピューティングシステムは、検索結果を提供することができる。検索結果は、サーバから取り出した複数の事前レンダリングされた画像からの事前レンダリングされた画像を含むことができ、事前レンダリングされた画像は製品のレンダリングを含むことができる。

追加開示
本明細書で説明する技術は、サーバ、データベース、ソフトウェアアプリケーション、および他のコンピュータベースのシステム、ならびにそのようなシステムで行われるアクション、およびそのようなシステムとの間で送受信される情報について言及する。コンピュータベースのシステムが本来持つ柔軟性により、コンポーネント間でのタスクと機能の多種多様な構成、組合せ、分割が可能になる。たとえば、本明細書で説明するプロセスは、単一のデバイスもしくはコンポーネント、または組み合わせて動作する複数のデバイスもしくはコンポーネントを使用して実装することができる。データベースとアプリケーションは、単一のシステムに実装することもでき、複数のシステムに分散して実装することもできる。分散コンポーネントは、順次または並行して動作することができる。

本発明の主題をその様々な特定の例示的な実施形態に関して詳細に説明してきたが、各例は説明のために提供されたものであり、本開示を限定するものではない。当業者は、前述の内容を理解すれば、そのような実施形態に対する変更、変形、および等価物を容易に生み出すことができる。したがって、本開示は、当業者には容易に明らかなような、本主題に対するそのような修正、変形、および/または追加を含むことを妨げるものではない。たとえば、さらに別の実施形態を得るために、一実施形態の一部として図示または説明した特徴を別の実施形態とともに使用することができる。したがって、本開示はそのような変更、変形、および等価物を網羅することが意図されている。

50 コンピューティングデバイス
102 ユーザコンピューティングデバイス
112 プロセッサ
114 メモリ
116 データ
118 命令
120 拡張現実レンダリングモデル
120 機械学習モデル
122 ユーザ入力コンポーネント
130 サーバコンピューティングシステム
132 プロセッサ
134 メモリ
136 データ
138 命令
140 拡張現実レンダリングモデル
150 トレーニングコンピューティングシステム
152 プロセッサ
154 メモリ
156 データ
158 命令
160 モデルトレーナ
162 トレーニングデータ
162 トレーニングデータセット
180 ネットワーク
200 実装例
202 検索クエリ入力エリア、検索エンジン入力エリア
204 検索結果リスト
206 結果
208 事前レンダリングされた画像
210 検索エンジンウェブサービス
300 実装例
302 製品
304 ラブシート
306 テレビ
308 ラグ
400 実装例
402 モバイルデバイス
404 カウチ
406 ランプ
408 リビングルームテンプレート画像
500 プラットフォーム
502 ユーザ
504 設定
506 選好
510 ディレクトリ
512 様々なリビングルーム内のランプの様々な事前レンダリングされた画像
514 顔の口紅の複数の事前レンダリングされた画像
516 庭の木の複数の事前レンダリングされた画像
600 方法
700 方法
800 方法
900 拡張プラットフォーム
910 ユーザコンピューティングデバイス
912 ユーザ選好
914 ユーザカメラフィード
920 拡張現実事前レンダリングプラットフォーム
922 ユーザインターフェース
924 テンプレートライブラリ
926 レンダリングエンジン
928 事前レンダリング済みライブラリ

Claims (20)

1. 事前レンダリングされた拡張画像を提供するためのコンピュータ実装方法であって、
   コンピューティングデバイスによって、複数のテンプレート画像を入手するステップと、
   前記コンピューティングデバイスによって、複数の事前レンダリングされた画像を生成するために、拡張現実レンダリングモデルを用いて前記複数のテンプレート画像を処理するステップと、
   前記コンピューティングデバイスによって、結果画像を求める要求および選好を受信するステップと、
   前記コンピューティングデバイスによって、前記要求および前記選好に少なくとも部分的に基づく事前レンダリングされた結果を提供するステップであって、前記事前レンダリングされた結果が、前記複数の事前レンダリングされた画像からの事前レンダリングされた画像である、ステップと、
   を備える、コンピュータ実装方法。
2. 前記複数のテンプレート画像が複数の部屋画像を備える、請求項1に記載のコンピュータ実装方法。
3. 前記複数の事前レンダリングされた画像が複数のレンダリングされた家具画像を備える、請求項1または2に記載のコンピュータ実装方法。
4. 前記複数のテンプレート画像が複数の顔画像を備える、請求項1から3のいずれか一項に記載のコンピュータ実装方法。
5. 前記複数の事前レンダリングされた画像が複数のレンダリングされたメイクアップ画像を備える、請求項1から4のいずれか一項に記載のコンピュータ実装方法。
6. 前記拡張現実レンダリングモデルが知覚モデルおよびレンダリングモデルを備える、請求項1から5のいずれか一項に記載のコンピュータ実装方法。
7. 前記要求が、検索エンジンに入力された検索語を備える、請求項1から6のいずれか一項に記載のコンピュータ実装方法。
8. 前記選好が、事前選択されたテンプレートを備える、請求項1から7のいずれか一項に記載のコンピュータ実装方法。
9. 前記事前レンダリングされた結果が、前記選好に一致する事前レンダリングされた画像であり、前記選好が、前記複数のテンプレート画像からユーザによって選択されたテンプレートを備える、請求項1から8のいずれか一項に記載のコンピュータ実装方法。
10. 前記コンピューティングデバイスによって拡張現実レンダリング体験を提供するステップをさらに備える、請求項1から9のいずれか一項に記載のコンピュータ実装方法。
11. コンピューティングシステムであって、
    1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムに、動作を実行させる命令を集合的に記憶する1つまたは複数の非一時的コンピュータ可読媒体と
    を備え、前記動作が、
    拡張現実資産を入手することであって、前記拡張現実資産がデジタル化パラメータを備える、ことと、
    複数のテンプレート画像を入手することと、
    前記デジタル化パラメータに少なくとも部分的に基づいて、複数の事前レンダリングされた画像を生成するために、拡張現実モデルを用いて前記複数のテンプレート画像を処理することと、
    前記複数の事前レンダリングされた画像を記憶することと、
    を備える、コンピューティングシステム。
12. 前記複数のテンプレート画像に少なくとも部分的に基づいて、複数のテンプレートモデルを生成することであって、前記拡張現実モデルが前記複数のテンプレートモデルを処理する、ことをさらに備える、請求項11に記載のコンピューティングシステム。
13. 前記複数のテンプレートモデルのうちのあるテンプレートモデルを修正するための入力を受信することと、
    前記入力に少なくとも部分的に基づいて、前記テンプレートモデルを修正することと、
    をさらに備える、請求項11または12に記載のコンピューティングシステム。
14. 表示するために前記複数のテンプレートモデルのうちのあるテンプレートモデルを提供することをさらに備える、請求項11から13のいずれか一項に記載のコンピューティングシステム。
15. 前記複数の事前レンダリングされた画像を記憶することが、前記複数の事前レンダリングされた画像をサーバ上に記憶することを備える、請求項11から14のいずれか一項に記載のコンピューティングシステム。
16. 前記複数の事前レンダリングされた画像からの事前レンダリングされた画像をユーザに提供することをさらに備える、請求項11から15のいずれか一項に記載のコンピューティングシステム。
17. リアルタイムの拡張現実体験へのリンクを提供することをさらに備える、請求項11から16のいずれか一項に記載のコンピューティングシステム。
18. 1つまたは複数の検索語を備える検索クエリを受信することであって、前記1つまたは複数の検索語が製品に関連する、ことと、
    検索結果を提供することであって、前記検索結果が、前記複数の事前レンダリングされた画像からの事前レンダリングされた画像を備え、前記事前レンダリングされた画像が前記製品のレンダリングを備える、ことと、
    をさらに備える、請求項11から17のいずれか一項に記載のコンピューティングシステム。
19. 前記拡張現実資産が、製品を記述するデータを備える、請求項11から18のいずれか一項に記載のコンピューティングシステム。
20. 1つまたは複数のプロセッサによって実行されると、コンピューティングシステムに、動作を実行させる命令を集合的に記憶する1つまたは複数の非一時的コンピュータ可読媒体であって、前記動作が、
    拡張現実資産を入手することであって、前記拡張現実資産がデジタル化パラメータを備える、ことと、
    複数のテンプレート画像を入手することと、
    前記デジタル化パラメータに少なくとも部分的に基づいて、複数の事前レンダリングされた画像を生成するために、拡張現実モデルを用いて前記複数のテンプレート画像を処理することと、
    前記複数の事前レンダリングされた画像をサーバ上に記憶することと、
    1つまたは複数の検索語を備える検索クエリを受信することであって、前記1つまたは複数の検索語が製品に関連する、ことと、
    検索結果を提供することであって、前記検索結果が、前記サーバから取り出した前記複数の事前レンダリングされた画像からの事前レンダリングされた画像を備え、前記事前レンダリングされた画像が前記製品のレンダリングを備える、ことと、
    を備える、1つまたは複数の非一時的コンピュータ可読媒体。

Images