JPWO2020206313A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2020206313A5 JPWO2020206313A5 JP2021559089A JP2021559089A JPWO2020206313A5 JP WO2020206313 A5 JPWO2020206313 A5 JP WO2020206313A5 JP 2021559089 A JP2021559089 A JP 2021559089A JP 2021559089 A JP2021559089 A JP 2021559089A JP WO2020206313 A5 JPWO2020206313 A5 JP WO2020206313A5
- Authority
- JP
- Japan
- Prior art keywords
- web page
- virtual
- transformation
- browser engine
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009466 transformation Effects 0.000 claims description 108
- 238000000034 method Methods 0.000 claims description 33
- 238000009877 rendering Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims 3
- 238000000844 transformation Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 1
Description
いくつかの実施形態は、少なくとも1つのプロセッサまたは少なくとも1つのプロセッサコアによって実行されると、少なくとも1つのプロセッサまたは少なくとも1つのプロセッサコアに、本明細書に開示される方法、プロセス、またはサブプロセスのいずれかを実施させる、その上に記憶される命令のシーケンスを有する、非一過性機械アクセス可能記憶媒体を含む、製造品を対象とする。非一過性機械可読記憶媒体のいくつかの例示的形態もまた、下記のシステムアーキテクチャ概要の節に見出され得る。
本発明は、例えば、以下を提供する。
(項目1)
コンピュータ実装方法であって、
ブラウザエンジンにおいて、ウェブページまたはそのためのウェブページパネルのための3次元(3D)変換のための入力を受信することと、
少なくとも、エクステンデッドリアリティシステムのマイクロプロセッサに結合される前記ブラウザエンジンによって、前記入力に応答して、少なくとも部分的に、前記ウェブページまたはそのためのウェブページパネルの前記3D変換に基づいて、前記ウェブページのための3D変換データを決定することであって、前記3D変換は、前記ウェブページまたはそのためのウェブページパネルの3D位置、回転、またはスケールの変化を備える、ことと、
少なくとも、前記エクステンデッドリアリティシステムのブラウザエンジンに結合されるユニバースブラウザエンジンによって、少なくとも部分的に、前記3D変換データに基づいて、前記ウェブページのコンテンツを仮想3D空間内に提示することと
を含む、コンピュータ実装方法。
(項目2)
前記ブラウザエンジンにおいて、前記仮想3D空間内に表示されるべきウェブページを識別することであって、前記仮想3D空間は、仮想3次元ボリュームを有する、ことと、
前記ブラウザエンジンによって、前記3D変換データを前記ブラウザエンジンによってアクセス可能な非一過性コンピュータ可読媒体内に記憶することと、
前記ブラウザエンジンからの前記3D変換データを前記ユニバースブラウザエンジンに伝送することと
をさらに含む、項目1に記載のコンピュータ実装方法。
(項目3)
前記ウェブページまたは前記ウェブページをホストするウェブサイトから、前記ウェブページのための3D変換のための入力を受信することであって、前記ウェブページの境界は、前記仮想3D空間内で表示または抑制されるように構成可能であるウェブブラウザアプリケーションインスタンスによって制約される、こと、または
ユーザから、前記ウェブページのための3D変換のための入力を受信することであって、前記ウェブページの境界は、前記仮想3D空間内で表示または抑制されるように構成可能である前記ウェブブラウザによって制約される、こと、または
前記ウェブページのコードから、前記ウェブページのための3D変換のための入力を識別することであって、前記ウェブページの開発者は、前記ブラウザエンジンによって表示されるべき前記ウェブページの3D位置、回転、またはスケールを制約する、こと
をさらに含む、項目2に記載のコンピュータ実装方法。
(項目4)
前記ブラウザエンジンからの前記3D変換データを前記ユニバースブラウザエンジンに伝送することと、
前記ユニバースブラウザエンジンにおいて、前記ウェブページまたはそのためのウェブページパネルの3D位置、回転、またはスケールの変化を受信することと
をさらに含む、項目2に記載のコンピュータ実装方法。
(項目5)
前記ブラウザエンジンにおいて、前記ウェブページまたは前記ウェブページパネルの3D位置、回転、またはスケールに関するデータをウェブサイトから受信することと、
前記ブラウザエンジンから前記ユニバースブラウザエンジンに、前記ウェブページまたは前記ウェブページパネルの3D位置、回転、またはスケールに関するデータまたは3D変換データを伝送することと
をさらに含む、項目2に記載のコンピュータ実装方法。
(項目6)
前記ユニバースブラウザエンジンにおいて、既存のプリズムを決定するか、または新しいプリズムを前記仮想3D空間内に生成することと、
前記ユニバースブラウザエンジンにおいて、前記データまたは前記3D変換データを更新された3D変換データに修正することと、
前記ブラウザエンジンによって決定された前記3D変換データと前記更新された3D変換データとを同期させることと
をさらに含む、項目5に記載のコンピュータ実装方法。
(項目7)
前記ユニバースブラウザエンジンによって、少なくとも、前記3D変換データを更新された3D変換データに修正することによって、前記3D変換データを更新することと、
前記ブラウザエンジンにアクセス可能である前記3D変換データと、前記ユニバースブラウザエンジンによって更新される前記更新された3D変換データとを同期させることと
をさらに含む、項目4に記載のコンピュータ実装方法。
(項目8)
部分的または全体的に、1つ以上の挙動タイプに基づいて、前記ウェブページまたは前記ウェブページパネルのために前記エクステンデッドリアリティシステムによって作成された前記仮想3D空間内に、3次元境界を有する仮想3次元ボリュームを識別または生成することと、
前記ブラウザエンジンを初期化することと、
前記ブラウザエンジンのための一意の識別子を決定することと、
前記ブラウザエンジンのためのリスナインスタンスを前記ユニバースブラウザエンジンに登録することと
をさらに含む、項目1に記載のコンピュータ実装方法。
(項目9)
前記ユニバースブラウザエンジンによって、前記仮想3次元ボリュームと前記リスナインスタンスとを関連付けることと、
前記仮想3次元ボリュームを前記ブラウザエンジンに割り当てることと、
少なくとも、シーングラフ構造を、少なくとも、使用することによって、前記仮想3D空間内の仮想3次元ボリュームを位置付けることと
をさらに含む、項目8に記載のコンピュータ実装方法。
(項目10)
前記ウェブページのコンテンツへのユーザの関心を示す第1のユーザ入力を受信することと、
前記第1のユーザ入力に応答して、少なくとも、前記コンテンツを生成するためのブラウザエンジンを実行することと、
その中に前記コンテンツがレンダリングされるべき前記仮想3D空間内の仮想3次元ボリュームを決定することと
をさらに含む、項目1に記載のコンピュータ実装方法。
(項目11)
前記ウェブページまたはそのためのウェブページパネルのための3D変換を示す第2のユーザ入力を受信することと、
少なくとも部分的に、前記第2のユーザ入力に基づいて、前記コンテンツを前記仮想3D空間内の仮想3次元ボリュームの中にレンダリングすることと
をさらに含む、項目10に記載のコンピュータ実装方法。
(項目12)
前記ウェブページまたはそのためのウェブページパネルのための変換ツリー構造および前記変換ツリー構造内のノードを識別することと、
前記ノードが前記変換ツリー構造内に親ノードを有するかどうかを決定することと、
前記ブラウザエンジンから、前記ウェブページまたは前記ウェブページパネルのための3D変換データを受信することと、
前記ウェブページまたは前記ウェブページパネルのための3D位置、回転、またはスケール入力を前記ユニバースブラウザエンジンから受信することと
をさらに含む、項目1に記載のコンピュータ実装方法。
(項目13)
前記ユニバースブラウザエンジンにおいて、少なくとも部分的に、前記3D位置、回転、またはスケール入力に基づいて、前記ウェブページまたはそのためのウェブページパネルのための更新された3D位置、回転、またはスケールを決定することと、
前記ブラウザエンジンによってアクセス可能な前記3D位置、回転、またはスケールデータと、前記更新された3D位置、回転、またはスケールデータとを同期させることと
をさらに含む、項目12に記載のコンピュータ実装方法。
(項目14)
前記更新された3D位置、回転、またはスケールデータを決定することは、
前記ウェブページの親の1つ以上の変換を識別することと、
少なくとも部分的に、前記3D位置、回転、またはスケール入力に基づいて、前記ウェブページのための1つ以上の変換特性を識別することと、
前記ウェブページまたは前記ウェブページパネルのための3D位置、回転、またはスケール入力を識別することと
を含む、項目13に記載のコンピュータ実装方法。
(項目15)
前記更新された3D位置または回転データを決定することは、
少なくとも部分的に、前記3D位置、回転、またはスケール入力、前記ウェブページまたはそのためのウェブページパネルの親の1つ以上の変換、または前記ウェブページまたはそのためのウェブページパネルのための1つ以上の変換特性のうちの1つ以上のものに基づいて、前記ウェブページまたはそのためのウェブページパネルのための変換のセットを決定することと、
変換のセットを前記ウェブページまたはそのためのウェブページパネルに適用することによって、前記更新された3D位置、回転、またはスケールデータを決定することと
を含む、項目9に記載のコンピュータ実装方法。
(項目16)
前記3D変換は、前記ウェブページまたはそのためのウェブページパネルの配向のみを修正することに限定される、項目1に記載のコンピュータ実装方法。
(項目17)
システムであって、
少なくとも1つのプロセッサと、
非一過性コンピュータアクセス可能記憶媒体であって、前記非一過性コンピュータアクセス可能記憶媒体は、プログラムコードをその上に記憶しており、前記プログラムコードは、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
ブラウザエンジンにおいて、ウェブページのための3次元(3D)変換のための入力を受信することと、
少なくとも、エクステンデッドリアリティシステムのマイクロプロセッサに結合される前記ブラウザエンジンによって、前記入力に応答して、少なくとも部分的に、前記ウェブページまたはそのためのウェブページパネルの前記3D変換に基づいて、前記ウェブページのための3D変換データを決定することであって、前記3D変換は、前記ウェブページまたはそのためのウェブページパネルの3D位置、回転、またはスケールの変化を備える、ことと、
少なくとも、前記エクステンデッドリアリティシステムのブラウザエンジンに結合されるユニバースブラウザエンジンによって、少なくとも部分的に、前記3D変換データに基づいて、前記ウェブページのコンテンツを仮想3D空間内に提示することと
を行わせる、非一過性コンピュータアクセス可能記憶媒体と
を備える、システム。
(項目18)
前記少なくとも1つのプロセッサはさらに、少なくともさらに、
前記ブラウザエンジンにおいて、前記仮想3次元(3D)空間内に表示されるべきウェブページを識別することであって、前記仮想3D空間は、仮想3次元ボリュームを有する、ことと、
前記ブラウザエンジンによって、前記3D変換データを前記ブラウザエンジンによってアクセス可能な非一過性コンピュータ可読媒体内に記憶することと、
前記ブラウザエンジンからの前記3D変換データを前記ユニバースブラウザエンジンに伝送することと
を行わせるための前記プログラムコードを実行する、項目17に記載のシステム。
(項目19)
前記少なくとも1つのプロセッサはさらに、少なくともさらに、
前記ウェブページまたは前記ウェブページをホストするウェブサイトから、前記ウェブページのための3D変換のための入力を受信することであって、前記ウェブページの境界は、前記仮想3D空間内で表示または抑制されるように構成可能であるウェブブラウザアプリケーションインスタンスによって制約される、こと、または
ユーザから、前記ウェブページのための3D変換のための入力を受信することであって、前記ウェブページの境界は、前記仮想3D空間内で表示または抑制されるように構成可能である前記ウェブブラウザによって制約される、こと、または
前記ウェブページのコードから、前記ウェブページのための3D変換のための入力を識別することであって、前記ウェブページの開発者は、前記ブラウザエンジンによって表示されるべき前記ウェブページの3D位置、回転、またはスケールを制約する、こと
を行わせるための前記プログラムコードを実行する、項目18に記載のシステム。
(項目20)
前記少なくとも1つのプロセッサはさらに、少なくともさらに、
前記ブラウザエンジンからの前記3D変換データを前記ユニバースブラウザエンジンに伝送することと、
前記ユニバースブラウザエンジンにおいて、前記ウェブページまたはそのためのウェブページパネルの3D位置、回転、またはスケールの変化を受信することと
を行わせるための前記プログラムコードを実行する、項目18に記載のシステム。
(項目21)
前記少なくとも1つのプロセッサはさらに、少なくともさらに、
前記ブラウザエンジンにおいて、前記ウェブページまたは前記ウェブページパネルの3D位置、回転、またはスケールに関するデータをウェブサイトから受信することと、
前記ブラウザエンジンから前記ユニバースブラウザエンジンに、前記ウェブページまたは前記ウェブページパネルの3D位置、回転、またはスケールに関するデータまたは3D変換データを伝送することと
を行わせるための前記プログラムコードを実行する、項目18に記載のシステム。
(項目22)
前記少なくとも1つのプロセッサはさらに、少なくともさらに、
前記ユニバースブラウザエンジンにおいて、既存のプリズムを決定し、または新しいプリズムを前記仮想3D空間内に生成することと、
前記ユニバースブラウザエンジンにおいて、前記データまたは前記3D変換データを更新された3D変換データに修正することと、
前記ブラウザエンジンによって決定された前記3D変換データと前記更新された3D変換データとを同期させることと
を行わせるための前記プログラムコードを実行する、項目21に記載のシステム。
(項目23)
前記少なくとも1つのプロセッサはさらに、少なくともさらに、
前記ユニバースブラウザエンジンによって、前記3D変換データを更新された3D変換データに更新することと、
前記ブラウザエンジンにアクセス可能な前記3D変換データと、前記更新された3D変換データとを同期させることと
を行わせるための前記プログラムコードを実行する、項目20に記載のシステム。
(項目24)
前記少なくとも1つのプロセッサはさらに、
部分的または全体的に、1つ以上の挙動タイプに基づいて、前記ウェブページまたは前記ウェブページパネルのために前記エクステンデッドリアリティシステムによって作成された前記仮想3D空間内に、3次元境界を有する仮想3次元ボリュームを識別または生成することと、
前記ブラウザエンジンを初期化することと、
前記ブラウザエンジンのための一意の識別子を決定することと、
前記ブラウザエンジンのためのリスナインスタンスを前記ユニバースブラウザエンジンに登録することと
を行わせるための前記プログラムコードを実行する、項目18に記載のシステム。
(項目25)
前記少なくとも1つのプロセッサはさらに、
前記ユニバースブラウザエンジンによって、前記仮想3次元ボリュームと前記リスナインスタンスとを関連付けることと、
前記仮想3次元ボリュームを前記ブラウザエンジンに割り当てることと、
少なくとも、シーングラフ構造を、少なくとも、使用することによって、前記仮想3次元ボリュームを前記仮想3D空間内に位置付けることと
を行わせるための前記プログラムコードを実行する、項目24に記載のシステム。
(項目26)
前記少なくとも1つのプロセッサはさらに、
前記ウェブページのコンテンツへのユーザの関心を示す第1のユーザ入力を受信することと、
前記第1のユーザ入力に応答して、少なくとも、前記コンテンツを生成するためのブラウザエンジンを実行することと、
その中に前記コンテンツがレンダリングされるべき前記仮想3D空間内の仮想3次元ボリュームを決定することと
を行わせるための前記プログラムコードを実行する、項目18に記載のシステム。
(項目27)
前記少なくとも1つのプロセッサはさらに、
前記ウェブページまたはそのためのウェブページパネルのための3D変換を示す第2のユーザ入力を受信することと、
少なくとも部分的に、前記第2のユーザ入力に基づいて、前記コンテンツを前記仮想3D空間内の仮想3次元ボリュームの中にレンダリングすることと
を行わせるための前記プログラムコードを実行する、項目26に記載のシステム。
(項目28)
前記少なくとも1つのプロセッサはさらに、
前記ウェブページまたはそのためのウェブページパネルのための変換ツリー構造および前記変換ツリー構造内のノードを識別することと、
前記ノードが前記変換ツリー構造内に親ノードを有するかどうかを決定することと、
前記ブラウザエンジンから、前記ウェブページまたはそのためのウェブページパネルのための3D位置、回転、またはスケールデータを受信することと、
前記ウェブページまたは前記ウェブページパネルのための3D位置、回転、またはスケール入力を前記ユニバースブラウザエンジンから受信することと
を行わせるための前記プログラムコードを実行する、項目18に記載のシステム。
(項目29)
前記少なくとも1つのプロセッサはさらに、
前記ユニバースブラウザエンジンにおいて、少なくとも部分的に、前記3D位置、回転、またはスケール入力に基づいて、前記ウェブページまたはそのためのウェブページパネルのための更新された3D位置、回転、またはスケールを決定することと、
前記ブラウザエンジンによってアクセス可能な前記3D位置、回転、またはスケールデータと、前記更新された3D位置、回転、またはスケールデータとを同期させることと
を行わせるための前記プログラムコードを実行する、項目28に記載のシステム。
(項目30)
前記少なくとも1つのプロセッサはさらに、
前記ウェブページの親の1つ以上の変換を識別することと、
少なくとも部分的に、前記3D位置、回転、またはスケール入力に基づいて、前記ウェブページのための1つ以上の変換特性を識別することと、
前記ウェブページまたはそのためのウェブページパネルのための3D位置、回転、またはスケール入力を識別することと
を行わせるための前記プログラムコードを実行する、項目29に記載のシステム。
(項目31)
前記少なくとも1つのプロセッサはさらに、
少なくとも部分的に、前記3D位置、回転、またはスケール入力、前記ウェブページまたはそのためのウェブページパネルの親の1つ以上の変換、または前記ウェブページまたはそのためのウェブページパネルのための1つ以上の変換特性のうちの1つ以上のものに基づいて、前記ウェブページまたはそのためのウェブページパネルのための変換のセットを決定することと、
少なくとも、変換のセットを前記ウェブページまたはそのためのウェブページパネルに適用することによって、前記更新された3D位置、回転、またはスケールデータを決定することと
を行わせるための前記プログラムコードを実行する、項目29に記載のシステム。
(項目32)
前記3D変換は、前記ウェブページまたはそのためのウェブページパネルの配向のみを修正することに限定される、項目17に記載のシステム。
(項目33)
エクステンデッドリアリティシステムであって、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに結合されるブラウザエンジンと、
前記少なくとも1つのプロセッサおよび前記ブラウザエンジンに結合されるユニバースブラウザエンジンと、
非一過性コンピュータアクセス可能記憶媒体であって、前記非一過性コンピュータアクセス可能記憶媒体は、プログラムコードをその上に記憶しており、前記プログラムコードは、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
前記ブラウザエンジンにおいて、ウェブサイトから、前記エクステンデッドリアリティシステム上へのウェブページの提示に関する1つ以上の要求を受信することと、
前記ユニバースブラウザエンジンにおいて、前記エクステンデッドリアリティシステムによって提供される仮想3D空間内に表示されるべきウェブページまたはそのためのウェブページパネルの3D(3次元)変換を設定するための要求を受信することと、
前記ユニバースブラウザエンジンにおいて、前記ウェブページまたは前記ウェブページパネルの前記3D変換を設定するための要求に応答して、3D変換データを決定することと
を行わせる、非一過性コンピュータアクセス可能記憶媒体と
を備える、エクステンデッドリアリティシステム。
(項目34)
前記非一過性コンピュータアクセス可能記憶媒体はさらに、前記少なくとも1つのプロセッサによって実行されると、さらに、前記少なくとも1つのプロセッサに、
前記3D変換データを前記ユニバースブラウザエンジンと前記ブラウザエンジンとの間で同期させることと、
前記ブラウザエンジンから、前記3D変換データの少なくとも一部を前記ウェブサイトに伝送することと
を行わせる前記プログラムコードをその上に記憶する、項目34に記載のエクステンデッドリアリティシステム。
(項目35)
前記ブラウザエンジンはさらに、3D位置、回転、またはスケールデータを前記ウェブサイトから受信するように構成され、前記ユニバースブラウザエンジンはさらに、前記3D位置、回転、またはスケールデータ、または前記3D位置、回転、またはスケールデータを修正された3D位置、回転、またはスケールデータに修正する前記ブラウザエンジンからの修正された3D位置、回転、またはスケールデータを受信するように構成され、前記ユニバースブラウザエンジンはさらに、既存のプリズムを決定するか、または新しいプリズムを前記エクステンデッドリアリティシステムによって提供される前記仮想3D空間内に生成するように構成される、項目34に記載のエクステンデッドリアリティシステム。
(項目36)
前記1つ以上の要求は、前記ウェブページのための現在の3D位置、回転、またはスケールが、前記エクステンデッドリアリティシステムによってレンダリングおよび表示されるための第1の要求、または前記ウェブページのための異なる3D位置、回転、またはスケールが、前記エクステンデッドリアリティシステムによってレンダリングおよび表示されるように設定するための第2の要求を備える、項目34に記載のエクステンデッドリアリティシステム。
Some embodiments, when executed by at least one processor or at least one processor core, direct the at least one processor or at least one processor core to a method, process, or sub-process disclosed herein. An article of manufacture that includes a non-transitory machine-accessible storage medium having a sequence of instructions stored thereon that causes it to perform any of the above. Some exemplary forms of non-transitory machine-readable storage media may also be found in the System Architecture Overview section below.
The present invention provides, for example, the following.
(Item 1)
A computer-implemented method comprising:
receiving, in a browser engine, input for a three-dimensional (3D) transformation for a web page or web page panel therefor;
At least, by the browser engine coupled to a microprocessor of an extended reality system, rendering of the web page based, at least in part, on the 3D transformation of the web page or a web page panel therefor in response to the input. determining 3D transformation data for the web page, wherein the 3D transformation comprises a 3D position, rotation, or scale change of the web page or web page panel therefor;
presenting content of the web page in a virtual 3D space based at least in part on the 3D transformation data by a universe browser engine coupled to a browser engine of the extended reality system;
A computer-implemented method, comprising:
(Item 2)
identifying, in the browser engine, a web page to be displayed in the virtual 3D space, the virtual 3D space comprising a virtual three-dimensional volume;
storing, by the browser engine, the 3D transformation data in a non-transitory computer-readable medium accessible by the browser engine;
transmitting the 3D transform data from the browser engine to the universe browser engine;
The computer-implemented method of item 1, further comprising:
(Item 3)
Receiving input from the web page or a website hosting the web page for a 3D transformation for the web page, wherein the bounds of the web page are displayed or constrained within the virtual 3D space. constrained by a web browser application instance that is configurable to be run, or
Said web browser receiving input from a user for a 3D transformation for said web page, wherein the bounds of said web page are configurable to be displayed or constrained within said virtual 3D space. be constrained by, or
identifying, from the code of the web page, inputs for a 3D transformation for the web page, wherein the developer of the web page determines the 3D location of the web page to be displayed by the browser engine; to constrain rotation or scale
The computer-implemented method of item 2, further comprising:
(Item 4)
transmitting the 3D transformation data from the browser engine to the universe browser engine;
receiving, in the universe browser engine, changes in 3D position, rotation, or scale of the web page or web page panel therefor;
The computer-implemented method of item 2, further comprising:
(Item 5)
receiving, in the browser engine, data from a website regarding a 3D position, rotation, or scale of the webpage or the webpage panel;
transmitting data relating to 3D position, rotation or scale of said web page or said web page panel or 3D transformation data from said browser engine to said universe browser engine;
The computer-implemented method of item 2, further comprising:
(Item 6)
determining an existing prism or creating a new prism in the virtual 3D space in the universe browser engine;
modifying the data or the 3D transformation data to updated 3D transformation data in the universe browser engine;
synchronizing the 3D transformation data determined by the browser engine with the updated 3D transformation data;
6. The computer-implemented method of item 5, further comprising:
(Item 7)
updating the 3D transformation data by at least modifying the 3D transformation data to updated 3D transformation data by the universe browser engine;
synchronizing the 3D transformation data accessible to the browser engine and the updated 3D transformation data updated by the universe browser engine;
5. The computer-implemented method of item 4, further comprising:
(Item 8)
A virtual 3D space having three-dimensional boundaries within said virtual 3D space created by said extended reality system for said webpage or said webpage panel based in part or in whole on one or more behavior types. identifying or generating a dimensional volume;
initializing the browser engine;
determining a unique identifier for the browser engine;
registering a listener instance for the browser engine with the universe browser engine;
The computer-implemented method of item 1, further comprising:
(Item 9)
associating, by the universe browser engine, the virtual three-dimensional volume with the listener instance;
assigning the virtual three-dimensional volume to the browser engine;
positioning a virtual 3D volume within said virtual 3D space by using at least a scene graph structure;
9. The computer-implemented method of item 8, further comprising:
(Item 10)
receiving a first user input indicating a user's interest in content of the web page;
executing at least a browser engine to generate the content in response to the first user input;
determining a virtual three-dimensional volume within the virtual 3D space into which the content is to be rendered;
The computer-implemented method of item 1, further comprising:
(Item 11)
receiving a second user input indicating a 3D transformation for the web page or a web page panel therefor;
Rendering the content into a virtual three-dimensional volume within the virtual 3D space based, at least in part, on the second user input.
11. The computer-implemented method of item 10, further comprising:
(Item 12)
identifying a transform tree structure for said web page or a web page panel therefor and a node within said transform tree structure;
determining whether the node has a parent node within the transformation tree structure;
receiving 3D transformation data for the web page or web page panel from the browser engine;
receiving 3D position, rotation, or scale input for the web page or web page panel from the universe browser engine;
The computer-implemented method of item 1, further comprising:
(Item 13)
determining, in the universe browser engine, an updated 3D position, rotation, or scale for the web page, or a web page panel therefor, based, at least in part, on the 3D position, rotation, or scale input; and,
synchronizing the 3D position, rotation or scale data accessible by the browser engine with the updated 3D position, rotation or scale data;
13. The computer-implemented method of item 12, further comprising:
(Item 14)
Determining the updated 3D position, rotation, or scale data includes:
identifying one or more transformations of a parent of the web page;
identifying one or more transformation properties for the web page based, at least in part, on the 3D position, rotation, or scale input;
identifying a 3D position, rotation, or scale input for said web page or said web page panel;
14. The computer-implemented method of item 13, comprising:
(Item 15)
Determining the updated 3D position or rotation data includes:
At least in part, the 3D position, rotation, or scale input, one or more transformations of the parent of the web page or web page panel therefor, or one or more for the web page or web page panel therefor. determining a set of transformations for the web page or a web page panel therefor based on one or more of transformation characteristics;
determining the updated 3D position, rotation, or scale data by applying a set of transforms to the web page or web page panel therefor;
10. The computer-implemented method of item 9, comprising:
(Item 16)
The computer-implemented method of item 1, wherein the 3D transformation is limited to modifying only the orientation of the web page or web page panels therefor.
(Item 17)
a system,
at least one processor;
A non-transitory computer-accessible storage medium having program code stored thereon, said program code being executed by said at least one processor and to the at least one processor,
receiving input for a three-dimensional (3D) transformation for a web page in a browser engine;
At least, by the browser engine coupled to a microprocessor of an extended reality system, rendering of the web page based, at least in part, on the 3D transformation of the web page or a web page panel therefor in response to the input. determining 3D transformation data for the web page, wherein the 3D transformation comprises a 3D position, rotation, or scale change of the web page or web page panel therefor;
presenting content of the web page in a virtual 3D space based at least in part on the 3D transformation data by a universe browser engine coupled to a browser engine of the extended reality system;
a non-transitory computer-accessible storage medium that causes
A system comprising:
(Item 18)
The at least one processor further at least further:
identifying, in the browser engine, a web page to be displayed in the virtual three-dimensional (3D) space, the virtual 3D space comprising a virtual three-dimensional volume;
storing, by the browser engine, the 3D transformation data in a non-transitory computer-readable medium accessible by the browser engine;
transmitting the 3D transform data from the browser engine to the universe browser engine;
18. The system of item 17, executing the program code to cause the
(Item 19)
The at least one processor further at least further:
Receiving input from the web page or a website hosting the web page for a 3D transformation for the web page, wherein the bounds of the web page are displayed or constrained within the virtual 3D space. constrained by a web browser application instance that is configurable to be run, or
Said web browser receiving input from a user for a 3D transformation for said web page, wherein the bounds of said web page are configurable to be displayed or constrained within said virtual 3D space. be constrained by, or
identifying, from the code of the web page, inputs for a 3D transformation for the web page, wherein the developer of the web page determines the 3D position of the web page to be displayed by the browser engine; to constrain rotation or scale
19. The system of item 18, executing the program code to cause the
(Item 20)
The at least one processor further at least further:
transmitting the 3D transformation data from the browser engine to the universe browser engine;
receiving, in the universe browser engine, changes in 3D position, rotation, or scale of the web page or web page panel therefor;
19. The system of item 18, executing the program code to cause the
(Item 21)
The at least one processor further at least further:
receiving, in the browser engine, data from a website regarding a 3D position, rotation, or scale of the webpage or the webpage panel;
transmitting data relating to 3D position, rotation or scale of said web page or said web page panel or 3D transformation data from said browser engine to said universe browser engine;
19. The system of item 18, executing the program code to cause the
(Item 22)
The at least one processor further at least further:
determining an existing prism or creating a new prism in the virtual 3D space in the universe browser engine;
modifying the data or the 3D transformation data to updated 3D transformation data in the universe browser engine;
synchronizing the 3D transformation data determined by the browser engine with the updated 3D transformation data;
22. The system of item 21, executing the program code to cause the
(Item 23)
The at least one processor further at least further:
updating the 3D transformation data to updated 3D transformation data by the universe browser engine;
synchronizing the 3D transformation data accessible to the browser engine with the updated 3D transformation data;
21. The system of item 20, executing the program code to cause the
(Item 24)
The at least one processor further:
A virtual 3D space having three-dimensional boundaries within said virtual 3D space created by said extended reality system for said webpage or said webpage panel based in part or in whole on one or more behavior types. identifying or generating a dimensional volume;
initializing the browser engine;
determining a unique identifier for the browser engine;
registering a listener instance for the browser engine with the universe browser engine;
19. The system of item 18, executing the program code to cause the
(Item 25)
The at least one processor further:
associating, by the universe browser engine, the virtual three-dimensional volume with the listener instance;
assigning the virtual three-dimensional volume to the browser engine;
positioning the virtual three-dimensional volume within the virtual 3D space by using at least a scene graph structure;
25. The system of item 24, executing the program code to cause the
(Item 26)
The at least one processor further:
receiving a first user input indicating a user's interest in content of the web page;
executing at least a browser engine to generate the content in response to the first user input;
determining a virtual three-dimensional volume within the virtual 3D space into which the content is to be rendered;
19. The system of item 18, executing the program code to cause the
(Item 27)
The at least one processor further:
receiving a second user input indicating a 3D transformation for the web page or a web page panel therefor;
Rendering the content into a virtual three-dimensional volume within the virtual 3D space based, at least in part, on the second user input.
27. The system of item 26, executing the program code to cause the
(Item 28)
The at least one processor further:
identifying a transform tree structure for said web page or a web page panel therefor and a node within said transform tree structure;
determining whether the node has a parent node within the transformation tree structure;
receiving 3D position, rotation, or scale data for the web page or a web page panel therefor from the browser engine;
receiving 3D position, rotation, or scale input for the web page or web page panel from the universe browser engine;
19. The system of item 18, executing the program code to cause the
(Item 29)
The at least one processor further:
determining, in the universe browser engine, an updated 3D position, rotation, or scale for the web page, or a web page panel therefor, based, at least in part, on the 3D position, rotation, or scale input; and,
synchronizing the 3D position, rotation or scale data accessible by the browser engine with the updated 3D position, rotation or scale data;
29. The system of item 28, executing the program code to cause the
(Item 30)
The at least one processor further:
identifying one or more transformations of a parent of the web page;
identifying one or more transformation properties for the web page based, at least in part, on the 3D position, rotation, or scale input;
identifying a 3D position, rotation, or scale input for said web page or a web page panel therefor;
30. The system of item 29, executing the program code to cause the
(Item 31)
The at least one processor further:
At least in part, the 3D position, rotation, or scale input, one or more transformations of the parent of the web page or web page panel therefor, or one or more for the web page or web page panel therefor. determining a set of transformations for the web page or a web page panel therefor based on one or more of transformation characteristics;
determining the updated 3D position, rotation, or scale data by applying at least a set of transforms to the web page or a web page panel therefor;
30. The system of item 29, executing the program code to cause the
(Item 32)
18. The system of item 17, wherein the 3D transformation is limited to modifying only the orientation of the web page or web page panels therefor.
(Item 33)
an extended reality system,
at least one processor;
a browser engine coupled to the at least one processor;
a universe browser engine coupled to the at least one processor and the browser engine;
A non-transitory computer-accessible storage medium having program code stored thereon, said program code being executed by said at least one processor and to the at least one processor,
receiving, at the browser engine, one or more requests from websites for presentation of web pages on the extended reality system;
receiving, in the universe browser engine, a request to set a 3D (three-dimensional) transformation of a web page or web page panel therefor to be displayed in a virtual 3D space provided by the extended reality system;
determining, in the universe browser engine, 3D transform data in response to a request to set the 3D transform of the web page or the web page panel;
a non-transitory computer-accessible storage medium that causes
An extended reality system.
(Item 34)
The non-transitory computer-accessible storage medium, when executed by the at least one processor, further causes the at least one processor to:
synchronizing the 3D transformation data between the universe browser engine and the browser engine;
transmitting at least a portion of the 3D transformation data from the browser engine to the website;
35. An extended reality system according to item 34, having stored thereon said program code for causing to perform.
(Item 35)
The browser engine is further configured to receive 3D position, rotation or scale data from the website, and the universe browser engine is further configured to receive the 3D position, rotation or scale data or the 3D position, rotation or scale data. or configured to receive modified 3D position, rotation, or scale data from said browser engine that modifies scale data into modified 3D position, rotation, or scale data, said universe browser engine further comprising: 35. The extended reality system of item 34, configured to determine prisms of or generate new prisms in the virtual 3D space provided by the extended reality system.
(Item 36)
The one or more requests may be a first request for the current 3D position, rotation, or scale for the web page to be rendered and displayed by the extended reality system, or a different request for the web page. 35. Extended reality system according to item 34, comprising a second request to set a 3D position, rotation or scale to be rendered and displayed by said extended reality system.
Claims (33)
エクステンデッドリアリティシステムにおいて、ウェブサイトから、ウェブページまたはそのためのウェブページパネルのための3次元(3D)変換のための入力を受信することであって、前記3D変換は、前記ウェブページまたはそのための前記ウェブページパネルの3D位置データ、3D回転データ、またはスケールの変化を備える、ことと、In an extended reality system, receiving input from a website for a three-dimensional (3D) transformation for a web page or a web page panel therefor, said 3D transformation being said web page or said web page panel therefor. comprising 3D position data, 3D rotation data, or scale changes of the webpage panel;
前記3D変換に少なくとも部分的に基づいて、前記ウェブページまたはそのための前記ウェブページパネルのための3D変換データを決定することと、determining 3D transformation data for the web page or the web page panel therefor based at least in part on the 3D transformation;
前記ウェブページまたはそのための前記ウェブページパネルのための前記3D変換データに少なくとも部分的に基づいて、仮想3D空間のための3D境界を決定することであって、前記3D変換は、前記ウェブページまたはそのための前記ウェブページパネルを、(ユニバースブラウザエンジンによって決定される)前記3D境界を有する前記仮想3D空間内の3D位置に変換する、ことと、determining a 3D boundary for a virtual 3D space based at least in part on the 3D transformation data for the web page or the web page panel therefor, wherein the 3D transformation is the web page or transforming said web page panel therefor into a 3D position in said virtual 3D space with said 3D bounds (determined by the universe browser engine);
前記3D変換データによって示される前記3D位置に少なくとも部分的に基づいて、前記仮想3D空間内の候補位置において前記ウェブページのコンテンツを提示することと、presenting content of the web page at candidate locations in the virtual 3D space based at least in part on the 3D locations indicated by the 3D transformation data;
ユーザが前記ウェブページを移動および/または回転させることに応答して、前記3D変換データを更新された3D変換データに修正することと、modifying the 3D transformation data to updated 3D transformation data in response to a user moving and/or rotating the web page;
前記エクステンデッドリアリティシステムにおいて、前記ウェブサイトから、更新された3D変換のための要求を受信することと、receiving a request for an updated 3D transformation from the website in the extended reality system;
前記更新された3D変換を用いて前記3D変換データを更新することと、updating the 3D transform data with the updated 3D transform;
前記エクステンデッドリアリティシステムが、前記更新された3D変換データを前記ウェブサイトに返すこととthe extended reality system returning the updated 3D transformation data to the website;
を含む、コンピュータ実装方法。A computer-implemented method, comprising:
ユニバースブラウザエンジンが、3D境界決定ステップ、ウェブページコンテンツ提示ステップ、ウェブページ移動および/または回転ステップ、および、3D変換データ更新ステップを実施する、請求項1に記載のコンピュータ実装方法。2. The computer-implemented method of claim 1, wherein the universe browser engine performs 3D boundary determination, web page content presentation, web page movement and/or rotation, and 3D transformation data update.
前記ブラウザエンジンのための一意の識別子を決定することと、determining a unique identifier for the browser engine;
前記ブラウザエンジンのためのリスナインスタンスを前記ユニバースブラウザエンジンに登録することとregistering a listener instance for the browser engine with the universe browser engine;
をさらに含む、請求項3に記載のコンピュータ実装方法。4. The computer-implemented method of claim 3, further comprising:
前記ユニバースブラウザエンジンが、前記仮想3次元ボリュームと前記リスナインスタンスとを関連付けることと、the universe browser engine associating the virtual 3D volume with the listener instance;
前記仮想3次元ボリュームを前記ブラウザエンジンに割り当てることと、assigning the virtual three-dimensional volume to the browser engine;
少なくとも、シーングラフ構造を少なくとも使用することによって、前記仮想3D空間内の前記仮想3次元ボリュームを位置付けることとpositioning the virtual 3D volume within the virtual 3D space at least by using at least a scene graph structure;
をさらに含む、請求項5に記載のコンピュータ実装方法。6. The computer-implemented method of claim 5, further comprising:
前記第1のユーザ入力に応答して、前記ウェブページの前記コンテンツを生成することと、generating the content of the web page in response to the first user input;
その中に前記コンテンツがレンダリングされるべき前記仮想3D空間内の仮想3次元ボリュームを決定することとdetermining a virtual three-dimensional volume within the virtual 3D space into which the content is to be rendered;
をさらに含む、請求項1に記載のコンピュータ実装方法。The computer-implemented method of claim 1, further comprising:
前記第2のユーザ入力に少なくとも部分的に基づいて、前記コンテンツを前記仮想3D空間内の前記仮想3次元ボリュームの中にレンダリングすることとRendering the content into the virtual three-dimensional volume within the virtual 3D space based at least in part on the second user input.
をさらに含む、請求項8に記載のコンピュータ実装方法。9. The computer-implemented method of claim 8, further comprising:
前記ノードが前記変換ツリー構造内に親ノードを有するかどうかを決定することとdetermining whether the node has a parent node within the transformation tree structure;
をさらに含む、請求項1に記載のコンピュータ実装方法。The computer-implemented method of claim 1, further comprising:
少なくとも1つのプロセッサと、at least one processor;
非一過性コンピュータアクセス可能記憶媒体であって、前記非一過性コンピュータアクセス可能記憶媒体は、プログラムコードをその上に記憶しており、前記プログラムコードは、前記少なくとも1つのプロセッサによって実行されると、A non-transitory computer-accessible storage medium having program code stored thereon, said program code being executed by said at least one processor and,
エクステンデッドリアリティシステムにおいて、ウェブサイトから、ウェブページまたはそのためのウェブページパネルのための3次元(3D)変換のための入力を受信することであって、前記3D変換は、前記ウェブページまたはそのための前記ウェブページパネルの3D位置データ、3D回転データ、またはスケールの変化を備える、ことと、In an extended reality system, receiving input from a website for a three-dimensional (3D) transformation for a web page or a web page panel therefor, said 3D transformation being said web page or said web page panel therefor. comprising 3D position data, 3D rotation data, or scale changes of the webpage panel;
前記3D変換に少なくとも部分的に基づいて、前記ウェブページまたはそのための前記ウェブページパネルのための3D変換データを決定することと、determining 3D transformation data for the web page or the web page panel therefor based at least in part on the 3D transformation;
前記ウェブページまたはそのための前記ウェブページパネルのための前記3D変換データに少なくとも部分的に基づいて、仮想3D空間のための3D境界を決定することであって、前記3D変換は、前記ウェブページまたはそのための前記ウェブページパネルを、(ユニバースブラウザエンジンによって決定される)前記3D境界を有する前記仮想3D空間内の3D位置に変換する、ことと、determining a 3D boundary for a virtual 3D space based at least in part on the 3D transformation data for the web page or the web page panel therefor, wherein the 3D transformation is the web page or transforming said web page panel therefor into a 3D position in said virtual 3D space with said 3D bounds (determined by the universe browser engine);
前記3D変換データによって示される前記3D位置に少なくとも部分的に基づいて、前記仮想3D空間内の候補位置において前記ウェブページのコンテンツを提示することと、presenting content of the web page at candidate locations in the virtual 3D space based at least in part on the 3D locations indicated by the 3D transformation data;
ユーザが前記ウェブページを移動および/または回転させることに応答して、前記3D変換データを更新された3D変換データに修正することと、modifying the 3D transformation data to updated 3D transformation data in response to a user moving and/or rotating the web page;
前記エクステンデッドリアリティシステムにおいて、前記ウェブサイトから、更新された3D変換のための要求を受信することと、receiving a request for an updated 3D transformation from the website in the extended reality system;
前記更新された3D変換を用いて前記3D変換データを更新することと、updating the 3D transform data with the updated 3D transform;
前記エクステンデッドリアリティシステムが、前記更新された3D変換データを前記ウェブサイトに返すこととthe extended reality system returning the updated 3D transformation data to the website;
を前記少なくとも1つのプロセッサに行わせる、非一過性コンピュータアクセス可能記憶媒体とand a non-transitory computer-accessible storage medium that causes the at least one processor to perform
を備える、システム。A system comprising:
3D境界決定ステップ、ウェブページコンテンツ提示ステップ、ウェブページ移動および/または回転ステップ、および、3D変換データ更新ステップは、ユニバースブラウザエンジンによって実施される、請求項13に記載のシステム。14. The system of claim 13, wherein the 3D boundary determination step, web page content presentation step, web page movement and/or rotation step, and 3D transformation data update step are performed by the universe browser engine.
前記ブラウザエンジンを初期化することと、initializing the browser engine;
前記ブラウザエンジンのための一意の識別子を決定することと、determining a unique identifier for the browser engine;
前記ブラウザエンジンのためのリスナインスタンスを前記ユニバースブラウザエンジンに登録することとregistering a listener instance for the browser engine with the universe browser engine;
を行うための前記プログラムコードをさらに実行する、請求項15に記載のシステム。16. The system of claim 15, further executing the program code for performing:
1つ以上の挙動タイプに部分的または全体的に基づいて、前記ウェブページまたはそのための前記ウェブページパネルのために前記エクステンデッドリアリティシステムによって作成された前記仮想3D空間内に、3次元境界を有する仮想3次元ボリュームを識別または生成することと、A virtual having three-dimensional boundaries within said virtual 3D space created by said extended reality system for said web page or said web page panel therefor based in part or in whole on one or more behavior types. identifying or generating a three-dimensional volume;
前記ユニバースブラウザエンジンが、前記仮想3次元ボリュームと前記リスナインスタンスとを関連付けることと、the universe browser engine associating the virtual 3D volume with the listener instance;
前記仮想3次元ボリュームを前記ブラウザエンジンに割り当てることと、assigning the virtual three-dimensional volume to the browser engine;
少なくとも、シーングラフ構造を少なくとも使用することによって、前記仮想3D空間内の前記仮想3次元ボリュームを位置付けることとpositioning the virtual 3D volume within the virtual 3D space at least by using at least a scene graph structure;
を行うための前記プログラムコードをさらに実行する、請求項17に記載のシステム。18. The system of claim 17, further executing the program code for performing:
前記ウェブページまたはそのための前記ウェブページパネルのコンテンツへのユーザの関心を示す第1のユーザ入力を受信することと、receiving a first user input indicating a user's interest in the web page or content of the web page panel therefor;
前記第1のユーザ入力に応答して、前記ウェブページの前記コンテンツを生成することと、generating the content of the web page in response to the first user input;
その中に前記コンテンツがレンダリングされるべき前記仮想3D空間内の仮想3次元ボリュームを決定することとdetermining a virtual three-dimensional volume within the virtual 3D space into which the content is to be rendered;
を行うための前記プログラムコードをさらに実行する、請求項13に記載のシステム。14. The system of claim 13, further executing the program code for performing:
前記ウェブページまたはそのための前記ウェブページパネルのための前記3D変換を示す第2のユーザ入力を受信することと、receiving a second user input indicating the 3D transformation for the web page or the web page panel therefor;
前記第2のユーザ入力に少なくとも部分的に基づいて、前記コンテンツを前記仮想3D空間内の前記仮想3次元ボリュームの中にレンダリングすることとRendering the content into the virtual three-dimensional volume within the virtual 3D space based at least in part on the second user input.
を行うための前記プログラムコードをさらに実行する、請求項20に記載のシステム。21. The system of claim 20, further executing the program code for performing:
前記ウェブページまたはそのための前記ウェブページパネルのための変換ツリー構造および前記変換ツリー構造内のノードを識別することと、identifying a transform tree structure for the web page or the web page panel therefor and a node in the transform tree structure;
前記ノードが前記変換ツリー構造内に親ノードを有するかどうかを決定することとdetermining whether the node has a parent node within the transformation tree structure;
を行うための前記プログラムコードをさらに実行する、請求項13に記載のシステム。14. The system of claim 13, further executing the program code for performing:
少なくとも1つのプロセッサと、at least one processor;
前記少なくとも1つのプロセッサに結合されるブラウザエンジンと、a browser engine coupled to the at least one processor;
前記少なくとも1つのプロセッサおよび前記ブラウザエンジンに結合されるユニバースブラウザエンジンと、a universe browser engine coupled to the at least one processor and the browser engine;
非一過性コンピュータアクセス可能記憶媒体であって、前記非一過性コンピュータアクセス可能記憶媒体は、プログラムコードをその上に記憶しており、前記プログラムコードは、前記少なくとも1つのプロセッサによって実行されると、A non-transitory computer-accessible storage medium having program code stored thereon, said program code being executed by said at least one processor and,
エクステンデッドリアリティシステム内のブラウザの前記ブラウザエンジンにおいて、ウェブサイトから、前記エクステンデッドリアリティシステム上へのウェブページの提示に関する1つ以上の要求を受信することと、receiving, at the browser engine of a browser in an extended reality system, one or more requests from a website for presentation of a web page on the extended reality system;
前記ユニバースブラウザエンジンにおいて、前記エクステンデッドリアリティシステムによって提供される仮想3D空間内に表示されるべき前記ウェブページまたはそのためのウェブページパネルの3D(3次元)変換を設定するための要求を受信することであって、前記3D変換は、前記ウェブページまたはそのための前記ウェブページパネルの3D位置データ、3D回転データ、またはスケールの変化を備える、ことと、receiving, in said universe browser engine, a request to set a 3D (three-dimensional) transformation of said web page or web page panel therefor to be displayed in a virtual 3D space provided by said extended reality system; wherein said 3D transformation comprises 3D position data, 3D rotation data, or scale changes of said web page or said web page panel therefor;
前記ユニバースブラウザエンジンが、前記ウェブページまたは前記ウェブページパネルの前記3D変換を設定するための要求に応答して、3D変換データを決定することと、the universe browser engine determining 3D transform data in response to a request to set the 3D transform of the web page or web page panel;
前記ユニバースブラウザエンジンが、前記ウェブページのための前記3D変換データに少なくとも部分的に基づいて、仮想3D空間のための3D境界を決定することであって、前記3D変換は、前記ウェブページを、前記ユニバースブラウザエンジンによって決定される前記3D境界を有する前記仮想3D空間内の3D位置に変換する、ことと、the universe browser engine determining a 3D boundary for a virtual 3D space based at least in part on the 3D transformation data for the web page, wherein the 3D transformation transforms the web page into: transforming to a 3D position in the virtual 3D space with the 3D bounds determined by the universe browser engine;
前記ユニバースブラウザエンジンが、前記3D変換データによって示される前記3D位置に少なくとも部分的に基づいて、前記仮想3D空間内の候補位置において前記ウェブページのコンテンツを提示することと、the universe browser engine presenting content of the web page at candidate locations in the virtual 3D space based at least in part on the 3D locations indicated by the 3D transformation data;
前記ユニバースブラウザエンジンが、ユーザが前記ウェブページを移動および/または回転させることに応答して、前記3D変換データを更新された3D変換データに修正することと、the universe browser engine modifying the 3D transformation data to updated 3D transformation data in response to a user moving and/or rotating the web page;
前記ブラウザエンジンにおいて、前記ウェブサイトから、更新された3D変換のための要求を受信することと、receiving, at the browser engine, a request for an updated 3D transform from the website;
前記ユニバースブラウザエンジンが、前記更新された3D変換を用いて前記3D変換データを更新することと、the universe browser engine updating the 3D transform data with the updated 3D transform;
前記ブラウザエンジンが、前記更新された3D変換データを前記ウェブサイトに返すこととthe browser engine returning the updated 3D transformation data to the website;
を前記少なくとも1つのプロセッサに行わせる、非一過性コンピュータアクセス可能記憶媒体とand a non-transitory computer-accessible storage medium that causes the at least one processor to perform
を備える、エクステンデッドリアリティシステム。An extended reality system.
前記ブラウザエンジンを初期化することと、initializing the browser engine;
前記ブラウザエンジンのための一意の識別子を決定することと、determining a unique identifier for the browser engine;
前記ブラウザエンジンのためのリスナインスタンスを前記ユニバースブラウザエンジンに登録することとregistering a listener instance for the browser engine with the universe browser engine;
を前記少なくとも1つのプロセッサにさらに行わせる、請求項25に記載のエクステンデッドリアリティシステム。26. The extended reality system of claim 25, further causing the at least one processor to:
1つ以上の挙動タイプに部分的または全体的に基づいて、前記ウェブページまたはそのための前記ウェブページパネルのために前記エクステンデッドリアリティシステムによって作成された前記仮想3D空間内に、3次元境界を有する仮想3次元ボリュームを識別または生成することと、A virtual having three-dimensional boundaries within said virtual 3D space created by said extended reality system for said web page or said web page panel therefor based in part or in whole on one or more behavior types. identifying or generating a three-dimensional volume;
前記ユニバースブラウザエンジンが、前記仮想3次元ボリュームと前記リスナインスタンスとを関連付けることと、the universe browser engine associating the virtual 3D volume with the listener instance;
前記仮想3次元ボリュームを前記ブラウザエンジンに割り当てることと、assigning the virtual three-dimensional volume to the browser engine;
少なくとも、シーングラフ構造を少なくとも使用することによって、前記仮想3D空間内の前記仮想3次元ボリュームを位置付けることとpositioning the virtual 3D volume within the virtual 3D space at least by using at least a scene graph structure;
を前記少なくとも1つのプロセッサにさらに行わせる、請求項27に記載のエクステンデッドリアリティシステム。28. The extended reality system of claim 27, further causing said at least one processor to:
前記ウェブページまたはそのための前記ウェブページパネルのコンテンツへのユーザの関心を示す第1のユーザ入力を受信することと、receiving a first user input indicating a user's interest in the web page or content of the web page panel therefor;
前記第1のユーザ入力に応答して、前記ウェブページの前記コンテンツを生成することと、generating the content of the web page in response to the first user input;
その中に前記コンテンツがレンダリングされるべき前記仮想3D空間内の仮想3次元ボリュームを決定することとdetermining a virtual three-dimensional volume within the virtual 3D space into which the content is to be rendered;
を前記少なくとも1つのプロセッサにさらに行わせる、請求項25に記載のエクステンデッドリアリティシステム。26. The extended reality system of claim 25, further causing the at least one processor to:
前記ウェブページまたはそのための前記ウェブページパネルのための前記3D変換を示す第2のユーザ入力を受信することと、receiving a second user input indicating the 3D transformation for the web page or the web page panel therefor;
前記第2のユーザ入力に少なくとも部分的に基づいて、前記コンテンツを前記仮想3D空間内の前記仮想3次元ボリュームの中にレンダリングすることとRendering the content into the virtual three-dimensional volume within the virtual 3D space based at least in part on the second user input.
を前記少なくとも1つのプロセッサにさらに行わせる、請求項29に記載のエクステンデッドリアリティシステム。30. The extended reality system of claim 29, further causing the at least one processor to:
前記ウェブページまたはそのための前記ウェブページパネルのための変換ツリー構造および前記変換ツリー構造内のノードを識別することと、identifying a transform tree structure for the web page or the web page panel therefor and a node in the transform tree structure;
前記ノードが前記変換ツリー構造内に親ノードを有するかどうかを決定することとdetermining whether the node has a parent node within the transformation tree structure;
を前記少なくとも1つのプロセッサにさらに行わせる、請求項25に記載のエクステンデッドリアリティシステム。26. The extended reality system of claim 25, further causing the at least one processor to:
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962828917P | 2019-04-03 | 2019-04-03 | |
US62/828,917 | 2019-04-03 | ||
US202062976254P | 2020-02-13 | 2020-02-13 | |
US62/976,254 | 2020-02-13 | ||
PCT/US2020/026656 WO2020206313A1 (en) | 2019-04-03 | 2020-04-03 | Managing and displaying webpages in a virtual three-dimensional space with a mixed reality system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024021089A Division JP2024059715A (en) | 2019-04-03 | 2024-02-15 | Managing and displaying web pages in a virtual three-dimensional space using a mixed reality system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022526977A JP2022526977A (en) | 2022-05-27 |
JPWO2020206313A5 true JPWO2020206313A5 (en) | 2023-04-10 |
JP7440532B2 JP7440532B2 (en) | 2024-02-28 |
Family
ID=72662457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021559089A Active JP7440532B2 (en) | 2019-04-03 | 2020-04-03 | Managing and displaying web pages in a virtual three-dimensional space using a mixed reality system |
Country Status (5)
Country | Link |
---|---|
US (2) | US11386623B2 (en) |
EP (1) | EP3948747A4 (en) |
JP (1) | JP7440532B2 (en) |
CN (1) | CN113711174A (en) |
WO (1) | WO2020206313A1 (en) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11288733B2 (en) * | 2018-11-14 | 2022-03-29 | Mastercard International Incorporated | Interactive 3D image projection systems and methods |
US11151770B2 (en) * | 2019-09-23 | 2021-10-19 | Facebook Technologies, Llc | Rendering images using declarative graphics server |
US11095855B2 (en) * | 2020-01-16 | 2021-08-17 | Microsoft Technology Licensing, Llc | Remote collaborations with volumetric space indications |
US11645819B2 (en) | 2021-03-11 | 2023-05-09 | Quintar, Inc. | Augmented reality system for viewing an event with mode based on crowd sourced images |
US11527047B2 (en) | 2021-03-11 | 2022-12-13 | Quintar, Inc. | Augmented reality system for viewing an event with distributed computing |
US20220295139A1 (en) * | 2021-03-11 | 2022-09-15 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
US11657578B2 (en) | 2021-03-11 | 2023-05-23 | Quintar, Inc. | Registration for augmented reality system for viewing an event |
CN113791687B (en) * | 2021-09-15 | 2023-11-14 | 咪咕视讯科技有限公司 | Interaction method, device, computing equipment and storage medium in VR scene |
WO2023102139A1 (en) * | 2021-12-02 | 2023-06-08 | Apple Inc. | User interface modes for three-dimensional display |
CN114237398B (en) * | 2021-12-16 | 2024-04-16 | 深圳须弥云图空间科技有限公司 | Method and device for generating room small map based on illusion engine and storage medium |
US11836205B2 (en) * | 2022-04-20 | 2023-12-05 | Meta Platforms Technologies, Llc | Artificial reality browser configured to trigger an immersive experience |
US20230377279A1 (en) * | 2022-05-19 | 2023-11-23 | Disney Enterprises, Inc. | Space and content matching for augmented and mixed reality |
US11755180B1 (en) | 2022-06-22 | 2023-09-12 | Meta Platforms Technologies, Llc | Browser enabled switching between virtual worlds in artificial reality |
CN115359154B (en) * | 2022-10-19 | 2023-01-24 | 成都华栖云科技有限公司 | Novel and efficient precise synthesis method and system for HTML5 webpage animation frame |
US11935195B1 (en) * | 2022-12-13 | 2024-03-19 | Astrovirtual, Inc. | Web browser derived content including real-time visualizations in a three-dimensional gaming environment |
CN117608410A (en) * | 2024-01-17 | 2024-02-27 | 山东五纬数字科技有限公司 | 3D virtual digital person interaction system and method |
Family Cites Families (86)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5923318A (en) | 1996-04-12 | 1999-07-13 | Zhai; Shumin | Finger manipulatable 6 degree-of-freedom input device |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6629065B1 (en) | 1998-09-30 | 2003-09-30 | Wisconsin Alumni Research Foundation | Methods and apparata for rapid computer-aided design of objects in virtual reality and other environments |
US6898307B1 (en) | 1999-09-22 | 2005-05-24 | Xerox Corporation | Object identification method and system for an augmented-reality display |
US9208270B2 (en) | 2000-08-02 | 2015-12-08 | Comsol Ab | System and method for establishing bidirectional links between multiphysics modeling and design systems |
US7043695B2 (en) | 2000-09-19 | 2006-05-09 | Technion Research & Development Foundation Ltd. | Object positioning and display in virtual environments |
EP1556805B1 (en) | 2002-10-22 | 2011-08-24 | Artoolworks | Tracking a surface in a 3-dimensional scene using natural visual features of the surface |
US20070074125A1 (en) | 2005-09-26 | 2007-03-29 | Microsoft Corporation | Preview information for web-browsing |
US7595810B2 (en) | 2006-03-22 | 2009-09-29 | Apple Inc. | Methods of manipulating a screen space of a display device |
US20090028142A1 (en) | 2007-07-25 | 2009-01-29 | Schmidt Brian K | Streaming data content in a network |
US8245241B2 (en) | 2007-10-02 | 2012-08-14 | International Business Machines Corporation | Arrangements for interactivity between a virtual universe and the world wide web |
US10872322B2 (en) | 2008-03-21 | 2020-12-22 | Dressbot, Inc. | System and method for collaborative shopping, business and entertainment |
US20160077677A1 (en) | 2008-05-20 | 2016-03-17 | Israel Valdes | Apparatus and method for user configurable content |
US8924862B1 (en) | 2008-09-05 | 2014-12-30 | Cisco Technology, Inc. | Optimizing desktop sharing for wireless clients during networked collaboration |
KR101082487B1 (en) | 2010-01-29 | 2011-11-11 | 키위플 주식회사 | Object identification system and method of identifying an object using the same |
US20130278631A1 (en) * | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
US20120212484A1 (en) | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content placement using distance and location information |
US9069577B2 (en) | 2010-11-23 | 2015-06-30 | Apple Inc. | Grouping and browsing open windows |
CN103460256B (en) | 2011-03-29 | 2016-09-14 | 高通股份有限公司 | In Augmented Reality system, virtual image is anchored to real world surface |
US9354899B2 (en) | 2011-04-18 | 2016-05-31 | Google Inc. | Simultaneous display of multiple applications using panels |
EP2714223B1 (en) | 2011-05-23 | 2015-07-01 | Lego A/S | Generation of building instructions for construction element models |
US8912979B1 (en) | 2011-07-14 | 2014-12-16 | Google Inc. | Virtual window in head-mounted display |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9069455B2 (en) | 2012-06-22 | 2015-06-30 | Microsoft Technology Licensing, Llc | 3D user interface for application entities |
US20130342572A1 (en) | 2012-06-26 | 2013-12-26 | Adam G. Poulos | Control of displayed content in virtual environments |
US9292085B2 (en) | 2012-06-29 | 2016-03-22 | Microsoft Technology Licensing, Llc | Configuring an interaction zone within an augmented reality environment |
WO2014031899A1 (en) | 2012-08-22 | 2014-02-27 | Goldrun Corporation | Augmented reality virtual content platform apparatuses, methods and systems |
US9461876B2 (en) * | 2012-08-29 | 2016-10-04 | Loci | System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction |
US9070194B2 (en) | 2012-10-25 | 2015-06-30 | Microsoft Technology Licensing, Llc | Planar surface detection |
US9407824B2 (en) | 2012-11-01 | 2016-08-02 | Google Inc. | Multi-directional content capture on mobile devices |
KR101984915B1 (en) | 2012-12-03 | 2019-09-03 | 삼성전자주식회사 | Supporting Portable Device for operating an Augmented reality contents and system, and Operating Method thereof |
US9317972B2 (en) | 2012-12-18 | 2016-04-19 | Qualcomm Incorporated | User interface for augmented reality enabled devices |
KR20150103723A (en) | 2013-01-03 | 2015-09-11 | 메타 컴퍼니 | Extramissive spatial imaging digital eye glass for virtual or augmediated vision |
US20140200863A1 (en) | 2013-01-11 | 2014-07-17 | The Regents Of The University Of Michigan | Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time |
US20140225922A1 (en) | 2013-02-11 | 2014-08-14 | Rocco A. Sbardella | System and method for an augmented reality software application |
JP2014157466A (en) | 2013-02-15 | 2014-08-28 | Sony Corp | Information processing device and storage medium |
GB201303707D0 (en) | 2013-03-01 | 2013-04-17 | Tosas Bautista Martin | System and method of interaction for mobile devices |
KR102387314B1 (en) | 2013-03-11 | 2022-04-14 | 매직 립, 인코포레이티드 | System and method for augmented and virtual reality |
US20140267228A1 (en) | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Mapping augmented reality experience to various environments |
US20140282274A1 (en) | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Detection of a gesture performed with at least two control objects |
NZ751602A (en) | 2013-03-15 | 2020-01-31 | Magic Leap Inc | Display system and method |
US20150277699A1 (en) | 2013-04-02 | 2015-10-01 | Cherif Atia Algreatly | Interaction method for optical head-mounted display |
KR20140133361A (en) | 2013-05-10 | 2014-11-19 | 삼성전자주식회사 | display apparatus and user interface screen providing method thereof |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9129430B2 (en) | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
WO2015033377A1 (en) | 2013-09-06 | 2015-03-12 | 株式会社マーズフラッグ | Information processing device, search server, web server, and computer program |
US20180225885A1 (en) * | 2013-10-01 | 2018-08-09 | Aaron Scott Dishno | Zone-based three-dimensional (3d) browsing |
KR101512084B1 (en) | 2013-11-15 | 2015-04-17 | 한국과학기술원 | Web search system for providing 3 dimensional web search interface based virtual reality and method thereof |
US9411422B1 (en) | 2013-12-13 | 2016-08-09 | Audible, Inc. | User interaction with content markers |
US20150185825A1 (en) | 2013-12-30 | 2015-07-02 | Daqri, Llc | Assigning a virtual user interface to a physical object |
US20150206343A1 (en) | 2014-01-17 | 2015-07-23 | Nokia Corporation | Method and apparatus for evaluating environmental structures for in-situ content augmentation |
US9201578B2 (en) | 2014-01-23 | 2015-12-01 | Microsoft Technology Licensing, Llc | Gaze swipe selection |
KR102184402B1 (en) | 2014-03-06 | 2020-11-30 | 엘지전자 주식회사 | glass-type mobile terminal |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US20150302651A1 (en) | 2014-04-18 | 2015-10-22 | Sam Shpigelman | System and method for augmented or virtual reality entertainment experience |
US9361732B2 (en) | 2014-05-01 | 2016-06-07 | Microsoft Technology Licensing, Llc | Transitions between body-locked and world-locked augmented reality |
US10156967B2 (en) | 2014-05-31 | 2018-12-18 | Apple Inc. | Device, method, and graphical user interface for tabbed and private browsing |
US20160027214A1 (en) | 2014-07-25 | 2016-01-28 | Robert Memmott | Mouse sharing between a desktop and a virtual world |
US9734634B1 (en) * | 2014-09-26 | 2017-08-15 | A9.Com, Inc. | Augmented reality product preview |
US10726593B2 (en) | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
JP5767386B1 (en) | 2014-12-15 | 2015-08-19 | 株式会社コロプラ | Head mounted display system, method for displaying on head mounted display, and program |
US10335677B2 (en) * | 2014-12-23 | 2019-07-02 | Matthew Daniel Fuchs | Augmented reality system with agent device for viewing persistent content and method of operation thereof |
US20160300392A1 (en) | 2015-04-10 | 2016-10-13 | VR Global, Inc. | Systems, media, and methods for providing improved virtual reality tours and associated analytics |
WO2016176511A1 (en) * | 2015-04-29 | 2016-11-03 | Data Cocoon LLC | Tessellated data visualization system |
JP6780642B2 (en) | 2015-06-15 | 2020-11-04 | ソニー株式会社 | Information processing equipment, information processing methods and programs |
WO2017030306A1 (en) | 2015-08-18 | 2017-02-23 | Samsung Electronics Co., Ltd. | Method and system for bookmarking a webpage |
US10057078B2 (en) | 2015-08-21 | 2018-08-21 | Samsung Electronics Company, Ltd. | User-configurable interactive region monitoring |
EP3629136B1 (en) | 2015-10-08 | 2024-04-17 | InterDigital VC Holdings, Inc. | Methods and systems of automatic calibration for dynamic display configurations |
NZ741866A (en) | 2015-10-20 | 2019-07-26 | Magic Leap Inc | Selecting virtual objects in a three-dimensional space |
US20170256096A1 (en) | 2016-03-07 | 2017-09-07 | Google Inc. | Intelligent object sizing and placement in a augmented / virtual reality environment |
US10691880B2 (en) | 2016-03-29 | 2020-06-23 | Microsoft Technology Licensing, Llc | Ink in an electronic document |
US10373381B2 (en) | 2016-03-30 | 2019-08-06 | Microsoft Technology Licensing, Llc | Virtual object manipulation within physical environment |
US10268266B2 (en) | 2016-06-29 | 2019-04-23 | Microsoft Technology Licensing, Llc | Selection of objects in three-dimensional space |
KR102296267B1 (en) | 2016-06-30 | 2021-08-30 | 매직 립, 인코포레이티드 | Pose estimation in 3D space |
CN115202482A (en) | 2016-08-11 | 2022-10-18 | 奇跃公司 | System and method for automatic placement of virtual objects in three-dimensional space |
WO2018067801A1 (en) | 2016-10-05 | 2018-04-12 | Magic Leap, Inc. | Surface modeling systems and methods |
US11290572B2 (en) * | 2016-11-07 | 2022-03-29 | Constructive Labs | System and method for facilitating sharing of virtual three-dimensional space |
US10271043B2 (en) * | 2016-11-18 | 2019-04-23 | Zspace, Inc. | 3D user interface—360-degree visualization of 2D webpage content |
US10599823B2 (en) | 2016-11-18 | 2020-03-24 | Invensense, Inc. | Systems and methods for coordinating applications with a user interface |
US20180150204A1 (en) | 2016-11-30 | 2018-05-31 | Google Inc. | Switching of active objects in an augmented and/or virtual reality environment |
WO2018176011A1 (en) | 2017-03-24 | 2018-09-27 | Inmentis, Llc | Social media system with navigable, artificial-intelligence-based graphical user interface with a multi-screen view |
US10304251B2 (en) | 2017-06-15 | 2019-05-28 | Microsoft Technology Licensing, Llc | Virtually representing spaces and objects while maintaining physical properties |
US10719870B2 (en) | 2017-06-27 | 2020-07-21 | Microsoft Technology Licensing, Llc | Mixed reality world integration of holographic buttons in a mixed reality device |
US20190005724A1 (en) | 2017-06-30 | 2019-01-03 | Microsoft Technology Licensing, Llc | Presenting augmented reality display data in physical presentation environments |
US10444975B2 (en) | 2017-07-18 | 2019-10-15 | Google Llc | Graphical icon manipulation |
US10803663B2 (en) | 2017-08-02 | 2020-10-13 | Google Llc | Depth sensor aided estimation of virtual reality environment boundaries |
-
2020
- 2020-04-03 CN CN202080026322.7A patent/CN113711174A/en active Pending
- 2020-04-03 EP EP20784393.9A patent/EP3948747A4/en active Pending
- 2020-04-03 US US16/839,727 patent/US11386623B2/en active Active
- 2020-04-03 JP JP2021559089A patent/JP7440532B2/en active Active
- 2020-04-03 WO PCT/US2020/026656 patent/WO2020206313A1/en unknown
-
2022
- 2022-05-27 US US17/804,394 patent/US20220292788A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2020206313A5 (en) | ||
US10789747B2 (en) | Customized visualizations | |
CN110059143B (en) | Map drawing method based on remote sensing image tile data | |
US20080133722A1 (en) | Parallel dynamic web page section processing | |
KR101391894B1 (en) | content request optimization | |
KR101494844B1 (en) | System for Transforming Chart Using Metadata and Method thereof | |
EP3210117B1 (en) | Pre-fetch cache for visualization modification | |
US11227437B2 (en) | Three-dimensional model constructing method, apparatus, and system | |
CN105264529A (en) | Index data for native applications | |
EP2593882A1 (en) | Method and apparatus of processing nested fragment caching of a web page | |
TWI539302B (en) | Late resource localization binding for web services | |
US20090315894A1 (en) | Browser-independent animation engines | |
JP6580708B2 (en) | Application part deep links to corresponding resources | |
CN114742928A (en) | Animation rendering method and device, electronic equipment and medium | |
US20090141021A1 (en) | Method and system for providing experiential knowledge associated with spatial and temporal information | |
CN107743110B (en) | Method and device for generating pages of electronic book and electronic book system | |
US11495225B2 (en) | Response device, response method, and storage medium | |
CN109726346B (en) | Page component processing method and device | |
CN112306619A (en) | Screenshot method and device | |
KR101075257B1 (en) | System and Method for indoor space emboding and indoor moving object visualing on google earth | |
KR102489927B1 (en) | Method and Apparatus for entity tracking based on feature data independent of augmented reality engine | |
KR20070014219A (en) | Automatic web source creation system | |
US11880948B2 (en) | Method and apparatus for tracking entity based on feature data independent of augmented reality engine | |
CN113687884B (en) | File delivery method, device, system, equipment and storage medium | |
US20230342167A1 (en) | Automating semantically-related computing tasks across contexts |