JP7217990B2 - パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行 - Google Patents

パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行 Download PDF

Info

Publication number
JP7217990B2
JP7217990B2 JP2020137817A JP2020137817A JP7217990B2 JP 7217990 B2 JP7217990 B2 JP 7217990B2 JP 2020137817 A JP2020137817 A JP 2020137817A JP 2020137817 A JP2020137817 A JP 2020137817A JP 7217990 B2 JP7217990 B2 JP 7217990B2
Authority
JP
Japan
Prior art keywords
digital
reality
public
digital reality
personal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020137817A
Other languages
English (en)
Other versions
JP2021036422A (ja
Inventor
セヴァト,イエルリ
Original Assignee
ザ カラニー ホールディング エスエーアールエル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ カラニー ホールディング エスエーアールエル filed Critical ザ カラニー ホールディング エスエーアールエル
Publication of JP2021036422A publication Critical patent/JP2021036422A/ja
Application granted granted Critical
Publication of JP7217990B2 publication Critical patent/JP7217990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Tourism & Hospitality (AREA)
  • Remote Sensing (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Technology Law (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

デジタルコンテンツをユーザに提供するための技術開発は過去には可能でなかった体験を可能にしている。特に拡張現実(AR)および仮想現実(VR)はユーザが何を見て聞いて感じているか、および実世界がどれだけこれらの体験の中に入り込んでいるかに関してユーザの知覚を変化させ、ユーザに実世界または想像世界の中の場所に物理的に存在しているという感覚を与える。
これらのより没入型のインタラクティブな体験を達成するための典型的な方法は、ヘッドマウント型のデジタルリアリティ装置を使用することである。これらの装置は通常、中央処理装置(CPU)、集中的グラフィックス演算を処理するためのグラフィックス処理装置(GPU)、ジオメトリ変換を行うためのベクトルユニットならびに他のグルーハードウェア、ファームウェアおよびソフトウェアを備えることができる。但し、ARおよびVR体験を含むような極めて動的かつインタラクティブなアプリケーションは主としてクライアント(装置)側にダウンロードされてホストされるため、当該アプリケーションを実行するためにハードウェア要求が高くなる。さらにGPUを収容し、かつそれらの所望の性能を達成するために、現在のところ高品質のヘッドマウント型のデジタルリアリティ装置は非常に高性能かつ高価なパーソナルコンピュータ(PC)に物理的に繋がれている。これらの要求は高い価格および限られた可動性が原因でより大きな採用障壁を生み出し、これによりパーソナル体験からパブリック体験に急速に移行するための能力および柔軟性が制限されるなど、全体的体験が難しくなる。さらに複合的かつインタラクティブなAR/VRの3Dグラフィックスのストリーミングは高いデータ転送速度を必要とする。
デジタルリアリティの採用障壁と共にハードウェアおよびネットワーク要求を減らすためには、計算的集中タスクを1つ以上の高性能リモートサーバまたはクラウドサーバにオフロードするという所望が生じる。クラウドコンピューティングを用いる今日では支配的な典型的なアプリケーション(インスタントメッセージング、ウェブページのローディングなどのような非同期すなわち一方向配信アプリケーション)は、約100+msのレイテンシに耐えることができると共に、既存のネットワークインフラ、コンテンツ配信ネットワーク(CDN)および集中型クラウドコンピューティングによってサポートされている。このアーキテクチャは、最小のレベルの動的インタラクションによる静的な予め定められたコンテンツの配信のために最適化されている。しかし動的AR/VRアプリケーションはリアルタイムなインタラクションを必要とし、従って極めて低いレイテンシ(約7ms)はネットワークに非常に高い要求を課し、かつユーザが楽しむことができるデジタルリアリティ体験の品質および多様性を制限する。
望まれているものは、ハードウェアおよびネットワーク要求を減らし、かつデジタルリアリティ体験の能力を拡大させるのを可能にするシステムおよび方法である。
本概要は、発明を実施するための形態において以下にさらに説明されている単純化された形態での選択された概念を紹介するために提供されている。本概要は特許請求されている主要部の重要な特徴を特定するためのものでもなければ、特許請求されている主要部の範囲を決定するのを助けるものとして使用されるものでもない。
背景技術に記載されている欠点は、ハードウェアおよびネットワーク要求を減らしながらもパブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験へのスムーズな移行を可能にするシステムおよび方法により本開示によって対処される。記載されている実施形態は、ユーザがそのような移行を特に選択または要求することを必要とすることなく移行を行うかどうかを決定するためにデジタルコンテンツとのインタラクションレベルに反応することにより、パブリックデジタルリアリティ体験からプライベートデジタルリアリティ体験へのスムーズな移行を提供する。これによりユーザは中断することなくデジタルコンテンツのパブリック体験からパーソナル体験に移行するという利点を享受することができる。本システムおよび方法は計算的集中タスクをクラウドサーバにオフロードすることによりハードウェアおよびネットワーク要求を減らす。クラウドサーバは、パブリックデジタルリアリティゾーンに位置している全てのユーザに対して同じデジタルコンテンツを表示するためにデータ計算およびレンダリングを行うことができる。次いで、デジタルリアリティ装置を介するユーザとデジタルコンテンツとのインタラクションレベルを上げることにより、ユーザはデジタルリアリティ装置を介してパーソナルデジタルリアリティビューにアクセスすることができる。デジタルリアリティ装置は例えば、特にモバイルデバイス、パーソナルコンピュータ、ゲームコンソール、メディアセンターおよびヘッドマウントディスプレイであってもよい。1つ以上のデジタルリアリティアプリケーションによって提供されるデジタルコンテンツは、特に3D画像データ、3Dジオメトリ、3D実体、3D感知データ、3D動的オブジェクト、ビデオデータ、音声データ、テキストデータ、時間データ、位置データ、向きデータ、触覚データおよび照明データを含んでいてもよい。
一実施形態では、パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行を可能にするためのシステムは、1つ以上のサーバコンピュータを備えたクラウドサーバシステムを備え、クラウドサーバシステムは1つ以上のデジタルリアリティアプリケーションを格納しており、かつパブリックデジタルゾーンの境界を定めるようにプログラムされており、ここではクラウドサーバに格納されている1つ以上のデジタルリアリティアプリケーションおよび対応するデジタルコンテンツとのインタラクションはパブリックデジタルゾーンにおいてデジタルリアリティ装置を介してパブリックデジタルリアリティビュー内で見ることができる。クラウドサーバシステムは、パブリックデジタルリアリティゾーンにアクセスしているデジタルリアリティ装置の少なくとも1つを検出し、少なくとも1つのデジタルリアリティ装置によるデジタルコンテンツとのインタラクションレベルを検出し、かつ検出されたインタラクションレベルがデジタルコンテンツとの所定のインタラクションレベルに達していることを決定するようにプログラムされている。検出されるインタラクションレベルは、デジタルコンテンツを見ていること、デジタルコンテンツに目を向けていること、デジタルコンテンツをクリックしていること、デジタルコンテンツに関わっていること、およびデジタルコンテンツに没頭していることを含む複数のインタラクションレベルの中から選択されてもよい。クラウドサーバがパブリックデジタルリアリティゾーンにアクセスしている1つ以上のデジタルリアリティ装置を検出するとすぐであって、デジタルリアリティ装置がデジタルコンテンツとの所定のインタラクションレベル(例えば、クリックをしているレベルまたは関っているレベル)に達した後に、クラウドサーバはデジタルリアリティ装置がパブリックデジタルリアリティビューから、デジタルリアリティコンテンツとインタラクトしている特定のユーザのみに見えるデジタルコンテンツを含むパーソナルデジタルリアリティビューに切り替えるのを可能にする。あるいは、パーソナルデジタルリアリティビューは第1のユーザおよび第1のユーザによって招待されたユーザなどの1人以上の他の許可されたユーザによって見るのを可能にしてもよい。
いくつかの実施形態では、クラウドサーバシステムは、1つ以上のデジタルリアリティアプリケーションからデジタルコンテンツを取り出し、かつデータ計算およびデジタルコンテンツに対するレンダリングを行う工程、デジタルコンテンツを現在のパブリックデジタルリアリティゾーン内のデジタルリアリティ装置に送信する工程、デジタルリアリティ装置から入力データを受信する工程、および1つ以上のデジタルリアリティアプリケーションを更新する工程を行うようにさらにプログラムされている。
いくつかの実施形態では、クラウドサーバシステムは、デジタルリアリティ装置がパーソナルデジタルコンテンツを受信する場合に、デジタルリアリティ装置のユーザの体験のためにクラウドサーバシステムから専用の量の計算能力を割り当てるようにさらにプログラムされている。またパーソナルデジタルコンテンツを受信しているユーザは、パブリックデジタルリアリティゾーンに位置している1人以上の他のユーザを招待してパーソナル共有デジタルリアリティビューにおいてインタラクトするのを開始してもよい。招待されたユーザがさらなるデジタルリアリティ装置を介してパーソナル共有デジタルコンテンツを受信する場合(例えば、共有コンテンツを見るために招待を承諾した後)、次いでそのさらなるデジタルリアリティ装置を介して体験されるその特定の招待されたユーザのためにクラウドサーバシステムから専用の量の計算能力が割り当てられる。
一実施形態では、1人以上のユーザはパブリックデジタルコンテンツをクリックした後にパーソナルデジタルコンテンツを見ることができる。他の実施形態では、ユーザはパブリックデジタルコンテンツとの他の形態のインタラクションにより、特にジェスチャ、表情、音声、体、手または指の動き(例えば、水平もしくは垂直の動き、回転など)、ズームインもしくはアウト、スタイラスの動き、エアジェスチャ、脳活動および頭や眼の動きなどによってデジタルコンテンツと関わることにより、パーソナルデジタルコンテンツを見ることができる。
一実施形態によれば、パブリック拡張現実(AR)もしくは仮想現実(VR)ゾーンとしてのパブリックデジタルリアリティゾーンに入るユーザは、ARもしくはVRデジタルコンテンツとの様々なインタラクションを楽しむことができる。これらのインタラクションは、デジタルリアリティアプリケーションがパブリックもしくはパーソナルデジタルコンテンツを提供するかどうかを定める。いくつかの実施形態では、パブリックARもしくはVRゾーンにアクセスする場合に、インタラクションレベルは、デジタルリアリティコンテンツを見ることおよびデジタルリアリティコンテンツに目を向けていることを含む。より高いインタラクションレベル(例えば、クリックすることまたは関わっていること)に応答して、ユーザはパブリックビューからパーソナルビューへのスムーズな移行を体験することができる。そのような実施形態では、クラウドサーバシステムは、デジタルリアリティ装置から入力データを受信し、かつ受信された入力データに応答して少なくとも1つのデジタルリアリティ装置にパーソナルビュー(例えば、パーソナルARビューまたはパーソナルVRビュー)へのアクセスを提供するようにさらにプログラムされている。受信される入力データは例えば、それぞれのパブリック拡張現実ゾーンまたはパブリック仮想現実ゾーンからのパブリック拡張現実コンテンツまたはパブリック仮想現実コンテンツをクリックすることに関連づけられた入力を含んでもよい。
いくつかの実施形態では、パーソナルARビュー内でのインタラクションレベルは、パーソナルARビューからパーソナルVRビューに切り替えることによりARコンテンツと関わることおよびARコンテンツに完全に没頭することを含む。他の実施形態では、パーソナルVRビュー内でのインタラクションレベルはパーソナルVRコンテンツに関わることを含む。
いくつかの実施形態では、クラウドサーバは、データ計算および1つ以上のデジタルリアリティアプリケーションなどの1つ以上のソースからのデジタルコンテンツのレンダリングなどの重負荷アプリケーションを行うのに十分な計算リソースを含む1つ以上のリモートサーバであってもよい。さらにクラウドサーバは、1つにまとめられた単一のデータストリームを少なくとも1つのデジタルリアリティ装置に提供するように構成されていてもよい。
なおさらなる実施形態では、クラウドサーバは低レベルの更新コマンド、例えばグラフィックスもしくはオーディオライブラリなどの出力ライブラリのインタフェースへの呼び出しまたは当該アプリケーションの既にレンダリングされた出力を含む様々な種類の出力データを受信および処理するように構成されたレンダラーを備える。クラウドサーバのレンダラーは、出力データを受信および処理してデジタルリアリティ装置に転送されるデータストリームを生成する。重いレンダリングはクラウドサーバで行われるので、当該アプリケーションのレンダリングされた出力の品質は非常に高くすることができ、かつ例えばデジタルリアリティアプリケーションによって必要とされるような非常に詳細な3次元グラフィカルオブジェクトならびに音響効果および音楽のリッチ表示を含むことができる。従って、デジタルリアリティ装置は軽量のクライアントとして構成されているため、重いレンダリングタスクには関与せず、クラウドサーバから受信されたデータストリームに対する軽量の計算タスクを適切に符号化および処理できるようにすることのみを必要とする。
一実施形態では、クラウドサーバシステムは、デジタルリアリティ装置に拡張現実パブリックデジタルゾーン間での切り替え、拡張現実から仮想現実パブリックデジタルゾーンへの切り替え、仮想現実から拡張現実パブリックデジタルゾーンへの切り替えまたは仮想現実パブリックデジタルゾーン間での切り替えを含む、あるパブリックデジタルゾーンと別のデジタルゾーンとの切り替えを行わせるようにさらにプログラムされていてもよい。
一実施形態によれば、パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行を可能にするための方法は、1つ以上のサーバコンピュータを備えたクラウドサーバシステムによって行われる。本方法は、クラウドサーバシステムに格納されている1つ以上のデジタルリアリティアプリケーション(例えば、ホログラフィック(ARもしくはVR)アプリケーション)に関連づけられたパブリックデジタルリアリティゾーンにアクセスしている1つ以上のデジタルリアリティ装置を検出することであって、ここでは1つ以上のデジタルリアリティアプリケーションおよび対応するデジタルコンテンツとのインタラクションはパブリックデジタルゾーンにおいてデジタルリアリティ装置を介してパブリックデジタルリアリティビュー内で見ることができることと、デジタルリアリティ装置の少なくとも1つによるデジタルコンテンツとのインタラクションレベルを検出することと、検出されたインタラクションレベルがデジタルコンテンツとの所定のインタラクションレベルに達していることを決定することと、少なくとも1つのデジタルリアリティ装置がデジタルリアリティアプリケーションとの所定のインタラクションレベルに達していることを決定した後に、少なくとも1つのデジタルリアリティ装置がパブリックデジタルリアリティビューから、デジタルリアリティコンテンツとインタラクトしている1人以上の許可されたユーザのみ(例えば、特定のユーザ、第1のユーザおよび1人以上の招待されたユーザなどのみ)に見えるパーソナルデジタルコンテンツを含むパーソナルデジタルリアリティビューに切り替えるのを可能にすることとを含む。
一実施形態によれば、パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行を可能にするための本方法は、1つ以上のデジタルリアリティアプリケーションからデジタルコンテンツを取り出し、かつデータ計算およびデジタルコンテンツに対するレンダリングを行うことと、クラウドサーバによってデジタルコンテンツを現在のパブリックデジタルリアリティゾーン内のデジタルリアリティ装置に送信することと、クラウドサーバによってデジタルリアリティ装置から入力データを受信することと、デジタルリアリティアプリケーションを更新することとをさらに含む。
一実施形態によれば、本方法は、パーソナルデジタルリアリティビューにアクセスしているデジタルリアリティ装置に特定の量の計算空間を提供することをさらに含む。
一実施形態によれば、パーソナルデジタルリアリティビュー内のユーザは他のユーザを招待するためのオプションを有していてもよい。他のユーザが承諾すれば、クラウドサーバはさらなるユーザのために特定の計算空間を割り当て、かつ共有ユーザとパーソナルデジタルリアリティビューを共有させる。その後にクラウドサーバは、パーソナル共有ビュー内にデジタルコンテンツを提供するために必要なデータ計算およびレンダリングを行い、かつ最後にそれぞれのユーザにデジタルコンテンツを提供する。
上記概要は本開示の全ての態様の包括的なリストを含んでいない。本開示は、上に要約されている様々な態様の全ての好適な組み合わせならびに以下の発明を実施するための形態に開示されているものおよび特に本出願と共に特許請求の範囲の箇所に示されているものから実施することができる全てのシステムおよび方法を含むことが企図される。そのような組み合わせは上記概要に具体的に記載されていない特定の利点を有する。本開示の他の特徴および利点は、添付の図面および以下に続く発明を実施するための形態から明らかになるであろう。
本開示の特定の特徴、態様および利点は以下の説明および添付の図面に関してより良好に理解されるであろう。
一実施形態に係る、パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行を可能にするためのシステムを示す。 一実施形態に係る、パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行を可能にするためのシステムを示す。 一実施形態に係る、パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行を可能にするためのシステムを示す。 一実施形態に係る、パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行を可能にするための方法を示す。 一実施形態に係る、パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行を可能にするための方法を示す。 一実施形態に係る、パブリックARゾーンにおいてユーザが有し得るデジタルコンテンツとの様々な形態のARインタラクションを示す。 一実施形態に係る、パブリックVRゾーンにおいてユーザが有し得るデジタルコンテンツとの様々な形態のVRインタラクションを示す。
以下の説明では、様々な実施形態を例示として示す図面を参照する。また様々な実施形態をいくつかの例を参照することによって以下に説明する。当然のことながら、当該実施形態は特許請求されている主要部の範囲から逸脱することなく設計および構造における変化を含んでもよい。
図1A~図1Cは、一実施形態に係る、パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行を可能にするためのシステム100を示す。システム100では、ユーザ102は1つ以上のデジタルリアリティアプリケーション104などの1つ以上のソースから取り出されたデジタルコンテンツを受信して体験することができる。デジタルコンテンツはクラウドサーバ106によってレンダリングされ、かつデジタルコンテンツを出力するデジタルリアリティ装置108を介してユーザ102によって見られる。デジタルリアリティ装置108は例えば、特にモバイルデバイス、パーソナルコンピュータ、スマートコンタクトレンズ、ゲームコンソール、メディアセンターおよびヘッドマウントディスプレイであってもよい。
本開示のシステム100は、その全てがネットワークを介して接続することができるパブリックもしくはプライベートクラウド、フォグサーバならびに企業システム、モバイルプラットフォームおよびユーザ装置などのエッジ装置およびシステムを用いて分散された計算能力を表示することができるクラウド・エッジ間インフラに実装されていてもよい。クラウド・エッジ間コンピューティングネットワークを用いた、計算能力、コンピュータインフラ(例えばサービスとしてのいわゆるインフラ、すなわちIaaSを介して)、アプリケーションおよびビジネスプロセスへのアクセスは、要求に応じてクライアント装置を介してユーザへのサービスとして提供することができる。このように物理的なサーバおよびネットワーク機器を含むリソースは、ユーザのリソースまでの距離ならびにユーザからのネットワークおよび計算要求などの因子に応じて動的に割り当てられ得る共有される格納および計算を可能にする。
一実施形態によれば、1つ以上のデジタルリアリティアプリケーション104によって提供されるデジタルコンテンツは、特に3D画像データ、3Dジオメトリ、3D実体、3D感知データ、3D動的オブジェクト、ビデオデータ、音声データ、テキストデータ、時間データ、位置データ、向きデータ、触覚データおよび照明データのうちの少なくとも1つを含んでいてもよい。さらなる実施形態では、パブリックデジタルゾーンにおいて少なくとも1人のユーザ102に提供されるデジタルコンテンツの1つ以上の部分は、拡張現実(AR)もしくは仮想現実(VR)デジタルコンテンツを含んでいてもよい。ユーザ102がARデジタルコンテンツとしてのデジタルコンテンツを見る場合、ARデジタルコンテンツは音、ビデオ、グラフィックスまたはGPSデータなどのコンピュータによって生成される感知入力によって拡張された物理的な実世界環境要素を含む。実世界における追加の情報または仮想物体をオーバーレイするなどの拡張技術は典型的に、リアルタイムで環境要素に関するセマンティックコンテキストにおいて行われる。ARデジタルコンテンツにより、ユーザ102の周囲実世界に関する情報または実世界における仮想物体オーバーレイをインタラクティブおよびデジタル操作可能になるようにすることができる。ユーザ102がVRデジタルコンテンツとしてのデジタルコンテンツを見る場合、VRデジタルコンテンツは実世界をシミュレートされたものと置き換えるために使用される仮想要素を含んでいてもよい。
当然のことながら本明細書に記載されている実施形態のいずれにおいても、クラウドサーバ106によって実行されるものとして本明細書に記載されている機能は単一のサーバのみによって実行される必要はなく、代わりに2つ以上のサーバを備えたクラウドサーバシステムによって実行されてもよい。一実施形態によれば、クラウドサーバシステムは、1つ以上のデジタルリアリティアプリケーション104からのデジタルコンテンツのレンダリングなどの重負荷アプリケーションを実行するのに十分な計算リソースを有する1つ以上のリモートサーバを備えていてもよい。
クラウドサーバ106は、1つにまとめられた単一のデータストリームを少なくとも1つのデジタルリアリティ装置108に提供するように構成されていてもよい。一実施形態ではクラウドサーバ106は、ミリ波(mmW)または第5世代の無線システム通信(5G)などによるmmWとサブ6GHz通信システムとの組み合わせなどの異なる無線システムによりデジタルリアリティ装置108およびデジタルリアリティアプリケーション104に通信接続する。他の実施形態では、本システムは好ましくは16GHzでデータを提供する無線ローカルエリアネットワーキング(Wi-Fi)を介して接続してもよい。提供される通信システムは、典型的には高インタラクティブな実世界プロジェクトを実行するために必要なパラメータに準拠する低いレイテンシ(例えば約1~約5ミリ秒のエンドツーエンド(E2E))およびその現場内のエンドポイントまでの高いダウンリンク速度(例えば1~10Gbps)を可能にしてもよい。これにより高品質、低レイテンシ、リアルタイムのデジタルアプリケーションコンテンツストリーミングが得られる。他の実施形態では、システム100は第4世代無線システム通信(4G)を介して通信接続してもよく、4G通信システムによってサポートされていてもよく、あるいは他の有線もしくは無線通信システムを備えていてもよい。
一実施形態によれば、クラウドサーバ106は、低レベルの更新コマンド、例えばグラフィックスもしくはオーディオライブラリなどの出力ライブラリのインタフェースに対する呼び出しまたはデジタルリアリティアプリケーションの既にレンダリングされた出力を含む、1つ以上のデジタルリアリティアプリケーションから受信された様々な種類の出力データを受信および処理するように構成されたレンダラーを備える。クラウドサーバのレンダラーは、出力データを受信および処理し、かつデジタルリアリティ装置に転送されるデータストリームを生成するように構成されている。重いレンダリングはクラウドサーバで行われるので、当該アプリケーションのレンダリングされた出力の品質は非常に高くすることができ、かつ例えばデジタルリアリティ体験によって必要とされる非常に詳細な3次元グラフィカルオブジェクトならびに音響効果および音楽のリッチ表示を含むことができる。従って、デジタルリアリティ装置は軽量のクライアントとして構成されているため、重いレンダリングタスクには関与せず、クラウドサーバから受信されたデータストリームに対する軽量の計算タスクを適切に符号化および処理できるようにすることのみを必要とする。
一実施形態によれば、各デジタルリアリティ装置108は、慣性追跡センシング機構と送受信機との組み合わせを備えたその上に装着されたセンシング機構を備える。慣性追跡センシング機構は加速度計やジャイロスコープなどの装置を利用することができ、これらは慣性測定ユニット(IMU)に一体化されていてもよい。送受信機は、アンテナへ/から無線通信信号を送信および受信するように実装されていてもよい。好ましくは、送受信機はmmW送受信機である。mmWアンテナが用いられる実施形態では、mmW送受信機はアンテナからmmW信号を受信し、かつそのデータをアンテナに送り戻すように構成されている。mmW送受信機によって提供される慣性センサおよび位置追跡ならびにmmWを利用するアンテナによって提供される正確な追跡、低レイテンシおよび高サービス品質(QoS)機能は、サブセンチメートルまたはサブミリメートルでの位置および向きの追跡を可能にしてもよく、これによりデジタルリアリティ装置108のリアルタイムな位置および向きを追跡する場合の正確性を高めてもよい。いくつかの実施形態では、第2のサーバによる追跡は、到着時間(TOA)、到着角度(AOA)または当該技術分野で知られている他の追跡技術(例えば視覚的イメージング、レーダ技術など)などの当該技術分野で知られているいくつかの技術を用いて実行してもよい。他の実施形態では、センシング機構および送受信機は単一の追跡モジュール装置として互いに結合されていてもよい。デジタルリアリティ装置108の正確な追跡を提供することは、ユーザが見ている位置および向きに適合するビュー内にデジタルコンテンツを示すために関連し得るユーザの信頼できる位置および向きを表示するのに有用になり得る。
他の実施形態では、GPS、BDS、グロナス(Glonass)、QZSS、ガリレオ(Galileo)およびIRNSSのような複数の衛星利用航法システムをまとめて指す全地球的航法衛星システム(GNSS)が装置の位置決めを可能にするために使用されてもよい。十分な数の衛星からの信号ならびに三角形分割および三辺測量などの技術を用いて、GNSSは装置の位置、速度、高度および時間を計算することができる。好ましい実施形態では、外部位置決めシステムは、既存のセルラー通信ネットワークのアーキテクチャ(既存のアーキテクチャは5Gを含む)を介して支援型GNSS(AGNSS:assisted GNSS)によって増強される。他の実施形態では、AGNSS追跡システムは4Gセルラー通信ネットワークによってさらにサポートされる。屋内実施形態では、GNSSは好ましくは限定されるものではないがデータを16GHzで提供するWi-Fiなどの無線ローカルエリアネットワークを介してさらに増強される。他の実施形態では、GNSSはディファレンシャルGPS(DGPS)、静止衛星型衛星航法補強システム(SBAS)、リアルタイムキネマティック(RTK)システムなどの当該技術分野で知られている他の技術を介して増強される。いくつかの実施形態では、装置の追跡はAGNSSと当該装置内の慣性センサとの組み合わせによって実行される。
デジタルコンテンツとのユーザインタラクションはジェスチャ可能であってもよく、この場合ユーザ102はインタラクションのために1つ以上のジェスチャを用いる。例えばジェスチャはナチュラルユーザインタフェース(NUI)ジェスチャであってもよい。NUIは、ユーザ102がマウス、キーボードおよび遠隔制御などの入力装置によって課される人工拘束なしに装置と自然にインタラクトするのを可能にする任意のインタフェース技術として定めることができる。NUI方法の例としては、音声認識、タッチ認識、顔認識、スタイラス認識、エアジェスチャ(例えば、手のポーズや動きおよび他の体/手足の動き/ポーズ)、頭および眼追跡、発声および発話などの触覚型および非触覚型インタフェースなどのジェスチャを用いる方法、ならびに少なくとも例えば視覚、音声、声、ポーズおよびタッチデータに関する機械学習が挙げられる。NUI技術としては、タッチセンサ式ディスプレイ、声および音声認識、意図および目標の理解、深度計測カメラ(例えば、立体カメラシステム、赤外線カメラシステム、カラーカメラシステムおよびそれらの組み合わせ)を用いるモーションジェスチャ検出、加速度計/ジャイロスコープを用いるモーションジェスチャ検出、顔認識、3Dディスプレイ、頭、目および視線追跡、ナチュラルユーザインタフェースを備えた没入型の拡張現実および仮想現実システム、ならびに電界センシング電極を用いて脳活動をセンシングするための技術(例えば脳波計(EEG))および他のニューロバイオフィードバック法が挙げられる。
図1Aに見られるように、ユーザA、B、CおよびDなどの複数のユーザ102はパブリックデジタルリアリティゾーン110内に位置している。パブリックデジタルリアリティゾーン110では、ユーザ102はデジタルリアリティ装置108を介して、1つ以上のデジタルリアリティアプリケーション104からクラウドサーバ106によって取り出されたパブリックデジタルコンテンツ112を受信して見てそれとインタラクトすることができる。パブリックデジタルリアリティゾーン110内の全てのユーザ102が、1つ以上のデジタルリアリティアプリケーション104からのパブリックデジタルリアリティコンテンツ112を見ることができる。
図1Bに見られるように、ユーザA、BおよびCはまだパブリックデジタルコンテンツ112を受信して見てそれとインタラクトしているが、ユーザDは今はパーソナルデジタルコンテンツ114を受信して見てそれとインタラクトしている。従ってユーザA、BおよびCは各ユーザのデジタルリアリティアプリケーション104のパブリックデジタルリアリティコンテンツ112とのインタラクションを見ることができるが、ユーザDとデジタルリアリティアプリケーション104とのインタラクションはプライベートなものになっているため、ユーザA、BおよびCによって見ることはできない。
いくつかの実施形態では、ユーザDは、デジタルコンテンツとの異なるレベルのインタラクションに達した後にパーソナルデジタルコンテンツ114を受信してもよい。一実施形態では、ユーザDはパブリックデジタルコンテンツ112からのデジタルコンテンツをクリックした後にパーソナルデジタルコンテンツ114を受信してもよい。他の実施形態では、ユーザ102は、ジェスチャ、表情、音声、体、手または指の動き、スタイラスの動き、エアジェスチャ、脳活動および頭や眼の動きなどによる他の形態のデジタルコンテンツとのインタラクションによりパブリックデジタルコンテンツ112からパーソナルデジタルコンテンツ114を受信してもよい。そのような実施形態は、ユーザがそのような移行を特に選択または要求することを必要とすることなく移行を行うかどうかを決定するためにデジタルコンテンツとのインタラクションレベルに反応することにより、パブリックデジタルリアリティ体験からプライベートデジタルリアリティ体験へのスムーズな移行を提供する。これによりユーザは中断することなくデジタルコンテンツのパブリック体験からパーソナル体験に移行するという利点を享受することができる。
ユーザDがパーソナルデジタルコンテンツ114を受信し始めると、クラウドサーバ106からの専用の量のコンピュータ能力がユーザDに与えられる。その瞬間、パブリックデジタルリアリティ体験を提供するデジタルリアリティアプリケーション104として開始したものが、プライベートデジタルリアリティ体験を提供するデジタルリアリティアプリケーション104になる。
図1Cに見られるように、ユーザBおよびCはまだパブリックデジタルコンテンツ112を受信して見てそれとインタラクトしているが、ユーザAおよびDは今は共有パーソナルデジタルコンテンツ116を受信して見てそれとインタラクトしている。ユーザAが共有パーソナルデジタルコンテンツ116にアクセスするために、パーソナルデジタルコンテンツ114の受信を既に開始しているユーザDは、このビューにアクセスするようにユーザAを招待しなければならない。ユーザAが共有パーソナルデジタルコンテンツ116を受信し始めると、クラウドサーバ106からの専用の量のコンピュータ能力がユーザAに与えられる。
図2A~図2Bは、一実施形態に係る、パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行を可能にするための方法200a~200bを示す。
図2Aの方法200aは工程202で開始し、ここではクラウドサーバは、クラウドサーバに格納されている1つ以上のデジタルリアリティアプリケーションに関連づけられたパブリックデジタルリアリティゾーン(ここでは1つ以上のホログラフィックおよび対応するデジタルコンテンツとのインタラクションは、パブリックデジタルゾーン内の全てのユーザによって見ることができる)にアクセスしている1つ以上のデジタルリアリティ装置を検出する。次いで工程204では、クラウドサーバはデジタルリアリティアプリケーションに関連づけられたデジタルコンテンツを取り出し、データ計算を行い、かつデジタルコンテンツをレンダリングする。当該プロセスの後に、工程206では、クラウドサーバは現在のパブリックデジタルリアリティゾーン内のユーザの複数のデジタルリアリティ装置にデジタルコンテンツを送信する。次いでクラウドサーバは工程208に見られるように、デジタルリアリティ装置を介してユーザから入力を受信し、かつデジタルリアリティアプリケーションを更新する。
工程210では、方法200aはユーザにパーソナルデジタルリアリティビューにアクセスするためのオプションを提供し、ここでは特定の量の計算空間がパーソナルデジタルリアリティビューにアクセスしているデジタルリアリティ装置に提供される。パーソナルデジタルリアリティビューへのアクセスは、クリックすることまたは他の形態のデジタルコンテンツとのインタラクションなどの様々な方法により行われてもよい。ユーザがパーソナルデジタルリアリティビューにアクセスすることを決定しなかった場合、方法200は当該ユーザがパブリックデジタルコンテンツを見続けている状態で工程204に戻ってもよい。しかしユーザがパーソナルデジタルリアリティビューにアクセスすることを決定する場合、クラウドサーバは、工程212に見られるように当該ユーザのパーソナルデジタルリアリティビューのために特定の計算空間を割り当てる。
いくつかの実施形態では、クラウドサーバ106は、パブリックデジタルリアリティゾーンにアクセスしているデジタルリアリティ装置を検出すること、デジタルリアリティ装置によるデジタルコンテンツとのインタラクションレベルを検出すること、および検出されたインタラクションレベルがデジタルコンテンツとの所定の閾値レベルのインタラクションに達していることを決定することにより、ユーザがパーソナルデジタルリアリティビューに移行するかどうかを決定するようにプログラムされている。可能なインタラクションレベルとしては、デジタルコンテンツを見ていること、デジタルコンテンツに目を向けていること、デジタルコンテンツをクリックしていること、デジタルコンテンツに関わっていること、およびデジタルコンテンツに没頭していることが挙げられる。パーソナルビューに移行するための閾値レベルのインタラクションは、例えばデジタルコンテンツをクリックすることまたはデジタルコンテンツに関わっていることであってもよい。
例示的なシナリオでは、クラウドサーバがパブリックデジタルリアリティゾーンにアクセスしている1つ以上のデジタルリアリティ装置を検出するとすぐであって、デジタルリアリティ装置がデジタルコンテンツとの所定のインタラクションレベル(例えば、クリックをしているレベルまたは関っているレベル)に達した後にクラウドサーバは、デジタルリアリティ装置がパブリックデジタルリアリティビューからデジタルコンテンツを含むパーソナルデジタルリアリティビューに切り替えるのを可能にする。
いくつかの実施形態では、クラウドサーバシステムは、デジタルリアリティ装置が所定の地理的座標内に位置するときにのみデジタルリアリティ装置を介してデジタルリアリティアプリケーションにアクセスすることができるように、地理的座標を1つ以上のデジタルリアリティアプリケーションに関連づけられた位置の周りの所定の値に構成することによりパブリックデジタルリアリティゾーンを1つ以上のデジタルリアリティアプリケーションに関連づけてもよい。この関連づけは、デジタルリアリティアプリケーションの周りにパブリックデジタルリアリティゾーンの境界を定めることと言うことができる。前記境界を定めることは、対応するアプリケーション104の開発段階の間に構成されてもよい。なおさらなる実施形態では、パブリックデジタルゾーンはホログラフィックアプリケーション(例えば、ARもしくはVRゲームまたはアクティビティ)におけるユーザからの達成に基づいて変化してもよく、従って1人以上の特定のユーザ102ごとに変化してもよい。例えば、宝探しアプリケーションを含むパブリックデジタルゾーンは前記アプリケーションの第1のレベルで開始する全てのユーザ102のために起動させてもよいが、1人以上のユーザ102がパブリックデジタルゾーン内で宝物を見つけたら、パブリックデジタルゾーンはその宝物を見つけたそれらの特定の1人以上のユーザ102のためにのみ別の地理的位置に移動してもよい。
図2Bは、方法200aの続きである方法200bを示す。工程214では、クラウドサーバはパーソナルデジタルリアリティビューのためにデジタルリアリティアプリケーションからのデジタルコンテンツを提供するために必要なデータ計算およびレンダリングを行い、その後にそれぞれのユーザにデジタルコンテンツを提供する。さらに工程214では、当然のことながらクラウドサーバは同様にデジタルリアリティ装置を介してプライベートビュー内のユーザから入力を受信し続けてもよく、これにより次いでデジタルリアリティ装置を介して送信および出力されたデジタルリアリティアプリケーションをサーバに更新させ続ける。
その後に方法200bは工程216に見られるように、現在パーソナルデジタルリアリティビューにいるユーザに同じパーソナルデジタルリアリティビューにアクセスするように他のユーザを招待するためのオプションを提供する。ユーザは工程218に見られるように、パーソナルデジタルリアリティビューへの招待を承諾または拒絶してもよい。ユーザが招待を承諾する場合、クラウドサーバは工程220に見られるようにさらなるユーザのために特定の計算空間を割り当て、かつ共有ユーザとパーソナルデジタルリアリティビューを共有させる。ユーザが招待を拒絶する場合、元のプライベートビュー内のユーザはパーソナルデジタルコンテンツを個々に受信し続けてもよく、それにより本方法は上に詳述されている工程214に戻る。最後に工程222ではクラウドサーバは、パーソナル共有ビュー内にデジタルコンテンツを提供するために必要なデータ計算を行い、かつそれぞれのユーザにデジタルコンテンツを提供する。さらに工程222では、当然のことながらクラウドサーバは同様にデジタルリアリティ装置を介してプライベート共有ビュー内のユーザから入力を受信し続け、これにより次いでデジタルリアリティ装置を介して送信および出力されたデジタルリアリティアプリケーションをサーバに更新させ続ける。
図3は、一実施形態に係る、パブリックARゾーンにおいてユーザが有し得るデジタルコンテンツとの様々な形態のARインタラクション300を示す。デジタルリアリティアプリケーションからのARデジタルコンテンツとのARインタラクション300としては、1つ以上のデジタルリアリティアプリケーションからのARデジタルコンテンツを見ること302、それに目を向けること304、それをクリックすること306、それに関わること308およびそれに完全に没頭すること310が挙げられる。
いくつかの実施形態では、ユーザが1つ以上のデジタルリアリティアプリケーションからのパブリックARデジタルコンテンツを見ており(302)、かつそれに目を向けている(304)場合、ユーザはパブリックARビュー312にアクセスすることができ、それにより当該ユーザはパブリックARデジタルコンテンツを受信して見てそれとインタラクトする。ユーザがパブリックARビュー312内のARデジタルコンテンツをクリックする(306)場合、当該ユーザはパーソナルデジタルリアリティビュー314にアクセスすることができ、それにより当該ユーザはパーソナルARデジタルコンテンツを受信して見てそれとインタラクトする。パーソナルデジタルリアリティビュー314内での全てのレベルのARインタラクション300はARデジタルコンテンツへの没頭であるとみなされる。
「~をクリックする」という用語はデジタルコンテンツをマウスでクリックするという行為を含むように使用してもよいが、特定のデジタルコンテンツを選択するために使用することができる他の入力装置(例えばトラックパッドおよびタッチスクリーン)に適した他の形態の入力(例えばタップすること)も含んでもよい。
本開示で使用される「見る」という用語は、ARインタラクション300の文脈ではデジタルリアリティアプリケーションからのARデジタルコンテンツの方向に人の目を限られた秒数(すなわち時間成分を含む)で、あるいは限られた数の特徴点(すなわち空間成分を含む)に向かって方向づけるという行為を指す。本開示で使用される「目を向けること」という用語は、ARインタラクション300の文脈では時間成分および/または空間成分も含んでもよく、かつ「見る」よりも長い秒数で、あるいは「見る」よりも多くの特定の数の特徴点を凝視するという行為を指す。
本開示で使用される「関わること」という用語は、ARインタラクション300の文脈では、ジェスチャ、表情、音声、体、手または指の動き(例えば、任意の角度での水平もしくは垂直の動き、軸の周りでの回転など)、ズームインもしくはアウト、スタイラスの動き、エアジェスチャ、脳活動および頭や眼の動きを含むが、目を向けること、見ることおよびクリックすることなどのより単純な形態のインタラクションを除外するより深いインタラクションレベルを指す。
本開示で使用される「完全に没頭すること」または「完全な没頭」という用語は、ARインタラクション300の文脈では最も深いインタラクションレベルを指し、かつ現在のパーソナルARビューからパーソナルVRビューに切り替えることを含んでもよい。完全に没頭することは、1人以上のユーザがプライベートVRビューにいる場合に生じる全てのインタラクションを含む。プライベートVRビューでは、デジタルリアリティアプリケーションはユーザにプライベートセッションを提供し、デジタルコンテンツをそれらのプライベートビュー内の特定のユーザのみに利用可能にさせる。
図4は、一実施形態に係る、パブリックVRゾーンにおいてユーザが有し得るデジタルコンテンツとの様々な形態のVRインタラクション400を示す。デジタルリアリティアプリケーションからのVRデジタルコンテンツとのVRインタラクション400としては、1つ以上のデジタルリアリティアプリケーションからのVRデジタルコンテンツを見ること402、それに目を向けること404、それをクリックすること406、およびそれに完全に没頭すること408が挙げられる。
ユーザが1つ以上のデジタルリアリティアプリケーションからのVRデジタルコンテンツを見て(402)それに目を向けた(404)場合、当該ユーザはパブリックVRビュー410にアクセスすることができ、それにより当該ユーザは、パブリックデジタルコンテンツを受信して見てそれとインタラクトする。ユーザがパブリックVRビュー410内のVRデジタルコンテンツをクリックする(406)場合、当該ユーザはパーソナルデジタルリアリティビュー412にアクセスすることができ、それにより当該ユーザは今度はパーソナルVRデジタルコンテンツを受信して見てそれとインタラクトする。
本開示で使用される「見ること」という用語は、VRインタラクション400の文脈ではデジタルリアリティアプリケーションからのVRデジタルコンテンツの方向に人の目を限られた秒数(すなわち時間成分を含む)で、あるいは限られた数の特徴点(すなわち空間成分を含む)に向かって方向づけるという行為を指す。本開示で使用される「目を向けること」という用語は、VRインタラクション400の文脈では時間成分および/または空間成分も含んでもよく、かつ「見ること」よりも多くの秒数で、あるいは「見ること」よりも多くの特定の数の特徴点を凝視するという行為を指す。
本開示で使用される「完全に没頭すること」または「完全な没頭」という用語は、VRインタラクション400の文脈では現在のパブリックVRビュー410からパーソナルVRビューに切り替えること、およびパーソナルVRビュー内のVRビューに関わることを指す。完全な没頭内での関わりインタラクションとしては、プライベートVRビュー内でのジェスチャ、表情、音声、体、手または指の動き(例えば、水平もしくは垂直の動き、回転など)、ズームインもしくはアウト、スタイラスの動き、エアジェスチャ、脳活動および頭や眼の動きが挙げられる。プライベートVRビューでは、デジタルリアリティアプリケーションはユーザにプライベートセッションを提供し、デジタルコンテンツをプライベートVRビュー内の特定のユーザのみに利用可能にさせる。
いくつかの実施形態では、インタラクションおよび/または関連する移行イベントを表すデータを格納して分析してもよい。経時的な1人以上のユーザの移行およびインタラクションデータにより、インタラクションおよび移行の履歴を形成してもよい。なおさらなる実施形態では、移行およびインタラクションデータは、ブロックチェーンまたは分散型レジャーベースのデータベースなどの格納データベースに記録される。このように、本システムは重要な商業的価値を有し得る取引またはインタラクションの証明を格納してもよい。例えばビジネス関連の商業的論理の取り扱いを自動化して、デジタルメディアバイイングモデル、市場調査、ならびに例えばインプレッションの蓄積、インタラクション関連の支払い(例えば、凝視時間の評価および付随する支払い)および収益分割の分析などによるビジネス分析をサポートするために、パブリックからプライベートへのビューの関連する移行を含むインタラクションの履歴に関するデータを分析してもよい。
特定の実施形態について説明し、かつ添付の図面に図示してきたが、当然のことながらそのような実施形態は広範な本開示の単に例示であってそれを限定するものではなく、様々な他の修正が当業者に思い付く場合があるため、本開示は図示および説明されている特定の構成および配置に限定されない。従って上記説明は、本発明を限定するものではなく例示とみなされるべきである。

Claims (20)

  1. パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行を可能にするためのシステムであって、前記システムは、
    1つ以上のサーバコンピュータを備えるクラウドサーバシステムであって、前記クラウドサーバシステムは、1つ以上のデジタルリアリティアプリケーションを格納し、かつ
    前記クラウドサーバに格納されている1つ以上のデジタルリアリティアプリケーションおよび対応するデジタルコンテンツとのインタラクションはパブリックデジタルリアリティゾーンにおいてデジタルリアリティ装置を介してパブリックデジタルリアリティビュー内で見ることができるように、前記パブリックデジタルリアリティゾーンの境界を定め、
    前記パブリックデジタルリアリティゾーンにアクセスしているデジタルリアリティ装置の少なくとも1つを検出し、
    前記少なくとも1つのデジタルリアリティ装置による前記デジタルコンテンツとのインタラクションレベルを検出し、
    出されたインタラクションレベルが前記デジタルコンテンツとの所定のインタラクションレベルに達していることを決定し、かつ
    前記少なくとも1つのデジタルリアリティ装置が前記デジタルコンテンツとの所定のインタラクションレベルに達した後に、前記少なくとも1つのデジタルリアリティ装置が前記パブリックデジタルリアリティビューから、前記デジタルコンテンツとインタラクトしている1人以上の許可されたユーザにのみ見えるパーソナルデジタルコンテンツを含むパーソナルデジタルリアリティビューに切り替えるのを可能にする
    ようにプログラムされている、クラウドサーバシステム
    を備える、システム。
  2. 前記クラウドサーバシステムは、
    前記1つ以上のデジタルリアリティアプリケーションから前記デジタルコンテンツを取り出し、かつデータ計算および前記デジタルコンテンツに対するレンダリングを行い、
    前記デジタルコンテンツを前記パブリックデジタルリアリティゾーン内のデジタルリアリティ装置に送信し、
    前記デジタルリアリティ装置から入力データを受信し、かつ
    前記1つ以上のデジタルリアリティアプリケーションを更新する
    ようにさらにプログラムされている、請求項1に記載のシステム。
  3. 前記クラウドサーバシステムは、前記少なくとも1つのデジタルリアリティ装置がパーソナルデジタルコンテンツを受信し始めると、前記少なくとも1つのデジタルリアリティ装置のために専用の量の計算能力を割り当てるようにさらにプログラムされている、請求項1に記載のシステム。
  4. 前記1つ以上のデジタルリアリティアプリケーションは他のユーザを前記パーソナルデジタルリアリティビューに参加するように招待するのを可能にするオプションを提供するように構成されており、かつ前記クラウドサーバシステムは、前記パーソナルデジタルリアリティビューに参加するための招待の承諾により、1つ以上のさらなるデジタルリアリティ装置のために特定の計算空間を割り当て、かつ前記パーソナルデジタルリアリティビューを前記招待を承諾するユーザと共有させるようにさらにプログラムされている、請求項1に記載のシステム。
  5. 前記パブリックデジタルリアリティゾーンはパブリック拡張現実ゾーンまたはパブリック仮想現実ゾーンである、請求項1に記載のシステム。
  6. 拡張現実または仮想現実において前記パブリックデジタルリアリティゾーンにアクセスしている場合、前記検出されるインタラクションレベルは前記デジタルコンテンツを見ていることおよび前記デジタルコンテンツに目を向けていることを含む複数のインタラクションレベルの中から選択される、請求項1に記載のシステム。
  7. 前記クラウドサーバシステムは、
    前記少なくとも1つのデジタルリアリティ装置から入力データを受信することであって、受信された入力データは、それぞれのパブリック拡張現実ゾーンまたはパブリック仮想現実ゾーンからのパブリック拡張現実コンテンツまたはパブリック仮想現実コンテンツをクリックすることに関連づけられた入力を含むことと
    前記受信された入力データに応答して、前記少なくとも1つのデジタルリアリティ装置にパーソナル拡張現実ビューまたはパーソナル仮想現実ビューへのアクセスを提供することと、
    を行うようにさらにプログラムされている、請求項1に記載のシステム。
  8. 前記受信された入力データは、ジェスチャ、表情、音声、接触、スタイラスの動き、エアジェスチャ、脳活動または頭や眼の動きのうちの1つ以上をさらに含む、請求項7に記載のシステム。
  9. 前記パーソナル拡張現実ビュー内でのインタラクションレベルは、前記パーソナル拡張現実ビューから前記パーソナル仮想現実ビューに切り替えることにより前記拡張現実コンテンツに関わること、および前記拡張現実コンテンツに完全に没頭することを含み、かつ前記パーソナル仮想現実ビュー内でのインタラクションレベルはパーソナル仮想現実コンテンツに関わることを含む、請求項7に記載のシステム。
  10. 前記クラウドサーバシステムは、前記デジタルリアリティ装置に、拡張現実パブリックデジタルリアリティゾーン間での切り替え、拡張現実から仮想現実パブリックデジタルリアリティゾーンへの切り替え、仮想現実から拡張現実パブリックデジタルリアリティゾーンへの切り替えまたは仮想現実パブリックデジタルリアリティゾーン間での切り替えを含む、あるパブリックデジタルリアリティゾーンと別のデジタルゾーンとの切り替えを行わせるようにさらにプログラムされている、請求項1に記載のシステム。
  11. パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行を可能にするための方法であって、1つ以上のサーバコンピュータを備えたクラウドサーバシステムによって、
    デジタルリアリティ装置が前記クラウドサーバシステムに格納されている1つ以上のデジタルリアリティアプリケーションに関連づけられたパブリックデジタルリアリティゾーンにアクセスしていることを検出することであって、前記1つ以上のデジタルリアリティアプリケーションおよび対応するデジタルコンテンツとのインタラクションは前記パブリックデジタルリアリティゾーンにおいて前記デジタルリアリティ装置を介してパブリックデジタルリアリティビュー内で見ることができることと、
    前記デジタルリアリティ装置の少なくとも1つによる前記デジタルコンテンツとのインタラクションレベルを検出することと、
    出されたインタラクションレベルが前記デジタルコンテンツとの所定のインタラクションレベルに達していることを決定することと、
    前記少なくとも1つのデジタルリアリティ装置が前記デジタルリアリティアプリケーションとの所定のインタラクションレベルに達していることを決定した後に、前記少なくとも1つのデジタルリアリティ装置が前記パブリックデジタルリアリティビューから、前記デジタルコンテンツとインタラクトしている1人以上の許可されたユーザによってのみ見ることができるパーソナルデジタルコンテンツを含むパーソナルデジタルリアリティビューに切り替えるのを可能にすることと、
    を含む、方法。
  12. 前記クラウドサーバシステムによって前記1つ以上のデジタルリアリティアプリケーションから前記デジタルコンテンツを取り出し、かつデータ計算および前記デジタルコンテンツに対するレンダリングを行うことと、
    前記クラウドサーバによって前記デジタルコンテンツを前記パブリックデジタルリアリティゾーン内のデジタルリアリティ装置に送信することと、
    前記クラウドサーバによって前記デジタルリアリティ装置から入力データを受信することと、
    前記1つ以上のデジタルリアリティアプリケーションを更新することと、
    をさらに含む、請求項11に記載の方法。
  13. 特定の量の計算空間を前記パーソナルデジタルリアリティビューにアクセスしている少なくとも1つのデジタルリアリティ装置に提供することをさらに含む、請求項11に記載の方法。
  14. 前記1つ以上のデジタルリアリティアプリケーションによって他のユーザを前記パーソナルデジタルリアリティビューに参加するように招待するのを可能にするオプションを提供することと、
    招待されたユーザが前記パーソナルデジタルリアリティビューに参加するための招待を承諾する場合、前記クラウドサーバシステムによって1つ以上のさらなるデジタルリアリティ装置のために特定の計算空間を割り当て、かつ前記パーソナルデジタルリアリティビューを前記招待を承諾するユーザと共有させることと、
    をさらに含む、請求項11に記載の方法。
  15. 前記パブリックデジタルリアリティゾーンはパブリック拡張現実ゾーンまたはパブリック仮想現実ゾーンである、請求項11に記載の方法。
  16. 拡張現実または仮想現実において前記パブリックデジタルリアリティゾーンにアクセスしている場合、前記検出されたインタラクションレベルは、前記デジタルコンテンツを見ていることおよび前記デジタルコンテンツに目を向けていることを含む複数のインタラクションレベルの中から選択される、請求項11に記載の方法。
  17. 前記少なくとも1つのデジタルリアリティ装置から入力データを受信することであって、前記受信された入力データは、前記それぞれのパブリック拡張現実ゾーンまたはパブリック仮想現実ゾーンからのパブリック拡張現実コンテンツまたはパブリック仮想現実コンテンツをクリックすることに関連づけられた入力を含むことと、
    前記受信された入力データに応答して、前記少なくとも1つのデジタルリアリティ装置にパーソナル拡張現実ビューまたはパーソナル仮想現実ビューへのアクセスを提供することと、
    をさらに含む、請求項15に記載の方法。
  18. 前記受信された入力データは、ジェスチャ、表情、音声、体、手または指の動き、スタイラスの動き、エアジェスチャ、脳活動または頭や眼の動きのうちの1つ以上をさらに含む、請求項17に記載の方法。
  19. 前記パーソナル拡張現実ビュー内でのインタラクションレベルは、前記パーソナル拡張現実ビューから前記パーソナル仮想現実ビューに切り替えることにより前記拡張現実コンテンツに関わること、および前記拡張現実コンテンツに完全に没頭することを含み、かつ前記パーソナル仮想現実ビュー内でのインタラクションレベルはパーソナル仮想現実コンテンツに関わることを含む、請求項17に記載の方法。
  20. 前記デジタルリアリティ装置に、拡張現実パブリックデジタルリアリティゾーン間での切り替え、拡張現実から仮想現実パブリックデジタルリアリティゾーンへの切り替え、仮想現実から拡張現実パブリックデジタルリアリティゾーンへの切り替えまたは仮想現実パブリックデジタルリアリティゾーン間での切り替えを含む、あるパブリックゾーンと別のパブリックゾーンとの切り替えを行わせる、請求項11に記載の方法。
JP2020137817A 2019-08-20 2020-08-18 パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行 Active JP7217990B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/545,947 US11481980B2 (en) 2019-08-20 2019-08-20 Transitioning from public to personal digital reality experience
US16/545,947 2019-08-20

Publications (2)

Publication Number Publication Date
JP2021036422A JP2021036422A (ja) 2021-03-04
JP7217990B2 true JP7217990B2 (ja) 2023-02-06

Family

ID=72139455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020137817A Active JP7217990B2 (ja) 2019-08-20 2020-08-18 パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行

Country Status (5)

Country Link
US (1) US11481980B2 (ja)
EP (1) EP3783460A1 (ja)
JP (1) JP7217990B2 (ja)
KR (1) KR102550986B1 (ja)
CN (1) CN112416567B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275919B1 (en) * 2018-02-06 2019-04-30 International Business Machines Corporation Preventing transition shocks during transitions between realities
WO2022239939A1 (ko) * 2021-05-13 2022-11-17 삼성전자 주식회사 콘텐트 공유 방법 및 이를 위한 전자 장치
US20230086621A1 (en) * 2021-09-23 2023-03-23 At&T Intellectual Property I, L.P. Experience and transitioning between virtual reality and augmented reality environments using a virtual assistant

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036891A (ja) 1999-06-10 2001-02-09 Internatl Business Mach Corp <Ibm> ブロードキャスト環境の視野を個別化するシステム、方法及び媒体。
JP2015118578A (ja) 2013-12-18 2015-06-25 マイクロソフト コーポレーション 拡張現実情報詳細
JP2016048301A (ja) 2014-08-27 2016-04-07 株式会社ニコン 電子機器
US20180157333A1 (en) 2016-12-05 2018-06-07 Google Inc. Information privacy in virtual reality
JP2019522856A (ja) 2016-06-30 2019-08-15 株式会社ソニー・インタラクティブエンタテインメント バーチャルリアリティシーンに参加するための操作方法及びシステム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9275254B2 (en) * 2011-03-22 2016-03-01 Fmr Llc Augmented reality system for public and private seminars
US10127563B2 (en) * 2011-09-15 2018-11-13 Stephan HEATH System and method for providing sports and sporting events related social/geo/promo link promotional data sets for end user display of interactive ad links, promotions and sale of products, goods, gambling and/or services integrated with 3D spatial geomapping, company and local information for selected worldwide locations and social networking
US10217117B2 (en) * 2011-09-15 2019-02-26 Stephan HEATH System and method for social networking interactions using online consumer browsing behavior, buying patterns, advertisements and affiliate advertising, for promotions, online coupons, mobile services, products, goods and services, entertainment and auctions, with geospatial mapping technology
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US20150062158A1 (en) 2013-08-28 2015-03-05 Qualcomm Incorporated Integration of head mounted displays with public display devices
US9792594B1 (en) * 2014-01-10 2017-10-17 Wells Fargo Bank, N.A. Augmented reality security applications
US10031648B2 (en) * 2014-12-31 2018-07-24 Trading Technologies International, Inc. Systems and methods to obfuscate market data on a trading device
US10175492B2 (en) * 2015-04-24 2019-01-08 Eon Reality, Inc. Systems and methods for transition between augmented reality and virtual reality
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US10511895B2 (en) * 2015-10-09 2019-12-17 Warner Bros. Entertainment Inc. Cinematic mastering for virtual reality and augmented reality
US10795449B2 (en) * 2015-12-11 2020-10-06 Google Llc Methods and apparatus using gestures to share private windows in shared virtual environments
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
US20180096506A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10445523B2 (en) * 2016-10-14 2019-10-15 Google Llc Information privacy in virtual reality
US10642991B2 (en) 2016-10-14 2020-05-05 Google Inc. System level virtual reality privacy settings
DE202017105929U1 (de) * 2016-10-14 2018-01-09 Google LLC (n.d.Ges.d. Staates Delaware) Privatsphäre-Einstellungen für virtuelle Realität
US20180211183A1 (en) * 2017-01-25 2018-07-26 At&T Intellectual Property I, L.P. Facilitation of augmented reality spaces as a service
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
US10249095B2 (en) 2017-04-07 2019-04-02 Microsoft Technology Licensing, Llc Context-based discovery of applications
US20180356885A1 (en) * 2017-06-10 2018-12-13 Tsunami VR, Inc. Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user
US10331874B1 (en) * 2018-06-06 2019-06-25 Capital One Services, Llc Providing an augmented reality overlay to secure input data
US20190379948A1 (en) * 2018-06-12 2019-12-12 Lewis McClam Vicinity generated advertisements with zone based tracking of 3d objects in a 3d enviroment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036891A (ja) 1999-06-10 2001-02-09 Internatl Business Mach Corp <Ibm> ブロードキャスト環境の視野を個別化するシステム、方法及び媒体。
JP2015118578A (ja) 2013-12-18 2015-06-25 マイクロソフト コーポレーション 拡張現実情報詳細
JP2016048301A (ja) 2014-08-27 2016-04-07 株式会社ニコン 電子機器
JP2019522856A (ja) 2016-06-30 2019-08-15 株式会社ソニー・インタラクティブエンタテインメント バーチャルリアリティシーンに参加するための操作方法及びシステム
US20180157333A1 (en) 2016-12-05 2018-06-07 Google Inc. Information privacy in virtual reality

Also Published As

Publication number Publication date
US11481980B2 (en) 2022-10-25
KR20210023704A (ko) 2021-03-04
CN112416567A (zh) 2021-02-26
CN112416567B (zh) 2024-03-05
EP3783460A1 (en) 2021-02-24
KR102550986B1 (ko) 2023-07-05
US20210056758A1 (en) 2021-02-25
JP2021036422A (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
JP7217990B2 (ja) パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行
US11050977B2 (en) Immersive interactive remote participation in live entertainment
US11210856B2 (en) System and method for interaction-level based telemetry and tracking within digital realities
CN112639731A (zh) 应用共享
US20200402314A1 (en) Location-based platform for multiple 3d engines for delivering location-based 3d content to a user
US11516296B2 (en) Location-based application stream activation
EP4262217A1 (en) System and method enabling private to public media experiences
US20170365098A1 (en) Systems and methods of generating augmented reality experiences
EP3754615B1 (en) Location-based application activation
US20230419618A1 (en) Virtual Personal Interface for Control and Travel Between Virtual Worlds
EP4218230A1 (en) Avatar spatial modes
CN117355361A (zh) 混合云与本地渲染
US11991222B1 (en) Persistent call control user interface element in an artificial reality environment
US20240226729A1 (en) Hybrid cloud and local rendering
WO2024009653A1 (ja) 情報処理装置、情報処理方法、及び情報処理システム
US20240033619A1 (en) Impaired player accessability with overlay logic providing haptic responses for in-game effects
US20210306805A1 (en) System and method for client-server connection and data delivery by geographical location
WO2023249918A1 (en) Virtual personal interface for control and travel between virtual worlds
WO2024085996A1 (en) Overlay on an artificial reality environment
WO2024026206A1 (en) User sentiment detection to identify user impairment during game play providing for automatic generation or modification of in-game effects

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230118

R150 Certificate of patent or registration of utility model

Ref document number: 7217990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150