JP7340281B2 - 仮想環境内でのアプリケーションの配信システム及び方法 - Google Patents

仮想環境内でのアプリケーションの配信システム及び方法 Download PDF

Info

Publication number
JP7340281B2
JP7340281B2 JP2021138999A JP2021138999A JP7340281B2 JP 7340281 B2 JP7340281 B2 JP 7340281B2 JP 2021138999 A JP2021138999 A JP 2021138999A JP 2021138999 A JP2021138999 A JP 2021138999A JP 7340281 B2 JP7340281 B2 JP 7340281B2
Authority
JP
Japan
Prior art keywords
user
virtual
graphical representation
virtual environment
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021138999A
Other languages
English (en)
Other versions
JP2022050323A (ja
Inventor
セヴァト，イエルリ
Original Assignee
ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/006,327 external-priority patent/US12107907B2/en
Application filed by ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル filed Critical ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル
Publication of JP2022050323A publication Critical patent/JP2022050323A/ja
Application granted granted Critical
Publication of JP7340281B2 publication Critical patent/JP7340281B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4053—Arrangements for multi-party communication, e.g. for conferences without floor control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45545—Guest-host, i.e. hypervisor is an application program itself, e.g. VirtualBox
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45554—Instruction set architectures of guest OS and hypervisor or native processor differ, e.g. Bochs or VirtualPC on PowerPC MacOS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/541—Interprogram communication via adapters, e.g. between incompatible applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45566—Nested virtual machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Stored Programmes (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Description

関連出願への相互参照
本出願は、２０２０年８月２８日に出願された米国特許出願第１７／００５，７６７号に関連する、２０２０年８月２８日に出願された米国特許出願第１７／００６，３２７号の一部である。前述の特許出願のそれぞれは、その全体が参照により本明細書に組み込まれる。
２０２０年の新型コロナウイルスのパンデミックなどの状況により、世界中で移動が制限され、会議、学習、ショッピング、及び仕事の様式の変化が生じており、リモートコラボレーション、及び、特に社会的相互作用を含む相互作用がますます重要になっている。チャットアプリケーションから、Ｓｋｙｐｅ（商標）及びＺｏｏｍ（商標）などのテレビ電話、又はＰｒａｇｌｉ（商標）が提供する２Ｄアバターで表されるリモートチームの仮想オフィスに至るまでの、リアルタイムの通信及びコラボレーションを可能にする様々なソリューションが既に市場に出回っている。
エクステンデッド・リアリティ（例えば、拡張現実及び／又は仮想現実）などの装着可能な没入型技術の開発の現状と、比較的低い技術的流用率を考えれば、ほとんどのソリューションがフラットな２次元ユーザインターフェースを提供し、そこでほとんどの相互作用が行われることは理解できる。しかしながら、これらのソリューションを現実の体験と比較したとき、低レベルの臨場感、ユーザプレゼンスの欠如、共有スペースの欠如、及び実行できる相互作用の品質は、多くのユーザに孤独感又は退屈感をもたらし、結果として、同じ行為を直接行うよりも生産性が低くなる場合がある。
必要とされるのは、高価な機器（例えば、ヘッドマウントディスプレイなど）を購入する及び新しい又は費用のかかるインフラストラクチャを実装する必要なしに、すべて既存のコンピューティングデバイス及びカメラを使用しながら、リモートで相互作用するときに、ユーザに、臨場感、自分と参加者の実在感、及び現実のように相互作用している感覚を提供する技術ソリューションである。
この概要は、以下の詳細な説明でさらに説明される簡略化された形態で概念の選択を紹介するために提供される。この概要は、特許請求される主題の重要な特徴を特定することを意図しておらず、特許請求される主題の範囲を決定する一助として用いられることも意図していない。
本開示は、一般に、コンピュータシステムに言及し、より詳細には、仮想環境での相互作用、特に社会的相互作用を可能にするシステム及び方法、画像処理ベースの仮想プレゼンスシステム及び方法、ユーザグラフィック表現ベースのユーザ認証システム及び方法、仮想環境内から仮想ブロードキャストするためのシステム及び方法、仮想環境内でアプリケーションを配信するためのシステム及び方法、仮想環境クラウドサーバコンピュータ内でクラウドコンピューティングベースの仮想コンピューティングリソースをプロビジョニングするためのシステム及び方法、及び接近するユーザグラフィック表現間のアドホック仮想通信を可能にするシステム及び方法に言及する。
仮想環境での、特に社会的相互作用を含む、相互作用を可能にする本開示のシステムは、少なくとも１つのプロセッサと、少なくとも１つの仮想環境を含む仮想環境プラットフォームを実装するデータ及び命令を格納するメモリと、を備える１つ又は複数のクラウドサーバコンピュータを備える。１つ又は複数のクラウドサーバコンピュータは、カメラによって得られたライブデータフィードから生成されたユーザグラフィック表現を少なくとも１つの仮想環境の３次元座標位置に挿入し、少なくとも１つの仮想環境におけるユーザグラフィック表現を更新し、仮想環境でのリアルタイムのマルチユーザコラボレーション及び相互作用を可能にするように構成される。
一実施形態では、システムは、クライアントデバイスの１人以上のユーザからライブデータフィードを取得する少なくとも１つのカメラをさらに備える。加えて、システムは、１つ又は複数のクラウドサーバコンピュータ及び少なくとも１つのカメラに通信可能に接続されたクライアントデバイスを備える。システムは、ライブデータフィードからユーザグラフィック表現を生成し、これは仮想環境の３次元座標に挿入され、そこでライブデータフィードを使用して更新される。説明される実施形態では、ユーザグラフィック表現を仮想環境に挿入することは、ユーザグラフィック表現が仮想環境に（例えば、指定された３Ｄ座標位置に）現れるように、ユーザグラフィック表現を仮想環境にグラフィカルに組み合わせることに関係する。仮想環境プラットフォームは、１つ又は複数のクライアントデバイスに仮想環境を提供する。システムは、クライアントデバイスを通じてグラフィカルユーザインターフェースにアクセスすることにより、仮想環境でのリアルタイムのマルチユーザコラボレーション及び（社会的）相互作用を可能にする。本開示のクライアントデバイス又はピアデバイスは、例えば、コンピュータ、ヘッドセット、移動電話、メガネ、透明スクリーン、タブレット、及びカメラが組み込まれた又はカメラに接続して前記カメラからデータフィードを受信することができる一般的な入力デバイスを含み得る。
いくつかの実施形態では、仮想環境は、ダウンロード可能なクライアントアプリケーション又はウェブブラウザアプリケーションを介してクライアントデバイスによってアクセス可能である。
いくつかの実施形態では、ユーザグラフィック表現は、背景が削除されたユーザ３Ｄ仮想カットアウト、又は背景が削除されたユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオを含む。いくつかの実施形態では、ユーザグラフィック表現は、ユーザがアップロードした又は第三者が提供した写真から構築された背景が削除されたユーザ３Ｄ仮想カットアウト、又はカメラから取得したリアルタイムの２Ｄステレオ深さデータ又は３Ｄライブビデオストリームデータフィードに基づいて生成された、したがってユーザリアルタイムビデオストリームを含む背景が削除されたユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されていないビデオ、又は背景が削除されたビデオであり、ポリゴン構造を使用して表示される。このようなポリゴン構造は、ビデオに対応するための仮想フレームとして用いられるカッド構造又はより複雑な３Ｄ構造とすることができる。さらに他の実施形態では、このようなユーザグラフィック表現のうちの１つ又は複数は、仮想環境内の３次元座標に挿入され、そこでグラフィカルに組み合わされる。
ユーザ３Ｄ仮想カットアウトは、ユーザがアップロードした又は第三者が提供した２Ｄ写真から構築されたユーザの仮想レプリカを含み得る。一実施形態では、ユーザ３Ｄ仮想カットアウトは、ユーザがアップロードした又は第三者が提供した２Ｄ写真を入力データとして使用して背景が削除されたユーザの３Ｄメッシュ又は３Ｄ点群を生成する、マシンビジョン技術を通じた仮想再構築プロセスにより作成される。ユーザリアルタイム３Ｄ仮想カットアウトは、カメラから取得したリアルタイムの２Ｄ又は３Ｄライブビデオストリームデータフィードに基づく、ユーザの背景が削除された後の、ユーザの仮想レプリカを含み得る。一実施形態では、ユーザリアルタイム３Ｄ仮想カットアウトは、ユーザのライブデータフィードを入力データとして使用して背景が削除されたユーザの３Ｄメッシュ又は３Ｄ点群を生成することによる、マシンビジョン技術を通じた仮想再構築プロセスにより作成される。背景が削除されたビデオは、クライアントデバイスにストリーミングされたビデオを含み、背景削除プロセスは、ユーザだけを見ることができ、受信クライアントデバイス上にポリゴン構造を使用して表示されるように、ビデオに対して行われる。背景が削除されていないビデオは、クライアントデバイスにストリーミングされたビデオを含み、ビデオは、カメラキャプチャを忠実に表し、したがって、ユーザとユーザの背景を見ることができ、受信クライアントデバイス上にポリゴン構造を使用して表示される。
いくつかの実施形態では、ライブデータフィード及び／又はユーザがアップロードした又は第三者が提供した２Ｄ写真に含まれる入力データとして用いられるデータは、２Ｄ又は３Ｄ画像データ、３Ｄジオメトリ、ビデオデータ、メディアデータ、音声データ、テキストデータ、触覚データ、時間データ、３Ｄエンティティ、３Ｄ動的オブジェクト、テキストデータ、時間データ、メタデータ、優先度データ、セキュリティデータ、位置データ、照明データ、深さデータ、及び赤外線データなどを含み得る。
いくつかの実施形態では、ユーザグラフィック表現は、トップ・ビューイングパースペクティブ、又はサードパーソン・ビューイングパースペクティブ、又はファーストパーソン・ビューイングパースペクティブ、又はセルフ・ビューイングパースペクティブと関連付けられる。一実施形態では、ユーザグラフィック表現を通じて仮想環境にアクセスするときのユーザのビューイングパースペクティブは、トップ・ビューイングパースペクティブ、又はサードパーソン・ビューイングパースペクティブ、又はファーストパーソン・ビューイングパースペクティブ、又はセルフ・ビューイングパースペクティブ、又はブロードキャストカメラ・パースペクティブである。セルフ・ビューイングパースペクティブは、別のユーザグラフィック表現によって見られるようなユーザグラフィック表現、及び随意的にユーザグラフィック表現の仮想背景を含み得る。
さらに別の実施形態では、ビューイングパースペクティブは、ユーザがグラフィカルユーザインターフェースを介して仮想環境を手動でナビゲートする際に更新される。
さらに別の実施形態では、ビューイングパースペクティブは、仮想カメラを使用して自動的に確立及び更新され、ライブデータフィードのビューイングパースペクティブは、ユーザグラフィック表現のビューイングパースペクティブ及び仮想カメラと関連付けられ、仮想カメラは、ユーザの目と頭部の傾きデータ、又は頭部の回転データ、又はこれらの組み合わせを追跡及び分析することによって自動的に更新される。一実施形態では、ビューイングパースペクティブは、ユーザグラフィック表現の前に、例えば、背景が削除されていないビデオ、又は背景が削除されたビデオ、又はユーザ３Ｄ仮想カットアウト、又はユーザリアルタイム３Ｄ仮想カットアウトの前に仮想的に配置され位置合わせされる１つ又は複数の仮想カメラを使用して自動的に確立及び更新される。一実施形態では、１つ又は複数の仮想カメラは、目の高さから外側に向けることができる。別の実施形態では、２つ（片目につき１つ）の仮想カメラは、両目の高さから外側に向けられている。さらに別の実施形態では、１つ又は複数の仮想カメラは、ユーザグラフィック表現の頭部の位置の中心から外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、ユーザグラフィック表現の中心から外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、セルフ・ビューイングパースペクティブにあるとき、ユーザグラフィック表現の前に、例えば、ユーザグラフィック表現の頭部の高さにあり、ユーザグラフィック表現に向けて配置される。カメラによって取り込まれるユーザのビューイングパースペクティブは、ユーザグラフィック表現のビューイングパースペクティブと、仮想カメラを操作するコンピュータビジョンを使用する関連する仮想カメラに関連付けられる。さらに、仮想カメラは、ユーザの目と頭部の傾きデータ、又は頭部の回転データ、又はこれらの組み合わせを追跡及び分析することによって自動的に確立及び更新される。
さらに別の実施形態では、セルフ・ビューイングパースペクティブは、背景が削除された、別のユーザグラフィック表現によって見られるような（例えば、電話カメラの「セルフィーモード」のような）グラフィック表現のカットアウトを含む。セルフ・ビューイングパースペクティブは、代替的に、他の参加者によって見られるようなユーザの知覚を理解するためのユーザグラフィック表現の背後にある仮想環境の仮想背景を含む。セルフ・ビューイングパースペクティブは、ユーザグラフィック表現の仮想背景を含むとき、仮想カメラによって取り込まれ得るユーザグラフィック表現の周囲の領域として設定することができ、結果的に、円形、正方形、長方形、又はセルフ・ビューイングパースペクティブのフレーミングに適した任意の他の形状となり得る。
いくつかの実施形態では、仮想環境内のユーザグラフィック表現を更新することは、ユーザステータスを更新することを含む。一実施形態では、利用可能なユーザステータスとしては、不在、ビジー、対応可能、オフライン、電話会議中、又は会議中が挙げられる。ユーザステータスは、グラフィカルユーザインターフェースを通じて手動で更新され得る。他の実施形態では、ユーザステータスは、ユーザステータスデータを含むユーザカレンダー情報に接続して同期することにより自動的に更新される。さらに他の実施形態では、ユーザステータスは、ユーザステータスと同期され得るビジーステータスを指定する、プログラミング開発環境、３Ｄエディタ、又は他の生産性ソフトウェアなどの特定のプログラムの使用状況の検出を通じて、自動的に更新される。さらに別の実施形態では、ユーザステータスは、カメラから取得されたデータフィードに基づいて、マシンビジョンアルゴリズムを通じて自動的に更新され得る。
いくつかの実施形態では、特に社会的相互作用を含む、対応するユーザグラフィック表現を通じたユーザ間の相互作用としては、チャット、画面共有、ホストオプション、リモートセンシング、レコーディング、投票、文書共有、絵文字送信、議題の共有及び編集、仮想ハグ、挙手、手を振る、歩く、インタラクティブアプリケーション又は静的又はインタラクティブ３Ｄアセット、アニメーション、又は２Ｄテクスチャを含むコンテンツの追加、会議の概要の準備、オブジェクトの移動、コンテンツの投影、レーザーポインティング、ゲームプレイ、購買、アドホック仮想通信に参加、及びプライベート又はグループ会話に参加が挙げられる。
いくつかの実施形態では、仮想環境は、１つ又は複数のクラウドサーバコンピュータの永続メモリストレージに格納された永続仮想環境であるか、又は、１つ又は複数のクラウドサーバコンピュータの一時的なメモリストレージに格納された一時的な仮想環境である。一実施形態では、仮想環境は、そこでなされた変更を記録する永続仮想環境であり、変更は、永続仮想環境に指定される少なくとも１つのクラウドサーバコンピュータの永続メモリストレージに格納されるカスタマイゼーションを含む。他の実施形態では、仮想環境は、クラウドサーバの一時的なメモリストレージに格納される一時的な仮想環境である。
いくつかの実施形態では、仮想環境の構成は、仮想環境プラットフォームから選択された１つ又は複数の仮想環境バーティカルに関係する仮想環境のコンテキストテーマと関連付けられる。一実施形態では、可能な構成としては、教育、会議、仕事、ショッピング、サービス、社交、又はエンターテイメント、或いはそれらの組み合わせで使用するための構成が挙げられる。１つ又は複数のバーティカル内の仮想環境の複合体は、仮想環境クラスタを表すことができる。
さらなる実施形態では、仮想環境クラスタは、少なくとも複数の教室を備える仮想学校、或いは異なる組織のメンバーのコワーキング又はネットワーキングスペースとしてその一部が共有される少なくとも複数の作業領域及び応接室を備える仮想会社、或いはライブエンターテイメントパフォーマの取り込みを含むライブイベントをホストする少なくとも１つの屋内又は屋外イベントエリアを備えるイベント施設、或いは少なくとも複数の店舗を備える仮想ショッピングモール、或いは少なくとも複数の遊戯エリアを備える仮想カジノ、或いは少なくとも複数のサービスエリアを備える仮想銀行、或いはライブディスクジョッキー（ＤＪ）パフォーマの取り込みを含む少なくとも複数のＶＩＰエリア及び／又はパーティエリアを備える仮想ナイトクラブ、或いは複数のプライベート又はパブリックカラオケルームを備える仮想カラオケエンターテイメント施設、或いはクルーズ船内の複数の仮想エリアと、ユーザが仮想クルーズ船を降りて訪れることができる風景、島、町、及び都市を含むクルーズ船外のエリアを備える仮想クルーズ船、或いはｅ－スポーツスタジアム又は体育館のうちの１つ又は複数である。
さらなる実施形態では、仮想環境は、仮想リソースを含む仮想コンピュータをさらに備える。一実施形態では、仮想リソースは、クライアントデバイスを通じてアクセスされる１つ又は複数のクラウドコンピュータリソースからのものであり、管理ツールで前記仮想コンピュータリソースに割り当てられる。
いくつかの実施形態では、仮想環境プラットフォームは、仮想環境の複数のインスタンスへのリモートイベントのマルチキャスト又はブロードキャストを可能にするように構成される。これは、世界の様々な地域からの多数のユーザが、マルチキャストされる同じライブイベントを体験できるようにするために行われ得る。
いくつかの実施形態では、仮想環境にリダイレクトするクリッカブルリンクは、第三者ウェブサイト、アプリケーション、又はビデオゲームを含む１つ又は複数の第三者ソースに埋め込まれる。
本開示の別の態様では、仮想環境での社会的相互作用を含む相互作用を可能にする方法は、少なくとも１つのプロセッサを備える１つ又は複数のクラウドサーバコンピュータのメモリ内に、少なくとも１つの仮想環境を含む仮想環境プラットフォームを提供することと、少なくとも１つの対応するクライアントデバイスから（例えば、少なくとも１つのカメラによって取り込まれたユーザの）ライブデータフィードを受信することと、ライブデータフィードからユーザグラフィック表現を生成することと、ユーザグラフィック表現を仮想環境の３次元座標位置に挿入することと、ライブデータフィードから仮想環境内のユーザグラフィック表現を更新することと、仮想環境での相互作用から生成されたデータを処理することを含む。このような相互作用は、仮想環境での特に社会的相互作用を含み得る。このような相互作用について、方法は、直接Ｐ２Ｐ通信で、或いは１つ又は複数のクラウドサーバの使用を通じて間接的に、更新された仮想環境をクライアントデバイスに提供し、仮想環境でのリアルタイムのマルチユーザコラボレーション及び相互作用を可能にすることを含み得る。
いくつかの実施形態では、システムは（例えば、仮想環境プラットフォームを介して）さらに、アドホック仮想通信の作成を可能にし、これは、仮想環境での現在のビューイングパースペクティブ又は位置を変更する必要なしに、ユーザグラフィック表現間のアドホック音声通信チャネルを作成することを含み得る。例えば、ユーザグラフィック表現は、別のユーザグラフィック表現に接近し、両方のユーザグラフィック表現エリアが存在する仮想環境内の場所でアドホック音声会話を行うことができる。このような通信は、例えば、ユーザグラフィック表現間の距離、位置、及び向き、及び／又はそれらの現在の対応可能性ステータス（例えば、対応可能又は対応不可能）、又はこのようなアドホック通信のステータス構成、又はそれらの組み合わせを考慮に入れることによって可能となる。接近するユーザグラフィック表現は、アドホック通信が可能であることをシグナリングする、したがって両方のユーザグラフィック表現間の会話の開始を設定する、他のユーザグラフィック表現に関する視覚的フィードバックを見ることになり、この場合、接近するユーザは話しかけることができ、他のユーザはそれを聞いて応答することができる。別の実施形態では、仮想環境プラットフォームは、クライアントデバイスによって実行されるステップに応答して生成されるデータの処理を通じて、仮想環境でのアドホック仮想通信を行うことを可能にし、これは、ユーザグラフィック表現に接近するステップと、ユーザグラフィック表現を選択及びクリックするステップと、別のユーザグラフィック表現との間でアドホック仮想通信参加招待を送信又は受信するステップと、受信した招待を承諾するステップを含み得る。このようなシナリオでは、プラットフォームは、ユーザクライアントデバイス間の通信チャネルを開くことができ、ユーザグラフィック表現は、仮想環境の仮想空間で会話をする。
いくつかの実施形態では、方法は、１人以上のユーザを会話に参加させることと、ユーザグラフィック表現を、ユーザ３Ｄ仮想カットアウトから、ユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオに移行することと、ユーザクライアントデバイス間のピア・ツー・ピア（Ｐ２Ｐ）通信チャネルを開くことをさらに含む。一実施形態では、２人以上のユーザを会話に引き込むステップは、ユーザグラフィック表現に接近することと、ユーザグラフィック表現を選択及びクリックすることと、別のユーザグラフィック表現との間で会話参加招待を送信又は受信することと、受信した招待を承諾することを含む。ユーザクライアントデバイス間の通信チャネルを開くステップは、処理及びレンダリングがクライアントデバイスによって行われる場合に実行され得る、又は、１つ又は複数のクラウドサーバコンピュータを通じて間接通信チャネルを開くステップは、処理及びレンダリングが少なくとも１つのクラウドサーバコンピュータ上で又は少なくとも１つのクラウドサーバとクライアントデバイス間で行われるときに実行され得る。さらなる実施形態では、会話は、参加者のユーザ３Ｄ仮想カットアウトとの間でリアルタイム音声を送信及び受信することを含む。さらなる実施形態では、会話は、参加者のユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオから表示されるリアルタイム音声及びビデオを送信及び受信することを含む。
いくつかの実施形態では、仮想環境での相互作用を可能にする方法は、仮想環境にリダイレクトするクリッカブルリンクを、第三者ウェブサイト、アプリケーション、又はビデオゲームを含む１つ又は複数の第三者ソースに埋め込むことをさらに含む。
本開示の別の態様では、データ処理システムは、少なくとも１つのクラウドサーバコンピュータを含む１つ又は複数のコンピューティングデバイスを備え、１つ又は複数のコンピューティングデバイスは、少なくとも１つのプロセッサと、画像処理機能を実装するデータ及び命令を格納するメモリを備え、データ処理システムの１つ又は複数のコンピューティングデバイスは、ハイブリッドシステムアーキテクチャでの少なくとも１つのクラウドサーバコンピュータと２つ以上のクライアントデバイスの１つ又は複数の画像処理の組み合わせによって、ライブデータフィードからユーザグラフィック表現を生成するように構成される。一実施形態では、システムは、ネットワークを介して互いに、及び１つ又は複数のクラウドサーバコンピュータに通信可能に接続される２つ以上のクライアントデバイスを備え、２つ以上のクライアントデバイスは、少なくとも１つのプロセッサと、画像及びメディアの処理機能を実装するデータ及び命令を格納するメモリと、クライアントデバイスのうちの少なくとも１つの少なくとも１人のユーザからライブデータフィードを取得する、少なくとも１つのクライアントデバイス及び１つ又は複数のクラウドサーバコンピュータに接続される、少なくとも１つのカメラを備える。ユーザグラフィック表現は、１つ又は複数のクラウドサーバコンピュータと１つ又は複数のクライアントデバイスの１つ又は複数の画像及びメディアの処理の組み合わせによって、ライブデータフィードから生成される。１つ又は複数のクラウドサーバコンピュータと１つ又は複数のクライアントデバイスは、ハイブリッドシステムアーキテクチャを通じて相互作用する。
いくつかの実施形態では、データ処理システムの入力データとして用いられるデータは、２Ｄ又は３Ｄ画像データ、３Ｄジオメトリ、ビデオデータ、メディアデータ、音声データ、テキストデータ、触覚データ、時間データ、３Ｄエンティティ、３Ｄ動的オブジェクト、テキストデータ、時間データ、メタデータ、優先度データ、セキュリティデータ、位置データ、照明データ、深さデータ、及び赤外線データなどを含み得る。
いくつかの実施形態では、ハイブリッドシステムアーキテクチャは、クライアントサーバ側及びピア・ツー・ピア（Ｐ２Ｐ）側を備える。一実施形態では、クライアントサーバ側は、ウェブ又はアプリケーションサーバを備える。クライアントサーバ側はさらに、安全な通信プロトコル、マイクロサービス、データベース管理システム、データベース、及び／又は分散型メッセージ及びリソース配信プラットフォームを含むように構成され得る。サーバ側コンポーネントは、ネットワークを通じてサーバに通信するクライアントデバイスと共に提供され得る。クライアントサーバ側は、クライアント側、サーバ側、又は受信クライアント側によって行われる任意の処理を含む、ネットワークを通じた１つ又は複数のクライアントとサーバとの相互作用を定義する。一実施形態では、対応するクライアント及びサーバのうちの１つ又は複数は、様々なルールベースのタスク割り当ての組み合わせに従って、必要な画像及びメディアの処理を行う。一実施形態では、ウェブ又はアプリケーションサーバは、安全な通信プロトコルを使用してクライアント要求を受信し、データベース管理システムを使用するデータベースからの要求に対応するマイクロサービス又はデータを要求することによってクライアント要求を処理するように構成される。マイクロサービスは、パブリッシュ－サブスクライブモデルを使用した分散型メッセージ及びリソース配信プラットフォームを利用して配信される。
Ｐ２Ｐ側は、仮想環境でのクライアントデバイス間のリアルタイム通信を可能にするＰ２Ｐ通信プロトコルと、クライアントデバイスが仮想環境に含まれるライブセッション要素（例えば、ユーザグラフィック表現）のリアルタイム３Ｄレンダリングを実行することを可能にするように構成されたレンダリングエンジンを備える。一実施形態では、Ｐ２Ｐ側は、クライアントデバイスが仮想環境でリアルタイムのコンピュータビジョンタスクを実行することを可能にするように構成されたコンピュータビジョンライブラリをさらに含む。このような通信のハイブリッドモデルを使用することで、ユーザ間の迅速なＰ２Ｐ通信が可能となり、各セッションにウェブサービス及びリソースを提供しながら待ち時間の問題が低減され、仮想環境でのユーザ間の及びコンテンツとの複数の相互作用が可能となり得る。
Ｐ２Ｐ側は、クライアントデバイス間の相互作用と、Ｐ２Ｐ側から一方又は他方のクライアントデバイスが実行できる任意の処理を定義する。いくつかの実施形態では、Ｐ２Ｐ側は、ビデオ及びデータ処理タスク、及びクライアントデバイス間の同期、ストリーミング、及びレンダリングのために用いられる。他の実施形態では、Ｐ２Ｐ側は、ビデオのストリーミング、レンダリング、及びクライアントデバイス間の同期のために用いられ、一方、クライアントサーバ側は、データ処理タスクのために用いられる。さらなる実施形態では、クライアントサーバ側は、データ処理タスクとともにビデオのストリーミングのために用いられ、一方、Ｐ２Ｐ側は、クライアントデバイス間のビデオのレンダリング及び同期のために用いられる。さらに別の実施形態では、クライアントサーバ側は、ビデオのストリーミング、レンダリング、及びデータ処理タスク、及び同期のために用いられる。
一実施形態では、データ処理タスクは、ユーザグラフィック表現を生成すること及びユーザグラフィック表現を仮想環境に挿入することを含む。ユーザグラフィック表現を生成することは、背景の削除を行うこと又は他の処理又は改善を含み得る。
いくつかの実施形態では、Ｐ２Ｐ側のデータは、１つのクライアントデバイスからピアクライアントデバイスに直接送信されるか、又はその逆に送信されるか、又はクライアントサーバ側を通じてサーバを通じてリレーされる。
いくつかの実施形態では、少なくとも１つのクラウドサーバは、中間サーバであり、これは、サーバがクライアントデバイス間のデータの交換を容易にする及び／又は最適化するために用いられることを意味する。このような実施形態では、少なくとも１つのクラウドサーバは、着信画像及びマルチメディアストリームを管理、分析、処理、及び最適化し、ルータトポロジー（例えば、限定はされないが、ＳＦＵ（Ｓｅｌｅｃｔｉｖｅ Ｆｏｒｗａｒｄｉｎｇ Ｕｎｉｔｓ）、ＳＡＭＳ（Ｓｐａｔｉａｌｌｙ Ａｎａｌｙｚｅｄ Ｍｅｄｉａ Ｓｅｒｖｅｒ）、マルチメディアサーバルータ、又は画像及びメディアの処理（例えば、限定はされないが、デコード、結合、改善、ミキシング、強化、拡張、コンピューティング、操作、エンコーディング）、及び転送サーバトポロジー（例えば、限定はされないが、マルチポイントコントロールユニット（ＭＣＵ）、クラウドメディアミキサ、クラウド３Ｄレンダラーなど）、又は他のサーバトポロジーとして、発信ストリームの転送を管理、評価、最適化することができる。
中間サーバがＳＡＭＳであるこのような実施形態では、このようなメディアサーバは、各送信クライアントデバイスの着信データ（例えば、メタデータ、優先度データ、データクラス、空間構造データ、３次元位置、向き、又は移動情報、画像、メディア、スケーラブルなビデオコーデックベースのビデオを含むがこれらに限定されない）を管理、分析、及び処理し、このような分析では、特定の受信クライアントデバイスユーザの空間的３次元の向き、距離、及び１つ又は複数のユーザクライアントデバイスを受信するための最適な帯域幅及びコンピューティングリソース使用率を実現するこのような着信データに対する優先度の関係性に基づいて、時間（様々なフレームレート）、空間（例えば、異なる画像サイズ）、品質（例えば、異なる圧縮又はエンコードに基づく品質）、及び色（例えば、色の解像度及び範囲）について、メディアを変更、アップスケーリング、又はダウンスケーリングすることによって、発信データストリームの各受信クライアントデバイスへの転送を最適化する。
いくつかの実施形態では、複数の画像処理タスクが、クライアントデバイス、クラウドサーバ、及び／又は受信クライアントデバイスのいずれによって行われるかに基づいて分類され、したがって、クライアントデバイス画像処理、サーバ画像処理、及び受信クライアントデバイス画像処理として分類される。複数の画像処理タスクは、ハイブリッドアーキテクチャのクライアントサーバ側、Ｐ２Ｐ側、又はそれらの組み合わせで実行され得る。画像処理タスクは、背景の削除、さらなる処理又は改善、及び仮想環境への挿入及び組み合わせを含む。３つの画像処理タスクの組み合わせは、ユーザグラフィック表現の生成、改善、及び仮想環境への挿入／組み合わせにおいて用いられ得る。画像処理の組み合わせと、クライアントデバイス処理、サーバ画像処理、及び受信クライアントデバイス処理の対応する使用状況レベルは、処理するデータの量、スムーズなユーザ体験を維持するために許される待ち時間、所望のサービス品質（ＱＯＳ）、必要なサービスなどに依存する。以下は、クライアントサーバ側で行われる８つのこのような画像処理の組み合わせである。
いくつかの実施形態では、クライアントデバイスの少なくとも１つは、クライアントサーバ側での画像処理の組み合わせで、ユーザグラフィック表現を生成し、背景の削除を行い、背景が削除されたユーザグラフィック表現をさらなる処理のために少なくとも１つのクラウドサーバに送信するように構成される。第１の例示的な画像処理の組み合わせにおいて、クライアントデバイスは、背景の削除を含むユーザグラフィック表現を生成し、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理又は改善のために、背景が削除されたユーザグラフィック表現を少なくとも１つのクラウドサーバに送信する。少なくとも１つのクラウドサーバは、背景が削除された強化されたユーザグラフィック表現を受信クライアントデバイスに送信し、受信クライアントデバイスは、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。
第２の例示的な画像処理の組み合わせにおいて、クライアントデバイスは、背景の削除を含むユーザグラフィック表現を生成し、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理を行い、その後、これを少なくとも１つのクラウドサーバに送信する。少なくとも１つのクラウドサーバは、背景が削除された強化されたユーザグラフィック表現を受信クライアントデバイスに送信し、受信クライアントデバイスは、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。
第３の例示的な画像処理の組み合わせにおいて、クライアントデバイスは、背景の削除を含むユーザグラフィック表現を生成し、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理を行い、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。次いで、クライアントデバイスは、仮想環境に挿入されて組み合わされた背景が削除された強化されたユーザグラフィック表現を、受信クライアントデバイスにリレーするためにクラウドサーバに送信する。
第４の例示的な画像処理の組み合わせにおいて、クライアントデバイスは、背景の削除を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現を、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理を行うために少なくとも１つのクラウドサーバに送信する。次いで、少なくとも１つのクラウドサーバは、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせて、受信クライアントデバイスに送信する。
第５の例示的な画像処理の組み合わせにおいて、クライアントデバイスは、背景の削除を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現を、受信クライアントデバイスにリレーするために少なくとも１つのクラウドサーバに送信する。受信クライアントデバイスは、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理を行い、仮想環境に挿入して組み合わせる。
第６の例示的な画像処理の組み合わせにおいて、クライアントデバイスは、少なくとも１つのカメラから受信したカメラライブデータフィードを送信し、未処理のデータを少なくとも１つのクラウドサーバに送信し、少なくとも１つのクラウドサーバは、背景の削除を含むユーザグラフィック表現の生成を行い、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理を行い、受信クライアントデバイスに送信する。受信クライアントデバイスは、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。
第７の例示的な画像処理の組み合わせにおいて、クライアントデバイスは、少なくとも１つのカメラから受信したカメラライブデータフィードを送信し、未処理のデータを少なくとも１つのクラウドサーバに送信する。少なくとも１つのクラウドサーバは、背景の削除を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理を行い、その後、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせて、受信クライアントデバイスに送信する。
第８の例示的な画像処理の組み合わせにおいて、クライアントデバイスは、少なくとも１つのカメラから受信したカメラライブデータフィードを送信し、未処理のデータを受信クライアントデバイスにリレーするために少なくとも１つのクラウドサーバに送信する。受信クライアントデバイスは、該データを使用して、背景の削除を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理を行い、その後、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。
いくつかの実施形態では、クライアントサーバ側のデータが少なくとも１つのクラウドサーバを通じてリレーされるとき、少なくとも１つのクラウドサーバは、Ｔｒａｖｅｒｓａｌ Ｕｓｉｎｇ Ｒｅｌａｙ ＮＡＴ（ＴＵＲＮ）サーバとして構成される。ＴＵＲＮは、対称ＮＡＴ（Ｎｅｔｗｏｒｋ Ａｄｄｒｅｓｓ Ｔｒａｎｓｌａｔｉｏｎ）の場合に使用することができ、処理された及び／又は未処理のデータがクライアントデバイス間でリレーされている間、接続が確立された後もメディアパスに残り得る。
以下は、第１及び第２のピアデバイスのいずれか又は両方によって行われる、Ｐ２Ｐ側で行われる３つの例示的な画像処理の組み合わせの説明である。
第１の画像処理の組み合わせにおいて、第１のピアデバイスは、背景の削除を含むユーザグラフィック表現を生成し、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理を行い、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。次いで、第１のピアデバイスは、仮想環境に挿入されて組み合わされた背景が削除された強化されたユーザグラフィック表現を第２のピアデバイスに送信する。
第２の画像処理の組み合わせにおいて、第１のピアデバイスは、背景の削除を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現を第２のピアデバイスに送信する。第２のピアデバイスは、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理を行い、仮想環境に挿入して組み合わせる。
第３の画像処理の組み合わせにおいて、第１のピアデバイスは、少なくとも１つのカメラから受信したカメラライブデータフィードを送信し、未処理のデータを第２のピアデバイスに送信する。第２のピアデバイスは、該データを使用して、背景の削除を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理を行い、その後、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。
いくつかの実施形態では、Ｐ２Ｐ側での３つの画像処理の組み合わせは、少なくとも１つのクラウドサーバを通じてデータをリレーすることをさらに含み得る。これらの実施形態では、少なくとも１つのクラウドサーバは、ＳＴＵＮサーバとして構成することができ、これにより、ピアデバイスは、ピアデバイス間のデータ接続及びデータ交換を確立するために用いられ得るそれらのパブリックＩＰアドレス及び背後にあるＮＡＴのタイプ、情報を検出することができる。別の実施形態では、少なくとも１つのクラウドサーバコンピュータは、シグナリング用に構成することができ、これは、ピアデバイスが互いに位置を特定して接続する、及び、少なくとも１つのクラウドサーバによって行われる通信コーディネーションを通じてデータを交換するために用いられ得る。
いくつかの実施形態では、メディア、ビデオ、及び／又はデータ処理タスクは、画像フィルタリング、コンピュータビジョン処理、画像鮮明化、背景の改善、背景の削除、前景のぼかし、アイカバーリング、顔のピクセル化、音声歪み、画像アップレズ、画像クレンジング、骨格分析、顔又は頭部のカウント、オブジェクト認識、マーカ又はＱＲコード追跡、視標追跡、特徴分析、３Ｄメッシュ又はボリューム生成、特徴追跡、顔認識、ＳＬＡＭ追跡、及び顔の表情認識、又はこのようなメディアルータ又はサーバ上で実行されるマイクロサービスの形態の他のモジュラプラグインのうちの１つ又は複数を含むエンコーディング、トランスコーディング、デコーディング空間又は３Ｄ分析及び処理のうちの１つ又は複数を含む。
いくつかの実施形態では、背景の削除は、インスタンスセグメンテーション又はセマンティックセグメンテーションのうちの１つ又は複数を通じた画像セグメンテーションの採用と、ディープニューラルネットワークの使用を含む。
いくつかの実施形態では、データ処理システムの１つ又は複数のコンピューティングデバイスはさらに、仮想カメラを生成することによってユーザグラフィック表現を仮想環境に挿入するように構成され、仮想カメラを生成することは、取り込まれたビューイングパースペクティブデータを仮想環境内のユーザグラフィック表現のビューイングパースペクティブに関連付けることを含む。一実施形態では、ユーザグラフィック表現を仮想環境に挿入して組み合わせることは、ユーザグラフィック表現の前に、例えば、背景が削除されたビデオ、又は背景が削除されていないビデオ、又はユーザ３Ｄ仮想カットアウト、又はユーザリアルタイム３Ｄ仮想カットアウトの前に仮想的に配置され位置合わせされる１つ又は複数の仮想カメラを生成することを含む。一実施形態では、１つ又は複数の仮想カメラは、目の高さから外側に向けることができる。別の実施形態では、２つ（片目につき１つ）の仮想カメラは、両目の高さから外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、ユーザグラフィック表現の頭部の位置の中心から外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、ユーザグラフィック表現の中心から外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、セルフ・ビューイングパースペクティブにあるとき、ユーザグラフィック表現の前に、例えば、ユーザグラフィック表現の頭部の高さで、ユーザグラフィック表現に向けて配置される場合がある。
一実施形態では、１つ又は複数の仮想カメラは、少なくとも、コンピュータビジョンを使用して、取り込んだユーザのビューイングパースペクティブデータを仮想環境内のユーザグラフィック表現のビューイングパースペクティブと関連付けることによって作成される。
本開示の別の態様では、画像処理方法は、画像処理機能を実装するデータ及び命令を少なくとも１つのクラウドサーバコンピュータのメモリに提供することと、少なくとも１つのクラウドサーバコンピュータと少なくとも１つのクライアントデバイスの１つ又は複数の画像処理の組み合わせによって、少なくとも１つのクライアントデバイスからのライブデータフィードに基づいて仮想環境でのユーザグラフィック表現を生成することを含み、少なくとも１つのクラウドサーバコンピュータは、ハイブリッドシステムアーキテクチャを通じて少なくとも１つのクライアントデバイスと相互作用する。一実施形態では、方法は、少なくとも１つのカメラから、少なくとも１つの対応するクライアントデバイスの少なくとも１人のユーザからのライブデータフィードを得ることと、１つ又は複数のクラウドサーバコンピュータと少なくとも１つのクライアントデバイスの１つ又は複数の画像処理の組み合わせによって、ユーザグラフィック表現を生成することを含む。１つ又は複数のクラウドサーバコンピュータと少なくとも１つのクライアントデバイスは、Ｐ２Ｐ側及びクライアントサーバ側を備える本開示のハイブリッドシステムアーキテクチャを通じて相互作用し得る。
いくつかの実施形態では、方法は、Ｐ２Ｐ側で、ビデオ及びデータの処理とクライアントデバイス間の同期、ストリーミング及びレンダリングを行うことを含む。さらなる実施形態では、方法は、クライアントサーバ側がデータ処理のために用いられている間に、Ｐ２Ｐ側で、ビデオのストリーミング、レンダリング、及びクライアントデバイス間の同期を行うことを含む。さらなる実施形態では、方法は、Ｐ２Ｐ側がビデオのレンダリング及びクライアントデバイス間の同期のために用いられている間に、クライアントサーバ側で、データ処理とともにビデオのストリーミングを行うことを含む。さらに別の実施形態では、方法は、クライアントサーバ側で、ビデオのストリーミング、レンダリング、及びデータの処理及び同期を行うことを含む。
いくつかの実施形態では、データ処理タスクは、ユーザグラフィック表現を生成することと、ユーザグラフィック表現を仮想環境に挿入することを含む。一実施形態では、データ処理タスクは、最初に背景の削除を行うことを含むユーザグラフィック表現を生成し、次いで、さらなる処理を行い、その後、仮想環境に挿入して組み合わせることを含む。さらに別の実施形態では、画像処理タスクは、クライアントサーバ側又はＰ２Ｐ側でのクライアントデバイスとクラウドサーバコンピュータの複数の画像処理の組み合わせを通じて実行される。
いくつかの実施形態では、ユーザグラフィック表現を仮想環境に挿入することは、仮想カメラを生成することを含み、仮想カメラを生成することは、取り込まれたビューイングパースペクティブデータを仮想環境内のユーザグラフィック表現のビューイングパースペクティブに関連付けることを含む。一実施形態では、ユーザグラフィック表現を仮想環境に挿入して組み合わせることは、ユーザグラフィック表現の前に、例えば、背景が削除されたビデオ、又は背景が削除されていないビデオ、又はユーザ３Ｄ仮想カットアウト、又はユーザリアルタイム３Ｄ仮想カットアウトの前に仮想的に配置され位置合わせされる１つ又は複数の仮想カメラを生成することを含む。一実施形態では、１つ又は複数の仮想カメラは、目の高さから外側に向けることができる。別の実施形態では、２つ（片目につき１つ）の仮想カメラは、両目の高さから外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、ユーザグラフィック表現の頭部の位置の中心から外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、ユーザグラフィック表現の中心から外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、セルフ・ビューイングパースペクティブにあるとき、ユーザグラフィック表現の前に、例えば、ユーザの頭部の高さで、ユーザグラフィック表現に向けて配置される場合がある。仮想カメラは、少なくとも、コンピュータビジョンを使用して、取り込んだユーザのビューイングパースペクティブデータを仮想環境内のユーザグラフィック表現のビューイングパースペクティブと関連付けることによって作成される。
いくつかの実施形態では、方法は、埋め込みクリッカブルリンクをユーザグラフィック表現に埋め込むことをさらに含み、埋め込みクリッカブルリンクは、クリックに応答して、対応するユーザに関するプロフィール情報を含む第三者ソースに誘導する。
本開示の別の態様では、ユーザグラフィック表現ベースのユーザ認証システムは、少なくとも１つのプロセッサと、ユーザアカウント及び１つ又は複数の対応するユーザグラフィック表現に関連付けられたユーザデータを格納するユーザデータベースを含むデータ及び命令を格納するメモリとを備える１つ又は複数のクラウドサーバコンピュータ、及び、データベースに接続された顔スキャン及び認証モジュールを備え、１つ又は複数のクラウドサーバコンピュータは、顔スキャン及び認証モジュールを通じて、クライアントデバイスから受信したカメラデータから顔特徴データを抽出し、抽出した顔特徴データをユーザデータベース内のユーザアカウントに関連付けられたユーザグラフィック表現との一致についてチェックすることを含むユーザの顔スキャンを行うことによってユーザを認証するステップと、一致するユーザグラフィック表現がチェックステップで見つかる場合、対応するユーザアカウントへのアクセスをユーザに提供するステップと、一致するユーザグラフィック表現がチェックステップで見つからない場合、カメラデータから、ユーザデータベースに格納された新しいユーザアカウントとともに新しいユーザグラフィック表現を生成し、ユーザアカウントへのアクセスを提供するステップとを行うように構成される。
一実施形態では、システムは、ユーザアカウントへのアクセスを要求する少なくとも１つのクライアントデバイスのユーザからデータを得るように構成された少なくとも１つのカメラを含み、少なくとも１つのカメラは、少なくとも１つのクライアントデバイス及び１つ又は複数のクラウドサーバコンピュータに接続される。１つ又は複数のクラウドサーバコンピュータは、顔スキャン及び認証モジュールを通じてユーザの顔スキャンを行い、ユーザグラフィック表現との一致についてユーザデータベースをチェックし、ユーザアカウントが確認され、利用可能である場合、ユーザアカウントへのアクセスとともに、対応するユーザグラフィック表現をユーザに提供し、ユーザアカウントが利用可能でない場合、データから、ユーザアカウントへのアクセスとともに、ユーザデータベースに格納される新しいユーザアカウントとともに、新しいユーザグラフィック表現を生成することによって、ユーザを認証する。
ユーザアカウントは、例えば、仮想環境プラットフォーム、又は任意の対話型アプリケーション、ゲーム、電子メールアカウント、大学プロフィールアカウント、仕事アカウントなどの任意の他のアプリケーション（例えば、環境プラットフォームにリンクされ得るアプリケーション）にアクセスするために使用され得る。本開示のユーザグラフィック表現ベースのユーザ認証システムは、とりわけ、ユーザグラフィック表現を生成する又はユーザデータベースから既存のユーザグラフィック表現を取得するさらなる認証ステップが与えられると、標準的なカメラベースの顔検出認証システムよりも高いセキュリティレベルを提供する。
いくつかの実施形態では、ユーザグラフィック表現は、ユーザ３Ｄ仮想カットアウト、又は背景が削除されたユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオである。一実施形態では、ユーザグラフィック表現は、ユーザがアップロードした又は第三者が提供した写真から構築されたユーザ３Ｄ仮想カットアウト、又はカメラから取得したリアルタイムの２Ｄ又は３Ｄライブビデオストリームデータフィードに基づいて生成された背景が削除されたユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオである。いくつかの実施形態では、１つ又は複数のクラウドサーバコンピュータはさらに、一致するユーザグラフィック表現又は新しいユーザグラフィック表現をアニメーション化するように構成される。一致するユーザグラフィック表現をアニメーション化することは、ユーザの顔の表情を認識し、顔の表情をユーザグラフィック表現でグラフィカルにシミュレートするために、それぞれのユーザグラフィック表現にクライアントデバイス又は少なくとも１つのクラウドサーバコンピュータによるマシンビジョンアルゴリズムを適用することを含む。さらなる実施形態では、ユーザがアップロードした又は第三者が提供した写真から構築されたユーザ３Ｄ仮想カットアウトを更新することは、ユーザの顔の表情を認識し、ユーザ３Ｄ仮想カットアウト上で顔の表情をグラフィカルにシミュレートするために、生成されたユーザ３Ｄ仮想カットアウトにクライアントデバイス又は少なくとも１つのクラウドサーバコンピュータによるマシンビジョンアルゴリズムを適用することを含む。
いくつかの実施形態では、１つ又は複数のクラウドサーバコンピュータはさらに、一致するユーザグラフィック表現の日付をチェックし、一致するユーザグラフィック表現の更新が必要であるかどうかを判定するように構成される。一実施形態では、ユーザアカウントが利用可能である場合、１つ又は複数のクラウドサーバコンピュータが利用可能なユーザグラフィック表現の日付をチェックすることに応答して、１つ又は複数のクラウドサーバコンピュータは、対応する閾値又はセキュリティ要件と比較することによって、既存のユーザグラフィック表現の更新が必要であるかどうかを判定する。例えば、システムセキュリティの更新があった場合、すべてのユーザグラフィック表現又は少なくとも指定された日付よりも前に作成されたユーザグラフィック表現を更新する必要がある可能性がある。ユーザグラフィック表現が必要とされる場合、１つ又は複数のクラウドサーバコンピュータは、対応するクライアントデバイスに対してユーザグラフィック表現の更新要求を生成する。ユーザが要求を承認する場合、１つ又は複数のクラウドサーバコンピュータ又はクライアントデバイスは、ライブカメラフィードに基づいてユーザグラフィック表現を生成することに進む。更新が必要とされない場合、１つ又は複数のクラウドサーバコンピュータは、ユーザデータベースから既存のユーザグラフィック表現を取得することに進む。
いくつかの実施形態では、ユーザグラフィック表現は、２次元又は３次元の仮想環境に挿入されるか、又は（例えば、本開示のシステムと統合又は結合された第三者アプリケーション又はウェブサイトの画面上にオーバーレイすることによって）仮想環境にリンクした第三者ソースに挿入され、２次元又は３次元の仮想環境とグラフィカルに組み合わされる。
いくつかの実施形態では、ユーザグラフィック表現の生成プロセスは、ユーザアカウントへのユーザアクセスとは非同期的に行われる。例えば、システムが、ユーザグラフィック表現ベースの顔スキャン及び検出を行った後で、ユーザが既に認証されていると判定する場合、システムは、準備が出来次第、ユーザに提供し、仮想環境に挿入して組み合わせるために、新しいユーザグラフィック表現の生成中にユーザがユーザアカウントにアクセスすることを可能にし得る。
いくつかの実施形態では、１つ又は複数のクラウドサーバコンピュータはさらに、個人識別番号（ＰＩＮ）、又はユーザ名及びパスワード、又はこれらの組み合わせを含むログイン認証資格証明書を通じてユーザを認証するように構成される。
いくつかの実施形態では、認証は、或るクライアントデバイスから別のクライアントデバイスに送信された招待リンク又はディープリンクのアクティブ化に応答してトリガされる。一実施形態では、招待リンク又はディープリンクをクリックすることは、少なくとも１つのクラウドサーバコンピュータがユーザ認証を要求することをトリガする。例えば、招待リンク又はディープリンクは、電話、電話会議、又はビデオゲームセッションの招待のためのものであり、招待されたユーザは、本開示のユーザグラフィック表現ベースの認証システムを通じて認証され得る。
別の実施形態では、顔スキャンは、頭部の動きパターンを実行するようにユーザをガイドし、頭部の動きパターンに基づいて３Ｄ顔データを抽出することを含む３Ｄ認証を使用する。これは、頭部の動きパターンを実行する、例えば、１つ又は複数の頭部ジェスチャーを実行する、頭部を横に又は縦に傾ける又は円を描くように回転させる、ユーザにより生成されたジェスチャーパターン、又は特定の頭部の動きパターン、又はこれらの組み合わせを実行するようにユーザをガイドすることによって３Ｄ認証を実施する少なくとも１つのサーバコンピュータに格納されたアプリケーション命令を使用して行うことができる。３Ｄ認証は、１つのビュー又は画像を比較及び分析するだけではなく、カメラのライブビデオデータフィードから取得したデータからさらなる特徴を認識する。この３Ｄ認証の実施形態では、顔スキャンプロセスは、頭部の動きパターン、顔のボリューム、高さ、顔特徴の深さ、顔の傷、タトゥ、目の色、顔の皮膚パラメータ（例えば、皮膚の色、皺、毛穴構造など）、反射率パラメータ、さらに、例えば、他のタイプの顔検出システムの場合のように、顔トポロジー上のこのような特徴の位置だけ、を含む顔データを含み得るデータからさらなる特徴を認識することができる。したがって、このような顔データの取り込みは、現実的なユーザグラフィック表現の生成に役立つ可能性がある現実的な顔の取り込みを増加させることができる。３Ｄ認証を用いる顔スキャンは、高解像度３Ｄカメラ、深度カメラ（例えば、ＬＩＤＡＲ）、ライトフィールドカメラなどを使用して行われ得る。顔スキャンプロセス及び３Ｄ認証は、ディープニューラルネットワーク、畳み込みニューラルネットワーク、及び他の深層学習技術を使用して、顔データを使用することによりユーザの認証を取得、処理、及び評価することができる。
本開示の別の態様では、ユーザグラフィック表現ベースのユーザ認証方法は、１つ又は複数のクラウドサーバコンピュータのメモリに、ユーザアカウント及び１つ又は複数の対応するユーザグラフィック表現に関連付けられたユーザデータを格納するユーザデータベースと、ユーザデータベースに接続された顔スキャン及び認証モジュールを提供することと、クライアントデバイスから、ユーザアカウントへのアクセス要求を受信することと、クライアントデバイスと通信する少なくとも１つのカメラによって取り込まれたカメラデータから顔特徴データを抽出することによって顔スキャン及び認証モジュールを通じてクライアントデバイスのユーザの顔スキャンを行うことと、抽出した顔特徴データをユーザデータベース内のユーザアカウントに関連付けられたユーザグラフィック表現との一致についてチェックすることと、一致するユーザグラフィック表現がチェックステップで見つかる場合、ユーザアカウントへのアクセスをユーザに提供することと、一致するユーザグラフィック表現がチェックステップで見つからない場合、カメラデータから、ユーザデータベースに格納された新しいユーザアカウントとともに新しいユーザグラフィック表現を生成し、ユーザアカウントへのアクセスを提供することを含む。
一実施形態では、方法は、少なくとも１つのクライアントデバイス及び１つ又は複数のクラウドサーバコンピュータに接続された少なくとも１つのカメラから受信した画像及び／又はメディアデータを使用することによって、顔スキャン及び認証モジュールを通じて少なくとも１つのクライアントデバイスのユーザの顔スキャンを行うことと、ユーザアカウントに関連付けられているユーザ顔データの一致についてユーザデータベースをチェックすることと、ユーザアカウントが利用可能である場合、ユーザアカウントへのアクセスとともに対応するユーザグラフィック表現をユーザに提供することと、ユーザアカウントが利用可能でない場合、顔データから、ユーザデータベースに格納される新しいユーザアカウント及びユーザアカウントへのアクセスとともに、新しいユーザグラフィック表現を生成することを含む。
いくつかの実施形態では、ユーザグラフィック表現は、ユーザがアップロードした又は第三者が提供した写真から構築されたユーザ３Ｄ仮想カットアウト、又はカメラから取得したリアルタイムの２Ｄ又は３Ｄライブビデオストリームデータフィードに基づいて生成された背景が削除されたユーザリアルタイムビデオストリームを含むユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオである。さらなる実施形態では、方法は、一致するユーザグラフィック表現又は新しいユーザグラフィック表現をアニメーション化することを含み、これは、ユーザの顔の表情を認識し、顔の表情をユーザグラフィック表現でグラフィカルにシミュレートするために、それぞれのユーザグラフィック表現にクライアントデバイス又は少なくとも１つのクラウドサーバコンピュータによるマシンビジョンアルゴリズムを適用することを含み得る。一実施形態では、ユーザ３Ｄ仮想カットアウトを更新することは、ユーザの顔の表情を認識し、ユーザ３Ｄ仮想カットアウト上で顔の表情をグラフィカルにシミュレートするために、生成されたユーザ３Ｄ仮想カットアウトにクライアントデバイス又は少なくとも１つのクラウドサーバコンピュータによるマシンビジョンアルゴリズムを適用することを含む。
いくつかの実施形態では、方法は、一致するユーザグラフィック表現がチェックステップで見つかる場合、一致するユーザグラフィック表現の日付をチェックすることと、日付に少なくとも部分的に基づいて、一致するユーザグラフィック表現の更新が必要であるかどうかを判定することと、一致するユーザグラフィック表現の更新が必要であるかどうかの肯定的なケースでは、ユーザグラフィック表現の更新要求を生成することをさらに含む。一実施形態では、方法は、ユーザアカウントが利用可能である場合、利用可能なユーザグラフィック表現の日付をチェックすることと、対応する閾値又はセキュリティ要件と比較することによって既存のユーザグラフィック表現の更新が必要であるかどうかを判定することと、ユーザグラフィック表現が必要とされる肯定的なケースでは、ユーザグラフィック表現の更新要求を生成して対応するクライアントデバイスに送信することを含む。ユーザが要求を承認する場合、１つ又は複数のクラウドサーバコンピュータ又はクライアントデバイスは、ライブカメラフィードに基づいてユーザグラフィック表現を生成することに進む。更新が必要とされない場合、１つ又は複数のクラウドサーバコンピュータは、ユーザデータベースから既存のユーザグラフィック表現を取得することに進む。
いくつかの実施形態では、方法は、ユーザグラフィック表現を２次元又は３次元の仮想環境に、又は（例えば、本開示のシステムと統合又は結合された第三者アプリケーション又はウェブサイトの画面上にオーバーレイすることによって）仮想環境にリンクした第三者ソースに挿入し、ユーザグラフィック表現を２次元又は３次元の仮想環境と組み合わせることをさらに含む。
いくつかの実施形態では、新しいユーザグラフィック表現の生成プロセスは、ユーザアカウントへのユーザアクセスとは非同期的に行われる。
いくつかの実施形態では、方法は、少なくともユーザ名及びパスワードを含むログイン認証資格証明書を通じてユーザを認証することをさらに含む。
いくつかの実施形態では、認証は、招待リンクのアクティブ化に応答してトリガされる。一実施形態では、方法は、或るクライアントデバイスから別のクライアントデバイスへの招待リンク又はディープリンクを提供することをさらに含み、招待リンクをクリックすることは、少なくとも１つのクラウドサーバがユーザ認証を要求することをトリガする。
本開示の別の態様では、仮想環境内から仮想ブロードキャストするためのシステムが提供される。システムは、１つ又は複数のサーバコンピュータを含むサーバコンピュータシステムを備え、各サーバコンピュータは、少なくとも１つのプロセッサと、メモリを備え、サーバコンピュータシステムは、クライアントデバイス間のデータ交換を管理するように構成されたデータ交換管理モジュールを実装するデータ及び命令と、少なくとも１つの仮想環境内に配置され、少なくとも１つの仮想環境内からのマルチメディアストリームを取り込むように構成された仮想ブロードキャストカメラを備える少なくとも１つの仮想環境を含む。サーバコンピュータシステムは、少なくとも１つのクライアントデバイスから少なくとも１つのカメラによって取り込まれたライブフィードデータを受信し、データ交換管理に基づいてマルチメディアストリームを少なくとも１つのクライアントデバイスにブロードキャストするように構成され、ブロードキャストされたマルチメディアストリームは、少なくとも１つのクライアントデバイスからのユーザのライブデータフィードから生成された対応するユーザグラフィック表現に表示されるように構成される。データ交換管理モジュールによるクライアントデバイス間のデータ交換管理は、着信マルチメディアストリームを分析し、着信メディアストリームの分析に基づいて発信マルチメディアストリームの転送を評価することを含む。
一実施形態では、マルチメディアストリームは、少なくとも１つのクライアントデバイスにブロードキャストするために少なくとも１つのメディアサーバコンピュータに送信される。一実施形態では、システムは、少なくとも１つのクライアントデバイスのユーザからライブフィードデータを取得し、少なくとも１つのクライアントデバイスを介してユーザからのライブフィードデータを少なくとも１つのメディアコンピュータに送信する、少なくとも１つのカメラを含み、マルチメディアストリームは、少なくとも１つのメディアサーバコンピュータからのデータ交換管理に基づいて少なくとも１つのクライアントデバイスにブロードキャストされ、少なくとも１つのクライアントデバイスを通じてユーザのライブデータフィードから生成された対応するユーザグラフィック表現に表示され、データ交換管理モジュールによるクライアントデバイス間のデータ交換管理は、着信マルチメディアストリームを分析及び最適化し、発信マルチメディアストリームの転送を評価及び最適化することを含む。
いくつかの実施形態では、サーバコンピュータシステムは、発信マルチメディアストリームを転送するときに、Ｓｅｌｅｃｔｉｖｅ Ｆｏｒｗａｒｄｉｎｇ Ｕｎｉｔ（ＳＦＵ）、Ｔｒａｖｅｒｓａｌ Ｕｓｉｎｇ Ｒｅｌａｙ ＮＡＴ（ＴＵＲＮ）、ＳＡＭＳ、又は他の適切なマルチメディアサーバルーティングトポロジー、又はメディア処理及び転送サーバトポロジー、又は他の適切なサーバトポロジーを含むルーティングトポロジーを使用する。
いくつかの実施形態では、サーバコンピュータシステムは、クライアントデバイスを通じて少なくとも１つの仮想環境内のユーザグラフィック表現を表示するべく、メディア処理トポロジーを使用して発信マルチメディアストリームを処理する。一実施形態では、少なくとも１つのメディアサーバコンピュータは、メディア処理トポロジーを使用するとき、クライアントデバイスを通じて少なくとも１つの仮想環境内のユーザグラフィック表現を表示するべく、関連するクライアントデバイスへのマルチメディアストリームを、デコード、結合、改善、ミキシング、強化、拡張、コンピューティング、操作、及びエンコードするように構成される。
いくつかの実施形態では、サーバコンピュータシステムは、転送サーバトポロジーを使用するとき、ＭＣＵ、クラウドメディアミキサ、及びクラウド３Ｄレンダラーのうちの１つ又は複数を使用する。
いくつかの実施形態では、着信マルチメディアストリームは、ユーザ優先度データ及び距離関係性データを含み、ユーザ優先度データは、着信マルチメディアストリームのソースにより近いユーザグラフィック表現へのより高い優先度スコアと、着信マルチメディアストリームのソースからより遠いユーザグラフィック表現へのより低い優先度スコアを含む。一実施形態では、マルチメディアストリームは、ユーザ優先度、及び対応するユーザグラフィック表現とマルチメディアストリームとの間の距離関係性に関係するデータを含み、該データは、メタデータ、又は優先度データ、又はデータクラス、又は空間構造データ、又は３次元位置、又は向き又は移動情報、又は画像データ、又はメディアデータ、及びスケーラブルなビデオコーデックベースのビデオデータ、又はこれらの組み合わせを含む。さらなる実施形態では、優先度データは、マルチメディアストリームソースにより近いユーザへのより高い優先度スコアと、マルチメディアストリームソースからより遠いユーザへのより低い優先度スコアを含む。さらに別の実施形態では、発信マルチメディアストリームの転送は、ユーザ優先度データ及び距離関係性データに基づいている。一実施形態では、ユーザ優先度データ及び距離関係性データに基づいてメディアサーバによって実施される発信マルチメディアストリームの転送は、帯域幅の最適化と、１つ又は複数の受信クライアントデバイスのリソース使用率の計算を含む。さらに別の実施形態では、発信マルチメディアストリームの転送は、時間特徴、空間特徴、品質特徴、及び／又は色特徴についてマルチメディアストリームを修正、アップスケーリング、又はダウンスケーリングすることをさらに含む。
いくつかの実施形態では、仮想ブロードキャストカメラは、仮想環境にアクセスするクライアントデバイスを通じて管理される。一実施形態では、仮想ブロードキャストカメラは、仮想環境で更新されるカメラの視点を操作し、更新された視点を少なくとも１つのクライアントデバイスにブロードキャストするように構成される。
いくつかの実施形態では、少なくとも１つの仮想環境は、複数の仮想ブロードキャストカメラを備え、各仮想ブロードキャストカメラは、少なくとも１つの仮想環境内の対応する視点からのマルチメディアストリームを提供する。一実施形態では、各仮想ブロードキャストカメラは、少なくとも１つのクライアントデバイスのユーザによって選択され、互いに切り替えられ、対応する少なくとも１人のユーザグラフィック表現への対応する視点を提供し得る、仮想環境内の対応する視点からのマルチメディアストリームを提供する。
いくつかの実施形態では、少なくとも１つの仮想環境は、ネットワークを介して少なくとも１つのメディアサーバコンピュータに接続された少なくとも１つの専用サーバコンピュータによってホストされるか、又はピア・ツー・ピアインフラストラクチャでホストされ、少なくとも１つのメディアサーバコンピュータを通じてリレーされる。
本開示の別の態様では、仮想環境内から仮想ブロードキャストするための方法は、少なくとも１つのメディアサーバのメモリ内に、クライアントデバイス間のデータ交換を管理するクライアントデバイスデータ交換管理モジュールを実装するデータ及び命令を提供することと、少なくとも１つのメディアサーバに接続された少なくとも１つの仮想環境内に配置された仮想ブロードキャストカメラでマルチメディアストリームを取り込むことと、マルチメディアストリームを少なくとも１つのクライアントデバイスにブロードキャストするべく少なくとも１つのメディアサーバに送信することと、少なくとも１つのクライアントデバイスからのライブフィードデータを（例えば、少なくとも１つのクライアントデバイスを介して少なくとも１つのカメラから）取得することと、少なくとも１つの仮想環境内からの着信マルチメディアストリームとライブフィードデータを分析し、発信マルチメディアストリームの転送を評価することを含む、データ交換管理を行うことと、データ交換管理に基づいて対応するマルチメディアストリームをクライアントデバイスにブロードキャストすることを含み、マルチメディアストリームは、少なくとも１つのクライアントデバイスのユーザのユーザグラフィック表現に表示される。この文脈では、これは、ユーザグラフィック表現が仮想環境でのそれらの位置に基づいて「見る」ことができるものを指し、これは、自分のユーザグラフィック表現の観点から仮想環境を見たときにユーザに（クライアントデバイスを介して）表示されるものに対応する。
いくつかの実施形態では、発信マルチメディアストリームを転送するとき、この方法は、ＳＦＵ、ＴＵＲＮ、ＳＡＭＳ、又は他の適切なマルチメディアサーバルーティングトポロジー、又はメディア処理及び転送サーバトポロジー、又は他の適切なサーバトポロジーを含むルーティングトポロジーを使用する。
いくつかの実施形態では、方法は、メディア処理トポロジーを使用するとき、マルチメディアストリームをデコード、結合、改善、ミキシング、強化、拡張、コンピューティング、操作、及びエンコードすることをさらに含む。
いくつかの実施形態では、方法は、転送サーバトポロジーを使用するとき、マルチポイントコントロールユニット（ＭＣＵ）、クラウドメディアミキサ、及びクラウド３Ｄレンダラーのうちの１つ又は複数を使用することをさらに含む。
いくつかの実施形態では、着信マルチメディアストリームは、ユーザ優先度データ及び距離関係性データを含み、ユーザ優先度データは、着信マルチメディアストリームのソースにより近いユーザグラフィック表現へのより高い優先度スコアと、着信マルチメディアストリームのソースからより遠いユーザグラフィック表現へのより低い優先度スコアを含む。一実施形態では、方法は、ユーザ優先度データ及び距離関係性データに基づいてメディアサーバによって実施される発信マルチメディアストリームの転送を最適化することをさらに含み、これは、帯域幅の最適化と、１つ又は複数の受信クライアントデバイスのリソース使用率の計算を含み得る。さらなる実施形態では、メディアサーバによって実施される発信マルチメディアストリームの転送の最適化は、時間特徴、空間特徴、品質特徴、及び／又は色特徴についてマルチメディアストリームを修正、アップスケーリング、又はダウンスケーリングすることをさらに含む。
いくつかの実施形態では、少なくとも１つの仮想環境は、複数の仮想ブロードキャストカメラを備え、各仮想ブロードキャストカメラは、少なくとも１つの仮想環境内の対応する視点からのマルチメディアストリームを提供する。一実施形態では、方法は、少なくとも１つのクライアントデバイスのユーザによって選択され、互いに切り替えられ、対応する少なくとも１人のユーザグラフィック表現への対応する視点を提供し得る、仮想環境内の対応する視点からのマルチメディアストリームをそれぞれ提供する複数の仮想ブロードキャストカメラを提供することをさらに含む。
本開示の別の態様では、仮想環境内でアプリケーションを配信するためのシステムであって、少なくとも１つのプロセッサと、１つ又は複数のインストールされるアプリケーション及び対応するマルチユーザ相互作用のためのアプリケーションルールを含むアプリケーションモジュールにリンクされた少なくとも１つの仮想環境を実装するデータ及び命令を含むメモリとを備える、少なくとも１つのクラウドサーバコンピュータを備え、クライアントデバイスを通じた仮想環境ホストによる選択に応答して、仮想環境のセッション中に１つ又は複数のインストールされるアプリケーションが表示及びアクティブ化され、対応するクライアントデバイスを通じて仮想環境内の仮想環境ホストのユーザグラフィック表現及び任意の参加者ユーザグラフィック表現と１つ又は複数のインストールされるアプリケーションとの相互作用が可能となり、少なくとも１つのクラウドサーバコンピュータは、アプリケーションモジュールにあるマルチユーザ相互作用のためのアプリケーションルールに従って、１つ又は複数のインストールされるアプリケーションとの受信したユーザ相互作用を管理及び処理し、マルチユーザ相互作用アプリケーションルールに従って共有体験を可能にするマルチユーザセッションを確立するべく、それに応じて処理された相互作用を（例えば、各クライアントデバイスに）転送する、
システムが提供される。
いくつかの実施形態では、マルチユーザ相互作用のためのアプリケーションルールは、１つ又は複数の別個のアプリケーションサーバに格納され管理される。
いくつかの実施形態では、１つ又は複数のアプリケーションは、アプリケーションライブラリから入手可能なアプリケーションインストールパッケージからインストールされ、対応するアプリケーション・プログラミング・インターフェースを通じてアプリケーションサービスをプロビジョニングする。
いくつかの実施形態では、アプリケーションライブラリは、コンテキストによりフィルタリングされる。一実施形態では、コンテキストフィルタリングは、特定のコンテキストに関連するアプリケーションを提供するように設計される。
いくつかの実施形態では、１つ又は複数のインストールされるアプリケーションは、対応するクライアントデバイスにインストールされた仮想ディスプレイアプリケーションと共有され、それを通じて表示される。一実施形態では、インストール及びアクティブ化されると、１つ又は複数のインストールされるアプリケーションは、対応するクライアントデバイスにインストールされた仮想ディスプレイアプリケーションと共有され、それを通じて表示され、仮想ディスプレイアプリケーションは、アプリケーションライブラリから１つ又は複数のインストールされるアプリケーションを受信し、仮想環境での会議ホストユーザグラフィック表現及び他の参加者ユーザグラフィック表現をそれらの対応するクライアントデバイスを通じて表示するべく１つ又は複数の選択されたアプリケーションを公開するように構成される。さらなる実施形態では、アプリケーションモジュールは、インストールされるアプリケーションからのコンテンツを仮想環境でのユーザグラフィック表現に表示する２Ｄ画面又は３Ｄボリュームアプリケーションモジュールグラフィック表現として表され、仮想ディスプレイアプリケーションは、インストールされるアプリケーションからのコンテンツを仮想環境でのユーザグラフィック表現に表示する２Ｄ画面又は３Ｄボリュームとして表される。
いくつかの実施形態では、１つ又は複数のアプリケーションは、マルチユーザセッションが行われる前に又は同時に、仮想環境内に直接インストールされる。
いくつかの実施形態では、１つ又は複数のアプリケーションは、マルチユーザセッションを開始する前に仮想環境セットアップツールの使用を通じてインストールされる。
いくつかの実施形態では、マルチユーザ相互作用のためのアプリケーションルールのうちの１つ又は複数は、同期相互作用、又は非同期相互作用、又はこれらの組み合わせを定義する。したがって、一実施形態では、このようなルールは、ユーザ相互作用と、１つ又は複数のアプリケーションのそれぞれの更新されるビューを更新するために用いられる。
いくつかの実施形態では、非同期相互作用は、少なくとも１つのサーバコンピュータを通じて、又は少なくとも１つのインストールされるアプリケーションとの個々のユーザ相互作用の処理専用の別個のサーバコンピュータを通じて可能になる。
いくつかの実施形態では、仮想環境は、教室、又はオフィススペース、又は会議室、又は応接室、又は劇場、又は映画館である。
本開示の別の態様では、仮想環境内でアプリケーションを配信するための方法であって、少なくとも１つのクラウドサーバコンピュータのメモリに、少なくとも１つの仮想環境と、仮想環境にリンクされ、仮想環境内に表示される、１つ又は複数のインストールされるアプリケーション及び対応するマルチユーザ相互作用のためのアプリケーションルールを含むアプリケーションモジュールとを提供することと、仮想環境ホストから選択命令を受信することと、仮想環境のセッション中に１つ又は複数のインストールされるアプリケーションを表示及びアクティブ化することにより、仮想環境内で仮想環境ホストのユーザグラフィック表現及び１つ又は複数の参加者ユーザグラフィック表現が対応するクライアントデバイスを通じて１つ又は複数のインストールされるアプリケーションと相互作用することを可能にすることと、１つ又は複数のインストールされるアプリケーションとのユーザ相互作用を受信することと、アプリケーションモジュールにあるマルチユーザ相互作用のためのアプリケーションルールに従って、１つ又は複数のインストールされるアプリケーションとのユーザ相互作用を管理及び処理することと、アプリケーションルールに従って共有体験を可能にするマルチユーザセッションを確立するべく、処理された相互作用をクライアントデバイスに転送することを含む方法が提供される。
いくつかの実施形態では、方法は、マルチユーザ相互作用のためのアプリケーションルールを１つ又は複数の別個のアプリケーションサーバで格納及び管理することをさらに含む。
いくつかの実施形態では、方法は、アプリケーションライブラリから入手可能なアプリケーションインストールパッケージから１つ又は複数のアプリケーションをインストールすることと、対応するアプリケーション・プログラミング・インターフェースを通じてアプリケーションサービスをプロビジョニングすることをさらに含む。さらに別の実施形態では、アプリケーションライブラリは、関連するアプリケーションを提供するためにコンテキストによりフィルタリングされる。さらに別の実施形態では、１つ又は複数のインストールされるアプリケーションは、対応するクライアントデバイスにインストールされた仮想ディスプレイアプリケーションと共有され、それを通じて表示される。一実施形態では、方法は、アクティブ化されると、対応するクライアントデバイスにインストールされた仮想ディスプレイアプリケーションを通じて、１つ又は複数のインストールされるアプリケーションを共有及び表示することを含み、仮想ディスプレイアプリケーションは、アプリケーションライブラリから１つ又は複数のインストールされるアプリケーションを受信し、仮想環境での会議ホストユーザグラフィック表現及び他の参加者ユーザグラフィック表現をそれらの対応するクライアントデバイスを通じて表示するべく１つ又は複数の選択されたアプリケーションを公開するように構成される。
いくつかの実施形態では、方法は、マルチユーザセッションが行われる前に又は同時に、１つ又は複数のアプリケーションを仮想環境内に直接インストールすることをさらに含む。他の実施形態では、方法は、マルチユーザセッションを開始する前に仮想環境セットアップツールの使用を通じて１つ又は複数のアプリケーションをインストールすることをさらに含む。
いくつかの実施形態では、方法は、マルチユーザ相互作用のためのアプリケーションルールのうちの１つ又は複数を、同期相互作用、又は非同期相互作用、又はこれらの組み合わせを含むように定義すること定義することをさらに含む。一実施形態では、方法は、ユーザ相互作用と、１つ又は複数のアプリケーションのそれぞれの更新されるビューを適宜更新することをさらに含む。
本開示の別の態様では、仮想環境内で仮想コンピューティングリソースをプロビジョニングするためのシステムは、少なくとも１つのプロセッサ、少なくとも１つの仮想環境を実装するデータ及び命令を含むメモリ、及び少なくとも１つの仮想環境に関連付けられた少なくとも１つの仮想コンピュータを備える少なくとも１つのクラウドサーバコンピュータを含む、１つ又は複数のサーバコンピュータを含むサーバコンピュータシステムを備え、少なくとも１つの仮想コンピュータは、サーバコンピュータシステムから仮想コンピューティングリソースを受信する。関連付けは、仮想コンピュータを仮想環境に接続することを含み得る。一実施形態では、少なくとも１つの仮想コンピュータは、仮想環境で対応するグラフィック表現を有する。グラフィック表現は、ユーザと仮想コンピュータの相互作用を容易にすること及びユーザ体験の臨場感（例えば、ホームオフィス体験の場合）を高めることなどのさらなる利点を提供し得る。したがって、一実施形態では、少なくとも１つのクラウドサーバコンピュータから仮想コンピューティングリソースを受信する少なくとも１つの仮想コンピュータは、仮想環境内に配置される少なくとも１つの対応する関連するグラフィック表現と、ネットワークを通じて少なくとも１つのサーバコンピュータに接続する少なくとも１つのクライアントデバイスを備え、少なくとも１つのクライアントデバイスが（例えば、対応するグラフィック表現と相互作用することによって）１つ又は複数の仮想コンピュータにアクセスすることに応答して、少なくとも１つのクラウドサーバコンピュータは、利用可能な仮想コンピューティングリソースの少なくとも１つの部分を少なくとも１つのクライアントデバイスにプロビジョニングする。
いくつかの実施形態では、サーバコンピュータシステムは、少なくとも１つの仮想環境内の少なくとも１つの仮想コンピュータの少なくとも１つの対応するグラフィック表現と相互作用するユーザグラフィック表現に応答して、仮想コンピューティングリソースの少なくとも１つの部分を少なくとも１つのクライアントデバイスにプロビジョニングするように構成される。さらなる実施形態では、１つ又は複数の仮想コンピュータグラフィック表現は、ユーザグラフィック表現によるアクセスのために仮想環境内に空間的に配置される。一実施形態では、仮想環境の構成は、教育、会議、仕事、ショッピング、サービス、社交、又はエンターテイメントでそれぞれ使用するための仮想アイテム、家具、間取り図などの配置などの仮想環境のコンテキストテーマと関連付けられる。さらなる実施形態では、１つ又は複数の仮想コンピュータグラフィック表現は、１つ又は複数のユーザグラフィック表現によるアクセスのために仮想環境の構成内に配置される。例えば、仮想コンピュータは、仮想コンピュータに関連付けられているリソースを使用する能力を必要とする又はその恩恵を受ける可能性がある行為（仮想教室、実験室、又はオフィスでのプロジェクトでの作業など）に従事するときにユーザグラフィック表現がアクセスすることになる仮想ルームに配置され得る。
いくつかの実施形態では、サーバコンピュータシステムは、仮想環境にアクセスせずに少なくとも１つのクライアントデバイスにログインすることで少なくとも１つのクラウドサーバコンピュータにアクセスするユーザに応答して、仮想コンピューティングリソースの少なくとも１つの部分を少なくとも１つのクライアントデバイスにプロビジョニングするように構成される。例示的なシナリオでは、仮想コンピューティングリソースは、ネットワークを通じて少なくとも１つのクラウドサーバコンピュータに接続しているクライアントデバイスに物理的にログインすることで、少なくとも１つのクラウドサーバコンピュータにアクセスするユーザによってアクセスされ、仮想環境にアクセスせずにクライアントデバイスへの仮想コンピューティングリソースのプロビジョニングをトリガする。
いくつかの実施形態では、仮想コンピューティングリソースの少なくとも１つの部分は、管理ツールでクライアントデバイスに割り当てられる。さらなる実施形態では、仮想コンピューティングリソースの少なくとも一部のプロビジョニングは、格納されたユーザプロフィールに基づいて行われる。一実施形態では、リソースの割り当ては、優先度データ、セキュリティデータ、ＱＯＳ、帯域幅、メモリスペース、又は計算能力、又はこれらの組み合わせを含むユーザプロフィールに関連付けられ割り当てられたパラメータのうちの１つ又は複数を含む格納されたユーザプロフィールに基づいて行われる。
いくつかの実施形態では、少なくとも１つの仮想コンピュータは、アプリケーションライブラリから入手可能なダウンロード可能なアプリケーションを備える。複数の仮想コンピュータを含む例示的なシナリオでは、各仮想コンピュータは、アプリケーションライブラリから入手可能なダウンロード可能なアプリケーションである。
本開示の別の態様では、仮想環境内で仮想コンピューティングリソースをプロビジョニングするための方法は、少なくとも１つのクラウドサーバコンピュータのメモリに、少なくとも１つの仮想コンピュータと、少なくとも１つの仮想コンピュータに関連付けられた仮想環境を提供することと、少なくとも１つの仮想コンピュータに仮想コンピューティングリソースを関連付けることと、１つ又は複数の仮想コンピュータにアクセスするためのアクセス要求を受信することと、少なくとも１つのクライアントデバイスから受信したアクセス要求に応答して、少なくとも１つの仮想コンピュータに関連付けられた利用可能な仮想コンピューティングリソースの一部を少なくとも１つのクライアントデバイスにプロビジョニングすることを含む。一実施形態では、少なくとも１つの仮想コンピュータに仮想コンピューティングリソースを関連付けることは、仮想コンピュータによって、少なくとも１つのクラウドサーバコンピュータから仮想コンピューティングリソースを受信することを含み得る。
いくつかの実施形態では、アクセス要求は、ユーザグラフィック表現が少なくとも１つの仮想コンピュータを表す１つ又は複数のグラフィック表現と相互作用することを可能にする要求を含む。一実施形態では、方法は、ユーザグラフィック表現から、少なくとも１つの仮想環境内の仮想コンピュータの１つ又は複数のグラフィック表現にアクセスするためのアクセス要求を受信することと、利用可能な仮想コンピューティングリソースの少なくとも一部を対応するクライアントデバイスに提供することをさらに含む。さらなる実施形態では、仮想環境の構成は、それぞれ、教育、会議、仕事、ショッピング、サービス、社交、又はエンターテイメントで使用するための構成を含む、仮想環境のコンテキストテーマに関連付けられており、１つ又は複数の仮想コンピュータは、１つ又は複数のユーザグラフィック表現によるアクセスのために仮想環境の構成内に配置される。
いくつかの実施形態では、アクセス要求は、ユーザが少なくとも１つのクライアントデバイスにログインすることによってトリガされる。一実施形態では、方法は、ネットワークを通じて少なくとも１つのクラウドサーバコンピュータに接続しているクライアントデバイスに物理的にログインするユーザからアクセス要求を受信することと、仮想環境にアクセスせずにクライアントデバイスに仮想コンピューティングリソースをプロビジョニングすることをさらに含む。
いくつかの実施形態では、この方法は、仮想コンピューティングリソースの少なくとも１つの部分を管理ツールでクライアントデバイスに割り当てることをさらに含む。さらに別の実施形態では、前記割り当ては、優先度データ、セキュリティデータ、ＱＯＳ、帯域幅、メモリスペース、計算能力、又はこれらの組み合わせを含むユーザプロフィールに関連付けられ割り当てられたパラメータのうちの１つ又は複数を含む格納されたユーザプロフィールに基づいて行われる。
本開示の別の態様では、ユーザグラフィック表現間のアドホック仮想通信を可能にするシステムは、少なくとも１つのプロセッサを備える１つ又は複数のクラウドサーバコンピュータと、仮想環境を実装するデータ及び命令を格納するメモリとを備える。仮想環境は、仮想環境での少なくとも１つの接近するユーザグラフィック表現及び少なくとも１つのターゲットユーザグラフィック表現がアドホック通信チャネルを開くことを可能にし、仮想環境内のユーザグラフィック表現間のアドホック通信チャネルを介してアドホック会話を可能にするように構成される。一実施形態では、システムはさらに、ネットワークを介して１つ又は複数のクラウドサーバコンピュータに接続され、対応するユーザグラフィック表現を通じて少なくとも１つの仮想環境にアクセスする、２つ以上のクライアントデバイスを備え、仮想環境は、少なくとも１つの接近するユーザグラフィック表現及び少なくとも１つのターゲットユーザグラフィック表現がアドホック通信チャネルを開くことを可能にし、仮想環境内のユーザグラフィック表現間のアドホック会話を可能にする。
いくつかの実施形態では、アドホック通信チャネルを開くことは、ユーザグラフィック表現間の距離、位置、及び向き、又は現在の対応可能性ステータス、プライバシー設定、又はアドホック通信のステータス構成、又はそれらの組み合わせに基づいて行われる。
いくつかの実施形態では、アドホック会話は、両方のユーザグラフィック表現エリアが存在する仮想環境内の場所で行われる。他の実施形態では、アドホック会話は、仮想環境での現在のビューイングパースペクティブを使用して行われる。
いくつかの実施形態では、アドホック会話は、アドホック会話が行われる同じ又は別の接続された仮想環境内での、ビューイングパースペクティブ、場所、又はその組み合わせの随意的な変更を可能にする。
いくつかの実施形態では、１つ又は複数のクラウドサーバコンピュータはさらに、アドホック通信が可能であることをシグナリングする仮想環境での現在の視覚的フィードバックを生成するように構成される。一実施形態では、ユーザグラフィック表現は、アドホック通信が可能であることをシグナリングする視覚的フィードバックを受信し、これにより、アドホック通信チャネルを開くことをトリガし、ユーザグラフィック表現間のアドホック会話の開始をシグナリングする。
いくつかの実施形態では、アドホック会話は、リアルタイム音声及びビデオを送信及び受信することを含む。例示的なシナリオでは、このようなビデオは、ユーザグラフィック表現から表示され得る。
いくつかの実施形態では、接近するユーザグラフィック表現に対応するユーザは、アドホック通信チャネルを開く前に、ターゲットユーザグラフィック表現を選択及びクリックする。さらに別の実施形態では、１つ又は複数のクラウドサーバコンピュータはさらに、招待の承諾に応答してアドホック通信チャネルを開くように構成される。例えば、接近するユーザグラフィック表現に対応するユーザは、アドホック通信参加招待をターゲットユーザグラフィック表現に送信し、アドホック通信チャネルを開く前にターゲットユーザグラフィック表現から招待の承認を受信する。
いくつかの実施形態では、アドホック通信チャネルは、少なくとも１つのクラウドサーバコンピュータを通じて又はＰ２Ｐ通信チャネルとして可能になる。
本開示の別の態様では、ユーザグラフィック表現間のアドホック仮想通信を可能にする方法は、少なくとも１つのプロセッサを備える１つ又は複数のクラウドサーバコンピュータのメモリ内に仮想環境を提供することと、ネットワークを介して１つ又は複数のクラウドサーバコンピュータに接続され、対応するグラフィック表現を通じて少なくとも１つの仮想環境にアクセスする、２つ以上のクライアントデバイスを検出することと、少なくとも１人のユーザグラフィック表現が別のユーザグラフィック表現に接近することに応答して、アドホック通信チャネルを開き、仮想環境でのユーザグラフィック表現間のアドホック会話を可能にすることを含む。
いくつかの実施形態では、方法は、アドホック通信チャネルを開く前に、ユーザグラフィック表現間の距離、位置、及び向き、又は現在の対応可能性ステータス、プライバシー設定、又はアドホック通信のステータス構成、又はそれらの組み合わせのうちの１つ又は複数を検出及び評価することをさらに含む。
いくつかの実施形態では、方法は、両方のユーザグラフィック表現エリアが存在する仮想環境内の場所でアドホック会話が行われることを可能にする。他の実施形態では、アドホック会話は、仮想環境での現在のビューイングパースペクティブを使用して行われる。
いくつかの実施形態では、方法は、アドホック会話を行うことができる同じ又は別の接続された仮想環境内の、ビューイングパースペクティブ、場所、又はその組み合わせの随意的な変更を可能にすることを含む。
いくつかの実施形態では、方法は、アドホック通信が可能であることをシグナリングする仮想環境での現在の視覚的フィードバックを生成することをさらに含む。方法は、アドホック通信が可能であることをシグナリングする視覚的フィードバックをターゲットユーザグラフィック表現に送信し、これにより、アドホック通信チャネルを開くことをトリガし、ユーザグラフィック表現間の会話の開始をシグナリングすることをさらに含み得る。
いくつかの実施形態では、会話は、ユーザグラフィック表現から表示されるリアルタイム音声及びビデオを送信及び受信することを含む。
いくつかの実施形態では、方法は、ユーザグラフィック表現がターゲットユーザグラフィック表現に接近することによってターゲットユーザグラフィック表現を選択及びクリックすることをさらに含む。さらに別の実施形態では、アドホック通信チャネルは、招待の承諾に応答して開かれる。一実施形態では、方法は、アドホック通信チャネルを開く前に、別のユーザグラフィック表現との間でアドホック仮想通信参加招待を送信又は受信することをさらに含む。
１つ又は複数のコンピュータに本明細書に記載の方法のいずれかを行わせるように構成された命令を格納しているコンピュータ可読媒体も説明される。
上記の要約は、本開示のすべての態様の網羅的なリストを含んでいるわけではない。本開示は、上記に要約した様々な態様のすべての適切な組み合わせから実施可能なすべてのシステム及び方法、並びに、以下の詳細な説明で開示され、特に本出願で出願される請求項で指摘されたものを含むと考えられる。このような組み合わせは、上記の概要に具体的に列挙されていない利点を有する。他の特徴及び利点は、添付の図面及び以下に続く詳細な説明から明らかとなるであろう。
本開示の特定の特徴、態様、及び利点は、以下の説明及び添付の図面に関連してよりよく理解されるであろう。
一実施形態に係る、仮想環境での社会的相互作用を含む相互作用を可能にするシステムの概略図である。 図２Ａ～図２Ｂは、仮想環境プラットフォームの複数のバーティカルを含む仮想環境での社会的相互作用を含む相互作用を可能にするシステムの展開の概略図である。 一実施形態に係る、仮想環境での相互作用を可能にするシステムで採用されるハイブリッドシステムアーキテクチャの概略図である。 一実施形態に係る、ユーザが仮想環境で相互作用することができるグラフィカルユーザインターフェースの概略図である。 一実施形態に係る、ユーザ３Ｄ仮想カットアウトから、ユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオに移行する方法のブロック図である。 図６Ａ～図６Ｃは、対応するクライアントデバイス及びクラウドサーバによってクライアントサーバ側で行われる複数の画像処理の組み合わせの概略図である。 図７Ａ～図７Ｃは、対応するピアクライアントによってＰ２Ｐ側で行われる複数の画像処理の組み合わせの概略図である。 一実施形態に係る、ユーザグラフィック表現ベースのユーザ認証システムの概略図である。 一実施形態に係る、オフィス仮想環境のサードパーソン・ビューイングパースペクティブの概略図である。 図１０Ａ～図１０Ｂは、一実施形態に係る、教室仮想環境の概略図である。 一実施形態に係る、複数の仮想カメラ位置の概略図である。 仮想環境内から仮想ブロードキャストするためのシステムの概略図である。 仮想環境内でアプリケーションを配信するためのシステムの概略図である。 一実施形態に係る、図１３に示された仮想環境内でアプリケーションを配信するためのシステムに基づく仮想環境の概略図である。 一実施形態に係る、仮想環境内で仮想コンピューティングリソースをプロビジョニングするためのシステムの概略図である。 一実施形態に係る、ユーザグラフィック表現間のアドホック仮想通信を可能にするシステムの概略図である。 一実施形態に係る、仮想環境での相互作用を可能にする方法の一実施形態を示す図である。 一実施形態に係る、画像処理方法の一実施形態を示す図である。 一実施形態に係る、ユーザグラフィック表現ベースのユーザ認証方法１９００を示す図である。 一実施形態に係る、仮想環境内から仮想ブロードキャストするための方法のブロック図である。 一実施形態に係る、仮想環境内でアプリケーションを配信するための方法のブロック図である。 一実施形態に係る、仮想環境内で仮想コンピューティングリソースをプロビジョニングするための方法のブロック図である。 ユーザグラフィック表現間のアドホック仮想通信を可能にする方法のブロック図である。
以下の説明では、例示として種々の実施形態を示す図面を参照する。また、いくつかの例を参照することによって様々な実施形態を以下に説明する。実施形態は、特許請求される主題の範囲から逸脱することなく、設計及び構造の変更を含み得ることが理解されるべきである。
本開示のシステム及び方法は、とりわけ、会議、仕事、教育、ショッピング、及びサービスのために用いられ得る、実生活で利用可能なものと同様のリアルタイムのマルチユーザコラボレーション及び相互作用を可能にする１つ又は複数の仮想環境を備える仮想環境プラットフォームを提供することによって、前述の欠点のうちの少なくともいくつかを解決する。仮想環境は、仮想環境プラットフォームで利用可能な異なるバーティカルの複数の仮想環境から選択することができる。同じバーティカル及び／又は異なるバーティカルからの仮想環境の組み合わせによって仮想環境クラスタを形成することができ、これは数百又は数千もの仮想環境を含むことができる。仮想環境は、好み又はニーズに応じてユーザによってカスタマイズされ得る仮想環境のバーティカルに関連付けられた構成及び外観を含む２Ｄ又は３Ｄ仮想環境であり得る。ユーザは、仮想環境に挿入され、２次元又は３次元の仮想環境とグラフィカルに組み合わされ得るグラフィック表現を通じて、仮想環境にアクセスすることができる。
ユーザグラフィック表現は、ユーザがアップロードした又は第三者が提供した写真から構築された背景が削除されたユーザ３Ｄ仮想カットアウト、又はユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオである可能性があり、これらのいずれも、ユーザの要望に応じていつでも相互に切り替えることができる。ユーザグラフィック表現は、他のユーザに関連する現在の対応可能性又は他のデータに関するさらなる詳細を提供するユーザステータスを含むことができる。仮想環境内のオブジェクトとの相互作用に加えて、仮想環境でのユーザ間の会話及びコラボレーションなどの相互作用が可能になる。本開示はさらに、ユーザグラフィック表現の生成に用いられ得る複数の画像処理の組み合わせを含むデータ処理システム及び方法を提供する。本開示はさらに、仮想環境プラットフォーム又は仮想環境プラットフォームから仮想環境にリンクされた他のアプリケーションにアクセスするために用いられ得るユーザグラフィック表現ベースのユーザ認証システム及び方法、仮想環境内から仮想ブロードキャストするためのシステム及び方法、仮想環境内でアプリケーションを配信するためのシステム及び方法、仮想環境クラウドサーバコンピュータ内でクラウドコンピューティングベースの仮想コンピューティングリソースをプロビジョニングするためのシステム及び方法、及び接近するユーザグラフィック表現間のアドホック仮想通信を可能にするシステム及び方法を提供する。
前記仮想環境での仮想プレゼンス及びユーザ間の現実的な相互作用及びコラボレーションを可能にすることにより、例えば、パンデミック又は他の移動が制限される状況で必要とされるようなリモート活動の臨場感を高めることができる。本開示のシステム及び方法はさらに、エクステンデッド・リアリティヘッドマウントディスプレイなどのより高価な没入型デバイス又は高価な新規のシステムインフラストラクチャを必要とせずに、モバイルデバイス又はコンピュータなどのクライアントデバイス上の様々な仮想環境へのアクセスを可能にする。本開示のクライアントデバイス又はピアデバイスは、例えば、コンピュータ、ヘッドセット、移動電話、メガネ、透明スクリーン、タブレット、及びカメラが組み込まれた又はカメラに接続して前記カメラからデータフィードを受信することができる一般的な入力デバイスを含み得る。
図１は、一実施形態に係る、仮想環境での社会的相互作用を可能にするシステム１００の概略図である。
仮想環境での相互作用を可能にする本開示のシステム１００は、少なくとも１つのプロセッサ１０４と、仮想環境Ａ～Ｃなどの少なくとも１つの仮想環境１１０を備える仮想環境プラットフォーム１０８を実装するデータ及び命令を格納するメモリ１０６と、を備える１つ又は複数のクラウドサーバコンピュータ１０２を備える。１つ又は複数のクラウドサーバコンピュータは、カメラによって得られたライブデータフィードから生成されたユーザグラフィック表現を少なくとも１つの仮想環境の３次元座標位置に挿入し、少なくとも１つの仮想環境におけるユーザグラフィック表現を更新し、仮想環境でのリアルタイムのマルチユーザコラボレーション及び相互作用を可能にするように構成される。説明される実施形態では、ユーザグラフィック表現を仮想環境に挿入することは、ユーザグラフィック表現が仮想環境に（例えば、指定された３Ｄ座標位置に）現れるように、ユーザグラフィック表現を仮想環境にグラフィカルに組み合わせることに関係する。図１に示された例では、システム１００は、クライアントデバイス１１８のユーザ１１６からライブデータフィード１１４を取得する少なくとも１つのカメラ１１２をさらに備える。１つ又は複数のクライアントデバイス１１８は、ネットワークを介して１つ又は複数のクラウドサーバコンピュータ１０２及び少なくとも１つのカメラ１１２に通信可能に接続する。ライブデータフィード１１４から生成されたユーザグラフィック表現１２０は、仮想環境１１０（例えば、仮想環境Ａ）の３次元座標位置に挿入され、仮想環境とグラフィカルに組み合わされ、ライブデータフィード１１４を使用して更新される。更新された仮想環境は、直接Ｐ２Ｐ通信で、或いは１つ又は複数のクラウドサーバ１０２の使用を通じて間接的に、クライアントデバイスに提供される。システム１００は、クライアントデバイス１１８を通じてグラフィカルユーザインターフェースにアクセスすることによって、仮想環境１１０でのリアルタイムのマルチユーザコラボレーション及び相互作用を可能にする。
図１では、２人のユーザ１１６（例えば、それぞれ、ユーザＡ及びＢ）が、仮想環境Ａにアクセスし、対応するクライアントデバイス１１８（それぞれ、クライアントデバイスＡ及びＢ）を通じてアクセスされる対応するユーザグラフィック表現１２０（例えば、それぞれ、ユーザグラフィック表現Ａ及びＢ）を通じて、その中の要素と及び互いに相互作用している。２人のみのユーザ１１６、クライアントデバイス１１８、及びユーザグラフィック表現１２０が図１に示されているが、システムは、複数のユーザ１１６が対応するクライアントデバイス１１８を介してそれらの対応するグラフィック表現１２０を通じて互いに相互作用することを可能にし得ることが当業者にはわかるであろう。
いくつかの実施形態では、仮想環境プラットフォーム１０８及び対応する仮想環境１１０は、複数（例えば、数千又はさらには数百万）のユーザグラフィック表現１２０でライブパフォーマンス、コンサート、ウェビナー、基調講演などの複数の体験をリアルタイムで共有することを可能にし得る。これらの仮想パフォーマンスは、世界の様々な地域からの多数のユーザ１１６に対応するために、仮想環境１１０の複数のインスタンスによって提示され及び／又はそれらにマルチキャストされ得る。
いくつかの実施形態では、クライアントデバイス１１８は、とりわけ、モバイルデバイス、パーソナルコンピュータ、ゲームコンソール、メディアセンター、及びヘッドマウントディスプレイのうちの１つ又は複数であり得る。カメラ１１２は、とりわけ、２Ｄ又は３Ｄカメラ、３６０度カメラ、ウェブカメラ、ＲＧＢＤカメラ、ＣＣＴＶカメラ、プロ用カメラ、移動電話カメラ、深度カメラ（例えば、ＬＩＤＡＲ）、又はライトフィールドカメラのうちの１つ又は複数であり得る。
いくつかの実施形態では、仮想環境１１０は、ＣＡＤ（ｃｏｍｐｕｔｅｒ ａｓｓｉｓｔｅｄ ｄｒａｗｉｎｇ）法による任意の適切な３Ｄモデリング技術を通じて設計された仮想構造物（例えば、仮想モデル）を指す。さらなる実施形態では、仮想環境１１０は、仮想環境１１０を生成するために様々な写真、ビデオ、深度測定、及び／又はＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）スキャンを通じて入力される画像スキャンパイプラインを含む任意の適切なスキャンツールを通じて実際の構造物（例えば、物理的な部屋）からスキャンされる仮想構造物を指す。例えば、実世界の構造物をマッピング及びモデリングし、それらを仮想環境１１０に変換するために、合成開口レーダ、実開口レーダ、光検出・測距（ＬＩＤＡＲ）、逆開口レーダ、モノパルスレーダなどのレーダーイメージング、及び他のタイプのイメージング技術が用いられ得る。他の実施形態では、仮想環境１１０は、実際の構造物（例えば、実世界の部屋、建物、又は設備）をモデルにした仮想構造物である。
いくつかの実施形態では、クライアントデバイス１１８と少なくとも１つのクラウドサーバコンピュータ１０２は、有線又は無線ネットワークを通じて接続する。いくつかの実施形態では、ネットワークは、ミリ波（ｍｍＷ）又はｍｍＷと第５世代無線システム通信（５Ｇ）などのサブ６ＧＨｚ通信システムとの組み合わせを含み得る。他の実施形態では、システムは、無線ローカルエリアネットワーキング（Ｗｉ－Ｆｉ）を通じて接続することができる。他の実施形態では、システムは、４Ｇ通信システムによってサポートされ得る第４世代無線システム通信（４Ｇ）を通じて通信可能に接続することができ、又は、他の有線又は無線通信システムを含み得る。
いくつかの実施形態では、ユーザグラフィック表現１２０の生成、更新、及び選択された仮想環境１１０への挿入及び組み合わせることに含まれる処理及びレンダリングは、ユーザ１１６のライブデータフィード１１４を受信すると、クライアントデバイス１１８の少なくとも１つのプロセッサによって行われる。１つ又は複数のクラウドサーバコンピュータ１０２は、クライアントによりレンダリングされたユーザグラフィック表現１２０を受信し、クライアントによりレンダリングされたユーザグラフィック表現１２０を仮想環境１１０の３次元座標に挿入し、挿入されたユーザグラフィック表現１２０を仮想環境１１０と組み合わせて、クライアントによりレンダリングされたユーザグラフィック表現１２０を受信クライアントデバイスに送信することができる。例えば、図１で見られるように、クライアントデバイスＡは、それぞれのカメラ１１２からライブデータフィード１１４を受信することができ、ライブデータフィード１１４からのデータを処理及びレンダリングし、ユーザグラフィック表現Ａを生成することができ、次いで、クライアントによりレンダリングされたユーザグラフィック表現Ａを少なくとも１つのクラウドサーバコンピュータ１０２に送信することができ、少なくとも１つのクラウドサーバコンピュータ１０２は、ユーザグラフィック表現Ａを仮想環境１１０の３次元座標に配置し、その後、ユーザグラフィック表現ＡをクライアントデバイスＢに送信することができる。同様のプロセスが、クライアントデバイスＢ及びユーザＢからのユーザグラフィック表現Ｂに適用される。したがって、ユーザグラフィック表現Ａ及びＢの両方は、仮想環境Ａ内で互いに見る及び相互作用することができる。しかしながら、様々な他の画像処理の組み合わせは、図６Ａ～図７Ｃに関連して図示及び説明される本開示のシステム及び方法を通じて可能にされ得る。
いくつかの実施形態では、ユーザグラフィック表現１２０の生成、更新、及び仮想環境への挿入及び組み合わせることに含まれる処理及びレンダリングは、クライアントデバイス１１８がユーザ１１６の未処理のライブデータフィード１１４を送信すると、１つ又は複数のクラウドサーバコンピュータ１０２の少なくとも１つのプロセッサ１０４によって行われる。したがって、１つ又は複数のクラウドサーバコンピュータ１０２は、クライアントデバイス１１８からユーザ１１６の未処理のライブデータフィード１１４を受信し、次いで、未処理のライブデータフィードから、仮想環境１１０の３次元座標内に配置されるユーザグラフィック表現１２０を生成、処理、及びレンダリングし、その後、仮想環境内のクラウドによりレンダリングされたユーザグラフィック表現を他のクライアントデバイス１１８に送信する。例えば、図１で見られるように、クライアントデバイスＡは、それぞれのカメラ１１２からライブデータフィード１１４を受信することができ、次いで、ユーザの未処理のライブデータフィード１１４を少なくとも１つのクラウドサーバコンピュータ１０２に送信することができ、少なくとも１つのクラウドサーバコンピュータ１０２は、ユーザグラフィック表現Ａを生成、処理、及びレンダリングし、ユーザグラフィック表現Ａを仮想環境１１８の３次元座標に配置し、その後、ユーザグラフィック表現ＡをクライアントデバイスＢに送信することができる。同様のプロセスが、クライアントデバイスＢ及びユーザＢからのユーザグラフィック表現Ｂに適用される。したがって、ユーザグラフィック表現Ａ及びＢの両方は、仮想環境Ａ内で互いに見る及び相互作用することができる。
いくつかの実施形態では、仮想環境プラットフォーム１０８は、仮想環境にリダイレクトするクリッカブルリンクを、第三者ウェブサイト、アプリケーション、又はビデオゲームを含む１つ又は複数の第三者ソースに埋め込むことを可能にするように構成される。リンクは、例えばＨＴＭＬリンクであり得る。リンクされた仮想環境１１０は、リンクが埋め込まれているウェブサイトのコンテンツに関連付けられ得る。例えば、リンクは、自動車ディーラー又は製造業者のウェブサイトに埋め込むことができ、クリッカブルリンクは、ユーザがユーザグラフィック表現１２０を通じて訪れることができる自動車ディーラーのショールームを表す仮想環境１１０にリダイレクトされる。
いくつかの実施形態では、ユーザグラフィック表現１２０は、対応するユーザに関するプロフィール情報を含む第三者ソースに誘導するリンクなどの埋め込みクリッカブルリンクを備える。例えば、クリッカブルリンクは、ソーシャルメディア（例えば、ＬｉｎｋｅｄＩｎ（商標）などのプロフェッショナルソーシャルメディアウェブサイト）へのアクセスを許可し、対応するユーザに関するさらなる情報を提供することができる、ユーザグラフィック表現１２０のソースコードに埋め込まれたＨＴＭＬリンクであり得る。いくつかの実施形態では、ユーザが許可した場合、他のユーザが対応するユーザグラフィック表現をクリックする又はそれにカーソルを合わせると、ユーザの基本情報の少なくとも一部が表示され、これは、データベースからユーザデータにアクセスして取得することによって又は第三者ソースから行うことができる。
いくつかの実施形態では、ユーザグラフィック表現は、ユーザがアップロードした又は第三者が（例えば、ソーシャルメディアウェブサイトから）提供した写真から構築されたユーザ３Ｄ仮想カットアウト、又は背景が削除されたユーザ１１６のリアルタイムビデオストリームを含むユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオである。さらなる実施形態では、クライアントデバイス１１８は、図３を参照してさらに説明されるように、ユーザ１１６のライブカメラフィード１１４を処理及び分析し、ピア・ツー・ピア（Ｐ２Ｐ）システムアーキテクチャ又はハイブリッドシステムアーキテクチャを介して他のピアクライアントデバイス１１８に送信されるアニメーションデータを生成することによってユーザグラフィック表現１２０を生成する。受信ピアクライアントデバイス１１８は、アニメーションデータを使用して、ユーザグラフィック表現をローカルに構築及び更新する。
ユーザ３Ｄ仮想カットアウトは、ユーザがアップロードした又は第三者が提供した２Ｄ写真から構築されたユーザの仮想レプリカを含み得る。一実施形態では、ユーザ３Ｄ仮想カットアウトは、背景が削除されたユーザの３Ｄメッシュ又は３Ｄ点群を生成する、ユーザがアップロードした又は第三者が提供した２Ｄ写真を入力データとして使用する、マシンビジョン技術を通じた仮想再構築プロセスにより作成される。一実施形態では、ユーザ３Ｄ仮想カットアウトは、静的な顔の表情を有し得る。別の実施形態では、ユーザ３Ｄ仮想カットアウトは、カメラフィードを通じて更新される顔の表情を含み得る。さらに別の実施形態では、ユーザ３Ｄ仮想カットアウトは、ユーザ３Ｄ仮想カットアウトが微笑む、眉をひそめる、真顔になるなどを可能にするボタンなどの、ユーザグラフィカルインターフェース上のボタンを通じて変更され得る表現を含み得る。さらに別の実施形態では、ユーザ３Ｄ仮想カットアウトは、前述の技術の組み合わせを使用して顔の表情を表示する。ユーザ３Ｄ仮想カットアウトを生成した後で、例えば、ユーザからのカメラフィードを処理することによって、ユーザ３Ｄ仮想カットアウトのステータス及び／又は顔の表情を継続的に更新することができる。しかしながら、カメラがオンになっていない場合でも、ユーザ３Ｄ仮想カットアウトは、不在ステータス及び静的な顔の表情で他のユーザに依然として表示され得る。例えば、ユーザは、現在作業に集中していて、邪魔されたくなくて（例えば、「邪魔しないでください（ｄｏ ｎｏｔ ｄｉｓｔｕｒｂ）」又は「ビジー」ステータスになっていて）、自分のカメラをオフにしている場合がある。この時点で、ユーザ３Ｄ仮想カットアウトは、単に自分のデスクに居るだけで、静止しているか、又はタイピングなどの事前に構成された動きをすることができる。しかしながら、ユーザのカメラが再びオンにされると、ユーザ３Ｄ仮想カットアウトは、ユーザの顔の表情及び／又は動きに関してリアルタイムで再び更新することができる。結果として得られるユーザグラフィック表現がユーザであると明確に認識できるように、ユーザ３Ｄ仮想カットアウトの作成のための標準的な３Ｄ顔モデル再構築（例えば、３Ｄ顔フィッティング及びテクスチャ融合）技術が用いられ得る。
ユーザリアルタイム３Ｄ仮想カットアウトは、カメラから取得したリアルタイムの２Ｄ又は３Ｄライブビデオストリームデータフィードに基づく、ユーザの背景が削除された後の、ユーザの仮想レプリカを含み得る。一実施形態では、ユーザリアルタイム３Ｄ仮想カットアウトは、背景が削除されたユーザの３Ｄメッシュ又は３Ｄ点群を生成することによる、ユーザのライブデータフィードを入力データとして使用する、マシンビジョン技術を通じた仮想再構築プロセスにより作成される。例えば、ユーザリアルタイム３Ｄ仮想カットアウトは、ホログラフィック３Ｄメッシュ又は３Ｄ点群を作成するべく処理され得る、カメラ（例えば、ウェブカメラ）からの２Ｄビデオから生成され得る。別の例では、ユーザリアルタイム３Ｄ仮想カットアウトは、ホログラフィック３Ｄメッシュ又は３Ｄ点群を作成するべく処理され得る、深度カメラ（例えば、ＬＩＤＡＲ又は任意の深度カメラ）からの３Ｄビデオから生成され得る。したがって、ユーザリアルタイム３Ｄ仮想カットアウトは、ユーザを３次元でリアルタイムでグラフィカルに表現する。
背景が削除されたビデオは、クライアントデバイスにストリーミングされたビデオを含み、背景削除プロセスは、ユーザだけが見えるようになって、受信クライアントデバイス上にポリゴン構造を使用して表示されるように行われる。背景が削除されていないビデオは、クライアントデバイスにストリーミングされたビデオを含み、ビデオは、カメラキャプチャを忠実に表し、したがって、ユーザとユーザの背景が見えるようになって、受信クライアントデバイス上にポリゴン構造を使用して表示される。ポリゴン構造は、ビデオに対応するための仮想フレームとして用いられるカッド構造又はより複雑な３Ｄ構造とすることができる。
背景が削除されていないビデオは、クライアントデバイスにストリーミングされたビデオを含み、ビデオは、カメラキャプチャを忠実に表し、したがって、ユーザとユーザの背景が見えるようになって、受信クライアントデバイス上にポリゴン構造を使用して表示される。ポリゴン構造は、ビデオに対応するための仮想フレームとして用いられるカッド構造又はより複雑な３Ｄ構造とすることができる。
いくつかの実施形態では、ライブデータフィード及び／又はユーザがアップロードした又は第三者が提供した２Ｄ写真に含まれる入力データとして用いられるデータとしては、２Ｄ又は３Ｄ画像データ、３Ｄジオメトリ、ビデオデータ、メディアデータ、音声データ、テキストデータ、触覚データ、時間データ、３Ｄエンティティ、３Ｄ動的オブジェクト、テキストデータ、時間データ、メタデータ、優先度データ、セキュリティデータ、位置データ、照明データ、深さデータ、及び赤外線データなどが挙げられる。
いくつかの実施形態では、ユーザリアルタイム３Ｄ仮想カットアウトを可能にするために必要とされる背景削除プロセスは、画像セグメンテーション及びディープニューラルネットワークの使用を通じて行われ、これは、クライアントデバイス１１８又は少なくとも１つのクラウドサーバコンピュータ１０２の１つ又は複数のプロセッサによる命令の実施を通じて可能となり得る。画像セグメンテーションは、デジタル画像を複数のオブジェクトにパーティショニングするプロセスであり、ユーザ１１６のライブデータフィード１１４から得られた前景（例えば、ユーザリアルタイム３Ｄ仮想カットアウト）を背景から分離することができるオブジェクト及び境界を見つけることに役立つ。本開示の実施形態で用いられ得るサンプル画像セグメンテーションは、例えばＯｐｅｎＣＶから入手可能なＷａｔｅｒｓｈｅｄ変換アルゴリズムを含み得る。
本開示での背景の削除のために用いられ得る画像セグメンテーションの適切なプロセスは、コンピュータビジョンなどの人工知能（ＡＩ）技術を用いることでこのような背景の削除を可能にし、インスタンスセグメンテーション及び／又はセマンティックセグメンテーションを含み得る。インスタンスセグメンテーションは、１つ以上の複数のオブジェクトクラスの個々のインスタンスに個別のラベルを与える。いくつかの例では、インスタンスセグメンテーションは、ＭＡＳＫ Ｒ－ＣＮＮを通じて行われ、これは、バウンディングボックス認識のための既存のブランチと並行してオブジェクトマスクを予測するためのブランチの追加に加えて、ユーザのライブデータフィード１１４などからの画像内のオブジェクトを検出すると同時に、インスタンスごとに高品質のセグメンテーションマスクを生成する。次いで、ユーザ用及び背景用に作成されたセグメント化されたマスクを抽出し、背景を削除することができる。セマンティックセグメンテーションは、深層学習又はディープニューラルネットワーク（ＤＮＮ）技術を使用して、自動化された背景削除プロセスを可能にする。セマンティックセグメンテーションは、事前定義されたルールに応じて、色、テクスチャ、及び平滑度などの１つ又は複数のカテゴリからのクラスラベルを各ピクセルに与えることによって、画像をセマンティックに意味のある部分にパーティショニングする。いくつかの例では、セマンティックセグメンテーションは、参照により本明細書に組み込まれる文書“Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ”，Ｅｖａｎ Ｓｈｅｌｈａｍｅｒ， Ｊｏｎａｔｈａｎ Ｌｏｎｇ，， ａｎｄ Ｔｒｅｖｏｒ Ｄａｒｒｅｌｌ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． ３９， Ｎｏ． ４ （Ａｐｒｉｌ ２０１７）で開示されるように、セマンティックセグメンテーションで、エンドツーエンド、ピクセルツーピクセルでトレーニングされた完全畳み込みネットワーク（ＦＣＮ）を使用することができる。前述の背景削除プロセスの後で、ユーザの顔及び体の境界内の点群が残り、クライアントデバイス１１８又は少なくとも１つのクラウドサーバコンピュータ１０２の１つ又は複数のプロセッサは、ユーザリアルタイム３Ｄ仮想カットアウトの構築に用いられ得るユーザの３Ｄメッシュ又は３Ｄ点群を生成するべく処理することができる。次いで、ユーザリアルタイム３Ｄ仮想カットアウトが、カメラ１１２からのライブデータフィード１１４から更新される。
いくつかの実施形態では、ユーザグラフィック表現１２０を更新することは、ユーザ１１６の顔の表情を認識し、顔の表情を仮想環境１１０内のユーザグラフィック表現１２０でグラフィカルにシミュレートするために、生成されたユーザグラフィック表現１２０にクライアントデバイス１１８又は少なくとも１つのクラウドサーバコンピュータ１０２によるマシンビジョンアルゴリズムを適用することを含む。一般に、このような顔の表情の認識は、人間の感情の認識、解釈、処理、及びシミュレーションを扱う感情コンピューティングの原理を通じて行われ得る。従来の顔の表情の認識（ＦＥＲ）技術のレビューが、参照により本明細書に組み込まれる“Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ： Ａ Ｓｙｓｔｅｍａｔｉｃ Ｒｅｖｉｅｗ”， Ｄａｎｉｅｌ Ｃａｎｅｄｏ ａｎｄ Ａｎｔｏｎｉｏ Ｊ． Ｒ． Ｎｅｖｅｓ， Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ， Ｖｏｌ． ９， Ｎｏ． ２１ （２０１９）で提供されている。
従来のＦＥＲ技術は、画像取得ステップ、前処理ステップ、特徴抽出ステップ、及び分類又は回帰ステップを含む。本開示のいくつかの実施形態において、画像取得は、１つ又は複数のプロセッサにカメラフィード１１４からの画像データを供給することによって行われる。前処理ステップは、特徴分類器に最も関連性のあるデータを提供するために必要な場合があり、普通は、所望の関心領域（ＲＯＩ）であるターゲットユーザの顔を区切るバウンディングボックスを作成することができる、顔検出技術を含む。ＲＯＩは、とりわけ、照度変更のための強度正規化、画像平滑化のためのノイズフィルタ、トレーニングデータを増やすためのデータ拡張、回転された顔のための回転補正、異なるＲＯＩサイズのための画像サイズ変更、及びより良好な背景フィルタリングのための画像クロッピングを通じて前処理される。前処理後に、アルゴリズムは、前処理したＲＯＩから、アクションユニット（ＡＵ）、特定の顔のランドマークの動き、顔のランドマーク間の距離、顔のテクスチャ、グラデーション特徴などを含む、関連する特徴を取得する。次いで、これらの特徴を、例えば、サポートベクターマシン（ＳＶＭ）又は畳み込みニューラルネットワーク（ＣＮＮ）であり得る分類器に供給することができる。分類器のトレーニング後に、ユーザの情動をリアルタイムで検出し、例えば、すべての顔特徴関係を連結することによってユーザグラフィック表現１２０に構築することができる。
いくつかの実施形態では、ユーザグラフィック表現は、トップ・ビューイングパースペクティブ、又はサードパーソン・ビューイングパースペクティブ、又はファーストパーソン・ビューイングパースペクティブ、又はセルフ・ビューイングパースペクティブと関連付けられる。一実施形態では、ユーザグラフィック表現を通じて仮想環境にアクセスするときのユーザ１１６のビューイングパースペクティブは、トップ・ビューイングパースペクティブ、又はサードパーソン・ビューイングパースペクティブ、又はファーストパーソン・ビューイングパースペクティブ、又はセルフ・ビューイングパースペクティブ、又はブロードキャストカメラ・パースペクティブである。セルフ・ビューイングパースペクティブは、別のユーザグラフィック表現によって見られるようなユーザグラフィック表現、及び随意的に、ユーザグラフィック表現の仮想背景を含み得る。
いくつかの実施形態では、ビューイングパースペクティブは、ユーザ１１６がグラフィカルユーザインターフェースを介して仮想環境１１０を手動でナビゲートする際に更新される。
さらに別の実施形態では、ビューイングパースペクティブは、仮想カメラを使用して自動的に確立及び更新され、ライブデータフィードのビューイングパースペクティブは、ユーザグラフィック表現のビューイングパースペクティブ及び仮想カメラと関連付けられ、仮想カメラは、ユーザの目と頭部の傾きデータ、又は頭部の回転データ、又はこれらの組み合わせを追跡及び分析することによって自動的に更新される。一実施形態では、ビューイングパースペクティブは、ユーザグラフィック表現１２０の前に、例えば、背景が削除されたビデオ、又は背景が削除されていないビデオ、又はユーザ３Ｄ仮想カットアウト、又はユーザリアルタイム３Ｄ仮想カットアウトの前に仮想的に配置され位置合わせされる１つ又は複数の仮想カメラを使用して自動的に確立及び更新される。一実施形態では、１つ又は複数の仮想カメラは、目の高さから外側に向けることができる。別の実施形態では、２つ（片目につき１つ）の仮想カメラは、両目の高さから外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、ユーザグラフィック表現の頭部の位置の中心から外側に向けることができる。カメラ１１２によって取り込まれるユーザ１１６のビューイングパースペクティブは、ユーザグラフィック表現１２０のビューイングパースペクティブ、及び仮想カメラを操作するコンピュータビジョンを使用する関連する仮想カメラに関連付けられる。
仮想カメラは、ユーザ１１６のビューイングパースペクティブに関連付けられたユーザグラフィック表現１２０のビューイングパースペクティブの仮想表現を提供し、ユーザ１１６が、多くのビューイングパースペクティブのうちの１つで、ユーザグラフィック表現１２０が見ている仮想環境１１０の領域を見ることを可能にする。仮想カメラは、ユーザの目と頭部の傾きデータ、又は頭部の回転データ、又はこれらの組み合わせを追跡及び分析することによって自動的に更新される。仮想カメラの位置はまた、ユーザ１１６によって選択されたビューイングパースペクティブに応じて、ユーザ１１６によって手動で変更され得る。
セルフ・ビューイングパースペクティブは、背景が削除された別のユーザグラフィック表現１２０によって見られるような（例えば、電話カメラの「セルフィーモード」のような）ユーザグラフィック表現１２０のビューイングパースペクティブである。セルフ・ビューイングパースペクティブは、代替的に、他の参加者によって見られるようなユーザ１１６の知覚を理解するためのユーザグラフィック表現１２０の仮想背景を含み得る。セルフ・ビューイングパースペクティブは、ユーザグラフィック表現の仮想背景を含んでいるとき、仮想カメラによって取り込まれ得るユーザグラフィック表現の周囲の領域として設定することができ、結果的に、円形、正方形、長方形、又はセルフ・ビューイングパースペクティブのフレーミングに適した任意の他の形状となり得る。例えば、ユーザの背後に木々が見える窓が存在する家にユーザグラフィック表現１２０が仮想的に配置されるシナリオでは、セルフ・ビューイングパースペクティブは、ユーザグラフィック表現、及び代替的に、窓と木々を含む背景を表示する。
さらに別の実施形態では、ユーザの目及び頭部の傾きデータ、又は頭部の回転データ、又はこれらの組み合わせを追跡及び分析することは、コンピュータビジョンを使用して少なくとも１つのカメラ１１２によって取り込まれたビュー位置及び向きを取り込む及び分析すること、したがって仮想環境１１０での仮想カメラを操作することを含む。例えば、このような操作は、コンピュータビジョン法を通じて、少なくとも１つのカメラによって取り込まれた目及び頭部の傾きデータを受信及び処理し、目及び頭部の傾きデータからビュー位置及び向きを抽出し、目の傾きデータからの位置及び向きに含まれる仮想環境の１つ又は複数の座標を識別し、識別された座標に基づいて仮想カメラを操作することを含み得る。
いくつかの実施形態では、少なくとも１つのクラウドサーバコンピュータ１０２のメモリ１０６内の命令はさらに、少なくとも１つの仮想環境１１０内のユーザアクティビティのデータ分析を行うことを可能にする。データ分析は、他のユーザとの会話への参加、仮想環境１１０内のオブジェクトとの相互作用、購入、ダウンロード、コンテンツとの関与などを含む相互作用に用いられ得る。データ分析は、推奨、最適化、予測、及び自動化を行うために、相互作用からデータを収集及び分析するべく、複数の公知の機械学習技術を用いることができる。例えば、データ分析は、マーケティングの目的で用いられ得る。
いくつかの実施形態では、１つ又は複数のクラウドサーバコンピュータ１０２の少なくとも１つのプロセッサ１０４はさらに、少なくとも１つの仮想環境１１０に追加されたコンテンツの取引及びマネタイズを可能にするように構成される。少なくとも１つのクラウドサーバコンピュータ１０２は、ユーザが適切なアプリケーション・プログラミング・インターフェース（ＡＰＩ）を通じて少なくとも１つの仮想環境でのコンテンツを見つける、選択する、及び挿入することができるアプリケーション及びオブジェクトライブラリに通信可能に接続することができる。１つ又は複数のクラウドサーバコンピュータ１０２はさらに、対応するトランザクションの実行を可能にする１つ又は複数の支払いゲートウェイに接続することができる。コンテンツは、例えば、インタラクティブアプリケーション又は静的又はインタラクティブ３Ｄアセット、アニメーション、又は２Ｄテクスチャなどを含み得る。
図２Ａ～図２Ｂは、仮想環境プラットフォームの複数のバーティカルを含む仮想環境での相互作用を可能にするシステムの展開２００ａ及び２００ｂの概略図である。
図２Ａは、一実施形態に係る、仮想環境プラットフォーム１０８の複数のバーティカル２０２を含む仮想環境での相互作用を可能にするシステムの展開２００ａの概略図である。図２Ａのいくつかの要素は、図１の同じ又は類似の要素を指す場合があり、したがって、同じ参照番号を使用する場合がある。
バーティカル２０２は、例えば、仮想会議室としての会議２０４、例えば、仮想オフィススペースとしての仕事２０６、例えば、仮想教室としての学習２０８、及び例えば、仮想ショップとしてのショッピング２１０での使用に関係するコンテキストテーマを含む、仮想環境のコンテキストテーマに関連付けられている。図２Ａに表されていない他のバーティカルとしては、例えば、とりわけ、銀行業務、予約（例えば、ホテル、ツアー代理店、又はレストラン）、及び政府機関サービス（例えば、有料で新会社を設立するためのお問い合わせ）などのサービス、及びエンターテイメント（例えば、カラオケ、イベントホール又はアリーナ、映画館、ナイトクラブ、競技場、美術館、クルーズ船など）が挙げられる。
仮想環境バーティカル２０２のそれぞれは、対応するバーティカル２０２のコンテキストに関連付けられた１つ又は複数の利用可能な配置及び外観をそれぞれ有する複数の利用可能な仮想環境１１０（例えば、仮想環境Ａ～Ｌ）を含み得る。例えば、会議２０４のバーティカル２０２の仮想環境Ａは、座席付きの会議デスク、ホワイトボード、及びプロジェクタを備え得る。仮想環境１１０のそれぞれには、少なくとも１つのクラウドサーバコンピュータによって対応するリソース（例えば、メモリ、ネットワーク、及び計算能力）が提供され得る。バーティカル２０２は、仮想環境プラットフォーム１０８から利用することができ、仮想環境プラットフォーム１０８には、１人以上のユーザ１１６がクライアントデバイス１１８を介してグラフィカルユーザインターフェース２１２を通じてアクセスすることができる。グラフィカルユーザインターフェース２１２は、ダウンロード可能なクライアントアプリケーション又はウェブブラウザアプリケーションに含められ、選択された仮想環境１１０を実行するために必要とされるアプリケーションデータ及び命令を提供し、選択された仮想環境１１０での複数の相互作用を可能にする。さらに、仮想環境１１０のそれぞれは、対応するユーザグラフィック表現を通じて必要とされるデータ及び／又はサービスを提供することによって仮想環境内のユーザを支援することができる１つ又は複数の人間又は人工知能（ＡＩ）ホスト又はアシスタントを含み得る。例えば、人間又はＡＩの銀行サービス担当者は、ユーザの要求に応じて、プレゼンテーション、フォーム、リストなどの形態の必要とされる情報を提供することによって、仮想銀行のユーザを支援することができる。
いくつかの実施形態では、各仮想環境１１０は、カスタマイゼーションを含むそこでなされた変更を記録する永続仮想環境であり、変更は、少なくとも１つのクラウドサーバコンピュータ１０２の永続メモリストレージに格納される。例えば、仮想環境Ａの例に戻ると、デスクの周りの座席の配置、壁の色、又はさらには部屋のサイズ及び定員容量でさえ、ニーズ又はユーザの好みに合わせて変更することができる。実行された変更は永続メモリに保存され、その後、同じ仮想環境Ａでの後続のセッション中に利用可能となる。いくつかの例では、仮想環境１１０での変更の永続的な格納を可能にすることは、部屋のホスト又は所有者へのサブスクリプション料金の支払い（例えば、支払いゲートウェイに接続する仮想環境プラットフォーム１０８を通じて）を必要とし得る。
他の実施形態では、仮想環境１１０は、少なくとも１つのクラウドサーバコンピュータ１０２の一時的なメモリストレージに格納された一時的な仮想環境である。これらの実施形態では、仮想環境１１０で実行された変更は格納されない場合があり、したがって、将来のセッションで利用できない場合がある。例えば、一時的な仮想環境は、異なるバーティカル２０２からの事前定義された利用可能な仮想環境から、仮想環境プラットフォーム１０８から選択され得る。デコレーション又は配置の変更などの変更が可能になる場合又は可能にならない場合があるが、変更が可能になる場合、変更はセッションの終了後に失われる場合がある。
いくつかの実施形態では、１つ又は複数のバーティカル２０２内の仮想環境１１０の複合体は、仮想環境クラスタ２１４を表すことができる。例えば、一部の仮想環境クラスタ２１４は、数百又は数千もの仮想環境１１０を含み得る。ユーザにとって、仮想環境クラスタ２１４は、同じシステムの一部のように見えてもよく、そこでは、ユーザは、互いに対話することができ、又は同じ仮想環境クラスタ２１４内の他の仮想環境にシームレスにアクセスすることができる。例えば、仕事仮想環境バーティカル２０６からの仮想環境Ｄ及びＥと、会議仮想環境バーティカル２０４からの仮想環境Ｂは、会社を表す仮想環境クラスタ２１４を形成し得る。この例でのユーザは、ビデオ会議用の会議室に加えて、２つの異なる作業領域、例えば、ゲーム開発室及びビジネス開発室を有することができる。ゲーム開発室及びビジネス開発室のいずれかからのユーザは、会議室で会議を行い、プライベート仮想会議を開くことができ、残りのスタッフは、元の作業領域で現在のアクティビティを実行し続けることができる。
他の例では、仮想環境クラスタ２１４は、映画館又はイベント施設を表すことができ、各仮想環境１１０は、対応するユーザグラフィック表現を通じて１人又は複数のパフォーマによってライブパフォーマンスが行われる屋内又は屋外イベントエリア（例えば、劇場又はイベントアリーナ）を表す。例えば、オーケストラ及び／又は歌手は、カメラによるパフォーマンスのライブレコーディングを通じて、及びユーザグラフィック表現を通じて、例えば、ユーザライブ３Ｄ仮想カットアウトを通じて音楽コンサートを開催することができる。各パフォーマのユーザグラフィック表現は、そこからパフォーマンスを行うことができるステージの対応する３次元座標に挿入することができる。聴衆は、対応するユーザグラフィック表現を通じて劇場からのパフォーマンスを見ることができ、仮想的に拍手する、一緒に歌う、仮想的に踊る、仮想的にジャンプする、又は応援するなどの複数の相互作用を実施することができる。
他の例では、仮想環境クラスタ２１４は、複数の遊戯エリア（例えば、ブラックジャックエリア、ポーカーエリア、ルーレットエリア、及びスロットマシンエリア）、トークン購買エリア、及びイベントルームを備えるカジノを表すことができる。各遊戯エリアでのマシンは、各ゲームに関連したユーザ体験を提供するように構成されたカジノアプリケーションとして構成され得る。カジノ運営者は、対応するユーザグラフィック表現１２０又はユーザリアルタイム３Ｄ仮想カットアウトを有し得る。ｓで表されるカジノ運営者は、仮想カジノのユーザを支援する実際の人間の運営者又は人工知能プログラムであり得る。各カジノゲームは、仮想カジノを運営するカジノ会社からの支払いゲートウェイに結合され、ユーザとの間の支払いを可能にする。
他の例では、仮想環境クラスタ２１４は、複数のフロアを備えるショッピングモールを表し、各フロアは、店舗、ショールーム、共用エリア、フードコートなどの複数の仮想環境を備える。各仮想ルームは、対応する仮想ルーム管理者が管理することができる。例えば、各店舗は、対応する店舗管理者が管理することができる。セールスクラークは、３Ｄライブ仮想アバター又はユーザリアルタイム３Ｄ仮想カットアウトとして各エリアで利用することができ、実際の人間又はＡＩアシスタントであり得る。現在の例では、各仮想店舗及びサンプルフードコートのレストランは、対応する支払いゲートウェイ及び配送システムを通じて商品のオンライン購入及びユーザの住所への配達を可能にするように構成することができる。
別の例では、仮想環境クラスタ２１４は、仮想ナイトクラブの複数の仮想パーティエリアを備え、そこでは、ユーザは、対応するユーザグラフィック表現を通じて会う及び交流することができる。例えば、各仮想パーティエリアは、異なるテーマ及び関連する音楽及び／又はデコレーションを有し得る。会話及びテキストメッセージの送信とは別に、仮想ナイトクラブでの他のいくつかの相互作用としては、例えば、仮想的に踊る又は飲む、様々な着席エリア（例えば、ラウンジ又はバー）座ることなどが挙げられる。さらに、この例では、仮想ナイトクラブで屋内音楽コンサートを開催することができる。例えば、ステージ上の仮想テーブルの後ろでプレイするディスクジョッキー（ＤＪ）が電子音楽コンサートをプレイすることができ、この場合、ＤＪは、３Ｄライブ仮想アバター又はユーザリアルタイム３Ｄ仮想カットアウトによって表され得る。ＤＪがユーザリアルタイム３Ｄ仮想カットアウトによって表される場合、オーディオミキシングコンソールをプレイしているＤＪのリアルタイムの動きを、ＤＪ位置にいるＤＪから（例えば、ＤＪの家又はレコーディングスタジオから）画像を取り込むカメラによって得られたライブデータフィードからリアルタイム３Ｄ仮想カットアウトに投影することができる。さらに、聴衆の各メンバーは、独自のユーザグラフィック表現で表すこともでき、この場合、一部のユーザは、３Ｄライブ仮想アバターで表すことができ、他のユーザは、ユーザの好みに応じてユーザリアルタイム３Ｄ仮想カットアウトで表すことができる。
他の例では、仮想環境クラスタ２１４は、複数のプライベート又はパブリックカラオケルームを備える仮想カラオケエンターテイメント施設を表すことができる。各プライベートカラオケルームは、仮想カラオケマシン、仮想画面、ステージ、マイクロフォン、スピーカ、デコレーション、カウチ、テーブル、及び飲み物及び／又は食べ物を備え得る。ユーザが、歌曲データベースに接続することができる仮想カラオケマシンを通じて選曲することにより、仮想カラオケマシンは、ユーザのために曲を再生し、ユーザがユーザグラフィック表現を通じて歌うために仮想画面上に歌詞を投影するようにシステムをトリガすることができる。パブリックカラオケルームは、ユーザのために選曲し、ユーザをステージに呼び込み、パフォーマンスを聴くために必要に応じてユーザをミュート又はミュート解除する、人間又はＡＩのＤＪをさらに有し得る。ユーザは、マイクロフォンを通じてクライアントデバイスからリモートで歌うことができる。
他の例では、仮想環境クラスタ２１４は、寝室、エンジン室、イベントルーム、船首、船尾、左舷、右舷、ブリッジ、及び複数のデッキなどの複数のエリアを備える仮想クルーズ船を表すことができる。エリアの一部は、さらなる情報又はサービスを提供するなどの、対応するユーザグラフィック表現を通じてユーザにアテンドする人間又はＡＩアシスタントを有し得る。利用可能な場合、特定の目的地に到着したときに訪れることができる島、町、又は都市の風景を描写するために必要とされる、クルーズ船の外部の仮想環境又は単純なグラフィック表現を利用することができる。したがって、ユーザは、ユーザグラフィック表現を通じて、外洋の旅を体験し、新しい場所を発見すると同時に、仮想的に互いに相互作用することができる。
他の例では、仮想環境クラスタ２１４は、ユーザが適切な入力／出力デバイス（例えば、コンピュータのキーボード、ゲームコントローラなど）を通じてユーザグラフィック表現を介してプレイすることができる、競技場、コート、又はルームを表す複数の仮想環境を備えるｅ－スポーツスタジアム又は体育館を表すことができる。各ｅ－スポーツの仕組みは、プレイするスポーツによって異なり得る。ｅ－スポーツスタジアム又は体育館は、ユーザがアクセスするスポーツエリアを選択できる共用エリアを備えることができる。どのスポーツ活動がいつ利用できるかをユーザに通知する利用可能なスポーツスケジュールも利用可能であり得る。
図２Ｂは、様々なバーティカル２０２からの複数の仮想環境を組み合わせた仮想学校２１６の展開２００ｂを表す。仮想学校２１６は、４つの教室（例えば、教室Ａ～Ｄ ２１８～２２４）、講堂２２６、スポーツエリア２２８、カフェテリア２３０、職員室２３２、図書館２３４、及び書店２３６を備える。各仮想環境は、対応する環境に関連付けられた対応するグラフィック表現によって表される仮想オブジェクトを備え得る。
例えば、仮想教室（例えば、仮想教室Ａ～Ｄ ２１８～２２４のいずれか）は、生徒が授業に出席することを可能にし、生徒が様々な相互作用（例えば、挙手、コンテンツ投影、プレゼンテーション、口頭で又はテキストなどを通じて質問又は投稿をすること）を通じてクラスに参加することを可能にするように構成され、教師に特別な管理者権限を提供する（例えば誰かに発言権を与える、授業中に１人以上の生徒をミュートする、デジタルホワイトボードを通じてコンテンツを共有するなど）。講堂は、話者がスピーチすることを可能にする、又は複数のイベントを催すことができる。スポーツエリア２２８は、生徒が対応するユーザグラフィック表現を通じて複数のｅ－スポーツをプレイすることを可能にするように構成され得る。カフェテリア２３０は、生徒がオンラインで食べ物を注文すること及びユーザグラフィック表現を通じて社交することを可能にし得る。職員室２３２は、教師が対応する教師ユーザグラフィック表現を通じて会う、議題を議論する、生徒の進捗報告などを行うように構成され得る。図書館２３４は、生徒が学習課題又は余暇の読書のために電子書籍を借りることを可能にし得る。最後に、書店２３６は、生徒が本（例えば、電子書籍又は物理的な本）及び／又は他の学校教材を購入することを可能にするように構成され得る。
図３は、一実施形態に係る、仮想環境での相互作用を可能にするシステムで採用され得るサンプルハイブリッドシステムアーキテクチャ３００の概略図である。ハイブリッドシステムアーキテクチャ３００は、いくつかの実施形態では、図３ではそれぞれ点線領域で区切られているクライアントサーバ側３０４及びＰ２Ｐ側３０６を備える、他のピアクライアント（例えば、仮想会議、教室などの他の出席者）と相互作用するための通信のハイブリッドモデルである。このような通信のハイブリッドモデルを使用することで、ユーザ間の迅速なＰ２Ｐ通信が可能となり、各セッションにウェブサービス、データ、及びリソースを提供しながら待ち時間の問題が低減され、仮想環境でのユーザ間の及びコンテンツとの複数の相互作用が可能となり得る。図３のいくつかの要素は、図１～図２Ａの同じ又は類似の要素を指す場合があり、したがって、同じ参照番号を使用する場合がある。
種々の実施形態において、Ｐ２Ｐ側３０６に対するクライアントサーバ側３０４の使用レベル及び比率は、処理するデータの量、スムーズなユーザ体験を維持するために許される待ち時間、所望のサービス品質（ＱＯＳ）、必要なサービスなどに依存する。一実施形態では、Ｐ２Ｐ側３０６は、ビデオ及びデータの処理、ストリーミング、及びレンダリングのために用いられる。ハイブリッドシステムアーキテクチャ３００を採用するこのモードは、例えば、少ない待ち時間で少量のデータを処理する必要があるとき、及びクライアントデバイスがこのような動作を行うための十分な計算能力を備えていることを意味する「ヘビー」クライアントが存在するときに適している場合がある。別の実施形態では、クライアントサーバ側３０４とＰ２Ｐ側３０６の組み合わせが採用され、このようなＰ２Ｐ側３０６は、ビデオのストリーミング及びレンダリングのために用いられ、一方、クライアントサーバ側３０４は、データ処理のために用いられる。ハイブリッドシステムアーキテクチャ３００を採用するこのモードは、例えば、処理するべき大量のデータが存在するとき又は他のマイクロサービスが必要とされ得るときに適している場合がある。さらに別の実施形態では、クライアントサーバ側３０４は、データ処理とともにビデオのストリーミングのために用いられ、一方、Ｐ２Ｐ側３０６は、ビデオのレンダリングのために用いられる。ハイブリッドシステムアーキテクチャ３００を採用するこのモードは、例えば、処理するデータの量がさらに多いとき、及び／又はシンクライアントのみが利用可能であるときに適している場合がある。さらに別の実施形態では、クライアントサーバ側３０４は、ビデオのストリーミング、レンダリング、及びデータ処理のために用いられる。ハイブリッドシステムアーキテクチャ３００を採用するこのモードは、ベリーシンクライアントが利用可能であるときに適している場合がある。ハイブリッドシステムアーキテクチャ３００は、必要に応じて、同じセッション内でクライアントサーバ側３０４とＰ２Ｐ側３０６との両方の異なる使用モダリティを切り替えることを可能にするように構成され得る。
いくつかの実施形態では、クライアントサーバ側３０４からの少なくとも１つのクラウドサーバは、中間サーバであり、これは、サーバがクライアントデバイス間のデータの交換を容易にする及び／又は最適化するために用いられることを意味する。このような実施形態では、少なくとも１つのクラウドサーバは、着信画像及びマルチメディアストリームを管理、分析、処理、及び最適化し、ルータトポロジー（例えば、限定はされないが、ＳＦＵ（Ｓｅｌｅｃｔｉｖｅ Ｆｏｒｗａｒｄｉｎｇ Ｕｎｉｔｓ）、ＳＡＭＳ（Ｓｐａｔｉａｌｌｙ Ａｎａｌｙｚｅｄ Ｍｅｄｉａ Ｓｅｒｖｅｒ）、マルチメディアルータなど）、又は画像及びメディアの処理サーバトポロジー（例えば、デコード、結合、改善、ミキシング、強化、拡張、コンピューティング、操作、エンコーディングを含むがこれらに限定されないタスク用）、又は転送サーバトポロジー（ＭＣＵ、クラウドメディアミキサ、クラウド３Ｄレンダラー、メディアサーバを含むがこれらに限定されない）、又は他のサーバトポロジーとして、発信ストリームの転送を管理、評価、及び／又は最適化することができる。
中間サーバがＳＡＭＳであるこのような実施形態では、このようなメディアサーバは、各送信クライアントデバイスの着信データ（例えば、メタデータ、優先度データ、データクラス、空間構造データ、３次元位置、向き、又は移動情報、画像、メディア、スケーラブルなビデオコーデックベースのビデオ、又はこれらの組み合わせ）を管理、分析、及び処理し、このような分析において、発信データストリームの各受信クライアントデバイスへの転送を管理及び／又は最適化する。これは、時間（例えば、様々なフレームレート）、空間（例えば、異なる画像サイズ）、品質（例えば、異なる圧縮又はエンコードに基づく品質）、及び色（例えば、色の解像度及び範囲）についてメディアを変更、アップスケーリング、又はダウンスケーリングすることを含み、特定の受信クライアントデバイスユーザの空間的３次元の向き、距離、及び１つ又は複数のユーザクライアントデバイスを受信するための最適な帯域幅及びコンピューティングリソース使用率を実現するこのような着信データに対する優先度の関係性などの因子に基づく場合がある。
いくつかの実施形態では、メディア、ビデオ、及び／又はデータ処理タスクは、画像フィルタリング、コンピュータビジョン処理、画像鮮明化、背景の改善、背景の削除、前景のぼかし、アイカバーリング、顔のピクセル化、音声歪み、画像アップレズ、画像クレンジング、骨格分析、顔又は頭部のカウント、オブジェクト認識、マーカ又はＱＲコード追跡、視標追跡、特徴分析、３Ｄメッシュ又はボリューム生成、特徴追跡、顔認識、ＳＬＡＭ追跡、及び顔の表情認識、又はこのようなメディアルータ又はサーバ上で実行されるマイクロサービスの形態の他のモジュラプラグインのうちの１つ又は複数を含むエンコーディング、トランスコーディング、デコーディング空間又は３Ｄ分析及び処理のうちの１つ又は複数を含む。
クライアントサーバ側３０４は、安全な通信プロトコル３０８を使用して、ネットワークを経由したクライアントデバイス１１８とウェブ／アプリケーションサーバ３１０との安全なエンドツーエンド通信を可能にする。サンプルの適切な安全な通信プロトコル３０８としては、例えば、それ自体が安全なＵＤＰ（ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ）であるＤＴＬＳ（Ｄａｔａｇｒａｍ Ｔｒａｎｓｐｏｒｔ Ｌａｙｅｒ Ｓｅｃｕｒｉｔｙ）、ＳＲＴＰ（Ｓｅｃｕｒｅ Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ Ｓｅｃｕｒｅ（ｈｔｔｐｓ：／／）、及びＷｅｂＳｏｃｋｅｔ Ｓｅｃｕｒｅ （ｗｓｓ：／／）が挙げられ、これらは、互換性があり、全二重認証済みアプリケーションアクセス、プライバシー保護、及び転送中の交換データの整合性をもたらすことができる。適切なウェブ／アプリケーションサーバ３１０としては、例えば、Ｊｅｔｔｙウェブアプリケーションサーバが挙げられ、これはＪａｖａ ＨＴＴＰウェブサーバ及びＪａｖａ Ｓｅｒｖｌｅｔコンテナであり、マシン・ツー・マシン通信及びウェブアプリケーションサービスの適正な展開を可能にする。
ウェブ／アプリケーションサーバ３１０は、図３では単一の要素として示されているが、ウェブサーバとアプリケーションサーバは別個の要素であり得ることが当業者にはわかるであろう。例えば、ウェブサーバは、安全な通信プロトコル３０８を通じてクライアント要求を受信し、要求をアプリケーションサーバにルーティングするように構成され得る。したがって、ウェブ／アプリケーションサーバ３１０は、安全な通信プロトコル３０８を使用してクライアント要求を受信し、要求を処理することができ、これは、１つ又は複数のマイクロサービス３１２（例えば、Ｊａｖａベースのマイクロサービス）を要求すること及び／又は対応するデータベース管理システム３１６を使用してデータベース３１４からデータを検索することを含み得る。アプリケーション／ウェブサーバ３１０は、セッション管理と、３Ｄコンテンツ及びアプリケーション論理などの多数の他のサービス、並びにセッションの状態永続性（例えば、共有文書の永続的な格納、仮想環境での相互作用及び変更の同期、又は仮想環境の視覚的状態及び修正の永続化のために）を提供し得る。適切なデータベース管理システム３１６は、例えば、オブジェクト・リレーショナル・マッピング（ＯＲＭ）データベース管理システムであり、これは、オブジェクト指向プログラミング言語を使用して互換性のないタイプのシステム間でデータを変換するためにＯＲＭ機能が与えられたオープンソースの商用の（例えば、独自仕様の）サービスを使用するデータベース管理に適している場合がある。さらなる実施形態では、パブリッシュ－サブスクライブモデルを使用することによって、マイクロサービスとクライアントデバイスとの間の分散型メッセージ及びリソース配信プラットフォームとして、分散型空間データバス３１８をさらに使用することができる。
Ｐ２Ｐ側３０６は、適切なＰ２Ｐ通信プロトコル３２０を使用することにより、適切なアプリケーション・プログラミング・インターフェース（ＡＰＩ）を通じて仮想環境でのピアクライアントデバイス１１８間のリアルタイム通信を可能にし、これにより、そのリアルタイムの相互作用及び同期が可能となり、マルチユーザコラボレーション環境がもたらされる。例えば、Ｐ２Ｐ側３０６を通じて、１人以上のユーザの寄与を他のユーザに直接送信することができ、他のユーザは、実行された変更をリアルタイムで観察することができる。適切なＰ２Ｐ通信プロトコル３２０の例は、ＷｅｂＲＴＣ（Ｗｅｂ Ｒｅａｌ－Ｔｉｍｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）通信プロトコルであり、これは、規格、プロトコル、及びＪａｖａＳｃｒｉｐｔ ＡＰＩのコレクションであり、これらを組み合わせることにより、ピアクライアントデバイス１１８間のＰ２Ｐ音声、ビデオ、及びデータ共有が可能になる。Ｐ２Ｐ側３０６のクライアントデバイス１１８は、１つ又は複数のレンダリングエンジン３２２を使用して、ライブセッションのリアルタイムの３Ｄレンダリングを行うことができる。適切なレンダリングエンジン３２２の例は、プラグインを使用せずに任意の互換性のあるウェブブラウザ内の２Ｄ及び３ＤグラフィックスをレンダリングするためのＪａｖａＳｃｒｉｐｔ ＡＰＩであるＷｅｂＧＬに基づく３Ｄエンジンであり、クライアントデバイス１１８の１つ又は複数のプロセッサ（例えば、１つ又は複数のグラフィック処理ユニット（ＧＰＵ））による物理及び画像処理及びエフェクトの使用を加速させる。さらに、Ｐ２Ｐ側３０６でのクライアントデバイス１１８は、１つ又は複数の適切なコンピュータビジョンライブラリ３２４を通じて、画像及びビデオ処理と機械学習コンピュータビジョン技術を実行することができる。一実施形態では、Ｐ２Ｐ側３０６でのクライアントデバイスによって実行される画像及びビデオ処理は、ユーザグラフィック表現を仮想環境に挿入する前にユーザグラフィック表現の作成に用いられる背景削除プロセスを含み、これは、受信したメディアストリームにリアルタイム又はほぼリアルタイムのいずれかで、又は例えば写真に非リアルタイムで実行することができる。適切なコンピュータビジョンライブラリ３２４の例は、主にリアルタイムのコンピュータビジョンタスクのために構成されたプログラミング関数のライブラリであるＯｐｅｎＣＶであり得る。
図４は、一実施形態に係る、ユーザが仮想環境で相互作用することができる仮想環境ライブセッションモジュール４０２のグラフィカルユーザインターフェース４００の概略図である。
ユーザが仮想環境ライブセッションモジュール４０２のグラフィカルユーザインターフェース４００にアクセスできるようになる前に、ユーザは、ピアユーザとの会話に参加するために最初にピアクライアントデバイスから招待を受信し、これにより、処理及びレンダリングがクライアントデバイスによって行われるときにユーザクライアントデバイス間のＰ２Ｐ通信チャネルが開かれる、又は代替的に、処理及びレンダリングが少なくとも１つのクラウドサーバコンピュータによって行われるときにクラウドサーバコンピュータを通じて間接通信チャネルが開かれる。さらに、図５を参照して説明の後半に示すように、ユーザ３Ｄ仮想カットアウトから、ユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオへの移行を行うことができる。
仮想環境ライブセッションモジュール４０２は、選択された仮想環境を示すグラフィカルユーザインターフェースを含む仮想環境画面４０４を備えることができ、これは、仮想環境の選択されたバーティカルのコンテキストに関連付けられた仮想環境の構成と、対応する仮想オブジェクト、アプリケーション、他のユーザグラフィック表現などを含み得る。仮想環境ライブセッションモジュール４０２のグラフィカルユーザインターフェース４００は、例えば、ユーザリアルタイム３Ｄ仮想カットアウトを通じてユーザが互いに従事するように構成された複数の相互作用４０６を可能にする及び表示することができる。仮想環境ライブセッションモジュール４０２は、各相互作用４０６を可能にする対応するタスクに関連付けられた１つ又は複数のデータモデルと、前記タスクを実施するのに必要なコンピュータ命令を備えることができる。各相互作用４０６は様々な方法で表すことができ、図４に示された例では、個々の相互作用４０６は、それぞれ、仮想環境ライブセッションモジュール４０２からのグラフィカルユーザインターフェース４００上のボタンとして表され、各相互作用ボタンをクリックすることにより、相互作用４０６に関連付けられたタスクを行うために対応するサービスを要求することができる。仮想環境ライブセッションモジュール４０２は、例えば、図３を参照して開示したハイブリッドシステムアーキテクチャ３００を通じて可能になる。
相互作用４０６は、例えば、チャット４０８、画面共有４１０、ホストオプション４１２、リモートセンシング４１４、レコーディング４１６、投票４１８、文書共有４２０、絵文字送信４２２、議題の共有及び編集４２４、又は他の相互作用４２６を含み得る。他の相互作用４２６は、例えば、仮想ハグ、挙手、握手、歩く、コンテンツ追加、会議の概要の準備、オブジェクトの移動、投影、レーザーポインティング、ゲームプレイ、購入、及びユーザ間の交換、競争、協力、対立の解決を容易にする他の社会的相互作用を含み得る。様々な相互作用４０６を以下でより詳細に説明する。
チャット４０８は、テキストコメント及びオンザフライリソースを送受信することを可能にするチャットウィンドウを開くことができる。
画面共有４１０は、ユーザの画面を他の参加者とリアルタイムで共有することを可能にし得る。
ホストオプション４１２は、１人以上のユーザをミュートにする、１人以上のユーザを招待又は削除する、会話を終了するなどのさらなるオプションを会話ホストに提供するように構成される。
リモートセンシング４１４は、不在、ビジー、対応可能、オフライン、電話会議中、又は会議中などのユーザの現在のステータスを表示することを可能にする。ユーザステータスは、グラフィカルユーザインターフェースを通じて手動で、又はカメラから取得されたデータフィードに基づいてマシンビジョンアルゴリズムを通じて自動的に、更新され得る。
レコーディング４１６は、会話からの音声及び／又はビデオをレコーディングすることを可能にする。
投票４１８は、他の参加者によって投稿された１つ又は複数の提案に投票することを可能にする。投票４１８を通じて、ホスト又はそのような許可を得た他の参加者によっていつでも投票セッションを開始することができる。参加者ごとに件名と選択肢を表示することができる。投票４１８の相互作用の構成に応じて、タイムアウト期間の終了時又は全員の応答の終了時に、すべての参加者に結果を示すことができる。
文書共有４２０は、他の参加者と任意の適切なフォーマットで文書を共有することを可能にする。これらの文書はまた、１つ又は複数のクラウドサーバコンピュータの永続メモリに格納することで永続的に保持することができ、仮想通信が行われる仮想環境に関連付けることができる。
絵文字送信４２２は、他の参加者に絵文字を送信することを可能にする。
議題の共有及び編集４２４は、参加者のいずれかによって準備された議題の共有及び編集を可能にする。いくつかの実施形態では、議題項目のチェックリストは、会議の前にホストが設定することができる。議題は、ホスト又はその許可を得た他の参加者がいつでも前面に出すことができる。議題編集オプションを通じて、合意に達したときに項目のチェックを外す、又は延期することができる。
他の相互作用４２６は、仮想環境バーティカルに応じて仮想環境で提供され得る可能な相互作用の網羅的でないリストを提供する。挙手は、仮想通信又は会議中に手を挙げることを可能にし、これにより、ホスト又はそのような資格を得た他の参加者はユーザが話すことを可能にする。歩くは、ユーザリアルタイム３Ｄ仮想カットアウトを通じて仮想環境内を移動することを可能にする。コンテンツ追加は、ユーザが、インタラクティブアプリケーション又は静的又はインタラクティブ３Ｄアセット、アニメーション、又は２Ｄテクスチャを、仮想環境に追加することを可能にする。会議の概要の準備は、仮想会議の結果の自動準備と、セッションの終了時にこのような結果を参加者に配信することを可能にする。オブジェクトの移動は、仮想環境内でオブジェクトを移動することを可能にする。投影は、参加者の画面から仮想環境で利用可能なスクリーン又は壁にコンテンツを投影することを可能にする。レーザーポインティングは、プレゼンテーション上の所望のコンテンツを強調表示するためにレーザをポインティングすることを可能にする。ゲームプレイは、ライブセッション中に共有され得る１つ又は複数のゲーム又は他のタイプのアプリケーションをプレイすることを可能にする。購買は、コンテンツのセッション中の購入を可能にする。本明細書に記載されていない他の相互作用も、仮想環境プラットフォームの特定の用途に応じて構成され得る。
いくつかの実施形態では、システムはさらに、アドホック仮想通信の作成を可能にし、これは、仮想環境での現在のビューイングパースペクティブ又は位置を変更する必要なしに、ユーザグラフィック表現間のアドホック音声通信チャネルを作成することを含み得る。例えば、ユーザグラフィック表現は、別のユーザグラフィック表現に接近し、両方のユーザグラフィック表現エリアが存在する仮想環境内の場所でアドホック音声会話を行うことができる。このような通信は、例えば、ユーザグラフィック表現間の距離、位置、及び向き、及び／又はそれらの現在の対応可能性ステータス（例えば、対応可能又は対応不可能）、又はこのようなアドホック通信のステータス構成、又はそれらの組み合わせを考慮に入れることによって可能となる。接近するユーザグラフィック表現は、この例では、アドホック通信が可能であることをシグナリングする、したがって、両方のユーザグラフィック表現間の会話の開始を設定する、他のユーザグラフィック表現に関する視覚的フィードバックを見ることになり、この場合、接近するユーザは話しかけることができ、他のユーザはそれを聞いて応答することができる。別の例では、ユーザグラフィック表現は、別のユーザグラフィック表現に接近し、ユーザグラフィック表現をクリックし、会話招待を送信し、招待者による承認後に、両方のユーザグラフィック表現エリアが存在する仮想環境内の場所でアドホック音声会話を行うことができる。他のユーザは、２つのユーザグラフィック表現間のプライバシー設定に従って、会話を聞くことができるかどうかにかかわらず、ユーザグラフィック表現間の相互作用、表現、手の動きなどを見ることができる。前述の４０６の相互作用又は他の相互作用４２６のいずれも、仮想環境画面４０４内で直接行うこともできる。
図５は、一実施形態に係る、或るタイプのユーザグラフィック表現から別のタイプのユーザグラフィック表現に、例えば、ユーザ３Ｄ仮想カットアウトからユーザリアルタイム３Ｄ仮想カットアウトに、又は背景が削除されたビデオ、又は背景が削除されていないビデオに移行することを可能にする方法５００を示す。
移行は、ユーザが他のユーザグラフィック表現と会話しているときに可能になる。例えば、ユーザは、現在オフィスチェアに座っていて、仮想オフィスのコンピュータで作業している場合がある。ユーザの現在のグラフィック表現は、ユーザ３Ｄ仮想カットアウトの表現であり得る。その時点では、ユーザからのライブデータフィードは必要とされない場合があるため、カメラはオンになっていない場合がある。しかしながら、ユーザがカメラをオンにすることを決定した場合、ユーザ３Ｄ仮想カットアウトは、本明細書でより詳細に説明されるように、ユーザのライブデータフィードから取り込まれたユーザの顔分析を通じて提供された顔の表情を含み得る。
ユーザが別のユーザグラフィック表現と会話してライブセッションを開始する際に、ユーザのカメラがアクティブ化されていない場合、カメラをアクティブ化し、ユーザのライブストリームを提供し得るライブデータフィードの取り込みを開始し、ユーザ３Ｄ仮想カットアウトを、ユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオに移行することができる。さらに図１で説明されるように、ユーザリアルタイム３Ｄ仮想カットアウト５０４のライブストリームは、クライアント又はサーバで処理及びレンダリングすることができ、又は、リアルタイムの独自の処理及びレンダリングのためにＰ２Ｐシステムアーキテクチャ又はハイブリッドシステムアーキテクチャで他のピアクライアントデバイスに送信することができる（例えば、図３を参照して説明されるハイブリッドシステムアーキテクチャ３００を通じて）。
図５の方法５００は、ステップ５０２で、ユーザグラフィック表現に接近することで開始する。次いで、ステップ５０４で、方法５００は、ユーザグラフィック表現を選択及びクリックする。続いて、ステップ５０６で、方法５００は、クライアントデバイスを通じて別のユーザグラフィック表現との間で会話参加招待を送信又は受信する。続いて、ステップ５０８で、方法５００は、対応するクライアントデバイスによって、受信した招待を承諾する。次いで、方法５００は、ステップ５１０で、ユーザ３Ｄ仮想カットアウトを、ユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオに移行する。最後に、ステップ５１２で、方法５００は、処理及びレンダリングがクライアントデバイスによって行われるときにユーザクライアントデバイス間のＰ２Ｐ通信チャネルを開くこと、又は処理及びレンダリングが少なくとも１つのクラウドサーバコンピュータによって行われるときにクラウドサーバコンピュータを通じて間接通信チャネルを開くことで終了する。いくつかの実施形態では、会話は、参加者のユーザリアルタイム３Ｄ仮想カットアウトから表示されるリアルタイム音声及びビデオを送信及び受信することを含む。
図６Ａ～図６Ｃは、対応するクライアントデバイス１１８及びクラウドサーバ１０２によってクライアントサーバ側３０４で行われる複数の画像処理の組み合わせの概略図である。クライアントサーバ側は、例えば、図３に示されるようなハイブリッドシステムアーキテクチャ３００などのハイブリッドシステムアーキテクチャの一部であり得る。
図６Ａ～図６Ｃの一実施形態では、少なくとも１つのクラウドサーバ１０２は、Ｔｒａｖｅｒｓａｌ Ｕｓｉｎｇ Ｒｅｌａｙ Ｎｅｔｗｏｒｋ Ａｄｄｒｅｓｓ Ｔｒａｎｓｌａｔｉｏｎ （ＮＡＴ）（ＴＵＲＮと呼ばれることもある）サーバとして構成することができ、これは、サーバがクライアントデバイス１１８間の接続を確立することができない状況に適している場合がある。ＴＵＲＮは、ＮＡＴ（ＳＴＵＮ）のＳｅｓｓｉｏｎ Ｔｒａｖｅｒｓａｌ Ｕｔｉｌｉｔｉｅｓの拡張機能である。
ＮＡＴは、パケットがトラフィックルーティングデバイスを通過している間にパケットのＩＰヘッダ内のネットワークアドレス情報を変更することによって、インターネットプロトコル（ＩＰ）アドレス空間を別のアドレス空間に再マッピングする方法である。したがって、ＮＡＴは、インターネットなどのネットワークにアクセスするプライベートＩＰアドレスを与えることができ、ルーティングデバイスなどの単一のデバイスがインターネットとプライベートネットワークとの間のエージェントとして機能できるようにする。ＮＡＴは、対称又は非対称とすることができる。クライアントデバイスを接続するための最適なパスを見つけるように構成されたＩｎｔｅｒａｃｔｉｖｅ Ｃｏｎｎｅｃｔｉｖｉｔｙ Ｅｓｔａｂｌｉｓｈｍｅｎｔ（ＩＣＥ）と呼ばれるフレームワークは、対称又は非対称のＮＡＴが必要かどうかを判定することができる。対称ＮＡＴは、ＩＰアドレスをプライベートからパブリックに又はその逆に変換するジョブだけでなく、ポートを変換するジョブも行う。他方では、非対称のＮＡＴは、ＳＴＵＮサーバを使用して、クライアントが接続の確立に用いられ得るパブリックＩＰアドレス及び背後にあるＮＡＴのタイプを検出することを可能にする。多くの場合、ＳＴＵＮは、接続のセットアップ中にのみ用いることができ、そのセッションが確立されると、クライアントデバイス間でデータフローを開始することができる。
ＴＵＲＮは、対称ＮＡＴの場合に使用することができ、処理された及び／又は未処理のデータがクライアントデバイス間でリレーされている間、接続が確立された後もメディアパスに残り得る。
図６Ａは、クライアントデバイスＡ、クラウドサーバ１０２、及びクライアントデバイスＢを備えるクライアントサーバ側３０４を示す。図６Ａでは、クライアントデバイスＡは、処理されるデータの送信側であり、クライアントデバイスＢは、データの受信側である。複数の画像処理タスクが、クライアントデバイスＡ、クラウドサーバ１０２、及び／又はクライアントデバイスＢのいずれによって行われるかに基づいて描画及び分類され、したがって、クライアントデバイスＡ処理６０２、サーバ画像処理６０４、及びクライアントデバイスＢ処理６０６として分類されている。
画像処理タスクは、背景の削除６０８、さらなる処理又は改善６１０、及び仮想環境への挿入及び組み合わせ６１２を含む。図６Ｂ及び図６Ｃから、また図７Ｂからも明らかとなるように、本明細書に示される３つの画像処理タスクの組み合わせは、ユーザグラフィック表現の生成、改善、及び仮想環境への挿入／組み合わせに用いられ得る。さらに、簡単にするために、図６Ｂ～図６Ｃ及び図７Ｂ～図７Ｃでは、背景の削除６０８は「ＢＧ」６０８として示され、さらなる処理又は改善６１０は「＋＋」６１０として示され、仮想環境への挿入及び組み合わせ６１２は「３Ｄ」６１２として示されている。
いくつかの実施形態では、ユーザグラフィック表現を仮想環境に挿入して組み合わせることは、ユーザグラフィック表現の前に、例えば、背景が削除されたビデオ、又は背景が削除されていないビデオ、又はユーザ３Ｄ仮想カットアウト、又はユーザリアルタイム３Ｄ仮想カットアウトの前に仮想的に配置され位置合わせされる１つ又は複数の仮想カメラを生成することを含む。一実施形態では、１つ又は複数の仮想カメラは、目の高さから外側に向けることができる。別の実施形態では、２つ（片目につき１つ）の仮想カメラは、両目の高さから外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、ユーザグラフィック表現の頭部の位置の中心から外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、ユーザグラフィック表現の中心から外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、セルフ・ビューイングパースペクティブにあるとき、ユーザグラフィック表現の前に、例えば、ユーザグラフィック表現の頭部の高さで、ユーザグラフィック表現に向けて配置される場合がある。１つ又は複数の仮想カメラは、少なくとも、コンピュータビジョンを使用して、取り込んだユーザのビューイングパースペクティブデータを仮想環境内のユーザグラフィック表現のビューイングパースペクティブと関連付けることによって作成される。１つ又は複数の仮想カメラは、ユーザの目と頭部の傾きデータ、又は頭部の回転データ、又はこれらの組み合わせを追跡及び分析することによって自動的に更新され、また、ユーザによって選択されたビューイングパースペクティブに応じてユーザが手動で変更することもできる。
画像処理の組み合わせと、クライアントデバイスＡ処理６０２、サーバ画像処理６０４、及びクライアントデバイスＢ処理６０６の対応する使用状況レベルは、処理するデータの量、スムーズなユーザ体験を維持するために許される待ち時間、所望のサービス品質（ＱＯＳ）、必要なサービスなどに依存する。
図６Ｂは、画像処理の組み合わせ１～４を示す。
画像処理の組み合わせ１において、クライアントデバイスＡは、背景の削除６０８を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現を、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理又は改善６１０のために少なくとも１つのクラウドサーバ１０２に送信する。少なくとも１つのクラウドサーバは、背景が削除された強化されたユーザグラフィック表現をクライアントデバイスＢに送信し、クライアントデバイスＢは、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。
画像処理の組み合わせ２において、クライアントデバイスＡは、背景の削除６０８を含むユーザグラフィック表現を生成し、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理又は改善６１０を行い、少なくとも１つのクラウドサーバ１０２に送信する。少なくとも１つのクラウドサーバ１０２は、背景が削除された強化されたユーザグラフィック表現をクライアントデバイスＢに送信し、クライアントデバイスＢは、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。
画像処理の組み合わせ３において、クライアントデバイスＡは、背景の削除６０８を含むユーザグラフィック表現を生成し、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理又は改善６１０を行い、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。次いで、クライアントデバイスＡは、仮想環境に挿入されて組み合わされた背景が削除された強化されたユーザグラフィック表現を、クライアントデバイスＢにリレーするためにクラウドサーバに送信する。
画像処理の組み合わせ４において、クライアントデバイスＡは、背景の削除６０８を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現を、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理又は改善６１０を行うために少なくとも１つのクラウドサーバ１０２に送信する。次いで、少なくとも１つのクラウドサーバは、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせて、クライアントデバイスＢに送信する。
図６Ｃは、画像処理の組み合わせ５～８を示す。
画像処理の組み合わせ５において、クライアントデバイスＡは、背景の削除６０８を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現を、クライアントデバイスＢにリレーするために少なくとも１つのクラウドサーバ１０２に送信する。クライアントデバイスＢは、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理又は改善６１０を行い、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。
画像処理の組み合わせ６において、クライアントデバイスＡは、少なくとも１つのカメラから受信したカメラライブデータフィードを送信し、未処理のデータを少なくとも１つのクラウドサーバ１０２に送信し、少なくとも１つのクラウドサーバ１０２は、背景の削除６０８を含むユーザグラフィック表現の生成を行い、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理又は改善６１０を行い、背景が削除された強化されたユーザグラフィック表現をクライアントデバイスＢに送信する。クライアントデバイスＢは、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。
画像処理の組み合わせ７において、クライアントデバイスは、少なくとも１つのカメラから受信したカメラライブデータフィードを送信し、未処理のデータを少なくとも１つのクラウドサーバ１０２に送信する。少なくとも１つのクラウドサーバ１０２は、背景の削除６０８を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理又は改善６１０を行い、その後、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせて、クライアントデバイスＢに送信する。
画像処理の組み合わせ８において、クライアントデバイスＡは、少なくとも１つのカメラから受信したカメラライブデータフィードを送信し、未処理のデータをクライアントデバイスＢにリレーするために少なくとも１つのクラウドサーバ１０２に送信する。クライアントデバイスＢは、該データを使用して、背景の削除６０８を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理又は改善６１０を行い、その後、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。理解されるように、いくつかの実施形態では、少なくとも１つのクラウドサーバ１０２は、中間サーバであり、これは、サーバがクライアントデバイス間のデータの交換を容易にする及び／又は最適化するために中間サーバトポロジーを使用することを意味する。
このような実施形態では、少なくとも１つのクラウドサーバは、中間サーバであり、これは、サーバがクライアントデバイス間のデータの交換を容易にする及び／又は最適化するために用いられることを意味する。このような実施形態では、少なくとも１つのクラウドサーバは、ルータトポロジー（例えば、ＳＦＵ、ＳＡＭＳ、マルチメディアサーバルータなど）、又はメディア処理（例えば、デコード、結合、改善、ミキシング、強化、拡張、コンピューティング、操作、又はエンコーディングを含むタスクを行う）、及び転送サーバトポロジー（例えば、限定はされないが、マルチポイントコントロールユニット、クラウドメディアミキサ、クラウド３Ｄレンダラー）、又は他のサーバトポロジーとして、着信マルチメディアストリームを管理、分析、及び最適化し、発信ストリームの転送を管理、評価、最適化することができる。
中間サーバがＳＡＭＳであるこのような実施形態では、このようなメディアサーバは、送信クライアントデバイスの着信データ（例えば、メタデータ、優先度データ、データクラス、空間構造データ、３次元位置、向き、又は移動情報、画像、メディア、又はスケーラブルなビデオコーデックベースのビデオ）を管理、分析、及び処理し、このような分析では、発信データストリームの受信クライアントデバイスへの転送を管理又は最適化する。これは、特定の受信クライアントデバイスユーザの空間的３次元の向き、距離、及び１つ又は複数のユーザクライアントデバイスを受信するための最適な帯域幅及びコンピューティングリソース使用率を実現するこのような着信データに対する優先度の関係性などの１つ又は複数の因子に基づいて、時間（例えば、様々なフレームレート）、空間（例えば、異なる画像サイズ）、品質（例えば、異なる圧縮又はエンコードに基づく品質）、及び色（例えば、色の解像度及び範囲）について、メディアを変更、アップスケーリング、又はダウンスケーリングすることを含み得る。
中間サーバトポロジーは、例えば、図６Ａ～図６Ｃのように少なくとも１つのクラウドサーバ１０２がクライアントデバイスＡ及びＢ間で処理している画像処理の組み合わせ１～８に適している場合がある。
図７Ａ～図７Ｃは、通信及び処理がクライアントサーバ側を通じて行われる場合と区別するためにピアデバイスＡ～Ｂとして図７Ａ～図７Ｂに示される対応するクライアントデバイスによってＰ２Ｐ側３０６で行われる複数の画像処理の組み合わせの概略図である。Ｐ２Ｐ側３０６は、例えば、図３に示されるようなハイブリッドシステムアーキテクチャ３００などのハイブリッドシステムアーキテクチャの一部であり得る。
図７Ａは、ピアデバイスＡ及びピアデバイスＢを備えるＰ２Ｐ側３０６を示し、この場合、ピアデバイスＡは、処理されるデータの送信側であり、ピアデバイスＢは、データの受信側である。複数の画像及びメディアの処理タスクが、ピアデバイスＡ又はピアデバイスＢのいずれによって行われるかに基づいて描画及び分類され、したがって、ピアデバイスＡ処理７０２及びピアデバイスＢ処理７０４として分類される。画像及びメディアの処理タスクは、背景の削除６０８、さらなる処理又は改善６１０、及び仮想環境への挿入及び組み合わせ６１２を含み得るがこれらに限定されない。
図７Ｂは、画像処理の組み合わせ１～３を示す。
画像処理の組み合わせ１において、ピアデバイスＡは、背景の削除６０８を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現に対してさらなる処理又は改善６１０を行い、背景が削除された強化されたユーザグラフィック表現を生成し、背景が削除された強化されたユーザグラフィック表現を、３次元座標を有する仮想環境に挿入して組み合わせる。次いで、ピアデバイスＡは、仮想環境に挿入されて組み合わされた、背景が削除された強化されたユーザグラフィック表現をピアデバイスＢに送信する。
画像処理の組み合わせ２において、ピアデバイスＡは、背景の削除６０８を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現をピアデバイスＢに送信する。ピアデバイスＢは、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理又は改善６１０を行い、仮想環境に挿入して組み合わせる。
画像処理の組み合わせ３において、ピアデバイスＡは、少なくとも１つのカメラから受信したカメラライブデータフィードを送信し、エンコードされたデータをピアデバイスＢに送信する。ピアデバイスＢは、データをデコードし、該データを使用して、背景の削除６０８を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理又は改善６１０を行い、その後、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。
図７Ｃは、画像処理の組み合わせ４～６を示す。
図７Ｃの一実施形態では、少なくとも１つのクラウドサーバ１０２は、ＳＴＵＮサーバとして構成することができ、これにより、ピアデバイスは、ピアデバイス間のデータ接続及びデータ交換を確立するために用いられ得るそれらのパブリックＩＰアドレス及び背後にあるＮＡＴのタイプ、情報を検出することができる。図７Ｃの別の実施形態では、少なくとも１つのクラウドサーバ１０２は、シグナリング用に構成することができ、これは、ピアデバイスが互いに位置を特定して接続する、及び、少なくとも１つのクラウドサーバによって行われる通信コーディネーションを通じてデータを交換するために用いられ得る。
画像処理の組み合わせ４～６のすべてにおいて、少なくとも１つのクラウドサーバ１０２はピアデバイスＡ及びＢ間でサービスを提供しているので、少なくとも１つのクラウドサーバ１０２は、ＳＡＭＳ、ＳＦＵ、ＭＣＵ、又は他の機能サーバトポロジーを使用することができる。
画像処理の組み合わせ４において、ピアデバイスＡは、背景の削除６０８を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現に対してさらなる処理又は改善６１０を行い、背景が削除された強化されたユーザグラフィック表現を生成し、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。次いで、ピアデバイスＡは、ＳＴＵＮ又はシグナリングサーバとして作用する少なくとも１つのクラウドサーバを通じて、仮想環境に挿入されて組み合わされた、背景が削除された強化されたユーザグラフィック表現をピアデバイスＢに送信する。
画像処理の組み合わせ５において、ピアデバイスＡは、背景の削除６０８を含むユーザグラフィック表現を生成し、メディアルータサーバとして作用する少なくとも１つのクラウドサーバを通じて、背景が削除されたユーザグラフィック表現をピアデバイスＢに送信する。ピアデバイスＢは、背景が削除されたユーザグラフィック表現に対して、背景が削除された強化されたユーザグラフィック表現を生成するさらなる処理又は改善６１０を行い、クライアントデバイスＢは、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。
画像処理の組み合わせ６において、ピアデバイスＡは、少なくとも１つのカメラから受信したカメラライブデータフィードを送信し、ＳＴＵＮ又はシグナリングサーバとして作用する少なくとも１つのクラウドサーバを通じて、未処理のデータをピアデバイスＢに送信する。ピアデバイスＢは、該データを使用して、背景の削除６０８を含むユーザグラフィック表現を生成し、背景が削除されたユーザグラフィック表現に対してさらなる処理又は改善６１０を行い、背景が削除された強化されたユーザグラフィック表現を生成し、その後、背景が削除された強化されたユーザグラフィック表現を仮想環境に挿入して組み合わせる。
図８は、本開示の実施形態で用いられ得るユーザグラフィック表現ベースのユーザ認証システム８００を示す。例えば、ユーザグラフィック表現ベースのユーザ認証システム８００は、図１及び図２Ａの仮想環境プラットフォーム１０８などの仮想環境プラットフォームへのアクセスを許可することができるユーザアカウントにアクセスするために用いることができる。
ユーザグラフィック表現ベースのユーザ認証システム８００は、少なくとも１つのプロセッサ８０４と、ユーザアカウント８１０及び１つ又は複数の対応するユーザグラフィック表現８１２に関連付けられたユーザデータを格納するユーザデータベース８０８を含むデータ及び命令を格納するメモリ８０６とを備える１つ又は複数のクラウドサーバコンピュータ８０２を備える。ユーザグラフィック表現ベースのユーザ認証システム８００は、ユーザアカウント８１０に関連付けられたデータを格納するデータベース８０８に接続された顔スキャン及び認証モジュール８１４をさらに備える。１つ又は複数のクラウドサーバコンピュータ８０２は、顔スキャン及び認証モジュール８１４を通じてユーザの顔スキャンを行うことによってユーザを認証するように構成される。顔スキャンは、クライアントデバイス８２２から受信したカメラデータから顔特徴データを抽出し、抽出した顔特徴データをユーザデータベース８０８内のユーザグラフィック表現との一致についてチェックすることを含む。
図８に示された例では、システム８００はさらに、ユーザアカウント８１０へのアクセスを要求する少なくとも１つのクライアントデバイス８２２のユーザ８２０から画像データ８１８を得るように構成された少なくとも１つのカメラ８１６を含む。少なくとも１つのカメラ８１６は、カメラ８１６によって取り込まれたデータをさらなる処理のために１つ又は複数のクラウドサーバコンピュータ８０２に送信するように構成された少なくとも１つのクライアントデバイス８２２に接続される。代替的に、カメラ８１６は、１つ又は複数のクラウドサーバコンピュータ８０２に直接接続することができる。１つ又は複数のクラウドサーバコンピュータ８０２は、顔スキャン及び認証モジュール８１４を通じてユーザの顔スキャンを行い、既存のユーザグラフィック表現との一致についてユーザデータベース８０８をチェックし、ユーザアカウント８１０が確認され、利用可能である場合、ユーザアカウント８１０へのアクセスとともに対応するユーザグラフィック表現８１２をユーザに提供することによって、ユーザを認証するように構成される。代替的に、ユーザアカウント８１０が利用可能でない場合、１つ又は複数のクラウドサーバコンピュータ８０２は、ライブデータフィードから得られたデータ８１８から、ユーザデータベース８０８に格納される新しいユーザアカウント８１０とともに、新しいユーザグラフィック表現８１２を生成することによって、ユーザを認証するように構成される。
ユーザアカウント８１０は、例えば、仮想環境プラットフォーム、又は任意の対話型アプリケーション、ゲーム、電子メールアカウント、大学プロフィールアカウント、仕事アカウントなどの任意の他のアプリケーション（例えば、環境プラットフォームにリンクされ得るアプリケーション）にアクセスするために使用され得る。本開示のグラフィック表現ベースのユーザ認証システム８００は、例えば、ユーザグラフィック表現８１２を生成する又はユーザデータベース８０８から既存のユーザグラフィック表現８１２を取得するステップが与えられると、標準的なカメラベースの顔検出認証システムよりも高い利便性及びセキュリティレベルを提供する。
いくつかの実施形態では、１つ又は複数のクラウドサーバコンピュータはさらに、一致するユーザグラフィック表現の日付をチェックし、一致するユーザグラフィック表現の更新が必要であるかどうかを判定するように構成される。一実施形態では、ユーザアカウント８１０が利用可能である場合、１つ又は複数のクラウドサーバコンピュータ８０２が利用可能なユーザグラフィック表現８１２の日付をチェックすることに応答して、１つ又は複数のクラウドサーバコンピュータ８０２は、対応する閾値又はセキュリティ要件と比較することによって、既存のユーザグラフィック表現８１２の更新が必要であるかどうかを判定する。例えば、システムセキュリティの更新があった場合、すべてのユーザグラフィック表現又は少なくとも指定された日付よりも前に作成されたユーザグラフィック表現を更新する必要がある可能性がある。ユーザグラフィック表現８１２が必要とされる場合、１つ又は複数のクラウドサーバコンピュータ８０２は、対応するクライアントデバイス８２２に対するユーザグラフィック表現の更新要求を生成する。ユーザ８２０が要求を承認する場合、１つ又は複数のクラウドサーバコンピュータ８０２又はクライアントデバイス８２２は、ライブカメラフィードからのデータ８１８に基づいてユーザグラフィック表現８１２を生成する。更新が必要とされない場合、１つ又は複数のクラウドサーバコンピュータ８０２は、認証後にユーザデータベース８０８から既存のユーザグラフィック表現８１２を取得する。
いくつかの実施形態では、ユーザグラフィック表現８１２は、２次元又は３次元の仮想環境に挿入されるか、又は仮想環境にリンクした第三者ソースに挿入され、２次元又は３次元の仮想環境と組み合わされる。例えば、ユーザグラフィック表現８１２は、本開示のシステムと統合又は結合された第三者アプリケーション又はウェブサイトの画面上にオーバーレイすることによって仮想環境にリンクした第三者ソースに挿入され得る。
一例では、第三者ソースの画面上でのユーザグラフィック表現８１２のオーバーレイは、仮想環境にリンクされた２Ｄウェブサイト又はアプリケーションの上になされる。例えば、ショッピングウェブサイトに一緒に行く２人以上の友人が、ウェブサイトのコンテンツを探索及び／又は相互作用するために、自分のユーザグラフィック表現をショッピングウェブサイト上にオーバーレイすることができる。別の例では、第三者ソースの画面上でのユーザグラフィック表現８１２のオーバーレイは、仮想環境にリンクされた３Ｄゲームセッションの上になされる。例えば、ユーザは、他のチームメンバーのユーザグラフィック表現８１２とともにｅ－スポーツゲームセッションの上にオーバーレイすることができる自分のユーザグラフィック表現８１２を通じて、仮想環境にリンクされたｅ－スポーツゲームセッションにアクセスすることができる。これらの例では、このようなユーザグラフィック表現８１２のオーバーレイは、２Ｄウェブサイトの訪問中又は３Ｄゲームセッションの体験中のすべてのユーザの表現及び通信のコヒーレントなマルチキャストビューを可能にし得る。
いくつかの実施形態では、ユーザグラフィック表現８１２の生成プロセスは、ユーザアカウント８１０へのユーザ８２０のアクセスとは非同期的に行われる。例えば、顔スキャンを行った後で、ユーザグラフィック表現ベースの認証システム８００が、ユーザ８２０が既に認証されていると判定する場合、ユーザグラフィック表現ベースの認証システム８００は、準備が出来次第、ユーザ８１２に提供し、仮想環境に挿入して組み合わせるために、新しいユーザグラフィック表現８１２の生成中にユーザ８２０がユーザアカウント８１０にアクセスすることを可能にし得る。
いくつかの実施形態では、１つ又は複数のクラウドサーバコンピュータ８０２はさらに、個人識別番号（ＰＩＮ）、又はユーザ名及びパスワード、又はカメラ認証とＰＩＮ又はユーザ名及びパスワードとの組み合わせを含むログイン認証資格証明書を通じてユーザ８０２を認証する。
いくつかの実施形態では、ユーザグラフィック表現ベースの認証システム８００の認証は、或るクライアントデバイス８２２から別のクライアントデバイスに送信された招待リンク又はディープリンクのアクティブ化に応答してトリガされる。招待リンク又はディープリンクをクリックすることは、少なくとも１つのクラウドサーバコンピュータ８０２がユーザ認証を要求することをトリガする。例えば、招待リンク又はディープリンクは、電話、電話会議、又はビデオゲームセッションの招待のためのものであり、招待されたユーザは、ユーザグラフィック表現ベースの認証システム８００を通じて認証され得る。
別の実施形態では、顔スキャンは、頭部の動きパターンを実行するようにユーザをガイドし、頭部の動きパターンに基づいて３Ｄ顔データを抽出することを含む３Ｄ認証を使用する。これは、頭部の動きパターンを実行する、例えば、１つ又は複数の頭部ジェスチャーを実行する、頭部を横に又は縦に傾ける又は円を描くように回転させる、ユーザにより生成されたジェスチャーパターン、又は特定の頭部の動きパターン、又はこれらの組み合わせを実行するようにユーザをガイドすることによって３Ｄ認証を実施する少なくとも１つのサーバコンピュータに格納されたアプリケーション命令を使用して行うことができる。３Ｄ認証は、１つのビュー又は画像を比較及び分析するだけではなく、カメラのライブビデオデータフィードから取得したデータからさらなる特徴を認識する。この３Ｄ認証の実施形態では、顔スキャンプロセスは、頭部の動きパターン、顔のボリューム、高さ、顔特徴の深さ、顔の傷、タトゥ、目の色、顔の皮膚パラメータ（例えば、皮膚の色、皺、毛穴構造など）、反射率パラメータ、さらに、例えば、他のタイプの顔検出システムの場合のように、顔トポロジー上のこのような特徴の位置だけ、を含む顔データを含み得るデータからさらなる特徴を認識することができる。したがって、このような顔データの取り込みは、現実的なユーザグラフィック表現の生成に役立つ可能性がある現実的な顔の取り込みを増加させることができる。３Ｄ認証を用いる顔スキャンは、高解像度３Ｄカメラ、深度カメラ（例えば、ＬＩＤＡＲ）、ライトフィールドカメラなどを使用して行われ得る。顔スキャンプロセス及び３Ｄ認証は、ディープニューラルネットワーク、畳み込みニューラルネットワーク、及び他の深層学習技術を使用して、顔データを使用することによりユーザの認証を取得、処理、及び評価することができる。
図９は、仮想環境１１０が仮想オフィスである場合の、ユーザグラフィック表現１２０を通じた仮想環境１１０のサードパーソン・ビューイングパースペクティブ９００の概略図である。
仮想オフィスは、１つ又は複数のオフィスデスク９０２、オフィスチェア９０４、オフィスコンピュータ９０６、コンテンツ９１０を投影するための投影面９０８、及び自分のクライアントデバイスを通じて仮想環境１１０にアクセスする対応するユーザを表す複数のユーザグラフィック表現１２０を備える。
ユーザグラフィック表現１２０は、最初はユーザ３Ｄ仮想カットアウトであり、招待の承認プロセスの後に、カメラから得られたリアルタイムの２Ｄ又は３Ｄライブビデオストリームデータフィードに基づいて生成された背景が削除されたユーザリアルタイムビデオストリームを含むユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオに移行する。プロセスは、図４を参照して説明したようにライブセッション内の複数の相互作用を可能にする、図５を参照して説明したように通信チャネルを開くことを含み得る。例えば、ユーザは、最初にオフィスチェア９０４に座りながら対応するオフィスコンピュータ９０６で作業しており、これは実生活でユーザによって行われる実際のアクションを表すことができる。他のユーザは、ユーザが不在、ビジー、対応可能、オフライン、電話会議中、又は会議中のいずれかであるなどの現在のユーザステータスを（例えば、図４のリモートセンシング４１４を通じて）見ることができる。ユーザが対応可能である場合、別のユーザグラフィック表現が当該ユーザに接近し、会話に参加するための招待を送信することができる。両方のユーザは、例えば、仮想オフィスのプライベート会議室移動し、複数の相互作用を可能にするライブセッションを開始することを決定することができる。ユーザはまた、投影面９０８上に（例えば、画面共有を通じて）所望のコンテンツを投影することができる。
いくつかの実施形態では、仮想オフィスは、仮想リソースを含む仮想コンピュータをさらに備え、仮想リソースは、クライアントデバイスを通じてアクセスされる１つ又は複数のクラウドコンピュータリソースからのものであり、管理ツールで前記仮想コンピュータリソースに割り当てられる。仮想コンピュータは、オフィスコンピュータ９０６に関連付けられ得る。しかしながら、仮想コンピュータはまた、パーソナルホームコンピュータ、又はクラウドコンピュータベースの仮想コンピューティングリソースにアクセスすることができるあらゆる他の場所からのコンピュータに関連付けられ得る。リソースは、種々のタスクを行うために必要とされるメモリ、ネットワーク、及び処理能力を含み得る。さらに、オフィススペースの例では、仮想オフィスコンピュータ９０６に関連付けられた仮想コンピュータは、次に、ユーザの実際のオフィスコンピュータに結合することができ、ゆえに、例えば、ユーザがこのような仮想コンピュータにログインする際に物理的オフィス又は物理的コンピュータを有する任意の他のスペースにある実際のオフィスコンピュータから、仮想オフィスコンピュータ９０６に格納されたデータを利用することができる。仮想オフィスコンピュータ９０６に関連付けられたすべての仮想コンピュータを含む仮想インフラストラクチャは、排他的管理者権限（例えば、仮想環境１１０を使用する組織のＩＴチームに提供される）に基づく管理者オプションを使用することによって、仮想環境プラットフォームを通じて管理することができる。したがって、本開示の仮想環境プラットフォームは、仮想オフィス管理を可能にし、典型的な仮想会議及び会議アプリケーションの可能性を広げ、コラボレーション及び相互作用の臨場感を高め、コラボレーションが行われる方法を合理化する複数のオプションを提供する。
図１０Ａ～図１０Ｂは、一実施形態に係る、仮想環境が仮想教室１０００である場合の、対応するユーザグラフィック表現を通じて見た仮想環境の概略図である。図１０Ａ～図１０Ｂでの生徒及び教師のユーザグラフィック表現は、ユーザがアップロードした又は第三者が提供した写真から構築されたユーザ３Ｄ仮想カットアウト、又はカメラから取得したリアルタイムの２Ｄ又は３Ｄライブビデオストリームデータフィードに基づいて生成された背景が削除されたユーザリアルタイム３Ｄ仮想カットアウト、又は背景が削除されたビデオ、又は背景が削除されていないビデオのいずれかであり得る。
図１０Ａでは、複数の生徒１００２のユーザグラフィック表現が、教師１００４のユーザグラフィック表現によってリモートで提供されるクラス授業に出席している。教師１００４は、仮想教室ホワイトボードなどの１つ又は複数の投影面１００８上にクラスコンテンツ１００６を投影することができる。仮想教室１０００はさらに、ユーザが学習するためにサポートされ得る複数の仮想教室デスク１０１０を備えることができる。生徒１００２には、図４を参照して開示されたように、状況に応じて適宜、挙手、画面共有（例えば、投影面１００８上）、特定のコンテンツへのレーザーポインティングなどの複数の相互作用オプションを提供することができる。図１０Ａでは、教師１００４のユーザグラフィック表現が投影面上にグラフィカルに投影されている。
図１０Ｂは、図１０Ａと同様の実施形態を示しており、違いは、教師１００４のユーザグラフィック表現が仮想デスク１０１２の後ろに座っていて、コンテンツ１００６のみが仮想教室ホワイトボード投影面１００８上で共有又は投影されていることである。教師１００４は生徒１００２と同じ仮想空間を共有し、教室１０００内を動き回ることができるので、生徒１００２及び教師１００４にとってより現実的でインタラクティブな体験が生み出される。
図１１は、一実施形態に係る、複数の仮想カメラ位置１１００の概略図である。
図１１では、２つのユーザグラフィック表現１１０２、ユーザ３Ｄ仮想カットアウト１１０４、及びユーザリアルタイム３Ｄ仮想カットアウト１１０６は、１つ又は複数の仮想カメラ用の１つ又は複数の仮想カメラ位置１１００を有し、各仮想カメラ位置は、ユーザグラフィック表現のビューイングパースペクティブを生成する、視線方向、角度、及び視野を備える。
一実施形態では、１つ又は複数の仮想カメラは、目の高さ１１０８にあり、ユーザグラフィック表現１１０２の目の高さから外側を向くように配置される。別の実施形態では、２つ（片目につき１つ）の仮想カメラは、ユーザグラフィック表現１１０２の両目の高さ１１１０から外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、ユーザグラフィック表現１１０２の頭部の位置の中心１１１２から外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、ユーザグラフィック表現１１０２の中心１１１４から外側に向けることができる。さらに別の実施形態では、１つ又は複数の仮想カメラは、セルフ・ビューイングパースペクティブ１１１６にあるとき、ユーザグラフィック表現１１０２の前に、例えば、ユーザグラフィック表現１１０２の頭部の高さにあり、ユーザグラフィック表現１１０２に向けて配置することができる。１つ又は複数の仮想カメラは、図６Ａ～図７Ｃを参照して説明したように、仮想環境にユーザグラフィック表現を挿入して組み合わせている間に作成することができる。
一実施形態では、カメラによって取り込まれるユーザのビューイングパースペクティブは、ユーザグラフィック表現のビューイングパースペクティブと、仮想カメラを操作するコンピュータビジョンを使用する関連する仮想カメラに関連付けられる。さらに、仮想カメラは、例えば、ユーザの目と頭部の傾きデータ、又は頭部の回転データ、又はこれらの組み合わせを追跡及び分析することによって自動的に更新され得る。
図１２は、仮想環境内から仮想ブロードキャストするためのシステム１２００の概略図である。
システム１２００は、１つ又は複数のサーバコンピュータを含み得る。図１２に示された例示的なシステム１２００は、少なくとも１つのプロセッサ１２０４と、クライアントデバイス１２１０間のデータ交換を管理するデータ交換管理モジュール１２０８を実装するデータ及び命令を含むメモリ１２０６とを備える、少なくとも１つのメディアサーバコンピュータ１２０２を備える。システム１２００は、少なくとも１つのメディアサーバコンピュータ１２０２に接続される、少なくとも１つの仮想環境１２１２をさらに備え、少なくとも１つのメディアサーバコンピュータ１２０２は、少なくとも１つの仮想環境１２１２内に配置され、少なくとも１つの仮想環境１２１２内からのマルチメディアストリームを取り込むように構成された、仮想ブロードキャストカメラ１２１４を備える。少なくとも１つの仮想環境１２１２は、少なくとも１つのメディアサーバコンピュータ１２０２にネットワークを介して接続される少なくとも１つの専用サーバコンピュータによってホストされるか、又はピア・ツー・ピアインフラストラクチャでホストされ、少なくとも１つのメディアサーバコンピュータ１２０２を通じてリレーされ得る。マルチメディアストリームは、少なくとも１つのクライアントデバイス１２１０にブロードキャストするために少なくとも１つのメディアサーバコンピュータ１２０２に送信される。システム１２００は、少なくとも１つのクライアントデバイス１２１０のユーザ１２１８からライブフィードデータを取得し、少なくとも１つのクライアントデバイス１２１０を介してユーザからのライブフィードデータを少なくとも１つのメディアコンピュータ１２０２に送信する、少なくとも１つのカメラ１２１６をさらに備える。少なくとも１つのメディアコンピュータ１２０２が受信するライブフィードデータは、図６Ａ～図７Ｃを参照して開示される複数の画像処理の組み合わせを通じて生成され得る。
少なくとも１つの仮想ブロードキャストカメラ１２１４は、少なくとも１つのメディアサーバコンピュータ１２０２からのデータ交換管理に基づいて対応するマルチメディアストリームを受信クライアントデバイス１２１０にブロードキャストするために、マルチメディアストリームを少なくとも１つのメディアサーバコンピュータ１２０２に送信する。マルチメディアストリームは、対応するディスプレイを通じて、少なくとも１つのクライアントデバイス１２１０のユーザ１２１８の対応するユーザグラフィック表現１２２２に表示される。データ交換管理モジュール１２０８によるクライアントデバイス１２１０間のデータ交換管理は、着信マルチメディアストリームを分析し、発信マルチメディアストリームの転送を評価することを含む。
いくつかの実施形態では、少なくとも１つのメディアサーバコンピュータ１２０２は、発信マルチメディアストリームを転送するとき、Ｓｅｌｅｃｔｉｖｅ Ｆｏｒｗａｒｄｉｎｇ Ｕｎｉｔ（ＳＦＵ）、Ｔｒａｖｅｒｓａｌ Ｕｓｉｎｇ Ｒｅｌａｙ ＮＡＴ（ＴＵＲＮ）、Ｓｐａｔｉａｌｌｙ Ａｎａｌｙｚｅｄ Ｍｅｄｉａ Ｓｅｒｖｅｒ （ＳＡＭＳ）、又は他の適切なマルチメディアサーバルーティングトポロジー、又はメディア処理及び転送サーバトポロジー、又は他の適切なサーバトポロジーを含む、ルーティングトポロジーを使用する。さらに別の実施形態では、少なくとも１つのメディアサーバコンピュータ１２０２は、メディア処理トポロジーを使用するとき、マルチメディアストリームを、デコード、結合、改善、ミキシング、強化、拡張、コンピューティング、操作、及びエンコードするように構成される。さらに別の実施形態では、少なくとも１つのメディアサーバコンピュータ１２０２は、転送サーバトポロジーを使用するとき、マルチポイントコントロールユニット（ＭＣＵ）、クラウドメディアミキサ、及びクラウド３Ｄレンダラーのうちの１つ又は複数を使用する。
いくつかの実施形態では、着信マルチメディアストリームは、ユーザ優先度データ及び距離関係性データを含み、ユーザ優先度データは、着信マルチメディアストリームのソースにより近いユーザグラフィック表現へのより高い優先度スコアと、着信マルチメディアストリームのソースからより遠いユーザグラフィック表現へのより低い優先度スコアを含む。一実施形態では、少なくとも１つのクライアントデバイス１２１０及び／又はブロードキャストカメラ１２１４によって少なくとも１つのメディアサーバに送信されるマルチメディアストリームは、ユーザ優先度、及び対応するユーザグラフィック表現１２２２とマルチメディアストリームとの間の距離関係性に関係するデータを含み、該データは、メタデータ、又は優先度データ、又はデータクラス、又は空間構造データ、又は３次元位置、又は向き又は移動情報、又は画像データ、又はメディアデータ、及びスケーラブルなビデオコーデックベースのビデオデータ、又はこれらの組み合わせを含む。さらに別の実施形態では、優先度データは、仮想マルチメディアストリームソース１２２４により近いユーザへのより高い優先度スコアと、仮想マルチメディアストリームソース１２２４からより遠いユーザへのより低い優先度スコアを含む。さらに別の実施形態では、発信マルチメディアストリームの転送は、ユーザ優先度データ及び距離関係性データに基づいている。一実施形態では、ユーザ優先度データ及び距離関係性データに基づいてメディアサーバによって実施される発信マルチメディアストリームの転送は、帯域幅の最適化と、１つ又は複数の受信クライアントデバイスのリソース使用率の計算を含む。
いくつかの実施形態では、少なくとも１つの仮想ブロードキャストカメラ１２１４は、少なくとも１つの仮想環境１２１２内でマルチメディアストリームをブロードキャストするように構成された仮想ブロードキャストカメラ１２１４として、少なくとも１つの仮想環境１２１２で仮想的に見られる。仮想ブロードキャストカメラ１２１４は、仮想マルチメディアストリームソース１２２４の近くに配置することができ、仮想環境１２１２内を動き回ることもできる。さらなる実施形態では、仮想ブロードキャストカメラ１２１４は、仮想環境にアクセスするクライアントデバイス１２１０を通じて管理することができ、仮想環境で更新されるカメラの視点を操作し、更新された視点を仮想ブロードキャストカメラ１２１４に関連する少なくとも１つのクライアントデバイスにブロードキャストするように構成され得る。
いくつかの実施形態では、仮想マルチメディアストリームソース１２２４は、パネル、スピーチ、会議、プレゼンテーション、ウェビナー、エンターテイメントショー、スポーツイベント、及びパフォーマンスのうちの１つ又は複数を含むライブ仮想イベントを含み、（例えば、対応するカメラ１２１６で録画されている状態で自分の家から）リモートで話す実際の話者の複数のユーザグラフィック表現が仮想環境１２１２内に配置される。
いくつかの実施形態では、マルチメディアストリームは、クライアント又はクラウドコンピュータでレンダリングされるウェブブラウザでリアルタイム３Ｄビューとして表示するか、又は適切なビデオプラットフォーム（例えば、ＹｏｕＴｕｂｅ（商標）ライブ、Ｔｗｉｔｔｅｒ（商標）、Ｆａｃｅｂｏｏｋ（商標）ライブ、ズーム（商標）など）でライブ視聴するためにストリーミングすることができる。
図１２に示される例では、ユーザＡ～Ｃは、対応するクライアントデバイスを通じて仮想環境１２１２にアクセスし、各ユーザＡ～Ｃは、対応するマルチメディアストリームを各ユーザＡ～Ｃに送信するカメラ１２１６を有し、これは、本開示の実施形態に関して説明されるようにユーザグラフィック表現Ａ～Ｃの生成と仮想環境１２１２への挿入及び組み合わせに用いることができる。したがって、仮想環境１２１２において、各ユーザＡ～Ｃは、対応するユーザグラフィック表現Ａ～Ｃを有する。少なくとも１つのクライアントデバイス１２１０を通じて少なくとも１つのカメラ１２１６によって送信されるマルチメディアストリーム、及び少なくとも１つのブロードキャストカメラ１２１４によって少なくとも１つのメディアサーバコンピュータ１２０２に送信されるマルチメディアストリームは、ユーザ優先度、及び対応するユーザグラフィック表現とマルチメディアストリームとの間の距離関係性に関係するデータを含む。このデータは、例えば、メタデータ、優先度データ、データクラス、空間構造データ、３次元位置、向き、又は移動情報、画像データ、メディアデータ、スケーラブルなビデオコーデックベースのビデオデータなどを含む。データは、着信マルチメディアストリームを分析及び最適化し、発信マルチメディアストリームの転送を評価及び最適化することを含む、クライアントデバイス１２１０間のデータ交換を管理するために、データ交換管理モジュール１２０８によって用いられ得る。
したがって、例えば、ユーザグラフィック表現Ａは仮想環境１２１２において仮想マルチメディアストリームソース１２２４に近いので、発信マルチメディアストリームの転送は、例えば、ユーザグラフィック表現Ａの方がユーザグラフィック表現Ｂ及びＣに提供される解像度よも高い解像度の画像を含むように最適化することができる。マルチメディアストリームは、例えば、クライアントデバイス１２１０を介してユーザグラフィック表現１２２２を通じて、ユーザによって仮想環境１２１２内にファーストパーソンで表示することができる。いくつかの例では、マルチメディアストリームは、クライアント又はクラウドコンピュータでレンダリングされるウェブブラウザでリアルタイム３Ｄビューとして表示される。ユーザは、イベント（例えば、ウェビナー、会議、パネル、スピーチなど）のマルチメディアストリームを、クライアント又はクラウドコンピュータでレンダリングされるウェブブラウザでリアルタイム３Ｄビューとして視聴することができ、又は適切なビデオプラットフォーム及び／又はソーシャルメディアでライブ視聴するためにストリーミングすることができる。
図１３は、仮想環境内でアプリケーションを配信するためのシステム１３００の概略図である。
システム１３００は、少なくとも１つのプロセッサ１３０４と、アプリケーションモジュール１３１０にリンクされた少なくとも１つの仮想環境１３０８を実装するデータ及び命令を備えるメモリ１３０６と、を含む少なくとも１つのクラウドサーバコンピュータ１３０２を備える。アプリケーションモジュール１３１０は、１つ又は複数のインストールされるアプリケーション１３１２と、対応するマルチユーザ相互作用のためのアプリケーションルール１３１４を備える。クライアントデバイス１３１８を通じた仮想環境ホスト１３１６による選択に応答して、１つ又は複数のインストールされるアプリケーション１３１２が、仮想環境１３０８のセッション中に表示及びアクティブ化され、仮想環境１３０８内の仮想環境ホストユーザグラフィック表現１３２０及び任意の参加者ユーザグラフィック表現１３２２が対応するクライアントデバイス１３１８を通じて１つ又は複数のインストールされるアプリケーション１３１２と相互作用することが可能になる。少なくとも１つのクラウドサーバコンピュータ１３０２は、アプリケーションモジュール１３１０でのマルチユーザ相互作用のためのアプリケーションルール１３１４に従って、１つ又は複数のインストールされるアプリケーション１３１２との受信したユーザ相互作用を管理及び処理する。少なくとも１つのクラウドサーバコンピュータ１３０２は、処理された相互作用を適宜各クライアントデバイス１３１８にさらに転送して仮想環境１３０８でのマルチユーザセッションを確立し、マルチユーザ相互作用アプリケーションルール１３１４に従って共有体験を可能にする。
いくつかの実施形態では、マルチユーザ相互作用アプリケーションルール１３１４は、ネットワークを通じて少なくとも１つのクラウドサーバコンピュータ１３０２に接続することができる１つ又は複数の別個のアプリケーションサーバに格納及び管理される。
いくつかの実施形態では、１つ又は複数のアプリケーションは、アプリケーションライブラリから入手可能なアプリケーションインストールパッケージからインストールされ、対応するアプリケーション・プログラミング・インターフェースを通じてアプリケーションサービスをプロビジョニングする。さらに別の実施形態では、アプリケーションライブラリは、コンテキストによりフィルタリングされる。一実施形態では、コンテキストフィルタリングは、特定のコンテキストに関連するアプリケーションのみを提供するように設計される。例えば、ホスト１３１６は、特定のコンテキスト（例えば、学習、エンターテイメント、スポーツ、読書、ショッピング、天気、仕事など）に関係するアプリケーションを探すためにアプリケーションライブラリ（例えば、アプリケーションストア）をコンテキストによりフィルタリングすることができ、アプリケーションモジュール１３１０内にインストールする１つの関心あるアプリケーションを選択する。さらに別の実施形態では、アプリケーションライブラリは、１つ又は複数の第三者サーバコンピュータでホストされるか、又は少なくとも１つのクラウドサーバコンピュータ１３０２でホストされる。
いくつかの実施形態では、１つ又は複数のインストールされるアプリケーションは、対応するクライアントデバイスにインストールされた仮想ディスプレイアプリケーションと共有され、それを通じて表示される。一実施形態では、インストール及びアクティブ化されると、１つ又は複数のインストールされるアプリケーション１３１２は、対応するクライアントデバイス１３１８にインストールされた仮想ディスプレイアプリケーション１３２４と共有され、それを通じて表示される。仮想ディスプレイアプリケーション１３２４は、アプリケーションライブラリから１つ又は複数のインストールされるアプリケーション１３１２を受信し、仮想環境１３０８での会議ホストユーザグラフィック表現１３２０及び他の参加者ユーザグラフィック表現１３２２にそれらの対応するクライアントデバイス１３１８を通じて表示するべく１つ又は複数の選択されたインストールされるアプリケーション１３１２を公開するように構成され得る。仮想ディスプレイアプリケーション１３２４は、インストールされるアプリケーション１３１２を受信及び表示するように構成され得る、或るタイプのオンライン又はインストールされるファイルビューアアプリケーションであり得る。
いくつかの実施形態では、アプリケーションモジュール１３１０は、インストールされるアプリケーション１３１２からのコンテンツを仮想環境でのユーザグラフィック表現１３２２に表示する、仮想環境内の２Ｄ画面又は３Ｄボリュームアプリケーションモジュールグラフィック表現１３２６として表される。さらなる実施形態では、仮想ディスプレイアプリケーション１３２４は、インストールされるアプリケーションからのコンテンツを仮想環境１３０８でのユーザグラフィック表現に表示する、２Ｄ画面又は３Ｄボリュームとして表される。
いくつかの実施形態では、１つ又は複数のアプリケーション１３１２は、マルチユーザセッションが行われる前に又は同時に、仮想環境１３０８内に直接インストールされる。他の実施形態では、１つ又は複数のアプリケーション１３１２は、マルチユーザセッションを開始する前に仮想環境セットアップツールの使用を通じてインストールされる。
いくつかの実施形態では、マルチユーザ相互作用のためのアプリケーションルールの一部は、同期相互作用、又は非同期相互作用、又はこれらの組み合わせを定義することができ、ユーザ相互作用と、１つ又は複数のアプリケーションのそれぞれの更新されるビューを適宜更新する。同期相互作用と非同期相互作用の両方は、マルチユーザ相互作用アプリケーションルール１３１４を通じて構成することができ、少なくとも１つのサーバコンピュータ１３０２による、又は少なくとも１つのインストールされるアプリケーション１３１２との個々のユーザ相互作用の処理専用の別個のサーバコンピュータによる並列処理を通じて可能となり得る。
例えば、ホスト１３１６が教師である場合、教師は、本の内容をユーザに表示するワークブックアプリケーションを選択することができる。教師は、ワークブックを編集することができ、生徒は、同期相互作用及びそれぞれの更新されたビューの使用を選択するとき、教師からの編集ありの、又は同期相互作用を選択するとき、教師からの編集なしの、同じワークブックを仮想ディスプレイアプリケーション１３２４を通じて見ることができる。別の例では、複数のスライドを有するプレゼンテーションファイルを含むプレゼンテーションアプリケーションにおいて、非同期相互作用は、各ユーザが個々のスライドを非同期的に見ることを可能にし得る。別の例では、教育アプリケーションの場合、生徒がテストを受けている間、心臓の解剖学的構造が提示され、この場合、生徒の相互作用は、生徒が行う相互作用を他の生徒が立ち会う及び観察するために同期している。別の例では、教師はホワイトボードに書き込むことができ、生徒はホワイトボードに書かれたテキストを仮想ディスプレイアプリケーションを通じて同期的に見ることができる。別の例では、ビデオプレーヤアプリケーションは、すべての生徒にビデオを同期して表示することができる。
いくつかの例示的な実施形態では、仮想環境１３０８は、教室、又はオフィススペース、又は会議室、又は応接室、又は劇場、又は映画館である。
図１４は、一実施形態に係る、図１３に示された仮想環境内でアプリケーションを配信するためのシステム１３００に基づく仮想環境１３０８の概略図である。
仮想環境１３０８は、仮想環境１３０８のホスト１３１６によって選択された少なくとも１つのインストールされるアプリケーション１３１２を備えるアプリケーションモジュールグラフィック表現１３２６と、対応する仮想ディスプレイアプリケーション１３２４を通じてインストールされるアプリケーション１３１２を見る及び相互作用する２人のユーザＡ～Ｂを含む。理解されるように、ユーザＡは、仮想ディスプレイアプリケーション１３２４を通じて本アプリケーションの特定のページ（例えば、ページ１）を見ることができ、これは、インストールされるアプリケーション１３１２の同期相互作用及び管理を表すアプリケーションモジュールグラフィック表現１３２６を通じてホスト１３１６によって選択されたものと同じであり得る。他方では、ユーザＢは、仮想ディスプレイアプリケーション１３２４を通じたインストールされるアプリケーション１３１２の非同期相互作用及び管理を通じて、ホスト１３１６とユーザＡの両方とは異なるページを見ることができる。
図１５は、一実施形態に係る、仮想環境内で仮想コンピューティングリソースをプロビジョニングするためのシステム１５００の概略図である。
システム１５００は、少なくとも１つのプロセッサ１５０４と、少なくとも１つの仮想環境１５０８を実装するデータ及び命令を含むメモリ１５０６と、少なくとも１つの仮想環境１５０８に関連付けられた少なくとも１つの仮想コンピュータ１５１０を備える少なくとも１つのクラウドサーバコンピュータ１５０２を含む、１つ又は複数のサーバコンピュータを含むサーバコンピュータシステムを備える。少なくとも１つの仮想コンピュータ１５１０は、サーバコンピュータシステムから仮想コンピューティングリソースを受信する。一実施形態では、少なくとも１つの仮想コンピュータは、仮想環境１５０８での対応するグラフィック表現１５１２を有する。グラフィック表現１５１２は、ユーザと仮想コンピュータの相互作用を容易にすること及びユーザ体験の臨場感（例えば、ホームオフィス体験の場合）を高めることなどのさらなる利点を提供し得る。したがって、一実施形態では、少なくとも１つの仮想コンピュータは、仮想環境１５０８内に配置される少なくとも１つの対応する関連するグラフィック表現１５１２を備え、少なくとも１つの仮想コンピュータ１５１０は、少なくとも１つのクラウドサーバコンピュータ１５０２から仮想コンピューティングリソースを受信する。システム１５００は、ネットワークを通じて少なくとも１つのサーバコンピュータ１５１０に接続する少なくとも１つのクライアントデバイス１５１４をさらに備える。少なくとも１つのクライアントデバイス１５１４が（例えば、対応するグラフィック表現と相互作用することによって）１つ又は複数の仮想コンピュータ１５１０にアクセスすることに応答して、少なくとも１つのクラウドサーバコンピュータ１５０２は、利用可能な仮想コンピューティングリソースの少なくとも１つの部分を少なくとも１つのクライアントデバイス１５１４にプロビジョニングする。
いくつかの実施形態では、仮想コンピューティングリソースは、対応するクライアントデバイス１５１４を通じて少なくとも１つの仮想環境１５０８内の仮想コンピュータの１つ又は複数のグラフィック表現１５１２にアクセスする（例えば、対話する）ユーザ１５１８のユーザグラフィック表現１５１６によってアクセスされ、これにより、対応するクライアントデバイス１５１４にプロビジョニングされる。
いくつかの実施形態では、仮想コンピュータのグラフィック表現１５１２は、ユーザグラフィック表現によるアクセスのために仮想環境内に空間的に配置される。一実施形態では、仮想環境１５０８の構成は、教育、会議、仕事、ショッピング、サービス、社交、及びエンターテイメントでそれぞれ使用するための仮想アイテム、家具、間取り図などの配置を含み得る、仮想環境のコンテキストテーマ１５０８と関連付けられる。さらに別の実施形態では、１つ又は複数の仮想コンピュータグラフィック表現は、１つ又は複数のユーザグラフィック表現１５１６によるアクセスのために仮想環境１５０８の構成内に配置される。例えば、仮想コンピュータは、仮想コンピュータに関連付けられているリソースを使用する能力を必要とする又はその恩恵を受ける可能性がある行為（仮想教室、実験室、又はオフィスでのプロジェクトでの作業など）に従事するときにユーザグラフィック表現１５１６がアクセスすることになる仮想ルームに配置され得る。
いくつかの実施形態では、サーバコンピュータシステムは、仮想環境にアクセスせずに少なくとも１つのクライアントデバイスにログインすることで少なくとも１つのクラウドサーバコンピュータにアクセスするユーザに応答して、仮想コンピューティングリソースの少なくとも１つの部分を少なくとも１つのクライアントデバイスにプロビジョニングするように構成される。例示的なシナリオでは、仮想コンピューティングリソースは、ネットワークを通じて少なくとも１つのクラウドサーバコンピュータ１５０２に接続するクライアントデバイス１５１４に物理的にログインすることによって少なくとも１つのクラウドサーバコンピュータ１５０２にアクセスするユーザ１５１８によってアクセスされ、仮想環境にアクセスせずにクライアントデバイス１５１４への仮想コンピューティングリソースのプロビジョニングをトリガする。例えば、ユーザ１５１８は、自宅のコンピュータからクラウドサーバコンピュータ１５０２にログインし、仮想コンピュータ１５１０にアクセスし、したがって、仮想コンピューティングリソースを受信することができる。別の例では、ユーザ１５１８は、自分の仕事用コンピュータからクラウドサーバコンピュータ１５０２にログインして、仮想コンピュータ１５１０にアクセスし、したがって、仮想コンピューティングリソースを受信することができる。
いくつかの実施形態では、仮想コンピューティングリソースの少なくとも１つの部分は、管理ツールでクライアントデバイスに割り当てられる。したがって、関連するすべての仮想コンピュータを含む仮想インフラストラクチャは、排他的管理者権限（例えば、仮想環境を使用する組織のＩＴチームに提供される）に基づく管理者オプションを使用することによって管理され得る。
いくつかの実施形態では、仮想コンピューティングリソースのプロビジョニングは、格納されたユーザプロフィールに基づいて行われる。一実施形態では、仮想コンピューティングリソースの割り当ては、優先度データ、セキュリティデータ、ＱＯＳ、帯域幅、メモリスペース、又は計算能力、又はこれらの組み合わせを含むユーザプロフィールに関連付けられ割り当てられたパラメータのうちの１つ又は複数を含む格納されたユーザプロフィールに基づいて行われる。例えば、自宅から仕事仮想コンピュータにアクセスするユーザは、プロフィールに関連付けられた特定の仮想コンピューティングリソースをユーザに提供するように構成された個人プロフィールを有し得る。
いくつかの実施形態では、各仮想コンピュータは、アプリケーションライブラリから入手可能なダウンロード可能なアプリケーションである。
図１６は、一実施形態に係る、ユーザグラフィック表現間のアドホック仮想通信を可能にするシステム１６００の概略図である。
システム１６００は、少なくとも１つのプロセッサ１６０４と、仮想環境１６０８を実装するデータ及び命令を格納するメモリ１６０６とを備える、１つ又は複数のクラウドサーバコンピュータ１６０２を備える。仮想環境１６０８は、仮想環境１６０８での少なくとも１つの接近するユーザグラフィック表現及び少なくとも１つのターゲットユーザグラフィック表現がアドホック通信チャネルを開くことを可能にし、仮想環境１６０８内のユーザグラフィック表現間のアドホック通信チャネルを介してアドホック会話を可能にするように構成される。図１６に示された例では、システムは、ネットワーク１６１２を介して１つ又は複数のクラウドサーバコンピュータ１６０２に接続され、対応するユーザグラフィック表現を通じて少なくとも１つの仮想環境にアクセスする、２つ以上のクライアントデバイス１６１０をさらに備える。仮想環境１６０８は、少なくとも１つの接近するユーザグラフィック表現１６１４及び少なくとも１つのターゲットユーザグラフィック表現１６１６が、対応するユーザ１６２０からアドホック通信チャネル１６１８を開くことを可能にし、仮想環境１６０８内のユーザグラフィック表現間のアドホック会話を可能にする。
いくつかの実施形態では、アドホック通信チャネル１６１８を開くことは、ユーザグラフィック表現間の距離、位置、及び向き、又は現在の対応可能性ステータス、プライバシー設定、又はアドホック通信のステータス構成、又はそれらの組み合わせに基づいて行われる。
いくつかの実施形態では、アドホック会話は、両方のユーザグラフィック表現エリアが存在する仮想環境１６０８内の場所で行われる。例えば、接近するユーザグラフィック表現１６１４が、ラウンジルーム又はオフィススペースの特定のエリアでターゲットユーザグラフィック表現１６１４と会う場合、アドホック通信が開かれて、両方のユーザが場所を変える必要なしにラウンジルーム又はオフィススペースの特定のエリア内で会話をすることが可能となる。さらに別の実施形態では、アドホック会話は、仮想環境での現在のビューイングパースペクティブを使用して行われる。上記の例では、アドホック通信が開かれて、ビューイングパースペクティブを変更せずに両方のユーザが会話をすることが可能となる。他の実施形態では、アドホック会話は、アドホック会話が行われる同じ又は別の接続された仮想環境内での、ビューイングパースペクティブ、場所、又はその組み合わせの随意的な変更を可能にする。
いくつかの実施形態では、１つ又は複数のクラウドサーバコンピュータはさらに、アドホック通信が可能であることをシグナリングする仮想環境での現在の視覚的フィードバックを生成するように構成される。一実施形態では、ユーザグラフィック表現は、アドホック通信が可能であることをシグナリングする視覚的フィードバックを受信し、これにより、アドホック通信チャネルを開くことをトリガし、ユーザグラフィック表現間のアドホック会話の開始をシグナリングする。
いくつかの実施形態では、アドホック会話は、ユーザグラフィック表現から表示されるリアルタイム音声及びビデオを送信及び受信することを含む。
いくつかの実施形態では、接近するユーザグラフィック表現１６１４に対応するユーザは、アドホック通信チャネル１６１８を開く前に、ターゲットユーザグラフィック表現１６１６を選択及びクリックする。
いくつかの実施形態では、１つ又は複数のクラウドサーバコンピュータはさらに、招待の承諾に応答してアドホック通信チャネルを開くように構成される。例えば、接近するユーザグラフィック表現１６１４に対応するユーザはさらに、アドホック通信参加招待をターゲットユーザグラフィック表現１６１６に送信し、アドホック通信チャネル１６１８を開く前にターゲットユーザグラフィック表現１６１４から招待の承認を受信する。
いくつかの実施形態では、アドホック通信チャネル１６１８は、少なくとも１つのクラウドサーバコンピュータを通じて又はＰ２Ｐ通信チャネルとして可能になる。
図１７は、一実施形態に係る、仮想環境での相互作用を可能にする方法１７００の一実施形態を示す図である。
本開示に係る仮想環境での相互作用を可能にする方法１７００は、ステップ１７０２及び１７０４で、少なくとも１つのプロセッサを備える１つ又は複数のクラウドサーバコンピュータのメモリ内に、少なくとも１つの仮想環境を含む仮想環境プラットフォームを提供することで開始する。
方法は、ステップ１７０６及び１７０８で見られるように、少なくとも１つのカメラから、クライアントデバイスのユーザからライブデータフィードを受信し、次いで、ライブデータフィードから、ユーザグラフィック表現を生成する。次いで、方法１７００は、ステップ１７１０で見られるように、ユーザグラフィック表現を仮想環境の３次元座標に挿入する。
その後、ステップ１７１２で、方法は、ライブデータフィードから、仮想環境内のユーザグラフィック表現を更新する。最後に、ステップ１７１４で、方法は、仮想環境内に存在する対応するグラフィック表現を通じて少なくとも１つの仮想環境での相互作用から生成されたデータを処理し、ステップ１７１６で終了する。
図１８は、一実施形態に係る、画像処理方法１８００の一実施形態を示す図である。
方法１８００は、ステップ１８０２及び１８０４で、画像処理機能を実装するデータ及び命令を少なくとも１つのクラウドサーバコンピュータのメモリに提供することで開始する。続いて、ステップ１８０６で、方法１８００は、少なくとも１つのカメラから、少なくとも１つの対応するクライアントデバイスの少なくとも１人のユーザからのライブデータフィードを取得する。次いで、ステップ１８０８で、方法１８００は、１つ又は複数のクラウドサーバコンピュータと少なくとも１つのクライアントデバイスの１つ又は複数の画像処理の組み合わせ（例えば、図６Ａ～図７Ｃの画像処理の組み合わせ）によって、ユーザグラフィック表現を生成し、その後、ステップ１８１０でプロセスを終了する。１つ又は複数のクラウドサーバコンピュータと少なくとも１つのクライアントデバイスは、Ｐ２Ｐ側及びクライアントサーバ側を備える本開示からのハイブリッドシステムアーキテクチャ（例えば、図３のハイブリッドシステムアーキテクチャ３００）を通じて相互作用し得る。
図１９は、一実施形態に係る、ユーザグラフィック表現ベースのユーザ認証方法１９００を示す図である。
方法１９００は、ステップ１９０２及び１９０４で、１つ又は複数のクラウドサーバコンピュータのメモリに、ユーザアカウント及び対応するユーザグラフィック表現に関連付けられたユーザデータを格納するユーザデータベースと、ユーザデータベースに接続された顔スキャン及び認証モジュールを提供することで開始する。方法１９００は、ステップ１９０６で、クライアントデバイスから、ユーザアカウントへのアクセス要求を受信することに続き、次いで、ステップ１９０８で、少なくとも１つのクライアントデバイス及び／又は１つ又は複数のクラウドサーバコンピュータに接続され得る少なくとも１つのカメラから受信した画像を使用することによって顔スキャン及び認証モジュールを通じて少なくとも１つのクライアントデバイスのユーザの顔スキャンを行う。続いて、チェック１９１０において、方法１９００は、ユーザアカウントに関連付けられたユーザデータの一致についてユーザデータベースをチェックする。ユーザアカウントが利用可能である場合、方法１９００は、ステップ１９１２で、ユーザアカウントへのアクセスとともに、対応するユーザグラフィック表現をユーザに提供する。ＮＯの場合、ユーザアカウントが利用可能でない場合、方法１９００は、続いて、ステップ１９１４で、データから、ユーザデータベースに格納される新しいユーザアカウント及びユーザアカウントへのアクセスとともに、新しいユーザグラフィック表現を生成する。プロセスはステップ１９１６で終了する。
図２０は、一実施形態に係る、仮想環境内から仮想ブロードキャストするための方法２０００のブロック図である。
方法２０００は、ステップ２００２で、少なくとも１つのメディアサーバのメモリ内に、クライアントデバイス間のデータ交換を管理するクライアントデバイスデータ交換管理モジュールを実装するデータ及び命令を提供することで開始する。続いて、方法２０００は、ステップ２００４で、少なくとも１つのメディアサーバに接続された少なくとも１つの仮想環境内に配置された仮想ブロードキャストカメラでマルチメディアストリームを取り込む。
続いて、ステップ２００６で、方法２０００は、マルチメディアストリームを少なくとも１つのクライアントデバイスにブロードキャストするべく少なくとも１つのメディアサーバに送信する。続いて、ステップ２００８で、方法２０００は、少なくとも１つのカメラから、少なくとも１つのクライアントデバイスを通じて少なくとも１つのクライアントデバイスのユーザからのライブフィードデータを取得する。
続いて、ステップ２０１０で、方法は、少なくとも１つの仮想環境内からの着信マルチメディアストリーム及びユーザからのライブフィードデータを分析及び最適化し、発信マルチメディアストリームの転送を評価及び最適化することを含む、データ交換管理を行う。最後に、ステップ２０１２で、方法２０００は、データ交換管理に基づいて対応するマルチメディアストリームをクライアントデバイスにブロードキャストすることで終了し、この場合、マルチメディアストリームは、少なくとも１つのクライアントデバイスのユーザのユーザグラフィック表現に表示される。
図２１は、一実施形態に係る、仮想環境内でアプリケーションを配信するための方法２１００のブロック図である。
方法２１００は、ステップ２１０２で、少なくとも１つのクラウドサーバコンピュータのメモリに、少なくとも１つの仮想環境と、１つ又は複数のインストールされるアプリケーション及び対応するマルチユーザ相互作用のためのアプリケーションルールを含むアプリケーションモジュールとを提供することで開始し、この場合、アプリケーションモジュールは仮想環境にリンクされ、仮想環境内に表示される。続いて、ステップ２１０４で、方法２１００は、仮想環境ホストから選択命令を受信する。次いで、ステップ２１０６で、方法２１００は、仮想環境のセッション中に１つ又は複数のインストールされるアプリケーションを表示及びアクティブ化し、仮想環境内の仮想環境ホストのユーザグラフィック表現と任意の参加者ユーザグラフィック表現が対応するクライアントデバイスを通じて相互作用することを可能にする。
続いて、ステップ２１０８で、方法２１００は、１つ又は複数のインストールされるアプリケーションとのユーザ相互作用を受信する。その後、方法２１００は、ステップ２１１０で見られるように、アプリケーションモジュールにあるマルチユーザ相互作用のためのアプリケーションルールに従って、１つ又は複数のインストールされるアプリケーションとのユーザ相互作用を管理及び処理する。最後に、方法２１００は、ステップ２１１２で、アプリケーションルールに従って共有体験を可能にするマルチユーザセッションを確立するべく、それに応じて処理された相互作用を各クライアントデバイスに転送することで終了する。
図２２は、一実施形態に係る、仮想環境内で仮想コンピューティングリソースをプロビジョニングするための方法２２００のブロック図である。
方法２２００は、ステップ２２０２で、少なくとも１つのクラウドサーバコンピュータのメモリに、少なくとも１つの仮想コンピュータと、仮想コンピュータを表す１つ又は複数のグラフィック表現を備える仮想環境を提供することで開始する。続いて、方法は、ステップ２２０４で、仮想コンピュータによって、少なくとも１つのクラウドサーバコンピュータから仮想コンピューティングリソースを受信する。次いで、ステップ２２０６で、方法は、少なくとも１つのクライアントデバイスから、１つ又は複数の仮想コンピュータへのアクセス要求を受信する。最後に、ステップ２２０８で、方法は、クライアントデバイスの需要に基づいて、利用可能な仮想コンピューティングリソースの一部を少なくとも１つのクライアントデバイスにプロビジョニングすることで終了する。
図２３は、ユーザグラフィック表現間のアドホック仮想通信を可能にする方法２３００のブロック図である。
方法２３００は、ステップ２３０２で、少なくとも１つのプロセッサを備える１つ又は複数のクラウドサーバコンピュータのメモリ内に仮想環境を提供することで開始する。次いで、ステップ２３０４で、方法は、ネットワークを介して１つ又は複数のクラウドサーバコンピュータに接続され、対応するグラフィック表現を通じて少なくとも１つの仮想環境にアクセスする、２つ以上のクライアントデバイスを検出する。最後に、ステップ２３０６で、方法２３００は、少なくとも１人のユーザグラフィック表現が別のユーザグラフィック表現に接近することに応答して、アドホック通信チャネルを開き、仮想環境でのユーザグラフィック表現間のアドホック会話を可能にすることで終了する。
１つ又は複数のコンピュータに本明細書に記載の方法のいずれかを行わせるように構成された命令を格納しているコンピュータ可読媒体も説明される。本明細書で用いられる場合の「コンピュータ可読媒体」という用語は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を格納することができる任意の方法又は技術で実装される揮発性及び不揮発性の取り外し可能及び取り外し不可能な媒体を含む。一般に、本明細書で説明されるコンピューティングデバイスの機能は、Ｃ、Ｃ＋＋、ＣＯＢＯＬ、ＪＡＶＡ（商標）、ＰＨＰ、Ｐｅｒｌ、Ｐｙｔｈｏｎ、Ｒｕｂｙ、ＨＴＭＬ、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ、ＶＢＳｃｒｉｐｔ、ＡＳＰＸ、Ｃ＃などのＭｉｃｒｏｓｏｆｔ．ＮＥＴ（商標）言語などのプログラミング言語で書くことができるハードウェア又はソフトウェア命令で具体化されたコンピューティングロジックで実装することができる。コンピューティングロジックは、実行可能プログラムにコンパイルするか、又は解釈されるプログラミング言語で書くことができる。一般に、本明細書に記載の機能は、より高い処理能力を提供するために複製する、他のモジュールとマージする、又はサブモジュールに分割することができる論理モジュールとして実装することができる。コンピューティングロジックは、任意のタイプのコンピュータ可読媒体（例えば、メモリ又は記憶媒体などの一時的でない媒体）又はコンピュータ記憶装置に格納し、１つ又は複数の汎用又は特殊用途プロセッサで実行することができ、したがって、本明細書に記載の機能を提供するように構成された特殊用途コンピューティングデバイスをもたらす。
特定の実施形態が説明され、添付図に示されているが、このような実施形態は、広範な発明を単に例示するものであって、限定するものではないことと、当該技術分野の当業者は他の様々な修正を思いつくことができるので、本発明は示され説明された特定の構成及び配置に限定されないことを理解されたい。したがって、説明は、限定ではなく例示とみなされるべきである。

Claims (18)

  1. 仮想環境内でアプリケーションを配信するためのシステムであって、
    少なくとも１つのプロセッサと、１つ又は複数のインストールされるアプリケーション及び対応するマルチユーザ相互作用のためのアプリケーションルールを含むアプリケーションモジュールにリンクされた少なくとも１つの仮想環境を実装するデータ及び命令を含むメモリとを備える、少なくとも１つのクラウドサーバコンピュータ、
    を備え、
    クライアントデバイスを通じた仮想環境ホストによる選択に応答して、仮想環境のセッション中に１つ又は複数のインストールされるアプリケーションが表示及びアクティブ化され、対応するクライアントデバイスを通じて仮想環境内の仮想環境ホストのユーザグラフィック表現及び任意の参加者ユーザグラフィック表現と１つ又は複数のインストールされるアプリケーションとの相互作用が可能となり、
    前記少なくとも１つのクラウドサーバコンピュータは、アプリケーションモジュールにあるマルチユーザ相互作用のためのアプリケーションルールに従って、１つ又は複数のインストールされるアプリケーションとの受信したユーザ相互作用を管理及び処理し、マルチユーザ相互作用アプリケーションルールに従って共有体験を可能にするマルチユーザセッションを確立するべく、処理された相互作用をクライアントデバイスに転送するように構成され、
    マルチユーザ相互作用のためのアプリケーションルールのうちの１つ又は複数は、同期相互作用、又は非同期相互作用、又はこれらの組み合わせを定義するシステム。
  2. 前記マルチユーザ相互作用のためのアプリケーションルールは、１つ又は複数の別個のアプリケーションサーバに格納され管理される、請求項１に記載のシステム。
  3. 前記１つ又は複数のアプリケーションは、アプリケーションライブラリから入手可能なアプリケーションインストールパッケージからインストールされ、対応するアプリケーション・プログラミング・インターフェースを通じてアプリケーションサービスをプロビジョニングする、請求項１に記載のシステム。
  4. 前記アプリケーションライブラリは、コンテキストによりフィルタリングされる、請求項３に記載のシステム。
  5. 前記１つ又は複数のインストールされるアプリケーションは、対応するクライアントデバイスにインストールされた仮想ディスプレイアプリケーションと共有され、それを通じて表示される、請求項１に記載のシステム。
  6. 前記アプリケーションモジュールは、インストールされるアプリケーションからのコンテンツを仮想環境でのユーザグラフィック表現に表示する２Ｄ画面又は３Ｄボリュームアプリケーションモジュールグラフィック表現として表され、前記仮想ディスプレイアプリケーションは、インストールされるアプリケーションからのコンテンツを仮想環境でのユーザグラフィック表現に表示する２Ｄ画面又は３Ｄボリュームとして表される、請求項５に記載のシステム。
  7. 前記非同期相互作用は、少なくとも１つのサーバコンピュータを通じて、又は少なくとも１つのインストールされるアプリケーションとの個々のユーザ相互作用の処理専用の別個のサーバコンピュータを通じて可能になる、請求項１に記載のシステム。
  8. 仮想環境内でアプリケーションを配信するための方法であって、
    少なくとも１つのクラウドサーバコンピュータのメモリに、少なくとも１つの仮想環境と、１つ又は複数のインストールされるアプリケーション及び対応するマルチユーザ相互作用のためのアプリケーションルールを含むアプリケーションモジュールとを提供することと、前記アプリケーションモジュールは仮想環境にリンクされ、仮想環境内に表示され、
    仮想環境ホストから選択命令を受信することと、
    仮想環境のセッション中に１つ又は複数のインストールされるアプリケーションを表示及びアクティブ化することにより、仮想環境内で仮想環境ホストのユーザグラフィック表現及び１つ又は複数の参加者ユーザグラフィック表現が対応するクライアントデバイスを通じて１つ又は複数のインストールされるアプリケーションと相互作用することを可能にすることと、
    １つ又は複数のインストールされるアプリケーションとのユーザ相互作用を受信することと、
    アプリケーションモジュールにあるマルチユーザ相互作用のためのアプリケーションルールに従って、１つ又は複数のインストールされるアプリケーションとのユーザ相互作用を管理及び処理することと、
    アプリケーションルールに従って共有体験を可能にするマルチユーザセッションを確立するべく、処理された相互作用をクライアントデバイスに転送することと、
    マルチユーザ相互作用のためのアプリケーションルールのうちの１つ又は複数を、同期相互作用、又は非同期相互作用、又はこれらの組み合わせを含むように定義すること、を含む、方法。
  9. マルチユーザ相互作用のためのアプリケーションルールを１つ又は複数の別個のアプリケーションサーバで格納及び管理することをさらに含む、請求項８に記載の方法。
  10. アプリケーションライブラリから入手可能なアプリケーションインストールパッケージから１つ又は複数のアプリケーションをインストールすることと、
    対応するアプリケーション・プログラミング・インターフェースを通じてアプリケーションサービスをプロビジョニングすることと、
    をさらに含む、請求項８に記載の方法。
  11. 前記アプリケーションライブラリは、コンテキストによりフィルタリングされる、請求項１０に記載の方法。
  12. 前記１つ又は複数のインストールされるアプリケーションは、対応するクライアントデバイスにインストールされた仮想ディスプレイアプリケーションと共有され、それを通じて表示される、請求項８に記載の方法。
  13. 前記アプリケーションモジュールは、インストールされるアプリケーションからのコンテンツを仮想環境でのユーザグラフィック表現に表示する２Ｄ画面又は３Ｄボリュームアプリケーションモジュールグラフィック表現として表され、前記仮想ディスプレイアプリケーションは、仮想環境でのユーザグラフィック表現にインストールされるアプリケーションからのコンテンツを表示する２Ｄ画面又は３Ｄボリュームとして表される、請求項１２に記載の方法。
  14. プロセッサ及びメモリを備える少なくとも１つのサーバコンピュータに、
    １つ又は複数のインストールされるアプリケーション及び対応するマルチユーザ相互作用のためのアプリケーションルールを備えるアプリケーションモジュールを含む少なくとも１つの仮想環境を提供するステップと、
    仮想環境ホストから選択命令を受信するステップと、
    仮想環境のセッション中に１つ又は複数のインストールされるアプリケーションを表示及びアクティブ化することにより、仮想環境内で仮想環境ホストのユーザグラフィック表現及び１つ又は複数の参加者ユーザグラフィック表現が対応するクライアントデバイスを通じて１つ又は複数のインストールされるアプリケーションと相互作用することを可能にするステップと、
    １つ又は複数のインストールされるアプリケーションとのユーザ相互作用を受信するステップと、
    アプリケーションモジュールにあるマルチユーザ相互作用のためのアプリケーションルールに従って、１つ又は複数のインストールされるアプリケーションとのユーザ相互作用を管理及び処理するステップと、
    アプリケーションルールに従って共有体験を可能にするマルチユーザセッションを確立するべく、処理された相互作用をクライアントデバイスに転送するステップと、
    マルチユーザ相互作用のためのアプリケーションルールのうちの１つ又は複数は、同期相互作用、又は非同期相互作用、又はこれらの組み合わせを含むように定義するステップと、を実行させるように構成された命令を格納しているコンピュータで読み取り可能な記録媒体。
  15. マルチユーザ相互作用のためのアプリケーションルールを１つ又は複数の別個のアプリケーションサーバで格納及び管理するステップをさらに含む、請求項１４に記載のコンピュータで読み取り可能な記録媒体。
  16. アプリケーションライブラリから入手可能なアプリケーションインストールパッケージから１つ又は複数のアプリケーションをインストールするステップと、
    対応するアプリケーション・プログラミング・インターフェースを通じてアプリケーションサービスをプロビジョニングするステップと、
    をさらに含む、請求項１４に記載のコンピュータで読み取り可能な記録媒体。
  17. 前記１つ又は複数のインストールされるアプリケーションは、対応するクライアントデバイスにインストールされた仮想ディスプレイアプリケーションと共有され、それを通じて表示される、請求項１４に記載のコンピュータで読み取り可能な記録媒体。
  18. 前記アプリケーションモジュールは、インストールされるアプリケーションからのコンテンツを仮想環境でのユーザグラフィック表現に表示する２Ｄ画面又は３Ｄボリュームアプリケーションモジュールグラフィック表現として表され、前記仮想ディスプレイアプリケーションは、仮想環境でのユーザグラフィック表現にインストールされるアプリケーションからのコンテンツを表示する２Ｄ画面又は３Ｄボリュームとして表される、請求項１７に記載のコンピュータで読み取り可能な記録媒体。
JP2021138999A 2020-08-28 2021-08-27 仮想環境内でのアプリケーションの配信システム及び方法 Active JP7340281B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US17/006,327 US12107907B2 (en) 2020-08-28 2020-08-28 System and method enabling interactions in virtual environments with virtual presence
US17/006,327 2020-08-28
US17/060,555 2020-10-01
US17/060,555 US20220070238A1 (en) 2020-08-28 2020-10-01 System and method for the delivery of applications within a virtual environment

Publications (2)

Publication Number Publication Date
JP2022050323A JP2022050323A (ja) 2022-03-30
JP7340281B2 true JP7340281B2 (ja) 2023-09-07

Family

ID=77520575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021138999A Active JP7340281B2 (ja) 2020-08-28 2021-08-27 仮想環境内でのアプリケーションの配信システム及び方法

Country Status (6)

Country Link
US (1) US20220070238A1 (ja)
EP (1) EP3962077A1 (ja)
JP (1) JP7340281B2 (ja)
KR (1) KR20220030177A (ja)
CN (1) CN114115519B (ja)
ZA (1) ZA202105599B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4027284A1 (en) * 2021-01-07 2022-07-13 Unify Patente GmbH & Co. KG Computer-implemented method of performing a webrtc-based communication and collaboration session and webrtc-based communication and collaboration platform
US20220269336A1 (en) * 2021-02-25 2022-08-25 Quebec Inc. (Auger Groupe Conseil) Systems and methods for virtual interaction
US20230105621A1 (en) * 2021-09-24 2023-04-06 International Business Machines Corporation Extended reality content navigation
US20240096033A1 (en) * 2021-10-11 2024-03-21 Meta Platforms Technologies, Llc Technology for creating, replicating and/or controlling avatars in extended reality
EP4296834A1 (en) 2022-06-23 2023-12-27 Koninklijke Philips N.V. Rendering a virtual model
JP2024035626A (ja) 2022-09-02 2024-03-14 横河電機株式会社 情報提供装置、情報提供方法、情報提供プログラム、情報管理装置および情報管理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040128350A1 (en) 2002-03-25 2004-07-01 Lou Topfl Methods and systems for real-time virtual conferencing
JP2011519438A (ja) 2008-02-28 2011-07-07 シェブロン ユー．エス．エー． インコーポレイテッド 仮想環境のもとで会議を開くための方法およびシステム
JP2016031542A (ja) 2014-07-25 2016-03-07 富士ゼロックス株式会社 情報処理装置、情報処理システム、プログラム、及び記録媒体
JP2020013550A (ja) 2018-05-24 2020-01-23 ティーエムアールダブリュー ファウンデーション アイピー アンド ホールディング エスエーアールエル 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702730B2 (en) * 2004-09-03 2010-04-20 Open Text Corporation Systems and methods for collaboration
US20070043830A1 (en) * 2005-08-19 2007-02-22 Jeffery Housenbold System and methods for collaborative scrapbook creation
US20070282948A1 (en) * 2006-06-06 2007-12-06 Hudson Intellectual Properties, Inc. Interactive Presentation Method and System Therefor
EP2279472A4 (en) * 2008-04-05 2013-11-20 Social Communications Co APPARATUS AND METHODS BASED ON A SHARED VIRTUAL SPACE COMMUNICATION ENVIRONMENT
CN101599159A (zh) * 2009-07-14 2009-12-09 武汉大学 一种网络购物车的异步交互方法
US8407290B2 (en) * 2009-08-31 2013-03-26 International Business Machines Corporation Dynamic data sharing using a collaboration-enabled web browser
US8782534B2 (en) * 2010-10-12 2014-07-15 International Business Machines Corporation Independent viewing of web conference content by participants
US9886189B2 (en) * 2011-09-09 2018-02-06 Cloudon Ltd. Systems and methods for object-based interaction with cloud-based applications
US10430782B2 (en) * 2015-07-17 2019-10-01 Google Llc Merchant-specific functionality services
CA2941333A1 (en) * 2015-10-30 2017-04-30 Wal-Mart Stores, Inc. Virtual conference room
CN106327942A (zh) * 2016-10-21 2017-01-11 上海申电教育培训有限公司 基于虚拟现实的分布式电力培训系统
US20190079787A1 (en) * 2016-11-14 2019-03-14 Google Llc Systems and methods for providing interactive streaming media
US10182210B1 (en) * 2016-12-15 2019-01-15 Steelcase Inc. Systems and methods for implementing augmented reality and/or virtual reality
EP3622719A1 (en) * 2017-05-11 2020-03-18 Channelfix.com LLC Video-tournament platform
US10841537B2 (en) * 2017-06-09 2020-11-17 Pcms Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
CA3084149A1 (en) * 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
US10346378B1 (en) * 2018-11-30 2019-07-09 Slack Technologies, Inc. Data storage architecture for an enterprise communication system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040128350A1 (en) 2002-03-25 2004-07-01 Lou Topfl Methods and systems for real-time virtual conferencing
JP2011519438A (ja) 2008-02-28 2011-07-07 シェブロン ユー．エス．エー． インコーポレイテッド 仮想環境のもとで会議を開くための方法およびシステム
JP2016031542A (ja) 2014-07-25 2016-03-07 富士ゼロックス株式会社 情報処理装置、情報処理システム、プログラム、及び記録媒体
JP2020013550A (ja) 2018-05-24 2020-01-23 ティーエムアールダブリュー ファウンデーション アイピー アンド ホールディング エスエーアールエル 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法

Also Published As

Publication number Publication date
CN114115519B (zh) 2024-05-10
KR20220030177A (ko) 2022-03-10
ZA202105599B (en) 2024-06-26
EP3962077A1 (en) 2022-03-02
US20220070238A1 (en) 2022-03-03
JP2022050323A (ja) 2022-03-30
CN114115519A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
JP7384440B2 (ja) データ処理システム及び方法
JP7496139B2 (ja) 空間ビデオベースの仮想プレゼンスを可能にするシステム及び方法
JP7340281B2 (ja) 仮想環境内でのアプリケーションの配信システム及び方法
CN114201037B (zh) 使用基于图形表示的用户认证系统和方法
JP7391394B2 (ja) 仮想環境内から仮想ブロードキャストするためのシステム及び方法
JP7492746B2 (ja) ユーザグラフィック表現間のアドホック仮想通信
EP3961396A1 (en) System and method to provision cloud computing-based virtual computing resources within a virtual environment
KR102716026B1 (ko) 가상 환경에서 클라우드 컴퓨팅 기반 가상 컴퓨팅 리소스를 프로비저닝하는 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230405

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R150 Certificate of patent or registration of utility model

Ref document number: 7340281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150