JP2024043574A - 仮想イベントのデジタル自動化 - Google Patents

Abstract

【課題】仮想イベントのデジタル自動化を可能にする方法、システム及びコンピュータ可読媒体を提供する。
【解決手段】方法は、ユーザカメラのメディアフィードに基づくユーザグラフィカル表現で表された、ユーザ間インタラクションが可能な仮想環境を提供し、クライアントデバイスによるセッション要求に応答してユーザ間仮想イベントセッションをセットアップし、複数ルールを含むイベントフロールールセットを取得し、ルールセットが仮想イベントセッションにおけるユーザのメディアストリームのプレゼンテーションを含むイベントフローシーケンスを決定し、イベントフロールールセットを仮想イベントセッションにおけるユーザのメディアストリームに適用し、仮想イベントセッションにおいて、リアルタイムでイベントフローアクションをトリガし、トリガされたイベントフローアクションが、メディアストリームのプレゼンテーションを変更する。
【選択図】図４

Description

[0001]本開示は、概略的には、コンピュータシステムに関し、詳細には、仮想イベントのデジタル自動化を可能にする方法、システム、及びコンピュータ可読媒体に関する。

背景

[0002]一般に、ライブパフォーマンス、会議、ミーティング、講演会、ファッションショーなどの現実のイベントは、イベントが論理的な方法で展開されるのを可能にする何らかのタイプのフロープロセスを設計することによって開催される。しかしながら、世界中でロックダウン状況又は他のタイプの強制的な移動制限があるために、そうしたイベントをリモートで開催するのを可能にする他のソリューションを見つけなければならない。

[0003]チャットアプリケーションからＳｋｙｐｅ（商標）及びＺｏｏｍ（商標）などのテレビ電話、又はＰｒａｇｌｉ（商標）が提供するような２Ｄ（２次元）アバターで表現されるリモートチーム用の仮想オフィスまで、リアルタイムコミュニケーション及びコラボレーションを可能にするさまざまなソリューションが、すでに市場で利用可能である。しかしながら、これらのソリューションのいずれによっても、論理的で円滑な方法でイベントを開催することはできず、そのため、こうしたイベントの実施には間違いが発生しやすく、イベントが円滑に進行するのを確実にするために高度な人的介入及び制御が必要となる。さらに、現実の体験をこれらのソリューションと比較した場合、リアル感のレベルが低く、ユーザの存在がないか又は制限され、共有スペースがなく、人が実行することができるインタラクションの質又は可能性が低いことが、多くのユーザにとって孤独感又は退屈感をもたらし、ユーザのエンゲージメントレベルを低下させる。

概要

[0004]この概要は、「詳細な説明」において後にさらに説明する概念から選択したものを簡略化した形式で紹介するために提供する。この概要は、請求項に係る主題の重要な特徴を特定するように意図されるものではなく、請求項に係る主題の範囲を決定する際の補助として使用されるように意図されるものでもない。

[0005]本開示の１つの態様では、プログラム可能な仮想イベントを提供するためのシステムは、少なくとも１つのプロセッサと、仮想環境及びイベントフロー管理モジュールを記憶するメモリとを備えるサーバコンピュータシステムを具備する。仮想環境は、対応するユーザカメラから受信されたメディアフィードから作成されたユーザグラフィカル表現によって表されるユーザ間のインタラクションを可能にするように構成されている。イベントフロー管理モジュールは、少なくとも１つのクライアントデバイスから受信されたセッション要求に応答して、少なくとも２人のユーザ間の仮想イベントセッションをセットアップすることと、複数のルールを含むイベントフロールールセットを取得することであって、ルールセットが、仮想イベントセッションにおけるユーザのメディアストリームのプレゼンテーションを含むイベントフローシーケンスを決定する、取得することと、イベントフロールールセットを、仮想イベントセッションにおけるユーザのメディアストリームに適用することと、イベントフロールールセットを、仮想イベントセッションにおけるユーザのメディアストリームに適用することに応答して、仮想イベントセッションにおいてリアルタイムでイベントフローアクションをトリガすることであって、トリガされたイベントフローアクションが、仮想イベントセッションにおいてメディアストリームのプレゼンテーションを変更することを含む、トリガすることと、を行うように構成されている。

[0006]一実施形態では、システムは、少なくとも１つのクライアントデバイスに接続され、ネットワークを介してサーバコンピュータシステムに接続された、ユーザごとに少なくとも１つのカメラ及びマイクロフォンを備える遠隔会議機器をさらに備える。

[0007]いくつかの実施形態では、イベントフロールールセットは、任意の好適なプログラミング言語でのコンピュータコード、又はイベントフローテンプレート、若しくはビジュアルプログラミング技法を介して入力される。

[0008]いくつかの実施形態では、イベントフロールールセットは、参加者順序、参加者のターンごとの持続時間、ユーザ権限、又は決定スロットのうちの１つ又は複数を含む。

[0009]いくつかの実施形態では、決定スロットは、投票、ランダム選択、又はコンテスト勝者選択のうちの１つ又は複数に基づいてイベント決定を行うのを可能にする。さらなる実施形態では、投票データは、仮想イベントセッションの視聴者から受信される。さらなる実施形態では、メディアストリームのプレゼンテーションを変更することは、オーディオストリームのプレゼンテーションを停止すること又は開始することを含み、イベントフロールールセットは、マイクロフォンの有効化及び無効化命令と、イベントフローに基づいて仮想環境内の仮想カメラを調整するように構成された仮想カメラ調整命令とを調和させる。さらなる実施形態では、仮想イベントセッションは、仮想環境内で構成された仮想カメラを使用してリモートの視聴者に配信される。さらなる実施形態では、投票データは、仮想イベントの視聴者からさらに受信される。

[0010]いくつかの実施形態では、ユーザグラフィカル表現は、背景が除去されたユーザ３次元仮想カットアウト、又は背景が除去されたユーザリアルタイム３次元仮想カットアウト、又は背景が除去されたビデオ、又は背景が除去されていないビデオを含む。

[0011]いくつかの実施形態では、仮想イベントセッションは、仮想ミーティング、又は仮想コンサート、又は仮想会議、又はファッションショー、又は仮想ショッピングセッション、仮想展示会、又は仮想パフォーマンス、又は仮想講演会であり、仮想環境の構成は、仮想ミーティングに関連付けられる。

[0012]本開示の別の態様では、仮想イベントのデジタル自動化を可能にする方法が提供される。本方法は、少なくとも１つのプロセッサを備える少なくとも１つのサーバコンピュータのメモリに、対応するユーザカメラから受信されたメディアフィードから作成されたユーザグラフィカル表現によって表されるユーザ間のインタラクションを可能にする仮想環境を提供することによって開始する。次いで、本方法は、少なくとも１つのクライアントデバイスから受信されたセッション要求に応答して、少なくとも２人のユーザ間の仮想イベントセッションをセットアップすることによって継続する。本方法は、複数のルールを含むイベントフロールールセットを取得することによって継続し、ルールセットは、仮想イベントセッションにおけるユーザのメディアストリームのプレゼンテーションを含むイベントフローシーケンスを決定する。イベントフローは、たとえば、仮想イベントの管理者により任意の好適なプログラミング言語でのコンピュータコードの形式で、又はイベントフローテンプレート、若しくはビジュアルプログラミング技法を介して入力することができる。本方法は、イベントフロールールセットを、仮想イベントセッションにおけるユーザのメディアストリームに適用することと、イベントフロールールセットを仮想イベントセッションにおけるユーザのメディアストリームに適用することに応答して、仮想イベントセッションにおいてリアルタイムでイベントフローアクションをトリガすることとによって継続し、トリガされたイベントフローアクションは、仮想イベントセッションにおいてメディアストリームのプレゼンテーションを変更することを含む。

[0013]いくつかの実施形態では、イベントフロールールセットは、参加者順序、参加者のターンごとの持続時間、ユーザ権限、又は決定スロットのうちの１つ又は複数を含む。さらなる実施形態では、決定スロットは、投票、ランダム選択、又はコンテスト勝者選択のうちの１つ又は複数に基づいてイベント決定を行うのを可能にする。さらに他の実施形態では、投票データは、仮想イベントセッションの視聴者から受信される。いくつかの実施形態では、メディアストリームのプレゼンテーションを変更することは、オーディオストリームのプレゼンテーションを停止すること又は開始することを含み、イベントフロールールセットは、マイクロフォンの有効化及び無効化命令と、イベントフローに基づいて仮想環境内の仮想カメラを調整するように構成された仮想カメラ調整命令とを調和させる。さらに他の実施形態では、本方法は、仮想環境内で構成された仮想カメラを使用して、仮想イベントセッションをリモートの視聴者に配信することをさらに含む。

[0014]いくつかの実施形態では、ユーザグラフィカル表現のうちの少なくとも１つは、少なくとも１つのサーバコンピュータによって、送信又は出版（ｐｕｂｌｉｓｈｉｎｇ、パブリッシュ）クライアントデバイスの少なくとも１つのカメラによって取り込まれた、ユーザのライブデータフィードを受信することと、取り込まれたライブデータフィードを、少なくとも１つのサーバコンピュータを介して又はピアツーピア（Ｐ２Ｐ）アーキテクチャを通して、購読（ｓｕｂｓｃｒｉｂｉｎｇ、サブスクライブ）又は受信クライアントデバイスに送信することと、ライブデータフィードにおいて背景除去を実行することを含む、ユーザのライブデータフィードから少なくとも１つのユーザグラフィカル表現を生成することと、受信又は購読クライアントデバイスによって、少なくとも１つのユーザグラフィカル表現を前記仮想環境に挿入することとを含むプロセスによって作成される。

[0015]本開示の別の態様では、プロセッサ及びメモリを備える１つ又は複数のサーバコンピュータに、対応するユーザカメラから受信されたメディアフィードから作成されたユーザグラフィカル表現によって表されるユーザ間のインタラクションを可能にする仮想環境を提供するステップと、少なくとも１つのクライアントデバイスから受信されたセッション要求に応答して、少なくとも２人のユーザ間の仮想イベントセッションをセットアップするステップと、複数のルールを含むイベントフロールールセットを取得するステップであって、ルールセットが、仮想イベントセッションにおけるユーザのメディアストリームのプレゼンテーションを含むイベントフローシーケンスを決定する、ステップと、イベントフロールールセットを、仮想イベントセッションにおけるユーザのメディアストリームに適用するステップと、イベントフロールールセットを、仮想イベントセッションにおけるユーザのメディアストリームに適用するステップに応答して、仮想イベントセッションにおいてリアルタイムでイベントフローアクションをトリガするステップであって、トリガされたイベントフローアクションが、仮想イベントセッションにおいてメディアストリームのプレゼンテーションを変更することを含む、ステップと、を含むステップを実行させるように構成された命令が格納されている非一時的（non-transitory、ノントランジトリ）コンピュータ可読媒体。

[0016]上記の概要は、本開示のすべての態様の網羅的なリストを含むものではない。本開示は、上記で概説したさまざまな態様、並びに下記の詳細な説明に開示し、本出願とともに提出する特許請求の範囲において特に指摘する態様の、すべての好適な組み合わせから実施することができる、すべてのシステム及び方法を含むことが企図されている。こうした組み合わせは、上記の概要に特に記載していない利点を有する。本発明の他の特徴及び利点は、添付の図面から且つ下記に続く詳細な説明から明らかとなろう。

[0017]本開示の具体的な特徴、態様、及び利点は、以下の説明及び添付図面に関してよりよく理解されるであろう。
図１は、一実施形態による、仮想イベントのデジタル自動化を可能にするシステムを示す図である。 図２は、一実施形態による、仮想イベントのデジタル自動化を可能にするシステムで使用される会議フロールール例を示す図である。 図３Ａは、一実施形態による仮想イベントの一例を示す図である。 図３Ｂは、一実施形態による、仮想イベントを管理するために使用されるイベントフローの一例を示す図である。 図４は、一実施形態による、仮想イベントのデジタル自動化を可能にする方法を示す図である。

詳細な説明

[0018]以下の説明では、さまざまな実施形態を例として示す図面を参照する。また、いくつかの例を参照することにより、さまざまな実施形態について以下に説明する。実施形態は、請求項に係る主題の範囲から逸脱することなく、設計及び構造の変更を含むことができることが理解されるべきである。

[0019]本開示は、ユーザが仮想プレゼンスを有する、仮想イベントのデジタル自動化を提供することを可能にする。仮想プレゼンスは、ユーザが仮想環境などのシミュレートされた場所に、物理的にその環境に位置していないにもかかわらず、存在しているかのように感じることができるようにする、技術的特徴によって促進される。本開示のいくつかの実施形態では、仮想プレゼンスは、仮想環境におけるユーザの、ユーザの外見及び表情を含む正確な画像を（たとえば、背景を除去したビデオの形式で）シミュレート又は提供するユーザグラフィカル表現によって、ユーザが表されるように、現実的な方法で提供される。これにより、ユーザに、すべてが同じ仮想環境に一緒にいるような感覚が与えられる。

[0020]こうした仮想プレゼンスを可能にする仮想イベントの自動化により、仮想イベントの開催は、現実のイベントよりも、又は他のタイプの仮想イベント（たとえば、ビデオ通話）よりも、効率的でシームレスになる（たとえば、必要な人的介入が少なくなる）。さらに、仮想プレゼンスを可能にするイベントに関するこうした自動化により、仮想コンサート、仮想会議、ファッションショー、仮想ショッピングセッション、仮想展示会、仮想パフォーマンス、仮想講演会など、現行の遠隔会議システムでは通常考慮されない複数のタイプの仮想イベントを柔軟に開催することが可能になる。

[0021]図１は、一実施形態による、仮想イベントのデジタル自動化を可能にするシステムを示す。

[0022]システムは、少なくとも１つのプロセッサ１０４と、仮想環境１０８及びイベントフロー管理モジュール１１０を記憶するメモリ１０６とを備える、サーバコンピュータシステムの少なくとも１つのサーバコンピュータ１０２を備える。システムは、少なくとも１つのクライアントデバイス１１６に接続され、ネットワーク１１８を介して少なくとも１つのサーバコンピュータ１０２に接続された、ユーザ１１４ごとに少なくとも１つのカメラ１１２及びマイクロフォン（図示せず）などの遠隔会議機器をさらに備える。

[0023]仮想環境１０８は、対応するユーザカメラ１１２から受信されたメディアフィードから作成されたユーザグラフィカル表現１２０によって表されるユーザ１１４間のインタラクションを可能にするように構成されている。したがって、図示するように、ユーザＡ～Ｄは、仮想環境１０８内に対応するユーザグラフィカル表現Ａ～Ｄを有し、相互のインタラクションを可能にする。

[0024]イベントフロー管理モジュール１１０は、少なくとも１つのクライアントデバイス１１６から受信されたセッション要求に応答して、少なくとも２人のユーザ１１４間の仮想イベントセッションをセットアップするように構成されている。そして、イベントフロー管理モジュール１１０は、複数のルールを含むイベントフロールールセットを取得し、ルールセットはイベントフローシーケンスを決定する。イベントフロー管理モジュール１１０は、イベントフロールールセットを仮想イベントセッションにおけるユーザのメディアストリームに適用する。次いで、仮想イベントセッションにおけるユーザのメディアストリームへのイベントフロールールセットの適用に応答して、イベントフロー管理モジュール１１０は、仮想イベントセッションにおいてリアルタイムでイベントフローアクションをトリガする。いくつかの実施形態では、トリガされたイベントフローアクションは、仮想イベントセッションにおいてメディアストリームのプレゼンテーションを変更することを含む。

[0025]例示的なシナリオでは、メディアストリームへのイベントフロールールセットの適用は、対応するメディアストリームをプレゼンテーションしているユーザが時間制限に達したと判断することを含む。こうしたシナリオでは、１つ又は複数のメディアストリームのプレゼンテーションを変更することは、たとえば、制限時間に達した現メディアストリームのプレゼンテーションを、自動的に停止するか、視覚的にフェードアウトするか、音量を下げるか、又は他の方法で変更することと、次に予定されているプレゼンターに対応するメディアストリームのプレゼンテーションを、開始するか、視覚的に強調表示するか、音量を上げるか、又は他の方法で変更することを含むことができる。別の例示的なシナリオでは、メディアストリームへのイベントフロールールセットの適用は、歌唱コンテストの歌手など、対応するメディアストリームでのパフォーマンスを視聴者が反対投票したと判断することを含む。こうしたシナリオでは、１つ又は複数のメディアストリームのプレゼンテーションを変更することは、反対投票されたパフォーマンスのプレゼンテーションを自動的に停止するか、視覚的にフェードアウトするか、音量を下げるか、又は他の方法で変更することと、次に予定されているパフォーマンス又は視聴者によって賛成投票されたパフォーマンスに対応するメディアストリームのプレゼンテーションを開始するか、視覚的に強調表示するか、音量を上げるか、又は他の方法で変更することとを含むことができる。

[0026]仮想イベントのこうしたリアルタイム動作により、ユーザ時間の効率的な利用が可能になり、仮想イベントの開催実行時間中の間違いの可能性が低減する。さらに、仮想プレゼンスを含む仮想イベントをプログラムすることができることにより、より広範囲の仮想イベントを提供することが可能になる。たとえば、ファッションショーは、ファッションモデルのリアルタイムのビデオストリームを含むことができ、そこで、ファッションモデルのメディアストリームは、背景が除去された仮想環境に挿入され、各ファッションモデルのグラフィカル表現は、イベントフローに従ってキャットウォーク内の経路をたどる。さらにこの例では、ファッションモデルは、仮想身体に搭載された自身の上半身のみを表示してもよく、又は、仮想キャットウォークにグラフィカル表現として挿入する前に、ユーザカメラがファッションモデルの身体を完全に取り込む場合、全身を表示してもよい。より詳細には、この例では、イベントフロー管理モジュール１１０は、仮想キャットウォークにおけるファッションモデルのメディアストリームにイベントフロールールセットを適用することができる。次いで、キャットウォークにおけるファッションモデルのメディアストリームへのイベントフロールールセットの適用に応答して、イベントフロー管理モジュール１１０は、仮想キャットウォークにおいてリアルタイムでイベントフローアクションをトリガしてもよい。トリガされたイベントフローアクションは、対応するメディアストリームを有するファッションモデルが時間制限に達したと判断するなど、仮想キャットウォークにおけるファッションモデルのメディアストリームのプレゼンテーションを変更することを含むことができる。こうしたメディアストリームのプレゼンテーションを変更することは、たとえば、制限時間に達したファッションモデルの現メディアストリームのプレゼンテーションを、自動的に停止するか、視覚的にフェードアウトするか、音量を下げるか、又は他の方法で変更することと、仮想キャットウォーク内の次のファッションモデルに対応するメディアストリームのプレゼンテーションを、開始するか、視覚的に強調表示するか、音量を上げるか、又は他の方法で変更することとを含むことができる。別の例では、映画賞ショーは、イベントフロールールの一部として入力されるタイムラインに従ってプログラムされる複数のスピーチ、賞、及び映画シーンの配信を有することができ、フロー管理モジュール１１０は、仮想映画賞ショーに関連する俳優、講演者、映画シーンなどのメディアストリームにイベントフロールールセットを適用し、それに従って、対応するメディアストリームのプレゼンテーションを変更することを含む、イベントフローアクションをトリガすることができる。

[0027]たとえば仮想環境１０８及びイベントフロー管理モジュール１１０を備える図１のシステムのモジュールは、本明細書に記載する目的のために使用されるように独立して作成及び維持することができるコンピュータコードの個別の部分を含むソフトウェアモジュールを指す。モジュールは、異なるモジュールの機能を使用するように、システムのために配布し、システムが使用することができる。ソフトウェアモジュールは、対応するソフトウェアモジュールの機能を提供するように構成された独立した電子回路の選択されたものであってもよい、対応するハードウェアモジュールに関係させてもよい。仮想化及び分散コンピューティング技法を通して、本開示のモジュールを、ネットワーク１１８を通じて互いに接続された複数のサーバコンピュータなどの複数のコンピューティングデバイスに分散させてもよい。

[0028]仮想環境１０８は、ユーザ間のビデオ通信を可能にするビデオ会議プラットフォームの一部としてホストされる。仮想環境１０８は、ライブパフォーマンス、コンサート、ウェビナー、基調講演、ファッションショー、仮想ショッピングセッション、仮想展示会、仮想講演会などの複数の体験を、複数の（たとえば、数千又は数百万の）ユーザグラフィカル表現１２０に対してリアルタイムで共有するのを可能にすることができる。これらの仮想パフォーマンスは、世界のさまざまな地域からの多数のユーザを収容するために、仮想環境１０８の複数のインスタンスがプレゼンテーションし、及び／又は複数のインスタンスにマルチキャストすることができる。テレビ会議プラットフォームは、チャット、画面共有、マルチメディアファイルの送受信、挙手、会議要約の作成、オブジェクトの移動、ゲームのプレイ、取引の実行、プライベート又はグループ会話への参加など、複数の社会的相互作用を可能にすることができる。こうしたビデオ会議プラットフォームは、仮想環境での通信を可能にするために、任意の好適なシステムアーキテクチャを使用することができる。しかしながら、本開示がテレビ会議プラットフォームを使用してイベントを自動化するための方法を教示するように、こうした社会的相互作用機能は、イベントフロー管理モジュール１１０に格納されたルールのセットに応じて有効化されてもよい。たとえば、イベントフロールールは、話者Ａがプレゼンテーションを終了した後に質疑応答（Ｑ＆Ａ）セッションが有効化されることを決定してもよい。話者Ａがプレゼンテーションを終了したことに応答して、イベントフロー管理モジュール１１０によって、挙手したユーザのマイクロフォンを有効化して、関心のあるユーザが質問することができるようにしてもよい。別の例では、フロールールは、イベント管理者によって決定されるように、プレゼンテーション中にユーザが互いにチャットしてもよいことを決定してもよく、チャットを無効にしなければならないことを決定してもよい。

[0029]仮想環境１０８は、仮想シーン、世界、又は宇宙であって、ユーザが、そこで公開されたメディアコンテンツアイテムを探索し、購読し、それとインタラクトし、互いに通信するなどを、行うことができるものを指す場合がある。一例では、さまざまな仮想環境１０８を組み合わせて仮想世界を形成することができる。たとえば、複数の店舗の仮想環境１０８を単一の仮想ショッピングモールで組み合わせてもよく、そこでは、ユーザは、ユーザグラフィカル表現を介して探索し、異なるメディアを閲覧し、互いにインタラクトすることができる。仮想環境１０８は、複数のソフトウェアプラットフォーム又はソフトウェアエンジンを介してモデル化することができるアセットを含む。アセットは、プロパティ及び値を含むシーングラフの形態であってもよく、コンピュータモデルに基づいてもよい、シーン記述で定義してもよい。コンピュータモデルは、ジオメトリ、テクスチャ、物理、照明、マテリアルなどを含むデータによって定義される３次元オブジェクトの記述である。

[0030]したがって、仮想環境１０８は、コンピュータ支援製図（ＣＡＤ）方法を介する任意の好適な３Ｄ（３次元）モデリング技法を介して設計することができる、仮想構造物（たとえば、仮想モデル）を指す。いくつかの実施形態では、仮想環境１０８は、仮想環境１０８を生成するために、種々の写真、ビデオ、深度測定値、及び／又は同時位置決め及びマッピング（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）スキャニングを通して入力される画像スキャニングパイプラインを含む、任意の好適なスキャニングツールを通じて現実の構造物（たとえば、物理的な部屋）からスキャニングされる仮想構造物を指す。たとえば、合成開口レーダ、実開口レーダ、光検出及び測距（ＬＩＤＡＲ）、逆開口レーダ、モノパルスレーダ、及び他のタイプのイメージング技法などのレーダイメージングを使用して、現実世界の構造物をマッピング及びモデル化し、それらを仮想環境１１０に変えることができる。他の実施形態では、仮想環境１０８は、現実の構造物（たとえば、現実世界の部屋、建物、又は施設）をモデルとする仮想構造物である。

[0031]仮想環境１０８に含まれるアセットは、とりわけ、２Ｄ又は３Ｄ画像データ、３Ｄジオメトリ、ビデオデータ、オーディオデータ、テキストデータ、ハプティックデータ、時間データ、３Ｄエンティティ、３Ｄ動的オブジェクト、優先度データ、セキュリティデータ、位置データ、照明データ、深度データ、赤外線データ、及び対応するメタデータのうちの任意のものを含むことができる。

[0032]いくつかの実施形態では、クライアントデバイス１１６は、とりわけ、モバイルデバイス、パーソナルコンピュータ、ラップトップ、ゲーム機、メディアセンター、スマートコンタクトレンズ、及びヘッドマウントディスプレイのうちの１つ又は複数であってよい。カメラ１１２は、とりわけ、２Ｄ若しくは３Ｄカメラ、３６０度カメラ、ウェブカメラ、ＲＧＢＤカメラ、ＣＣＴＶカメラ、業務用カメラ、携帯電話カメラ、深度カメラ（たとえば、ＬＩＤＡＲ）、又はライトフィールドカメラのうちの１つ又は複数であってよい。

[0033]いくつかの実施形態では、ユーザグラフィカル表現は、背景が除去されたユーザ３Ｄ仮想カットアウト、又は背景が除去されたユーザリアルタイム３Ｄ仮想カットアウト、又は背景が除去されたビデオ、又は背景が除去されていないビデオを含む。

[0034]本開示において、ユーザ３Ｄ仮想カットアウトは、ユーザがアップロードした又はサードパーティソースの２Ｄ写真から構成されたユーザの仮想レプリカを含むことができる。一実施形態では、ユーザ３Ｄ仮想カットアウトは、ユーザがアップロードした又はサードパーティソースの２Ｄ写真を入力データとして使用し、背景が除去されたユーザの３Ｄメッシュ又は３Ｄ点群を生成する、マシンビジョン技法による３Ｄ仮想再構成プロセスを介して作成される。１つの実施形態では、ユーザ３Ｄ仮想カットアウトは、静的な顔の表情を有していてもよい。別の実施形態では、ユーザ３Ｄ仮想カットアウトは、カメラフィードを通じて更新された顔の表情を含んでいてもよい。さらに別の実施形態では、ユーザ３Ｄ仮想カットアウトは、ユーザ３Ｄ仮想カットアウトが微笑む、顔をしかめる、深刻になるなどを可能にするボタンなど、ユーザグラフィカルインターフェース上のボタンによって変更することができる表情を含んでいてもよい。さらに別の実施形態では、ユーザ３Ｄ仮想カットアウトは、上述した技法の組み合わせを使用して顔の表情を表示する。ユーザ３Ｄ仮想カットアウトを生成した後、ユーザ３Ｄ仮想カットのステータス及び／又は顔の表情は、たとえばユーザからのカメラフィードを処理することによって、連続的に更新してもよい。

[0035]ユーザリアルタイム３Ｄ仮想カットアウトは、カメラから得られたリアルタイムの２Ｄ又は３Ｄライブビデオストリームデータフィードに基づく、ユーザ背景を除去した後の、ユーザの仮想レプリカを含むことができる。一実施形態では、ユーザリアルタイム３Ｄ仮想カットアウトは、背景が除去されたユーザの３Ｄメッシュ又は３Ｄ点群を生成することによって、入力データとしてユーザライブデータフィードを使用して、マシンビジョン技法による３Ｄ仮想再構成プロセスを介して作成される。たとえば、ユーザリアルタイム３Ｄ仮想カットアウトは、ホログラフィック３Ｄメッシュ又は３Ｄ点群を作成するために処理することができるカメラ（たとえば、ウェブカメラ）からの２Ｄビデオから生成してもよい。別の例では、ユーザリアルタイム３Ｄ仮想カットアウトは、ホログラフィック３Ｄメッシュ又は３Ｄ点群を作成するために処理することができる、深度カメラ（たとえば、ＬＩＤＡＲ又は任意の深度カメラ）からの３Ｄビデオから生成してもよい。このように、ユーザリアルタイム３Ｄ仮想カットアウトは、ユーザを３次元で且つリアルタイムでグラフィカルに表現する。

[0036]背景が除去されたビデオは、クライアントデバイスにストリーミングされるビデオを含むことができ、そこでは、背景除去プロセスは、ユーザのみが可視であり得るように実行され、次いで、受信クライアントデバイス上で多角形構造を利用して表示されている。背景が除去されていないビデオは、クライアントデバイスにストリーミングされるビデオを含むことができ、そこでは、ビデオは、カメラの取り込みを忠実に表現しており、そのため、ユーザとその背景とが可視であり、その後、受信クライアントデバイス上で多角形構造を利用して表示される。多角形構造は、ビデオをサポートする仮想フレームとして使用される四角形構造又はより複雑な３Ｄ構造であり得る。

[0037]いくつかの実施形態では、ユーザグラフィカル表現１２０は、少なくとも１つのサーバコンピュータ１０２によって、送信クライアントデバイスの少なくとも１つのカメラ１１２によって取り込まれたライブデータフィードを受信することと、取り込まれたデータを、サーバ１０２を介して、又はＰ２Ｐアーキテクチャを介して、受信クライアントデバイスに送信することと、ユーザ送信しているユーザを表す画像のみを抽出するために、送信クライアントデバイスのユーザ１１４の背景除去を実行することと、受信クライアントデバイスによって、ユーザグラフィカル表現１２０を仮想環境１１２に挿入することとを含むプロセスによって作成される。

[0038]いくつかの実施形態では、ライブデータフィード及び／又はユーザがアップロードした又はサードパーティソースの２Ｄ写真に含まれる入力データとして使用されるデータは、とりわけ、２Ｄ又は３Ｄ画像データ、３Ｄジオメトリ、ビデオデータ、オーディオデータ、テキストデータ、ハプティックデータ、時間データ、３Ｄエンティティ、３Ｄ動的オブジェクト、メタデータ、優先度データ、セキュリティデータ、位置データ、照明データ、深度データ、及び赤外線データを含む。

[0039]いくつかの実施形態では、仮想環境１０８は、クライアント－サーバ側とピアツーピア（Ｐ２Ｐ）側とを含むハイブリッドシステムアーキテクチャを利用する。一実施形態では、クライアント－サーバ側はウェブサーバ又はアプリケーションサーバを含む。クライアント－サーバ側は、セキュア通信プロトコル、マイクロサービス、データベース管理システム、データベース、及び／又は分散メッセージ及びリソース分配プラットフォームを含むようにさらに構成してもよい。サーバ側コンポーネントは、ネットワークを介してサーバと通信するクライアントデバイスとともに提供される場合がある。クライアント－サーバ側は、クライアント側、サーバ側、又は受信クライアント側によって実行される任意の処理を含む、ネットワークを介した１つ又は複数のクライアントとサーバとの間のインタラクションを定義する。一実施形態では、対応するクライアント及びサーバのうちの１つ又は複数は、さまざまなルールに基づくタスク割り当ての組み合わせに従って、必要な画像及びメディア処理を実行する。一実施形態では、ウェブサーバ又はアプリケーションサーバは、セキュア通信プロトコルを使用してクライアント要求を受信し、データベース管理システムを使用してデータベースにマイクロサービス又は要求に対応するデータを要求することによってクライアント要求を処理するように構成される。マイクロサービスは、出版－購読型（ｐｕｂｌｉｓｈ－ｓｕｂｓｃｒｉｂｅ、パブリッシュ－サブスクライブ）モデルを使用する分散メッセージ及びリソース分散プラットフォームを利用して分散される。

[0040]Ｐ２Ｐ側は、仮想環境内のクライアントデバイス間のリアルタイム通信を可能にするＰ２Ｐ通信プロトコルと、クライアントデバイスが、仮想環境内に含まれるライブセッション要素（たとえば、ユーザグラフィカル表現）のリアルタイム３Ｄレンダリングを実行するのを可能にするように構成された、レンダリングエンジンとを備える。好適なＰ２Ｐ通信プロトコルの一例は、ウェブリアルタイムコミュニケーション（ＷｅｂＲＴＣ：Ｗｅｂ Ｒｅａｌ－Ｔｉｍｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）通信プロトコルであってもよく、ＷｅｂＲＴＣ通信プロトコルは、標準規格、プロトコル、及びＪａｖａＳｃｒｉｐｔ ＡＰＩの集合であり、これらは、組み合わさって、ピアクライアントデバイス間でのＰ２Ｐオーディオ、ビデオ、及びデータ共有を可能にする。好適なレンダリングエンジンの一例は、ＷｅｂＧＬに基づく３Ｄエンジンであってもよく、ＷｅｂＧＬは、プラグインを使用せずに互換性のある任意のＷｅｂブラウザ内で２Ｄ及び３Ｄグラフィックスをレンダリングし、クライアントデバイスの１つ又は複数のプロセッサ（たとえば、１つ又は複数のグラフィック処理ユニット（ＧＰＵ））による物理及び画像処理及び効果使用の高速化を可能にする、ＪａｖａＳｃｒｉｐｔ ＡＰＩである。一実施形態では、Ｐ２Ｐ側は、クライアントデバイスが仮想環境においてリアルタイムのコンピュータビジョンタスクを実行するのを可能にするように構成されたコンピュータビジョンライブラリをさらに含む。好適なコンピュータビジョンライブラリの一例は、ＯｐｅｎＣＶであってもよく、ＯｐｅｎＣＶは、主にリアルタイムコンピュータビジョンタスク用に構成されたプログラミング関数のライブラリである。こうした通信のハイブリッドモデルを使用することにより、ユーザ間の迅速なＰ２Ｐ通信が可能になり、各セッションにウェブサービス及びリソースを提供しながら、レイテンシ問題が軽減され、ユーザ間及び仮想環境内のコンテンツとの複数のインタラクションが可能になる。

[0041]いくつかの実施形態では、クライアントデバイス１１６及び少なくとも１つのクラウドサーバコンピュータ１０２は、有線又は無線ネットワーク１１８を介して接続する。いくつかの実施形態では、ネットワークは、ミリ波（ｍｍＷ）、又は第５世代無線システム通信（５Ｇ）などのｍｍＷ及びサブ６ＧＨｚ通信システムの組み合わせを含んでもよい。他の実施形態では、システムは、無線ローカルエリアネットワーク（Ｗｉ－Ｆｉ）を介して接続してもよい。他の実施形態では、システムは、第４世代無線システム通信（４Ｇ）を介して通信可能に接続してもよく、４Ｇ通信システムによってサポートされるものとしてもよく、又は、他の有線又は無線通信システムを含んでもよい。

[0042]いくつかの実施形態では、少なくとも１つのサーバコンピュータ１０２は、多地点制御装置（ＭＣＵ）トポロジ、又は選択的転送装置（ＳＦＵ：ｓｅｌｅｃｔｉｖｅ ｆｏｒｗａｒｄｉｎｇ ｕｎｉｔ）トポロジ、又はリレーＮＡＴを使用するトラバーサル（ＴＵＲＮ：Ｔｒａｖｅｒｓａｌ Ｕｓｉｎｇ Ｒｅｌａｙ ＮＡＴ）、又は空間的に分析されたメディアサーバトポロジ（ＳＡＭＳ：ｓｐａｔｉａｌｌｙ ａｎａｌｙｚｅｄ ｍｅｄｉａ ｓｅｒｖｅｒ）を使用するメディアサーバコンピュータである。

[0043]いくつかの実施形態では、少なくとも１つのサーバコンピュータ１０２は、中間サーバであってもよく、それは、サーバが、クライアントデバイス間のデータの交換を促進及び／又は最適化するために使用されることを意味する。こうした実施形態では、少なくとも１つのクラウドサーバは、ルータトポロジ（たとえば、限定されないが、ＳＦＵ、ＳＡＭＳ、マルチメディアサーバルータ、又は画像及びメディアの処理（たとえば、限定されないが、復号、結合、改善、混合、強化、拡張、コンピューティング、操作、符号化）、及び転送サーバトポロジ（たとえば、限定されないが、ＭＣＵ、クラウドメディアミキサ、クラウド３Ｄレンダラなど）、又は他のサーバトポロジとして、着信画像及びマルチメディアストリームを管理、分析処理及び最適化し、発信ストリームの転送を管理、評価、最適化することができる。

[0044]中間サーバがＳＡＭＳである実施形態では、こうしたメディアサーバは、各出版クライアントデバイスの着信データ（たとえば、限定されないが、メタデータ、優先度データ、データクラス、空間構造データ、３次元位置、向き、又は移動情報、画像データ、スケーラブルなビデオコーデックベースのビデオ）を管理及び処理する。一実施形態では、ＳＡＭＳは、１つ又は複数のユーザクライアントデバイスに対して最適な帯域幅及びコンピューティングリソース使用率を実現するのに有用であり得る、こうした着信データに対する特定の受信クライアントデバイスユーザの空間的、３次元の向き、距離、及び優先度の関係性に基づいて、時間的（変化するフレームレート）、空間的（たとえば、異なる画像サイズ）、詳細度、品質（たとえば、異なる圧縮又は符号化ベースの品質）、及び色（たとえば、色の解像度及び範囲）について、メディアを変更、アップスケーリング、又はダウンスケーリングすることによって、各クライアントデバイスへの発信データストリームの転送を最適化する。

[0045]図２は、一実施形態による、仮想イベントのデジタル自動化を可能にするシステムで使用されるイベントフロールール例２０２を示す。

[0046]イベントフロールール２０２は、任意の好適なプログラミング言語でのコンピュータコード又はスクリプト２０４を通して、又はイベント管理者が記入することができるイベントフローテンプレート２０６を通して、又はビジュアルプログラミング技法２０８を通して入力することができる。コンピュータコード又はスクリプトは、Ｃ、Ｃ＋＋、ＣＯＢＯＬ、ＪＡＶＡ（商標）、ＰＨＰ、Ｐｅｒｌ、Ｐｙｔｈｏｎ、Ｒｕｂｙ、ＨＴＭＬ（商標）、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ（商標）、ＶＢＳｃｒｉｐｔ、ＡＳＰＸ、Ｃ＃などのＭｉｃｒｏｓｏｆｔ．ＮＥＴ（商標）言語などの好適なプログラミング言語を介して、イベント管理者が直接入力してもよい。コンピューティングロジックは、実行可能プログラムにコンパイルしてもよく、又はインタプリタ型プログラミング言語で記述してもよい。イベントフローテンプレート２０６は、イベント管理者が、後にリアルタイムでミーティングフローを管理するコンピュータコードに変換されるイベントフローデータを記入するのを可能にする、ユーザフレンドリなスクリプト化されたテンプレートであり得る。ビジュアルプログラミング技法２０８は、ユーザがプログラム要素をテキストで指定することによるのではなく、グラフィカルに操作することによってプログラムを作成するのを可能にする、コンピュータ言語を指す場合がある。いくつかの実施形態では、イベントフローテンプレートは、ビジュアルプログラミング技法２０８によって作成される。

[0047]いくつかの実施形態では、イベントフロールール２０２は、参加者順序２１０、参加者のターンごとの持続時間２１２、ユーザ権限２１４、又は決定スロット２１６のうちの１つ又は複数を含む。

[0048]参加者順序２１０は、参加者がイベントフローの中で取る順番を指す。こうした順番は、仮想テーブル上の向き（たとえば、時計回り又は反時計回り）、方向（たとえば、複数の話者がいる仮想シナリオにおける左又は右）によって、参加者の優先度によって、ランダムに、投票によってなど、決定することができる。参加者のターンごとの持続時間２１２は、参加者によって提供されるプレゼンテーション又はパフォーマンスの長さに基づいてもよく、又はセッションの総時間長に基づいてすべての参加者に均質に設定してもよく、又はユーザの優先度に従って設定してもよく、などが可能である。ユーザ権限２１４は、ユーザの優先度に基づく場合があるユーザ許可を指す。優先度、又は優先度スコアは、参加者順序２１０の計算に使用され、イベントフローのその特定の時点におけるそのユーザの相対的な重要性を反映する、各ユーザに割り当てられる固定又は可変のスコアを指す。たとえば、優先度が可変である場合、優先度は、ユーザが話者であるとき、又は視聴者の一部として質問しているとき、又はユーザがイベントフローにおいて次であるときなど、イベントフローの瞬間に従って変化する可能性がある。しかしながら、優先度は、イベント管理者又はＶＩＰに対するなど、イベントフロー内の瞬間とは無関係にセッション全体に対して割り当てられる固定スコアとして設定されることもあり、その場合、そうした人たちは、他の参加者よりも多くのユーザ権限２１４が与えられる。１つの例では、ユーザ権限２１４により、特定の優先度スコアを持つ参加者、たとえばイベント管理者が、現イベントルールを上書きすることができる。この例では、イベントルールの変更後、イベントフロー管理モジュールはイベントフローを再調整することができる。たとえば、イベント管理者は、セッション開始時の参加者が少ないことに基づいて、イベントを開始する前に待ち時間を追加することができる。別の例では、イベント管理者は、ユーザエンゲージメントが高いため、時間を追加することによってイベントの終了を遅らせることができる。別の例では、イベント管理者は、休憩時間を増減させることができる。

[0049]決定スロット２１６は、イベントが異なる方向に進む可能性がある、イベントフロー中の転換点を指す。いくつかの実施形態では、決定スロット２１６は、投票、ランダム選択、又はコンテスト勝者選択のうちの１つ又は複数に基づいてイベント決定を行うことを可能にする。さらに別の実施形態では、投票データは、仮想イベントの視聴者から視聴者の対応するクライアントデバイスを介してさらに受信される。たとえば、イベントフローが、決定スロット２１６の実行中に、複数のビデオのうちの１つが投票に基づいて仮想イベントの視聴者に示されるべき時点に達した場合、視聴者は、対応するクライアントデバイスを使用して、ネットワークを介して投票データを送信することができてもよい。投票の結果は、イベントフローの方向を設定することができる、イベントフローアクションをリアルタイムでトリガすることができる。このように、決定スロットにより、イベントフローを、参加者を巻き込んだインタラクティブな方法で動的に調整することができる。１つの例では、ランダム選択は、参加者のうちの１人をランダムに選択することができ、選択された参加者は、イベントフローの一部として発言又はパフォーマンスを続けることができる。１つの例では、イベントフロー管理モジュールがゲーム（たとえば、仮想バスケットボールのシュートアウトラウンド、仮想ピンポン試合、カラオケコンテスト、トランプ対戦など）をトリガすることによって、コンテストの勝者を許可することができ、その勝者は、イベントフローの一部として発言又はパフォーマンスを続けることができる。１つの例として、コンテストは、ルーレット、トンボラ、又は宝くじ選択モードを使用して、イベントフローの方向を決定してもよい。

[0050]さらなる実施形態では、イベントフロールールは、イベントフローに基づいて、マイクロフォンの有効化及び無効化命令２１８と仮想カメラの調整命令２２０とを調和させる。こうした命令により、イベントフロー中の特定のポイントに基づいて、イベントフロー管理モジュールは、イベントフロー中の現ポイントに基づいてマイクロフォンの有効化及び無効化を調和させることができる。たとえば、ある参加者が現在発言している場合、その参加者のマイクロフォンを自動的に有効化してもよく、他のすべてのユーザのマイクロフォンを無効化してもよい。その後、イベントフローが進んで別の参加者の順番が回ってくると、最初の参加者のマイクロフォンを無効化してもよく、２番目の参加者のマイクロフォンを有効化してもよい。

[0051]仮想カメラ調整命令２２０は、イベントフロー管理モジュールが、仮想部屋内の仮想カメラのアングル、ズーム、シャープネス、解像度などを調整するのを可能にすることができる。この調整により、たとえば、視聴者に配信するために、仮想カメラのアングル及びズームを現話者に集中させることができてもよい。このように、イベントの参加者の各々は、自身のユーザグラフィカル表現の位置及び向きに調整された一人称ビューでイベントを視聴することができるが、配信カメラを使用して、視聴者への前記配信のためにイベントフローに基づいて動的に調整することによって、仮想環境内のシーンを取り込んで配信してもよい。配信は、仮想環境内で、たとえば、仮想投影壁、仮想ホワイトボード、仮想タブレットなどの仮想環境の共有投影領域において、共有することもできる。

[0052]図３Ａは、一実施形態による仮想イベントの一例を示す。仮想イベントは、仮想ミーティングテーブル３０４の周りに座る３人のユーザ３０２、ユーザＡ～Ｃを含む。仮想イベントは、共有コンテンツ画面３０６及び仮想カメラ３０８をさらに含む。

[0053]図３Ｂは、一実施形態による、図３Ａの仮想イベントを管理するために使用されるイベントフロー３１０の一例を示す。

[0054]例示的なイベントフロー３１０によれば、仮想イベントは、ステップ３１２において、共有コンテンツ画面３０６上でビデオを再生することによって開始することができる。ビデオは、イベント管理者が事前に選択してもよく、少なくとも１つのサーバコンピュータのメモリに格納してもよく、又はサードパーティのソースから取得し、共有コンテンツ画面３０６上でストリーミングしてもよい。ビデオが終了した後、イベントフロー管理モジュールは、ステップ３１４において、ユーザＡがプロジェクトＡをプレゼンテーションし、次にステップ３１６において、ユーザＢがプロジェクトＢをプレゼンテーションし、次にステップ３１８において、ユーザＣがプロジェクトＣをプレゼンテーションすることにより、継続することができる。したがって、イベントフロー順序は、図３Ａに示すように、時計回りの発言順序方向３３０に従うことができる。図示しないが、仮想イベントの前にそのように決定されている場合、参加者の各々は、それぞれの順番の間に、たとえば、共有コンテンツ画面３０６上で自身の画面を共有してもよく、又はコンテンツが事前に提供されている場合、イベントフロー管理システムによってコンテンツが自動的に共有されるようにしてもよい。

[0055]ステップ３２０において、仮想イベントは、Ｑ＆Ａセッションを有効にすることによって継続することができ、このＱ＆Ａセッションに、投票セッションを有効にすることによってステップ３２２が続くことができる。Ｑ＆Ａセッション及び投票セッションの両方により、仮想イベントをリモートで視聴しているリモートの視聴者から対応するクライアントデバイスを介して、対応する入力を受信することができてもよい。次に、ステップ３２４において、イベントフロー管理モジュールは、投票セッションの結果をチェックして勝者を決定することができる。イベントフロー例３１０では、ユーザＣが勝者として選択されており、そのため、ステップ３２６において、勝者であるユーザＣにさらなる時間を与えることにより、イベントフローが継続する。

[0056]さらに図３Ｂに、ステップ３１４に対して、すなわち、ユーザＡがプロジェクトＡをプレゼンテーションするときのルールパラメータ例３２８を示す。サンプルルールパラメータ３２８は、１０分間の時間、有効化されたマイクロフォンを有すること、及び７５％のズームでユーザＡに向けられた仮想カメラ３０８の向きとして示されている。ステップ３１４に対するルールパラメータ３２８のみを提示しているが、当業者であれば、こうしたルールパラメータ３２８は、たとえば、プレゼンテーション時間、マイクロフォン設定、仮想カメラの向き、ズームレベルなどを変更することによって、イベントフローのステップごとに調整することができることを理解することができる。

[0057]図４は、一実施形態による、仮想イベントのデジタル自動化を可能にする方法４００を示す。

[0058]方法４００は、ステップ４０２において、少なくとも１つのプロセッサを備える少なくとも１つのサーバコンピュータのメモリに、ユーザ間のインタラクションを可能にする仮想環境を提供することによって開始し、そこでは、ユーザの各々は、対応するユーザカメラから受信されたメディアフィードから作成されたユーザグラフィカル表現によって表される。次に、ステップ４０４において、本方法は、少なくとも１つのクライアントデバイスから受信されたセッション要求に応答して、少なくとも２人のユーザ間の仮想イベントセッションをセットアップすることによって継続する。ステップ４０６において、本方法は、複数のルールを含むイベントフロールールセットを取得することによって継続し、ルールセットはイベントフローシーケンスを決定する。イベントフローシーケンスは、仮想イベントセッションにおけるユーザのメディアストリームのプレゼンテーションを含む。イベントフロールールセットは、少なくとも１つのサーバコンピュータのメモリから、又は他の何らかの方法で取得することができる。いくつかの実施形態では、イベントフロールールセットは、少なくとも１つのサーバコンピュータが受け取った入力に基づいて取得される。こうした入力は、たとえば、任意の好適なプログラミング言語のコンピュータコードの形式で、又はイベントフローテンプレート、若しくはビジュアルプログラミング技法を通じて、仮想イベントの管理者が提供することができる。ステップ４０８において、本方法は、イベントフロールールセットを仮想イベントセッションにおけるユーザのメディアストリームに適用することによって継続する。最後に、ステップ４１０において、仮想イベントセッションにおけるユーザのメディアストリームへのイベントフロールールセットの適用に応答して、方法４００は、仮想イベントセッションにおいてリアルタイムでイベントフローアクションをトリガすることによって終了する。トリガされたイベントフローアクションは、仮想イベントセッションにおけるメディアストリームのプレゼンテーションを変更することを含む。

[0059]いくつかの実施形態では、イベントフロールールは、参加者順序、参加者のターンごとの持続時間、ユーザ権限、及び決定スロットのうちの１つ又は複数を含む。さらなる実施形態において、決定スロットは、投票、ランダム選択、又はコンテスト勝者選択のうちの１つ又は複数に基づいてイベント決定を行うのを可能にする。さらに別の実施形態では、投票データは、仮想イベントの視聴者から受信される。いくつかの実施形態では、イベントフロールールは、マイクロフォンの有効化及び無効化命令と、イベントフローに基づいて仮想環境内の仮想カメラを調整するように構成された仮想カメラ調整命令とを、調和させる。さらに別の実施形態では、仮想環境内で構成された仮想カメラを使用して、仮想イベントをリモートの視聴者に配信することを含む。

[0060]いくつかの実施形態について説明し、添付図面に示したが、こうした実施形態は、広範な本発明を単に例示するものであって制限するものではないことと、当業者には他のさまざまな変更が想到され得るため、本発明は、図示し説明した特定の構造及び配置に限定されないこととが理解されるべきである。したがって、本明細書は、限定的なものではなく、例示的なものとみなされるべきである。

１０２ サーバコンピュータ
１０４ プロセッサ
１０６ メモリ
１０８ 仮想環境
１１０ イベントフロー管理モジュール
１１２ カメラ
１１４ ユーザ
１１８ ネットワーク
１２０ ユーザグラフィカル表現
２０２ イベントフロールール
２０４ コンピュータコード／スクリプト
２０６ イベントフローテンプレート
２０８ ビジュアルプログラミング技法
２０２ イベントフロールール
２１０ 参加者順序
２１２ 参加者のターンごとの持続時間
２１４ ユーザ権限
２１６ 決定スロット
２１８ マイクロフォン有効化及び無効化命令
２２０ 仮想カメラ調整命令
３０２ ユーザ
３０４ 仮想ミーティングテーブル
３０６ 共有コンテンツ画面
３０８ 仮想カメラ
３１０ イベントフロー
３２８ ルールパラメータ
３３０ 発言順序方向

Claims (20)

1. プログラム可能な仮想イベントを提供するための方法であって、
   少なくとも１つのプロセッサを備える少なくとも１つのサーバコンピュータのメモリに、対応するユーザカメラから受信されたメディアフィードから作成されたユーザグラフィカル表現によって表されるユーザ間のインタラクションを可能にする仮想環境を提供するステップと、
   少なくとも１つのクライアントデバイスから受信されたセッション要求に応答して、少なくとも２人のユーザ間の仮想イベントセッションをセットアップするステップと、
   複数のルールを含むイベントフロールールセットを取得するステップであって、前記ルールセットが、前記仮想イベントセッションにおける前記ユーザのメディアストリームのプレゼンテーションを含むイベントフローシーケンスを決定する、ステップと、
   前記イベントフロールールセットを、前記仮想イベントセッションにおける前記ユーザの前記メディアストリームに適用するステップと、
   前記イベントフロールールセットを、前記仮想イベントセッションにおける前記ユーザの前記メディアストリームに適用するステップに応答して、前記仮想イベントセッションにおいてリアルタイムでイベントフローアクションをトリガするステップであって、前記トリガされたイベントフローアクションが、前記仮想イベントセッションにおいてメディアストリームのプレゼンテーションを変更することを含む、ステップと、
   を含む方法。
2. 前記イベントフロールールセットが、１つ又は複数のイベントフローテンプレートを通して入力される、請求項１に記載の方法。
3. 前記イベントフロールールセットが、参加者順序、参加者のターンごとの持続時間、ユーザ権限、又は決定スロットのうちの１つ又は複数を含む、請求項１に記載の方法。
4. 前記決定スロットが、投票、ランダム選択、又はコンテスト勝者選択のうちの１つ又は複数に基づいてイベント決定を行うのを可能にする、請求項３に記載の方法。
5. 投票データが、前記仮想イベントセッションの視聴者から受信される、請求項４に記載の方法。
6. 前記メディアストリームの前記プレゼンテーションを変更することが、オーディオストリームのプレゼンテーションを停止すること又は開始することを含み、前記イベントフロールールセットが、マイクロフォンの有効化及び無効化命令と、前記イベントフローに基づいて前記仮想環境内の仮想カメラを調整するように構成された仮想カメラ調整命令とを調和させる、請求項１に記載の方法。
7. 前記仮想環境内で構成された前記仮想カメラを使用して、前記仮想イベントセッションをリモートの視聴者に配信するステップをさらに含む、請求項６に記載の方法。
8. 前記ユーザグラフィカル表現のうちの少なくとも１つが、
   前記少なくとも１つのサーバコンピュータによって、出版クライアントデバイスの少なくとも１つのカメラによって取り込まれた、ユーザのライブデータフィードを受信することと、
   前記取り込まれたライブデータフィードを、購読クライアントデバイスに送信することと、
   前記ライブデータフィードにおいて背景除去を実行することを含む、前記ユーザの前記ライブデータフィードから前記少なくとも１つのユーザグラフィカル表現を生成することと、
   前記購読クライアントデバイスによって、前記少なくとも１つのユーザグラフィカル表現を前記仮想環境に挿入することと、
   を含むプロセスによって作成される、請求項１に記載の方法。
9. 前記ユーザグラフィカル表現が、背景が除去されたユーザ３Ｄ（３次元）仮想カットアウト、又は背景が除去されたユーザリアルタイム３Ｄ仮想カットアウト、又は背景が除去されたビデオ、又は背景が除去されていないビデオを含む、請求項１に記載の方法。
10. プログラム可能な仮想イベントを提供するためのシステムであって、
    少なくとも１つのプロセッサと、仮想環境及びイベントフロー管理モジュールを記憶するメモリとを備えるサーバコンピュータシステム
    を具備し、
    前記仮想環境が、対応するユーザカメラから受信されたメディアフィードから作成されたユーザグラフィカル表現によって表されるユーザ間のインタラクションを可能にするように構成されており、
    前記イベントフロー管理モジュールが、
    少なくとも１つのクライアントデバイスから受信されたセッション要求に応答して、少なくとも２人のユーザ間の仮想イベントセッションをセットアップすることと、
    複数のルールを含むイベントフロールールセットを取得することであって、前記ルールセットが、前記仮想イベントセッションにおける前記ユーザのメディアストリームのプレゼンテーションを含むイベントフローシーケンスを決定する、取得することと、
    前記イベントフロールールセットを、前記仮想イベントセッションにおける前記ユーザの前記メディアストリームに適用することと、
    前記イベントフロールールセットを、前記仮想イベントセッションにおける前記ユーザの前記メディアストリームに適用することに応答して、前記仮想イベントセッションにおいてリアルタイムでイベントフローアクションをトリガすることであって、前記トリガされたイベントフローアクションが、前記仮想イベントセッションにおいてメディアストリームのプレゼンテーションを変更することを含む、トリガすることと、
    を行うように構成されている、システム。
11. 前記イベントフロールールセットが、イベントフローテンプレートを通して入力される、請求項１０に記載のシステム。
12. 前記イベントフロールールセットが、参加者順序、参加者のターンごとの持続時間、ユーザ権限、又は決定スロットのうちの１つ又は複数を含む、請求項１０に記載のシステム。
13. 前記決定スロットが、投票、ランダム選択、又はコンテスト勝者選択のうちの１つ又は複数に基づいてイベント決定を行うのを可能にする、請求項１２に記載のシステム。
14. 投票データが、前記仮想イベントセッションの視聴者から受信される、請求項１３に記載のシステム。
15. 前記メディアストリームの前記プレゼンテーションを変更することが、オーディオストリームのプレゼンテーションを停止すること又は開始することを含み、前記イベントフロールールセットが、マイクロフォンの有効化及び無効化命令と、前記イベントフローに基づいて前記仮想環境内の仮想カメラを調整するように構成された仮想カメラ調整命令とを調和させる、請求項１０に記載のシステム。
16. 前記仮想イベントセッションが、前記仮想環境内で構成された前記仮想カメラを使用してリモートの視聴者に配信される、請求項１５に記載のシステム。
17. 前記ユーザグラフィカル表現が、背景が除去されたユーザ３Ｄ（３次元）仮想カットアウト、又は背景が除去されたユーザリアルタイム３Ｄ仮想カットアウト、又は背景が除去されたビデオ、又は背景が除去されていないビデオを含む、請求項１０に記載のシステム。
18. 前記仮想イベントセッションが、仮想ミーティング、又は仮想コンサート、又は仮想会議、又はファッションショー、又は仮想ショッピングセッション、仮想展示会、又は仮想パフォーマンス、又は仮想講演会であり、前記仮想環境の構成が、前記仮想ミーティングに関連付けられる、請求項１０に記載のシステム。
19. プロセッサ及びメモリを備える１つ又は複数のサーバコンピュータに、
    対応するユーザカメラから受信されたメディアフィードから作成されたユーザグラフィカル表現によって表されるユーザ間のインタラクションを可能にする仮想環境を提供するステップと、
    少なくとも１つのクライアントデバイスから受信されたセッション要求に応答して、少なくとも２人のユーザ間の仮想イベントセッションをセットアップするステップと、
    複数のルールを含むイベントフロールールセットを取得するステップであって、前記ルールセットが、前記仮想イベントセッションにおける前記ユーザのメディアストリームのプレゼンテーションを含むイベントフローシーケンスを決定する、ステップと、
    前記イベントフロールールセットを、前記仮想イベントセッションにおける前記ユーザの前記メディアストリームに適用するステップと、
    前記イベントフロールールセットを、前記仮想イベントセッションにおける前記ユーザの前記メディアストリームに適用するステップに応答して、前記仮想イベントセッションにおいてリアルタイムでイベントフローアクションをトリガするステップであって、前記トリガされたイベントフローアクションが、前記仮想イベントセッションにおいてメディアストリームのプレゼンテーションを変更することを含む、ステップと、
    を含むステップを実行させるように構成された命令が格納されている非一時的コンピュータ可読媒体。
20. 前記メディアストリームの前記プレゼンテーションを変更することが、オーディオストリームのプレゼンテーションを停止すること又は開始することを含み、前記イベントフロールールセットが、マイクロフォンの有効化及び無効化命令と、前記イベントフローに基づいて前記仮想環境内の仮想カメラを調整するように構成された仮想カメラ調整命令とを調和させる、請求項１９に記載の非一時的コンピュータ可読媒体。