JP4173477B2 - リアルタイムレンダリング方法 - Google Patents

Description

本発明は、ゲームの分野に関し、より詳細には、ゲーム環境内でのリアルタイム画像レンダリングを可能にし、それによってインタラクティブなゲーム体験を向上させる方法に関する。

ゲーム環境は、プレーヤが没頭することができるファンタジーの世界を生み出す。
プレーヤは、ファンタジー世界で展開される出来事にインタラクティブに参加するキャラクタの形でファンタジーの世界内に存在する。
プレーヤにより指示される、キャラクタがとる行動は、ファンタジー世界の中の出来事に影響し、それを形作る。
これら出来事は、プレーヤがファンタジー世界でプレイしているか否かに関わりなくリアルタイムで連続して行われることができる。
したがって現実と同じように、ファンタジー世界のプレーヤは、ゲーム環境の文脈の中で設定された特定のゴールに到達するために各自のキャラクタを造り上げることができる。

キャラクタはプレーヤの延長として認識することができる。
したがって、いくつかのサークルでのこういったゲームはロールプレイングゲーム（ＲＰＧ）とも呼ばれている。
プレーヤは、ファンタジー世界で存在する多くの役割を選択することができる。
たとえば、１つのゲーム環境に関連する１つのＲＰＧ内で、プレーヤは自分のキャラクタを騎士、農民、魔法使い、または任意の数の男性および女性キャラクタにすると決めることができる。

さらに、多くのＲＰＧは、複数のプレーヤが同時にゲーム環境内で対話するように構成されている。
複数のプレーヤに対応するＲＰＧの場合、任意のネットワークを通してプレーヤ同士を一緒に結び付けることが可能である。
たとえば、地理的に限定されたローカルエリアネットワーク（ＬＡＮ）、または広域ネットワーク（ＷＡＮ）等より広い地理範囲を有するネットワーク、またはそれどころかインターネットを通して、プレーヤ同士を一緒に結び付けることができる。
したがってオンラインゲームは、数人のプレーヤ、または何百万人ものプレーヤを取り込むことが可能なゲーム環境を提供する。

プレーヤの体験はＲＰＧ内の重要な特徴である。
プレーヤの体験が現実に近いほど、体験はよいものになる。
すなわちＲＰＧは、ゲーム環境内の対話を向上させて、プレーヤの最もリアルな体験を描写しようと常に試みている。
たとえば、ゲーム環境内で生み出されるリアリティは、関連するプレーヤのキャラクタを通して擬人化される。
今のところキャラクタは、ゲーム環境内のプレーヤを表す、グラフィックスベースのアバタである。
従来技術のグラフィックスベースのアバタは、アーティストにより事前に生成されモデリングされた幾何学的アバタを含む。
したがって、グラフィックスベースのアバタは本質的にキャラクタモデルである。
マルチプレーヤＲＰＧ内では、プレーヤは各自のアバタを通して他のプレーヤを見る。
さらにプレーヤは、ゲーム環境内で互いに敵対的にまたは協調的に対話することができる。
すなわち、特定のプレーヤは敵になるか、または仲間になる。
たとえば、マルチプレーヤゲーム環境では、プレーヤは他のプレーヤとチームを組んだり、また他のプレーヤまたはコンピュータに生成されたキャラクタと戦ったりすることができる。

しかし、キャラクタモデルの形のアバタでは、ゲーム体験により得ようとするリアリティが限られている。
キャラクタモデルの応答時間はリアルタイムではなく、視覚的な意味で、キャラクタモデルは現実の感覚を深めない。
キャラクタの記憶されている表現を通して他のプレーヤに対して各自を描写する、生成されたキャラクタモデルは、予め設計され作成されたキャラクタの動きに制限される。
たとえば、キャラクタモデルの感情は、アバタが他のプレーヤに対して描写すべき感情を指示するプレーヤがタイプしたコマンドによって決められる。
感情用のコマンドをタイプすることにより、リアルタイムの表現および動きの要素が、プレーヤによる感情の変換および選択を通して、またコマンドでタイプする必要があるタイムラグを通して両方とも失われる。

さらにこれら感情は、キャラクタモデルに組み込まれ、それからその他のプレーヤに対して描写される固定された顔の特徴である。
すなわち、固定された顔の特徴は予め決められ、予め設計され、かつ予め記憶されており、キャラクタモデルに使用するためにアクセス可能な顔の特徴である。
したがって感情は、固定された顔の特徴の数、および作成されメモリに記憶されている感情の数によって制限される。
したがって、プレーヤが体験する現実感は、ゲーム環境内のプレーヤを擬人化するのにキャラクタモデルに依存することにより制限される。

別の例としては、キャラクタモデルを通して描写されるリアリティの延長としてのアイコンタクトもまた、同様にリアリティが欠如している。
プレーヤ同士のアイコンタクトは、効果的な形のコミュニケーションであってよい。
アイコンタクトととる、またはアイコンタクトを意図的に避けることによって、信頼、不信、恐れ、怒り、および多くの他の感情を他のプレーヤに伝えることができる。
しかし、プレーヤ同士でキャラクタモデルを通して描写されるアイコンタクトは、プレーヤが本当に相手のプレーヤその人自身を見ているのではなく、その相手のプレーヤの前もって作成されたキャラクタモデル表現を見ているため、十分にリアリティのあるものではない。
したがって、プレーヤはゲーム環境内の各自のアバタが描写すべき偽の感情をタイプすることによって各自の本当の実際の感情を隠すことができるため、プレーヤ同士が体験している本当の感情を決めることは難しい。

したがって、ゲーム環境を提供する従来技術による方法は、ゲーム体験に影響を及ぼすグラフィックスベースのアバタに制限される。
したがって、ゲーム体験のさらなる向上は、これらグラフィックスベースのアバタにより制限される。
何故なら、グラフィックスベースのアバタは、ゲーム環境内でプレーヤのリアルタイムの感情の状態をリアルに示すことができないためである。
したがって、ゲーム環境におけるプレーヤのよりリアルな表現を通してゲーム体験を向上させる技法が必要である。

ゲーム環境内でリアルタイムにレンダリングする方法およびシステム。
具体的には、本発明の一実施形態は、インタラクティブなゲーム環境内にローカル参加者をレンダリングする方法を開示する。
本方法は、複数のカメラ視点からローカル参加者の複数のリアルタイムビデオストリームを取り込むことにより開始する。
新観察画像合成技法が適用されて、複数のビデオストリームからローカル参加者のレンダリングが作成される。
レンダリングは、ゲーム環境において遠隔に配置された遠隔参加者の観点から生成される。
次に、レンダリングは閲覧のために遠隔参加者に送られる。

本発明の別の実施形態は、ゲーム環境内でローカル参加者を画像レンダリングするシステムを開示する。
システムは、上に述べたリアルタイムレンダリング方法を実施する。
システムは、ローカル参加者のリアルタイムビデオストリームを録画する複数のビデオカメラを備える。
複数のビデオカメラは、ローカル参加者を取り巻く複数のサンプル視点を提供するように配置される。
システムは、ローカル参加者のレンダリングを作成する新観察画像合成モジュールも備える。
レンダリングは、新観察画像合成技法をリアルタイムビデオストリームに適用することによって作成される。

これより、新観察画像合成技法を使用してゲーム環境内に参加者をリアルタイムレンダリングする方法およびシステムである本発明の好ましい実施形態を詳細に参照する。
本発明についてこれら好ましい実施形態と併せて説明するが、本発明をこれら実施形態に限定する意図はないことが理解されよう。
対照的に、本発明は、添付の特許請求項に規定される本発明の精神および範囲内に包含してよい代替形態、変更形態、および等価形態を網羅すると意図される。

さらに、本発明の以下の詳細な説明では、本発明の完全な理解を提供するためにいくつかの特定の詳細が記載されている。
しかし、本発明はこれら特定の詳細なしでも実施することができることが当業者に理解されよう。
一方、本発明の態様を不必要に曖昧にしないように、既知の方法、手順、構成要素、および回路については詳細に説明していない。

本発明の実施形態は、コンピュータシステムで実行されているソフトウェアで実施することができる。
コンピュータシステムは、パーソナルコンピュータ、ノート型コンピュータ、サーバコンピュータ、メインフレーム、ネットワーク化されたコンピュータ、ハンドヘルドコンピュータ、個人情報端末、ワークステーション、ゲームコンソール、セットトップボックス、携帯電話等であることができる。
このソフトウェアプログラムは、ゲーム環境内でビデオおよびオーディオ通信のリアルタイム画像レンダリングを提供するように動作可能である。
一実施形態では、コンピュータシステムは、バスに接続されたプロセッサ、およびバスに接続されたメモリ記憶部を備える。
メモリ記憶部は揮発性であっても、また不揮発性であってもよく、取り外し可能な記憶媒体を含んでよい。
コンピュータは、ディスプレイ、データ入出力用の機器等も備えてよい。

したがって、本発明の実施形態は、新観察画像合成技法を使用してローカル参加者のリアルタイムレンダリングを作成し、それによってゲーム環境におけるビデオ通信を可能にする方法およびシステムを提供する。
ゲーム環境内で参加者を表すグラフィックベースのアバタ内に組み込まれる参加者の写実的なレンダリングを通して、ゲーム体験のさらなる向上が可能である。
すなわち、ローカル参加者の頭部および顔の特徴が、ゲーム環境内のグラフィックス生成された幾何学的本体に結合される。
したがって、本発明は、ゲーム環境において参加者のリアルタイム感情状態をリアルに示すことにより、参加者のよりリアルな表現を通してゲーム感覚を向上させることが可能である。

本発明の種々の実施形態では、ゲーム環境は、ロールプレイングゲーム（ＲＰＧ）等、参加者が対話し操作可能な任意のファンタジー環境を含む。
ゲーム環境は、単一参加者形式および複数参加者形式に対応する。
さらに、ゲーム環境は、単一の参加者に対応する単一のコンピュータシステム内、または複数の参加者に対応するコンピュータシステムネットワーク内に作成される。
複数のプレーヤに対応するＲＰＧの場合、任意のネットワークを通してプレーヤを一緒に結び付けることができる。
たとえば、地理的に限定されたローカルエリアネットワーク（ＬＡＮ）、またはインターネットを介してのオンラインゲーム等、より広い地理的範囲を有するネットワークを通してプレーヤを一緒に結び付けることができる。
したがって、オンラインゲームは、数人のプレーヤ、また何百万人のプレーヤを取り込んでよいゲーム環境を提供する。
本発明の実施形態についてはゲーム環境の文脈の中で説明するが、他の実施形態は、ゲームの文脈外の複数の参加者間に対話を提供する他の環境に適している。

新観察画像合成技法を使用してローカル参加者をリアルタイムにレンダリングし、それによってビデオ会議環境においてビデオ通信を可能にする方法およびシステムの説明が、以下の、Malzbender他による「METHOD AND SYSTEM FOR REAL-TIME VIDEO COMMUNICATION WITHIN A VIRTUAL ENVIRONMENT」と題する、本願の譲受人に譲渡された同時係属中の米国特許出願第１０／１７６，４９４号に提示されており、この開示は参照により本明細書に援用される。

図１は、本発明の一実施形態による、新観察画像合成技法を使用してローカル参加者のリアルタイムレンダリングを作成して、ゲーム環境内でビデオおよびオーディオ通信を可能にすることができるシステム１００を示すブロック図である。
一実施形態では、システム１００は、ローカル参加者にゲーム環境へのアクセスを提供する、ポータルとも呼ばれるローカルノードに配置される。
より具体的には、ゲーム環境内の各参加者をシステム１００に関連付けて、出力オーディオおよびビデオ画像ストリームを生成し、ゲーム環境内で通信することができる。

別の実施形態では、システム１００の要素はゲーム環境内の参加者に対応する様々な場所に配置される。
たとえば、一実施形態では、ゲーム環境を整備し、ゲーム環境に対応する中央サーバコンピュータは、システム１００の要素を備える。
このようにして、処理負荷の多くが、通信ネットワークを通して共に接続されたより多くの演算資源に分散される。

システム１００は、本発明の一実施形態により、ゲーム環境内のキャラクタ、すなわちグラフィックスベースのアバタとしてゲームの参加者をレンダリングする。
システム１００は、ゲーム環境に対するグラフィカルユーザインタフェースを提供する。
したがって、参加者は、ゲーム環境のあちこちを見たり、共有ゲーム環境内を移動することが可能であり、一方、他の参加者はこれらの動きをリアルタイムで観察することが可能である。

ゲーム環境は、参加者の対話が可能なファンタジーの世界または環境を生み出す。
たとえば、こういったゲーム環境はロールプレイングゲーム（ＲＰＧ）とも呼ばれている。
参加者は、ゲーム環境で存在する多くの役割を選択することができる。
たとえば、１つのＲＰＧ内で、参加者は各自のアバタを騎士、農民、魔法使い、または任意の数の男性および女性キャラクタであると決めることができる。

システム１００はストリーミングメディアアプリケーションであり、図１に示すような、段階的データフロー構造によるメディアフローを有する。
より十分に以下に述べるように、一実施形態では、システム１００は、ローカル参加者のリアルタイムレンダリングを作成する簡略化した処理パイプラインを４つの段階で示している。
すなわち、画像取得、２Ｄ画像解析、再構築およびレンダリング、ならびに表示。
第１に、各カメラが画像を同時に取得する。
第２に、２Ｄ画像解析によりシーンの前景が識別され、影の輪郭が生成される。
第３に、画像ベースの交差領域（ＩＢＶＨ）技法により、輪郭から形状表現を構築し、新しい視点の画像をレンダリングする。
第４に、レンダリングされた画像が表示される。

本実施形態は、ゲーム環境内にローカル参加者の画像ベースのレンダリングを作成することを開示するが、他の実施形態は、新観察画像合成技法を使用してローカル参加者の三次元幾何学的モデルを生成することに適している。
三次元モデルは複数のビデオ画像ストリームから生成され、そこからローカル参加者のレンダリングが作成される。

図１のシステム１００は、複数のカメラ取得モジュールを備えたカメラ配列１０５を含む。
カメラアレイ１０５は、ローカル参加者等、画像を同時に取得する際に使用される。
一実施形態では、カメラ取得モジュールはデジタル録画ビデオカメラである。

これより図２Ａおよび図２Ｂを参照すると、カメラ配列１０５は、本発明の一実施形態によるシステム１００内で実施することができる参加者２５０を取り巻く複数のカメラ取得モジュールを含むユニット２００のブロック図で表されている。
図２Ａを参照して、本発明の一実施形態による、ユニット２００の上部からの断面図を示す。
本実施形態では、５台の別個のカメラ（カメラ取得モジュール２１０、２１２、２１４、２１６、および２１８）からなるユニット２００は、参加者２５０に関連する従来のパーソナルコンピュータ（ＰＣ）ディスプレイ２２０の上に配置されている。
本実施形態では５台の別個のカメラが使用されているが、画質およびシステムコストに応じてカメラの台数を増減することが可能である。
カメラの台数を増やすと画質が高くなる。
さらに、多様な形のシステム２００も実施される。
たとえば、１台または複数台のカメラを有する、システム１００の強力さの劣るものが実施されて、簡素な二次元ビデオストリーム、または完全な合成アバタが生成される。

５つのカメラ取得モジュール２１０、２１２、２１４、２１６、および２１８はすべて、参加者２５０に面し、参加者２５０を取り巻く。
参加者２５０は５つのカメラ取得モジュールに面する。
さらに、ユニット２００は、５つのカメラ取得モジュール２１０、２１２、２１４、２１６、および２１８を介して複数の視点からリアルタイムで５つのビデオストリームを生成する。
これら複数のビデオストリームから、新観察画像合成方法を実施して、ゲーム環境の座標空間内のローカル参加者の位置に関して、他の観察している参加者の位置からレンダリングされた、任意の視点からの参加者の新しいビューを作成することができる。
新しいビューの生成はリアルタイムで行い、ゲーム環境内にリアルタイムでのオーディオおよびビデオ通信を提供することができる。

図２Ｂは、複数のカメラ取得モジュール２１０、２１２、２１４、２１６、および２１８を含む図２Ａのユニット２００を示す正面断面図である。
図示のように、ユニット２００は、ディスプレイ２２０に直接取り付けられた単一ユニットであることができる。
他の実施形態は、単一ユニット内に収容されていないが、依然として参加者２５０を取り巻くカメラ取得モジュール、およびメディアルーム全体を通して配置されて参加者のより大きくより正確な画像を取り込む等、ディスプレイ２２０に直接取り付けられていないカメラ取得モジュールに適している。
カメラ取得モジュール２１４の配置は、本実施形態では残りのカメラ取得モジュール２１０、２１２、２１６、および２１８よりも高いが、他の実施形態は、唯一の水平面上へのカメラ取得モジュールの配置、カメラ取得モジュールの任意の配置、および／またはカメラ取得モジュールの非均一的な配置に適している。

再び図１に戻ると、システム１００は、画像解析モジュール１１０も収容する。
画像解析モジュール１１０は、カメラ配列１０５中のカメラ取得モジュールから来る各リアルタイムビデオストリームからローカル参加者を区分、または分離する。
前景中のローカル参加者は、各リアルタイムビデオストリーム中の物理的な背景から分離される。
このようにしてローカル参加者は、物理的な世界の背景から区分される。

本発明の一実施形態によれば、物理的な背景から前景を区分するために、システム１００は動作に先立って較正段階を経る。
まず、動作の第一段階はカメラの較正である。
この動作により、画像アーチファクトを除去するためのレンズの歪み、色を一貫して組み合わせた複数のカメラからのデータを、単一の表示画像を生成できるようにする色の変換、およびカメラ配列１０５中の各カメラ取得モジュールの内因性および外因性両方のカメラパラメータを抽出することができる。
内因性パラメータは各カメラに対して内部であり、レンズ歪みパラメータの定量化、焦点距離、視野、アスペクト比、投影中心、および色感度を含む。
外因性パラメータはカメラの姿勢を含む。
カメラの姿勢は、ローカル参加者（たとえば、図２Ａ中の参加者２５０）に対する各カメラ取得モジュールの向きおよび位置である。

一実施形態では、単一の未較正ターゲットを使用して必要なパラメータをすべて得る。
ターゲットは、各面に４色（２４色に黒と白を加えたもの）の正方形を有する１０インチの立方体を含む。
線形特徴（正方形の辺）により観察がレンズ歪みを求めることを可能にし、正方形自体の形状により内因性パラメータの推定が可能になる。
各正方形の色により、各面を識別して向けることができるため、観察された色を利用して各カメラの色変換を求めることができ、角により、画像座標観察が外因性パラメータを求めることを可能にする。
必要なパラメータを得るには、ターゲットをカメラ配列１０５の前で周囲に揺らすことで十分である。

次に、一実施形態では、前景に参加者が存在しない複数の画像が収集されて、各カメラにおいて各ピクセル毎に背景モデルが構築される。
別の実施形態では、背景モデルは、背景および前景参加者の両方を含む複数の画像から構築される。
このデータは、輪郭抽出のためにモジュール１３０に記憶することができる。
モデルは、背景を見ているときに、各センサ素子の各カラーチャネルの平均および標準偏差を指定する統計的特徴付けである。
これにより、各カメラビューにおいてユーザを背景から区分することができる。
色の統計の多様な表現およびガウス分布関数の組み合わせ等、他の背景モデルも容易に実施することができる。

一実施形態では、前景中のローカル参加者と背景の分離はピクセルレベルで実現される。
画像解析モジュール１１０は、ローカル参加者のピクセルと背景のピクセルとを区別することが可能である。
前景ピクセルは、背景モデルの確立から始まる手順を通して背景ピクセルから区別される。
この背景モデルは、ローカル参加者がカメラ配列１０５から見えない状態で取得される。
色の平均および分散が、各ピクセルにおいて計算される。
これにより、画像解析モジュール１１０は、現在見えているピクセルの色が、背景モデル中に生じたピクセルの色と、前景の一部としてみなすに十分に異なるか否かについて判定を下すことができる。

前景がカメラ配列１０５により取り込まれた画像から抽出される際に、ビデオストリーム内でローカル参加者の輪郭の影１１５が生成される。
輪郭の影１１５は、入力画像を所定の背景モデルと比較することによって生成される。
一実施形態では、前景の影は、入力画像と背景モデルを差別化することによって作成される。

より具体的には、本発明の一実施形態では、画像解析モジュール１０５は生のベイヤーモザイクを取得する。
カメラ配列１０５中のカメラ取得モジュールは、赤ピクセルおよび緑ピクセルが交互になった偶数走査線の後に、緑ピクセルと青ピクセルが交互になった奇数走査線が続くものを有する色情報（ベイヤーモザイクと呼ばれる）を取得する。
次に、カメラは、ＹＵＶ４２２フォーマットを使用してベイヤーモザイクを色ピクセルに変換する。

さらに、画像解析モジュール１０５は輪郭抽出モジュールを使用する。
輪郭抽出モジュールは、ワンパスで画像中の主な前景物体を判定することが可能である。
輝度の変化は、影および漸次光レベル変動の両方の判定に対応する。
輪郭抽出モジュールは、基となる画像の高品質テクスチャへのアクセスを作成しながら、画像の調節可能なサンプリングを実施して対象者（ローカル参加者）を素早く見つける。
したがって、画像前景輪郭は、サンプリングステップを調整することによって低解像度で検出される。
これにより、低解像度データソースの使用に伴う画像情報を失うことなく、より多くの画像スループットが可能である。
さらに、別の実施形態では、輪郭抽出モジュールは、区分線形近似を用いて前景を効果的に抽出することが可能である。

システム１００では、視点モジュール１２０が、ローカル参加者を見ているときに参加者を観察する視点１２５すなわち観点を判定する。
視点モジュール１２０は、観察側の各参加者からの位置情報を、たとえばブロック１６０から再構築およびレンダリングモジュール１４０を介して受け取る。
共有ゲーム環境の参加者は、ゲーム環境の座標空間に配置される。
したがって、ローカル参加者に関連する観察側参加者の相対的な配置に基づくベクトル解析により、視点１２５が判定される。
その後、ローカル参加者のレンダリングビューが、ゲーム環境内の観察側参加者の視点１２５に応じて生成される。

本発明の一実施形態では、システム１００は、一般にオーディオ取得モジュールであるマイクロフォン１３０も備える。
マイクロフォン１３０は、ローカル参加者のオーディオ入力をリアルタイムで受け取る。
オーディオ入力は、オーディオ圧縮モジュール１３５において圧縮され、観察側参加者の視点１２５から生成されたビデオストリームと組み合わせて、ゲーム環境内でのリアルタイムでのオーディオおよびビデオ対話のためにローカル参加者の写実的なレンダリングを作成することができる。

図１を続けると、本発明の一実施形態によれば、システム１００は再構築およびレンダリングモジュール１４０も備える。
再構築およびレンダリングモジュールは、新観察画像合成技法を用いて、観察側参加者の観点からのローカル参加者のレンダリングを作成する。
上に述べたように、一実施形態では、新観察画像合成技法を実行して、ローカル参加者の画像ベースのレンダリングを作成する。
別の実施形態では、新観察画像合成技法を実行して、三次元幾何学的モデルからローカル参加者のレンダリングを作成する。
その後、レンダリングをゲーム環境の合成レンダリング中に仮想的に配置して、他の観察側参加者とコミュニケーション対話する。

各観察側参加者の場合、それぞれの観点は、ゲーム環境の座標空間内のローカル参加者から各観察側参加者への方向に関連付けられる。
方向は、座標空間内のローカル参加者の位置に対する観察側参加者の位置からレンダリングされる。
ローカル参加者の新しいビューが、各観察側参加者毎に生成される。
ローカル参加者の新しいビューはリアルタイムで生成される。
たとえば、ｍ人の観察側参加者がいる場合、ｍ人の観察側参加者の観点毎に１つずつ、ｍ個のローカル参加者の新しいビューが作成される。

ｍ個の新しいビューそれぞれの構築は、様々な新視点画像合成技法を用いて行われる。
新観察画像合成技法は、複数のサンプル観点から撮影されたローカル参加者の複数のリアルタイムビデオストリームから、ゲーム環境中の観察側参加者の観点等、新しく任意の観点から撮影された新しいビューを再構築する。
次に、ローカル参加者の新しいビューが再構築されたものからレンダリングされる。
ローカル参加者の新しいビューは、観察側参加者に対するローカル参加者による目と目が合っている期間を描写することが可能である。
言い換えれば、生成される新しいビューはローカル参加者のアイコンタクトビューを描写することが可能であり、これは、ローカル参加者がゲーム環境内の観察側参加者を表すキャラクタを直接見ている期間中に、観察側参加者に対してディスプレイに表示される。
同様に、ローカル参加者も観察側参加者のキャラクタ画像を観察側参加者から得る。

上に述べたように、一実施形態では、中間ステップは、観察側参加者の観点からローカル参加者の三次元モデルをレンダリングすることを含み、三次元モデルからローカル参加者の新しいビューが作成される。
三次元モデルは、ローカル参加者の様々なリアルタイムビデオストリームから生成される。
新しいビューはレンダリングされ、三次元ゲーム環境の合成レンダリング内に溶け込む。

他の実施形態では、再構築およびレンダリングモジュール１４０は、画像ベースの交差領域（ＩＢＶＨ）技法を用いて、観察側参加者の観点からローカル参加者の三次元モデルをレンダリングする。
ＩＢＶＨ技法は、輪郭の影を三次元空間中に逆投影し、結果得られる切頭体の交差を計算する。
交差部、すなわち交差領域は、ユーザの幾何学的形状を近似する。
ビュー依存テクスチャマッピングを用いてこの幾何学的形状をレンダリングすると、納得のいく新しいビューが作成される。

他の実施形態では、ＩＢＶＨおよび画像ベースのポリゴン再構築技法ではなく他の再構築技法を用いて、観察側参加者の観点からローカル参加者の三次元モデルがレンダリングされる。

一実施形態では、ローカル参加者の三次元モデルは、それ以上変更されることなくゲーム環境内にレンダリングされる。
しかし、別の実施形態では、ローカル参加者がレンダリングされ、アルファマップとともに二次元ビデオストリームが作成されて、ゲーム環境内にレンダリングされるローカル参加者の三次元モデルを生成する場合、必要な帯域幅は少なくなる。
アルファマップは二次元モデルのどの部分が透明であるかを指定し、その結果背景が透ける。

システム１００は画像変換モジュール１４２も備える。
画像変換モジュール１４２は、カメラ配列１０５中のカメラ取得モジュールの赤、緑、および青（ＲＧＢ）のカラーフォーマットをＹＵＶフォーマットに変換する。

ＹＵＶフォーマットに変換することにより、ビデオ圧縮モジュール１４４は、ローカル参加者の二次元ビデオ画像を観察側参加者に送信するために様々な圧縮フォーマットを選択することができる。
任意の数の圧縮フォーマットを適用することが可能であるが、一実施形態では、選択される圧縮フォーマットは動画像専門家グループＭＰＥＧ４規格である。

さらに、圧縮モジュール１４６は、再構築およびレンダリングモジュール１４０から生成されたアルファマップデータの圧縮に使用される。
アルファマップはカラーコーディングをいずれも含まないため、ＹＵＶフォーマットへの変換は必要ない。
したがって、アルファマップは圧縮モジュール１４６に直接送られ、圧縮モジュール１４６はアルファマップを、ネットワークを通して容易に送信することができる任意の適切なフォーマットに圧縮する。
その後、ビデオ圧縮モジュール１４４および圧縮モジュール１４６からの圧縮データは、モジュール１５０を介して遠隔ユーザに送信される。
一実施形態では、ビデオおよびオーディオストリームは、モジュール１５０から、ピアツーピア通信接続を介して対応する観察側参加者に直接送信される。
ピアツーピア通信は、オーディオ／ビデオデータに対する処理量を最小化して、確実にリアルタイムで対話するようにする。

さらに、一実施形態では、システム１００は、ゲーム環境ユーザインタフェースモジュール（図示せず）も備える。
インタフェースは、ローカル参加者ならびに他の観察側参加者にゲーム環境内での対話を提供する。
したがって、各参加者は、その参加者を表す関連アバタの、ゲーム環境内での位置を制御することができる。

本発明の実施形態は、ゲーム環境に参加している複数の参加者を含むネットワーク内の様々な場所にあるシステム１００の構成要素を探すのに適している。
一実施形態では、システム１００の構成要素は、ローカルサイトにいるローカル参加者に利用可能な資源内で見つけられる。
他の実施形態では、システム１００の構成要素は、観察側参加者等、リモートサイトにいるローカル参加者に利用可能な資源内で見つけられる。
たとえば、ローカル参加者のレンダリングされた新しいビューの作成は、送信側（ローカル参加者）ではなく受信側（観察側参加者において）で実現される。
加えて、さらに別の実施形態では、再構築およびレンダリングは、送信者（ローカル参加者）および遠隔サーバ等の受信者（観察側参加者）の両方から独立した遠隔場所で行われる。

本実施形態は、マウスまたはカーソルキーを使用してローカル参加者を、ゲーム環境全体を通して移動させるが、他の入力様式も同様に使用することができる。
たとえば、ユーザインタフェースモジュールを使用して、ゲーム環境内でローカル参加者を表すアバタの移動を行うことができる。
また、ユーザインタフェースモジュールを使用して、ゲーム環境において垂直軸を中心としてローカル参加者を表すアバタを回転させることができる。
これは、ゲーム環境の座標系内の、ローカル参加者を表すアバタの向きを規定する。
これにより、ローカル参加者は、ゲーム環境内の特定位置で３６０度を包含する視点の様々なビューを得ることが可能である。

他の実施形態は、注視方向としてローカル参加者を表すアバタの移動に適している。
さらに、一実施形態では注視を通してコマンドが実施され、発せられる。
たとえば、例示的な一実施態様では、アバタは、アバタの注視方向を物体（たとえば、武器）に向けることによりその物体を手に取る。

本発明の一実施形態では、ゲーム環境内の各参加者は、システム１００を使用して各自のビューを作成し、これらビューをゲームセッション内のその他の参加者に送信している。
このようにして、リアルタイムビデオおよびオーディオ通信が、ゲーム環境の参加者同士で可能になる。
たとえば、ローカル参加者におけるモジュール１６０は、ゲーム環境内でローカル参加者と通信している観察側参加者に関連する入力オーディオストリームおよび対応する入力ビデオ画像ストリームを受信する。
入力オーディオストリームおよび対応する入力ビデオ画像ストリームは、観察側参加者から送信される。
他の実施形態では、参加者は、単一の視点から二次元で参加者を描写する単一カメラシステムを使用して各自のビューを作成する。
さらに他の実施形態では、参加者は、（たとえば、システム１００内の）様々な台数のカメラを使用して各自のビューを作成する。

別個のオーディオストリームおよび対応する入力ビデオ画像ストリームが、ゲーム環境内のローカル参加者の観点から、各観察側参加者から生成され、ゲーム環境の座標空間内のローカル参加者から各観察側参加者に向けてとられた方向に関連付けられる。

図示のように、図１は、ローカル参加者がブロック１６０への入力として受け取ったビデオおよびオーディオ信号を提供する。
ビデオおよびオーディオ入力信号は、システム１００を利用するローカル参加者が観察側参加者から受信する。
一実施形態では、ビデオおよびおオーディオ入力信号は、システム１００と同じ要素を備えるシステムを使用して生成され、三次元ゲーム環境中のローカル参加者の視点から遠隔参加者のオーディオおよびビデオストリームを生成する。

遠隔参加者からのビデオ入力は、上に十分に述べたように二次元ビデオ入力ストリームおよびアルファマップからなる。
遠隔参加者のビデオ入力ストリームは、三次元ゲーム環境内のローカル参加者の観点からの遠隔参加者の二次元モデルを含む。
遠隔参加者からの二次元ビデオ入力ストリームはアルファマスクデータと組み合わせられて、ゲーム環境内の遠隔参加者の外見上の三次元モデルをレンダリングする。
モデルの結果得られる実際のビデオストリームは依然として二次元であるが、モデルは、閲覧者が三次元ゲーム環境内をあちこち移動する際に更新されることから三次元モデルに見える。

二次元ビデオ入力ストリームは、圧縮解除のためにビデオ圧縮解除モジュール１７０に送られる。
同様に、遠隔参加者からのアルファマップも圧縮解除のために圧縮解除モジュール１７２に送られる。
従来、遠隔参加者からのビデオ入力ストリームおよびアルファマップデータは、ＭＰＥＧ４等のフォーマットで圧縮されて、ネットワークを通してのデータ転送を容易にしていた。

二次元ビデオ入力ストリームはＹＵＶ色方式を利用する。
表示する場合、画像変換モジュール１７４が画像変換モジュール１４２の動作を逆にする。
したがって、表示の場合、画像変換モジュール１７４は、圧縮解除された二次元ビデオ入力ストリームからＹＵＶデータをＲＧＢデータに変換する。

ビデオディスプレイ１９０において、ＲＧＢカラーフォーマットの圧縮解除された二次元ビデオ入力ストリームがアルファマップと組み合わせられて、三次元ゲーム環境内のローカル参加者の観点から見た遠隔参加者の外見上は三次元のモデルを生成する。
遠隔参加者の三次元モデルは、ビデオ表示モジュール１９０において表示するために、三次元ゲーム環境の合成レンダリングに溶け込む。

ディスプレイ１９０は、ローカル参加者の観点からゲーム環境を見るため、ユーザインタフェースに接続される。
ローカル参加者の向きに応じて、観察側参加者からの各ビデオストリームをディスプレイ１９０上で見ることができる。
一実施形態では、ディスプレイ１９０の限られた視野により、ディスプレイ１９０に表示される仮想空間の反りおよび変形はゲーム環境の視野をより広くする。
これはゲームの世界と物理的なディスプレイの間に幾何学的な不一致をもたらす場合があるが、参加者の写実的な画像は依然として、その歪んだ空間内で目と目を合わせること等に容易に利用可能である。

さらに、遠隔参加者からのオーディオストリームが圧縮される。
したがってローカル参加者は、オーディオストリームをオーディオ圧縮解除モジュール１８０で受け取り、オーディストリームを圧縮解除する。
圧縮解除後、オーディオはローカルスピーカを介してオーディオ再生モジュール１８５により流される。

複数の観察側参加者からデータを受け取るために使用されるモジュール（たとえば、モジュール１６０、１７０、１７２、１７４、１８０、１８５、および１９０）は、本発明の一実施形態によれば、インタフェースモジュールを備える。
インタフェースモジュールは、複数の観察側参加者のリアルタイム写実的特徴を含む複数の入力ビデオ画像ストリームを、複数のグラフィックス生成されたアバタに組み込む。
複数のグラフィックス生成されたアバタは、複数の観察側参加者を表す。
インタフェースモジュールはまた、複数のグラフィックス生成されたアバタを、ローカル参加者が見ている三次元ゲーム環境の合成レンダリング内に溶け込ませる。

これより図３Ａを参照して、本発明の一実施形態により、ゲーム環境中のローカル参加者をリアルタイムでレンダリングして、２人の参加者間でインタラクティブなゲーム体験を生み出すコンピュータ実施方法のステップを示すフローチャート３００Ａについて述べる。
本実施形態では、通信セッションまたはゲームセッションがローカル参加者と第２の参加者の間で行われる。
本実施形態は三次元ゲーム環境に関連して実施されるが、他の実施形態は二次元ゲーム環境内の実施に適している。

３１０において、本実施形態は、複数のカメラ視点からローカル参加者の複数のリアルタイムビデオストリームを取り込むことによって開始する。
複数のリアルタイムビデオストリームは、ローカル参加者を一部取り囲んだ複数のカメラ視点から撮影される。
たとえば、複数のリアルタイムビデオストリームは、図１のカメラ配列１０５中の様々なカメラ取得モジュールから取り込むことができる。

３２０において、本実施形態は、ローカル参加者のリアルタイムレンダリングを作成することにより進む。
レンダリングは、新観察画像合成技法を適用することによって複数のリアルタイムビデオストリームから作成される。
リアルタイムレンダリングは、ゲーム環境で遠隔に配置されている遠隔参加者の観点から作成される。
したがって、リアルタイムレンダリングは、遠隔参加者からローカル参加者への方向から撮影して作成され、ゲーム環境内のローカル参加者に対する遠隔参加者の閲覧観点を規定する。

新観察画像合成技法が複数のリアルタイムビデオストリームに適用されて、ローカル参加者のリアルタイムレンダリングを再構築し作成する。
一実施形態では、新観察画像合成技法は、上に十分に述べたように画像ベースの交差領域技法を含む。
別の実施形態では、リアルタイムレンダリングは、複数のリアルタイムビデオストリームから導出される三次元幾何学的モデルから作成される。

リアルタイムレンダリングは、ローカル参加者のリアルタイム写実的画像を含む。
一実施形態では、リアルタイムレンダリングは、ローカル参加者が遠隔参加者の画像を直接見ている場合、ローカル参加者の遠隔参加者に対するアイコンタクトビューを描写することができる。
別の実施形態では、ビデオ画像ストリームは、ローカル参加者のリアルタイムの表情を描写することができる。
さらに別の実施形態では、ビデオ画像ストリームは、ローカル参加者の注視を監視し描写することが可能である。
さらに他の実施形態では、リアルタイムレンダリングはローカル参加者の胴体を描写し、他の実施形態はローカル参加者の体全体のビューを描写する。

３３０において、本実施形態はリアルタイムレンダリングを遠隔参加者に送る。
したがって遠隔参加者は、三次元ゲーム環境内でローカル参加者のリアルタイムレンダリングを見ることができる。

さらに、別の実施形態では、リアルタイムレンダリングはグラフィックス生成されたアバタに組み込まれる。
すなわち、一実施形態では、ローカル参加者の、たとえば頭部および顔の特徴を含むリアルタイムレンダリングが、ゲーム環境内のグラフィックス生成された幾何学的本体に結合される。
したがって、グラフィックス生成されたアバタは、ゲーム環境内のローカル参加者を表す。

本発明のいくつかの実施形態内で使用されるように、グラフィックス生成されたアバタは、ローカル参加者の代表的な部分（たとえば、胸部および脚部）等、合成である幾何学的ベースのアバタである。
他の実施形態では、再構築されレンダリングされたビデオ画像ストリームは、グラフィックス生成されたアバタに組み込まれず、ゲーム環境内でローカル参加者を完全に表す。

本発明のさらに他の実施形態では、リアルタイムレンダリングのさらなる処理が行われて、非写実的変換または芸術的かつ非写実的なアニメレンダリングを生成促進する。
このようにして、リアルタイム写実的特徴を含むローカル参加者のリアルタイムレンダリングは、様々な程度の現実性で、ローカル参加者に基づくアニメのような特徴に変換される。
次に、所望であれば、こういったアニメのようのような特徴をグラフィックスベースのアバタに組み込むことができる。

一実施形態では、リアルタイムレンダリングは、ローカル参加者が遠隔参加者の画像を直接見ているときに、遠隔参加者に対するローカル参加者のアイコンタクトビューを描写する。
別の実施形態では、リアルタイムレンダリングはローカル参加者のリアルタイムの表情を描写する。
さらに別の実施形態では、リアルタイムレンダリングは、三次元ゲーム環境内のローカル参加者の注視を監視し描写することが可能である。
さらに別の実施形態では、リアルタイムレンダリングは、ゲーム環境内でローカル参加者を完全に表し、グラフィックス生成されたアバタ内に組み込まれない。
したがって、本実施形態は、ローカル参加者の実際の感情および表情を反映するようにリアルタイムレンダリングを擬人化することが可能である。

図３Ｂは、本発明の一実施形態による、参加者間で移動が可能なゲーム環境におけるローカル参加者のリアルタイムレンダリングを作成するコンピュータ実施方法のステップを示すフローチャート３００Ｂである。
フローチャート３００Ｂは図３Ａの３３０から続く。
一実施形態では、フローチャート３００Ｂに明らかにする方法は、ローカル参加者の生成されたあらゆるビデオフレームに対して繰り返される。

３４０において、本実施形態は、ローカル参加者の第１の位置に対して遠隔参加者の第２の位置からとられた観点からリアルタイムレンダリングを作成する。
リアルタイムレンダリングは、ゲーム環境の座標空間内に作成される。

３５０において、本実施形態は、ローカル参加者および遠隔参加者の位置の変更を可能にする。
一実施形態では、ローカル参加者および遠隔参加者は、ゲーム環境の座標空間内を自由にあちこち移動する。
ローカル参加者あるいは遠隔参加者による移動は、ローカル参加者を見ているとき、遠隔参加者の観点に影響を及ぼす。
観点は、ゲーム環境中のローカル参加者および遠隔参加者の変更された位置に対応する。

３６０において、本実施形態は、ローカル参加者および遠隔参加者の位置の変更を反映するようにリアルタイムレンダリングを変更することにより進む。
したがって、遠隔参加者は、ローカル参加者あるいは遠隔参加者による移動を反映したゲーム環境のリアルタイムビューを受信する。
これは、現実の物理的な世界での動きに類似する。

図３Ｃは、本発明の一実施形態による、参加者同士にビデオ通信を確立するゲーム環境中のローカル参加者のリアルタイムレンダリングを作成するコンピュータ実施方法のステップを示すフローチャート３００Ｃである。
フローチャート３００Ｃは図３Ａの３３０から続く。

本実施形態では、リアルタイムレンダリングは三次元ゲーム環境の合成レンダリング内に溶け込む。
すなわち、ローカル参加者のリアルタイムレンダリングは背景内に溶け込み、ゲーム環境内にローカル参加者の写実版を提供する。
リアルタイムレンダリングは、ローカル参加者の写実的特徴を含む。
したがって、リアルタイムレンダリングは、顔の特徴によってローカル参加者のリアルタイムの表情および感情を描写する。

別の実施形態では、上に述べたように、リアルタイムレンダリングはグラフィックス生成されたアバタに組み込まれる。
したがって、グラフィックス生成されたアバタは次に、三次元ゲーム環境の合成レンダリング内に溶け込む。
すなわち、グラフィックス生成されたアバタは背景内に溶け込み、ゲーム環境内にローカル参加者の写実版を提供する。
グラフィックス生成されたアバタはそれまでに、ローカル参加者の写実的特徴を組み込んでいた。
一実施形態では、写実的特徴は、アバタのシェル内に組み込まれるローカル参加者の顔の特徴を含む。
したがって、グラフィックス生成されたアバタは、顔の特徴によってローカル参加者のリアルタイムの表情および感情を描写する。

３８０において、本実施形態は、リアルタイムレンダリングまたはグラフィックス生成されたアバタを、遠隔参加者が閲覧可能なディスプレイに表示することにより、ゲーム環境内のローカル参加者および遠隔参加者の間のリアルタイムビデオ通信を可能にする。
リアルタイムレンダリングは、ゲーム環境内のローカル参加者の写実的特徴を描写する。
その結果、遠隔参加者は、ローカル参加者および遠隔参加者の双方が三次元ゲーム環境を体験している間に、ローカル参加者のリアルタイムの写実的特徴（たとえば、顔の特徴）を見る。
これにより、ゲーム環境内のローカル参加者と遠隔参加者の間のインタラクティブなゲームが深まる。

インタラクティブなゲーム体験をさらに深めるために、別の実施形態では、ローカル参加者のリアルタイムオーディオストリームが取り込まれ、ゲーム環境内でリアルタイムオーディオ通信を可能にする。
したがって、通信目的のためにリアルタイムレンダリングおよびリアルタイムオーディオストリームが遠隔参加者に送られ、ローカル参加者から遠隔参加者へのリアルタイムビデオおよびオーディオゲーム通信が可能になる。

さらに、本発明の一実施形態によれば、ローカル参加者に関連するディスプレイに表示されるゲーム環境内の遠隔参加者の入力リアルタイムレンダリングと対話する。
ローカル参加者は、ローカル参加者が見る三次元ゲーム環境の合成レンダリング内に遠隔参加者を表す第２のリアルタイムレンダリングを表示する入力リアルタイムレンダリング（たとえば、入力ビデオ画像ストリーム）を受信する。
遠隔参加者のリアルタイム入力ビデオ画像ストリームは、一実施形態では、図３Ａのフローチャート３００Ａに述べた方法を使用して生成される。
したがって、リアルタイムレンダリングは遠隔参加者の写実的画像を含む。

別の実施形態では、ローカル参加者は、ゲーム環境中の遠隔に配置された別の参加者である第３の参加者の第２の観点に対応するローカル参加者の第２のリアルタイムレンダリングを作成する。
上記ローカル参加者の第２のリアルタイムレンダリングは、再び新観察画像合成技法を適用することによって複数のリアルタイムビデオストリームから作成される。

また、第２の観点は、ローカル参加者の位置に対して別の遠隔参加者の位置からレンダリングされる。
第２の観点は、ゲーム環境の座標空間内の別の遠隔参加者からローカル参加者の方に向けられ、第２の観点からのローカル参加者のビューを定める。

さらに、別の実施形態では、第２のリアルタイムレンダリングは、背景である三次元ゲーム環境の合成レンダリング内に溶け込み、ゲーム環境内にローカル参加者の写実版を提供する。
これにより、ゲーム環境内のローカル参加者と別の遠隔参加者の間のインタラクティブなゲームが深まる。

さらに、ローカル参加者および別の遠隔参加者は、第２の観点の変更を行うゲーム環境を通して移動することができる。
これに対応して、第２のリアルタイムレンダリングは、第２の観点のこの変更を反映するように変更される。

一実施形態では、ゲーム環境は、ローカル参加者と遠隔参加者の間のゲームセッションに対応する（たとえば、図３Ａ〜図３Ｃのフローチャートに述べたように）。
他の実施形態は、３人以上の参加者に対応したゲームセッションに適している。
加えて、さらに他の実施形態では、ゲーム環境は、同時に行われる複数の独立したゲームセッションに対応する。

これより図４を参照して、本発明の一実施形態による、ゲーム環境に画像ベースでレンダリングして参加者間にインタラクティブなゲーム体験を生み出すコンピュータ実施方法のステップを示すフローチャート４００について述べる。
本実施形態は三次元ゲーム環境に関連して実施されるが、他の実施形態は、二次元ゲーム環境内での実施に適している。

４１０において、本実施形態は、複数のカメラ視点からローカル参加者の複数のリアルタイムビデオストリームを取り込むことによって開始する。
複数のリアルタイムビデオストリームは、ローカル参加者を一部取り囲んだ複数のカメラ視点から撮影される。
たとえば、複数のリアルタイムビデオストリームは、図１のカメラ配列１０５中の様々なカメラ取得モジュールから取り込むことができる。

４２０において、本実施形態は、ローカル参加者のビデオ画像ストリームをリアルタイムで生成することにより進む。
ビデオ画像ストリームは、新観察画像合成技法を適用することによって複数のリアルタイムビデオストリームから生成される。
ビデオストリームは、ゲーム環境中の遠隔に配置された遠隔参加者の観点からレンダリングされる。
したがって、ビデオ画像ストリームは、遠隔参加者からローカル参加者への方向からレンダリングされ、ゲーム環境内のローカル参加者の遠隔参加者の視点を定める。

新観察画像合成技法が複数のリアルタイムビデオストリームに適用され、ビデオ画像ストリームが再構築されレンダリングされる。
一実施形態では、新観察画像合成技法は、十分に上に述べた画像ベースの交差領域技法を含む。
ビデオ画像ストリームは、ローカル参加者のリアルタイム写実的画像を含む。
一実施形態では、ビデオ画像ストリームは、ローカル参加者が第２の参加者の画像を直接見ているときに、第２の参加者に対するローカル参加者のアイコンタクトビューを描写することができる。
別の実施形態では、ビデオ画像ストリームは、ローカル参加者のリアルタイムの表情を描写することができる。
さらに別の実施形態では、ビデオ画像ストリームは、ローカル参加者の注視を監視し描写することが可能である。

４３０において、本実施形態はビデオ画像ストリームをグラフィックス生成されたアバタに組み込む。
言い換えれば、ローカル参加者のリアルタイム写実的特徴を含むビデオ画像ストリームが、グラフィックス生成されたアバタに組み込まれる。
すなわち、一実施形態では、ローカル参加者の頭部および顔の特徴を含むビデオ画像ストリームが、ゲーム環境内のグラフィックス生成の幾何学的本体に結合される。
したがって、グラフィックス生成されたアバタはゲーム環境においてローカル参加者を表す。

本発明のいくつかの実施形態内で使用されるように、グラフィックス生成されたアバタは、ローカル参加者の代表的な部分（たとえば、胸部および脚部）等、合成である幾何学ベースのアバタである。
他の実施形態では、再構築されレンダリングされたビデオ画像ストリームは、グラフィックス生成されたアバタに組み込まれず、ゲーム環境内でローカル参加者を完全に表す。

さらに別の実施形態では、ゲームセッションの複数の参加者に対して複数のリアルタイムレンダリングが作成される。
これらは、ローカル参加者および複数の観察側参加者を含む。
他の実施形態は、特定のゲームセッション内にいないが、隣接した場所、見通し線等、他の状況内にある参加者を含む複数のリアルタイムレンダリングの作成に適している。

ゲーム環境の座標空間内の複数の観察側参加者を表す複数のリアルタイムレンダリングそれぞれの位置および向きは、位置情報を通してローカル参加者にわかっている。
この位置情報は、ゲーム環境を管理する中央ホストから、またはゲームセッション中の各参加者間のピアツーピアコミュニケーションにより得られる。
したがって、各リアルタイムレンダリングは、ローカル参加者の位置に向けられた複数の観察側参加者の一人の位置に関連する方向からとられた観点から作成される。
したがって、複数のリアルタイムレンダリングはそれぞれ、ゲーム環境内のローカル参加者を見ているときの観察観点の視点を定める。

新観察画像合成技法が複数のリアルタイムレンダリングに適用されて、複数のビデオ画像ストリームそれぞれが再構築されレンダリングされる。
その結果、各リアルタイムレンダリングは、複数の観察側参加者に関連する様々な観点から見られたローカル参加者のリアルタイムの写実的な画像を含む。

さらに、複数のリアルタイムレンダリングは、ゲーム環境の座標空間を通してのローカル参加者および観察側参加者の移動を考慮するように変更することができる。

これに対応して、ローカル参加者に対応するリアルタイムでの出力オーディオストリームが取り込まれる。
この出力オーディオストリームは、複数のリアルタイムレンダリングと共に複数の観察側参加者に転送される。
このようにして、リアルタイムオーディオおよびビデオ通信が、ゲーム環境に含まれるゲームセッション内のローカル参加者と複数の観察側参加者の間で可能になる。

本発明の実施形態では、参加者同士のオーディオカップリングの程度を表すために、特殊なオーディオが組み込まれる。
一実施形態では、オーディオカップリングの程度は、２人の参加者間の距離に応じる。
ゲーム環境内の参加者が近い程、現実の物理的な世界とまったく同じように、強いオーディオカップリングを有する。
したがって、ゲーム環境中で近くに移動するだけで、プライベートサイドでの会話を可能にすることができる。

さらに、別の実施形態では、距離に応じてではなく、参加者による指定がある場合にプライベートサイドでの会話を可能にすることができる。
この場合、選択されたサイドでの会話外の盗み聞きしている参加者は、盗み聞きしている参加者がサイドで会話中の参加者にどの程度近いかに関わりなく、サイドで会話中の参加者からはいずれのオーディオストリームも受信することができない。
その結果、単一ゲーム環境では、複数のサイドでの会話をゲームセッション内で同時に、また互いに独立して行うことができる。

インタラクティブな体験をさらに深めるために、複数の観察側参加者を表す複数の入力リアルタイムレンダリングが作成される。
複数の入力ビデオ画像ストリームはそれぞれ、ローカル参加者の観点から撮影される。
たとえば、ローカル参加者が観察側参加者を見ているときに、観察側参加者の入力ビデオ画像ストリームがローカル参加者の観点から生成される。

別の実施形態では、複数の観察側参加者からの入力リアルタイムレンダリングは、第２の複数のグラフィックス生成されたアバタ内に組み込まれる。
第２の複数のグラフィックス生成されたアバタは、複数の観察側参加者を表す。
したがって、複数の観察側参加者は、ゲーム環境の合成レンダリングに溶け込ませる際に、第２の複数のグラフィックス生成されたアバタによりレンダリングされる。
一実施態様では、第２の複数のグラフィックス生成されたアバタはローカル参加者が閲覧可能なディスプレイに表示され、ゲーム環境内のローカル参加者と複数の観察側参加者の間でのインタラクティブな体験を深める。

一実施形態では、ローカル参加者のところに配置されたローカルシステム１００は、サーバコンピュータを含む中央ホスト（図示せず）に接続される。
中央ホストは、ゲームセッションの管理を担当する。
中央ホストは、ゲーム環境が対応する各ゲームセッションに関する関連情報を記憶する。
中央ホストは、各ゲームセッションの接続および切断を処理する。
したがって、参加者は、既存のゲームセッションに加わったり、またはゲーム環境内に新しいゲームセッションを作成することが可能である。

ローカル参加者が既存のゲームセッションに加わる場合、中央ホストは、ゲームセッション中の各参加者に、新規参加者がいることを通知する。
新規参加者は初期化され、そこから、ゲームセッションのすべての参加者は、ゲーム環境におけるいずれの位置更新も互いに通知することが可能である。

中央ホストサーバに対するオーバヘッドを回避するために、本発明の一実施形態によれば、ゲームセッション中の参加者間の通信はピアツーピアであり、ゲーム環境内のリアルタイムでの対話をやりやすくする。
新規参加者がゲームセッションに接続すると、中央ホストは、それ自体とすべての参加者の間で互換性のあるメディアタイプを判定する。
これは、確実に異なるメディアタイプのネットワーク伝送を整合するためである。

図５は、本発明の一実施形態による、同時に、また互いに独立して行われる複数のゲームセッションを示すゲーム環境５００の図である。
ゲーム環境５００は、上に述べた任意のゲーム環境であることができる。
ゲーム環境５００中の各参加者は、ゲーム環境５００の座標空間５０５を自由にあちこち歩き回ることができ、また、自由に付近の参加者と対話することができる。

別の実施形態では、参加者は、仮想座標空間５０５中の遠隔参加者を選択して、ゲーム環境５００内の近い物理的な位置に移動することなくプライベートな会話を可能にすることができる。

ゲーム環境５００は参加者Ａ〜Ｎを含む。
図５は、ゲーム環境５００の座標空間５０５内の各参加者Ａ〜Ｎの相対位置を示している。
円が参加者Ａ〜Ｎを表し、各円から向けられる矢印が、ゲーム環境５００の座標空間５０５内の各参加者Ａ〜Ｎの向きを示す。

一実施形態によれば、ゲーム環境５００に表されている各参加者Ａ〜Ｎは、通信ネットワークを通して一緒に接続された独立した遠隔位置にいる。
別の実施形態では、参加者Ａ〜Ｎの中の少なくとも一人は、合成アバタ等のオブジェクトである。

複数のゲームセッション５１０、５２０、５３０、５４０、および５５０は、一実施形態では、ゲーム環境５００内に同時に、かつ互いに独立して保持される。
ゲームセッション５１０は、リアルタイムオーディオおよびビデオ通信を行っている参加者ＡおよびＢを含む。
ゲームセッション５２０は、リアルタイムオーディオおよびビデオ通信を行っている参加者ＣおよびＤを含む。
ゲームセッション５３０は、リアルタイムオーディオおよびビデオ通信を行っている参加者ＦおよびＧを含む。
ゲームセッション５４０は、リアルタイムオーディオおよびビデオ通信を行っている参加者Ｉ、Ｊ、Ｋ、およびＬを含む。
ゲームセッション５５０は、リアルタイムオーディオおよびビデオ通信を行っている参加者ＭおよびＮを含む。

ゲーム環境５００中の参加者ＥおよびＨは、２人以上の参加者を含むいずれのゲームセッションの一員でもない。
参加者ＥおよびＨは単独でゲーム環境を体験している。
しかし、図５は、ゲームセッション５４０に参加しやすくするために、参加者Ｈがパス５７０に沿って、ゲームセッション５４０中の参加者の付近内の位置に向かって移動することを示している。

本発明の一実施形態によれば、複数の観察側参加者を有するゲームセッション（たとえば、ゲームセッション５４０）では、観察側参加者に関連する複数の観点に対応する複数の出力ビデオ画像ストリームが、ローカル参加者により生成される。
複数の観察側参加者は、ゲーム環境内にローカル参加者を有するゲームセッションに参加している。
その後、新視点画像合成技法が、ローカル参加者において取り込まれた複数のリアルタイムビデオストリームに適用されて、複数の出力ビデオ画像ストリームそれぞれが再構築され生成される。

ゲーム環境５００中の座標空間５０５により、ローカル参加者の複数の出力画像ストリームの適切なスケーリングが保持される。
したがって、ローカル参加者を表すアバタの画像は、ローカル参加者と複数の観察側参加者を表すアバタそれぞれの間の相対距離を反映するように適切にスケーリングすることができる。
たとえば、参加者ＨおよびＤからの参加者Ｍのビデオ画像ストリームは、参加者Ｍから離れたそれぞれの距離を反映するように適切にスケーリングされる。
したがって、参加者Ｄの観点に関連する参加者Ｍの画像は、参加者Ｈの観点に関連する参加者Ｍの画像よりも小さくなる。

ローカル参加者および観察側参加者は、ゲーム環境内を自由にあちこち移動することができる。
ローカル参加者、あるいは観察側参加者のいずれかが移動すると、ゲーム環境の局所観点および局所観点内の観察側参加者の位置の両方が変更される。
観点は、ローカル参加者の位置に対する複数の観察側参加者それぞれの位置に関連する方向に関連する。
ローカル参加者が移動すると、その他の観察側参加者が見ているゲーム環境内のローカル参加者の位置が変更される。
それに対応して、ゲーム世界の観察側参加者の各観点もまた、観察側参加者の移動に伴って変更される。

観点の変更に伴い、本実施形態は、複数の内への観点の変更を反映するように、対応する出力ビデオ画像ストリームを変更することによって進む。
したがって、ローカル参加者は、ローカル参加者による移動およびゲーム環境内の観察側参加者による移動の両方を反映したゲーム環境のリアルタイムビューを有する。

共有ゲーム環境内のローカル参加者と複数の観察側参加者の間のリアルタイムでのビジュアルおよびオーディオ通信が可能である。
ローカル参加者は、三次元ゲーム環境の合成レンダリング内にレンダリングされたグラフィックス生成されたアバタであることができる複数のビデオ画像ストリームと対話する。
グラフィックス生成されたアバタは、ローカル参加者に表示されるゲーム環境内に表示される。
このようにして、観察側参加者の写実的な画像は、ローカル参加者に対してリアルタイムに提示されて、ゲーム環境内のローカル参加者と複数の観察側参加者の間でリアルタイム通信が行われる。

本発明は、本発明の一実施形態によれば、デスクトップ手法の文脈の中で実施することができる。
したがって、物理的空間において遠隔に配置された参加者が、ゲーム環境において近くで写実的なオーディオおよびビデオの様式で互いに対話することができる。

フローチャート３００Ａ、３００Ｂ、３００Ｃ、および４００に示す実施形態の方法は、特定の順序および特定量のステップを示しているが、本発明は代替の実施形態にも適している。
たとえば、方法に提供されているステップのすべてが、本発明に必要なわけではない。
さらに、追加ステップを本実施形態に提示したステップに追加することができる。
同様に、ステップの順序も用途に応じて変更することができる。

リアルタイムで画像をレンダリングしてゲーム環境でのビデオ通信を可能にする方法およびシステムである本発明の好ましい実施形態をこうして述べてきた。
本発明は特定の実施形態において説明されたが、本発明はこのような実施形態により限定されると解釈されるべきではなく、添付の特許請求項に従って解釈されるべきであることを理解すべきである。

本発明の一実施形態による、ゲーム環境内にローカル参加者をリアルタイムでレンダリングする方法を実施するローカルノードにおける例示的なシステムの概略ブロック図である。 本発明の一実施形態による、ローカル参加者のリアルタイムのビデオストリームを取り込むローカルノードにおけるデスクトップ没入型ゲームシステムの上面断面図のブロック図である。 本発明の一実施形態による、ローカル参加者のリアルタイムのビデオストリームを取り込む図２Ａのデスクトップ没入型ゲームシステムの正面断面図のブロック図である。 本発明の一実施形態による、ゲーム環境内の２人の参加者間でリアルタイムビデオ通信を実施するコンピュータ実施方法のステップを示す流れ図である。 本発明の一実施形態によるゲーム環境内の参加者が移動できるようにするリアルタイムビデオ通信を実施するコンピュータ実施方法のステップを示す流れ図である。 写実的なコンピュータ生成アバタをゲーム環境内に溶け込ませて表示するリアルタイムビデオ通信を実施するコンピュータ実施方法のステップを示す流れ図である。 本発明の一実施形態によるゲーム環境内の複数の参加者間でリアルタイムビデオ通信を実施するコンピュータ実施方法のステップを示す流れ図である。 本発明の一実施形態による同時であり、かつ互いに独立したゲーム環境内の複数のゲームセッションを示すゲーム環境の図である。

符号の説明

１０５・・・カメラ配列、
１０７・・・ビデオ、
１１０・・・画像解析、
１１５・・・影、
１２０，１２５・・・視点、
１３０・・・マイクロフォン、
１３５・・・オーディオ圧縮、
１３７・・・オーディオ、
１４２，１７４・・・画像変換、
１４４・・・ビデオ圧縮、
１４６・・・圧縮、
１７０・・・ビデオ圧縮解除、
１７２・・・圧縮解除、
１８０・・・オーディオ圧縮解除、
１８５・・・オーディオ再生Ｂ、
１９０・・・ビデオディスプレイＢ、

Claims (10)

1. 複数のコンピュータ端末を含むコンピュータシステムで実行されるゲーム環境においてリアルタイムでレンダリングしてインタラクティブな体験を生み出すリアルタイムレンダリング方法であって、
   前記複数のコンピュータ端末のうちの第１のコンピュータ端末が、複数のカメラ視点から前記第１のコンピュータ端末のローカル参加者の複数のリアルタイムビデオストリームを取り込むこと（ステップ３１０）と、
   複数のリアルタイムビデオストリームに基づいて、任意の参加者の視点からの画像を作成する技法を適用することにより、前記複数のコンピュータ端末のうちのいずれかが、前記複数のリアルタイムビデオストリームに基づいて前記ローカル参加者のリアルタイムレンダリングを作成すること（ステップ３２０）であって、該リアルタイムレンダリングは、前記ゲーム環境において遠隔に配置された前記複数のコンピュータ端末のうちの第２のコンピュータ端末の遠隔参加者の観点から行われ、該リアルタイムレンダリングは、前記ローカル参加者が、前記第１のコンピュータ端末を用いて、ゲーム環境内の前記遠隔参加者を表すキャラクタを直接見ている期間中に、前記ローカル参加者のキャラクタの目が前記遠隔参加者に向けられている画像を描写することと、
   前記複数のコンピュータ端末のうちのいずれかが、前記ゲーム環境内で見るように前記リアルタイムレンダリングを前記遠隔参加者の前記第２のコンピュータ端末に送ること（ステップ３３０）と
   を含む
   リアルタイムレンダリング方法。
2. 前記複数のコンピュータ端末のうちのいずれかが、前記ローカル参加者のリアルタイムの写実的特徴を含む前記リアルタイムレンダリングを、前記ゲーム環境中の前記ローカル参加者を表すグラフィックス生成されたアバタに組み込むこと（ステップ４３０）と、
   前記複数のコンピュータ端末のうちのいずれかが、前記ゲーム環境内で見るように前記リアルタイムレンダリングを組み込む前記グラフィックス生成されたアバタを前記ローカル参加者の前記第１のコンピュータ端末に送ること（ステップ３３０）と
   をさらに含む請求項１記載のリアルタイムレンダリング方法。
3. 前記ローカル参加者の前記リアルタイムレンダリングを作成することは、
   前記リアルタイムレンダリングとして前記ローカル参加者のレンダリングに基づいて画像を生成すること（ステップ４２０）
   をさらに含み、
   前記技法は、
   画像ベースの交差領域（visual hull）技法
   を含む
   請求項１記載のリアルタイムレンダリング方法。
4. 前記ローカル参加者のリアルタイムレンダリングを作成することは、
   前記リアルタイムレンダリングとして、前記複数のリアルタイムビデオストリームから前記ローカル参加者の三次元幾何学的モデルを生成すること（ステップ３２０）
   をさらに含む
   請求項１記載のリアルタイムレンダリング方法。
5. 前記ローカル参加者のリアルタイムレンダリングを作成することは、
   前記ゲーム環境の座標空間内の前記ローカル参加者に対応するキャラクタの第１の位置に関して、前記遠隔参加者に対応するキャラクタの第２の位置から前記リアルタイムレンダリングをレンダリングすること（ステップ３４０）
   をさらに含む
   請求項１記載のリアルタイムレンダリング方法。
6. 前記複数のコンピュータ端末のうちのいずれかが、前記ローカル参加者に対応するキャラクタおよび前記遠隔参加者に対応するキャラクタが前記座標空間を通して移動できるようにすることにより、前記第１および第２の位置のうちの少なくとも一方での変更を可能にすること（ステップ３５０）と、
   前記複数のコンピュータ端末のうちのいずれかが、前記リアルタイムレンダリングを変更すること（ステップ３６０）であって、それによって前記第１および第２の位置のうちの少なくとも一方での前記変更を反映する、変更することと
   をさらに含む請求項５記載のリアルタイムレンダリング方法。
7. 前記複数のコンピュータ端末のうちのいずれかが、前記ゲーム環境の合成レンダリング内に前記リアルタイムレンダリングを溶け込ませること（ステップ３７０）と、
   前記複数のコンピュータ端末のうちのいずれかが、前記第２の参加者が閲覧可能なディスプレイに、前記ゲーム環境内に溶け込んだ前記リアルタイムレンダリングを表示すること（ステップ３８０）であって、それによって前記ゲーム環境内の前記ローカル参加者の前記第１のコンピュータ端末と前記遠隔参加者の前記第２のコンピュータ端末との間で対話型ゲームをするためのリアルタイムビデオ通信を可能にすることと
   をさらに含む請求項１記載のリアルタイムレンダリング方法。
8. 前記ゲーム環境は、
   三次元ゲーム環境
   を含む
   請求項１記載のリアルタイムレンダリング方法。
9. 前記複数のコンピュータ端末のうちのいずれかが、前記ローカル参加者の代表的な前記リアルタイムの写実的特徴を含む前記ビデオ画像ストリームを通して、前記ローカル参加者のリアルタイムの感情を示すことにより、前記グラフィックス生成されたアバタを前記ローカル参加者に擬人化すること（ステップ４３０）
   をさらに含む請求項１記載のリアルタイムレンダリング方法。
10. 前記複数のコンピュータ端末のうちのいずれかが、前記技法を適用することによって前記複数のリアルタイムビデオストリームに基づいて、前記ローカル参加者の別のリアルタイムレンダリングを作成することであって、前記別のリアルタイムレンダリングは、前記ゲーム環境において遠隔に配置された前記複数のコンピュータ端末のうちの第３のコンピュータ端末の別の参加者の観点から行われる、別のリアルタイムレンダリングを作成することと、
    前記複数のコンピュータ端末のうちのいずれかが、前記別のリアルタイムレンダリングを前記別の参加者の前記第３のコンピュータ端末に送ることと
    をさらに含む
    請求項１記載のリアルタイムレンダリング方法。

Images