JP3338382B2 - ３次元仮想空間を表すデータストリームを送受信する装置及び方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元コンピュー
タグラフィックス（以下、「３ＤＣＧ」と呼ぶ）によっ
て表現される３次元仮想空間を形成するデータストリー
ムの送受信システム、更に詳述すれば、人間などの複雑
な骨格構造を持つキャラクタの自然な動きを効率良く送
受信するための３次元骨格構造体を表すデータストリー
ムを送受信する装置及び方法に関する。

【０００２】

【従来の技術】近年、３ＤＣＧの利用分野として、ＷＷ
Ｗ（World-Wide Web）などのインターネット上での仮想
商店（Virtual Mall）、電子取引（Electronic Commerc
e）及びそれらに関連する各種ホームページなどが注目
されている。特に、インターネットの急速な発達によっ
て、ゲームや映画などの比較的高品位な３ＤＣＧを家庭
内で手軽に扱う環境が整いつつある。

【０００３】図８に示すように、ＷＷＷ等では、インタ
ーネットを介して、パーソナルコンピュータやワークス
テーションなどのサーバと呼ばれるマシンＰＣＳに、パ
ーソナルコンピュータなどの複数のクライアントＰＣＣ
１〜ＰＣＣｎと呼ばれるマシンが接続されている。そし
て、クライアントは、必要に応じてサーバからダウンロ
ードした画像、音声、テキスト及び配置情報等を再構築
して、サーバから発信された情報を得ることができる。
このサーバとクライアント間の通信には、通常、ＴＣＰ
／ＩＰ（Transmission Control Protocol/Internet Pro
tocol）に基づく通信方法が採用される。

【０００４】従来、サーバ側から提供されるデータは、
主として、テキストデータ及び画像データのみであった
が、最近ではＶＲＭＬ（Virtual Reality Modeling Lan
guage）や、ＶＲＭＬのブラウザの標準化が進み、形
状、シーンなどの３ＤＣＧデータそのものを転送しよう
とする動きがある。

【０００５】前記ＶＲＭＬについて簡単に説明する。Ｈ
ＴＭＬ（Hypertext Markup Language）などのように、
画像およびテキストを主体とする従来のデータ形式で
は、画像データ、特に、動画データを転送するのに膨大
な転送時間と転送コストが必要である。そのため、現状
の装置では、ネットワークトラフィックの制約がある。
これに対し、３ＤＣＧでは、形状を含めて視点情報や光
源情報などの全てを３次元データで処理しているが、近
年のコンピュータグラフィックス（以下、「ＣＧ」と呼
ぶ）技術の進歩により、ＣＧで作成した画像の画質が急
速に向上している。そのため、ＣＧデータをそのまま転
送する方がデータ量の点からも非常に効率が良い。

【０００６】通常、ＣＧデータは、従来の画像データの
１／１００以下のデータ量で、従来と同等品質の画像を
表現できる、つまりＣＧデータは従来の画像データの１
００倍以上の圧縮率を有している。そのため、ネットワ
ークを介する画像データ送信に、ＣＧデータを、特に３
ＤＣＧデータを標準として用いる動きが起こりつつあ
る。このような３ＤＣＧデータ転送の標準化の取り組み
の一つとして、前記のＶＲＭＬが提案されている（ＶＲ
ＭＬ Ver2.0）。ＶＲＭＬ Ver 2.0では、プリミティブ
と呼ぶ形状データ、および各種の光源データ、視点デー
タ、テクスチャデータなどのデータフォーマット、並び
に剛体の移動の指定方法などを規定している。このよう
な、データフォーマットを便宜上ＶＲフォーマット（Ｖ
ＲＦ）と呼ぶ。

【０００７】一方、従来のＣＧ分野で最近注目されてい
るのが、リアルタイムで画像を生成するアニメーション
技術である。このリアルタイムのアニメーション技術を
用いることで、ＣＭや映画を中心にＣＧキャラクタのリ
アルな動きを再現する工夫がなされている。その一つと
して人間などの複雑な形状を骨格構造で表し、時々刻々
変化する骨格の関節の移動量を定義することで、複雑な
動きを自然に再現できる。

【０００８】

【発明が解決しようとする課題】このようなＶＲＭＬを
中心とする従来のインターネット環境で用いられていた
３ＤＣＧモデリング言語では、人間などの複雑な構造を
持つ形状にリアルタイムで動作を設定することができな
かった。また、ネットワークを介した仮想の空間内で複
数のユーザが仮想の３次元空間を共有し、その空間内で
お互いの化身（Avatar）をインターラクティブに操作し
合うこともできなかった。また、仮想の３次元空間内の
化身（以下、「アバタ」と呼ぶ）の動作に同期した形で
音声や音楽をリアルタイムで送信又は受信することがで
きないのが実情であった。そこで、本発明は、通信路を
介して人間などの複雑な構造を持つ形状にリアルタイム
で動作を設定することを可能にし、又、ネットワークを
介した仮想の空間内で複数のユーザが仮想の３次元空間
を共有し、その空間内でお互いのアバタをインターラク
ティブに操作し合うことを可能にする。また、仮想の３
次元空間内のアバタの動作に同期した形で、音声や音楽
をリアルタイムで送信又は受信することを可能にするよ
うに、３次元仮想空間を表すデータストリームを送信又
は受信する装置及び方法を提供することを目的とする。

【０００９】

【課題を解決するための手段】この目的を達成するため
に、本発明は、送信部と、受信部と、該送信部と該受信
部とを接続する伝送手段とを備えて、送信部から３次元
コンピューターグラフィックスにおける骨格構造の形状
を示すデータストリームである形状ストリーム、動きを
示すデータストリームである動作ストリーム及び該動き
と同期する音を示すデータストリームである音ストリー
ムを受信部に送信し、該受信部では送信された該動作ス
トリーム及び該音ストリームを同期させて３次元コンピ
ュータグラフィックスを生成するように、３次元仮想空
間を表すデータストリームを送受信する装置であって、
該送信部は、該形状ストリーム、動作ストリーム、及び
該動作ストリームに同期する音ストリームを予め決めら
れたデータストリームのフォーマットに応じて複数のス
トリームとして同時に送信する送信手段を有し、伝送手
段は、該複数のストリームを該送信部から該受信部に伝
送すると共に、該受信部は、該伝送手段を経由して該送
信部から伝送されてきた該複数のストリームを受信する
と共に、受信したストリームの種類およびフォーマット
を判別し、複数のストリームを受信し、それぞれの判別
されたストリームに応じて必要な復元処理をストリーム
に加えるデータストリーム受信手段と、該受信部で受信
した該ストリームのうち形状ストリーム或いは予め読み
込まれた３次元形状データを用いて３次元仮想空間内に
骨格構造の形状あるいは３次元仮想空間を生成し、更に
動作ストリームを用いて該骨格構造の形状を動かす３次
元仮想空間生成手段と、該ストリームに音データが含ま
れる場合は該骨格構造の動きに同期させて音データを再
生する音再生手段とを有することを特徴とする３次元仮
想空間を表すデータストリームを送受信する装置を提供
する。

【００１０】更に、本発明は、送信部と、受信部と、該
送信部と該受信部とを双方向に接続する伝送手段とを備
えて、送信部から３次元コンピューターグラフィックス
における骨格構造の形状を示すデータストリームである
形状ストリーム、動きを示すデータストリームである動
作ストリーム及び該動きと同期する音を示すデータスト
リームである音ストリームを受信部に送信し、該受信部
では送信された該動作ストリーム及び該音ストリームを
同期させて３次元コンピュータグラフィックスを生成す
るように、３次元仮想空間を表すデータストリームを送
受信する装置であって、該送信部は、該受信部からの要
求に応じて、リアルタイムに該形状ストリーム、動作ス
トリーム、及び該動作ストリームに同期する音ストリー
ムを予め決められたデータストリームのフォーマットに
応じて複数のストリームとして同時に送信する送信手段
を有し、伝送手段は、該複数のストリームを該送信部か
ら該受信部に対話的に伝送すると共に、該受信部は、該
伝送手段を経由して該送信部から伝送されてきた該複数
のストリームを受信すると共に、受信したストリームの
種類およびフォーマットを判別し、複数のストリームを
必要に応じてリアルタイムに受信し、それぞれの判別さ
れたストリームに応じて必要な復元処理をストリームに
加えるデータストリーム受信手段と、該受信部で受信し
た該ストリームのうち形状ストリーム或いは予め読み込
まれた３次元形状データを用いて３次元仮想空間内に骨
格構造の形状あるいは３次元仮想空間を生成し、更に動
作ストリームを用いて該骨格構造の形状を動かす３次元
仮想空間生成手段と、該ストリームに音データが含まれ
る場合は該骨格構造の動きに同期させて音データを再生
する音再生手段とを有することを特徴とする３次元仮想
空間を表すデータストリームを送受信する装置を提供す
る。

【００１１】又、本発明は、送信部から３次元コンピュ
ーターグラフィックスにおける骨格構造の形状を示すデ
ータストリームである形状ストリーム、動きを示すデー
タストリームである動作ストリーム及び該動きと同期す
る音を示す音ストリームを受信部に送信し、該受信部で
は送信された該動作ストリームと該音ストリームを同期
させて３次元コンピュータグラフィックスを生成するよ
うに、３次元仮想空間を表すデータストリームを送受信
する方法であって、該形状ストリーム、該動作ストリー
ム、及び該動作ストリームに同期する該音ストリームを
予め決められたデータストリームのフォーマットに応じ
て複数のストリームとして同時に送信する送信ステップ
と、該送信部と該受信部とを接続して、該複数のストリ
ームを該送信部から該受信部に伝送する伝送ステップ
と、該伝送された該複数のストリームを受信すると共
に、受信したストリームの種類およびフォーマットを判
別し、複数のストリームを受信し、それぞれの判別され
たストリームに応じてストリームの復元処理を行うデー
タストリーム受信ステップと、該受信部で受信した該ス
トリームのうち形状ストリーム或いは予め読み込まれた
３次元形状データを用いて３次元仮想空間内に骨格構造
の形状或いは３次元仮想空間を生成し、更に動作ストリ
ームを用いて骨格構造の形状を動かす３次元仮想空間生
成ステップと、該ストリームに音データが含まれる場合
は、該骨格構造の動きに同期させて音データを再生する
音再生ステップとを含むことを特徴とする３次元仮想空
間を表すデータストリームを送受信する方法を提供す
る。

【００１２】更に、本発明は、送信部から３次元コンピ
ューターグラフィックスにおける骨格構造の形状を示す
データストリームである形状ストリーム、動きを示すデ
ータストリームである動作ストリーム及び該動きと同期
する音を示す音ストリームを受信部に送信し、該受信部
では送信された該動作ストリームと該音ストリームを同
期させて３次元コンピュータグラフィックスを生成する
ように、３次元仮想空間を表すデータストリームを送受
信する方法であって、該受信部からの要求に応じて、リ
アルタイムに該形状ストリーム、該動作ストリーム、及
び該動作ストリームに同期する該音ストリームを予め決
められたデータストリームのフォーマットに応じて複数
のストリームとして同時に送信する送信ステップと、該
送信部と該受信部とを双方向に接続して、該複数のスト
リームを該送信部から該受信部に対話的に伝送する伝送
ステップと、該伝送された該複数のストリームを受信す
ると共に、受信したストリームの種類およびフォーマッ
トを判別し、複数のストリームをリアルタイムに受信
し、それぞれの判別されたストリームに応じてストリー
ムの復元処理を行うデータストリーム受信ステップと、
該受信部で受信した該ストリームのうち形状ストリーム
或いは予め読み込まれた３次元形状データを用いて３次
元仮想空間内に骨格構造の形状或いは３次元仮想空間を
生成し、更に動作ストリームを用いて骨格構造の形状を
動かす３次元仮想空間生成ステップと、該ストリームに
音データが含まれる場合は、該骨格構造の動きに同期さ
せて音データを再生する音再生ステップとを含むことを
特徴とする３次元仮想空間を表すデータストリームを送
受信する方法を提供する。

【００１３】

【発明の実施の形態】以下、本発明の一実施形態を添付
の図面を参照して詳細に説明する。先ず、図１に、本発
明の一実施形態にかかる、３次元仮想空間を表すデータ
ストリームを送受信する装置１００の最小構成例を示
す。装置１００は、送信側のサーバー部ＰＣＳと、受信
側のクライアント部ＰＣＣと、両者を繋ぐ伝送部ＴＲか
ら構成される。なお、サーバー部ＰＣＳは、通常外部に
設けられたストリームオーサリング手段によって入力さ
れたユーザーの指示にしたがって、３次元仮想空間を表
す３ＤＣＧデータストリームを生成する。このストリー
ムオーサリング手段の動作については、後で説明する。

【００１４】サーバー部ＰＣＳは、ユーザのアバタ（化
身）を含む３次元仮想空間を形成する３ＤＣＧデータス
トリームＤＳをエンコード（フォーマット変換）して、
エンコードデータストリームＤＳ１を生成する。なお、
後で図４及び図５及び図１１を参照して、３ＤＣＧデー
タストリームＤＳ及びエンコードデータストリームＤＳ
１のフォーマットＶＲＦについて説明する。

【００１５】伝送部ＴＲは送信側のサーバー部ＰＣＳと
受信側のクライアント部ＰＣＣを双方向に接続して、エ
ンコードデータストリームＤＳ１をサーバー部ＰＣＳか
らクライアント部ＰＣＣに伝送すると共に、クライアン
ト部ＰＣＣから入力される３ＤＣＧデータに関する変更
データをサーバー部ＰＣＳに伝送する。つまり、サーバ
ー部ＰＣＳは、入力されたエンコードデータストリーム
ＤＳ１を再フォーマット変換して３ＤＣＧデータストリ
ームＤＳをデコード（逆フォーマット変換）し、そして
３次元仮想空間を表す３ＤＣＧ画像を再現する。なお、
同様に、ユーザーがサーバー部ＰＣＳで、自身のアバタ
を操作して、３次元仮想空間に変化を生ぜしめた場合に
は、サーバー部ＰＣＳはその変化を表す画像変更データ
ＤＭを生成して、伝送部ＴＲを経由してクライアント部
ＰＣＣに送信する。

【００１６】通常、サーバー部ＰＣＳとクライアント部
ＰＣＣは、それぞれワークステーションやパーソナルコ
ンピュータに代表されるコンピュータ装置内に、主にソ
フトウェアによって実現される。サーバー部ＰＣＳは３
ＤＣＧデータストリーム送信部１を備え、伝送部ＴＲは
３ＤＣＧデータストリーム伝送部２を備える。そして、
クライアント部ＰＣＣは、３ＤＣＧデータストリーム受
信部３、３次元仮想空間生成部４、及び音生成部５を備
える。３次元仮想空間生成部４は３ＤＣＧデータストリ
ーム受信部３とデータバスで接続されて、３ＤＣＧデー
タストリーム受信部３から３ＤＣＧデータストリームＤ
Ｓの入力を受ける。

【００１７】３次元仮想空間生成部４は、３ＤＣＧデー
タストリームＤＳに基づいて、３次元仮想空間を表す３
ＤＣＧを生成すると共に、音データストリームＳａを生
成する。音生成部５は信号線で３次元仮想空間生成部４
に接続されて、音データストリームＳａの入力を得て音
声を再生する。

【００１８】つまり、装置１００は、３ＤＣＧデータス
トリーム送信部１からエンコードデータストリームＤＳ
１を構成する複数の３ＤＣＧデータストリームを同時に
送信する。クライアント部ＰＣＣは、伝送部ＴＲを経由
して受信した複数の３ＤＣＧデータストリームに基づい
て、音声を含む３Ｄアニメーションを生成する。

【００１９】本例では、前記の如く装置１００の最小構
成、つまり一つのサーバー部ＰＣＳに対して、伝送部Ｔ
Ｒを介して一つのクライアント部ＰＣＣが接続されてい
る図１のシングルユーザネットワークの例について説明
したが、図８のマルチユーザネットワークに示すよう
に、伝送部ＴＲを介して複数のクライアント部ＰＣＣｎ
（ｎは自然数）を接続してもよいことは言うまでもな
い。

【００２０】図２に、サーバー部ＰＣＳ内に構成される
３ＤＣＧデータストリーム送信部１の構成例を示す。３
ＤＣＧデータストリーム送信部１は、双方向信号線で３
ＤＣＧデータストリーム伝送部２に接続されて、クライ
アント部ＰＣＣ及びサーバー部ＰＣＳの双方で生成され
るリクエスト信号Ｓｒを交換する。３ＤＣＧデータスト
リーム送信部１は、アバタの骨格データストリームＳｓ
を生成する骨格構造ストリーム送信部１１、アバタの動
きデータストリームＳｍを生成する動きストリーム送信
部１２、アバタの音データストリームＳａを生成する音
ストリーム送信部１３、アバタの各データストリームＳ
ｓ、Ｓｍ、及びＳａを所定のフォーマットに変換するエ
ンコード処理を行うストリーム変換部１４、およびクラ
イアントのＩＤ及びアバタの状態等の装置１００内の状
態管理処理を行う状態管理部１５を備えている。

【００２１】ストリーム変換部１４は、骨格構造ストリ
ーム送信部１１と３ＤＣＧデータストリーム伝送部２の
両方と双方向接続されて、アバタの骨格データストリー
ムＳｓを骨格データストリームＳｓ１にエンコードして
３ＤＣＧデータストリーム伝送部２に供給する。同様
に、ストリーム変換部１４は、動きストリーム送信部１
２と３ＤＣＧデータストリーム伝送部２とも双方向接続
されて、アバタの動きデータストリームＳｍを動きデー
タストリームＳｍ１にエンコードして３ＤＣＧデータス
トリーム伝送部２に供給する。更に、ストリーム変換部
１４は、音ストリーム送信部１３と３ＤＣＧデータスト
リーム伝送部２と双方に接続されて、音データストリー
ムＳａを音データストリームＳａ１にエンコードして、
３ＤＣＧデータストリーム伝送部２に供給する。

【００２２】３ＤＣＧデータストリーム送信部１は、ク
ライアント部ＰＣＣから送信されて来たリクエスト信号
Ｓｒに応じて、骨格構造ストリーム送信部１１から骨格
データストリームＳｓを、動きストリーム送信部１２か
ら動きデータストリームＳｍを、そして音ストリーム送
信部１３から音データストリームＳａを生成させて、そ
れぞれをストリーム変換部１４に対して出力させる。骨
格データストリームＳｓは、骨格構造の階層関係を定義
する階層データ、及びこの階層データの初期状態、骨格
の関節の状態、骨格に対応付ける形状、骨格構造との対
応関係を示す情報を含む。動きデータストリームＳｍ
は、骨格構造の基本となる動き情報を含む。音データス
トリームＳａは、動きデータストリームＳｍの表す動き
情報に同期する音を表す情報を含む。

【００２３】ストリーム変換部１４は、これらのデータ
ストリームＳｓ、Ｓｍ、及びＳａのそれぞれに固有の識
別情報を付与して、異なるフォーマットの骨格データス
トリームＳｓ１、動きデータストリームＳｍ１、及び音
データストリームＳａ１を生成して３ＤＣＧデータスト
リーム伝送部２に出力する。なお、これらデータストリ
ームＳｓ１、Ｓｍ１、及びＳａ１のフォーマットとして
は、前述のように好ましくは、ＶＲＭＬのフォーマット
或いはＶＲＭＬフォーマットを拡張した形式を用いる。
なお、ＶＲＭＬフォーマットについてはＶＲＭＬ Ver.
2.0として規格化されている。また、ストリームで送る
必要のないＣＧ形状データは、通常のＨＴＴＰ（Hypert
ext Markup Language）に従ってネットワーク経由で予
め転送するか、ローカルのマシン上のファイルから読込
んでもよい。

【００２４】図３に、３ＤＣＧデータストリーム受信部
３の詳細な構造を示す。３ＤＣＧデータストリーム受信
部３は、３ＤＣＧデータストリーム送信部１と同様に、
３ＤＣＧデータストリーム伝送部２と双方向に接続され
て、リクエスト信号Ｓｒを交換する。３ＤＣＧデータス
トリーム受信部３は、ストリーム変換部３１、骨格構造
ストリーム受信部３２、動きストリーム受信部３３、及
び音ストリーム受信部３４を備えている。

【００２５】ストリーム変換部３１は３ＤＣＧデータス
トリーム伝送部２と骨格構造ストリーム受信部３２に双
方向接続され、３ＤＣＧデータストリーム伝送部２を経
由して３ＤＣＧデータストリーム送信部１から入力され
る骨格データストリームＳｓ１を再フォーマット変換し
て元の骨格データストリームＳｓにデコードして、骨格
構造ストリーム受信部３２に供給する。同様に、ストリ
ーム変換部３１は、３ＤＣＧデータストリーム伝送部２
と動きストリーム受信部３３に双方向に接続され、動き
データストリームＳｍ１を動きデータストリームＳｍに
デコードして、動きストリーム受信部３３に供給する。
更に、ストリーム変換部３１は３ＤＣＧデータストリー
ム伝送部２と音ストリーム受信部３４に双方向に接続さ
れ、音データストリームＳａ１を音データストリームＳ
ａにデコードして音ストリーム受信部３４に供給する。

【００２６】つまり、３ＤＣＧデータストリーム送信部
１から送信された骨格データストリームＳｓ１、動きデ
ータストリームＳｍ１、及び音データストリームＳａ１
は、３ＤＣＧデータストリーム伝送部２を経由して、ス
トリーム変換部３１に入力される。ストリーム変換部３
１は、入力された各ストリームＳｓ１、Ｓｍ１、及びＳ
ａ１を、必要に応じて元のフォーマットに逆変換して、
骨格データストリームＳｓ、動きデータストリームＳ
ｍ、及び音データストリームＳａにデコードして、骨格
構造ストリーム受信部３２、動きストリーム受信部３
３、及び音ストリーム受信部３４のそれぞれに出力す
る。このように、３ＤＣＧデータストリーム伝送部２か
ら伝送されてきたエンコード３ＤＣＧデータストリーム
ＤＳ１を３ＤＣＧデータストリームＤＳにデコードし
て、それぞれ別個の骨格構造、動き、および音のデータ
ストリームＳｓ、Ｓｍ、及びＳａとして受信する。

【００２７】以下に、装置１００の動作について簡単に
説明する。サーバー部ＰＣＳの３ＤＣＧデータストリー
ム送信部１は、複数のクライアント部ＰＣＣからのリク
エスト信号Ｓｒに応じて、アバタの骨格構造の階層関係
を定義する階層データ、この階層データの初期状態、骨
格の関節の制約条件、骨格に対応付ける形状データ、骨
格構造との対応関係データをストリームとして伝送す
る。ストリーム変換部１４は３ＤＣＧデータストリーム
ＤＳをフォーマット変換及び圧縮処理してエンコードデ
ータストリームＤＳ１を生成する。また、３ＤＣＧデー
タストリームＤＳがコンポジットタイプの場合は動きま
たは音声を別個のストリームに分解すると共に、必要に
応じて骨格データストリームＳｓを圧縮する。

【００２８】なお、アバタの骨格データについては、本
願出願人による特願平９−１００４５３号（平成９年４
月１７日提出）に詳しく述べられているが、後で図９及
び図１０を参照して、アバタの骨格データ構造について
簡単に説明する。

【００２９】図４及び図５を参照して、本発明に係る３
ＤＣＧデータストリームＤＳの標準的なフォーマットを
二例示す。先ず、第一の例は、図４に示すように、各ス
トリーム、例えば骨格データストリームＳｓは、メイン
ヘッダＭＨ、サブヘッダＳＨ、およびデータ本体ＤＢか
ら構成され、メインヘッダＭＨにはデータの種類、デー
タの順序、圧縮／非圧縮の判別、ストリームの開始時間
（またはフレーム番号）、終了時間（またはフレーム番
号）、ループの有無、タイムスタンプ（同期に用いる）
の有無、再生時のピッチなどを書いておく。サブヘッダ
ＳＨとデータ本体ＤＢは１対をなし、サブヘッダＳＨに
データのサイズなどを明記する。以下の説明では特に断
らない限り、骨格データストリームＳｓ、動きデータス
トリームＳｍ、及び音データストリームＳａは全てこの
形式で表すものとする。

【００３０】更に、図５に示す第二の例では、コンポジ
ットタイプのデータストリームで動作と音、動作と動作
が一つのストリームの中にシーケンシャルに並んでい
る。この場合シーケンシャルに並んだデータ同士は、通
常は再生時に同期させる必要のあるデータ同士である。
動作や音データは同期に必要な長さに適切に細かくパケ
ットと呼ぶ単位に分解して並べておく。このデータの並
びをメインヘッダに明記しておく。

【００３１】次に、図６及び図７に、上述の細かく分解
されたパケットであるストリームパケットの例として、
アニメーションストリーム（図６）と動作ストリーム
（図７）を示す。

【００３２】以下に、図９、図１０、及び図１１を参照
してアバタの骨格データストリームＳｓ、及び動きデー
タストリームＳｍのデータ構造について説明する。先
ず、図９（図９）に基本的な骨格構造を示す。簡便化の
ため、アバタの肘を表す骨格構造について述べる。つま
り、２本のリンクＬＫ１及びリンクＬＫ２はジョイント
Ｊによって、階層関係をもって接続される。例えば、リ
ンクＬＫ１が上腕とすると、リンクＬＫ１が親で前腕を
表すリンクＬＫ２が子と言う上下階層構造を有する。

【００３３】次に、図１０にアバタ全体の一般的な階層
構造を示す。同図において、直線で示されたブロックの
各々が前記ジョイントＪに対応し、破線で示されたブロ
ックの各々が各階層系統の先端部を示している。つま
り、本例において、アバタは、本体のルートＲから３つ
の一次系統Ｒ１、Ｒ２、及びＲ３が接続されている。一
次系統Ｒ１は、右足付け根ＪＲ１−１、右膝ＪＲ１−
２、右足首ＪＲ１−３、及び右足先ＪＲ１−４と階層が
深くなって、アバタのルートＲに接続される右足系統Ｒ
１を構成している。同様に、ＪＲ２−１、ＪＲ２−２、
ＪＲ２−３、ＪＲ２−４によって、左足系統Ｒ２が構成
される。但し、一次系統Ｒ３は上半身を表すために、背
骨付け根ＪＲ３−１から３つの二次系統Ｒ３１、Ｒ３
２、及びＲ３３に枝分かれしている。二次系統Ｒ３１
は、右襟ＪＲ３１−１、右肩ＪＲ３１−２、右肘ＪＲ３
１−３、右手首ＪＲ３１−４、右手先ＪＲ３１−５の階
層からなる右腕系統を構成している。同様に、二次系統
Ｒ３２は、左襟ＪＲ３２−１、左肩ＪＲ３２−２、左肘
ＪＲ３２−３、左手首ＪＲ３２−４、左手先ＪＲ３２−
５の階層からなる左腕系統を構成している。二次系統Ｒ
３３は、首ＪＲ３３−１及び頭頂ＪＲ３３−２の階層か
ら成る頭部系統を構成している。

【００３４】なお、必要に応じて、各系統の階層を更に
深くすると共に細分化して、より実際の人間に近い行動
自由度を持ったアバタを表現することができる。例え
ば、左右の手先ＪＲ３１−５及びＪＲ３２−５に、指を
与える人は、それぞれに手の関節に対応する通常１５個
のジョイントを付与すればよい。

【００３５】図１１に、上記の骨格構造（初期値）に対
する動きデータを、動きデータストリームＳｍ中で示す
フォーマットを示す。基本的な動きデータは、各関節Ｊ
がローカル座標系で、Ｘ、Ｙ、及びＺ軸回りに回転する
角度を時間の経過と共に示す回転角度時系列データであ
る。更に、ワールド座標系におけるルートＲの位置座標
のＸ、Ｙ、及びＺの三要素とルートＲ位置の方向ベクト
ルの三要素の時系列データである。このように示された
データを、時系列に必要なフレーム数分だけ繰返して、
動きデータストリームＳｍ中に記録する。

【００３６】再び図３を参照して、クライアント部ＰＣ
Ｃにおける処理について述べる。ストリーム受信部３
２、３３、および３４では、３ＤＣＧデータストリーム
伝送部２から伝送され、ストリーム変換されたそれぞれ
のストリームＳｓ、Ｓｍ、及びＳａを受信する。通常受
信側のコンピュータＰＣＣでは、各ストリームを受信す
る受け口となるプロセス（またはスレッド）を必要な数
だけ複数個同時に発生させる。この複数のプロセスは、
図２に示す３ＤＣＧデータストリーム送信部１の送信側
の状態管理部１５と、リクエスト信号Ｓｒによって交信
し合い、それぞれのストリームの数や状態を随時モニタ
リングする。

【００３７】さらにストリーム受信部３２、３３、およ
び３４では、受信の受け口となる複数のプロセスを介し
て、共有メモリ（または共有のバッファ）にストリーム
を随時バッファリングする。このバッファリングされた
ストリームは各ストリーム間の時間的な同期を取りつつ
３次元仮想空間生成部４にデータストリームＳｓ、Ｓ
ｍ、及びＳａを渡す。また、前述のように、通常のＨＴ
ＴＰに従ってネットワーク経由で予め転送された或いは
ローカルマシン上のファイルから読込まれたＣＧ形状デ
ータに基づいて、骨格構造ストリームを再生する。さら
に上記伝送された骨格構造ストリームに同期させて、動
きストリームＳｍあるいは音ストリームＳａをリアルタ
イムに３次元仮想空間生成部４に渡す。３次元仮想空間
生成部４では、３ＤＣＧデータストリーム受信部３から
入力されたストリームに基づいて、サーバー部ＰＣＳの
３ＤＣＧデータストリーム送信部１で生成された３ＤＣ
Ｇを再生する。つまり、３次元仮想空間生成部４は、３
次元の仮想空間を生成するＶＲＭＬ専用ブラウザ等を用
いて３次元仮想空間を再生する。上記の仕組みにおい
て、共有バッファに一次蓄積されたデータストリーム
が、３次元仮想空間部４からのトリガに従って、各バッ
ファから上述のストリーム受信部３２、３３および３４
の各プロセスに対して同時に送られ、次に、ＶＲＭＬで
定義された３次元仮想空間の指定されたノードに対して
同時に送られる。ＶＲＭＬのノードには、通常３次元の
形状、音を出すべき物体、骨格の関節形状が予め指定さ
れている。

【００３８】図１２及び図１３にＶＲＭＬ Ver.2.0の表
記で記述した３次元シーンを表す。図１２にＶＲＭＬの
記述を示すと共に同記述に対応するシーン構造を図１３
に示している。図１３において、円で表された部分をノ
ードと呼び、Shapeで記述されるノードが３次元空間に
存在する各物体に対応する。また、Transformで表され
るノードが移動、回転などに対応する部分で、さらに３
次元形状の階層情報はＶＲＭＬでは括弧で区切られたネ
スト関係で表現される。図１２においては、Translatio
nとRotationの後ろのパラメタを変更するとその値に従
って２つのShapeが移動および回転する例が示されてい
る。上記の基本的な仕組みに従って、図３に示す動きス
トリーム受信部３３で受信した特定の３次元骨格構造の
各関節のRotationの値を時系列で変更することで、骨格
構造の各関節位置が変更される。つまり３次元仮想空間
内の骨格構造を持つ人間などが動きストリームのデータ
に従ってリアルタイムに動くことになる。音ストリーム
に関しては、図１３に示すようなシーン木構造で表され
た３次元シーンにShapeとして音源に相当する物体のノ
ードを設定しておく。音声ストリームが、ユーザからの
トリガ（通常はＶＲＭＬのセンサノードを用いる）によ
り、図３の音ストリーム受信部３４から図１２及び図１
３に示す音源に相当するShapeノードに送出される。

【００３９】受け取った音データの再生は通常のパーソ
ナルコンピュータなどでは音生成部５にそのまま渡され
て再生される。音再生部５は音再生用のデジタルシグナ
ルプロセッサ（ＤＳＰ）および音源などで構成される。
また、音データは一般にはWav, Aiff, MIDIなどのフォ
ーマットが一般に用いられるが、音声などにはＰＣＭデ
ータを用いる場合もある。動きのストリームと音ストリ
ームの同期については、通常３次元仮想空間生成部４に
は内部の時間を管理しており、開始の時刻と終了の時刻
を指定することで通常は同期を取ることができる。

【００４０】図１４に３次元仮想空間生成部４でのＣＧ
ストリームの再生を時系列で示す。前述したように音ス
トリームは音生成部５で生成し、開始時刻t0と終了時刻
t1を設定して再生させる。動きのストリームは受信側パ
ーソナルコンピュータの性能や３次元シーンの複雑さに
依存して変動する。このため、音に対して動作が送れた
り早まったりする。これを無くして音と動作との同期を
取るため、セパレートのストリームのデータにタイムス
タンプＴＳ（△で表示）を予め入れておく。タイムスタ
ンプを用いると、音の再生に対して音ストリームのタイ
ムスタンプ位置に動作の再生を合わせるが容易になる。
つまり対応する任意のタイムスタンプ位置で、もし動き
の再生がタイムスタンプ位置で判断して遅れていれば、
それ以降のタイムスタンプ位置までの動きの再生は飛ば
す処理を３次元仮想空間生成部４で行なう。ましてや、
同じタイムスタンプ位置で動きの再生が終っていれば、
音の再生がタイムスタンプ位置まで終了するまで動きの
再生を繰返す処理を３次元仮想空間生成部４で行なう。
あるいは、図１４の下段に示すようにＣＧデータストリ
ームの形式としてコンポジットタイプを用い、さらに同
期を合わせたい最小のパケットに分割しておけば、パケ
ット間では音と動作との同期が取れて再生できる。

【００４１】なお、先に図１に関して述べたストリーム
オーサリング手段の基本動作について簡単に説明する。
ストリームオーサリング手段は、任意のデータ長を有す
る骨格データストリームＳｓ、動きデータストリームＳ
ｍ、及び音データストリームＳａを、同期に必要な任意
の長さに切断して、図４及び図５に示したパケット形式
に変換する。なお、骨格データストリームＳｓのデータ
長は関節数や自由度等の条件により、動きデータストリ
ームＳｍのデータ長は動作の継続時間により、そして音
データストリームＳａのデータ長は音の生成時間により
任意に決める。そして、各ストリームに図１４に示した
ように、同期に必要なタイムスタンプ情報を付与する。
さらに、必要に応じて、各ストリーム同士を接続して新
たなストリームを生成する。このようにして、編集した
ストリームをサーバー部ＰＣＳにデータ登録するもので
ある。

【００４２】以下に、図１５、図１６、及び図１７に示
すフローチャートを参照して、本発明に係る装置１００
の動作について説明する。図１５は、装置１００におけ
るサーバー部ＰＣＳと複数のクライアント部ＰＣＣ間が
接続されたいわゆるマルチユーザーネットワークにおけ
る３次元空間の共有を示している。ここで、図８に示し
たように、単独のサーバー部ＰＣＳに対して複数クライ
アント部ＰＣＣ２〜ＰＣＣｎが接続されて、互いに３次
元空間が共有されている時に、新たにクライアント部Ｐ
ＣＣ１がサーバー部ＰＣＳに接続された場合について述
べる。

【００４３】ステップＳ１で、クライアント部ＰＣＣ１
がサーバー部ＰＣＳにＩＤを要求する。ステップＳ３
で、サーバー部ＰＣＳはクライアント部ＰＣＣ１に対し
てＩＤを発行する。この時点で、クライアント部ＰＣＣ
１及びサーバー部ＰＣＳの３次元仮想空間に、クライア
ント部ＰＣＣ１のアバタが出現する。ステップＳ５で、
クライアント部ＰＣＣ１においてユーザがアバタを操作
したか否かが判断される。アバタ操作の検出をもって、
次のステップＳ７に進む。それまでは、本ステップＳ５
で繰り返しＮＯと判断されて、アバタ操作有無判断が継
続される。

【００４４】ステップＳ７で、クライアント部ＰＣＣ１
はユーザによる操作に基づく、アバタの移動情報を含む
動きデータストリームＳｍの画像変更データＤＭを３Ｄ
ＣＧデータストリーム受信部３によって生成し、伝送部
ＴＲを経由してサーバー部ＰＣＳの３ＤＣＧデータスト
リーム送信部１に送信する。なお、サーバー部ＰＣＳ
は、画像変更データＤＭと共に送られてくるＩＤによっ
て、ユーザつまりクライアント部ＰＣＣ１を識別する。
ステップＳ９では、クライアント部ＰＣＣ１から送信さ
れた画像変更データＤＭ及びＩＤを、他のクライアント
部ＰＣＣ２〜ＰＣＣｎのいずれかに伝達する必要がある
か否かが判断される。なお、この判断は、通常、クライ
アント部ＰＣＣ１からのリクエスト信号Ｓｒに基づいて
なされるが、ステップＳ１の時点で予めクライアント部
ＰＣＣ１からサーバー部ＰＣＳに指示しておいてもい。

【００４５】ステップＳ１１で、クライアント部ＰＣＣ
１に、現在接続されている他のクライアント部ＰＣＣ２
〜ＰＣＣｎのいずれに教えるかを問い合わせて回答を得
る。なお、このような情報は、クライアント部ＰＣＣ或
いはサーバー部ＰＣＳの双方で、予め決めておいてもよ
いことは言うまでもない。ステップＳ１３では、ステッ
プＳ１１でクライアント部ＰＣＣ１から回答されたクラ
イアントに、画像変更データＤＭによってクライアント
部ＰＣＣ１のアバタの動き情報を送信した後、ステップ
Ｓ５に戻り、クライアント部ＰＣＣ１がネットワークか
ら離脱するまでステップＳ５からＳ１３の処理を繰り返
す。

【００４６】次に図１６を参照して、装置１００におけ
る、サーバー部ＰＣＳにクライアント部ＰＣＣ１が一つ
だけ接続されているいわゆるシングルユーザーネットワ
ークにおける３次元仮想空間データの送受信方法につい
て説明する。

【００４７】先ず、ステップＳ２１で、３次元仮想空間
を表す３ＤＣＧデータストリームＤＳの読み出し先が決
定される。例えば、３ＤＣＧデータストリームＤＳがク
ライアント部ＰＣＣ１に有る場合にはＮＯと判断され
て、ステップＳ２３に進む。ステップＳ２３で、３ＤＣ
ＧデータストリームＤＳが、クライアント部ＰＣＣ１の
記憶装置（不図示）から読み出されて、クライアント部
ＰＣＣ１の３次元仮想空間生成部４に供給され、３次元
仮想空間画像が生成される。一方、ステップＳ２１でＹ
ＥＳと判断される場合には、ステップＳ２５に進む。ス
テップＳ２５で、３ＤＣＧデータストリームＤＳ１が、
サーバー部ＰＣＳの記憶装置（不図示）から読み出され
て、クライアント部ＰＣＣ１の３次元仮想空間生成部４
に供給され、３次元仮想空間画像が生成される。

【００４８】ステップＳ２７で、クライアント部ＰＣＣ
１がサーバー部ＰＣＳにＩＤを要求する。ステップＳ２
９で、サーバー部ＰＣＳがクライアント部ＰＣＣ１に対
してＩＤを発行する。

【００４９】ステップＳ３１で、クライアント部ＰＣＣ
１がアバタの３ＤＣＧデータストリームＤＳを読み出す
先が決定される。例えば、アバタのデータがクライアン
ト部ＰＣＣ１に有る場合には、クライアント部ＰＣＣ１
からのリクエスト信号Ｓｒはサーバー部ＰＣＳからのア
バタデータ読み出し要求をしないので、ＮＯと判断され
てステップＳ３３に進む。ステップＳ３３で、クライア
ント部ＰＣＣ１の記憶装置からアバタの３ＤＣＧデータ
ストリームＤＳが読み出されてクライアント部ＰＣＣ１
の３次元仮想空間生成部４に供給される。そして、同３
ＤＣＧデータストリームＤＳに基づいて、３次元仮想空
間内にアバタ画像が生成される。一方、ステップＳ３１
でＹＥＳと判断される場合は、ステップＳ３５に進む。
ステップＳ３５で、クライアント部ＰＣＣ１からのリク
エスト信号Ｓｒに基づいて、サーバー部ＰＣＳはアバタ
の骨格データストリームＳｓ及び動きデータストリーム
Ｓｍを、必要に応じてエンコード（フォーマット変換）
してクライアント部ＰＣＣ１に転送する。

【００５０】ステップＳ３７で、クライアント部ＰＣＣ
１は、サーバー部ＰＣＳから転送された骨格データスト
リームＳｓ（Ｓｓ１）及び動きデータストリームＳｍ
（Ｓｍ１）を受信する。ステップＳ３９で、受領したデ
ータストリームＳｓ（Ｓｓ１）及びＳｍ（Ｓｍ１）をデ
コード（逆フォーマット変換）する必要があるか否かが
判断される。逆変換が不要な場合には、ステップＳ４１
に進む。

【００５１】ステップＳ４１では、データストリームＳ
ｓ及びＳｍが、ストリーム変換部３１による逆フォーマ
ット変換を受けずに、骨格構造ストリーム受信部３２及
び動きストリーム受信部３３を経由して３次元仮想空間
生成部４に供給される。一方、逆変換が必要な場合は、
ＹＥＳと判断されてステップＳ４３に進む。ステップＳ
４３では、データストリームＳｓ１及びＳｍ１を、スト
リーム変換部３１によってデータストリームＳｓ及びＳ
ｍにデコード（逆フォーマット変換）して、骨格構造ス
トリーム受信部３２及び動きストリーム受信部３３で所
定の単位に分解した後、３次元仮想空間生成部４に供給
する。そして、３次元仮想空間生成部４で、アバタの動
作変化を反映した３次元仮想空間画像が生成される。

【００５２】次に、図１７を参照して、クライアント部
ＰＣＣの３次元仮想空間生成部４による３ＤＣＧ再生時
における３ＤＣＧデータストリームＤＳの同期処理を説
明する。

【００５３】ステップＳ５１で、３次元仮想空間生成部
４からの３ＤＣＧシーン描画開始命令発行に応じて、内
部クロック（TimeSensor）をリセットする。つまり、サ
ーバー部ＰＣＳからの要求に応じて、各クライアント部
ＰＣＣが同時に、自身の内部クロック（TimeSensor）を
リセットする。

【００５４】ステップＳ５３で、クライアント部ＰＣＣ
１においてユーザがアバタを操作したか否かが判断され
る。アバタ操作の検出をもって、次のステップＳ５５に
進む。それまでは、本ステップＳ５３で繰返しＮＯと判
断されて、アバタ操作有無判断が継続される。

【００５５】ステップＳ５５で、ＶＲＭＬ形式で記述さ
れている骨格データストリームＳｓ、動きデータストリ
ームＳｍ、及び音データストリームＳａを３次元仮想空
間生成部４の一次メモリ（不図示）から読み出す。

【００５６】ステップＳ５７で、各データストリーム中
のメインヘッダＭＨ中の記述に基づいて同期再生が必要
か否かが判断される。同期再生が不要の場合には、ＮＯ
と判断されてステップＳ５９に進む。ステップＳ５９
で、内部クロック(TimeSensor)に基づいて、ＶＲＭＬ形
式で指定された時間に動きデータストリームＳｍを再生
すると共に、音生成部５が音データストリームＳａを再
生する。つまり、３次元仮想空間生成部４から音生成部
５に音データフォーマットが起動信号と共に送られてく
ると、直ちに音再生を開始する。

【００５７】一方、同期再生が必要な場合は、ステップ
Ｓ５７でＹＥＳと判断されてステップＳ６１に進む。ス
テップＳ６１で、再生する３ＤＣＧデータストリームＤ
Ｓの中身が音データストリームＳａであるか否かが判断
される。ステップＳ６１でＹＥＳの場合は、ステップＳ
６３に進む。ステップＳ６３で、音生成部５により、図
１４に示したタイムスタンプ情報を３次元仮想空間生成
部４にフィードバックする。

【００５８】一方、３ＤＣＧデータストリームＤＳの中
身がＣＧデータである場合は、ステップＳ６１でＮＯと
判断されて、ステップＳ６５に進む。ステップＳ６５
で、音生成部５からフィードバックされたタイムスタン
プ情報が同期信号として３次元仮想空間生成部４に入力
される。また、音声パケットの場合には、その終了信号
が同期信号として３次元仮想空間生成部４に入力され
る。

【００５９】ステップＳ６７で、ＣＧデータの読み込み
が完了しているか否かが前述のタイムスタンプに基づい
て判断される。完了している場合は、ＹＥＳと判断され
て、ステップＳ６９に進む。ステップＳ６９では、ＣＧ
再生を即時中止して、次のステップＳ７１に進む。な
お、ＣＧ再生のタイミングは、ＶＲＭＬの内部クロック
(TimeSensor)に基づいて管理される。

【００６０】ステップＳ７１では、更なるＣＧ描画再生
のための３ＤＣＧデータストリームＤＳのサーバー部Ｐ
ＣＳから３次元仮想空間生成部４への入力の有無が判断
される。入力が有る場合にはＹＥＳと判断されて、ステ
ップＳ５１に戻る。一方、入力が無い場合は本ステップ
Ｓ７１による判断を継続する。

【００６１】一方、ステップＳ６７で、ＮＯと判断され
た場合は、ステップＳ７３に進む。ステップＳ７３で
は、ＣＧ再生を次のタイムスタンプで示される同期時間
まで引き延ばした後に、ステップＳ７１に進む。このよ
うにして、再生ストリームの同期を取ることができる。

【００６２】本発明にかかる、３次元仮想空間を表すデ
ータストリームを送受信する方法は、図１５乃至図１７
のフローチャートのステップを有する。本発明のこの方
法をコンピュータに実行させるためのプログラムを、該
コンピュータで読取り可能な記録媒体に記録してもよ
い。この目的のために、図１８に示すように、例えば、
インターネット対応のパーソナルコンピュータＰＣとパ
ーソナルコンピュータＰＣで読取り可能なフロッピーデ
ィスクＦＤを、夫々、コンピュータと記録媒体として使
用してもよい。又、記録媒体はフロッピーディスクに限
られるものではなく、各種の光ディスク、半導体メモリ
等であってもよい。又、各種プログラムはインターネッ
ト経由でパーソナルコンピュータＰＣで取得することが
できる。

【００６３】なお、本説明ではインターネットを想定し
た双方向の通信系を想定して説明したが、衛星放送や地
上波放送などの伝送系でもインターネットなどと併用す
ることで全く同様に送受信できる。又、双方向性を要し
ない場合は、衛星放送や地上波放送等の放送系のみにも
利用できることは言うまでもない。

【００６４】

【発明の効果】以上の説明から明らかなように、本発明
によれば、人間のような骨格構造の形状データをストリ
ームで転送し、その骨格の基本的な動作を動きストリー
ムとして送り、更に、前記骨格構造の動きに付随する音
データを音ストリームで、夫々、同期方法や圧縮方法あ
るいは各ストリーム間の対応情報と共に転送すること
で、キャラクタの滑らかな運動とそれと同期した音情報
を送信又は受信でき、転送時のデータ量も大幅に削減で
きる。又、ネットワークをベースとした送受信系でユー
ザの要求に応じてインターラクティブに送受信できる。

【図面の簡単な説明】

【図１】 本発明の一実施形態にかかる、３次元仮想空
間を表すデータストリームを送受信する装置の最小構成
を示すブロック図である。

【図２】 図１に示す３ＤＣＧデータストリーム送信部
の詳細を示すブロック図である。

【図３】 図１に示す３ＤＣＧデータストリーム受信部
の詳細を示すブロック図である。

【図４】 本発明に係る３ＤＣＧデータストリームのフ
ォーマットの一例を示す図である。

【図５】 本発明に係る３ＤＣＧデータストリームのフ
ォーマットの別の例を示す図である

【図６】 本発明に係る３ＤＣＧデータストリームであ
るアニメーションストリームのパケットを示す模式図で
ある。

【図７】 本発明に係る３ＤＣＧデータストリームであ
る動作ストリームのパケットを示す模式図である。

【図８】単独のサーバーに複数のクライアントが接続さ
れた本発明の装置を示す模式図である。

【図９】 本発明に係る３ＤＣＧデータストリームにお
ける基本的な骨格構造を示す説明図である。

【図１０】 本発明に係る３ＤＣＧデータストリームに
おけるアバタの骨格構造を表すデータの一般的な階層構
造を示す模式図である。

【図１１】 図１０に示す骨格構造（初期値）に対する
動きを表すデータストリーム示すフォーマットを示す模
式図である。

【図１２】 本発明に係る３次元シーンのＶＲＭＬに従
う記述の記述例を示す説明図である。

【図１３】 図１２の記述例に対応するシーン構造を示
す模式図である。

【図１４】 本発明に係る３ＤＣＧデータストリームの
同期方法の一例を示す説明図である。

【図１５】 図８の本発明に係るマルチユーザーネット
ワークにおける３次元空間の共有動作を示すフローチャ
ートである。

【図１６】 図１の本発明に係るシングルユーザーネッ
トワークにおける３次元仮想空間データの送受信方法を
示すフローチャートである。

【図１７】 本発明に係る３ＤＣＧ再生時における３Ｄ
ＣＧデータストリームの同期処理を示すフローチャート
である。

【図１８】 図１５乃至図１７のフローチャートのステ
ップを有する本発明の方法をコンピュータに実行させる
ためのプログラムを記録したフロッピーディスクと共に
使用されるパーソナルコンピュータの斜視図である。

【符号の説明】 １ ３ＤＣＧデータストリーム送信部 ２ ３ＤＣＧデータストリーム伝送部 ３ ３ＤＣＧデータストリーム受信部 ４ ３次元仮想空間生成部 ５ 音生成部 １１ 骨格構造ストリーム送信部 １２ 動きストリーム送信部 １３ 音ストリーム送信部 １４ ストリーム変換部 １５ 状態管理部 ３１ ストリーム変換部 ３２ 骨格構造ストリーム受信部 ３３ 動きストリーム受信部 ３４ 音ストリーム受信部 Ｓｓ、Ｓｓ１ 骨格データストリーム Ｓｍ、Ｓｍ１ 動きデータストリーム Ｓａ、Ｓａ１ 音データストリーム Ｓｒ リクエスト信号

フロントページの続き (56)参考文献 特開 平９−81782（ＪＰ，Ａ) 特開 平10−40418（ＪＰ，Ａ) 特開 平10−40419（ＪＰ，Ａ) 特開 平10−222698（ＪＰ，Ａ) 特開 平11−133987（ＪＰ，Ａ) 特開 平11−161817（ＪＰ，Ａ) 村田克之，山内康晋，土井美和子, “音楽を用いた対話的３次元ＣＧアニメ ーション −ミュージックドリブンＣＧ の試作−”，情報処理学会研究報告，社 団法人情報処理学会，1997年９月12日, Ｖｏｌ．97，Ｎｏ．88（97−ＨＩ− 74），ｐ．１−６ (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 11/60 - 17/50 G06F 13/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (19)

(57)【特許請求の範囲】
1. 【請求項１】 送信部（ＰＣＳ）と、受信部（ＰＣＣ）
   と、該送信部（ＰＣＳ）と該受信部（ＰＣＣ）とを接続
   する伝送手段（ＴＲ、２）とを備えて、送信部（ＰＣ
   Ｓ）から３次元コンピューターグラフィックスにおける
   骨格構造の形状を示すデータストリームである形状スト
   リーム（Ｓｓ）、動きを示すデータストリームである動
   作ストリーム（Ｓｍ）及び該動きと同期する音を示すデ
   ータストリームである音ストリーム（Ｓａ）を受信部
   （ＰＣＣ）に送信し、該受信部（ＰＣＣ）では送信され
   た該動作ストリーム（Ｓｍ）及び該音ストリーム（Ｓ
   ａ）を同期させて３次元コンピュータグラフィックスを
   生成するように、３次元仮想空間を表すデータストリー
   ムを送受信する装置（１００）であって、 該送信部（ＰＣＳ）は、該形状ストリーム（Ｓｓ）、動
   作ストリーム（Ｓｍ）、及び該動作ストリーム（Ｓｍ）
   に同期する音ストリーム（Ｓａ）を予め決められたデー
   タストリーム（ＤＳ）のフォーマット（ＶＲＦ）に応じ
   て複数のストリーム（Ｓｓ１、Ｓｍ１、Ｓａ１；ＤＳ
   １）として同時に送信する送信手段（１）を有し、更
   に、 伝送手段（ＴＲ、２）は、該複数のストリーム（Ｓｓ
   １、Ｓｍ１、Ｓａ１；ＤＳ１）を該送信部（ＰＣＳ）か
   ら該受信部（ＰＣＣ）に伝送すると共に、 該受信部（ＰＣＣ）は、 該伝送手段（ＴＲ、２）を経由して該送信部（ＰＣＳ）
   から伝送されてきた該複数のストリーム（ＤＳ１）を受
   信すると共に、受信したストリーム（ＤＳ１）の種類お
   よびフォーマット（ＶＲＭＬ）を判別し、複数のストリ
   ーム（Ｓｍ１、Ｓａ１）を受信し、それぞれの判別され
   たストリーム（Ｓｍ１、Ｓａ１）に応じて必要な復元処
   理をストリーム（Ｓｍ１、Ｓａ１）に加えるデータスト
   リーム受信手段（３）と、 該受信部（ＰＣＣ）で受信した該ストリーム（ＤＳ１）
   のうち形状ストリーム（Ｓｓ１）或いは予め読み込まれ
   た３次元形状データ（ＤＳ１、ＤＳ）を用いて３次元仮
   想空間内に骨格構造の形状あるいは３次元仮想空間を生
   成し、更に動作ストリーム（Ｓｍ１）を用いて該骨格構
   造の形状を動かす３次元仮想空間生成手段（４）と、 該ストリーム（ＤＳ１）に音データ（Ｓａ１）が含まれ
   る場合は該骨格構造の動き（Ｓｍ１）に同期させて音デ
   ータ（Ｓａ１）を再生する音再生手段（５）とを有する
   ことを特徴とする３次元仮想空間を表すデータストリー
   ムを送受信する装置（１００）。
2. 【請求項２】 送信部（ＰＣＳ）と、受信部（ＰＣＣ）
   と、該送信部（ＰＣＳ）と該受信部（ＰＣＣ）とを双方
   向に接続する伝送手段（ＴＲ、２）とを備えて、送信部
   （ＰＣＳ）から３次元コンピューターグラフィックスに
   おける骨格構造の形状を示すデータストリームである形
   状ストリーム（Ｓｓ）、動きを示すデータストリームで
   ある動作ストリーム（Ｓｍ）及び該動きと同期する音を
   示すデータストリームである音ストリーム（Ｓａ）を受
   信部（ＰＣＣ）に送信し、該受信部（ＰＣＣ）では送信
   された該動作ストリーム（Ｓｍ）及び該音ストリーム
   （Ｓａ）を同期させて３次元コンピュータグラフィック
   スを生成するように、３次元仮想空間を表すデータスト
   リームを送受信する装置（１００）であって、 該送信部（ＰＣＳ）は、該受信部（ＰＣＣ）からの要求
   （Ｓｒ）に応じて、リアルタイムに該形状ストリーム
   （Ｓｓ）、動作ストリーム（Ｓｍ）、及び該動作ストリ
   ーム（Ｓｍ）に同期する音ストリーム（Ｓａ）を予め決
   められたデータストリーム（ＤＳ）のフォーマット（Ｖ
   ＲＦ）に応じて複数のストリーム（Ｓｓ１、Ｓｍ１、Ｓ
   ａ１；ＤＳ１）として同時に送信する送信手段（１）を
   有し、更に、 伝送手段（ＴＲ、２）は、該複数のストリーム（Ｓｓ
   １、Ｓｍ１、Ｓａ１；ＤＳ１）を該送信部（ＰＣＳ）か
   ら該受信部（ＰＣＣ）に対話的に伝送すると共に、 該受信部（ＰＣＣ）は、 該伝送手段（ＴＲ、２）を経由して該送信部（ＰＣＳ）
   から伝送されてきた該複数のストリーム（ＤＳ１）を受
   信すると共に、受信したストリーム（ＤＳ１）の種類お
   よびフォーマット（ＶＲＭＬ）を判別し、複数のストリ
   ーム（Ｓｍ１、Ｓａ１）を必要に応じてリアルタイムに
   受信し、それぞれの判別されたストリーム（Ｓｍ１、Ｓ
   ａ１）に応じて必要な復元処理をストリーム（Ｓｍ１、
   Ｓａ１）に加えるデータストリーム受信手段（３）と、 該受信部（ＰＣＣ）で受信した該ストリーム（ＤＳ１）
   のうち形状ストリーム（Ｓｓ１）或いは予め読み込まれ
   た３次元形状データ（ＤＳ１、ＤＳ）を用いて３次元仮
   想空間内に骨格構造の形状あるいは３次元仮想空間を生
   成し、更に動作ストリーム（Ｓｍ１）を用いて該骨格構
   造の形状を動かす３次元仮想空間生成手段（４）と、 該ストリーム（ＤＳ１）に音データ（Ｓａ１）が含まれ
   る場合は該骨格構造の動き（Ｓｍ１）に同期させて音デ
   ータ（Ｓａ１）を再生する音再生手段（５）とを有する
   ことを特徴とする３次元仮想空間を表すデータストリー
   ムを送受信する装置（１００）。
3. 【請求項３】 前記３次元仮想空間生成手段（４）は、
   前記データストリーム受信手段（３）で復元されたデー
   タストリーム（ＤＳ）に対して、前記伝送手段（ＴＲ、
   ２）を介して繋がった複数の受信部（ＰＣＣｎ）からの
   要求（Ｓｒ）に基づいて、伝送すべきデータの種類およ
   び部分を指定して、その指定されたデータを管理する一
   方、 要求のあった受信部（ＰＣＣ）に対する該管理されたデ
   ータの送信を設定する手段（１）を設け、更に、 前記送信部（ＰＣＳ、１）は、前記要求（Ｓｒ）に応じ
   て、該管理されたデータを要求のある受信部（ＰＣＣ）
   に伝送することを特徴とする請求項２に記載の装置（１
   ００）。
4. 【請求項４】 前記送信手段（１）は、送信対象データ
   ストリーム（ＤＳ）に対して、形状ストリーム（Ｓ
   ｓ）、動作ストリーム（Ｓｍ）及び音ストリーム（Ｓ
   ａ）を判別すると共に一つ以上のデータストリーム（Ｄ
   Ｓ）とし、データストリーム（ＤＳ）を圧縮或いは予め
   決められた分割単位（パケット）に分解し、形状ストリ
   ーム（Ｓｓ）、動作ストリーム（Ｓｍ）及び音ストリー
   ム（Ｓａ）のための判別手段（ＩＤ、ＭＨ）と共にスト
   リーム（ＤＳ１）を送信する手段（１４）を有し、 前記受信手段（３）は、該伝送されたストリーム（ＤＳ
   １）に対して、形状ストリーム（Ｓｓ１）、動作ストリ
   ーム（Ｓｍ１）及び音ストリーム（Ｓａ１）を判別し、
   該判別手段（ＩＤ、ＭＨ）に基づいて、一つ以上のスト
   リーム（ＤＳ１）として復元すると共に予め決められた
   分割単位（パケット）を繋ぎ合わせて元のデータストリ
   ーム（ＤＳ）を同時に復元する手段（３１）を有し、更
   に、 前記３次元空間生成手段（４）は、該復元されたデータ
   ストリーム（ＤＳ）に対して、形状ストリーム（Ｓ
   ｓ）、動作ストリーム（Ｓｍ）及び音ストリーム（Ｓ
   ａ）を判別する一方、 該判別手段（ＩＤ、ＭＨ）に基づいて形状ストリーム
   （Ｓｓ）、動作ストリーム（Ｓｍ）及び音ストリーム
   （Ｓａ）を再生する手段（３）を設けたことを特徴とす
   る請求項２又は３に記載の装置（１００）。
5. 【請求項５】 前記送信手段（１）は、送信対象データ
   ストリーム（ＤＳ）に対して、形状ストリーム（Ｓ
   ｓ）、動作ストリーム（Ｓｍ）及び音ストリーム（Ｓ
   ａ）を判別し、複数の動作に対して、動作の種類と組合
   せ、対応する３次元骨格構造の形状、及び再生条件と共
   に一つ以上のデータストリーム（ＤＳ）とし、データス
   トリーム（ＤＳ）を圧縮或いは予め決められた分割単位
   （パケット）に分解し、形状ストリーム（Ｓｓ）、動作
   ストリーム（Ｓｍ）及び音ストリーム（Ｓａ）のための
   判別手段（ＩＤ、ＭＨ）と共にストリーム（ＤＳ１）を
   送信する手段（１４）を有し、 前記受信手段（３）は、該伝送されたストリーム（ＤＳ
   １）に対して、形状ストリーム（Ｓｓ１）、動作ストリ
   ーム（Ｓｍ１）及び音ストリーム（Ｓａ１）を判別し、
   複数の動作に対して、動作の種類と組合せ、対応する３
   次元骨格構造の形状、及び再生条件に基づいて、一つ以
   上のストリーム（ＤＳ１）として復元或いは予め決めら
   れた分割単位（パケット）を同時に繋ぎ合わせて元のデ
   ータストリーム（ＤＳ）に復元する手段（３１）を有
   し、更に、 前記３次元空間生成手段（４）は、該復元されたデータ
   ストリーム（ＤＳ）に対して、形状ストリーム（Ｓ
   ｓ）、動作ストリーム（Ｓｍ）及び音ストリーム（Ｓ
   ａ）を判別する一方、 複数の動作に対して、動作の種類と組合せ、対応する３
   次元骨格構造の形状、及び再生条件に基づき指定された
   骨格構造の形状の動作を再生する手段（４）を設けたこ
   とを特徴とする請求項２又は３に記載の装置（１０
   ０）。
6. 【請求項６】 前記送信手段（１）は、送信対象データ
   ストリーム（ＤＳ）に対して、形状ストリーム（Ｓ
   ｓ）、動作ストリーム（Ｓｍ）及び音ストリーム（Ｓ
   ａ）を判別し、複数の動作および音に対して、動作およ
   び音の種類と組合せ、対応する３次元骨格構造の形状、
   及び再生条件と共に一つ以上のデータストリーム（Ｄ
   Ｓ）とし、データストリーム（ＤＳ）を圧縮或いは予め
   決められた分割単位（パケット）に分解し、形状ストリ
   ーム（Ｓｓ）、動作ストリーム（Ｓｍ）及び音ストリー
   ム（Ｓａ）のための判別手段（ＩＤ、ＭＨ）及び形状ス
   トリーム（Ｓｓ）、動作ストリーム（Ｓｍ）及び音スト
   リーム（Ｓａ）同士の同期情報（ＴＳ）と共にストリー
   ム（ＤＳ１）を送信する手段（１４）を有し、 前記受信手段（３）は、該伝送されたストリーム（ＤＳ
   １）に対して、形状ストリーム（Ｓｓ１）、動作ストリ
   ーム（Ｓｍ１）及び音ストリーム（Ｓａ１）を判別し、
   複数の動作および音に対して、動作の種類と組合せ、対
   応する３次元骨格構造の形状、及び再生条件に基づい
   て、一つ以上のストリーム（ＤＳ１）として復元或いは
   予め決められた分割単位（パケット）を同時に繋ぎ合わ
   せて元のデータストリーム（ＤＳ）に復元する手段（３
   １）を有し、更に、 前記３次元空間生成手段（４）は、該復元されたデータ
   ストリーム（ＤＳ）に対して、形状ストリーム（Ｓ
   ｓ）、動作ストリーム（Ｓｍ）及び音ストリーム（Ｓ
   ａ）を判別する一方、 複数の動作及び音に対して、動作の種類と組合せ、対応
   する３次元骨格構造の形状、及び再生条件に基づき指定
   された骨格構造の形状の動作を再生する手段（４）と、
   同時に音データ（Ｓａ）と動き（Ｓｍ）を同期させて再
   生する手段（４）とを設けたことを特徴とする請求項２
   又は３に記載の装置（１００）。
7. 【請求項７】 送信部（ＰＣＳ）から３次元コンピュー
   ターグラフィックスにおける骨格構造の形状を示すデー
   タストリームである形状ストリーム（Ｓｓ）、動きを示
   すデータストリームである動作ストリーム（Ｓｍ）及び
   該動きと同期する音を示す音ストリーム（Ｓａ）を受信
   部（ＰＣＣ）に送信し、該受信部（ＰＣＣ）では送信さ
   れた該動作ストリーム（Ｓｍ）と該音ストリーム（Ｓ
   ａ）を同期させて３次元コンピュータグラフィックスを
   生成するように、３次元仮想空間を表すデータストリー
   ムを送受信する方法であって、 該形状ストリーム（Ｓｓ）、該動作ストリーム（Ｓ
   ｍ）、及び該動作ストリーム（Ｓｍ）に同期する該音ス
   トリーム（Ｓａ）を予め決められたデータストリーム
   （ＤＳ）のフォーマット（ＶＲＦ）に応じて複数のスト
   リーム（Ｓｓ１、Ｓｍ１、Ｓａ１；ＤＳ１）として同時
   に送信する送信ステップ（Ｓ３５）と、 該送信部（ＰＣＳ）と該受信部（ＰＣＣ）とを接続し
   て、該複数のストリーム（Ｓｓ１、Ｓｍ１、Ｓａ１；Ｄ
   Ｓ１）を該送信部（ＰＣＳ）から該受信部（ＰＣＣ）に
   伝送する伝送ステップ（Ｓ２１〜Ｓ３７）と、 該伝送された該複数のストリーム（ＤＳ１）を受信する
   と共に、受信したストリーム（ＤＳ１）の種類およびフ
   ォーマット（ＶＲＬＭ）を判別し、複数のストリーム
   （Ｓｍ１、Ｓａ１）を受信し、それぞれの判別されたス
   トリーム（Ｓｍ１、Ｓａ１）に応じてストリーム（Ｓｍ
   １、Ｓａ１）の復元処理を行うデータストリーム受信ス
   テップ（Ｓ３９、Ｓ４１、Ｓ４３）と、 該受信部（ＰＣＣ）で受信した該ストリーム（ＤＳ１）
   のうち形状ストリーム（Ｓｓ１）或いは予め読み込まれ
   た３次元形状データ（ＤＳ１、ＤＳ）を用いて３次元仮
   想空間内に骨格構造の形状或いは３次元仮想空間を生成
   し、更に動作ストリーム（Ｓｍ１）を用いて骨格構造の
   形状を動かす３次元仮想空間生成ステップ（Ｓ５１〜Ｓ
   ７３）と、 該ストリーム（ＤＳ１）に音データ（Ｓａ１）が含まれ
   る場合は、該骨格構造の動き（Ｓｍ１）に同期させて音
   データ（Ｓａ１）を再生する音再生ステップ（Ｓ６１、
   Ｓ６３）とを含むことを特徴とする３次元仮想空間を表
   すデータストリームを送受信する方法。
8. 【請求項８】 送信部（ＰＣＳ）から３次元コンピュー
   ターグラフィックスにおける骨格構造の形状を示すデー
   タストリームである形状ストリーム（Ｓｓ）、動きを示
   すデータストリームである動作ストリーム（Ｓｍ）及び
   該動きと同期する音を示す音ストリーム（Ｓａ）を受信
   部（ＰＣＣ）に送信し、該受信部（ＰＣＣ）では送信さ
   れた該動作ストリーム（Ｓｍ）と該音ストリーム（Ｓ
   ａ）を同期させて３次元コンピュータグラフィックスを
   生成するように、３次元仮想空間を表すデータストリー
   ムを送受信する方法であって、 該受信部（ＰＣＣ）からの要求（Ｓｒ）に応じて、リア
   ルタイムに該形状ストリーム（Ｓｓ）、該動作ストリー
   ム（Ｓｍ）、及び該動作ストリーム（Ｓｍ）に同期する
   該音ストリーム（Ｓａ）を予め決められたデータストリ
   ーム（ＤＳ）のフォーマット（ＶＲＦ）に応じて複数の
   ストリーム（Ｓｓ１、Ｓｍ１、Ｓａ１；ＤＳ１）として
   同時に送信する送信ステップ（Ｓ３５）と、 該送信部（ＰＣＳ）と該受信部（ＰＣＣ）とを双方向に
   接続して、該複数のストリーム（Ｓｓ１、Ｓｍ１、Ｓａ
   １；ＤＳ１）を該送信部（ＰＣＳ）から該受信部（ＰＣ
   Ｃ）に対話的に伝送する伝送ステップ（Ｓ２１〜Ｓ３
   ７）と、 該伝送された該複数のストリーム（ＤＳ１）を受信する
   と共に、受信したストリーム（ＤＳ１）の種類およびフ
   ォーマット（ＶＲＬＭ）を判別し、複数のストリーム
   （Ｓｍ１、Ｓａ１）をリアルタイムに受信し、それぞれ
   の判別されたストリーム（Ｓｍ１、Ｓａ１）に応じてス
   トリーム（Ｓｍ１、Ｓａ１）の復元処理を行うデータス
   トリーム受信ステップ（Ｓ３９、Ｓ４１、Ｓ４３）と、 該受信部（ＰＣＣ）で受信した該ストリーム（ＤＳ１）
   のうち形状ストリーム（Ｓｓ１）或いは予め読み込まれ
   た３次元形状データ（ＤＳ１、ＤＳ）を用いて３次元仮
   想空間内に骨格構造の形状或いは３次元仮想空間を生成
   し、更に動作ストリーム（Ｓｍ１）を用いて骨格構造の
   形状を動かす３次元仮想空間生成ステップ（Ｓ５１〜Ｓ
   ７３）と、 該ストリーム（ＤＳ１）に音データ（Ｓａ１）が含まれ
   る場合は、該骨格構造の動き（Ｓｍ１）に同期させて音
   データ（Ｓａ１）を再生する音再生ステップ（Ｓ６１、
   Ｓ６３）とを含むことを特徴とする３次元仮想空間を表
   すデータストリームを送受信する方法。
9. 【請求項９】 前記３次元仮想空間生成ステップ（Ｓ５
   １〜Ｓ７３）は、 前記データストリーム受信ステップ（Ｓ３９、Ｓ４１、
   Ｓ４３）で復元されたデータストリーム（ＤＳ）に対し
   て、前記送信ステップ（Ｓ３５）によって繋がった複数
   の受信部（ＰＣＣｎ）からの要求（Ｓｒ）に基づいて、
   伝送すべきデータの種類および部分を指定して、その指
   定されたデータを管理すると同時に、要求のあった受信
   部（ＰＣＣ）に対する該管理されたデータの送信を設定
   するステップ（Ｓ３５）を含み、 前記送信部（ＰＣＳ、１）は、前記要求（Ｓｒ）に応じ
   て、該管理されたデータを要求のある受信部（ＰＣＣ）
   に伝送することを特徴とする請求項８に記載の方法。
10. 【請求項１０】 前記送信ステップ（Ｓ３５）は、送信
    対象データストリーム（ＤＳ）に対して、形状ストリー
    ム（Ｓｓ）、動作ストリーム（Ｓｍ）および音ストリー
    ム（Ｓａ）を判別すると共に一つ以上のデータストリー
    ム（ＤＳ）とし、データストリーム（ＤＳ）を圧縮或い
    は予め決められた分割単位（パケット）に分解し、形状
    ストリーム（Ｓｓ）、動作ストリーム（Ｓｍ）および音
    ストリーム（Ｓａ）のための判別手段（ＩＤ、ＭＨ）と
    共にストリーム（ＤＳ１）を送信するステップ（Ｓ３
    ５）を有し、 前記受信ステップ（Ｓ３９、Ｓ４１、Ｓ４３）は、該伝
    送されたストリーム（ＤＳ１）に対して、形状ストリー
    ム（Ｓｓ１）、動作ストリーム（Ｓｍ）及び音ストリー
    ム（Ｓａ１）を判別し、該判別手段（ＩＤ、ＭＨ）に基
    づいて、一つ以上のストリーム（ＤＳ１）として復元す
    ると共に予め決められた分割単位（パケット）を繋ぎ合
    わせて元のデータストリーム（ＤＳ）を同時に復元する
    ステップ（Ｓ４３）を有し、更に、 前記３次元仮想空間生成ステップ（Ｓ５１〜Ｓ７３）
    は、該復元されたデータストリーム（ＤＳ）に対して、
    形状ストリーム（Ｓｓ）、動作ストリーム（Ｓｍ）及び
    音ストリーム（Ｓａ）を判別し、該判別手段（ＩＤ、Ｍ
    Ｈ）に基づいて形状ストリーム（Ｓｓ）、動作ストリー
    ム（Ｓｍ）及び音ストリーム（Ｓａ）を再生するステッ
    プ（Ｓ５９）を有することを特徴とする請求項８又は９
    に記載の方法。
11. 【請求項１１】 前記送信ステップ（Ｓ３５）は、送信
    対象データストリーム（ＤＳ）に対して、形状ストリー
    ム（Ｓｓ）、動作ストリーム（Ｓｍ）及び音ストリーム
    （Ｓａ）を判別し、複数の動作に対して、動作の種類と
    組合せ、対応する３次元骨格構造の形状、及び再生条件
    と共に一つ以上のデータストリーム（ＤＳ）とし、デー
    タストリーム（ＤＳ）を圧縮或いは予め決められた分割
    単位（パケット）に分解し、形状ストリーム（Ｓｓ）、
    動作ストリーム（Ｓｍ）及び音ストリーム（Ｓａ）のた
    めの判別手段（ＩＤ、ＭＨ）と共にストリーム（ＤＳ
    １）を送信するステップ（Ｓ３５）を有し、 前記受信ステップ（Ｓ３９、Ｓ４１、Ｓ４３）は、該伝
    送されたストリーム（ＤＳ１）に対して、形状ストリー
    ム（Ｓｓ１）、動作ストリーム（Ｓｍ１）及び音ストリ
    ーム（Ｓａ１）を判別し、複数の動作に対して、動作の
    種類と組合せ、対応する３次元骨格構造の形状、及び再
    生条件に基づいて、一つ以上のストリーム（ＤＳ１）と
    して復元或いは予め決められた分割単位（パケット）を
    同時に繋ぎ合わせてもとのデータストリーム（ＤＳ）に
    復元するステップ（Ｓ４３）を有し、更に、 前記３次元仮想空間生成ステップ（Ｓ５１〜Ｓ７３）
    は、該復元されたデータストリーム（ＤＳ）に対して、
    形状ストリーム（Ｓｓ）、動作ストリーム（Ｓｍ）およ
    び音ストリーム（Ｓａ）を判別し、複数の動作に対し
    て、動作の種類と組合せ、対応する３次元骨格構造の形
    状、及び再生条件に基づき指定された骨格構造の形状の
    動作を再生するステップ（Ｓ４１）を有することを特徴
    とする請求項８又は９に記載の方法。
12. 【請求項１２】 前記送信ステップ（Ｓ３５）は、送信
    対象データストリーム（ＤＳ）に対して、形状ストリー
    ム（Ｓｓ）、動作ストリーム（Ｓｍ）及び音ストリーム
    （Ｓａ）を判別し、複数の動作及び音に対して、動作及
    び音の種類と組合せ、対応する３次元骨格構造の形状、
    及び再生条件と共に一つ以上のデータストリーム（Ｄ
    Ｓ）とし、データストリーム（ＤＳ）を圧縮或いは予め
    決められた分割単位（パケット）に分解し、形状ストリ
    ーム（Ｓｓ）、動作ストリーム（Ｓｍ）及び音ストリー
    ム（Ｓａ）のための判別手段（ＩＤ、ＭＨ）及び形状ス
    トリーム（Ｓｓ）、動作ストリーム（Ｓｍ）及び音スト
    リーム（Ｓａ）同士の同期情報（ＴＳ）と共にストリー
    ム（ＤＳ１）を送信するステップ（Ｓ３５）を有し、 前記受信ステップ（Ｓ３９、Ｓ４１、Ｓ４３）は、該伝
    送されたストリーム（ＤＳ１）に対して、形状ストリー
    ム（Ｓｓ１）、動作ストリーム（Ｓｍ１）及び音ストリ
    ーム（Ｓａ１）を判別し、複数の動作および音に対し
    て、動作の種類と組合せ、対応する３次元骨格構造の形
    状、及び再生条件に基づいて、一つ以上のストリーム
    （ＤＳ１）として復元或いは予め決められた分割単位
    （パケット）を同時に繋ぎ合わせて元のデータストリー
    ム（ＤＳ）に復元するステップ（Ｓ４３）を有し、更
    に、 前記３次元仮想空間生成ステップ（Ｓ５１〜Ｓ７３）
    は、該復元されたデータストリーム（ＤＳ）に対して、
    形状ストリーム（Ｓｓ）、動作ストリーム（Ｓｍ）及び
    音ストリーム（Ｓａ）を判別し、複数の動作および音に
    対して、動作の種類と組合せ、対応する３次元骨格構造
    の形状、及び再生条件に基づき指定された骨格構造の形
    状の動作を再生するステップ（Ｓ５９）と、同時に音デ
    ータ（Ｓａ）と動き（Ｓｍ）を同期させて再生するステ
    ップ（Ｓ６１〜Ｓ６７）とを有することを特徴とする請
    求項８又は９に記載の方法。
13. 【請求項１３】 送信部（ＰＣＳ）と、受信部（ＰＣ
    Ｃ）と、該送信部（ＰＣＳ）と該受信部（ＰＣＣ）とを
    接続する伝送手段（ＴＲ、２）とを備えて、送信部（Ｐ
    ＣＳ）から３次元コンピューターグラフィックスにおけ
    る骨格構造の形状を示すデータストリームである形状ス
    トリーム（Ｓｓ）、動きを示すデータストリームである
    動作ストリーム（Ｓｍ）及び該動きと同期する音を示す
    データストリームである音ストリーム（Ｓａ）を受信部
    （ＰＣＣ）に送信し、該受信部（ＰＣＣ）では送信され
    た該動作ストリーム（Ｓｍ）及び該音ストリーム（Ｓ
    ａ）を同期させて３次元コンピュータグラフィックスを
    生成するように、３次元仮想空間を表すデータストリー
    ムを送受信するシステム（１００）の送信部（ＰＣＳ）
    の送信機能をコンピュータ（ＰＣ）に実行させるための
    プログラムを記録したコンピュータ（ＰＣ）読取り可能
    な記録媒体（ＦＤ）であって、 該送信機能は、 該形状ストリーム（Ｓｓ）、動作ストリーム（Ｓｍ）、
    及び該動作ストリーム（Ｓｍ）に同期する音ストリーム
    （Ｓａ）を予め決められたデータストリーム（ＤＳ）の
    フォーマット（ＶＲＦ）に応じて複数のストリーム（Ｓ
    ｓ１、Ｓｍ１、Ｓａ１；ＤＳ１）として同時に送信する
    機能と、 該複数のストリーム（Ｓｓ１、Ｓｍ１、Ｓａ１；ＤＳ
    １）を該送信部（ＰＣＳ）から該受信部（ＰＣＣ）に伝
    送する機能とを含むことを特徴とするコンピュータ（Ｐ
    Ｃ）読取り可能な記録媒体（ＦＤ）。
14. 【請求項１４】 送信部（ＰＣＳ）と、受信部（ＰＣ
    Ｃ）と、該送信部（ＰＣＳ）と該受信部（ＰＣＣ）とを
    接続する伝送手段（ＴＲ、２）とを備えて、送信部（Ｐ
    ＣＳ）から３次元コンピューターグラフィックスにおけ
    る骨格構造の形状を示すデータストリームである形状ス
    トリーム（Ｓｓ）、動きを示すデータストリームである
    動作ストリーム（Ｓｍ）及び該動きと同期する音を示す
    データストリームである音ストリーム（Ｓａ）を受信部
    （ＰＣＣ）に送信し、該受信部（ＰＣＣ）では送信され
    た該動作ストリーム（Ｓｍ）及び該音ストリーム（Ｓ
    ａ）を同期させて３次元コンピュータグラフィックスを
    生成するように、３次元仮想空間を表すデータストリー
    ムを送受信するシステム（１００）の受信部（ＰＣＣ）
    の受信機能をコンピュータ（ＰＣ）に実行させるための
    プログラムを記録したコンピュータ（ＰＣ）読取り可能
    な記録媒体（ＦＤ）であって、 該送信部（ＰＣＳ）は、該形状ストリーム（Ｓｓ）、動
    作ストリーム（Ｓｍ）、及び該動作ストリーム（Ｓｍ）
    に同期する音ストリーム（Ｓａ）を予め決められたデー
    タストリーム（ＤＳ）のフォーマット（ＶＲＦ）に応じ
    て複数のストリーム（Ｓｓ１、Ｓｍ１、Ｓａ１；ＤＳ
    １）として同時に送信し、更に、 伝送手段（ＴＲ、２）は、該複数のストリーム（Ｓｓ
    １、Ｓｍ１、Ｓａ１；ＤＳ１）を該送信部（ＰＣＳ）か
    ら該受信部（ＰＣＣ）に伝送すると共に、 該受信機能は、 該伝送手段（ＴＲ、２）を経由して該送信部（ＰＣＳ）
    から伝送されてきた該複数のストリーム（ＤＳ１）を受
    信すると共に、受信したストリーム（ＤＳ１）の種類お
    よびフォーマット（ＶＲＭＬ）を判別し、複数のストリ
    ーム（Ｓｍ１、Ｓａ１）を受信し、それぞれの判別され
    たストリーム（Ｓｍ１、Ｓａ１）に応じて必要な復元処
    理をストリーム（Ｓｍ１、Ｓａ１）に加える機能と、 該受信部（ＰＣＣ）で受信した該ストリーム（ＤＳ１）
    のうち形状ストリーム（Ｓｓ１）或いは予め読み込まれ
    た３次元形状データ（ＤＳ１、ＤＳ）を用いて３次元仮
    想空間内に骨格構造の形状あるいは３次元仮想空間を生
    成し、更に動作ストリーム（Ｓｍ１）を用いて該骨格構
    造の形状を動かす機能と、 該ストリーム（ＤＳ１）に音データ（Ｓａ１）が含まれ
    る場合は該骨格構造の動き（Ｓｍ１）に同期させて音デ
    ータ（Ｓａ１）を再生する機能とを含むことを特徴とす
    るコンピュータ（ＰＣ）読取り可能な記録媒体（Ｆ
    Ｄ）。
15. 【請求項１５】 送信部（ＰＣＳ）から３次元コンピュ
    ーターグラフィックスにおける骨格構造の形状を示すデ
    ータストリームである形状ストリーム（Ｓｓ）、動きを
    示すデータストリームである動作ストリーム（Ｓｍ）及
    び該動きと同期する音を示す音ストリーム（Ｓａ）を受
    信部（ＰＣＣ）に送信し、該受信部（ＰＣＣ）では送信
    された該動作ストリーム（Ｓｍ）と該音ストリーム（Ｓ
    ａ）を同期させて３次元コンピュータグラフィックスを
    生成するように、３次元仮想空間を表すデータストリー
    ムを送受信する方法をコンピュータ（ＰＣ）に実行させ
    るためのプログラムを記録したコンピュータ（ＰＣ）読
    取り可能な記録媒体（ＦＤ）であって、 該方法は、 該受信部（ＰＣＣ）からの要求（Ｓｒ）に応じて、リア
    ルタイムに該形状ストリーム（Ｓｓ）、該動作ストリー
    ム（Ｓｍ）、及び該動作ストリーム（Ｓｍ）に同期する
    該音ストリーム（Ｓａ）を予め決められたデータストリ
    ーム（ＤＳ）のフォーマット（ＶＲＦ）に応じて複数の
    ストリーム（Ｓｓ１、Ｓｍ１、Ｓａ１；ＤＳ１）として
    同時に送信する送信ステップ（Ｓ３５）と、 該送信部（ＰＣＳ）と該受信部（ＰＣＣ）とを双方向に
    接続して、該複数のストリーム（Ｓｓ１、Ｓｍ１、Ｓａ
    １；ＤＳ１）を該送信部（ＰＣＳ）から該受信部（ＰＣ
    Ｃ）に対話的に伝送する伝送ステップ（Ｓ２１〜Ｓ３
    ７）と、 該伝送された該複数のストリーム（ＤＳ１）を受信する
    と共に、受信したストリーム（ＤＳ１）の種類およびフ
    ォーマット（ＶＲＬＭ）を判別し、複数のストリーム
    （Ｓｍ１、Ｓａ１）をリアルタイムに受信し、それぞれ
    の判別されたストリーム（Ｓｍ１、Ｓａ１）に応じてス
    トリーム（Ｓｍ１、Ｓａ１）の復元処理を行うデータス
    トリーム受信ステップ（Ｓ３９、Ｓ４１、Ｓ４３）と、 該受信部（ＰＣＣ）で受信した該ストリーム（ＤＳ１）
    のうち形状ストリーム（Ｓｓ１）或いは予め読み込まれ
    た３次元形状データ（ＤＳ１、ＤＳ）を用いて３次元仮
    想空間内に骨格構造の形状或いは３次元仮想空間を生成
    し、更に動作ストリーム（Ｓｍ１）を用いて骨格構造の
    形状を動かす３次元仮想空間生成ステップ（Ｓ５１〜Ｓ
    ７３）と、 該ストリーム（ＤＳ１）に音データ（Ｓａ１）が含まれ
    る場合は、該骨格構造の動き（Ｓｍ１）に同期させて音
    データ（Ｓａ１）を再生する音再生ステップ（Ｓ６１、
    Ｓ６３）とを含むことを特徴とするコンピュータ（Ｐ
    Ｃ）読取り可能な記録媒体（ＦＤ）。
16. 【請求項１６】 ３次元仮想空間を表すデータストリー
    ムを送受信するシステム（１００）に使用される送信部
    （ＰＣＳ）であって、 システム(１００)は、受信部（ＰＣＣ）と、該送信部
    （ＰＣＳ）と該受信部（ＰＣＣ）とを接続する伝送手段
    （ＴＲ、２）とを備え、又、 送信部（ＰＣＳ）から３次元コンピューターグラフィッ
    クスにおける骨格構造の形状を示すデータストリームで
    ある形状ストリーム（Ｓｓ）、動きを示すデータストリ
    ームである動作ストリーム（Ｓｍ）及び該動きと同期す
    る音を示すデータストリームである音ストリーム（Ｓ
    ａ）を受信部（ＰＣＣ）に送信し、該受信部（ＰＣＣ）
    では送信された該動作ストリーム（Ｓｍ）及び該音スト
    リーム（Ｓａ）を同期させて３次元コンピュータグラフ
    ィックスを生成する一方、 該送信部（ＰＣＳ）は、該形状ストリーム（Ｓｓ）、動
    作ストリーム（Ｓｍ）、及び該動作ストリーム（Ｓｍ）
    に同期する音ストリーム（Ｓａ）を予め決められたデー
    タストリーム（ＤＳ）のフォーマット（ＶＲＦ）に応じ
    て複数のストリーム（Ｓｓ１、Ｓｍ１、Ｓａ１；ＤＳ
    １）として同時に送信する送信手段（１）を有し、更
    に、 伝送手段（ＴＲ、２）は、該複数のストリーム（Ｓｓ
    １、Ｓｍ１、Ｓａ１；ＤＳ１）を該送信部（ＰＣＳ）か
    ら該受信部（ＰＣＣ）に伝送することを特徴とする送信
    部（ＰＣＳ）。
17. 【請求項１７】 ３次元仮想空間を表すデータストリー
    ムを送受信するシステム（１００）に使用される送信部
    （ＰＣＳ）であって、 システム(１００)は、受信部（ＰＣＣ）と、該送信部
    （ＰＣＳ）と該受信部（ＰＣＣ）とを双方向に接続する
    伝送手段（ＴＲ、２）とを備え、又、 送信部（ＰＣＳ）から３次元コンピューターグラフィッ
    クスにおける骨格構造の形状を示すデータストリームで
    ある形状ストリーム（Ｓｓ）、動きを示すデータストリ
    ームである動作ストリーム（Ｓｍ）及び該動きと同期す
    る音を示すデータストリームである音ストリーム（Ｓ
    ａ）を受信部（ＰＣＣ）に送信し、該受信部（ＰＣＣ）
    では送信された該動作ストリーム（Ｓｍ）及び該音スト
    リーム（Ｓａ）を同期させて３次元コンピュータグラフ
    ィックスを生成する一方、 該送信部（ＰＣＳ）は、該受信部（ＰＣＣ）からの要求
    （Ｓｒ）に応じて、リアルタイムに該形状ストリーム
    （Ｓｓ）、動作ストリーム（Ｓｍ）、及び該動作ストリ
    ーム（Ｓｍ）に同期する音ストリーム（Ｓａ）を予め決
    められたデータストリーム（ＤＳ）のフォーマット（Ｖ
    ＲＦ）に応じて複数のストリーム（Ｓｓ１、Ｓｍ１、Ｓ
    ａ１；ＤＳ１）として同時に送信する送信手段（１）を
    有し、更に、 伝送手段（ＴＲ、２）は、該複数のストリーム（Ｓｓ
    １、Ｓｍ１、Ｓａ１；ＤＳ１）を該送信部（ＰＣＳ）か
    ら該受信部（ＰＣＣ）に対話的に伝送することを特徴と
    する送信部（ＰＣＳ）。
18. 【請求項１８】 ３次元仮想空間を表すデータストリー
    ムを送受信するシステム（１００）に使用される受信部
    （ＰＣＣ）であって、 システム(１００)は、送信部（ＰＣＳ）と、該送信部
    （ＰＣＳ）と該受信部（ＰＣＣ）とを接続する伝送手段
    （ＴＲ、２）とを備え、又、 送信部（ＰＣＳ）から３次元コンピューターグラフィッ
    クスにおける骨格構造の形状を示すデータストリームで
    ある形状ストリーム（Ｓｓ）、動きを示すデータストリ
    ームである動作ストリーム（Ｓｍ）及び該動きと同期す
    る音を示すデータストリームである音ストリーム（Ｓ
    ａ）を受信部（ＰＣＣ）に送信し、該受信部（ＰＣＣ）
    では送信された該動作ストリーム（Ｓｍ）及び該音スト
    リーム（Ｓａ）を同期させて３次元コンピュータグラフ
    ィックスを生成する一方、 該送信部（ＰＣＳ）は、該形状ストリーム（Ｓｓ）、動
    作ストリーム（Ｓｍ）、及び該動作ストリーム（Ｓｍ）
    に同期する音ストリーム（Ｓａ）を予め決められたデー
    タストリーム（ＤＳ）のフォーマット（ＶＲＦ）に応じ
    て複数のストリーム（Ｓｓ１、Ｓｍ１、Ｓａ１；ＤＳ
    １）として同時に送信し、更に、 伝送手段（ＴＲ、２）は、該複数のストリーム（Ｓｓ
    １、Ｓｍ１、Ｓａ１；ＤＳ１）を該送信部（ＰＣＳ）か
    ら該受信部（ＰＣＣ）に伝送すると共に、 該受信部（ＰＣＣ）は、 該伝送手段（ＴＲ、２）を経由して該送信部（ＰＣＳ）
    から伝送されてきた該複数のストリーム（ＤＳ１）を受
    信すると共に、受信したストリーム（ＤＳ１）の種類お
    よびフォーマット（ＶＲＭＬ）を判別し、複数のストリ
    ーム（Ｓｍ１、Ｓａ１）を受信し、それぞれの判別され
    たストリーム（Ｓｍ１、Ｓａ１）に応じて必要な復元処
    理をストリーム（Ｓｍ１、Ｓａ１）に加えるデータスト
    リーム受信手段（３）と、 該受信部（ＰＣＣ）で受信した該ストリーム（ＤＳ１）
    のうち形状ストリーム（Ｓｓ１）或いは予め読み込まれ
    た３次元形状データ（ＤＳ１、ＤＳ）を用いて３次元仮
    想空間内に骨格構造の形状あるいは３次元仮想空間を生
    成し、更に動作ストリーム（Ｓｍ１）を用いて該骨格構
    造の形状を動かす３次元仮想空間生成手段（４）と、 該ストリーム（ＤＳ１）に音データ（Ｓａ１）が含まれ
    る場合は該骨格構造の動き（Ｓｍ１）に同期させて音デ
    ータ（Ｓａ１）を再生する音再生手段（５）とを有する
    ことを特徴とする受信部（ＰＣＣ）。
19. 【請求項１９】 ３次元仮想空間を表すデータストリー
    ムを送受信するシステム（１００）に使用される受信部
    （ＰＣＣ）であって、 システム(１００)は、送信部（ＰＣＳ）と、該送信部
    （ＰＣＳ）と該受信部（ＰＣＣ）とを双方向に接続する
    伝送手段（ＴＲ、２）とを備え、又、 送信部（ＰＣＳ）から３次元コンピューターグラフィッ
    クスにおける骨格構造の形状を示すデータストリームで
    ある形状ストリーム（Ｓｓ）、動きを示すデータストリ
    ームである動作ストリーム（Ｓｍ）及び該動きと同期す
    る音を示すデータストリームである音ストリーム（Ｓ
    ａ）を受信部（ＰＣＣ）に送信し、該受信部（ＰＣＣ）
    では送信された該動作ストリーム（Ｓｍ）及び該音スト
    リーム（Ｓａ）を同期させて３次元コンピュータグラフ
    ィックスを生成する一方、 該送信部（ＰＣＳ）は、該受信部（ＰＣＣ）からの要求
    （Ｓｒ）に応じて、リアルタイムに該形状ストリーム
    （Ｓｓ）、動作ストリーム（Ｓｍ）、及び該動作ストリ
    ーム（Ｓｍ）に同期する音ストリーム（Ｓａ）を予め決
    められたデータストリーム（ＤＳ）のフォーマット（Ｖ
    ＲＦ）に応じて複数のストリーム（Ｓｓ１、Ｓｍ１、Ｓ
    ａ１；ＤＳ１）として同時に送信し、更に、 伝送手段（ＴＲ、２）は、該複数のストリーム（Ｓｓ
    １、Ｓｍ１、Ｓａ１；ＤＳ１）を該送信部（ＰＣＳ）か
    ら該受信部（ＰＣＣ）に対話的に伝送すると共に、 該受信部（ＰＣＣ）は、 該伝送手段（ＴＲ、２）を経由して該送信部（ＰＣＳ）
    から伝送されてきた該複数のストリーム（ＤＳ１）を受
    信すると共に、受信したストリーム（ＤＳ１）の種類お
    よびフォーマット（ＶＲＭＬ）を判別し、複数のストリ
    ーム（Ｓｍ１、Ｓａ１）を必要に応じてリアルタイムに
    受信し、それぞれの判別されたストリーム（Ｓｍ１、Ｓ
    ａ１）に応じて必要な復元処理をストリーム（Ｓｍ１、
    Ｓａ１）に加えるデータストリーム受信手段（３）と、 該受信部（ＰＣＣ）で受信した該ストリーム（ＤＳ１）
    のうち形状ストリーム（Ｓｓ１）或いは予め読み込まれ
    た３次元形状データ（ＤＳ１、ＤＳ）を用いて３次元仮
    想空間内に骨格構造の形状あるいは３次元仮想空間を生
    成し、更に動作ストリーム（Ｓｍ１）を用いて該骨格構
    造の形状を動かす３次元仮想空間生成手段（４）と、 該ストリーム（ＤＳ１）に音データ（Ｓａ１）が含まれ
    る場合は該骨格構造の動き（Ｓｍ１）に同期させて音デ
    ータ（Ｓａ１）を再生する音再生手段（５）とを有する
    ことを特徴とする受信部（ＰＣＣ）。