JP4704558B2 - ３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信表示方法、及び３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信表示方法、及び３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP4704558B2
JP4704558B2 JP2000392207A JP2000392207A JP4704558B2 JP 4704558 B2 JP4704558 B2 JP 4704558B2 JP 2000392207 A JP2000392207 A JP 2000392207A JP 2000392207 A JP2000392207 A JP 2000392207A JP 4704558 B2 JP4704558 B2 JP 4704558B2
Authority
JP
Japan
Prior art keywords
data
dimensional object
object data
client device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000392207A
Other languages
English (en)
Other versions
JP2002197016A (ja
Inventor
俊彰 佐伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2000392207A priority Critical patent/JP4704558B2/ja
Publication of JP2002197016A publication Critical patent/JP2002197016A/ja
Application granted granted Critical
Publication of JP4704558B2 publication Critical patent/JP4704558B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元空間データを送信する３次元空間データ送信表示システム、３次元空間データ送信方法、並びにその記録媒体、３次元空間表示方法、並びにその記録媒体、３次元空間データ送信表示方法並びにその記録媒体に関するものである。
【０００２】
【従来の技術】
従来例１．
第１の従来技術として、図１１は、特開平１０−８３４６２号公報に示された仮想空間情報作成装置の機能ブロック図である。
特開平１０−８３４６２号公報に示された仮想空間情報作成装置は、多数の三次元グラフィックオブジェクトが配置された仮想空間内で視点の移動に伴って仮想空間を表示するにあたり、半導体メモリや通信路の帯域を効率的に利用することを課題とする。同課題を、仮想空間内で、視点が存在し得る通路を設定し、通路ごとにメモリや帯域の制限に応じた容量制限のもとに三次元オブジェクトを選択して、部分空間情報を作成し、仮想空間情報の作成、記録、伝達、表示にあたって、部分空間情報を単位として仮想空間情報を扱うことにより解決しようとするものである。
同仮想空間情報作成装置は、
（１）多数の三次元グラフィックオブジェクトが配置された仮想空間内で、近接して存在するオブジェクトを連続アクセス可能なまとまったデータとするように、仮想空間情報を作成すること。
（２）上記のまとまったデータの量を、表示端末における使用可能メモリ容量に適応させて、仮想空間情報を作成すること。
（３）上記のまとまったデータを通信によって読み込む際のデータ転送レートを、表示端末のスループット又は情報源から主記憶部までの帯域幅に適応させて仮想空間情報を作成すること
等を目的としている。
【０００３】
仮想空間情報作成装置に記載されている、上記目的を達成するための解決手段について説明する。
（１）解決手段１
複数の三次元オブジェクトが配置された仮想空間情報を作成する仮想空間情報作成装置において、図１１の編集画面を表示する表示手段１１０１と、使用者の操作を受け付ける入力手段１１０２と、上記表示手段１１０１と上記入力手段１１０２とを用いて、形状情報及びテクスチャ情報を有する三次元オブジェクトを、仮想空間内に複数配置するオブジェクトレイアウト手段１１０３と、上記表示手段１１０１と上記入力手段１１０２とを用いて、上記三次元オブジェクトが複数配置された上記仮想空間内で、互いに接続して岐路を形成する通路を設定する通路設定手段１１０５と、上記通路ごとに、その近傍に配置されている三次元オブジェクトを選択してオブジェクトセットを作成する通路別オブジェクトセット選択手段１１０７と、上記通路ごとに、仮想空間内での位置を示す位置情報と、上記オブジェクトセットの情報と、接続する通路の情報とからなる部分空間情報を生成する部分空間情報生成手段１１０８と、上記部分空間情報を記憶する記憶手段とを備えた仮想空間情報作成装置において、上記通路別オブジェクトセット選択手段１１０７が、通路からの距離が小さいものから順に、予め定められたデータ容量を超えない範囲で、三次元オブジェクトを選択する容量制限部１１０７１を設ける。
オブジェクトの選定は、基準点からの距離に基づいて取捨するものであるが、従来例のように一定の距離で線引きを行うのではなく、メモリの容量などシステムの状況に従ってあらかじめ取り扱う容量を決めておき、近距離のものから順に、その容量の限度まで、オブジェクトを選択していく方法をとる。これは、容量制限部１１０７１を組み込んだ、通路別オブジェクトセット選択手段１１０７によって行われる。例えば、通路を基準としてオブジェクトセットを求める場合、通路別オブジェクトセット選択手段１１０７は通路の中心点からすべてのオブジェクトの中心点までの距離を求め、その昇順にソートを行う。距離が近いものから順に、容量制限部１１０７１で制限されるデータ容量を越えないように、通路ごとにオブジェクトが選択される。
【０００４】
（２）解決手段２
図１２の同仮想空間情報作成装置において、上記通路別オブジェクトセット選択手段１１０７が、通信路の始点から終点までを一定距離間隔に等分して、複数の区間を作成する通路分割部１１０７２と、上記区間ごとに、上記区間からの距離が小さいものから順に、予め定められたデータ容量を超えない範囲で、三次元オブジェクトを選択する帯域制限部１１０７３と、上記通路における上記区間の並びに従って各区間のオブジェクトセットを結合するストリーム化部１１０７４とを設け、上記帯域制限部１１０７３が、区間ごとの三次元オブジェクトの選択に際して、区間ごとのデータ容量の上限値を、該区間の近傍オブジェクトの疎密に対応して可変として選択する。
分割された通路の各区間において、それぞれの区間から距離が小さいものから順に、帯域幅に応じて予め制限されたデータ容量を越えない範囲で３次元オブジェクトを選択する。
【０００５】
従来例２．
第２の従来技術として、図１３は、特開平０５−２６６２１３号公報に示された３次元空間データの高速表示方式の処理手順のフローである。
同高速表示方式は生成画像の劣化を最小限にして、広域に渡る大量の空間データの任意指定部分を、高速に表示する方式を提供することを目的とする。
複雑な３次元形状をもつオブジェクトを、指定されたいくつかのレベルの精度で近似する階層簡略化と、空間データ管理との工夫により、視点を与えられた際、動的に必要最小限のデータを選択するようにしたものである。視点が与えられた際、表示に必要な区分領域とその簡略モデルの動的選択を行うことで、生成３次元画像の劣化を防ぎ、描画すべき画数を効果的に減少させることにより高速な表示を実現しようとしたものである。
【０００６】
同高速表示方式の
（１）第１の目的は、見栄えを保ちながら大量の空間データを高速に表示する３次元空間画像高速表示方式を提供することである。
（２）第２の目的は、生成画像の劣化をできるだけ抑えながら全体の表示データ量を最適にして、大量の空間データを高速に表示する３次元空間画像高速表示方式を提供することである。
【０００７】
同高速表示方式は、３次元空間データ中に存在する各オブジェクトに対し、近似精度を変えて複数の簡略化モデルを作成し階層化して管理し、視点からの距離に応じて詳細度を決定し、その詳細度での近似精度の簡略化モデルを表示する技術である。
表面の材質に対して、詳細度による階層化を行うことが示唆されている。例えば、詳細度３ではテクスチャマッピングを行ない、詳細度２では簡単なパターンを使用し、詳細度１では代表色のみを用いるといった階層化手法が開示されている。
３次元オブジェクトの形状の表現方法及び全体データの管理方法を工夫し、視点を与えられた際、動的に必要最小限度のデータを選択するようにしている。基本的な考え方は次の通りである。
まず、与えられた原データを最も詳細なデータとし近くのオブジェクトはより詳細に、遠くのものは原データを距離に応じて階層的に簡略化することにより、より粗に表示する。
階層簡略化のパラメータとしては、（ａ）距離の区分数（簡略化のレベル数に等しい）、（ｂ）距離区分における境界値、（ｃ）形状の簡略化の程度を制御する値、がある。
一般的に（ａ）は表示対象であるデータ集合の大きさと保有のためのメモリ容量によって、（ｂ）は（ａ）の値と表示データ集合のオブジェクトの大きさに関する統計的性質及びデータが占める３次元空間の大きさによって、さらに（ｃ）は、（ｂ）の値とオブジェクトが表示画面に表示される際の表示分解能力によって定まる大きさに基づいて決定され、簡略化はオブジェクトの３次元形状を指定された精度で近似することにより自動的になされる。
具体的な手順は、（ａ）階層簡略化データの作成と領域分割管理、（ｂ）視点が与えられた際の領域分割管理を利用した動的データ選択、（ｃ）必要データの表示、の３つから構成される。
生成画像の劣化の程度と表示速度の速さとのトレードオフの関係において、最適な３次元画像の表示と複雑な形状の３次元オブジェクトに対する効果的な簡略化を実現しようとするものである。
表示速度が一定となるような動的な表示制御を行う際には、適応的に距離のしきい値を変えず、その距離区分の簡略レベルの割当てを変える。即ち、表示速度をある値に指定したとして、視点を移動させた際、表示データの変動により指定値より遅くなることがある（表示データ量が増えた場合）。この場合には次の移動はレベル０をレベル１、レベル１をレベル２、そして、レベル２を省略するように自動的に制御することで簡略化の程度を全体的に強め、表示データ量を抑える。また速くなって来た場合はこの逆である。このように、視点が移動する際にこの移動速度に応じて各オブジェクトの簡略化モデルを決定する技術である。
【０００８】
従来例３．
第３の従来技術として、図１４は、特開平１１−３１２２５５号公報に示された仮想空間表示装置の機能ブロック図である。
同仮想空間表示装置は移動する物体の表示速度を向上させることを目的とする。仮想空間内の物体（自動車）に対して、外部記憶装置部から読込んだ形状情報から物体の移動速度の３段階―高、中、低に対応した緻密度の異なる３種類のポリゴンデータを生成し保持しておく。仮想空間内に配置した物体（自動車）を表示する際、物体（自動車）の移動速度が遅い場合は、緻密度が大きい緻密なポリゴンデータをレンダリングし表示する。物体の移動速度が中程度の場合は、緻密度が中程度のポリゴンデータをレンダリングし表示する。物体の移動速度が速い場合は、緻密度が小さい粗いポリゴンデータをレンダリングし表示する。
【０００９】
同仮想空間表示装置の目的とするところは、移動を伴う物体の表示速度を向上させることができる仮想空間表示装置を提供することにある。
上記目的を達成するための同仮想空間表示装置の解決手段について説明する。
同仮想空間表示装置において、物体の形状に対する緻密度の異なる複数のポリゴンデータの中から、物体の速度に応じて所定のポリゴンデータを選択する選択手段部３２３と、選択されたポリゴンデータを表示（レンダリング）するレンダリング部３０２５とを設ける。
・物体の速度が遅い場合には緻密度が大きいポリゴンデータを選択し、物体の速度が速い場合には緻密度が小さいポリゴンデータを選択する。
仮想空間内で物体が移動している場合、物体の移動速度に対応して、ポリゴンデータの緻密度を増減させ、ポリゴンデータサイズを増減させることにより、レンダリング速度を向上させる。
・選択されたポリゴンデータをレンダリングする際の負荷情報を算出する手段を、更に具備して、前記選択手段部２３において、前記負荷情報を考慮してポリゴンデータを選択する。
・物体の回転速度に対応してポリゴンデータサイズを増減させる。すなわち、回転を伴う物体が高速で回転している場合は、緻密度の小さなデータサイズの小さいポリゴンデータを表示し、低速で回転している場合は緻密度の大きなデータサイズの大きいポリゴンデータを表示することにより、レンダリング速度を向上させ、効果的なレンダリングが行なえる。
・仮想空間内をウォークスルーする時の視点の移動速度を考慮し、仮想空間内のオペレータの視点の移動速度に対する物体の相対速度に対応させて、ポリゴンデータの緻密度を変えるようにする。
【００１０】
従来例４．
第４の従来技術として、図１５は、特開平９−２１２６７９号公報に示された利用者参加型システムの映像表示方法のフローチャートである。その動作を説明する。まず、仮想空間を部分領域に分割する（ステップ４１１）。次いで、自分の分身が存在する部分領域と自分以外の分身が存在する部分領域間の距離（領域間距離）と表示の詳細度の関係を定める（ステップ４１２）。同一部分領域に含まれる仮想空間のすべての利用者の表示の詳細度は同じで、他の分身が自分の分身から遠ざかるにつれて低くなる。ステップ４１３では、他の分身各々について自分の分身が属する部分領域との領域間距離を求める。ステップ４１４では、ステップ４１３で求めた領域間距離によって、表示の詳細度を判定する。ステップ４１５で、分身を決定した表示の詳細度で表示する。ここでいう詳細度とは、視線、表情、身振りなどといった非言語的情報を用いて醸し出す表現の多様さと解釈できる。よって、詳細度が小さくなればなるほど、アバター表示のために、持ち合わせる非言語的情報量が少なくて済み、表示のための計算負荷が低くなるというものである。
【００１１】
従来例５．
第５の従来技術として、図１６は、特開平１０−４０４２３号公報に示された３次元仮想空間表示方法のフローチャートである。仮想空間内の端末利用者の視点から仮想空間内に存在する相手までの距離を求めて（Ｓ５０１）、視点から距離に応じて、複数個の対人距離帯を設定し（Ｓ５０２）、それぞれの対人距離帯に存在する相手の人物像をその対人距離帯に対応して、例えば、視点の近い対人距離帯の人物像はその表情が分かる程度に詳細に、視点から遠い対人距離帯の人物像は小さく、粗く表示する（Ｓ５０３）。なお、特開平７−２８８７９１号公報も具体構成は示されていないが、同様趣旨の概念を持った装置を説明している。
【００１２】
従来例６．
第６の従来技術として、図１７は、特開２０００−１８７７４０号公報に示されたテクスチャ使用３次元空間表示方法のフローチャートであり、図１８は、テクスチャ使用３次元空間表示装置の機能ブロック図である。
図１７では、予め抽出されたテクスチャデータを登録するリソースフィールドと、この登録データ中の選択されたデータを記憶する高速表示用レンダリングフィールドを備えてテクスチャデータを表示する機構を持ち、表示対象区域でのオブジェクトの数により決まるレンダリングのための所要メモリ量を計算するステップと、全レンダリング所要メモリ量を合計した結果と高速表示用レンダリングフィールドの容量とを比較するステップと、この比較結果で高速表示用レンダリングフィールドが小さい場合は、細分化表示対象区域と、その区域内のオブジェクト表示詳細度との組合せを予め定めたＱｏＳ制御ルールの優先度順に抽出して、この優先度に基づいてレンダリングのための所要メモリ量を再計算するステップと、以後、再計算結果と高速表示用レンダリングフィールドの容量とを比較するステップと、上記再計算するステップとを繰り返して、再計算結果が高速表示用レンダリングフィールドの容量以下になると、その再計算結果時に適用したＱｏＳ制御ルールに基づいて高速表示用レンダリングフィールドにデータを書き込むステップにより、３次元空間を表示する方法が示されている。
図１８では、設定区域でのオブジェクトの数により決まる所要メモリ量を計算し、この計算した所要メモリ量がレンダリングフィールドの容量を超える場合は、表示対象区域とこの区域でのオブジェクト数とで定まる優先順位を定めたＱｏＳ制御ルールに基づいて、対象区域でのオブジェクトの詳細度または数を低減してレンダリングフィールド容量内に収めるようにした３次元空間表示装置が記載されている。
また、特開２０００−２１５３２４号公報にも同様な３次元空間表示装置、３次元空間表示方法が記載されている。
【００１３】
従来例７．
第７の従来技術として、図１９は、特開平９−２８２２４９号公報に示された３次元形状通信システムの機能ブロック図である。また、図２０は、３次元形状生成装置の主要動作手順を示した流れ図である。
３次元形状生成装置７１０は、３次元形状リクエストによる形状要求を受け付けると、形状詳細度判定部７１４において、記述されたデータの大きさ、座標の精度などから形状の詳細度を所定値から判定する。次いで、表示能力判定部７１５において、移動端末の表示能力宣言部７２４に質問することにより、利用者端末７２０のタイプ、グラフィック表示に用いるハードウェアタイプ、３次元表示の専用機構を有するか、テクスチャ表示能力を持つか、等の情報を入手する。そして、要求元端末の基本的な表示能力を判定する。続けて、移動端末の表示能力宣言部７２４に質問により、要求元端末の現在の負荷状況を調べると共に、質問応答時間を計測することにより、通信回線の回線状況を把握する。このことにより、現在の表示能力を計算する。次いで、形状簡約部７１２において、表示能力判定部７１５により判定された表示能力に基づいて、受けた表示能力に見合った形状詳細度に形状記述を簡約化して形成する。例えば、テクスチャ処理能力が低いことを表示能力判定部１５から得ている場合には、テクスチャ画像を縮小して小さな画像のデータに変換する。また、形状簡約部７１２は、利用者端末７２０で浮動小数点演算能力が低いタイプの場合には、座標の小数点以下の有効精度を小さくする。また、負荷が高い場合、ポリゴンの処理能力が低い場合には、物体の形状を外郭形状のみのような、より簡単な形状で近似したものに置き換える。
【００１４】
従来例８．
第８の従来技術として、特開平９−２３７３５４号公報に、３次元形状のデータを、例えば、ポリゴン（やボクセル）などの要素毎に転送する。そして、受け取り側では受け取った要素毎に画像展開して表示するようにした３次元形状データ逐次転送表示方法が開示されている。形状を表す複数の要素から構成された３次元形状データをその要素毎に逐次送信し、受信した要素から逐次表示するようにしたものである。よって、送信途中では、表示する３次元形状の途中までが表示されており、送信終了とともに、表示する３次元形状のすべてが表示される。
また、要素のなかで面積属性の大きいものから順に逐次送信して表示する。送信途中の段階では、表示する３次元形状が粗い状態で表示される。
【００１５】
従来例９．
第９の従来技術として、特開平９−１２８５６３号公報に、ネットワークの負荷状況が悪化しデータ転送能力が低下した場合でも、三次元図形データの表現精度の劣化を軽減することができる三次元図形データ転送方法が開示されている。
同三次元図形データ転送方法では、通信手段の負荷状況に応じて、重要度の高いグループから所定グループ数分のポリゴンデータを送信する。通信手段の負荷状況に応じて、重要度の高いグループから所定グループ数分のポリゴンデータが送信され、各ポリゴングループの重要度に基づいてソート（並び換え）を行って転送順序を決定する。重要度を決定するパラメータとしては、ポリゴングループの面積、三次元図形データを特徴づけるポリゴンを含むか否か、表示出力時に視界から見えるポリゴンかどうかなどが用いられる。次に、ネットワークの状態を調べ、ネットワークの負荷状況に基づいて、転送するポリゴングループのグループ数を決定して転送する。各グループのグループ情報を転送し、ポリゴンデータを転送する。これら各グループのグループ情報およびポリゴンデータを繰り返し転送し、ネットワークの負荷状況に応じて決定されたグループ数のすべてのポリゴングループについて転送が終了した場合には、処理を終了する。このように、通信手段の負荷状況に応じて、重要度の高いグループから所定グループ数分のポリゴンデータを送信するようにしたので、重要度の高いポリゴングループが、重要度の低いポリゴングループに比較して優先的に転送されるものとなり、重要度にかかわらず、ポリゴンデータを送信する場合と比較して、より表現精度の高い三次元図形を表示出力することができる。
【００１６】
従来例１０．
第１０の従来技術として、特開２０００−８２１５５号公報に、オブジェクトの視点からの距離、及び、そのオブジェクトサイズに応じてオブジェクトの描画に用いるモデルの詳細度を変更する３次元描画システムが開示されている。
同３次元描画システムでは、可視領域内のオブジェクトを描画する際に用いるモデルの詳細度を、総描画データ量がリアルタイム処理可能データ量を超えるかどうかの判定を行う。超えると判定されると、総描画データ量を、段階的に減少させるための所定の規則にしたがって変更する。
同技術における、詳細度を決める基本ルールは、（１）視点に近いものほど詳細なモデルを用いる、（２）サイズの大きいものほど詳細なモデルを用いる、である。
【００１７】
【発明が解決しようとする課題】
近年、衛星写真の普及により、衛星写真をテクスチャとして３次元ＣＧモデルにマッピングすることにより、表示品質を向上させ、３次元コンテンツの作成負荷を軽減することが可能になってきた。このような状況の中、衛星写真等の写真をテクスチャとしてマッピングした大量な３次元ＣＧモデルを、狭い帯域の通信路、輻輳することにより利用できる帯域が時々刻々変化するような通信路を利用して、少ない主記憶容量、補助記憶容量の端末に、端末（ユーザ）のオンデマンドな要求に応じて、ユーザにストレスを感じさせない操作、利用を実現するように、送信し表示させるためには、上述従来技術には、以下に示すような問題がある。
【００１８】
サーバからクライアントに送信するオブジェクトのデータ総量を、時々刻々変化する通信路の通信速度に応じて変更する（設定し直す）技術、また、通信速度の変化する度合いに応じて、同送信データ総量を変更する度合いを決定し、送信総量の上限値を決定する技術、クライアント端末で表示の切替フレームレートを一定に保つ技術については開示されていない。
また、時々刻々変化する通信速度に応じて設定変更されるオブジェクトデータの送信総量の上限値を超えない様にして、動的に設定された優先度にしたがって送信順等の送信スケジュールを送信総量の設定変更に応じて、設定し直して、同送信スケジュールにしたがってオブジェクトをストリーミング配信する技術については、開示されていない。
【００１９】
本発明は、かかる問題を解決するためになされたものであり、以下のことを目的とする。衛星写真等の写真をテクスチャとしてマッピングした大量な３次元ＣＧモデルを、狭い帯域の通信路、輻輳することにより利用できる帯域が時々刻々変化するような通信路を介して、少ない主記憶容量、補助記憶容量の端末に、端末（ユーザ）のオンデマンドな要求に応じて、効率よく送信することを目的とする。
【００２０】
【課題を解決するための手段】
この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、
上記サーバ装置と所定の通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置と
を備える３次元空間データ送信表示システムにおいて、
上記通信路は、通信路の輻輳状況に応じて利用可能な伝送速度が変化する通信路であり、
上記サーバ装置は、
上記通信路の輻輳状況を監視して、輻輳状況に応じて変化する利用可能な伝送速度の変化の度合いを算出して、上記クライアント装置に所定の単位時間当たりに送信する３次元オブジェクトデータとして選択するデータ容量の上限値を、上記算出した変化の度合いに応じて設定する送信データ容量調整部
を備えたことを特徴とする。
【００２１】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、
上記サーバ装置と所定の通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置と
を備える３次元空間データ送信表示システムにおいて、
上記クライアント装置は、
上記サーバ装置より送信された３次元オブジェクトデータを登録保管する記憶容量の変化するメモリを備え、
上記サーバ装置は、
上記クライアント装置のメモリの記憶容量の変化する変化の度合いを算出して、上記クライアント装置に所定の単位時間当たりに送信する３次元オブジェクトデータとして選択するデータ容量の上限値を、上記算出した変化の度合いに応じて設定する送信データ容量調整部
を備えたことを特徴とする。
【００２２】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、
上記サーバ装置と所定の通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置と
を備える３次元空間データ送信表示システムにおいて、
上記クライアント装置は、上記３次元オブジェクトデータを受信して表示するための所定の処理能力を有し、
上記所定の処理能力は、クライアント装置によって実行されている処理の負荷状況に応じて変化し、
上記サーバ装置は、
上記クライアント装置の処理の負荷状況を監視して、上記所定の処理能力の変化する変化の度合いを算出して、上記クライアント装置に所定の単位時間当たりに送信する３次元オブジェクトデータとして選択するデータ容量の上限値を、上記算出した変化の度合いに応じて設定する送信データ容量調整部
を備えたことを特徴とする。
【００２３】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、
上記サーバ装置と所定の通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置と
を備える３次元空間データ送信表示システムにおいて、
上記クライアント装置は、視点の移動速度を示す情報と視線の回転速度を示す情報との少なくともいずれか一方の視点視線情報を上記サーバ装置に対して通知し、
上記サーバ装置は、
上記クライアント装置より通知された上記視点視線情報を用いて、視点移動速度の変化の度合いと視線回転速度の変化の度合いとの少なくともいずれか一方の変化の度合いを算出して、上記クライアント装置に所定の単位時間当たりに送信する３次元オブジェクトデータとして選択するデータ容量の上限値を、上記算出した変化の度合いに応じて設定する送信データ容量調整部
を備えたことを特徴とする。
【００２４】
また、この発明に係る上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
上記サーバ装置は、
上記クライアント装置から、視点の移動速度を示す情報と視線の回転速度を示す情報との少なくともいずれか一方の視点視線情報を受信して、受信した視点視線情報に基づく新たな視界の中に存在する３次元オブジェクトデータと、既に視界の中に存在する３次元オブジェクトデータとに対して、あらかじめ設定した３次元空間データを表示する目的に応じて上記優先度情報を設定する優先度設定部と、
上記通信路の利用可能な伝送速度と、上記優先度設定部によって設定された３次元オブジェクトデータの優先度情報とに従い、上記３次元オブジェクトデータの詳細度情報を設定し、上記送信データ容量調整部により設定された上記データ容量の上限値を超えないように、上記優先度設定部により設定された優先度の高い順に上記クライアント装置に送信する３次元オブジェクトデータを選択するとともに、上記送信データ容量調整部により上限値が変更されると、上限値を変更する前に設定された上記３次元オブジェクトデータの詳細度を設定し直し、変更された上限値を超えないように、上記設定し直した詳細度情報を有する３次元オブジェクトデータから上記優先度設定部により設定された優先度の高い順に、上記クライアント装置に送信する３次元オブジェクトデータを選択し直す３次元オブジェクト抽出部と、
上記３次元オブジェクト抽出部により選択された３次元オブジェクトデータより、上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータとの少なくともいずれか一方の３次元オブジェクトデータを上記クライアント装置に早く送信するように、３次元オブジェクトデータの送信スケジュールを設定するとともに、上記送信データ容量調整部により上記上限値が変更されると、上記３次元オブジェクト抽出部により選択し直された３次元オブジェクトデータを、上記クライアント装置に送信する送信スケジュールに設定し直すスケジューリング部と、
上記スケジューリング部により設定された送信スケジュールに従い、上記３次元オブジェクトデータを上記クライアント装置に送信するとともに、上記送信データ容量調整部により上記上限値が変更されると、上記スケジューリング部により設定し直された送信スケジュールに切り替えて、３次元オブジェクトデータを上記クライアント装置に送信するストリーミング送信部と
を備えたことを特徴とする。
【００２５】
また、この発明に係る上記優先度設定部は、上記受信した視点視線情報を用いて視点の変化の度合いと視線の変化の度合いとのいずれか一方の変化の度合いを算出して、算出した変化の度合いに応じて上記３次元オブジェクトデータの優先度情報を設定し直し、
上記３次元オブジェクト抽出部は、上記優先度設定部により設定し直された３次元オブジェクトデータの優先度情報に従い詳細度情報を設定し直して、上記上限値を超えないように、上記設定し直したデータの詳細度を有する３次元オブジェクトデータから上記優先度設定部により設定し直された優先度の高い順に、上記クライアント装置に送信する３次元オブジェクトデータを選択し直す
ことを特徴とする。
【００２６】
また、この発明に係る上記３次元オブジェクトデータは、少なくとも物体の形状を示すポリゴンデータと上記ポリゴンデータにマッピングするイメージデータであるテクスチャデータとを有し、
上記ストリーミング送信部は、
上記３次元オブジェクトデータを送信する場合に、上記ポリゴンデータを、上記クライアント装置によって必ず受信されるように再送保証データとして送信し、上記テクスチャデータを、上記クライアント装置によって受信されなかった場合でも上記３次元仮想空間を表示できるベストエフォートな保証データとして送信することを特徴とする。
【００２７】
また、この発明に係る上記３次元オブジェクトデータは、少なくとも物体の形状を示すポリゴンデータと上記ポリゴンデータにマッピングするイメージデータであるテクスチャデータとを有し、
上記ストリーミング送信部は、
１つの上記３次元オブジェクトデータの有する上記ポリゴンデータを、同一パケットに収納して送信し、
１つの上記３次元オブジェクトデータの有する上記テクスチャデータを、複数個のパケットに分割して収納して送信し、送信途中にパケットロスして再送せずとも、上記クライアント装置においてテクスチャデータのマッピングが行なえるようにする
ことを特徴とする。
【００２８】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、
上記サーバ装置と所定の通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータを用いて３次元仮想空間を生成して、生成した３次元仮想空間を所定の指定されたフレームレート（表示画面切り替え速度）で表示するクライアント装置と
を備える３次元空間データ送信表示システムにおいて、
上記クライアント装置は、
上記３次元仮想空間を構成する複数の３次元オブジェクトデータをシーン構成情報として記憶するシーン構成情報データベースと、
上記サーバ装置へ３次元オブジェクトデータの送信要求を出力する要求部と、
上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信部と、
上記受信部から３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理部と、
上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理部と、
上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理部により指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリング部と、
上記要求部と、上記受信部と、上記シーン構成管理部と、上記表示管理部と、上記レンダリング部との処理状況を監視して、上記レンダリング部によるレンダリングを上記所定の指定されたフレームレートに維持するように、各部に対して処理時間の割り当てを行なうとともに、各部の処理時間の調整を行うタスク調整部と
を備えたことを特徴とする。
【００２９】
また、この発明に係る上記タスク調整部は、
上記受信部による処理時間が、受信部に割り当てた処理時間を超えるために、上記所定の指定されたフレームレートを維持できなくなったとき、上記受信部に対して処理時間の割当て直しを行ない、割り当て直した処理時間内で上記受信部の処理が完了する受信レートを求め、求めた受信レートで上記３次元オブジェクトデータを送信するように、上記サーバ装置に対して送信レートの変更を要求することを特徴とする。
【００３０】
また、この発明に係る上記タスク調整部は、
上記レンダリング部による処理時間が、レンダリング部に割り当てた処理時間を超えるために、上記所定の指定されたフレームレートを維持できなくなるとともに、上記シーン構成管理部により上記シーン構成情報データベースに追加する３次元オブジェクトデータに現在の表示対象外である３次元オブジェクトデータが存在する場合、現在の表示対象外である３次元オブジェクトデータの少なくとも一部の３次元オブジェクトデータに対して一時的に上記シーン構成情報データベースへの追加を保留して、シーン構成管理部に対して処理時間の削減を指示することを特徴とする。
【００３１】
また、この発明に係る上記タスク調整部は、
上記レンダリング部による処理時間が、レンダリング部に割り当てた処理時間を超えるために、上記所定の指定されたフレームレートを維持できなくなると、上記表示管理部に対して上記クライアント装置に表示する３次元オブジェクトデータの詳細度を設定し直すように指示して、上記レンダリング部の処理時間を短くするとともに、上記サーバ装置に対して、３次元オブジェクトデータの送信レートの変更を要求することを特徴とする。
【００３２】
また、この発明に係る上記シーン構成管理部は、
上記タスク調整部によりシーン構成管理部に割り当てられた処理時間と上記クライアント装置の処理能力とから、所定の単位インターバル当たりに上記シーン構成情報データベースに追加する３次元オブジェクトデータのデータ容量の追加上限値を決定するとともに、上記タスク調整部によりシーン構成管理部の処理時間が割り当て直された場合に、上記所定の単位インターバル当たりに追加する３次元オブジェクトデータのデータ容量の追加上限値を、上記シーン構成管理部に割り当て直された処理時間と上記クライアント装置の処理能力とに基づいて設定し直すことを特徴とする。
【００３３】
また、この発明に係る上記表示管理部と上記タスク調整部との少なくともいずれか一方は、
視点の移動速度の速度上限値と視線の回転速度の速度上限値との少なくともいずれか一方の速度上限値を調整して設定することにより、上記所定の指定されたフレームレートを調整することを特徴とする。
【００３４】
また、この発明に係る上記表示管理部は、
視点の移動速度の速度上限値と視線の回転速度の速度上限値との少なくもいずれか一方の速度上限値を調整して設定することにより、上記タスク調整部に対して、上記サーバ装置から受信する３次元オブジェクトデータの受信レートを調整することを指示することを特徴とする。
【００３５】
また、この発明に係る上記シーン構成管理部は、
上記シーン構成情報データベースへ３次元オブジェクトデータを追加する処理が、上記タスク調整部により割り当てられた処理時間を超える場合、上記タスク調整部に対して、上記サーバ装置の所定の単位時間当たりに送信する３次元オブジェクトデータのデータ容量を調整することと、上記シーン構成管理部の処理時間の割当てを増やすことの少なくともいずれか一方を行なうように指示することを特徴とする。
【００３６】
また、この発明に係る上記表示管理部は、
上記レンダリング部によるレンダリング処理が、上記タスク調整部により割り当てられた処理時間を超える場合と、上記通信路の輻輳状況の変化により所定の単位時間当たりに上記クライアント装置に到着する３次元オブジェクトデータの数が減少する場合との少なくとも何れか一方の場合に、詳細度の高い３次元オブジェクトデータの数を減少させるように、３次元オブジェクトデータの詳細度を調整する表示品質制御を行うことを特徴とする。
【００３７】
また、この発明に係る上記受信部は、
上記タスク調整部により上記受信部に割り当てられた処理時間を超える３次元オブジェクトデータの受信処理が、一定時間の間に指定された回数以上発生すると、上記受信部の処理時間を増やすようにタスク調整部に指示することを特徴とする。
【００３８】
また、この発明に係る上記受信部は、
上記タスク調整部により上記受信部の処理時間の割り当て直しが行なわれた後、上記タスク調整部により上記受信部に割り当て直された処理時間を超える３次元オブジェクトデータの受信処理が、一定時間の間に指定された回数以上発生すると、上記通信路の通信速度が想定している通信速度より悪化していると判断した場合は、上記要求部に対して、上記サーバ装置に対して送信レートを低くするように指示を行ない、上記受信した３次元オブジェクトデータのデータサイズが大きいために処理時間を超えていると判断した場合は、上記要求部に対して、上記サーバ装置に対して送信する３次元オブジェクトデータを細分化するように指示を行なうことを特徴とする。
【００３９】
また、この発明に係る上記タスク調整部は、
上記要求部、上記受信部、上記シーン構成管理部、上記表示管理部、上記レンダリング部との少なくともいずれかにより行われる処理が、上記タスク調整部により割り当てられた処理時間を超える場合に、上記した各部による処理時間を割り当て直して、割り当て直した処理時間を超える処理が発生する調整不能が検出されると、上記調整不能が一時的であると判断した場合には、上記所定の指示されたフレームレートを一時的に変更して、上記調整不能が長期化すると判断した場合には、上記要求部に対して、上記サーバ装置の送信する３次元オブジェクトデータの詳細度情報と、上記サーバ装置の送信する３次元オブジェクトデータの数と、上記サーバ装置の送信する３次元オブジェクトデータの送信レートとの少なくともいずれか１つを変更するよう指示することを特徴とする。
【００４０】
また、この発明に係る上記クライアント装置は、
上記３次元オブジェクトデータを用いて生成された３次元仮想空間を構成するシーン構成情報を記憶するシーン構成情報データベースと、
上記サーバ装置へ３次元オブジェクトデータの送信要求を出力する要求部と、
上記サーバ装置のストリーミング送信部より送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータを３次元仮想空間へ追加する追加処理を依頼する受信部と、
上記受信部から３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理部と、
上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理部と、
上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理部により指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリング部と、
上記要求部と、上記受信部と、上記シーン構成管理部と、上記表示管理部と、上記レンダリング部との処理状況を監視して、上記レンダリング部によるレンダリングの処理を上記所定の指定されたフレームレートに維持するように、上記各部に対して処理時間の割り当てを行なうとともに、上記各部の処理時間の調整を行うタスク調整部と
を備え
たことを特徴とする。
【００４１】
また、この発明に係る上記クライアント装置の上記タスク調整部は、
上記クライアント装置の上記要求部、上記受信部、上記シーン構成管理部、上記表示管理部、上記レンダリング部とにより実行される一連の処理に要する処理時間を、指定された一定時間の間監視して、監視した結果を用いて上記一連の処理に要する処理時間の平均値を算出して、算出した平均値を所定の指定されたフレームレートに維持するために、上記サーバ装置の上記オブジェクト抽出部に対して、送信するオブジェクトの詳細度を調整するように要求を行ない、
上記サーバ装置の上記オブジェクト抽出部は、
上記クライアント装置のタスク調整部からの要求に応じて、送信する３次元オブジェクトデータの詳細度情報を設定変更する
ことを特徴とする。
【００４２】
また、この発明に係る上記クライアント装置の上記タスク調整部は、
上記クライアント装置の上記要求部、上記受信部、上記シーン構成管理部、上記表示管理部、上記レンダリング部とにより実行される一連の処理に要する処理時間を、指定された一定時間の間監視して、監視した結果を用いて上記一連の処理に要する処理時間の平均値を算出して、算出した平均値を所定の指定されたフレームレートに維持するために、上記サーバ装置の上記送信データ容量調整部に対して、上記所定の一定時間以内に上記クライアント装置に表示されると予測した３次元仮想空間に存在する３次元オブジェクトデータの中から、上記クライアント装置に所定の単位時間当たりに送信する３次元オブジェクトデータとして選択するデータ容量の上限値を調整するように要求を行ない、
上記サーバ装置の上記送信データ容量調整部は、
上記クライアント装置の上記タスク調整部からの要求に応じて、上記上限値を設定変更する
ことを特徴とする。
【００４３】
また、この発明に係る上記クライアント装置の上記タスク調整部は、
上記所定の指定されたフレームレートを調整することにより、上記サーバ装置の上記オブジェクト抽出部に対して上記送信する３次元オブジェクトデータの詳細度情報を調整することを要求することと、上記サーバ装置の上記送信データ容量調整部に対して上記上限値を調整することを要求することの少なくともいずれか一方の要求を行なう頻度を低減する
ことを特徴とする。
【００４４】
また、この発明に係る上記サーバ装置は、
上記クライアント装置の上記要求部、上記受信部、上記シーン構成管理部、上記表示管理部、上記レンダリング部、上記タスク調整部とにより実行される一連の処理の処理時間と、上記サーバ装置の上記送信データ容量調整部、上記優先度設定部、上記３次元オブジェクト抽出部、上記スケジューリング部、上記ストリーミング送信部とにより実行される一連の処理の処理時間との総計を、上記所定の指定されたフレームレートを実現する表示画面の切り替えインターバル時間以内に抑えるために、視点の移動速度と視線の回転速度との少なくともいずれか一方の速度の変化に応じて、送信する３次元オブジェクトデータの詳細度情報を変更するフレームレート維持管理部
を備えたことを特徴とする。
【００４５】
また、この発明に係る上記フレームレート維持管理部は、
上記クライアント装置の上記要求部、上記受信部、上記シーン構成管理部、上記表示管理部、上記レンダリング部、上記タスク調整部とにより実行される一連の処理の処理時間と、上記サーバ装置の上記送信データ容量調整部、上記優先度設定部、上記３次元オブジェクト抽出部、上記スケジューリング部、上記ストリーミング送信部とにより実行される一連の処理の処理時間との総計を、上記所定の指定されたフレームレートを実現する表示画面の切り替えインターバル時間以内に抑えるために、上記通信路の輻輳状況により変化する利用可能通信速度に応じて、送信する３次元オブジェクトデータの詳細度情報を変更する
ことを特徴とする。
【００４６】
この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信する３次元空間データ送信方法において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
上記３次元空間データ送信方法は、
所定の一定時間あたりの上記通信路の利用可能な平均通信速度を算出するとともに、上記通信路の利用可能な通信速度の変化を監視して、上記変化を検出した場合に、上記変化を監視した通信速度と上記算出した平均通信速度とにより通信速度の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した通信速度の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデータを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有することを特徴とする。
【００４７】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信する３次元空間データ送信方法において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、上記サーバ装置より送信された３次元オブジェクトデータを登録保管する記憶容量の変化するメモリを備え、
上記３次元空間データ送信方法は、
上記クライアント装置より上記メモリの記憶容量を示す記憶容量情報を所定のタイミングで入力して、上記所定のタイミングで入力した記憶容量情報と直前に入力した記憶容量情報とを用いて、上記メモリの記憶容量の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出したメモリの記憶容量の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上記上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデーを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有することを特徴とする。
【００４８】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信する３次元空間データ送信方法において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、上記３次元オブジェクトデータを受信して表示する所定の処理能力を有し、
上記所定の処理能力は、クライアント装置における処理の負荷状況に応じて変化し、
上記３次元空間データ送信方法は、
上記クライアント装置より上記処理の負荷状況を示す負荷情報を所定のタイミングで入力して、上記所定のタイミングで入力した負荷情報と直前に入力した負荷情報とを用いて、上記処理の負荷状況の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した処理の負荷状況の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップによりデータ容量の上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上記上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデーを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有することを特徴とする。
【００４９】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信する３次元空間データ送信方法において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、視点の移動速度を示す情報と視線の回転速度を示す情報との少なくともいずれか一方の視点視線情報を上記サーバ装置に対して通知し、
上記３次元空間データ送信方法は、
上記クライアント装置より上記視点視線情報を所定のタイミングで入力して、上記所定のタイミングで入力した視点視線情報と直前に入力した視点視線情報とを用いて、上記視点視線情報の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した視点視線情報の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と、上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上記上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデーを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有することを特徴とする。
【００５０】
また、この発明に係る上記優先度設定ステップは、
上記受信した視点視線情報を用いて視点の変化の度合いと視線の変化の度合いとのいずれか一方の変化の度合いを算出して、算出した変化の度合いに応じて上記３次元オブジェクトデータの優先度情報を設定し直し、
上記選択ステップは、上記優先度設置ステップにより設定し直された３次元オブジェクトデータの優先度情報に従い詳細度情報を設定し直して、上記データ容量の上限値を超えないように、上記設定し直した詳細度情報を有する３次元オブジェクトデータから上記優先度設定部により設定し直された優先度の高さの順に、上記クライアント装置に送信する３次元オブジェクトデータを選択し直し、
上記送信スケジュール設定ステップは、上記選択ステップにより選択し直された３次元オブジェクトデータの送信スケジュールを設定し直す
ことを特徴とする。
【００５１】
この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信する３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
上記３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、
所定の一定時間あたりの上記通信路の利用可能な平均通信速度を算出するとともに、上記通信路の利用可能な通信速度の変化を監視して、上記変化を監視した場合に、上記変化を監視した通信速度と上記算出した平均通信速度とにより通信速度の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した通信速度の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデータを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有することを特徴とする３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００５２】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信する３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、上記サーバ装置より送信された３次元オブジェクトデータを登録保管する記憶容量の変化するメモリを備え、
上記３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、
上記クライアント装置より上記メモリの記憶容量を示す記憶容量情報を所定のタイミングで入力して、上記所定のタイミングで入力した記憶容量情報と直前に入力した記憶容量情報とを用いて、上記メモリの記憶容量の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出したメモリの記憶容量の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上記上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデーを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有することを特徴とする。
【００５３】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信する３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、上記３次元オブジェクトデータを受信して表示する所定の処理能力を有し、
上記所定の処理能力は、クライアント装置における処理の負荷状況に応じて変化し、
上記３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、
上記クライアント装置より上記処理の負荷状況を示す負荷情報を所定のタイミングで入力して、上記所定のタイミングで入力した負荷情報と直前に入力した負荷情報とを用いて、上記処理の負荷状況の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した処理の負荷状況の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップによりデータ容量の上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上記上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデーを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有することを特徴とする。
【００５４】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信する３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、視点の移動速度を示す情報と視線の回転速度を示す情報との少なくともいずれか一方の視点視線情報を上記サーバ装置に対して通知し、
上記３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、
上記クライアント装置より上記視点視線情報を所定のタイミングで入力して、上記所定のタイミングで入力した視点視線情報と直前に入力した視点視線情報とを用いて、上記視点視線情報の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した視点視線情報の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と、上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上記上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデーを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有することを特徴とする。
【００５５】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、
上記サーバ装置と所定の通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータを用いて３次元仮想空間を生成して、生成した３次元仮想空間を所定の指定されたフレームレート（表示画面切り替え速度）で表示するクライアント装置と
を備える３次元空間データ送信表示システムの、３次元空間データ表示方法において、
上記クライアント装置は、
３次元空間データ表示方法は、
上記３次元仮想空間を構成する複数の３次元オブジェクトデータをシーン構成情報として記憶するシーン構成情報データベースを備え、
上記サーバ装置へ３次元オブジェクトデータの配信要求を出力する要求ステップと、
上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信ステップと、
上記受信ステップから３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理ステップと、
上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元空間シーンを、上記表示管理ステップにより指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリングステップと、
上記要求ステップと、上記受信ステップと、上記シーン構成管理ステップと、上記表示管理ステップと、上記レンダリングステップとの処理状況を監視して、上記レンダリングステップによってレンダリングを行なう処理時間を上記所定の指定されたフレームレートに維持するように、各部に対して処理時間の割り当てを行なうとともに、各部の処理時間の調整を行うタスク調整部と
を有することを特徴とする。
【００５６】
また、この発明に係る上記タスク調整ステップは、
上記受信ステップでの処理時間が、受信ステップに割り当てた処理時間を超えるために、上記所定の指定されたフレームレートを維持できなくなったとき、上記受信ステップに対して処理時間の割り当て直しを行ない、割り当て直した処理時間内で上記受信ステップの処理が完了する受信レートを求め、求めた受信レートで上記３次元オブジェクトデータを送信するように、上記サーバ装置に対して送信レートの変更を要求する
ことを特徴とする。
【００５７】
また、この発明に係る上記タスク調整ステップは、
上記レンダリングステップによる処理時間が、レンダリングステップに割り当てた処理時間を超えるために、上記所定の指定されたフレームレートを維持できなくなった場合、上記表示管理ステップに対して上記クライアント装置に表示する３次元オブジェクトデータの詳細度を設定し直すように指示して、上記レンダリングステップの処理時間を短くするとともに、上記サーバ装置に対して、３次元オブジェクトデータの送信レートの変更を要求する
こと特徴とする。
【００５８】
また、この発明に係る上記タスク調整ステップは、
上記要求ステップ、上記受信ステップ、上記シーン構成管理ステップ、上記表示管理ステップ、上記レンダリングステップとにより実行される一連の処理に要する処理時間を、指定された一定時間の間監視して、監視した結果を用いて上記一連の処理に要する処理時間の平均値を算出して、算出した平均値を所定の指定されたフレームレートを維持できるように、上記要求ステップ、上記受信ステップ、上記シーン構成管理ステップ、上記表示管理ステップ、上記レンダリングステップとにより実行される各処理に要する処理時間を調整することを特徴とする。
【００５９】
この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、
上記サーバ装置と所定の通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータを用いて３次元仮想空間を生成して、生成した３次元仮想空間を所定の指定されたフレームレートで表示するクライアント装置と
を備える３次元空間データ送信表示システムの、３次元空間データ表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
上記クライアント装置は、
上記３次元仮想空間を構成する複数の３次元オブジェクトデータをシーン構成情報として記憶するシーン構成情報データベースを備え、
３次元空間データ表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、
上記サーバ装置へ３次元オブジェクトデータの配信要求を出力する要求ステップと、
上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信ステップと、
上記受信ステップから３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理ステップと、
上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元空間シーンを、上記表示管理ステップにより指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリングステップと、
上記要求ステップと、上記受信ステップと、上記シーン構成管理ステップと、上記表示管理ステップと、上記レンダリングステップとの処理状況を監視して、上記レンダリングステップによってレンダリングを行なう処理時間を上記所定の指定されたフレームレートに維持するように、各部に対して処理時間の割り当てを行なうとともに、各部の処理時間の調整を行うタスク調整部と
を有することを特徴とする。
【００６０】
また、この発明に係る上記タスク調整ステップは、
上記受信ステップでの処理時間が、受信ステップに割り当てた処理時間を超えるために、上記所定の指定されたフレームレートを維持できなくなったとき、上記受信ステップに対して処理時間の割り当て直しを行ない、割り当て直した処理時間内で上記受信ステップの処理が完了する受信レートを求め、求めた受信レートで上記３次元オブジェクトデータを送信するように、上記サーバ装置に対して送信レートの変更を要求する
ことを特徴とする。
【００６１】
また、この発明に係る上記タスク調整ステップは、
上記レンダリングステップによる処理時間が、レンダリングステップに割り当てた処理時間を超えるために、上記所定の指定されたフレームレートを維持できなくなった場合、上記表示管理ステップに対して上記クライアント装置に表示する３次元オブジェクトデータの詳細度を設定し直すように指示して、上記レンダリングステップの処理時間を短くするとともに、上記サーバ装置に対して、３次元オブジェクトデータの送信レートの変更を要求する
こと特徴とする。
【００６２】
また、この発明に係る上記タスク調整ステップは、
上記要求ステップ、上記受信ステップ、上記シーン構成管理ステップ、上記表示管理ステップ、上記レンダリングステップとにより実行される一連の処理に要する処理時間を、指定された一定時間の間監視して、監視した結果を用いて上記一連の処理に要する処理時間の平均値を算出して、算出した平均値を所定の指定されたフレームレートを維持できるように、上記要求ステップ、上記受信ステップ、上記シーン構成管理ステップ、上記表示管理ステップ、上記レンダリングステップとにより実行される各処理に要する処理時間を調整することを特徴とする。
【００６３】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信して、上記送信された上記３次元オブジェクトデータを上記クライアント装置により受信して表示する、３次元空間データ送信表示方法において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、
上記３次元オブジェクトデータを用いて生成された３次元仮想空間を構成するシーン構成情報を記憶するシーン構成情報データベースを備えるとともに、上記３次元仮想空間を所定の指定されたフレームレートで表示し、
上記３次元空間データ送信表示方法は、
所定の一定時間あたりの上記通信路の利用可能な平均通信速度を算出するとともに、上記通信路の利用可能な通信速度の変化を監視して、上記変化を監視した場合に、上記変化を監視した通信速度と上記算出した平均通信速度とにより通信速度の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した通信速度の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデータを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有するとともに、
上記サーバ装置へ３次元オブジェクトデータの配信要求を出力する要求ステップと、
上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信ステップと、
上記受信ステップから３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理ステップと、
上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理部により指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリングステップと、
上記要求ステップと、上記受信ステップと、上記シーン構成管理ステップと、上記表示管理ステップと、上記レンダリングステップとの処理状況を監視して、上記レンダリングステップによってレンダリングを行なう処理時間を上記所定の指定されたフレームレートに維持するように、各部に対して処理時間の割り当てを行なうとともに、各部の処理時間の調整を行うタスク調整部と
を有することを特徴とする。
【００６４】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信して、上記送信された上記３次元オブジェクトデータを上記クライアント装置により受信して表示する、３次元空間データ送信表示方法において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、
上記サーバ装置より送信された３次元オブジェクトデータを登録保管する記憶容量の変化するメモリと、
上記３次元オブジェクトデータを用いて生成された３次元仮想空間を構成するシーン構成情報を記憶するシーン構成情報データベースと
を備えるとともに、上記３次元仮想空間を所定の指定されたフレームレートで表示し、
上記３次元空間データ送信表示方法は、
上記クライアント装置より上記メモリの記憶容量を示す記憶容量情報を所定のタイミングで入力して、上記所定のタイミングで入力した記憶容量情報と直前に入力した記憶容量情報とを用いて、上記メモリの記憶容量の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出したメモリの記憶容量の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上記上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデーを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有するとともに、
上記サーバ装置へ３次元オブジェクトデータの配信要求を出力する要求ステップと、
上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信ステップと、
上記受信ステップから３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理ステップと、
上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理部により指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリングステップと、
上記要求ステップと、上記受信ステップと、上記シーン構成管理ステップと、上記表示管理ステップと、上記レンダリングステップとの処理状況を監視して、上記レンダリングステップによってレンダリングを行なう処理時間を上記所定の指定されたフレームレートに維持するように、各部に対して処理時間の割り当てを行なうとともに、各部の処理時間の調整を行うタスク調整部と
を有することを特徴とする。
【００６５】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信して、上記送信された上記３次元オブジェクトデータを上記クライアント装置により受信して表示する、３次元空間データ送信表示方法において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、
上記３次元オブジェクトデータを受信して表示する所定の処理能力を有し、
上記所定の処理能力は、クライアント装置における処理の負荷状況に応じて変化し、
上記３次元仮想空間を所定の指定されたフレームレートで表示し、
上記３次元オブジェクトデータを用いて生成された３次元仮想空間を構成するシーン構成情報を記憶するシーン構成情報データベースを備え、
上記３次元空間データ送信表示方法は、
上記クライアント装置より上記処理の負荷状況を示す負荷情報を所定のタイミングで入力して、上記所定のタイミングで入力した負荷情報と直前に入力した負荷情報とを用いて、上記処理の負荷状況の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した処理の負荷状況の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップによりデータ容量の上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上記上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデーを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有するとともに、
上記サーバ装置へ３次元オブジェクトデータの配信要求を出力する要求ステップと、
上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信ステップと、
上記受信ステップから３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理ステップと、
上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理部により指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリングステップと、
上記要求ステップと、上記受信ステップと、上記シーン構成管理ステップと、上記表示管理ステップと、上記レンダリングステップとの処理状況を監視して、上記レンダリングステップによってレンダリングを行なう処理時間を上記所定の指定されたフレームレートに維持するように、各部に対して処理時間の割り当てを行なうとともに、各部の処理時間の調整を行うタスク調整部と
を有することを特徴とする。
【００６６】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信して、上記送信された上記３次元オブジェクトデータを上記クライアント装置により受信して表示する、３次元空間データ送信表示方法において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、
視点の移動速度を示す情報と視線の回転速度を示す情報との少なくともいずれか一方の視点視線情報を上記サーバ装置に対して通知し、
上記３次元仮想空間を所定の指定されたフレームレートで表示し、
上記３次元オブジェクトデータを用いて生成された３次元仮想空間を構成するシーン構成情報を記憶するシーン構成情報データベースを備え、
上記３次元空間データ送信表示方法は、
上記クライアント装置より上記視点視線情報を所定のタイミングで入力して、上記所定のタイミングで入力した視点視線情報と直前に入力した視点視線情報とを用いて、上記視点視線情報の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した視点視線情報の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と、上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上記上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデーを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有するとともに、
上記サーバ装置へ３次元オブジェクトデータの配信要求を出力する要求ステップと、
上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信ステップと、
上記受信ステップから３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理ステップと、
上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理部により指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリングステップと、
上記要求ステップと、上記受信ステップと、上記シーン構成管理ステップと、上記表示管理ステップと、上記レンダリングステップとの処理状況を監視して、上記レンダリングステップによってレンダリングを行なう処理時間を上記所定の指定されたフレームレートに維持するように、各部に対して処理時間の割り当てを行なうとともに、各部の処理時間の調整を行うタスク調整部と
を有することを特徴とする。
【００６７】
また、この発明に係る上記クライアント装置の上記タスク調整ステップは、
上記クライアント装置の上記要求ステップ、上記受信ステップ、上記シーン構成管理ステップ、上記表示管理ステップ、上記レンダリングステップとにより実行される一連の処理に要する処理時間を、指定された一定時間の間監視して、監視した結果を用いて上記一連の処理に要する処理時間の平均値を算出して、算出した平均値を所定の指定されたフレームレートに維持するために、上記サーバ装置の上記オブジェクト抽出ステップに対して、送信する３次元オブジェクトデータの詳細度情報を調整するように要求を行ない、
上記サーバ装置の上記オブジェクト抽出ステップは、
上記クライアント装置のタスク調整ステップからの要求に応じて、送信するオブジェクトの詳細度情報を設定変更する
ことを特徴とする。
【００６８】
また、この発明に係る上記クライアント装置の上記タスク調整ステップは、
上記クライアント装置の上記要求ステップ、上記受信ステップ、上記シーン構成管理ステップ、上記表示管理ステップ、上記レンダリングステップとにより実行される一連の処理に要する処理時間を、指定された一定時間の間監視して、監視した結果を用いて上記一連の処理に要する処理時間の平均値を算出して、算出した平均値を所定の指定されたフレームレート以下に維持するために、上記サーバ装置の上記送信データ容量調整ステップに対して、上記所定の一定時間以内に上記クライアント装置に表示されると予測した３次元仮想空間に存在する３次元オブジェクトデータの中から、上記クライアント装置に所定の単位時間当たりに送信する３次元オブジェクトデータとして選択するデータ容量の上限値を調整するように要求を行ない、
上記サーバ装置の上記送信データ容量調整ステップは、
上記クライアント装置の上記タスク調整ステップからの要求に応じて、上記選択するデータ容量の上限値を設定変更する
ことを特徴とする。
【００６９】
また、この発明に係る上記クライアント装置の上記タスク調整ステップは、
上記所定の指定されたフレームレートを調整することにより、上記サーバ装置の上記オブジェクト抽出部に対して上記送信する３次元オブジェクトデータの詳細度情報を設定変更する要求を行なうことと、上記サーバ装置の上記送信データ容量調整部に対して上記上限値を調整する要求を行なうことの、少なくともいずれか一方の要求を行なう頻度を低減することを特徴とする。
【００７０】
この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信して、上記送信された上記３次元オブジェクトデータを上記クライアント装置により受信して表示する、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、
上記３次元オブジェクトデータを用いて生成された３次元仮想空間を構成するシーン構成情報を記憶するシーン構成情報データベースを備えるとともに、上記３次元仮想空間を所定の指定されたフレームレートで表示し、
上記３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、
所定の一定時間あたりの上記通信路の利用可能な平均通信速度を算出するとともに、上記通信路の利用可能な通信速度の変化を監視して、上記変化を監視した場合に、上記変化を監視した通信速度と上記算出した平均通信速度とにより通信速度の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した通信速度の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデータを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有するとともに、
上記サーバ装置へ３次元オブジェクトデータの配信要求を出力する要求ステップと、
上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信ステップと、
上記受信ステップから３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理ステップと、
上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理部により指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリングステップと、
上記要求ステップと、上記受信ステップと、上記シーン構成管理ステップと、上記表示管理ステップと、上記レンダリングステップとの処理状況を監視して、上記レンダリングステップによってレンダリングを行なう処理時間を上記所定の指定されたフレームレートに維持するように、各部に対して処理時間の割り当てを行なうとともに、各部の処理時間の調整を行うタスク調整部と
を有することを特徴とする。
【００７１】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信して、上記送信された上記３次元オブジェクトデータを上記クライアント装置により受信して表示する、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、
上記サーバ装置より送信された３次元オブジェクトデータを登録保管する記憶容量の変化するメモリと、
上記３次元オブジェクトデータを用いて生成された３次元仮想空間を構成するシーン構成情報を記憶するシーン構成情報データベースと
を備えるとともに、上記３次元仮想空間を所定の指定されたフレームレートで表示し、
上記３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、
上記クライアント装置より上記メモリの記憶容量を示す記憶容量情報を所定のタイミングで入力して、上記所定のタイミングで入力した記憶容量情報と直前に入力した記憶容量情報とを用いて、上記メモリの記憶容量の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出したメモリの記憶容量の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上記上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデーを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有するとともに、
上記サーバ装置へ３次元オブジェクトデータの配信要求を出力する要求ステップと、
上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信ステップと、
上記受信ステップから３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理ステップと、
上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理部により指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリングステップと、
上記要求ステップと、上記受信ステップと、上記シーン構成管理ステップと、上記表示管理ステップと、上記レンダリングステップとの処理状況を監視して、上記レンダリングステップによってレンダリングを行なう処理時間を上記所定の指定されたフレームレートに維持するように、各部に対して処理時間の割り当てを行なうとともに、各部の処理時間の調整を行うタスク調整部と
を有することを特徴とする。
【００７２】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信して、上記送信された上記３次元オブジェクトデータを上記クライアント装置により受信して表示する、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、
上記３次元オブジェクトデータを受信して表示する所定の処理能力を有し、
上記所定の処理能力は、クライアント装置における処理の負荷状況に応じて変化し、
上記３次元仮想空間を所定の指定されたフレームレートで表示し、
上記３次元オブジェクトデータを用いて生成された３次元仮想空間を構成するシーン構成情報を記憶するシーン構成情報データベースを備え、
上記３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、
上記クライアント装置より上記処理の負荷状況を示す負荷情報を所定のタイミングで入力して、上記所定のタイミングで入力した負荷情報と直前に入力した負荷情報とを用いて、上記処理の負荷状況の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した処理の負荷状況の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップによりデータ容量の上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上記上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデーを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有するとともに、
上記サーバ装置へ３次元オブジェクトデータの配信要求を出力する要求ステップと、
上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信ステップと、
上記受信ステップから３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理ステップと、
上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理部により指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリングステップと、
上記要求ステップと、上記受信ステップと、上記シーン構成管理ステップと、上記表示管理ステップと、上記レンダリングステップとの処理状況を監視して、上記レンダリングステップによってレンダリングを行なう処理時間を上記所定の指定されたフレームレートに維持するように、各部に対して処理時間の割り当てを行なうとともに、各部の処理時間の調整を行うタスク調整部と
を有することを特徴とする。
【００７３】
また、この発明に係る３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信して、上記送信された上記３次元オブジェクトデータを上記クライアント装置により受信して表示する、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
上記クライアント装置は、
視点の移動速度を示す情報と視線の回転速度を示す情報との少なくともいずれか一方の視点視線情報を上記サーバ装置に対して通知し、
上記３次元仮想空間を所定の指定されたフレームレートで表示し、
上記３次元オブジェクトデータを用いて生成された３次元仮想空間を構成するシーン構成情報を記憶するシーン構成情報データベースを備え、
上記３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、
上記クライアント装置より上記視点視線情報を所定のタイミングで入力して、上記所定のタイミングで入力した視点視線情報と直前に入力した視点視線情報とを用いて、上記視点視線情報の変化の度合いを算出する算出ステップと、
所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した視点視線情報の変化の度合いに応じて、再度設定する上限値再設定ステップと、
上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と、上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上記上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデーを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
を有するとともに、
上記サーバ装置へ３次元オブジェクトデータの配信要求を出力する要求ステップと、
上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信ステップと、
上記受信ステップから３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理ステップと、
上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理部により指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリングステップと、
上記要求ステップと、上記受信ステップと、上記シーン構成管理ステップと、上記表示管理ステップと、上記レンダリングステップとの処理状況を監視して、上記レンダリングステップによってレンダリングを行なう処理時間を上記所定の指定されたフレームレートに維持するように、各部に対して処理時間の割り当てを行なうとともに、各部の処理時間の調整を行うタスク調整部と
を有することを特徴とする。
【００７４】
【発明の実施の形態】
実施の形態１．
図１は、実施の形態１に係る３次元空間データ送信表示システムの機能ブロック図である。
【００７５】
図１において示すように、１０は、インターネットあるいはイントラネットの通信網４０に接続された本発明に係る３次元空間データ送信装置（以下、サーバともいう）である。
１１は、送信データ容量調整部である。送信データ容量調整部１１は、通信路の時々刻々変化する輻輳状況に応じて変化する通信路の利用可能な伝送速度（通信帯域幅）の変化の度合いに適応して、サーバからクライアント端末２０に送信する３次元空間を構成する複数の３次元オブジェクトのデータ容量の総計の上限値の変化させる度合いを決定し、前記上限の変化させる度合いに応じて上限値を適宜設定し直す送信データ容量調整部である。
１２は、優先度設定部である。優先度設定部１２は、現在の視点位置において既に表示画面の視界内に存在する３次元オブジェクトと視点移動に伴い新たに視界に入ってくると予測される３次元オブジェクトとに対して、利用目的に応じた表示の必要性、または、視認性を高める度合いに応じて優先度を設定する優先度設定部である。
上記利用目的及び視認性は、３次元オブジェクトを表示させるユーザの利用目的を分析してルール化して、予め設定しておくものである。例えば、利用目的が３次元オブジェクトを地図情報として表示するような場合は、到着したい地点までの目印になるような建物や標識等は必ず表示して、目印にならないようなものは表示させない。また、目印になる建物や標識は、ユーザの視点位置から遠くにあってもはっきりと認識できるように、視認性を高めて表示させる。このように、ユーザの利用目的と利用目的に対応する視認性とをルール化して、３次元オブジェクトのデータをクライアント端末２０に送信する前にユーザに選択を行なわせる。優先度設定部１２は、ユーザに選択されたルールに基づいて３次元オブジェクトデータに優先度を設定する。
１３は、３次元オブジェクト抽出部である。３次元オブジェクト抽出部１３は、優先度設定された３次元オブジェクトの中から、優先度の高い３次元オブジェクトの順に選択する。また、優先度が高い３次元オブジェクトほど、かつ、送信前の通信路の輻輳状況を考慮した利用可能な伝送速度が速いほど、３次元オブジェクトを構成するデータの詳細度を高く設定する。また、上記送信データ容量の上限値が変更される度に、前記上限値の変更前に設定した上記３次元オブジェクトの詳細度を設定し直す。そして、変更された送信データ容量の上限値を超えないように、優先度設定した３次元オブジェクトの中から、優先度の高い３次元オブジェクトから順に選択し直す３次元オブジェクト抽出部である。
１４は、スケジューリング部である。スケジューリング部１４は、表示画面に表示される出現順または視点位置に近い３次元オブジェクト程早く送信するように、クライアント端末２０に送信する３次元オブジェクトの送信スケジュールを設定する。また、上記送信データ容量の上限値が変更される度に、上記３次元オブジェクト抽出部１３において選択し直した３次元オブジェクトに基づいて送信スケジュールを設定し直す。
１５は、ストリーミング送信部である。ストリーミング送信部１５は、上記送信データ容量の上限値が変更される度に、上記スケジューリング部１４の設定し直した送信スケジュールにしたがって、３次元オブジェクトを順次送信するストリーミング送信部である。
１６は、オブジェクト情報記憶部である。オブジェクト情報記憶部１６は、３次元オブジェクトデータを記憶している。３次元オブジェクトデータは、３次元物体の形状を表すポリゴンデータと３次元物体に貼り付けるテクスチャデータとにより構成される。３次元オブジェクト或いは３次元オブジェクトデータといった場合は、ポリゴンデータとテクスチャデータとを示すものである。
上記送信データ容量調整部１１は、これから説明するクライアント端末の備えるタスク調整部２６よりクライアント端末の受信レートを示す情報を通知される。通知を受けると上記送信データ容量調整部１１は、受信レートと送信時の通信路の利用可能な通信速度とを比較して、通信速度の方が小さいときは通信速度、それ以外のときは受信レート、の変化に応じて、表示対象エリアあたりの送信データ容量を設定し直す。
【００７６】
先ず、送信データ容量調整部１１の機能について説明する。
サーバ１０は、通信網４０であるインターネット（有線）あるいはイントラネット（有線）経由、さらには無線網４１を経由して、クライアント端末２０と接続されている。サーバ１０から３次元オブジェクトをクライアント端末２０に送信するのに利用する通信路は、一般的に、利用（輻輳）状況に応じて、利用可能な通信速度が時々刻々変化する。単位時間あたりにクライアントに送信することのできるデータ容量は、この通信路の利用可能通信速度に制限される。さらに、この利用可能通信速度が時々刻々変化するため、単位時間当たりの送信可能データ容量も時々刻々変化する。この利用可能通信速度以上のデータ容量のデータを通信路に送信しても、途中でデータをロスし、その再送により、さらなる通信路の輻輳を呼び込む。この結果、データ送信効率がますます悪化する。したがって、同利用可能な通信速度以下に抑えた単位時間当たりに、送信データ容量のオブジェクトを送信するのが最も効果的なデータ伝送となる。
現在視界に入っている空間領域と、今後一定時間の視点の移動により視界に入ってくると予測した空間領域に存在する３次元オブジェクトの送信データ容量総量の上限値（送出データ容量総量の上限値とは、クライアントに対して単位時間当たりに送信することのできるデータ容量の上限値である）を、通信路の通信速度、あるいは、通信路の一定時間間隔の平均通信速度の変化する度合いに応じて決定する。
通信路の同変化する度合いが大きいほど、送信データ容量総量の上限値の変更する度合いを大きくする。また、通信路の同変化する度合いが小さいほど、同送信データ容量総量の上限値の変更する度合いを小さくする。
ここで、上限値というのは、送信データ容量調整部１１が設定したある一定時間にサーバ１０からクライアント端末２０に送信する送信データ容量総量の上限値である。送信時の通信路の通信状況によっては、送信データ容量総量は、上限値以下であってもよい。送信計画時は、送信データ容量総量は上限値として送信する３次元オブジェクトを抽出し、送信スケジュールを設定し送信する。
【００７７】
優先度設定部１２の機能について説明する。
現在視界に入っている空間領域に存在する３次元オブジェクトと、今後一定時間の視点の移動により視界に入ってくると予測した空間領域に存在する３次元オブジェクトとに対して、予め定められた利用目的に応じて表示の必要性の高い３次元オブジェクトほど、また、視認性を高める度合いの高い３次元オブジェクトほど、優先度を高く設定する。表示の必要性の高い３次元オブジェクトとは、ユーザが表示させたいと指定した３次元オブジェクトや、３次元空間コンテンツを設計した開発者や運営者が設定した３次元オブジェクトの表示規則にしたがって表示しようとしたときに、表示の必要性を示す評価値が高い３次元オブジェクトをいう。また、視認性を高める度合いの高い３次元オブジェクトとは、３次元空間を表示しようとしたときに、視点位置により近い３次元オブジェクト、視線方向により近い３次元オブジェクト、画面占有率のより高い３次元オブジェクト等とを指す。
【００７８】
３次元オブジェクト抽出部１３の機能について説明する。
同３次元オブジェクト抽出部１３は、優先度設定部１２で設定された優先度と通信路の通信速度とに応じて、送信する３次元オブジェクトの詳細度を決定する。詳細度が高くなるほど３次元オブジェクトデータのデータ量は多くなる。そして、優先度の高い３次元オブジェクトから順に選択していき、送信データ容量調整部１１が設定した送信データ容量の総量の上限値まで、３次元オブジェクトを選択する。また、送信データ容量調整部１１において、送信データ容量の総量の上限値が変更されると、送信スケジュールの現時点（上限変更時点）からのある一定量の未送信データを残して、それ以外の未送信データの送信を中断してその中断した未送信データの送信スケジュールを破棄する。そして、直ちに、上限値の変更に応じて、現在視界に入っている空間領域に存在する３次元オブジェクトと、今後一定時間の視点の移動により視界に入ってくると予測し直した空間領域に存在する３次元オブジェクトとに対して、優先度を優先度設定部１２において設定し直す。設定し直した優先度と、通信路の現在利用可能な通信速度、送信先クライアント端末のデータ処理能力、クライアント端末の３次元オブジェクトのレンダリング処理能力、クライアント端末のメモリ容量とに応じて、送信する３次元オブジェクトの詳細度を決定し直す。そして、優先度の高い３次元オブジェクトから順に、送信データ容量調整部１１が設定した送信データ容量の総量の上限値まで、送信する３次元オブジェクトを選択し直す。クライアント端末のデータ処理能力、クライアント端末の３次元オブジェクトのレンダリング処理能力、クライアント端末のメモリ容量とは、それぞれクライアント端末からサーバへ情報として通知が行なわれる。
クライアント端末２０の高速表示可能なテクスチャデータ容量が、送信データ容量の上限値以下である場合、テクスチャデータの総量が上記テクスチャデータ容量以下となるように、テクスチャの解像度を、優先度の高いものほど高解像度となるように段階的に調整し直して、送信データ容量の上限を超えないように、３次元オブジェクトを選択する。
図２に、優先度と解像度との関係を示す。図２において、（Ａ）は、調整前の優先度と解像度との関係であり、（Ｂ）は、調整後の優先度と解像度との関係である。
送信データ容量の総量が高速表示可能なテクスチャデータ容量を超えてしまう場合は、解像度の高いグループに属する優先度を少なくするように調整する。例えば、図２では、解像度の最も高いＡに属する優先度のレベルを上げるとともに、解像度の低いＣに属する優先度のレベルの幅を大きくなるように調整する。これによって全体の解像度が低くなり送信する３次元オブジェクトデータの容量を少なくできる。
未送信の送信オブジェクトのデータサイズがある一定値以下になると、再度、送信対象オブジェクトの選定処理を行い、優先度を設定し直す。さらに、通信路の伝送速度とクライアント端末２０からの要求された送信レートに応じて、送信データ容量の上限値を設定し直す。そして、送信データ容量の上限値の変更に応じて送信対象の３次元オブジェクトの詳細度を設定し直して、変更された送信データ容量の上限を超えないように優先度の高いオブジェクトから順に選択し直す。この場合に、前回の３次元オブジェクト抽出部１３でのオブジェクトの選択時に、選択された同一オブジェクトが再度異なる解像度が指定されたオブジェクトとして選択された場合、前回送信したデータが廃棄されていない場合は、その差分データのみを選択する。
上記３次元オブジェクト抽出部１３は、これから説明するクライアント端末の備えるタスク調整部２６よりクライアント端末の受信レートを示す情報を通知される。通知を受けると、３次元オブジェクト抽出部１３は、受信レートと送信時の通信路の利用可能な通信速度とを比較して、通信速度の方が小さいときは通信速度、それ以外のときは受信レート、の変化に応じて、３次元オブジェクトの詳細度を設定し直す。
【００７９】
スケジューリング部１４の機能について説明する。
同スケジューリング部１４は、表示画面に表示される出現順、または、視点位置に近い３次元オブジェクト、または、視線方向に近い３次元オブジェクト等程、早く表示できるように、３次元オブジェクト抽出部１３が抽出した３次元オブジェクトの送信スケジュールを設定する。送信スケジュールは、クライアント端末２０に早く表示するオブジェクト順にオブジェクトの送信順を決定する。そして、各オブジェクトがクライアント端末２０の表示画面に表示され始める、すなわち、クライアント端末２０のビュワーの視点の視界に入るまでに、表示のために必要な処理が完了するように、各オブジェクトの送信時間を設定する。
さらに、スケジューリング部１４は、これから説明するシーン構成管理部２３によって、指定されたフレームレートを実現するように割り当てられた処理時間内に、送信されたオブジェクトのシーンへの追加処理が完了するデータ規模（サイズ）に分割して、３次元オブジェクトを送信するように送信スケジュールを設定する。
また、３次元オブジェクトデータは、ポリゴンデータとポリゴンデータに貼り付けるテクスチャデータとを一緒に送らなくてもいいので、スケジューリング部１４は、ポリゴンデータは表示開始時刻に間に合うように送信するように送信スケジュールを組み、テクスチャデータは、同オブジェクトが表示されている間に送信処理が完了するように送信スケジュールを、設定する。
【００８０】
ストリーミング送信部１５の機能について説明する。
同ストリーミング送信部１５は、送信データ容量調整部１１によって上記送信データ容量の総量の上限値が変更される度に、送信スケジュールの現時点（上限値変更時点）からのある一定量の未送信データを残して、それ以外の未送信データの送信を中断し、中断したデータの送信スケジュールを破棄する。そして、上記スケジューリング部１４の設定し直した送信スケジュールに切り替え、３次元オブジェクトを順次送信する。
ストリーミング送信部１５は、これから説明するクライアント端末の備えるタスク調整部２６よりクライアント端末の受信レートを示す受信を通知される。通知されると、ストリーミング送信部１５は、受信レートと送信時の通信路の利用可能な通信速度とを比較して、通信速度の方が小さいときは通信速度、それ以外のときは受信レートにて、３次元オブジェクトを送信する。
上記ストリーミング送信部１５は、３次元オブジェクトを構成するポリゴンデータは、再送保証データとして送信し、テクスチャデータは、ベストエフォート保証データとして送信する。つまり、ポリゴンデータについては必ずクライアント端末に到着するようにして、テクスチャデータは、クライアント端末に到着するように最大限努力はするが、到着しない場合もあるということである。従って、ポリゴンデータは同一パケットに収納し、テクスチャデータは、パケットロスして再送ぜずとも、大まかなテクスチャデータのマッピングができるようにするために、１個のオブジェクトにマッピングするテクスチャデータを複数個のパケットに分割して収納して送信する。
【００８１】
次に、上記３次元データ送信表示システムにおいて、通信路の輻輳状況が変化して利用可能通信速度（伝送速度）が変化した場合に、送信データ容量の総量の上限値、３次元オブジェクトの詳細度、送信スケジュールを設定し直して３次元オブジェクトをストリーミング送信する動作について、図３のフローチャートを用いて説明する。
【００８２】
通信路の輻輳状況が変化して、一定時間の利用可能平均通信速度が変化したとする。送信データ容量調整部１１は、常に通信路の通信状況を監視している。このため、通信速度の変化を確認すると、直ちに、送信データ容量調整部１１は、利用可能通信速度の変化量を検出しする。そして、検出した通信速度の変化量、あるいは、変化する前の一定時間あたりの平均通信速度に対する度合いを算出する（Ｓ１００１、算出ステップ）。この通信速度の変化の度合いに対する上記３次元オブジェクトの送信データ容量の総量の上限値の変更する度合いを、予め定められた規則にしたがって決定し、上限値を設定し直す（Ｓ１００２、上限値再設定ステップ）。予め定められた規則とは例えば、上限値は、上記通信路の同通信速度の変化する度合いが大きいほど、同送信データ容量の総量の上限値の変更する度合いを大きくする。また、上記通信路の同通信速度の変化する度合いが小さいほど、同送信データ容量の総量の上限値の変更する度合いを小さくする。このようにして、送信データ容量調整部１１は、上限値が変更されると、送信スケジュールの現時点（上限変更時点）からのある一定量の未送信データを残して、それ以外の未送信データの送信を中断しその中断したデータの送信スケジュールを破棄する（Ｓ１００３、送信スケジュール破棄ステップ）。
ここでいう一定量の未送信データとは、上限値の変更により、新たな送信スケジュールを再設定するまでに要する時間の間に送信処理が完了する程度のデータ量を一定量の目安として設定する。
直ちに、優先度設定部１２は、上限値の変更に応じて、現在視界に入っている空間領域、今後一定時間の視点の移動により視界に入ってくると予測し直した空間領域に含まれる３次元オブジェクトに対して、表示の必要性の高いオブジェクトほど、また、視認性を向上させるオブジェクトほど優先度を高く設定し直す（Ｓ１００４、優先度設定ステップ）。
３次元オブジェクト抽出部１３は、設定し直した優先度と、通信路の現在利用可能な通信速度、クライアント端末（送信先移動端末）のデータ処理能力、クライアント端末の３次元オブジェクトのレンダリング処理能力、クライアント端末のメモリ容量に応じて、送信する３次元オブジェクトの詳細度を決定し直し、優先度の高い３次元オブジェクトから順に、送信データ容量調整部１１が設定した送信データ容量の総量の上限値まで、送信する３次元オブジェクトを選択し直す（Ｓ１００５、選択ステップ）。
スケジューリング部１４は送信する３次元オブジェクトとその詳細度が決定されると、表示画面に表示される出現順、または、視点位置に近い３次元オブジェクト、または、視線方向に近いオブジェクト等程、早く表示できるように、同３次元オブジェクトの送信スケジュールを設定する（Ｓ１００６、送出スケジュール設定ステップ）。
そして、スケジューリング部１４は、上記破棄しなかった一定量の未送信データの送信スケジュールの最後尾に、上記送信スケジュールをマージする。ストリーミング送信部１５は、マージした送信スケジュールにしたがって、順次３次元オブジェクトを送信する。最大送信レートは、送信時の通信路の利用可能通信速度とし、送信スケジュールにしたがって、送信時の通信路の利用可能通信速度を考慮して、送信レートを適宜変更して送信する（Ｓ１００７、送出ステップ）。
【００８３】
このことにより、通信路の輻輳状況が変化して利用可能通信速度が変化しても、送信するオブジェクト、オブジェクトの詳細度、送信スケジュールを適宜変更することにより、ユーザの視点移動を伴う操作の操作性（切り替え表示のフレームレート）を低下させることなく、ベストエフォートな表示品質を実現した３次元オブジェクトの送信、表示を実現することができる。
【００８４】
実施の形態２．
本実施の形態では、上記送信データ容量調整部１１が、クライアント端末２０のオブジェクトデータを登録保管することのできるメモリ容量の変化する度合いに応じて、現在視界に入っている空間領域と、今後一定時間の視点の移動により視界に入ってくると予測した空間領域とに存在する３次元オブジェクトの送信データ容量総量の上限値を変更する３次元空間データ送信表示システムについて説明する。
【００８５】
送信先のクライアント端末２０のオブジェクトデータを登録保管することのできるメモリ容量（メモリ総量）は、同クライアント端末２０で地図情報以外の情報、たとえば、写真、動画、サウンド情報等を上記メモリの一部に登録保管する場合、また、表示の必要のなくなった空間地図データを２次利用を目的として保管しつづけるような場合、利用状況に応じて時々刻々変化する。したがって、この変化するメモリ容量に応じて、上記送信データ容量総量の上限値を適宜変更する必要がある。
上記メモリ容量の変化する度合いが大きいほど、同送信データ容量総量の上限値の変更する度合いを大きくする。また、上記メモリ容量の変化する度合いが小さいほど、同送信データ容量総量の上限値の変更する度合いを小さくする。
【００８６】
上記３次元データ送信表示システムにおいて、クライアント端末２０のオブジェクトデータを登録保管することのできるメモリ容量が変化した場合に、送信データ容量の総量の上限値、３次元オブジェクトの詳細度、送信スケジュールを設定し直して、３次元オブジェクトをストリーミング送信する動作について図４のフローチャートに従い説明する。
【００８７】
クライアント端末２０のオブジェクトデータを登録保管することのできるメモリ容量が変化したとする。クライアント端末２０は、メモリ容量が変化したことをサーバ１０に通知する。メモリ容量の変化の通知を受けると、送信データ容量調整部１１は、利用可能メモリの変化量、すなわち、変化の度合いを算出する。（Ｓ２００１、算出ステップ）。このメモリ総量の変化の度合いに対する上記３次元オブジェクトの送信データ容量の総量の上限値の変更する度合いを、予め定められた規則にしたがって決定し、上限値を設定し直す（Ｓ２００２、上限値再設定ステップ）。予め定められた規則は、例えば、上限値は、上記メモリ総量の変化する度合いが大きいほど、同送信データ容量の総量の上限値の変更する度合いを大きくする。また、上記メモリ総量の変化する度合いが小さいほど、同送信データ容量の総量の上限値の変更する度合いを小さくする。このようにして、送信データ容量調整部１１は、上限値が変更されると、送信スケジュールの現時点（上限変更時点）からのある一定量の未送信データを残して、それ以外の未送信データの送信を中断し、その通信を中断したデータの送信スケジュールを破棄する（Ｓ２００３、送信スケジュール破棄ステップ）。
この後、引き続き上記ステップＳ１００４、ステップＳ１００５、ステップＳ１００６、ステップＳ１００７で示す処理を実行する。
【００８８】
このことにより、クライアント端末２０のオブジェクトデータを登録保管することのできるメモリ容量が変化しても、送信するオブジェクト、オブジェクトの詳細度、送信スケジュールを適宜変更することにより、ユーザの視点移動を伴う操作の操作性（切り替え表示のフレームレート）を低下させることなく、ベストエフォートな表示品質を実現した３次元オブジェクトの送信、表示を実現することができる。
【００８９】
実施の形態３．
本実施の形態では、上記送信データ容量調整部１１が、クライアント端末２０の処理の負荷状況の変化する度合いに応じて、上記送信データ総量の上限値を変更する３次元空間データ送信表示システムについて説明する。
【００９０】
送信先のクライアント端末２０において、空間／地図データを受信して表示する以外に、動画を受信して表示したり、音声、ミュージック等のサウンドデータを受信して再生するなどの処理を並行して処理するような場合、空間／地図データを受信して表示するために、端末ＣＰＵに割り当てることのできる単位時間当たりの処理量が変化する。すなわち、単位時間当たりに、空間／地図コンテンツの受信表示のために処理できる処理量が、クライアント端末の処理の負荷状況に応じて変化する。処理能力を超えるデータをサーバからクライアントに送信すると、例えば、目的とする単位時間あたりの表示の切り替え回数（フレームレート）を維持できなくなったり、レンダリングのために割り当てられる処理時間が減少する。これにより、すべてのデータを割り当てられた処理時間内でレンダリングし切れないという問題が発生する。したがって、クライアント端末の時々刻々変化する負荷状況に応じて、上記送信データ総量の上限値を適宜変更する必要がある。
上記負荷状況の変化する度合いが大きいほど、同送信データ容量総量の上限値の変更する度合いを大きくする。また、上記負荷状況の変化する度合いが小さいほど、同送信データ容量総量の上限値の変更する度合いを小さくする。
【００９１】
上記３次元データ送信表示システムにおいて、クライアント端末２０の負荷状況が変化した場合に、送信データ容量の総量の上限値、３次元オブジェクトの詳細度、送信スケジュールを設定し直して、３次元オブジェクトをストリーミング送信する動作について、図５のフローチャートに従い説明する。
【００９２】
クライアント端末２０の負荷状況が変化したとする。クライアント端末２０は、負荷状況が変化したことをサーバ１０に通知する。負荷状況の変化の通知を受けると、送信データ容量調整部１１は、クライアント端末の負荷状況の変化量、すなわち、変化の度合いを算出する。（Ｓ３００１、算出ステップ）。この負荷状況の変化の度合いに対する上記３次元オブジェクトの送信データ容量の総量の上限値の変更する度合いを、予め定められた規則にしたがって決定し、上限値を設定し直す（Ｓ３００２、上限値再設定ステップ）。予め定められた規則は、例えば、上限値は、上記負荷状況の変化する度合いが大きいほど、同送信データ容量の総量の上限値の変更する度合いを大きくする。また、上記メモリ総量の変化する度合いが小さいほど、同送信データ容量の総量の上限値の変更する度合いを小さくする。このようにして、送信データ容量調整部１１は、上限値が変更されると、送信スケジュールの現時点（上限変更時点）からのある一定量の未送信データを残して、それ以外の未送信データの送信を中断し、その送信を中断したデータの送信スケジュールを破棄する（Ｓ３００３、送信スケジュール破棄ステップ）。
この後、引き続き上記ステップＳ１００４、ステップＳ１００５、ステップＳ１００６、ステップＳ１００７で示す処理を実行する。
【００９３】
このことにより、クライアント端末２０の負荷状況が変化しても、送信するオブジェクト、オブジェクトの詳細度、送信スケジュールを適宜変更することにより、ユーザの視点移動を伴う操作の操作性（切り替え表示のフレームレート）を低下させることなく、ベストエフォートな表示品質を実現した３次元オブジェクトの送信、表示を実現することができる。
【００９４】
実施の形態４．
本実施の形態では、上記送信データ容量調整部１１が、視点の移動速度の変化あるいは視線方向の回転速度の変化に応じて、上記送信データ総量の上限値を変更する３次元空間データ送信表示システムについて説明する。
【００９５】
視点の移動速度が速くなると、単位時間あたりに表示する領域が広くなるため、単位時間あたりに送信するオブジェクトの数が増加する。送信するオブジェクトの数が増加すると、単位時間あたりに送信しなければならないデータ容量が増大する。このように、送信データ容量が増大するにもかかわらず、通信路の通信帯域が変化しない場合、予定通りにオブジェクトを相手端末に送信することができなくなる。このため、視点を移動しても、送信されるデータの受信処理に時間がかかり、表示画面の更新処理が遅くなってしまうという問題が発生する。そこで、上記送信データ容量調整部１１は、視点の移動速度、視線方向の回転速度が速くなると、現在視界に入っている空間領域と、今後一定時間の視点の移動により視界に入ってくると予測した空間領域に存在する３次元オブジェクトの送信データ容量総量の上限値を小さくなるように変更する。また、上記視点の移動速度、視線方向の回転速度が遅くなると、同上限値を高く設定し直す。
また、上記視点の移動速度、視線方向の回転速度の変化する度合い（変化量）が大きい程、同上限値の変化する度合い（変更量）を大きく設定し直す。
また、視点の移動、視線方向の回転速度により発生する今後視界に入ってくると予測した３次元オブジェクトと、視点移動前の同予測３次元オブジェクトとの差分が予め定めたある一定量を超えると、同予測３次元オブジェクトに対して上記優先度設定部１２において優先度を設定し直す。そして、上記３次元オブジェクト抽出部１３において３次元オブジェクトを選択し直し、上記スケジューリング部１４において送信スケジュールを設定し直す。
さらに、視点の移動速度の変化や、視線方向の回転速度に応じて、優先度設定部１２において優先度を設定し直し、上記オブジェクト抽出部において３次元オブジェクトの詳細度を設定し直し、送信データ容量の上限を超えないように３次元オブジェクトを選択し直し、上記スケジューリング部１４において３次元オブジェクトの送信スケジュールを設定し直す。
【００９６】
上記３次元データ送信表示システムにおいて、視点の移動速度あるいは視線方向の回転速度が変化した場合に、上記送信データ容量の総量の上限値、３次元オブジェクトの詳細度、送信スケジュールを設定し直して、３次元オブジェクトをストリーミング送信する動作について、下記に示す図６のフローチャートを用いて説明する。
【００９７】
視点の移動速度あるいは視線方向の回転速度が変化したとする。クライアント端末２０は、視点の移動速度あるいは視線方向の回転速度の変化をサーバ１０に通知する。視点の移動速度あるいは視線方向の回転速度の変化の通知を受けると、送信データ容量調整部１１は、視点の移動速度あるいは視線方向の回転速度の変化量、すなわち、変化の度合いを算出する。（Ｓ４００１、算出ステップ）。この視点の移動速度あるいは視線方向の回転速度の変化量（変化の度合い）に対する上記３次元オブジェクトの送信データ総量の上限値の変更する度合いを、予め定められた規則にしたがって決定し、上限値を設定し直す（Ｓ４００２、上限値再設定ステップ）。予め定められた規則とは、例えば、上限値は、上記視点の移動速度あるいは視線方向の回転速度の変化する度合いが大きいほど、同送信データ容量の総量の上限値の変更する度合いを大きくする。また、上記視点の移動速度あるいは視線方向の回転速度の変化する度合いが小さいほど、同送信データ容量の総量の上限値の変更する度合いを小さくする。このようにして、送信データ容量調整部１１は、上限値が変更されると、送信スケジュールの現時点（上限変更時点）からのある一定量の未送信データを残して、それ以外の未送信データの送信を中断し、その送信を中断したデータの送信スケジュールを破棄する（Ｓ４００３、送信スケジュール破棄ステップ）。
この後、引き続き上記ステップＳ１００４、ステップＳ１００５、ステップＳ１００６、ステップＳ１００７で示す処理を実行する。
【００９８】
このことにより、視点の移動速度の変化あるいは視線方向の回転速度が変化しても、上記３次元オブジェクトの送信データ総量の上限値、オブジェクトの詳細度、送信スケジュールを適宜変更することにより、ユーザの視点移動を伴う操作の操作性（切り替え表示のフレームレート）を低下させることなく、ベストエフォートな表示品質を実現した３次元オブジェクトの送信、表示を実現することができる。
【００９９】
詳細度を低く落し、さらに、場合によっては、送信する３次元オブジェクトの数を削減するなどの表示の品質制御を行うように、現在視界に入っている空間領域と、今後一定時間の視点の移動により視界に入ってくると予測した空間領域とに存在する３次元オブジェクトの送信データ容量総量の上限値を変更する。
クライアント端末２０のビュワーで表示する映像の切り替えフレームレートを低減しないようにする。
【０１００】
実施の形態５．
図８は、実施の形態５に係る３次元空間データ送信表示システムの機能ブロック図である。
【０１０１】
図８において示すように、２０は、通信網４０であるインターネットあるいはイントラネットに接続された本発明に係る３次元空間データ送信表示システムのクライアント端末２０である。
２１は、要求部である。要求部２１は、サーバへ３次元オブジェクトの送信要求を出す要求部である。
２２は、受信部である。受信部２２は、サーバから順次オブジェクト単位に送信されてくる３次元オブジェクトを、着信順に順次主記憶装置または補助記憶装置に登録保管していき、登録保管後、後述するシーン構成管理部２３にシーンへの追加処理を順次依頼する受信部である。
２３は、シーン構成管理部である。シーン構成管理部２３は、受信部２２から通知のあった３次元オブジェクトを３次元空間のシーン構成情報データベース２７（シーングラフ）に追加を行うシーン構成管理部である。
２４は、表示管理部である。表示管理部２４は表示する３次元オブジェクトの詳細度を指示する表示管理部である。
２５は、レンダリング部である。レンダリング部２５はシーン構成情報データベース２７に登録されたシーン構成情報に基づいて、視点から見える３次元仮想空間のシーンをレンダリングするレンダリング部である。
２６は、タスク調整部である。タスク調整部２６は、要求部２１、受信部２２、シーン構成管理部２３、表示管理部２４、レンダリング部２５の処理状況を監視し、レンダリング部２５がレンダリングするシーンの切り替え速度（フレームレート）を指定された一定速度に維持するように各部の処理時間の調整を行うタスク調整部である。
２７は、シーン構成情報データベースである。シーン構成情報データベース２７は、３次元空間を構成する３次元オブジェクトデータを記憶するデータベースである。シーン構成情報データベース２７は、クライアント端末の主記憶装置、または、補助記憶装置にあるものとする。
【０１０２】
２１〜２７の構成要素を備える上記クライアント端末２０は、要求部２１、受信部２２、シーン構成管理部２３、表示管理部２４、レンダリング部２５により実行される一連の処理が、一定の時間間隔で繰り返し実行されるように、それぞれの各構成要素を機能させる。
すなわち、上記クライアント端末２０のレンダリング部２５において切り替え表示される単位時間当たりの切り替え回数（フレームレート）が、一定に保たれるように各構成要素を機能させる。
【０１０３】
先ず、シーン構成管理部２３の機能について説明する。
シーン構成管理部２３は、シーン構成管理ステップにおいて１フレーム切り替え時間当たりのタスク調整部２６が指示した処理時間を、端末ＣＰＵに処理を割り当てる。そして、受信ステップにおいて受信部２２から通知を受けた３次元オブジェクトのデータを、シーン構成データベースに登録するために分析して、分析結果に基づいてシーン構成データベース向けデータ構造に変換し、変換したデータをシーン構成データベースに追加する、といった一連の処理を行う。よって、受信部２２から通知されたオブジェクトのシーン構成データベースへの追加処理の各処理（データの読み取り処理（Ａ）、読み取ったデータの変換処理（Ｂ）、変換したデータのシーン構成データベースへの追加処理（Ｃ）等）は、割り当てられた時間（Ｔ）内で完結するように処理の配分を行う。（処理（Ａ）の時間＋処理（Ｂ）の時間＋処理（Ｃ）の時間≦時間（Ｔ））
したがって、例えば、受信部２２から受信通知を受け取ったオブジェクト（１）のデータの読み取り処理（Ａ）の時間とデータ変換処理（Ｂ）の時間との合計時間は、割り当てられた時間（Ｔ）以内で処理できるが、シーン構成データベースへの追加処理（Ｃ）まで処理しようとすると、割り当てられた時間（Ｔ）を超えるような場合がある。この場合は、受信部２２から通知のあったオブジェクトに対する処理（Ａ）と処理（Ｂ）とを、割り当てられた時間に処理する。残りの処理（Ｃ）は、次回の切り替えフレーム時に行う。つまり、オブジェクト（１）の次に受信したオブジェクト（２）の処理を行うときに残りの処理（Ｃ）を合わせて行う。
また、各処理時間が短い場合、例えば、受信したオブジェクト（１）の（Ａ）、（Ｂ）、（Ｃ）の処理をすべて行っても、かなり余裕がある場合は、その次に受信したオブジェクトの受信処理が完了して待ち状態であるならば、次のオブジェクト（２）の（Ａ）、（Ｂ）、（Ｃ）の処理を、割り当てられた時間を超えるまでその切り替えフレームにおいて処理を行う。
【０１０４】
シーン構成データベースへの追加処理が、タスク調整部２６が指定した時間内で処理できない場合が発生すると、送信するオブジェクトのデータ規模を細かくするなどの送信オブジェクトのサイズを調整するように、タスク調整部２６に指示／要求を出す。或いは、シーン構成管理部２３の処理時間の割当てを増やすように、タスク調整部２６に指示／要求を出す。
【０１０５】
視点を移動したり、視線を回転させたりすると、同じオブジェクトが表示されていても、表示する為に必要となるオブジェクトの詳細度は異なる。例えば、図７に示すように、ユーザの視点が視点Ａから視点Ｂに移動する場合に、視界Ｙに描画されているオブジェクトＸは、視点Ａの位置で見る時よりも、視点Ｂの位置で見る時の方が、視点からオブジェクトまでの距離が短くなるので、詳細度は高くなる。このように、視点移動あるいは視線方向の回転に伴い表示に必要となる同一オブジェクトの各種詳細度のデータを、表示される順に前回送信したデータとの差分データのみをサーバ１０は、順次分割送信する。この時シーン構成管理部２３は、サーバ１０より受信した受信パケットに収納されている識別情報を確認してから、差分データのみを送信したオブジェクトかどうかを判定する。差分オブジェクトである場合は、３次元オブジェクトを構成するデータのうちポリゴンデータが変更されているかを確認する。変更されている場合は、シーン構成情報データベース２７から同オブジェクトのシーン構成データを削除し、新たに受信したポリゴンデータによるシーン構成データをシーン構成情報データベース２７１に追加するとともに、テクスチャデータを追加する。ポリゴンデータが変更されていない場合は、同オブジェクトが変更前の詳細度で表示される可能性が今後全く無い場合は、これまでに使用していたテクスチャデータを破棄する。可能性がある場合は、変更前の詳細度で表示するために用いたテクスチャデータと、変更後の詳細度で表示するために用いる可能性のあるテクスチャデータを、視点位置によって切り替え表示できるように、シーン構成情報データベース２７に追加する。
上記シーン構成管理部２３は、上記タスク調整部２６により割り当てられた処理時間と、端末ＣＰＵの処理能力から、単位インターバルあたりに、シーン構成データに追加するオブジェクトのデータ容量の上限を決定し、上記タスク調整部２６により割り当てられた処理時間が変更されるに伴い、単位インターバルあたりに追加するオブジェクトのデータ容量の上限を、端末ＣＰＵの処理能力を用いて設定し直す。
【０１０６】
シーン構成管理部２３は、受信した３次元オブジェクトを、タスク調整部２６から指示された１フレームの切り替え表示時間当たりの処理時間内にシーン構成情報データベース２７に登録する。また、時間内に登録できなくなると、タスク調整部２６に処理時間の割当ての変更を要求する。このシーン構成情報データベース２７に登録する動作と、タスク調整部２６に処理時間の割当ての変更を要求する動作について、図９のフローチャートを用いて説明する。
レンダリングにより表示画面が切り替えられた後、受信部２２よりオブジェクトの受信通知を受け取った後、受け取った通知に示されている３次元オブジェクトの中から受信完了時刻が速いオブジェクトから順にオブジェクトを選択する。選択するオブジェクトの数は、オブジェクトのデータサイズからデータの読み取り、データ変換、シーンへの登録処理に要する処理時間を予測し、この予測処理時間を用いて、タスク調整部２６により割り当てられた処理時間内で処理できると予測される数だけ選択する（Ｓ５００１）。そして、同オブジェクトのデータを一時的に登録された主記憶あるいは補助記憶装置から読み取り、データをシーン構成データベースに登録できるデータ構造に変換する（Ｓ５０００２）。この変換処理は、既にサーバにおいて変換し、変換したデータを送信している場合は、この変換処理は不要。登録データがない場合、処理は終了する。
選択するオブジェクトの数は、オブジェクトのデータサイズから統計的に予測されるデータ読み取り処理、データ変換処理、シーン構成データベースへの追加処理に要する時間から決定する。処理時間の予測は、オブジェクトのデータサイズから、統計的に予測される処理ステップ数とクライアント端末２０のＣＰＵの処理速度から処理に要する時間を算出する。
データ変換後、シーン構成データベースへオブジェクトを追加登録する（Ｓ５０００３）。追加登録後、画面切り変え後にこのシーン構成管理部２３の処理をクライアント端末２０のＣＰＵが処理した時間の総計が、タスク調整部２６が割り当てた処理時間を超えているかどうかをチェックする。
【０１０７】
（Ａ）超えていない場合、受信オブジェクトでシーン構成情報データベース２７への登録が未処理であるものが存在する場合、その未処理オブジェクトの内受信処理完了時刻がもっとも早いオブジェクトから順に、あまった時間で、上記データ読み取り処理、データ変換処理、シーン構成情報データベース２７への追加処理が可能と判断されるオブジェクトを選択する。ない場合は、シーン構成管理部２３の処理を終了する。
オブジェクトを選択すると、選択されたオブジェクトのシーン構成情報データベース２７への追加登録処理を行う。これは、予測誤差を吸収し、より効率的なデータのシーンへの追加処理を実現するためのものである。予測誤差は処理予測の統計データに反映し、次回の予測の精度の向上に努める。
（Ｂ）超えた場合、シーン構成情報データベース２７への登録処理を行ったオブジェクトが、１個である場合は、タスク調整部２６により割り当てられた処理時間でシーンへの登録処理ができないことになる。そこで、このような１個のオブジェクトのシーン構成情報データベース２７への登録処理が、上記割り当てられた処理時間内に処理が完了しないという処理がある一定時間継続された場合（Ｓ５０００４）、タスク調整部２６にシーン構成管理部２３の処理時間の割当てを増やすように変更することを要求する（Ｓ５０００５）。
ここでは、処理時間内に処理する「データの読み込み処理＋データ変換処理」と「シーン構成データベースへの登録処理」の両処理に必要とする所要時間でチェックした。しかし、「データの読み込み処理＋データ変換処理」と「シーン構成データベースへの登録処理」とを別フレームの処理にそれぞれ分けて処理してもよい。例えば、２或いは３フレームの切り替えの間で、１個のオブジェクトの追加処理を行うことも可能である。２フレームの切り替えの間で追加処理を行なう場合は、１フレーム目と２フレーム目の間で、「データの読み込み処理、データ変換処理」と「シーン構成データベースへの登録処理」とを行なう。３フレームの切り替えの間で追加処理を行なう場合は、１フレーム目と２フレーム目の間で、「データの読み込み処理、データ変換処理」を行ない、２フレーム目と３フレーム目の間で、「シーン構成データベースへの登録処理」を行なう。
また、状況によっては、上記処理を、それぞれ時分割処理して、複数のフレームの切り替えの間に行うようにしてもよい。
このようにしておくと、シーンへの追加登録処理の処理時間がかなり大きくなっても、フレームレートを変更することなくオブジェクトのシーンへの追加登録が可能となる。ただし、この場合、視点を移動しても表示されないオブジェクトが発生する場合がある。また、あまりにサイズの大きいオブジェクトを追加すると、レンダリング処理時間が大きくなってしまい、結局、指定されたフレームレートを維持することができなくなる危険性が高くなる。
【０１０８】
表示管理部２４の機能について説明する。
表示管理部２４は、レンダリング部２５によるレンダリングの仕方の指示と、レンダリング処理の所要時間を監視する。そして、レンダリング所要時間がタスク調整部２６が割り当てた処理時間を超える場合、レンダリング処理時間が短くなるように、表示品質の制御手法を変更したり、タスク調整部２６にレンダリング処理時間を増やすように指示を出す。このことにより、極力タスク調整部２６が割り当てる処理時間内で、レンダリング処理ができるように表示の管理を行う。
上記表示管理部２４は、表示管理ステップにおいて、３次元オブジェクトの表示する詳細度を調整することにより、表示の切り替えフレームレートを調整する。つまり、詳細度が小さければ３次元オブジェクトデータの量は小さくなるので、表示するための時間が短くなり、フレームレートを上げることができる。反対に、詳細度が大きければ３次元オブジェクトデータの量は大きくなるので、表示するための時間が長くなり、フレームレートを下げることになる。さらに、表示対象であるにもかかわらずサーバから未送信であるオブジェクトの数と、オブジェクトの表示エリアの占有率と、オブジェクトの優先度とによって設定された表示品質に応じて、視点移動速度の上限を設定する。例えば、サーバより未送信のオブジェクトの数が多く、そのオブジェクトの占有率が大きく、優先度が高い場合には、送信されるデータ量が多くなるので、送信にかかる時間が多くなる。このため、視点の移動速度の上限を低めに設定しておき、表示に必要になる３次元オブジェクトデータの量を抑える。
また、視線方向切り変え（回転）速度の上限値を調整する。
上記表示管理部２４あるいは上記タスク調整部２６は、視点移動速度あるいは視線方向切り変え（回転）速度の上限値を調整することにより、表示の切り替えフレームレートを調整する。
例えば、移動速度が速い場合にはフレームレートを上昇させ、移動速度が遅い場合は、フレームレートを小さくする。移動速度の速い、遅いは、予め基準とする移動速度を設定しておき、設定した基準速度と比較して判断する。
上記表示管理部２４は、視点移動速度あるいは視線方向切り変え（回転）速度の上限値を調整することにより、サーバより受信する３次元オブジェクトの受信レートを調整する。
同速度が大きい時は、同速度上限値を小さくすることにより、上記受信レートを小さくする。同速度が大きい場合、単位時間あたりに送信するオブジェクトのデータ量が多くなるため、表示の切り替えレート（フレームレート）が小さくなってしまう。したがって、そのような場合、送信レートを低減する目的で、同移動速度、同回転速度を低減する。
同速度の上限値に制限をくわえるのは、上限値以下の速度での移動ができるようにするためである。
また、同速度が小さいときは、上記上限値を大きくすることにより、上記受信レートを大きくして、受信レートを大きくする。
【０１０９】
上記に示したように、表示管理部２４の表示の管理を行う動作について説明する。
表示管理部２４は、レンダリング処理が割り当てられた処理時間を超えるような場合、あるいは、通信路の輻輳により、単位時間当たりに到達するオブジェクトの数が減少する場合は、レンダリング時の詳細度の高いオブジェクトの数を少なくするように、オブジェクトの表示品質制御を行って詳細度を調整する。調整を行なっても、レンダリング処理時間を超えてしまい、また、表示しようとしても表示データがまだ送られてきていないオブジェクトの数が多い場合は、レンダリング処理時間を増やすように、タスク調整部２６に要求する。
表示管理部２４で、上記のようにＬＯＤ（ＬＯＤはＬｅｖｅｌ ｏｆ ｄｅｔａｉｌの略。詳細度のレベル（程度））制御の手法を変更すると、直ちに、サーバに変更した表示のＬＯＤの実現手法を通知することを要求部２１に指示する。
このことにより、今後サーバから送られてくるオブジェクトは、このＬＯＤに合わせてデータの送信が行われる。
【０１１０】
表示管理部２４は、レンダリング部２５でレンダリングする３次元空間の映像のレンダリング方法、すなわち、各オブジェクトの表示の詳細度をどのようにして決定するのかという画面表示戦略、ユーザの視点位置、視線方向、視野角、画面表示サイズ、画面解像度等をレンダリング部２５の有するオブジェクト表示機能を持つビュワーに通知する。画面表示戦略とは、例えば、タスク調整部２６から指示されたレンダリング処理時間でオブジェクトを表示できるように、オブジェクトの詳細度を決定するという画面表示戦略、視点位置から表示しようとするオブジェクトまでの距離に応じて、オブジェクトの詳細度を決定するという画面表示戦略、視線方向に近いオブジェクトほど詳細度を高く設定して表示するといった画面表示戦略等、のように、ビュワーがオブジェクトを表示するときのオブジェクトの詳細度をどのように決定するかという手法を指す。
また、表示管理部２４は、表示しようとする領域の３次元オブジェクトのデータがない場合は、ビュワーの視点位置、視線方向、視野角、画面表示サイズ、画面解像度、表示の切り替えフレームレート、画面表示戦略、クライアント端末のＣＰＵ速度、クライアント端末におけるハードウェアアクセラレーションカードの有無、メモリ容量等と共に、表示に必要となる３次元オブジェクトのデータの送信を、要求部２１に依頼する。
ある一定時間の間、継続してレンダリング処理が指定された時間内に完了できなくなった場合、タスク調整部２６に対してレンダリング処理のための割当て時間を増やすように要求する。
また、指定された時間内のある一定量の時間以下の処理時間で、レンダリング処理がある一定時間の間完了し続けている場合は、レンダリングのために割り当てられた時間を縮小するようにタスク調整部２６に依頼する。例えば、指定された時間が３秒であり、レンダリング部２５による処理時間が１秒で終了することが５秒間続いた場合には、レンダリング部２５による処理に余裕があると判断できるので、レンダリング部２５に割り当てる処理時間を短縮することが可能となる。
表示管理部２４において、表示の状況から表示戦略の変更あるいは表示戦略をサーバに指示することもある。
【０１１１】
レンダリング部２５の機能について説明する。
レンダリング部２５は、レンダリングステップにおいて表示管理部２４の指示した、視点位置、視線方向、視野角、画面表示サイズ、画面解像度、画面表示戦略にしたがって、シーン構成情報データベース２７からシーン情報を抽出する。そして、その抽出したシーン情報を用いて、表示画面に表示するシーンの映像をレンダリング（描画）する。
【０１１２】
要求部２１の機能について説明する。
要求部２１は、要求ステップにおいて、各部から受け付けた要求（依頼）を処理する。受け付ける要求は、サーバへの要求であり、各部から受け付けた要求をサーバに向けて発信し、３次元オブジェクトデータの送信を要求する。
【０１１３】
受信部２２の機能について説明する。
受信部２２は、受信ステップにおいて、タスク調整部２６が指示した１フレームあたりの受信処理時間をＣＰＵの処理に割り振って、サーバから送信された３次元オブジェクトデータの受信処理を行う。受信処理は、受信したデータを一時的に主記憶装置、補助記憶装置に格納し、格納処理が完了すると、オブジェクトを受信したことをシーン構成管理部２３に通知する。
【０１１４】
タスク調整部２６が割り当てた処理時間で受信処理が完了しなくなった場合の受信部２２の動作について説明する。
タスク調整部２６の指示した処理時間内に受信処理ができないオブジェクトが、ある一定時間の間に指定された回数以上発生すると、受信処理時間を増やすようにタスク調整部２６に依頼する。タスク調整部２６から受信部２２の受信処理時間を加増するとの指示を受けると、その指示にしたがって、受信処理を行う。受信処理を加増しても、指定された受信処理時間内に処理が完了しない場合、あるいは、タスク調整部２６がこれ以上の時間を受信処理に割けないとの指示があると、要求部２１に対して、送信データのオブジェクトの規模、詳細度、送信レートを調整するようにサーバに指示を出すように依頼する。受信処理時間が指定された時間を超えるオブジェクトが、一定時間当たりに発生する数がある指定された値を超えると、通信路の通信速度が想定している通信速度より悪化している場合は、送信レートを低くするようにサーバに指示するよう要求部２１に対して依頼する。受信オブジェクトのデータサイズが大きいために処理時間を超えていると判断した場合は、送信オブジェクトの規模を細分するようにサーバに指示を出すように要求部２１に依頼する。
【０１１５】
タスク調整部２６の機能について説明する。
タスク調整部２６は、タスク調整ステップにおいて、要求部２１、受信部２２、シーン構成管理部２３、表示管理部２４、レンダリング部２５の処理状況を監視し、レンダリング部２５がレンダリングするシーンの切り替え速度（フレームレート）を、指定された一定速度に維持するように各部の処理時間を調整する。
視点の移動速度あるいは視線方向の回転速度に応じて、上記要求部２１、上記受信部２２、上記シーン構成管理部２３、上記表示管理部２４、上記レンダリング部２５の各部に割り当てる処理時間を設定し直す。
【０１１６】
以下、タスク調整部２６が各部の処理時間を調整する動作について説明する。
タスク調整部２６は、各部から処理時間の割当てを変更する要求を受け付けると、各部の処理状況、処理予測にしたがって、要求を極力満足するように各部の処理時間の再割当てを行う。
さらに、タスク調整部２６は、各部から割当て変更要求がなくても、つまり、各部において、予定の処理時間内に処理が完了している場合であっても、強制的に割り当て時間を変更する。強制的に割り当て時間を変更する場合の一例を説明する。予定の時間通りに各部において処理が完了していることは、各部において処理に余裕があると考える。そこで、表示する３次元オブジェクトのデータ容量が大きくなりそうだと判断できるような場合には、受信部２２の処理時間を長くなるように強制的に割り当て時間を変更する。また、割り当て時間の調整が不能と判断された場合は、フレームレートを変更することにより処理の割当て時間を変更する。
また、サーバに対して、送信するオブジェクトの詳細度、オブジェクトの数、送信レートを変更するように要求部２１依頼する。調整不能な状況が一時的なものか、長期化する恐れがあるかによって、フレームレートを変更するか、サーバに変更を依頼するかを決定する。不能状態が一時的なものと判断される場合は、フレームレートを一時的に変更して対処し、長期化する恐れがあると判断した場合は、サーバに対して変更を要求する。不能状態が一時的か、そうでないかの判断は、例えば、通信路の輻輳状況が変化したことにより不能状態に陥った場合は、統計的に、長期間に渡って、輻輳状況が解消されないと判断される場合以外は、原則、フレームレートを一時変更して対処する。しかし、予め所定の時間を設定しておき、その設定した時間を越えて調整不能な状況が続く場合は、長期化すると判断し、設定した時間以内に調整不能な状況が終了する場合には、一時的と判断する。長期化すると判断した場合には、その時点で、サーバへの変更を要求する。
サーバから送信されてくるデータが多くなることにより、不能状態になった場合は、サーバのスケジューリング部１４に対して送信スケジュールを確認するメッセージを送信する。送信スケジュールを調べた結果、今後も同様のデータ量かそれ以上のデータが送信されてくることが確認された場合は、サーバに対して送信するデータを変更するように要求する。例えば、オブジェクトの詳細度を変更するように指示する。
また、指定した画面表示戦略にあった詳細度のオブジェクトのデータを送信するように、あるいは、現在とは異なる最適な画面表示戦略を策定して、その策定した画面表示戦略にあった詳細度のオブジェクトのデータを送信するように、サーバに指示する。
さらに、一時的にデータが多くなり、ある一定時間が経過すると解消されることが確認される場合は、フレームレートを変更することで対処する。一時的にデータが多くなっているのかそうでないのかは、サーバのスケジューリング部１４に対して確認を行うことで判断できる。
以上のような判断をタスク調整部２６において行って、指定されたフレームレートを極力維持するように各部の処理時間を調整する。
【０１１７】
クライアント端末２０に上記各部を備えることにより、通信路の通信速度が変化しても、３次元空間を構成する３次元オブジェクトのデータの疎密によるばらつきがあっても、フレームレートを一定にしたベストエフォートな表示品質を容易に実現することが可能となる。
【０１１８】
さらに、タスク調整部２６が、表示の切り替え速度（フレームレート）を維持するために行う処理について説明する。
受信部２２での受信処理時間がタスク調整部２６により割り当てられた処理時間を超えるために、指定された表示切り替えのフレームレートを維持できなくなると、現在の切り替え表示のフレームレートを引き上げる調整を行う。このために、タスク調整部２６は受信部２２に対して割り当てた時間内で受信処理が完了する受信データレートによって、３次元オブジェクトを送信するように、サーバに対して要求を出すように要求部２１に指示を出す。
受信部２２以外の各部において処理にゆとりがある場合に、そのゆとり分を受信部２２の受信処理に割り当てて、全体としての上記一連の処理の処理時間の総計は変化させないようにしようとする。したがって、ゆとりがない場合は、受信部２２の処理時間の割当てを変更することができない。よって、サーバに、単位インターバル当たりに送信するデータ容量を小さくするように依頼する。
【０１１９】
また、このような受信部２２の受信処理時間が長くなる状況が一時的なものと判断される場合は、一時的にフレームレートを下げて、受信処理時間がタスク調整部２６で割り当てられた処理時間以内で処理が完了するようになるのを待つ。一時的であるかどうかの判断は、もともとサーバがクライアントの受信部２２の受信レートを想定して送信しているにもかかわらず、受信部２２の受信処理が予定より長くなる場合が考えられる。受信部２２の受信処理時間が長くなっている原因は、通信路の輻輳によるものと判断される。したがって、予め設定したある一定時間の間は、一時的と判断する。ある一定時間を超えても解消されない場合は、長期と判断する。長期と判断された場合は、通信路の輻輳状況を考慮して、上記タスク調整部２６が受信部２２に割り当て直した受信処理時間内で受信処理が完了するような送信レートでオブジェクトを送信するように、サーバに対して要求部２１を経由して要求する。
【０１２０】
また、上記タスク調整部２６において、レンダリング処理時間が長くなって上記一連の処理が指定されたフレームレートを超える。しかも、シーン構成データへ追加しようとするオブジェクトに現在の表示対象外であるオブジェクトが存在する場合の処理を説明する。
シーン構成データに対して、現在の表示対象外である一部あるいはすべての同オブジェクトの追加処理を一時保留にする。このことによって、シーン構成管理部２３の処理時間を削減して、指定されたフレームレートにクライアントのフレームレートを近づけるようにシーン構成管理部２３に指示を出す。
サーバから送信されてクライアントでシーン構成データベースに追加登録しようとしたときに、現在の表示対象オブジェクトかどうかの判定を行って、表示対象オブジェクトでることを確認してから、シーン構成情報データベース２７へ登録するようにする。このようなチェックを、シーン構成情報データベース２７へ登録する直前に行うことによって、表示対象となっているオブジェクトを優先してシーンに登録することが可能となる。したがって、シーンへの追加を保留した分、フレームレートの維持に貢献することができる。
一時保留にしたオブジェクトは、視点位置からの距離がある一定値以上離れると、表示することがないと判断して、データそのものを破棄する。それまでは、視界に入ってくる可能制があるオブジェクトとして保留しつづける。さらに、保留中のオブジェクトと視点との距離がある一定値以下の場合は、現在表示対象となっているオブジェクトのシーンへの追加処理が未処理であるオブジェクトがないとともに、レンダリング処理の処理時間がタスク調整部２６の割り当てられた処理時間を超えていない場合に限り、シーンへ追加登録をする。
【０１２１】
また、上記タスク調整部２６において、レンダリング処理時間が長くなって上記一連の処理が指定されたフレームレートを超えた場合には、レンダリング処理時間を短くして指定されたフレームレートに近づけるように、表示するオブジェクトの詳細度を設定し直すように表示管理部２４に指示を出す。または、送信するオブジェクトの詳細度の設定見直しをサーバに要求するよう要求部２１に指示する。
タスク調整部２６が割り当てた処理時間よりレンダリング処理がある一定の処理時間より長くなった場合は、表示管理部２４に対して表示するオブジェクトの詳細度を変更できるオブジェクトがある場合は、表示のためのＬＯＤを設定変更するように指示する。これによって、極力レンダリング処理に要する時間を低減して、画面切り替え表示速度を指定されたフレームレートになるように努める。このような表示管理部２４による詳細度調整が必要な期間がある一定時間以上継続されると、サーバに対して、送信するオブジェクトの詳細度を調整し直す指示を、要求部２１を経由して出す。
また、レンダリング処理時間が上記のある一定時間以下の超過である場合は、ある一定時間が経過するまでは、若干フレームレートが小さくなるが、そのまま処理を継続する。
同一定時間が経過してもレンダリング処理時間がタスク調整部２６が指示した処理時間を超える場合は、サーバに対して送信するオブジェクトの詳細度を設定変更するよう要求部２１に指示を出す。同時に、表示管理部２４に、表示オブジェクトの詳細度を変更して、レンダリング処理時間を低減するように指示を出す。
【０１２２】
実施の形態６．
本実施の形態は、視点の移動速度、あるいは視線方向の回転速度の変化に応じて送信するオブジェクトの詳細度を変更することにより、視点の移動速度、あるいは視線方向の回転速度がユーザのオンデマンドに変更されても、常に、指定されたフレームレートで表示できるようにする３次元空間データ送信表示システムについて説明する。
【０１２３】
上記要求部２１、上記受信部２２、上記シーン構成管理部２３、上記表示管理部２４、上記レンダリング部２５にて処理される一連の処理と、上記サーバにおける上記送信データ容量調整部１１、上記優先度設定部１２、上記３次元オブジェクト抽出部１３、上記スケジューリング部１４、上記ストリーミング送信部１５にて処理される一連の処理に要する処理時間の総計を、指定されたフレームレートを実現する表示画面の切り替えインターバル時間以内に抑えるフレームレート維持管理部について説明する。
【０１２４】
図１０は、実施の形態６に係る３次元空間データ送信表示システムの機能ブロック図である。
図１０において、図１及び図８と同一の符号は同一又は相当の部分を表している。３０は、フレームレート維持管理部である。フレームレート維持管理部３０は、視点の移動速度、あるいは視線方向の回転速度の変化、あるいは送信時の通信路の利用可能通信速度（通信帯域）に応じて送信するオブジェクトの詳細度を変更することにより、上記クライアント端末２０における、上記要求部２１、上記受信部２２、上記シーン構成管理部２３、上記表示管理部２４、上記レンダリング部２５、上記タスク調整部２６にて処理される一連の処理と、上記サーバにおける、上記送信データ容量調整部１１、上記優先度設定部１２、上記３次元オブジェクト抽出部１３、上記スケジューリング部１４、上記ストリーミング送信部１５、にて処理される一連の処理、に要する処理時間の総計を、指定されたフレームレートを実現する表示画面の切り替えインターバル時間以内に抑えるフレームレート維持管理部である。フレームレート維持管理部３０は、サーバ１０に備えられクライアント端末を監視して、監視した結果に基づいて、サーバ１０の１１〜１５の各部に対して指示を与える。
【０１２５】
フレームレート維持管理部３０の機能について説明する。
視点移動速度あるいは視線回転速度が変化すると、単位時間当たりに、視界に入ってくる。あるいは、視界に入ってくると予測される表示対象空間領域の領域サイズが変化する。
同表示対象空間領域サイズの変化に伴い、同空間領域に含まれる３次元オブジェクトの数、データ量が変化する。また、視点の移動速度、視線の回転速度が変化しなくても、３次元空間のオブジェクトの疎密状態によっては、サーバ１０からクライアント端末２０に単位時間当たりに送信しなければならないデータ量が時々刻々変化する。したがって、この視点移動速度あるいは視線回転速度の変化、あるいは、視点の移動、あるいは、視線の回転に応じて変化するサーバが送信するデータ容量を、送信するオブジェクトの詳細度を変更して送信オブジェクトの選択手法を変更することにより、クライアント端末２０での空間の表示の切り替え速度（フレームレート）を一定に保つ。
【０１２６】
また、視点の移動、あるいは視線方向の回転移動により新たに視界に入る３次元オブジェクトをサーバ１０からクライアント端末２０に送信して表示するのに祭し、上記要求部２１、上記受信部２２、上記シーン構成管理部２３、上記表示管理部２４、上記レンダリング部２５、上記タスク調整部２６、上記送信データ容量調整部１１、上記優先度設定部１２、上記３次元オブジェクト抽出部１３、上記スケジューリング部１４、上記ストリーミング送信部１５、において行われる一連の処理を、指定されたフレームレートを実現する１フレーム（表示）切り替えインターバル時間内で処理することにより、常に、指定されたフレームレートで３次元空間を表示することが可能となる。
【０１２７】
また、通信路の輻輳状況が変化する場合は、通信路の輻輳状況の変化により変化する利用可能通信速度（通信帯域）に応じて、サーバが送信するオブジェクトの詳細度を変更する。サーバが単位時間あたりにクライアントに送信するデータ容量を変更することにより、上記一連の処理を、指定されたフレームレートを実現する１フレーム（表示）切り替えインターバル時間内で処理することが可能となり、常に、指定されたフレームレートでの３次元空間の表示を実現する。
【０１２８】
視点の移動、視線の回転、視点移動速度あるいは視線回転速度の変化に応じて、サーバ１０からクライアント端末２０に単位時間当たりに送信しなければならないデータ量が時々刻々変化する場合に、送信するオブジェクトの詳細度を変更し、送信オブジェクトの選択手法を変更することにより、上記一連の処理を指定されたフレームレートを実現する１フレーム（表示）切り替えインターバル時間内で処理するフレームレート維持管理部３０の動作について説明する。
【０１２９】
視点の移動や視線の回転により、サーバ１０からクライアント端末２０に単位時間当たりに送信しなければならないデータ量は、３次元空間の３次元オブジェクトの存在する疎密度に応じて変化する。また、視点移動速度あるいは視線回転速度が適宜変化すると、同変化に応じて単位時間当たりに視界に入ってくる３次元オブジェクトの数が変化する。したがって、この単位時間あたりにサーバからクライアントに送信しなければならないオブジェクトのデータ容量は、視点の移動や視線の回転時に視界に入ってくる空間の疎密状況、視点移動速度／視線回転速度あるいは速度の変化に応じて変化する。このとき、単位時間あたりに送信しなければならないデータ容量が、通信路の利用可能な通信速度以下であれば、オブジェクトの詳細度は変更しない。しかし、通信速度以上であれば、オブジェクトの詳細度を変更して、単位時間あたりの送信データ容量を、送信時に通信路の利用可能な送信帯域までデータ容量を低減する。
さらに、このようにしてクライアント端末２０に送信したオブジェクトが、クライアント端末２０におけるシーン構成情報データベース２７への登録処理、レンダリング処理に要する時間等の上記一連の処理の要する時間の総計が、指定されたフレームレートを実現する１フレーム（表示）切り替えインターバル時間内におさまっているか、各部の処理状況を監視する。処理時間がオーバーすると、オブジェクトの詳細度の設定方法を変更して、上記処理時間が同インターバル時間内に収まるようにする。
また、このような詳細度の調整では、上記処理時間を同インターバル時間内に収めることができない場合は、注視する表示画面のオブジェクトの詳細度を、極力変化しないように設定する必要があるため、すべてのオブジェクトを送信表示するのではなく、主だったオブジェクトを優先して送信し表示することにより、送信データ容量を低減させ、切り替え表示のフレームレートを維持する。
ただし、一度視界に入った領域が再度視界に入る場合、あるいは、視界に入ったが、表示されずに一定時間の経過後に、視点の移動が止まったり、視点移動速度が遅くなったために、単位時間あたりに送信しなければならないオブジェクトのデータ容量が小さくなった場合は、データ容量が小さくなった分、サーバからは未送信データが送信される。さらに、送信データ容量にゆとりがある場合には、ゆとりが発生した帯域を使って、視界に入っているデータの詳細度を上げるためのデータがサーバ１０より追加送信される。送信された時点では、送信データが多かったため、表示の詳細度を低く設定して、送信し表示されているオブジェクトは、詳細度は低いが、視点移動速度が遅くなったために、送信データ容量が小さくなったため、表示の詳細度の設定をもとの設定に戻そうとする。このとき、詳細度が全体的に高く設定しなおされるため、既表示されているオブジェクトの詳細度と異なる詳細度が再設定される場合がある。このように、現在の視界に入っているオブジェクトの表示の詳細度の設定規則が変化したために、送信当時のオブジェクトの詳細度との差分が発生したオブジェクトに対しては、その差分を送信する。
【０１３０】
通信路の通信帯域が変化したことによる、サーバの単位時間当たりのデータ送信容量の変更に伴うオブジェクトの詳細度の変更手法は、上記視点の移動速度が変更される場合と同様である。
すなわち、通信路の通信帯域が小さくなると、サーバから送信する単位時間当たりのデータ容量も小さくなるように変更する。その逆も同様である。
【０１３１】
実施の形態７．
本実施の形態では、上記クライアント端末２０における表示の切り替えフレームレート（切り替え回数／秒）を、上記一連の処理に要する処理時間として指定された一定時間の平均値より算出されるレート値として認識し、同フレームレートを指定されたフレームレート（レート値）に維持するために、送信するオブジェクトの詳細度、上記一定時間以内にクライアント端末２０の視界に入ると予測した空間領域に存在するオブジェクトデータの中からクライアント端末２０に送信するオブジェクトとして選択するオブジェクトのデータ容量の総計の上限値を調整するようにサーバに要求するタスク調整部２６と、上記タスク調整部２６の要求に応じて上記オブジェクトの詳細度の調整を行うサーバの上記３次元オブジェクト抽出部１３、上記上限値の設定変更を行う上記送信データ容量調整部１１について説明する。
【０１３２】
実施の形態２に記載した３次元空間データ送信表示システムのタスク調整部２６では、クライアント端末のビュワーで実現するフレームレートを単位時間当たりの表示の切り替え回数（フレームレート）に、近づけるように制御する際、時々刻々検出したフレームレートを端末のフレームレートとして採用していた。しかし、本実施の形態では、指定された一定時間の間に検出されたフレームレートの平均値をクライアント端末のフレームレートとして採用する。しかも、指定された一定時間の長さをフレームレートの変動状況に応じて調整する。このことにより、端末で検出されるフレームレートが頻繁にしかも微妙に上下に変動する場合に多発する上記一連の処理の変更による処理のオーバーヘッドが原因で、ますますフレームレートの維持が困難になり、可制御性が逆に劣ってしまい、しかも、その分、オブジェクトの送信データ量が減少し、表示のために割り当てられる時間が減少してますます表示品質が悪くなってしまうという問題を解消する。
【０１３３】
上記タスク調整部２６は、上記クライアント端末２０における表示の切り替えフレームレート、すなわち、上記一連の処理に要する処理時間として指定された一定時間の平均値より算出されるレート値が、指定されたレート値より小さくなると、上記クライアント端末２０における表示の切り替えフレームレートを指定されたレート値に近づけるために、すなわち、表示のために要する処理時間を低減させるために、オブジェクトの詳細度を現状より小さく設定し直す（変更する）ように上記３次元オブジェクト抽出部１３に、また、上記上限値を低減させるように上記送信データ容量調整部１１に要求する。
上記要求を受け付けると上記３次元オブジェクト抽出部１３は、送信するオブジェクトの詳細度を低減させることにより、送信オブジェクトのデータ容量を低減する。送信オブジェクトのデータ容量が小さくなると、その分、受信処理時間、シーン構成データベースへの追加処理、レンダリング処理時間がそれぞれ短くなる。このことにより、上記一連の処理時間が減少する。したがって、表示を１回切り替えるのに要する処理時間の総計が減少することにより、表示のフレームレートが上昇する。
【０１３４】
同算出されたフレームレートが、指定されたレート値より大きくなった場合の対処方法は、以下に示すとおりである。
（１）通信路の利用可能通信速度が大きくなったために、クライアント端末２０のフレームレートが大きくなった場合、
上記３次元オブジェクト抽出部１３は、送信オブジェクトの詳細度が、予め指定されている、あるいは通信路が輻輳なしの状態で利用可能通信速度を想定して算出される各オブジェクトの詳細度と比較して、粗く小さい場合は、前記想定詳細度を限度として、各オブジェクトの詳細度をより詳細に高く設定するようにする。また、上記送信データ容量調整部１１は、上記送信データ容量の総量の上限値を増やす。
（２）通信路の利用可能通信速度が変化していない場合は、上記３次元オブジェクト抽出部１３、上記送信データ容量調整部１１は、何も変更せずそのまま処理を継続する。
また、上記クライアント端末２０における表示の切り替えフレームレート、すなわち、上記一連の処理に要する処理時間として指定された一定時間の長さを調整することにより、送信するオブジェクトの詳細度、あるいはオブジェクトのデータ容量の総計の上限値を、調整する頻度を低減したり、より細かいフレームレートの変化に追随させて調整する。
同一定時間が長くなればなるほど、フレームレートの上下の変動を吸収しやすくなるため、フレームレートの実際の変動より、変動幅がゆるやかになる。このため、上記３次元オブジェクト抽出部１３、上記送信データ容量調整部１１の処理方法を変更する回数（頻度）を低減することができる。
また、逆に、上記クライアント端末２０における表示の切り替えフレームレート、すなわち、上記一連の処理に要する処理時間として指定された同一定時間を短くすると、フレームレートの変動により敏感に送信するオブジェクトデータの詳細度、データ容量を変更することができる。
また、クライアント端末２０の仮想空間を表示するフレームレートが指定された値より上昇すると、サーバ１０は、送信データレートを大きくするか、または、送信オブジェクトの詳細度を高く設定し直す。
また、クライアント端末２０の仮想空間を表示するフレームレートが指定された値より下降すると、サーバ１０は、送信データレートを小さくするか、または、送信オブジェクトの詳細度を低く設定し直す。
【０１３５】
【発明の効果】
この発明は、以上に説明したように構成されているので、以下に記載されているような効果を奏する。
【０１３６】
この発明にかかる３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信表示方法、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体では、
通信路の時々刻々変化する輻輳状況に応じて変化する通信路の利用可能な伝送速度の変化の度合いに適応して、サーバ装置からクライアント装置に送信する３次元オブジェクトデータとして選択する３次元オブジェクトデータのデータ容量の上限値を、設定し直す。このため、通信路の時々刻々変化する輻輳状況に応じて変化する通信路の利用可能な伝送速度の変化に即応した３次元オブジェクトデータの送信が実現できる。このことにより、送信効率を向上させることができる効果がある。
【０１３７】
また、この発明にかかる３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信表示方法、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体では、
サーバ装置は、送信先のクライアント装置の３次元オブジェクトデータを登録保管することのできるメモリの総容量の変化する度合いに応じて、クライアント装置へ所定の単位時間当たりに送信するデータ容量の上限値を設定し直す。このため、クライアント装置の３次元オブジェクトデータを登録保管することのできるメモリの総容量の変化に即応した、適正なデータ容量のオブジェクトを効率よく送信することが可能となる効果がある。
【０１３８】
また、この発明にかかる３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信表示方法、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体では、
サーバ装置は、送信先のクライアント装置の負荷状況の変化する度合いに応じて、クライアント装置へ所定の単位時間当たりに送信するデータ容量の上限値を設定し直す。このため、クライアント装置の処理の負荷状況に即応した３次元オブジェクトデータを送信することが可能となる。このことにより、クライアントの処理効率を低減することなく、効率のよい３次元オブジェクトデータを転送することを実現することが可能となる効果がある。
【０１３９】
また、この発明にかかる３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信表示方法、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体では、
サーバ装置は、視点の移動速度の変化あるいは視線方向の変更速度の変化に応じて、クライアント装置へ所定の単位時間当たりに送信するデータ容量の上限値を設定し直す。このため、視点の移動速度、視線方向の回転速度の変化により単位時間当たりに送信するデータ容量が増することによる、クライアント装置の表示処理の低減、通信路の送信可能データ容量を越えたデータ送信しようとすることによる、送信効率の低下を抑制することが可能となる効果がある。
【０１４０】
また、この発明にかかる３次元空間データ送信表示システムでは、
サーバ装置は、現在の視点位置において既に表示画面の視界内に存在する３次元オブジェクトデータと視点移動に伴い新たに視界に入ってくると予測される３次元オブジェクトデータとに対して、あらかじめ設定した利用目的に応じて優先度情報を設定する。また、優先度が高い３次元オブジェクトデータほど、かつ、送信前の通信路の輻輳状況を考慮した利用可能な伝送速度が速いほど、３次元オブジェクトデータの詳細度情報を高く設定し、送信データ容量の上限値が変更される度に、上記上限値の変更前に設定された上記３次元オブジェクトデータの詳細度情報を設定し直し、変更された送信データ容量の上限値を超えないように、優先度の高い３次元オブジェクトデータから順に選択し直す。また、表示画面に表示される出現順または視点位置に近い３次元オブジェクトデータ程早く送信するように、クライアント装置に送信する３次元オブジェクトデータの送信スケジュールを、上記送信データ容量の上限値が変更される度に、選択し直した３次元オブジェクトデータに基づいて設定し直す。また、上記送信データ容量の上限値が変更される度に、設定し直した送信スケジュールに切り替えて、同設定し直したスケジュールにしたがって３次元オブジェクトデータを送信する。このため、視点の移動速度あるいは視線方向の変更速度が変化しても、効率的なデータの送信と表示を実現することが可能となる効果がある。
【０１４１】
また、この発明にかかる３次元空間データ送信表示システムでは、上記ストリーミング部は、３次元オブジェクトデータを構成するポリゴンデータは、再送保証データとして送信し、テクスチャデータは、ベストエフォート保証データとして送信する。このため、通信路の輻輳状況が急激に悪化して送信速度が低下しても、クライアント装置で表示される表示画面の切り替えフレームレートを常に一定に保つような処理が可能となる効果がある。
【０１４２】
また、この発明にかかる３次元空間データ送信表示システムでは、上記ストリーミング送信部は、ポリゴンデータは同一パケットに収納し、テクスチャデータは、パケットロスして再送せずとも、大まかなテクスチャデータのマッピングができるようにするために、１個のオブジェクトにマッピングするテクスチャデータを複数個のパケットに分割して収納して送信する。このため、１個のパケットがロスしても、再送することなくテクスチャマッピングすることが可能となる効果がある。
【０１４３】
また、この発明にかかる３次元空間データ送信表示システムでは、上記クライアント装置は、要求部、受信部、シーン構成管理部、表示管理部、レンダリング部の処理状況を監視し、レンダリング部がレンダリングするフレームレート（表示画面切り替え速度）を、所定の指定された一定速度に維持するように各部の処理時間の調整を行うようにした。そして、上記要求部、受信部、シーン構成管理部、表示管理部、レンダリング部により実行される一連の処理が、一定の時間間隔で繰り返し実行される。このため、クライアント装置で表示されるフレームレートを常に一定に保つような処理が可能となる効果がある。
【０１４４】
また、この発明にかかる３次元空間データ送信表示システムでは、上記タスク調整部は、受信部での受信処理時間がタスク調整部により割り当てられた処理時間を超えるために、指定されたフレームレートを維持できなくなったとき、指定されたフレームレートを実現するために、タスク調整部が割当て直した受信部の受信処理時間内で受信処理が完了する受信レートで、３次元オブジェクトデータを送信するよう送信レートの変更指示をサーバ装置に要求する。このため、クライアント装置におけるフレームレートを常に一定に保つような処理が可能となる効果がある。
【０１４５】
また、この発明にかかる３次元空間データ送信表示システムでは、上記タスク調整部は、レンダリング処理時間が長くなってクライアント装置における一連の処理が指定されたフレームレートを超え、しかもシーン構成データベースへ追加しようとする３次元オブジェクトデータに現在の表示対象外である３次元オブジェクトデータが存在する場合、シーン構成データベースへの現在の表示対象外である、一部あるいはすべての３次元オブジェクトデータの追加処理を一時保留にすることによって、シーン構成管理部の処理時間を削減して指定されたフレームレートにクライアント装置のフレームレートを近づけるようにシーン構成管理部に指示を出す。このため、クライアント装置で表示される表示画面の切り替えフレームレートを常に一定に保つような処理が可能となる効果がある。
【０１４６】
また、この発明にかかる３次元空間データ送信表示システムでは、上記タスク調整部は、レンダリング処理時間が長くなってクライアント装置の一連の処理が指定されたフレームレートを超えた場合、レンダリング処理時間を短くして指定されたフレームレートに近づけるように、表示するオブジェクトの詳細度を設定し直すように表示管理部に指示を出す。また、送信する３次元オブジェクトデータの詳細度の設定見直しをサーバ装置に要求する。このため、クライアント装置で表示される表示画面の切り替えフレームレートを常に一定に保つような処理が可能となる効果がある。
【０１４７】
また、この発明にかかる３次元空間データ送信表示システムでは、上記シーン構成管理部は、上記タスク調整部により割り当てられた処理時間と、クライアント装置の処理能力とから、単位インターバルあたりに、シーン構成データベースに追加する３次元オブジェクトデータのデータ容量の上限を決定する。また、上記シーン構成管理部は、上記タスク調整部により割り当てられた処理時間が変更されるに伴い、単位インターバルあたりに追加する３次元オブジェクトデータのデータ容量の上限を、クライアント装置の処理能力を用いて設定し直す。このため、クライアント装置で表示される表示画面の切り替えフレームレートを常に一定に保つような制御が容易となる効果がある。
【０１４８】
また、この発明にかかる３次元空間データ送信表示システムでは、上記表示管理部あるいは上記タスク調整部は、視点移動速度あるいは視線回転速度の上限値を調整することにより、表示の切り替えフレームレートを調整する。このため、視点移動速度あるいは視線回転速度を調整することにより、クライアント装置で表示される表示画面の切り替えフレームレートを容易に調整することができる効果がある。
【０１４９】
また、この発明にかかる３次元空間データ送信表示システムでは、上記表示管理部は、視点移動速度あるいは視線回転速度の上限値を調整することにより、サーバ装置より受信する３次元オブジェクトデータの受信レートを調整する。このため、視点移動速度あるいは視線回転速度を調整することにより、クライアント装置で表示される表示画面の切り替えフレームレートを容易に調整することができる効果がある。
【０１５０】
また、この発明にかかる３次元空間データ送信表示システムでは、上記シーン構成管理部は、シーン構成データベースへ３次元オブジェクトデータを追加登録する処理が上記タスク調整部において指定された処理時間内に処理できない場合が発生すると、サーバ装置が送信する３次元オブジェクトデータのデータ容量を調整するか、上記シーン構成管理部の処理時間の割当てを増やすように上記タスク調整部に要求する。このため、３次元オブジェクトデータの送信と、クライアント装置の表示処理の処理効率を向上させることができる効果がある。
【０１５１】
また、この発明にかかる３次元空間データ送信表示システムでは、上記表示管理部は、レンダリング処理が割り当てられた処理時間を超える場合あるいは、通信路の輻輳状況の変化により単位時間当たりに到達するオブジェクトの数が減少する場合に、レンダリング時の詳細度の高い３次元オブジェクトデータの数を減少させるように、３次元オブジェクトデータの詳細度を調整する表示品質制御を行う。このため、３次元オブジェクトデータの送信と、クライアント装置の表示処理の処理効率を向上させることができる効果がある。
【０１５２】
また、この発明にかかる３次元空間データ送信表示システムでは、上記受信部は、受信処理がタスク調整部の維持した処理時間内に処理ができない３次元オブジェクトデータがある一定時間の間に指定された回数以上発生すると、受信処理時間を増やすようにタスク調整部に依頼する。受信処理を加増しても、指定された受信処理時間内に処理が完了しない場合、あるいは、タスク調整部がこれ以上の時間を受信処理に割けないとの指示があると、上記要求部に対して、送信データのオブジェクトの規模、詳細度、送信レートを調整するようにサーバ装置に指示を出すように依頼する。受信処理時間が指定された時間を超える３次元オブジェクトデータが、一定時間当たりに発生する数がある指定された値を超えると、通信路の通信速度が想定している通信速度より悪化している場合は、サーバ装置に対して送信レートを低くするように、上記要求部に対して指示するよう依頼する。受信した３次元オブジェクトデータのデータサイズが大きいために処理時間を超えていると判断した場合は、送信する３次元オブジェクトデータの規模を細分するようにサーバ装置に指示を出す。このため、３次元オブジェクトデータの送信と、クライアント装置の受信表示処理の処理効率を向上させることができる効果がある。
【０１５３】
また、この発明にかかる３次元空間データ送信表示システムでは、上記タスク調整部は、上記要求部、上記受信部、上記シーン構成管理部、上記表示管理部、上記レンダリング部のいずれかの処理が上記タスク調整部が指示した処理時間内に処理ができなくなった場合に、各部の処理時間を調整しても同指示した処理時間内に処理を終えることができない場合、同調整不能時期が一時的である場合は、フレームレートを一時的に変更する。長期化する恐れが高い場合は、サーバ装置に送信する３次元オブジェクトデータの詳細度、オブジェクトの数、送信レートを変更するよう指示を出す。このため、３次元オブジェクトデータの送信と、クライアント装置の受信表示処理の処理効率を向上させることができる効果がある。
【０１５４】
また、この発明にかかる３次元空間データ送信表示システムでは、上記タスク調整部は、上記クライアント装置におけるフレームレート、すなわち、上記一連の処理に要する処理時間の指定された一定時間の平均値より算出されるレート値を指定されたレート値に維持するために、送信する３次元オブジェクトデータの詳細度を調整するようにサーバ装置の上記オブジェクト抽出部に要求する。上記オブジェクト抽出部は、上記要求に応じて、送信するオブジェクトの詳細度を設定変更する。このため、計測されるフレームレートが頻繁に上下に変動する場合でも、平均値より算出されるレート値を指定されたレート値に維持するために、サーバ装置への変更要求を出す頻度を抑制することができ、効率の良い処理が実現できる効果がある。
【０１５５】
また、この発明にかかる３次元空間データ送信表示システムでは、上記タスク調整部は、上記クライアント装置におけるフレームレート、すなわち、上記一連の処理に要する処理時間の指定された一定時間の平均値より算出されるレート値を指定されたレート値以下に維持するために、上記一定時間以内にクライアント装置の視界に入ると予測した空間領域に存在する３次元オブジェクトデータの中からクライアント装置に送信する３次元オブジェクトデータとして選択するデータ容量の上限値を調整するように、サーバ装置の上記送信データ容量調整部に要求する。このため、平均値より算出されるレート値を指定されたレート値以下に維持するために、計測されるフレームレートが頻繁に上下に変動する場合でも、サーバ装置への変更要求を出す頻度を抑制することができ、効率の良い処理が実現できる効果がある。
【０１５６】
また、この発明にかかる３次元空間データ送信表示システムでは、上記タスク調整部は、上記フレームレートを調整することにより、上記サーバ装置のオブジェクト抽出部に対して送信する３次元オブジェクトデータの詳細度情報を調整することを要求する頻度を低減する。あるいは、上記サーバ装置の送信データ容量調整部に対してデータ容量の上限値を調整することを要求する頻度を低減する。このため、計測されるフレームレートが頻繁に上下に変動する場合でも、サーバ装置への変更要求を出す頻度を抑制することができ、効率の良い処理が実現できる効果がある。
【０１５７】
また、この発明にかかる３次元空間データ送信表示システムでは、上記クライアント装置の要求部、受信部、シーン構成管理部、表示管理部、レンダリング部、タスク調整部にて処理される一連の処理と、
上記サーバ装置の送信データ容量調整部、優先度設定部、３次元オブジェクト抽出部、スケジューリング部、ストリーミング送信部、にて処理される一連の処理、に要する処理時間の総計を、視点の移動速度、あるいは視線方向の回転速度の変化に応じて送信する３次元オブジェクトデータの詳細度を変更することにより、指定されたフレームレートを実現する表示画面の切り替えインターバル時間以内に抑えるフレームレート維持管理部を備えた。このため、クライアント装置で表示される表示画面の切り替えフレームレートを、常に一定に保つような処理が可能となる効果がある。
【０１５８】
また、この発明にかかる３次元空間データ送信表示システムでは、上記フレームレート維持管理部において、通信路の輻輳状況の変化により変化する利用可能通信速度に応じて、送信する３次元オブジェクトデータの詳細度情報を変更することにより、要求部、受信部、シーン構成管理部、表示管理部、レンダリング部、タスク調整部、送信データ容量調整部、優先度設定部、３次元オブジェクト抽出部、スケジューリング部、ストリーミング送信部、において行われる一連の処理を、指定されたフレームレートを実現する表示画面の切り替えインターバル時間以内に抑える。このため、クライアント装置で表示される表示画面の切り替えフレームレートを常に一定に保つような処理が可能となる効果がある。
【０１５９】
また、この発明にかかる３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体、３次元空間データ送信表示方法、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体では、
通信路の利用可能通信速度の変化量を検出し、同変化量の検出前の一定時間あたりの平均通信速度に対する変化の度合いを算出する算出ステップと、
送信データ容量の上限値を、上記算ステップで算出した通信速度の変化の度合いに応じて、変更量を算出し、同変更量を加味して設定し直す上限値再設定ステップと、
一定量の未送信データを残してそれ以外の未送信データの送信スケジュールを破棄する送信スケジュール破棄ステップと、
今後の一定時間の視点の移動により視界に入ってくると予測し直した空間領域に含まれる３次元オブジェクトデータに対して、あらかじめ設定した３次元空間データを表示する目的に応じて優先度情報を設定し直す優先度設定ステップと、設定し直した優先度と、通信路の現在利用可能な通信速度、送信先移動端末のデータ処理能力、３次元オブジェクトデータのレンダリング処理能力、メモリ容量に応じて、送信する３次元オブジェクトデータの詳細度を決定し直し、優先度の高い３次元オブジェクトデータから順に、送信データ容量の上限値まで、送信する３次元オブジェクトデータを選択し直す選択ステップと、
表示画面に表示される出現順、または、視点位置に近い３次元オブジェクトデータ、または、視線方向に近い３次元オブジェクトデータ等程、早く表示できるように、同３次元オブジェクトデータの送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった一定量の未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定し直した上記送信スケジュールをマージした送信スケジュールにしたがって、同３次元オブジェクトを送信する送信ステップとを有する。このため、３次元オブジェクトデータの送信と、クライアント装置の表示処理の処理効率を向上させることができる効果がある。
【０１６０】
また、この発明にかかる３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体、３次元空間データ送信表示方法、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体では、
クライアント装置のメモリの記憶容量の変化量を検出し、同変化量の検出前のメモリの記憶容量に対する変化の度合いを算出する算出ステップと、
送信データ容量の上限値を、上記算ステップで算出した記憶容量の変化の度合いに応じて、変更量を算出し、同変更量を加味して設定し直す上限値再設定ステップと、
一定量の未送信データを残してそれ以外の未送信データの送信スケジュールを破棄する送信スケジュール破棄ステップと、
今後の一定時間の視点の移動により視界に入ってくると予測し直した空間領域に含まれる３次元オブジェクトに対して、あらかじめ設定した３次元空間データを表示する目的に応じて、優先度情報を設定し直す優先度設定ステップと、
設定し直した優先度情報と、通信路の現在利用可能な通信速度、送信先移動端末のデータ処理能力、３次元オブジェクトのレンダリング処理能力、メモリ容量に応じて、送信する３次元オブジェクトデータの詳細度を決定し直し、優先度の高い３次元オブジェクトデータから順に、送信データ容量の上限値まで、送信する３次元オブジェクトデータを選択し直す選択ステップと、
表示画面に表示される出現順、または、視点位置に近い３次元オブジェクトデータ、または、視線方向に近い３次元オブジェクトデータ等程、早く表示できるように、同３次元オブジェクトデータの送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった一定量の未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定し直した上記送信スケジュールをマージした送信スケジュールにしたがって、同３次元オブジェクトデータを送信する送信ステップ
とを有する。このため、３次元オブジェクトデータの送信と、クライアント装置の表示処理の処理効率を向上させることができる効果がある。
【０１６１】
また、この発明にかかる３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体、３次元空間データ送信表示方法、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体では、
送信先のクライアント装置の負荷状況の変化量を検出し、同変化量の検出前の負荷量に対する変化の度合いを算出する算出ステップと、
送信データ容量の上限値を、上記算ステップで算出した負荷量の変化の度合いに応じて、算出し、同変更量を加味して設定し直す上限値再設定ステップと、
一定量の未送信データを残してそれ以外の未送信データの送信スケジュールを破棄する送信スケジュール破棄ステップと、
今後の一定時間の視点の移動により視界に入ってくると予測し直した空間領域に含まれる３次元オブジェクトデータに対して、あらかじめ設定した３次元空間データを表示する目的に応じて、優先度情報を設定し直す優先度設定ステップと、
設定し直した優先度と、通信路の現在利用可能な通信速度、送信先移動端末のデータ処理能力、３次元オブジェクトデータのレンダリング処理能力、メモリ容量に応じて、送信する３次元オブジェクトデータの詳細度を決定し直し、優先度の高い３次元オブジェクトデータから順に、送信データ容量の上限値まで、送信する３次元オブジェクトデータを選択し直す選択ステップと、
表示画面に表示される出現順、または、視点位置に近い３次元オブジェクトデータ、または、視線方向に近い３次元オブジェクトデータ等程、早く表示できるように、同３次元オブジェクトデータの送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった一定量の未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定し直した上記送信スケジュールをマージした送信スケジュールにしたがって、同３次元オブジェクトデータを送信する送信ステップとを有する。このため、３次元オブジェクトデータの送信と、クライアント装置の表示処理の処理効率を向上させることができる効果がある。
【０１６２】
また、この発明にかかる３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体、３次元空間データ送信表示方法、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体では、
視点の移動速度の変化あるいは視線方向の変更速度の変化量を検出し、同変化量の検出前の視点の移動速度あるいは視線方向の変更速度に対する変化の度合いを算出する算出ステップと、
送信データ容量の上限値を、上記算ステップで算出した視点の移動速度あるいは視線方向の変更速度の変化の度合いに応じて、算出し、同変更量を加味して設定し直す上限値再設定ステップと、
一定量の未送信データを残してそれ以外の未送信データの送信スケジュールを破棄する送信スケジュール破棄ステップと、
今後の一定時間の視点の移動により視界に入ってくると予測し直した空間領域に含まれる３次元オブジェクトデータに対して、あらかじめ設定した３次元空間データを表示する目的に応じて、優先度情報を設定し直す優先度設定ステップと、
設定し直した優先度と、通信路の現在利用可能な通信速度、送信先移動端末のデータ処理能力、３次元オブジェクトデータのレンダリング処理能力、メモリ容量に応じて、送信する３次元オブジェクトデータの詳細度を決定し直し、優先度の高い３次元オブジェクトデータから順に、送信データ容量の上限値まで、送信する３次元オブジェクトデータを選択し直す選択ステップと、
表示画面に表示される出現順、または、視点位置に近い３次元オブジェクトデータ、または、視線方向に近い３次元オブジェクトデータ等程、早く表示できるように、同３次元オブジェクトデータの送信スケジュールを設定する送信スケジュール設定ステップと、
上記送信スケジュール破棄ステップにおいて破棄しなかった一定量の未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定し直した上記送信スケジュールをマージした送信スケジュールにしたがって、同３次元オブジェクトデータを送信する送信ステップとを有する。このため、３次元オブジェクトデータの送信と、クライアント装置の表示処理の処理効率を向上させることができる効果がある。
【０１６３】
また、この発明にかかる３次元空間データ送信方法では、上記優先度設定ステップは、視点の移動速度あるいは視線方向の変更速度の変化に応じて、優先度を設定し直し、
上記選択ステップは、視点の移動速度あるいは視線方向の変更速度の変化に応じて３次元オブジェクトデータの詳細度を設定し直し、優先度の高い３次元オブジェクトデータから順に、送信データ容量の上限値まで、送信する３次元オブジェクトデータを選択し直し、
上記送信スケジュール設定ステップは、選択し直された３次元オブジェクトデータの送信スケジュールを設定し直す。このため、３次元オブジェクトデータの送信処理の効率を向上させることができる効果がある。
【０１６４】
また、この発明にかかる３次元空間データ表示方法、３次元空間データ表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体、３次元空間データ送信表示方法、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体では、
上記クライアント装置において、
上記サーバ装置へ３次元オブジェクトデータの送信要求を出す要求ステップと、
上記サーバ装置から順次オブジェクト単位に送信されてくる３次元オブジェクトデータを着信順に、順次主記憶装置または補助記憶装置に登録保管していき、登録保管後、３次元仮想空間への追加処理を順次依頼する受信ステップと、
上記受信ステップにおいて通知のあった３次元オブジェクトデータを３次元仮想空間に追加を行う依頼を受け付けて、シーン構成情報データベースに追加するシーン構成管理ステップと、
表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
シーン構成情報データベースに登録されたシーン構成情報に基づいて視点から見える３次元仮想空間をレンダリングするレンダリングステップと、
上記要求ステップ、上記受信ステップ、上記シーン構成管理ステップ、上記表示管理ステップ、上記レンダリングステップの処理状況を監視し、上記レンダリングステップにおいてレンダリングされるフレームレートを指定された一定速度に維持するように各部の処理時間の調整を行うタスク調整ステップとを有し、
上記要求ステップ、上記受信ステップ、上記シーン構成管理ステップ、上記表示管理ステップ、上記レンダリングステップにより実行される一連の処理が、一定の時間間隔で繰り返し実行される。このため、３次元オブジェクトデータの送信と、クライアント装置の受信表示処理の処理効率を向上させることができる効果がある。
【０１６５】
また、この発明にかかる３次元空間データ表示方法、３次元空間データ表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体では、
上記タスク調整ステップは、上記クライアント装置において、上記受信ステップでの受信処理時間が上記タスク調整ステップにより割り当てられた処理時間を超えるために、指定されたフレームレートを維持できなくなったとき、指定されたフレームレートを実現するために、上記タスク調整ステップが割当て直した上記受信ステップの処理に割当てられた処理時間内で受信処理が完了する受信レートで、３次元オブジェクトデータを送信するように、上記サーバ装置に要求を出すように上記要求ステップに指示を出す。このため、３次元オブジェクトデータの送信と、クライアント装置の受信表示処理の処理効率を向上させることができる効果がある。
【０１６６】
また、この発明にかかる３次元空間データ表示方法、３次元空間データ表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体では、
上記タスク調整ステップは、レンダリング処理時間が長くなって上記一連の処理が指定されたフレームレートを超えた場合、レンダリング処理時間を短くして指定されたフレームレートに近づけるように、表示する３次元オブジェクトデータの詳細度を設定し直すように表示管理ステップに指示を出し、また、送信する３次元オブジェクトデータの詳細度の設定見直しをサーバに要求する。このため、３次元オブジェクトデータの送信と、クライアント装置の受信表示処理の処理効率を向上させることができる効果がある。
【０１６７】
また、この発明にかかる３次元空間データ表示方法、３次元空間データ表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取利可能な記録媒体では、
上記タスク調整ステップは、上記クライアント装置におけるフレームレートの指定された一定時間の平均値が指定されたレート値を維持できるように上記クライアント装置における一連の処理を調整する。このため、３次元オブジェクトデータの送信と、クライアント装置の受信表示処理の処理効率を向上させることができる効果がある。
【０１６８】
また、この発明にかかる３次元空間データ送信表示方法では、
上記タスク調整ステップは、上記クライアント装置におけるフレームレート、すなわち、上記一連の処理に要する処理時間の指定された一定時間の平均値より算出されるレート値を指定されたレート値に維持するために、送信する３次元オブジェクトデータの詳細度を調整するようにサーバ装置の上記オブジェクト抽出ステップに要求する。
上記オブジェクト抽出ステップは、上記要求に応じて、送信する３次元オブジェクトデータの詳細度を設定変更する。このため、３次元オブジェクトデータの送信と、クライアント装置の受信表示処理の処理効率を向上させることができる効果がある。
【０１６９】
また、この発明にかかる３次元空間データ送信表示方法では、
上記タスク調整ステップは、上記クライアント装置におけるフレームレート、すなわち、上記一連の処理に要する処理時間の指定された一定時間の平均値より算出されるレート値を指定されたレート値以下に維持するために、上記一定時間以内にクライアント装置の視界に入ると予測した空間領域に存在する３次元オブジェクトデータの中からクライアント装置に送信する３次元オブジェクトデータとして選択する３次元オブジェクトデータのデータ容量の上限値を調整するようにサーバ装置の上記送信データ容量調整ステップに要求する。上記送信データ容量調整ステップは、タスク調整ステップの要求に応じて、上記上限値を設定変更する。このため、３次元オブジェクトデータの送信と、クライアント装置の受信表示処理の処理効率を向上させることができる効果がある。
【０１７０】
また、この発明にかかる３次元空間データ送信表示方法では、
上記タスク調整ステップは、上記一定時間の長さを調整することにより、上記オブジェクト抽出部に対して送信する３次元オブジェクトデータの詳細度を設定変更する要求を行なう頻度を低減する。あるいは、上記送信データ容量調整部に対して上記上限値を調整することを要求する頻度を低減する。このため、３次元オブジェクトデータの送信と、クライアント装置の受信表示処理の処理効率を向上させることができる効果がある。
【図面の簡単な説明】
【図１】実施の形態１の３次元空間データ送信表示システムの一例を示す機能ブロック図。
【図２】実施の形態１の優先度と解像度との関係を説明する図。
【図３】実施の形態１の３次元空間データ送信表示システムの通信路の輻輳状況が変化して利用可能通信速度（伝送速度）が変化した場合のオブジェクト送信手順を示すフローチャート図。
【図４】実施の形態２の３次元空間データ送信表示システムのクライアント端末のメモリ容量が変化した場合のオブジェクト送信手順を示すフローチャート図。
【図５】実施の形態３の３次元空間データ送信表示システムのクライアント端末の処理の付加状況が変化した場合のオブジェクト送信手順を示すフローチャート図。
【図６】実施の形態４の３次元空間データ送信表示システムの視点の移動速度或いは視線の回転速度が変化した場合のオブジェクト送信手順を示すフローチャート図。
【図７】実施の形態４の視点の移動にともなう３次元オブジェクトの詳細度を説明する図。
【図８】実施の形態５の３次元空間データ送信表示システムの機能ブロック図。
【図９】実施の形態５のシーン構成管理部の動作を示すフローチャート図。
【図１０】実施の形態６の３次元空間データ送信表示システムの機能ブロック図。
【図１１】特開平１０−８３４６２号公報に示された仮想空間情報作成装置の機能ブロック図。
【図１２】特開平１０−８３４６２号公報に示された仮想空間情報作成装置の機能ブロック図。
【図１３】特開平０５−２６６２１３号公報に示された３次元空間データの高速表示方式の処理手順のフローチャート図。
【図１４】特開平１１−３１２２５５号公報に示された仮想空間表示装置の機能ブロック図。
【図１５】特開平９−２１２６７９号公報に示された利用者参加型システムの映像表示方法のフローチャート図。
【図１６】特開平１０−４０４２３号公報に示された３次元仮想空間表示方法のフローチャート図。
【図１７】特開２０００−１８７７４０号公報に示されたテクスチャ使用３次元空間表示方法のフローチャート図。
【図１８】特開２０００−１８７７４０号公報に示されたテクスチャ使用３次元空間表示装置の機能ブロック図。
【図１９】特開平９−２８２２４９号公報に示された３次元形状通信システムの機能ブロック図。
【図２０】特開平９−２８２２４９号公報に示された３次元形状生成装置の主要動作手順を示したフローチャート図。
【符号の説明】
１０ サーバ（装置）、１１ 送信データ容量調整部、１２ 優先度設定部、１３ ３次元オブジェクト抽出部、１４ スケジューリング部、１５ ストリーミング送信部、１６ オブジェクト情報記憶部、２０ クライアント端末（装置）、２１ 要求部、２２ 受信部、２３ シーン構成管理部、２４ 表示管理部、２５ レンダリング部、２６ タスク調整部、２７ シーン構成情報データベース、３０ フレームレート維持管理部、４０ 通信網、４１ 無線網。

Claims (18)

  1. ３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、
    上記サーバ装置と所定の通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置と
    を備える３次元空間データ送信表示システムにおいて、
    上記通信路は、通信路の輻輳状況に応じて利用可能な伝送速度が変化する通信路であり、
    上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
    上記サーバ装置は、
    上記通信路の輻輳状況を監視して、輻輳状況に応じて変化する利用可能な伝送速度の変化の度合いを算出して、上記クライアント装置に所定の単位時間当たりに送信する３次元オブジェクトデータとして選択するデータ容量の上限値を、上記算出した変化の度合いに応じて設定する送信データ容量調整部と、
    上記クライアント装置から、視点の移動速度を示す情報と視線の回転速度を示す情報との少なくともいずれか一方の視点視線情報を受信して、受信した視点視線情報に基づく新たな視界の中に存在する３次元オブジェクトデータと、既に視界の中に存在する３次元オブジェクトデータとに対して、あらかじめ設定した３次元空間データを表示する目的に応じて上記優先度情報を設定する優先度設定部と、
    上記通信路の利用可能な伝送速度と、上記優先度設定部によって設定された３次元オブジェクトデータの優先度情報とに従い、上記３次元オブジェクトデータの詳細度情報を設定し、上記送信データ容量調整部により設定された上記データ容量の上限値を超えないように、上記優先度設定部により設定された優先度の高い順に上記クライアント装置に送信する３次元オブジェクトデータを選択するとともに、上記送信データ容量調整部により上限値が変更されると、上限値を変更する前に設定された上記３次元オブジェクトデータの詳細度を設定し直し、変更された上限値を超えないように、上記設定し直した詳細度情報を有する３次元オブジェクトデータから上記優先度設定部により設定された優先度の高い順に、上記クライアント装置に送信する３次元オブジェクトデータを選択し直す３次元オブジェクト抽出部と、
    上記３次元オブジェクト抽出部により選択された３次元オブジェクトデータより、上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータとの少なくともいずれか一方の３次元オブジェクトデータを上記クライアント装置に早く送信するように、３次元オブジェクトデータの送信スケジュールを設定するとともに、上記送信データ容量調整部により上記上限値が変更されると、上記３次元オブジェクト抽出部により選択し直された３次元オブジェクトデータを、上記クライアント装置に送信する送信スケジュールに設定し直すスケジューリング部と、
    上記スケジューリング部により設定された送信スケジュールに従い、上記３次元オブジェクトデータを上記クライアント装置に送信するとともに、上記送信データ容量調整部により上記上限値が変更されると、上記スケジューリング部により設定し直された送信スケジュールに切り替えて、３次元オブジェクトデータを上記クライアント装置に送信するストリーミング送信部と
    を備えたことを特徴とする３次元空間データ送信表示システム。
  2. 上記優先度設定部は、上記受信した視点視線情報を用いて視点の変化の度合いと視線の変化の度合いとのいずれか一方の変化の度合いを算出して、算出した変化の度合いに応じて上記３次元オブジェクトデータの優先度情報を設定し直し、
    上記３次元オブジェクト抽出部は、上記優先度設定部により設定し直された３次元オブジェクトデータの優先度情報に従い詳細度情報を設定し直して、上記上限値を超えないように、上記設定し直したデータの詳細度を有する３次元オブジェクトデータから上記優先度設定部により設定し直された優先度の高い順に、上記クライアント装置に送信する３次元オブジェクトデータを選択し直す
    ことを特徴とする請求項１記載の３次元空間データ送信表示システム。
  3. 上記３次元オブジェクトデータは、少なくとも物体の形状を示すポリゴンデータと上記ポリゴンデータにマッピングするイメージデータであるテクスチャデータとを有し、
    上記ストリーミング送信部は、
    上記３次元オブジェクトデータを送信する場合に、上記ポリゴンデータを、上記クライアント装置によって必ず受信されるように再送保証データとして送信し、上記テクスチャデータを、上記クライアント装置によって受信されなかった場合でも上記３次元仮想空間を表示できるベストエフォートな保証データとして送信することを特徴とする請求項１記載の３次元空間データ送信表示システム。
  4. 上記３次元オブジェクトデータは、少なくとも物体の形状を示すポリゴンデータと上記ポリゴンデータにマッピングするイメージデータであるテクスチャデータとを有し、
    上記ストリーミング送信部は、
    １つの上記３次元オブジェクトデータの有する上記ポリゴンデータを、同一パケットに収納して送信し、
    １つの上記３次元オブジェクトデータの有する上記テクスチャデータを、複数個のパケットに分割して収納して送信し、送信途中にパケットロスして再送せずとも、上記クライアント装置においてテクスチャデータのマッピングが行なえるようにする
    ことを特徴とする請求項１記載の３次元空間データ送信表示システム。
  5. 上記クライアント装置は、
    上記３次元オブジェクトデータを用いて生成された３次元仮想空間を構成するシーン構成情報を記憶するシーン構成情報データベースと、
    上記サーバ装置へ３次元オブジェクトデータの送信要求を出力する要求部と、
    上記サーバ装置のストリーミング送信部より送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータを３次元仮想空間へ追加する追加処理を依頼する受信部と、
    上記受信部から３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理部と、
    上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理部と、
    上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理部により指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリング部と、
    上記要求部と、上記受信部と、上記シーン構成管理部と、上記表示管理部と、上記レンダリング部との処理状況を監視して、上記レンダリング部によるレンダリングの処理を上記所定の指定されたフレームレートに維持するように、上記各部に対して処理時間の割り当てを行なうとともに、上記各部の処理時間の調整を行うタスク調整部と
    を備え
    たことを特徴とする請求項１記載の３次元空間データ送信表示システム。
  6. 上記クライアント装置の上記タスク調整部は、
    上記クライアント装置の上記要求部、上記受信部、上記シーン構成管理部、上記表示管理部、上記レンダリング部とにより実行される一連の処理に要する処理時間を、指定された一定時間の間監視して、監視した結果を用いて上記一連の処理に要する処理時間の平均値を算出して、算出した平均値を所定の指定されたフレームレートに維持するために、上記サーバ装置の上記３次元オブジェクト抽出部に対して、送信するオブジェクトの詳細度を調整するように要求を行ない、
    上記サーバ装置の上記オブジェクト抽出部は、
    上記クライアント装置のタスク調整部からの要求に応じて、送信する３次元オブジェクトデータの詳細度情報を設定変更する
    ことを特徴とする請求項５記載の３次元空間データ送信表示システム。
  7. 上記クライアント装置の上記タスク調整部は、
    上記クライアント装置の上記要求部、上記受信部、上記シーン構成管理部、上記表示管理部、上記レンダリング部とにより実行される一連の処理に要する処理時間を、指定された一定時間の間監視して、監視した結果を用いて上記一連の処理に要する処理時間の平均値を算出して、算出した平均値を所定の指定されたフレームレートに維持するために、上記サーバ装置の上記送信データ容量調整部に対して、上記所定の一定時間以内に上記クライアント装置に表示されると予測した３次元仮想空間に存在する３次元オブジェクトデータの中から、上記クライアント装置に所定の単位時間当たりに送信する３次元オブジェクトデータとして選択するデータ容量の上限値を調整するように要求を行ない、
    上記サーバ装置の上記送信データ容量調整部は、
    上記クライアント装置の上記タスク調整部からの要求に応じて、上記上限値を設定変更する
    ことを特徴とする請求項６記載の３次元空間データ送信表示システム。
  8. 上記クライアント装置の上記タスク調整部は、
    上記所定の指定されたフレームレートを調整することにより、上記サーバ装置の上記３次元オブジェクト抽出部に対して上記送信する３次元オブジェクトデータの詳細度情報を調整することを要求することと、上記サーバ装置の上記送信データ容量調整部に対して上記上限値を調整することを要求することの少なくともいずれか一方の要求を行なう頻度を低減する
    ことを特徴とする請求項７記載の記載の３次元空間データ送信表示システム。
  9. 上記サーバ装置は、
    上記クライアント装置の上記要求部、上記受信部、上記シーン構成管理部、上記表示管理部、上記レンダリング部、上記タスク調整部とにより実行される一連の処理の処理時間と、上記サーバ装置の上記送信データ容量調整部、上記優先度設定部、上記３次元オブジェクト抽出部、上記スケジューリング部、上記ストリーミング送信部とにより実行される一連の処理の処理時間との総計を、上記所定の指定されたフレームレートを実現する表示画面の切り替えインターバル時間以内に抑えるために、視点の移動速度と視線の回転速度との少なくともいずれか一方の速度の変化に応じて、送信する３次元オブジェクトデータの詳細度情報を変更するフレームレート維持管理部
    を備えたことを特徴とする請求項５記載の３次元空間データ送信表示システム。
  10. 上記フレームレート維持管理部は、
    上記クライアント装置の上記要求部、上記受信部、上記シーン構成管理部、上記表示管理部、上記レンダリング部、上記タスク調整部とにより実行される一連の処理の処理時間と、上記サーバ装置の上記送信データ容量調整部、上記優先度設定部、上記３次元オブジェクト抽出部、上記スケジューリング部、上記ストリーミング送信部とにより実行される一連の処理の処理時間との総計を、上記所定の指定されたフレームレートを実現する表示画面の切り替えインターバル時間以内に抑えるために、上記通信路の輻輳状況により変化する利用可能通信速度に応じて、送信する３次元オブジェクトデータの詳細度情報を変更する
    ことを特徴とする請求項９記載の３次元空間データ送信表示システム。
  11. ３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信する３次元空間データ送信方法において、
    上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
    上記３次元空間データ送信方法は、
    所定の一定時間あたりの上記通信路の利用可能な平均通信速度を算出するとともに、上記通信路の利用可能な通信速度の変化を監視して、上記変化を検出した場合に、上記変化を監視した通信速度と上記算出した平均通信速度とにより通信速度の変化の度合いを算出する算出ステップと、
    所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した通信速度の変化の度合いに応じて、再度設定する上限値再設定ステップと、
    上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
    上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
    上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
    上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデータを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
    上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
    を有することを特徴とする３次元空間データ送信方法。
  12. 上記優先度設定ステップは、
    上記受信した視点視線情報を用いて視点の変化の度合いと視線の変化の度合いとのいずれか一方の変化の度合いを算出して、算出した変化の度合いに応じて上記３次元オブジェクトデータの優先度情報を設定し直し、
    上記選択ステップは、上記優先度設置ステップにより設定し直された３次元オブジェクトデータの優先度情報に従い詳細度情報を設定し直して、上記データ容量の上限値を超えないように、上記設定し直した詳細度情報を有する３次元オブジェクトデータから上記優先度設定部により設定し直された優先度の高さの順に、上記クライアント装置に送信する３次元オブジェクトデータを選択し直し、
    上記送信スケジュール設定ステップは、上記選択ステップにより選択し直された３次元オブジェクトデータの送信スケジュールを設定し直す
    ことを特徴とする請求項１１記載の３次元空間データ送信方法。
  13. ３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信する３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
    上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
    上記３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、
    所定の一定時間あたりの上記通信路の利用可能な平均通信速度を算出するとともに、上記通信路の利用可能な通信速度の変化を監視して、上記変化を監視した場合に、上記変化を監視した通信速度と上記算出した平均通信速度とにより通信速度の変化の度合いを算出する算出ステップと、
    所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した通信速度の変化の度合いに応じて、再度設定する上限値再設定ステップと、
    上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
    上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
    上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
    上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデータを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
    上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
    を有することを特徴とする３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  14. ３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信して、上記送信された上記３次元オブジェクトデータを上記クライアント装置により受信して表示する、３次元空間データ送信表示方法において、
    上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
    上記クライアント装置は、
    上記３次元オブジェクトデータを用いて生成された３次元仮想空間を構成するシーン構成情報を記憶するシーン構成情報データベースを備えるとともに、上記３次元仮想空間を所定の指定されたフレームレートで表示し、
    上記３次元空間データ送信表示方法は、
    上記サーバ装置の送信データ容量調整部により、所定の一定時間あたりの上記通信路の利用可能な平均通信速度を算出するとともに、上記通信路の利用可能な通信速度の変化を監視して、上記変化を監視した場合に、上記変化を監視した通信速度と上記算出した平均通信速度とにより通信速度の変化の度合いを算出する算出ステップと、
    上記サーバ装置の送信データ容量調整部により、所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した通信速度の変化の度合いに応じて、再度設定する上限値再設定ステップと、
    上記サーバ装置の送信データ容量調整部により、上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
    上記サーバ装置の優先度設定部により、上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
    上記サーバ装置の３次元オブジェクト抽出部により、上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
    上記サーバ装置のスケジューリング部により、上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデータを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
    上記サーバ装置のストリーミング送信部により、上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
    を有するとともに、
    上記クライアント装置の要求部により、上記サーバ装置へ３次元オブジェクトデータの配信要求を出力する要求ステップと、
    上記クライアント装置の受信部により、上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信ステップと、
    上記クライアント装置のシーン構成管理部により、上記受信ステップから３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理ステップと、
    上記クライアント装置の表示管理部により、上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
    上記クライアント装置のレンダリング部により、上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理ステップにより指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリングステップと、
    上記クライアント装置のタスク調整部により、上記要求ステップと、上記受信ステップと、上記シーン構成管理ステップと、上記表示管理ステップと、上記レンダリングステップとの処理状況を監視して、上記レンダリングステップによってレンダリングを行なう処理時間を上記所定の指定されたフレームレートに維持するように、上記クライアント装置の上記要求部と上記受信部と上記シーン構成管理部と上記表示管理部と上記レンダリング部との各部に対して処理時間の割り当てを行なうとともに、上記各部の処理時間の調整を行うタスク調整ステップと
    を有することを特徴とする３次元空間データ送信表示方法。
  15. 上記クライアント装置の上記タスク調整ステップは、
    上記クライアント装置の上記要求ステップ、上記受信ステップ、上記シーン構成管理ステップ、上記表示管理ステップ、上記レンダリングステップとにより実行される一連の処理に要する処理時間を、指定された一定時間の間監視して、監視した結果を用いて上記一連の処理に要する処理時間の平均値を算出して、算出した平均値を所定の指定されたフレームレートに維持するために、上記サーバ装置の３次元オブジェクト抽出部に対して、送信する３次元オブジェクトデータの詳細度情報を調整するように要求を行ない、
    上記３次元空間データ送信表示方法は、
    上記サーバ装置の上記３次元オブジェクト抽出部により、上記クライアント装置のタスク調整ステップからの要求に応じて、送信するオブジェクトの詳細度情報を設定変更するステップを有する
    ことを特徴とする請求項１４記載の３次元空間データ送信表示方法。
  16. 上記クライアント装置の上記タスク調整ステップは、
    上記クライアント装置の上記要求ステップ、上記受信ステップ、上記シーン構成管理ステップ、上記表示管理ステップ、上記レンダリングステップとにより実行される一連の処理に要する処理時間を、指定された一定時間の間監視して、監視した結果を用いて上記一連の処理に要する処理時間の平均値を算出して、算出した平均値を所定の指定されたフレームレート以下に維持するために、上記サーバ装置の上記送信データ容量調整部に対して、上記所定の一定時間以内に上記クライアント装置に表示されると予測した３次元仮想空間に存在する３次元オブジェクトデータの中から、上記クライアント装置に所定の単位時間当たりに送信する３次元オブジェクトデータとして選択するデータ容量の上限値を調整するように要求を行ない、
    上記３次元空間データ送信表示方法は、
    上記サーバ装置の上記送信データ容量調整部により、上記クライアント装置の上記タスク調整ステップからの要求に応じて、上記選択するデータ容量の上限値を設定変更するステップを有する
    ことを特徴とする請求項１５記載の３次元空間データ送信表示方法。
  17. 上記クライアント装置の上記タスク調整ステップは、
    上記所定の指定されたフレームレートを調整することにより、上記サーバ装置の上記オブジェクト抽出部に対して上記送信する３次元オブジェクトデータの詳細度情報を設定変更する要求を行なうことと、上記サーバ装置の上記送信データ容量調整部に対して上記上限値を調整する要求を行なうことの、少なくともいずれか一方の要求を行なう頻度を低減することを特徴とする請求項１６記載の３次元空間データ送信表示方法。
  18. ３次元仮想空間を構成する３次元オブジェクトデータを送信するサーバ装置と、上記サーバ装置と通信路を介して接続され、上記サーバ装置から送信された３次元オブジェクトデータを受信して表示するクライアント装置とを備えた３次元空間データ送信表示システムの、上記３次元オブジェクトデータを上記サーバ装置から上記クライアント装置に送信して、上記送信された上記３次元オブジェクトデータを上記クライアント装置により受信して表示する、３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
    上記３次元オブジェクトデータは、上記クライアント装置に送信する優先度を示す優先度情報とデータの詳細度を示す詳細度情報とを有し、
    上記クライアント装置は、
    上記３次元オブジェクトデータを用いて生成された３次元仮想空間を構成するシーン構成情報を記憶するシーン構成情報データベースを備えるとともに、上記３次元仮想空間を所定の指定されたフレームレートで表示し、
    上記３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、
    上記サーバ装置の送信データ容量調整部により、所定の一定時間あたりの上記通信路の利用可能な平均通信速度を算出するとともに、上記通信路の利用可能な通信速度の変化を監視して、上記変化を監視した場合に、上記変化を監視した通信速度と上記算出した平均通信速度とにより通信速度の変化の度合いを算出する算出ステップと、
    上記サーバ装置の送信データ容量調整部により、所定の単位時間当たりに上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータのデータ容量の上限値を、上記算出ステップで算出した通信速度の変化の度合いに応じて、再度設定する上限値再設定ステップと、
    上記サーバ装置の送信データ容量調整部により、上記上限値再設定ステップにより上記上限値を再度設定する前に上記サーバ装置から上記クライアント装置に対して送信するスケジューリングを行った３次元オブジェクトデータから、一定量の３次元オブジェクトデータを未送信データとして残して、上記一定量の未送信データ以外の３次元オブジェクトデータの送信スケジュールを破棄する送信スケジュール破棄ステップと、
    上記サーバ装置の優先度設定部により、上記クライアント装置より視点と視点の移動速度とを示す視点情報を入力して、入力した視点情報に基づいて所定の一定時間の視点の移動により視界に入ってくる空間領域を予測して、あらかじめ設定した３次元空間データを表示する目的に応じて、上記予測した空間領域に含まれる３次元オブジェクトデータに対して、上記優先度情報を設定する優先度設定ステップと、
    上記サーバ装置の３次元オブジェクト抽出部により、上記クライアント装置からクライアント装置のデータ処理能力を示すデータ処理能力情報とレンダリング処理能力を示すレンダリング能力情報と３次元オブジェクトデータを登録保管するメモリの記憶容量を示すメモリ容量情報とを入力し、上記優先度設定ステップにより設定された優先度情報と上記通信路の利用可能な通信速度と上記処理能力情報と上記レンダリング能力情報と上記メモリ容量情報とに応じて、３次元オブジェクトデータの上記詳細度を決定して、上記優先度の高い３次元オブジェクトデータから順に、上記上限値再設定ステップにより再設定された上限値まで、上記サーバ装置から上記クライアント装置に対して送信する３次元オブジェクトデータを選択する選択ステップと、
    上記サーバ装置のスケジューリング部により、上記クライアント装置に表示される出現順の早い３次元オブジェクトデータと視点の位置に近い３次元オブジェクトデータと視線の方向に近い３次元オブジェクトデータとの少なくともいずれか１つの３次元オブジェクトデータを上記クライアント装置に早く送信するように、上記選択ステップにより選択された３次元オブジェクトデータを上記クライアント装置に送信する送信スケジュールを設定する送信スケジュール設定ステップと、
    上記サーバ装置のストリーミング送信部により、上記送信スケジュール破棄ステップにおいて破棄しなかった未送信データの送信スケジュールの最後尾に、上記送信スケジュール設定ステップにおいて設定した上記送信スケジュールをマージして、上記マージした送信スケジュールに従って、上記３次元オブジェクトデータを上記クライアント装置に対して送信する送信ステップと
    を有するとともに、
    上記クライアント装置の要求部により、上記サーバ装置へ３次元オブジェクトデータの配信要求を出力する要求ステップと、
    上記クライアント装置の受信部により、上記サーバ装置から送信された３次元オブジェクトデータを受信して、受信した３次元オブジェクトデータの３次元仮想空間への追加処理を依頼する受信ステップと、
    上記クライアント装置のシーン構成管理部により、上記受信ステップから３次元オブジェクトデータを３次元仮想空間へ追加する追加処理の依頼を受けつけて、上記３次元オブジェクトデータを上記シーン構成情報として上記シーン構成情報データベースに追加するシーン構成管理ステップと、
    上記クライアント装置の表示管理部により、上記クライアント装置に表示する３次元オブジェクトデータの詳細度を指示する表示管理ステップと、
    上記クライアント装置のレンダリング部により、上記シーン構成情報データベースに記憶されたシーン構成情報に基づいて、視点から見える３次元仮想空間を、上記表示管理ステップにより指示された詳細度に従い上記所定のフレームレートでレンダリングするレンダリングステップと、
    上記クライアント装置のタスク調整部により、上記要求ステップと、上記受信ステップと、上記シーン構成管理ステップと、上記表示管理ステップと、上記レンダリングステップとの処理状況を監視して、上記レンダリングステップによってレンダリングを行なう処理時間を上記所定の指定されたフレームレートに維持するように、上記クライアント装置の上記要求部と上記受信部と上記シーン構成管理部と上記表示管理部と上記レンダリング部との各部に対して処理時間の割り当てを行なうとともに、上記各部の処理時間の調整を行うタスク調整ステップと
    を有することを特徴とする３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2000392207A 2000-12-25 2000-12-25 ３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信表示方法、及び３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP4704558B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000392207A JP4704558B2 (ja) 2000-12-25 2000-12-25 ３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信表示方法、及び３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000392207A JP4704558B2 (ja) 2000-12-25 2000-12-25 ３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信表示方法、及び３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2002197016A JP2002197016A (ja) 2002-07-12
JP4704558B2 true JP4704558B2 (ja) 2011-06-15

Family

ID=18858230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000392207A Expired - Fee Related JP4704558B2 (ja) 2000-12-25 2000-12-25 ３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信表示方法、及び３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP4704558B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004019619A2 (en) * 2002-08-20 2004-03-04 At & T Corp. Method of streaming a 3-d wireframe animation
KR100434178B1 (ko) 2003-12-16 2004-06-09 엔에이치엔(주) 단말 수단의 영상 신호 처리 능력에 연동되는 영상데이터의 정밀도 조정 방법 및 조정 시스템
CN1961339A (zh) * 2004-06-08 2007-05-09 斯瑞毕国际有限公司 显示图形纹理
WO2006092826A1 (ja) * 2005-02-28 2006-09-08 Fujitsu Limited サービス制御システム、サービス制御方法およびサービス制御プログラム
US7483939B2 (en) * 2005-08-25 2009-01-27 General Electric Company Medical processing system allocating resources for processing 3D to form 2D image data based on report of monitor data
JP4672493B2 (ja) * 2005-09-08 2011-04-20 三菱電機株式会社 ３次元図形表示装置および３次元図形表示方法
JP4827659B2 (ja) * 2006-08-25 2011-11-30 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
US20080155015A1 (en) * 2006-12-20 2008-06-26 Omx Technology Ab Intelligent information dissemination
JP5202584B2 (ja) 2010-06-24 2013-06-05 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、コンテンツ作成支援装置、画像処理方法、コンテンツ作成支援方法、および画像ファイルのデータ構造
GB201102128D0 (en) * 2011-02-08 2011-03-23 Mustafa Bilal I Method and system for providing video game content
JP5624224B2 (ja) 2012-07-31 2014-11-12 株式会社スクウェア・エニックス データ提供システム、提供装置、実行装置、制御方法、プログラム、及び記録媒体
KR102625773B1 (ko) 2017-01-04 2024-01-17 삼성전자주식회사 뷰 벡터별 다른 렌더링 품질을 갖는 영상을 생성하는 전자 장치
WO2019102676A1 (ja) * 2017-11-21 2019-05-31 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019146194A1 (ja) * 2018-01-25 2019-08-01 ソニー株式会社 情報処理装置、及び情報処理方法
CN110941342B (zh) * 2019-12-04 2023-07-18 中国联合网络通信集团有限公司 一种数据处理方法、vr终端及服务器
CN112598568B (zh) * 2020-12-28 2024-05-31 航天科技控股集团股份有限公司 全液晶仪表动态渲染方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116885A (ja) * 1995-10-17 1997-05-02 Canon Inc テレビ会議システムの通信負荷管理装置およびその方法ならびにテレビ会議システムの端末装置
JPH11161571A (ja) * 1997-11-27 1999-06-18 Fujitsu Ltd 適応的伝送制御システム
JP2000172609A (ja) * 1998-12-03 2000-06-23 Hitachi Ltd 情報端末装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116885A (ja) * 1995-10-17 1997-05-02 Canon Inc テレビ会議システムの通信負荷管理装置およびその方法ならびにテレビ会議システムの端末装置
JPH11161571A (ja) * 1997-11-27 1999-06-18 Fujitsu Ltd 適応的伝送制御システム
JP2000172609A (ja) * 1998-12-03 2000-06-23 Hitachi Ltd 情報端末装置

Also Published As

Publication number Publication date
JP2002197016A (ja) 2002-07-12

Similar Documents

Publication Publication Date Title
JP4704558B2 (ja) ３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信表示方法、及び３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
Park et al. Rate-utility optimized streaming of volumetric media for augmented reality
Xiao et al. Bas-360: Exploring spatial and temporal adaptability in 360-degree videos over http/2
US20180241988A1 (en) Multi-View Video Transmission Method and Apparatus
Hooft et al. Tile-based adaptive streaming for virtual reality video
US7478166B2 (en) System, method, and computer program product for media publishing request processing
US20050055694A1 (en) Dynamic load balancing resource allocation
US7856501B2 (en) Network traffic prioritization
JP2002325094A (ja) ネットワークにおけるビットストリーム転送中のネットワーク資源の動的割当て方法およびシステム
US20220159050A1 (en) Systems and methods for determining portions of media assets for immediate retrieval by multiple devices
CN113170234A (zh) 多向视频的自适应编码和流式传输
US20210399955A1 (en) Augmented/mixed reality virtual venue pipeline optimization
CN111290841B (zh) 任务调度方法、装置、计算设备及存储介质
EP2741496A1 (en) Video data generation unit, video image display device, video data generation method, video image display method, and video image file data structure
US10341670B1 (en) Video encoder bit rate stabilization
JP2002279449A (ja) ３次元空間データ送信表示装置、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN105376176A (zh) 保障移动互联网视频业务服务质量的方法、装置和系统
JP2018019143A (ja) 情報処理装置及びその制御方法、コンピュータプログラム
EP1164794A1 (en) Method and apparatus for controlling moving picture synthesis
Cao et al. Service placement and bandwidth allocation for MEC-enabled mobile cloud gaming
KR20190121280A (ko) 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치
JP6089846B2 (ja) 映像配信システム及びデコーダ並びに映像配信方法
EP3528500B1 (en) Method and apparatus for allocating differential bandwidth for each screen region by using image complexity information
CN112511888A (zh) 用于多视图视频流的通用图块编码
US12114027B2 (en) Selection of content delivery networks using agents

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040517

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100827

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110310

LAPS Cancellation because of no payment of annual fees