JPH10293566A

JPH10293566A - マルチメディアデータの処理方法および装置

Info

Publication number: JPH10293566A
Application number: JP10212997A
Authority: JP
Inventors: Hiroyuki Okada; 浩之岡田; Minoru Sekiguchi; 実関口; Nobuo Watabe; 信雄渡部
Original assignee: GIJUTSU KENKYU KUMIAI SHINJOHO; GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO; Fujitsu Ltd
Current assignee: GIJUTSU KENKYU KUMIAI SHINJOHO; GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO; Fujitsu Ltd
Priority date: 1997-04-18
Filing date: 1997-04-18
Publication date: 1998-11-04
Anticipated expiration: 2017-04-18
Also published as: JP3373389B2

Abstract

(57)【要約】【課題】リアルタイムマニピュレーションや音や動画
などの混在したマルチメディアデータのシミュレーショ
ンにおいて、コンピュータグラフィックスの世界と現実
世界を一致させること。【解決手段】表示フレームＮｏの描画に要する時間を
予測し、表示可能時刻を計算し（2-2)、表示可能時刻と
実際に表示すべき時刻とを比較する(2-3) 。表示可能時
刻が実表示時刻より遅い場合には(2-3-1) 、当該フレー
ムの表示・音声出力をスキップし(2-5) に進む。また、
表示可能時刻が実表示時刻と同じ場合には(2-3-2) 、直
ちに当該フレームの表示処理(2-4) に進む。さらに、表
示可能時刻が実表示時刻よりも早い場合には(2-3-3) 、
当該フレームの実表示時刻になるまで待ち合わせたの
ち、表示処理(2-4) に進む。そして、最終フレームなら
処理を終了し、さもなければ(2-1) に戻り繰り返し処理
を行う(2-5) 。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチメディアメ
ディアデータのシミュレーション等におけるデータ処理
方法および装置に関し、特に本発明は、リアルタイムマ
ニピュレーションや、マルチメディアデータによりシミ
ュレーションを行う際にコンピュータグラフィックスの
世界と現実世界とを一致させることができるマルチメデ
ィアデータの処理方法および装置に関するものである。

【０００２】

【従来の技術】リアルタイムマニピュレーションや音や
動画などの混在したマルチメディアデータのシミュレー
ション等においては、コンピュータグラフィクス世界と
現実世界の時間感覚を一致させることが必要である。例
えば、遠隔地、または近くにあってもＸ線等の危険に晒
され直接操作できないような状況で、ロボットアーム等
の操作をリアルタイムで行うリアルタイムマニピュレー
ションを考える。この操作において、現場の状況の確認
をコンピュータグラフックスを見ながら行う場合、オペ
レータは画面に表示されたロボットアーム等のコンピュ
ータグラフィックスを見て、操作の指示を行う。また、
操作した結果のフィードバックをコンピュータグラフィ
ックスを通じて確認する。

【０００３】この際、重要なことは、実際のロボットア
ーム等の動きと、コンピュータグラフィックスで表示さ
れているロボットアームの動きが実際のロボットアーム
等の動きと比べて遅くなっていたら、障害物を避けた
り、物をつかんだりする操作に支障をきたす場合が生ず
る。つまり、実際のロボットアーム等が障害物にぶつか
った情報が、時間遅れを伴ってコンピュータグラフィッ
クスに反映されることになる。また、画像とともに、音
声がでるようなシミュレーションを行う場合、画像の進
行と音声が同期しないと不自然な印象を与えることにな
る。

【０００４】従来のコンピュータグラフィックスにおい
ては、上記のようにコンピュータグラフィックス世界と
現実世界の時間感覚が一致しない状態が発生することが
あった。この原因は、フレーム毎に必要とする描画時間
が異なり、また、その時間を予測できないことにある。
一般に、たくさんの色を使っていたり、複雑な形状のオ
ブジェクトを数多く表示させる場合は、より多くの描画
時間が必要となる。

【０００５】例えば、１秒間に１０フレームの画面を描
画する場合を考えると、１フレームの描画に要する時間
が、常に１秒／１０＝１００ｍｓｅｃであれば、コンピ
ュータグラフィックスは現実の世界と同じ時間で進んで
いく。しかし、前述したように複数の画面を描画しよう
とするとき、１画面の描画に要する時間が１００ｍｓｅ
ｃを越える場合が生じる。このような場合は、コンピュ
ータグラフィックスが現実の時間から遅れることにな
り、その遅れは次第に蓄積されていく。

【０００６】従来のコンピュータグラフィックスにおい
ては、事前に描画に要する時間を予測せずに、常に全て
のフレームを表示することを原則としていた。このた
め、単純な画面を表示しようとするときなどは、コンピ
ュータグラフィックスの画面が実時間より先行し、逆に
複雑な形状のオブジェクトが多数あるような場合には、
コンピュータグラフィックスの画面が実時間より遅れて
表示されることがあった。

【０００７】また、画像の表示が上記のように実時間よ
り遅れたり先行したりするため、画像の進行と音声が同
期しなかったり、音声の周波数が画面の描画時間に応じ
て変化し、音声の周波数が高くなったり低くなる場合が
生じた。すなわち、従来のコンピュータグラフィックス
において、画面と音声を同期させようとする場合、音声
の周波数を変換することで画面と音声が同時に進行する
ようにしており、このため、画面の進行が音声より早い
場合、音声の周波数が高くなり、甲高くなった。反対
に、画面の進行が音声より遅い場合、音声の周波数が低
くなり不自然になった。

【０００８】

【発明が解決しようとする課題】以上のように、従来の
コンピュータグラフィックスにおいては、コンピュータ
グラフィックスの画面が実時間と一致しなかったり、音
声の周波数が高くなったり低くなる場合があった。本発
明は上記した従来技術の問題点を解決するためになされ
たものであって、リアルタイムマニピュレーションや音
や動画などの混在したマルチメディアデータのシミュレ
ーションにおいて、コンピュータグラフィックスの世界
と現実世界を一致させることができるマルチメディアデ
ータの処理方法および装置を提供することである。

【０００９】

【課題を解決するための手段】本発明では、予め次のフ
レームの描画に要する時間を予測し、次のフレームの表
示可能時刻が実表示時刻（実時間の進行に一致した各フ
レームを表示すべき時刻）に間に合わない場合は、次の
フレームの描画をスキップし、逆に次のフレームの絶対
描画時間より早く描画が完了するような予測が得られた
ときは、描画の待ち合わせを行う。これにより常に正確
な絶対描画時間に描画が完了する。また、画像と同様に
音声の場合も時間を調整するのに周波数の変換を行うの
ではなく、画面のフレームをスキップするように音声を
微小時間間引いて再生することで、画像と音声の同期を
行う。

【００１０】図１は本発明の原理を説明する図であり、
本発明においては次のようにして画像表示、音声出力を
行う。なお、以下の(1) 〜 (2-5)は図１に表記された番
号に対応する。 (1) 表示フレームＮｏに０を設定する。表示フレームＮ
ｏは次に表示しようとするフレームの番号である。 (2) 最終フレームまで次の(2.1) 〜(2.5) の処理を繰り
返す。 (2-1) 表示フレームＮｏに１を加える。 (2-2) 表示フレームＮｏの描画に要する時間を予測し、
表示可能時刻を計算する。

【００１１】(2-3) 上記(2-2) で求めた表示可能時刻と
実際に表示すべき時刻とを比較する。 (2-3-1) 表示可能時刻が実表示時刻より遅い場合には、
当該フレームの表示をスキップし(2-5) に進む（当該フ
レームの音声を出力しない）。 (2-3-2) 表示可能時刻が実表示時刻と同じ場合には、直
ちに当該フレームの表示処理(2-4) に進む（表示ととも
に音声出力をする）。 (2-3-3) 表示可能時刻が実表示時刻よりも早い場合に
は、当該フレームの実表示時刻になるまで待ち合わせた
のち、表示処理(2-4) に進む（音声は直ちに出力す
る）。 (2-4) 表示処理を行う。 (2-5) 最終フレームなら処理を終了し、さもなければ(2
-1) に戻り繰り返し処理を行う。

【００１２】上記（2-2)で、表示フレームＮｏの描画に
要する時間を予測しているが、画面の描画時間を正確に
求めることは実際に描画してみないと判らない。したが
って、上記のように描画時間を求めるには何らかの方針
に基づいて近似的に予測を行う方法しかない。本発明で
は、次の方針に基づき描画時間の予測を行う。複雑なオブジェクトが多くある画面程、描画時間が
長い。オブジェクトの複雑さや数は直前の画面の複雑さや
数と関連が深い。描画時間は直前の画面の描画時間と関連が深い。

【００１３】つまり、これから予測しようとする画面の
描画時間は直前の画面を描画するのに要した時間に近い
ということである。単純な例では、カメラが常に同じと
ころを写しているような変化の無い画面では画面の描画
に要する時間は常に同じである。したがって、描画時間
の予測は直前の画面の描画時間と画面の複雑さとの関数
である次の（１）式で表現できる。Ｔ_i+1＝ｆ（Ｔ_i，Ｃ_i）…（１）ここで、ｉはフレームの番号を示し、Ｔ_i，Ｔ_i+1はフ
レーム番号ｉ，ｉ＋１を描画するに要する時間、Ｃ_iは
フレーム番号ｉの画面の複雑さを示す関数である。

【００１４】Ｔ_i+1が判れば、前記したようにコンピュ
ータグラフィックスの描画を行うことで、コンピュータ
グラフィックス世界と現実世界の時間感覚を一致させる
ことが可能となる。次に、ｆ（Ｔ_i，Ｃ_i）について考
えると、理想的にはこの項はｆ（Ｔ_i，Ｃ _i+1）となっ
ている方がより高い精度でＴ_i+1を推定することができ
る。しかし、Ｃ_i+1は次の書こうとしている画面の複雑
さなので、それを事前に知ることは難しく、Ｃ_iで代用
している。上記Ｃ_i+1とＣ_iの比較に関しては、前述し
たの「オブジェクトの複雑さや数は直前の画面の複雑
さや数と関連が深い」という条件によりＣ_iとＣ_i+1は
近い値であることが期待できるので、Ｃ_i+1の代わりに
Ｃ_iを用いても十分実用的な性能が得られる。

【００１５】ここで、「画面の複雑さ」について考え
る。一般に三次元コンピュータグラフィックスの描画を
考えると、「画面の複雑さ」は表示すべきポリゴンの数
で論じられることが多い。システムの性能を評価する指
標としても一秒間で表示可能なポリゴンの数が使われ
る。ポリゴンとは、画像表示の基本的な単位であり、一
般的には多角形を意味するが、コンピュータグラフィッ
クスでは三角形を指すのが普通である。つまり、「画面
の複雑さ」は描画すべき三角形の数で表現される。さ
て、描画すべき三角形の数の見積もりはどの様におこな
うのであろうか。三次元コンピュータグラフィックスと
は言え、最終的には二次元のディスプレイ上に表示を行
うことになる。そこで、オブジェクトを二次元の面に分
解することを始めに行う。さらに、ここで分解した二次
元の面をポリゴンに再分割することにより最終的な表示
を行う。

【００１６】従って、オブジェクトの数が表示すべきポ
リゴンの数を見積もるための重要な手がかりになること
がわかる。すべてのオブジェクトが同じ数のポリゴンに
分解されるわけではないので、単純に〔表示するポリゴ
ンの数〕＝〔オブジェクトの数の倍数〕にはならない
が、オブジェクトを構成する平均ポリゴン数に関する定
数をαとすれば、〔表示すべきポリゴンの数〕＝α×
〔オブジェクトの数〕は実用的な見積もりとなる。

【００１７】以上のことより、次の（２）式が導入でき
る。ここで、αはオブジェクトを構成する平均ポリゴン数か
ら求められる定数で、表示する画面の種類などによって
予め求めることができる。また、Ｎ_objectは当該画面で
表示するオブジェクトの数である。上記αＮ_objectを表
示する画面の複雑度と定義し、複雑度＝βと定義すれ
ば、上記（２）式は次の（３）式で表される。Ｔ_i+1＝ｆ（Ｔ_i，β）…（３）

【００１８】本発明は上記原理に基づき、次のようにし
て前記課題を解決する。（１）次のフレームで表示する画面の描画時間を予測
し、予測結果から次のフレームの表示可能時刻を求め、
求めた表示可能時刻が予め定められた次のフレームの実
表示時刻を越えるとき、そのフレームの表示をスキップ
し、上記表示可能時刻が上記実表示時刻に達しないと
き、そのフレームの表示を実表示時刻になるまで待ち合
わせる。（２）次のフレームで表示する画面の描画時間を予測
し、予測結果から次のフレームの表示可能時刻を求め、
求めた表示可能時刻が予め定められた次のフレームの実
表示時刻を越えるとき、そのフレームの表示をスキップ
するとともに、そのフレームで出力される音声を間引き
し、上記表示可能時刻が上記実表示時刻に達しないと
き、そのフレームの表示を上記実表示時刻になるまで待
ち合わせる。

【００１９】（３）上記（１）（２）において、描画時
間の予測処理と、画面の描画処理を異なったプロセッサ
で並列処理する。（４）上記（１）（２）（３）において、次のフレーム
で表示する画面の複雑さに基づき描画時間を予測する。（５）上記（４）において、次のフレームで表示する画
面中のオブジェクト数に基づき画面の複雑さを求める。

【００２０】本発明の請求項１，２，６の発明において
は、上記（１）（２）のようにして表示／音声出力を行
っているので、各フレームの表示時刻を実表示時刻に一
致させることができ、また、音声出力を表示画面に一致
させることができる。このため、コンピュータグラフィ
ックスの世界と現実世界を一致させることができる。ま
た、音声の周波数が一時的に高くなったり、低くなった
りすることもない。なお、スキップすることによりその
フレームの画像が表示されないが、実用上ほとんど影響
がない。また、音声の一部が間引かれるが、極短時間な
ので内容の理解に支障を来すことはない。本発明の請求
項３の発明においては、上記（３）のように並列処理を
しているので、描画時間の予測を行うことにより全体の
処理が遅れることがない。本発明の請求項４，５の発明
においては、（４）（５）のようにして描画時間を予測
しているので、実用上支障のない範囲で描画時間を予測
することができる。

【００２１】

【発明の実施の形態】図２は本発明の実施例のシステム
の構成例を示す図である。同図において、１はサーバ計
算機、２は画像処理プロセッサであり、サーバ計算機１
と画像処理プロセッサ２はＬＡＮ等を介して接続されて
おり、サーバ計算機１から送られた描画データを画像処
理プロセッサ２が画像処理して、各フレームの画面がデ
ィスプレイ装置３に表示される。４はＶＴＲ装置であ
り、ＶＴＲ装置４はサーバ計算機１から送られてくる同
期信号（フレームＮｏ）に応じた音声をスピーカ５から
出力する。

【００２２】サーバ計算機１は表示可能時刻計算用ＣＰ
Ｕ１ａと移動・回転等計算用ＣＰＵ１ｂを備えている。
表示可能時刻計算用ＣＰＵ１ａは次のフレームの描画時
間を予測して次のフレームの表示可能時刻を求め、この
時刻が実表示時刻を越える場合、移動・回転等計算用Ｃ
ＰＵ１ｂに対してそのフレームの処理をスキップするよ
う指示する。また、ＶＴＲ装置４に対する当該フレーム
のフレームＮｏの送出を停止する。ＶＴＲ装置４は表示
可能時刻計算用ＣＰＵ１ａからフレームＮｏが送られて
こないと、当該フレームの音声を出力しない（音声が間
引かれる）。また、次のフレームの表示可能時刻が実表
示時刻に達しない場合には、表示可能時刻計算用ＣＰＵ
１ａは移動・回転等計算用ＣＰＵ１ｂに対して実表示時
間になるまで、表示を待ち合わせるように指示する。

【００２３】本実施例において、上記表示可能時刻計算
用ＣＰＵ１ａは、前記（３）式における複雑さβをβ＝
１／Ｎ_objectとして、次の（４）式で描画時間の予測値
Ｔ_i+ ₁を求めている。この場合には予測値Ｔ_i+1は常に
直前の画面の描画時間Ｔ_iと等しくなる。

【００２４】移動・回転等計算用ＣＰＵ１ｂは、表示す
るオブジェクトの移動・回転等の計算処理を行い、座標
値、色データ等を描画データとして画像処理プロセッサ
２に送出しており、上記表示可能時刻計算用ＣＰＵ１ａ
からの指示に応じて次のように動作する。表示可能時刻が実表示時刻と同じ場合。実表示時刻に画面が表示されるように、所定のタイミン
グで描画データを画像処理プロセッサ２に送出する。表示可能時刻計算用プロセッサ１ａからフレームを
スキップする指示が与えられた場合。直ちに上記フレームの計算処理を中止し、次のフレーム
の計算処理を開始する。そして、次のフレームの実表示
時刻に上記フレームの画面が表示されるようなタイミン
グで描画データを画像処理プロセッサ２に送出する。表示可能時刻計算用プロセッサ１ａから表示を待ち
合わせる指示が与えられた場合。実表示時刻に上記フレームの画面が表示されるように、
描画データの送出の待ち合わせを行い、描画データを画
像処理プロセッサ２に送出する。

【００２５】上記のようにして描画データが送られてく
ると、描画処理プロセッサ２は描画のための画像処理を
行い、処理が終了するとディスプレイ装置４に表示デー
タを送出する。図３は、本実施例における処理を説明す
る図であり、同図により本実施例の処理を説明する。同
図において、（１）は上記表示可能時刻の計算用ＣＰＵ
１ａによる表示可能時刻の計算処理、（２）は移動・回
転等計算用ＣＰＵ１ｂによる移動・回転等の計算処理、
および、画像処理プロセッサ２における描画処理を示
し、また、（３）はディスプレイ装置４に表示される画
面のフレームＮｏ、（４）は音声出力を示している。

【００２６】本実施例においては、表示可能時刻の計
算、移動・回転等の計算、描画処理がそれぞれ異なった
ＣＰＵで実行され、同図に示すように各処理は並列に処
理される。すなわち、当該フレームの描画処理を開始し
たら、直ちに次のフレームの表示可能時刻の計算、およ
び、移動・回転等の計算が開始し、これらの処理は並列
に処理される。

【００２７】図３において、画像処理プロセッサ２がフ
レーム１の描画処理を行っている間に、サーバ計算機１
において、同時にフレーム２の表示可能時刻の計算、移
動・回転等の計算が行われ、フレーム１の描画処理が終
了するとディスプレイ装置３にフレーム１の画面が表示
される（前記図１の(2-3-2) の処理）。また、フレーム
１の表示に同期して、サーバ計算機１からフレームＮｏ
がＶＴＲ装置４に送出され、ＶＴＲ装置４からフレーム
１の音声が出力される。

【００２８】ついで、フレーム２の描画処理を開始する
が、この例の場合、フレーム２の描画処理に要する時間
が短く、直ちに描画処理を開始するとフレーム２の表示
時刻が実表示時刻より早くなる。そこで、フレーム２の
描画予測時間に応じた時間だけフレーム２の描画処理の
待ち合わせを行ったのち、画像処理プロセッサ２はフレ
ーム２の描画処理を開始する（前記図１の(2-3-3) の処
理）。また、同時にサーバ計算機１において、フレーム
３の表示可能時刻の計算、移動・回転等の計算を行う。

【００２９】フレーム２の描画処理が終了すると、フレ
ーム２の画面がディスプレイ装置３に表示されるととも
に、ＶＴＲ装置４からフレーム２の音声が出力される。
ついで、サーバ計算機１はフレーム４の表示可能時刻の
計算およびフレーム４の移動・回転等の計算処理を開始
する。この例では、フレーム４の表示可能時刻がそのフ
レーム４の実表示時刻を越えるので、フレーム４の表示
をスキップする（前記図１の(2-3-1) の処理）。すなわ
ち、サーバ計算機１は直ちにフレーム４の移動・回転等
の計算処理を中止し、次のフレーム５の表示可能時刻を
計算するとともに、該フレームの移動・回転等の計算処
理を開始する。

【００３０】一方、画像処理プロセッサ２はフレーム３
の描画処理を開始するが、この例では、フレーム３の描
画処理に要する時間が短いので、フレーム２と同様、フ
レーム３の描画処理についても待ち合わせを行う。そし
て、フレーム３の描画処理が終了とするとフレーム３の
画面がディスプレイ装置３に表示され、ＶＴＲ装置４か
らフレーム３の音声が出力される。

【００３１】また、上記のようにフレーム４がスキップ
されるので、次のフレームでは、フレーム５の移動・回
転等の計算処理を引き続き行う。そして、計算処理が終
了すると、フレーム５の描画データがサーバ計算機１か
ら画像処理プロセッサ２に送出される。画像処理プロセ
ッサ２への描画データの送出は、フレーム５の実表示時
刻に描画処理が終了するようなタイミングで行われ、画
像処理プロセッサ２はフレーム５の描画処理を開始す
る。

【００３２】一方、サーバ計算機１はフレーム６の表示
可能時刻の計算を開始するとともに、該フレームの移動
・回転等の計算を開始する。この間、ディスプレイ装置
３には、同図に示すように引き続きフレーム３の画面が
表示される。また、フレームＮｏがＶＴＲ装置４に送出
されないので、音声出力は中断する。画像処理プロセッ
サ２によるフレーム５の描画処理が終了すると、フレー
ム５の画面がディスプレイ装置３に表示されるともに、
サーバ計算機１からＶＴＲ装置４にフレームＮｏ５が送
出され、ＶＴＲ装置４はフレーム５の音声を出力する。
以下同様にして、フレーム６，７，…の処理が行われ
る。

【００３３】図４は、画面の表示、音声出力を時間軸に
沿って描いたものであり、（１）は本発明における表示
／音声出力、（２）は実時間で処理した場合の表示／音
声出力、（３）は従来例による表示／音声出力を示して
おり、同図のディスプレイ装置３の画面中に記された数
字はフレームＮｏである。同図に示すように、本発明に
おいては、フレーム３とフレーム６をスキップしてお
り、フレーム３，６の画面が表示されず、またこのフレ
ームの音声が間引かれるが、それ以外のフレーム１，
２，４，５，７では実時間と同期している。

【００３４】これに対し、従来例においては、フレーム
１から順番に全部のフレームを表示しようとしているの
で、フレーム３から現実時間に遅れをとり始め、その遅
れが徐々に蓄積していく。そして、実時間がフレーム７
に達したとき、従来例ではフレーム５の表示が完了して
いない。また、フレームの表示時間が長い期間において
は音声の周波数が低下している。

【００３５】

【発明の効果】以上説明したように、本発明において
は、描画時間を予測して、予測結果に基づき表示／音声
出力の同期を取っているので、リアルタイムマニピュレ
ーションや、音や動画などの混在したマルチメディアデ
ータのシミュレーションに際し、コンピュータグラフィ
ックス世界と、現実時間の時間感覚を一致させることが
可能となる。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】本発明の実施例のシステムの構成例を示す図で
ある。

【図３】本発明の実施例における処理を説明する図であ
る。

【図４】本発明と従来例の表示／音声出力結果を示す図
である。

【符号の説明】

１サーバ計算機１ａ表示可能時刻計算用ＣＰＵ１ｂ移動・回転等計算用ＣＰＵ２画像処理プロセッサ３ディスプレイ装置４ＶＴＲ装置５スピーカ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＧ０９Ｇ 5/36 ５１０Ｇ０６Ｆ 15/62 ３２１Ａ (72)発明者関口実神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社内 (72)発明者渡部信雄神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社内

Claims

【特許請求の範囲】

【請求項１】リアルタイムマニピュレーションあるい
は音や動画などの混在したマルチメディアデータのシミ
ュレーション等を行うマルチメディアデータの処理方法
であって、次のフレームで表示する画面の描画時間を予測し、予測
結果から次のフレームの表示可能時刻を求め、求めた表
示可能時刻が予め定められた次のフレームの実表示時刻
を越えるとき、そのフレームの表示をスキップし、上記表示可能時刻が上記実表示時刻に達しないとき、そ
のフレームの表示を実表示時刻になるまで待ち合わせる
ことを特徴とするマルチメディアデータの処理方法。
【請求項２】リアルタイムマニピュレーションあるい
は音や動画などの混在したマルチメディアデータのシミ
ュレーション等を行うマルチメディアデータの処理方法
であって、次のフレームで表示する画面の描画時間を予測し、予測
結果から次のフレームの表示可能時刻を求め、求めた表
示可能時刻が予め定められた次のフレームの実表示時刻
を越えるとき、そのフレームの表示をスキップするとと
もに、そのフレームで出力される音声を間引きし、上記表示可能時刻が上記実表示時刻に達しないとき、そ
のフレームの表示を上記実表示時刻になるまで待ち合わ
せることを特徴とするマルチメディアデータの処理方
法。
【請求項３】描画時間の予測処理と、画面の描画処理
を異なったプロセッサで並列処理することを特徴とする
請求項１または請求項２のマルチメディアデータの処理
方法。
【請求項４】次のフレームで表示する画面の複雑さに
基づき描画時間を予測することを特徴とする請求項１，
２または請求項３のマルチメディアデータの処理方法。
【請求項５】次のフレームで表示する画面中のオブジ
ェクト数に基づき画面の複雑さを求めることを特徴とす
る請求項４のマルチメディアデータの処理方法。
【請求項６】リアルタイムマニピュレーションあるい
は音や動画などの混在したマルチメディアデータのシミ
ュレーション等を行うマルチメディアデータの処理装置
であって、次のフレームで表示する画面の描画時間を予測し、予測
結果から次のフレームの表示可能時刻を求める表示可能
時刻算出手段と、表示可能時刻が予め定められた次のフレームの実表示時
刻を越えるとき、そのフレームの表示をスキップし、上
記表示可能時刻が上記実表示時刻に達しないとき、その
フレームの表示を実表示時刻になるまで待ち合わせる描
画処理手段と、上記描画処理手段が出力する画像データを表示する表示
手段と、上記表示可能時刻が予め定められた次のフレームの実表
示時刻を越えるとき、そのフレームの音声出力を間引く
音声出力手段とを備えたことを特徴とするマルチメディ
アデータの処理装置。