JP3373389B2 - マルチメディアデータの処理方法および装置 - Google Patents
マルチメディアデータの処理方法および装置Info
- Publication number
- JP3373389B2 JP3373389B2 JP10212997A JP10212997A JP3373389B2 JP 3373389 B2 JP3373389 B2 JP 3373389B2 JP 10212997 A JP10212997 A JP 10212997A JP 10212997 A JP10212997 A JP 10212997A JP 3373389 B2 JP3373389 B2 JP 3373389B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- frame
- display
- screen
- displayable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000004088 simulation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、マルチメディアメ
ディアデータのシミュレーション等におけるデータ処理
方法および装置に関し、特に本発明は、リアルタイムマ
ニピュレーションや、マルチメディアデータによりシミ
ュレーションを行う際にコンピュータグラフィックスの
世界と現実世界とを一致させることができるマルチメデ
ィアデータの処理方法および装置に関するものである。
ディアデータのシミュレーション等におけるデータ処理
方法および装置に関し、特に本発明は、リアルタイムマ
ニピュレーションや、マルチメディアデータによりシミ
ュレーションを行う際にコンピュータグラフィックスの
世界と現実世界とを一致させることができるマルチメデ
ィアデータの処理方法および装置に関するものである。
【０００２】
【従来の技術】リアルタイムマニピュレーションや音や
動画などの混在したマルチメディアデータのシミュレー
ション等においては、コンピュータグラフィクス世界と
現実世界の時間感覚を一致させることが必要である。例
えば、遠隔地、または近くにあってもＸ線等の危険に晒
され直接操作できないような状況で、ロボットアーム等
の操作をリアルタイムで行うリアルタイムマニピュレー
ションを考える。この操作において、現場の状況の確認
をコンピュータグラフックスを見ながら行う場合、オペ
レータは画面に表示されたロボットアーム等のコンピュ
ータグラフィックスを見て、操作の指示を行う。また、
操作した結果のフィードバックをコンピュータグラフィ
ックスを通じて確認する。
動画などの混在したマルチメディアデータのシミュレー
ション等においては、コンピュータグラフィクス世界と
現実世界の時間感覚を一致させることが必要である。例
えば、遠隔地、または近くにあってもＸ線等の危険に晒
され直接操作できないような状況で、ロボットアーム等
の操作をリアルタイムで行うリアルタイムマニピュレー
ションを考える。この操作において、現場の状況の確認
をコンピュータグラフックスを見ながら行う場合、オペ
レータは画面に表示されたロボットアーム等のコンピュ
ータグラフィックスを見て、操作の指示を行う。また、
操作した結果のフィードバックをコンピュータグラフィ
ックスを通じて確認する。
【０００３】この際、重要なことは、実際のロボットア
ーム等の動きと、コンピュータグラフィックスで表示さ
れているロボットアームの動きが実際のロボットアーム
等の動きと比べて遅くなっていたら、障害物を避けた
り、物をつかんだりする操作に支障をきたす場合が生ず
る。つまり、実際のロボットアーム等が障害物にぶつか
った情報が、時間遅れを伴ってコンピュータグラフィッ
クスに反映されることになる。また、画像とともに、音
声がでるようなシミュレーションを行う場合、画像の進
行と音声が同期しないと不自然な印象を与えることにな
る。
ーム等の動きと、コンピュータグラフィックスで表示さ
れているロボットアームの動きが実際のロボットアーム
等の動きと比べて遅くなっていたら、障害物を避けた
り、物をつかんだりする操作に支障をきたす場合が生ず
る。つまり、実際のロボットアーム等が障害物にぶつか
った情報が、時間遅れを伴ってコンピュータグラフィッ
クスに反映されることになる。また、画像とともに、音
声がでるようなシミュレーションを行う場合、画像の進
行と音声が同期しないと不自然な印象を与えることにな
る。
【０００４】従来のコンピュータグラフィックスにおい
ては、上記のようにコンピュータグラフィックス世界と
現実世界の時間感覚が一致しない状態が発生することが
あった。この原因は、フレーム毎に必要とする描画時間
が異なり、また、その時間を予測できないことにある。
一般に、たくさんの色を使っていたり、複雑な形状のオ
ブジェクトを数多く表示させる場合は、より多くの描画
時間が必要となる。
ては、上記のようにコンピュータグラフィックス世界と
現実世界の時間感覚が一致しない状態が発生することが
あった。この原因は、フレーム毎に必要とする描画時間
が異なり、また、その時間を予測できないことにある。
一般に、たくさんの色を使っていたり、複雑な形状のオ
ブジェクトを数多く表示させる場合は、より多くの描画
時間が必要となる。
【０００５】例えば、１秒間に１０フレームの画面を描
画する場合を考えると、１フレームの描画に要する時間
が、常に１秒／１０＝１００ｍｓｅｃであれば、コンピ
ュータグラフィックスは現実の世界と同じ時間で進んで
いく。しかし、前述したように複数の画面を描画しよう
とするとき、１画面の描画に要する時間が１００ｍｓｅ
ｃを越える場合が生じる。このような場合は、コンピュ
ータグラフィックスが現実の時間から遅れることにな
り、その遅れは次第に蓄積されていく。
画する場合を考えると、１フレームの描画に要する時間
が、常に１秒／１０＝１００ｍｓｅｃであれば、コンピ
ュータグラフィックスは現実の世界と同じ時間で進んで
いく。しかし、前述したように複数の画面を描画しよう
とするとき、１画面の描画に要する時間が１００ｍｓｅ
ｃを越える場合が生じる。このような場合は、コンピュ
ータグラフィックスが現実の時間から遅れることにな
り、その遅れは次第に蓄積されていく。
【０００６】従来のコンピュータグラフィックスにおい
ては、事前に描画に要する時間を予測せずに、常に全て
のフレームを表示することを原則としていた。このた
め、単純な画面を表示しようとするときなどは、コンピ
ュータグラフィックスの画面が実時間より先行し、逆に
複雑な形状のオブジェクトが多数あるような場合には、
コンピュータグラフィックスの画面が実時間より遅れて
表示されることがあった。
ては、事前に描画に要する時間を予測せずに、常に全て
のフレームを表示することを原則としていた。このた
め、単純な画面を表示しようとするときなどは、コンピ
ュータグラフィックスの画面が実時間より先行し、逆に
複雑な形状のオブジェクトが多数あるような場合には、
コンピュータグラフィックスの画面が実時間より遅れて
表示されることがあった。
【０００７】また、画像の表示が上記のように実時間よ
り遅れたり先行したりするため、画像の進行と音声が同
期しなかったり、音声の周波数が画面の描画時間に応じ
て変化し、音声の周波数が高くなったり低くなる場合が
生じた。すなわち、従来のコンピュータグラフィックス
において、画面と音声を同期させようとする場合、音声
の周波数を変換することで画面と音声が同時に進行する
ようにしており、このため、画面の進行が音声より早い
場合、音声の周波数が高くなり、甲高くなった。反対
に、画面の進行が音声より遅い場合、音声の周波数が低
くなり不自然になった。
り遅れたり先行したりするため、画像の進行と音声が同
期しなかったり、音声の周波数が画面の描画時間に応じ
て変化し、音声の周波数が高くなったり低くなる場合が
生じた。すなわち、従来のコンピュータグラフィックス
において、画面と音声を同期させようとする場合、音声
の周波数を変換することで画面と音声が同時に進行する
ようにしており、このため、画面の進行が音声より早い
場合、音声の周波数が高くなり、甲高くなった。反対
に、画面の進行が音声より遅い場合、音声の周波数が低
くなり不自然になった。
【０００８】
【発明が解決しようとする課題】以上のように、従来の
コンピュータグラフィックスにおいては、コンピュータ
グラフィックスの画面が実時間と一致しなかったり、音
声の周波数が高くなったり低くなる場合があった。本発
明は上記した従来技術の問題点を解決するためになされ
たものであって、リアルタイムマニピュレーションや音
や動画などの混在したマルチメディアデータのシミュレ
ーションにおいて、コンピュータグラフィックスの世界
と現実世界を一致させることができるマルチメディアデ
ータの処理方法および装置を提供することである。
コンピュータグラフィックスにおいては、コンピュータ
グラフィックスの画面が実時間と一致しなかったり、音
声の周波数が高くなったり低くなる場合があった。本発
明は上記した従来技術の問題点を解決するためになされ
たものであって、リアルタイムマニピュレーションや音
や動画などの混在したマルチメディアデータのシミュレ
ーションにおいて、コンピュータグラフィックスの世界
と現実世界を一致させることができるマルチメディアデ
ータの処理方法および装置を提供することである。
【０００９】
【課題を解決するための手段】本発明では、予め次のフ
レームの描画に要する時間を予測し、次のフレームの表
示可能時刻が実表示時刻（実時間の進行に一致した各フ
レームを表示すべき時刻）に間に合わない場合は、次の
フレームの描画をスキップし、逆に次のフレームの絶対
描画時間より早く描画が完了するような予測が得られた
ときは、描画の待ち合わせを行う。これにより常に正確
な絶対描画時間に描画が完了する。また、画像と同様に
音声の場合も時間を調整するのに周波数の変換を行うの
ではなく、画面のフレームをスキップするように音声を
微小時間間引いて再生することで、画像と音声の同期を
行う。
レームの描画に要する時間を予測し、次のフレームの表
示可能時刻が実表示時刻（実時間の進行に一致した各フ
レームを表示すべき時刻）に間に合わない場合は、次の
フレームの描画をスキップし、逆に次のフレームの絶対
描画時間より早く描画が完了するような予測が得られた
ときは、描画の待ち合わせを行う。これにより常に正確
な絶対描画時間に描画が完了する。また、画像と同様に
音声の場合も時間を調整するのに周波数の変換を行うの
ではなく、画面のフレームをスキップするように音声を
微小時間間引いて再生することで、画像と音声の同期を
行う。
【００１０】図１は本発明の原理を説明する図であり、
本発明においては次のようにして画像表示、音声出力を
行う。なお、以下の(1) 〜 (2-5)は図１に表記された番
号に対応する。 (1) 表示フレームＮｏに０を設定する。表示フレームＮ
ｏは次に表示しようとするフレームの番号である。 (2) 最終フレームまで次の(2.1) 〜(2.5) の処理を繰り
返す。 (2-1) 表示フレームＮｏに１を加える。 (2-2) 表示フレームＮｏの描画に要する時間を予測し、
表示可能時刻を計算する。
本発明においては次のようにして画像表示、音声出力を
行う。なお、以下の(1) 〜 (2-5)は図１に表記された番
号に対応する。 (1) 表示フレームＮｏに０を設定する。表示フレームＮ
ｏは次に表示しようとするフレームの番号である。 (2) 最終フレームまで次の(2.1) 〜(2.5) の処理を繰り
返す。 (2-1) 表示フレームＮｏに１を加える。 (2-2) 表示フレームＮｏの描画に要する時間を予測し、
表示可能時刻を計算する。
【００１１】(2-3) 上記(2-2) で求めた表示可能時刻と
実際に表示すべき時刻とを比較する。 (2-3-1) 表示可能時刻が実表示時刻より遅い場合には、
当該フレームの表示をスキップし(2-5) に進む（当該フ
レームの音声を出力しない）。 (2-3-2) 表示可能時刻が実表示時刻と同じ場合には、直
ちに当該フレームの表示処理(2-4) に進む（表示ととも
に音声出力をする）。 (2-3-3) 表示可能時刻が実表示時刻よりも早い場合に
は、当該フレームの実表示時刻になるまで待ち合わせた
のち、表示処理(2-4) に進む（音声は直ちに出力す
る）。 (2-4) 表示処理を行う。 (2-5) 最終フレームなら処理を終了し、さもなければ(2
-1) に戻り繰り返し処理を行う。
実際に表示すべき時刻とを比較する。 (2-3-1) 表示可能時刻が実表示時刻より遅い場合には、
当該フレームの表示をスキップし(2-5) に進む（当該フ
レームの音声を出力しない）。 (2-3-2) 表示可能時刻が実表示時刻と同じ場合には、直
ちに当該フレームの表示処理(2-4) に進む（表示ととも
に音声出力をする）。 (2-3-3) 表示可能時刻が実表示時刻よりも早い場合に
は、当該フレームの実表示時刻になるまで待ち合わせた
のち、表示処理(2-4) に進む（音声は直ちに出力す
る）。 (2-4) 表示処理を行う。 (2-5) 最終フレームなら処理を終了し、さもなければ(2
-1) に戻り繰り返し処理を行う。
【００１２】上記（2-2)で、表示フレームＮｏの描画に
要する時間を予測しているが、画面の描画時間を正確に
求めることは実際に描画してみないと判らない。したが
って、上記のように描画時間を求めるには何らかの方針
に基づいて近似的に予測を行う方法しかない。本発明で
は、次の方針に基づき描画時間の予測を行う。 複雑なオブジェクトが多くある画面程、描画時間が
長い。 オブジェクトの複雑さや数は直前の画面の複雑さや
数と関連が深い。 描画時間は直前の画面の描画時間と関連が深い。
要する時間を予測しているが、画面の描画時間を正確に
求めることは実際に描画してみないと判らない。したが
って、上記のように描画時間を求めるには何らかの方針
に基づいて近似的に予測を行う方法しかない。本発明で
は、次の方針に基づき描画時間の予測を行う。 複雑なオブジェクトが多くある画面程、描画時間が
長い。 オブジェクトの複雑さや数は直前の画面の複雑さや
数と関連が深い。 描画時間は直前の画面の描画時間と関連が深い。
【００１３】つまり、これから予測しようとする画面の
描画時間は直前の画面を描画するのに要した時間に近い
ということである。単純な例では、カメラが常に同じと
ころを写しているような変化の無い画面では画面の描画
に要する時間は常に同じである。したがって、描画時間
の予測は直前の画面の描画時間と画面の複雑さとの関数
である次の（１）式で表現できる。 Ｔi+1 ＝ｆ（Ｔi ，Ｃi ）…（１） ここで、ｉはフレームの番号を示し、Ｔi ，Ｔi+1 はフ
レーム番号ｉ，ｉ＋１を描画するに要する時間、Ｃi は
フレーム番号ｉの画面の複雑さを示す関数である。
描画時間は直前の画面を描画するのに要した時間に近い
ということである。単純な例では、カメラが常に同じと
ころを写しているような変化の無い画面では画面の描画
に要する時間は常に同じである。したがって、描画時間
の予測は直前の画面の描画時間と画面の複雑さとの関数
である次の（１）式で表現できる。 Ｔi+1 ＝ｆ（Ｔi ，Ｃi ）…（１） ここで、ｉはフレームの番号を示し、Ｔi ，Ｔi+1 はフ
レーム番号ｉ，ｉ＋１を描画するに要する時間、Ｃi は
フレーム番号ｉの画面の複雑さを示す関数である。
【００１４】Ｔi+1 が判れば、前記したようにコンピュ
ータグラフィックスの描画を行うことで、コンピュータ
グラフィックス世界と現実世界の時間感覚を一致させる
ことが可能となる。次に、ｆ（Ｔi ，Ｃi ）について考
えると、理想的にはこの項はｆ（Ｔi ，Ｃ i+1 ）となっ
ている方がより高い精度でＴi+1 を推定することができ
る。しかし、Ｃi+1 は次の書こうとしている画面の複雑
さなので、それを事前に知ることは難しく、Ｃi で代用
している。上記Ｃi+1 とＣi の比較に関しては、前述し
たの「オブジェクトの複雑さや数は直前の画面の複雑
さや数と関連が深い」という条件によりＣi とＣi+1 は
近い値であることが期待できるので、Ｃi+1 の代わりに
Ｃi を用いても十分実用的な性能が得られる。
ータグラフィックスの描画を行うことで、コンピュータ
グラフィックス世界と現実世界の時間感覚を一致させる
ことが可能となる。次に、ｆ（Ｔi ，Ｃi ）について考
えると、理想的にはこの項はｆ（Ｔi ，Ｃ i+1 ）となっ
ている方がより高い精度でＴi+1 を推定することができ
る。しかし、Ｃi+1 は次の書こうとしている画面の複雑
さなので、それを事前に知ることは難しく、Ｃi で代用
している。上記Ｃi+1 とＣi の比較に関しては、前述し
たの「オブジェクトの複雑さや数は直前の画面の複雑
さや数と関連が深い」という条件によりＣi とＣi+1 は
近い値であることが期待できるので、Ｃi+1 の代わりに
Ｃi を用いても十分実用的な性能が得られる。
【００１５】ここで、「画面の複雑さ」について考え
る。一般に三次元コンピュータグラフィックスの描画を
考えると、「画面の複雑さ」は表示すべきポリゴンの数
で論じられることが多い。システムの性能を評価する指
標としても一秒間で表示可能なポリゴンの数が使われ
る。ポリゴンとは、画像表示の基本的な単位であり、一
般的には多角形を意味するが、コンピュータグラフィッ
クスでは三角形を指すのが普通である。つまり、「画面
の複雑さ」は描画すべき三角形の数で表現される。さ
て、描画すべき三角形の数の見積もりはどの様におこな
うのであろうか。三次元コンピュータグラフィックスと
は言え、最終的には二次元のディスプレイ上に表示を行
うことになる。そこで、オブジェクトを二次元の面に分
解することを始めに行う。さらに、ここで分解した二次
元の面をポリゴンに再分割することにより最終的な表示
を行う。
る。一般に三次元コンピュータグラフィックスの描画を
考えると、「画面の複雑さ」は表示すべきポリゴンの数
で論じられることが多い。システムの性能を評価する指
標としても一秒間で表示可能なポリゴンの数が使われ
る。ポリゴンとは、画像表示の基本的な単位であり、一
般的には多角形を意味するが、コンピュータグラフィッ
クスでは三角形を指すのが普通である。つまり、「画面
の複雑さ」は描画すべき三角形の数で表現される。さ
て、描画すべき三角形の数の見積もりはどの様におこな
うのであろうか。三次元コンピュータグラフィックスと
は言え、最終的には二次元のディスプレイ上に表示を行
うことになる。そこで、オブジェクトを二次元の面に分
解することを始めに行う。さらに、ここで分解した二次
元の面をポリゴンに再分割することにより最終的な表示
を行う。
【００１６】従って、オブジェクトの数が表示すべきポ
リゴンの数を見積もるための重要な手がかりになること
がわかる。すべてのオブジェクトが同じ数のポリゴンに
分解されるわけではないので、単純に〔表示するポリゴ
ンの数〕＝〔オブジェクトの数の倍数〕にはならない
が、オブジェクトを構成する平均ポリゴン数に関する定
数をαとすれば、〔表示すべきポリゴンの数〕＝α×
〔オブジェクトの数〕は実用的な見積もりとなる。
リゴンの数を見積もるための重要な手がかりになること
がわかる。すべてのオブジェクトが同じ数のポリゴンに
分解されるわけではないので、単純に〔表示するポリゴ
ンの数〕＝〔オブジェクトの数の倍数〕にはならない
が、オブジェクトを構成する平均ポリゴン数に関する定
数をαとすれば、〔表示すべきポリゴンの数〕＝α×
〔オブジェクトの数〕は実用的な見積もりとなる。
【００１７】以上のことより、次の（２）式が導入でき
る。 ここで、αはオブジェクトを構成する平均ポリゴン数か
ら求められる定数で、表示する画面の種類などによって
予め求めることができる。また、Ｎobjectは当該画面で
表示するオブジェクトの数である。上記αＮobjectを表
示する画面の複雑度と定義し、複雑度＝βと定義すれ
ば、上記（２）式は次の（３）式で表される。 Ｔi+1 ＝ｆ（Ｔi ，β）…（３）
る。 ここで、αはオブジェクトを構成する平均ポリゴン数か
ら求められる定数で、表示する画面の種類などによって
予め求めることができる。また、Ｎobjectは当該画面で
表示するオブジェクトの数である。上記αＮobjectを表
示する画面の複雑度と定義し、複雑度＝βと定義すれ
ば、上記（２）式は次の（３）式で表される。 Ｔi+1 ＝ｆ（Ｔi ，β）…（３）
【００１８】本発明は上記原理に基づき、次のようにし
て前記課題を解決する。 （１）次のフレームで表示する画面の描画時間を予測
し、予測結果から次のフレームの表示可能時刻を求め、
求めた表示可能時刻が予め定められた次のフレームの実
表示時刻を越えるとき、そのフレームの表示をスキップ
するとともに、そのフレームで出力される音声を間引き
し、上記表示可能時刻が上記実表示時刻に達しないと
き、そのフレームの表示を上記実表示時刻になるまで待
ち合わせる。
て前記課題を解決する。 （１）次のフレームで表示する画面の描画時間を予測
し、予測結果から次のフレームの表示可能時刻を求め、
求めた表示可能時刻が予め定められた次のフレームの実
表示時刻を越えるとき、そのフレームの表示をスキップ
するとともに、そのフレームで出力される音声を間引き
し、上記表示可能時刻が上記実表示時刻に達しないと
き、そのフレームの表示を上記実表示時刻になるまで待
ち合わせる。
【００１９】（２）上記（１）において、描画時間の予
測処理と、画面の描画処理を異なったプロセッサで並列
処理する。 （３）上記（１）（２）において、次のフレームで表示
する画面の複雑さに基づき描画時間を予測する。 （４）上記（３）において、次のフレームで表示する画
面中のオブジェクト数に基づき画面の複雑さを求める。
測処理と、画面の描画処理を異なったプロセッサで並列
処理する。 （３）上記（１）（２）において、次のフレームで表示
する画面の複雑さに基づき描画時間を予測する。 （４）上記（３）において、次のフレームで表示する画
面中のオブジェクト数に基づき画面の複雑さを求める。
【００２０】本発明の請求項１，５の発明においては、
上記（１）のようにして表示／音声出力を行っているの
で、各フレームの表示時刻を実表示時刻に一致させるこ
とができ、また、音声出力を表示画面に一致させること
ができる。このため、コンピュータグラフィックスの世
界と現実世界を一致させることができる。また、音声の
周波数が一時的に高くなったり、低くなったりすること
もない。なお、スキップすることによりそのフレームの
画像が表示されないが、実用上ほとんど影響がない。ま
た、音声の一部が間引かれるが、極短時間なので内容の
理解に支障を来すことはない。本発明の請求項２の発明
においては、上記（２）のように並列処理をしているの
で、描画時間の予測を行うことにより全体の処理が遅れ
ることがない。本発明の請求項３，４の発明において
は、（３）（４）のようにして描画時間を予測している
ので、実用上支障のない範囲で描画時間を予測すること
ができる。
上記（１）のようにして表示／音声出力を行っているの
で、各フレームの表示時刻を実表示時刻に一致させるこ
とができ、また、音声出力を表示画面に一致させること
ができる。このため、コンピュータグラフィックスの世
界と現実世界を一致させることができる。また、音声の
周波数が一時的に高くなったり、低くなったりすること
もない。なお、スキップすることによりそのフレームの
画像が表示されないが、実用上ほとんど影響がない。ま
た、音声の一部が間引かれるが、極短時間なので内容の
理解に支障を来すことはない。本発明の請求項２の発明
においては、上記（２）のように並列処理をしているの
で、描画時間の予測を行うことにより全体の処理が遅れ
ることがない。本発明の請求項３，４の発明において
は、（３）（４）のようにして描画時間を予測している
ので、実用上支障のない範囲で描画時間を予測すること
ができる。
【００２１】
【発明の実施の形態】図２は本発明の実施例のシステム
の構成例を示す図である。同図において、１はサーバ計
算機、２は画像処理プロセッサであり、サーバ計算機１
と画像処理プロセッサ２はＬＡＮ等を介して接続されて
おり、サーバ計算機１から送られた描画データを画像処
理プロセッサ２が画像処理して、各フレームの画面がデ
ィスプレイ装置３に表示される。４はＶＴＲ装置であ
り、ＶＴＲ装置４はサーバ計算機１から送られてくる同
期信号（フレームＮｏ）に応じた音声をスピーカ５から
出力する。
の構成例を示す図である。同図において、１はサーバ計
算機、２は画像処理プロセッサであり、サーバ計算機１
と画像処理プロセッサ２はＬＡＮ等を介して接続されて
おり、サーバ計算機１から送られた描画データを画像処
理プロセッサ２が画像処理して、各フレームの画面がデ
ィスプレイ装置３に表示される。４はＶＴＲ装置であ
り、ＶＴＲ装置４はサーバ計算機１から送られてくる同
期信号（フレームＮｏ）に応じた音声をスピーカ５から
出力する。
【００２２】サーバ計算機１は表示可能時刻計算用ＣＰ
Ｕ１ａと移動・回転等計算用ＣＰＵ１ｂを備えている。
表示可能時刻計算用ＣＰＵ１ａは次のフレームの描画時
間を予測して次のフレームの表示可能時刻を求め、この
時刻が実表示時刻を越える場合、移動・回転等計算用Ｃ
ＰＵ１ｂに対してそのフレームの処理をスキップするよ
う指示する。また、ＶＴＲ装置４に対する当該フレーム
のフレームＮｏの送出を停止する。ＶＴＲ装置４は表示
可能時刻計算用ＣＰＵ１ａからフレームＮｏが送られて
こないと、当該フレームの音声を出力しない（音声が間
引かれる）。また、次のフレームの表示可能時刻が実表
示時刻に達しない場合には、表示可能時刻計算用ＣＰＵ
１ａは移動・回転等計算用ＣＰＵ１ｂに対して実表示時
間になるまで、表示を待ち合わせるように指示する。
Ｕ１ａと移動・回転等計算用ＣＰＵ１ｂを備えている。
表示可能時刻計算用ＣＰＵ１ａは次のフレームの描画時
間を予測して次のフレームの表示可能時刻を求め、この
時刻が実表示時刻を越える場合、移動・回転等計算用Ｃ
ＰＵ１ｂに対してそのフレームの処理をスキップするよ
う指示する。また、ＶＴＲ装置４に対する当該フレーム
のフレームＮｏの送出を停止する。ＶＴＲ装置４は表示
可能時刻計算用ＣＰＵ１ａからフレームＮｏが送られて
こないと、当該フレームの音声を出力しない（音声が間
引かれる）。また、次のフレームの表示可能時刻が実表
示時刻に達しない場合には、表示可能時刻計算用ＣＰＵ
１ａは移動・回転等計算用ＣＰＵ１ｂに対して実表示時
間になるまで、表示を待ち合わせるように指示する。
【００２３】本実施例において、上記表示可能時刻計算
用ＣＰＵ１ａは、前記（３）式における複雑さβをβ＝
１／Ｎobjectとして、次の（４）式で描画時間の予測値
Ｔi+ 1 を求めている。この場合には予測値Ｔi+1 は常に
直前の画面の描画時間Ｔi と等しくなる。
用ＣＰＵ１ａは、前記（３）式における複雑さβをβ＝
１／Ｎobjectとして、次の（４）式で描画時間の予測値
Ｔi+ 1 を求めている。この場合には予測値Ｔi+1 は常に
直前の画面の描画時間Ｔi と等しくなる。
【００２４】移動・回転等計算用ＣＰＵ１ｂは、表示す
るオブジェクトの移動・回転等の計算処理を行い、座標
値、色データ等を描画データとして画像処理プロセッサ
２に送出しており、上記表示可能時刻計算用ＣＰＵ１ａ
からの指示に応じて次のように動作する。 表示可能時刻が実表示時刻と同じ場合。 実表示時刻に画面が表示されるように、所定のタイミン
グで描画データを画像処理プロセッサ２に送出する。 表示可能時刻計算用プロセッサ１ａからフレームを
スキップする指示が与えられた場合。 直ちに上記フレームの計算処理を中止し、次のフレーム
の計算処理を開始する。そして、次のフレームの実表示
時刻に上記フレームの画面が表示されるようなタイミン
グで描画データを画像処理プロセッサ２に送出する。 表示可能時刻計算用プロセッサ１ａから表示を待ち
合わせる指示が与えられた場合。 実表示時刻に上記フレームの画面が表示されるように、
描画データの送出の待ち合わせを行い、描画データを画
像処理プロセッサ２に送出する。
るオブジェクトの移動・回転等の計算処理を行い、座標
値、色データ等を描画データとして画像処理プロセッサ
２に送出しており、上記表示可能時刻計算用ＣＰＵ１ａ
からの指示に応じて次のように動作する。 表示可能時刻が実表示時刻と同じ場合。 実表示時刻に画面が表示されるように、所定のタイミン
グで描画データを画像処理プロセッサ２に送出する。 表示可能時刻計算用プロセッサ１ａからフレームを
スキップする指示が与えられた場合。 直ちに上記フレームの計算処理を中止し、次のフレーム
の計算処理を開始する。そして、次のフレームの実表示
時刻に上記フレームの画面が表示されるようなタイミン
グで描画データを画像処理プロセッサ２に送出する。 表示可能時刻計算用プロセッサ１ａから表示を待ち
合わせる指示が与えられた場合。 実表示時刻に上記フレームの画面が表示されるように、
描画データの送出の待ち合わせを行い、描画データを画
像処理プロセッサ２に送出する。
【００２５】上記のようにして描画データが送られてく
ると、描画処理プロセッサ２は描画のための画像処理を
行い、処理が終了するとディスプレイ装置４に表示デー
タを送出する。図３は、本実施例における処理を説明す
る図であり、同図により本実施例の処理を説明する。同
図において、（１）は上記表示可能時刻の計算用ＣＰＵ
１ａによる表示可能時刻の計算処理、（２）は移動・回
転等計算用ＣＰＵ１ｂによる移動・回転等の計算処理、
および、画像処理プロセッサ２における描画処理を示
し、また、（３）はディスプレイ装置４に表示される画
面のフレームＮｏ、（４）は音声出力を示している。
ると、描画処理プロセッサ２は描画のための画像処理を
行い、処理が終了するとディスプレイ装置４に表示デー
タを送出する。図３は、本実施例における処理を説明す
る図であり、同図により本実施例の処理を説明する。同
図において、（１）は上記表示可能時刻の計算用ＣＰＵ
１ａによる表示可能時刻の計算処理、（２）は移動・回
転等計算用ＣＰＵ１ｂによる移動・回転等の計算処理、
および、画像処理プロセッサ２における描画処理を示
し、また、（３）はディスプレイ装置４に表示される画
面のフレームＮｏ、（４）は音声出力を示している。
【００２６】本実施例においては、表示可能時刻の計
算、移動・回転等の計算、描画処理がそれぞれ異なった
ＣＰＵで実行され、同図に示すように各処理は並列に処
理される。すなわち、当該フレームの描画処理を開始し
たら、直ちに次のフレームの表示可能時刻の計算、およ
び、移動・回転等の計算が開始し、これらの処理は並列
に処理される。
算、移動・回転等の計算、描画処理がそれぞれ異なった
ＣＰＵで実行され、同図に示すように各処理は並列に処
理される。すなわち、当該フレームの描画処理を開始し
たら、直ちに次のフレームの表示可能時刻の計算、およ
び、移動・回転等の計算が開始し、これらの処理は並列
に処理される。
【００２７】図３において、画像処理プロセッサ２がフ
レーム１の描画処理を行っている間に、サーバ計算機１
において、同時にフレーム２の表示可能時刻の計算、移
動・回転等の計算が行われ、フレーム１の描画処理が終
了するとディスプレイ装置３にフレーム１の画面が表示
される（前記図１の(2-3-2) の処理）。また、フレーム
１の表示に同期して、サーバ計算機１からフレームＮｏ
がＶＴＲ装置４に送出され、ＶＴＲ装置４からフレーム
１の音声が出力される。
レーム１の描画処理を行っている間に、サーバ計算機１
において、同時にフレーム２の表示可能時刻の計算、移
動・回転等の計算が行われ、フレーム１の描画処理が終
了するとディスプレイ装置３にフレーム１の画面が表示
される（前記図１の(2-3-2) の処理）。また、フレーム
１の表示に同期して、サーバ計算機１からフレームＮｏ
がＶＴＲ装置４に送出され、ＶＴＲ装置４からフレーム
１の音声が出力される。
【００２８】ついで、フレーム２の描画処理を開始する
が、この例の場合、フレーム２の描画処理に要する時間
が短く、直ちに描画処理を開始するとフレーム２の表示
時刻が実表示時刻より早くなる。そこで、フレーム２の
描画予測時間に応じた時間だけフレーム２の描画処理の
待ち合わせを行ったのち、画像処理プロセッサ２はフレ
ーム２の描画処理を開始する（前記図１の(2-3-3) の処
理）。また、同時にサーバ計算機１において、フレーム
３の表示可能時刻の計算、移動・回転等の計算を行う。
が、この例の場合、フレーム２の描画処理に要する時間
が短く、直ちに描画処理を開始するとフレーム２の表示
時刻が実表示時刻より早くなる。そこで、フレーム２の
描画予測時間に応じた時間だけフレーム２の描画処理の
待ち合わせを行ったのち、画像処理プロセッサ２はフレ
ーム２の描画処理を開始する（前記図１の(2-3-3) の処
理）。また、同時にサーバ計算機１において、フレーム
３の表示可能時刻の計算、移動・回転等の計算を行う。
【００２９】フレーム２の描画処理が終了すると、フレ
ーム２の画面がディスプレイ装置３に表示されるととも
に、ＶＴＲ装置４からフレーム２の音声が出力される。
ついで、サーバ計算機１はフレーム４の表示可能時刻の
計算およびフレーム４の移動・回転等の計算処理を開始
する。この例では、フレーム４の表示可能時刻がそのフ
レーム４の実表示時刻を越えるので、フレーム４の表示
をスキップする（前記図１の(2-3-1) の処理）。すなわ
ち、サーバ計算機１は直ちにフレーム４の移動・回転等
の計算処理を中止し、次のフレーム５の表示可能時刻を
計算するとともに、該フレームの移動・回転等の計算処
理を開始する。
ーム２の画面がディスプレイ装置３に表示されるととも
に、ＶＴＲ装置４からフレーム２の音声が出力される。
ついで、サーバ計算機１はフレーム４の表示可能時刻の
計算およびフレーム４の移動・回転等の計算処理を開始
する。この例では、フレーム４の表示可能時刻がそのフ
レーム４の実表示時刻を越えるので、フレーム４の表示
をスキップする（前記図１の(2-3-1) の処理）。すなわ
ち、サーバ計算機１は直ちにフレーム４の移動・回転等
の計算処理を中止し、次のフレーム５の表示可能時刻を
計算するとともに、該フレームの移動・回転等の計算処
理を開始する。
【００３０】一方、画像処理プロセッサ２はフレーム３
の描画処理を開始するが、この例では、フレーム３の描
画処理に要する時間が短いので、フレーム２と同様、フ
レーム３の描画処理についても待ち合わせを行う。そし
て、フレーム３の描画処理が終了とするとフレーム３の
画面がディスプレイ装置３に表示され、ＶＴＲ装置４か
らフレーム３の音声が出力される。
の描画処理を開始するが、この例では、フレーム３の描
画処理に要する時間が短いので、フレーム２と同様、フ
レーム３の描画処理についても待ち合わせを行う。そし
て、フレーム３の描画処理が終了とするとフレーム３の
画面がディスプレイ装置３に表示され、ＶＴＲ装置４か
らフレーム３の音声が出力される。
【００３１】また、上記のようにフレーム４がスキップ
されるので、次のフレームでは、フレーム５の移動・回
転等の計算処理を引き続き行う。そして、計算処理が終
了すると、フレーム５の描画データがサーバ計算機１か
ら画像処理プロセッサ２に送出される。画像処理プロセ
ッサ２への描画データの送出は、フレーム５の実表示時
刻に描画処理が終了するようなタイミングで行われ、画
像処理プロセッサ２はフレーム５の描画処理を開始す
る。
されるので、次のフレームでは、フレーム５の移動・回
転等の計算処理を引き続き行う。そして、計算処理が終
了すると、フレーム５の描画データがサーバ計算機１か
ら画像処理プロセッサ２に送出される。画像処理プロセ
ッサ２への描画データの送出は、フレーム５の実表示時
刻に描画処理が終了するようなタイミングで行われ、画
像処理プロセッサ２はフレーム５の描画処理を開始す
る。
【００３２】一方、サーバ計算機１はフレーム６の表示
可能時刻の計算を開始するとともに、該フレームの移動
・回転等の計算を開始する。この間、ディスプレイ装置
３には、同図に示すように引き続きフレーム３の画面が
表示される。また、フレームＮｏがＶＴＲ装置４に送出
されないので、音声出力は中断する。画像処理プロセッ
サ２によるフレーム５の描画処理が終了すると、フレー
ム５の画面がディスプレイ装置３に表示されるともに、
サーバ計算機１からＶＴＲ装置４にフレームＮｏ５が送
出され、ＶＴＲ装置４はフレーム５の音声を出力する。
以下同様にして、フレーム６，７，…の処理が行われ
る。
可能時刻の計算を開始するとともに、該フレームの移動
・回転等の計算を開始する。この間、ディスプレイ装置
３には、同図に示すように引き続きフレーム３の画面が
表示される。また、フレームＮｏがＶＴＲ装置４に送出
されないので、音声出力は中断する。画像処理プロセッ
サ２によるフレーム５の描画処理が終了すると、フレー
ム５の画面がディスプレイ装置３に表示されるともに、
サーバ計算機１からＶＴＲ装置４にフレームＮｏ５が送
出され、ＶＴＲ装置４はフレーム５の音声を出力する。
以下同様にして、フレーム６，７，…の処理が行われ
る。
【００３３】図４は、画面の表示、音声出力を時間軸に
沿って描いたものであり、（１）は本発明における表示
／音声出力、（２）は実時間で処理した場合の表示／音
声出力、（３）は従来例による表示／音声出力を示して
おり、同図のディスプレイ装置３の画面中に記された数
字はフレームＮｏである。同図に示すように、本発明に
おいては、フレーム３とフレーム６をスキップしてお
り、フレーム３，６の画面が表示されず、またこのフレ
ームの音声が間引かれるが、それ以外のフレーム１，
２，４，５，７では実時間と同期している。
沿って描いたものであり、（１）は本発明における表示
／音声出力、（２）は実時間で処理した場合の表示／音
声出力、（３）は従来例による表示／音声出力を示して
おり、同図のディスプレイ装置３の画面中に記された数
字はフレームＮｏである。同図に示すように、本発明に
おいては、フレーム３とフレーム６をスキップしてお
り、フレーム３，６の画面が表示されず、またこのフレ
ームの音声が間引かれるが、それ以外のフレーム１，
２，４，５，７では実時間と同期している。
【００３４】これに対し、従来例においては、フレーム
１から順番に全部のフレームを表示しようとしているの
で、フレーム３から現実時間に遅れをとり始め、その遅
れが徐々に蓄積していく。そして、実時間がフレーム７
に達したとき、従来例ではフレーム５の表示が完了して
いない。また、フレームの表示時間が長い期間において
は音声の周波数が低下している。
１から順番に全部のフレームを表示しようとしているの
で、フレーム３から現実時間に遅れをとり始め、その遅
れが徐々に蓄積していく。そして、実時間がフレーム７
に達したとき、従来例ではフレーム５の表示が完了して
いない。また、フレームの表示時間が長い期間において
は音声の周波数が低下している。
【００３５】
【発明の効果】以上説明したように、本発明において
は、描画時間を予測して、予測結果に基づき表示／音声
出力の同期を取っているので、リアルタイムマニピュレ
ーションや、音や動画などの混在したマルチメディアデ
ータのシミュレーションに際し、コンピュータグラフィ
ックス世界と、現実時間の時間感覚を一致させることが
可能となる。
は、描画時間を予測して、予測結果に基づき表示／音声
出力の同期を取っているので、リアルタイムマニピュレ
ーションや、音や動画などの混在したマルチメディアデ
ータのシミュレーションに際し、コンピュータグラフィ
ックス世界と、現実時間の時間感覚を一致させることが
可能となる。
【図１】本発明の原理説明図である。
【図２】本発明の実施例のシステムの構成例を示す図で
ある。
ある。
【図３】本発明の実施例における処理を説明する図であ
る。
る。
【図４】本発明と従来例の表示／音声出力結果を示す図
である。
である。
１ サーバ計算機
１ａ 表示可能時刻計算用ＣＰＵ
１ｂ 移動・回転等計算用ＣＰＵ
２ 画像処理プロセッサ
３ ディスプレイ装置
４ ＶＴＲ装置
５ スピーカ
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ
Ｇ０９Ｇ 5/36 ５１０ Ｇ０６Ｆ 15/62 ３２１Ａ
(56)参考文献 特開 平７−98770（ＪＰ，Ａ)
特開 平７−262397（ＪＰ，Ａ)
広田克彦、他２名，タイムリアリステ
ィックＣＧソフトウェア：彩飛，ＦＵＪ
ＩＴＳＵ，日本，富士通株式会社，1995
年 ５月10日，第46巻、第３号，Ｐ304
−311
(58)調査した分野(Int.Cl.7，ＤＢ名)
G09G 5/00 - 5/42
G06T 15/70,17/40
Claims (5)
- 【請求項１】 リアルタイムマニピュレーションあるい
は音や動画などの混在したマルチメディアデータのシミ
ュレーション等を行うマルチメディアデータの処理方法
であって、 次のフレームで表示する画面の描画時間を予測し、予測
結果から次のフレームの表示可能時刻を求め、求めた表
示可能時刻が予め定められた次のフレームの実表示時刻
を越えるとき、そのフレームの表示をスキップするとと
もに、そのフレームで出力される音声を間引きし、 上記表示可能時刻が上記実表示時刻に達しないとき、そ
のフレームの表示を上記実表示時刻になるまで待ち合わ
せることを特徴とするマルチメディアデータの処理方
法。 - 【請求項２】 描画時間の予測処理と、画面の描画処理
を異なったプロセッサで並列処理することを特徴とする
請求項１のマルチメディアデータの処理方法。 - 【請求項３】 次のフレームで表示する画面の複雑さに
基づき描画時間を予測することを特徴とする請求項１ま
たは請求項２のマルチメディアデータの処理方法。 - 【請求項４】 次のフレームで表示する画面中のオブジ
ェクト数に基づき画面の複雑さを求めることを特徴とす
る請求項３のマルチメディアデータの処理方法。 - 【請求項５】 リアルタイムマニピュレーションあるい
は音や動画などの混在したマルチメディアデータのシミ
ュレーション等を行うマルチメディアデータの処理装置
であって、 次のフレームで表示する画面の描画時間を予測し、予測
結果から次のフレームの表示可能時刻を求める表示可能
時刻算出手段と、 表示可能時刻が予め定められた次のフレームの実表示時
刻を越えるとき、そのフレームの表示をスキップし、上
記表示可能時刻が上記実表示時刻に達しないとき、その
フレームの表示を実表示時刻になるまで待ち合わせる描
画処理手段と、 上記描画処理手段が出力する画像データを表示する表示
手段と、 上記表示可能時刻が予め定められた次のフレームの実表
示時刻を越えるとき、そのフレームの音声出力を間引く
音声出力手段とを備えたことを特徴とするマルチメディ
アデータの処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10212997A JP3373389B2 (ja) | 1997-04-18 | 1997-04-18 | マルチメディアデータの処理方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10212997A JP3373389B2 (ja) | 1997-04-18 | 1997-04-18 | マルチメディアデータの処理方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10293566A JPH10293566A (ja) | 1998-11-04 |
| JP3373389B2 true JP3373389B2 (ja) | 2003-02-04 |
Family
ID=14319176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10212997A Expired - Lifetime JP3373389B2 (ja) | 1997-04-18 | 1997-04-18 | マルチメディアデータの処理方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3373389B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3471637B2 (ja) * | 1998-11-30 | 2003-12-02 | 三菱電機株式会社 | 並列分散シミュレーションシステム、シミュレーションマネージャおよび並列分散シミュレータ制御方法 |
| US6115054A (en) * | 1998-12-29 | 2000-09-05 | Connectix Corporation | Graphics processor emulation system and method with adaptive frame skipping to maintain synchronization between emulation time and real time |
| JP2001137538A (ja) | 1999-11-17 | 2001-05-22 | Square Co Ltd | ゲーム表示方法、ゲーム表示装置および記録媒体 |
| JP3795717B2 (ja) | 1999-11-17 | 2006-07-12 | 株式会社スクウェア・エニックス | ゲーム表示方法、記録媒体およびゲーム表示装置 |
| WO2001059957A1 (fr) * | 2000-02-10 | 2001-08-16 | Sharp Kabushiki Kaisha | Dispositif serveur, terminal de communication, serveur relais, serveur de gestion des regles de conversion, et support d'enregistrement assorti d'un programme |
| JP2002044553A (ja) * | 2000-07-26 | 2002-02-08 | Toshiba Corp | 放送受信表示装置及び放送受信表示方法 |
-
1997
- 1997-04-18 JP JP10212997A patent/JP3373389B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 広田克彦、他２名，タイムリアリスティックＣＧソフトウェア：彩飛，ＦＵＪＩＴＳＵ，日本，富士通株式会社，１９９５年 ５月１０日，第４６巻、第３号，Ｐ３０４−３１１ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10293566A (ja) | 1998-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210001216A1 (en) | Method and device for generating video frames | |
| WO2020056903A1 (zh) | 用于生成信息的方法和装置 | |
| JP2005284694A (ja) | ３次元モデルデータ提供プログラム、３次元モデルデータ提供サーバ、及び３次元モデルデータ転送方法 | |
| CN112669428A (zh) | 一种基于服务器和客户端协作的bim模型渲染方法 | |
| US20210306616A1 (en) | Information processing apparatus, information processing method and storage medium | |
| JP3373389B2 (ja) | マルチメディアデータの処理方法および装置 | |
| JP3411469B2 (ja) | フレーム多重画像作成方法 | |
| JP2000011204A (ja) | 画像処理方法及び画像処理プログラムを記録した記録媒体 | |
| JP2002163678A (ja) | 擬似三次元画像生成方法および装置 | |
| US7522189B2 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
| JPH05290174A (ja) | 三次元モデルの構造を取扱うためのグラフィックス・ワークステーションおよびモデルの構造の三次元グラフィック画像を生ずる方法 | |
| CN113596569B (zh) | 图像处理方法、装置和计算机可读存储介质 | |
| JP3727711B2 (ja) | 画像情報処理装置 | |
| JP2003518301A (ja) | テクスチャモーフィングのためのインクリメンタルインターレース補間 | |
| US7570265B2 (en) | Sawtooth spline display | |
| JP2002042158A (ja) | 画像合成装置および画像合成方法およびプログラムを記録した媒体 | |
| JP2001051579A (ja) | 映像表示方法、映像表示装置及び映像表示プログラムを記録した記録媒体 | |
| JP2001006001A (ja) | 三次元表現制御システムと方法およびその処理プログラムを記録した記録媒体 | |
| JP3195696B2 (ja) | 動画生成表示システムおよび動画生成表示方法 | |
| JP2000148126A (ja) | 画像表示装置及び方法 | |
| JP2001204962A (ja) | 画像表示プログラムを記録した記録媒体、画像表示方法及びゲーム装置 | |
| CN113766339B (zh) | 一种弹幕显示方法及装置 | |
| JPH11259682A (ja) | 画像処理装置および方法、並びに提供媒体 | |
| WO2023145571A1 (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム | |
| JPH07271998A (ja) | 立体表示方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021112 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081122 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091122 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |