JPH10333673A

JPH10333673A - 同期再生方法

Info

Publication number: JPH10333673A
Application number: JP9141927A
Authority: JP
Inventors: Yutaka Shirai; 豊白井; Shinji Tokunaga; 真志徳永; Haruyo Ookubo; 晴代大久保
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-05-30
Filing date: 1997-05-30
Publication date: 1998-12-18

Abstract

(57)【要約】【課題】曲の途中でテンポが動的に変化する楽曲デー
タに同期させて映像を再生できる再生同期方法を提供す
る。【解決手段】同期情報更新手段１０３が、楽曲演奏手
段１０１の演奏に基づき同期情報テーブル１０２を更新
し、楽曲位置算定手段１０４が現在時刻と同期情報テー
ブル１０２の内容から楽曲位置を算定し、フレーム出力
手段１０６が、楽曲位置算定手段が算定した楽曲位置に
同期したフレームデータをフレームバッファ１０５に出
力し、映像表示手段１０７がフレームバッファ１０５の
データを動画像として表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像と音とを同時
に再生する方法に関し、特にＭＩＤＩデータなどの楽曲
データで演奏する音楽と、ＣＧ動画像とを同期させなら
が再生する再生同期方法に関する。

【０００２】

【従来の技術】ＣＧ（コンピュータグラフィック）は、
映画やテレビゲームなどの分野で盛んに用いられいる。
最近では、ＣＧの映像だけではなく、それに合った音楽
を同時に再生したＣＧ作品が数多くでてきている。この
ようなＣＧと音とを関連づける技術としては、特開平８
−２１２３８８号公報の三次元画像処理装置がある。

【０００３】これは、開始時刻と終了時刻とが規定され
たＣＧデータと音データとを関連づけて再生する画像処
理装置である。ＣＧのデータの開始時刻、終了時刻を各
々Ｃｓ、Ｃｅとする。音のデータの開始時刻、終了時刻
を各々Ａｓ，Ａｅとする。音の再生時間（Ａｅ−Ａｓ）
とＣＧの再生時間（Ｃｅ−Ｃｓ）とを比較し、一致しな
い場合に音の再生に使うテンポを次のように算出し、そ
れに基づき音を再生する。

【０００４】テンポ＝本来のテンポ×（Ａｅ−Ａ
ｓ）／（Ｃｅ―Ｃｓ）このように、音のテンポをＣＧの再生時間との相対比に
より調整することにより、異なった再生時間のＣＧと音
とを同期させて再生することを実現するもの。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来技術では、一定テンポの音データは再生できるが、曲
の途中でテンポの変わる楽曲データに同期させることは
できない。さらに、カラオケのピッチコントロール操作
などによって、曲のテンポを演奏途中で突発的に変更さ
れた場合は、同期が崩れてしまう可能性がある。さら
に、早送りや巻戻しなどの特殊再生が行われた場合、同
期が崩れてしまう可能性がある。

【０００６】本発明はかかる課題に鑑みて、テンポが曲
の途中で変化する曲と映像とを同期させて再生でき、曲
のテンポが突発的に変更された場合や特殊再生中でも曲
と映像とを同期させて再生できる再生同期方法を提供す
ることを目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、第１の発明は、楽曲データに基づき演奏を行う楽曲
演奏手段と、楽曲上の位置を特定した楽曲位置と、演奏
テンポの基本となるテンポ情報と、それらを更新した時
刻とを対応づけて一時的に記憶する同期情報テーブル
と、前記楽曲演奏手段の演奏に基づき前記同期情報テー
ブルを更新する同期情報更新手段と、現在時刻と前記同
期情報テーブルの内容とから前記楽曲演奏手段が現在演
奏している楽曲位置を算定する楽曲位置算定手段と、フ
レームデータを一時的に記憶するフレームバッファと、
楽曲データと関連づけられたＣＧデータから、前記楽曲
位置算定手段が算定した楽曲位置に基づき前記楽曲演奏
手段の演奏と同期したフレームデータを算出し、前記フ
レームバッファに出力するフレーム出力手段と、前記フ
レームバッファに記憶されたフレームデータを動画像と
して表示す映像表示手段を備えたことを特徴とする同期
再生方法である。

【０００８】さらに、第２の発明は、第１の同期情報更
新手段を、楽曲演奏手段が楽曲位置またはテンポ情報の
いづれかが変化する毎に同期情報テーブルを更新する同
期情報リアルタイム更新手段に置換することを特徴とす
る同期再生方法である。

【０００９】さらに、第３の発明は、第１の同期情報更
新手段を、特定の周期で同期情報テーブルを更新する同
期情報定期更新手段に置換することを特徴とする同期再
生方法である。

【００１０】さらに、第４の発明は、第１にＣＧデータ
量からフレームデータ出力手段が要する演算時間を予想
する演算時間予想手段を追加し、フレーム出力手段が、
楽曲位置算定手段が算定した楽曲位置より、前記演算時
間予想手段が予想した時間だけ遅らせた楽曲位置と同期
したフレームデータを、フレームバッファに出力するこ
とを特徴とする同期再生方法である。

【００１１】さらに、第５の発明は、第１に楽曲データ
から現在の楽曲位置の音が実際に音となって出力される
までの時間を予想する演奏遅れ予想手段を追加し、同期
情報更新手段が前記演奏遅れ予想時間が予想した時間分
だけ遅らせた楽曲位置とテンポ情報と更新時間とを同期
情報テーブルに出力することを特徴とする同期再生方法
である。

【００１２】さらに、第６の発明は、第１にＣＧデータ
量から映像表示手段がフレームバッファのデータを実際
に表示できるまでの表示遅れ時間を予想する映像表示遅
れ予想手段を追加し、フレーム出力手段が、楽曲位置算
定手段が算定した楽曲位置より、前記映像表示遅れ予想
手段が予想した時間だけ遅らせた楽曲位置と同期したフ
レームデータを、フレームバッファへ出力することを特
徴とする同期再生方法である。

【００１３】さらに、第７の発明は、第１に楽曲演奏手
段が特殊再生を始める時に特殊再生開始信号を発生する
特殊再生開始通知手段と、楽曲演奏手段が特殊再生を終
了する時に特殊再生終了信号を発生する特殊再生終了通
知手段と、特殊再生中に楽曲位置をリアルタイムに同期
情報テーブルに出力する特殊再生同期情報更新手段とを
追加し、フレーム出力手段が、特殊再生中は前記特殊再
生同期情報更新手段が更新する前記同期情報テーブルに
基づきフレームデータをフレームバッファに出力するこ
とを特徴とする同期再生方法である。

【００１４】

【発明の実施の形態】

（第１の実施の形態）以下、本願第１の発明の同期再生
方法の実施の形態を、図面を用いて説明する。図１は、
本実施の形態のブロック図である。

【００１５】楽曲演奏手段１０１は、楽曲データを読込
み、それに基づき音楽演奏を行う。楽曲データは、ＭＩ
ＤＩデータのように、音楽の演奏テンポ、音色、音調な
ど、音楽演奏に必要な全てのパラメータを規定してい
る。このようなＭＩＤＩデータから音楽を演奏する方式
は、既に多くのシステムが商品化された既知の技術であ
るので、ここでは説明を省略する。楽曲演奏手段１０１
は、現在演奏している楽曲位置をリアルタイムに更新す
る。本実施の形態での楽曲位置の特定は曲頭からの総拍
数で行う。しかし、その特定方法に関しては、楽曲位置
が一意に特定できるものであれば、どのような方法でも
よい。現在演奏している音は、「曲頭から何拍目である
か（以下、これを拍ＩＤと定義する）」によって楽曲位
置が特定される。

【００１６】さらに、本実施の形態の演奏の基本である
テンポ情報は、拍の単位時間（以下、テンポ時間と定義
する）で規定する。これも、演奏テンポを制御する情報
であれば、どのような情報でもよい。

【００１７】同期情報テーブル１０２は、楽曲位置とし
て拍ＩＤと、テンポ情報としてテンポ時間と、それを更
新した時刻（以下、これを同期情報更新時刻と定義す
る）とを対応づけて、一時的に記憶する。

【００１８】同期情報更新手段１０３は、楽曲演奏手段
１０１が演奏している拍ＩＤと、テンポ時間と、その更
新時刻とを同期情報テーブル１０２へ記憶させる。

【００１９】楽曲位置算定手段１０４は、現在時刻と同
期情報テーブル１０２の同期情報から現在時刻に対応し
た楽曲位置を算定する。その楽曲位置は、以下の式
（Ａ）で算定する。

【００２０】Ｈ（ｔｃ）＝Ｈｔ＋（（ｔｃ−ｔ）／Ｐｔ） …（Ａ）Ｈ（ｔｃ）：現在時刻に対応した楽曲位置（拍ＩＤ）ｔｃ：現在時刻Ｈｔ：同期情報テーブル１０２の拍ＩＤｔ：同期情報テーブル１０２の同期情報更新時
刻Ｐｔ：同期情報テーブル１０２のテンポ時間フレームバッファ１０５は、フレームデータを一時的に
記憶する。

【００２１】フレーム出力手段１０６は、楽曲演奏手段
１０１が演奏している楽曲データと対応づけられたＣＧ
データから、楽曲位置算定手段１０４が算定する楽曲位
置に基づき楽曲データと同期したフレームデータを、フ
レームバッファ１０５へ出力する。ＣＧデータは、必ず
しも楽曲位置に１対１に対応づけられている必要はな
い。複数のキーフレームデータさえあれば、フレーム補
完技術を用いて楽曲位置に対応したフレームデータを算
出することができる。このようなフレーム補完技術は、
スプライン補完や線形補完などのように、既知の技術が
数多くあるため、説明を省略する。これらのフレーム補
完技術を用いれば、開始時刻と終了時刻とキーフレーム
データから定義されたＣＧデータから、任意のフレーム
時刻Ｆｔ（開始時刻≦Ｆｔ≦終了時刻）のフレームデー
タを算出することが可能である。したがって、演奏デー
タに関連づけられたＣＧデータは、開始時刻と終了時刻
とを、楽曲位置に対応づける（以下、対応づけられた楽
曲位置を、開始拍ＩＤ、終了拍ＩＤと各々定義する）こ
とにより生成される。このように関連づけられたＣＧで
あれば、以下の式（Ｂ）を用いてフレーム時刻Ｆｔを算
出することができる。

【００２２】Ｆｔ＝Ｈｓ＋（（Ｈ（ｔｃ）−Ｈｓ）／（Ｈｅ−Ｈｓ）） …（Ｂ）Ｈ（ｔｃ）：楽曲位置算定手段１０４が算定した現在時刻に対応した楽曲位置（拍ＩＤ）Ｈｓ：開始時刻に対応づけられた開始拍ＩＤＨｅ：終了時刻に対応づけられた終了拍ＩＤ以上のように算出されたフレーム時刻に基づき、フレー
ム補完技術を用いて演奏手段１０１の演奏に同期したフ
レームデータを常に、フレームバッファ１０５へ出力す
ることができる。

【００２３】映像表示手段１０７は、フレームバッファ
１０５に記憶されたフレームデータを、順々に表示更新
することにより動画像を表示する。

【００２４】以上のように構成された本実施の形態にお
ける再生同期方法における、具体的な動作を図２のフロ
ーチャートを用いて説明する。

【００２５】以下の動作を、ＣＧデータに対応づけられ
た開始拍ＩＤから終了拍ＩＤまでの間繰り返す。ここで
は、開始拍ＩＤ（Ｈｓ）、終了拍ＩＤ（Ｈｅ）に同期さ
せて再生する処理について説明する。

【００２６】（ステップＳ１０１）楽曲位置算定手段１
０４が、式（Ａ）を用いて現在時刻（ｔ）に対応する楽
曲位置（Ｈ（ｔ））を算定する。

【００２７】（ステップＳ１０２）楽曲位置（Ｈ
（ｔ））が、開始ＩＤ（Ｈｓ）より小さい場合は、何も
せず終了し、開始ＩＤ（Ｈｓ）以上ならば、ステップＳ
１０３へ進む。

【００２８】（ステップＳ１０３）楽曲位置（Ｈ
（ｔ））が終了拍ＩＤ（Ｈｅ）より大きい場合は、何も
せず終了し、終了拍ＩＤ（Ｈｅ）以下ならば、ステップ
Ｓ１０４へ進む。

【００２９】（ステップＳ１０４）フレーム出力手段１
０６が、式（Ｂ）に基づき算出したフレーム時刻Ｆｔに
基づき、フレーム補完技術を用いてフレームデータを算
出し、フレームバッファ１０５へ出力する。

【００３０】（第２の実施の形態）以下、本願第２の発
明の再生同期方法の実施の形態を、図面を用いて説明す
る。図３は、本実施の形態のブロック図である。

【００３１】ここで、楽曲演奏手段１０１、同期情報テ
ーブル１０２、楽曲位置算定手段１０４、フレームバッ
ファ１０５、フレーム出力手段１０６、映像表示手段１
０７は、第１の実施の形態における同一符号を付した構
成要素と同一であるので、説明を省略する。

【００３２】同期情報リアルタイム更新手段２０１は、
楽曲演奏手段１０１がデータを更新した場合のみ、同期
情報テーブル１０２の同期情報を更新する。例えば、テ
ンポ情報が変化したり、楽曲位置が変更されたりした場
合のみ更新する。したがって、テンポ情報及び楽曲位置
が更新されない場合は更新しない。

【００３３】（第３の実施の形態）以下、本願第３の発
明の再生同期方法の実施の形態を、図面を用いて説明す
る。

【００３４】図４は、本実施の形態のブロック図であ
る。ここで、楽曲演奏手段１０１、同期情報テーブル１
０２、楽曲位置算定手段１０４、フレームバッファ１０
５、フレーム出力手段１０６、映像表示手段１０７は、
第１の実施の形態における同一符号を付した構成要素と
同一であるので、説明を省略する。

【００３５】同期情報定期更新手段３０１は、一定周期
で同期情報テーブル１０２を更新する。その周期は、１
拍に１回というような楽曲の単位でも、３０秒に１回と
いうような一般的な単位でもよい。

【００３６】（第４の実施の形態）以下、本願第４の発
明の再生同期方法の実施の形態を、図面を用いて説明す
る。

【００３７】図５は、本実施の形態のブロック図であ
る。ここで、楽曲演奏手段１０１、同期情報テーブル１
０２、同期情報更新手段１０３、楽曲位置算定手段１０
４、フレームバッファ１０５、フレーム出力手段１０
６、映像表示手段１０７は、第１の実施の形態における
同一符号を付した構成要素と同一であるので、説明を省
略する。

【００３８】演算時間予想手段４０１は、ＣＧデータの
ポリゴン数、頂点数から演算にかかる時間を予想する。
一般的に、演算時間は、演算対象となるポリゴン数、頂
点数に比例する。常に次の演算対象となるポリゴン数、
頂点数から演算時間を予想する。さらに、計算機のＣＰ
Ｕ処理能力などの処理能力も考慮して予想する。したが
って、フレームよりポリゴン数の異なる場合でも、それ
に応じた演算時間を予想することができる。

【００３９】フレーム出力手段１０６は、演算時間予想
手段４０１が予想した演算時間を、楽曲位置算定手段１
０４が算定した楽曲位置に、加えた楽曲位置に同期した
フレームデータをフレームバッファ１０５へ出力する。
フレーム時刻は、以下の式（Ｃ）を用いて算出する。

【００４０】Ｆｔ＝Ｈｓ＋（（Ｈ（ｔｃ）−Ｈｓ）／（Ｈｅ−Ｈｓ））＋（Ｅｔ／Ｐｔ） …（Ｃ）Ｈ（ｔｃ）：楽曲位置算定手段１０４が算定した現在時刻に対応した楽曲位置（拍ＩＤ）Ｈｓ：開始時刻に対応づけられた開始拍ＩＤＨｅ：終了時刻に対応づけられた終了拍ＩＤＥｔ：演算時間予想手段４０１が予想した演算時間Ｐｔ：同期情報テーブル１０２のテンポ時間以上のように算出されたフレーム時刻に基づき、フレー
ム補完技術を用いて演奏手段１０１の演奏に同期したフ
レームデータを常に、フレームバッファ１０５へ出力す
ることができる。

【００４１】（第５実施の形態）以下、本願第５の発明
の再生同期方法の実施の形態を、図面を用いて説明す
る。

【００４２】図６は、本実施の形態のブロック図であ
る。ここで、楽曲演奏手段１０１、同期情報テーブル１
０２、同期情報更新手段１０３、楽曲位置算定手段１０
４、フレームバッファ１０５、フレーム出力手段１０
６、映像表示手段１０７は、第１の実施の形態における
同一符号を付した構成要素と同一であるので、説明を省
略する。

【００４３】演奏遅れ予想手段５０１は、楽曲データに
基づきそのデータが実際に音として、スピーカーなどの
出力装置から出力されるまでの演奏遅れ時間を予想す
る。一般的に演奏遅れ時間は、楽曲位置の同時発生音数
に比例する。さらに、計算機のＣＰＵ処理能力などの処
理能力も考慮して予想する。したがって、楽曲位置を特
定すれば楽曲データからリアルタイムに、その楽曲位置
の演奏遅れ時間を予想することができる。

【００４４】同期情報更新手段１０３は、楽曲位置に演
奏遅れ予想手段５０１が予想した演奏遅れ時間を加えた
値を、同期情報テーブル１０２へ出力する。

【００４５】（第６の実施の形態）以下、本願第６の発
明の再生同期方法の実施の形態を、図面を用いて説明す
る。

【００４６】図７は、本実施の形態のブロック図であ
る。ここで、楽曲演奏手段１０１、同期情報テーブル１
０２、同期情報更新手段１０３、楽曲位置算定手段１０
４、フレームバッファ１０５、フレーム出力手段１０
６、映像表示手段１０７は、第１の実施の形態における
同一符号を付した構成要素と同一であるので、説明を省
略する。

【００４７】表示遅れ予想手段６０１は、映像表示手段
１０７がフレームバッファ１０５のデータを実際に表示
するまでの表示遅れ時間を予想する。これは、映像表示
手段１０７のレンダリング能力などの性能から予想する
ことができる。

【００４８】フレーム出力手段１０６は、表示遅れ予想
手段６０１が予想した表示遅れ時間を、楽曲位置算定手
段１０４が算定した楽曲位置に加えた値のフレームデー
タを算出する。フレーム時間の値を、以下の式（Ｄ）を
用いて算出する。

【００４９】Ｆｔ＝Ｈｓ＋（（Ｈ（ｔｃ）−Ｈｓ）／（Ｈｅ−Ｈｓ））＋（Ｄｔ／Ｐｔ） …（Ｄ）Ｈ（ｔｃ）：楽曲位置算定手段１０４が算定した現在時刻に対応した楽曲位置（拍ＩＤ）Ｈｓ：開始時刻に対応づけられた開始拍ＩＤＨｅ：終了時刻に対応づけられた終了拍ＩＤＤｔ：表示遅れ予想手段６０１が予想した表示遅れ時間Ｐｔ：同期情報テーブル１０２のテンポ時間以上のように算出されたフレーム時刻に基づき、フレー
ム補完技術を用いて演奏手段１０１の演奏に同期したフ
レームデータを常に、フレームバッファ１０５へ出力す
ることができる。

【００５０】（第７実施の形態）以下、本願第７の発明
の再生同期方法の実施の形態を、図面を用いて説明す
る。

【００５１】図８は、本実施の形態のブロック図であ
る。ここで、楽曲演奏手段１０１、同期情報テーブル１
０２、同期情報更新手段１０３、楽曲位置算定手段１０
４、フレームバッファ１０５、フレーム出力手段１０
６、映像表示手段１０７は、第１の実施の形態における
同一符号を付した構成要素と同一であるので、説明を省
略する。

【００５２】特殊再生開始通知手段７０１は、オペレー
タにより特殊再生が開始された場合、特殊再生開始信号
を発生させる。特殊再生終了通知手段７０２は、オペレ
ータにより特殊再生が終了された場合、特殊再生終了信
号を発生させる。

【００５３】特殊再生同期情報更新手段７０３は、特殊
再生開始通知手段７０１が特殊再生開始信号を発生した
時点から、特殊再生終了通知手段７０２が特殊再生終了
信号を発生するまでの間の特殊再生中は、同期情報テー
ブル１０２の楽曲位置とテンポ時間とを、その特殊再生
の種類に応じて更新する。例えば、倍速再生の場合は、
通常のテンポ時間を１／２にして、通常の２倍の速さで
拍ＩＤを進めていく。

【００５４】

【発明の効果】以上のように第１の発明によれば、一定
のテンポの楽曲データに対してしか映像を同期させるこ
とができなかった従来技術に比べ、曲の途中でテンポが
動的に変化する楽曲データを再生する場合や、突発的に
テンポ情報を変更された場合でも、映像を同期させて再
生するという効果を奏でることができる。

【００５５】さらに、第２の発明によれば、同期情報の
更新回数を最小限にして、第１の発明と同様の効果を奏
でることができる。

【００５６】さらに、第３の発明によれば、同期情報の
更新回数を抑えて、第１の発明と同様の効果を奏でるこ
とができる。

【００５７】さらに、第４の発明によれば、第１の発明
の効果に加えて、フレーム演算による遅延なく楽曲デー
タと同期させて映像を再生するという効果を奏でること
ができる。

【００５８】さらに、第５の発明によれば、第１の発明
の効果に加えて、演奏による遅延なく楽曲データと同期
させて映像を再生するという効果を奏でることができ
る。

【００５９】さらに、第６の発明によれば、第１の発明
の効果に加えて、映像表示による遅延なく楽曲データと
同期させて映像を再生するという効果を奏でることがで
きる。

【００６０】さらに、第７の発明によれば、第１の発明
の効果に加えて、特殊再生中は楽曲データと映像との同
期が崩れる可能性があった従来技術に比べ、特殊再生中
でも楽曲データと同期させて映像を再生するという効果
を奏でることができる。

【００６１】以上のような効果から、その実用的効果は
大きい。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態のブロック図

【図２】本発明の第１の実施の形態の具体的な動作を示
すフローチャート

【図３】本発明の第２の実施の形態のブロック図

【図４】本発明の第３の実施の形態のブロック図

【図５】本発明の第４の実施の形態のブロック図

【図６】本発明の第５の実施の形態のブロック図

【図７】本発明の第６の実施の形態のブロック図

【図８】本発明の第７の実施の形態のブロック図

【符号の説明】

１０１楽曲演奏手段１０２同期情報テーブル１０３同期情報更新手段１０４楽曲位置算定手段１０５フレームバッファ１０６フレーム出力手段１０７映像出力手段２０１同期情報リアルタイム更新手段３０１同期情報定期更新手段４０１演算時間予想手段５０１演奏遅れ予想手段６０１映像表示遅れ予想手段７０１特殊再生開始通知手段７０２特殊再生終了通知手段７０３特殊再生同期情報更新手段

Claims

【特許請求の範囲】

【請求項１】楽曲データに基づき演奏を行う楽曲演奏手
段と、楽曲上の位置を特定した楽曲位置と、演奏テンポ
の基本となるテンポ情報と、それらを更新した時刻とを
対応づけて一時的に記憶する同期情報テーブルと、前記
楽曲演奏手段の演奏に基づき前記同期情報テーブルを更
新する同期情報更新手段と、現在時刻と前記同期情報テ
ーブルの内容とから前記楽曲演奏手段が現在演奏してい
る楽曲位置を算定する楽曲位置算定手段と、フレームデ
ータを一時的に記憶するフレームバッファと、楽曲デー
タと関連づけられたＣＧデータから、前記楽曲位置算定
手段が算定した楽曲位置に基づき前記楽曲演奏手段の演
奏と同期したフレームデータを算出し、前記フレームバ
ッファに出力するフレーム出力手段と、前記フレームバ
ッファに記憶されたフレームデータを動画像として表示
す映像表示手段を備えたことを特徴とする同期再生方
法。
【請求項２】同期情報更新手段を、楽曲演奏手段が楽曲
位置またはテンポ情報のいづれかが変化する毎に同期情
報テーブルを更新する同期情報リアルタイム更新手段に
置換することを特徴とする請求項１の同期再生方法。
【請求項３】同期情報更新手段を、特定の周期で同期情
報テーブルを更新する同期情報定期更新手段に置換する
ことを特徴とする請求項１の同期再生方法。
【請求項４】ＣＧデータ量からフレームデータ出力手段
が要する演算時間を予想する演算時間予想手段を追加
し、フレーム出力手段が、楽曲位置算定手段が算定した
楽曲位置より、前記演算時間予想手段が予想した時間だ
け遅らせた楽曲位置と同期したフレームデータを、フレ
ームバッファに出力することを特徴とする請求項１の同
期再生方法。
【請求項５】楽曲データから現在の楽曲位置の音が実際
に音となって出力されるまでの時間を予想する演奏遅れ
予想手段を追加し、同期情報更新手段が前記演奏遅れ予
想時間が予想した時間分だけ遅らせた楽曲位置とテンポ
情報と更新時間とを同期情報テーブルに出力することを
特徴とする請求項１の同期再生方法。
【請求項６】ＣＧデータ量から映像表示手段がフレーム
バッファのデータを実際に表示できるまでの表示遅れ時
間を予想する映像表示遅れ予想手段を追加し、フレーム
出力手段が、楽曲位置算定手段が算定した楽曲位置よ
り、前記映像表示遅れ予想手段が予想した時間だけ遅ら
せた楽曲位置と同期したフレームデータを、フレームバ
ッファへ出力することを特徴とする請求項１の同期再生
方法。
【請求項７】楽曲演奏手段が特殊再生を始める時に特殊
再生開始信号を発生する特殊再生開始通知手段と、楽曲
演奏手段が特殊再生を終了する時に特殊再生終了信号を
発生する特殊再生終了通知手段と、特殊再生中に楽曲位
置をリアルタイムに同期情報テーブルに出力する特殊再
生同期情報更新手段とを追加し、フレーム出力手段が、
特殊再生中は前記特殊再生同期情報更新手段が更新する
前記同期情報テーブルに基づきフレームデータをフレー
ムバッファに出力することを特徴とする請求項１の同期
再生方法。