JPH11126066A - Ａｖ同期装置、及びａｖ同期方法、並びにａｖ同期プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 楽曲演奏と画像再生にズレが生じた場合、そ
のズレを自動的に修正できること。 【解決手段】 楽曲データを再生するとき、特定音符分
の楽曲が進行する毎に、その時点での楽曲の進行位置、
及び楽曲のテンポを示すテンポ情報を同期メッセージと
して出力する拍発生部と、拍発生部から同期メッセージ
を入力し、入力した同期メッセージに基づいてフレーム
の進行位置を算出する表示フレーム決定部とを設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、オーディオデータ
（Audio data）とビデオデータ（Video data）とを同期
するＡＶ同期装置、及びＡＶ同期方法、並びにＡＶ同期
プログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】従来のＡＶ同期装置では、オーディオデ
ータとビデオデータの再生開始時刻を一致することによ
り、オーディオデータとビデオデータとを同期して再生
していた。例えば、コンピュータグラフィック（以
下、”ＣＧグラフィック”という）によって描画する３
次元のＣＧグラフィック画像中の人物像（以下、”ＣＧ
キャラクタ”という）を楽曲データの再生による音楽
（楽曲）に合わせて踊らせる場合、従来のＡＶ同期装置
では、楽曲の演奏開始時刻にＣＧキャラクタを動かし始
めることにより実現していた。

【０００３】図１５を参照して、従来のＡＶ同期装置に
ついて具体的に説明する。図１５は、従来のＡＶ同期装
置の構成を示すブロック図である。図１５において、従
来のＡＶ同期装置は、ユーザー、またはオペレータから
の演奏開始命令を入力する楽曲データ保存部５１、及び
ＣＧ進行データ保存部５２を備えている。楽曲データ保
存部５１、及びＣＧ進行データ保存部５２は、ＲＡＭに
より構成され、演奏開始命令を入力する前にＣＤ−ＲＯ
Ｍ、ＤＶＤあるいは類似の記録媒体、又は通信回線によ
って再生すべき楽曲の楽曲データ、及び当該楽曲に対応
したＣＧキャラクタを描画、表示するためのＣＧ進行デ
ータをそれぞれ取得している。楽曲データは、ＭＩＤＩ
（Musical Instrumental Digital Interface）規格又は
類似規格に基づいて、演奏音をデジタル形式のデータに
変換した一連の音楽データである。さらに、従来のＡＶ
同期装置には、出力波形生成部５３、音データ用バッフ
ァ５４、Ｄ／Ａ変換器５５、アンプ５６、及びスピーカ
５７が、楽曲の再生処理を行う機器として、楽曲データ
保存部５１に順次接続されている。出力波形生成部５３
は、楽曲データ保存部５１から出力された楽曲データに
基づいて、演奏音の波形データを生成して、音データ用
バッファ５４に逐次出力する。音データ用バッファ５４
は、スピーカ５７にて再生される演奏が途切れるのを防
止するために、生成された演奏音の波形データを一時的
に一定量蓄積した後、波形データをＤ／Ａ変換器５５に
送りだす。Ｄ／Ａ変換器５５は、デジタル信号である波
形データをアナログ信号の音信号に変換した後、アンプ
５６に出力する。音信号は、アンプ５６により増幅さ
れ、スピーカ５７により演奏として発音される。

【０００４】また、従来のＡＶ同期装置には、ＣＧキャ
ラクタの再生処理を行う機器として、表示フレーム決定
部５８、ＣＧレンダリング部５９、フレームバッファ６
０、及びモニタ６１が、ＣＧ進行データ保存部５２に順
次接続されている。表示フレーム決定部５８には、ＣＧ
キャラクタの動き（動作）を指示する動きデータを記憶
している動きデータ保存部６２、及びＣＧキャラクタの
形状を示すＣＧキャラクタ形状データを記憶しているＣ
Ｇキャラクタ形状データ保存部６３が接続されている。
ＣＧレンダリング部５９には、表示するＣＧキャラクタ
のレンダリングを行うためのカメラ視点情報、及び光源
情報をそれぞれ記憶しているカメラ視点情報保存部６
４、及び光源情報保存部６５が接続されている。動きデ
ータ保存部６２、ＣＧキャラクタ形状データ保存部６
３、カメラ視点情報保存部６４、及び光源情報保存部６
５は、ＲＡＭにより構成され、演奏開始命令を入力する
前にＣＤ−ＲＯＭ、ＤＶＤあるいは類似の記録媒体、又
は通信回線により、動きデータ、ＣＧキャラクタ形状デ
ータ、カメラ視点情報、及び光源情報をそれぞれ入力し
て保持している。表示フレーム決定部５８は、ＣＧ進行
データ保存部５２からのＣＧ進行データに基づいて、モ
ニタ６１に表示するＣＧキャラクタの表示フレームを決
定する。詳細には、表示フレーム決定部５８は、ＣＧ進
行データにより指定された動きデータ、及びＣＧキャラ
クタ形状データを動きデータ保存部６２、及びＣＧキャ
ラクタ形状データ保存部６３からそれぞれ読み出し、Ｃ
Ｇキャラクタの表示フレームを決定する。ＣＧレンダリ
ング部５９は、上述のＣＧ進行データに基づいて、ＣＧ
キャラクタにレンダリングを施す。詳細には、ＣＧレン
ダリング部５９は、ＣＧ進行データにより指定されたカ
メラ視点情報、及び光源情報をカメラ視点情報保存部６
４、及び光源情報保存部６５からそれぞれ読み出し、読
み出したカメラ視点情報、及び光源情報に基づいて表示
フレーム決定部５８からのＣＧキャラクタの画像データ
を修正し、ＣＧキャラクタをレンダリングする。レンダ
リングされたＣＧキャラクタの画像データは、ＣＧレン
ダリング部５９からフレームバッファ６０に送られ、モ
ニタ６１によってＣＧキャラクタとして再生、表示され
る。

【０００５】ここで、図１６の（ａ）、図１６の
（ｂ）、及び図１６の（ｃ）を参照して、ＣＧ進行デー
タにより指定される動きデータ、カメラ視点情報、及び
光源情報の具体例について、説明する。図１６の（ａ）
は図１５に示した従来のＡＶ同期装置においてＣＧ進行
データにより指定される動きデータの具体例を示す説明
図であり、図１６の（ｂ）は図１５に示した従来のＡＶ
同期装置においてＣＧ進行データにより指定される別の
動きデータの具体例を示す説明図である。図１６の
（ｃ）は、図１５に示した従来のＡＶ同期装置において
ＣＧ進行データにより指定されるカメラ視点情報、及び
光源情報の具体例を示す説明図である。尚、以下の説明
では、説明の簡略化のために、モニタ６１（図１５）に
表示するＣＧキャラクタの数を２体として説明する。図
１６の（ａ）、図１６の（ｂ）、及び図１６の（ｃ）の
各最上段は、演奏開始から経過した時刻を示している。
尚、同図において、０secは演奏音の再生開始時刻を示
し、△Ｔは表示するＣＧキャラクタの画像データがフレ
ームバッファ６０（図１５）からモニタ６１に出力され
る時間間隔を示している。例えば、１秒間に３０フレー
ム分のＣＧキャラクタの書き換えを行うならば、△Ｔは
１／３０secであり、１秒間に６０フレーム分のＣＧキ
ャラクタの書き換えを行うならば、△Ｔは１／６０sec
である。図１６の（ａ）及び図１６の（ｂ）の下段は、
ＣＧ進行データによって指定される動きデータ１，２の
キーフレームの番号をそれぞれ示している。例えば図１
６の（ａ）に示すように、一方のＣＧキャラクタでは、
時刻０secにおいて動きデータ１のＦ１１番目のフレー
ムがキーフレームとして指定され、同時刻において当該
Ｆ１１番目のフレームの画像データが動きデータ保存部
６２（図１５）から表示フレーム決定部５８（図１５）
に読み出される。同様に、時刻５＊△Ｔsecでは、動き
データ１のＦ１２番目のフレームがキーフレームとして
指定され、同時刻において当該Ｆ１２番目のフレームの
画像データが動きデータ保存部６２から表示フレーム決
定部５８に読み出される。このように、動きデータは、
△Ｔの５の倍数の時刻のみ、ＣＧ進行データによって指
定されているが、指定された２つの動きデータの間の画
像データについては、スプライン補間又は類似のデータ
補間方法により、算出することができる。尚、この算出
は、表示フレーム決定部５８により行われる。また、周
知のように、キーフレームを所定の時間間隔で間引いて
指定することにより、ＣＧ進行データのデータ量を小さ
く、例えば５分の１のデータ量にすることができる。

【０００６】図１６の（ｃ）の中段、及び下段は、ＣＧ
進行データによって指定されるカメラ視点情報、及び光
源情報をそれぞれ示している。カメラ視点情報は、仮想
のカメラを用いてＣＧキャラクタを撮影した場合での当
該カメラの撮影条件を示す情報であり、カメラの位置、
撮影方向、及びズームを指定するデータにより構成され
ている。これらのデータは、図１６の（ｃ）に示される
ように、上述のＣＧ進行データにより指定されるもので
あり、例えば時刻０secでは、位置データＰc１、撮影方
向データＤc１、及びズームデータＺc１が指定され、カ
メラ視点情報保存部６４（図１５）からＣＧレンダリン
グ部５９（図１５）に読み出される。光源情報は、仮想
の光源を用いてＣＧキャラクタを照射した場合での当該
光源の照射条件を示す情報であり、光源の位置、照射方
向、及び効果を指定するデータにより構成されている。
これらのデータは、図１６の（ｃ）に示されるように、
上述のＣＧ進行データにより指定されるものであり、例
えば時刻０secでは、位置データＰL１、照射方向データ
ＤL１、及び効果データＺL１が指定され、光源情報保存
部６５（図１５）からＣＧレンダリング部５９に読み出
される。カメラ情報、及び光源情報も、動きデータと同
様に、△Ｔの５の倍数の時刻のみ、ＣＧ進行データによ
って指定されているが、指定された時刻の間の各データ
については、線形補間又は類似のデータ補間方法によ
り、算出することができる。尚、この算出は、ＣＧレン
ダリング部５９により行われる。

【０００７】上記のような従来のＡＶ同期装置では、演
奏開始命令を入力したとき、楽曲データによる楽曲の再
生と、この楽曲に対応させたＣＧ進行データによるＣＧ
キャラクタの再生が同時に開始される。この従来のＡＶ
同期装置の動作について、図１７を参照して具体的に説
明する。図１７は、図１５に示した従来のＡＶ同期装置
の動作を示すフローチャートである。図１７に示すよう
に、楽曲データ保存部５１（図１５）、及びＣＧ進行デ
ータ保存部５２（図１５）は、記録媒体または通信回線
により、それぞれ楽曲データ、及びＣＧ進行データを予
め取得して保持している（ステップＳ１００）。続い
て、楽曲データ保存部５１、及びＣＧ進行データ保存部
５２が演奏開始命令を入力すると（ステップＳ１０
１）、従来のＡＶ同期装置は楽曲、及びＣＧキャラクタ
の再生を互いに独立して行う。

【０００８】まず、演奏の再生動作について説明する。
楽曲データ保存部５１は、演奏開始命令を入力した後、
記憶している楽曲データを出力波形生成部５３（図１
５）に順次出力する。出力波形生成部５３は、楽曲デー
タに基づいてデジタル形式の演奏音の波形データを生成
して（ステップＳ１０２）、音データ用バッファ５４
（図１５）に逐次出力する。音データ用バッファ５４
は、一定量の波形データを一時的に蓄える（ステップＳ
１０３）。その後、波形データを音データ用バッファ５
４からＤ／Ａ変換器５５（図１５）に出力する。Ｄ／Ａ
変換器５５は、入力した波形データをアナログ形式の音
信号に変換する（ステップＳ１０４）。そして、Ｄ／Ａ
変換器５５は、音信号をアンプ５６（図１５）に出力し
て、アンプ５６にて音信号を増幅する（ステップＳ１０
５）。続いて、スピーカ５７（図１５）により、アンプ
５６からの音信号を演奏として発音する（ステップＳ１
０６）。

【０００９】次に、ＣＧキャラクタの再生動作について
説明する。ＣＧ進行データ保存部５２は、演奏開始命令
を入力した後、記憶しているＣＧ進行データを表示フレ
ーム決定部５８（図１５）に出力する。表示フレーム決
定部５８は、入力したＣＧ進行データにより指定された
動きデータ及びＣＧキャラクタ形状データを動きデータ
保存部６２（図１５）及びＣＧキャラクタ形状データ保
存部６３（図１５）からそれぞれ読み出し、これらの動
きデータ及びＣＧキャラクタ形状データに基づいて、各
フレームで表示するＣＧキャラクタの姿勢を決定する
（ステップＳ１０７）。尚、ここでいう姿勢決定とは、
ＣＧキャラクタを構成しているポリゴンの各頂点の３次
元空間内での座標を決定することである。続いて、表示
フレーム決定部５８は、上述の時間間隔△Ｔsec毎に、
ＣＧ進行データとともに姿勢を決定した後のＣＧキャラ
クタの画像データをＣＧレンダリング部５９（図１５）
に出力する。ＣＧレンダリング部５９は、入力したＣＧ
進行データにより指定されたカメラ視点情報と光源情報
をカメラ視点情報保存部６４（図１５）及び光源情報保
存部６５（図１５）からそれぞれ読み出し、これらのカ
メラ視点情報と光源情報に基づいて、ＣＧキャラクタを
レンダリングする（ステップＳ１０８）。このことによ
り、指定されたカメラの撮影条件、及びスポットライト
や太陽光など指定された光源の照射条件で照らされたＣ
Ｇキャラクタの画像データが、時間間隔△Ｔsecの表示
フレームごとにＣＧレンダリング部５９内で形成され
る。次に、ＣＧレンダリング部５９は、レンダリングし
た後のＣＧキャラクタの画像データをフレームバッファ
６０（図１５）に書き込む（ステップＳ１０９）。そし
て、フレームバッファ６０からＣＧキャラクタの画像デ
ータをモニタ６１（図１５）に出力して、ＣＧキャラク
タを表示する（ステップＳ１１０）。このように、従来
のＡＶ同期装置では、演奏開始命令により楽曲データと
当該楽曲データに対応したＣＧ進行データとを同時に再
生開始することによって、演奏とＣＧキャラクタの表示
とを同期して再生していた。

【００１０】

【発明が解決しようとする課題】上記のような従来のＡ
Ｖ同期装置では、楽曲演奏と画像再生とは、開始時点で
のみ一致させ、その後はそれぞれ別々に進行させて、再
生途中に同期をとることはなかった。このため、一方の
再生動作に予定外の時間を要して、スピーカまたはモニ
タに出力すべき信号またはデータが、演奏または表示の
出力タイミングに遅れて出力された場合、もう一方の再
生動作での出力タイミングとズレが生じ、再生動作の終
了まで正しく修正することができなかった。つまり、従
来のＡＶ同期装置では、再生動作中に楽曲演奏と画像再
生とにズレが生じた場合、それらを再び同期させること
ができなかった。尚、上記のズレは、例えば、ＣＧキャ
ラクタの再生動作のうち、レンダリング処理に時間を要
して、表示すべき時間間隔△Ｔsec内に当該レンダリン
グ処理が終了しない場合等に生じた。さらに、従来のＡ
Ｖ同期装置は、演奏を開始した後では楽曲演奏と画像再
生との同期をとらないので、楽曲のテンポを変更した場
合、楽曲の進行速度とＣＧキャラクタの進行速度とに差
が生じ、楽曲の進行とともにズレが大きくなった。

【００１１】この発明は、上記のような問題点を解決す
るためになされたものであり、楽曲演奏と画像再生にズ
レが生じた場合、そのズレを自動的に修正できるＡＶ同
期装置、及びＡＶ同期方法、並びに該ＡＶ同期方法を記
録した記録媒体を提供することを目的とする。また、こ
の発明は、楽曲のテンポを再生途中で変更する場合で
も、楽曲演奏と画像再生とを同期することができるＡＶ
同期装置、及びＡＶ同期方法、並びに該ＡＶ同期方法を
記録した記録媒体を提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明のＡＶ同期装置
は、楽曲データと動画データとを同期して再生するＡＶ
同期装置であって、前記楽曲データを再生するとき、特
定音符分の楽曲が進行する毎に、その時点での楽曲の進
行位置及び楽曲のテンポを示すテンポ情報を同期メッセ
ージとして出力する拍発生回路と、前記特定音符を基準
として楽曲データの進行と動画データの進行とを時間的
に対応づけたＡＶ同期指示データを生成するＡＶ同期指
示データ生成回路と、フレームバッファが画像表示回路
に画像を出力する時間間隔を△Ｔとするとき、前記拍発
生回路から同期メッセージを入力し、この同期メッセー
ジに含まれたテンポ情報、この同期メッセージを入力し
た時点でフレームバッファに書き込まれている動画デー
タのフレームの進行位置、次の同期メッセージを入力す
るときに前記ＡＶ同期指示データにより指定される動画
データのフレームの進行位置、及び上記時間間隔△Ｔと
によって、フレームバッファに書き込む動画データを決
定する表示フレーム決定回路とを備えている。このよう
に構成することにより、表示フレーム決定回路は、フレ
ーム補間方法を用いることにより、楽曲データに同期し
た動画の画像データを生成することができ、楽曲演奏の
再生処理に動画の再生処理を自動的に修正して、それら
の再生処理を常に同期させることができる。

【００１３】本発明の別のＡＶ同期装置は、楽曲データ
とＣＧキャラクタの動きデータとを同期して再生するＡ
Ｖ同期装置であって、前記楽曲データを再生するとき、
特定音符分の楽曲が進行する毎に、その時点での楽曲の
進行位置及び楽曲のテンポを示すテンポ情報を同期メッ
セージとして出力する拍発生回路と、前記特定音符を基
準として楽曲データの進行とＣＧキャラクタの動きデー
タの進行とを時間的に対応づけたＡＶ同期指示データを
生成するＡＶ同期指示データ生成回路と、フレームバッ
ファが画像表示回路に画像を出力する時間間隔を△Ｔと
するとき、前記拍発生回路から同期メッセージを入力
し、この同期メッセージに含まれたテンポ情報、この同
期メッセージを入力した時点でフレームバッファに書き
込まれているＣＧキャラクタの動きデータのフレームの
進行位置、次の同期メッセージを入力するときに前記Ａ
Ｖ同期指示データにより指定されるＣＧキャラクタの動
きデータのフレームの進行位置、及び上記時間間隔△Ｔ
とによって、フレームバッファに書き込むＣＧキャラク
タの姿勢を決定するキャラクタ姿勢計算回路とを備えて
いる。このように構成することにより、キャラクタ姿勢
計算回路は、フレーム補間方法を用いることにより、楽
曲データに同期したＣＧキャラクタのの画像データを生
成することができ、楽曲演奏の再生処理にＣＧキャラク
タのの再生処理を自動的に修正して、それらの再生処理
を常に同期させることができる。

【００１４】本発明の別のＡＶ同期装置は、前記テンポ
情報の変更を入力するテンポ変更入力回路を設けてい
る。このように構成することにより、ユーザーが楽曲演
奏の途中で楽曲のテンポを変更したとしても、楽曲演奏
と画像再生とを同期することができる。

【００１５】本発明のＡＶ同期方法は、楽曲と画像を同
期させるため、特定音符を基準とした前記楽曲の進行位
置及び前記楽曲のテンポ情報を、前記特定音符分だけ前
記楽曲が進行する毎に、前記楽曲の音生成部から前記画
像の生成部に対して伝えている。このように構成するこ
とにより、楽曲演奏と画像再生とにズレが生じた場合で
も、そのズレを自動的に修正できる。

【００１６】本発明のＡＶ同期装置の別のＡＶ同期方法
は、楽曲データを再生するとき、特定音符分の楽曲が進
行する毎に、その時点での楽曲の進行位置及び楽曲のテ
ンポを示すテンポ情報を同期メッセージとして出力する
工程と、前記特定音符を基準として楽曲データの進行と
動画データの進行とを時間的に対応づけたＡＶ同期指示
データを生成する工程と、フレームバッファが画像表示
回路に画像を出力する時間間隔を△Ｔとするとき、前記
同期メッセージを入力し、この同期メッセージに含まれ
たテンポ情報、この同期メッセージを入力した時点でフ
レームバッファに書き込まれている動画データのフレー
ムの進行位置、次の同期メッセージを入力するときに前
記ＡＶ同期指示データにより指定される動画データのフ
レームの進行位置、及び上記時間間隔△Ｔとによって、
フレームバッファに書き込む動画データを決定する工程
とを備えている。このように構成することにより、フレ
ーム補間方法を用いることによって楽曲データに同期し
た動画の画像データを生成することができ、楽曲演奏の
再生処理に動画の再生処理を自動的に修正して、それら
の再生処理を常に同期させることができる。

【００１７】本発明の別のＡＶ同期装置のＡＶ同期方法
は、楽曲データを再生するとき、特定音符分の楽曲が進
行する毎に、その時点での楽曲の進行位置及び楽曲のテ
ンポを示すテンポ情報を同期メッセージとして出力する
工程と、前記特定音符を基準として楽曲データの進行と
ＣＧキャラクタの動きデータの進行とを時間的に対応づ
けたＡＶ同期指示データを生成する工程と、フレームバ
ッファが画像表示回路に画像を出力する時間間隔を△Ｔ
とするとき、前記同期メッセージを入力し、この同期メ
ッセージに含まれたテンポ情報、この同期メッセージを
入力した時点でフレームバッファに書き込まれているＣ
Ｇキャラクタの動きデータのフレームの進行位置、次の
同期メッセージを入力するときに前記ＡＶ同期指示デー
タにより指定されるＣＧキャラクタの動きデータのフレ
ームの進行位置、及び上記時間間隔△Ｔとによって、フ
レームバッファに書き込むＣＧキャラクタの姿勢を決定
する工程と備えている。このように構成することによ
り、フレーム補間方法を用いることによって楽曲データ
に同期したＣＧキャラクタのの画像データを生成するこ
とができ、楽曲演奏の再生処理にＣＧキャラクタのの再
生処理を自動的に修正して、それらの再生処理を常に同
期させることができる。

【００１８】本発明の別のＡＶ同期装置のＡＶ同期方法
は、前記テンポ情報の変更を入力する工程、及び前記同
期メッセージのテンポ情報を入力したテンポ情報に変更
する工程を備えている。このように構成することによ
り、ユーザーが楽曲演奏の途中で楽曲のテンポを変更し
たとしても、楽曲演奏と画像再生とを同期することがで
きる。

【００１９】本発明のＡＶ同期プログラムを記録した記
録媒体は、楽曲データと動画データとを同期させるため
のＡＶ同期プログラムを記録した記録媒体であって、楽
曲データを再生するとき、その時点での楽曲の進行位置
及び楽曲のテンポを示すテンポ情報を同期メッセージと
して出力し、前記特定音符を基準として楽曲データの進
行と動画データの進行とを時間的に対応づけたＡＶ同期
指示データを生成し、さらにフレームバッファが画像表
示回路に画像を出力する時間間隔を△Ｔとするとき、前
記同期メッセージを入力し、この同期メッセージに含ま
れたテンポ情報、この同期メッセージを入力した時点で
フレームバッファに書き込まれている動画データのフレ
ームの進行位置、次の同期メッセージを入力するときに
前記ＡＶ同期指示データにより指定される動画データの
フレームの進行位置、及び上記時間間隔△Ｔとによっ
て、フレームバッファに書き込む動画データを決定する
ＡＶ同期プログラムを記録している。このように構成す
ることにより、フレーム補間方法を用いることにより、
楽曲データに同期した動画の画像データを生成すること
ができ、楽曲演奏の再生処理に動画の再生処理を自動的
に修正して、それらの再生処理を常に同期させることが
できる。

【００２０】本発明の別のＡＶ同期プログラムを記録し
た記録媒体は、楽曲データと動画データとを同期させる
ためのＡＶ同期プログラムを記録した記録媒体であっ
て、楽曲データを再生するとき、その時点での楽曲の進
行位置及び楽曲のテンポを示すテンポ情報を同期メッセ
ージとして出力し、前記特定音符を基準として楽曲デー
タの進行と動画データの進行とを時間的に対応づけたＡ
Ｖ同期指示データを生成し、さらにフレームバッファが
画像表示回路に画像を出力する時間間隔を△Ｔとすると
き、前記同期メッセージを入力し、この同期メッセージ
に含まれたテンポ情報、この同期メッセージを入力した
時点でフレームバッファに書き込まれているＣＧキャラ
クタの動きデータのフレームの進行位置、次の同期メッ
セージを入力するときに前記ＡＶ同期指示データにより
指定されるＣＧキャラクタの動きデータのフレームの進
行位置、及び上記時間間隔△Ｔとによって、フレームバ
ッファに書き込むＣＧキャラクタの姿勢を決定するＡＶ
同期プログラムを記録している。このように構成するこ
とにより、フレーム補間方法を用いることにより、楽曲
データに同期したＣＧキャラクタのの画像データを生成
することができ、楽曲演奏の再生処理にＣＧキャラクタ
のの再生処理を自動的に修正して、それらの再生処理を
常に同期させることができる。

【００２１】本発明の別のＡＶ同期プログラムを記録し
た記録媒体は、前記テンポ情報の変更を入力し、同期メ
ッセージのテンポ情報を入力したテンポ情報に変更する
機能を追加している。このように構成することにより、
ユーザーが楽曲演奏の途中で楽曲のテンポを変更したと
しても、楽曲演奏と画像再生とを同期することができ
る。

【００２２】

【発明の実施の形態】以下、本発明のＡＶ同期装置を示
す好ましい実施例について、図面を参照して説明する。

【００２３】《第１の実施例》図１は、本発明の第１の
実施例であるＡＶ同期装置の構成を示すブロック図であ
る。尚、以下の説明では、コンピュータグラフィック
（以下、”ＣＧグラフィック”という）によって描画す
る、例えば３次元のＣＧグラフィック画像をＣＧキャラ
クタという。図１において、本実施例のＡＶ同期装置
は、ユーザー、またはオペレータからの演奏開始命令を
入力し、楽曲データを保存する楽曲データ保存部１、楽
曲データ保存部１から出力された楽曲データに基づい
て、演奏音の波形データを生成する出力波形生成部２、
及び出力波形生成部２からの一定量の波形データを一時
的に蓄える音データ用バッファ３を備えている。さら
に、ＡＶ同期装置は、音データ用バッファ３からの波形
データをアナログ信号の音信号に変換するＤ／Ａ変換器
４、Ｄ／Ａ変換器４からの音信号を増幅するアンプ５、
及びアンプ５からの増幅された音信号を演奏として発音
するスピーカ６を設けている。楽曲データ保存部１は、
書き換え可能な記録媒体、例えばＲＡＭにより構成さ
れ、演奏開始命令を入力する前にＣＤ−ＲＯＭ、ＤＶＤ
あるいは類似の記録媒体、又は通信回線によって再生す
べき楽曲の楽曲データを予め取得している。楽曲データ
は、ＭＩＤＩ（Musical Instrumental Digital Interfa
ce）規格又は類似規格に基づいて、演奏音をデジタル形
式のデータに変換した一連の音楽データである。また、
音データ用バッファ３が一定量の波形データを記憶する
ことにより、スピーカ６にて再生する演奏が途切れるの
を防止できる。また、楽曲データ保存部１には、同期メ
ッセージを出力するための拍発生部７が接続されてい
る。拍発生部７は、楽曲データ保存部１からの楽曲デー
タに含まれたテンポ情報に基づいて、特定音符、例えば
四分音符１拍分の楽曲演奏が進行する毎に、その時点で
の楽曲の進行位置（ｉ拍目；ｉは整数）及びテンポ情報
Temp(ｉ)（図３参照）からなる同期メッセージを発生す
る。楽曲の進行位置は、特定音符としての四分音符１拍
分の長さを基準として、楽曲がその先頭から何拍分の四
分音符が進んでいるかを示す情報であり、テンポ情報Te
mp(ｉ)は、特定音符としての四分音符の時間長（sec単
位）である。さらに、拍発生部７には、音データ用バッ
ファ３が接続され、音データ用バッファ３からＤ／Ａ変
換器４に演奏音の波形データを出力する毎に、その出力
のタイミングが音データ用バッファ３から拍発生部７に
伝えられる。第１の実施例では、例えば４４.１ＫＨｚ
の周期で波形データを出力したことを拍発生部７に伝え
ている。このように構成することにより、音データ用バ
ッファ３からの出力のタイミングは、拍発生部７におい
て４４.１ＫＨｚの内部クロックとして機能する。

【００２４】さらに、本実施例のＡＶ同期装置には、Ｃ
Ｇキャラクタの再生処理を行う機器として、シナリオデ
ータを保存するシナリオデータ保存部８、シナリオデー
タ保存部８に接続され、シナリオデータに基づいてＡＶ
同期指示データを生成するＡＶ同期指示データ生成部
９、拍発生部７及びＡＶ同期指示データ生成部９に接続
された表示フレーム決定部１０を備えている。さらに、
ＣＧキャラクタの再生処理を行う機器として、ＣＧレン
ダリング部１１、フレームバッファ１２、及びモニタ１
３が、表示フレーム決定部１０に順次接続されている。
また、表示フレーム決定部１０には、ＣＧキャラクタの
動き（動作）を指示する動きデータを記憶している動き
データ保存部１４、及びＣＧキャラクタの形状を示すＣ
Ｇキャラクタ形状データを記憶しているＣＧキャラクタ
形状データ保存部１５が接続されている。ＣＧレンダリ
ング部１１には、表示するＣＧキャラクタのレンダリン
グを行うためのカメラ視点情報、及び光源情報をそれぞ
れ記憶するカメラ視点情報保存部１６、及び光源情報保
存部１７が接続されている。シナリオデータ保存部８、
動きデータ保存部１４、ＣＧキャラクタ形状データ保存
部１５、カメラ視点情報保存部１６、及び光源情報保存
部１７は、書き換え可能な記録媒体、例えばＲＡＭによ
り構成されている。シナリオデータ保存部８、動きデー
タ保存部１４、及びＣＧキャラクタ形状データ保存部１
５は、演奏開始命令を入力する前にＣＤ−ＲＯＭ、ＤＶ
Ｄあるいは類似の記録媒体、又は通信回線により、シナ
リオデータ、動きデータ、及びＣＧキャラクタ形状デー
タをそれぞれ入力して保持している。

【００２５】シナリオデータ保存部８に入力されるシナ
リオデータは、複数の動きデータを楽曲演奏（楽曲デー
タ）に対応させ時系列的に結合することにより、ＣＧキ
ャラクタの一連の動きを生成させるための指示データで
ある。また、シナリオデータは、カメラ視点情報、及び
光源情報を含み、表示するフレーム毎に動きデータ、Ｃ
Ｇキャラクタ形状データ、カメラ視点情報、及び光源情
報を指定する。また、シナリオデータは、カメラ視点情
報、及び光源情報を含んでいる。カメラ視点情報、及び
光源情報は、シナリオデータがシナリオデータ保存部８
に保存されると同時に、カメラ視点情報保存部１６、及
び光源情報保存部１７にそれぞれ出力されて保持され
る。尚、カメラ視点情報、及び光源情報は、［従来の技
術］の欄で図１６の（ｃ）を参照して説明した仮想のカ
メラの撮影条件、及び仮想の光源の照射条件をそれぞれ
示す情報であり、カメラ視点情報はカメラの位置、撮影
方向、及びズームを指定するデータにより構成され、光
源情報は光源の位置、照射方向、及び効果を指定するデ
ータにより構成されている。ＡＶ同期指示データ生成部
９は、シナリオデータにより分割された各動きデータに
おいて、上述の四分音符（特定音符）の１拍分を基準と
して、楽曲データの進行とＣＧキャラクタの動きデータ
の進行とを対応づけたＡＶ同期指示データを生成する。
つまり、ＡＶ同期指示データ生成部９は、四分音符（特
定音符）が１拍分進行する毎に、表示すべきフレームを
指定するＡＶ同期指示データを生成する。

【００２６】（シナリオデータ）ここで、図２の
（ａ）、及び図２の（ｂ）を参照して、シナリオデー
タ、及びＡＶ同期指示データについて具体的に説明す
る。図２の（ａ）は図１に示したＡＶ同期装置における
楽曲の拍数、動きデータとシナリオデータとの関係を示
す説明図であり、図２の（ｂ）は図１に示したＡＶ同期
装置における楽曲の拍数、動きデータ、シナリオデー
タ、及びＡＶ同期指示データの関係を示す説明図であ
る。図２の（ａ）、及び図２の（ｂ）において、横軸
は、楽曲の演奏開始からの特定音符による拍数を示して
いる。特定音符としては、任意の音符を採用することが
できるが、ここでは上述したように、四分音符を拍数の
基準となるべき特定音符として採用している。また、図
２の（ｂ）は、図２の（ａ）での１拍目からＨ１拍目の
部分を拡大した図である。シナリオデータは、図２の
（ａ）に示すように、楽曲データ保存部１（図１）に保
存されている楽曲データでの楽曲の拍数と動きデータ保
存部１４（図１）に保存されている動きデータのオリジ
ナルのフレームとを対応づけている。例えば、楽曲の１
拍目からＨ１拍目までが、シナリオデータによって動き
データＭ１に対応づけられている。このことにより、１
拍目にはＮ１１番目のオリジナルのフレーム、またＨ１
拍目にはＮ２１番目のオリジナルのフレームがそれぞれ
指定される。同様に、楽曲の（Ｈ１＋１）拍目からＨ２
拍目までが、シナリオデータによって動きデータＭ２に
対応づけられている。このことにより、（Ｈ１＋１）拍
目にはＮ１２番目のオリジナルのフレーム、またＨ２拍
目にはＮ２２番目のオリジナルのフレームがそれぞれ指
定される。同様に、楽曲の（Ｈ２＋１）拍目からＨ３拍
目までが、シナリオデータによって動きデータＭ３に対
応づけられている。このことにより、（Ｈ２＋１）拍目
にはＮ１３番目のオリジナルのフレーム、またＨ３拍目
にはＮ２３番目のオリジナルのフレームがそれぞれ指定
される。尚、オリジナルのフレームと称しているのは、
実際にモニタ１３（図１）に表示されるフレームは、該
オリジナルフレームを元に表示フレーム決定部１０（図
１）により決定されるフレームだからである。上記のよ
うな動きデータと楽曲との対応づけを行うことにより、
例えば、１００フレーム分の動きデータを、楽曲によっ
ては、６拍分で１００フレーム分の動きを進行させた
り、８拍分で１００フレーム分の動きを進行させたり
と、ひとつの動きデータを用いていろいろな動きの進行
速度に対応することが可能となり、動きデータ保存部１
４の記憶容量を低減できるので、経済的なものとなる。

【００２７】（ＡＶ同期指示データ）ＡＶ同期指示デー
タは、上述のように、シナリオデータにより分割された
各動きデータにおいて、上述の四分音符（特定音符）の
１拍分を基準として、楽曲データの進行とＣＧキャラク
タの動きデータの進行とを対応づけるデータであり、各
動きデータに割り当てたオリジナルのフレームを四分音
符（特定音符）の１拍分ずつ等分に分割することによ
り、生成される。このようにＡＶ同期指示データを生成
することにより、動きデータＭ１に割り当てられたＮ１
１番目からＮ２１番目までのオリジナルのフレームは、
図２の（ｂ）に示すように、楽曲データの２，３，
４...拍目にそれぞれ対応して、モニタ１３（図１）に
表示されるフレームの進行位置を示すためのフレームｎ
２１，ｎ３１，ｎ４１，...に分けられる。尚、ＡＶ同
期指示データによって指定されるフレームの数が必ずし
も整数になるとは限らないので、上記フレームｎ２１，
ｎ３１，ｎ４１には動きデータ保存部１４に記憶されて
いないものもある。しかしながら、記憶されていないフ
レームは、後段の表示フレーム決定部１０でのＣＧキャ
ラクタの再生処理において、スプライン補間等の公知の
データ補間方法により、動きデータ保存部１４に記憶さ
れたフレームから求められるので問題はない。同様に、
動きデータＭ２においても、楽曲データの１拍分ずつに
対応したフレームの進行位置を示すためのフレームｎ２
２，ｎ３２，ｎ４２，...に分けられている。

【００２８】図１に戻って、表示フレーム決定部１０
は、表示するＣＧキャラクタの各フレームにおいて、Ａ
Ｖ同期指示データ、及び同期メッセージに基づいて、次
に表示するフレームでのＣＧキャラクタの姿勢を計算し
て決定する。詳細には、フレームバッファ１２が画像表
示装置であるモニタ１３に画像を出力する時間間隔を△
Ｔとするとき、表示フレーム決定部１０は、上記拍発生
部７からの同期メッセージに含まれたテンポ情報Temp
(ｉ)、当該同期メッセージを入力した時点でフレームバ
ッファ１２に書き込まれているＣＧキャラクタの動きデ
ータのフレームの進行位置、次の同期メッセージを入力
するときに上記ＡＶ同期指示データにより指定されるＣ
Ｇキャラクタの動きデータのフレームの進行位置、及び
上記時間間隔△Ｔとによって、フレームバッファ１２に
書き込むＣＧキャラクタの姿勢を決定する。尚、時間間
隔△Ｔの具体的な値は、例えばモニタ１３がＣＧキャラ
クタを１秒間に３０回表示している場合、△Ｔは１／３
０secである。

【００２９】（ＣＧキャラクタの姿勢の計算）表示フレ
ーム決定部１０におけるＣＧキャラクタの姿勢の具体的
な計算方法について、説明する。まず、表示フレーム決
定部１０は、拍発生部７から入力した同期メッセージの
楽曲の進行位置（ｉ拍目）をＡＶ同期指示データと照ら
し合わせて、当該同期メッセージを入力した時点でフレ
ームバッファ１２に書き込まれているＣＧキャラクタの
動きデータのフレームの進行位置fiと、次の同期メッセ
ージが送られてくるタイミング（ｉ＋１拍目）にＡＶ同
期指示データによって指定されているフレームの進行位
置Ｆi+1を求める。さらに、表示フレーム決定部１０
は、今回入力した同期メッセージの楽曲のテンポ情報Te
mp(ｉ) により示されるｉ拍目から（ｉ＋１）拍目まで
の時間長の間において、上述の時間間隔△Ｔsec毎に表
示、進行させるＣＧキャラクタのフレームの進行位置fl
ame(j)を下記の（１）式を用いて算出する。

【００３０】 flame(j) ＝ fi ＋ （Fi+1−fi）＊（j＊△Ｔ／Temp(ｉ)） −−−（１）

【００３１】尚、（１）式において、jは、表示フレー
ム決定部１０が一の同期メッセージを入力してから次の
同期メッセージを入力するまでに、フレームバッファ１
２に書き込まれるフレーム数をカウントしたカウント値
である。つまり、jの値は、同期メッセージを入力した
時点で０にセットされ、その後、ＣＧキャラクタのフレ
ームが進行する毎に、１つずつ（Temp(ｉ)／△Ｔ）まで
変化する。また、（１）式において、ｉ、及びTemp(ｉ)
の値は、次の（ｉ＋１）拍目の同期メッセージを入力す
るでは同じ値に保たれ、（ｉ＋１）拍目の同期メッセー
ジを入力すると、その同期メッセージの値に更新され
る。

【００３２】次に、表示フレーム決定部１０は、動きデ
ータのオリジナルのフレームにスプライン補間を適用し
て得られた、フレームの進行位置flame(j)を変数とする
ＣＧキャラクタの動きデータの関数Ｐ（フレームの進行
位置）を用いて、表示する各フレームでのＣＧキャラク
タの姿勢を算出、決定する。表示フレーム決定部１０
は、ＣＧキャラクタの姿勢を決定した後、決定したＣＧ
キャラクタの姿勢から当該ＣＧキャラクタでの各ポリゴ
ンの頂点座標データを算出する。さらに、表示フレーム
決定部１０は、ＣＧキャラクタ形状データ保存部１５か
らシナリオデータによって指定されたＣＧキャラクタ形
状データを読み出し、当該ＣＧキャラクタ形状データと
算出した頂点座標データとを用いて、ＣＧキャラクタの
画像データを作成する。その後、表示フレーム決定部１
０は、作成した画像データをシナリオデータとともにＣ
Ｇレンダリング部１１に出力する。尚、表示フレーム決
定部１０は、シナリオデータが終了したかどうかの判断
を行うために、ＣＧレンダリング部１１に送ったフレー
ムの進行位置fiを記録している。ＣＧレンダリング部１
１は、シナリオデータに含まれたカメラ視点情報及び光
源情報に基づいて、各フレーム毎にＣＧキャラクタのレ
ンダリングを行う。すなわち、ＣＧレンダリング部１１
は、表示フレーム決定部１０からの画像データに基づい
て、指定されたカメラの撮影条件、及びスポットライト
や太陽光など指定された光源の照射条件で照らされたＣ
Ｇキャラクタの画像データを作成する。ＣＧレンダリン
グ部１１は、レンダリングした後のＣＧキャラクタの画
像データをフレームバッファ１２に出力して書き込む。
そして、フレームバッファ１２はＣＧキャラクタの画像
データをモニタ１３に出力して、モニタ１３はＣＧキャ
ラクタを表示する。

【００３３】ここで、図３に示すタイミングチャートを
参照して、楽曲演奏の進行と、フレーム毎に行われる表
示フレーム決定部１０での姿勢計算、及びＣＧレンダリ
ング部１１でのレンダリング処理との関係について説明
する。図３は、図１に示したＡＶ同期装置における楽曲
データ、ＣＧキャラクタの姿勢計算、及びレンダリング
処理の時間的な関係を示すタイミングチャートである。
尚、図３において、矢印”Ｔ”は時間の経過を示し、縦
線”Ａ”、”Ｂ”、及び”Ｃ”は、楽曲データによる楽
曲演奏の進行、表示フレーム決定部１０でのＣＧキャラ
クタの姿勢計算の進行、及びＣＧレンダリング部１１で
のレンダリング処理の進行をそれぞれ示している。図３
に示すように、楽曲データによる楽曲演奏が、楽曲の先
頭から（ｉ）拍目に達したとき、拍発生部７（図１）か
ら表示フレーム決定部１０（図１）に対して同期メッセ
ージが出力される。この同期メッセージは、上述のよう
に、現時点での楽曲の進行位置である（ｉ）拍目と、楽
曲のテンポ情報Temp(ｉ)とが含まれている。表示フレー
ム決定部１０は、同期メッセージを利用しつつ、△Ｔse
c毎に進行させるＣＧキャラクタのフレームの進行位置f
lame(j)を上述の（１）式を用いて計算する。そして、
表示フレーム決定部１０は、ＣＧキャラクタの姿勢を動
きデータの関数Ｐ（フレームの進行位置）を用いて決定
し、ＣＧキャラクタを構成する各ポリゴンの頂点座標デ
ータを算出する。図において、この姿勢計算に要する時
間（頂点座標データの算出時間も含む）を、（ｉ）拍目
の姿勢計算、（ｉ）＋（△Ｔ／Temp(ｉ)）拍目の姿勢計
算、......と示している。その後、表示フレーム決定部
１０は、算出した頂点座標データとシナリオデータに指
定されたＣＧキャラクタ形状データとに基づいて、画像
データを瞬時に作成する。作成された画像データは、そ
の都度、表示フレーム決定部１０からＣＧレンダリング
部１１に出力され、ＣＧキャラクタのレンダリング処理
が開始される。

【００３４】（楽曲演奏の再生処理）次に、本実施例の
ＡＶ同期装置の動作を説明する。まず、楽曲演奏の再生
処理について、図４を参照して説明する。図４は、図１
に示したＡＶ同期装置における楽曲演奏の再生処理を示
すフローチャートである。図４に示すように、楽曲演奏
の開始する前に、楽曲データ保存部１（図１）、及びシ
ナリオデータ保存部８（図１）は、記録媒体または通信
回線により、楽曲データ、及びシナリオデータをそれぞ
れ取得する（ステップＳ１）。続いて、ＡＶ同期指示デ
ータ生成部９（図１）は、シナリオデータ保存部８から
のシナリオデータに基づいて、ＡＶ同期指示データを生
成する（ステップＳ２）。ここで、このＡＶ同期指示デ
ータの作成手順を示す図５のフローチャートを用いて、
ＡＶ同期指示データ生成部９の動作を説明する。図５に
示すように、ＡＶ同期指示データ生成部９が、シナリオ
データ保存部８からシナリオデータを入力すると（ステ
ップＳ１３）、ＡＶ同期指示データ生成部９は、シナリ
オデータにより指定された動きデータＭｉのオリジナル
のフレームを四分音符（特定音符）の１拍分ずつ等分に
分割することにより、ＡＶ同期指示データを生成する
（ステップＳ１４）。

【００３５】図４に戻って、楽曲データ保存部１が、演
奏開始の命令を入力すると（ステップＳ３）、楽曲デー
タ保存部１は、記憶している楽曲データを出力波形生成
部２（図１）に順次出力する。出力波形生成部２は、楽
曲データに基づいてデジタル形式の演奏音の波形データ
を生成して（ステップＳ４）、音データ用バッファ３
（図１）に逐次出力する。音データ用バッファ３は、一
定量の波形データを一時的に蓄える（ステップＳ５）。
その後、波形データを音データ用バッファ３からＤ／Ａ
変換器４（図１）に出力する。Ｄ／Ａ変換器４は、入力
した波形データをアナログ形式の音信号に変換する（ス
テップＳ６）。そして、Ｄ／Ａ変換器４は、音信号をア
ンプ５（図１）に出力して、アンプ５にて音信号を増幅
する（ステップＳ７）。続いて、スピーカ６（図１）に
より、アンプ５からの音信号を演奏として発音する（ス
テップＳ８）。

【００３６】音データ用バッファ３は、Ｄ／Ａ変換器４
に波形データを出力する毎に、そのタイミングを拍発生
部７（図１）に伝える（ステップＳ９）。続いて、拍発
生部７は、楽曲データに含まれているテンポ情報に基づ
いて、四分音符１拍分の楽曲が進行する毎に、その時点
での楽曲の進行位置（ｉ拍目）及びテンポ情報Temp(ｉ)
からなる同期メッセージを発生し、表示フレーム決定部
１０（図１）に出力する（ステップＳ１０）。次に、拍
発生部７は、楽曲の終わりであるかどうかについて判定
する（ステップＳ１１）。楽曲の終わりでなければ、再
度、ステップＳ４に示す処理に戻る。楽曲の終わりであ
れば、演奏を終了する（ステップＳ１２）。

【００３７】（ＣＧキャラクタの再生処理）次に、ＣＧ
キャラクタの再生処理について、図６を用いて説明す
る。図６は、図１に示したＡＶ同期装置におけるＣＧキ
ャラクタの再生処理を示すフローチャートである。図６
において、表示フレーム決定部１０が拍発生部７から同
期メッセージを入力すると（ステップＳ１５）、表示フ
レーム決定部１０はｊの値を０とする（ステップＳ１
６）。尚、ｊは、上述のように、表示フレーム決定部１
０が一の同期メッセージを入力してから次の同期メッセ
ージを入力するまでに、フレームバッファ１２（図１）
に書き込まれるフレーム数をカウントしたカウント値で
ある。続いて、表示フレーム決定部１０は、拍発生部７
から入力した同期メッセージの楽曲の進行位置とＡＶ同
期指示データとを照らし合わせることにより、現時点
（ｉ拍目）及び次に同期メッセージを入力する時点（ｉ
＋１拍目）でのＣＧキャラクタの動きデータのフレーム
の進行位置fi及びＦi+1を求める。その後、表示フレー
ム決定部１０は、今回入力した同期メッセージの楽曲の
テンポ情報Temp(ｉ) により示されるｉ拍目から（ｉ＋
１）拍目までの時間長の間において、上述の時間間隔△
Ｔsec毎に表示、進行させるＣＧキャラクタのフレーム
の進行位置flame(j)を上述の（１）式を用いて算出する
（ステップＳ１７）。次に、表示フレーム決定部１０
は、フレームの進行位置flame(j)を変数とするＣＧキャ
ラクタの動きデータの関数Ｐ（フレームの進行位置）を
用いて、表示する各フレームでのＣＧキャラクタの姿勢
を算出する（ステップＳ１８）。続いて、表示フレーム
決定部１０は、算出したＣＧキャラクタの姿勢とシナリ
オデータによって指定されたＣＧキャラクタ形状データ
とに基づいて、フレームの進行位置flame(j)における画
像データを生成して、ＣＧレンダリング部１１（図１）
に出力する（ステップＳ１９）。ＣＧレンダリング部１
１は、シナリオデータに含まれたカメラ視点情報及び光
源情報に基づいて、入力した画像データにレンダリング
を施す（ステップＳ２０）。続いて、ＣＧレンダリング
部１１は、レンダリングした後の画像データをフレーム
バッファ１２に書き込む（ステップＳ２１）。そして、
モニタ１３（図１）は、フレームバッファ１２からの画
像データを表示する（ステップＳ２２）。

【００３８】また、表示フレーム決定部１０は、ステッ
プＳ１９に示す処理を行うとき、ＣＧレンダリング部１
１に出力したフレームの進行位置fiを記録する（ステッ
プＳ２３）。表示フレーム決定部１０は、記録した進行
位置fiに基づいて、シナリオデータの最後まで表示が終
わっているかどうかの判断を行う（ステップＳ２４）。
表示フレーム決定部１０は、最後まで表示していない場
合、j の値を一つ増やし（ステップＳ２５）、ステップ
Ｓ１７に示す処理に戻る。一方、最後まで表示している
場合、ＣＧキャラクタの描画を終了する（ステップＳ２
６）。

【００３９】（作用・効果）本実施例のＡＶ同期装置で
は、四分音符（特定音符）１拍分の楽曲が進行する毎
に、拍発生部７が表示フレーム決定部１０に、特定音符
としての四分音符を基準とした楽曲の進行位置及び楽曲
のテンポ情報とを含む同期メッセージを出力し、表示フ
レーム決定部１０が入力した同期メッセージを用い上述
の時間間隔△Ｔ毎にフレームの進行位置flame(j)を算出
している。このことにより、本実施例のＡＶ同期装置で
は、表示フレーム決定部１０は、フレーム（データ）補
間方法を用いることにより、楽曲データに同期したＣＧ
キャラクタの画像データを生成することができ、楽曲演
奏の再生処理にＣＧキャラクタの再生処理を自動的に合
わせて、それらの再生処理を常に同期させることができ
る。この本実施例での作用・効果について、図７を参照
して説明する。図７は、図１に示したＡＶ同期装置にお
ける楽曲の進行、同期メッセージ、及びフレームの進行
位置の算出タイミングの関係を示す説明図である。図７
において、テンポ情報Temp(ｉ)にて図示された四分音符
（特定音符）１拍分の楽曲が進行する毎に、同期メッセ
ージが拍発生部７から表示フレーム決定部１０に出力さ
れている。同期メッセージは、テンポ情報Temp(ｉ)と、
四分音符（特定音符）を単位として楽曲の先頭から何拍
目であるかを示した楽曲の進行位置とにより構成されて
いる。尚、テンポ情報Temp(ｉ)は、同期メッセージを出
力する毎に、その時点での最新の楽曲のテンポが楽曲デ
ータから与えられる。また、入力した同期メッセージを
用いて算出されるフレームの進行位置flame(j)は、同図
のｊの値で示されるように、表示フレーム決定部１０が
同期メッセージを拍発生部７から入力した時点で０にセ
ットされ、次の同期メッセージを入力するまでの間にお
いて、モニタ１３にフレームを表示すべき時間間隔△Ｔ
毎に行われている。以上の構成により、本実施例のＡＶ
同期装置では、例えばｉ拍目から（ｉ＋１）拍目までの
間で楽曲のテンポが変化した場合、上記算出したフレー
ムの進行位置flame(j)は実際に進行すべきフレームの進
行位置からずれて誤差となる。しかしながら、この誤差
は、次の（ｉ＋１）拍目から（ｉ＋２）拍目までの間で
のフレームの進行位置flame(j)の算出時に自動的に修正
され、楽曲演奏とＣＧキャラクタとの同期を保つことが
できる。

【００４０】《第２の実施例》図８は、本発明の第２の
実施例であるＡＶ同期装置の構成を示すブロック図であ
る。この実施例では、ＡＶ同期装置の構成において、楽
曲のテンポ変更指示を入力して、拍発生部から出力され
る同期メッセージのテンポ情報を変更するテンポ変更情
報入力部を設けた。それ以外の各部は、第１の実施例の
ものと同様であるのでそれらの重複した説明は省略す
る。図８に示すように、テンポ変更情報入力部１８が、
拍発生部７に接続されている。このテンポ変更情報入力
部１８は、楽曲の再生中（ｉ拍目）にユーザーや外部機
器から楽曲のテンポ変更指示を入力した場合、下記の
（２）式に示すように、楽曲データ保存部１に保存され
ている楽曲データに含まれたオリジナルのテンポ情報Te
mp(ｉ)に比例常数Csを乗算して、新たなテンポ情報Temp
(ｉ)を求める。

【００４１】 新たなテンポ情報Temp(ｉ) ＝ オリジナルのテンポ情報Temp(ｉ) × Cs −−−（２）

【００４２】新たなテンポ情報Temp(ｉ)は、テンポ変更
情報入力部１８から拍発生部７に出力され、拍発生部７
から出力される同期メッセージのテンポ情報として用い
られる。尚、テンポ変更情報入力部１８は、楽曲データ
保存部１が再生する楽曲データを取得したとき、記録媒
体、または通信回線により、同時にオリジナルのテンポ
情報Temp(ｉ)を取得する。

【００４３】次に、本実施例のＡＶ同期装置における楽
曲演奏の再生処理について、図９を参照して説明する。
尚、ＡＶ同期指示データの作成手順、及びＣＧキャラク
タの再生処理については、図５、及び図６にそれぞれ示
した第１の実施例のものと同様であるのでそれらの重複
した説明は省略する。図９は、図８に示したＡＶ同期装
置における楽曲演奏の再生処理を示すフローチャートで
ある。図９に示すように、楽曲演奏の開始する前に、楽
曲データ保存部１（図８）、及びシナリオデータ保存部
８（図８）は、記録媒体または通信回線により、楽曲デ
ータ、及びシナリオデータをそれぞれ取得する（ステッ
プＳ３１）。続いて、ＡＶ同期指示データ生成部９（図
８）は、シナリオデータ保存部８からのシナリオデータ
に基づいて、ＡＶ同期指示データを生成する（ステップ
Ｓ３２）。楽曲データ保存部１が、演奏開始の命令を入
力すると（ステップＳ３３）、テンポ変更情報入力部１
８は、テンポ変更指示が入力されたかどうかについて調
べる。テンポ変更指示が入力された場合、テンポ変更情
報入力部１８は、入力したテンポ変更指示に基づいて、
拍発生部７（図８）から出力される同期メッセージのテ
ンポ情報を変更する（ステップＳ３４）。楽曲データ保
存部１は、記憶している楽曲データを出力波形生成部２
（図８）に順次出力する。出力波形生成部２は、楽曲デ
ータに基づいてデジタル形式の演奏音の波形データを生
成して（ステップＳ３５）、音データ用バッファ３（図
８）に逐次出力する。音データ用バッファ３は、一定量
の波形データを一時的に蓄える（ステップＳ３６）。そ
の後、波形データを音データ用バッファ３からＤ／Ａ変
換器４（図８）に出力する。Ｄ／Ａ変換器４は、入力し
た波形データをアナログ形式の音信号に変換する（ステ
ップＳ３７）。そして、Ｄ／Ａ変換器４は、音信号をア
ンプ５（図８）に出力して、アンプ５にて音信号を増幅
する（ステップＳ３８）。続いて、スピーカ６（図８）
により、アンプ５からの音信号を演奏として発音する
（ステップＳ３９）。

【００４４】音データ用バッファ３は、Ｄ／Ａ変換器４
に波形データを出力する毎に、そのタイミングを拍発生
部７に伝える（ステップＳ４０）。続いて、拍発生部７
は、楽曲データに含まれているテンポ情報に基づいて、
四分音符１拍分の楽曲が進行する毎に、その時点での楽
曲の進行位置（ｉ拍目）及びテンポ情報Temp(ｉ)からな
る同期メッセージを発生し、表示フレーム決定部１０
（図８）に出力する（ステップＳ４１）。次に、拍発生
部７は、楽曲の終わりであるかどうかについて判定する
（ステップＳ４２）。楽曲の終わりでなければ、再度、
ステップＳ３４に示す処理に戻る。楽曲の終わりであれ
ば、演奏を終了する（ステップＳ４３）。

【００４５】以上のように、本実施例のＡＶ同期装置で
は、楽曲のテンポ変更指示を入力して、拍発生部７から
出力される同期メッセージのテンポ情報を変更するテン
ポ変更情報入力部１８が設けられている。このことによ
り、本実施例のＡＶ同期装置では、例えばカラオケにお
いて、ユーザーが楽曲演奏の途中で楽曲のテンポを好み
のテンポに変更したとしても、楽曲演奏の再生処理とＣ
Ｇキャラクタの再生処理との同期を保つことができる。

【００４６】《第３の実施例》図１０は、本発明の第３
の実施例であるＡＶ同期装置の構成を示すブロック図で
ある。この実施例では、ＡＶ同期装置の構成において、
ＣＧキャラクタの再生の代わりに、フレームのデータ長
が一定でない一連の動画データを楽曲演奏に同期して再
生する構成とした。それ以外の各部は、第１の実施例の
ものと同様であるのでそれらの重複した説明は省略す
る。尚、上述の動画データの具体例としては、ＭＰＥＧ
（Moving Picture Experts Group）規格などにおけるフ
レーム独立でない圧縮方式の動画データや、フレームが
固定長でない動画データである。図１０に示すように、
動画の再生処理を行う機器として、動画シナリオデータ
を保存する動画シナリオデータ保存部８’、動画シナリ
オデータ保存部８’に接続され、動画シナリオデータに
基づいてＡＶ同期指示データを生成するＡＶ同期指示デ
ータ生成部９’、及び拍発生部７とＡＶ同期指示データ
生成部９’とに接続された表示フレーム決定部１０’が
設けられている。表示フレーム決定部１０’には、動画
データを保存する動画データ保存部１４’が接続されて
いる。また、表示フレーム決定部１０’は、動画データ
に基づいて、表示する各フレーム毎に、楽曲データに同
期した画像データを決定し、フレームバッファ１２に出
力する。動画シナリオデータ保存部８’、及び動画デー
タ保存部１４’は、書き換え可能な記録媒体、例えばＲ
ＡＭにより構成され、演奏開始命令を入力する前にＣＤ
−ＲＯＭ、ＤＶＤあるいは類似の記録媒体、又は通信回
線により、動画シナリオデータ、及び動画データをそれ
ぞれ入力して保持している。

【００４７】ここで、図１１の（ａ）及び図１１の
（ｂ）を参照して、動画シナリオデータ、及びＡＶ同期
指示データを具体的に説明する。図１１の（ａ）は図１
０に示したＡＶ同期装置における楽曲の拍数、動画デー
タと動画シナリオデータとの関係を示す説明図であり、
図１１の（ｂ）は図１０に示したＡＶ同期装置における
楽曲の拍数、動画データ、動画シナリオデータ、及びＡ
Ｖ同期指示データの関係を示す説明図である。図１１の
（ａ）、及び図１１の（ｂ）において、横軸は、楽曲の
演奏開始からの特定音符による拍数を示している。図１
１の（ｂ）は、図１１の（ａ）での１拍目からＨ１拍目
の部分を拡大した図である。動画シナリオデータは、図
１１の（ａ）に示すように、楽曲データ保存部１（図１
０）に保存されている楽曲データでの楽曲の拍数と動画
データ保存部１４’（図１０）に保存されている動画デ
ータのオリジナルのフレームとを対応づけている。例え
ば、楽曲の１拍目からＨ１拍目までが、動画シナリオデ
ータによって動画データＢ１に対応づけられている。こ
のことにより、１拍目にはＮ１１番目のオリジナルのフ
レーム、またＨ１拍目にはＮ２１番目のオリジナルのフ
レームがそれぞれ指定される。同様に、楽曲の（Ｈ１＋
１）拍目からＨ２拍目までが、動画シナリオデータによ
って動画データＢ２に対応づけられている。このことに
より、（Ｈ１＋１）拍目にはＮ１２番目のオリジナルの
フレーム、またＨ２拍目にはＮ２２番目のオリジナルの
フレームがそれぞれ指定される。同様に、楽曲の（Ｈ２
＋１）拍目からＨ３拍目までが、動画シナリオデータに
よって動画データＢ３に対応づけられている。このこと
により、（Ｈ２＋１）拍目にはＮ１３番目のオリジナル
のフレーム、またＨ３拍目にはＮ２３番目のオリジナル
のフレームがそれぞれ指定される。尚、オリジナルのフ
レームと称しているのは、実際にモニタ１３（図１０）
に表示されるフレームは、該オリジナルフレームを元に
表示フレーム決定部１０’（図１０）により決定された
フレームだからである。上記のような動画データと楽曲
との対応づけを行うことにより、例えば、１００フレー
ム分の動画データを、楽曲によっては、６拍分で１００
フレーム分の動きを進行させたり、８拍分で１００フレ
ーム分の動きを進行させたりと、ひとつの動画データを
用いていろいろな動きの進行速度に対応することが可能
となり、動画データ保存部１４’の記憶容量を低減でき
るので、経済的なものとなる。

【００４８】ＡＶ同期指示データは、動画シナリオデー
タにより分割された各動画データにおいて、上述の四分
音符（特定音符）の１拍分を基準として、楽曲データの
進行と動画データの進行とを対応づけるデータであり、
各動画データに割り当てられたオリジナルのフレームを
四分音符（特定音符）の１拍分ずつ等分に分割すること
により、生成される。このようにＡＶ同期指示データを
生成することにより、動画データＢ１に割り当てられた
Ｎ１１番目からＮ２１番目までのオリジナルのフレーム
は、図１１の（ｂ）に示すように、楽曲データの２，
３，４...拍目にそれぞれ対応して、モニタ１３（図１
０）表示されるフレームの進行位置を示すためのフレー
ムｎ２１，ｎ３１，ｎ４１，...に分けられる。尚、Ａ
Ｖ同期指示データによって指定されるフレームの数が必
ずしも整数になるとは限らないので、上記フレームｎ２
１，ｎ３１，ｎ４１には動画データ保存部１４’に記憶
されていないものもある。しかしながら、記憶されてい
ないフレームは、後段の表示フレーム決定部１０’での
動画の再生処理において、スプライン補間等の公知のデ
ータ補間方法により、動画データ保存部１４’に記憶さ
れたフレームから求められるので問題はない。同様に、
動画データＢ２においても、楽曲データの１拍分ずつに
対応したフレームの進行位置を示すためのフレームｎ２
２，ｎ３２，ｎ４２，...に分けられている。

【００４９】本実施例の表示フレーム決定部１０’にお
いて、各フレームで表示する画像データを動画データか
ら計算する具体的な計算方法について説明する。まず、
表示フレーム決定部１０’（図１０）は、拍発生部７
（図１０）から入力した同期メッセージの楽曲の進行位
置（ｉ拍目）をＡＶ同期指示データと照らし合わせて、
当該同期メッセージを入力した時点でフレームバッファ
１２（図１０）に書き込まれている動画データのフレー
ムの進行位置fｉと、次の同期メッセージが送られてく
るタイミング（ｉ＋１拍目）にＡＶ同期指示データによ
って指定されているフレームの進行位置Ｆｉ+1を求め
る。さらに、表示フレーム決定部１０’は、今回入力し
た同期メッセージの楽曲のテンポ情報Temp(ｉ) により
示されるｉ拍目から（ｉ＋１）拍目までの時間長の間に
おいて、上述の時間間隔△Ｔsec毎に表示、進行させる
動画データのフレームの進行位置flame(j')を下記の
（３）式を用いて算出する。

【００５０】 flame(j') ＝ fｉ ＋ （Ｆｉ+1−fｉ）＊（j'＊△Ｔ／Temp(ｉ)） −−−（３）

【００５１】尚、（３）式において、j'は、表示フレー
ム決定部１０’が一の同期メッセージを入力してから次
の同期メッセージを入力するまでに、フレームバッファ
１２に書き込まれるフレーム数をカウントしたカウント
値である。つまり、j'の値は、同期メッセージを入力し
た時点で０にセットされ、その後、動画データのフレー
ムが進行する毎に、１つずつ（Temp(ｉ)／△Ｔ）まで変
化する。また、（１）式において、ｉ、及びTemp(ｉ)の
値は、次の（ｉ＋１）拍目の同期メッセージを入力する
では同じ値に保たれ、（ｉ＋１）拍目の同期メッセージ
を入力すると、その同期メッセージの値に更新される。

【００５２】次に、表示フレーム決定部１０’は、動画
データのオリジナルのフレームにスプライン補間を適用
して得られた、フレームの進行位置flame(j')を変数と
する動画データの関数Ｄ（フレームの進行位置）を用い
て、表示する各フレームの画像データを算出、決定す
る。その後、表示フレーム決定部１０’は、作成した画
像データをフレームバッファ１２に出力して書き込む。
そして、フレームバッファ１２は画像データをモニタ１
３（図１０）に出力して、モニタ１３は動画を表示す
る。尚、表示フレーム決定部１０’は、動画シナリオデ
ータが終了したかどうかの判断を行うために、フレーム
バッファ１２に送ったフレームの進行位置fiを記録して
いる。

【００５３】次に、図１２を参照して、本実施例のＡＶ
同期装置における動画の再生処理について説明する。
尚、演奏開始の命令を入力した後の楽曲演奏の再生処
理、及び拍発生部７における同期メッセージの生成処理
は、図５に示した第１の実施例のものと同じであるので
説明を省略する。図１２は、図１０に示したＡＶ同期装
置における動画の再生処理を示すフローチャートであ
る。図１２において、表示フレーム決定部１０’が拍発
生部７から同期メッセージを入力すると（ステップＳ４
５）、表示フレーム決定部１０’はj'の値を０とする
（ステップＳ４６）。尚、j'は、上述のように、表示フ
レーム決定部１０’が一の同期メッセージを入力してか
ら次の同期メッセージを入力するまでに、フレームバッ
ファ１２（図１０）に書き込まれるフレーム数をカウン
トしたカウント値である。続いて、表示フレーム決定部
１０’は、拍発生部７から入力した同期メッセージの楽
曲の進行位置とＡＶ同期指示データとを照らし合わせる
ことにより、現時点（ｉ拍目）及び次に同期メッセージ
を入力する時点（ｉ＋１拍目）での動画データのフレー
ムの進行位置fｉ及びＦｉ+1を求める。その後、表示フ
レーム決定部１０’は、今回入力した同期メッセージの
楽曲のテンポ情報Temp(ｉ) により示されるｉ拍目から
（ｉ＋１）拍目までの時間長の間において、上述の時間
間隔△Ｔsec毎に表示、進行させる動画データのフレー
ムの進行位置flame(j')を上述の（３）式を用いて算出
する（ステップＳ４７）。次に、表示フレーム決定部１
０’は、フレームの進行位置flame(j')を変数とする動
画データの関数Ｄ（フレームの進行位置）を用いて、表
示する各フレームでの画像データを算出する（ステップ
Ｓ４８）。続いて、表示フレーム決定部１０’は、算出
した画像データをフレームバッファ１２に出力し（ステ
ップＳ４９）、フレームバッファ１２は、表示する画像
データを書き込む（ステップＳ５０）。そして、モニタ
１３（図１０）は、フレームバッファ１２からの画像デ
ータを表示する（ステップＳ５１）。

【００５４】また、表示フレーム決定部１０’は、ステ
ップＳ４９に示す処理を行うとき、フレームバッファ１
２に出力したフレームの進行位置fｉを記録する（ステ
ップＳ５２）。表示フレーム決定部１０’は、記録した
進行位置fｉに基づいて、動画シナリオデータの最後ま
で表示が終わっているかどうかの判断を行う（ステップ
Ｓ５３）。表示フレーム決定部１０’は、最後まで表示
していない場合、j' の値を一つ増やし（ステップＳ５
４）、ステップＳ４７に示す処理に戻る。一方、最後ま
で表示している場合、動画の再生を終了する（ステップ
Ｓ５５）。

【００５５】本実施例のＡＶ同期装置では、四分音符
（特定音符）１拍分の楽曲が進行する毎に、拍発生部７
が表示フレーム決定部１０’に同期メッセージを出力
し、表示フレーム決定部１０’が入力した同期メッセー
ジを用い上述の時間間隔△Ｔ毎にフレームの進行位置fl
ame(j')を算出している。このことにより、本実施例の
ＡＶ同期装置では、表示フレーム決定部１０’は、フレ
ーム補間方法を用いることにより、楽曲データに同期し
た動画の画像データを生成することができ、楽曲演奏の
再生処理に動画の再生処理を自動的に合わせて、それら
の再生処理を常に同期させることができる。

【００５６】《第４の実施例》図１３は、本発明の第４
の実施例であるＡＶ同期装置の構成を示すブロック図で
ある。この実施例では、ＡＶ同期装置の構成において、
楽曲のテンポ変更指示を入力して、拍発生部から出力さ
れる同期メッセージのテンポ情報を変更するテンポ変更
情報入力部を設けた。それ以外の各部は、第３の実施例
のものと同様であるのでそれらの重複した説明は省略す
る。図１３に示すように、テンポ変更情報入力部１８
が、拍発生部７に接続されている。このテンポ変更情報
入力部１８は、楽曲の再生中（ｉ拍目）にユーザーや外
部機器から楽曲のテンポ変更指示を入力した場合、下記
の（４）式に示すように、楽曲データ保存部１に保存さ
れている楽曲データに含まれたオリジナルのテンポ情報
Temp(ｉ)に比例常数Cs'を乗算して、新たなテンポ情報T
emp(ｉ)を求める。

【００５７】 新たなテンポ情報Temp(ｉ) ＝ オリジナルのテンポ情報Temp(ｉ) × Cs' −−−（４）

【００５８】新たなテンポ情報Temp(ｉ)は、テンポ変更
情報入力部１８から拍発生部７に出力され、拍発生部７
から出力される同期メッセージのテンポ情報として用い
られる。尚、テンポ変更情報入力部１８は、楽曲データ
保存部１が再生する楽曲データを取得したとき、記録媒
体、または通信回線により、同時にオリジナルのテンポ
情報Temp(ｉ)を取得する。

【００５９】次に、本実施例のＡＶ同期装置における楽
曲演奏の再生処理について、図１４を参照して説明す
る。尚、ＡＶ同期指示データの作成手順、動画の再生処
理については、図５に示した第１の実施例、及び図１２
に示した第３の実施例のものと同様であるのでそれらの
重複した説明は省略する。図１４は、図１３に示したＡ
Ｖ同期装置における楽曲演奏の再生処理を示すフローチ
ャートである。図１４に示すように、楽曲演奏の開始す
る前に、楽曲データ保存部１（図１３）、及び動画シナ
リオデータ保存部８’（図１３）は、記録媒体または通
信回線により、楽曲データ、及び動画シナリオデータを
それぞれ取得する（ステップＳ６１）。続いて、ＡＶ同
期指示データ生成部９’（図１３）は、動画シナリオデ
ータ保存部８’からの動画シナリオデータに基づいて、
ＡＶ同期指示データを生成する（ステップＳ６２）。楽
曲データ保存部１が、演奏開始の命令を入力すると（ス
テップＳ６３）、テンポ変更情報入力部１８は、テンポ
変更指示が入力されたかどうかについて調べる。テンポ
変更指示が入力された場合、テンポ変更情報入力部１８
は、入力したテンポ変更指示に基づいて、拍発生部７
（図１３）から出力される同期メッセージのテンポ情報
を変更する（ステップＳ６４）。楽曲データ保存部１
は、記憶している楽曲データを出力波形生成部２（図１
３）に順次出力する。出力波形生成部２は、楽曲データ
に基づいてデジタル形式の演奏音の波形データを生成し
て（ステップＳ６５）、音データ用バッファ３（図１
３）に逐次出力する。音データ用バッファ３は、一定量
の波形データを一時的に蓄える（ステップＳ６６）。そ
の後、波形データを音データ用バッファ３からＤ／Ａ変
換器４（図１３）に出力する。Ｄ／Ａ変換器４は、入力
した波形データをアナログ形式の音信号に変換する（ス
テップＳ６７）。そして、Ｄ／Ａ変換器４は、音信号を
アンプ５（図１３）に出力して、アンプ５にて音信号を
増幅する（ステップＳ６８）。続いて、スピーカ６（図
１３）により、アンプ５からの音信号を演奏として発音
する（ステップＳ６９）。

【００６０】音データ用バッファ３は、Ｄ／Ａ変換器４
に波形データを出力する毎に、そのタイミングを拍発生
部７に伝える（ステップＳ７０）。続いて、拍発生部７
は、楽曲データに含まれているテンポ情報に基づいて、
四分音符１拍分の楽曲が進行する毎に、その時点での楽
曲の進行位置（ｉ拍目）及びテンポ情報Temp(ｉ)からな
る同期メッセージを発生し、表示フレーム決定部１０’
（図１３）に出力する（ステップＳ７１）。次に、ＡＶ
同期装置は、楽曲の終わりであるかどうかについて判定
する（ステップＳ７２）。楽曲の終わりでなければ、再
度、ステップＳ６４に示す処理に戻る。楽曲の終わりで
あれば、演奏を終了する（ステップＳ７３）。

【００６１】以上のように、本実施例のＡＶ同期装置で
は、楽曲のテンポ変更指示を入力して、拍発生部７から
出力される同期メッセージのテンポ情報を変更するテン
ポ変更情報入力部１８が設けられている。このことによ
り、本実施例のＡＶ同期装置では、例えばカラオケにお
いて、ユーザーが楽曲演奏の途中で楽曲のテンポを好み
のテンポに変更したとしても、楽曲演奏の再生処理と動
画の再生処理との同期を保つことができる。

【００６２】尚、上述の第１乃至第４の実施例における
ＡＶ同期装置の再生処理は、いずれもコンピュータ・プ
ログラム化することができるので、コンピュータにより
実行可能な記録媒体にて本願のＡＶ同期方法を提供する
ことも可能である。ここでいうところの記録媒体とは、
フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ（デジタル
ビデオディスク）、光磁気ディスク、及びリムーバブル
・ハードディスク等である。

【００６３】

【発明の効果】以上のように、本発明のＡＶ同期装置に
は、特定音符分の楽曲が進行する毎に、現時点での楽曲
のテンポを示すテンポ情報及び上記特定音符を基準とし
た楽曲の先頭からの楽曲の進行位置により構成された同
期メッセージを出力する拍発生部が設けられている。さ
らに、本発明のＡＶ同期装置には、拍発生部から同期メ
ッセージを入力し、入力した同期メッセージに基づいて
フレームの進行位置を算出する表示フレーム決定部が設
けられている。この構成により、本発明のＡＶ同期装置
では、表示フレーム決定部は、フレーム補間方法を用い
ることにより、楽曲データに同期した動画の画像データ
を生成することができ、楽曲演奏の再生処理に動画の再
生処理を自動的に合わせて、それらの再生処理を常に同
期させることができる。また、本発明のＡＶ同期装置で
は、楽曲のテンポ変更指示を入力して、拍発生部から出
力される同期メッセージのテンポ情報を変更するテンポ
変更情報入力部が設けられている。このことにより、本
実施例のＡＶ同期装置では、ユーザーが楽曲演奏の途中
で楽曲のテンポを変更したとしても、楽曲演奏と画像再
生とを同期することができる。また、本発明のＡＶ同期
方法は、コンピュータ・プログラム化することができる
ものであり、コンピュータで実行可能な記録媒体に上述
の第１乃至第４の実施例に示した本発明のＡＶ同期方法
を記録して実施することも可能である。

【図面の簡単な説明】

【図１】本発明の第１の実施例であるＡＶ同期装置の構
成を示すブロック図

【図２】図１に示したＡＶ同期装置における楽曲の拍
数、動きデータ、シナリオデータ、及びＡＶ同期指示デ
ータの関係を示す説明図

【図３】図１に示したＡＶ同期装置における楽曲デー
タ、ＣＧキャラクタの姿勢計算、及びレンダリング処理
の時間的な関係を示すタイミングチャート

【図４】図１に示したＡＶ同期装置における楽曲演奏の
再生処理を示すフローチャート

【図５】図１に示したＡＶ同期装置におけるＡＶ同期指
示データの生成処理を示すフローチャート

【図６】図１に示したＡＶ同期装置におけるＣＧキャラ
クタの再生処理を示すフローチャート

【図７】図１に示したＡＶ同期装置における楽曲の進
行、同期メッセージ、及びフレームの進行位置の算出タ
イミングの関係を示す説明図

【図８】本発明の第２の実施例であるＡＶ同期装置の構
成を示すブロック図

【図９】図８に示したＡＶ同期装置における楽曲演奏の
再生処理を示すフローチャート

【図１０】本発明の第３の実施例であるＡＶ同期装置の
構成を示すブロック図

【図１１】図１０に示したＡＶ同期装置における楽曲の
拍数、動画データ、動画シナリオデータ、及びＡＶ同期
指示データの関係を示す説明図

【図１２】図１０に示したＡＶ同期装置における動画の
再生処理を示すフローチャート

【図１３】本発明の第４の実施例であるＡＶ同期装置の
構成を示すブロック図

【図１４】図１３に示したＡＶ同期装置における楽曲演
奏の再生処理を示すフローチャート

【図１５】従来のＡＶ同期装置の構成を示すブロック図

【図１６】図１５に示した従来のＡＶ同期装置において
ＣＧ進行データにより指定される動きデータ、カメラ視
点情報、及び光源情報の具体例を示す説明図

【図１７】図１５に示した従来のＡＶ同期装置の動作を
示すフローチャート

【符号の説明】

７ 拍発生部 ９，９’ ＡＶ同期指示データ生成部 １０，１０’ 表示フレーム決定部 １８ テンポ変更情報入力部

Claims (10)

【特許請求の範囲】
1. 【請求項１】 楽曲データと動画データとを同期して再
   生するＡＶ同期装置であって、 前記楽曲データを再生するとき、特定音符分の楽曲が進
   行する毎に、その時点での楽曲の進行位置及び楽曲のテ
   ンポを示すテンポ情報を同期メッセージとして出力する
   拍発生回路と、 前記特定音符を基準として楽曲データの進行と動画デー
   タの進行とを時間的に対応づけたＡＶ同期指示データを
   生成するＡＶ同期指示データ生成回路と、 フレームバッファが画像表示回路に画像を出力する時間
   間隔を△Ｔとするとき、前記拍発生回路から同期メッセ
   ージを入力し、この同期メッセージに含まれたテンポ情
   報、この同期メッセージを入力した時点でフレームバッ
   ファに書き込まれている動画データのフレームの進行位
   置、次の同期メッセージを入力するときに前記ＡＶ同期
   指示データにより指定される動画データのフレームの進
   行位置、及び上記時間間隔△Ｔとによって、フレームバ
   ッファに書き込む動画データを決定する表示フレーム決
   定回路とを具備したことを特徴とするＡＶ同期装置。
2. 【請求項２】 楽曲データとＣＧキャラクタの動きデー
   タとを同期して再生するＡＶ同期装置であって、 前記楽曲データを再生するとき、特定音符分の楽曲が進
   行する毎に、その時点での楽曲の進行位置及び楽曲のテ
   ンポを示すテンポ情報を同期メッセージとして出力する
   拍発生回路と、 前記特定音符を基準として楽曲データの進行とＣＧキャ
   ラクタの動きデータの進行とを時間的に対応づけたＡＶ
   同期指示データを生成するＡＶ同期指示データ生成回路
   と、 フレームバッファが画像表示回路に画像を出力する時間
   間隔を△Ｔとするとき、前記拍発生回路から同期メッセ
   ージを入力し、この同期メッセージに含まれたテンポ情
   報、この同期メッセージを入力した時点でフレームバッ
   ファに書き込まれているＣＧキャラクタの動きデータの
   フレームの進行位置、次の同期メッセージを入力すると
   きに前記ＡＶ同期指示データにより指定されるＣＧキャ
   ラクタの動きデータのフレームの進行位置、及び上記時
   間間隔△Ｔとによって、フレームバッファに書き込むＣ
   Ｇキャラクタの姿勢を決定するキャラクタ姿勢計算回路
   とを具備したことを特徴とするＡＶ同期装置。
3. 【請求項３】 前記テンポ情報の変更を入力するテンポ
   変更入力回路を設けたことを特徴とした請求項１または
   ２に記載のＡＶ同期装置。
4. 【請求項４】 楽曲と画像を同期させるため、特定音符
   を基準とした前記楽曲の進行位置及び前記楽曲のテンポ
   情報を、前記特定音符分だけ前記楽曲が進行する毎に、
   前記楽曲の音生成部から前記画像の生成部に対して伝え
   ることを特徴とするＡＶ同期方法。
5. 【請求項５】 楽曲データを再生するとき、特定音符分
   の楽曲が進行する毎に、その時点での楽曲の進行位置及
   び楽曲のテンポを示すテンポ情報を同期メッセージとし
   て出力する工程と、 前記特定音符を基準として楽曲データの進行と動画デー
   タの進行とを時間的に対応づけたＡＶ同期指示データを
   生成する工程と、 フレームバッファが画像表示回路に画像を出力する時間
   間隔を△Ｔとするとき、前記同期メッセージを入力し、
   この同期メッセージに含まれたテンポ情報、この同期メ
   ッセージを入力した時点でフレームバッファに書き込ま
   れている動画データのフレームの進行位置、次の同期メ
   ッセージを入力するときに前記ＡＶ同期指示データによ
   り指定される動画データのフレームの進行位置、及び上
   記時間間隔△Ｔとによって、フレームバッファに書き込
   む動画データを決定する工程とを備えたことを特徴とす
   るＡＶ同期装置のＡＶ同期方法。
6. 【請求項６】 楽曲データを再生するとき、特定音符分
   の楽曲が進行する毎に、その時点での楽曲の進行位置及
   び楽曲のテンポを示すテンポ情報を同期メッセージとし
   て出力する工程と、 前記特定音符を基準として楽曲データの進行とＣＧキャ
   ラクタの動きデータの進行とを時間的に対応づけたＡＶ
   同期指示データを生成する工程と、 フレームバッファが画像表示回路に画像を出力する時間
   間隔を△Ｔとするとき、前記同期メッセージを入力し、
   この同期メッセージに含まれたテンポ情報、この同期メ
   ッセージを入力した時点でフレームバッファに書き込ま
   れているＣＧキャラクタの動きデータのフレームの進行
   位置、次の同期メッセージを入力するときに前記ＡＶ同
   期指示データにより指定されるＣＧキャラクタの動きデ
   ータのフレームの進行位置、及び上記時間間隔△Ｔとに
   よって、フレームバッファに書き込むＣＧキャラクタの
   姿勢を決定する工程とを具備したことを特徴とするＡＶ
   同期装置のＡＶ同期方法。
7. 【請求項７】 前記テンポ情報の変更を入力する工程、
   及び前記同期メッセージのテンポ情報を入力したテンポ
   情報に変更する工程を備えたことを特徴とする請求項５
   または６に記載のＡＶ同期装置のＡＶ同期方法。
8. 【請求項８】 楽曲データと動画データとを同期させる
   ためのＡＶ同期プログラムを記録した記録媒体であっ
   て、 楽曲データを再生するとき、その時点での楽曲の進行位
   置及び楽曲のテンポを示すテンポ情報を同期メッセージ
   として出力し、前記特定音符を基準として楽曲データの
   進行と動画データの進行とを時間的に対応づけたＡＶ同
   期指示データを生成し、さらにフレームバッファが画像
   表示回路に画像を出力する時間間隔を△Ｔとするとき、
   前記同期メッセージを入力し、この同期メッセージに含
   まれたテンポ情報、この同期メッセージを入力した時点
   でフレームバッファに書き込まれている動画データのフ
   レームの進行位置、次の同期メッセージを入力するとき
   に前記ＡＶ同期指示データにより指定される動画データ
   のフレームの進行位置、及び上記時間間隔△Ｔとによっ
   て、フレームバッファに書き込む動画データを決定する
   ＡＶ同期プログラムを記録した記録媒体。
9. 【請求項９】 楽曲データと動画データとを同期させる
   ためのＡＶ同期プログラムを記録した記録媒体であっ
   て、 楽曲データを再生するとき、その時点での楽曲の進行位
   置及び楽曲のテンポを示すテンポ情報を同期メッセージ
   として出力し、前記特定音符を基準として楽曲データの
   進行と動画データの進行とを時間的に対応づけたＡＶ同
   期指示データを生成し、さらにフレームバッファが画像
   表示回路に画像を出力する時間間隔を△Ｔとするとき、
   前記同期メッセージを入力し、この同期メッセージに含
   まれたテンポ情報、この同期メッセージを入力した時点
   でフレームバッファに書き込まれているＣＧキャラクタ
   の動きデータのフレームの進行位置、次の同期メッセー
   ジを入力するときに前記ＡＶ同期指示データにより指定
   されるＣＧキャラクタの動きデータのフレームの進行位
   置、及び上記時間間隔△Ｔとによって、フレームバッフ
   ァに書き込むＣＧキャラクタの姿勢を決定するＡＶ同期
   プログラムを記録した記録媒体。
10. 【請求項１０】 前記テンポ情報の変更を入力し、同期
    メッセージのテンポ情報を入力したテンポ情報に変更す
    る機能を追加した請求項８または９に記載のＡＶ同期プ
    ログラムを記録した記録媒体。