JP4917446B2 - 画像生成装置、画像生成プログラム、データ補間装置、およびデータ補間プログラム - Google Patents

Description

本発明は、画像生成装置、画像生成プログラム、データ補間装置、およびデータ補間プログラムに関する。

従来から、再生される音楽と、コンピュータグラフィックスにより生成される動画像の動きを同期させる技術が知られている。例えば特許文献１に記載のアニメーション作成システムでは、所定の楽音を生成するために定義されたＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）データに含まれる１拍の時間を表す拍時間を基準として、一定の時間枠Ｔａが設定される。そして、予め用意されたオブジェクトのモーションデータが時間枠Ｔａに合わせて圧縮または伸張されることにより、オブジェクトの一連の動きが楽音と同期されている。
特開平１０−３０７９３０号公報

しかしながら、特許文献１に記載されているアニメーション生成システムでは、オブジェクトのモーションデータは時間枠Ｔａに合わせて圧縮または伸張されているため、時間枠Ｔａが例えば４拍分に設定されている場合、時間枠Ｔａの間で曲のテンポ（拍時間）が徐々に変化したとしても、オブジェクトはこの間一定のテンポで動く。したがって、この場合、楽音とオブジェクトの動きの同期を適切にとれないという問題があった。また、オブジェクトのモーションデータは時間枠Ｔａを１つの区切りとしてある特定のテンポで圧縮または伸張されるため、時間枠Ｔａの区切り毎に動きのテンポが急に変化することになる。したがって、曲に合わせた滑らかな動きは実現できないという問題があった。

本発明は、上記問題点を解決するためになされたものであり、楽音のテンポが変化する場合でも、楽音とモーションとの高精度な同期を可能とすることを目的とする。

上記目的を達成するために、請求項１に係る発明の画像生成装置は、一連のフレームデータから構成されるモーションデータによって、画像オブジェクトの動きを表示する画像生成装置において、所定のフレームレートで前記画像オブジェクトを表示する表示手段と、前記モーションデータ生成の基礎とするために予め取得したオリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、前記所定のフレームレートにて前記画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことによって補間フレームデータを生成し、前記補間フレームデータから構成される補間モーションデータを生成する補間モーションデータ生成手段と、前記補間モーションデータ生成手段によって生成された前記補間モーションデータを記憶する補間モーションデータ記憶手段と、前記補間モーションデータを構成する前記補間フレームデータを記憶する補間フレームデータ記憶手段と、前記楽音の再生に伴って発せられる前記信号を受信する毎に、前記補間モーションデータ記憶手段に記憶された前記補間モーションデータから前記信号に対応する前記補間フレームデータを抽出し、前記補間フレームデータ記憶手段に出力して記憶させる補間フレームデータ出力手段と、前記補間フレームデータ記憶手段に記憶された前記補間フレームデータを前記所定のフレームレートで取得し、前記画像オブジェクトの前記フレームデータとして前記表示手段に表示させる表示制御手段とを備えている。

また、請求項２に係る発明の画像生成装置は、請求項１に記載の発明の構成に加え、前記補間モーションデータ生成手段が、前記オリジナルモーションデータを構成するオリジナルフレームデータを前記信号の数に応じて線形補間することにより、前記補間フレームデータからなる前記補間モーションデータを生成することを特徴とする。

また、請求項３に係る発明の画像生成装置は、一連のフレームデータから構成されるモーションデータによって、所定のフレームレートで画像オブジェクトの動きを表示する画像生成装置において、前記モーションデータ作成の基礎とするために予め取得したオリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、前記所定のフレームレートにて前記画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことによって生成された補間フレームデータを、補間モーションデータとして記憶する補間モーションデータ記憶手段と、前記補間モーションデータを構成する前記補間フレームデータを記憶する補間フレームデータ記憶手段と、前記楽音の再生に伴って発せられる前記信号を受信する毎に、前記補間モーションデータ記憶手段に記憶された前記補間モーションデータから前記信号に対応する前記補間フレームデータを抽出し、前記補間フレームデータ記憶手段に出力して記憶させる補間フレームデータ出力手段と、前記補間フレームデータ記憶手段に記憶された前記補間フレームデータを前記所定のフレームレートで取得し、前記画像オブジェクトの前記フレームデータとして表示手段に表示させる表示制御手段とを備えている。

また、請求項４に係る発明の画像生成装置は、請求項１〜３のいずれかに記載の発明の構成に加え、前記信号が、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ビートクロック信号であることを特徴とする。

また、請求項５に係る発明の画像生成装置は、請求項４に記載の発明の構成に加え、前記ＭＩＤＩビートクロック信号の数を指定する信号数指定手段をさらに備えたことを特徴とする。

また、請求項６に係る発明の画像生成装置は、請求項４に記載の発明の構成に加え、前記信号は、ＭＩＤＩシーケンスデータに組み込まれた信号であることを特徴とする。

また、請求項７に係る発明の画像生成装置は、請求項４に記載の発明の構成に加え、ＭＩＤＩ機器をさらに備え、前記ＭＩＤＩビートクロック信号の数が、前記ＭＩＤＩ機器に固有の数であることを特徴とする。

また請求項８に係る発明の画像生成プログラムは、一連のフレームデータから構成されるモーションデータによって、所定のフレームレートで画像オブジェクトを表示する画像生成装置用のプログラムであって、前記モーションデータ生成の基礎とするために予め取得したオリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、前記所定のフレームレートで前記画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことによって補間フレームデータを生成し、前記補間フレームデータから構成される補間モーションデータを生成する補間モーションデータ生成ステップと、前記楽音の再生に伴って発せられる前記信号を受信する毎に、前記補間モーションデータ生成ステップで生成され、補間モーションデータ記憶手段に記憶された前記補間モーションデータから、前記信号に対応する前記補間フレームデータを抽出し、補間フレームデータ記憶手段に出力して記憶させる補間フレームデータ出力ステップと、前記補間フレームデータ記憶手段に記憶された前記補間フレームデータを前記所定のフレームレートで取得し、前記画像オブジェクトの前記フレームデータとして表示手段に表示させる表示制御ステップとを前記画像生成装置のコンピュータに実行させるための指示を含む。

また、請求項９に係る発明のデータ補間装置は、フレームデータから構成され、画像オブジェクトの動きを定義するモーションデータを最終的に生成するための補間モーションデータを生成するデータ補間装置において、前記モーションデータ生成の基礎とするために、オリジナルフレームデータからなるオリジナルモーションデータを取得するデータ取得手段と、前記データ取得手段によって取得された前記オリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、所定のフレームレートで前記画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことによって補間フレームデータを生成し、前記補間フレームデータから構成される補間モーションデータを生成する補間モーションデータ生成手段とを備えている。

また、請求項１０に係る発明のデータ補間装置は、請求項９に記載の発明の構成に加え、前記補間モーションデータ生成手段が、前記オリジナルフレームデータを、前記信号の数に応じて線形補間することにより、前記補間フレームデータからなる前記補間モーションデータを生成することを特徴とする。

また、請求項１１に係る発明のデータ補間装置は、請求項９または１０に記載の発明の構成に加え、前記楽音のテンポを表す前記信号が、ＭＩＤＩビートクロック信号であることを特徴とする。

また、請求項１２に係る発明のデータ補間装置は、請求項１１に記載の発明の構成に加え、前記ＭＩＤＩビートクロック信号の数を指定する信号数指定手段をさらに備えたことを特徴とする。

また、請求項１３に係る発明のデータ補間装置は、請求項１１に記載の発明の構成に加え、前記信号が、ＭＩＤＩシーケンスデータに組み込まれた信号であることを特徴とする。

また、請求項１４に係る発明のデータ補間プログラムは、フレームデータから構成され、画像オブジェクトの動きを定義するモーションデータを最終的に生成するための補間モーションデータを生成するデータ補間装置用のプログラムであって、前記モーションデータ生成の基礎とするために、オリジナルフレームデータからなるオリジナルモーションデータを取得するデータ取得ステップと、前記データ取得ステップで取得された前記オリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、所定のフレームレートで前記画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことによって補間フレームデータを生成し、前記補間フレームデータから構成される補間モーションデータを生成する補間モーションデータ生成ステップとを前記データ補間装置のコンピュータに実行させるための指示を含む。

請求項１に係る発明の画像生成装置は、予め取得したオリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、所定のフレームレートにて画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことにより、補間フレームデータを生成する。そして、信号の実際の出力に合わせて、その信号に対応する補間フレームデータを抽出し、所定のフレームレートで表示する。したがって、楽音のテンポが変化しても、画像オブジェクトと楽音の高精度な同期が可能となり、曲に合わせた滑らかな動きが実現できる。

また、請求項２に係る発明の画像生成装置は、線形補間を用いて、オリジナルモーションデータから補間モーションデータを生成するので、請求項１に記載の発明の構成に加えて、簡便な方法で補間モーションデータを得ることができる。

また、請求項３に係る発明の画像生成装置は、楽音のテンポを表す信号の数に応じて、所定のフレームレートにて画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことにより生成された補間モーションデータを記憶している。そして、信号の実際の出力に合わせて、その信号に対応する補間フレームデータを抽出し、所定のフレームレートで表示する。したがって、楽音のテンポが変化しても、画像オブジェクトと楽音の高精度な同期が可能となり、曲に合わせた滑らかな動きが実現できる。

また、請求項４に係る発明の画像生成装置では、楽音のテンポを表す信号は、１拍中に所定数（例えば、２４個）が出力されるＭＩＤＩビートクロック信号である。すなわち、ＭＩＤＩビートクロック信号は、１拍よりも短い間隔で出力されるので、請求項１〜３のいずれかに記載の発明の効果に加えて、表示される画像オブジェクトの動きに、楽音のテンポの変化をより正確に反映させることができる。

また、請求項５に係る発明の画像生成装置では、ＭＩＤＩビートクロック信号の数を指定することができる。この場合、ＭＩＤＩ機器により楽音が１拍分再生される間に指定された数の信号を出力させ、信号が出力されるごとに、指定した信号数に応じて生成された補間モーションデータのうち最新のものを抽出して、所定のタイミングで表示させればよい。これにより、請求項４に記載の発明の効果に加えて、楽音のデータにテンポを表す信号が組み込まれていない場合や、信号数を任意に設定したい場合にも、画像オブジェクトと楽音の高精度な同期を実現することができる。

また、請求項６に係る発明の画像生成装置では、楽音のＭＩＤＩシーケンスデータに含まれるビートクロック信号の数に応じて補間モーションデータが生成されている。この場合、ＭＩＤＩシーケンスデータに基づいて楽音が１拍分再生されるのと同時に、データに組み込まれたビートクロック信号も出力されるため、信号出力に合わせて、補間モーションデータのうち最新のものを抽出して、所定のタイミングで表示させることができる。したがって、請求項４に記載の発明の効果に加えて、画像オブジェクトの動きと楽音を容易に同期させることができる。

また、請求項７に係る発明の画像生成装置は、固有のＭＩＤＩビートクロック信号の数を有するシーケンサー等のＭＩＤＩ機器を備えている。この場合、ＭＩＤＩ機器に固有の信号数に応じて生成された補間モーションデータを、ＭＩＤＩ機器が楽音の再生に伴って信号を出力するごとに抽出して、所定のタイミングで表示させることができる。したがって、請求項４に記載の発明の効果に加えて、画像オブジェクトの動きと楽音を容易に同期させることができる。

さらに、請求項８に係る発明の画像生成プログラムは、画像生成装置に、予め取得したオリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、所定のフレームレートにて画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことにより、補間フレームデータを生成させる。そして、信号の実際の出力に合わせて、その信号に対応する補間フレームデータを抽出させ、所定のフレームレートで表示させる。したがって、楽音のテンポが変化しても、画像オブジェクトと楽音の高精度な同期が可能となり、曲に合わせた滑らかな動きが実現できる。

また、請求項９に係る発明のデータ補間装置は、予め取得したオリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、所定のフレームレートで前記画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことにより、補間モーションデータを生成する。したがって、楽音と合わせて表示させたときに、楽音と高精度に同期することができる補間モーションデータを生成することができる。

また、請求項１０に係る発明のデータ補間装置は、線形補間を用いて、オリジナルモーションデータから補間モーションデータを生成するので、請求項９に記載の発明の構成に加えて、簡便な方法で補間モーションデータを得ることができる。

また、請求項１１に係る発明のデータ補間装置では、楽音のテンポを表す信号は、１拍中に所定数（例えば、２４個）が出力されるＭＩＤＩビートクロック信号である。すなわち、ＭＩＤＩビートクロック信号は、１拍よりも短い間隔で出力されるので、請求項９または１０に記載の発明の効果に加えて、表示される画像オブジェクトの動きに、楽音のテンポの変化をより正確に反映させることができる。

また、請求項１２に係る発明のデータ補間装置では、ＭＩＤＩビートクロック信号の数を指定することができる。この場合、ＭＩＤＩ機器により楽音が１拍分再生される間に指定された数の信号を出力させ、信号が出力されるごとに、指定した信号数に応じて生成された補間モーションデータのうち最新のものを抽出して、所定のタイミングで表示させればよい。これにより、請求項１１に記載の発明の効果に加えて、楽音のデータにテンポを表す信号が組み込まれていない場合や、信号数を任意に設定したい場合にも、楽音と高精度に同期させることが可能な補間モーションデータを生成することができる。

また、請求項１３に係る発明のデータ補間装置では、楽音のＭＩＤＩシーケンスデータに含まれるビートクロック信号の数に応じて補間モーションデータが生成されている。この場合、ＭＩＤＩシーケンスデータに基づいて楽音が１拍分再生されるのと同時に、データに組み込まれたビートクロック信号も出力されるため、信号出力に合わせて、補間モーションデータのうち最新のものを抽出して、所定のタイミングで表示させることができる。したがって、請求項１１に記載の発明の効果に加えて、画像オブジェクトの動きと楽音を容易に同期させることができる。

また、請求項１４に係る発明のデータ補間プログラムは、データ補間装置に、予め取得したオリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、所定のフレームレートで前記画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことにより、補間モーションデータを生成させる。したがって、楽音と合わせて表示させたときに、楽音と高精度に同期することができる補間モーションデータを生成することができる。

以下、本発明を具体化した画像生成装置およびデータ補間装置の実施の形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、特に特定的な記載がない限り、それのみに限定する趣旨ではなく、単なる説明例である。

＜第１の実施形態＞
まず、図１〜図１５を参照して、本発明の第１の実施形態に係る画像生成装置１００について説明する。第１の実施形態に係る画像生成装置１００は、予め記憶されている画像オブジェクトのモーションデータを、１拍中に出力されるＭＩＤＩビートクロック信号の数に応じて線形補間し、これによって得られた補間モーションデータを、楽音の再生に合わせて所定のタイミングで表示するものである。

最初に図１を参照して、第１の実施形態に係る画像生成装置１００の電気的構成について説明する。図１は、画像生成装置１００の電気的構成を示すブロック図である。図１に示すように、画像生成装置１００は、ＣＰＵ１０１と、ＣＰＵ１０１にそれぞれ接続されたＲＯＭ１０２およびＲＡＭ１０３を備えている。ＣＰＵ１０１には他に、入出力（Ｉ／Ｏ）インタフェイス１０４が接続されており、入出力インタフェイス１０４には、音声出力装置１２２が接続されたシンセサイザー１２１、データバッファ１３１、ディスプレイ１３２および記憶装置１１０が接続されている。

ＣＰＵ１０１は、ＲＯＭ１０２に予め格納されたプログラムを読み出して実行することにより、画像生成装置１００全体の制御を司る。ＲＡＭ１０３は、ＣＰＵ１０１が各種処理の際使用する各種データを一時的に記憶する記憶エリア等を備えている。入出力インタフェイス１０４は、データの受け渡しの仲介を行うものである。

シンセサイザー１２１は、後述するＭＩＤＩシーケンサー１１３の指示に従って電子的手法により楽音等の音を合成する電子楽器であり、シンセサイザー１２１により合成された信号を音声出力装置１２２が出力することにより、楽音等の音が再生される。

データバッファ１３１は、適切なタイミングでディスプレイ１３２に画像の表示を行うために、表示するデータを一時的に記憶しておく記憶装置である。

記憶装置１１０は、複数の記憶エリアを備えており、そのうち２つには、後に詳述する補間モーションデータ生成プログラム１１１と、モーションデータ表示プログラム１１２とがそれぞれ格納されている。また、記憶装置１１０は、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｅｒｆａｃｅ）シーケンサー１１３を備えている。ＭＩＤＩシーケンサー１１３は、ＭＩＤＩ規格に基づくＭＩＤＩシーケンスデータ（以下、ＭＩＤＩデータという）として入力された楽音の演奏情報に基づき、楽音を自動的にシンセサイザー１２１等の電子楽器に演奏させるソフトウェアである。また、記憶装置１１０は、モデル記憶エリア１１４、モーション記憶エリア１１５、補間モーション記憶エリア１１６、およびＭＩＤＩデータ記憶エリア１１８を備えている。モデル記憶エリア１１４には、ディスプレイ１３２に表示される画像オブジェクトの形状や構成パーツのリンク等を表すモデルデータが記憶される。モーション記憶エリア１１５には、画像オブジェクトの動きを表すモーションデータが記憶される。また、補間モーション記憶エリア１１６には後述のようにモーション記憶エリア１１５に記憶されたモーションデータを線形補間することにより生成される、補間モーションデータが記憶される。また、ＭＩＤＩデータ記憶エリア１１８には、画像オブジェクトの表示と合わせて再生される楽音のＭＩＤＩデータが記憶されている。

ここで、モデル記憶エリア１１４に記憶されている画像オブジェクトのモデルデータの内容について、図２〜図５を参照して説明する。図２は、画像オブジェクトの説明図である。図３は、形状データの説明図である。図４は、図２の画像オブジェクトの関節のリンクを表す説明図である。図５は、リンクデータの説明図である。

図２のポリゴンで表示される人体の画像オブジェクト（人体モデル）は、例えば、特許文献１に記載されているように、図３に示す形状データと、図４に黒丸で示す関節のリンクデータ（図５）とから構成されている。図３に示すように、形状データは、顔、胴等の身体の各パーツの形状を定義したファイルである。そして、各パーツごとに、頂点、面、表面のテクスチャ等のデータを備えている。また、図４に示す人体モデルの関節のリンクデータは、図５に示すように、骨盤を頂点として、例えば、腰、右股、右膝、右踝、右爪先といったように、身体の各パーツの関節が階層的につながった構造を有する。各パーツは、その上位にあるパーツとの相対的な位置により規定される。したがって、階層構造の頂点にある骨盤の仮想空間上の三次元位置（座標）が与えられれば、その他の関節やパーツの位置が定まることになる。

次に、モーション記憶エリア１１５に記憶されているモーションデータの内容について、前出の図５と、図６とを参照して説明する。図６は、モーションデータの説明図である。人体モデルの動きは、例えば、特許文献１に記載されているように、図５に示す人体モデルの各関節について、図６に示すように時系列で関節角を変化させることにより、人体モデルの一連の動きを表すモーションデータとして定義することができる。図６の各時刻における各関節の関節角のデータの集合をフレームデータという。すなわち、人体モデルの一連の動きを表すモーションデータは、複数のフレームデータから構成されたものである。なお、モーション記憶エリア１１５に記憶されるモーションデータは、別途、公知の技術であるモーションキャプチャ等を用いて予め作成することができる。本実施形態では、モーション記憶エリア１１５に記憶されているモーションデータを、オリジナルモーションデータというものとする。

次に、ＭＩＤＩデータ記憶エリア１１８に記憶されたＭＩＤＩデータについて説明する。ＭＩＤＩデータは、楽音の演奏に関する情報を、ＭＩＤＩ規格に基づいて、ＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）１形式で記載したもので、１つの「ヘッダ」と複数の「トラック」とから構成されている。「ヘッダ」は、ファイルのフォーマット、トラック数等の基本的な情報を格納し、「トラック」は、実際の演奏データとそれに付随する情報を格納するものである。なお、「トラック」が複数設けられるのは、通常の楽曲は、例えばメロディーと伴奏、バイオリンと管楽器と打楽器、といったように、複数のパートが同時に演奏されるため、これらを各パート毎に処理するためである。実際の演奏データとそれに付随する情報とは、具体的には、音符（鍵盤をどのように演奏したか）の情報、音色の情報、テンポを指定する情報等である。音符の情報とは、例えば、鍵盤を押さえたり離したりするタイミングを示す情報や、どの鍵盤を演奏したか、どれくらいの強さで演奏したかといった情報である。音色の情報とは、電子楽器の音源に内蔵されている楽器音色を指定する情報等である。テンポを指定する情報は、ＢＰＭ（Ｂｅａｔ Ｐｅｒ Ｍｉｎｕｔｅ）、すなわち、１分間あたりの拍数で指定されている。例えば、１２０ＢＰＭであれば、１分間に１２０拍の速さで演奏されることを意味する。

また、ＭＩＤＩデータには、ＭＩＤＩビートクロック信号の出力タイミングが含まれる場合もある。これについて、図７を参照して説明する。図７は、ＭＩＤＩビートクロック信号の出力タイミングの説明図である。ＭＩＤＩビートクロック信号とは、ＭＩＤＩ規格において、楽音が１拍分再生される間に特定の数（例えば、２４個）だけ出力されるタイミング信号で、例えば、図７のデータが、ＳＭＦ１ファイルにおいて曲全体の情報を格納する最初のトラックに記憶されている。図７のリストにおいて、「Ｌ１」は、曲中の小節の番号を示し、「Ｌ２」は、その小節中の拍の番号を示し、「Ｌ３」はティックを示す。ティックとは、ＭＩＤＩ規格における時間の最小単位で、図７の例では、１拍が４８０に分解された長さである。また、「Ｔｙｐｅ」は、鍵盤演奏の情報や、音色の情報等を表すＭＩＤＩメッセージの種類を、「Ｖａｌｕｅ１」は、ＭＩＤＩメッセージの番号を、「Ｖａｌｕｅ２」は、番号に対して指定された値を示している。ここで、ＭＩＤＩメッセージの「コントロール番号６０番０」は、Ｌ１の示す小節、Ｌ２の示す拍において、Ｌ３のティックの数が示す時に、パルス信号を１つ出力することを意味する。これがＭＩＤＩビートクロック信号である。ＭＩＤＩデータ記憶エリア１１８に記憶された楽音のＭＩＤＩデータには、その曲を構成する小節分、「コントロール番号６０番０」のデータが入力されている。図７の例では、枠線で囲むＢ２４で示す行までの２４行（図中のＡ１）が第２小節の１拍目を構成しており、１拍の間楽音が再生されると、２０ティックごとに２４個のビートクロック信号が出力されることを示している。なお、例えば、このＭＩＤＩデータに設定された楽音のテンポが１２０ＢＰＭであるとすると、１拍あたりの時間長は６０／１２０＝５００ｍｓｅｃであるから、ビートクロック信号の出力間隔は、通常の時間に換算すれば、約２１ｍｓｅｃである。

以下、図８〜図１１を用いて、記憶装置１１０に記憶され、ＣＰＵ１０１によって実行される補間モーションデータ生成プログラム１１１の処理の流れについて説明する。この処理は、オリジナルモーションデータを構成するフレームデータを、１拍中に出力されるＭＩＤＩビートクロック信号の数に応じた数のフレームデータに変換するものである。図８は、補間モーションデータ生成プログラム１１１によって実行される処理のフローチャートである。図９は、補間モーションデータ生成過程の説明図である。図１０は、人体モデルのある時点のモーションデータの説明図である。図１１は、補間されたモーションデータの説明図である。

図８に示す補間モーションデータ生成処理は、画像生成装置１００において、補間モーションデータ生成プログラム１１１が起動されると開始される。処理が開始されると、ＣＰＵ１０１はまず、モーション記憶エリア１１５に記憶されているオリジナルモーションデータ（例えば、図６に示すデータ）をＲＡＭ１０２に取得する（Ｓ１１）。

続いてＣＰＵ１０１は、１拍中に出力されるＭＩＤＩビートクロック信号の数を、ＲＡＭ１０２に取得する（Ｓ１２）。ＭＩＤＩビートクロック信号は、ＭＩＤＩシーケンサー１１３等のＭＩＤＩ機器が自身に内蔵されたクロックに基づいて発信する場合や、ユーザが指定したタイミングで外部のＭＩＤＩ機器から受信する場合がある。また、ＭＩＤＩデータ記憶エリア１１８に記憶された楽音のＭＩＤＩデータにタイミング情報として組み込まれている場合もある。本実施形態では、図８に示すように、ＭＩＤＩデータ記憶エリア１１８に記憶されたＭＩＤＩデータに、ビートクロック信号の出力タイミングが定義されている。よって、本実施形態では、ＣＰＵ１０１は、ＭＩＤＩデータを参照して、１拍中に出力されるビートクロック信号の数である「２４」を、ＲＡＭ１０２に取得して記憶させる（Ｓ１２）。

次にＣＰＵ１０１は、モーション記憶エリア１１５からＲＡＭ１０２に取得したオリジナルモーションデータを、１拍中に出力されるビートクロック信号数に応じて線形補間することにより、補間モーションデータを生成する（Ｓ１３）。ここで、補間モーションデータの具体的な生成方法について、図９を例に挙げて説明する。なお、図９において、横方向に伸びる直線は時間の経過を表し、黒丸の間は、１拍の長さを示している。図９に示すように、４拍分の長さの一連の動きを表すオリジナルモーションデータが予め作成され、モーション記憶エリア１１５に記憶されているとする。オリジナルモーションデータは、ある一定のテンポの下で、ディスプレイ１３２に表示できる数（例えば１秒３０フレーム＝３０ｆｐｓ）分作成されたフレームデータ（図６参照）から構成されている。図９のオリジナルモーションデータは、一律１８０ＢＰＭで４拍分のデータとして、合計４０のフレームデータが作成されている。なお、図９では、便宜上、１目盛が２フレームを表している。これを、ビートクロック信号の数に合わせて、１拍中に２４のフレームデータが含まれるように、公知の方法で線形補間し、４拍分で９６のフレームデータを作成する。線形補間とは点と点の間を線で結ぶ補間方式であり、例えば、図４に黒丸で関節を示す人体モデルのフレームデータと、図１０に示すフレームデータを線形補間すると、各関節について、動きの前後２点間が線形補間され、図１１のように、中間の動きを示すフレームデータが得られる。こうして生成された補間モーションデータは、記憶装置１１０の補間モーション記憶エリア１１６に記憶され（Ｓ１４）、処理が終了する。

以下、図１２〜図１５を用いて、記憶装置１１０に記憶され、ＣＰＵ１０１によって実行されるモーションデータ表示プログラム１１２の処理の流れについて説明する。この処理は、前述のように生成された補間モーションデータを、楽音の再生に合わせて所定のタイミングでディスプレイ１３２に表示させるものである。図１２は、モーションデータ表示プログラム１１２によって実行される処理のフローチャートである。図１３は、楽音のテンポの変化を示す説明図である。図１４は、補間モーションデータが表示されるまでの過程の説明図である。図１５は、曲とモーションのテンポの変化の説明図である。

図１２に示すモーションデータ表示処理は、画像生成装置１００において、モーションデータ表示プログラム１１２が起動されると開始される。処理が開始されると、ＣＰＵ１０１はまず、補間モーション記憶エリア１１６に記憶された補間モーションデータを構成するフレームデータのうち、最初のフレームデータを取得し（Ｓ２１）、データバッファ１３１に上書き出力する（Ｓ２２）。続いて、そのときフレーム表示タイミングか否かを判断する（Ｓ２３）。１秒間にディスプレイ１３２に表示できるフレームデータの数には限界があり、本実施形態では、３０ｆｐｓである。よって、１秒を３０で均等に割ったタイミングが、フレーム表示タイミングとして設定され、記憶装置１１０の記憶エリアの１つ（図示外）に記憶されている。ＣＰＵ１０１は、これを参照して、フレーム表示タイミングでないと判断した場合は（Ｓ２３：ＮＯ）、ＭＩＤＩシーケンサー１１３から、新たなビートクロック信号を受信したか否かを判断する（Ｓ２４）。前述のように、本実施形態では、ビートクロック信号の出力タイミングがＭＩＤＩデータに組み込まれているので、ＭＩＤＩシーケンサー１１３がＭＩＤＩデータ記憶エリア１１８に記憶されたＭＩＤＩデータに基づいて楽音を再生するのと同時に、ビートクロック信号が出力される。新たなビートクロック信号を受信していなければ（Ｓ２４：ＮＯ）、ＣＰＵ１０１はフレーム表示タイミングか否かの監視に戻る（Ｓ２３）。新たなビートクロック信号を受信した場合は（Ｓ２４：ＹＥＳ）、ＣＰＵ１０１は、補間モーション記憶エリア１１６に記憶された補間モーションデータを構成するフレームデータのうち、受信したビートクロック信号に対応するフレームデータを取得し（Ｓ２１）、データバッファ１３１に上書き出力する（Ｓ２２）。前述したように、補間モーションデータは、１拍分の動きが２４のフレームデータによって構成されている。一方、ビートクロック信号も、ＭＩＤＩデータの再生に伴って１拍に２４個が出力される。よって、ＣＰＵ１０１は、新たなビートクロック信号を受信するたびに、補間モーション記憶エリア１１６に記憶された補間モーションデータを構成するフレームデータ（補間フレームデータ）を、最初から順に１つずつ取得して上書きを行えばよい。この結果、データバッファ１３１には、楽音の再生の進行に合わせて、対応する最新の補間フレームデータが記憶されていることになる。データバッファ１３１に最新の補間フレームデータを上書きすると（Ｓ２２）、ＣＰＵ１０１は、再びそのときフレーム表示タイミングか否かを判断する（Ｓ２３）。そして、フレーム表示タイミングでなければ（Ｓ２３：ＮＯ）、再びビートクロック信号を受信したか否かの監視に戻る（Ｓ２４）。

最初の補間フレームデータ、または受信したＭＩＤＩビートクロック信号に対応する補間フレームデータがデータバッファ１３１に記憶された後（Ｓ２２）、フレーム表示タイミングであると判断された場合は（Ｓ２３：ＹＥＳ）、その時点でデータバッファ１３１に記憶されている補間フレームデータをディスプレイ１３２に表示させる（Ｓ２５）。そして、ＭＩＤＩデータとして記憶された曲がＭＩＤＩシーケンサー１１３により最後まで演奏され、ＣＰＵ１０１が終了信号を受信した場合、または、モーションデータ表示プログラム１１２に対する終了命令を受信した場合は（Ｓ２６：ＹＥＳ）、処理を終了する。演奏が終了しておらず、終了命令も受信しない場合は（Ｓ２６：ＮＯ）、ＣＰＵ１０１は、ビートクロック信号を受信したか否かの監視に戻る（Ｓ２４）。

以下、前述のモーションデータ表示処理の具体例について説明する。図１３のように、４拍の間に曲のテンポが、例えば６０ＢＰＭから１２０ＢＰＭに、徐々に速くなって、１拍の間隔が短くなっていく場合を考える。図１４に示すように、補間モーション記憶エリア１１６に記憶された補間モーションデータは、テンポが１８０ＢＰＭで一定という条件で、１拍の間の動きを線形補間して得た２４個の補間フレームデータから構成されている（図中では、１目盛が２フレームを示す）。図１３に示すテンポで曲が再生されると、図１４のバッファの書き出しデータとして示すように、テンポの変化に応じて１拍の長さが徐々に短くなるので、それに伴って、１拍を２４等分したビートクロック信号の出力間隔も１拍毎に短くなる。前述のように、ビートクロック信号の出力に合わせて、対応する補間フレームデータがデータバッファ１３１に書き出されるので、補間フレームデータと書き出されたフレームデータ（書き出しデータ）との対応関係は、図１４に示すようになる。このように、同じ４拍分のデータでも、テンポが異なると、時間長は異なってくる。そして、最終的にディスプレイ１３２に表示されるフレームデータ（表示データ）は、各フレーム表示タイミングにおいて、データバッファ１３１に記憶されている書き出しデータである。よって、図１４に示すように、最初の３つの表示データは、データバッファ１３１に書き出された最初の３つの書き出しデータに対応するが、４番目の表示データは、データバッファ１３１に４番目に書き出された書き出しデータではなく、５番目の書き出しデータに対応している。

図１５は、この例における曲のテンポとモーションのテンポの変化の関係を示している。図１５から明らかなように、本実施形態に係る画像生成装置１００によれば、曲のテンポに合わせてモーションのテンポも滑らかに変化していく。

以上説明したように、本実施形態では、画像オブジェクトのモーションデータを、１拍中に２４個が出力されるＭＩＤＩビートクロック信号の数に合わせて線形補間し、補間フレームデータを生成する。そして、楽音の再生とともにビートクロック信号が出力されるのに合わせて、補間フレームデータをデータバッファ１３１に書き出し、フレーム出力タイミングになると、データバッファ１３１に記憶された最新の補間フレームデータを表示する。ビートクロック信号の出力間隔は、楽音のテンポの変化に応じて変化するので、楽音の再生中のどの時点においても、楽音とモーションを同期させることができる。しかも、ビートクロック信号は１拍の間に２４個が出力されるため、１拍毎にモーションを同期させた場合に比べ、はるかに滑らかな画像オブジェクトの動きを実現することができる。

なお、本実施形態では、ディスプレイ１３２が、本発明の「表示手段」に相当する。また、図８のＳ１３において、補間モーションデータを生成するＣＰＵ１０１が、本発明の「補間モーションデータ生成手段」に相当する。また、記憶装置１１０の補間モーション記憶エリア１１６が、本発明の「補間モーションデータ記憶手段」に相当する。また、データバッファ１３１が、本発明の「補間フレームデータ記憶手段」に相当する。また、図１２のＳ２４、Ｓ２１〜Ｓ２２で、ビートクロック信号を受信する毎に、データバッファ１３１に補間フレームデータを上書き出力するＣＰＵ１０１が、本発明の「補間フレームデータ出力手段」に相当する。また、図１２のＳ２３およびＳ２５において、フレーム表示タイミングにディスプレイ１３２に画像を表示させるＣＰＵ１０１が、本発明の「表示制御手段」に相当する。また、図８のＳ１１において、モーション記憶エリア１１５からオリジナルモーションデータを取得するＣＰＵ１０１が、本発明の「データ取得手段」に相当する。

＜第２の実施形態＞
第１の実施形態では、１つの装置である画像生成装置１００において、補間モーションデータの生成と、楽音に合わせたモーションデータの表示とを行っていたが、これらを別個の装置で行う構成とすることもできる。この場合を第２の実施形態として、図１６および図１７を参照して、以下に説明する。図１６は、第２の実施形態に係るデータ補間装置２００の電気的構成を示すブロック図である。図１７は、第２の実施形態に係る画像生成装置３００の電気的構成を示すブロック図である。

図１６に示すように、補間モーションデータの生成を行うデータ補間装置２００は、ＣＰＵ２０１と、ＣＰＵ２０１にそれぞれ接続されたＲＯＭ２０２およびＲＡＭ２０３を備えている。ＣＰＵ２０１には他に、入出力（Ｉ／Ｏ）インタフェイス２０４が接続されており、入出力インタフェイス２０４には、記憶装置２１０が接続されている。

記憶装置２００は複数の記憶エリアを備え、その１つには、補間モーションデータ生成プログラム２１１が格納されている。記憶装置２００は、第１の実施形態と同様の、画像オブジェクトのモデルデータを記憶するモデル記憶エリア２１４と、画像オブジェクトのモーションデータを記憶するモーション記憶エリア２１５と、補間モーションデータを記憶する補間モーション記憶エリア２１６を備えている。そして、本実施形態ではさらに、ユーザが指定したビートクロック信号の数を記憶するビートクロック信号数記憶エリア２１７を備えている。本実施形態では、後述する画像生成装置３００が備えるＭＩＤＩシーケンサー３１３の内部クロックの信号出力タイミングに合わせた数字（例えば２４）がユーザによってキーボード等の入力手段（図示外）から指定され、ビートクロック信号数記憶エリア２１７に記憶される。

ＣＰＵ２０１が実行する補間モーションデータ生成プログラム２１１の処理は、基本的には図８に示す第１の実施形態の処理と同様であるが、Ｓ１２において若干異なる。第１の実施形態では、記憶装置１１０のＭＩＤＩデータ記憶エリア１１８に記憶されたＭＩＤＩデータに、ビートクロック信号の出力タイミングが組み込まれていたので、Ｓ１２では、ＣＰＵ１０１は、ＭＩＤＩデータを参照してビートクロック信号の数を取得していた。一方、本実施形態では、データ補間装置２００には楽音のＭＩＤＩデータは記憶されておらず、Ｓ１２では、ＣＰＵ１０１がビートクロック信号数記憶エリア２１７に記憶された数（例えば２４）を取得し、その数に応じて補間モーションデータを生成する（Ｓ１３）。

また、図１７に示すように、楽音に合わせたモーションデータの表示を行う画像生成装置３００は、ＣＰＵ３０１と、ＣＰＵ３０１にそれぞれ接続されたＲＯＭ３０２およびＲＡＭ３０３を備えている。ＣＰＵ３０１には他に、入出力（Ｉ／Ｏ）インタフェイス３０４が接続されており、入出力インタフェイス３０４には、音声出力装置３２２が接続されたシンセサイザー３２１、データバッファ３３１、ディスプレイ３３２および記憶装置３１０が接続されている。記憶装置３１０以外、画像生成装置３００の構成は、第１の実施形態に係る画像生成装置１００と同一である。

記憶装置３１０は複数の記憶エリアを備え、そのうちの２つには、第１の実施形態と同じモーションデータ表示プログラム３１２と、ＭＩＤＩシーケンサー３１３とが格納されている。記憶装置３１０は、他に、補間モーションデータを記憶する補間モーション記憶エリア３１６と、楽音のＭＩＤＩデータを記憶するＭＩＤＩデータ記憶エリア３１８を備えている。補間モーション記憶エリア３１６には、予め別途生成された補間モーションデータが入力され、記憶されている。また、本実施形態では、ＭＩＤＩデータ記憶エリア３１８に記憶されているＭＩＤＩデータには、第１の実施形態とは異なり、ビートクロック信号の出力タイミングに関するデータは組み込まれていない。代わりに、ＭＩＤＩシーケンサー３１３の内部クロックをタイミングクロックとして、楽音の再生と同時に、ＭＩＤＩシーケンサー３１３からビートクロック信号が出力される構成とされている。

ＣＰＵ２０１が実行するモーションデータ表示プログラム３１２の処理は、基本的には図１２に示す第１の実施形態の処理と同様である。ただし、Ｓ２４の判断対象となるＭＩＤＩビートクロック信号が、ＭＩＤＩデータに組み込まれたものではなく、ＭＩＤＩシーケンサー３１３の内部クロックに従って出力されたものである点で異なっている。また、Ｓ２１において取得される、補間モーション記憶エリア３１６に記憶された補間モーションデータは、データ補間装置２００で別途生成されたデータでもよいし、その他の方法でＭＩＤＩシーケンサー３１３の内部クロックの信号出力タイミングに合わせて必要な数だけ生成されたデータでもよい。

以上説明したように、本実施形態では、オリジナルモーションデータから補間モーションデータの生成過程と、補間モーションデータを最終モーションデータとしてディスプレイ３３２に表示させる過程を、別々の装置で行っている。したがって、１拍中に出力されるビートクロック信号の数に応じて生成した補間モーションデータさえあれば、画像生成装置３００において、楽音に高精度に同期した画像オブジェクトの表示を行うことができる。データ補間装置２００では、この補間モーションデータを容易に生成することができ、便利である。

なお、本実施形態では、ディスプレイ３３２が、本発明の「表示手段」に相当する。また、図８のＳ１３において、補間モーションデータを生成するＣＰＵ１０１が、本発明の「補間モーションデータ生成手段」に相当する。また、補間モーション記憶エリア２１６および３１６が、本発明の「補間モーションデータ記憶手段」に相当する。また、データバッファ３３１が、本発明の「補間フレームデータ記憶手段」に相当する。また、図１２のＳ２４、Ｓ２１〜Ｓ２２で、ビートクロック信号を受信する毎に、データバッファ３３１に補間フレームデータを上書き出力するＣＰＵ１０１が、本発明の「補間フレームデータ出力手段」に相当する。また、図１２のＳ２３とＳ２５において、フレーム表示タイミングにディスプレイ３３２に画像を表示させるＣＰＵ１０１が、本発明の「表示制御手段」に相当する。また、図８のＳ１２において、ビートクロック信号数記憶エリア２１７に記憶された数に基づきビートクロック信号の数を指定するＣＰＵ１０１が、本発明の「信号数指定手段」に相当する。また、図８のＳ１１において、モーション記憶エリア２１５からオリジナルモーションデータを取得するＣＰＵ１０１が、本発明の「データ取得手段」に相当する。

なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において各種の変形が可能なことは言うまでもない。例えば、実施形態では、１拍中に出力されるビートクロック信号の数を２４として説明したが、この数は、曲のテンポが遅い場合には４８にするなどの変更が可能である。また、画像のフレーム表示タイミングについても、３０ｆｐｓを例としたが、他の数であってもよいことはもちろんである。

画像生成装置１００のブロック図である。 画像オブジェクト（人体モデル）の一例の説明図である。 形状データの説明図である。 人体モデルの関節のリンクを表す説明図である。 リンクデータの説明図である。 モーションデータの説明図である。 ＭＩＤＩビートクロック信号の出力タイミングの説明図である。 補間モーションデータ生成プログラム１１１によって実行される処理のフローチャートである。 補間モーションデータ生成過程の説明図である。 人体モデルのある時点のモーションデータの説明図である。 補間されたモーションデータの説明図である。 モーションデータ表示プログラム１１２によって実行される処理のフローチャートである。 楽音のテンポの変化を示す説明図である。 補間モーションデータが表示されるまでの過程の説明図である。 楽音とモーションのテンポの変化の説明図である。 データ補間装置２００のブロック図である。 画像生成装置３００のブロック図である。

１００、３００ 画像生成装置
１０１、２０１、３０１ ＣＰＵ
１１０ 記憶装置
１１６ 補間モーション記憶エリア
１３１ データバッファ
１３２、３３２ ディスプレイ

Claims (14)

1. 一連のフレームデータから構成されるモーションデータによって、画像オブジェクトの動きを表示する画像生成装置において、
   所定のフレームレートで前記画像オブジェクトを表示する表示手段と、
   前記モーションデータ生成の基礎とするために予め取得したオリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、前記所定のフレームレートにて前記画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことによって補間フレームデータを生成し、前記補間フレームデータから構成される補間モーションデータを生成する補間モーションデータ生成手段と、
   前記補間モーションデータ生成手段によって生成された前記補間モーションデータを記憶する補間モーションデータ記憶手段と、
   前記補間モーションデータを構成する前記補間フレームデータを記憶する補間フレームデータ記憶手段と、
   前記楽音の再生に伴って発せられる前記信号を受信する毎に、前記補間モーションデータ記憶手段に記憶された前記補間モーションデータから前記信号に対応する前記補間フレームデータを抽出し、前記補間フレームデータ記憶手段に出力して記憶させる補間フレームデータ出力手段と、
   前記補間フレームデータ記憶手段に記憶された前記補間フレームデータを前記所定のフレームレートで取得し、前記画像オブジェクトの前記フレームデータとして前記表示手段に表示させる表示制御手段とを備えたことを特徴とする画像生成装置。
2. 前記補間モーションデータ生成手段は、前記オリジナルモーションデータを構成するオリジナルフレームデータを、前記信号の数に応じて線形補間することにより、前記補間フレームデータからなる前記補間モーションデータを生成することを特徴とする請求項１に記載の画像生成装置。
3. 一連のフレームデータから構成されるモーションデータによって、所定のフレームレートで画像オブジェクトの動きを表示する画像生成装置において、
   前記モーションデータ作成の基礎とするために予め取得したオリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、前記所定のフレームレートにて前記画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことによって生成された補間フレームデータを、補間モーションデータとして記憶する補間モーションデータ記憶手段と、
   前記補間モーションデータを構成する前記補間フレームデータを記憶する補間フレームデータ記憶手段と、
   前記楽音の再生に伴って発せられる前記信号を受信する毎に、前記補間モーションデータ記憶手段に記憶された前記補間モーションデータから前記信号に対応する前記補間フレームデータを抽出し、前記補間フレームデータ記憶手段に出力して記憶させる補間フレームデータ出力手段と、
   前記補間フレームデータ記憶手段に記憶された前記補間フレームデータを前記所定のフレームレートで取得し、前記画像オブジェクトの前記フレームデータとして表示手段に表示させる表示制御手段とを備えたことを特徴とする画像生成装置。
4. 前記信号は、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ビートクロック信号であることを特徴とする請求項１〜３のいずれかに記載の画像生成装置。
5. 前記ＭＩＤＩビートクロック信号の数を指定する信号数指定手段をさらに備えたことを特徴とする請求項４に記載の画像生成装置。
6. 前記信号は、ＭＩＤＩシーケンスデータに組み込まれた信号であることを特徴とする請求項４に記載の画像生成装置。
7. ＭＩＤＩ機器をさらに備え、
   前記ＭＩＤＩビートクロック信号の数は、前記ＭＩＤＩ機器に固有の数であることを特徴とする請求項４に記載の画像生成装置。
8. 一連のフレームデータから構成されるモーションデータによって、所定のフレームレートで画像オブジェクトを表示する画像生成装置用のプログラムであって、
   前記モーションデータ生成の基礎とするために予め取得したオリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、前記所定のフレームレートで前記画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことによって補間フレームデータを生成し、前記補間フレームデータから構成される補間モーションデータを生成する補間モーションデータ生成ステップと、
   前記楽音の再生に伴って発せられる前記信号を受信する毎に、前記補間モーションデータ生成ステップで生成され、補間モーションデータ記憶手段に記憶された前記補間モーションデータから、前記信号に対応する前記補間フレームデータを抽出し、補間フレームデータ記憶手段に出力して記憶させる補間フレームデータ出力ステップと、
   前記補間フレームデータ記憶手段に記憶された前記補間フレームデータを前記所定のフレームレートで取得し、前記画像オブジェクトの前記フレームデータとして表示手段に表示させる表示制御ステップとを
   前記画像生成装置のコンピュータに実行させるための指示を含む画像生成プログラム。
9. フレームデータから構成され、画像オブジェクトの動きを定義するモーションデータを最終的に生成するための補間モーションデータを生成するデータ補間装置において、
   前記モーションデータ生成の基礎とするために、オリジナルフレームデータからなるオリジナルモーションデータを取得するデータ取得手段と、
   前記データ取得手段によって取得された前記オリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、所定のフレームレートで前記画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことによって補間フレームデータを生成し、前記補間フレームデータから構成される補間モーションデータを生成する補間モーションデータ生成手段とを備えたことを特徴とするデータ補間装置。
10. 前記補間モーションデータ生成手段は、前記オリジナルフレームデータを、前記信号の数に応じて線形補間することにより、前記補間フレームデータからなる前記補間モーションデータを生成することを特徴とする請求項９に記載のデータ補間装置。
11. 前記楽音のテンポを表す前記信号は、ＭＩＤＩビートクロック信号であることを特徴とする請求項９または１０に記載のデータ補間装置。
12. 前記ＭＩＤＩビートクロック信号の数を指定する信号数指定手段をさらに備えたことを特徴とする請求項１１に記載のデータ補間装置。
13. 前記信号は、ＭＩＤＩシーケンスデータに組み込まれた信号であることを特徴とする請求項１１に記載のデータ補間装置。
14. フレームデータから構成され、画像オブジェクトの動きを定義するモーションデータを最終的に生成するための補間モーションデータを生成するデータ補間装置用のプログラムであって、
    前記モーションデータ生成の基礎とするために、オリジナルフレームデータからなるオリジナルモーションデータを取得するデータ取得ステップと、
    前記データ取得ステップで取得された前記オリジナルモーションデータに対して、楽音のテンポを表す信号の数に応じて、所定のフレームレートで前記画像オブジェクトが表示されるタイミングに対応し且つ前記所定のフレームレートよりも短い時間間隔で補間を行うことによって補間フレームデータを生成し、前記補間フレームデータから構成される補間モーションデータを生成する補間モーションデータ生成ステップとを
    前記データ補間装置のコンピュータに実行させるための指示を含むデータ補間プログラム。

Images