JP3728942B2

JP3728942B2 - 楽音および画像生成装置

Info

Publication number: JP3728942B2
Application number: JP27280898A
Authority: JP
Inventors: 強宮木; 秀雄鈴木; 善政磯崎; 聡関根
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1998-03-24
Filing date: 1998-09-28
Publication date: 2005-12-21
Anticipated expiration: 2018-09-28
Also published as: SG72937A1; DE69908846D1; EP0945849B1; DE69908846T2; US6646644B1; TW558715B; JPH11339060A; EP0945849A1

Description

【０００１】
【発明の属する技術分野】
本発明は、楽音を生成するとともに、その演奏形態を３Ｄアニメーション画像により表示することのできる楽音および画像生成装置に関する。
【０００２】
【従来の技術】
従来より、電子楽器等において、自動リズム演奏あるいは自動ベース・コード演奏など、所望の自動演奏パターンに従って自動演奏を行うことが知られている。すなわち、コードバッキングパートやベースパートについては演奏者が楽曲の進行に従って和音（コード）を順次指定することにより指定された和音に基づいてコードバッキング音、ベース音が所定の演奏パターンに従って自動的に発音される。一方、打楽器パートの演奏は、各種リズム毎にノーマルパターンとバリエーションパターンが用意されており、いずれかのパターン（スタイル）を選択して自動演奏することができるようになっている。また、前記バリエーションパターンは１個に限らず、複数用意されている場合もある。一般に、このような演奏パターンは１〜数小節分の長さを持ち、これを繰り返すことにより連続的な自動リズム演奏が行われるようになされている。
【０００３】
このような場合、メインの演奏パターンは同じパターンが繰り返されるので演奏が単調になりがちである。そこで、フィルインあるいはブレーク、アドリブ等と称されるサブパターンを用意しておき、人為的なスイッチ操作等による指示に応じてこのサブパターンに従う演奏を一時的に挿入し、その後メインのパターンに移行するようにすることが行われている。ここで、前記メインのパターンおよび各サブパターンは、データベース化されており、演奏者の操作により読み出されて再生されるようになされている。
【０００４】
図１４は、このような自動演奏における演奏パターン（スタイル）の遷移の一例を示す図である。この図に示す例では、メインＡとメインＢの２つのメインパターン（ノーマルパターンとバリエーションパターン）と、各メインパターンにそれぞれ対応する第１および第２のフィルインパターン、すなわち、メインＡを演奏中に挿入するフィルインパターンとしてＡ→Ａフィルイン（FILL AA）、および、メインＡからメインＢへ移行するときのフィルインＡ→Ｂ（FILL AB）、また、メインＢを演奏中に挿入するフィルインパターンとしてＢ→Ｂフィルイン（FILL BB）、および、メインＢからメインＡへ移行するＢ→Ａフィルイン（FILL BA）、さらに、各メインパターンに対応するイントロパターン（INTRO A、INTRO B）およびエンディングパターン（ENDING A、ENDING B）の各演奏パターンを有している。
また、前記各パターン（スタイル）を切り換えるときに操作される「FILL A」および「FILL B」の２つのフィルインパターン選択スイッチ、および、エンディングパターンを選択する「ENDING A」および「ENIDING B」、イントロパターンを選択する「INTRO A」および「INTRO B」の各操作スイッチが設けられている。
【０００５】
例えば、「INTRO A」が操作されたとき、まず、イントロＡが演奏され、その演奏が終了した後に、メインＡの演奏が開始される。そして、メインＡの演奏中に、前記「FILL A」スイッチが押されたときには、前記FILL AAパターンを挿入して、その後メインＡに復帰し、前記「FILL B」スイッチが押されたときには、前記FILL ABを挿入して、その後メインＢに移行する。また、「ENDING A」が押されたときには、エンディングＡを演奏してその演奏を終了する。
一方、「INTRO B」が操作されると、イントロＢが演奏された後に、メインＢの演奏が開始される。そして、メインＢ演奏中に、前記「FILL A」スイッチが押されたときには、前記FILL BAパターンを挿入して、その後メインＡに移行し、前記「FILL B」スイッチが押されたときには、前記FILL BBパターンを挿入して、その後メインＢに復帰するようになされている。さらに、「ENDING B」が押されると、エンディングＢを演奏してその演奏を終了する。
【０００６】
このように、操作スイッチが操作されたときの演奏状態に応じて、演奏中のメインパターンと移行先のメインパターンとに対応したフィルインパターンが選択され、挿入されるようになされており、演奏が単調にならないようにすることができる。
なお、上記図１４ではメインパターンがＡとＢの２つだけの場合を示したが、これに限られない。また、上記した以外のバリエーションおよび遷移の仕方も、種々知られている。例えば、１つのパートの一部の楽器についてのみフィルインを行なうようにすることもできる。
【０００７】
また、上述した自動伴奏に限らず、所望の曲の各音符についてその音符の音高、発音開始／消音開始タイミング等を、例えば、ＳＭＦ（Standard MIDI File）などの形式で演奏情報として記憶しておき、この演奏情報（曲データ）を順次読み出して楽音を生成する自動演奏装置も知られている。演奏者は、ただ単に、演奏開始スイッチおよび演奏終了スイッチを操作するのみでよい。
【０００８】
【発明が解決しようとする課題】
上述したような従来の自動伴奏や自動演奏を行なうことのできる電子楽器においては、演奏者が演奏パターンを切り換えることにより、音によるインタラクション（相互作用）を行うことはできるが、視覚によるインタラクションを行なうことができなかった。
このような電子楽器に表示部を設けて、自動演奏や自動伴奏における曲名を表示すること、あるいは、演奏時の小節やテンポを表示することが行なわれていた。また、演奏者が次に押鍵すべき押鍵指示を表示部により表示することも行なわれていた。しかしながら、表示部に演奏自体を表示することは行なわれておらず、演奏の様子を見るといったことは実現されていなかった。
【０００９】
そこで、本発明は、演奏スタイルに合わせた動作を演奏と同期させて表示することにより、様々な楽器演奏を見て楽しみながら演奏することが可能な楽音および画像生成装置を提供することを目的としている。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の楽音および画像生成装置は、演奏情報に基づいて楽音を生成する楽音生成部と、各パート毎の、細分化された演奏パターンの演奏動作の軌跡を表す動作情報と発音のタイミングを示す発音ポイントマーカーとを含む動作部品が格納された部品データベースと、前記演奏情報に対応する動作部品を前記部品データベースから読み出し、該読み出した動作部品を順次接続することにより得られた情報と前記発音ポイントマーカーに基づいて、前記楽音生成部で生成される楽音の音量変化に応じて振幅が制御された周期運動を繰り返す、前記楽音と同期した３Ｄアニメーション画像データを生成する画像生成部とを有するものである。
また、本発明の他の楽音および画像生成装置は、ソロパートの演奏情報とバックパートの演奏情報を含む演奏情報に基づいて楽音を生成する楽音生成部と、各パート毎の、細分化された演奏パターンの演奏動作の軌跡を表す動作情報と発音のタイミングを示す発音ポイントマーカーとを含む動作部品が格納された部品データベースと、前記演奏情報に対応する動作部品を前記部品データベースから読み出し、該読み出した動作部品を順次接続することにより得られた情報と前記発音ポイントマーカーに基づいて、前記楽音生成部で生成される楽音と同期した３Ｄアニメーション画像データを生成する画像生成部であって、前記ソロパートの演奏情報に対応する３Ｄアニメーション画像データと前記バックパートの演奏情報に対応する３Ｄアニメーション画像データとを生成するときに、前記バックパートの演奏情報に対応する３Ｄアニメーション画像データの再生フレーム数を前記ソロパートの演奏情報に対応する３Ｄアニメーション画像データの再生フレーム数より落として生成する画像生成部とを有するものである。
【００１１】
これにより、楽曲データに同期して、任意の楽器あるいはパートにおけるその演奏の様子を画像表示装置に表示させることが可能となり、演奏者は音によるインタラクションだけでなく、視覚によるインタラクションも楽しむことができるようになる。
また、動作部品をデータベース化しているため、複数のパターンや楽曲に対して共通の動作部品を使用することができるとともに、随時必要な部品をデータベースに追加していくことが可能となる。したがって、効率的に３Ｄアニメーション画像を生成表示させることが可能となる。
さらに、テンポの変更等に対して共通の動作部品を使用することが可能となり、データベースのサイズを小さくすることができる。また、この発音ポイントマーカーを楽音生成部との同期に用いることにより、楽音と画像とのより高精度の同期が可能となる。
さらにまた、楽器の音量に対応した楽器の揺れ状態を表現することが可能となり、自然な演奏動作を表現することができる。
さらにまた、ソロプレーヤーとバックプレーヤーとで再生フレーム数を変更することが可能となり、ＣＰＵの負荷を軽減することが可能となる。
【００１５】
【発明の実施の形態】
図１は、本発明の楽音および画像生成装置の一実施の形態の構成例を示すブロック図である。この図において、１はこの装置全体の動作を制御する中央処理装置（ＣＰＵ）、２はこの楽音および画像生成装置を制御する制御プログラムを記憶するプログラム記憶装置、３はリズムパターンや自動ベース・コードパターン等の各種自動演奏パターンが格納されたスタイルデータベース、演奏の様子を表示するための３Ｄ画像を生成するための動作部品データベースおよびシーン部品データベース、その他の各種データを記憶するとともに作業領域として使用されるＲＯＭおよびＲＡＭなどからなる記憶装置、４は鍵盤（キーボード）および操作パネルに設けられた各種の操作子からなる操作スイッチ群である。５は音源部であり、複数チャンネル分の音階音およびリズム音の楽音信号を生成する。この音源部は、波形メモリ方式、ＦＭ方式、物理モデル方式、高調波合成方式、フォルマント合成方式、ＶＣＯ＋ＶＣＦ＋ＶＣＡのアナログシンセサイザ方式等どのような方式のものであってもよい。また、専用のハードウエアを用いて構成された音源回路に限られることはなく、ＤＳＰとマイクロプログラムを用いて構成された音源回路や、あるいは、ＣＰＵとソフトウエアのプログラムにより構成されたものであってもよい。なお、この音源部５には、生成された楽音に対してビブラートやリバーブなど各種のエフェクトを施すためのエフェクト処理部も含まれている。また、６は前記音源部５から出力される楽音を放音するためのサウンドシステムである。
【００１６】
７は、画像表示装置（グラフィックディスプレイ）であり、この楽音および画像生成装置の動作状態や操作スイッチの操作状態を表示するとともに、選択された楽器あるいはパートの演奏の様子を例えば３Ｄのアニメーション画像で表示する。
また、８はハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の外部記憶装置、９は外部のＭＩＤＩ機器との通信を行うためのＭＩＤＩインターフェース回路である。
さらに、１０は外部に接続されたモニタ１１に前記演奏の様子を示す画像を表示するためのビデオインターフェース回路、１２は前記各構成要素間のデータ伝送を行うためのバスである。
【００１７】
図２は、本発明の楽音および画像生成装置の一実施の形態の外観の一例を示す図である。この例においては、前記操作スイッチ群４として、鍵盤４０、自動演奏の開始を指示するスタートスイッチ４１、自動演奏の終了を指示するストップスイッチ４２、自動演奏するリズムおよびメインおよびバリエーションなどの演奏パターンを選択するスタイルセレクトスイッチ４３、演奏の様子を表示する楽器あるいはパートを選択する楽器チェンジスイッチ４４、演奏の様子を表示する際にどのようなキャラクタによる演奏を表示させるかを選択するプレイヤーチェンジスイッチ４５、フィルインを行なう楽器を選択するフィルインスイッチ４６、演奏の様子を表示するときの背景を選択するステージチェンジスイッチ４７および演奏の様子を表示するときの視点を決定するための視点チェンジスイッチ４８が設けられている。ここで、前記楽器チェンジスイッチ４４、プレイヤーチェンジスイッチ４５およびフィルインスイッチ４６におけるＤ，Ｇ，ＢおよびＫは、それぞれ、ドラムパート、ギターパート、ベースパートおよびキーボードパートを選択するためのスイッチであり、Ａ〜Ｄは、それぞれ、前記Ｄ，Ｇ，Ｂ，Ｋにより選択されたパートにおける詳細を選択するスイッチである。
また、この例においては、画像表示装置７（あるいは外部モニタ１１）に複数のパート（キーボード、ベースおよびドラムの３つのパート）の演奏の様子が３Ｄアニメーション画像により表示されている。
【００１８】
このように３Ｄアニメーション画像を表示する処理について説明する前に、まず、前記動作部品データベース２０について説明する。
この動作部品データベース２０は、様々な楽器毎あるいはパート毎に、多様な演奏パターンをそれぞれ細分化し、該細分化されたパターンの演奏動作を、例えばモーションキャプチャーデータとして取り込み、ｘ，ｙ，ｚ軸方向に分解するとともに、発音タイミング（例えば、ドラムの場合には打点位置）を該取り込んだデータにマーキングしてデータベース化したものである。これら細分化された演奏動作のデータを動作部品と呼ぶ。
図３は、ドラムパートの動作部品の一例を示す図であり、この図に示すように、ドラムパートの細分化された短いフレーズＡ，Ｂ，Ｃ，Ｄ，…の演奏パターン毎にそのパターン演奏時の演奏者の動作の軌跡を示す動作情報および前記発音ポイントマーカーのデータにより各動作部品が構成されており、前記動作部品データベース２０に格納されている。なお、この例においては、シンバル、スネアドラムおよびバスドラムの３つの楽器の動作情報を１つの動作部品としているが、ピアノやサックスといった楽器の場合には各楽器毎に動作部品を生成する。
【００１９】
前記動作部品を作成する処理について、図４のフローチャートを参照して説明する。まず、ステップＳ１０において、特定の楽器にて細分化された特定のフレーズを演奏者が演奏している状態をモーションキャプチャーデータとして取得する。
図５の（ａ）はその様子を説明するための図であり、この図に示すように、演奏者の体の要部および必要に応じて楽器に３Ｄデジタイザを装着し、前記細分化された特定のフレーズを演奏してもらい、そのときの演奏者のからだの動きを記録する。なお、３Ｄデジタイザとしては、磁気的なものあるいは光学的なものなどが知られている。
そして、ステップＳ１１において、このようにして取得したモーションキャプチャーデータにおいて、各部位の中心点の軌跡をｘｙｚ座標系に分解し、各部位の移動状態及び位置を示す動作情報を取得する。なお、このときに時間データも同時に記録してもよい。
【００２０】
次に、ステップＳ１２に進み、発音の起こった位置（発音ポイント）の要所部位の座標およびその演奏開始からの経過時間を判別することができるようにマーカー（発音ポイントマーカーと呼ぶ）として記憶する。例えば、図５の（ｂ）に示すフレーズの演奏である場合には、図中に示す３つの位置が発音ポイントとなり、それぞれの経過時間ｔ，ｔ’，ｔ”が判別可能に記憶される。なお、この発音ポイントマーカーは、前記取得した動作情報データの集合内で、発音ポイントに対応するデータを特定することができるようになっていれば、どのような形式のものであってもよい。
そして、ステップＳ１３に進み、前述のようにして取得したデータと演奏されたフレーズとの対応付けを行う。そして、再生時の位置の変更（演奏者および楽器の形状や大きさの変更）あるいは時間の変更（テンポの切り替え）に対応することができる形式のデータとしてデータベース化しておく。
なお、前記動作部品データとしては、前述したｘｙｚ座標および時間の各データおよび発音ポイントマーカーの他にも、各部位毎の移動速度や加速度などのデータも含ませるようにしてもよい。
【００２１】
このようして作成された動作部品データベース２０を用いて３Ｄアニメーション画像を生成表示する処理について、自動伴奏機能を有する装置の場合を例にとって説明する。図６は、この自動伴奏再生における処理の流れを示す図であり、１つのパートの楽音と演奏の様子を示す３Ｄアニメーション画像の再生処理の流れを示している。複数のパートの演奏の様子を示す場合には、この図６に示した処理をそれぞれのパートについて実行し、それらを合成して表示すればよい。
【００２２】
まず、演奏者により、前述した操作スイッチ群４が操作され、自動伴奏制御操作が実行されると、ステップＳ２０の処理が実行される。このステップＳ２０では、演奏者によりなされた操作に応じて、再生すべきパターンを前記スタイルデータベース２１から選択する。これは、前述した従来の自動伴奏機能との場合と同様の処理である。このようにして選択された演奏スタイルデータは、ステップＳ２１とステップＳ２５の各処理に引き渡される。
【００２３】
ステップＳ２５は、前述した従来の自動伴奏処理と同様の処理であり、選択された演奏スタイルデータに含まれている演奏情報に基づいて、キーオンイベント、コントロールチェンジなどの発音イベント、音源制御パラメータを生成する。このようにして生成された音源制御パラメータなどは、音源部５に入力され、対応する楽音が生成されて（ステップＳ２６）、前記サウンドシステム６から出力される。
【００２４】
一方、ステップＳ２１では、前記選択された演奏スタイルデータに基づいて、対応する動作部品を前記動作部品データベース２０から選択し、基本動作情報を生成する。ここで、自動伴奏の場合には、各演奏スタイルに対応する動作部品は予め知ることができるため、前記選択された演奏スタイルデータ中に対応する動作部品を特定する情報を含ませることができる。
【００２５】
図７を用いて、この基本動作情報の生成の一例について説明する。図７の（ａ）は、前記動作部品データベース２０に格納されている各動作部品に対応するフレーズの一例である。すなわち、前記動作部品データベース２０には、この図に示したフレーズＡ，Ｂ，Ｃ，Ｄ，…にそれぞれ対応する動作部品がデータベース化されて格納されている。そして、選択された演奏スタイルに対応する演奏パターンが図７の（ｂ）に示されているパターンであるとする。この場合、このステップＳ２１において、前記パターンに応じた動作部品を前記動作部品データベース２０から読み出す。そして、各動作部品の末尾の部分と後続する動作部品の先頭部分を重ね合わせて、それらを繋ぎあわせることにより、基本動作情報を生成する。この結果、図７の（ｂ）に示した基本パターンについては、Ａ→Ｂ→Ｃ→Ｂというように対応する動作部品がつなげられることとなる。
【００２６】
また、前述した特定の楽器に対するフィルインなどのバリエーション操作がなされた場合には、ステップＳ２２に進み、前記ステップＳ２１において生成した基本動作情報に対し、フィルインに応じた動作情報を重ね合わせるあるいは差し替える処理を行う。例えば、演奏すべきスタイルパターンが図６の（ｃ）に示すようなバリエーションパターン、すなわち、ドラムパートのうちのシンバルとスネアドラムについてフィルインを行なうものである場合には、前記ステップＳ２１において生成した基本動作情報（Ａ→Ｂ→Ｃ→Ｂ）の最後の部分とその一つ前のデータを動作部品Ｄのデータに入れ替えることにより、このバリエーションパターンに対応する動作情報を得ることができる。このように動作部品のうちの一部を他の部品の一部と差し替えることにより、前述したバリエーション動作に対応することができる。
【００２７】
次に、ステップＳ２３に進み、前記入力操作子４４により設定される表示パート選択データ、前記入力操作子４５からの演奏者キャラクタ選択データ、前記入力操作子４８からの視点切り替え操作データ、前記入力操作子４７からのステージチェンジ操作データなどに応じて、シーン部品データベース２２からこれらに対応する情報を選択して読み出すとともに、これらの情報に基づいて前記動作情報に含まれている座標データの補正処理を行う。すなわち、演奏状態を表示するパートあるいは楽器、演奏をしているキャラクタ、選択されたステージ、および指定された視点（カメラ位置）に対応するシーン部品を前記シーン部品データベース２２から読み出す。なお、複数のパートあるいは楽器の演奏状態の表示が指示されたときは、それらの配置に対応したシーン部品が読み出される。
【００２８】
図８を参照して、前記座標データの補正処理の一例について説明する。この例は、演奏の状態を表示すべき楽器がシンバルである場合を示しており、動作情報には、初期位置（ｘ０，ｙ０，ｚ０）からシンバル上のターゲット位置（ｘｔ，ｙｔ，ｚｔ）までの（１）で示すスティックの軌跡が含まれているとする。このとき、操作者により選択された演奏者キャラクタあるいは視点位置データ等のデータによりシンバルの高さが変更され、ターゲットの座標が（ｘｔ’，ｙｔ’，ｚｔ’）になったとする。このときは、（２）で示す軌跡となるように、このステップＳ２３において、前記動作情報の補正を行う。また、演奏者が変更され、前記スティックの初期位置が図中の破線で示す位置に変更されたときには、（３）で示す軌跡となるように動作情報の補正を行い、さらに、演奏者とシンバルの高さの両者が変更されたときには、（４）で示す軌跡となるように、前記動作情報の補正処理を行う。
このようにして、このステップＳ２３において、モデル位置が決定され、それに対応するようにアニメーションが決定される。
【００２９】
このとき、本発明においては、前述したように動作部品データベース２０に格納されている各動作部品には、時間軸に沿った座標データだけではなく発音ポイントマーカーも含まれており、この発音ポイントマーカーにより、各発音ポイントの座標およびその動作情報の再生開始から発音ポイントまでの時間あるいは速度を取得することができる。したがって、この発音ポイントマーカーに基づいて、生成する映像と生成する楽音との同期を取るようにしている。
【００３０】
すなわち、前記図５の（ｂ）に示したように、各発音ポイントまでの基準テンポにおける時間ｔ，ｔ’，ｔ”を前記動作部品から取得することができる。したがって、前記動作部品を作成したときのテンポ（基準テンポ）に対し演奏するテンポがｋ倍のテンポに変更されたときには、前記動作情報の再生開始から発音ポイントまで１／ｋ倍の時間（速度であればｋ倍の速度）で到達するように、その動作情報の再生間隔が短くあるいは長くなるように動作情報読み出しの間引きをおこなったり、複数回同じ動作位置を読み出すなどのように制御すれば良い。また、移動時間あるいは移動速度が座標毎に用意されている場合、すなわち各部位がある座標から次の座標に移動するまでの時間あるいは速度の情報が動作部品中に含まれている場合には、それが時間のときには１／ｋ倍、速度のときにはｋ倍にそれぞれ変更（補正）して制御すればよい。
【００３１】
ところで、全ての動作について上述のように単純に時間軸を制御するだけでは、不自然な画像となる場合がある。例えば、テンポを半分にすると画像の動作速度が全体的に半分の速度となり、ドラムの演奏などの場合には、そっと叩くような画像となり、音量を抑えた演奏のように見えることとなってしまう。これを避けるためには、動作を開始してから発音ポイントまでの動作において、発音動作に関する個所（発音動作開始点から消音動作点まで）を認識できるようにしておき、発音動作開始点から消音動作点までの動作速度は、テンポを変更しても変更しないようにする。
【００３２】
図９を用いてこの様子を説明する。この図において横軸は時間、縦軸は演奏動作（例えば、ドラムスティックの位置）を示している。図の（ａ）に示すように、通常のテンポの場合には、発音動作開始点からドラムスティックの移動が開始され、発音点においてもっとも低い位置に達し、消音動作点でまたもとの位置に戻っている。（ｂ）はテンポを遅く変更した場合に単純に時間軸を伸長した場合を示しており、発音動作開始点→発音点→消音動作点までの時間も（ａ）の場合よりも長くなっている。そこで、（ｃ）に示すように、発音動作開始点まではテンポに対応した速度で画像を再生し、発音動作開始点から消音動作点までは前記（ａ）の場合と同じ速度で再生するようにする。これにより、音量に対応した実際の演奏と同様の画像を表示することができる。なお、テンポを早くした場合にも、同様に発音動作開始点から消音動作点までの再生速度は変更しないようにする。
【００３３】
また、前記音源制御パラメータ生成ステップＳ２５（図６）において発生されるエンベロープやベロシティ等の音源制御パラメータを利用して、動作情報の修飾を行うようにしている。このことについて、シンバルの揺れ動作を例にとって、図１０を参照して説明する。図１０の（ａ）は、シンバルの揺れの様子を示す図である。前述のように前記動作部品データベース２０には、モーションキャプチャにより作成された標準的なシンバルの揺れ動作が格納されている。この動作部品に基づいて、楽音中の発音タイミングに同期してシンバルの揺れを表す動作情報を生成するのであるが、このときに、ベロシティあるいはトラックボリュームなどの楽音制御パラメータに基づき、ベロシティあるいはトラックボリュームが大きいときはシンバルの揺れを大きくし、逆に小さければ揺れも小さくするように動作情報を生成する。
【００３４】
すなわち、最大音量をＭとし、発音時の音量をｍとする。また、揺れの周期は正弦波で表現されているとする。ここで、シンバルの揺れの最大振幅値をＡとすると、発音後のシンバルの揺れは、次の式（１）で表される。
揺れ量＝（ｍ／Ｍ）・Ａ・ｓｉｎｔ …（１）
ここで、ｔは時間を表している。
また、最大エンベロープ値をＥとし、その後音源チャンネルでシンバルを発音しているチャンネルのエンベロープ値ｅを読み出し、これを入力情報として使用する。この場合には、シンバルの揺れ量は次の式（２）により表すことができる。
揺れ量＝（ｍ／Ｍ）・（ｅ／Ｅ）・Ａ・ｓｉｎｔ …（２）
すなわち、音源のエンベロープ値ｅの減衰に応じて、シンバルの揺れ量も周期運動を繰り返しながら減衰していく。図１０の（ｂ）は、この様子を示す図である。
このようにして算出した揺れ量を動作情報の補正演算に用いることにより、音量に合致した高品質の画像を作成することができる。
【００３５】
さらに、演奏者単位あるいはパート単位で、画像の再生フレームレートを変更することもできる。例えば、バックプレイヤーや視点切り換えで後ろに移動したプレイヤーなどについては、再生フレームレートを落とすようにすることもできる。図１１はこの様子を示す図であり、（ａ）のようにソロパートのプレイヤーと２人のバックパートのプレイヤー（バック１およびバック２）の画像を再生する場合を例にとって説明する。この場合には、（ｂ）に示すように、ソロプレイヤーは通常の再生フレームレート（例えば、３０フレーム／秒）で画像を生成し、バック１およびバック２のプレイヤーについては、例えばその１／２のフレームレートで交互に画像を生成するようにする。これにより、ＣＰＵの演算負荷を減少させることが可能となる。
【００３６】
さらにまた、発音ポイントの画像生成処理に到達したことを、画像処理部Ｓ２４から前記音源制御パラメータ生成ステップＳ２５に報知し、これに基づいて、前記Ｓ２６における発音処理を行うようにすれば、発音と生成される画像の同期の確実性を向上させることが可能となる。
このようにして、演奏のテンポに応じて正しい発音ポイントを有する演奏画像を生成することが可能となる。
【００３７】
次に、ステップＳ２４に進み、前記ステップＳ２３により決定された情報を用いて画像生成処理（レンダリング）が実行される。すなわち、前記シーン情報および動作情報に基づいて、シーンの映像化が行われる。すなわち、前記シーン情報や動作情報に基づいて、座標変換、隠面消去、交点・交線・交面などの算出、シェーディング、テクスチャーマッピングなどの処理を行い、画像表示装置上の画像の各ピクセルの輝度値を出力して、３Ｄアニメーション画像を生成し、画像表示装置７に出力する。
以上のようにして、自動伴奏データに同期して、任意のパートの演奏の状態を３Ｄアニメーション画像で表示することができる。
【００３８】
次に、所望の曲の曲データを再生する自動演奏装置に適用した本発明の実施の形態について、図１２の流れ図を参照して説明する。このような自動演奏を行う場合には、演奏すべき楽曲の演奏情報（曲データ）が曲データベース２３に格納されている。操作者が自動演奏させたい曲を選択すると、ステップＳ３０において、前記この曲データベース２３から選択された曲の再生データが所定長ずつ読み出される。そして、この再生データは、ステップＳ３１とステップＳ３４に与えられる。ステップＳ３４、Ｓ３５は、前記自動伴奏の場合におけるステップＳ２５、Ｓ２６と同一の処理であり、再生データに基づく楽音を生成しサウンドシステム６から出力する。
【００３９】
ステップＳ３１〜Ｓ３３は再生データに対応する３Ｄアニメーション画像を生成する処理である。ステップＳ３１においては、前記動作部品データベース２０から、前記所定長の再生データに最も近い動作部品を選択して読み出す。そして、前記ステップＳ２１と同様に、読み出された各動作部品の末尾の部分と後続する動作部品の先頭部分を重ね合わせてつなぎあわせることにより、基本動作情報を生成する。すなわち、演奏データの最初から細分化されたフレーズに対応する長さ（第１の部分という）を取り出し、これと最も近いフレーズに対応する動作部品を前記動作部品データベース２０から読み出す。次に、前記取り出した第１の部分の末尾を先頭として同様に第２の部分を取り出し、前記動作部品データベース２０からこれに最も近い動作部品を読み出し、前記最初に取り出した動作部品に接続する。以下同様に、前述の動作を繰り返し、対応する動作部品をつなげていくことにより、基本動作情報を生成する。
なお、以上は、汎用的に用意された動作部品を流用して任意の曲データに適応させる一例を示したものであるが、動作部品を標準基本セット化（例えば、ＧＭ基本音色のように音色番号で基本音色が自動的に対応付けされているように）し、曲データ内で使用するべき前記基本セットの該当動作部品に対応する動作部品指示情報を曲データ中に曲の進行に合わせて入れるようにしておいても良い。
【００４０】
そして、ステップＳ３２に進み、前記ステップＳ２３と同様に、モデル位置の決定およびアニメーションの決定を行う。そして、ステップＳ３３に進み、前記ステップＳ２４と同様にして動作情報に対応した３Ｄアニメーション画像を生成し、表示装置７に表示させる。
このようにして、自動演奏の場合にも、その楽曲の演奏状態を表す３Ｄアニメーション画像を表示させることができる。
【００４１】
次に、本発明の楽音および画像生成装置の外観の他の例を図１３に示す。この図に示した例は、画像表示装置７の左右に各操作子が配置されており、画面上には１つのパート（この例では、ドラムパート）を演奏している様子が３Ｄアニメーションで表示されている。ここで、操作子５１は自動演奏のスタートボタン、５２は自動演奏のストップボタン、５３は演奏のテンポをアップさせるためのテンポアップボタン、５４はテンポダウンボタン、５５は画像表示装置７に演奏状態を表示させるときの演奏者を選択するための演奏者選択ボタン、５６は同じく演奏状態を表示させるときにどの楽器の演奏状態を表示させるかを選択決定するための楽器選択ボタンである。また、５７および５８は自動演奏のメインパターン（メインスタイル）を選択するためのボタンであり、５７はメインＡを選択するメインＡボタン、５８はメインＢを選択するメインＢボタンである。さらに、５９はイントロのパターンを選択するためのイントロボタン、６０はフィルインパターンを挿入するためのフィルインボタン、６１はエンディングパターンを選択するためのエンディングボタンである。さらにまた、６２は前述した画像表示装置７に３Ｄの演奏状態を表示する場合における視点を移動させるための視点移動ボタンである。
【００４２】
以上のように、本発明において表示する画像は、１つのパートあるいは複数のパートのいずれであっても、表示することができる。
また、鍵盤部を持たないシーケンサなどにも適用できることは明らかである。
さらに、以上の説明では、自動伴奏あるいは自動演奏の場合を例にとって説明したが、打ち込み等により入力されたメロディパートの演奏データに対しても、同様にして３Ｄアニメーション画像を表示させることができる。
【００４３】
なお、前記ステージチェンジスイッチ４７により選択されたステージに応じて、前記音源部５において付与するエフェクトを変化させるようにすることができる。例えば、ホールを選択したときは、ディレイを大きくし、屋外を選択したときはディレイを少なくするというように、前記表示される画像のシチュエーションに応じて効果を変更させることができる。
また、上記においては、モーション・キャプチャーにより動作情報（モーション・ファイル）を得る場合を例にとって説明したが、キーフレーム法のようなモーション・キャプチャー以外の方法により動作情報を生成するようにしてもよい。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、楽曲データに同期して３Ｄアニメーション画像を表示させることができる。したがって、操作者はコードやフィルイン等に応じた音によるインタラクションだけではなく、３Ｄアニメーション画像によるインタラクションも楽しむことができる。
また、動作部品をデータベース化しているため、複数のパターンや楽曲に対し動作部品を共通に使用することができるとともに、必要な部品をデータベースに追加していくことができる。したがって、効率的に３Ｄアニメーション画像を生成することが可能となる。
さらに、動作部品として動作情報とともに発音ポイントマーカーを備えているために、テンポの変更等に対して共通の動作部品を使用することが可能となり、データベースのサイズを小さくすることが可能となる。
さらにまた、楽音の演奏と同期した不自然さのない画像を表示することができる。
さらにまた、操作者は、複数のキャラクタのなかから自分の好みに合ったキャラクタを選択することができる。
さらにまた、操作者は、表示画像の視点の位置を変更することができるので、任意の位置からみた模範的な演奏状態を見ることが可能となり、教育的な用途にも使用することができる。
【図面の簡単な説明】
【図１】本発明の楽音および画像生成装置の一実施の形態の構成例を示すブロック図である。
【図２】本発明の楽音および画像生成装置の一実施の形態の外観図である。
【図３】動作部品データベースを説明するための図である。
【図４】動作部品の生成を説明するためのフローチャートである。
【図５】動作部品の生成について説明するための図である。
【図６】自動伴奏における画像生成表示処理および楽音生成処理の流れ図である。
【図７】基本動作情報の作成について説明するための図である。
【図８】座標補正処理について説明するための図である。
【図９】テンポを変更した場合の処理について説明するための図である。
【図１０】楽器の動作の修飾処理について説明するための図である。
【図１１】再生フレームレートの変更処理について説明するための図である。
【図１２】自動演奏における画像生成表示処理および楽音生成処理の流れ図である。
【図１３】本発明の楽音および画像生成装置の外観の他の例を示す図である。
【図１４】自動伴奏処理における演奏パターンの遷移の例を示す図である。
【符号の説明】
１ＣＰＵ、２プログラム記憶装置、３記憶装置、４操作スイッチ群、５音源部、６サウンドシステム、７画像表示装置、８外部記憶装置、９ＭＩＤＩインターフェース回路、１０ビデオインターフェース回路、１１モニタ、２０動作部品データベース、２１スタイルデータベース、２２シーン部品データベース、２３曲データベース、４０鍵盤、４１スタートスイッチ、４２ストップスイッチ、４３スタイルセレクトスイッチ、４４楽器チェンジスイッチ、４５プレイヤーチェンジスイッチ、４６フィルインスイッチ、４７ステージチェンジスイッチ、４８視点チェンジスイッチ

Claims

演奏情報に基づいて楽音を生成する楽音生成部と、
各パート毎の、細分化された演奏パターンの演奏動作の軌跡を表す動作情報と発音のタイミングを示す発音ポイントマーカーとを含む動作部品が格納された部品データベースと、
前記演奏情報に対応する動作部品を前記部品データベースから読み出し、該読み出した動作部品を順次接続することにより得られた情報と前記発音ポイントマーカーに基づいて、前記楽音生成部で生成される楽音の音量変化に応じて振幅が制御された周期運動を繰り返す、前記楽音と同期した３Ｄアニメーション画像データを生成する画像生成部と
を有することを特徴とする楽音および画像生成装置。
ソロパートの演奏情報とバックパートの演奏情報を含む演奏情報に基づいて楽音を生成する楽音生成部と、
各パート毎の、細分化された演奏パターンの演奏動作の軌跡を表す動作情報と発音のタイミングを示す発音ポイントマーカーとを含む動作部品が格納された部品データベースと、
前記演奏情報に対応する動作部品を前記部品データベースから読み出し、該読み出した動作部品を順次接続することにより得られた情報と前記発音ポイントマーカーに基づいて、前記楽音生成部で生成される楽音と同期した３Ｄアニメーション画像データを生成する画像生成部であって、前記ソロパートの演奏情報に対応する３Ｄアニメーション画像データと前記バックパートの演奏情報に対応する３Ｄアニメーション画像データとを生成するときに、前記バックパートの演奏情報に対応する３Ｄアニメーション画像データの再生フレーム数を前記ソロパートの演奏情報に対応する３Ｄアニメーション画像データの再生フレーム数より落として生成する画像生成部と
を有することを特徴とする楽音および画像生成装置。