JP3601350B2

JP3601350B2 - 演奏画像情報作成装置および再生装置

Info

Publication number: JP3601350B2
Application number: JP07754799A
Authority: JP
Inventors: 強宮木; 秀雄鈴木; 善政磯崎; 聡関根
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1998-09-29
Filing date: 1999-03-23
Publication date: 2004-12-15
Anticipated expiration: 2019-03-23
Also published as: US6245982B1; JP2000172869A

Description

【０００１】
【発明の属する技術分野】
本発明は、演奏情報および当該楽曲の演奏の様子を示す画像などの画像情報を作成、編集および再生することのできる演奏画像情報作成装置および再生装置に関する。
【０００２】
【従来の技術】
従来より、パーソナルコンピュータなどの汎用コンピュータを用いて、楽曲に合わせて２次元画像やムービーを貼り付けていくマルチメディアオーサリングツールとも呼ばれるアプリケーションプログラムが知られている。
【０００３】
【発明が解決しようとする課題】
上述したアプリケーションプログラムにおいては、楽曲とともに表示される画像としては、静止画あるいは２次元（２Ｄ）の画像データであり、３次元（３Ｄ）の画像を表示することはできなかった。
また、表示画像を編集するときに、楽曲の演奏に合わせて編集することは容易ではなかった。
さらに、表示する画像と演奏する楽曲とを完全に同期させることは困難であった。例えば、楽曲の演奏テンポを変更したときにその変更に表示画像を合わせることや、画像に視覚的効果を付与する場合に、該効果を演奏に同期して付与することは困難であった。
【０００４】
そこで本発明は、楽曲の演奏とともに、その演奏の様子を示す画像情報を表示することができる演奏画像情報作成装置および再生装置を提供することを目的としている。
また、画像を楽曲に合わせて編集することのできる演奏画像情報作成装置および再生装置を提供することを目的としている。
さらに、画像を楽曲の演奏に同期して再生したり視覚的効果を付与することが容易に行うことのできる演奏画像情報作成装置および再生装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明の演奏画像情報作成装置は、楽曲の演奏とともに該楽曲の演奏の様子を示す画像を表示するための演奏画像情報を作成するための演奏画像情報作成装置であって、各楽器毎あるいは各パート毎にその代表的な複数の奏法における演奏者および楽器の細分化された動作の軌跡を記録した動作部品をそれぞれ格納する動作部品データベースを有し、演奏すべき楽曲の各パート毎に前記複数の奏法のうちいずれかの奏法を指定する手段と、演奏すべき楽曲の拍あるいは小節などの音楽的時間単位を単位とするタイムスケジュール上にその演奏情報および前記指定された奏法に対応する前記動作部品を指定する情報を配置した動作記述情報を作成する手段と、該動作記述情報と前記演奏情報とを含むシーケンス情報を作成する手段とを有するものである。
【０００６】
また、本発明の他の演奏画像情報作成装置は、楽曲の演奏とともに該楽曲の演奏の様子を示す画像を表示するための演奏画像情報を作成するための演奏画像情報作成装置であって、各楽器毎あるいは各パート毎にその代表的な奏法における演奏者および楽器の細分化された動作の軌跡を表す動作波形、発音のタイミングを示す発音ポイントマーカーおよび消音のタイミングを示す消音ポイントマーカーを記録した動作部品を格納する動作部品データベースを有し、演奏すべき楽曲の拍あるいは小節などの音楽的時間単位を単位とするタイムスケジュール上にその演奏情報および奏法に対応する前記動作部品を指定する情報が配置された動作記述情報を作成する手段と、該動作記述情報と前記演奏情報とを含むシーケンス情報を作成する手段とを有するものである。
さらに、前記タイムスケジュール上に配置された動作部品の発音ポイントマーカー及び消音ポイントマーカーの位置をそれぞれ演奏情報における発音タイミング及び消音タイミングの位置に合わせる手段を有するものである。
【０００７】
さらにまた、前記動作部品における動作波形の時間分解能は個々に設定可能とされているものである。
さらにまた、前記動作記述情報を作成する手段は、前記指定された動作部品を編集する機能を有し、編集結果を動作部品として前記動作部品データベースに格納することができるようになされているものである。
さらにまた、前記動作部品は、前記演奏者の体の各部あるいは前記楽器の各部毎の動作の軌跡を記録したものである。
さらにまた、前記タイムスケジュール上に前記画像における背景情報や光源情報などのシーン部品が配置されたシーン情報を作成する手段を有し、前記シーケンス情報は、前記演奏情報、前記動作記述情報および前記シーン情報を含むようになされているものである。
さらにまた、前記シーン部品として外部から入力される情報を表示することを指示する情報が含まれているものである。
【０００８】
さらにまた、本発明の画像演奏情報再生装置は、演奏情報と該演奏情報に対応する楽曲の演奏の様子を示す画像を表示するための動作記述情報とを含むシーケンス情報に基づいて、当該演奏情報に対応する楽音を発生するとともにその演奏の様子を示す画像を表示する演奏画像再生装置であって、前記演奏情報に基づいて楽音を作成する楽音発生部と、前記動作記述情報に基づいて前記演奏情報に対応する演奏の様子を示す画像を作成する画像作成部と、各楽器毎あるいは各パート毎に、その代表的な奏法における演奏者および楽器の細分化された動作の軌跡を記録した動作部品データベースとを有し、前記動作部品はそれぞれ発音のタイミングを示す発音ポイントマーカーおよび消音のタイミングを示す消音ポイントマーカーを有し、前記画像作成部は、前記動作記述情報に基づいて前記動作部品データベースから読み出された前記動作部品を用いて前記画像を作成し、かつ、該読み出された動作部品が有する前記発音ポイントマーカーおよび消音ポイントマーカーに基づいて、前記演奏情報と前記画像との同期をとるようになされているものである。
さらにまた、前記画像作成部は、演奏のテンポに応じて、前記動作部品における発音動作に関する箇所以外の部分の動作速度を制御するようになされているものである。
さらにまた、前記画像作成部は、前記シーケンス情報に含まれている表示画像の寸法を指定する情報に基づいて、前記動作部品に含まれている演奏者および楽器の寸法を示す骨格データを補正して表示画像を作成するようになされているものである。
さらにまた、さらに、装置外部から画像情報を入力する入力手段と、前記画像作成部により作成された画像と前記入力手段からの画像とを合成する画像合成手段と、前記シーケンス情報に基づいて、前記画像作成部により作成された画像、前記入力手段からの画像あるいは前記合成手段により合成された画像に対して、演奏する楽曲の音楽的時間単位により規定されるタイミングで視覚的効果を付与する手段とを有するものである。
【０００９】
【発明の実施の形態】
図１は、本発明の演奏画像情報作成装置および再生装置として動作する装置の構成の一例を示すブロック図である。この図において、１はこの装置全体の動作を制御する中央処理装置（ＣＰＵ）、２はこの装置を制御する制御プログラムを記憶するプログラム記憶装置、３はこの装置を用いて作成されるシーケンスデータ（シーケンス情報）、各奏法における演奏動作の軌跡を部品化して格納した動作部品データベース、背景情報や光源情報などのシーン部品を格納したシーン部品データベース、その他の各種データを記憶するとともに作業領域として使用されるＲＯＭおよびＲＡＭなどからなる記憶装置、４は鍵盤（キーボード）および操作パネルに設けられた各種の操作子からなる操作スイッチ群である。５は音源部であり、複数チャンネル分の楽音信号を生成する。この音源部は、波形メモリ方式、ＦＭ方式、物理モデル方式、高調波合成方式、フォルマント合成方式、ＶＣＯ＋ＶＣＦ＋ＶＣＡのアナログシンセサイザ方式等どのような方式のものであってもよい。また、専用のハードウエアを用いて構成された音源回路に限られることはなく、ＤＳＰとマイクロプログラムを用いて構成された音源回路や、あるいは、ＣＰＵとソフトウエアのプログラムにより構成されたものであってもよい。なお、この音源部５には、生成された楽音に対してビブラートやリバーブなど各種のエフェクトを施すためのエフェクト処理部も含まれている。また、６は前記音源部５から出力される楽音を放音するためのサウンドシステムである。
【００１０】
７は３Ｄ画像データを生成したり各種の視覚的効果などを付加したりするための画像演算装置（描画エンジン）、８は画像演算装置７により生成された３Ｄ画像や後述する編集用の画面などを表示する画像表示装置（グラフィックディスプレイ）である。なお、前記画像演算装置７を用いることなく、前記ＣＰＵ１に画像処理を実行させるようにしてもよい。
また、９はハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の外部記憶装置、１０は外部のＭＩＤＩ機器との通信を行うためのＭＩＤＩインターフェース回路である。
さらに、１１は外部に接続されたモニタ１２に前記演奏の様子を示す画像を表示するためのビデオインターフェース回路、１３は装置外部から画像あるいは映像信号を入力するためのテレビカメラやＶＴＲなどの画像・映像入力装置、１４は前記各構成要素間のデータ伝送を行うためのバスである。
【００１１】
このように構成された本発明においては、各楽器毎あるいは各パート毎に、その代表的な奏法における演奏者および楽器の細分化された動作の軌跡を記録した動作部品を格納した動作部品データベースを有している。そして、本発明の演奏画像情報作成装置は、演奏情報および指定された奏法に対応する動作部品を該動作部品データベースから読み出して、該動作部品に基づいてその楽曲の演奏の様子を示す動作記述情報を編集作成して、前記演奏情報と動作記述情報を有するシーケンス情報を出力する。また、本発明の演奏画像情報再生装置は、前記シーケンス情報に含まれている動作記述情報に基づいて前記動作部品データベースから対応する動作部品を読み出して対応する画像を生成し、該生成した画像および外部から入力される画像を、楽曲の演奏と同期して再生表示するものである。
【００１２】
［動作部品データベース］
まず、前記動作部品データベースについて説明する。
この動作部品データベースは、様々な楽器毎あるいはパート毎に、その代表的な奏法における演奏者および楽器の動作の軌跡を、例えばモーションキャプチャーデータとして取り込み、演奏者の体の各部あるいは楽器の各部（以下、「部位」と呼ぶ）毎の動作軌跡をｘ，ｙ，ｚ軸方向に分解するとともに、発音および消音のタイミング（例えば、ドラムの場合には打点位置）を該取り込んだデータにマーキングしてデータベース化したものである。ここで、前記ｘｙｚの各軸方向に分解された動作軌跡を「動作波形」、また、細分化された演奏動作のデータを「動作部品」と呼ぶ。
【００１３】
図２は、ドラムパートの動作部品の一例を示す図である。良く知られているように、ドラムの代表的な奏法には、ロール奏法（シングルストローク、ダブルストローク）、リムショット奏法（クローズドリムショット、オープンリムショット）、マレット奏法、ブラシ奏法などがあり、この図に示すように、各奏法による短い演奏パターン毎にそのパターン演奏時の演奏者および楽器の動作軌跡を示す動作波形、発音および消音のタイミングを示す発音および消音ポイントマーカーなどのデータにより各動作部品が構成されている。なお、この例に示したドラムパートにおいては、シンバル、スネアドラムおよびバスドラムなどの複数の楽器の動作波形を１つの動作部品としているが、ピアノやサックスといった楽器の場合には各楽器毎に動作部品を生成する。
【００１４】
前記動作部品の作成方法について、図３のフローチャートを参照して説明する。まず、ステップＳ１１において、特定の楽器にて特定の奏法で演奏者が演奏しているときの演奏者の動作および楽器の動作をモーションキャプチャーデータとして取得する。
図４の（ａ）はその様子を説明するための図であり、この図に示すように、演奏者の体の要部（四角で示した位置）に３Ｄデジタイザを装着し、前記特定の奏法で細分化された特定のパターンを演奏してもらい、そのときの演奏者の体の動きを記録する。なお、３Ｄデジタイザとしては、磁気的なものあるいは光学的なものなどが知られている。また、図４の（ｂ）は、楽器の動作を記録する場合の例を示す図であり、この場合はシンバルの揺れ動作を記録する場合を示している。この場合には、四角で示した位置に取り付けた３つの３Ｄデジタイザによりモーションキャプチャリングを行う。
そして、ステップＳ１２において、このようにして取得したモーションキャプチャーデータにおいて、各部位の中心点の軌跡をｘｙｚ座標系に分解し、各部位の移動状態及び位置を示す動作波形を取得する。このときに時間データも同時に記録してもよい。なお、前記シンバルの例においては、前記３点の中心位置Ａの動作波形を部位の動作波形とし、３点はＡと同一平面を構成するものとして扱う。また、対象となった演奏者あるいは楽器の寸法を示す骨格サイズ情報も記録する。
【００１５】
次に、ステップＳ１３に進み、発音の起こった位置（発音ポイント）および消音の位置（消音ポイント）の要所部位の座標およびその演奏開始からの経過時間を判別することができるようにマーカー（発音ポイントマーカーあるいは消音ポイントマーカーと呼ぶ）として記憶する。例えば、図４の（ｃ）に示すフレーズの演奏である場合には、図中に示す３つの位置が発音ポイントとなり、それぞれの経過時間ｔ，ｔ’，ｔ”が判別可能に記憶される。なお、この発音ポイントマーカーおよび消音ポイントマーカーは、前記取得した動作波形データ（ｘ，ｙ，ｚ，ｔ）の集合内で、発音および消音のタイミングを特定することができるようになっていれば、どのような形式のものであってもよい。
そして、ステップＳ１４に進み、前述のようにして取得したデータと演奏された奏法との対応付けを行う。このとき、例えば、右腕、肩、肘、手首、指の各関節など、互いに密接な関係にある部位同士はまとめられセットパーツとして格納される。なお、操作者は、このセットパーツを任意に組み替えたり分解することが可能である。
【００１６】
このようにして、再生時の位置の変更（演奏者および楽器の形状や大きさの変更）あるいは時間の変更（テンポの切り替え）に対応することができる形式のデータとしてデータベース化しておく。
例えば、ドラムに関する動作部品は、各キットをたたく動作からたたき終わるまでの動作が動作部品として格納される。例えば、シンバルではスティックを振り上げたときからシンバルを打ち、再びスティックを振り上げるまでが動作部品となる。ここで、スティックがシンバルに当たったときが発音ポイントとなる。また、消音ポイントについては、必ずしも設ける必要はないが、シンバルの振動が停止したタイミングを消音ポイントとすることもできる。
また、ピアノについては、各指（１本あるいは２本の組み合わせ）に対し、鍵盤を弾いているところから鍵盤を離すところまでの動作が動作部品となる。ここで、指が鍵盤に当ったタイミングが発音ポイントとなり、指が離鍵したタイミングが消音ポイントとなる。そして、それぞれ弾いているときの指の開き具合および残りの指の状態により複数のバリエーションを用意する。３本以上の指を使う代表的なコードに対してはそれを弾いている指の状態を指使いあるいは指の開き具合で複数のバリエーションを用意する。
なお、前記動作部品には、前述したｘｙｚ座標および時間、骨格サイズの各データおよび発音、消音ポイントマーカーの他に、各部位毎の移動速度や加速度などのデータも含ませるようにしてもよい。さらに、演奏者あるいは楽器の形状および質感に関するデータも記録する。
【００１７】
［シーケンスデータの作成］
次に、前記シーケンスデータの作成処理について説明する。
図５は、シーケンスデータの作成処理を示すフローチャートである。この図に示すように、シーケンスデータの作成は、各パート毎のシーケンスデータの作成処理と作成された各パートのシーケンスデータを統合する全パートのシーケンスデータの作成処理とに大別される。
【００１８】
図５の（ａ）は、各パート毎のシーケンスデータの作成処理のフローチャートである。
この各パート毎のシーケンスデータの作成処理が開始されると、まず、ステップＳ２１の演奏情報の作成処理が行われる。この処理は、通常のシーケンスソフトにおいて行われる楽曲の作曲と同様の処理であり、これにより、このパートの演奏情報（ＭＩＤＩデータ）が作成される。
【００１９】
続いて、ステップＳ２２に進み、前記ステップＳ２１において作曲されたこのパートの楽曲の奏法を決定する。この決定は、前記演奏情報に対応する楽譜上で選択した領域毎に決定することができる。このパートが例えばキーボードパートであるときは、コード、運指情報および音量などの情報を入力する。また、ドラムパートの場合には、奏法の名前を入力する。
これらの情報により、前述した動作部品データベース２０から対応付けられた動作部品が読み出されることとなるため、操作者が選択した楽器あるいはパートに応じて、前記動作部品データベース２０から部位動作波形を検索するために必要な情報を入力するように指示を行う。
【００２０】
この必要な情報が全て整うと、ステップＳ２３に進み、前記動作部品データベース２０から前記入力された演奏情報および奏法に対応した動作部品を選択して読み出し、編集の対象となる基本動作波形を作成し、その基本動作波形に基づいてその演奏の様子を示す３Ｄ画像を生成し、画面に表示する。まず、この楽器あるいはパートにあらかじめ初期設定されているプレーヤーが、前記楽曲の演奏情報内で指示されている音色情報に対応する楽器とともに表示される。
操作者は、基本動作波形のプレーヤーあるいは楽器が気に入らないときは、他のプレーヤーおよび楽器に変更することができる（ステップＳ２４）。ただし、楽器に関しては当該楽曲内の指示情報が最優先とされている。例えば、指示情報がグランドピアノである場合には、グランドピアノのグラフィックを黒い色から木目調にしたり、透明に変更したりすることは可能であるが、カテゴリーが異なるアップライトピアノや他の楽器には変更することができないようにされている。なお、このときに、変更可能なプレーヤーおよび楽器の選択肢をその都度画面上に表示し、操作性を向上させるようにしてもよい。
【００２１】
このようにして、プレーヤーおよび楽器が決定された後、操作者はこの基本動作波形を一通り再生し、それが気に入らないときには、その編集処理を行うこととなる。
すなわち、ステップＳ２５に進み、各部位毎の動作波形の編集処理、各部位あるいはパーツの座標（位置）の変更、発音消音マーカーの位置の変更などの画像編集処理が行われる。また、前記ステップＳ２４において気に入ったプレーヤーあるいは楽器が選択できなかったときも、このステップＳ２５に進み、動作部品を直接読み出して編集することができる。
なお、この画像編集処理Ｓ２５により編集された結果を、新たな動作部品として前記動作部品データベース２０に格納し、部品の再利用を図ることができるようになされている。
【００２２】
図６は、前記ステップＳ２３〜２５の処理を実行するときに前記表示装置８に表示される画像編集画面の例を示す図である。この図に示すように、この画像編集画面には、画像の再生巻き戻し処理を行う制御ボタンや編集対象となっている画像データのフレーム位置などを表示する制御ウインドウ３０、演奏の様子を示す３Ｄグラフィック画像を表示する画像表示ウインドウ４０、表示されているプレーヤーおよび楽器を部位単位で選択することができるように各部位をその階層構造とともに表示する部位選択情報ウインドウ５０および動作部品のパーツあるいは部位毎のタイムスケジュールを表示するパーツ部位表示情報ウインドウ６０の４つのウインドウが設けられている。
【００２３】
ここで、前記制御ウインドウ３０に設けられている制御ボタン３１は先頭位置に復帰するボタン、３２は１小節前に戻るボタン、３３は逆方向再生ボタン、３４は停止ボタン、３５は順方向再生ボタン、３６は１小節先に進むボタン、３７は末尾位置に進むボタンである。操作者は、これらのボタンを操作することにより、前記画像表示ウインドウ４０における当該３Ｄ画像情報の再生を制御することができる。
【００２４】
前記画像表示ウインドウ４０には、前記ステップＳ２３において、操作者により選択された演奏者（プレーヤー）および楽器が表示される。このとき、初期情報として前述した骨格サイズデータ、形状および質感データが用いられる。操作者は、この画像表示ウインドウ４０に表示されているプレーヤーおよび楽器の部位を選択してその位置をずらすことによりその位置の変更設定を行うことができる。また、前記部位選択情報ウインドウ５０における部位表示情報を選択することによっても、前記選択を行うことが可能とされており、陰になるなどして、表示されている画像からは選択することが困難な部位については、前記部位選択情報により選択することにより前記画像表示ウインドウ４０において選択可能な表示状態とすることができる。この位置の設定と同時に、動作波形の座標の変更処理も自動的に行われる。
【００２５】
また、前記部位選択情報ウインドウ５０には、この動作部品を構成する各部位がその階層構造とともに表示されており、操作者は、このウインドウに表示されている部位を選択することができるようになされている。図示する例においては、ドラムプレーヤーおよびドラムセットの各部位がそれぞれ階層的に表示されている。
【００２６】
さらに、前記パーツ表示情報ウインドウ６０には、そのパートの演奏情報を表示する領域６１と各パーツのタイムスケジュールを表示する領域６２が設けられている。
１曲分のそのパートの動作波形が作成されると、動作部品がセット化されたパーツ毎のタイムスケジュールを、例えば拍を単位時間として表示する。図中縦の破線は拍を示し、実線は小節の区切りを示している。各パーツの動作波形は、そのパートのタイムスケジュール内におけるその動作波形が用いられる位置に拍を単位として配置されている。
図６において、６３はドラマーというパーツのタイムスケジュールを示しており、６４および６５はそれぞれ楽器に関するパーツの動作波形を示している。各動作波形は長方形で表示されており、その中に発音マーカーを含むものについては、その位置が右向きの三角で示されている。図示した例では、パーツ６３に例えばスティックが含まれており、発音マーカーの位置が表示されていることが分かる。したがって、既に入力されている楽曲の演奏情報をパート別に表示し、発音、消音のタイミングを確認することができる。この発音、消音のタイミングに動作波形の発音マーカー、消音マーカーを合わせると楽音の発生、消音と画像における演奏の発音、消音動作を同期させることができる。
【００２７】
また、各パーツの動作波形を示す長方形を選択し、その長さを変更することによりそのパーツの動作波形の再生レートを変更することができる。例えば、その長さを長くすることにより再生レートを少なくすることができる。なお、再生レートは、当該楽曲のテンポを変更した場合にも自動的に変更される。
さらに、各動作波形の長方形の内部には、両端が四角とされた直線が表示されており、この直線は、その動作波形の内の画像の再生時に使用される部分（実際に再生される部分）を表している。この直線の長さおよび位置を変更することにより、その動作波形の内の再生に使用される部分を選択することができる。なお、この直線の長さは、前記長方形の長さを変更したときに、その相対関係を保って変更される。
これらの長さの変更は、拍あるいは小節などの音楽的時間単位を単位として行われることとなる。
さらにまた、前記動作波形の長方形を選択することにより、そのパーツ内に含まれている各部位が前記画像表示ウインドウ４０で選択可能とされる。これにより、各部位毎に動作波形を他のバリエーション候補に変更すること、および、動作波形自体の編集が可能となる。
【００２８】
さらにまた、部位毎に使用フレーム数もモーションキャプチャーされたフレーム数を上限として変更可能である。これにより、細かく動作する部位についてはフレーム数を増加させ、あまり動作しない部位のフレーム数は減少させて演算の負荷を軽減させることができる。
図７に示すドラムパートの各部位の動作波形の合成を例にとって説明する。この図に示すように、ドラムパートには（ａ）指を除く人間の動作、（ｂ）指の動作、（ｃ）手持ち楽器（ドラムスティック）の動作、（ｄ）据え置き楽器の動作、および（ｅ）可動部の動作の５種類の動作波形が用いられる。このとき、（ａ）の人間の動作と（ｃ）のスティックの動作はセットパーツとされており、フレーム数が大きくされている。また、（ｂ）指の動作、（ｄ）据え置き楽器の動作および（ｅ）可動部動作は、高分解能を必要としないため、図示するようにフレーム数を減少させている。
【００２９】
さらにまた、前記動作波形を直接編集することもできる。
図８は、この動作波形を直接編集する場合の様子を示す図である。ここでは、部位「頭（ＨｅａｄＡ）」の動作波形を編集する場合を示している。前記部位選択情報ウインドウ５０あるいは前記画像表示ウインドウ４０において、編集したい部位ＨｅａｄＡを選択すると、その下位階層にある部位はＨｅａｄＡの編集結果の影響を受けるため、前記部位選択情報ウインドウ５０において、ＨｅａｄＡおよびその下位にある部位（図中の５９）は、他の部位とは異なる形態（例えば、白抜き）で表示される。また、これに対応して、前記画像表示ウインドウ４０に表示されている３Ｄ画像において、図中Ｂで示すように、該選択された部位およびその下位の階層にある部位（すなわち、選択された部位により拘束される関係にある部位）の領域が他の個所とは異なる表示形態（例えば、その領域の輝度が高くなる）で表示される。操作者が選択した個所をダブルクリック等により指定すると、図８に示す動作波形表示ウインドウ７０が表示され、その部位の動作波形が表示される。この図に示した動作波形はＨｅａｄＡのものであり、その下位の部位Ｓｔｅｒｎｕｍ（胸骨）からＨｅａｄＡへ向かう方向ベクトルのＨｅａｄＡの初期座標位置に対する移動角度が示されている。図において、横軸はフレーム数、縦軸は角度を示しており、上からｘ軸、ｙ軸およびｚ軸からの角度を表す３つのグラフが示されている。
【００３０】
操作者が、前記画像表示ウインドウ４０において編集したい部位の位置を変更させると、これに伴い、前記動作波形が自動的に変更される。また、逆に、前記動作波形表示ウインドウ７０に表示されている動作波形を編集すると、これに合わせて画像表示ウインドウ４０に表示されている３Ｄ画像が動作をする。
このようにして、前記動作波形を直接編集することも可能である。この動作波形の編集は、例えば、２種以上の動作を合成する場合等に、そのつなぎ目を平滑にするときなどに有効である。
【００３１】
このようにして、動作波形を編集したのち、該編集した部位の動作波形に名称を付加して、前記動作波形データベース２０に追加することができる。また、部位の動作波形は２種類以上を連続合成させたり、あるいは、分解させたりすることも可能であり、これらを新規にデータベースに追加することもできる。
さて、このようにしてこのパートの演奏の様子を示す動作ファイルが決定されると、その動作波形ファイル名、ポインタ（楽器情報、奏法）等が自動的に演奏情報に対応して記憶される。
【００３２】
このようにして、各パート別のシーケンスデータが作成された後に、図５の（ｂ）に示した全パートのシーケンスデータを統合し全体の調整を行う処理が実行される。この処理は、図９に示す全パートの編集用画面を用いて実行される。
この処理が開始されると、まず、ステップＳ３１において、各パートのデータの貼り付け処理が行われる。この処理においては、各パートをそれぞれ指定し、タイムスケジュール上に楽音と画像とをともに配置していく。
図９において、８０は全パートのタイムスケジュールを表示するウインドウであり、ステージに関するシーン情報を配置する領域８１と各パートのデータを表示する領域８２が設けられている。ここで、縦の点線は拍、実線は小節を表わしており、ここに各パート情報を配置することにより、当該楽曲１曲内での絶対的な小節、拍上に配置されることとなる。なお、前記図６および図８のパート別の編集画面においては、そのパートの開始点からの相対的な拍、小節が示されている。
【００３３】
次に、ステップＳ３２に進み、シーン情報の編集処理が行なわれる。前述のように、前記記憶装置３中にはシーン部品データベースが格納されており、このシーン部品データベース中には、背景情報、光源の情報、カメラ（視点）の情報など演奏ステージに関する画像を形成するための各種のシーン部品が格納されている。そこで、このステップＳ３２において、前記シーン部品データベースから背景情報、カメラ（視点）の情報、光源の情報などのシーン部品を選択して、前記領域８１の拍、小節に沿って貼り付ける。図９に示した例では、Ｇ０〜Ｇ２の３つのカメラ情報、Ｇ３およびＧ４の２つの背景情報およびＧ５の光源情報が、それぞれ、タイムスケジュール上に貼り付けられている。なお、これらのシーン部品は例えばＶＲＭＬ（ＶｉｒｔｕａｌＲｅａｌｉｔｙＭｏｄｅｌｉｎｇＬａｎｇｕａｇｅ）により記述されている。
【００３４】
また、テレビカメラやＶＴＲなどの前記画像・映像入力装置１３から入力される実写映像やコンピュータで作成したムービーファイルを取り込み、背景情報などとして使用するための制御情報もシーン部品として格納されている。この入力実写映像は、背景として表示したり、背景の一部として任意の表示領域上に表示することができる。また、例えば、青等の単一色をバックに撮影、あるいは、逆にコンピュータグラフィックスを生成し、バック以外の色のみを切り出して背景として画像に貼りつけたり、任意の透過率でＣＧ画像と実写映像を合成する（クロマキー合成）こともできる。これにより、実写映像を背景に前記動作波形から生成した画像を合成したり、他の楽器パートの人間も風景（背景）として取り込めば、表示上でＣＧプレーヤーと一緒に演奏している光景を表示できる。
また、実写映像のみを表示するようにしてもよく、これにより、イントロや間奏中に実写映像を挿入して演奏効果を高めることも可能である。
この実写映像を取り込むための制御情報もシーン部品であるため、他のシーン部品と同様に、拍、小節などの音楽的な時間単位に沿ったタイムスケジュール上に貼り付けられる。
【００３５】
さらに、前記シーン部品として画像に対するエフェクト処理を前記シーン部品とすることもできる。このシーン部品が前記タイムスケジュール上に貼り付けれれている場合は、前記実写映像と前記生成した画像を合成したモニタ上に描き出された画像の視点の切り替えや背景の切り替わり時においてフェードイン、フェードアウト、ワイプなどの処理をさせたり、表示画像の一部をモザイクにしたり、色調をセピア色にしたり、などの各種視覚的効果を付与することが可能となる。これらのエフェクト処理に関するシーン部品は、関数として前記シーン部品データベースに登録することができ、任意の処理を追加することができる。
【００３６】
前述したパーツの場合と同様に、このシーン部品についても、前記領域８１のタイムスケジュール上で選択しその長さを変化させる等の編集を行うことができる。また、貼り付けられたシーン情報を選択することにより、それぞれの詳細情報が表示され、その編集を行なうことも可能である。
このようにして完成した曲は、再生、巻き戻し、早送りなどを領域を定めて行なうことができる。また、曲名等を付与し、保存することができる。
【００３７】
図１０を参照して、このような複数のパートの情報を合成する場合について説明する。図１０の（ａ）に示すように、グローバルなステージ座標系を設定し、この座標系内に各プレーヤー毎のパーソナル座標系およびプレーヤー毎の楽器あるいは骨格構造を持つ事物単位の座標系を設定する。なお、前記楽器および事物は、静止系と制動系とに分類し、制動系のものは可動部をその座標系の原点とする。これにより、グローバル座標系の中で自由に座標変更すなわち位置変更を行うことができる。例えば、ピアノの鍵盤の場合は、それぞれの鍵盤毎に可動する部分を原点とする座標系を設定して定義し、鍵盤の動作波形は１種類だけ用意しておけば、適用する鍵盤毎にその原点位置を移動させることによりデータの流用が可能となる。また、静止系の楽器や事物については、初期の動作を保持すればよい。また、事物、楽器などのうち、ドラムスティックやバイオリンなどプレーヤーの手持ちのものについては、プレーヤー毎のパーソナル座標系内に可動部を原点としてローカルな座標系を定義し、このローカル座標系上で動作部品の稼動を再現する。また、各パートのプレーヤーや楽器のサイズを変更した場合には、各部位毎に比を計算し、前記動作部品における骨格サイズを変更後のサイズに補正する。
【００３８】
また、図１０の（ｂ）に示すように、各プレーヤーの動作パッケージは、そのプレーヤーの出す音と動作、すなわち、演奏情報と動作情報とが同期をとってパッケージ化されている。そして、各プレーヤーの動作パッケージをその先頭位置を合わせて配置する。このようにして、各プレーヤーおよび楽器の動作記述情報が統合され、全プレーヤーを含むシーケンス情報が作成される。
【００３９】
［シーケンスファイルの構成］
図１１は、このようにして作成されたシーケンス情報を含むシーケンスファイルの構成を示す図である。この図に示すように、シーケンスファイルは、（１）シーンファイル、（２）パーソナル初期情報ファイル、および、（３）パーソナル演奏記述ファイルの３つのファイルから構成されている。そして、（１）のシーンファイルは、このシーケンスファイルの全体に関する情報が含まれており、再生速度、視点および視野、光源、背景情報、前記外部からの画像情報の取り込みを指示する情報などのシーン情報、および、各パートのプレーヤーおよび楽器の座標系位置、寸法情報が含まれている。ここで、視点および視野、光源、背景情報などのシーン情報は、前記シーン部品データベースにおける当該シーン部品へのポインタ情報として保持するようにしてもよい。また、（２）のパーソナル初期情報ファイルは、各パート毎にそれぞれのプレーヤーおよび楽器の骨格データおよび形状、質感を決定する情報を含んでいる。さらに、（３）のパーソナル演奏記述ファイルは、各パート毎にそのパートの演奏情報ファイルと動作記述ファイル（動作記述情報）を含んでいる。ここで、演奏情報ファイルはＭＩＤＩデータ（ＳＭＦ）形式とされており、また、動作記述ファイルは、前記動作部品データベース２０に含まれている演奏者および楽器（道具）の動作波形データと前記発音、消音ポイントマーカーへのポインタ情報が含まれている。
【００４０】
このように、本発明のシーケンスファイルは、動作記述ファイルとして画像情報自体ではなく動作部品データベースへアクセスするための情報を保持するようにしているため、シーケンスファイルのサイズを小さくすることができ、可搬性の良いものとなっている。
【００４１】
［シーケンス情報の再生処理］
次に、図１２のフローチャートを参照して、このようして作成されたシーケンスデータから当該楽曲の演奏と画像とを再生表示する処理について説明する。なお、前述したシーケンスデータ作成処理において、再生ボタンを操作したときにおいても同様の処理が実行される。
操作者が演奏しようとする曲を決定すると、前述のようにして作成された楽曲に対応するシーケンスファイルが格納されている曲データベース２１などから当該楽曲のシーケンスファイル（再生データ）が選択される。ステップＳ４１において、この選択された曲のシーケンスファイル（再生データ）が所定長ずつ読み出され、このデータに基づいてステップＳ４２とＳ４６の処理が実行される。
【００４２】
ステップＳ４６は、従来より知られている自動演奏処理と同様の処理であり、読み出された再生データに含まれている演奏情報に基づいて、キーオンイベント、コントロールチェンジなどの発音イベント、音源制御パラメータを作成する。このようにして作成された音源制御パラメータなどは、前記音源部５に入力され、対応する楽音が生成されて（ステップＳ４７）、前記サウンドシステム６から出力される。
【００４３】
一方、ステップＳ４２では、前記読み出された再生データ（シーケンスファイル）中の動作記述ファイルに基づいて、前記動作部品データベース２０から対応する各部位の動作波形データを読み出す。そして、ステップＳ４３に進み、読み出された各部位の動作波形の座標位置の補正処理を行う。また、このときに、操作者により表示パートの選択あるいは視点位置の切り替えが行われた場合にはそれに応じた座標位置の補正処理を行う。具体的には、各部位の動作波形について、そのパートの再生レートに合うように必要ならば補間処理を行うなどして動作データを作成し、さらに、動作のつなぎ部分についてスプライン補間などにより補正を行う。そして、各部位の位置などに対応して、座標位置の転送、回転、拡大などの補正処理を行う。また、前記シーンファイルにおいて指定されているシーン部品をシーン部品データベース２２から読み出して、シーン情報（ステージ情報）も生成する。
このようにして、このステップＳ２３において、モデル位置が決定され、それに対応するようにアニメーションが決定される。
【００４４】
このとき、前述したように動作部品データベース２０に格納されている各動作部品には、時間軸に沿った座標データだけではなく発音、消音ポイントマーカーも含まれており、この発音ポイントマーカーおよび消音ポイントマーカーにより、各発音ポイントおよび消音ポイントの座標およびその動作波形の再生開始から発音、消音ポイントまでの時間あるいは速度を取得することができる。したがって、この発音、消音ポイントマーカーに基づいて、生成する映像と生成する楽音との同期を取るようにしている。
【００４５】
すなわち、前記動作部品を作成したときのテンポ（基準テンポ）に対し演奏するテンポがｋ倍のテンポに変更されたときには、前記動作波形の再生開始から発音ポイントまで１／ｋ倍の時間（速度であればｋ倍の速度）で到達するように、その動作波形の再生間隔が短くあるいは長くなるように動作波形読み出しの間引きをおこなったり、複数回同じ動作位置を読み出すなどのように制御すれば良い。また、移動時間あるいは移動速度が座標毎に用意されている場合、すなわち各部位がある座標から次の座標に移動するまでの時間あるいは速度の情報が動作部品中に含まれている場合には、それが時間のときには１／ｋ倍、速度のときにはｋ倍にそれぞれ変更（補正）して制御すればよい。
【００４６】
ところで、全ての動作について上述のように単純に時間軸を制御するだけでは、不自然な画像となる場合がある。例えば、テンポを半分にすると画像の動作速度が全体的に半分の速度となり、ドラムの演奏などの場合には、そっと叩くような画像となり、音量を抑えた演奏のように見えることとなってしまう。これを避けるためには、動作を開始してから発音ポイントまでの動作において、発音動作に関する個所（発音動作開始点から消音動作点まで）を認識できるようにしておき、発音動作開始点から消音動作点までの動作速度は、テンポを変更しても変更しないようにすればよい。
【００４７】
また、前記音源制御パラメータ生成ステップＳ４６において発生されるエンベロープやベロシティ等の音源制御パラメータを利用して、動作波形の修飾を行うようにしてもよい。例えば、当該動作部品がシンバルの揺れ動作であるときに、ベロシティあるいはトラックボリュームなどの楽音制御パラメータに基づき、ベロシティあるいはトラックボリュームが大きいときはシンバルの揺れを大きくし、逆に小さければ揺れも小さくするように動作波形を作成する。これにより、自然な演奏の様子を表示することができる。
【００４８】
次に、ステップＳ４４に進み、前記ステップＳ４３により決定された情報を用いて画像生成処理（レンダリング）が実行される。すなわち、前記シーン情報および動作波形に基づいて、シーンの映像化が行われる。すなわち、前記シーン情報や動作波形に基づいて、各オブジェクトの頂点、法線についての３次元座標計算、照光と彩色、テクスチャー座標計算、ポリゴン形成、投影座標計算、視野クリッピング、ビットマップ作成、隠面・透過処理などの処理を行い、３Ｄアニメーション画像を生成し、フレームバッファに出力する。
このとき、予め作成しておいたプレーヤーや楽器のサイズと実際に表示するプレーヤーや楽器のサイズとが異なっているときには、各部位ごとに比を計算して前記座標情報を補正して骨格サイズの違いを補正する。
【００４９】
また、前述のように、シーン情報として前記画像・映像入力装置１３からの画像を取り込む制御信号が貼り付けられているときは、該シーン情報により指定されたタイミングで、前記画像・映像入力装置１３から実写映像などを入力し、必要に応じて、画像生成処理により生成した画像と合成して出力する。
さらに、シーン情報に画像に対するエフェクト処理が含まれている場合には、ステップＳ４５において、前記ステップＳ４４において作成された画像に対し、視覚的な効果処理を施す。
以上のようにして、楽曲データに同期して、その演奏の状態を演奏に同期した画像で表示することができる。また、この出力をムービーデータとして保存することもできる。
【００５０】
なお、以上においては、動作部品データベース２０は、楽曲と奏法を入力することにより動作部品の候補が検索されて出力されるように対応付けられていたが、データベース中の動作部品に対応付けした新たな音楽表記号を定めておき、その表記ルール、記号を用いて譜面を作成すると画像も自動的に作画されるようにしてもよい。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、楽曲の演奏に同期してその演奏の様子を示す画像を表示させることが可能となり、楽音の演奏と同期した自然な画像を表示することができる。
また、楽曲の演奏の様子を示す画像の編集を容易に行うことができる。
さらに、外部から入力される実写画像を演奏と同期して表示すること、および、画像に対して演奏に同期したエフェクトを付加することができ、演奏効果を高めることができる。
さらにまた、動作部品をデータベース化しているため、複数の奏法や楽曲に対し動作部品を共通に使用することができるとともに、必要な部品をデータベースに追加していくことができる。したがって、効率的に画像を生成することが可能となる。
さらにまた、動作部品として動作波形とともに発音ポイントマーカー、消音ポイントマーカーを備えているために、テンポの変更等に対して共通の動作部品を使用することが可能となり、データベースのサイズを小さくすることが可能となる。
【図面の簡単な説明】
【図１】本発明の演奏画像情報作成装置および再生装置の一実施の形態の構成例を示すブロック図である。
【図２】動作部品データベースを説明するための図である。
【図３】動作部品の作成を説明するためのフローチャートである。
【図４】動作部品の作成について説明するための図である。
【図５】シーケンス情報作成処理のフローチャートである。
【図６】パート毎の画像編集画面の一例を示す図である。
【図７】複数の動作部品の合成について説明するための図である。
【図８】動作部品の編集画面の一例を示す図である。
【図９】全パートの画像編集画面の一例を示す図である。
【図１０】複数のパートの情報の合成について説明するための図である。
【図１１】シーケンスファイルの構成を示す図である。
【図１２】シーケンス情報再生処理のフローチャートである。
【符号の説明】
１ＣＰＵ、２プログラム記憶装置、３記憶装置、４操作スイッチ群、５音源部、６サウンドシステム、７画像演算装置、８画像表示装置、９外部記憶装置、１０ＭＩＤＩインターフェース回路、１１ビデオインターフェース回路、１２モニタ、１３画像・映像入力装置、２０動作部品データベース、２１曲データベース、２２シーン部品データベース

Claims

楽曲の演奏とともに該楽曲の演奏の様子を示す画像を表示するための演奏画像情報を作成するための演奏画像情報作成装置であって、
各楽器毎あるいは各パート毎にその代表的な複数の奏法における演奏者および楽器の細分化された動作の軌跡を記録した動作部品をそれぞれ格納する動作部品データベースを有し、
演奏すべき楽曲の各パート毎に前記複数の奏法のうちいずれかの奏法を指定する手段と、
演奏すべき楽曲の拍あるいは小節などの音楽的時間単位を単位とするタイムスケジュール上にその演奏情報および前記指定された奏法に対応する前記動作部品を指定する情報を配置した動作記述情報を作成する手段と、
該動作記述情報と前記演奏情報とを含むシーケンス情報を作成する手段と
を有することを特徴とする演奏画像情報作成装置。
楽曲の演奏とともに該楽曲の演奏の様子を示す画像を表示するための演奏画像情報を作成するための演奏画像情報作成装置であって、
各楽器毎あるいは各パート毎にその代表的な奏法における演奏者および楽器の細分化された動作の軌跡を表す動作波形、発音のタイミングを示す発音ポイントマーカーおよび消音のタイミングを示す消音ポイントマーカーを記録した動作部品を格納する動作部品データベースを有し、
演奏すべき楽曲の拍あるいは小節などの音楽的時間単位を単位とするタイムスケジュール上にその演奏情報および奏法に対応する前記動作部品を指定する情報が配置された動作記述情報を作成する手段と、
該動作記述情報と前記演奏情報とを含むシーケンス情報を作成する手段と
を有することを特徴とする演奏画像情報作成装置。
前記タイムスケジュール上に配置された動作部品の発音ポイントマーカー及び消音ポイントマーカーの位置をそれぞれ演奏情報における発音タイミング及び消音タイミングの位置に合わせる手段を有することを特徴とする前記請求項２記載の演奏画像情報作成装置。
前記動作部品における動作波形の時間分解能は個々に設定可能とされていることを特徴とする前記請求項１又は２に記載の演奏画像情報作成装置。
前記動作記述情報を作成する手段は、前記指定された動作部品を編集する機能を有し、編集結果を動作部品として前記動作部品データベースに格納することができるようになされていることを特徴とする前記請求項１又は２に記載の演奏画像情報作成装置。
前記動作部品は、前記演奏者の体の各部あるいは前記楽器の各部毎の動作の軌跡を記録したものであることを特徴とする前記請求項１又は２に記載の演奏画像情報作成装置。
前記タイムスケジュール上に前記画像における背景情報や光源情報などのシーン部品が配置されたシーン情報を作成する手段を有し、
前記シーケンス情報は、前記演奏情報、前記動作記述情報および前記シーン情報を含むことを特徴とする前記請求項１又は２に記載の演奏画像情報作成装置。
前記シーン部品として外部から入力される情報を表示することを指示する情報が含まれていることを特徴とする前記請求項７記載の演奏画像情報作成装置。
演奏情報と該演奏情報に対応する楽曲の演奏の様子を示す画像を表示するための動作記述情報とを含むシーケンス情報に基づいて、当該演奏情報に対応する楽音を発生するとともにその演奏の様子を示す画像を表示する演奏画像再生装置であって、
前記演奏情報に基づいて楽音を作成する楽音発生部と、
前記動作記述情報に基づいて前記演奏情報に対応する演奏の様子を示す画像を作成する画像作成部と、
各楽器毎あるいは各パート毎に、その代表的な奏法における演奏者および楽器の細分化された動作の軌跡を記録した動作部品データベースとを有し、
前記動作部品はそれぞれ発音のタイミングを示す発音ポイントマーカーおよび消音のタイミングを示す消音ポイントマーカーを有し、
前記画像作成部は、前記動作記述情報に基づいて前記動作部品データベースから読み出された前記動作部品を用いて前記画像を作成し、かつ、該読み出された動作部品が有する前記発音ポイントマーカーおよび消音ポイントマーカーに基づいて、前記演奏情報と前記画像との同期をとる
ことを特徴とする演奏画像情報再生装置。
前記画像作成部は、演奏のテンポに応じて、前記動作部品における発音動作に関する箇所以外の部分の動作速度を制御するようになされていることを特徴とする前記請求項９記載の演奏画像情報再生装置。
前記画像作成部は、前記シーケンス情報に含まれている表示画像の寸法を指定する情報に基づいて、前記動作部品に含まれている演奏者および楽器の寸法を示す骨格データを補正して表示画像を作成することを特徴とする前記請求項９記載の演奏画像情報再生装置。
さらに、装置外部から画像情報を入力する入力手段と、
前記画像作成部により作成された画像と前記入力手段からの画像とを合成する画像合成手段と、
前記シーケンス情報に基づいて、前記画像作成部により作成された画像、前記入力手段からの画像あるいは前記合成手段により合成された画像に対して、演奏する楽曲の音楽的時間単位により規定されるタイミングで視覚的効果を付与する手段とを有することを特徴とする前記請求項９記載の演奏画像情報再生装置。