JP4192936B2

JP4192936B2 - 自動演奏装置

Info

Publication number: JP4192936B2
Application number: JP2005296666A
Authority: JP
Inventors: 祐二仙場
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2005-10-11
Filing date: 2005-10-11
Publication date: 2008-12-10
Anticipated expiration: 2023-12-10
Also published as: JP2006031056A

Description

この発明は、複数種類の音色の楽音を合成して自動演奏する自動演奏装置の表示態様の改善に関する。

自動演奏データである楽曲データに基づいて自動演奏を行う自動演奏装置が実用化されている。自動演奏装置は表示器を備えているものが多く、自動演奏動作中はこの表示器に演奏中の曲の楽譜やミキサの操作パネルなどが表示されていた。

また、自動演奏装置には、複数チャンネルのパートのうち任意のチャンネルの楽音を出力しないいわゆるミュート機能を備えたものがあるが、このミュート機能を実行するためには、ミュートしたい音色のパートを担当しているチャンネル番号を何らかの方法で知って、そのチャンネル番号を指定してミュートを行う必要があった。

しかし、従来の音符表示やミキサの表示では、その曲を演奏する楽器の編成がどのようなものであるかを感覚的に知ることができない欠点があった。また、ミュートを指定する場合にも、その音色のチャンネルを先に調べておく必要があり、面倒であった。

この発明は、曲の楽器編成が視覚的に表現でき、且つ、ミュートの指示をその表示に対して行うことができる自動演奏装置を提供することを目的とする。

この発明は、複数種類の音色を合成可能な楽音合成手段と、音色指定データを含む自動演奏データを記憶する自動演奏データ記憶手段と、該自動演奏データ記憶手段に記憶されている自動演奏データを読み出し前記音色指定データで指定される音色で前記楽音合成手段を駆動する自動演奏手段とを備えた自動演奏装置において、
表示手段と、
前記複数種類の各音色に対応する音量が閾値以下のときのキャラクタであって、複数枚数の画像からなるモーションで構成される通常キャラクタと、音量が閾値を超えたときのキャラクタであって、前記通常キャラクタと同じ枚数の画像からなるモーションで構成される大音量キャラクタと、を記憶するキャラクタ記憶手段と、
前記自動演奏データから音色指定データを読み出し、この音色指定データで指定された音色およびその音色の音量に対応して、前記複数枚数の画像を前記キャラクタ記憶手段から順次読み出してキャラクタのモーションを前記表示手段に表示させるものであって、前記音色の音量が閾値を超えるかまたは閾値以下に変化すると、画像の順番が直前に読み出した画像の次で、その音色の音量に応じた画像に切り替えて前記表示手段に表示させるキャラクタ表示制御手段と、
複数の音色の組み合わせとその音色に対応する各キャラクタの画面上の配置をアンサンブルの種類毎に記憶するアンサンブル記憶手段と、
前記自動演奏データから音色指定データを読み出し、この音色指定データが指定する複数の音色の組み合わせで前記アンサンブル記憶手段を検索してアンサンブルの種類および規模を割り出すアンサンブル判定手段と、
を備え、
前記キャラクタ表示制御手段は、前記アンサンブル判定手段によって割り出されたアンサンブルが、小規模の場合にはフルスケールでキャラクタを表示し、大規模の場合にはパート表示のみまたは縮小したキャラクタを前記表示手段に表示させることを特徴とする。

この発明は、前記キャラクタ記憶手段は、各音色に対応するキャラクタとして、その音色に対応する楽器を演奏する演奏者の姿を記憶していることを特徴とする。

この発明は、前記キャラクタ記憶手段は、各音色に対応するキャラクタとして、モーションのキャラクタを記憶していることを特徴とする。

この発明は、前記キャラクタ記憶手段は、各音色に対応するキャラクタのうち、類似する音色に対応するキャラクタを共通化していることを特徴とする。

この発明は、前記自動演奏データ記憶手段が記憶している自動演奏データは、音色指定データおよびこの音色の左右および上下の定位を指定する定位情報を含み、前記キャラクタ表示制御手段は、音色指定データとともに定位情報を読み出し、前記対応するキャラクタをこの定位情報で指定された定位位置に表示させることを特徴とする。

この発明の自動演奏装置は、自動演奏データに基づいて楽音合成手段が駆動され、所定の音色で自動演奏を行う。この場合に、音色指定データで指定された音色と音量に対応するキャラクタがキャラクタ記憶手段から読み出され、表示手段に表示される。これにより、自動演奏される曲の音色（楽器）の構成を視覚的に認識することができる。また、音楽に合わせて、その音楽にあった映像を表示することができ、実際に演奏しているようなリアルな感覚の表示にすることができる。

このようにこの発明によれば、自動演奏中に画面に演奏者キャラクタが表示されるため、楽器の編成を視覚的に把握することができ、自動演奏をよりリアルに聴取することができる。また、楽曲データの音色の組み合わせに基づいて編成を判断することにより、どのような楽曲データを読み込んだ場合でもこのキャラクタ表示を行うことができる。

図１はこの発明の実施形態である自動演奏装置のブロック図である。また、図２は同自動演奏装置のメモリ構成図である。この装置はＨＤＤ１３に記憶された楽曲データをＣＰＵ１０が読み出して楽音合成装置１５に入力することにより自動演奏する装置である。楽音はスピーカ１６から放音されるが、このとき同時にこの演奏に対応した画像がモニタ１８に表示される。ここで、演奏に対応した画像とは、その曲のパート編成に対応するキャラクタ（演奏者）の画像である。

同図において、前記ＣＰＵ１０，ＨＤＤ１３，楽音合成装置１５はバスに接続されている。バスにはその他ＲＯＭ１１，ＲＡＭ１２，マウス１４および画像処理装置１７が接続されている。ＣＰＵ１０はこの自動演奏装置全体の動作を制御する。ＨＤＤ１３には複数曲の楽曲データ、モニタ１８に表示されるキャラクタデータなどが記憶される。ＲＯＭ１１には制御プログラム、楽音合成装置１５が楽音信号を合成するための音色データ、各種テーブルデータなどが記憶されている。ＲＡＭ１２には複数パートの自動演奏制御用のパート制御テーブルなどが設定される。マウス１４はモニタ１８に表示されるカーソルを移動させ画面上の点を指示するためのデバイスであり、画面に表示された曲名を指示して選曲したり、画面に表示されたキャラクタを指示してミュートしたりするときに使用される。楽音合成装置１５はＣＰＵ１０から入力された楽曲データに基づいて楽音信号を合成する装置である。楽音合成装置１５にはスピーカ１６が接続されている。スピーカ１６は楽音合成装置１５が合成した楽音信号を放音する。画像処理装置１７はＣＰＵ１０の指示に基づいてモニタ１８にキャラクタの画像を表示する。

図３はＨＤＤ１３に記憶されている楽曲データの構成例を示す図である。楽曲データはヘッダ部とデータ本体部からなっている。この楽曲データはそれぞれ異なる音色で演奏される複数パートからなる自動演奏データである。データ本体部は全パートのイベントデータ，デュレーションデータを記憶している。なお、この実施形態では全パートのデータを１トラックに記憶しているが、各パート毎にトラックを設けるようにしてもよい。ヘッダ部には、各パートの音色情報および各パートの定位情報が記憶されている。音色情報はＭＩＤＩフォーマットのコントロールチェンジ情報として記憶され、コントロールチャンネルナンバとして書き込まれる００_H 〜８Ｆ_H の音色番号は図９に示すように割り当てられている。この音色番号の割り当てはジェネラルＭＩＤＩフォーマットとして統一された規格のものである。定位情報はＭＩＤＩフォーマットのＰＡＮ情報として記憶される。ＰＡＮ情報は左右の定位を制御する情報であるが、さらに、上下の定位を制御する情報を記憶するようにしてもよい。また、楽曲データによってはこの定位情報が記憶されていないものもあり、この場合には後述の手法で各パートの定位を決定する。

図４は、ＨＤＤ１３に記憶されているキャラクタデータファイルの構成を示す図である。キャラクタデータファイルには同図（Ａ）に示すように、楽音合成装置１５が合成可能な各音色（楽器）毎に複数（２ｎ個）のキャラクタデータが記憶されている。キャラクタデータは、その楽器を演奏する演奏者を模式的に表現した図形である。なお、楽音合成装置１５が合成可能な１２８音色毎にそれぞれ別のキャラクタデータを記憶してもよいが、メモリを節約するために、たとえば、ピアノとキーボード、テナーサックスとアルトサックスなど演奏姿勢が類似する楽器のキャラクタを共通にしてもよい。また、自然楽器にない電子楽器独自の音色は全てキーボード奏者のキャラクタを用いるようにする。

同図（Ｂ）にギターの演奏者を表現するキャラクタの例を示す。同図上段のように通常のモーションのキャラクタがｎ個記憶されており、モーションナンバ１〜ｎで識別される。また、同図下段のように大胆なモーションのキャラクタがｎ個記憶されており、モーションナンバｎ＋１〜２ｎで識別される。通常のモーションのキャラクタはこの音色の発音レベルが一定値以下のときに表示され、大胆のモーションのキャラクタはこの音色の発音レベルが一定値を超えたとき表示される。読み出されるキャラクタデータは楽曲の進行に従い１，２，３，‥‥またはｎ＋１，ｎ＋２，ｎ＋３，‥‥のように順次切り換えられ、モニタ１８には実際に演奏しているような動きのあるキャラクタが表示される。

図５は、ＲＯＭ１１に記憶されているアンサンブル判定テーブルを示す図である。アンサンブル判定テーブルは、楽曲データのヘッダ部から音色番号が読み出されたとき、その音色の組み合わせ（楽器編成）がどのようなアンサンブルやバンドに該当するかを判定するテーブルである。

このアンサンブル判定テーブルには、アンサンブル（バンド）の名称とこのアンサンブルのパート編成が音色番号で記憶されている。小規模のアンサンブルとしては、カルテット，ジャズバンド，ロックバンドなどの編成が記憶され、中・大規模のアンサンブルとして、バロックオーケストラ，クラシカルオーケストラ，１９世紀オーケストラ，２０世紀オーケストラ，ビッグバンドなどの編成が記憶されている。アンサンブルの判定は、楽曲データ（ヘッダ部）から読み出された複数の音色番号をアンサンブル判定テーブルのパート編成と比較し、一致したときそのアンサンブルであると判定する。複数の音色番号が、どのアンサンブルのパート編成とも完全に一致しない場合には、編成が最も近いアンサンブルに決定する。編成が最も近いアンサンブルの判定は、例えば、楽曲データの複数の音色番号による編成でパートの過不足が最も少ないアンサンブルを割り出すことで行う。

さらに、アンサンブル判定テーブルには、各アンサンブル毎に、そのアンサンブルを構成する複数パートの標準的な配置が記憶されている。配置は各パート毎に（音色番号，ｘ座標，ｙ座標）のデータの組み合わせで記憶されている。ｘ座標，ｙ座標はモニタ１８の画面上に設定される座標でありｘ座標は０〜１２７，ｙ座標は０〜１２７の範囲である。楽曲データに配置情報が記憶されていないとき、この配置データに基づいてキャラクタを表示する。キャラクタは指定されたｘ，ｙ座標を中心に表示される。

なお、楽曲データに配置情報が記憶されておらず、このアンサンブル判定テーブルにも該当する適当な配置が記憶されていない場合には、楽曲の演奏前に各チャンネルのイベント数を全て数え、イベント数の最も多いパートを前列中央に表示し、順次左右，後列に表示するようにする。このような配置手法における配置順位の例を図１２に示す。この図では、順位が第１位〜第５位のパートが前列中央から左右に並び、順位が第６位から第９位のものが後列に並ぶようになっている。なお、パートの頻度順位に合わせて段々後列になってゆくように配列するようにしてもよい。

なお、５〜６人程度の小編成のアンサンブルの場合には、各パートのキャラクタを全員表示することができるが（図１０参照）、ビッグバンドや大編成のオーケストラの場合にはキャラクタを全員表示することが不可能である。このような場合には、キャラクタの表示を行わずに楽器配置データに基づいてパート配置のみ表示するようにしてもよく（図１１参照）、簡略化して縮小されたキャラクタを表示するようにしてもよい。さらに、各パート配置のみを表示し、各パートの表示色の彩度や明度をそのパートの発音レベルに応じて変化させるようにし、いまどのパートの音が大きく聞こえているかが判るようにしてもよい。

また、この実施形態では楽曲データに記憶されている音色情報に基づいてどのようなアンサンブルであるかを判定するようにしているが、楽曲データのヘッダ部にこの曲はどの形態のアンサンブルの曲であるかを予めを書き込んでおくようにしてもよい。

図６はＲＡＭ１２に設定されるパート管理テーブルを示す図である。楽曲データはＣＨ１〜ＣＨ１６の１６パートの自動演奏データである。パート管理テーブルには各パート毎に指定されている音色番号，ミュートフラグ，表示座標，指定キャラクタ番号を記憶するエリアが設けられている。ミュートフラグはこのパートの楽音を発音するかしないかを指示するフラグであり、自動演奏中に利用者がマウス１４を用いて表示中のキャラクタをクリックしたときこのフラグが反転される。このフラグがセットしているとき（“１”のとき）、このパートの楽音は発音しないように制御される。表示座標はこのパートのキャラクタを表示する画面上の座標である。この座標は上述したようにアンサンブル判定テーブル，楽曲データのヘッダ部に記憶されている配置データまたは各パートのイベント数に基づいて決定される。指定キャラクタ番号はキャラクタデータファイルのキャラクタを指定する番号であり音色番号に基づいて決定される。

図７，図８は同自動演奏装置の動作を示すフローチャートである。自動演奏動作をしないときにはモニタ１８に曲目リストを表示している（ｎ１）。この曲目リストはＨＤＤ１３に記憶されている楽曲データファイルのディレクトリに基づいて作成される。ｎ２で利用者による選曲があるまで待機する。選曲は、モニタ１８に表示された曲目リストのうちのいずれかの曲名をマウス１４でクリックすることによって行われる。選曲が行われるとこの曲の楽曲データの記憶エリアをＨＤＤ１３から検索する（ｎ３）。楽曲データの記憶エリアが検索されると、まずヘッダ部のうちの音色情報を読み出す（ｎ４）。この音色情報から割り出された複数の音色番号でアンサンブル判定テーブル（図５）を検索してこの曲のアンサンブルを割り出す（ｎ５）。編成の割り出し方式は上述したとおりである。次に、各パートのキャラクタおよび表示位置を決定する（ｎ６，ｎ７）。同時に表示態様も決定する。表示態様とは、小規模のアンサンブルの場合にはフルスケールでキャラクタを表示し、大規模のアンサンブルの場合にはパート表示のみまたは縮小したキャラクタを表示するなどである。以上の動作によって決定された内容はパート管理テーブルに記憶される（ｎ８）。

以上の動作により自動演奏の事前設定動作が完了したため、以下自動演奏動作にはいる。まず、自動演奏に用いる各種レジスタをリセットする（ｎ９）。レジスタには、デュレーションタイムをカウントダウンするためのＤＵＲレジスタ、各パートのモーションナンバをカウントするｍｏＣＮＴ（ｉ）などがある。などがある。次にパート管理テーブルからキャラクタ指定データを読み出してこのキャラクタをＨＤＤ１３から読み込む（ｎ１０）。読み込んだキャラクタをパート管理テーブルに記憶されている表示位置データに基づいてＶＲＡＭに書き込むことによってモニタ１８に表示する。ｎ９でモーションレジスタがリセットされているため、この表示はモーションナンバ１のものである。次にＤＵＲの値を判断する。ＤＵＲ＝０であれば自動演奏データ読み出しタイミングであるため読み出し処理動作（ｎ１３：図８）を実行する。自動演奏動作の最初はＤＵＲがリセットされているため必ずこの動作を行う。次にモニタ１８に表示されているキャラクタがマウス１４でクリックされたかを判断する（ｎ１４）。クリックされると、そのキャラクタで表示されるパートをミュートするかミュートを解除（アンミュート）するかの指示であるため、パート管理テーブルの対応するパートのミュートフラグＭＵＴＥ（ｉ）を反転する（ｎ１５）。つぎに、その他処理（ｎ１６）を実行し、一定時間を経過したことを判断してＤＵＲを１減算してｎ１２に戻る。

図８は読み出し処理動作を示すフローチャートである。この動作はＤＵＲ＝０のとき上記ｎ１３で実行される動作である。まず楽曲データを読み出す（ｎ２０）。読み出された楽曲データがどのようなデータであるかをｎ２１，ｎ２２，ｎ２３で判断する。読み出された楽曲データがイベントデータであればそのイベントが発生したパートの番号をｉにセットする（ｎ２４）。このパートのミュートフラグＭＵＴＥ（ｉ）を判断する（ｎ２５）。ＭＵＴＥ＝０であればそのパートはミュートされていないため、通常どおりイベントを実行する（ｎ２６）。イベントの実行とは、例えば、ノートオンイベントであれば、その楽音を発音する発音チャンネルを割り当ててキーコードやベロシティデータをその発音チャンネル（楽音合成装置１５）に送信するなどの処理である。次に、このパートのモーションカウンタｍｏＣＮＴ（ｉ）に１を加算する。このモーションカウンタは表示されるキャラクタのモーション番号を指定するカウンタである。加算の結果ｍｏＣＮＴがｎになった場合にはｍｏＣＮＴを０にセットする（ｎ２８，ｎ２９）。これは、基本モーションをｎ個のコマから形成し、それを繰り返し表示するためである。次にこのパートの発音レベルが一定以上であるかを判断する（ｎ３０）。この判断は、ノートオンイベント時のベロシティデータで判断してもよく、また、楽音合成装置１５から何らかのフィードバックデータを得てそれに基づいて判断してもよい。一定レベル以下の場合にはベースキャラクタｂを１にセットする（ｎ３１）。また、一定レベル以上の場合にはベースキャラクタナンバｂをｎ＋１にセットする（ｎ３２）。つぎに、モーション番号ＭＯを計算する（ｎ３３）。ＭＯはｍｏＣＮＴ（ｉ）＋ｂで算出される。これにより、このパートの発音レベルが一定以上の場合にはモーション番号ｎ＋１以降のキャラクタが読み出されることになり、大きなアクションのキャラクタが表示されることになる。また、ミュートされていないため表示色を濃く指定する（ｎ３４）。これらのデータに基づいてパートｉに指定されているキャラクタテーブルのなかからモーションナンバＭＯのキャラクタを読み出してキャラクタ表示を更新する（ｎ３５，ｎ３６）。こののち、次の楽曲データを読み出すためにｎ２０にもどる。また、ｎ２５でＭＵＴＥ＝１であった場合には、このパートはミュートされており発音しないためイベントを実行せずにモーションもＭＯ＝１に固定する（ｎ３７）。そして表示色をミュートを示す薄色に指定して（ｎ３８）、ｎ３５に進む。

一方、読み出されたデータがデュレーションデータであった場合にはこのデータをＤＵＲにセットして（ｎ４０）。図７の動作にリターンする。またエンドデータであった場合には演奏が終了であるため現在発音中の全楽音を消去して（ｎ４１）最初の動作ｎ１に戻る。さらにこれら以外のデータであったときには対応する動作（ｎ４２）を実行したのちｎ２０にもどる。

このようにすることにより、音楽に合わせて、その音楽にあった映像を表示することができ、実際に演奏しているようなリアルな感覚の表示にすることができる。また、ミュートの指示もそのパートの演奏者を指定するのみでよいため、簡略である。

なお、この実施形態では楽曲データのヘッダ部から音色情報を得たが、イベント数と同様に演奏に先立ってその楽曲で用いられる全ての音色を曲全体から抽出するようにしてもよい。

この発明の実施形態である自動演奏装置のブロック図同自動演奏装置のメモリ構成図楽曲データの構成図キャラクタデータファイルの構成図アンサンブル判定テーブルの構成図パート管理テーブルの構成図同自動演奏装置の動作を示すフローチャート同自動演奏装置の動作を示すフローチャート音色番号リストを示す図ロックバンドの表示例を示す図オーケストラの表示例を示す図キャラクタの配置順序の例を示す図

Claims

複数種類の音色を合成可能な楽音合成手段と、音色指定データを含む自動演奏データを記憶する自動演奏データ記憶手段と、該自動演奏データ記憶手段に記憶されている自動演奏データを読み出し前記音色指定データで指定される音色で前記楽音合成手段を駆動する自動演奏手段とを備えた自動演奏装置において、
表示手段と、
前記複数種類の各音色に対応する音量が閾値以下のときのキャラクタであって、複数枚数の画像からなるモーションで構成される通常キャラクタと、音量が閾値を超えたときのキャラクタであって、前記通常キャラクタと同じ枚数の画像からなるモーションで構成される大音量キャラクタと、を記憶するキャラクタ記憶手段と、
前記自動演奏データから音色指定データを読み出し、この音色指定データで指定された音色およびその音色の音量に対応して、前記複数枚数の画像を前記キャラクタ記憶手段から順次読み出してキャラクタのモーションを前記表示手段に表示させるものであって、前記音色の音量が閾値を超えるかまたは閾値以下に変化すると、画像の順番が直前に読み出した画像の次で、その音色の音量に応じた画像に切り替えて前記表示手段に表示させるキャラクタ表示制御手段と、
複数の音色の組み合わせとその音色に対応する各キャラクタの画面上の配置をアンサンブルの種類毎に記憶するアンサンブル記憶手段と、
前記自動演奏データから音色指定データを読み出し、この音色指定データが指定する複数の音色の組み合わせで前記アンサンブル記憶手段を検索してアンサンブルの種類および規模を割り出すアンサンブル判定手段と、
を備え、
前記キャラクタ表示制御手段は、前記アンサンブル判定手段によって割り出されたアンサンブルが、小規模の場合にはフルスケールでキャラクタを表示し、大規模の場合にはパート表示のみまたは縮小したキャラクタを前記表示手段に表示させることを特徴とする自動演奏装置。
前記キャラクタ記憶手段は、各音色に対応するキャラクタとして、その音色に対応する楽器を演奏する演奏者の姿を記憶している請求項１に記載の自動演奏装置。
前記キャラクタ記憶手段は、各音色に対応するキャラクタとして、モーションのキャラクタを記憶している請求項１または請求項２に記載の自動演奏装置。
前記キャラクタ記憶手段は、各音色に対応するキャラクタのうち、類似する音色に対応するキャラクタを共通化している請求項１乃至請求項３のいずれかに記載の自動演奏装置。
前記自動演奏データ記憶手段が記憶している自動演奏データは、音色指定データおよびこの音色の左右および上下の定位を指定する定位情報を含み、
前記キャラクタ表示制御手段は、音色指定データとともに定位情報を読み出し、前記対応するキャラクタをこの定位情報で指定された定位位置に表示させる請求項１乃至請求項４のいずれかに記載の自動演奏装置。