JP6127549B2 - 音楽データ編集方法、当該音楽データ編集方法を実現するためのプログラムおよび音楽データ編集装置 - Google Patents

Description

本発明は、楽音の発音を制御するイベント列からなる音楽データを波形表示するとともに編集することができる音楽データ編集方法、当該音楽データ編集方法を実現するためのプログラムおよび音楽データ編集装置に関する。

音楽データ編集装置として、ＤＡＷ（Digital Audio Workstation）ソフトウェアがインストールされ起動されたＰＣ（パーソナルコンピュータ）がある。

そして、ＭＩＤＩ（Musical Instrument Digital Interface）データとオーディオデータの双方を扱うことができるＤＡＷソフトウェアが起動されたＰＣのディスプレイ上には、ＭＩＤＩデータについては、ノートイベントが、五線譜上の音符やピアノロール上の円や長方形などで表示されたり、数値でリスト表示されたりする一方、オーディオデータについては、波形で表示される。

このように、上記従来のＤＡＷソフトウェアでは、ＭＩＤＩデータの表示態様とオーディオデータの表示態様が互いに異なるので、ユーザは、ＭＩＤＩデータとオーディオデータに同様の効果を付与したい場合でも、それぞれの操作方法が異なり、編集作業がし難い。たとえば、オーディオデータをリバースさせる（データの再生順序を右から左へと逆にして、逆方向に再生されるようにする）には、ユーザは、リバースさせたい範囲を指定し、マウスの右ボタンのクリックでポップアップメニューを開き、そのメニュー内の「リバース」を選択する。他方、ＭＩＤＩデータをリバースさせるには、ユーザは、そのＭＩＤＩデータに元々設定されている音色を、そのＭＩＤＩデータをリバース再生したときに発生する楽音の音色へ変更するためのＭＩＤＩのプログラムチェンジメッセージを作成して、そのＭＩＤＩデータ内に追加する必要がある。

そこで、ＭＩＤＩデータとオーディオデータとで、編集方法を一致させるために、ＭＩＤＩデータが割り当てられたトラック（以下「ＭＩＤＩトラック」という）のＭＩＤＩデータをオーディオデータに変換して、すべてのトラックをオーディオデータが割り当てられたトラック（以下「オーディオトラック」という）とすることが、一般的に行なわれている。

しかし、上記従来の方法、つまり、編集方法を一致させるためにＭＩＤＩトラックのＭＩＤＩデータをオーディオデータに変換する方法を採った場合、変換後のＭＩＤＩトラックは最早、オーディオトラックであり、変換前のＭＩＤＩトラックではないので、ユーザは、変換前のＭＩＤＩトラックで使用できていた、ＭＩＤＩトラック（ＭＩＤＩデータ）ならではの編集機能（具体的には、楽器（音色）の差し替えや音質劣化のないトランスポーズ、テンポ変更など）を使用することができなくなる。

本発明は、この点に着目してなされたものであり、編集方法はオーディオデータについての編集方法に合わせつつ、ＭＩＤＩデータならではの編集機能も使用することが可能となる音楽データ編集方法、当該音楽データ編集方法を実現するためのプログラムおよび音楽データ編集装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の音楽データ編集方法は、楽音の発音を制御するイベント列からなる音楽データを表示手段上にイベント表示する第１の表示ステップと、前記音楽データに含まれるノートイベントのそれぞれについて、対応する波形画像データを取得する波形画像取得ステップと、前記波形画像取得ステップによって取得された波形画像データに基づいて、前記音楽データを前記表示手段上に波形表示する第２の表示ステップとを有し、前記波形画像取得ステップでは、前記対応する波形画像データが存在すれば、当該対応する波形画像データを取得し、前記対応する波形画像データが存在しなければ、デフォルトの波形画像データを取得することを特徴とする。

請求項２に記載の音楽データ編集方法は、請求項１の音楽データ編集方法において、前記音楽データに基づいて楽音信号を生成する楽音信号生成手段から音色情報を取得する音色情報取得ステップをさらに有し、前記波形画像取得ステップでは、前記音色情報取得ステップによって取得された音色情報に基づいて、前記対応する波形画像データ又は前記デフォルトの波形画像データを取得することを特徴とする。
請求項３に記載の音楽データ編集方法は、請求項２の音楽データ編集方法において、前記デフォルトの波形画像データは、予め固定的に決定された特定の波形画像データ又は前記取得された音色情報に近い波形画像データであることを特徴とする。

請求項４に記載の音楽データ編集方法は、請求項１乃至３のいずれか１項の音楽データ編集方法において、ユーザが、編集指示を入力する入力手段を用いて、前記表示手段上に表示された波形画像に対して編集指示を入力したときに、当該入力された編集指示を前記音楽データの編集指示に変換する変換ステップと、ユーザによる前記編集指示の入力に応じて、前記表示された波形画像内の編集指示された波形画像データを変更して表示するとともに、前記音楽データを前記変換ステップによって変換された編集指示に基づいて変更するように制御する制御ステップとをさらに有することを特徴とする。

上記目的を達成するため、請求項５および６にそれぞれ記載のプログラムおよび音楽データ編集装置は、請求項１と同様の技術的思想によって実現できる。

請求項１，５または６に記載の発明によれば、楽音の発音を制御するイベント列からなる音楽データのイベント表示が波形表示に切り替わるので、波形表示に切り替わった後は、ユーザは、イベント列からなる音楽データについても、オーディオデータと同じ操作方法で編集作業を行うことができる。

請求項２に記載の発明によれば、楽音信号生成手段から取得された音色情報に基づいて、対応する波形画像データ又はデフォルトの波形画像データが取得され、取得された波形画像データに基づいて、当該音楽データが波形表示されるので、音楽データの音色が同じでも、楽音信号生成手段によって異なった波形表示を得ることができる。

請求項４に記載の発明によれば、ユーザによる編集指示の入力に応じて、表示された波形画像内の編集指示された波形画像データが変更されて表示されるとともに、当該音楽データが変換ステップによって変換された編集指示に基づいて変更される。つまり、イベント列からなる音楽データは、その表示がイベント表示から波形表示に切り替わったとしても、イベント列からなる音楽データであることに変わりはなく、オーディオデータではないので、その表示波形に対して編集操作がなされると、音楽データのパラメータが変更される。このように、編集方法はオーディオデータについての編集方法に合わせつつ、イベント列からなる音楽データならではの編集機能も使用することができる。

本発明の一実施の形態に係る音楽データ編集装置の概略構成を示すブロック図である。 図１の音楽データ編集装置および外部機器の各機能構成を示すブロック図である。 波形画像データによって表示される波形の一例を示す図である。 ある１つの音楽データのシーケンスをトラック毎に図１中のディスプレイ上に表示したときの画面の一部を示す図である。 図１の音楽データ編集装置、特に図２中の制御部が実行するＭＩＤＩトラックの波形表示処理の手順を示すフローチャートである。 図１の音楽データ編集装置、特に図２中の制御部が実行するＭＩＤＩデータの編集処理の手順を示すフローチャート（（ａ））と、図４（ｂ）の領域内の波形画像データを拡大し、そのエンベロープを抽出した図（（ｂ））である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

図１は、本発明の一実施の形態に係る音楽データ編集装置１００の概略構成を示すブロック図である。本実施の形態の音楽データ編集装置１００は、ＤＡＷソフトウェアがインストールされ起動されたＰＣである。

同図に示すように、音楽データ編集装置１００は、文字入力用キーボードおよびポインティングデバイス（たとえばマウス）からなる操作入力部１と、装置全体の制御を司るＣＰＵ２と、該ＣＰＵ２が実行する基本制御プログラム（ＢＩＯＳ：Basic Input Output System）や各種テーブルデータ等を記憶するＲＯＭ３と、入力された演奏情報（演奏イベント）、各種入力情報および演算結果等を一時的に記憶するＲＡＭ４と、前記ＤＡＷソフトウェアを含む各種アプリケーションプログラムやＯＳ（Operating System）、各種音楽データ、各種データ等を記憶する記憶装置５と、各種情報等を表示する、たとえば大型のＬＣＤ（Liquid Crystal Display）からなるディスプレイ６と、外部ＭＩＤＩ機器である電子鍵盤楽器２００を接続し、この電子鍵盤楽器２００とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）７と、前記入力された演奏情報や、前記記憶装置５に記憶されたいずれかの音楽データを再生して得られた演奏情報（演奏イベント）等を楽音信号に変換するとともに、その楽音信号に各種効果を付与するための音源・効果回路８と、該音源・効果回路８からの楽音信号を音響に変換する、たとえば、ＤＡＣ（Digital-to-Analog Converter）やアンプ、スピーカ等のサウンドシステム９とにより構成されている。

上記構成要素１〜８は、バス１０を介して相互に接続され、通信Ｉ／Ｆ７には電子鍵盤楽器２００が接続され、音源・効果回路８にはサウンドシステム９が接続されている。

記憶装置５は、たとえば、フレキシブルディスク（ＦＤ）、ハードディスク（ＨＤ）、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）、光磁気ディスク（ＭＯ）および半導体メモリなどの記憶媒体とその駆動装置である。記憶媒体は駆動装置から着脱可能であってもよいし、記憶装置５自体が音楽データ編集装置１００から着脱可能であってもよい。あるいは、記憶媒体も記憶装置５も着脱不可能であってもよい。

通信Ｉ／Ｆ７としては、たとえば、ＭＩＤＩ信号などの音楽信号を専用に送受信する音楽専用有線Ｉ／Ｆ、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などの汎用近距離有線Ｉ／Ｆ、Ｅｔｈｅｒｎｅｔ（登録商標）などの汎用ネットワークＩ／Ｆ、無線ＬＡＮ（local area network）やＢｌｕｅｔｏｏｔｈ（登録商標）などの汎用近距離無線Ｉ／Ｆを挙げることができる。本実施の形態では、通信Ｉ／Ｆ７としてＵＳＢを採用しているが、これに代えて他の種類のＩ／Ｆを採用してもよいし、これに他の種類のＩ／Ｆを加えるようにしてもよい。

なお音楽データ編集装置１００は、上述のように、電子鍵盤楽器２００を外部接続した汎用的なＰＣ上に構築されたが、鍵盤以外の楽器（弦楽器タイプや打楽器タイプなど）あるいは演奏用の操作子を持たない音源を外部接続した汎用的なＰＣ上に構築してもよいし、汎用的なＰＣ上ではなく、専用装置上に構築してもよい。ただし後述するように、本発明は、音源（その名称は「音源」に限らず、楽音を生成するものであれば「楽音生成装置」等、何でもよい）から、その音源で生成される楽音の「音色情報」を取得し、この「音色情報」に基づいて波形画像データ（群）を選択（取得）するので、本発明の音楽データ編集装置の内部あるいは外部に、少なくとも１つの音源は必要である。

図２は、音楽データ編集装置１００および電子鍵盤楽器２００の各機能構成を示すブロック図である。同図に示すように、音楽データ編集装置１００は、制御部１０１、記憶部１０２、操作入力部１およびディスプレイ６によって構成されている。また電子鍵盤楽器２００は、演奏操作部２０１、楽音生成部２０２および出力部２０３によって構成されている。

操作入力部１は、図１の前記操作入力部１と同じものであり、ユーザは、操作入力部１を用いて、ＭＩＤＩデータ自体を入力したり、入力済みのＭＩＤＩデータを含む各種データの編集や削除などの指示を入力したりする。

制御部１０１は、主として図１の前記ＣＰＵ２、ＲＯＭ３およびＲＡＭ４によって構成され、ＣＰＵ２が後述する図５および図６の処理を含む制御処理を実行することによって実現される。

記憶部１０２は、図１の前記記憶装置５によって構成され、ＭＩＤＩデータ１０２ａとオーディオデータ１０２ｃの２種類の音楽データを記憶する。本発明は、ＭＩＤＩデータ１０２ａを波形表示させる点に特徴があるので、ＭＩＤＩデータ１０２ａは、記憶部１０２に記憶されている必要があるが、オーディオデータ１０２ｃは、記憶部１０２に記憶されている必要はない。しかし、本実施の形態で採用したＤＡＷソフトウェアは、ＭＩＤＩデータもオーディオデータも取り扱えるため、記憶部１０２には、ＭＩＤＩデータ１０２ａだけでなく、オーディオデータ１０２ｃも記憶されているとする。なお、ＭＩＤＩデータ１０２ａもオーディオデータ１０２ｃもそれぞれ、複数のＭＩＤＩデータおよびオーディオデータからなるものとする。音楽データ編集装置１００が編集対象とする音楽データは通常、複数のパート（トラック）からなり、各パートにＭＩＤＩデータ１０２ａおよびオーディオデータ１０２ｃの中からユーザが任意に選択して割り当てたものである。

記憶部１０２はさらに、編集対象の音楽データに含まれるＭＩＤＩデータを波形表示する際に使用する波形画像データ１０２ｂも記憶する。波形画像データとは、ノートイベントに対応する発音状態を、時間と振幅（たとえば、時間の経過に応じた振幅の推移）によって表示するためのものである。

図３は、波形画像データによって表示される波形の一例を示す図である。同図（ａ）の波形は、本実施の形態で使用する波形画像データ１０２ｂに基づいて表示されるものであり、発音される楽音の振幅の推移を忠実に再現したものである。同図（ｂ）の波形は、同図（ａ）の波形からそのエンベロープを抽出したものである。この（ｂ）の波形では、エンベロープの輪郭のみが表示されるが、エンベロープ内を塗りつぶして表示してもよい。同図（ｃ）の波形は、振幅の推移を大まかに表示したものであり、同図（ｄ）の波形は、（ｃ）の波形と異なる形状、かつ異なる線種で表示したものである。本実施の形態では、波形画像データ１０２ｂとして、典型的な（ａ）の波形を表示するものを採用するが、他の（ｂ）〜（ｄ）の波形、さらにはこれ以外の波形を表示するものを採用してもよい。要するに、異なる発音状態を、時間と振幅に基づいて異なる表示態様で表示できれば、発音状態を忠実に再現するものでなくてもよい。

発音状態は、たとえば「ピアノ音色のＣ３（ド）」の音であっても、８分音符と全音符、フォルテとピアノでは、全く鳴り方が異なるため、発音状態によって波形の形状は異なる。しかし、音高（ノート番号）、音符長、ベロシティなどの、波形の形状を異ならせるあらゆる要素に対応して波形画像データを用意した場合、波形画像データの数が膨大になる結果、その記憶容量が膨大になりすぎて現実的ではない。したがって、記憶部１０２には、所定のいくつかの条件（あるいは要素）に対応する波形画像データ１０２ｂを記憶しておき、発音状態が上記条件と異なるノートイベントについては、波形画像データ１０２ｂ（のうち対応するもの）を縦方向（振幅方向）や横方向（時間方向）に拡大または縮小して使用するようにしている。拡大／縮小は、たとえば記憶部１０２に対応テーブル（図示せず）を記憶しておき、それを参照して行うようにすればよい。または、記憶部１０２に記憶されていない波形画像データは、音楽データ編集装置１００の外部（たとえば、インターネット経由で接続されたサーバ等）から取得して使用するようにしてもよい。あるいは、波形画像データ１０２ｂは、記憶部１０２には記憶せず、すべて外部から取得するようにしてもよい。

波形画像データ１０２ｂは、複数の音色のそれぞれについて、ノート番号の個数分の波形画像データを含んでいる。つまり、音色毎に複数の波形画像データからなる波形画像データ群を含んでいる。そして、音色名が同じＭＩＤＩデータであっても、そのＭＩＤＩデータを再生して得られたノートイベントが供給される音源によって発音される音は異なるため、波形画像データ群も音源によって異なるものが用いられる方が好ましい。したがって、同じ音色名でも、複数の波形画像データ群が含まれることもある。この場合の各波形画像データ群は、各音源が自身の楽音生成に用いている音色情報によって区別される。なお「音色情報」の具体的な内容については、図５に基づいて後述する。

ディスプレイ６は、図１の前記ディスプレイ６と同じものであり、編集対象の音楽データを表示する。その表示態様は、図４に基づいて後述する。

演奏操作部２０１は、鍵盤、スライダ、ジョイスティック、ホイールおよびダイヤルなどによって構成され、ユーザが演奏に用いることで、演奏情報を入力する。

楽音生成部２０２は、演奏操作部２０１から供給される演奏情報を楽音信号に変換し、その楽音信号に適宜各種効果を付与した後、出力部２０３に出力する。この処理は、音楽データ編集装置１００の前記音源・効果回路８が実行する処理と同じである。また楽音生成部２０２は、制御部１０１とＭＩＤＩメッセージを送受信できるように構成されている。制御部１０１は、音楽データを再生して、楽音を発生させるときには、自身の音源・効果回路８から発生させるのではなく、楽音生成部２０２から発生させる。つまり、本実施の形態の音楽データ編集装置１００は、電子鍵盤楽器２００を外部音源としても使用している。このため、制御部１０１は、音楽データを再生して得られたデータをＭＩＤＩメッセージの形式で楽音生成部２０２に送信する。再生対象の音楽データが、ＭＩＤＩデータとオーディオデータの双方からなるものとすると、制御部１０１は、ＭＩＤＩデータを再生したときには、その再生によって得られたＭＩＤＩメッセージをそのまま楽音生成部２０２に送信する一方、オーディオデータを再生したときには、その再生によって得られたオーディオデータを、たとえばシステム・エクスクルーシブ・メッセージ（以下“ＳｙｓＥｘ”と略す）内に埋め込んで、楽音生成部２０２に送信する。楽音生成部２０２は、制御部１０１からＭＩＤＩメッセージを受信すると、そのＭＩＤＩメッセージを解析し、解析結果に応じた楽音信号を生成して、出力部２０３に出力する。さらに楽音生成部２０２は、制御部１０１からの、たとえばプログラムチェンジメッセージ（以下“ＰｒｇＣｈ”と略す）を用いた問い合わせに応じて、楽音生成部２０２が楽音生成に用いている音色情報を、たとえばＳｙｓＥｘ内に埋め込んで、制御部１０１に送信する。なお、制御部１０１が受信した「音色情報」をどのように用いるかについては、「音色情報」の具体的な内容とともに、図５に基づいて後述する。

出力部２０３は、楽音生成部２０２から供給された楽音信号を音響に変換する。この処理は、音楽データ編集装置１００の前記サウンドシステム９が実行する処理と同じである。本実施の形態では、音響はスピーカから発生するようにしたが、これに限らず、ヘッドフォン（のスピーカ）から発生するようにしてもよい。この事情は、サウンドシステム９についても同様である。

音源は、本実施の形態では前述のように、電子鍵盤楽器２００内の楽音生成部２０２を使用するようにしたが、もちろん、音楽データ編集装置１００内の音源・効果回路８を使用してもよいし、再生対象の音楽データやパートによって、発音させる音源を変えてもよい。音源は、演奏情報（具体的には、ノートイベントなどの演奏イベント）を入力し、これに応じた楽音信号を生成して出力するものであれば、楽音生成方法は問わない。また、音源をハードウェアのみで構成しても、ソフトウェアのみで構成しても、あるいはハードウェアとソフトウェアの両方で構成しても構わない。

以上のように構成された音楽データ編集装置が実行する制御処理を、まず図２および図４を参照してその概要を説明し、次に図５および図６を参照して詳細に説明する。

音楽データ編集装置１００は、主として、
（１）少なくとも１つのパート（トラック）にＭＩＤＩデータを含む音楽データのシーケンスを表示する場合に、ＭＩＤＩデータを構成する各ノートイベントの音高および音長などを通常の表示態様で行う表示（以下「イベント表示」という）を、オーディオデータを表示する際の通常の表示である波形表示に切り替えて表示するＭＩＤＩトラックの波形表示処理；
（２）上記（１）の波形表示処理によって表示された波形に対してユーザが編集操作を施したときに、その編集操作に応じて、編集対象のＭＩＤＩデータのパラメータを変更するＭＩＤＩデータの編集処理；
を実行する。

図４は、ある１つの音楽データのシーケンスをトラック毎にディスプレイ６上に表示したときの画面の一部を示す図である。同図（ａ）は、オーディオトラックは波形表示し、ＭＩＤＩトラックはイベント表示した画面６１を示し、同図（ｂ）は、ＭＩＤＩトラックも波形表示した画面６２を示している。

上記（１）の波形表示処理が実行される前は、ディスプレイ６上の一部には、図４（ａ）の画面６１が表示される。図４（ａ）では、オーディオトラック（トラック１）は、波形表示であり、発音状態を時間軸（横方向）と振幅（縦方向）により表す波形で表示されている。ステレオデータであるので、左右それぞれの波形が表示されている。ＭＩＤＩトラック（トラック２，３）は、イベント表示であり、ＭＩＤＩデータを構成する各ノートイベントが、音高および音長などを表す点や線で表示されている。点や線以外にも、各イベントの意味を表す他の記号（丸や長方形、音符など）や色などが含まれていてもよい。

この表示状態で、たとえば、ユーザがマウスの右ボタンをクリックすると、図示しないカーソルの位置にポップアップメニューが表示される。そしてユーザが、そのメニュー内に記載されている「波形表示」を選択すると、上記（１）の波形表示処理が実行される。その結果、画面６１が図４（ｂ）の画面６２に切り替わる。つまり、トラック２，３のＭＩＤＩトラックがイベント表示から波形表示に切り替わり、さらに、新トラック４が、トラック２，３の波形画像を合わせたバウンス波形画像データを表示するバウンス（Ｂｏｕｎｃｅ）トラックとして出現する。ただしこのとき、画面６２内にはまだ、領域６３は表示されていない。

このように、ＭＩＤＩトラックのイベント表示が波形表示に切り替わるので、波形表示に切り替わった後は、ユーザは、ＭＩＤＩトラックのＭＩＤＩデータについても、オーディオトラックのオーディオデータと同じ操作方法で編集作業を行うことができる。その結果、ユーザの編集作業の効率が向上する。

次にユーザが、図４（ｂ）の画面６２上の一部領域、たとえば領域６３を前記カーソルで指定した後、その領域６３内の波形画像データに対して何らかの編集操作、たとえば当該波形画像の形状を変形する操作を行うと、前記（２）のＭＩＤＩデータの編集処理が実行される。この（２）ＭＩＤＩデータの編集処理では、操作位置と操作量を検出し、検出した操作位置と操作量に応じて、当該波形画像データを編集（ここでは、変形）し、編集結果を逐次表示する。さらに、当該波形画像データの所定位置に設けた座標の、編集前後の変化量を算出し、算出された変化量に応じて、当該波形画像データに対応するＭＩＤＩパラメータを変更する。つまり、ＭＩＤＩトラックのＭＩＤＩデータは、その表示がイベント表示から波形表示に切り替わったとしても、ＭＩＤＩデータであることに変わりはなく、オーディオデータではないので、その表示波形に対して編集操作がなされると、ＭＩＤＩパラメータが変更される。このように、編集方法はオーディオデータについての編集方法に合わせつつ、ＭＩＤＩデータならではの編集機能も使用することができる。

次に、この制御処理を詳細に説明する。

図５は、本実施の形態の音楽データ編集装置、特に制御部１０１が実行するＭＩＤＩトラックの波形表示処理の手順を示すフローチャートである。本波形表示処理は、前記（１）の波形表示処理に相当するので、前述のように、図４（ａ）の画面６１が表示されている状態で、ユーザがマウスの右ボタンをクリックすることによって表示されたポップアップメニューに記載されている「波形表示」を選択したときに、起動される。

本波形表示処理が起動されると、まず制御部１０１は、カウンタｎを初期値“１”にリセットする（ステップＳ１）。カウンタｎは、たとえば、前記ＲＡＭ４の所定位置に設けられたソフトウェアカウンタである。

次に制御部１０１は、編集対象（本波形表示処理の対象）の音楽データ中、カウンタｎによって示されるトラック（以下「トラックｎ」という）がＭＩＤＩトラックであるかどうかを判定する（ステップＳ２）。この判定の結果、トラックｎがＭＩＤＩトラックであるときには、制御部１０１は、ステップＳ３〜Ｓ８の処理を実行した後、処理をステップＳ９に進める一方、トラックｎがＭＩＤＩトラックでないときには、制御部１０１は、ステップＳ３〜Ｓ８をスキップして、処理をステップＳ９に進める。

ステップＳ９では、制御部１０１は、トラックｎが当該音楽データの最後のトラックかどうかを判定する。その判定の結果、最後のトラックではないときには、制御部１０１は、カウンタｎを“１”だけインクリメントして（ステップＳ１０）、次のトラックに進めた後、処理をステップＳ２に戻す。一方、最後のトラックのときには、制御部１０１は、処理をステップＳ１１に進める。

今、編集対象の音楽データが、図４（ａ）に表示された音楽データ、つまり、トラック１にギター音色（Ｇｕｉｔａｒ）のオーディオデータ、トラック２にピアノ音色（Ｐｉａｎｏ）のＭＩＤＩデータ、トラック３にドラムス音色（Ｄｒｕｍｓ）のＭＩＤＩデータがそれぞれ割り当てられた音楽データであるとする。この音楽データの場合、制御部１０１は、オーディオトラックであるトラック１についてはカウンタｎのインクリメントだけ行い（ステップＳ２→Ｓ９→Ｓ１０）、次のトラック２に進める。

トラック２はＭＩＤＩトラックであるので、制御部１０１は、トラック２に割り当てられているＭＩＤＩデータの音色番号を音源に送信する（ステップＳ３）。トラック２には、上述のようにピアノ音色のＭＩＤＩデータが割り当てられているが、ピアノ音色は通常、ピアノの種類に応じて複数あるので、制御部１０１は、トラック２に現に割り当てられている音色の番号を送信する。音色番号は、本実施の形態では前述のように、ＰｒｇＣｈによって送信されるが、これに限らず、ＳｙｓＥｘなどの他のメッセージによって送信するようにしてもよい。ＰｒｇＣｈの送信先の「音源」は、本実施の形態では前述のように、電子鍵盤楽器２００の楽音生成部２０２である。

楽音生成部２０２は、このＰｒｇＣｈを受信すると、前述のように、自身が楽音生成に用いている音色情報をＳｙｓＥｘ内に埋め込んで、制御部１０１に送信する。制御部１０１は、このＳｙｓＥｘを受信し、受信したＳｙｓＥｘ内に埋め込まれている音色情報を取得する（ステップＳ４）。音色情報は、本実施の形態では、当該音色番号の楽音波形の特徴を示すパラメータ、具体的には“ＡＤＳＲ”とする。なお“ＡＤＳＲ”とは、楽音波形のAttack（立ち上がり）、Decay（減衰）、Sustain（減衰後の保持）およびRelease（余韻）のそれぞれの頭文字を取ったものであり、ＡＤＳＲに関する時間方向および振幅方向のパラメータ値が与えられると、波形の形状が特定できる。

次に制御部１０１は、取得したＡＤＳＲに合致する波形画像データ（群）が記憶部１０２の波形画像データ１０２ｂ内にあるかどうかを判定する（ステップＳ５）。その判定の結果、当該波形画像データ（群）が波形画像データ１０２ｂ内にあれば、制御部１０１は、当該波形画像データ（群）を選択する（ステップＳ６）一方、当該波形画像データ（群）が波形画像データ１０２ｂ内になければ、制御部１０１は、波形画像データ１０２ｂ内にあるデフォルト波形画像データ（群）を選択する（ステップＳ７）。

本実施の形態では、波形画像データ１０２ｂに含まれる各波形画像データ（群）は、当該楽音波形の特徴を示すＡＤＳＲと対応付けられている。したがって、音色名が同じであっても、ＡＤＳＲが異なれば、波形画像データ（群）は異なるものとして取り扱われる。ＡＤＳＲが異なるものすべてについて波形画像データ（群）を記憶することは、記憶部１０２の容量や波形画像データ（群）を収集あるいは作成する手間などの理由により、現実的ではないので、主要な一部のＡＤＳＲの波形画像データ（群）を記憶することになる。このため、音源から送信されて来たＡＤＳＲに合致する波形画像データ（群）が記憶部１０２に記憶されていないことが起こり得るので、前記ステップＳ５の判定が必要になる。波形画像データ（群）が記憶部１０２に記憶されていない場合に選択されるデフォルト波形画像データは、予め固定的に決定された特定の波形画像データ（群）であってもよいし、ステップＳ５の判定時に取得されているＡＤＳＲに近い波形画像データ（群）であって、制御部１０１によってダイナミックに決定されたものであってもよい。

次に制御部１０１は、選択された波形画像データ（群）から、トラック２に割り当てられているＭＩＤＩデータに含まれる各ノートイベントに応じた波形画像データを取得して表示する（ステップＳ８）。これにより、トラック２は、図４（ａ）のイベント表示から図４（ｂ）の波形表示に切り替わる。トラック２は、当該音楽データの最後のトラックではないので、制御部１０１は、次のトラック３に進めた（ステップＳ１０）後、処理を前記ステップＳ２に戻す。

トラック３は、トラック２と同様にＭＩＤＩトラックであるので、制御部１０１は、トラック２のＭＩＤＩデータに行った処理と同様の処理をトラック３のＭＩＤＩデータについても行う（ステップＳ３〜Ｓ８）。これにより、トラック３も、図４（ａ）のイベント表示から図４（ｂ）の波形表示に切り替わる。トラック３は、当該音楽データの最後のトラックであるので、制御部１０１は、処理をステップＳ１１に進める。

ステップＳ１１では、制御部１０１は、全ＭＩＤＩトラック、つまりトラック２，３の波形画像を合わせたバウンス波形画像データを生成する。そしてステップＳ１２では、制御部１０１は、生成したバウンス波形画像データを新トラックに表示する。これにより、図４（ｂ）に示すように、新トラック４にバウンス波形が表示される。その後、制御部１０１は、本波形表示処理を終了する。

トラック４のバウンス波形は、図４（ｂ）では、トラック２，３の波形画像を単純に合成したものが図示されているが、これに限らず、時間軸（図４中、整数値（１，３，…）が付与されている横軸）を拡大または縮小したものを表示するようにしてもよいし、一部分を切り出したものや、その切り出した一部分の時間軸を拡大または縮小したものなどを表示するようにしてもよい。そして、時間軸の変更や一部分の範囲などは、ユーザが任意に設定できるようにしてもよい。

なお本実施の形態では、楽音生成部２０２が送信する音色情報は、当該音色番号の楽音波形の特徴を示すパラメータとしたが、これに限られる訳ではない。他の例としては、
（２１）波形画像データそのもの；
（２２）音源の種類または型番を示す情報（たとえば、ＩＤ）；
などを挙げることができる。

上記（２１）の場合、楽音生成部２０２は、受信した音色番号に対応する波形画像データ（群）をＳｙｓＥｘ内に埋め込んで送信する。あるいは、制御部１０１から音色番号に加えて、ノート番号（当該ＭＩＤＩデータに含まれる各ノートイベントのノート番号）も送信してもらい、楽音生成部２０２は、受信した音色番号に対応する波形画像データ（群）のうち、受信したノート番号の波形画像データをＳｙｓＥｘ内に埋め込んで送信するようにしてもよい。このようにすれば、楽音生成部２０２は、受信した音色番号に対応する波形画像データ（群）をすべて送信しなくてもよいので、波形画像データの送信時間を短縮することができる。楽音生成部２０２から波形画像データ（群）の埋め込まれたＳｙｓＥｘが送信されると、制御部１０１は、これを受信し、受信したＳｙｓＥｘから波形画像データ（群）を取り出して、記憶部１０２に記憶する。つまり、取り出された波形画像データ（群）は、波形画像データ１０２ｂの一部になる。なお、楽音生成部２０２は、受信した音色番号に対応する波形画像データ（群）を持っていない場合も考えられる。この場合には、楽音生成部２０２は、自身が持っているデフォルト波形画像データ（群）を送信するようにしてもよいし、エラーなどの持っていないことを示す情報を送信するようにしてもよい。

上記（２２）の場合、制御部１０１は、受信したＩＤと、ＭＩＤＩトラックに割り当てられているＭＩＤＩデータの音色番号の両方に合致する波形画像データ（群）を波形画像データ１０２ｂから検索することになる。この場合には、波形画像データ１０２ｂに含まれる各波形画像データ（群）は、ＡＤＳＲではなく、ＩＤと音色番号に対応付ける必要がある。もちろん、各波形画像データ（群）がＡＤＳＲと対応付けられていたとしても、たとえばテーブルデータによって、ＩＤと音色番号からＡＤＳＲが分かるように構成すれば、各波形画像データ（群）の対応付けを、ＡＤＳＲからＩＤと音色番号に変更しなくてもよい。上記（２２）の場合についてのそれ以外の処理は、本実施の形態で前述した処理とほとんど変わらないので、その説明は省略する。

図５の波形表示処理により、ＭＩＤＩトラックがイベント表示から波形表示に切り替わった状態で、ユーザが、その波形表示に対して何らかの操作、たとえば、カーソルによって一部領域を指定する操作を行うと、制御部１０１は、前記（２）のＭＩＤＩデータの編集処理を起動する。図６（ａ）は、このＭＩＤＩデータの編集処理の手順を示すフローチャートである。

今ユーザが、図４（ｂ）の画面６２中の領域６３を指定し、領域６３内の波形画像データに対して何らかの編集操作を行ったとすると、制御部１０１は、その操作位置を特定し、操作量を検出する（ステップＳ２１）。図６（ｂ）は、領域６３内の波形画像データを拡大し、そのエンベロープ６４を抽出した図を示している。領域６３内の抽出されたエンベロープ６４の片方（上側）には、その特徴点を示す位置に４つの座標点ｐ１〜ｐ４が表示される。座標点ｐ１は、ＡＤＳＲにおけるアタック（Attack）の終点を示し、座標点ｐ２は、ディケイ（Decay）の終点を示し、座標点ｐ３は、サスティン（Sustain）の終点を示し、座標点ｐ４は、リリース（Release）の終点を示している。ユーザの上記編集操作が、領域６３内のエンベロープ６４の形状を変形するものであったとすると、上記ステップＳ２１では、制御部１０１は、領域６３内のどの位置からどのような変形が指示されたかを検出する。

次に制御部１０１は、検出された操作位置および操作量に応じて波形画像データを編集する（ステップＳ２２）。この編集後の波形画像データは、逐次表示される。その結果、領域６３内のエンベロープ６４は、ユーザの指示通りに変形され、座標点ｐ１〜ｐ４も、変形後のエンベロープ上の対応する位置に移動する。

次に制御部１０１は、編集前後の座標の変化量を算出する（ステップＳ２３）。つまり、座標点ｐ１〜ｐ４のそれぞれについて、編集前の座標から編集後の座標までの変化量が算出される。

そして制御部１０１は、算出された座標の変化量に応じて、対応するＭＩＤＩパラメータを変更した（ステップＳ２４）後、本ＭＩＤＩデータの編集処理を終了する。座標点ｐ１〜ｐ４の移動と、それによって変更すべきＭＩＤＩパラメータの種類とは、たとえば
（３１）座標点ｐ１の上／下移動 ：ベロシティ；
（３２）座標点ｐ１の左／右移動 ：アタックタイム、ディケイタイム；
（３３）座標点ｐ２，ｐ３の上／下移動：サスティンレベル；
（３４）座標点ｐ２，ｐ３の左／右移動：ディケイタイム、リリースタイム；
（３５）座標点ｐ４の左／右移動 ：リリースタイム、ノートオフタイミング；
のように対応付けられる。前記記憶部１０２には、座標の変化量に対するＭＩＤＩパラメータの変化量を示すテーブル（図示せず）が予め記憶されているので、制御部１０１は、算出された各座標点ｐ１〜ｐ４の変化量に基づいてテーブルを検索することで、ＭＩＤＩパラメータの変化量を決定し、決定した変化量だけ、目的のＭＩＤＩパラメータの値を変更する。

領域６３内のエンベロープ６４を変形した場合、座標点ｐ１〜ｐ４のうちのある１つの座標点だけが移動し、他の３つの座標点は移動しないという状態は、ほとんど起こらないので、座標点ｐ１〜ｐ４のうちの、少なくとも一部の複数の座標点が同時に移動することになる。たとえば、座標点ｐ１が移動したとすると、座標点ｐ１だけではなく、座標点ｐ２，ｐ３も移動することになるので、ベロシティ、アタック、ディケイ、サスティンおよびリリースなどの複数の種類のパラメータの値が同時に変更される。

領域６３内のエンベロープ６４の形状の変更は、上述のように直接指示する方法に限らず、たとえば、ユーザが領域６３内あるいはその近傍をカーソルで指示し、マウスの右ボタンをクリックすると、編集メニューがポップアップ表示される。そしてユーザが、そのメニューに記載されている「エフェクト」、「リバース」および「ピッチシフト」などの編集項目のいずれかを選択すると、選択された編集項目に応じた形状の変更が指示されて実行されるようにしてもよい。各編集項目と、それによって変更すべきＭＩＤＩパラメータの種類とは、たとえば
（４１）エフェクト ：リバーブ、コーラスなど；
（４２）リバース ：プログラムチェンジ；
（４３）ピッチシフト：ピッチ、ピッチベンド、ノートナンバ（ノーマル音色のみ）など；
のように対応付けられる。

なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。

また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

１…操作入力部（入力手段），６…ディスプレイ（表示手段、第１の表示手段、第２の表示手段），１０１…制御部（第１の表示手段、第２の表示手段、波形画像取得手段）

Claims (6)

1. 楽音の発音を制御するイベント列からなる音楽データを表示手段上にイベント表示する第１の表示ステップと、
   前記音楽データに含まれるノートイベントのそれぞれについて、対応する波形画像データを取得する波形画像取得ステップと、
   前記波形画像取得ステップによって取得された波形画像データに基づいて、前記音楽データを前記表示手段上に波形表示する第２の表示ステップと
   を有し、
   前記波形画像取得ステップでは、前記対応する波形画像データが存在すれば、当該対応する波形画像データを取得し、前記対応する波形画像データが存在しなければ、デフォルトの波形画像データを取得することを特徴とする音楽データ編集方法。
2. 前記音楽データに基づいて楽音信号を生成する楽音信号生成手段から音色情報を取得する音色情報取得ステップをさらに有し、
   前記波形画像取得ステップでは、前記音色情報取得ステップによって取得された音色情報に基づいて、前記対応する波形画像データ又は前記デフォルトの波形画像データを取得することを特徴とする請求項１に記載の音楽データ編集方法。
3. 前記デフォルトの波形画像データは、予め固定的に決定された特定の波形画像データ又は前記取得された音色情報に近い波形画像データであることを特徴とする請求項２に記載の音楽データ編集方法。
4. ユーザが、編集指示を入力する入力手段を用いて、前記表示手段上に表示された波形画像に対して編集指示を入力したときに、当該入力された編集指示を前記音楽データの編集指示に変換する変換ステップと、
   ユーザによる前記編集指示の入力に応じて、前記表示された波形画像内の編集指示された波形画像データを変更して表示するとともに、前記音楽データを前記変換ステップによって変換された編集指示に基づいて変更するように制御する制御ステップと
   をさらに有することを特徴とする請求項１乃至３のいずれか１項に記載の音楽データ編集方法。
5. 音楽データ編集方法をコンピュータに実行させるためのプログラムであって、
   前記音楽データ編集方法は、
   楽音の発音を制御するイベント列からなる音楽データを表示手段上にイベント表示する第１の表示ステップと、
   前記音楽データに含まれるノートイベントのそれぞれについて、対応する波形画像データを取得する波形画像取得ステップと、
   前記波形画像取得ステップによって取得された波形画像データに基づいて、前記音楽データを前記表示手段上に波形表示する第２の表示ステップと
   を有し、
   前記波形画像取得ステップでは、前記対応する波形画像データが存在すれば、当該対応する波形画像データを取得し、前記対応する波形画像データが存在しなければ、デフォルトの波形画像データを取得することを特徴とするプログラム。
6. 楽音の発音を制御するイベント列からなる音楽データをイベント表示する第１の表示手段と、
   前記音楽データに含まれるノートイベントのそれぞれについて、対応する波形画像データを取得する波形画像取得手段と、
   前記波形画像取得手段によって取得された波形画像データに基づいて、前記音楽データを前記表示手段上に波形表示する第２の表示手段とを有し、
   前記波形画像取得手段は、前記対応する波形画像データが存在すれば、当該対応する波形画像データを取得し、前記対応する波形画像データが存在しなければ、デフォルトの波形画像データを取得することを特徴とする音楽データ編集装置。

Images