JP4735221B2 - 演奏データ編集装置及びプログラム - Google Patents

Description

この発明は、演奏データに付加する表情を抑揚の変化に応じて制御することができる演奏データ編集システムに関する。

ＭＩＤＩデータなどの演奏データを音符の情報のみで構成すると、機械的に無表情な演奏になってしまう。より自然な演奏、美しい演奏、生々しい演奏などを実現するためには、様々な音楽的な表現や、楽器らしさを制御データとして加える上、ＭＩＤＩデータの編集方法を熟知している必要がある。しかし、このような演奏表現を加える作業について、曲のどの部分にどのような表現を加えるかをユーザに委ねるとしたら、ユーザは音楽や楽器の特性を熟知している必要が生じる。つまり、ユーザは、実際の楽器の演奏特性とコンピュータミュージックの両方に長けていないと良いと思われる演奏データを作り上げることができず、また、両方に長けていても面倒かつ困難な作業である。従って、幅の広いユーザに簡単に使えるシステムにするためには、機械が判断できる部分は自動的に行なった方がよい。

このため、例えば、特許文献１や特許文献２のように、演奏データに楽器らしさを出すための自動化の工夫を施したものが提案されている。
特開２００２−２４４６５７号公報 特開２００５−１１５０７３号公報

特許文献１の演奏情報処理装置では、曲全体に構成感のある表情付けを実施するため、曲を幾つかの部分に分割し、分割区間毎に抑揚データを適用して抑揚表情を付加するようになっており、抑揚表情を付加する具体的な手段としては音量を抑揚データによって制御している。また、特許文献２の音楽的表情付け装置では、表情付け制御データを用いて音量だけでなくビブラートなどによる音楽表現情報を演奏データに自動的に付加している。

しかしながら、従来技術では、ノートの時間的位置に相当する抑揚データや表情付け制御データの値が直接表情付けに関与しており、抑揚の変化が反映されていない。つまり、例えば、抑揚の度合が同じでも、抑揚が高まる場合と収まる場合では音楽表現の種類が異なると、より自然な演奏が得られることが多く、抑揚の変化は音楽表現にとっては重要であるにも拘わらず、このような抑揚の変化が考慮されていなかった。

この発明の主たる目的は、このような事情に鑑み、抑揚の変化を考慮することにより、知識の少ない初心者ユーザであっても、十分に表情付けされ、本物の楽器らしい自然な演奏が実現可能な演奏データを生成することができるようにした演奏データ編集システムを提供することにある。

この発明の主たる特徴に従うと、ノート情報を含む演奏データ〔図２（１ａ）〕を取得する演奏データ取得手段（Ｅ１）と、取得された演奏データ〔図２（１ａ）〕について、表情付けの対象となる演奏データ部分（対象音符群Ａ，Ｂ，Ｃ，…）を設定する対象設定手段（Ｅ５）と、取得された演奏データ〔図２（１ａ）〕に対して、演奏に従い時間的に変化する演奏の抑揚を値で表わす抑揚データ〔図２（１ｂ）〕を設定する抑揚設定手段（Ｅ４）と、上記演奏データ部分（Ａ，Ｂ，Ｃ，…）に設定された抑揚データ〔図３（２）〕の時間的な変化が所定の条件の何れに合致するかを調べ、合致する条件に対応した抑揚変化の特徴を表わす特徴情報（各種テーブル）を抽出する特徴抽出手段（Ｅ７）と、抽出された特徴情報（各種テーブル）及び上記演奏データ部分（Ａ，Ｂ，Ｃ，…）に設定された抑揚データの値に基づいて表情付けパラメータを制御し、該表情付けパラメータに基づいて上記演奏データ部分（Ａ，Ｂ，Ｃ，…）に表情付けを施す表情付け手段（Ｅ８；図６）とを具備し、上記所定の条件には、各演奏データ部分（Ａ，Ｂ，Ｃ，…）における抑揚データの値〔図３（２）の各期間Ｔａ，Ｔｂ，Ｔｃにおける抑揚データ値〕について、時間的な変化がないこと、直線的に増大或いは減少していること、上に凸或いは下に凸であること、複数の山谷があることが含まれる演奏データ編集装置（電子音楽装置ＥＭ）〔請求項１〕、並びに、ノート情報を含む演奏データ〔図２（１ａ）〕を取得する演奏データ取得ステップ（Ｅ１）と、取得された演奏データ〔図２（１ａ）〕について、表情付けの対象となる演奏データ部分（対象音符群Ａ，Ｂ，Ｃ，…）を設定する対象設定ステップ（Ｅ５）と、取得された演奏データ〔図２（１ａ）〕に対して、演奏に従い時間的に変化する演奏の抑揚を値で表わす抑揚データ〔図２（１ｂ）〕を設定する抑揚設定ステップ（Ｅ４）と、上記演奏データ部分（Ａ，Ｂ，Ｃ，…）に設定された抑揚データ〔図３（２）〕の時間的な変化が所定の条件の何れに合致するかを調べ、合致する条件に対応した抑揚変化の特徴を表わす特徴情報（各種テーブル）を抽出する特徴抽出ステップ（Ｅ７）と、抽出された特徴情報（各種テーブル）及び上記演奏データ部分（Ａ，Ｂ，Ｃ，…）に設定された抑揚データの値に基づいて表情付けパラメータを制御し、該表情付けパラメータに基づいて上記演奏データ部分（Ａ，Ｂ，Ｃ，…）に表情付けを施す表情付けステップ（Ｅ８；図６）とから成り、上記所定の条件には、各演奏データ部分（Ａ，Ｂ，Ｃ，…）における抑揚データの値〔図３（２）の各期間Ｔａ，Ｔｂ，Ｔｃにおける抑揚データ値〕について、時間的な変化がないこと、直線的に増大或いは減少していること、上に凸或いは下に凸であること、複数の山谷があることが含まれる手順をコンピュータ（電子音楽装置ＥＭ）に実行させる演奏データ編集プログラム〔請求項３〕が提供される。なお、括弧書きは、理解の便の為に付した実施例の参照記号、用語乃至箇所等である。

この発明による演奏データ編集装置において、対象設定手段（Ｅ５）は、演奏データ取得手段（Ｅ１）により取得された演奏データ〔図２（１ａ）；図３（１）〕を構成するノート情報の時間的な繋がりに基づいて、表情付けの対象となる個々の演奏データ部分（対象音符群Ａ，Ｂ，Ｃ，…）を順次設定する〔請求項２〕ように構成することができる。

この発明の主たる特徴に従う演奏データ編集システム（請求項１，３）では、演奏に従い時間的に変化する演奏の抑揚を値で表わす抑揚データ〔図２（１ｂ）〕を設定し（Ｅ４）、表情付け対象に設定した各演奏データ部分（Ａ，Ｂ，Ｃ，…）における抑揚データの値〔図３（２）の各期間Ｔａ，Ｔｂ，Ｔｃにおける抑揚データ値〕について、時間的な変化がない（一定値）、直線的に増大或いは減少している、上に凸或いは下に凸である、複数の山谷がある、といった所定の条件の何れに合致するかを調べ、合致する条件に対応した抑揚変化の特徴を表わす特徴情報（各種テーブル）を抽出し（Ｅ７）、抽出した特徴情報（各種テーブル）及び各演奏データ部分（Ａ，Ｂ，Ｃ，…）に設定された抑揚データの値に基づいて表情付けパラメータを制御し、該表情付けパラメータに基づいて各演奏データ部分（Ａ，Ｂ，Ｃ，…）に表情付けを施す（Ｅ８；図６）ようにしている。つまり、各演奏データ部分（Ａ，Ｂ，Ｃ，…）において、抑揚が高まる場合と収まる場合や、抑揚の山谷が複数ある場合とそうでない場合など、抑揚データ〔図２（１ｂ）〕から抽出される変化の特徴に注目し、各場合に応じてビブラートやピッチベンド等の表情付けパラメータを制御して表情付け処理をするようにしている。従って、この発明によれば、知識の少ない初心者であっても、十分に表情付けされた本物の楽器らしい自然な演奏を実現する演奏データを作成することができる。

また、この発明の演奏データ編集装置では、演奏データ〔図２（１ａ）；図３（１）〕を構成するノート情報の時間的な繋がりに基づいて、表情付けの対象となる個々の演奏データ部分（対象音符群Ａ，Ｂ，Ｃ，…）を順次設定するようにしている（請求項２）。従って、この発明によれば、演奏データ中の表情付けすべき音符群に対して適切な表情付けを実現することができる。

〔システム構成〕
図１は、この発明の一実施例による演奏データ編集装置のハードウエア構成ブロック図を示す。この演奏データ編集装置ＥＭには、音楽情報処理機能を有するパーソナルコンピュータ（ＰＣ）や電子楽器のような音楽情報処理装置（電子音楽装置）が用いられ、図示の例では更に演奏操作部乃至楽音信号発生部が設けられている。演奏データ編集装置ＥＭは、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、外部記憶装置４、演奏操作検出回路５、設定操作検出回路６、表示回路７、音源回路８、効果回路９、通信インターフェース（Ｉ／Ｆ）１０、ＭＩＤＩインターフェース（Ｉ／Ｆ）１１等を備え、これら要素１〜１１はバス１２で互いに接続される。

ＣＰＵ１は、ＲＡＭ２及びＲＯＭ３と共にデータ処理部を構成し、演奏データ編集プログラムを含む所定の制御プログラムに従い、タイマ１３によるクロックを利用して演奏データ編集処理を含む種々の音楽情報処理を実行する。ＲＡＭ２は、これらの処理に際して必要な各種データを一時的に記憶するためのワーク領域として用いられる。また、ＲＯＭ３には、これらの処理を実行するために必要な各種制御プログラムや表情付けテンプレート（表情付けパラメータ制御テーブル）等の制御データなどが記憶される。

外部記憶装置４は、ハードディスク（ＨＤ）等の内蔵記憶媒体の外に、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディスク（ＤＶＤ）、スマートメディア（登録商標）等の小型メモリカード、等々、種々の可搬性の外部記録媒体を含み、上述した制御プログラムや制御データの外に、表情付け前乃至表情付け後の演奏データを含む任意のデータを任意の外部記憶装置（例えば、ＨＤＤ）４に記憶することができる。

演奏操作検出回路５は、鍵盤などの演奏操作子１４と共に演奏操作部を構成し、演奏操作子１４に対するユーザの演奏操作を検出し、演奏内容に対応する演奏データを生成してデータ処理部に導入する。設定操作検出回路６は、演奏データ編集装置ＥＭの操作パネル等に設けられたキースイッチやマウス等の設定操作子１５に対するユーザの設定操作（パネル設定）を検出し、設定内容に対応する設定データをデータ処理部に導入する。表示回路７は、操作パネル等に設けられた画面表示用ＬＣＤ等のディスプレイ（表示器）１６や各種インジケータ（図示せず）の表示／点灯内容をデータ処理部からの指令に従って制御し、操作子１４，１５の操作に対する表示援助を行う。

音源回路８及び効果回路９は、楽音信号生成部として機能し、両回路８，９は、ソフトウエアを含ませることができる。音源回路８は、演奏操作検出回路５や記憶手段（３，４）等からの演奏データに応じて所定音色及び音高の楽音データを生成し、効果付与ＤＳＰを有する効果回路９は、同演奏データに応じて楽音データに所定の効果を付与した楽音信号を発生する。効果回路９に後続するサウンドシステム１７は、Ｄ／Ａ変換部やアンプ、スピーカを備え、効果回路９から出力される楽音信号に基づく楽音を発生する。

通信Ｉ／Ｆ１０には、インターネットやローカルエリアネットワーク（ＬＡＮ）などの通信ネットワークＣＮが接続され、外部のサーバコンピュータＳＶ等から制御プログラムをダウンロードしたり演奏データを記憶装置４に保存してこの演奏データ編集装置ＥＭで利用することができる。ＭＩＤＩＩ／Ｆ１１は、この演奏データ編集装置ＥＭと同様にＭＩＤＩ形式で音楽情報を取り扱うことができる外部音源装置などの他の電子音楽装置（外部ＭＩＤＩ機器）ＭＤが接続され、ＭＩＤＩＩ／Ｆ１１を通じて両装置ＥＭ，ＭＤ間でＭＩＤＩデータを授受することができる。

〔抑揚データと表情付け〕
この発明の一実施例による演奏データ編集システムでは、演奏データ編集プログラムに従い、抑揚データから抽出される抑揚変化の特徴に応じて表情付け処理をすることにより、十分に表情付けされた自然な演奏を実現する演奏データを作成することができる。図２は、この発明の一実施例による演奏データ編集システムにおける表情付けの概要を説明するための図であり、図３は、演奏データに対して一連の表情付けの対象となる対象音符群を決めるルールの例を表わす。

ここで、演奏データ編集システムの主要な機能を極く概略的に説明しておく。この演奏データ編集システムでは、音符情報を含む演奏データ（１ａ）に対して、演奏に従い時間的に変化する演奏の抑揚を表わす抑揚データ（１ｂ）が設定されると、表情付け対象となる演奏データ部分として、時間的に繋がりのある音符群Ａ〜Ｃが設定され、各演奏データ部分Ａ〜Ｃに設定された抑揚データ（１ｂ）の時間的な変化に基づいて、抑揚が高まる場合（２ａ）と収まる場合（２ｂ）などの抑揚変化の特徴を表わす特徴情報が抽出される。そして、抽出された特徴情報に基づいて選択された表情付けテンプレート（表情付けパラメータ制御テーブル）〔（２ａ），（２ｂ）〕に従って、各演奏データ部分にビブラートなどの表情付けが施される（１ｄ）。

以下、図２に従い具体的に説明する。図２（１）は、抑揚データによる演奏データの表情付け例（ビブラート速さ制御の場合）を表わし、（１ａ）は、「楽曲データ」と呼ばれる元の演奏データを示し、（１ｂ）は、この楽曲データに適用される抑揚データを示す。

「抑揚データ」は、盛上りデータとも呼ばれ、楽曲演奏の抑揚の度合（盛上りの程度）を表わす抽象的なデータであり、抑揚データの値は、楽曲演奏に従って時間的に変化する（例えば、０．０〜１．０）。また、各楽曲データに対して適用される抑揚データは、予め記憶手段（３，４）に抑揚データの時間的変化パターンが異なる種々の抑揚テンプレートを用意しておき、これらの抑揚テンプレートから所望の抑揚テンプレート選択する方法や、ユーザが好みの抑揚パターンをグラフィックツールで作図し抑揚データに指定する方法などによって与えることができる。従って、抑揚（盛上り）を表わす抽象的な抑揚データは、特定の楽音制御パラメータ（例えば、ベロシティ）の変化をそのまま表現したものではない。

例えば、図２（１）の（１ａ）に示されるノートイベント（ＮｏｔｅＥｖｅｎｔ）とベロシティ（ｖｅｌｏｃｉｔｙ）を含む楽曲データに対して（１ｂ）に示される抑揚データを与えることにより、ベロシティを抑揚データに従って編集し、（１ｃ）に示されるようにベロシティが変化する結果が得られ、音量による表情付け処理を行うことができる。

この段階では、抑揚データの静的な特性に注目しているだけであるが、抑揚データが同じ値でも、これから抑揚が高まる場合と抑揚がおさまる場合や、抑揚の変化が速い場合と遅い場合などでは、表現の種類も異なることが一般的であるので、抑揚データの変化に注目することも音楽的表現にとっては重要である。

そこで、この演奏データ編集システムでは、抑揚データによって時間−抑揚値平面上に描かれる抑揚曲線の特徴的な変化状態を特徴情報として抽出し、抽出された特徴情報をパラメータとして表情付けテンプレートを選択することにより、抑揚の変化に応じてビブラートやピッチベンド等の表情付けパラメータを制御して十分な表情付け処理を行う。なお、この場合、（１ｃ）のような、抑揚曲線をそのまま用いたベロシティなどの表情付けは、必要に応じて、適宜、採用又は不採用とすることができる。

図示の例では、ビブラート等の表情付けの度合を表わす２種の表情付けパラメータ制御テーブルが表情付けテンプレートとして用意され、抑揚曲線が増加傾向を示し抑揚が高まる場合と、抑揚曲線が減少傾向を示し抑揚が収まる場合が、抑揚データの特徴的な変化として捕らえられる。そして、この抑揚データの変化に対応する表情付けパラメータ制御テーブルが選択され、選択されたテーブルに従ってビブラート等の表情付けパラメータが制御され、抑揚の変化に応じた最適の表情付けが行われる。

すなわち、表情付けパラメータ制御テーブルは、抑揚データの増大及び減少時別に、抑揚データ値に対するビブラート等の速さ（周期の逆数）や深さ等による表情付けの度合を表わしたものであり、所定の記憶手段（３，４）に記憶されており、抑揚データが与えられた演奏データの部分に対して、表情付けパラメータ制御テーブルに従い、与えられた抑揚データの変化に応じてビブラート等の表情付けパラメータを制御する。図２（１）の（１ｄ）は、（１ｂ）の抑揚データの変化に従い、図２（２）に示されるビブラート速さの制御特性を用いてビブラートの速さを編集した場合の結果を示す。

図２（２）は、抑揚データの値とビブラートの速さとの関係の例を表わし、この関係を有するビブラート速さ制御テーブルが表情付けパラメータ制御テーブルとして記憶手段３，４に記憶される。（２ａ）の表情付けパラメータ制御特性は、抑揚データが上昇する場合はビブラートの速さは抑揚データの変化の最初ほど変化が大きく、（２ｂ）の表情付けパラメータ制御特性は、抑揚データが下降する場合にはビブラートの速さは抑揚データの変化の最初ほど変化が大きいことを意味している。すなわち、同じ抑揚データの値に対しても変化が上昇中の時と下降中の時では値が異なることを意味している。

表情付けパラメータ制御テーブルとしては、ビブラートの深さについて（２ａ），（２ｂ）のビブラート速さと同様の関係を有するビブラート深さ制御テーブルが記憶手段３，４に記憶されている。また、ピッチベンドの速さ及び深さについても、抑揚データの山谷が複数ある場合とそうでない場合に、（２ａ），（２ｂ）のビブラート速さと同様の関係を有するピッチベンド速さ制御テーブル及びピッチベンド深さ制御テーブルが、抑揚データの山谷数の範囲別に記憶手段３，４に記憶されている。そして、これらの表情付けパラメータも、対応する制御テーブルに従って制御される。

また、（２ａ）のように抑揚データ値が小さいほど表情付け度合の変化が大きい特性のパラメータ制御テーブルは「変化の大きい」テーブルと呼ばれ、（２ｂ）のように抑揚データ値が小さいほど表情付け度合の変化が小さい特性のパラメータ制御テーブルは「変化の小さい」テーブルと呼ばれる。なお、図２（２）に示されるような制御特性は、あくまでも一例であり、楽器の種類や音楽ジャンルによっては逆の変化が好ましい場合もある。

なお、抑揚曲線の特徴的な変化状態には、上述のような増大及び減少や山谷の数の外に、上に凸、下に凸などがあり、夫々の特徴に応じて所定の表情付けテンプレートを選択することにより、対応する表情付けパラメータを制御することができる。

図４は、演奏データや表情付けデータのデータ構造例を示す。表情付け前の元の演奏データは、例えば、図４（１）に示すように、楽曲のフォーマットに関する情報などで構成されるヘッダ情報に続いて、楽曲演奏の進行に従い順次配列された多数のイベント情報がＳＭＦ形式で記述される。各イベント情報は、図示のように、タイミング情報、ノートオンなどのイベントの種類を表すコード、ノート番号及びベロシティから成る。

演奏データに対する表情付けは、まとまりのある一連の音符を対象にして行うのが好適であり、例えば、図３に示すようなルールに従って、表情付けの対象となる対象音符群を決める。対象音符群を決めるには、ＨＤＤ等の外部記憶装置４から演奏データのノートイベントを読み出し、所定のルールに従い、先行するノートと後続するノートの時間を比較した結果に基づいて、時間的に繋がりのある音符を自動的に抽出する。図３（１）は、読み出されたノートイベントの時間的なパターンを説明するために、ディスプレイ１６の画面にノートイベントがピアノロールで表示されるものとしてノートイベントの各種パターンの一例を示す。

図３（１）において、例えば、Ａのように、先行ノートのノートオフと後続ノートのノートオンが時間的に重なっているか或いは所定の近さにある音符群については、レガート演奏のような一連の音符であると判断され、これらの音符が発音期間Ｔａにわたる１つの表情付け対象として読み出される。Ｂのように、先行ノートのノートオフと後続ノートのノートオンから離れた発音期間Ｔｂの音符は、単独でも、１つの表情付け対象として読み出される。また、Ｃのように、ノートオンのタイミングが所定の近さにある複数のノートは、コード演奏のように発音期間Ｔｃでほぼ同時に発音される音符であると判断され、これらの音符が１つの表情付け対象として読み出される。なお、これらのルールは、選択されたアルゴリズムによって異なっていてもよい。

また、演奏データに適用される抑揚データについては、前述した方法で適宜定めることができ、定められた抑揚データのパターンは、図３（２）に示すように、ディスプレイ１６の画面に、図３（１）のノートイベントのピアノロール表示に対応して表示することによって確認することができる。

図４（２）は、抑揚データに従って演奏データに順次与えられる表情付けの内容を表わす表情付けデータの構造例を示し、表情付けデータは、対象音符群に対応する複数の表情付け情報が楽曲演奏の進行順に配列されて構成される。各表情付け情報は、各対象音符群の発音期間（Ｔａ，Ｔｂ，Ｔｃ，…）に対応し表情付けを施す対象となる区間（「対象区間」と呼ばれる）を始終点タイミングで指定する対象区間指定情報と、各対象音符群に対する表情付けの種類を表わす表情付け種類コードと、当該表情付けのパラメータ値を表わす表情付け種類依存パラメータ等から成る。

例えば、表情付け種類コードは、ビブラートやチョーキング（ピッチベンド）等を表わし、種類依存パラメータは、ビブラートの場合は深さや速さ（周期）を表わすパラメータであり、チョーキングの場合には深さや立上り速度（立上り時間の逆数であり、単に「速さ」ともいう）を表わすパラメータである。

〔演奏データ編集処理のフロー例〕
図５は、この発明の一実施例による演奏データ編集処理（全体処理）の一例を表わすフローチャートであり、図６は、この演奏データ編集処理中の表情付け処理の一例を表わすフローチャートである。図５の演奏データ編集処理フローは、演奏データ編集装置ＥＭにおいて、ユーザによる選曲操作に基づき、外部記憶装置４のＨＤＤに用意された演奏データの中から所望の演奏データが選択されたところから実行される。

まず、最初のステップＥ１では、ＣＰＵ１は、選択された演奏データをＨＤＤ４からＲＡＭ２にロードし、当該演奏データからピアノロール或いは五線譜の画像データを生成し、表示回路７を通じてディスプレイ１６のＬＣＤ画面に、生成された画像データに基づくノートイベント画像を表示する。

続くステップＥ２では、例えば、同画面内のアルゴリズム選択ウインドウに楽器名で表わされた表情付けアルゴリズム名の一覧をユーザに提示し、ユーザ操作に基づいて、所望のアルゴリズム名を選択することにより、演奏データに付与される表情付けアルゴリズムを指定する。このようなアルゴリズム名には、例えば、「ストリングス・ポップ」、「ストリングス・クラシック」、「ギター・ホット」、「ギター・スムーズ」、「エレキベース・ノーマル」、「エレキベース・スラップ」などがある。

次のステップＥ３では、演奏データに対する表情付けの時間範囲を決定する。この範囲の決定には、次の（１）〜（３）のような方法を用いることができる：
（１）画面に演奏データを表示し、演奏データ上をユーザにマウス操作で選択させる、
（２）特許文献１の自動分割のように、所定のルールに則ってフレーズ等に区分する、
（３）演奏データ（曲）の先頭から終端までとする。

次いで、ステップＥ４では、演奏データに対する抑揚データを決定する。この抑揚データ決定には、次の（ａ）〜（ｃ）のような方法を用いることができ、決定された抑揚データは、表情付け時間範囲に合わせて伸縮される：
（ａ）システムに備えられた複数の抑揚データからユーザ操作に応じて一つを選択する、
（ｂ）抑揚データ入力画面を表示し、この画面上でユーザに抑揚パターンを描かせる、
（ｃ）抑揚データ入力画面を表示し、この画面上でユーザに複数の点を指定させ、各点の間を所定の曲線（直線を含む）で結ぶ。

以上のようにして表情付けの条件が設定されると、ステップＥ５で、ＲＡＭ２にロードされた演奏データについて、所定のルールに従い、互いに時間的な繋がりをもつ音符を、順次、表情付けの対象となる個々の対象音符群（図３：Ａ〜Ｃ）に設定し、演奏データ内の表情付け時間範囲の先頭から順に、対象音符群単位で演奏イベントをＲＡＭ２の作業エリアに読み出し、読み出された演奏イベントに対してステップＥ６〜Ｅ８の処理を行う。なお、この例では対象音符群単位で処理するようにしているが、最も単純な対象音符群として一音一音ずつ処理することもある。

まず、ステップＥ６では、対象音符群の発音期間（図３：Ｔａ〜Ｔｃ）即ち対象区間に相当する抑揚データから、対象区間内の抑揚データの平均値、最大値、最小値、或いは、これらの何れか１又は２の値を求める。次いで、ステップＥ７で、対象音符群の発音期間に相当する抑揚データから抑揚変化の特徴を求める。例えば、当該発音期間内の抑揚データの値について、変化がない（一定値）、直線的に増大している、直線的に減少いている、上に凸である、複数の山谷がある、などの条件に合致しているかどうかを調べる。また、当該発音期間内の抑揚データの値の変化幅を求め、複数の山谷がある場合は、山や谷の数、変化の時間割合を求める。

そして、ステップＥ８において、ステップＥ６，Ｅ７で抑揚データから得られた値及び変化の特徴に基づいて、演奏データに表情付けデータを生成する表情付け処理を行う。なお、この表情付け処理の一例については、図６を用いてより詳しく説明する。ステップＥ８の表情付け処理の後は、ステップＥ９に進み、表情付け時間範囲の終端に達したか否かを判定し、終端に達していない間は（Ｅ９→ＮＯ）、ステップＥ５に戻り、次の対象音符群についてステップＥ５〜Ｅ８の処理を繰り返す。

全ての対象音符群についてステップＥ５〜Ｅ８の処理を終えて表情付け範囲の終端に達したと判定されると（Ｅ９→ＹＥＳ）、ステップＥ１０に進んで、演奏データ（曲）の他の部分も表情付けを行うか否かを判定する。他の部分も表情付けをするかどうかは、ユーザ操作によって決定してもよいし、特許文献１のように所定のルールに則ってもよい。ここで、他の部分の表情付けを行うときには（Ｅ９→ＮＯ）、ステップＥ３に戻り、改めて決定された表情付け時間範囲についてステップＥ３〜Ｅ１０の処理を繰り返す。

演奏データ（曲）の他の部分の表情付けを行わないと判定されたとき、或いは、他の部分の表情付けを行って、もはや表情付けを行う他の部分がないと判定されたときには（Ｅ１０→ＹＥＳ）、ステップＥ１１に進み、元の演奏データ及び表情付けデータに基づいて、特許文献２と同様に、表情付けされた演奏データを生成し、続くステップＥ１２で、表情付けされた演奏データをＲＡＭ２からＨＤＤ４に保存し、さらに、ステップＥ１３で、表情付けされた演奏データを楽音信号生成部８，９に渡したり、或いは、ＭＩＤＩインターフェイス１１経由で外部音源装置ＭＤに渡して、楽音信号を生成させることによって、表情付けされた演奏データを再生する。そして、演奏データの再生により、表情付けの付与状態を確認した後、この演奏データ編集処理を終了する。

なお、この処理フロー例では、一連の処理として、表情付けされた演奏データを保存し再生するようにしているが、表情付けされた演奏データは、一旦ＨＤＤ４等に保存した後、後日、再生するようにしてもよい。

〔表情付け処理のフロー例〕
次に、演奏データ編集処理（全体処理）のステップＥ８で実行される表情付け処理について、表情付けパラメータをビブラート及びピッチベンドとした場合の一例を図６により説明する。この表情付け処理フローが開始すると、まず、ステップＳ１において、ステップＥ２で指定されたアルゴリズムの処理プログラムをＲＡＭ２上にロードし、以降、この処理プログラムに従ったルールで表情付けの処理がなされる。

まず、ステップＳ２では、ビブラートを付与すべきか即ち対象区間長（ステップＥ５で読み出された処理対象の対象音符群の発音期間で示される対象区間の長さ）はビブラート付与に適した所定の長さ以上であるか否かを判定し、所定長さ以上であるときは（Ｓ２→ＹＥＳ）、ステップＳ３に進んで、対象区間の抑揚データの特徴が増大傾向にあるか否かを判定する。

ここで、対象区間の抑揚データの特徴が全体として抑揚データ値の増大を示しているときは（Ｓ３→ＹＥＳ）、ステップＳ４に進み、変化の大きいビブラート速さテーブルを用いてビブラートの速さ（周期）を決定し、次のステップＳ５で、変化の大きいビブラート深さテーブルを用いてビブラートの深さを決定する。

一方、対象区間の抑揚データの特徴が全体として抑揚データ値の増大を示していないときには（Ｓ３→ＮＯ）、ステップＳ６に進み、変化の小さいテーブルを用いてビブラートの速さ（周期）を決定し、次のステップＳ７で、変化の小さいテーブルを用いてビブラートの深さを決定する。

そして、ステップＳ５又はステップＳ７の処理の後はステップＳ８に進み、対象区間指定情報及び表情付け種類コードに続いて、ステップＳ４，Ｓ５又はステップＳ６，Ｓ７で決定された表情付けパラメータ値（表情付け種類依存パラメータ）を記述した当該対象区間の表情付け情報を、ＲＡＭ２の表情付けデータ記憶領域に追記する。

ステップＳ２で対象区間長が所定長さ未満であると判定されたとき（Ｓ２→ＮＯ）或いはステップＳ８）で表情付け情報データの追記処理を行った後は、ステップＳ９に進んで、ピッチベンドを付与すべきか即ち対象区間長はピッチベンド付与に適した所定の長さ以上であるか否かを判定し、所定長さ以上であるときは（Ｓ９→ＹＥＳ）、ステップＳ１０で、対象区間の抑揚データの特徴として山谷が複数あるか否かを判定する。

ここで、対象区間の抑揚データの山谷が複数あるときは（Ｓ１０→ＹＥＳ）、ステップＳ１１に進み、変化の大きいピッチベンド速さテーブルを用いてピッチベンドの速さを決定し、次のステップＳ１２で、変化の大きいピッチベンド深さテーブルを用いてピッチベンドの深さを決定する。

一方、対象区間の抑揚データの山谷数が複数でないときには（Ｓ１０→ＮＯ）、ステップＳ１３に進み、変化の小さいピッチベンド速さテーブルを用いてピッチベンドの速さを決定し、次のステップＳ１４で、変化の小さいピッチベンド深さテーブルを用いてピッチベンドの深さを決定する。

そして、ステップＳ１２又はステップＳ１４の処理の後はステップＳ１５に進み、対象区間指定情報及び表情付け種類コードに続いて、ステップＳ１１，Ｓ１２又はステップＳ１３，Ｓ１４で決定された表情付けパラメータ値（表情付け種類依存パラメータ）を記述した当該対象区間の表情付け情報を、ＲＡＭ２の表情付けデータ記憶領域に追記し、その後、全体処理のステップＥ９にリターンしてこの表情付け処理を終了する。

〔種々の実施態様及び表情付けのまとめ〕
以上、図面を参照しつつこの発明の好適な実施例を詳述したが、この実施例は単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、実施例では、表示付けテンプレートとして、ビブラート速さ及び深さテーブルやピッチベンド速さ及び深さテーブルなどの表示付けパラメータ制御テーブルを用いたが、抑揚データの変化に対して種々の表示付けパラメータを制御する種々の表情付けテンプレートを用いることができる。

要は、抑揚データの変化に関して次の点を考慮した種々の表示付けテンプレートを用意しておき、抑揚データの特徴的な変化に応じて最適なテンプレートを選択すればよい：
〔１〕抑揚データが増大したり、抑揚データの振れ幅が大きい場合は、そうでない場合に比べて表情付けを大げさにする。
〔２〕抑揚データが下に凸で増加の場合は、短い時間で大きな抑揚を付けるように、抑揚データの値が大きいときに、より大げさな表情付けがされるようにする。
〔３〕抑揚データの山谷の数が多いほど、変化のある表情付けが求めらるので、より表情付けを大げさにする。

ここで、より大げさな表現とは、例えば、実施例のように、ビブラートをより深くする、ビブラートの速さを上げる（周期をより短くする）、ピッチベンドを深くする、ピッチベンドの速さを上げる（立ち上がり時間を短くする）、ギターのストロークに相当させて同時発音するノートのタイミングをばらつかせる、特殊奏法音や奏法ノイズの付与を多くする（ベロシティで発音波形を切り替える）などがあり、音量の変化をベロシティ（各音）やエクスプレッション（全体）等で大きくすることを含めてもよい。

また、抑揚データに基づく各音への表情付け〔例えば、ベロシティ制御：図２（１ｃ）〕については詳しい説明を省略したが、個別の音符の表情は、その音符に対する抑揚データの値や変化などの状態に応じて決定することができる。

この発明の一実施例による演奏データ編集システムのハードウエア構成を示すブロック図である。 この発明の一実施例による演奏データ編集システムにおける表情付けの概要を説明するための図である。 この発明の一実施例の演奏データ編集（表情付け）において対象音符群を決めるルールの例を表わす図である。 この発明の一実施例による演奏データ編集システムで用いられるデータ構造の例を表わす図である。 この発明の一実施例による演奏データ編集処理の一例を表わすフローチャートである。 この発明の一実施例による表情付け処理の一例を表わすフローチャートである。

符号の説明

ＥＭ 演奏データ編集装置（パーソナルコンピュータ、電子楽器などの電子音楽装置）、
Ａ，Ｂ，Ｃ 対象音符群、
Ｔａ，Ｔｂ，Ｔｃ 対象音符群の発音期間。

Claims (3)

1. ノート情報を含む演奏データを取得する演奏データ取得手段と、
   取得された演奏データについて、表情付けの対象となる演奏データ部分を設定する対象設定手段と、
   取得された演奏データに対して、演奏に従い時間的に変化する演奏の抑揚を値で表わす抑揚データを設定する抑揚設定手段と、
   上記演奏データ部分に設定された抑揚データの時間的な変化が所定の条件の何れに合致するかを調べ、合致する条件に対応した抑揚変化の特徴を表わす特徴情報を抽出する特徴抽出手段と、
   抽出された特徴情報及び上記演奏データ部分に設定された抑揚データの値に基づいて表情付けパラメータを制御し、該表情付けパラメータに基づいて上記演奏データ部分に表情付けを施す表情付け手段と
   を具備し、
   上記所定の条件には、各演奏データ部分における抑揚データの値について、時間的な変化がないこと、直線的に増大或いは減少していること、上に凸或いは下に凸であること、複数の山谷があることが含まれる
   ことを特徴とする演奏データ編集装置。
2. 前記対象設定手段は、前記演奏データ取得手段により取得された演奏データを構成するノート情報の時間的な繋がりに基づいて、表情付けの対象となる個々の演奏データ部分を順次設定することを特徴とする演奏データ編集装置。
3. ノート情報を含む演奏データを取得する演奏データ取得ステップと、
   取得された演奏データについて、表情付けの対象となる演奏データ部分を設定する対象設定ステップと、
   取得された演奏データに対して、演奏に従い時間的に変化する演奏の抑揚を値で表わす抑揚データを設定する抑揚設定ステップと、
   上記演奏データ部分に設定された抑揚データの時間的な変化が所定の条件の何れに合致するかを調べ、合致する条件に対応した抑揚変化の特徴を表わす特徴情報を抽出する特徴抽出ステップと、
   抽出された特徴情報及び上記演奏データ部分に設定された抑揚データの値に基づいて表情付けパラメータを制御し、該表情付けパラメータに基づいて上記演奏データ部分に表情付けを施す表情付けステップと
   から成り、
   上記所定の条件には、各演奏データ部分における抑揚データの値について、時間的な変化がないこと、直線的に増大或いは減少していること、上に凸或いは下に凸であること、複数の山谷があることが含まれる
   手順をコンピュータに実行させる演奏データ編集プログラム。

Images