JP4548424B2 - 楽音処理装置およびプログラム - Google Patents

Description

本発明は、予め収録された複数の楽音データを選択的に使用して楽音を生成する技術に関する。

電子楽器の操作子（例えば鍵）に対する操作に応じて複数の楽音データの何れかを選択的に出力する技術が従来から提案されている。例えば特許文献１には、楽曲を区分した各区間の楽音データと電子楽器の操作子との対応を予め定義（マッピング）した構成が開示されている。利用者が特定の操作子を操作すると、当該操作子に対応づけられた楽音データが再生される。
特開２００６−１０６７５４号公報

しかし、特許文献１の技術においては、電子楽器に対する入力と楽音データとの関連を定義するために事前に膨大な処理を実行する必要がある。利用者による操作に応じて生成される楽音を多様化するためには楽音データの個数を充分に確保する必要があるから、以上の問題は特に深刻化する。このような事情を背景として、本発明は、入力と楽音データとの関連を定義するための負荷を軽減するという課題の解決をひとつの目的としている。

以上の課題を解決するために、本発明に係る楽音処理装置は、楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子（例えば図２の記述子Ｐ）とを記憶する記憶手段と、入力装置（例えば図１の演奏装置６０）に対する操作に応じた入力データから音楽的な特徴を示す第２記述子（例えば図１の記述子Ｑ）を生成する記述子生成手段と、第２記述子と各素片の第１記述子との類否を示す類否指標値を算定する類否算定手段と、各素片の類否指標値に基づいて素片を選択する素片選択手段と、素片選択手段が選択した各素片の楽音データから出力データを生成するデータ生成手段とを具備する。

以上の態様においては、第１記述子と第２記述子との類否指標値に応じて素片が選択されるから、入力データと第１記述子との関連を事前に定義しておく必要はない。また、例えば類否指標値が類似を示す素片を素片選択手段が選択する態様によれば、入力装置に対する操作に連関する素片が出力データの生成に使用されるから、利用者の意図を適切に反映した楽音を生成することが可能である。

本発明における素片は、楽曲を複数に区分した各区間である。さらに好適な態様において、拍点に同期して楽曲を区分した区間が素片とされる。例えば、ひとつまたは複数の拍を単位として楽曲を区分した区間や相前後する各拍点の間隔を複数に区分した区間（例えば1/2拍や1/4拍に相当する時間長の区間）が素片とされる。以上のように楽曲の拍点に同期した素片を利用する構成によれば、リズム感が自然な楽音を生成することができる。

第１記述子や第２記述子の内容は本発明において任意であるが、例えば以下の態様が採用される。
例えば、第１記述子が、素片に含まれる楽音の音高と音量との組合せ（例えば図２におけるＨＰＣＰやＬＰＦ-ＨＰＣＰ）を含む態様においては、入力データは、入力装置において利用者が操作した操作子を示す操作子データ（例えばノートナンバ）と当該操作子に対する操作の強度を示す強度データ（例えばベロシティ）とを含み、記述子生成手段は、操作子データに対応した音高と強度データに対応した音量との組合せを含む第２記述子を生成する。以上の態様においては、例えば、利用者が入力装置の操作に応じて指定した音高と音量との組合せに類似した音高および音量の組合せを第１記述子に含む素片が出力データの生成のために選択される。

第１記述子が、素片に含まれる楽音の音量を含む態様においては、入力データは、入力装置の操作子に対する操作の強度を示す強度データを含み、記述子生成手段は、強度データに対応した音量を含む第２記述子を生成する。以上の態様においては、例えば、入力装置に対する操作の強度に応じて利用者が指定した音量に類似した音量を第１記述子に含む素片が選択される。

第１記述子が、素片に含まれる和音のスペクトル重心を含む態様においては、入力データは、入力装置において利用者が操作した操作子を示す操作子データを含み、記述子生成手段は、利用者が並列に操作した複数の操作子の操作子データに対応する音高の平均値をスペクトル重心に対応した周波数として含む第２記述子を生成する。以上の態様においては、例えば、利用者が入力装置の操作に応じて指定した和音に類似する素片が出力データの生成のために選択される。

第１記述子が、素片内における楽音の変化の程度を示す変化度を含む態様においては、入力データは、入力装置の操作子に対する操作後の押圧の状態を示すアフタータッチデータを含み、記述子生成手段は、アフタータッチデータに対応した変化度を含む第２記述子を生成する。以上の態様においては、例えば、操作後の操作子に対する押圧の状態に対応した変化度に類似する変化度を第１記述子に含む素片が出力データの生成のために選択される。

第１記述子が、素片におけるテンポを含む態様においては、入力データは、利用者の運動に同期した拍点を示す拍点データを含み、記述子生成手段は、拍点データが示す拍点に応じたテンポを含む第２記述子を生成する。以上の態様においては、利用者が入力装置の操作によって指定したテンポに類似するテンポを第１記述子に含む素片が出力データの生成のために選択される。
第１記述子が、素片内の楽音の種類数を示す複雑度を含む態様においては、入力データは、入力装置において利用者が操作した操作子を示す操作子データを含み、記述子生成手段は、操作子データが示す操作子に対応した楽音の音高の範囲の広さに応じた複雑度を含む第２記述子を生成する。
第１記述子が、素片の時間長を含む態様においては、入力データは、入力装置の操作子に対する操作後の押圧の状態を示すアフタータッチデータを含み、記述子生成手段は、アフタータッチデータに応じた時間長を含む第２記述子を生成する。
また、本発明の好適な態様において、入力データは、入力装置の操作子に対する操作後の押圧の状態を示すアフタータッチデータを含み、データ生成手段は、素片選択手段が選択した複数の素片の楽音データのうちアフタータッチデータに応じた個数の楽音データを混合することで出力データを生成する。
本発明の別の態様に係る楽音処理装置は、楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段と、入力装置のうち高音に対応する部分の各操作子の操作に応じた入力データから音楽的な特徴を示す第２記述子を生成し、入力装置のうち低音に対応する部分の各操作子の操作に応じた入力データから音楽的な特徴を示す第３記述子を生成する記述子生成手段と、第２記述子と各素片の第１記述子との類否を示す第１類否指標値と、第３記述子と各素片の第１記述子との類否を示す第２類否指標値とを算定する類否算定手段と、各素片の第１類否指標値に基づいて素片を選択するとともに各素片の第２類否指標値に基づいて素片を選択する素片選択手段と、素片選択手段が選択した各素片の楽音データから出力データを生成するデータ生成手段とを具備する。

本発明の好適な態様において、入力データは、利用者の運動に同期した拍点を示す拍点データを含み、データ生成手段は、拍点データが示す拍点に同期するように各素片の楽音データを配列する連結部を含む。拍点データが示す拍点に同期するように各素片の楽音データを配列することで出力データが生成されるから、出力データの楽音のテンポを利用者が適宜に制御できるという利点がある。なお、例えば楽音データの時間長が素片ごとに相違する場合には、拍点データが示す各拍点の間隔に応じた時間長となるように各素片の楽音データを加工する加工部をデータ生成手段が含む構成も好適に採用される。以上の構成によれば、各素片の楽音が円滑に連続する自然な楽音を生成することが可能となる。

本発明の好適な態様において、第１記述子および第２記述子の各々は複数種の特徴量を含み、複数種の特徴量の各々について重み値を設定する設定手段を具備し、類否算定手段は、重み値で重み付けされた各特徴量から類否指標値を算定する。以上の態様においては、各特徴量が別個の重み値で重み付けされたうえで類否指標値が算定されるから、特定の特徴量の類否を優先的に考慮して素片を選択することが可能となる。なお、設定手段は、例えば入力装置に対する操作に応じて各特徴量の重み値を設定する。

本発明は、楽音を処理する方法としても特定される。本発明の楽音処理方法は、楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶手段に記憶し、入力装置に対する操作に応じた入力データから音楽的な特徴を示す第２記述子を生成し、第２記述子と各素片の第１記述子との類否を示す類否指標値を算定し、各素片の類否指標値に基づいて素片を選択し、選択した各素片の楽音データから出力データを生成することを特徴とする。以上の方法によれば、本発明に係る楽音処理装置と同様の作用および効果が奏される。

本発明に係る楽音処理装置は、各処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段を具備するコンピュータに、楽音に関する入力データから音楽的な特徴を示す第２記述子を生成する記述子生成処理と、第２記述子と各素片の第１記述子との類否を示す類否指標値を算定する類否算定処理と、各素片の類否指標値に基づいて素片を選択する選択処理と、選択処理で選択した各素片の楽音データから出力データを生成するデータ生成処理とを実行させる内容である。以上のプログラムによっても、本発明に係る楽音処理装置と同様の作用および効果が奏される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、ネットワークを介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

＜Ａ：楽音処理装置の構成＞
図１は、本発明のひとつの形態に係る楽音処理装置の構成を示すブロック図である。図１に示すように、楽音処理装置１００は、制御装置１０と記憶装置３０と入力装置４０と出力装置５０とを具備するコンピュータシステムによって実現される。制御装置１０には演奏装置６０が接続される。

制御装置１０は、プログラムの実行によって楽音処理装置１００の各部を制御する演算処理装置（ＣＰＵ）である。記憶装置３０は、制御装置１０が実行するプログラムや制御装置１０が処理に使用する各種のデータを記憶する。例えば半導体記憶装置や磁気記憶装置や光ディスク装置が記憶装置３０として好適に採用される。図１に示すように、記憶装置３０は、複数の楽曲の各々について楽曲データを記憶する。

ひとつの楽曲は、拍点に同期した時点を境界として複数の区間（以下「素片」という）に区分される。本形態における素片は楽曲のひとつの拍に相当する時間長の区間である。したがって、例えば４拍子の楽曲であればひとつの小節を４等分した各区間が素片に相当する。もっとも、素片は、複数の拍に相当する時間長の区間であってもよいし、ひとつの拍を複数に分割した時間長の区間（すなわち1/2拍や1/4拍に相当する区間）であってもよい。また、拍とは無関係に楽曲を区分した区間（例えば拍とは無関係な固定長の区間）や、楽曲内の楽音（例えばドラム音など音量が高い楽音）の発音点から所定の時間長が経過するまでの区間を素片としてもよい。

図２は、楽曲データの構造を示す概念図である。同図に示すように、ひとつの楽曲の楽曲データは、この楽曲を区分した複数の素片の各々について素片データＤSを含む。楽曲データは、楽曲の総ての素片の素片データＤSを含んでいてもよいし、楽曲の特定の区間（例えばサビの部分）に属する各素片の素片データＤSのみを含んでいてもよい。図２に示すように、ひとつの素片に対応した素片データＤSは、この素片に含まれる楽音の波形を示す楽音データＭと、この素片に含まれる楽音の音楽的な特徴を示す記述子Ｐとを含む。

図２に示すように、本形態の記述子Ｐは、ＨＰＣＰ（Harmonics Pitch Class Profile），ＬＰＦ-ＨＰＣＰ（Low Pass Filter - HPCP），素片内の楽音の音量（エネルギの平均値），スペクトル重心，テンポおよび変化度を含む複数の特徴量で構成される。各特徴量の具体的な内容は以下の通りである。

第１に、ＨＰＣＰは、図２に示すように、素片に含まれるひとつの楽音または複数の楽音（すなわち和音）の各々について音高と音量との組合せを示す特徴量である。第２に、ＬＰＦ-ＨＰＣＰは、素片に含まれる楽音のうち所定の周波数を下回る楽音を対象としたＨＰＣＰである。第３に、スペクトル重心（スペクトルセントロイド）は、素片に含まれる楽音（特に和音）の周波数スペクトルの重心に相当する周波数である。第４に、テンポは、単位時間内の拍点の個数（ＢＰＭ：Beat Per Minute）として定義される。第５に、変化度は、素片内にて楽音が変化する程度を数値化した特徴量である。すなわち、変化度は、例えば素片に含まれる楽音が多い場合や素片内にて音高の変動する回数が多い場合ほど上昇する（換言すると、楽音が素片内にて安定している場合には変化度は低下する）。

図１の入力装置４０は、楽音処理装置１００に対する各種の指示を利用者が入力するための機器（例えばマウスやキーボード）である。演奏装置６０は、利用者による演奏の内容に応じたデータ（以下「入力データ」という）Ｉを生成する入力装置である。制御装置１０は、記憶装置３０に格納された複数の楽曲データのうち入力データＩに応じた素片の素片データＤSを選択的に使用して出力データＯを生成する。出力装置５０は、制御装置１０から出力される出力データＯに基づいて放音する。例えば、出力装置５０は、出力データＯからアナログの信号を生成するＤ/Ａ変換器と、Ｄ/Ａ変換器が出力する信号を増幅する増幅器と、増幅器が出力する信号に応じた音波を出力する放音機器（スピーカやヘッドホン）とを含む。

制御装置１０は、記憶装置３０内の複数の楽曲データから事前に抽出した複数の素片データＤSの集合（以下「候補データ群」という）Ｇを使用して出力データＯを生成する。候補データ群Ｇとして選択される素片データＤSの条件は、入力装置４０に対する操作に応じて決定される。例えば、入力装置４０に対する操作によって利用者が特定の特徴量を指定すると、制御装置１０は、記述子Ｐにおけるその特徴量が所定値を上回る複数の素片データＤSを候補データ群Ｇとして選別する。また、例えば楽曲のジャンルや歌手名といった書誌的な事項を記憶装置３０の各楽曲データに付加しておき、利用者が入力装置４０から指定した事項に合致する楽曲データの素片データＤSのみを制御装置１０が候補データ群Ｇとして選別する構成も採用される。

図３は、演奏装置６０や制御装置１０の具体的な構成を示すブロック図である。同図に示すように、演奏装置６０は電子楽器６２と検出器６４とを含む。電子楽器６２は、利用者が押下する複数の鍵（操作子）が配列された鍵盤楽器であり、ＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した入力データＩ（ＩA，ＩB）を利用者の操作（演奏）に応じてリアルタイムに出力する。図３に示すように、電子楽器６２は、所定の音高を境界として高音側の部分６２１と低音側の部分６２２とに区分される。電子楽器６２は、部分６２１に属する鍵の操作に応じて入力データＩAを生成し、部分６２２に属する鍵の操作に応じて入力データＩBを生成する。また、電子楽器６２は、楽音の音高の変動を指定するピッチベンドデータＰＢを利用者による操作に応じて出力する。なお、電子楽器６２の具体的な形態は任意である。例えば弦楽器型の電子楽器６２を採用してもよい。

図４は、演奏装置６０が生成する入力データＩ（ＩA，ＩB，ＩC）の具体的な内容を示す概念図である。同図に示すように、入力データＩAおよびＩBの各々は、発音または消音を指示するイベントデータや押鍵後の操作（押圧）の状態を示すアフタータッチデータである。イベントデータは、電子楽器６２のうち利用者が操作した鍵に対応した楽音の音高を示すノートナンバと、押鍵の強度を示すベロシティとを含む。アフタータッチデータは、押鍵後の押圧の圧力を指定するプレッシャ（チャンネルプレッシャまたはポリフォニックキープレッシャ）を含む。

図３の検出器６４は、利用者の動作を検出するセンサ（例えば加速度センサ）６４２を含む。検出器６４は、センサ６４２が検出した運動に同期した時点を拍点として指定する拍点データＢ（入力データＩC）を出力する。拍点データＢは、例えばセンサ６４２の検出する加速度が最大となる時点を拍点として指定する。また、検出器６４は、利用者の運動が停止すると、当該停止の直前における運動に同期した時点を拍点として指定する拍点データＢを継続的に出力する。

図１に示すように、制御装置１０は、各々が別個の処理を実行する複数の機能体（記述子生成部１２，類否算定部１４，素片選択部１６，データ生成部１８）として動作する。図１および図３に示すように、記述子生成部１２は、演奏装置６０から供給される入力データＩ（ＩA，ＩB，ＩC）に基づいて記述子Ｑ（ＱA，ＱB，ＱC）を生成する手段である。記述子Ｑは、利用者が演奏装置６０に対して実施した演奏の音楽的な特徴を記述子Ｐと同種の特徴量によって記述する。

図３に示すように、記述子生成部１２は、生成部１２A，１２Bおよび１２Cを含む。生成部１２Aは入力データＩAから記述子ＱAを生成する。同様に、生成部１２Bは入力データＩBから記述子ＱBを生成する。図４に示すように、記述子ＱAは、ＨＰＣＰとスペクトル重心と音量と変化度とを含み、記述子ＱBは、ＬＰＦ-ＨＰＣＰと音量と変化度とを含む。記述子ＱAおよびＱBの特徴量を入力データＩAおよびＩBから特定する方法は以下の通りである。

入力データＩAがイベントデータである場合、生成部１２Aは、入力データＩAのノートナンバで指定される各楽音と当該入力データＩAのベロシティに応じた音量との組合せを示すＨＰＣＰを生成する。さらに、生成部１２Aは、入力データＩAの複数のノートナンバ（音高）の平均値に基づいてスペクトル重心を特定し、入力データＩAのベロシティに基づいて音量を特定する。また、入力データＩAがアフタータッチデータである場合、生成部１２Aは、入力データＩAが指定するプレッシャ（押鍵の圧力）に基づいて変化度を特定する。例えば、プレッシャの数値が大きいほど変化度が増加するように生成部１２Aは変化度を設定する。生成部１２Bは、生成部１２Aと同様の方法で、ノートナンバとベロシティとを含む入力データＩB（イベントデータ）からＬＰＦ-ＨＰＣＰと音量とを特定し、プレッシャを含む入力データＩB（アフタータッチデータ）から変化度を特定する。

検出器６４から出力された拍点データＢは、データ生成部１８に出力されるとともに入力データＩCとして記述子生成部１２の生成部１２Cに出力される。生成部１２Cは、図３および図４に示すように入力データＩCから記述子ＱCを生成する。記述子ＱCはテンポを含む。生成部１２Cは、入力データＩC（拍点データＢ）によって単位時間内に指定される拍点の回数をテンポとして特定したうえで記述子ＱCに含ませる。

図１および図３に示すように、類否算定部１４は、記述子生成部１２が生成した記述子Ｑ（ＱA，ＱB，ＱC）と候補データ群Ｇ内の各素片データＤSの記述子Ｐとの類否を示す類否指標値Ｒ（ＲA，ＲB）を算定する手段である。図３に示すように、類否算定部１４は、算定部１４Aおよび１４Bと設定部１４Cとを含む。算定部１４Aは、記述子ＱAおよびＱCと各素片データＤSの記述子Ｐとの比較によって候補データ群Ｇの素片データＤSごとに類否指標値ＲAを算定する。同様に、算定部１４Bは、記述子ＱBおよびＱCと各素片データＤSの記述子Ｐとの比較によって素片データＤSごとに類否指標値ＲBを算定する。図３の設定部１４Cは、記述子Ｐおよび記述子Ｑの各々に含まれる各特徴量について重み値を設定する手段である。本形態の設定部１４Cは、入力装置４０に対する操作の内容に応じて各特徴量の重み値を設定する。

算定部１４Aは、設定部１４Cが設定した重み値で重み付けされた各特徴量から類否指標値ＲAを算定する。例えば、記述子ＱAおよびＱCに含まれる特徴量の種類数がＮ種類（図４の例示ではＮ＝５）である場合、類否指標値ＲAは以下の演算式で算定される。
ＲA＝α1・ｒ1＋α2・ｒ2＋……＋αN・ｒN ……(1)

式(1)における類似度ｒi（ｉは１≦ｉ≦Ｎを満たす整数）は、記述子ＱAおよびＱCにおける第ｉ番目の特徴量と記述子Ｐにおける同種の特徴量との類似の程度を示す数値である。図４の場合には、記述子ＱAに属する４種類の特徴量（ＨＰＣＰ，スペクトル重心，音量，変化度）と記述子ＱCに属する１種類の特徴量（テンポ）とについて、記述子Ｐにおける同種（５種類）の特徴量の各々との間で類似度ｒ1〜ｒ5（Ｎ＝５）が算定される。類似度ｒiは、例えば、記述子ＱAおよびＱCと記述子Ｐとで特徴量が近似するほど大きい数値となるように所定の演算式に基づいて算定される。具体的には、類似度ｒiは、記述子ＱAまたはＱCの特徴量と記述子Ｐの特徴量との差分値の自乗の逆数である。

また、式(1)における重み値αiは、第ｉ番目の特徴量について設定部１４Cが設定した重み値である。式(1)から理解されるように、類否指標値ＲAは、記述子ＱAおよびＱCの各特徴量と記述子Ｐの各特徴量とが近似するほど大きい数値となり、かつ、重み値αiの大きい特徴量が近似するほど大きい数値となる。

算定部１４Bは、以上と同様の方法によって類否指標値ＲBを算定する。すなわち、類否指標値ＲBは、記述子ＱBおよびＱCの各特徴量と記述子Ｐの同種の各特徴量とが近似するほど大きい数値となり、かつ、設定部１４Cが設定した重み値の大きい特徴量が近似するほど大きい数値となる。

図１の素片選択部１６は、類否算定部１４が素片ごとに算定した類否指標値Ｒ（ＲA，ＲB）に基づいて候補データ群Ｇから素片データＤSを選択し、この素片データＤSの楽音データＭ（ＭA，ＭB）を記憶装置３０から取得してデータ生成部１８に出力する。図３に示すように、素片選択部１６は選択部１６Aおよび１６Bを含む。選択部１６Aは、類否算定部１４の算定した類否指標値ＲAが大きい順番に所定個の素片データＤSを候補データ群Ｇから選択し、ここで選択した各素片データＤSの楽音データＭ（ＭA）を記憶装置３０から読み出して順次にデータ生成部１８に出力する。すなわち、電子楽器６２の部分６２１や検出器６４に対して利用者が実行した演奏に音楽的な特徴が類似する素片（すなわち演奏の内容に類似する和声間や音色感をもった素片）の楽音データＭAが選択的にデータ生成部１８に出力される。

同様に、選択部１６Bは、類否指標値ＲBが大きい順番に所定個の素片データＤSを候補データ群Ｇのなかから選択して各素片データＤSの楽音データＭ（ＭB）をデータ生成部１８に出力する。したがって、電子楽器６２の部分６２２や検出器６４に対して利用者が実行した演奏に音楽的な特徴が類似する素片の楽音データＭBがデータ生成部１８に出力される。なお、楽音データＭ（ＭA，ＭB）は、類否指標値Ｒ（ＲA，ＲB）が大きい順番にデータ生成部１８に出力されてもよいし、候補データ群Ｇにおける配列の順番にデータ生成部１８に出力されてもよい。

図１のデータ生成部１８は、素片選択部１６が出力する楽音データＭ（ＭA，ＭB）に基づいて出力データＯを生成する。本形態のデータ生成部１８は、図３に示すように、加工部１８１Aおよび１８１Bと連結部１８３Aおよび１８３Bと加算部１８５とを含む。加工部１８１Aは、選択部１６Aから供給される楽音データＭAを加工したうえで順次に出力する。加工部１８１Bは、選択部１６Bから供給される楽音データＭBを加工したうえで順次に出力する。加工部１８１Aおよび１８１Bにおける加工の内容について詳述すると以下の通りである。

図５は、データ生成部１８における処理の内容を説明するための概念図である。同図においては拍点データＢで指定される各拍点が時間軸上に矢印で図示されている。図５に示すように、各楽音データＭ（Ｍ1〜Ｍ3）が示す楽音の時間長は区々である。加工部１８１Aは、検出器６４から供給される拍点データＢが指定する各拍点の間隔に応じた時間長となるように楽音データＭAを伸縮する。図５においては、各拍点の間隔よりも短い時間長の楽音データＭ1およびＭ2が伸張され、各拍点の間隔よりも長い時間長の楽音データＭ3が短縮された場合が例示されている。なお、楽音データＭの伸縮には、楽音の音高を変化させずにテンポを調整する様々な公知の技術が採用される。

また、加工部１８１Aは、電子楽器６２から供給されるピッチベンドデータＰＢに応じて楽音データＭAのピッチを変動させる。さらに、加工部１８１Aは、楽音データＭAについて音量の調整やイコライジングを実行したうえで、所定の周波数（例えば電子楽器６２の部分６２１と部分６２２との境界の音高に相当する周波数）を下回る成分を遮断するフィルタ処理を実行する。以上と同様に、加工部１８１Bは、楽音データＭBに対し、拍点データＢに応じた時間長の調整やピッチベンドデータＰＢに応じたピッチの調整、さらには所定の周波数を上回る成分を遮断するフィルタ処理を実行する。

図３の連結部１８３Aは、加工部１８１Aによる加工後の各楽音データＭAを連結して出力データＯAを生成する手段である。図５に示すように、連結部１８３Aは、拍点データＢの示す拍点にて各楽音データＭAの再生が開始され、かつ、相前後する各楽音データＭAがクロスフェードを伴なって相互に重複するように、各楽音データＭAを連結する。例えば、拍点を始点とする期間Ｔ（例えば２０ミリ秒程度）の始点から終点にかけて、ひとつの楽音データＭ1の最後の部分の音量が徐々に低下するとともに別個の楽音データＭ2の最初の部分の音量が徐々に上昇するといった具合である。以上の構成によれば、各楽音データＭが円滑に連結された自然な楽音を生成することができる。

連結部１８３Bは、連結部１８３Aと同様の方法で、加工部１８１Bによる加工後の各楽音データＭBを連結して出力データＯBを生成する。加算部１８５は、連結部１８３Aが生成した出力データＯAと連結部１８３Bが生成した出力データＯBとを加算することで出力データＯを生成する。出力データＯが出力装置５０に供給されることで楽音が再生される。

以上に説明したように、本形態においては、記述子Ｑと記述子Ｐとの類否指標値Ｒに応じて素片（素片データＤS）が選択されるから、入力データＩと記述子Ｐとの関連を事前に定義しておく必要はない。また、利用者による演奏の内容と音楽的な特徴が連関する素片が出力データＯの生成に選択的に使用されるから、利用者による演奏の意図を適切に反映した楽音を再生することが可能である。さらに、利用者による指示に応じて重み付けされた特徴量に基づいて類否指標値Ｒが算定されるから、利用者が音楽的に特に重視する観点（特徴量）を優先的に反映させた多様な楽音を生成することができる。

本形態においては、高音側の出力データＯAを生成する系統と低音側の出力データＯBを生成する系統とが個別に設定される。したがって、例えば高音側と低音側とで別個の楽曲の素片データＤSが選択され得る。以上の態様によれば、例えばメロディ（高音）とベース音（低音）とが明確に区別された多様な楽音を生成することが可能である。

各楽音データＭは、拍点データＢが指定する拍点に同期して順次に再生される。したがって、利用者は身体の運動の周期を制御することで楽音のテンポを任意に設定することができる。また、楽音データＭは楽曲を拍単位で区分した各素片について生成され、さらに楽音データＭはデータ生成部１８にて拍点データＢの拍点に同期した時間長に調整されるから、統一的なリズム感をもって自然に進行する楽音を生成することが可能である。

記憶装置３０に格納された総ての素片データＤSのうち候補データ群Ｇとして抽出された素片データＤSのみが出力データＯの生成に使用される。したがって、総ての素片データＤSが処理の対象となる構成と比較して、制御装置１０による処理の負荷（例えば類否算定部１４が類否指標値Ｒを算定する負荷や素片選択部１６が素片を選択する負荷）が軽減されるという利点もある。さらに、利用者が指定した条件を満たす素片データＤSが候補データ群Ｇとして抽出されるから、利用者の意図に沿った楽音を生成できるという利点もある。

＜Ｂ：変形例＞
以上の形態には様々な変形を加えることができる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の各態様を適宜に組み合わせてもよい。

（１）変形例１
記述子ＰやＱに含められる特徴量は以上の例示に限定されない。例えば、記述子Ｐが、楽曲の各素片に含まれる楽音の音高を含むとともに、記述子Ｑが、入力データＩ（イベントデータ）のノートナンバに対応した楽音の音高を含む構成も採用される。電子楽器６２のうち利用者が操作した鍵の音高に類似する音高を含む素片の楽音データＭが出力データＯの生成のために選択される。

また、素片内の楽音について音色の複雑さを示す数値（以下「複雑度」という）を記述子Ｐに含めてもよい。複雑度は、例えば、素片に含まれる楽音の種類が多い場合ほど大きい数値となる。一方、入力データＩから生成される記述子Ｑも複雑度を含む。記述子生成部１２は、入力データＩのノートナンバが指定する音高の範囲（最高音と最低音との差分値）が広い（例えば別種の多数の音色が含まれる場合）ほど大きい数値となるように記述子Ｑの複雑度を算定する。以上のように、記述子Ｐは、素片内の楽音の音楽的な特徴を示す少なくともひとつの特徴量を含んでいれば足り、記述子Ｑは、利用者による演奏の内容の音楽的な特徴を示す少なくともひとつの特徴量を含んでいれば足りる。

（２）変形例２
以上の形態においては拍点データＢが指定する拍点に同期するように楽音データＭの時間長が調整される構成を例示したが、楽音データＭを伸縮する必要は必ずしもない。例えば、時間長の過不足に拘わらず楽音データＭが拍点に同期して配列される構成や、各楽音データＭが連続するように配列される（したがって各楽音データＭは拍点に必ずしも同期しない）構成も採用される。また、楽音データＭを伸縮する構成においても、具体的な処理の内容は適宜に変更される。例えば、楽音の音高も併せて変化するように楽音データＭの時間長（テンポ）を調整する構成や、楽音データＭに含まれる特定の楽音の波形を適宜に補間することで楽音データＭの時間長を調整する構成も採用される。また、拍点から拍間隔よりも短い期間のみで楽音データＭを再生する構成とすれば、無音の区間が各拍点の間隔に設定されるから、聴感上において興趣性に富んだリズミカルな楽音を生成することが可能となる。

（３）変形例３
以上の形態においては、類否指標値Ｒが大きい順番に所定個の素片データＤSが選択される構成を例示したが、素片データＤSを選択する方法は適宜に変更される。例えば、類否指標値Ｒが所定の閾値を上回る素片データＤSが選択される構成や、類否指標値Ｒが最大であるひとつの素片データＤSのみが選択される構成も採用される。また、素片選択部１６による選択の候補となる素片データＤSを候補データ群Ｇに絞り込まない構成（すなわち記憶装置３０内の総ての素片データＤSについて類否指標値Ｒの算定と素片選択部１６による選択とが実行される構成）としてもよい。

（４）変形例４
以上の構成においては各楽音データＭの配列によって出力データＯが生成される構成を例示したが、出力データＯを生成する方法は任意である。例えば、素片選択部１６が選択した複数の楽音データＭを所定の比率で混合することで出力データＯを生成する構成も採用される。また、楽音データＭが示す楽音のピッチを入力データＩ（ＩA，ＩB）におけるノートナンバの音高に変換したうえで出力データＯの生成に使用する構成としてもよい。

（５）変形例５
以上の形態においては、アフタータッチデータ（押鍵の圧力）に基づいて特定される特徴量は変化度に限定されない。例えば、アフタータッチデータに応じた素片の時間長を記述子生成部１２（生成部１２A，１２B）が特徴量として特定する構成も採用される。さらに具体的には、アフタータッチデータで指定されるプレッシャが大きいほど、記述子Ｑ（ＱA，ＱB）に特徴量として含まれる素片の時間長が短く設定される。一方、記述子Ｐには楽曲の各素片の時間長が含められる。以上の構成においては、アフタータッチデータに応じた時間長の素片が素片選択部１６によって選択される。したがって、例えば、利用者が電子楽器６２を押鍵後に押圧するほど時間長の短い素片が選択され、楽音や曲調が短時間で頻繁に変化する楽曲が再生される。

また、素片内にて音色が変化する程度（例えば音色の変化量や変化の頻度）の指標となる数値（以下「音色変化度」という）を記述子Ｐに含ませ、記述子生成部１２がアフタータッチデータに応じた音色変化度を特徴量として特定する構成も採用される。例えば、アフタータッチデータで指定されるプレッシャが大きいほど音色変化度の示す変化の程度が増大するように、記述子生成部１２は音色変化度を特定する。以上の構成によれば、利用者が押鍵後に電子楽器６２の各鍵を押圧するほど音色の変動が大きい（例えば音色が頻繁に変化する）楽曲が再生される。

さらに、同時に再生（並列に再生）される素片の個数がアフタータッチデータに応じて制御される構成としてもよい。例えば、データ生成部１８は、素片選択部１６が選択した複数の素片の楽音データＭのうち電子楽器６２が出力するアフタータッチデータ（入力データＩA，ＩB）に応じた個数の楽音データＭを混合することで出力データＯを生成する。以上の構成によれば、例えば、利用者が押鍵後に電子楽器６２の各鍵を押圧するほど多くの素片が同時に再生される。

なお、以上においては押鍵の強度を示すアフタータッチデータを例示したが、ピッチベンドやモジュレーションホイールといったアサイナブルコントローラに対する入力を、以上の各態様におけるアフタータッチデータの代わりに使用してもよい。

（６）変形例６
類否指標値Ｒを算定する方法は任意である。例えば、以上においては記述子Ｐと記述子Ｑとで特徴量が類似するほど増加する類否指標値Ｒ（式(1)）を例示したが、類否指標値Ｒは特徴量が類似するほど減少する数値であってもよい。また、設定部１４Cによる重み付けが省略された構成も採用される。例えば、Ｎ種類の特徴量を軸線とするＮ次元空間に記述子Ｐと記述子Ｑの各々に対応した座標を設定したときの各座標間の距離（または距離の逆数）を類否指標値Ｒとして算定してもよい。

（７）変形例７
以上の形態においては制御装置１０がプログラムを実行することで出力データＯの生成が実現される構成を例示したが、楽音処理装置１００は、図１の制御装置１０と同様の処理を実行するＤＳＰなどのハードウェア（電子回路）によっても実現される。

本発明のひとつの形態に係る楽音処理装置の構成を示すブロック図である。 楽曲データの構造を示す概念図である。 演奏装置や制御装置の機能的な構成を示すブロック図である。 入力データと記述子との関係を示す概念図である。 データ生成部の動作を説明するためのタイミングチャートである。

符号の説明

１００……楽音処理装置、１０……制御装置、１２……記述子生成部、１４……類否算定部、１６……素片選択部、１８……データ生成部、３０……記憶装置、４０……入力装置、５０……出力装置、６０……演奏装置、６２……電子楽器、６４……検出器、ＤS……素片データ、Ｍ（ＭA，ＭB）……楽音データ、Ｐ……記述子、Ｉ（ＩA，ＩB，ＩC）……入力データ、Ｑ（ＱA，ＱB，ＱC）……記述子、Ｒ（ＲA，ＲB）……類否指標値、Ｏ……出力データ。

Claims (12)

1. 楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段と、
   入力装置に対する操作に応じた入力データから音楽的な特徴を示す第２記述子を生成する記述子生成手段と、
   前記第２記述子と各素片の前記第１記述子との類否を示す類否指標値を算定する類否算定手段と、
   各素片の類否指標値に基づいて素片を選択する素片選択手段と、
   前記素片選択手段が選択した各素片の楽音データから出力データを生成するデータ生成手段と
   を具備し、
   前記第１記述子は、素片に含まれる和音のスペクトル重心を含み、
   前記入力データは、前記入力装置において利用者が操作した操作子を示す操作子データを含み、
   前記記述子生成手段は、利用者が並列に操作した複数の操作子の操作子データに対応する音高の平均値をスペクトル重心に対応した周波数として含む第２記述子を生成する
   楽音処理装置。
2. 楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段と、
   入力装置に対する操作に応じた入力データから音楽的な特徴を示す第２記述子を生成する記述子生成手段と、
   前記第２記述子と各素片の前記第１記述子との類否を示す類否指標値を算定する類否算定手段と、
   各素片の類否指標値に基づいて素片を選択する素片選択手段と、
   前記素片選択手段が選択した各素片の楽音データから出力データを生成するデータ生成手段と
   を具備し、
   前記第１記述子は、素片内における楽音の変化の程度を示す変化度を含み、
   前記入力データは、前記入力装置の操作子に対する操作後の押圧の状態を示すアフタータッチデータを含み、
   前記記述子生成手段は、前記アフタータッチデータに対応した変化度を含む第２記述子を生成する
   楽音処理装置。
3. 楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段と、
   入力装置に対する操作に応じた入力データから音楽的な特徴を示す第２記述子を生成する記述子生成手段と、
   前記第２記述子と各素片の前記第１記述子との類否を示す類否指標値を算定する類否算定手段と、
   各素片の類否指標値に基づいて素片を選択する素片選択手段と、
   前記素片選択手段が選択した各素片の楽音データから出力データを生成するデータ生成手段と
   を具備し、
   前記第１記述子は、素片内の楽音の種類数を示す複雑度を含み、
   前記入力データは、前記入力装置において利用者が操作した操作子を示す操作子データを含み、
   前記記述子生成手段は、前記操作子データが示す操作子に対応した楽音の音高の範囲の広さに応じた複雑度を含む第２記述子を生成する
   楽音処理装置。
   
4. 楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段と、
   入力装置に対する操作に応じた入力データから音楽的な特徴を示す第２記述子を生成する記述子生成手段と、
   前記第２記述子と各素片の前記第１記述子との類否を示す類否指標値を算定する類否算定手段と、
   各素片の類否指標値に基づいて素片を選択する素片選択手段と、
   前記素片選択手段が選択した各素片の楽音データから出力データを生成するデータ生成手段と
   を具備し、
   前記第１記述子は、素片の時間長を含み、
   前記入力データは、前記入力装置の操作子に対する操作後の押圧の状態を示すアフタータッチデータを含み、
   前記記述子生成手段は、前記アフタータッチデータに応じた時間長を含む第２記述子を生成する
   楽音処理装置。
5. 楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段と、
   入力装置に対する操作に応じた入力データから音楽的な特徴を示す第２記述子を生成する記述子生成手段と、
   前記第２記述子と各素片の前記第１記述子との類否を示す類否指標値を算定する類否算定手段と、
   各素片の類否指標値に基づいて複数の素片を選択する素片選択手段と、
   前記素片選択手段が選択した各素片の楽音データから出力データを生成するデータ生成手段と
   を具備し、
   前記入力データは、前記入力装置の操作子に対する操作後の押圧の状態を示すアフタータッチデータを含み、
   前記データ生成手段は、前記素片選択手段が選択した複数の素片の楽音データのうち前記アフタータッチデータに応じた個数の楽音データを混合することで出力データを生成する
   楽音処理装置。
6. 楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段と、
   入力装置のうち高音に対応する部分の各操作子の操作に応じた入力データから音楽的な特徴を示す第２記述子を生成し、前記入力装置のうち低音に対応する部分の各操作子の操作に応じた入力データから音楽的な特徴を示す第３記述子を生成する記述子生成手段と、
   前記第２記述子と各素片の前記第１記述子との類否を示す第１類否指標値と、前記第３記述子と各素片の前記第１記述子との類否を示す第２類否指標値とを算定する類否算定手段と、
   各素片の第１類否指標値に基づいて素片を選択するとともに各素片の第２類否指標値に基づいて素片を選択する素片選択手段と、
   前記素片選択手段が選択した各素片の楽音データから出力データを生成するデータ生成手段と
   を具備する楽音処理装置。
7. 楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段を具備するコンピュータに、
   入力装置に対する操作に応じた入力データから音楽的な特徴を示す第２記述子を生成する記述子生成処理と、
   前記第２記述子と各素片の前記第１記述子との類否を示す類否指標値を算定する類否算定処理と、
   各素片の類否指標値に基づいて素片を選択する素片選択処理と、
   前記素片選択処理で選択した各素片の楽音データから出力データを生成するデータ生成処理と
   を実行させるプログラムであって、
   前記第１記述子は、素片に含まれる和音のスペクトル重心を含み、
   前記入力データは、前記入力装置において利用者が操作した操作子を示す操作子データを含み、
   前記記述子生成処理においては、利用者が並列に操作した複数の操作子の操作子データに対応する音高の平均値をスペクトル重心に対応した周波数として含む第２記述子を生成する
   プログラム。
8. 楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段を具備するコンピュータに、
   入力装置に対する操作に応じた入力データから音楽的な特徴を示す第２記述子を生成する記述子生成処理と、
   前記第２記述子と各素片の前記第１記述子との類否を示す類否指標値を算定する類否算定処理と、
   各素片の類否指標値に基づいて素片を選択する素片選択処理と、
   前記素片選択処理で選択した各素片の楽音データから出力データを生成するデータ生成処理と
   を実行させるプログラムであって、
   前記第１記述子は、素片内における楽音の変化の程度を示す変化度を含み、
   前記入力データは、前記入力装置の操作子に対する操作後の押圧の状態を示すアフタータッチデータを含み、
   前記記述子生成処理においては、前記アフタータッチデータに対応した変化度を含む第２記述子を生成する
   プログラム。
9. 楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段を具備するコンピュータに、
   入力装置に対する操作に応じた入力データから音楽的な特徴を示す第２記述子を生成する記述子生成処理と、
   前記第２記述子と各素片の前記第１記述子との類否を示す類否指標値を算定する類否算定処理と、
   各素片の類否指標値に基づいて素片を選択する素片選択処理と、
   前記素片選択処理で選択した各素片の楽音データから出力データを生成するデータ生成処理と
   を実行させるプログラムであって、
   前記第１記述子は、素片内の楽音の種類数を示す複雑度を含み、
   前記入力データは、前記入力装置において利用者が操作した操作子を示す操作子データを含み、
   前記記述子生成処理においては、前記操作子データが示す操作子に対応した楽音の音高の範囲の広さに応じた複雑度を含む第２記述子を生成する
   プログラム。
   
10. 楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段を具備するコンピュータに、
    入力装置に対する操作に応じた入力データから音楽的な特徴を示す第２記述子を生成する記述子生成処理と、
    前記第２記述子と各素片の前記第１記述子との類否を示す類否指標値を算定する類否算定処理と、
    各素片の類否指標値に基づいて素片を選択する素片選択処理と、
    前記素片選択処理で選択した各素片の楽音データから出力データを生成するデータ生成処理と
    を実行させるプログラムであって、
    前記第１記述子は、素片の時間長を含み、
    前記入力データは、前記入力装置の操作子に対する操作後の押圧の状態を示すアフタータッチデータを含み、
    前記記述子生成処理においては、前記アフタータッチデータに応じた時間長を含む第２記述子を生成する
    プログラム。
11. 楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段を具備するコンピュータに、
    入力装置に対する操作に応じた入力データから音楽的な特徴を示す第２記述子を生成する記述子生成処理と、
    前記第２記述子と各素片の前記第１記述子との類否を示す類否指標値を算定する類否算定処理と、
    各素片の類否指標値に基づいて複数の素片を選択する素片選択処理と、
    前記素片選択処理で選択した各素片の楽音データから出力データを生成するデータ生成処理と
    を実行させるプログラムであって、
    前記入力データは、前記入力装置の操作子に対する操作後の押圧の状態を示すアフタータッチデータを含み、
    前記データ生成処理においては、前記素片選択処理で選択した複数の素片の楽音データのうち前記アフタータッチデータに応じた個数の楽音データを混合することで出力データを生成する
    プログラム。
12. 楽曲の各素片の楽音データと各素片の音楽的な特徴を示す第１記述子とを記憶する記憶手段を具備するコンピュータに、
    入力装置のうち高音に対応する部分の各操作子の操作に応じた入力データから音楽的な特徴を示す第２記述子を生成し、前記入力装置のうち低音に対応する部分の各操作子の操作に応じた入力データから音楽的な特徴を示す第３記述子を生成する記述子生成処理と、
    前記第２記述子と各素片の前記第１記述子との類否を示す第１類否指標値と、前記第３記述子と各素片の前記第１記述子との類否を示す第２類否指標値とを算定する類否算定処理と、
    各素片の第１類否指標値に基づいて素片を選択するとともに各素片の第２類否指標値に基づいて素片を選択する素片選択処理と、
    前記素片選択処理で選択した各素片の楽音データから出力データを生成するデータ生成処理と
    を実行させるプログラム。
    

Images