JP3797283B2 - 演奏音制御方法及び装置 - Google Patents
演奏音制御方法及び装置 Download PDFInfo
- Publication number
- JP3797283B2 JP3797283B2 JP2002177267A JP2002177267A JP3797283B2 JP 3797283 B2 JP3797283 B2 JP 3797283B2 JP 2002177267 A JP2002177267 A JP 2002177267A JP 2002177267 A JP2002177267 A JP 2002177267A JP 3797283 B2 JP3797283 B2 JP 3797283B2
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- frequency component
- analysis data
- data
- performance sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【発明の属する技術分野】
この発明は、多重奏等の複音からなる演奏音を分析し、その中から特定の音を選択して、該特定音のピッチ等楽音特性を可変制御することのできる演奏音制御方法及び装置に関する。
【0002】
【従来の技術】
楽音合成法の一つとして、楽音波形を分析し、分析によって得た元の楽音波形の周波数、振幅、位相等の成分を適宜変更制御し、これらの制御された成分を基にして楽音波形を再合成する分析・合成(Analysis & Synthesis)方式が存在している(例えば、米国特許第5029509号、特開平7−325583号公報、特開平12−10567号公報など)。この場合、分析対象の楽音波形が楽器の多重奏や複数人声のコーラスなどの演奏音の場合、その中から特定の音のみを抽出して可変制御することは非常に困難であった。
また、分析データの時系列的軌跡(トラジェクトリ:Trajectory)を抽出して加工処理する場合、加工処理によって位相値にずれが生じることがあり、特に発音開始時点での位相値にずれが生じると音質が変更されてしまうという不都合が生じる。従来は、そのような問題点の認識すらなく、従って、適切な対策をとることもできなかった。
【0003】
【発明が解決しようとする課題】
この発明は上述の点に鑑みてなされたもので、多重奏等の複数音が複合化されてなる演奏音を分析しその中から特定の音を抽出・選択して該特定音のピッチ等楽音特性を変更制御できるようにした演奏音制御方法及び装置を提供しようとするものである。
【0004】
【課題を解決するための手段】
この発明に係る演奏音制御方法は、演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得するステップと、前記各周波数成分についての分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データを抽出するステップと、前記目的とする特定のピッチの音の特性を変更するために、前記抽出された分析データを変更するステップとを具備し、前記抽出するステップは、前記取得するステップで取得された前記各周波数成分についての分析データの中に、前記特定のピッチ以外のピッチと倍音関係にある周波数成分の分析データが含まれており、かつこの特定のピッチ以外のピッチと倍音関係にある周波数成分と前記特定のピッチと倍音関係にある周波数成分とが重複している場合、該重複している周波数成分の分析データから前記特定のピッチについての周波数成分の分析データを分離して取り出すステップを含んでおり、前記分離して取り出すステップでは、前記重複している周波数成分の前記特定のピッチにおける倍音次数と該特定のピッチ以外のピッチにおける倍音次数との関係からそれぞれの振幅分配率を決定し、前記重複している周波数成分のデータに該決定された振幅分配率で定まる振幅成分のデータを付加することで、該特定のピッチについての周波数成分の分析データとして分離し、前記変更するステップでは、前記分離して取り出された前記特定のピッチについての周波数成分の分析データに対して変更を施し、前記変更された抽出された分析データとその他の前記分析データとの組合せを、元の演奏音を変更した演奏音を合成するためのデータとして提供することを特徴とする。
【0005】
これにより、多重奏等の複音からなる演奏音の分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データのみを抽出し、抽出された分析データを変更することで、特定のピッチの楽音に対してのみ特性変更操作を施し、演奏音に対する制御を自由に行なうことができる。例えば原演奏音がド、ミ、ソの和音からなっている場合、その中の「ミ」を半音下げて、「ド」、フラット「ミ」、「ソ」の和音に変えることができる。原演奏音の「ミ」の音程が狂って半音上がっているような場合、狂っている「ミ」のみ正しいピッチに修正して、「ド」、「ミ」、「ソ」の正しい和音に修正することもできる。その他、いろいろな応用が可能である。
このようにして変更された分析データに基づき演奏音を合成するために、前記変更された抽出された分析データとその他の前記分析データとを用いて演奏音信号を合成するステップを更に具備し、元の演奏音信号中における前記目的とする特定のピッチの音の特性を変更してなる演奏音信号が合成されるようにしてよい。
【0006】
一実施態様として、前記抽出するステップは、前記取得するステップで取得された前記周波数成分についての分析データの中に、前記特定のピッチ以外のピッチと倍音関係にある周波数成分の分析データが含まれており、かつこの特定のピッチ以外のピッチと倍音関係にある周波数成分と前記特定のピッチと倍音関係にある周波数成分とが重複している場合、該重複している周波数成分の分析データから前記特定のピッチについての周波数成分の分析データを分離して取り出すステップを含み、前記変更するステップでは、前記分離して取り出された前記特定のピッチについての周波数成分の分析データに対して変更を施すことを特徴とする。
【0007】
例えば多重奏音あるいはコーラス音声音などの複数音が同時的に混在している演奏音波形を周波数成分分析した場合、基音周波数が相違する音同士であっても、それらの倍音周波数の中にはほぼ同一周波数で重なり合うものがあり得る。例えば原演奏音が音高C2、E2、G2からなる「ド」、「ミ」、「ソ」の和音を演奏したものである場合、C2の3倍音周波数とG2の2倍音周波数とが重なり合い、C2の5倍音周波数とE2の4倍音周波数とが重なり合い、C2の6倍音周波数とG2の4倍音周波数とが重なり合う。そのような場合、原演奏音中の特定の音のピッチを変更しようとする場合、該特定の音の基音及び全ての倍音周波数成分を変更する操作を行なえばよいのであるが、他の音の成分と重なり合っている成分については、これを適切に分離・抽出し、特定の音の成分についてのみ周波数変更操作を行なう必要がある。例えば「ミ」(E2)のピッチを半音下げようとする場合、E2の4倍音周波数は、C2の5倍音周波数と重なり合うので、その区別を適切に行ない、E2の周波数成分のみを抽出してそれを半音ピッチ下げる変更操作を行なわなければならない。上記実施態様によれば、そのような適切な操作が可能となる。
【0008】
この発明の別の観点に従う演奏音制御方法は、演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得するステップであって、該分析データには各周波数成分の位相を時間関数で示す位相トラジェクトリデータが含まれるものと、前記分析データの中から、目的とする特定の音の分析データを抽出するステップと、前記目的とする特定の音のピッチを変更するために、前記抽出された分析データにおける所定の周波数成分についての前記位相トラジェクトリデータを変更するステップであって、前記分析データが持つ元のピッチと変更後の目標ピッチとの比に従って前記位相トラジェクトリデータを変更するものと、所定の周波数成分についての前記変更された位相トラジェクトリデータにおいて特定の時点における位相値が元の値に略維持されるように調整するステップとを具備し、前記変更された分析データとその他の前記分析データとの組合せを、元の演奏音を変更した演奏音を合成するためのデータとして提供することを特徴とする。これにより、分析データの時系列的軌跡(トラジェクトリ)を抽出して加工処理する場合、加工処理を行なっても、位相を合わせる必要がある特定の時点での位相値にずれが生じないように調整されるので、特定時点での位相ずれによる不具合の発生を防ぐことができる。例えば、同じ音高の楽音を適宜の音符長で連続的に繰返し発生するような場合、該音高についての一連のトラジェクトリ中に複数のノートオンタイミング(発音開始時点)が含まれることになるが、そのような場合、各ノートオンタイミング(発音開始時点)における位相状態は音質に影響を与える。よって、位相トラジェクトリにおける位相関数の傾きを変更することでピッチ変更を実現する場合、少なくとも各ノートオンタイミング(発音開始時点)における位相値があまり変動することなく元の状態を略維持するようにすることが望ましい。そのためには、前記特定の時点を音の立上り時点とすればよく、そうすれば、変更された位相のデータにおいて音の立上り時点における位相値が元の値に略維持されるように調整することができ、音質が不所望に変更されることを防ぐことができる。この場合も、前記変更された分析データとその他の前記分析データとを用いて演奏音信号を合成するステップを更に具備し、元の演奏音信号中における前記目的とする特定のピッチの音の特性を変更してなる演奏音信号が合成されるようにしてよい。
【0009】
この発明は、方法の発明として構成し、実施することができるのみならず、装置又はシステムの発明として構成し、実施することができる。また、本発明は、コンピュータまたはDSP等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記録媒体の形態で実施することもできる。
【0010】
【発明の実施の形態】
以下、添付図面を参照してこの発明の実施の形態を詳細に説明しよう。
図1は、この発明の一実施例に係る演奏音制御方法を実行するために使用可能な楽音分析合成装置のハードウエア構成例を示すブロック図である。この楽音分析合成装置は、CPU(中央処理ユニット)1、ROM(リードオンリメモリ)2及びRAM(ランダムアクセスメモリ)3を含むコンピュータで構成され、システムバス10を介して各種機器がCPU1に接続される。CPU1は、この楽音分析合成装置全体の制御を行なうコンピュータの中枢部である。ROM2及び/又はRAM3には、CPU1が実行する各種制御プログラム、楽音分析プログラム、楽音合成プログラムなどの各種プログラムが記憶される。また、RAM3は、各種制御情報やデータ類の記憶する及び/又は一時記憶するデータメモリとして機能し、また、ワーキングメモリとして機能する。
【0011】
システムバス10を介してCPU1に接続される各種機器の一例を示すと、表示装置4、キーボート及びポインティングデバイス等を含む入力装置5、鍵盤などの演奏操作子装置6、楽音合成用の楽音合成部7、デジタルアナログ変換及びアナログデジタル変換機能を持つCODEC8、インターネットやLANなどの通信ネットワーク15と接続するための通信インタフェース9、ハードディスクドライバ(HDD)11、CD−ROMやDVD、MO、フレキシブル磁気ディスクなどの着脱式記憶媒体を読み書きするための外部メモリドライバ12、などがある。なお、楽音合成部7は、ハードウェア音源及びソフトウェア音源のどちらで構成してもよい。CODEC8にはマイクロフォン13とサウンドシステム14が接続され、マイクロフォン13を介してピックアップしたアナログ楽音波形信号がデジタル変換されて本装置内に取り込まれることができ、また、本装置内で合成されたデジタル楽音波形信号がアナログ変換されてサウンドシステム14に与えられる。
【0012】
まず、この楽音分析合成装置で実行する楽音分析処理の一例について説明する。この例では、楽音分析処理は、楽音分析プログラム(ソフトウェア)をCPU1が実行することで行なわれる。この楽音分析処理は、スペクトル解析技術など公知の技術(例えば特開平12−10567号公報に示された技術)を適宜用いてよいため、ここでは、図2を参照して簡単に概略を説明するにとどめる。
図2において、ステップS1では、分析対象となる演奏音の楽音波形信号を本装置内に取り込む処理を行う。分析対象となる演奏音信号は、アナログ楽音波形信号の形でマイクロフォン13から入力されるようになっていてもよいし、通信インタフェース9や外部メモリドライバ12などを介してデジタル楽音波形信号の形で外部から本装置内に取り込まれるようになっていてもよい。分析対象となる演奏音信号は、多重奏音や人声コーラス音など同時に複数の音が混在するものであってよい。
【0013】
次に、ステップS2では、上記取り込んだ楽音波形信号を所定の時間フレーム毎にスペクトル解析し、その楽音波形に含まれている基音周波数およびその倍音周波数に対応する線スペクトル成分を抽出する。通常、このスペクトル解析は、時間窓(ウインドウ)を用いたフーリエ変換による短時間スペクトル解析を用いて行われている。すなわち、分析対象となる楽音をサンプリングし、該楽音波形サンプルに窓関数を掛けてFFT(高速フーリエ変換:Fast Fourier Transform)を行い、該フーリエ変換出力の振幅データからピークを成す全ての周波数位置を検出する。以上の処理を、前記時間窓を移動しながら行い(短時間フーリエ変換(SFFT:Short-time Fast Fourier Transform))、各フレームにおけるピークを検出する。ここで、それぞれのピークは、ピッチすなわち周波数(Frequency)、振幅(Amplitude)、位相(Phase)の3種の要素の情報を有することが知られている。
【0014】
次に、ステップS3では、前ステップS2で得られたピークデータに基づき軌跡を成すデータを追跡・抽出し、各周波数成分毎のピッチ軌跡(トラジェクトリ)と振幅軌跡(トラジェクトリ)及び位相軌跡(トラジェクトリ)を生成し、これらを分析データとして提供する。すなわち、同じ周波数成分の時系列的な連続を検出し、これを軌跡(トラジェクトリ)として抽出する。ピッチトラジェクトリは当該周波数成分の検出されたピッチを示すデータの時系列軌跡からなり、振幅トラジェクトリは当該周波数成分の検出された振幅を示すデータの時系列軌跡からなり、位相トラジェクトリは当該周波数成分の検出された位相値を示すデータの時系列軌跡からなる。1つの或る周波数成分についての分析データは、ピッチトラジェクトリと振幅トラジェクトリ及び位相トラジェクトリのセットからなる。なお、位相トラジェクトリは求めなくてもよい場合があるが、本実施例では、後述するようにこれを利用するので、求めるものとする。
次のステップS4では、前ステップS3で生成した各周波数成分のピッチトラジェクトリと振幅トラジェクトリとから当該周波数成分に対応する周波数の正弦波信号を生成し、こうして生成した各周波数成分の正弦波信号を加算合成することで決定論的な波形(Deterministic Wave)を生成し、元の楽音波形から該決定論的な波形を減算することにより残差波形(Residual Wave)を得る。これらの各周波数成分毎の各トラジェクトリ及び残差波形からなる分析データは、RAM3あるいはハードディスク等適宜の記憶媒体に記憶・保存される。
【0015】
上記のように分析した分析データに基づき楽音波形を再合成するにあたって、前記決定論的な波形は、以下一例を述べるように所望の周波数成分毎の各トラジェクトリのデータを適宜変更することにより、適宜変更することができ、また、前記残差波形はEQ(イコライザ)やFFT他の信号処理により適宜変更することができる。このようにして適宜変更された決定論的な波形と残差波形とを加算合成することにより、元の楽音波形に対して所望の加工を施して変更した楽音波形を得ることができる。
【0016】
図3は、上記楽音分析処理によって得られた分析データのうち所望の周波数成分のデータを変更するための変更処理の一例を示す。
図3において、ステップS11では、上記楽音分析処理によって得られた各周波数成分についての分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分(つまり基音と各倍音)の分析データ(トラジェクトリデータ)を抽出する。これは、多重奏音からなる元の楽音波形の中から、特定のピッチの演奏音のみを摘出し、その特定のピッチの演奏音のみに対して楽音特性の所望の変更を施すためである。例えば或る演奏区間において原演奏音がC2.E2.G2(ド、ミ、ソ)の和音からなっている場合、その中のE2(ミ)の演奏音に対して所望の変更を施したい場合、本装置のユーザ若しくは操作者による入力装置5の操作等によって、目的とする特定のピッチとしてE2(ミ)を指定する。また、抽出すべき演奏区間を指示することも入力装置5の操作等によってなされる。これに応じて、ステップS11では、特定ピッチ抽出ルーチンを実行し、指定された演奏区間内において、指定された特定のピッチと倍音関係にある複数の周波数成分の分析データ(トラジェクトリデータ)を抽出する。特定ピッチ抽出ルーチンの一例については図4(a)により後述する。
【0017】
次のステップS12では、目的とする特定のピッチの音の特性を変更するために、前ステップS11で抽出された分析データを変更する処理を行う。ここで、変更の対象とする音の特性は、適宜選択できるようになっていてよい。例えば、本装置のユーザ若しくは操作者による入力装置5の操作等によって、楽音ピッチ、音色、音量などの楽音要素のうち、変更したい楽音要素を指定入力し、その変更量等を設定入力する。これに応じて、ステップS12では、所定のデータ変更処理を実行し、データの変更を行う。例えば、楽音ピッチ要素を変更する場合、前ステップS11で抽出された該目的とする特定のピッチについての各周波数成分毎の各トラジェクトリのうち、基音及びすべての倍音のピッチトラジェクトリにおけるピッチデータを所望の変更すべきピッチに対応するものに変更する。あるいは、位相トラジェクトリの傾きを変更することでピッチ変更が可能であるから、前ステップS11で抽出された該目的とする特定のピッチについての各周波数成分毎の各トラジェクトリのうち、基音及びすべての倍音の位相トラジェクトリの傾き所望の変更すべきピッチに対応する傾きに変更するようにしてもよい。このような多重奏音における特定の音のピッチ操作によって、ピッチが少しずれた演奏音のピッチを正しいピッチに修正したり、ミスタッチ(誤演奏)された音のピッチを正しいピッチに修正したり、半音単位でのピッチ調節によってマイナーをメジャーに変えたり、メジャーをマイナーに変えたりの音楽的操作も行える。このようなピッチ変更処理は、例えば図4(b)を参照して後述するようなピッチ変更ルーチンを実行することにより行われる。
【0018】
また、音色要素を変更する場合、前ステップS11で抽出された該目的とする特定のピッチについての各周波数成分毎の各トラジェクトリのうち、所望の1又は複数の倍音の振幅トラジェクトリにおける振幅データを適宜変更することでスペクトル構成を変更し、もって音色要素の変更が行える。また、音量要素を変更する場合、前ステップS11で抽出された該目的とする特定のピッチについての各周波数成分毎の各トラジェクトリのうち、基音及びすべての倍音の振幅トラジェクトリにおける振幅データを同率で変更することで音量要素の変更が行える。更に、このステップS12での変更処理には、データの一部変更に限らず、別のデータへの差し替え及び/又は削除を含んでいてよい。例えば、A,B,Cの3名によるコーラス音声のうち、A氏のパートのピッチについての分析データを抽出し、これを別に用意したD氏の音声による同パート(ピッチ)の分析データにそっくり差し替えるようにしてもよい。そうすれば、後段の楽音合成処理によってB,C,Dの3名によるコーラス音声を創作できる。あるいは、A氏のパートのピッチについての分析データをそっくり削除してもよい。そうすれば、後段の楽音合成処理によってB,Cの2名のみによるコーラス音声を創作できる。
【0019】
更に別の演奏区間あるいは別の特定ピッチの分析データについて変更を行いたい場合は、ステップS13のNOからステップS11に戻り、上記ステップS11,S12の処理を適宜繰り返せばよい。こうして所望の変更を行った結果、元の演奏音の分析データを部分的に適宜変更した分析データの新セット(各周波数成分毎の各トラジェクトリと残差波形の新セット)が得られる。この変更した分析データの新セットは、RAM3あるいはハードディスク等適宜の記憶媒体に記憶・保存される。この場合、変更した分析データの新セットは、元の演奏音の分析データとは別に記憶・保存してもよいし、それに置き換えて記憶・保存してもよい。
【0020】
以上のようにして作成された変更した分析データを記憶媒体から読み出し、該変更した分析データに基づき楽音合成部7により楽音合成を行う。この楽音合成は、前述のように、ピッチトラジェクトリ(及び/または位相トラジェクトリ)と振幅トラジェクトリとに基づく基音及び倍音のスペクトル合成(フーリエ合成)により決定論的な波形を生成することと、生成した決定論的な波形と残差波形とを加算合成することを含む。このような決定論的な波形のスペクトル合成(フーリエ合成)と残差波形との加算による楽音波形の再合成技術それ自体は、公知の技術(例えば特開平12−10567号公報に示された技術)を適宜用いてよいため、詳細説明を省略する。
【0021】
次に、多重奏音の具体例を挙げて、本実施例に従う楽音分析及び変更の態様につき更に説明する。
図5は、多重奏音の一例として、1小節分の演奏区間において、1拍目に全音符でC2音(ド)が演奏され、2拍目、3拍目、4拍目に夫々四分音符でE2音(ミ)とG2音(ソ)が和音演奏される楽譜例を示す。図6は図5の楽譜をピアノで弾いた楽音波形例を示す。図6のような多重奏音の楽音波形に対して図2に示すような楽音分析処理が施される。図7は、図6の楽音波形を分析することで得られた各周波数成分毎のピッチトラジェクトリをグラフ化して示すもので、縦軸は周波数、横軸は時間である。図示の都合上、図では900Hzまでしか示されていないが、実際はもっと高い周波数まで分析されるのは言うまでもない。
【0022】
図7において、「C2基音」は、C2音の基音(130.8Hz)の周波数成分のピッチトラジェクトリを示し、「C2−2」、「C2−3」、「C2−4」、「C2−5」、「C2−6」は、それぞれC2音の2倍音(261.6Hz)、3倍音(392.4Hz)、4倍音(523.2Hz)、5倍音(624Hz)、6倍音(784.8Hz)の周波数成分のピッチトラジェクトリを示す。同様に、「E2基音」、「E2−2」、「E2−3」、「E2−4」、「E2−5」は、それぞれは、E2音の基音(164.8Hz)、2倍音(329.6Hz)、3倍音(494.4Hz)、4倍音(659.2Hz)、5倍音(824Hz)の周波数成分のピッチトラジェクトリを示す。なお、図では、単独の「E2−4」は顕れていない。また、「G2基音」、「G2−2」、「G2−3」、「G2−4」は、それぞれは、G2音の基音(196.0Hz)、2倍音(392.0Hz)、3倍音(588.0Hz)、4倍音(784.0Hz)の周波数成分のピッチトラジェクトリを示す。なお、図では、単独の「G2−2」、「G2−4」は顕れていない。
【0023】
図中で、「C2−3+G2−2」と付記されたものは、C2音の3倍音(392.4Hz)の周波数成分とG2音の2倍音(392.0Hz)の周波数成分とが分離されずに、1つの周波数成分のピッチトラジェクトリとして分析されたものである。つまり、1拍目に全音符で演奏されたC2音の3倍音(392.4Hz)の周波数成分のトラジェクトリは図中の「C2−3」として得られるが、2拍目以降ではG2音の2倍音(392.0Hz)の周波数成分がこれとほぼ同じ周波数であるため、分離されずに同じ周波数成分のトラジェクトリとして分析されてまう。このようにC2音の3倍音とG2音の2倍音とが重なっている部分が「C2−3+G2−2」で示されている。なお、分析データにおいては、「C2−3」のトラジェクトリと「C2−3+G2−2」のトラジェクトリは別のものとして分析されておらず、「C2−3+G2−2」の部分は先行する「C2−3」のトラジェクトリに続いているものとして、つまり一連のトラジェクトリとして分析されている。
【0024】
同様に、図中で、「C2−5+E2−4」と付記されたものは、C2音の5倍音(624Hz)の周波数成分とE2音の4倍音(659.2Hz)の周波数成分とが分離されずに、1つの周波数成分のピッチトラジェクトリとして分析されたものである。つまり、1拍目に全音符で演奏されたC2音の5倍音(624Hz)の周波数成分のトラジェクトリは図中の「C2−5」として得られるが、2拍目以降ではE2音の4倍音(659.2Hz)の周波数成分がこれとほぼ同じ周波数であるため、分離されずに同じ周波数成分のトラジェクトリとして分析されてまう。同様に、図中で、「C2−6+G2−4」と付記されたものは、C2音の6倍音(784.8Hz)の周波数成分とG2音の4倍音(784.0Hz)の周波数成分とが分離されずに、1つの周波数成分のピッチトラジェクトリとして分析されたものであることを示す。
【0025】
このような多重奏音の楽音波形の分析データの中から、E2音の基音及び倍音の周波数成分の分析データ(トラジェクトリ)を抽出する例につき説明する。E2音の基音及び倍音の周波数成分のうち、図7に示された「E2基音」、「E2−2」、「E2−3」のように他の音の周波数成分と重複していないものは、それをそのまま抽出すればよいので、特に面倒はない。しかし、図7に示された「C2−5+E2−4」のように他の音の周波数成分と重複しているものは、その中からE2音の倍音周波数成分(図の例では4倍音成分「E2−4」)のみを分離して抽出しなければならない。
この抽出は、図3のステップS11における「特定ピッチ抽出ルーチン」の処理で行われる。図4(a)は、図3のステップS11で行われる「特定ピッチ抽出ルーチン」の一例を示す。まずステップS11aでは、目的とする特定のピッチの基音及び倍音成分のうち、図7に示された「E2基音」、「E2−2」、「E2−3」のように、他の音の周波数成分と重複していない周波数成分の分析データ(トラジェクトリ)を抽出する。次にステップS11bでは、目的とする特定のピッチの基音及び倍音成分のうち、図7に示された「C2−5+E2−4」のように、他のピッチの周波数成分と重複しているものにつき、その中から該他のピッチの周波数成分(C2−5)と特定のピッチの周波数成分(E2−4)とを分離して抽出する。つまり、元となる「C2−5+E2−4」は、1つの周波数成分についてのトラジェクトリ(ピッチトラジェクトリ、振幅トラジェクトリ、位相トラジェクトリの組)であるところ、ここから、C2音の5倍音(C2−5)の周波数成分についてのトラジェクトリ(ピッチトラジェクトリ、振幅トラジェクトリ、位相トラジェクトリの組)と、E2音の4倍音(E2−4)の周波数成分についてのトラジェクトリ(ピッチトラジェクトリ、振幅トラジェクトリ、位相トラジェクトリの組)とを分離・生成する。なお、この「特定ピッチ抽出ルーチン」の処理は、全自動処理で行うようにプログラムが組まれていてもよいが、人間がコンピュータディスプレイ(図1の表示装置4)を見ながら適宜指示入力操作を行う対話形式で処理を行うようにプログラムが組まれていてよい。
【0026】
このステップS11bで行う分離抽出の手法の1つとして「エンベロープ分離法」を提案する。このエンベロープ分離法は、演奏音の振幅エンベロープがピアノ音や打撃音のように減衰エンベロープからなる場合に採用できる方法である。図8(a)は、図7に示された「C2−5」及び「C2−5+E2−4」の周波数成分についての振幅トラジェクトリデータに基づき、振幅エンベロープ波形を描画したものである。1拍目のタイミングでC2の5倍音のアタック部が立上り、2拍目、3拍目、4拍目のタイミングで3つのE2音の4倍音のアタック部がそれぞれ立上る。1拍目のタイミングで立ち上がるC2の5倍音の振幅エンベロープは徐々に減衰する。このC2の5倍音の振幅エンベロープの減衰形状は、2拍目以降はE2の4倍音の振幅エンベロープと混じることで明確にはされないが、1拍目におけるC2の5倍音のみの振幅エンベロープの減衰曲線を延長するあるいは関数近似演算することによって、予測することが可能である。図8(b)は、そのように予測した1拍目のC2の5倍音の振幅エンベロープの減衰曲線を符号Rで示している。このように予測した減衰曲線Rを1拍目における分析されたC2の5倍音の振幅エンベロープに接続することで、図8(c)に示すように、C2の5倍音単独の振幅エンベロープを作成することができる。このように作成したC2の5倍音単独の振幅エンベロープから、該C2の5倍音周波数成分の振幅トラジェクトリを作成することができ、かつそのピッチトラジェクトリ及び位相トラジェクトリもそれに対応付けて作成できる。
次に、図8(a)に示されたようなC2の5倍音とE2の4倍音についての振幅エンベロープ波形から、1拍目のC2の5倍音単独の振幅エンベロープを除去し、2拍目のアタック部における不足部分を関数近似演算等で予測して作成し補うことで、図8(d)に示すように、2拍目、3拍目、4拍目のタイミングで順次立ち上がるE2の4倍音単独の振幅エンベロープを作成することができる。このように作成したE2の4倍音単独の振幅エンベロープから該E2の4倍音周波数成分の振幅トラジェクトリを作成することができ、かつそのピッチトラジェクトリ及び位相トラジェクトリもそれに対応付けて作成できる。
【0027】
ステップS11bで行う分離抽出の手法の別の例として「振幅分配法」を提案する。この振幅分配法は、演奏音の振幅エンベロープが持続音エンベロープからなる場合に採用するとよい方法である。持続音エンベロープの音にあっては、減衰エンベロープの音のように減衰曲線を予測することでトラジェクトリの分離を行うことができない。そこで、振幅分配法により、重複している周波数成分の特定のピッチにおける倍音次数と該特定のピッチ以外のピッチにおける倍音次数との関係からそれぞれの振幅分配率を決定し、決定された振幅分配率で振幅データを割り振る。一般に、楽音スペクトル構成においては倍音次数が高いものほど振幅レベルが小さいので、振幅分配率もそのように決定すればよい。例えば、2倍音と3倍音とが同一周波数成分として重複している場合は、分析によって得た振幅トラジェクトリにおける振幅データを、2倍音の成分に対して3/5の割合で分配し、3倍音の成分に対して2/5の割合で分配する、という具合にすればよい。このように決めた振幅分配率に従って、分析によって得た元の振幅トラジェクトリにおける振幅データを、2つに分離し(3以上重複している場合はその数に応じて3以上に分離する)、2つの(又は3以上の)周波数成分の振幅トラジェクトリを作成することができる。なお、分離したそれぞれの振幅トラジェクトリの時間区間は、予め判っている楽譜等を参考にして決めればよい。このように分離したそれぞれの振幅トラジェクトリが決まれば、分析によって得た元のピッチトラジェクトリ及び位相トラジェクトリを、それに対応付けることで、それぞれのピッチトラジェクトリ及び位相トラジェクトリを作成することができる。なお、この振幅分配法にあっては、単に倍音次数のみから振幅分配率するのでなく、基音の音域等も考慮して振幅分配率を決定するようにしてもよい。その場合、基音の周波数又は音域と倍音次数との組合せ等に応じて振幅分配率を設定したテーブル等を用意しておき、それを参照するようにしてもよい。
【0028】
次に、抽出した分析データの変更態様例として、その楽音ピッチを変更する例につき説明する。
楽音ピッチの変更は、位相トラジェクトリで与えられる位相の時間関数の傾きを変えることで容易に行える。例えば、E2音のピッチ(元ピッチ)を半音下のEb2音のピッチ(目標ピッチ)に変えようとする場合、両者の周波数比fRは、前者(元ピッチ)の周波数をfE、後者(目標ピッチ)の周波数をfEb、とすると、
fR=fEb/fE
と表わせる。なお、bはフラット記号として用いている。ここで、E2音(元ピッチ)の位相トラジェクトリで与えられる位相関数の傾きをPE/Δtとすると、その半音下のEb2音(目標ピッチ)の位相関数の傾きPEb/Δtは、上記周波数比fRを掛けることで、
PEb/Δt=fR(PE/Δt)
として求められる。これにより、任意の元ピッチ(例えばE2)の位相トラジェクトリを、所望の目標ピッチ(例えばEb2)の位相トラジェクトリに変更することができる。
【0029】
図9は、図5〜図8に示された演奏データ例において上記のようにして抽出されたE2音の位相トラジェクトリをEb2音の位相トラジェクトリに変換する例を図示するものである。図9において、たて軸の位相値は、多サイクルにわたる絶対位相を表わしている。この図から理解できるように、位相トラジェクトリの傾きを変換することでピッチ変換を行う手法によれば、元の音における位相のゆらぎをそのまま保存することができるので、極めて高品質なピッチ変換処理を行うことができる。
なお、位相の時間微分は周波数であるから、得られた目標ピッチ(例えばEb2)の位相トラジェクトリに基づき、そのピッチトラジェクトリは容易に算出できる。また、振幅トラジェクトリは、元のE2音の振幅トラジェクトリをそのまま使用すればよい。
【0030】
上述したような抽出した分析データのピッチを変更する処理は、図3のステップS12で「ピッチ変更ルーチン」を実行することで行われる。図4(b)はこの「ピッチ変更ルーチン」の一例を示す。ステップS12aでは、上記のように、抽出した分析データの元ピッチと変更後の目標ピッチとの周波数比fRを求める。なお、この周波数比fRは基音周波数についてのみ求めればよい。なお、このステップS12aでは後述するような「位相調整ルーチン」を含んでいてもよい。次のステップS12bでは、上記のように、抽出した分析データの位相トラジェクトリにおける位相関数の傾きに前ステップS12aで求めた周波数比fRを掛け、変更後の目標ピッチに対応する位相トラジェクトリを作成する。この処理は、各周波数成分(基音及び各倍音)毎に行う。次のステップS12cでは、上記のように、前ステップS12bで作成した目標ピッチに対応する位相トラジェクトリに基づきピッチトラジェクトリを作成し、かつ該目標ピッチに対応する振幅トラジェクトリとして元ピッチの振幅トラジェクトリをそのまま使用する。この処理も、各周波数成分(基音及び各倍音)毎に行う。こうして、抽出した分析データのピッチ(元ピッチ)を所望の目標ピッチに変更してなるデータについてのピッチトラジェクトリ、振幅トラジェクトリ、位相トラジェクトリが得られる。
【0031】
ところで、上記のようにピッチ変更のために元の位相トラジェクトリにおける位相関数の傾きを変更した場合、時間に対する位相値の関係が全体的に変更されることになるので、好ましくない場合が生じ得る。特に、一連のトラジェクトリ中に複数のノートオンタイミング(発音開始時点)が含まれる場合、各ノートオン時点(発音開始時点)での位相値が元のものと異なると、好ましくない音質の変化をもたらす。そのために、図4(b)の前記ステップS12bにおける位相トラジェクトリの変更操作処理に際して、変更された位相トラジェクトリにおいて特定の時点における位相値が元の値に略維持されるように調整する「位相調整ルーチン」を実行するとよい。一例として、位相調整の対象となる「特定の時点」とは、各ノートオン時点(発音開始つまり音の立上り時点)である。勿論、これに限らず、位相調整したい任意の時点を「特定の時点」として設定してもよい。
【0032】
この「位相調整ルーチン」の一例は図4(c)に示されている。まず、ステップS12b1では、この処理の対象となる抽出した分析データ(例えばE2音)の基音の位相トラジェクトリから、ノートオン時点(例えばT1,T2,T3)と、その時点における位相値(例えばP1,P2,P3)と、その時点における位相変化の傾きつまり周波数(例えばF1,F2,F3)とを検出する。図5〜9に示した例におけるE2音のピッチを変更する場合は、処理の対象となる抽出した分析データ(すなわちE2音の分析データ)の基音の位相トラジェクトリは図10(a)のようであり、3つのノートオン時点(T1,T2,T3)とそれに対応する位相値(P1,P2,P3)とその傾き(F1,F2,F3)とが検出される。図10(a)に示された元の位相トラジェクトリを符号PToで示す。
【0033】
次に、ステップS12b2では、当該位相トラジェクトリPToにおける最初のノートオン時点(T1)の位相値(P1)を基準にして、該トラジェクトリPToの位相関数に周波数比fRを掛け、第1の変更された位相トラジェクトリPT1を作成する。なお、周波数比fRは、基準とした最初のノートオン時点(T1)の周波数(F1)と変更目的とするピッチ(上記例ではEb2)との比を用いる。図10の(b)には、(a)に示された元の位相トラジェクトリPToに周波数比fRを掛けることで得られる上記第1の変更された位相トラジェクトリPT1の一例が拡大して示されている。この第1の変更された位相トラジェクトリPT1では、最初のノートオン時点(T1)の位相値(P1)は変更されないが、2番目以降のノートオン時点(T2,T3)の位相値は、元の位相値(P2,P3)から変わってしまう。例えば、第1の変更された位相トラジェクトリPT1における2番目のノートオン時点(T2)の位相値をQ2で示し、これに最も近い元の位相値P2に合った位相値をP2’で示す。
次のステップS12b3では、第1の変更された位相トラジェクトリPT1における2番目のノートオン時点(T2)の位相値(Q2)に最も近い元の位相値(P2)に合った位相値(P2’)を検出する。ここで、P2’=P2+2πnであり、nは正又は負の整数である。すなわち、P2’がQ2に最も近い値となるようにnの値を決定する。
【0034】
次のステップS12b4では、上記ステップS12b3で検出された位相値P2’を基準にして、元の位相トラジェクトリPToの位相関数に周波数比fRを掛け、第2の変更された位相トラジェクトリPT2を作成する。なお、周波数比fRは、基準とした2番目のノートオン時点(T2)の周波数(F2)と変更目的とするピッチ(上記例ではEb2)との比を用いる。この位相トラジェクトリPT2は、基準とした2番目のノートオン時点(T2)よりも前の時間つまり1番目のノートオン時点(T1)の方に遡っているし、また、それよりも後の時間つまり3番目のノートオン時点(T3)の方にも進んでいる。この第2の変更された位相トラジェクトリPT2においては、2番目のノートオン時点(T2)の元の位相値P2は、上記のように検出された、それに合った位相値P2’に維持されているが、1番目のノートオン時点(T1)の位相値は、元の位相値(P1)とは幾分異なるものとなる可能性が大である。
【0035】
このように、第1及び第2の変更された位相トラジェクトリPT1,PT2が求められることになる。ノートオン時点(T1,T2)において、元の位相値(P1,P2)を略維持するという目的を達成するには、1番目のノートオン時点(T1)では、第1の変更された位相トラジェクトリPT1の位相値P1及びそれに対応する傾きつまり周波数F1’が採用されるべきである。一方。2番目のノートオン時点(T2)では、第2の変更された位相トラジェクトリPT2の位相値P2’及びそれに対応する傾きつまり周波数F2’が採用されるべきである。よって、生成されるべきピッチ変更後の位相トラジェクトリは、1番目のノートオン時点(T1)と2番目のノートオン時点(T2)との間で、第1の変更された位相トラジェクトリPT1から第2の変更された位相トラジェクトリPT2へとスムーズに変化していくものであることが望ましい。そこで、次のステップS12b5では、1番目のノートオン時点(T1)と2番目のノートオン時点(T2)との間で、第1の変更された位相トラジェクトリPT1から第2の変更された位相トラジェクトリPT2へとスムーズに移行するように、クロスフェード補間合成を行う。このクロスフェード補間合成の結果得た位相トラジェクトリを1番目のノートオン時点(T1)から2番目のノートオン時点(T2)までの区間についての、ピッチ変更処理済みの位相トラジェクトリ(例えばPT1’とする)とする。
【0036】
次のステップS12b6では、残りのノートオン時点(T3以降)がまだ存在していれば、残りの夫々のノートオン時点について前記ステップS12b3〜S12b5と同様の処理を、順次に行い、各ノートオン時点に対応する元の位相値(P3,…)を略維持すると共に、ピッチ変更処理済みの位相トラジェクトリをクロスフェード補間合成によって生成する。例えば、3番目のノートオン時点(T3)については、2番目のノートオン時点(T2)の元の位相値(P2)に合った位相値(P2’)を基準にして延びる第2の変更された位相トラジェクトリPT2における3番目のノートオン時点(T3)の位相値に最も近い元の位相値(P3)に合った位相値(P3’=P3+2πn)を検出する。そして、検出された位相値P3’を基準にして、元の位相トラジェクトリPToの位相関数に周波数比fRを掛け、第3の変更された位相トラジェクトリPT3を作成する。この周波数比fRは、基準とした3番目のノートオン時点(T3)の周波数(F3)と変更目的とするピッチ(上記例ではE2b)との比を用いる。この位相トラジェクトリPT3は、基準とした3番目のノートオン時点(T3)よりも前の時間つまり2番目のノートオン時点(T2)の方に遡っているし、また、それよりも後の時間の方にも進んでいる。この第3の変更された位相トラジェクトリPT3においては、3番目のノートオン時点(T3)の元の位相値P3は、上記のように検出された、それに合った位相値P3’に維持されているが、2番目のノートオン時点(T2)の位相値は、元の位相値(P2)に略一致する位相値P2’とは幾分異なるものとなる可能性が大である。そこで、2番目のノートオン時点(T2)と3番目のノートオン時点(T3)との間で、第2の変更された位相トラジェクトリPT2から第3の変更された位相トラジェクトリPT3へとスムーズに移行するように、クロスフェード補間合成を行う。このクロスフェード補間合成の結果得た位相トラジェクトリを2番目のノートオン時点(T2)から3番目のノートオン時点(T3)までの区間についての、ピッチ変更処理済みの位相トラジェクトリ(例えばPT2’とする)とする。
【0037】
なお、図4(c)に示した「位相調整ルーチン」は、基音の周波数成分についての位相トラジェクトリに関してのみ行うようにしてもよいし、すべての倍音又は一部の主要な倍音の周波数成分についての位相トラジェクトリに関しても行うようにしてもよい。
以上のような位相調整処理を行うことで、位相トラジェクトリにおける位相関数の傾きを変更することで楽音ピッチを変更する場合において、ノートオンつまり発音開始時点での位相値が元の位相値に略維持されることになるので、元の楽音の音質を略維持してピッチのみを適切に変更することができるようになる。
【0038】
以上のようにして、多重奏音のうちの所望の楽音ピッチのみを抽出して、そのピッチやその他の楽音特性を適宜帆変更することができる。図11は、上述したような楽音ピッチ変更処理によって図7に示すような元の分析データにおけるE2音のピッチをその半音下のEb2音に変更することで得られた多重奏音の各周波数成分(変更された分析データ)のピッチ・トラジェクトリの一例を示す。図11からも理解できるように、同時に演奏されたC2,E2,G2音のうち、C2,G2音の成分のピッチはそのままで、E2音の成分だけがEb2音に変更される。
前述したように、以上のようにして作成された変更した分析データに基づき楽音合成部7により楽音合成を行うことで、元の多重奏音のうち特定のピッチの音のみの特性(ピッチやその他の楽音要素)を選択的に変更した多重奏音を発生することができる。
【0039】
【発明の効果】
以上説明した通り、この発明によれば、複数音からなる演奏音の分析データ中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データを抽出し、抽出された分析データを適宜変更することで該目的とする特定のピッチの音の特性を変更し、変更された分析データとその他の前記分析データとを用いて演奏音信号を合成するようにしたので、元の演奏音中における目的とする特定のピッチの音の特性のみを変更してなる演奏音信号を合成することができる。これにより、多重奏等の複音からなる演奏音の分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データのみを抽出し、抽出された分析データを変更することで、特定のピッチの楽音に対してのみ特性変更操作を施し、演奏音に対する制御を自由に行なうことができる。
また、特定のピッチ以外のピッチと倍音関係にある周波数成分と特定のピッチと倍音関係にある周波数成分とが重複している場合、該重複している周波数成分の分析データから特定のピッチについての周波数成分の分析データを分離して取り出すことにより、特定のピッチについての周波数成分の分析データに対しての適切に変更を施すことができる。
【0040】
更に、この発明によれば、分析データの時系列的軌跡(トラジェクトリ)を抽出して加工処理する場合、加工処理を行なっても、位相を合わせる必要がある特定の時点での位相値にずれが生じないように位相調整するようにしたので、特定時点での位相ずれによる不具合の発生を防ぐことができる。例えば、音の立上り時点における位相値が元の値に略維持されるように調整することができ、音質が不所望に変更されることを防ぐことができる。
【図面の簡単な説明】
【図1】 この発明の一実施例に係る演奏音制御方法を実行するために使用可能な楽音分析合成装置のハードウエア構成例を示すブロック図。
【図2】 図1のCPUで実行する楽音分析処理の一例を示すフロー図。
【図3】 図2の楽音分析処理によって得られた分析データのうち所望の周波数成分のデータを変更するための変更処理の一例を示すフロー図。
【図4】 図3の変更処理の過程に含まれる特定ピッチ抽出ルーチン、ピッチ変更ルーチン、位相調整ルーチンの一例を夫々示すフロー図。
【図5】 多重奏音の一例を示す楽譜図。
【図6】 図5の楽譜をピアノで弾いたときの楽音波形例を示す波形図。
【図7】 図6の楽音波形を分析することで得られた各周波数成分毎のピッチ・トラジェクトリをグラフ化して示す図。
【図8】 (a)は複数楽音ピッチが混在する同一周波数成分についての振幅トラジェクトリデータに対応する振幅エンベロープ波形例を示す波形図、(b)〜(d)は(a)の振幅エンベロープ波形から異なる楽音ピッチの振幅エンベロープ波形を分離・抽出する手順例を示すエンベロープ波形図。
【図9】 図5〜図8に示された演奏データ例において抽出された元のE2音の位相トラジェクトリをその半音下のEb2音の位相トラジェクトリに変換する例を図示するグラフ。
【図10】 (a)は元の位相トラジェクトリの例を示すグラフ、(b)は楽音ピッチを変更するために(a)に示す元の位相トラジェクトリの傾きを変換する際に位相調整を行うことを例示するために変換された位相トラジェクトリを拡大して示すグラフ。
【図11】 図7に示すような元の分析データにおける特定の楽音ピッチ(E2)を別のピッチ(Eb2)に変更することで得た多重奏音の各周波数成分(変更された分析データ)のピッチ・トラジェクトリの一例を示す図。
【符号の説明】
1 CPU(中央処理ユニット)
2 ROM(リードオンリメモリ)
3 RAM(ランダムアクセスメモリ)
4 表示装置
5 入力装置
6 演奏操作子装置
7 楽音合成部
8 CODEC
9 通信インタフェース
10 システムバス
11 ハードディスクドライバ(HDD)
12 外部メモリドライバ
13 マイクロフォン
Claims (11)
- 演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得するステップと、
前記各周波数成分についての分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データを抽出するステップと、
前記目的とする特定のピッチの音の特性を変更するために、前記抽出された分析データを変更するステップと
を具備し、
前記抽出するステップは、前記取得するステップで取得された前記各周波数成分についての分析データの中に、前記特定のピッチ以外のピッチと倍音関係にある周波数成分の分析データが含まれており、かつこの特定のピッチ以外のピッチと倍音関係にある周波数成分と前記特定のピッチと倍音関係にある周波数成分とが重複している場合、該重複している周波数成分の分析データから前記特定のピッチについての周波数成分の分析データを分離して取り出すステップを含んでおり、
前記分離して取り出すステップでは、前記重複している周波数成分の前記特定のピッチにおける倍音次数と該特定のピッチ以外のピッチにおける倍音次数との関係からそれぞれの振幅分配率を決定し、前記重複している周波数成分のデータに該決定された振幅分配率で定まる振幅成分のデータを付加することで、該特定のピッチについての周波数成分の分析データとして分離し、
前記変更するステップでは、前記分離して取り出された前記特定のピッチについての周波数成分の分析データに対して変更を施し、
前記変更された抽出された分析データとその他の前記分析データとの組合せを、元の演奏音を変更した演奏音を合成するためのデータとして提供することを特徴とする演奏音制御方法。 - 前記周波数成分についての分析データには、当該周波数成分のピッチを示すデータと振幅を示すデータとが含まれ、前記分離して取り出すステップでは、前記振幅を示すデータに基づき振幅エンベロープの特徴から前記特定のピッチの周波数成分をそれ以外のピッチの周波数成分から区別し、この区別に基づき該特定のピッチについての周波数成分の分析データを分離して取り出すことを特徴とする請求項1に記載の演奏音制御方法。
- 前記周波数成分についての分析データには、当該周波数成分の位相を時間関数で示すデータが含まれ、前記変更するステップでは、前記抽出された前記特定のピッチと倍音関係にあるすべての周波数成分に対応する前記位相のデータの時間関数の傾きを制御することに基づき、周波数の変更を行うことを特徴とする請求項1又は2に記載の演奏音制御方法。
- 演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得するステップであって、該分析データには各周波数成分の位相を時間関数で示す位相トラジェクトリデータが含まれるものと、
前記分析データの中から、目的とする特定の音の分析データを抽出するステップと、
前記目的とする特定の音のピッチを変更するために、前記抽出された分析データにおける所定の周波数成分についての前記位相トラジェクトリデータを変更するステップであって、前記分析データが持つ元のピッチと変更後の目標ピッチとの比に従って前記位相トラジェクトリデータを変更するものと、
所定の周波数成分についての前記変更された位相トラジェクトリデータにおいて特定の時点における位相値が元の値に略維持されるように調整するステップと
を具備し、前記変更された分析データとその他の前記分析データとの組合せを、元の演奏音を変更した演奏音を合成するためのデータとして提供することを特徴とする演奏音制御方法。 - 前記特定の時点は音の立上り時点であり、前記位相トラジェクトリデータを変更するステップでは、前記変更された前記位相トラジェクトリデータにおいて音の立上り時点における位相値が元の値に略維持されるように調整することを特徴とする請求項4に記載の演奏音制御方法。
- 前記変更するステップでは、すべての周波数成分についての前記位相トラジェクトリデータを変更し、前記調整するステップでは一部の周波数成分についての前記変更された位相トラジェクトリデータを調整することを特徴とする請求項4又は5に記載の演奏音制御方法。
- 前記変更するステップ又は前記調整するステップで変更又は調整された前記位相トラジェクトリデータに基づき、前記目標ピッチに対するピッチデータを算出するステップを更に具備することを特徴とする請求項4乃至6のいずれかに記載の演奏音制御方法。
- 前記変更された分析データとその他の前記分析データとを用いて演奏音信号を合成するステップを更に具え、元の演奏音信号中における前記目的とする特定のピッチの音の特性を変更してなる演奏音信号が合成されることを特徴とする請求項1乃至7のいずれかに記載の演奏音制御方法。
- 請求項1乃至8のいずれかに記載の演奏音制御方法をコンピュータに実行させるための命令群からなるコンピュータプログラム。
- 演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得する分析手段と、
前記各周波数成分についての分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データを抽出する抽出手段と、
前記目的とする特定のピッチの音の特性を変更するために、前記抽出された分析データを変更する変更手段と
を具備し、
前記抽出手段は、前記取得手段で取得された前記各周波数成分についての分析データの中に、前記特定のピッチ以外のピッチと倍音関係にある周波数成分の分析データが含まれており、かつこの特定のピッチ以外のピッチと倍音関係にある周波数成分と前記特定のピッチと倍音関係にある周波数成分とが重複している場合、該重複している周波数成分の分析データから前記特定のピッチについての周波数成分の分析データを分離して取り出す手段を含んでおり、
前記分離して取り出す手段では、前記重複している周波数成分の前記特定のピッチにおける倍音次数と該特定のピッチ以外のピッチにおける倍音次数との関係からそれぞれの振幅分配率を決定し、前記重複している周波数成分のデータに該決定された振幅分配率で定まる振幅成分のデータを付加することで、該特定のピッチについての周波数成分の分析データとして分離し、
前記変更手段では、前記分離して取り出された前記特定のピッチについての周波数成分の分析データに対して変更を施し、
前記変更された抽出された分析データとその他の前記分析データとの組合せを、元の演奏音を変更した演奏音を合成するためのデータとして提供することを特徴とする演奏音制御装置。 - 演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得する分析手段であって、該分析データには各周波数成分の位相を時間関数で示す位相トラジェクトリデータが含まれるものと、
前記分析データの中から、目的とする特定の音の分析データを抽出する抽出手段と、
前記目的とする特定の音のピッチを変更するために、前記抽出された分析データにおける所定の周波数成分についての前記位相トラジェクトリデータを変更する変更手段であって、前記分析データが持つ元のピッチと変更後の目標ピッチとの比に従って前記位相トラジェクトリデータを変更するものと、
所定の周波数成分についての前記変更された位相トラジェクトリデータにおいて特定の時点における位相値が元の値に略維持されるように調整する調整手段と
を具備し、前記変更された分析データとその他の前記分析データとの組合せを、元の演奏音を変更した演奏音を合成するためのデータとして提供することを特徴とする演奏音制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002177267A JP3797283B2 (ja) | 2002-06-18 | 2002-06-18 | 演奏音制御方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002177267A JP3797283B2 (ja) | 2002-06-18 | 2002-06-18 | 演奏音制御方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004021027A JP2004021027A (ja) | 2004-01-22 |
JP3797283B2 true JP3797283B2 (ja) | 2006-07-12 |
Family
ID=31175348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002177267A Expired - Fee Related JP3797283B2 (ja) | 2002-06-18 | 2002-06-18 | 演奏音制御方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3797283B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210375303A1 (en) * | 2015-02-01 | 2021-12-02 | Board Of Regents, The University Of Texas System | Natural Ear |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7598447B2 (en) * | 2004-10-29 | 2009-10-06 | Zenph Studios, Inc. | Methods, systems and computer program products for detecting musical notes in an audio signal |
WO2009004718A1 (ja) * | 2007-07-03 | 2009-01-08 | Pioneer Corporation | 楽音強調装置、楽音強調方法、楽音強調プログラムおよび記録媒体 |
EP2362376A3 (en) * | 2010-02-26 | 2011-11-02 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for modifying an audio signal using envelope shaping |
JP5598398B2 (ja) | 2011-03-25 | 2014-10-01 | ヤマハ株式会社 | 伴奏データ生成装置及びプログラム |
JP5935346B2 (ja) * | 2012-01-24 | 2016-06-15 | ヤマハ株式会社 | 楽音合成装置及びプログラム |
JP6329408B2 (ja) * | 2014-03-19 | 2018-05-23 | Pioneer DJ株式会社 | 音声処理装置、音声処理装置の解析方法およびプログラム |
JP6337698B2 (ja) * | 2014-08-29 | 2018-06-06 | ヤマハ株式会社 | 音響処理装置 |
JP6409417B2 (ja) * | 2014-08-29 | 2018-10-24 | ヤマハ株式会社 | 音響処理装置 |
KR101907276B1 (ko) * | 2016-12-21 | 2018-10-12 | 아주대학교산학협력단 | 악기연주 연습 시스템 및 악기연주 지원 방법 |
-
2002
- 2002-06-18 JP JP2002177267A patent/JP3797283B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210375303A1 (en) * | 2015-02-01 | 2021-12-02 | Board Of Regents, The University Of Texas System | Natural Ear |
Also Published As
Publication number | Publication date |
---|---|
JP2004021027A (ja) | 2004-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5113307B2 (ja) | 複合波形の倍音内容を変える方法 | |
US7003120B1 (en) | Method of modifying harmonic content of a complex waveform | |
EP1646035B1 (en) | Mapped meta-data sound-playback device and audio-sampling/sample processing system useable therewith | |
CN109952609B (zh) | 声音合成方法 | |
JP2002529773A5 (ja) | ||
US7613612B2 (en) | Voice synthesizer of multi sounds | |
US7642444B2 (en) | Music-piece processing apparatus and method | |
JP4645241B2 (ja) | 音声処理装置およびプログラム | |
JP4815436B2 (ja) | 可変分解能により情報信号をスペクトル表現に変換する装置および方法 | |
US7396992B2 (en) | Tone synthesis apparatus and method | |
JP3797283B2 (ja) | 演奏音制御方法及び装置 | |
CN111739495A (zh) | 伴奏控制装置、电子乐器、控制方法以及记录介质 | |
US5504270A (en) | Method and apparatus for dissonance modification of audio signals | |
EP2775475B1 (en) | Music synthesizer with correction of tones during a pitch bend, based on played chord and on pitch conversion harmony rules. | |
US7626113B2 (en) | Tone data generation method and tone synthesis method, and apparatus therefor | |
JP3775319B2 (ja) | 音楽波形のタイムストレッチ装置および方法 | |
JP3829780B2 (ja) | 奏法決定装置及びプログラム | |
JP3654084B2 (ja) | 波形生成方法及び装置 | |
JP2007248551A (ja) | 波形データ生産方法、波形データ生産装置、プログラムおよび波形メモリ生産方法 | |
Beauchamp et al. | Spectral modelling and timbre hybridisation programs for computer music | |
JP7107427B2 (ja) | 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム | |
Perez et al. | Score level timbre transformations of violin sounds | |
JP2000020100A (ja) | 音声変換装置及び音声変換方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060410 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |