JP3832266B2 - 演奏データ作成方法および演奏データ作成装置 - Google Patents
演奏データ作成方法および演奏データ作成装置 Download PDFInfo
- Publication number
- JP3832266B2 JP3832266B2 JP2001082725A JP2001082725A JP3832266B2 JP 3832266 B2 JP3832266 B2 JP 3832266B2 JP 2001082725 A JP2001082725 A JP 2001082725A JP 2001082725 A JP2001082725 A JP 2001082725A JP 3832266 B2 JP3832266 B2 JP 3832266B2
- Authority
- JP
- Japan
- Prior art keywords
- performance data
- trajectory
- information
- peak point
- note
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、演奏された楽音波形からその演奏データを作成する演奏データ作成方法および演奏データ作成装置に関する。
【０００２】
【従来の技術】
従来、楽音の性質を分析したり楽音波形を合成する楽音分析・合成の技術分野において、次のような分析処理が行われている。この楽音波形分析処理においては、まず、楽音波形をスペクトル解析してその楽音に含まれている基音周波数およびその倍音周波数に対応する線スペクトル成分を抽出する。通常、このスペクトル解析は、時間窓（ウインドウ）を用いたフーリエ変換による短時間スペクトル解析を用いて行われている。すなわち、分析対象となる楽音をサンプリングし、該楽音波形サンプルに窓関数を掛けてＦＦＴ（高速フーリエ変換：Fast Fourier Transform）を行い、該フーリエ変換出力である線スペクトルの振幅データからピークを成す全ての周波数位置を検出する。
以上の処理を、前記時間窓を移動しながら行い（短時間フーリエ変換（ＳＦＦＴ：Short-time Fast Fourier Transform））、各フレームにおける線スペクトルのピーク点を検出し、得られたピーク点のうち、軌跡を成すものを追跡することにより、楽音波形の基音成分や倍音成分を分析するようにしていた。ピーク点が有するデータは、周波数データ、位相データおよび振幅データである。
【０００３】
【発明が解決しようとする課題】
ところで、演奏された楽音から採譜するには、採譜者が楽音を聴き取って採譜することが行われているが、この方法では採譜者に高度の熟練生と鋭敏な楽音聴き分け能力あるいは絶対音感が備わっていないと採譜することができないという問題点があった。
そこで、上述した楽音波形分析処理を用いて採譜することが考えられるが、上述した楽音波形分析処理における各フレームにおけるピーク点は、一般に、複数の線スペクトルが存在することから複数個検出される。これらのピーク点は、元のサンプリング波形の基音、その倍音に相当する高調波成分、ノイズ成分、ＦＦＴの窓関数のサイドローブ等に対応して検出されるようになる。このため、ピーク点はフレーム毎に点状となるもの、フレーム間で短い連続性を有するもの、フレーム間で長い連続性を有するものとして、種々のピーク点の態様が検出されるようになる。したがって、このようなピーク点の集まりから正確にピーク点を追跡することは困難であり、この結果、正確な採譜を行えないという問題点があった。特に、音程の近い音が同時に発音される場合には、ピーク点が混在してピーク点の軌跡を追跡することがさらに困難となる。
【０００４】
そこで、本発明は、演奏された楽音波形から精度良く採譜することのできる演奏データ作成方法および演奏データ作成装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明の演奏データ作成方法は、楽譜に基づいて演奏された楽音波形から演奏データを作成する演奏データ作成方法であって、前記楽音波形の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を行うことにより各フレームタイムにおけるピーク点を検出し、検出したピーク点と、前記楽譜における音符の情報とを対比することにより、該音符の周波数位置に適応するピーク点を追跡させた第１の軌跡を抽出し、前記第１の軌跡から得られる情報を用いて正弦波合成した合成楽音波形成分を前記楽音波形から減算し、該減算結果の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を再度行うことにより各フレームタイムにおけるピーク点を検出し、検出したピーク点と、前記音符の情報とを対比することにより、該音符の周波数位置に適応するピーク点を追跡させた第２の軌跡を抽出し、前記第１の軌跡と前記第２の軌跡とをマージして、マージした軌跡におけるピーク点の情報から演奏データを作成するようにしている。
【０００６】
また、上記本発明の演奏データ作成方法において、供給された軌跡におけるピーク点の振幅情報からエンベロープを作成し、予め用意された種々の強度のエンベロープ情報と対比することにより、前記軌跡におけるピーク点の情報に基づいて強度情報を得ると共に、作成されたエンベロープから少なくとも発音開始情報を得るようにしており、これらの情報と前記軌跡に基づく音高情報から前記演奏データが作成されるようにしてもよい。
さらに、上記本発明の演奏データ作成方法において、前記減算結果の減算楽音波形に、前記第１の軌跡が抽出されなかった前記楽譜における音符の音程に対応する周波数成分を強調するフィルター処理を施すようにしてから、その楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を再度行うことにより各フレームタイムにおけるピーク点を検出するようにしてもよい。
【０００７】
次に、上記目的を達成するために、本発明の演奏データ作成装置は、楽譜に基づいて演奏された楽音波形から演奏データを作成する演奏データ作成装置であって、供給された楽音波形の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を行うことにより各フレームタイムにおけるピーク点を検出するピーク分析手段と、該ピーク分析手段により検出されたピーク点と、前記楽譜における音符の情報とを対比することにより、該音符の周波数位置に適応するピーク点を追跡させたピーク点の軌跡を抽出する軌跡抽出手段と、前記軌跡抽出手段により抽出された軌跡に基づいて正弦波合成した合成楽音波形成分を前記楽音波形から減算した減算波形を出力する減算手段と、軌跡におけるピーク点の情報から演奏データを作成する演奏データ作成手段とを備え、前記ピーク分析手段に前記楽譜に基づいて演奏された楽音波形が前記ピーク分析手段供給された際に、前記軌跡抽出手段から第１の軌跡が出力され、前記減算手段において該第１の軌跡に基づいて第１の減算波形が出力され、該第１の減算波形が前記ピーク分析手段に供給された際に、前記軌跡抽出手段から第２の軌跡が出力され、前記演奏データ作成手段は、前記第１の軌跡と第２の軌跡とをマージした軌跡に基づいて前記演奏データを作成するようにしている。
【０００８】
また、上記本発明の演奏データ作成方法において、前記演奏データ作成手段において、供給された軌跡におけるピーク点の振幅情報からエンベロープを作成し、予め用意された種々の強度のエンベロープ情報と対比することにより、前記軌跡におけるピーク点の情報に基づいて強度情報を得ると共に、作成されたエンベロープから少なくとも発音開始情報を得ており、これらの情報と前記軌跡に基づく音高情報から前記演奏データを作成するようにしてもよい。
さらにまた、上記本発明の演奏データ作成方法において、前記減算手段から出力される減算楽音波形から、前記第１の軌跡が抽出されなかった前記楽譜における音符の音高に対応する周波数成分を強調するフィルター処理手段を、さらに備えるようにしてもよい。
【０００９】
このような本発明によれば、フーリエ変換して検出したピーク点と、楽譜における音符の情報とを比較することにより、音符の周波数位置に適応するピーク点を追跡させたピーク点の軌跡を抽出し、抽出された軌跡におけるピーク点の情報から音符に対応する演奏データを作成するようにしている。したがって、元のサンプリング波形の基音、その倍音に相当する高調波成分、ノイズ成分、ＦＦＴの窓関数のサイドローブ等に対応したピーク点が数多く検出されても、その中から正確にピーク点を追跡した軌跡を抽出することができる。これにより、演奏された楽音波形から精度良く演奏データを作成することができるようになる。この作成された演奏データは実際に演奏された音に対応する演奏データとなり、精度の良い採譜ができるようになる。
【００１０】
また、検出された軌跡から得られる情報を用いて正弦波合成した合成楽音波形成分を楽音波形から減算した楽音波形から、ピーク点を再度検出することにより、一度目に検出されたピーク点の軌跡から採譜できない場合でも、減算した楽音波形に基づく二度目の検出ではピーク点の軌跡から採譜することを可能とすることができる。これにより、演奏された楽音波形から精度良く全ての演奏データを採譜することができるようになる。さらに、減算した減算楽音波形に、得ようとする音符の音程に対応する周波数成分を強調するフィルター処理を施してピーク点を検出すると、一度目に検出されたピーク点の軌跡が切れ切れであって採譜し難い場合でも、フィルター処理後の二度目の検出ではピーク点を長い軌跡で追跡することを可能とすることができる。
さらにまた、抽出された軌跡におけるピーク点の振幅情報からエンベロープを作成し、予め用意された種々の強度のエンベロープ情報と対比することにより、強度情報を得ることができると共に、作成されたエンベロープから発音開始情報や音長情報を得ることができる。これにより、抽出された軌跡におけるピーク点の情報から音名情報および発音開始情報や音長情報と強度情報とを正確に得て、演奏データ作成することができる。
【００１１】
【発明の実施の形態】
本発明にかかる演奏データ作成方法を具現化した本発明にかかる演奏データ作成装置の実施の形態のブロック構成図を図１に示す。
図１に示す演奏データ作成装置１において、マイクから入力された楽器を演奏した際の楽器音をサンプリングしてディジタルの演奏データ波形に変換する。この演奏データ波形を録音装置に録音するようにしてもよい。そして、演奏された演奏データ波形あるいは録音装置から読み出された演奏データ波形をＳＴＦ(Spectrum Trajectory Finder)ピーク分析部（STF Peak Detection）１０に供給し、演奏データ波形をスペクトル解析してその演奏データ波形に含まれている基音周波数およびその倍音周波数に対応する線スペクトル成分のピーク点を成す全ての周波数位置を抽出する。この場合、スペクトル解析は、時間窓（ウインドウ）を用いたフーリエ変換による短時間スペクトル解析を用いて行われている。すなわち、ＳＴＦピーク分析部１０においては分析対象となる演奏データ波形の楽音波形サンプルに窓関数を掛けてＦＦＴ（高速フーリエ変換：Fast Fourier Transform）を行い、該フーリエ変換出力の線スペクトルのピークを成す全ての周波数位置を検出する。この処理を、前記時間窓を移動しながら行い（短時間フーリエ変換（ＳＦＦＴ：Short-time Fast Fourier Transform））、各フレームにおけるピーク点を検出する。検出されたピーク点が有するデータは、周波数データ、位相データ、振幅データである。このようなＳＴＦピーク分析部１０で行われる分析処理を、以下ではＳＴＦピーク分析という。
【００１２】
このようにして各フレーム毎に検出された数多くのピーク点を、時間／周波数表示手段１１において横軸が時間、縦軸が周波数の軸上に配置して表示させる。時間−周波数軸上に表示されたピーク点の集まりは、演奏データ波形を構成している線スペクトルのピーク点を時間軸上で表示したものに相当する。ここで、図２に示す楽譜を例えばピアノで演奏した際の演奏データ波形を、ＳＴＦピーク分析部１０でＳＴＦピーク分析して得られた数多くのピーク点を、時間／周波数表示手段１１において時間−周波数軸上に表示させた画面を図５に示す。図５において横軸は時間であり、縦軸は周波数〔Ｈｚ〕である。なお、図２に示す楽譜をピアノで演奏した際の演奏データ波形の波形形状は、例えば図４に示すようになり、この演奏波形データがＳＴＦピーク分析部１０に入力される。
【００１３】
図１に戻り、図２に示す楽譜に基づいて演奏した演奏データ波形がＳＴＦピーク分析部１０に入力される場合には、図２に示す楽譜の楽譜データがＭＩＤＩ化部１２に供給される。供給された楽譜データはＭＩＤＩ化部１２においてＭＩＤＩデータに変換され、さらにピアノロール譜変換部１３においてＭＩＤＩデータからピアノロール譜データに変換される。変換されたピアノロール譜を図３に示す。ピアノロール譜データは、図３に示すように縦軸が音名がふられている音高（周波数）とされ、横軸が時間とされている。このピアノロール譜と図２に示す楽譜とを対比すると、それぞれの音符にロール譜の一つ一つがそれぞれ対応していることがわかる。ここで、ピアノロール譜データに変換するのは、ピアノロール譜データはそれぞれのロール譜が音高（周波数）情報、発音開始（ノートオン）情報、発音期間（音長）情報を有していると共に、時間−周波数（音高）軸上に配置されており、後述する比較部１４においてＳＴＦピーク分析部１０で検出された時間−周波数軸上に配置されるピーク点と比較しやすいからである。
【００１４】
比較部１４においては、ピアノロール譜変換部１３において変換されたピアノロール譜データの各ロール譜から得られる発音期間とその前後の期間において、ＳＴＦピーク分析部１０で検出されたピーク点の軌跡（Trajectory）が、音名から得られる音高周波数の近傍において追跡される。なお、比較部１４における比較処理では、ピーク点の軌跡は基音の音高周波数だけにおけるピーク点だけが追跡される。これは、採譜したいのは基音に対応する音符だけであり倍音のピーク点を追跡する必要がないからである。
【００１５】
比較部１４における比較処理について具体的に説明すると、図５に示す画面上に表示された各フレーム毎に検出されたピーク点は、全て独立に存在しているのであるが、図において軌跡を描いているような線を見て取れる。例えば、図２に示す楽譜において第１小節の１拍目に発音開始する音名はＣ２であり、Ｃ２の周波数が１３０．８Ｈｚとされていることから図５における１３０．８Ｈｚ近傍のピーク点が軌跡を描いているように見える。また、第１小節の２拍目に発音開始する音名はＥ２（１６４．８Ｈｚ），Ｇ２（１９５．９Ｈｚ）であり、横軸の時間が２０００直前のタイミングから１６４．８Ｈｚおよび１９５．９Ｈｚ近傍に位置するピーク点が軌跡を描いているように見える。同様にして図２に示す楽譜と図５に示すピーク点とを対比していくと、楽譜の音名の周波数に位置するピーク点が軌跡を描いているように見える。しかし、このように軌跡を描いているように見えるピーク点が相互につながっているとの情報は比較処理前に置いてはまだ得られていない。さらに、図５において線として見える部分以外のピーク点はノイズであったり、非調和な成分であったり、あるいは、ＦＦＴの窓関数のサイドローブが表示されているものとみなすことができる。
【００１６】
このようなピーク点のデータから軌跡（Trajectory）を成すデータを抽出するために、図３に示すピアノロール譜から得られる音高情報とノートオンおよび音長情報に基づいて、比較部１４においてピーク点の軌跡（Trajectory）を追跡している。この追跡では、得られた音高周波数を含む所定の周波数範囲に位置するピーク点が抽出されることにより、追跡したピーク点の軌跡が検出される。ピーク点を追跡した結果の一例を図６に示すが、図６には図２に示す楽譜の１小節目に対応する演奏データ波形から検出されたピーク点の軌跡が示されている。図６において横軸は時間、縦軸は周波数〔Ｈｚ〕とされており、図６を参照すると、１小節目の１拍目にノートオンされる音名Ｃ２（１３０．８Ｈｚ）に対応する音高周波数の位置にピーク点の軌跡が抽出されており、さらに、２拍目、３拍目、４拍目においてノートオンされる音名Ｅ２（１６４．８Ｈｚ）および音名Ｇ２（１９５．９Ｈｚ）に対応する音高周波数の位置にピーク点の軌跡が抽出されていることがわかる。従って、図６に示すピーク点の軌跡の周波数から音名を決定することができ、ピーク点の軌跡の長さから音長（音符種類）を決定することができる。
【００１７】
また、ピーク点には振幅情報すなわちピアノの鍵盤を弾いた際の強度情報（ベロシティ）が含まれている。そこで、図６に示す軌跡におけるピーク点がそれぞれ有している振幅情報を抽出してその振幅情報に基づいてエンベロープを作成すると、このエンベロープから各音を実際に弾いた際の強度情報（ベロシティ）が得られるようになる。また、エンベロープはノートオンのタイミングから現れることになるので、作成されたエンベロープの開始時刻からノートオンのタイミング情報も得ることができる。ここで、図６に示す軌跡におけるピーク点がそれぞれ有している振幅情報を抽出して作成したエンベロープを図７に示す。
【００１８】
図７を参照すると、図２に示す楽譜の１小節目の各音符のそれぞれに対応するエンベロープがそれぞれ得られている。図７の縦軸は周波数、横軸は時間とされているが各エンベロープの高さはレベルを表している。比較部１４においてこのエンベロープから強度情報（ベロシティ）を得るに際しては、基準となる強度情報が必要となる。この場合、演奏データ波形がピアノの演奏データ波形とされている場合は、楽器音データベース１５ａ，１５ｂ，１５ｃからピアノの鍵盤毎の音の特徴データを読み出して、読み出されたピアノの鍵盤毎の音の特徴データと対比している。特徴データは、一般的なピアノにおける鍵盤を弾く強度を変えた際の強弱の特徴データが鍵盤毎に格納されている。ただし、この特徴データに替えて、演奏に用いられたピアノ固有の強弱の特徴データを用いるようにしてもよい。なお、採譜する際に演奏される楽器種類が変更された場合は、変更された楽器に対応する特徴データが楽器音データベース１５ａ〜１５ｃから読み出されるようになる。
【００１９】
楽器音データベース１５ａ〜１５ｃに格納されている特徴データの一例を図８に示す。図８に示される特徴データは、ピアノを種々の強度で弾いた際のエンベロープとされている。図８において横軸は時間、縦軸はレベルであり、フォルテッシモ（ｆｆ）、メゾフォルテ（ｍｆ）、メゾピアノ（ｍｐ）、ピアノ（ｐ）、ピアニッシモ（ｐｐ）の強度でピアノを弾いた際のエンベロープが示されている。楽器音データベース１５ａ〜１５ｃにこのようなエンベロープが各鍵（音高）毎に格納されている。そこで、演奏データ波形のピーク点を追跡した軌跡により決定された音高に対応するエンベロープを楽器音データベース１５ａ〜１５ｃから読み出して、このエンベロープの形状と、図７に示す各音に対応するエンベロープの形状とを対比する。そして、最も似た形状の楽器音データベース１５ａ〜１５ｃから読み出したエンベロープが有している強度情報（ベロシティ）を、その音の強度情報として与えるようにする。
【００２０】
なお、エンベロープは発音開始から現れ、音の継続時間だけ持続することから、図６に示す追跡されたピーク点の軌跡から作成した図７に示すエンベロープの開始されるタイミングが、実際に演奏されたそれぞれの音の発音開始（ノートオン）タイミングとなり、エンベロープの持続時間から発音期間（音長）情報も得ることができる。
これにより、先ほど得られた音名情報と、ノートオンタイミング情報と音長情報および強度情報（ベロシティ）により、実際に演奏された際の各音の演奏データを作成することができる。作成された演奏データは比較部１４から例えばＭＩＤＩ化されて採譜データとして出力され、実際に演奏された演奏データ波形から採譜することができるようになる。
【００２１】
以上説明した演奏データ作成装置１における本発明の第１の演奏データ作成方法では、演奏された楽音波形の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を行うことにより各フレームタイムにおけるピーク点を検出して、検出したピーク点と、演奏された楽譜における音符の情報とを対比することにより、その音符の周波数位置に適応するピーク点を追跡させたピーク点の軌跡を抽出している。そして、抽出されたピーク点の軌跡が位置する周波数情報から音名情報を得ることができる。また、軌跡を構成するピーク点の振幅情報からエンベロープを作成し、予め用意された演奏した楽器に関する強度（ベロシティ）に対応する種々のエンベロープ情報と対比することにより、ベロシティを得るようにしている。さらに、作成されたエンベロープからノートオンタイミング情報および音長情報を得ることができる。
【００２２】
このような演奏データ作成装置１における第１の演奏データ作成方法を用いると、演奏された楽音波形から精度良く採譜することができる。この場合、ピーク点の軌跡はある程度以上の長さがあることが所定の条件とされて条件を満足する軌跡が抽出されている。しかし、半音だけ異なる等の近接した音高の音が同時に２音以上発音されている演奏データ波形からＳＴＦピーク分析部１０においてピーク点を検出した場合には、例えば図１２において破線で囲って示すピーク点の集まりＡのように切れ切れのピーク点の集まりが生じる場合がある。このようなピーク点を追跡した軌跡（Trajectory）の長さは所定の長さ以上連続しておらず、所定の条件を満たさないことからこの軌跡から演奏データを採譜することができないことになる。
【００２３】
そこで、このような切れ切れのピーク点の集まりＡからも採譜することのできる本発明の第２の演奏データ作成方法を次に説明する。なお、本発明の第２の演奏データ作成方法を行う演奏データ作成装置の構成は図１に示す演奏データ作成装置１と同様の構成とされ、比較部１４において異なる比較処理が行われるようになる。
本発明の第２の演奏データ作成方法のフローチャートを図９に示し、図９に示すフローチャートを図１０ないし図２０を参照しながら説明する。ただし、図１０は演奏される楽譜を示す図であり、図１１は図１０に示す楽譜に基づいて演奏した演奏データ波形である被分析波形を示す図であり、図１２はＳＴＦピーク分析されたピーク点の集まりを示す図であり、図１３は演奏された楽譜における音符の情報に基づいて追跡したピーク点の軌跡（Trajectory）を示す図であり、図１４は図１３に示す軌跡（Trajectory）から得ることのできる演奏データを楽譜上に音符で示した図であり、図１５は図１３に示すピーク点の軌跡（Trajectory）に基づいて楽音波形を合成した合成楽音波形を示す図であり、図１６は図１１に示す演奏データ波形から図１５に示す合成楽音波形を減算した減算波形データを示す図であり、図１７は減算波形データをＳＴＦピーク分析したピーク点の集まりを示す図であり、図１８は図１３に示す軌跡（Trajectory）から得ることのできなかった演奏データを楽譜上に音符で示した図であり、図１９は演奏された楽譜における採譜されなかった音符の情報に基づいて追跡したピーク点の軌跡（Trajectory）を示す図であり、図２０は図１３に示すピーク点の軌跡（Trajectory）と図１９に示すピーク点の軌跡（Trajectory）とをマージして、軌跡から得られたエンベロープを示した図である。
【００２４】
図９に示すフローチャートにおいて、図１０に示す楽譜を演奏した図１１に示す演奏データ波形が被分析波形としてＳＴＦピーク分析部１０に供給される（ステップ１）。そして、被分析波形の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を行うことによりＳＴＦピーク分析が行われて、各フレームタイムにおけるピーク点が検出される（ステップＳ２）。検出されたピーク点の集まりは図１２に示すようになる。次いで、検出したピーク点と、演奏された楽譜データをピアノロール譜に変換した各ロール譜とを対比することにより、ロール譜の音高情報に対応する周波数位置に適応するピーク点を、ロール譜におけるノートオン情報および発音期間情報の時間情報に基づいて追跡させた基音に対応するピーク点の軌跡（Trajectory）が抽出される（ステップＳ３）。次いで、所定の長さ以上の軌跡だけを残す等のある条件に当てはまる軌跡（Trajectory）だけを残す処理を行う（ステップＳ４）。このようにして残されたピーク点の軌跡（Trajectory）を図１３に示す。図１３を参照すると、追跡された基音に対応するピーク点の軌跡（Trajectory）が残されていることがわかる。ただし、図１２において波線で囲った切れ切れのピーク点の集まりＡに基づくピーク点の軌跡は残されていないことがわかる。
【００２５】
ここで、ステップＳ４において残されたピーク点の軌跡（Trajectory）の音高周波数から音名情報を得ると共に、ピーク点の軌跡（Trajectory）の長さから音長情報を得て、得られた情報に適合する音符を楽譜上に表すと図１４に示すようになる。すなわち、１拍目にノートオンされる音符がＢ１（１２３．４Ｈｚ）の全音符、２拍目にノートオンされる音符がＧ２（１９５．９Ｈｚ）の４分音符、３拍目にノートオンされる音符がＧ２（１９５．９Ｈｚ）の４分音符、４拍目にノートオンされる音符がＧ２（１９５．９Ｈｚ）の４分音符を採譜することができる。この場合、演奏された楽譜では図１０に示すように１拍目にノートオンされる音符がＢ１の全音符、２拍目にノートオンされる音符がＦ２，Ｇ２の４分音符、３拍目にノートオンされる音符がＦ２，Ｇ２の４分音符、４拍目にノートオンされる音符がＦ２，Ｇ２の４分音符とされている。このことから、２拍目にノートオンされるＦ２の４分音符、３拍目にノートオンされるＦ２の４分音符、４拍目にノートオンされるＦ２の４分音符が採譜できなかったことになる。これらの採譜できなかった音符（Ｆ２）の音高周波数は約１７４．６Ｈｚであり、この音高周波数に相当するピーク点の軌跡（Trajectory）は残されておらず、採譜できなかった音符（Ｆ２）を楽譜上に示すと図１８に示すようになる。
【００２６】
そこで、これらの音符も採譜できるように、本発明の第２の演奏データ作成方法の特徴である処理がステップＳ５ないしステップＳ７において行われる。まず、ステップＳ５では、ステップＳ４において残されたピーク点の軌跡（Trajectory）から得られた周波数情報および音長情報から正弦波合成した合成楽音波形を合成する。この合成楽音波形は図１４に示す採譜された楽譜を演奏した際の楽音波形に相当し、この合成楽音波形を図１５に示す。図１５に示す合成楽音波形を図１１に示す供給された被分析波形から加算器２０において減算する（ステップＳ７）。減算された減算楽音波形を図１６に示す。一方、ステップＳ６においては演奏された図１０に示す楽譜データと、ステップＳ４において採譜できた図１４に示す楽譜データとを対比して採譜できなかった音符を抽出している。上述した例において、採譜できなかった音符が図１８に示す楽譜上に示されている。
【００２７】
そして、加算器２０から出力される減算楽音波形の楽音波形サンプルに対して、ステップＳ８にて順次シフトする時間窓を用いてフーリエ変換を行うことによりＳＴＦピーク分析が行われて、各フレームタイムにおけるピーク点が再度検出される。検出されたピーク点の集まりは図１７に示すようになる。図１７を参照すると、図１２では切れ切れとされていた部分Ａのピーク点がつながっているように見える。すなわち、採譜された音符に対応するピーク点が除去されて、残るピーク点が増感されるようになる。次いで、ステップＳ９にて検出したピーク点と、ステップＳ６において抽出された採譜できなかった図１８に示す音符をピアノロール譜に変換したロール譜とが対比されて、ロール譜の音高情報に対応する周波数位置（この場合は、Ｆ２の音高周波数である約１７４．６Ｈｚ）に適応するピーク点を、ロール譜におけるノートオン情報および発音期間情報の時間情報に基づいて追跡させたピーク点の軌跡（Trajectory）が再度抽出される。さらに、ステップＳ１０にて所定の長さ以上の軌跡だけを残す等のある条件に当てはまる軌跡（Trajectory）だけを残す処理が行われる。このようにして残されたピーク点の軌跡（Trajectory）が図１９に示すようになる。図１９を参照すると、ピーク点の軌跡（Trajectory）はＦ２の音高周波数である約１７４．６Ｈｚに位置していることがわかる。
【００２８】
このステップＳ１０では、残されたピーク点の軌跡（Trajectory）の音高周波数から音名情報を得ることができる。この場合は、ピーク点の軌跡（Trajectory）の音高周波数は約１７４．６Ｈｚとされていることから、音名Ｆ２を得ることができる。ここで、得られた音名情報に対応する音符を楽譜上に表示したとすると、図１８に示すようになり、ステップＳ２ないしステップＳ４の処理では採譜できなかった音符が、ステップＳ５ないしステップS１０の処理を行うことにより採譜できていることがわかる。次いで、ステップＳ１１においてステップＳ４で残された図１３に示すピーク点の軌跡（Trajectory）と、ステップＳ１０で残された図１３に示すピーク点の軌跡（Trajectory）とがマージされる。さらに、マージされたピーク点の軌跡（Trajectory）を構成するピーク点の振幅情報からエンベロープが作成される。このようにして、作成された複数の音のエンベロープが図２０に示されている。続いて、上述した第１の演奏データ作成方法と同様にしてこの作成されたエンベロープに、楽器音データベース１５ａ〜１５ｃから読み出したエンベロープのうちの最も似た形状のエンベロープが検出されて、そのエンベロープが有している強度情報（ベロシティ）を、そのエンベロープの音の強度情報として与えるようにする。そして、エンベロープは発音開始で現れると共に音が継続されている期間だけ持続することから図１９に示すエンベロープの現れるタイミングが、実際に演奏されたそれぞれの音の発音開始（ノートオン）タイミングとなり、エンベロープが持続する期間が発音継続（音長）情報となる。
【００２９】
ステップＳ１１では、このようにして得られた音名情報およびベロシティ情報、ノートオンタイミングと音長情報から演奏データを作成している。作成された演奏データはＭＩＤＩデータ化されて出力される。これにより、図１０に示す音高周波数の近接した音符を含む楽譜を演奏した演奏データ波形を被分析波形として演奏データ作成装置１に供給しても第２の演奏データ作成方法を実行することにより、図１０に示す音高周波数の近接した音符を含む楽譜を確実に採譜することができるようになる。
【００３０】
以上説明した演奏データ作成装置１における本発明の第２の演奏データ作成方法では、楽音波形サンプルに対するピーク点を検出する処理、および、検出したピーク点を演奏された音符の周波数情報を利用してピーク点を追跡した軌跡（Trajectory）を抽出する処理を繰り返し行っている。この場合、２度目の処理において対象とされる楽音波形サンプルは、１度目の処理により検出されたピーク点の軌跡に基づいて波形合成した合成楽音波形を、供給された被分析波形から減算した減算楽音波形の楽音波形サンプルとされる。これにより、１度目の処理において追跡されたピーク点の軌跡が所定の長さより短くても、採譜された音符に対応する近接するピーク点が除去されて、増感されたピーク点とされているため、２度目の処理をした際には追跡されたピーク点の軌跡が所定の長さより長くなる。従って、１度目の処理では採譜できなかった場合でも２度目の処理では採譜することを可能とすることができる。
【００３１】
次に、この第２の演奏データ作成方法より、より確実に切れ切れのピーク点の集まりの部分からも採譜することのできる本発明の第３の演奏データ作成方法を次に説明する。なお、本発明の第３の演奏データ作成方法を行う演奏データ作成装置の構成は図１に示す演奏データ作成装置１と同様の構成とされ、比較部１４において第２の演奏データ作成方法を改善した第３の演奏データ作成方法の比較処理が行われるようになる。
第３の演奏データ作成方法のフローチャートを図２１に示す。図２１を参照すると、第３の演奏データ作成方法は、第２の演奏データ作成方法のフローチャートにおける処理にステップＳ２８における処理が追加された演奏データ作成方法とされている。他のステップの処理は第２の演奏データ作成方法と同様とされているので、追加されている処理について主に説明するものとする。
【００３２】
図２１に示す第３の演奏データ作成方法のフローチャートにおいて、ステップＳ２７までの処理は図９に示す第２の演奏データ作成方法におけるフローチャートのステップＳ７までの処理と同様であり、採譜できなかった音符に相当する合成楽音波形が被分析波形から減算された減算波形が加算器３０から出力される。そして、第３の演奏データ作成方法はステップＳ２８においてフィルター処理を行っている特徴を有しており、減算波形にステップＳ２８にてフィルター処理が行われる。このフィルター処理では、採譜できなかった音符の音程に相当する周波数成分が強調される。ここで、ステップＳ２６において採譜できなかった音符を楽譜上に示した際に、前記図１８に示すような音符（Ｆ２）であった場合はフィルター処理後の楽音波形は図２２に示すようになる。フィルター処理しない楽音波形は図１５に示すようになることから、フィルター処理を行うことにより楽音波形が変化していることがわかる。
【００３３】
そして、フィルター処理後の楽音波形データの楽音波形サンプルに対して、ステップＳ２９にて順次シフトする時間窓を用いてフーリエ変換を行うことによりＳＴＦピーク分析が行われて、各フレームタイムにおけるピーク点が再度検出される。検出されたピーク点の集まりは図２３に示すようになる。図２３を参照すると、採譜できなかった音符の音程に相当する周波数成分が強調されるフィルター処理が行われて、強調された周波数近傍のピーク点が増感されて検出されていることがわかる。この場合、採譜できなかった音名はＦ２とされているのでＦ２の音高周波数である１７４．６Ｈｚ近傍の周波数成分だけが強調されて、そのピーク点だけが検出されている。また、図２３参照すると増感された結果、図１２では切れ切れとされていた部分のピーク点がつながっているように見える。次いで、ステップＳ３０にて検出したピーク点と、ステップＳ２６において抽出された採譜できなかった図１８に示す音符をピアノロール譜に変換したロール譜とが対比されて、ロール譜の音高情報に対応する周波数位置に適応するピーク点を、ロール譜におけるノートオン情報および発音期間情報の時間情報に基づいて追跡させたピーク点の軌跡（Trajectory）が再度抽出される。さらに、ステップＳ３１にて所定の長さ以上の軌跡だけを残す等のある条件に当てはまる軌跡（Trajectory）だけを残す処理が行われる。このようにして残されたピーク点の軌跡（Trajectory）を図２４に示す。
【００３４】
このステップＳ３１では、残されたピーク点の軌跡（Trajectory）が位置する音高周波数から音名情報を得ることができる。ここで、得られた音名情報に対応する音符を楽譜上に表示したとすると、図１８に示すようになり、ステップＳ２２ないしステップＳ２４の処理では採譜できなかった音符が、ステップＳ２５ないしステップS３１の処理、特にステップＳ２８におけるフィルター処理を行うことにより採譜できていることがわかる。次いで、ステップＳ３２においてステップＳ２４で残された図１３に示すピーク点の軌跡（Trajectory）と、ステップＳ３１で残された図２４に示すピーク点の軌跡（Trajectory）とがマージされる。さらに、マージされたピーク点の軌跡（Trajectory）を構成するピーク点の振幅情報からエンベロープが作成される。このようにして、作成されたエンベロープが図２５に示されており、フィルター処理されていることから１度目の処理では採譜できなかった音符に対応するエンベロープが、図２０に示すエンベロープより明確なエンベロープとされている。続いて、上述した第１の演奏データ作成方法と同様にしてこの作成されたエンベロープに、楽器音データベース１５ａ〜１５ｃから読み出したエンベロープのうちの最も似た形状のエンベロープが検出されて、そのエンベロープが有している強度情報（ベロシティ）を、そのエンベロープの音の強度情報として与えるようにする。そして、エンベロープは発音開始で現れると共に音が継続されている期間だけ持続することから図２４に示すエンベロープの現れるタイミングが、実際に演奏されたそれぞれの音の発音開始（ノートオン）タイミングとなり、エンベロープが持続する期間が発音継続（音長）情報となる。
【００３５】
ステップＳ３２では、このようにして得られた音名情報およびベロシティ情報、ノートオンタイミングと音長情報から演奏データを作成している。作成された演奏データはＭＩＤＩデータ化されて出力される。これにより、図１０に示す音高周波数の近接した音符を含む楽譜を演奏した演奏データ波形を被分析波形として演奏データ作成装置１に供給しても第３の演奏データ作成方法を実行することにより、図１０に示す音高周波数の近接した音符を含む楽譜をより確実に採譜することができるようになる。
【００３６】
以上説明した第２の演奏データ作成方法および第３の演奏データ作成方法において、２回目のＳＴＦピーク検出処理およびピーク追跡処理を行っても、まだ楽譜データに残っている音符がある場合は、第２の演奏データ作成方法の場合はステップＳ５ないしステップＳ１０の処理を、第３の演奏データ作成方法の場合はステップＳ２５ないしステップＳ３１の処理を図４繰り返し行うことにより、楽譜データに残っている音符が内容にしてもよい。このようにすると、楽譜上に示される音符のすべてを採譜することができるようになる。
なお、以上の説明ではピアノ演奏音からの採譜を示したが、本発明はこれに限らず、ピアノ以外の各種楽器演奏音や歌唱音を採譜の対象とすることができる。
【００３７】
【発明の効果】
本発明は以上説明したように、フーリエ変換して検出したピーク点と、楽譜における音符の情報とを比較することにより、音符の周波数位置に適応するピーク点を追跡させたピーク点の軌跡を抽出し、抽出された軌跡におけるピーク点の情報から音符に対応する演奏データを作成するようにしている。したがって、元のサンプリング波形の基音、その倍音に相当する高調波成分、ノイズ成分、ＦＦＴの窓関数のサイドローブ等に対応したピーク点が数多く検出されても、その中から正確にピーク点を追跡した軌跡を抽出することができる。これにより、演奏された楽音波形から精度良く演奏データを作成することができるようになる。この作成された演奏データは実際に演奏された音に対応する演奏データとなり、精度の良い採譜ができるようになる。
【００３８】
また、検出された軌跡から得られる情報を用いて正弦波合成した合成楽音波形成分を楽音波形から減算した減算楽音波形から、ピーク点を再度検出することにより、一度目に検出されたピーク点の軌跡から採譜できない場合でも、減算楽音波形に基づく二度目の検出ではピーク点の軌跡から採譜することを可能とすることができる。これにより、演奏された楽音波形から精度良く全ての演奏データを採譜することができるようになる。さらに、減算した減算楽音波形に、得ようとする音符の音程に対応する周波数成分を強調するフィルター処理を施してピーク点を検出すると、一度目に検出されたピーク点の軌跡が切れ切れであって採譜し難い場合でも、フィルター処理後の二度目の検出ではピーク点を長い軌跡で追跡することを可能とすることができる。
さらにまた、抽出された軌跡におけるピーク点の振幅情報からエンベロープを作成し、予め用意された種々の強度のエンベロープ情報と対比することにより、強度情報を得ることができると共に、作成されたエンベロープから発音開始情報や音長情報を得ることができる。これにより、抽出された軌跡におけるピーク点の情報から音名情報および発音開始情報や音長情報と強度情報とを正確に得て、演奏データ作成することができる。
【図面の簡単な説明】
【図１】 本発明にかかる演奏データ作成方法を具現化した本発明にかかる演奏データ作成装置の実施の形態のブロック構成図を示す図である。
【図２】 本発明の演奏データ作成装置に供給される演奏データ波形の楽譜の一例を示す図である。
【図３】 図２に示す楽譜を変換したピアノロール譜を示す図である。
【図４】 本発明の演奏データ作成装置に供給される演奏データ波形の波形形状を示す図である。
【図５】 本発明の実施の形態の演奏データ作成装置におけるＳＴＦピーク検出部で検出されたピーク点の集まりを示す図である。
【図６】 本発明の実施の形態の演奏データ作成装置において追跡されたピーク点の軌跡を示す図である。
【図７】 本発明の実施の形態の演奏データ作成装置において追跡されたピーク点の軌跡におけるエンベロープを示す図である。
【図８】 本発明の実施の形態の演奏データ作成装置において強度情報を決定する際に使用する基準となるエンベロープを示す図である。
【図９】 本発明の実施の形態における第２の演奏データ作成方法の処理を示すフローチャートである。
【図１０】 本発明の実施の形態における第２の演奏データ作成方法において、演奏される楽譜の一例を示す図である。
【図１１】 本発明の実施の形態における第２の演奏データ作成方法において、演奏された演奏データ波形の波形形状を示す図である。
【図１２】 本発明の実施の形態における第２の演奏データ作成方法において、ＳＴＦピーク検出処理で検出されたピーク点の集まりを示す図である。
【図１３】 本発明の実施の形態における第２の演奏データ作成方法において、追跡されたピーク点の軌跡を示す図である。
【図１４】 本発明の実施の形態における第２の演奏データ作成方法において、１回目の処理により採譜された音符を示した楽譜を示す図である。
【図１５】 本発明の実施の形態における第２の演奏データ作成方法において、１回目の処理により検出されたピーク点の軌跡に基づいて波形合成された合成楽音波形の波形形状を図である。
【図１６】 本発明の実施の形態における第２の演奏データ作成方法において、波形合成された合成楽音波形を、演奏された演奏データ波形から減算した減算楽音波形の波形形状を示す図である。
【図１７】 本発明の実施の形態における第２の演奏データ作成方法において、減算楽音波形に基づいてＳＴＦピーク検出処理で検出されたピーク点の集まりを示す図である。
【図１８】 本発明の実施の形態における第２の演奏データ作成方法において、１回目の処理により採譜されなかった音符を示した楽譜を示す図である。
【図１９】 本発明の実施の形態における第２の演奏データ作成方法において、減算楽音波形における追跡されたピーク点の軌跡を示す図である。
【図２０】 本発明の実施の形態における第２の演奏データ作成方法において、１回目および２回目の追跡されたピーク点の軌跡をマージしたピーク点の軌跡におけるエンベロープを示す図である。
【図２１】 本発明の実施の形態における第３の演奏データ作成方法の処理を示すフローチャートである。
【図２２】 本発明の実施の形態における第３の演奏データ作成方法において、減算楽音波形をフィルター処理した後の波形形状を示す図である。
【図２３】 本発明の実施の形態における第３の演奏データ作成方法において、フィルター処理後の減算楽音波形に基づいてＳＴＦピーク検出処理で検出されたピーク点の集まりを示す図である。
【図２４】 本発明の実施の形態における第３の演奏データ作成方法において、フィルター処理後の減算楽音波形における追跡されたピーク点の軌跡を示す図である。
【図２５】 本発明の実施の形態における第３の演奏データ作成方法において、１回目および２回目の追跡されたピーク点の軌跡をマージしたピーク点の軌跡におけるエンベロープを示す図である。
【符号の説明】
１ 演奏データ作成装置、１０ ＳＴＦピーク分析部、１１ 時間／周波数表示手段、１２ ＭＩＤＩ化部、１３ ピアノロール譜変換部、１４ 比較部、１５ａ，１５ｂ，１５ｃ 楽器音データベース、２０ 加算器、３０ 加算器
【発明の属する技術分野】
本発明は、演奏された楽音波形からその演奏データを作成する演奏データ作成方法および演奏データ作成装置に関する。
【０００２】
【従来の技術】
従来、楽音の性質を分析したり楽音波形を合成する楽音分析・合成の技術分野において、次のような分析処理が行われている。この楽音波形分析処理においては、まず、楽音波形をスペクトル解析してその楽音に含まれている基音周波数およびその倍音周波数に対応する線スペクトル成分を抽出する。通常、このスペクトル解析は、時間窓（ウインドウ）を用いたフーリエ変換による短時間スペクトル解析を用いて行われている。すなわち、分析対象となる楽音をサンプリングし、該楽音波形サンプルに窓関数を掛けてＦＦＴ（高速フーリエ変換：Fast Fourier Transform）を行い、該フーリエ変換出力である線スペクトルの振幅データからピークを成す全ての周波数位置を検出する。
以上の処理を、前記時間窓を移動しながら行い（短時間フーリエ変換（ＳＦＦＴ：Short-time Fast Fourier Transform））、各フレームにおける線スペクトルのピーク点を検出し、得られたピーク点のうち、軌跡を成すものを追跡することにより、楽音波形の基音成分や倍音成分を分析するようにしていた。ピーク点が有するデータは、周波数データ、位相データおよび振幅データである。
【０００３】
【発明が解決しようとする課題】
ところで、演奏された楽音から採譜するには、採譜者が楽音を聴き取って採譜することが行われているが、この方法では採譜者に高度の熟練生と鋭敏な楽音聴き分け能力あるいは絶対音感が備わっていないと採譜することができないという問題点があった。
そこで、上述した楽音波形分析処理を用いて採譜することが考えられるが、上述した楽音波形分析処理における各フレームにおけるピーク点は、一般に、複数の線スペクトルが存在することから複数個検出される。これらのピーク点は、元のサンプリング波形の基音、その倍音に相当する高調波成分、ノイズ成分、ＦＦＴの窓関数のサイドローブ等に対応して検出されるようになる。このため、ピーク点はフレーム毎に点状となるもの、フレーム間で短い連続性を有するもの、フレーム間で長い連続性を有するものとして、種々のピーク点の態様が検出されるようになる。したがって、このようなピーク点の集まりから正確にピーク点を追跡することは困難であり、この結果、正確な採譜を行えないという問題点があった。特に、音程の近い音が同時に発音される場合には、ピーク点が混在してピーク点の軌跡を追跡することがさらに困難となる。
【０００４】
そこで、本発明は、演奏された楽音波形から精度良く採譜することのできる演奏データ作成方法および演奏データ作成装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明の演奏データ作成方法は、楽譜に基づいて演奏された楽音波形から演奏データを作成する演奏データ作成方法であって、前記楽音波形の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を行うことにより各フレームタイムにおけるピーク点を検出し、検出したピーク点と、前記楽譜における音符の情報とを対比することにより、該音符の周波数位置に適応するピーク点を追跡させた第１の軌跡を抽出し、前記第１の軌跡から得られる情報を用いて正弦波合成した合成楽音波形成分を前記楽音波形から減算し、該減算結果の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を再度行うことにより各フレームタイムにおけるピーク点を検出し、検出したピーク点と、前記音符の情報とを対比することにより、該音符の周波数位置に適応するピーク点を追跡させた第２の軌跡を抽出し、前記第１の軌跡と前記第２の軌跡とをマージして、マージした軌跡におけるピーク点の情報から演奏データを作成するようにしている。
【０００６】
また、上記本発明の演奏データ作成方法において、供給された軌跡におけるピーク点の振幅情報からエンベロープを作成し、予め用意された種々の強度のエンベロープ情報と対比することにより、前記軌跡におけるピーク点の情報に基づいて強度情報を得ると共に、作成されたエンベロープから少なくとも発音開始情報を得るようにしており、これらの情報と前記軌跡に基づく音高情報から前記演奏データが作成されるようにしてもよい。
さらに、上記本発明の演奏データ作成方法において、前記減算結果の減算楽音波形に、前記第１の軌跡が抽出されなかった前記楽譜における音符の音程に対応する周波数成分を強調するフィルター処理を施すようにしてから、その楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を再度行うことにより各フレームタイムにおけるピーク点を検出するようにしてもよい。
【０００７】
次に、上記目的を達成するために、本発明の演奏データ作成装置は、楽譜に基づいて演奏された楽音波形から演奏データを作成する演奏データ作成装置であって、供給された楽音波形の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を行うことにより各フレームタイムにおけるピーク点を検出するピーク分析手段と、該ピーク分析手段により検出されたピーク点と、前記楽譜における音符の情報とを対比することにより、該音符の周波数位置に適応するピーク点を追跡させたピーク点の軌跡を抽出する軌跡抽出手段と、前記軌跡抽出手段により抽出された軌跡に基づいて正弦波合成した合成楽音波形成分を前記楽音波形から減算した減算波形を出力する減算手段と、軌跡におけるピーク点の情報から演奏データを作成する演奏データ作成手段とを備え、前記ピーク分析手段に前記楽譜に基づいて演奏された楽音波形が前記ピーク分析手段供給された際に、前記軌跡抽出手段から第１の軌跡が出力され、前記減算手段において該第１の軌跡に基づいて第１の減算波形が出力され、該第１の減算波形が前記ピーク分析手段に供給された際に、前記軌跡抽出手段から第２の軌跡が出力され、前記演奏データ作成手段は、前記第１の軌跡と第２の軌跡とをマージした軌跡に基づいて前記演奏データを作成するようにしている。
【０００８】
また、上記本発明の演奏データ作成方法において、前記演奏データ作成手段において、供給された軌跡におけるピーク点の振幅情報からエンベロープを作成し、予め用意された種々の強度のエンベロープ情報と対比することにより、前記軌跡におけるピーク点の情報に基づいて強度情報を得ると共に、作成されたエンベロープから少なくとも発音開始情報を得ており、これらの情報と前記軌跡に基づく音高情報から前記演奏データを作成するようにしてもよい。
さらにまた、上記本発明の演奏データ作成方法において、前記減算手段から出力される減算楽音波形から、前記第１の軌跡が抽出されなかった前記楽譜における音符の音高に対応する周波数成分を強調するフィルター処理手段を、さらに備えるようにしてもよい。
【０００９】
このような本発明によれば、フーリエ変換して検出したピーク点と、楽譜における音符の情報とを比較することにより、音符の周波数位置に適応するピーク点を追跡させたピーク点の軌跡を抽出し、抽出された軌跡におけるピーク点の情報から音符に対応する演奏データを作成するようにしている。したがって、元のサンプリング波形の基音、その倍音に相当する高調波成分、ノイズ成分、ＦＦＴの窓関数のサイドローブ等に対応したピーク点が数多く検出されても、その中から正確にピーク点を追跡した軌跡を抽出することができる。これにより、演奏された楽音波形から精度良く演奏データを作成することができるようになる。この作成された演奏データは実際に演奏された音に対応する演奏データとなり、精度の良い採譜ができるようになる。
【００１０】
また、検出された軌跡から得られる情報を用いて正弦波合成した合成楽音波形成分を楽音波形から減算した楽音波形から、ピーク点を再度検出することにより、一度目に検出されたピーク点の軌跡から採譜できない場合でも、減算した楽音波形に基づく二度目の検出ではピーク点の軌跡から採譜することを可能とすることができる。これにより、演奏された楽音波形から精度良く全ての演奏データを採譜することができるようになる。さらに、減算した減算楽音波形に、得ようとする音符の音程に対応する周波数成分を強調するフィルター処理を施してピーク点を検出すると、一度目に検出されたピーク点の軌跡が切れ切れであって採譜し難い場合でも、フィルター処理後の二度目の検出ではピーク点を長い軌跡で追跡することを可能とすることができる。
さらにまた、抽出された軌跡におけるピーク点の振幅情報からエンベロープを作成し、予め用意された種々の強度のエンベロープ情報と対比することにより、強度情報を得ることができると共に、作成されたエンベロープから発音開始情報や音長情報を得ることができる。これにより、抽出された軌跡におけるピーク点の情報から音名情報および発音開始情報や音長情報と強度情報とを正確に得て、演奏データ作成することができる。
【００１１】
【発明の実施の形態】
本発明にかかる演奏データ作成方法を具現化した本発明にかかる演奏データ作成装置の実施の形態のブロック構成図を図１に示す。
図１に示す演奏データ作成装置１において、マイクから入力された楽器を演奏した際の楽器音をサンプリングしてディジタルの演奏データ波形に変換する。この演奏データ波形を録音装置に録音するようにしてもよい。そして、演奏された演奏データ波形あるいは録音装置から読み出された演奏データ波形をＳＴＦ(Spectrum Trajectory Finder)ピーク分析部（STF Peak Detection）１０に供給し、演奏データ波形をスペクトル解析してその演奏データ波形に含まれている基音周波数およびその倍音周波数に対応する線スペクトル成分のピーク点を成す全ての周波数位置を抽出する。この場合、スペクトル解析は、時間窓（ウインドウ）を用いたフーリエ変換による短時間スペクトル解析を用いて行われている。すなわち、ＳＴＦピーク分析部１０においては分析対象となる演奏データ波形の楽音波形サンプルに窓関数を掛けてＦＦＴ（高速フーリエ変換：Fast Fourier Transform）を行い、該フーリエ変換出力の線スペクトルのピークを成す全ての周波数位置を検出する。この処理を、前記時間窓を移動しながら行い（短時間フーリエ変換（ＳＦＦＴ：Short-time Fast Fourier Transform））、各フレームにおけるピーク点を検出する。検出されたピーク点が有するデータは、周波数データ、位相データ、振幅データである。このようなＳＴＦピーク分析部１０で行われる分析処理を、以下ではＳＴＦピーク分析という。
【００１２】
このようにして各フレーム毎に検出された数多くのピーク点を、時間／周波数表示手段１１において横軸が時間、縦軸が周波数の軸上に配置して表示させる。時間−周波数軸上に表示されたピーク点の集まりは、演奏データ波形を構成している線スペクトルのピーク点を時間軸上で表示したものに相当する。ここで、図２に示す楽譜を例えばピアノで演奏した際の演奏データ波形を、ＳＴＦピーク分析部１０でＳＴＦピーク分析して得られた数多くのピーク点を、時間／周波数表示手段１１において時間−周波数軸上に表示させた画面を図５に示す。図５において横軸は時間であり、縦軸は周波数〔Ｈｚ〕である。なお、図２に示す楽譜をピアノで演奏した際の演奏データ波形の波形形状は、例えば図４に示すようになり、この演奏波形データがＳＴＦピーク分析部１０に入力される。
【００１３】
図１に戻り、図２に示す楽譜に基づいて演奏した演奏データ波形がＳＴＦピーク分析部１０に入力される場合には、図２に示す楽譜の楽譜データがＭＩＤＩ化部１２に供給される。供給された楽譜データはＭＩＤＩ化部１２においてＭＩＤＩデータに変換され、さらにピアノロール譜変換部１３においてＭＩＤＩデータからピアノロール譜データに変換される。変換されたピアノロール譜を図３に示す。ピアノロール譜データは、図３に示すように縦軸が音名がふられている音高（周波数）とされ、横軸が時間とされている。このピアノロール譜と図２に示す楽譜とを対比すると、それぞれの音符にロール譜の一つ一つがそれぞれ対応していることがわかる。ここで、ピアノロール譜データに変換するのは、ピアノロール譜データはそれぞれのロール譜が音高（周波数）情報、発音開始（ノートオン）情報、発音期間（音長）情報を有していると共に、時間−周波数（音高）軸上に配置されており、後述する比較部１４においてＳＴＦピーク分析部１０で検出された時間−周波数軸上に配置されるピーク点と比較しやすいからである。
【００１４】
比較部１４においては、ピアノロール譜変換部１３において変換されたピアノロール譜データの各ロール譜から得られる発音期間とその前後の期間において、ＳＴＦピーク分析部１０で検出されたピーク点の軌跡（Trajectory）が、音名から得られる音高周波数の近傍において追跡される。なお、比較部１４における比較処理では、ピーク点の軌跡は基音の音高周波数だけにおけるピーク点だけが追跡される。これは、採譜したいのは基音に対応する音符だけであり倍音のピーク点を追跡する必要がないからである。
【００１５】
比較部１４における比較処理について具体的に説明すると、図５に示す画面上に表示された各フレーム毎に検出されたピーク点は、全て独立に存在しているのであるが、図において軌跡を描いているような線を見て取れる。例えば、図２に示す楽譜において第１小節の１拍目に発音開始する音名はＣ２であり、Ｃ２の周波数が１３０．８Ｈｚとされていることから図５における１３０．８Ｈｚ近傍のピーク点が軌跡を描いているように見える。また、第１小節の２拍目に発音開始する音名はＥ２（１６４．８Ｈｚ），Ｇ２（１９５．９Ｈｚ）であり、横軸の時間が２０００直前のタイミングから１６４．８Ｈｚおよび１９５．９Ｈｚ近傍に位置するピーク点が軌跡を描いているように見える。同様にして図２に示す楽譜と図５に示すピーク点とを対比していくと、楽譜の音名の周波数に位置するピーク点が軌跡を描いているように見える。しかし、このように軌跡を描いているように見えるピーク点が相互につながっているとの情報は比較処理前に置いてはまだ得られていない。さらに、図５において線として見える部分以外のピーク点はノイズであったり、非調和な成分であったり、あるいは、ＦＦＴの窓関数のサイドローブが表示されているものとみなすことができる。
【００１６】
このようなピーク点のデータから軌跡（Trajectory）を成すデータを抽出するために、図３に示すピアノロール譜から得られる音高情報とノートオンおよび音長情報に基づいて、比較部１４においてピーク点の軌跡（Trajectory）を追跡している。この追跡では、得られた音高周波数を含む所定の周波数範囲に位置するピーク点が抽出されることにより、追跡したピーク点の軌跡が検出される。ピーク点を追跡した結果の一例を図６に示すが、図６には図２に示す楽譜の１小節目に対応する演奏データ波形から検出されたピーク点の軌跡が示されている。図６において横軸は時間、縦軸は周波数〔Ｈｚ〕とされており、図６を参照すると、１小節目の１拍目にノートオンされる音名Ｃ２（１３０．８Ｈｚ）に対応する音高周波数の位置にピーク点の軌跡が抽出されており、さらに、２拍目、３拍目、４拍目においてノートオンされる音名Ｅ２（１６４．８Ｈｚ）および音名Ｇ２（１９５．９Ｈｚ）に対応する音高周波数の位置にピーク点の軌跡が抽出されていることがわかる。従って、図６に示すピーク点の軌跡の周波数から音名を決定することができ、ピーク点の軌跡の長さから音長（音符種類）を決定することができる。
【００１７】
また、ピーク点には振幅情報すなわちピアノの鍵盤を弾いた際の強度情報（ベロシティ）が含まれている。そこで、図６に示す軌跡におけるピーク点がそれぞれ有している振幅情報を抽出してその振幅情報に基づいてエンベロープを作成すると、このエンベロープから各音を実際に弾いた際の強度情報（ベロシティ）が得られるようになる。また、エンベロープはノートオンのタイミングから現れることになるので、作成されたエンベロープの開始時刻からノートオンのタイミング情報も得ることができる。ここで、図６に示す軌跡におけるピーク点がそれぞれ有している振幅情報を抽出して作成したエンベロープを図７に示す。
【００１８】
図７を参照すると、図２に示す楽譜の１小節目の各音符のそれぞれに対応するエンベロープがそれぞれ得られている。図７の縦軸は周波数、横軸は時間とされているが各エンベロープの高さはレベルを表している。比較部１４においてこのエンベロープから強度情報（ベロシティ）を得るに際しては、基準となる強度情報が必要となる。この場合、演奏データ波形がピアノの演奏データ波形とされている場合は、楽器音データベース１５ａ，１５ｂ，１５ｃからピアノの鍵盤毎の音の特徴データを読み出して、読み出されたピアノの鍵盤毎の音の特徴データと対比している。特徴データは、一般的なピアノにおける鍵盤を弾く強度を変えた際の強弱の特徴データが鍵盤毎に格納されている。ただし、この特徴データに替えて、演奏に用いられたピアノ固有の強弱の特徴データを用いるようにしてもよい。なお、採譜する際に演奏される楽器種類が変更された場合は、変更された楽器に対応する特徴データが楽器音データベース１５ａ〜１５ｃから読み出されるようになる。
【００１９】
楽器音データベース１５ａ〜１５ｃに格納されている特徴データの一例を図８に示す。図８に示される特徴データは、ピアノを種々の強度で弾いた際のエンベロープとされている。図８において横軸は時間、縦軸はレベルであり、フォルテッシモ（ｆｆ）、メゾフォルテ（ｍｆ）、メゾピアノ（ｍｐ）、ピアノ（ｐ）、ピアニッシモ（ｐｐ）の強度でピアノを弾いた際のエンベロープが示されている。楽器音データベース１５ａ〜１５ｃにこのようなエンベロープが各鍵（音高）毎に格納されている。そこで、演奏データ波形のピーク点を追跡した軌跡により決定された音高に対応するエンベロープを楽器音データベース１５ａ〜１５ｃから読み出して、このエンベロープの形状と、図７に示す各音に対応するエンベロープの形状とを対比する。そして、最も似た形状の楽器音データベース１５ａ〜１５ｃから読み出したエンベロープが有している強度情報（ベロシティ）を、その音の強度情報として与えるようにする。
【００２０】
なお、エンベロープは発音開始から現れ、音の継続時間だけ持続することから、図６に示す追跡されたピーク点の軌跡から作成した図７に示すエンベロープの開始されるタイミングが、実際に演奏されたそれぞれの音の発音開始（ノートオン）タイミングとなり、エンベロープの持続時間から発音期間（音長）情報も得ることができる。
これにより、先ほど得られた音名情報と、ノートオンタイミング情報と音長情報および強度情報（ベロシティ）により、実際に演奏された際の各音の演奏データを作成することができる。作成された演奏データは比較部１４から例えばＭＩＤＩ化されて採譜データとして出力され、実際に演奏された演奏データ波形から採譜することができるようになる。
【００２１】
以上説明した演奏データ作成装置１における本発明の第１の演奏データ作成方法では、演奏された楽音波形の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を行うことにより各フレームタイムにおけるピーク点を検出して、検出したピーク点と、演奏された楽譜における音符の情報とを対比することにより、その音符の周波数位置に適応するピーク点を追跡させたピーク点の軌跡を抽出している。そして、抽出されたピーク点の軌跡が位置する周波数情報から音名情報を得ることができる。また、軌跡を構成するピーク点の振幅情報からエンベロープを作成し、予め用意された演奏した楽器に関する強度（ベロシティ）に対応する種々のエンベロープ情報と対比することにより、ベロシティを得るようにしている。さらに、作成されたエンベロープからノートオンタイミング情報および音長情報を得ることができる。
【００２２】
このような演奏データ作成装置１における第１の演奏データ作成方法を用いると、演奏された楽音波形から精度良く採譜することができる。この場合、ピーク点の軌跡はある程度以上の長さがあることが所定の条件とされて条件を満足する軌跡が抽出されている。しかし、半音だけ異なる等の近接した音高の音が同時に２音以上発音されている演奏データ波形からＳＴＦピーク分析部１０においてピーク点を検出した場合には、例えば図１２において破線で囲って示すピーク点の集まりＡのように切れ切れのピーク点の集まりが生じる場合がある。このようなピーク点を追跡した軌跡（Trajectory）の長さは所定の長さ以上連続しておらず、所定の条件を満たさないことからこの軌跡から演奏データを採譜することができないことになる。
【００２３】
そこで、このような切れ切れのピーク点の集まりＡからも採譜することのできる本発明の第２の演奏データ作成方法を次に説明する。なお、本発明の第２の演奏データ作成方法を行う演奏データ作成装置の構成は図１に示す演奏データ作成装置１と同様の構成とされ、比較部１４において異なる比較処理が行われるようになる。
本発明の第２の演奏データ作成方法のフローチャートを図９に示し、図９に示すフローチャートを図１０ないし図２０を参照しながら説明する。ただし、図１０は演奏される楽譜を示す図であり、図１１は図１０に示す楽譜に基づいて演奏した演奏データ波形である被分析波形を示す図であり、図１２はＳＴＦピーク分析されたピーク点の集まりを示す図であり、図１３は演奏された楽譜における音符の情報に基づいて追跡したピーク点の軌跡（Trajectory）を示す図であり、図１４は図１３に示す軌跡（Trajectory）から得ることのできる演奏データを楽譜上に音符で示した図であり、図１５は図１３に示すピーク点の軌跡（Trajectory）に基づいて楽音波形を合成した合成楽音波形を示す図であり、図１６は図１１に示す演奏データ波形から図１５に示す合成楽音波形を減算した減算波形データを示す図であり、図１７は減算波形データをＳＴＦピーク分析したピーク点の集まりを示す図であり、図１８は図１３に示す軌跡（Trajectory）から得ることのできなかった演奏データを楽譜上に音符で示した図であり、図１９は演奏された楽譜における採譜されなかった音符の情報に基づいて追跡したピーク点の軌跡（Trajectory）を示す図であり、図２０は図１３に示すピーク点の軌跡（Trajectory）と図１９に示すピーク点の軌跡（Trajectory）とをマージして、軌跡から得られたエンベロープを示した図である。
【００２４】
図９に示すフローチャートにおいて、図１０に示す楽譜を演奏した図１１に示す演奏データ波形が被分析波形としてＳＴＦピーク分析部１０に供給される（ステップ１）。そして、被分析波形の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を行うことによりＳＴＦピーク分析が行われて、各フレームタイムにおけるピーク点が検出される（ステップＳ２）。検出されたピーク点の集まりは図１２に示すようになる。次いで、検出したピーク点と、演奏された楽譜データをピアノロール譜に変換した各ロール譜とを対比することにより、ロール譜の音高情報に対応する周波数位置に適応するピーク点を、ロール譜におけるノートオン情報および発音期間情報の時間情報に基づいて追跡させた基音に対応するピーク点の軌跡（Trajectory）が抽出される（ステップＳ３）。次いで、所定の長さ以上の軌跡だけを残す等のある条件に当てはまる軌跡（Trajectory）だけを残す処理を行う（ステップＳ４）。このようにして残されたピーク点の軌跡（Trajectory）を図１３に示す。図１３を参照すると、追跡された基音に対応するピーク点の軌跡（Trajectory）が残されていることがわかる。ただし、図１２において波線で囲った切れ切れのピーク点の集まりＡに基づくピーク点の軌跡は残されていないことがわかる。
【００２５】
ここで、ステップＳ４において残されたピーク点の軌跡（Trajectory）の音高周波数から音名情報を得ると共に、ピーク点の軌跡（Trajectory）の長さから音長情報を得て、得られた情報に適合する音符を楽譜上に表すと図１４に示すようになる。すなわち、１拍目にノートオンされる音符がＢ１（１２３．４Ｈｚ）の全音符、２拍目にノートオンされる音符がＧ２（１９５．９Ｈｚ）の４分音符、３拍目にノートオンされる音符がＧ２（１９５．９Ｈｚ）の４分音符、４拍目にノートオンされる音符がＧ２（１９５．９Ｈｚ）の４分音符を採譜することができる。この場合、演奏された楽譜では図１０に示すように１拍目にノートオンされる音符がＢ１の全音符、２拍目にノートオンされる音符がＦ２，Ｇ２の４分音符、３拍目にノートオンされる音符がＦ２，Ｇ２の４分音符、４拍目にノートオンされる音符がＦ２，Ｇ２の４分音符とされている。このことから、２拍目にノートオンされるＦ２の４分音符、３拍目にノートオンされるＦ２の４分音符、４拍目にノートオンされるＦ２の４分音符が採譜できなかったことになる。これらの採譜できなかった音符（Ｆ２）の音高周波数は約１７４．６Ｈｚであり、この音高周波数に相当するピーク点の軌跡（Trajectory）は残されておらず、採譜できなかった音符（Ｆ２）を楽譜上に示すと図１８に示すようになる。
【００２６】
そこで、これらの音符も採譜できるように、本発明の第２の演奏データ作成方法の特徴である処理がステップＳ５ないしステップＳ７において行われる。まず、ステップＳ５では、ステップＳ４において残されたピーク点の軌跡（Trajectory）から得られた周波数情報および音長情報から正弦波合成した合成楽音波形を合成する。この合成楽音波形は図１４に示す採譜された楽譜を演奏した際の楽音波形に相当し、この合成楽音波形を図１５に示す。図１５に示す合成楽音波形を図１１に示す供給された被分析波形から加算器２０において減算する（ステップＳ７）。減算された減算楽音波形を図１６に示す。一方、ステップＳ６においては演奏された図１０に示す楽譜データと、ステップＳ４において採譜できた図１４に示す楽譜データとを対比して採譜できなかった音符を抽出している。上述した例において、採譜できなかった音符が図１８に示す楽譜上に示されている。
【００２７】
そして、加算器２０から出力される減算楽音波形の楽音波形サンプルに対して、ステップＳ８にて順次シフトする時間窓を用いてフーリエ変換を行うことによりＳＴＦピーク分析が行われて、各フレームタイムにおけるピーク点が再度検出される。検出されたピーク点の集まりは図１７に示すようになる。図１７を参照すると、図１２では切れ切れとされていた部分Ａのピーク点がつながっているように見える。すなわち、採譜された音符に対応するピーク点が除去されて、残るピーク点が増感されるようになる。次いで、ステップＳ９にて検出したピーク点と、ステップＳ６において抽出された採譜できなかった図１８に示す音符をピアノロール譜に変換したロール譜とが対比されて、ロール譜の音高情報に対応する周波数位置（この場合は、Ｆ２の音高周波数である約１７４．６Ｈｚ）に適応するピーク点を、ロール譜におけるノートオン情報および発音期間情報の時間情報に基づいて追跡させたピーク点の軌跡（Trajectory）が再度抽出される。さらに、ステップＳ１０にて所定の長さ以上の軌跡だけを残す等のある条件に当てはまる軌跡（Trajectory）だけを残す処理が行われる。このようにして残されたピーク点の軌跡（Trajectory）が図１９に示すようになる。図１９を参照すると、ピーク点の軌跡（Trajectory）はＦ２の音高周波数である約１７４．６Ｈｚに位置していることがわかる。
【００２８】
このステップＳ１０では、残されたピーク点の軌跡（Trajectory）の音高周波数から音名情報を得ることができる。この場合は、ピーク点の軌跡（Trajectory）の音高周波数は約１７４．６Ｈｚとされていることから、音名Ｆ２を得ることができる。ここで、得られた音名情報に対応する音符を楽譜上に表示したとすると、図１８に示すようになり、ステップＳ２ないしステップＳ４の処理では採譜できなかった音符が、ステップＳ５ないしステップS１０の処理を行うことにより採譜できていることがわかる。次いで、ステップＳ１１においてステップＳ４で残された図１３に示すピーク点の軌跡（Trajectory）と、ステップＳ１０で残された図１３に示すピーク点の軌跡（Trajectory）とがマージされる。さらに、マージされたピーク点の軌跡（Trajectory）を構成するピーク点の振幅情報からエンベロープが作成される。このようにして、作成された複数の音のエンベロープが図２０に示されている。続いて、上述した第１の演奏データ作成方法と同様にしてこの作成されたエンベロープに、楽器音データベース１５ａ〜１５ｃから読み出したエンベロープのうちの最も似た形状のエンベロープが検出されて、そのエンベロープが有している強度情報（ベロシティ）を、そのエンベロープの音の強度情報として与えるようにする。そして、エンベロープは発音開始で現れると共に音が継続されている期間だけ持続することから図１９に示すエンベロープの現れるタイミングが、実際に演奏されたそれぞれの音の発音開始（ノートオン）タイミングとなり、エンベロープが持続する期間が発音継続（音長）情報となる。
【００２９】
ステップＳ１１では、このようにして得られた音名情報およびベロシティ情報、ノートオンタイミングと音長情報から演奏データを作成している。作成された演奏データはＭＩＤＩデータ化されて出力される。これにより、図１０に示す音高周波数の近接した音符を含む楽譜を演奏した演奏データ波形を被分析波形として演奏データ作成装置１に供給しても第２の演奏データ作成方法を実行することにより、図１０に示す音高周波数の近接した音符を含む楽譜を確実に採譜することができるようになる。
【００３０】
以上説明した演奏データ作成装置１における本発明の第２の演奏データ作成方法では、楽音波形サンプルに対するピーク点を検出する処理、および、検出したピーク点を演奏された音符の周波数情報を利用してピーク点を追跡した軌跡（Trajectory）を抽出する処理を繰り返し行っている。この場合、２度目の処理において対象とされる楽音波形サンプルは、１度目の処理により検出されたピーク点の軌跡に基づいて波形合成した合成楽音波形を、供給された被分析波形から減算した減算楽音波形の楽音波形サンプルとされる。これにより、１度目の処理において追跡されたピーク点の軌跡が所定の長さより短くても、採譜された音符に対応する近接するピーク点が除去されて、増感されたピーク点とされているため、２度目の処理をした際には追跡されたピーク点の軌跡が所定の長さより長くなる。従って、１度目の処理では採譜できなかった場合でも２度目の処理では採譜することを可能とすることができる。
【００３１】
次に、この第２の演奏データ作成方法より、より確実に切れ切れのピーク点の集まりの部分からも採譜することのできる本発明の第３の演奏データ作成方法を次に説明する。なお、本発明の第３の演奏データ作成方法を行う演奏データ作成装置の構成は図１に示す演奏データ作成装置１と同様の構成とされ、比較部１４において第２の演奏データ作成方法を改善した第３の演奏データ作成方法の比較処理が行われるようになる。
第３の演奏データ作成方法のフローチャートを図２１に示す。図２１を参照すると、第３の演奏データ作成方法は、第２の演奏データ作成方法のフローチャートにおける処理にステップＳ２８における処理が追加された演奏データ作成方法とされている。他のステップの処理は第２の演奏データ作成方法と同様とされているので、追加されている処理について主に説明するものとする。
【００３２】
図２１に示す第３の演奏データ作成方法のフローチャートにおいて、ステップＳ２７までの処理は図９に示す第２の演奏データ作成方法におけるフローチャートのステップＳ７までの処理と同様であり、採譜できなかった音符に相当する合成楽音波形が被分析波形から減算された減算波形が加算器３０から出力される。そして、第３の演奏データ作成方法はステップＳ２８においてフィルター処理を行っている特徴を有しており、減算波形にステップＳ２８にてフィルター処理が行われる。このフィルター処理では、採譜できなかった音符の音程に相当する周波数成分が強調される。ここで、ステップＳ２６において採譜できなかった音符を楽譜上に示した際に、前記図１８に示すような音符（Ｆ２）であった場合はフィルター処理後の楽音波形は図２２に示すようになる。フィルター処理しない楽音波形は図１５に示すようになることから、フィルター処理を行うことにより楽音波形が変化していることがわかる。
【００３３】
そして、フィルター処理後の楽音波形データの楽音波形サンプルに対して、ステップＳ２９にて順次シフトする時間窓を用いてフーリエ変換を行うことによりＳＴＦピーク分析が行われて、各フレームタイムにおけるピーク点が再度検出される。検出されたピーク点の集まりは図２３に示すようになる。図２３を参照すると、採譜できなかった音符の音程に相当する周波数成分が強調されるフィルター処理が行われて、強調された周波数近傍のピーク点が増感されて検出されていることがわかる。この場合、採譜できなかった音名はＦ２とされているのでＦ２の音高周波数である１７４．６Ｈｚ近傍の周波数成分だけが強調されて、そのピーク点だけが検出されている。また、図２３参照すると増感された結果、図１２では切れ切れとされていた部分のピーク点がつながっているように見える。次いで、ステップＳ３０にて検出したピーク点と、ステップＳ２６において抽出された採譜できなかった図１８に示す音符をピアノロール譜に変換したロール譜とが対比されて、ロール譜の音高情報に対応する周波数位置に適応するピーク点を、ロール譜におけるノートオン情報および発音期間情報の時間情報に基づいて追跡させたピーク点の軌跡（Trajectory）が再度抽出される。さらに、ステップＳ３１にて所定の長さ以上の軌跡だけを残す等のある条件に当てはまる軌跡（Trajectory）だけを残す処理が行われる。このようにして残されたピーク点の軌跡（Trajectory）を図２４に示す。
【００３４】
このステップＳ３１では、残されたピーク点の軌跡（Trajectory）が位置する音高周波数から音名情報を得ることができる。ここで、得られた音名情報に対応する音符を楽譜上に表示したとすると、図１８に示すようになり、ステップＳ２２ないしステップＳ２４の処理では採譜できなかった音符が、ステップＳ２５ないしステップS３１の処理、特にステップＳ２８におけるフィルター処理を行うことにより採譜できていることがわかる。次いで、ステップＳ３２においてステップＳ２４で残された図１３に示すピーク点の軌跡（Trajectory）と、ステップＳ３１で残された図２４に示すピーク点の軌跡（Trajectory）とがマージされる。さらに、マージされたピーク点の軌跡（Trajectory）を構成するピーク点の振幅情報からエンベロープが作成される。このようにして、作成されたエンベロープが図２５に示されており、フィルター処理されていることから１度目の処理では採譜できなかった音符に対応するエンベロープが、図２０に示すエンベロープより明確なエンベロープとされている。続いて、上述した第１の演奏データ作成方法と同様にしてこの作成されたエンベロープに、楽器音データベース１５ａ〜１５ｃから読み出したエンベロープのうちの最も似た形状のエンベロープが検出されて、そのエンベロープが有している強度情報（ベロシティ）を、そのエンベロープの音の強度情報として与えるようにする。そして、エンベロープは発音開始で現れると共に音が継続されている期間だけ持続することから図２４に示すエンベロープの現れるタイミングが、実際に演奏されたそれぞれの音の発音開始（ノートオン）タイミングとなり、エンベロープが持続する期間が発音継続（音長）情報となる。
【００３５】
ステップＳ３２では、このようにして得られた音名情報およびベロシティ情報、ノートオンタイミングと音長情報から演奏データを作成している。作成された演奏データはＭＩＤＩデータ化されて出力される。これにより、図１０に示す音高周波数の近接した音符を含む楽譜を演奏した演奏データ波形を被分析波形として演奏データ作成装置１に供給しても第３の演奏データ作成方法を実行することにより、図１０に示す音高周波数の近接した音符を含む楽譜をより確実に採譜することができるようになる。
【００３６】
以上説明した第２の演奏データ作成方法および第３の演奏データ作成方法において、２回目のＳＴＦピーク検出処理およびピーク追跡処理を行っても、まだ楽譜データに残っている音符がある場合は、第２の演奏データ作成方法の場合はステップＳ５ないしステップＳ１０の処理を、第３の演奏データ作成方法の場合はステップＳ２５ないしステップＳ３１の処理を図４繰り返し行うことにより、楽譜データに残っている音符が内容にしてもよい。このようにすると、楽譜上に示される音符のすべてを採譜することができるようになる。
なお、以上の説明ではピアノ演奏音からの採譜を示したが、本発明はこれに限らず、ピアノ以外の各種楽器演奏音や歌唱音を採譜の対象とすることができる。
【００３７】
【発明の効果】
本発明は以上説明したように、フーリエ変換して検出したピーク点と、楽譜における音符の情報とを比較することにより、音符の周波数位置に適応するピーク点を追跡させたピーク点の軌跡を抽出し、抽出された軌跡におけるピーク点の情報から音符に対応する演奏データを作成するようにしている。したがって、元のサンプリング波形の基音、その倍音に相当する高調波成分、ノイズ成分、ＦＦＴの窓関数のサイドローブ等に対応したピーク点が数多く検出されても、その中から正確にピーク点を追跡した軌跡を抽出することができる。これにより、演奏された楽音波形から精度良く演奏データを作成することができるようになる。この作成された演奏データは実際に演奏された音に対応する演奏データとなり、精度の良い採譜ができるようになる。
【００３８】
また、検出された軌跡から得られる情報を用いて正弦波合成した合成楽音波形成分を楽音波形から減算した減算楽音波形から、ピーク点を再度検出することにより、一度目に検出されたピーク点の軌跡から採譜できない場合でも、減算楽音波形に基づく二度目の検出ではピーク点の軌跡から採譜することを可能とすることができる。これにより、演奏された楽音波形から精度良く全ての演奏データを採譜することができるようになる。さらに、減算した減算楽音波形に、得ようとする音符の音程に対応する周波数成分を強調するフィルター処理を施してピーク点を検出すると、一度目に検出されたピーク点の軌跡が切れ切れであって採譜し難い場合でも、フィルター処理後の二度目の検出ではピーク点を長い軌跡で追跡することを可能とすることができる。
さらにまた、抽出された軌跡におけるピーク点の振幅情報からエンベロープを作成し、予め用意された種々の強度のエンベロープ情報と対比することにより、強度情報を得ることができると共に、作成されたエンベロープから発音開始情報や音長情報を得ることができる。これにより、抽出された軌跡におけるピーク点の情報から音名情報および発音開始情報や音長情報と強度情報とを正確に得て、演奏データ作成することができる。
【図面の簡単な説明】
【図１】 本発明にかかる演奏データ作成方法を具現化した本発明にかかる演奏データ作成装置の実施の形態のブロック構成図を示す図である。
【図２】 本発明の演奏データ作成装置に供給される演奏データ波形の楽譜の一例を示す図である。
【図３】 図２に示す楽譜を変換したピアノロール譜を示す図である。
【図４】 本発明の演奏データ作成装置に供給される演奏データ波形の波形形状を示す図である。
【図５】 本発明の実施の形態の演奏データ作成装置におけるＳＴＦピーク検出部で検出されたピーク点の集まりを示す図である。
【図６】 本発明の実施の形態の演奏データ作成装置において追跡されたピーク点の軌跡を示す図である。
【図７】 本発明の実施の形態の演奏データ作成装置において追跡されたピーク点の軌跡におけるエンベロープを示す図である。
【図８】 本発明の実施の形態の演奏データ作成装置において強度情報を決定する際に使用する基準となるエンベロープを示す図である。
【図９】 本発明の実施の形態における第２の演奏データ作成方法の処理を示すフローチャートである。
【図１０】 本発明の実施の形態における第２の演奏データ作成方法において、演奏される楽譜の一例を示す図である。
【図１１】 本発明の実施の形態における第２の演奏データ作成方法において、演奏された演奏データ波形の波形形状を示す図である。
【図１２】 本発明の実施の形態における第２の演奏データ作成方法において、ＳＴＦピーク検出処理で検出されたピーク点の集まりを示す図である。
【図１３】 本発明の実施の形態における第２の演奏データ作成方法において、追跡されたピーク点の軌跡を示す図である。
【図１４】 本発明の実施の形態における第２の演奏データ作成方法において、１回目の処理により採譜された音符を示した楽譜を示す図である。
【図１５】 本発明の実施の形態における第２の演奏データ作成方法において、１回目の処理により検出されたピーク点の軌跡に基づいて波形合成された合成楽音波形の波形形状を図である。
【図１６】 本発明の実施の形態における第２の演奏データ作成方法において、波形合成された合成楽音波形を、演奏された演奏データ波形から減算した減算楽音波形の波形形状を示す図である。
【図１７】 本発明の実施の形態における第２の演奏データ作成方法において、減算楽音波形に基づいてＳＴＦピーク検出処理で検出されたピーク点の集まりを示す図である。
【図１８】 本発明の実施の形態における第２の演奏データ作成方法において、１回目の処理により採譜されなかった音符を示した楽譜を示す図である。
【図１９】 本発明の実施の形態における第２の演奏データ作成方法において、減算楽音波形における追跡されたピーク点の軌跡を示す図である。
【図２０】 本発明の実施の形態における第２の演奏データ作成方法において、１回目および２回目の追跡されたピーク点の軌跡をマージしたピーク点の軌跡におけるエンベロープを示す図である。
【図２１】 本発明の実施の形態における第３の演奏データ作成方法の処理を示すフローチャートである。
【図２２】 本発明の実施の形態における第３の演奏データ作成方法において、減算楽音波形をフィルター処理した後の波形形状を示す図である。
【図２３】 本発明の実施の形態における第３の演奏データ作成方法において、フィルター処理後の減算楽音波形に基づいてＳＴＦピーク検出処理で検出されたピーク点の集まりを示す図である。
【図２４】 本発明の実施の形態における第３の演奏データ作成方法において、フィルター処理後の減算楽音波形における追跡されたピーク点の軌跡を示す図である。
【図２５】 本発明の実施の形態における第３の演奏データ作成方法において、１回目および２回目の追跡されたピーク点の軌跡をマージしたピーク点の軌跡におけるエンベロープを示す図である。
【符号の説明】
１ 演奏データ作成装置、１０ ＳＴＦピーク分析部、１１ 時間／周波数表示手段、１２ ＭＩＤＩ化部、１３ ピアノロール譜変換部、１４ 比較部、１５ａ，１５ｂ，１５ｃ 楽器音データベース、２０ 加算器、３０ 加算器
Claims (6)
- 楽譜に基づいて演奏された楽音波形から演奏データを作成する演奏データ作成方法であって、
前記楽音波形の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を行うことにより各フレームタイムにおけるピーク点を検出し、
検出したピーク点と、前記楽譜における音符の情報とを対比することにより、該音符の周波数位置に適応するピーク点を追跡させた第１の軌跡を抽出し、
前記第１の軌跡から得られる情報を用いて正弦波合成した合成楽音波形成分を前記楽音波形から減算し、該減算結果の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を再度行うことにより各フレームタイムにおけるピーク点を検出し、
検出したピーク点と、前記音符の情報とを対比することにより、該音符の周波数位置に適応するピーク点を追跡させた第２の軌跡を抽出し、
前記第１の軌跡と前記第２の軌跡とをマージして、マージした軌跡におけるピーク点の情報から演奏データを作成するようにしたことを特徴とする演奏データ作成方法。 - 供給された軌跡におけるピーク点の振幅情報からエンベロープを作成し、予め用意された種々の強度のエンベロープ情報と対比することにより、前記軌跡におけるピーク点の情報に基づいて強度情報を得ると共に、作成されたエンベロープから少なくとも発音開始情報を得るようにしており、これらの情報と前記軌跡に基づく音高情報から前記演奏データが作成されることを特徴とする請求項１記載の演奏データ作成方法。
- 前記減算結果の減算楽音波形に、前記第１の軌跡が抽出されなかった前記楽譜における音符の音程に対応する周波数成分を強調するフィルター処理を施すようにしてから、その楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を再度行うことにより各フレームタイムにおけるピーク点を検出するようにしたことを特徴とする請求項１記載の演奏データ作成方法。
- 楽譜に基づいて演奏された楽音波形から演奏データを作成する演奏データ作成装置であって、
供給された楽音波形の楽音波形サンプルに対し順次シフトする時間窓を用いてフーリエ変換を行うことにより各フレームタイムにおけるピーク点を検出するピーク分析手段と、
該ピーク分析手段により検出されたピーク点と、前記楽譜における音符の情報とを対比することにより、該音符の周波数位置に適応するピーク点を追跡させたピーク点の軌跡を抽出する軌跡抽出手段と、
前記軌跡抽出手段により抽出された軌跡に基づいて正弦波合成した合成楽音波形成分を前記楽音波形から減算した減算波形を出力する減算手段と、
軌跡におけるピーク点の情報から演奏データを作成する演奏データ作成手段とを備え、
前記ピーク分析手段に前記楽譜に基づいて演奏された楽音波形が前記ピーク分析手段供給された際に、前記軌跡抽出手段から第１の軌跡が出力され、前記減算手段において該第１の軌跡に基づいて第１の減算波形が出力され、該第１の減算波形が前記ピーク分析手段に供給された際に、前記軌跡抽出手段から第２の軌跡が出力され、前記演奏データ作成手段は、前記第１の軌跡と第２の軌跡とをマージした軌跡に基づいて前記演奏データを作成するようにしたことを特徴とする演奏データ作成装置。 - 前記演奏データ作成手段において、供給された軌跡におけるピーク点の振幅情報からエンベロープを作成し、予め用意された種々の強度のエンベロープ情報と対比することにより、前記軌跡におけるピーク点の情報に基づいて強度情報を得ると共に、作成されたエンベロープから少なくとも発音開始情報を得ており、これらの情報と前記軌跡に基づく音高情報から前記演奏データを作成するようにしたことを特徴とする請求項４記載の演奏データ作成装置。
- 前記減算手段から出力される減算楽音波形から、前記第１の軌跡が抽出されなかった前記楽譜における音符の音高に対応する周波数成分を強調するフィルター処理手段を、さらに備えるようにしたことを特徴とする請求項４記載の演奏データ作成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001082725A JP3832266B2 (ja) | 2001-03-22 | 2001-03-22 | 演奏データ作成方法および演奏データ作成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001082725A JP3832266B2 (ja) | 2001-03-22 | 2001-03-22 | 演奏データ作成方法および演奏データ作成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002278544A JP2002278544A (ja) | 2002-09-27 |
| JP3832266B2 true JP3832266B2 (ja) | 2006-10-11 |
Family
ID=18938640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001082725A Expired - Fee Related JP3832266B2 (ja) | 2001-03-22 | 2001-03-22 | 演奏データ作成方法および演奏データ作成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3832266B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6856923B2 (en) * | 2000-12-05 | 2005-02-15 | Amusetec Co., Ltd. | Method for analyzing music using sounds instruments |
| KR100412196B1 (ko) * | 2001-05-21 | 2003-12-24 | 어뮤즈텍(주) | 악보 추적 방법 및 그 장치 |
| KR100455751B1 (ko) * | 2001-12-18 | 2004-11-06 | 어뮤즈텍(주) | 연주악기의 소리정보를 이용한 음악분석장치 |
| US7598447B2 (en) * | 2004-10-29 | 2009-10-06 | Zenph Studios, Inc. | Methods, systems and computer program products for detecting musical notes in an audio signal |
| JP6252421B2 (ja) * | 2014-09-30 | 2017-12-27 | ブラザー工業株式会社 | 採譜装置、及び採譜システム |
| US20220139363A1 (en) * | 2020-10-31 | 2022-05-05 | New Resonance, Llc | Conversion of Music Audio to Enhanced MIDI Using Two Inference Tracks and Pattern Recognition |
-
2001
- 2001-03-22 JP JP2001082725A patent/JP3832266B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002278544A (ja) | 2002-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Moorer | On the transcription of musical sound by computer | |
| Grosche et al. | Extracting predominant local pulse information from music recordings | |
| US6856923B2 (en) | Method for analyzing music using sounds instruments | |
| US6798886B1 (en) | Method of signal shredding | |
| Klapuri et al. | Robust multipitch estimation for the analysis and manipulation of polyphonic musical signals | |
| Collins | Using a Pitch Detector for Onset Detection. | |
| Traube et al. | Estimating the plucking point on a guitar string | |
| WO2013187986A1 (en) | Systems, methods, apparatus, and computer-readable media for pitch trajectory analysis | |
| JP3832266B2 (ja) | 演奏データ作成方法および演奏データ作成装置 | |
| Hainsworth et al. | Automatic bass line transcription from polyphonic music | |
| Lerch | Software-based extraction of objective parameters from music performances | |
| JP3511360B2 (ja) | 音楽音響信号分離方法、その装置およびそのプログラム記録媒体 | |
| JPH079591B2 (ja) | 楽器音響解析装置 | |
| JP3775319B2 (ja) | 音楽波形のタイムストレッチ装置および方法 | |
| Barbancho et al. | Transcription of piano recordings | |
| Marolt | Networks of adaptive oscillators for partial tracking and transcription of music recordings | |
| JP3508981B2 (ja) | 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 | |
| JP3801029B2 (ja) | 演奏情報生成方法、演奏情報生成装置およびプログラム | |
| Rossignol et al. | State-of-the-art in fundamental frequency tracking | |
| Tait | Wavelet analysis for onset detection | |
| Paradzinets et al. | Use of continuous wavelet-like transform in automated music transcription | |
| JP3870727B2 (ja) | 演奏タイミング抽出方法 | |
| Gainza et al. | Onset detection and music transcription for the Irish tin whistle | |
| JP2000003200A (ja) | 音声信号処理装置及び音声信号処理方法 | |
| Rao et al. | Vocal melody detection in the presence of pitched accompaniment using harmonic matching methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060328 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060627 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060710 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090728 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120728 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130728 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |