JP3908221B2 - 楽譜追跡方法およびその装置 - Google Patents

Description

本発明は、楽譜の演奏位置を自動に追跡するための楽譜追跡方法およびその装置に関する。

一般に、ピアノやバイオリンなどの楽器の練習または演奏時は、楽譜が使用される。即ち、実技試験などのように特別な場合を除いては、音楽を演奏または練習する時は楽譜を参照する。例えば、音楽を勉強する者は、楽譜に書かれた先生からの教えを参照しながら勉強し、交響楽団の演奏者は、指揮者の指示に従う演奏方法などを楽譜に記録しておき、演奏の時に参照するようになる。

なお、楽器の演奏時には、多くの演奏者は、両手を用いて演奏しているため、演奏者は、他人の助けを借りて楽譜をめくるか、または、演奏途中に適切なタイミングで直接片手で楽譜をめくるのが普通である。これによって、演奏者が、演奏中に演奏に没頭できなくなるという問題点があった。

このような問題点を解決するため、従来は、楽譜を置くための譜面台に、タイマーやペダルのような別の装置を付加し、演奏者が両手を使用することなく楽譜をめくることができるようにし、また、自動に楽譜をめくる方法に関する研究が主に行われていた。しかし、このような方法は、演奏者別の演奏速度の差などによって楽譜をめくるタイミングの適切な設定が困難であるという短所がある。

また、現在演奏されている単音の音の高さ情報を導出し、これを楽譜上の音符とマッチングすることによって、実際演奏情報により楽譜をめくるタイミングを判断する方法が知られている。しかし、このような方法は、単音だけを演奏する場合に適用する技術であって、バイオリンやギター、そして鍵盤楽器などを用いて複音を演奏する場合、または、協奏曲の場合には、適用できないという短所がある。

本発明は、上記の従来の問題点を解決するためになされたものであって、本発明の第１の目的は、楽譜情報から予想される周波数モデルと外部から入力された音の周波数成分とをマッチングして楽譜上の演奏位置を追跡することにより、複音の演奏や協奏曲の演奏時においても、楽譜上の演奏位置を正確に追跡することができる、楽譜追跡方法およびその装置を提供することにある。

本発明の第２の目的は、前述の楽譜追跡方法を実現させるための制御命令を記録した記録媒体を提供することにある。

本発明の第３の目的は、前述の方法により楽譜の演奏位置を自動に追跡するためのコンピュータ実行方法を提供することにある。

前述の第１の目的を達成するための本発明の楽譜追跡方法は、楽譜の演奏位置を追跡する楽譜追跡装置における楽譜追跡方法であって、上記楽譜追跡装置が、周波数モデリング部において、楽譜情報からその楽譜を参照した音楽の演奏時に発生されるものと思われる周波数モデル（ＸＦＭ）リストを導出する第１の過程と、演奏位置判断部において、前記周波数モデル（ＸＦＭ）リストに基づき、ある一時点において外部から入力される音情報（ＡＩ）に含まれるものと思われる周波数成分で構成されたマッチングモデル（Ｍ）を生成する第２の過程と、周波数分析部において、外部から音情報（ＡＩ）が入力されると、その音情報（ＡＩ）をデジタル信号（ＤＡ）に変換した後、そのデジタル信号（ＤＡ）に含まれた周波数成分（ＣＰＦＤ）を導出する第３の過程と、その周波数成分（ＣＰＦＤ）に新しい周波数成分が含まれている（Ｏｎｓｅｔ）か否かを判断する第４の過程と、演奏位置判断部において、前記周波数成分（ＣＰＦＤ）に新しい周波数成分が含まれている場合、前記周波数成分（ＣＰＦＤ）とマッチングモデル（Ｍ）とがマッチングされるか否かを判別する第５の過程と、前記第５の過程を行った結果、前記マッチングモデル（Ｍ）と前記周波数成分（ＣＰＦＤ）とがマッチングされる場合、実際演奏情報と楽譜情報とが一致することを示す同期情報を発生させた後、前記マッチングモデル（Ｍ）を更新する第６の過程とを含み、前記第２の過程は、前記ある時点の以前に演奏された音符に関する周波数モデルである経過音符周波数モデルと、現在時点に演奏中の音符に関する周波数モデルである現在音符周波数モデルと、次の時点に演奏されるものと思われる音符に関する予想音符周波数モデルとの和をマッチングモデルとして生成することを特徴とする。

また、前記第１の目的を達成するための本発明の楽譜追跡装置は、外部で演奏される音楽をデジタル信号に変換して入力するデジタル信号入力部と、前記デジタル信号に含まれた周波数成分（ＣＰＦＤ）を抽出する周波数分析部と、演奏される楽譜に含まれた音符の音の高さおよび長さ情報含む楽譜情報を入力する楽譜情報入力部と、前記楽譜情報に関する周波数モデリングにより新しい音符が演奏されるものと思われる時点ごとに、その時点に同時に演奏される音符の周波数モデル（ＸＦＭ）を導出し、その周波数モデル（ＸＦＭ）のリストを生成する周波数モデリング部と、前記周波数モデル（ＸＦＭ）リストを格納管理する格納部と、前記周波数分析部から現在演奏中のデジタル信号の周波数成分（ＣＰＦＤ）が入力されると、その周波数成分（ＣＰＦＤ）と前記格納部に格納された周波数モデル（ＸＦＭ）リストとの間のマッチング作業によって現在演奏位置を識別する演奏位置判断部と、前記演奏位置判断部の判断結果を使用者に提供する判断結果出力部とを備え、前記演奏位置判断部は、ある時点の以前に演奏された音符に関する周波数モデルと、現在時点に演奏中の音符に関する周波数モデルと、次の時点に演奏されるものと思われる音符に関する周波数モデルとを導出し、その周波数モデルの和で構成されたマッチングモデルを生成することを特徴とする。

前述の第２の目的を達成するための本発明の記録媒体は、コンピュータで読み取り可能である必要があり、その記録媒体がコンピュータにて駆動される時、前記楽譜追跡方法を実現させるための制御命令を記録したことを特徴とする。

前述の第３の目的を達成するための本発明に係るコンピュータ実行方法は、楽譜の演奏位置を自動に追跡するためのコンピュータ実行方法であって、実行命令を受信する第１の過程と、前記実行命令により演奏される楽譜の楽譜情報から音楽の演奏時に発生されるものと思われる周波数モデル（ＸＦＭ）リストを導出する第２の過程と、外部で演奏され前記コンピュータの音入力部を介して入力されるデジタル信号の周波数成分（ＣＰＦＤ）を分析する第３の過程と、前記第２の過程で導出された周波数モデル（ＸＦＭ）リストに基づき、音楽の演奏時にある時点に発生されるものと思われる周波数成分に関するマッチングモデル（Ｍ）を生成する第４の過程と、前記第３の過程で分析された周波数成分（ＣＰＦＤ）と前記第４の過程で生成されたマッチングモデル（Ｍ）とを比較して現在演奏位置を追跡する第５の過程とを含むことを特徴とする。

以下、本発明の楽譜追跡方法およびその装置について詳述する。なお、本発明の一実施例を説明するための用語を簡略に説明すると、次の通りである。

周波数モデル（ＸＦＭ：ｅＸｔｒａｃｔｅｄ Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｅｌ）：周波数モデル（ＸＦＭ）とは、楽譜情報から導出され、その楽譜を参照しながら音楽を演奏する時に発生されるものと予測される周波数に関するモデルをいう。

経過音符周波数モデル（ＰＮＦＭ：Ｐａｓｓｅｄ Ｎｏｔｅｓ Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｅｌ）：経過音符周波数モデル（ＰＮＦＭ）とは、ある時点の以前に演奏された音符に関する周波数モデルをいう。経過音符周波数モデル（ＰＮＦＭ）は、実際演奏情報と楽譜情報とがマッチングするか否かを判断する時、既に経過した音符であるがまだ音が残っている周波数成分をマッチング対象に含めるために使用される。

現在音符周波数モデル（ＣＮＦＭ：Ｃｕｒｒｅｎｔ Ｎｏｔｅｓ Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｅｌ）：現在音符周波数モデル（ＣＮＦＭ）とは、現在演奏中の音符に関する周波数モデルをいう。

予想音符周波数モデル（ＥＮＦＭ：Ｅｘｐｅｃｔｅｄ Ｎｏｔｅｓ Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｅｌ）：予想音符周波数モデル（ＥＮＦＭ）とは、次の時点に演奏されるものと思われる音符に関する周波数モデルをいう。

マッチングモデル（Ｍ：Ｍａｔｃｈｉｎｇ Ｍｏｄｅｌ）：マッチングモデル（Ｍ）とは、実際演奏情報と楽譜情報とがマッチングするか否かを判断する時、ある時点における実際演奏情報と比較される対象をいう。マッチングモデル（Ｍ）は、ＰＮＦＭ、ＣＮＦＭ、そして、ＥＮＦＭを合わせて生成する。

現在演奏周波数情報（ＣＰＦＤ：Ｃｕｒｒｅｎｔ Ｐｅｒｆｏｒｍａｎｃｅ Ｆｒｅｑｕｅｎｃｙ Ｄａｔａ）：現在演奏周波数情報（ＣＰＦＤ）とは、現在入力されるデジタル信号の周波数成分を示すものである。換言すれば、ある時点における実際演奏情報をいう。

以前演奏周波数情報（ＰＰＦＤ：Ｐｒｅｖｉｏｕｓ Ｐｅｒｆｏｒｍａｎｃｅ Ｆｒｅｑｕｅｎｃｙ Ｄａｔａ）：以前演奏周波数情報（ＰＰＦＤ）とは、ある時点の直前のＣＰＦＤをいう。

楽譜待機時間（Ｓ＿Ｔｉｍｅ：Ｓｃｏｒｅ＿Ｔｉｍｅ）：楽譜待機時間（Ｓ＿Ｔｉｍｅ）とは、楽譜情報から導出された各周波数モデル（ＸＦＭ）に割り当てられる値をいうもので、自分が演奏された時点から次順の周波数モデル（ＸＦＭ）が演奏されるまでの予想される待機時間を意味し、マッチング待機時間（Ｍ＿Ｔｉｍｅ）を導出するために使用される。

速さ比（Ｔ＿Ｒａｔｉｏ：Ｔｅｍｐｏ＿Ｒａｔｉｏ）：速さ比（Ｔ＿Ｒａｔｉｏ）は、前記楽譜待機時間（Ｓ＿Ｔｉｍｅ）と実際演奏時間との比率を示すもので、マッチング待機時間（Ｍ＿Ｔｉｍｅ）を導出するために使用される。

速さ変化率（Ｔ＿Ｖａｒｉａｎｃｅ：Ｔｅｍｐｏ＿Ｖａｒｉａｎｃｅ）：速さ変化率（Ｔ＿Ｖａｒｉａｎｃｅ）は、前記速さ比（Ｔ＿Ｒａｔｉｏ）の変化率を示すもので、マッチング待機時間（Ｍ＿Ｔｉｍｅ）を導出するために使用される。

マッチング待機時間（Ｍ＿Ｔｉｍｅ：Ｍａｔｃｈｉｎｇ＿Ｔｉｍｅ）：マッチング待機時間（Ｍ＿Ｔｉｍｅ）とは、マッチングの発生した時点から次のマッチングが発生するものと予想される時点までの待機時間を意味し、Ｓ＿Ｔｉｍｅ、Ｔ＿Ｒａｔｉｏ、そして、Ｔ＿Ｖａｒｉａｎｃｅから導出される。

演奏進行時間（Ｐ＿Ｔｉｍｅ：Ｐｅｒｆｏｒｍａｎｃｅ＿Ｔｉｍｅ）：演奏進行時間（Ｐ＿Ｔｉｍｅ）とは、マッチングの発生した時点から経過した実際時間を意味し、現在音符に相当する演奏が持続した時間を示す。

以下、添付の図面を参照して本発明の楽譜追跡方法およびその装置について詳述する。

図１は、本発明の一実施例に係る楽譜追跡装置を示す概略的なブロック図である。同図に示されたように、本発明の楽譜追跡装置は、デジタル信号入力部（１０）、周波数分析部（２０）、楽譜情報入力部（３０）、周波数モデリング部（４０）、格納部（５０）、演奏位置判断部（６０）および判断結果出力部（７０）を備えてなる。

デジタル信号入力部（１０）は、外部で演奏される音楽をデジタル信号に変換して入力する装置であって、マイクを介して入力される音楽の場合、Ａ／Ｄコンバータを介してデジタル信号に変換し、ＣＤ、ＭＰ３、ウェーブファイルなどの音楽ファイルとして入力される場合は、ウェーブ形式にファイル形式を変換して入力する。一般のコンピュータにおいては、サウンドカードがＡ／Ｄコンバータの機能を果たす。

周波数分析部（２０）は、デジタル信号入力部（１０）を介して入力されるデジタル信号からある時点において演奏中の現在演奏周波数情報（ＣＰＦＤ）を抽出する。この時、デジタル信号を周波数に分解する方法は、一般的に高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を利用しているが、ウェーブレット（Ｗａｖｅｌｅｔ）変換のような他の方法を利用することもできる。

楽譜情報入力部（３０）は、演奏される楽譜から楽譜情報を入力する装置であって、スキャニングによりその楽譜に含まれた各音符の高さおよび長さ情報を入力するなどの方法で作成されたデータである、各音符の高さおよび長さ情報を含むデジタル楽譜データを入力する働きをする。

周波数モデリング部（４０）は、楽譜情報入力部（３０）を介して入力された楽譜情報に関する周波数モデリングにより周波数モデル（ＸＦＭ）リストを導出する。即ち、周波数モデリング部（４０）は、その楽譜情報に基づき、新しい音符が演奏されるものと予想される時点毎に、その時点に同時に演奏される音符の周波数（ＸＦＭ）を導出し、その周波数モデル（ＸＦＭ）のリストを生成する。このように、楽譜情報から周波数モデル（ＸＦＭ）リストを導出する過程については、図９Ａ乃至図９Ｃを参照した説明においてより詳述する。

格納部（５０）は、周波数モデリング部（４０）で生成された周波数モデル（ＸＦＭ）リストを格納して管理する。

演奏位置判断部（６０）は、周波数分析部（２０）を介して現在演奏中のデジタル信号の周波数成分（ＣＰＦＤ）が入力されると、その周波数成分（ＣＰＦＤ）と前記格納部に格納された周波数モデル（ＸＦＭ）リストとの間のマッチング作業を行うによって現在演奏位置を識別する。

このため、演奏位置判断部（６０）は、格納部（５０）に格納された周波数モデル（ＸＦＭ）リストに基づき、音楽演奏時、ある時点に発生するものと思われる周波数成分に関わるマッチングモデル（Ｍ）を生成した後、周波数分析部（２０）を介して伝達される現在演奏周波数情報（ＣＰＦＤ）とマッチングモデル（Ｍ）との間のマッチング作業を行う。そして、その結果に基づいて現在演奏位置を識別する。

この時、マッチングモデル（Ｍ）は、ある時点の以前に演奏された音符に関する周波数モデル（ＰＮＦＭ）と、現在演奏中の音符に関する周波数モデル（ＣＮＦＭ）と、次の時点に演奏されるものと思われる音符に関する周波数モデル（ＥＮＦＭ）との和で構成され、各周波数モデル（ＰＮＦＭ、ＣＮＦＭ、ＥＮＦＭ）は、周波数モデル（ＸＦＭ）リストから抽出される値を用いる。

判断結果出力部（７０）は、演奏位置判断部（６０）の判断結果を使用者に提供する。この時、その結果を使用者に提供する方法は、電子楽譜上に当該演奏位置を直接表示するなど、種々の方法が可能である。このような位置識別機能により演奏位置と当該ページの最後位置との距離関係を判別し、適切な時点に楽譜めくり信号を発生させることができる。

図２は、本発明の一実施例に係る楽譜追跡方法を示す処理フローチャートである。同図に基づいて一実施例に係る楽譜追跡方法を説明する。先ず、楽譜情報からその楽譜を参照する音楽の演奏時に発生されるものと思われる周波数モデル（ＸＦＭ）リストを導出する（Ｓ１１０）。この時、演奏される楽器の音情報を予め持っていると、その音情報に基づいて周波数モデル（ＸＦＭ）リストを導出し、そうでない場合は、楽器の種類による音符別のハーモニック周波数に基づいて周波数モデル（ＸＦＭ）リストを導出する。

また、その周波数モデル（ＸＦＭ）リストに基づき、ある一時点において外部から入力される音情報（ＡＩ：Ａｕｄｉｏ Ｉｎｆｏｒｍａｔｉｏｎ）に含まれるものと思われる周波数成分で構成されたマッチングモデル（Ｍ）を生成する（Ｓ１２０）。

この時、マッチングモデル（Ｍ）は、以前に既に演奏された音符に関する周波数モデルである経過音符周波数モデル（ＰＮＦＭ）と、現時点に演奏中の音符に関する周波数モデルである現在音符周波数モデル（ＣＮＦＭ）と、次の時点に演奏されるものと予想される音符に関する予想音符周波数モデル（ＥＮＦＭ）との和で構成する（数式１参照）。
［数式１］
Ｍ＝ＰＮＦＭ＋ＣＮＦＭ＋ＥＮＦＭ
また、外部から音情報（ＡＩ）が入力されると、その音情報（ＡＩ）をデジタル信号（ＤＡ：Ｄｉｇｉｔａｌ Ａｕｄｉｏ ｓｉｇｎａｌ）に変換した後、そのデジタル信号（ＤＡ）に含まれた現在演奏周波数情報（ＣＰＦＤ）を導出する（Ｓ１３０、Ｓ１４０）。この時、デジタル信号から周波数成分を導出するため、一般に高速フーリエ変換（ＦＦＴ）を用いるが、ウェーブレット（Ｗａｖｅｌｅｔ）変換のような他の方法を用いることもできる。

次いで、前記導出された現在演奏周波数情報（ＣＰＦＤ）に新しい周波数成分が含まれているか（Ｏｎｓｅｔ）否かを判断し（Ｓ１５０、Ｓ１６０）、新しい周波数成分が含まれた場合、マッチングするか否かを判別する。即ち、新しい周波数成分が含まれている場合、マッチングモデル（Ｍ）と前記現在演奏周波数情報（ＣＰＦＤ）とを比較してマッチングするか否かを判別するが（Ｓ１７０）、マッチングモデル（Ｍ）に含まれた周波数成分が前記現在演奏周波数情報（ＣＰＦＤ）に全て含まれているか否かを判別する。この時、マッチングモデル（Ｍ）が多数である場合は、最初のマッチングモデル（Ｍ）（例えば、その発生時点が最も早いマッチングモデル（Ｍ））を選択して前記現在演奏周波数情報（ＣＰＦＤ）との比較を行う。

前記過程（Ｓ１７０）を行った結果、マッチングモデル（Ｍ）と現在演奏周波数情報（ＣＰＦＤ）とがマッチングされる場合（Ｓ１８０）、実際演奏情報と楽譜情報とが一致することを示す同期情報を発生させた後（Ｓ１９０）、そのマッチングモデル（Ｍ）を更新する（Ｓ２００）。このようにマッチングモデル（Ｍ）の更新または追加を行う時は、楽譜追跡のために活用されるマッチング待機時間（Ｍ＿Ｔｉｍｅ）を共に設定する。前記マッチング待機時間（Ｍ＿Ｔｉｍｅ）は、マッチングモデル（Ｍ）と現在演奏周波数情報（ＣＰＦＤ）とがマッチングされた時点からそのマッチングモデル（Ｍ）の予想音符周波数モデル（ＥＮＦＭ）が演奏される時点まで予想される待機時間である楽譜待機時間（Ｓ＿Ｔｉｍｅ）を基準にして決定される。より詳しくは、前記楽譜待機時間（Ｓ＿Ｔｉｍｅ）に当該演奏者の演奏速度を加味するための速さ比（Ｔ＿Ｒａｔｉｏ）および速さ変化率（Ｔ＿Ｖａｒｉａｎｃｅ）をかけた値をマッチング待機時間（Ｍ＿Ｔｉｍｅ）として算出する（数式２参照）。
［数式２］
Ｍ＿Ｔｉｍｅ＝Ｓ＿Ｔｉｍｅ＊Ｔ＿Ｒａｔｉｏ＊Ｔ＿Ｖａｒｉａｎｃｅ
なお、前記過程（Ｓ１７０）を行った結果、マッチングモデル（Ｍ）と現在演奏周波数情報（ＣＰＦＤ）とがマッチングされない場合、以前に生成されてマッチングされずに残っている残余マッチングモデルのうちの最初に生成されたマッチングモデルから順次選択し、前記現在演奏周波数情報（ＣＰＦＤ）とマッチングするか否かを判別する（Ｓ２１０、Ｓ２２０）。その結果、残余マッチングモデルのうち前記現在演奏周波数情報（ＣＰＦＤ）とマッチングされるマッチングモデル（Ｍ）がある場合、実際演奏情報と楽譜情報とが一致することを示す同期情報を発生させた後（Ｓ１９０）、そのマッチングモデル（Ｍ）を除いた他の残余マッチングモデルを全て削除し、そのマッチングモデル（Ｍ）を更新する（Ｓ２００）。

また、現在演奏周波数情報（ＣＰＦＤ）に含まれた現在演奏音が進行された演奏進行時間（Ｐ＿ｔｉｍｅ）が、現在演奏周波数情報（ＣＰＦＤ）と比較するために生成されたマッチングモデル（Ｍ）のマッチング待機時間（Ｍ＿ｔｉｍｅ）を超過するまで、現在演奏周波数情報（ＣＰＦＤ）と前記マッチングモデル（Ｍ）との間のマッチングが行われない場合、新しいマッチングモデル（Ｎ＿Ｍ）を追加する（Ｓ２３０、Ｓ２４０）。即ち、当該マッチングモデル（Ｍ）に含まれた予想周波数モデル（ＥＮＦＭ）の次の時点に演奏されるものと予想される周波数モデル（Ｎ＿ＥＮＦＭ）が含まれた新しいマッチングモデル（Ｎ＿Ｍ）を追加する（Ｓ２４０）。これは、演奏者が楽譜に表示された音符のいずれかを抜けして演奏した場合、これを補償するためである。

図３は、本発明の一実施例に係る周波数モデル（ＸＦＭ）リストの導出過程（Ｓ１１０）を示す処理フローチャートである。同図に示されたように、周波数モデル（ＸＦＭ）リストを導出するため、先ず、演奏される楽譜の情報を読み取った後（Ｓ１１１）、その楽譜を演奏する演奏楽器に関わる音情報があるか否かを確認する（Ｓ１１２）。

前記確認の結果（Ｓ１１２）、当該演奏楽器に関わる音情報が存在する場合、その音情報から楽譜情報に含まれた各音符の音情報を取り出した後（Ｓ１１３）、その音情報の周波数成分のうちのピーク値を用いて周波数モデルリストを導出する（Ｓ１１４）。

当該演奏楽器に関わる音情報が存在しない場合、楽譜情報に含まれた各音符の楽器種類別のハーモニック周波数情報を取り出した後（Ｓ１１５）、そのハーモニック周波数成分のうちのピーク値を用いて周波数モデルリストを導出する（Ｓ１１６）。

図４は、本発明の一実施例に係るマッチングモデル（Ｍ）の生成過程（Ｓ１２０）を示す処理フローチャートである。

同図に示されたように、最初に生成されるマッチングモデル（Ｍ）の場合、未だ演奏が進行されていない状態であるため、マッチングモデル（Ｍ）を構成する経過音符周波数モデル（ＰＮＦＭ）および現在音符周波数モデル（ＣＮＦＭ）は、無効値（ＮＵＬＬ）として設定し（Ｓ１２１）、予想音符周波数モデル（ＥＮＦＭ）は、前記周波数モデル（ＸＦＭ）リストから最初に演奏されるものと思われる周波数モデル（ＸＦＭ）と設定する（Ｓ１２２）。また、前記周波数モデル（ＰＮＦＭ、ＣＮＦＭ、ＥＮＦＭ）を合わせてマッチングモデル（Ｍ）を生成する（Ｓ１２３）。

また、演奏者または再生機器の特性による演奏音楽の進行速度に応じて楽譜追跡速度を調節するようにするため、その演奏音楽の進行速度を識別するための変数（Ｍ＿Ｔｉｍｅ、Ｐ＿Ｔｉｍｅ、Ｔ＿Ｒａｔｉｏ、Ｔ＿Ｖａｒｉａｎｃｅ）の初期値を設定する（Ｓ１２４）。

マッチング待機時間（Ｍ＿Ｔｉｍｅ）とは、マッチングモデルのマッチング待機時間を意味する。初めには演奏状態でないため、マッチング待機時間（Ｍ＿Ｔｉｍｅ）を有効でない任意の値（例えば、ＮＵＬＬ）として設定する。

演奏進行時間（Ｐ＿Ｔｉｍｅ）とは、現在演奏音の進行時間を意味する。演奏進行時間（Ｐ＿Ｔｉｍｅ）の初期値は、「０」であり、その値を増加させながら、マッチングモデルのマッチングを待つ。

速さ比（Ｔ＿Ｒａｔｉｏ）とは、演奏の速さ比率をいう。換言すれば、速さ比（Ｔ＿Ｒａｔｉｏ）は、マッチング待機時間（Ｍ＿Ｔｉｍｅ）と、実際マッチングされた時間との比率をいい、初期値は「１」である。例えば、速さ比（Ｔ＿Ｒａｔｉｏ）値が「２」であれば、２倍遅く演奏されることを意味する。

速さ変化率（Ｔ＿Ｖａｒｉａｎｃｅ）とは、演奏の速さ変化率をいう。速さ変化率（Ｔ＿Ｖａｒｉａｎｃｅ）の初期値は、「１」であり、例えば、速さ変化率（Ｔ＿Ｖａｒｉａｎｃｅ）が「１．１」の時は、だんだん遅く演奏されることを意味する。

図５は、本発明の一実施例に係るデジタル信号入力過程（Ｓ１３０）を示す処理フローチャートである。同図に示されたように、デジタル信号入力過程（Ｓ１３０）は、外部から終了命令が入力されるまでに継続して行われ（Ｓ１３１）、外部から入力される音情報（ＡＩ）の入力方式により処理過程が変化する。即ち、音情報（ＡＩ）がマイクを介して入力される場合、アナログ（Ａ）／デジタル（Ｄ）変換を行い、前記音情報（ＡＩ）が音楽ファイルとして入力される場合、そのファイル形式を変換する（Ｓ１３２、Ｓ１３３、Ｓ１３４）。

また、前記変換された信号をフレーム単位に区分して入力する（Ｓ１３５）。なお、演奏速度を識別するために現在演奏音の進行時間を示す演奏進行時間（Ｐ＿Ｔｉｍｅ）を増加させる（Ｓ１３６）。

図６は、本発明の一実施例に係る新しい周波数入力（Ｏｎｓｅｔ）があるかの判断過程（Ｓ１５０）を示す処理フローチャートである。同図に示されたように、Ｏｎｓｅｔがあるか否かを判断するため、先ず、現時点において消滅した周波数成分を導出した後、マッチングモデル（Ｍ）に含まれた周波数情報のうちその消滅した周波数成分を除去する（Ｓ１５１）。このため、現在入力される音情報（ＡＩ）に含まれた現在演奏周波数情報（ＣＰＦＤ）と、以前に入力された音情報（ＡＩ）に含まれた以前演奏周波数情報（ＰＰＦＤ）とを比較し、以前演奏周波数情報（ＰＰＦＤ）には含まれているが現在演奏周波数情報（ＣＰＦＤ）には含まれていない周波数成分を導出し、これを除去するようにする。

そして、前記現在演奏周波数情報（ＣＰＦＤ）と以前演奏周波数情報（ＰＰＦＤ）との強さおよび周波数成分値を比較し、前記現在演奏周波数情報（ＣＰＦＤ）に新しい周波数成分が含まれているか（Ｏｎｓｅｔ）か否かを判別する（Ｓ１５２乃至Ｓ１５５）。この時、次の音符が演奏されるか否かを判断するためのＯｎｓｅｔ導出過程において、第１のステップ（Ｓ１５２、Ｓ１５３）では、音の急激な強さ増加を用いてＯｎｓｅｔを判断し、第２のステップ（Ｓ１５４、Ｓ１５５）では、管楽器など音の強さ変化はなく高さ変化のみがある場合に備え、周波数成分が新規に含まれているか否かによってＯｎｓｅｔを判断する。

前記判断の結果（Ｓ１５２乃至Ｓ１５５）、Ｏｎｓｅｔと判断される場合、Ｏｎｓｅｔフラグをセッティングし（Ｓ１５８）、Ｏｎｓｅｔでない場合は、Ｎｏｎ−Ｏｎｓｅｔフラグをセッティングする（Ｓ１５７）。

なお、現在演奏音の進行時間（Ｐ＿Ｔｉｍｅ）が現在マッチングモデル（Ｍ）のマッチング待機時間（Ｍ＿Ｔｉｍｅ）を経過した場合、Ｏｎｓｅｔが発生したものとみなし、Ｏｎｓｅｔフラグをセッティングする（Ｓ１５６、Ｓ１５８）。

図７は、本発明の一実施例に係るマッチングモデル（Ｍ）更新過程（Ｓ２００）を示す処理フローチャートである。例えば、マッチングモデル（Ｍ_０、Ｍ_０＝ＰＮＦＭ_０＋ＣＮＦＭ_０＋ＥＮＦＭ_０、Ｓ＿ｔｉｍｅ_０）をマッチングモデル（Ｍ_１、Ｍ_１＝ＰＮＦＭ_１＋ＣＮＦＭ_１＋ＥＮＦＭ_１、Ｓ＿ｔｉｍｅ_１）に更新する過程を示す処理フローチャートである。

同図に示されたように、マッチングモデル更新過程（Ｓ２００）は、先ず、周波数モデル（ＸＦＭ）リストが空いているか否かを確認し（Ｓ２０１）、周波数モデル（ＸＦＭ）リストが空いていない場合に進行され、その過程は、以下の通りである。

即ち、マッチングモデル（Ｍ_０）に対する周波数移行過程によりマッチングモデル（Ｍ_１）を生成するが、これについて具体的に説明する。

先ず、マッチングモデル（Ｍ_０）に含まれた経過音符周波数モデル（ＰＮＦＭ_０）と現在音符周波数モデル（ＣＮＦＭ_０）とを合わせて新しい経過音符周波数モデル（ＰＮＦＭ_１）を生成し（ＰＮＦＭ_１←ＰＮＦＭ_０＋ＣＮＦＭ_０）、マッチングモデル（Ｍ_０）に含まれた予想音符周波数モデル（ＥＮＦＭ_０）をもって新しい現在音符周波数モデル（ＣＮＦＭ_１）を生成し（ＣＮＦＭ_１←ＥＮＦＭ_０）、周波数モデル（ＸＦＭ）リストから次の時点に演奏されるものと予想される周波数モデル（ＸＦＭ_１）を選択して新しい予想音符周波数モデル（ＥＮＦＭ_１）を生成する（Ｓ２０２）。

また、その周波数モデル（ＰＮＦＭ_１、ＣＮＦＭ_１、ＥＮＦＭ_１）を全て合わせて新しいマッチングモデル（Ｍ_１）を生成する（Ｓ２０３）。

このようにマッチングモデル（Ｍ_１）が生成されると、そのマッチングモデル（Ｍ_１）のマッチング待機時間（Ｍ＿ｔｉｍｅ_１）を導出する過程を行う（Ｓ２０４乃至Ｓ２０９）。

このため、先ず、現在演奏の速さ比（Ｔ＿Ｒａｔｉｏ）および速さ変化率（Ｔ＿Ｖａｒｉａｎｃｅ）値を算出する（Ｓ２０４）。次いで、その速さ比（Ｔ＿Ｒａｔｉｏ）および速さ変化率（Ｔ＿Ｖａｒｉａｎｃｅ）に基づいて新しいマッチングモデル（Ｍ_１）のマッチング待機時間（Ｍ＿Ｔｉｍｅ_１）を算出し、マッチングモデル（Ｍ_０）に対するマッチングが行われたので、演奏進行時間（Ｐ＿Ｔｉｍｅ）値を再度初期化する（Ｓ２０９）。

なお、エラーまたは誤ったマッチングなどによるマッチング予想時間の急な変化などを防止するため、速さ変化率（Ｔ＿Ｖａｒｉａｎｃｅ）の範囲を限定（ＭＡＸ、ＭＩＮ）し、速さ変化率がその範囲内で設定されるようにする（Ｓ２０５乃至Ｓ２０８）。

図８は、本発明の一実施例に係るマッチングモデル（Ｍ）の追加過程（Ｓ２４０）を示す処理フローチャートである。即ち、マッチングモデル（Ｍ_０、Ｍ_０＝ＰＮＦＭ_０＋ＣＮＦＭ_０＋ＥＮＦＭ_０、Ｓ＿ｔｉｍｅ_０）がマッチングされず、そのマッチングモデルに関わるマッチング待機時間（Ｍ＿ｔｉｍｅ _０）を経過した場合、そのマッチングモデル（Ｍ_０）はそのままにして、新しいマッチングモデル（Ｍ_１、Ｍ_１＝ＰＮＦＭ_１＋ＣＮＦＭ_１＋ＥＮＦＭ_１、Ｓ＿ｔｉｍｅ_１）を追加する過程を示す処理フローチャートである。

同図に示されたように、マッチングモデルの追加過程（Ｓ２４０）は、先ず、周波数モデル（ＸＦＭ）リストが空いているか否かを確認し（Ｓ２４１）、周波数モデル（ＸＦＭ）リストが空いておらず、マッチングされずに残っているマッチングモデルの数が既に設定された限界値以下である場合、進行される（Ｓ２４２）。

先ず、マッチングモデル（Ｍ）を構成する周波数モデルのうち経過音符周波数モデル（ＰＮＦＭ_０）と現在音符周波数モデル（ＣＮＦＭ_０）とはそのままに取り、予想音符周波数モデル（ＥＮＦＭ_０）のみを新しい予想音符周波数モデル（ＥＮＦＭ_１）、即ち、次の時点に演奏されるものと予想される周波数モデル（ＸＦＭ_１）として生成する（Ｓ２４３）。言い換えると、新しい経過音符周波数モデル（ＰＮＦＭ_１）と、新しい現在音符周波数モデル（ＣＮＦＭ_１）に経過音符周波数モデル（ＰＮＦＭ_０）および現在音符周波数モデル（ＣＮＦＭ_０）をそのまま適用し、新しい予想音符周波数モデル（ＥＮＦＭ_１）のみを新しく選択された周波数モデル（ＸＦＭ_１）に変更する。

また、その周波数モデル（ＰＮＦＭ_１、ＣＮＦＭ_１、ＥＮＦＭ_１）を全て合わせて新しいマッチングモデル（Ｍ_１）を生成する（Ｓ２４４）。

このようにマッチングモデル（Ｍ_１）が生成されると、そのマッチングモデル（Ｍ_１）に含まれた予想音符周波数モデル（ＥＮＦＭ_１）が演奏されるものと予想されるマッチング待機時間（Ｍ＿ｔｉｍｅ_１）を導出する過程を行う（Ｓ２４５、Ｓ２４６）。この時、速さの変化がないため、前記マッチングモデル（Ｍ_０）の速さ情報（Ｔ＿Ｒａｔｉｏ_０）に基づいて、新しいマッチングモデル（Ｍ_１）のマッチング待機時間（Ｍ＿ｔｉｍｅ_１）を算出する。その算出式が図面に示されている（Ｓ２４６）。

なお、演奏音楽の誤りが一定時間以上継続して発生する場合は、楽譜追跡を継続して行うことが無意味となるため、以前に生成されてマッチングされずに残っている残余マッチングモデルの個数を限定し、残余マッチングモデルの個数が既に設定された限界値以上である場合、新しいマッチングモデルを追加することなく終了するようにする（Ｓ２４２）。

図９Ａ乃至図９Ｃは、本発明の一実施例によって楽譜情報から周波数モデルリストを導出する過程を説明するための例示図である。
即ち、周波数モデリング部（４０）（図１に図示）に図９Ａのような楽譜情報が入力される場合、周波数モデリング（４０）（図１に図示）は、先ず、その楽譜情報から図９Ｂのように各音符の高さおよび長さ情報を導出し、その音符別の高さ情報によって図９Ｃのような周波数モデルを導出する。

この時、図９Ｂに示された各区間（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）は、その区間に属する音符が演奏され、次の音符による演奏音が入力されるのを待つための区間である。例えば、「Ａ」区間は、（１／４）Ｄ５音符と、（１／２）Ｂ３音符と、（１／２）Ｇ３音符とが同時に演奏され、（１／８）Ｇ４音符が演奏されるのを待つ区間である。また、各区間（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）の長さは、その区間においてのみ演奏される音符の長さと決定されるのが一般的である。例えば、「Ａ」区間の長さを「ｔ」とすると、その他の区間（Ｂ、Ｃ、Ｄ、Ｅ）は、「1/2ｔ」となる。

なお、図９Ｃは、このような楽譜情報に含まれた各音符の高さおよび長さ情報に基づいて導出された周波数モデルを示す。図９Ｃの（ａ）は、「Ａ」区間に含まれた音符の周波数モデルを示し、図９Ｃの（ｂ）は、「Ｂ」区間に含まれた音符の周波数モデルを示し、図９Ｃの（ｃ）は、「Ｃ」区間に含まれた音符の周波数モデルを示し、図９Ｃの（ｄ）は、「Ｄ」区間に含まれた音符の周波数モデルを示し、図９Ｃの（ｅ）は、「Ｅ」区間に含まれた音符の周波数モデルを示す。図９Ｃの（ａ）または図９Ｃの（ｄ）のように１区間に多数の音符情報が含まれた場合、それらの各周波数モデルを全て合わせた値が格納部（５０）に格納される。

図１０は、本発明の一実施例に係るマッチングモデルの生成および更新過程を説明するための例示図である。

同図に示されたように、（ａ）、（ｄ）、（ｇ）は、ある時点における経過音符周波数モデル（ＰＮＦＭ）を示し、（ｂ）、（ｅ）、（ｈ）は、ある時点における現在音符周波数モデル（ＣＮＦＭ）を示し、（ｃ）、（ｆ）、（ｉ）は、ある時点における予想音符周波数モデル（ＥＮＦＭ）を示す。

また、（ａ）、（ｂ）、（ｃ）は、初期に設定されたマッチングモデル（Ｍ_０）を構成する周波数モデルを示し、（ｄ）、（ｅ）、（ｆ）は、マッチングモデル（Ｍ_０）とある一時点における現在演奏周波数成分（ＣＰＦＤ）とのマッチングが行われ、周波数移行過程が行われ、これによって、新しく生成されたマッチングモデル（Ｍ_１）を構成する周波数モデルを示す。なお、（ｇ）、（ｈ）、（ｉ）は、マッチングモデル（Ｍ_１）と前記時点以後の時点における現在演奏周波数成分（ＣＰＦＤ）とのマッチングが行われ、周波数移行過程が行われ、これによって、新しく生成されたマッチングモデル（Ｍ_２）を構成する周波数モデルを示す。

本発明によれば、前述の過程を一般のコンピュータで動作されるようにするため、前記過程を実現させるための制御命令をコンピュータで読み取り可能な記録媒体に記録して使用することができる。

以上の説明は、本発明の一実施例を説明したものにすぎないものであり、本発明の保護範囲は、前述の実施例に限定されず、添付の請求の範囲を逸脱しない範囲で種々の変更が可能である。例えば、本発明の実施例を具体的に示した各構成要素の形状および構造を変形して実施することができる。

上記のような本発明の楽譜追跡方法およびその装置は、実際演奏される単音または複音の演奏情報に基づいて自動に楽譜上の演奏位置を追跡することができる。従って、その位置追跡の結果を基にして適切な時点に自動にページめくり信号を発生することにより、演奏者がタイマーや他のスイッチを用いて楽譜をめくる必要がないという長所がある。これによって、演奏者は、演奏に没頭できるようになる。

本発明の一実施例に係る楽譜追跡装置を示す概略的なブロック図である。 本発明の一実施例に係る楽譜追跡方法に関する処理フローチャートである。 本発明の一実施例に係る周波数モデル（ＸＦＭ）リストの導出過程に関する処理フローチャートである。 本発明の一実施例に係るマッチングモデル（Ｍ）の生成過程に関する処理フローチャートである。 本発明の一実施例に係るデジタル信号入力過程に関する処理フローチャートである。 本発明の一実施例に係る新しい周波数入力（Ｏｎｓｅｔ）があるか否かの判断過程に関する処理フローチャートである。 本発明の一実施例に係るマッチングモデル（Ｍ）の更新過程に関する処理フローチャートである。 本発明の一実施例に係るマッチングモデル（Ｍ）の追加過程に関する処理フローチャートである。 本発明の一実施例によって楽譜情報から周波数モデルリストを導出する過程を説明するための例示図である。 本発明の一実施例によって楽譜情報から周波数モデルリストを導出する過程を説明するための例示図である。 本発明の一実施例によって楽譜情報から周波数モデルリストを導出する過程を説明するための例示図である。 本発明の一実施例に係るマッチングモデルの生成および更新過程を説明するための例示図である。

Claims (14)

1. 楽譜の演奏位置を追跡する楽譜追跡装置における楽譜追跡方法であって、
   上記楽譜追跡装置が、
   周波数モデリング部において、楽譜情報からその楽譜を参照した音楽の演奏時に発生されるものと思われる周波数モデルリストを導出する第１の過程と、
   演奏位置判断部において、前記周波数モデルリストに基づき、ある一時点において外部から入力される音情報に含まれるものと思われる周波数成分で構成されたマッチングモデルを生成する第２の過程と、
   周波数分析部において、外部から音情報が入力されると、その音情報をデジタル信号に変換した後、そのデジタル信号に含まれた現在演奏周波数情報を導出する第３の過程と、
   その現在演奏周波数情報に新しい周波数成分が含まれているか否かを判断する第４の過程と、
   演奏位置判断部において、前記現在演奏周波数情報に新しい周波数成分が含まれている場合、前記現在演奏周波数情報とマッチングモデルとがマッチングされるか否かを判別する第５の過程と、
   前記第５の過程を行った結果、前記マッチングモデルと前記周波数成分とがマッチングされる場合、実際演奏情報と楽譜情報とが一致することを示す同期情報を発生させた後、前記マッチングモデルを更新する第６の過程と、
   を含み、
   前記第２の過程は、
   前記ある時点の以前に演奏された音符に関する周波数モデルである経過音符周波数モデルと、現在時点に演奏中の音符に関する周波数モデルである現在音符周波数モデルと、次の時点に演奏されるものと思われる音符に関する予想音符周波数モデルとの和をマッチングモデルとして生成することを特徴とする楽譜追跡方法。
2. 前記第１の過程は、
   演奏する楽譜の情報を読み出す第１−１の過程と、
   その楽譜を演奏する演奏楽器に関する音情報があるか否かを確認する第１−２の過程と、
   前記演奏楽器に関する音情報が存在する場合、その音情報から楽譜情報に含まれた各音符の音情報を抽出した後、その音情報の周波数成分のうちのピーク値を用いて周波数モデルリストを導出する第１−３の過程と、
   前記演奏楽器に関する音情報が存在しない場合、楽譜情報に含まれた各音符の楽器種類別のハーモニック周波数成分を抽出した後、そのハーモニック周波数成分のうちのピーク値を用いて周波数モデルリストを導出する第１−４の過程と、
   を含むことを特徴とする請求項１に記載の楽譜追跡方法。
3. 前記第２の過程は、
   前記経過音符周波数モデルおよび現在音符周波数モデルは、無効値として設定し、前記予想音符周波数モデルは、前記周波数モデルリストから最初に演奏されるものと思われる周波数モデルとして設定する第２−１の過程と、
   前記経過音符周波数モデル、現在音符周波数モデルおよび予想音符周波数モデルを合わせてマッチングモデルを生成する第２−２の過程と、
   前記マッチングモデルのマッチング待機時間を有効でない任意の値として設定する第２−３の過程と、
   を含むことを特徴とする請求項１に記載の楽譜追跡方法。
4. 前記第３の過程は、
   前記音情報がマイクを介して入力される場合、アナログ／デジタル変換を行い、前記音情報が音楽ファイルとして入力される場合、そのファイルの形式を変換してデジタル信号に変換することを特徴とする請求項１に記載の楽譜追跡方法。
5. 前記第４の過程は、
   現在入力される音情報に含まれた現在演奏周波数情報と、以前の時点に入力された音情報に含まれた以前演奏周波数情報とを比較し、現在時点において消滅した周波数成分を導出する第４−１の過程と、
   マッチングモデルに含まれた周波数情報から前記消滅した周波数成分を除去する第４−２の過程をと、
   前記現在演奏周波数情報と以前演奏周波数情報との強さおよび周波数成分値を比較し、前記現在演奏周波数情報に新しい周波数成分が含まれているか否かを判別する第４−３の過程と、
   前記第４−３の過程を行った結果、前記現在演奏周波数情報に新しい周波数成分が含まれるか、新しい周波数成分が含まれていない状態で以前のマッチングが行われた時点から現在選択されるマッチングモデルのマッチング待機時間が経過した場合は、新しい周波数成分が含まれているものと判断する第４−４の過程と、
   を含むことを特徴とする請求項１に記載の楽譜追跡方法。
6. 前記第６の過程は、
   前記マッチングモデルに含まれた経過音符周波数モデルと現在音符周波数モデルとを合わせて新しい経過音符周波数モデルを生成する第６−１の過程と、
   前記マッチングモデルに含まれた予想音符周波数モデルをもって新しい現在音符周波数モデルを生成する第６−２の過程と、
   前記周波数モデルリストから次の時点において演奏されるものと思われる周波数モデルを選択して新しい予想音符周波数モデルを生成する第６−３の過程と、
   前記新しい経過音符周波数モデル、新しい現在音符周波数モデルおよび新しい予想音符周波数モデルを合わせて新しいマッチングモデルを生成する第６−４の過程と、
   前記マッチングモデルのマッチング待機時間と前記マッチングモデルを生成してから実際にマッチングが行われるまでの時間情報とを比較して現在演奏速度を判別し、その演奏速度に基づいて新しいマッチングモデルのマッチング待機時間を導出する第６−５の過程と、
   を含むことを特徴とする請求項５に記載の楽譜追跡方法。
7. 前記第５の過程を行った結果、前記マッチングモデルと前記周波数成分とがマッチングされない場合、
   以前に生成された後、マッチングされずに残っている残余マッチングモデルのうち、最初に生成されたマッチングモデルから順次選択して前記周波数成分とマッチングするか否かを判別する第７の過程と、
   前記残余マッチングモデルのうち、前記周波数成分とマッチングされるマッチングモデルが存在する場合、実際演奏情報と楽譜情報とが一致することを示す同期情報を発生させた後、そのマッチングモデルを除いた他の残余マッチングモデルを全て削除し、そのマッチングモデルを更新する第８の過程と、
   をさらに含むことを特徴とする請求項１に記載の楽譜追跡方法。
8. 前記第８の過程は、
   前記マッチングモデルに含まれた経過音符周波数モデルと現在音符周波数モデルとを合わせて新しい経過音符周波数モデルを生成する第８−１の過程と、
   前記マッチングモデルに含まれた予想音符周波数モデルをもって新しい現在音符周波数モデルを生成する第８−２の過程と、
   前記周波数モデルリストから次の時点において演奏されるものと思われる周波数モデルを選択して新しい予想音符周波数モデルを生成する第８−３の過程と、
   前記新しい経過音符周波数モデル、新しい現在音符周波数モデルおよび新しい予想音符周波数モデルを合わせて新しいマッチングモデルを生成する第８−４の過程と、
   前記マッチングモデルのマッチング待機時間と、前記マッチングモデルを生成してから実際にマッチングが行われるまでの時間情報とを比較して現在演奏速度を判別し、その演奏速度に基づいて新しいマッチングモデルのマッチング待機時間を導出する第８−５の過程と、
   を含むことを特徴とする請求項７に記載の楽譜追跡方法。
9. 前記マッチング待機時間を超過するまで前記周波数成分とマッチングモデルとのマッチングが行われない場合、前記マッチングモデルに含まれた予想周波数モデルの次の時点において演奏されるものと思われる周波数モデルが含まれた新しいマッチングモデルを追加する第９の過程をさらに含むことを特徴とする請求項１に記載の楽譜追跡方法。
10. 前記第９の過程は、
    前記マッチングモデルに含まれた経過音符周波数モデルをもって新しい経過音符周波数モデルを生成する第９−１の過程と、
    前記マッチングモデルに含まれた現在音符周波数モデルをもって新しい現在音符周波数モデルを生成する第９−２の過程と、
    前記周波数モデルリストから次の時点において演奏されるものと思われる周波数モデルを選択して新しい予想音符周波数モデルを生成する第９−３の過程と、
    前記新しい経過音符周波数モデル、新しい現在音符周波数モデルおよび新しい予想音符周波数モデルを合わせて新しいマッチングモデルを生成する第９−４の過程と、
    前記マッチングモデルの速さ情報に基づいて新しいマッチングモデルのマッチング待機時間を導出する第９−５の過程と、
    を含むことを特徴とする請求項９に記載の楽譜追跡方法。
11. 前記第９の過程は、
    以前に生成された後、マッチングされずに残っている残余マッチングモデルの個数が既に設定された限界値以上である場合、新しいマッチングモデルを追加せずに終了することを特徴とする請求項１０に記載の楽譜追跡方法。
12. 請求項１から１１のいずれか１項に記載の楽譜追跡方法の各過程をコンピュータに実行させるための制御命令を記録したことを特徴とするコンピュータで読み取り可能な記録媒体。
13. 外部で演奏される音楽をデジタル信号に変換して入力するデジタル信号入力部と、
    前記デジタル信号に含まれた周波数成分を抽出する周波数分析部と、
    演奏される楽譜に含まれた音符の音の高さおよび長さ情報を含む楽譜情報を入力する楽譜情報入力部と、
    前記楽譜情報に関する周波数モデリングにより新しい音符が演奏されるものと思われる時点ごとに、その時点に同時に演奏される音符の周波数モデルを導出し、その周波数モデルのリストを生成する周波数モデリング部と、
    前記生成された周波数モデルリストを格納管理する格納部と、
    前記周波数分析部から現在演奏中のデジタル信号の周波数成分が入力されると、その周波数成分と前記格納部に格納された周波数モデルリストとの間のマッチング作業によって現在演奏位置を識別する演奏位置判断部と、
    前記演奏位置判断部の判断結果を使用者に提供する判断結果出力部と、
    を備え、
    前記演奏位置判断部は、
    ある時点の以前に演奏された音符に関する周波数モデルと、現在時点に演奏中の音符に関する周波数モデルと、次の時点に演奏されるものと思われる音符に関する周波数モデルとを導出し、その周波数モデルの和で構成されたマッチングモデルを生成することを特徴とする楽譜追跡装置。
14. 前記演奏位置判断部は、
    前記格納部に格納された周波数モデルリストに基づき、演奏の進行に応じてある時点に発生するものと思われる周波数成分に関するマッチングモデルを生成した後、前記周波数分析部から伝達される現在演奏中のデジタル信号の周波数成分と前記マッチングモデルとの間のマッチング作業を行うことを特徴とする請求項１３に記載の楽譜追跡装置。