WO2007010638A1

WO2007010638A1 - 自動採譜装置及びプログラム

Info

Publication number: WO2007010638A1
Application number: PCT/JP2006/300071
Authority: WO
Inventors: Ren Sumita
Original assignee: Kabushiki Kaisha Kawai Gakki Seisakusho
Priority date: 2005-07-22
Filing date: 2006-01-06
Publication date: 2007-01-25
Also published as: US20080210082A1; JP4672474B2; JP2007033479A; US7507899B2

Description

明細書

自動採譜装置及びプログラム

技術分野

[0001] 本発明は、自動採譜装置及びプログラムに関する。

背景技術

[0002] 音楽 CD等の演奏情報から楽譜を起こす、 Vヽゎゆる採譜とヽぅ作業は、音楽知識や絶対音感等の特別な能力を持つ人のみが可能な作業であるため、これをコンビユータ等によって行おうとする研究が古くから行われている。

[0003] このコンピュータによる自動採譜が難しい原因は、楽器音の倍音にある。

[0004] 楽器音は、単音で演奏した場合でも、その音の高さ (ピッチ）に相当する基音 (基本波）と複数の倍音 (高調波)の周波数が同時に発せられる。倍音の周波数は、通常、基音の整数倍であるが、ピアノにおいては、高次の倍音の周波数が基音の整数倍にならな、ことが知られて、る。

[0005] この倍音のパワーの基音のパワーに対する比率は、楽器によって異なり、また、同一の楽器でも音の高さによって異なり、打鍵 (発音)後の時間とともに変化し、さらに、厳密には、同一の楽器の同一の音であっても、打鍵 (発音）時のタツチ (タンギング等 )によって、このパワー比は、演奏の度に毎回異なるものである。

[0006] 単音であっても上記の通りであるが、複数の音が同時に演奏された場合は、さらに問題は複雑になる。同時に演奏された複数の音のいずれかの音の基音、または、倍音同士が近い周波数になると、位相による打ち消しあい、または、重ね合わせで、基音や倍音のパワーは変化してしまう。

[0007] 自動採譜における楽器音のピッチ抽出は、楽器音の基音の周波数を検出することにあるが、このように基音と倍音のパワー比率はさまざまな条件により変化するため、基音と倍音の判断が容易にはつ力なくなり、これが自動採譜を難しくしている。

[0008] このような倍音を除去するための方法として、例えば、下記特許文献 1に示す構成がある。同文献の構成では、このパワー比が楽器毎にほぼ決まっているという前提のもとに、ある注目周波数よりも高い周波数 (比較周波数）が注目周波数の倍音かどうか判断し、倍音と判断したときには比較周波数の音量を一定の割合で削減し、また、場合によっては、これを注目周波数の音量に上乗せすると、う方法をとつて、る。特許文献 1 :特開 2000— 293188

発明の開示

発明が解決しょうとする課題

[0009] しかし、もし、パワー比が楽器毎にほぼ決まっているのならば、この方法が有効であるが、実際は多くの楽器で、その音域によりパワー比は大きく異なる。よって、一定の割合では、音域によっては倍音が正しく除去できないことが予想される。

[0010] また、この従来構成においては、比較周波数 (倍音）の音量の一定の割合を削減して、るが、比較周波数には同時に鳴って、る他の音の倍音の音量も含まれて、る可能性があるため、比較周波数の音量の一定の割合ではなぐ注目周波数 (基音)の音量に比較周波数の倍音の次数に応じた比率をかけた音量を比較周波数の音量から削減すべきである。

[0011] 本発明は、以上のような問題に鑑み創案されたもので、単一楽器によって演奏された音響信号から楽譜を自動採譜する、さらに単音演奏のみでなぐ同時に複数の音が演奏される複音演奏の場合も含んで、演奏された音響信号から楽譜を自動採譜する自動採譜装置を提供せんとするものである。

[0012] 併せて、これらの装置をコンピュータ上に実現できる自動採譜用のコンピュータ'プログラムについても、提供する。

課題を解決するための手段

[0013] そのため本発明に係る自動採譜装置は、

音響信号を入力する入力手段と、

予め自動採譜の対象となる演奏に使われて!/、る楽器のサンプル入力音響信号の基音に対する倍音のパワー比率を検出する倍音パワー比検出手段と、

その倍音パワー比を記憶しておく記憶手段と、

上記楽器から入力した音響信号から各音階音のパワーを検出する音階音パワー検出手段と、

これら各音階音について、夫々が基音であると仮定した場合の倍音の音階音のパヮ一から、基音のパワーに基音の音階音に対する各倍音のパワー比をかけた値を、減算すると共に、実際に減算されたパワーを基音のパワーに加算する処理について、音の低い音階音から順にすベての音階音に対して実行する倍音除去手段と、該倍音除去手段による処理後に、閾値以上のパワーを持つ音階音を抽出し、音符情報を検出する音符情報検出手段と

を有することを基本的特徴として、る。

[0014] 上記構成によれば、予め自動採譜の対象となる演奏に使われている楽器の基音に対する倍音のパワー比率を倍音パワー比検出手段により検出しておき、それらを上記記憶手段に記憶しておく。次に、上記音階音パワー検出手段により、入力手段から入力した音響信号力各音階音のパワーを検出する。その後倍音除去手段により、これら各音階音について、夫々が基音であると仮定した場合の倍音の音階音のパヮ一から、基音のパワーに基音の音階音に対する各倍音のパワー比をかけた値を減算し、さらに実際に減算されたパワーを基音のパワーに加算する。以上の処理を音の低い音階音力も順にすベての音階音について実行する。そして、音符情報検出手段により、閾値以上のパワーを持つ音階音を抽出することにより音符情報を検出することになる。

[0015] 上記倍音パワー比検出手段による基音に対する倍音のパワー比率を検出する場合に、倍音のパワー比率を幾つかの音階音について用意しておき、そのパワー比が存在しない音階音については、その音階音の上または下、もしくは上下両方の音階音でパワー比が存在する音階音のパワー比を使って補間生成して、上記音階音につ、ての倍音のパワー比率として出力するようにすると良、。

[0016] 本発明の上記構成で前提としている演奏情報は、単一楽器による演奏であり、単音のみならず、同時に複数の音が演奏される複音であっても構わない。

[0017] 自動採譜に先立ち、予め、その楽器で幾つ力の音階音を演奏してもらう。その演奏の結果力基音に対する倍音のパワー比率を測定する。この倍音のパワー比は、打鍵 (発音)直後は変化が激しぐ減衰過程に入ると安定する。そのため、このパワー比はこの減衰過程で取ることが望まし、。

[0018] パワー比は自動採譜する楽器の音域のすべての音階音について測定することが望ましいが、それでは準備に時間が力かってしまう。そもそも、このパワー比は楽器の音色を表しているものであり、楽器の音色は音の高さの変化とともに滑らかに変化するものである。そこで、請求項 2の構成では、この楽器の音域の内、離散的な幾つかの音 (例えば長 3度の音程毎の音階音)でパワー比を測定し、その間の音については上下のパワー比力も補間して生成する。

[0019] さらに、請求項 3の構成は、請求項 1記載の構成を、コンピュータに実行させるために、該コンピュータで実行可能なプログラム自身を規定している。すなわち、上述した課題を解決するための構成として、上記各手段を、コンピュータの構成を利用することで実現する、該コンピュータで読み込まれて実行可能なプログラムである。この場合、コンピュータとは中央演算処理装置の構成を含んだ汎用的なコンピュータの構成の他、特定の処理に向けられた専用機などを含むものであっても良ぐ中央演算処理装置の構成を伴うものであれば特に限定はない。

[0020] 上記各手段を実現させるためのプログラムが該コンピュータに読み出されると、請求項 1に規定された各機能実現手段と同様な機能実現手段が達成されることになる

[0021] 請求項 3のより具体的構成は、

コンピュータを、

音響信号を入力する入力手段と、

その倍音パワー比を記憶しておく記憶手段と、

して機能させることを特徴とする自動採譜用プログラムである。

[0022] さらに、請求項 4の構成は、請求項 2記載の構成を、コンピュータに実行させるために、該コンピュータで実行可能なプログラム自身を規定している。すなわち、コンビュータに上記各手段を実現させるためのプログラムが該コンピュータに読み出されると、請求項 2に規定された各機能実現手段と同様な機能実現手段が達成されることになる。

[0023] 請求項 4のより具体的構成は、上記倍音パワー比検出手段による基音に対する倍音のパワー比率を検出する場合に、倍音のパワー比率を幾つかの音階音につ、て用意しておき、そのパワー比が存在しない音階音については、その音階音の上または下、もしくは上下両方の音階音でパワー比が存在する音階音のパワー比を使って補間生成して、上記音階音についての倍音のパワー比率として出力することを特徴とするコード名検出用プログラムである。

[0024] 以上のようなプログラムの構成であれば、既存のハードウェア資源を用いてこのプログラムを使用することにより、既存のハードウェアで新たなアプリケーションとしての本発明の夫々の装置が容易に実現できるようになる。

[0025] このプログラムという態様では、通信などを利用して、これを容易に使用、配布、販売することができるようになる。また、既存のハードウェア資源を用いてこのプログラムを使用することにより、既存のハードウェアで新たなアプリケーションとしての本発明の装置が容易に実行できるようになる。

[0026] 尚、請求項 3又は 4記載の各機能実現手段のうち一部の機能は、コンピュータに組み込まれた機能 (コンピュータにハードウェア的に組み込まれて、る機能でも良ぐ該コンピュータに組み込まれているオペレーティングシステムや他のアプリケーションプログラムなどによって実現される機能でも良い）によって実現され、前記プログラムには、該コンピュータによって達成される機能を呼び出すあるいはリンクさせる命令が含まれていても良い。

[0027] これは、請求項 1及び 2に規定された各機能実現手段の一部が、例えばオペレーティングシステムなどによって達成される機能の一部で代行され、その機能を実現するためのプログラムな!/、しモジュールなどは直接存在するわけではな、が、それらの機能を達成するオペレーティングシステムの機能の一部を、呼び出したりリンクさせるようにしてあれば、実質的に同じ構成となるからである。

発明の効果

[0028] 本発明の請求項 1及び請求項 2記載の自動採譜装置、並びに請求項 3及び 4記載の自動採譜用プログラムによれば、単音のみならず、同時に複数の音が演奏される場合でも、単一楽器による演奏された音響信号から楽譜を自動採譜することが可能であると!/ヽぅ優れた効果を奏し得る。

図面の簡単な説明

[0029] [図 1]本発明の自動採譜装置の、ある実施例における全体のブロック図である。

[図 2]倍音パワー比検出部 2の構成を示すブロック図である。

[図 3]電子ピアノのノートナンバー 48の音を弾いた時の基音と倍音のパワーの時間変化を表したグラフである。

[図 4]その音量の時間変化を表したグラフである。

[図 5]アタックを検出し、パワー比を何フレームか測定して平均し、その音階音のパヮ一比を記憶させ、次の音階音に移る一連の流れを示すフローチャートである。

[図 6]電子ピアノの倍音パワー比を示すグラフである。

[図 7]各音階音のパワー検出結果の例を示すグラフである。

[図 8]倍音成分の除去の手順を示すフローチャートである。

[図 9]倍音除去後、その分を基音に上乗せした各音階音のパワーを示すグラフである

[図 10]音符検出処理の手順を示すフローチャートである。

符号の説明

[0030] 1 入力部

2 倍音パワー比検出部

3 倍音パワー比記憶部

4 音階音パワー検出部

5 倍音除去部 6 音符情報検出部

7 検出結果出力部

10 音響信号受信部

11 AZD変換部

20 音量検出部

21 パワー比検出部

発明を実施するための最良の形態

[0031] 以下、本発明の実施例を、添付図面を参照して説明する。

実施例 1

[0032] 図 1は、本発明の自動採譜装置の、ある実施例における全体のブロック図である。

同図に示す装置は、音響信号を入力する入力部 1と、予め自動採譜の対象となる演奏に使われている楽器のサンプル入力音響信号の基音に対する倍音のパワー比率を検出する倍音パワー比検出部 2と、その倍音パワー比を記憶しておく倍音パヮ一比記憶部 3と、上記楽器力入力した音響信号力各音階音のパワーを検出する音階音パワー検出部 4と、これら各音階音について、夫々が基音であると仮定した場合の倍音の音階音のパワーから、基音のパワーに基音の音階音に対する各倍音のノ^ー比をかけた値を、減算すると共に、実際に減算されたパワーを基音のパワーに加算する処理について、音の低い音階音力順にすベての音階音に対して実行する倍音除去部 5と、該倍音除去手段による処理後に、閾値以上のパワーを持つ音階音を抽出し、音符情報を検出する音符情報検出部 6と、上記音符情報の検出結果をファイル等に出力する検出結果出力部 7とを有している。

[0033] 上記入力部 1は、音響信号受信部 10と AZD変換部 11とを有している。該音響信号受信部 10は、マイク等の機器で構成され、そこからアナログ信号を取り込む機能を有している。

[0034] AZD変換部 11は、取り込んだアナログ信号をディジタル信号に変換する機能を有している。 AZD変換後のサンプリング周波数は、 11025Hz、量子化ビット数は 16 ビットとする。

[0035] このディジタル信号は、倍音のパワー比を測定する場合は、倍音パワー比検出部 2 に送られ、また演奏音から採譜処理を行う場合は、音階音パワー検出部 4に送られる

[0036] 該倍音パワー比検出部 2は、図 2のようなブロック力も構成され、音量検出部 20とパヮー比検出部 21とで構成される。

[0037] 上記音量検出部 20では、入力されたディジタル信号の音量を測定する。

[0038] 上記パワー比検出部 21では、入力されたディジタル信号を FFT演算し、基音に対する倍音のパワー比を測定する。

[0039] 該倍音パワー比検出部 2での処理は、 AZD変換後の波形サンプルが所定数溜まる毎に処理される。この所定数は、パワー比検出部 21の FFTポイント数によって決まる力より詳細にデータをとる場合は、 FFTの窓をオーバーラップさせるため、例えば窓を 3Z4オーバーラップさせる場合、窓のシフト量は窓のサイズの 1Z4となり、倍音パワー比検出部 2での処理も窓サイズの 1Z4のデータが溜まるたびに処理される。

[0040] この 1回の処理の時間単位を 1フレームと呼ぶことにする。本実施例では、倍音パヮ一比検出部 2での窓のサイズ、つまり FFTポイント数は、 4096ポイントとする。つまり、窓のサイズは約 372msとなり、 3Z4オーバーラップさせる場合、 1フレームは、約 9 3msとなる。

[0041] 音量検出部 20での音量測定について次に説明する。

[0042] 音量検出部 20では、 FFTの窓サイズの波形データを受け取り、その音量を測定する。

[0043] 音量の測定は、波形の振幅の二乗の総和の平方根を取ることにより計算する。すなわち、 i番目の波形サンプルを W(i)とすると、音量 Ampは、下記数 1式により、計算される。

[0044] [数 1]

ここで、 Nは音量計算する波形のサンプル数であり、 N=4096である。

[0045] 次に、パワー比検出部 21での処理を説明する。パワー比検出部 21は、 FFTの窓サイズの波形データを受け取り、基音に対する倍音のパワー比を測定する機能を有している。

[0046] 基音の音高は、自動採譜する音域の中から離散的に選択された幾つかの音高であり、これは外部力もパワー比検出部 21に指示される。

[0047] この指示された音高を基音とし、基音のパワーに対する 2倍音力 8倍音までの倍音のパワー比を、パワー比検出部 21では測定する。

[0048] FFT演算の結果得られるパワースペクトルは、サンプリング周波数を FFTポイント数で割った値、つまり、本実施例の場合、約 2. 7Hzの間隔で測定される。

[0049] つまり、この約 2. 7Hzの整数倍の周波数のパワーが測定されるわけで、今求めたい基音や倍音の周波数にちょうど一致する周波数が測定されるわけではない。

[0050] そこで、基音、倍音の周波数の上下 50セントの範囲にあるパワースペクトルの内、パワーが最大のスペクトルのパワーを基音、倍音のパワーとする。これにより、多少（半音の半分まで)ピッチが揺らいでも正確にパワー比を測定できるため、本発明の自動採譜装置は、トランペット等の安定したピッチで演奏することが難し、楽器にも対応できる。

[0051] 音高が与えられたとき、その音高 NN (C4 :中央のド = 60)力も周波数 Freq (Hz)への変換は、以下の数 2式で行うことができる。

[0052] [数 2]

Cent = (NN- 36) · 100

Cent - 3300

Freq = 440 - 2 ¹²⁰⁰

[0053] 上記式の、 440は A4の周波数である。これにより、例えば C3 (ノートナンバー 48) の周波数は、 130. 8Hzと計算される。

[0054] 上記式を変形して、逆に周波数力も Centは、下記式数 3で計算できる。

[0055] [数 3] Cent = 1200 - log ₂ ( + 3300

V 440 ノ

[0056] 従って、 C3の上下 50セントの周波数は、 127. OHz力ら 134. 6Hzと計算できる。

[0057] これを FFTのスペクトル間隔で割ることにより、 C3の基音のパワーは、 47番目力 5

0番目のスペクトルのパワーから最大値を検索して求めることになる。

[0058] 図 3は、ある楽器 (電子ピアノ）のノートナンバー 48の音を弹、た時の基音と倍音のパワーの時間変化を、また図 4は、その音量の時間変化を、夫々表したグラフである

[0059] パワー変化の図 3のグラフの縦軸は、パワーで横軸は倍音の次数 (Iが基音、 IIが 2 倍音、…；)、奥行き方向が時間変化で、時間は手前から奥へと進む (数字はフレーム数)。このグラフのように打鍵後音量がピークになる 6フレームまでの間（アタック区間）は、各倍音のパワーが大きく変化しており、この区間では基音に対する倍音のパワー比も安定していない。

[0060] その後、 8フレーム辺りから各倍音のパワーは安定しているので、これ以降にパワー比を測定することが望ましい。なお、楽器によってはアタック区間を過ぎても倍音のパヮ一が安定しな、場合もあるので、ある範囲で平均を取ってパワー比を求めた方がよい（図 4参照)。

[0061] アタックを検出し、パワー比を何フレームか測定して平均し、その音階音のパワー比を倍音パワー比記憶部 3に記憶させ、次の音階音に移る一連の流れをフローチヤ一トにしたのが、図 5である。

[0062] 同図を用いてパワー比を測定する処理の流れを、以下説明する。まず、ステップ S1

01で各変数に初期値を代入する。

[0063] 各変数の意味は以下の通りである。

Note 基音の音高

Attack アタック検出したかどうか

Record パワー比を保存したかどうか

Silence 無音になったと判断したかどうか AttackCt アタック検出した回数

RecordCt パワー比を測定した回数

SilenceTime無音になつたと判断した時刻

パワー比 2倍音から 8倍音までの倍音のパワー比

PASSNUM アタック検出後、パワー比の測定を始めるまで読み飛ばすフレーム数

RECNUM パワー比を測定するフレーム数

NOTEADD パワー比を計算する音高の間隔

[0064] まず、 Noteにパワー比を測定する最初の音高をセットする。後述する図 6のような結果を得る場合には、最初の音高として 48をセットする。

[0065] Attack, Record, Silenceの各変数は、ブーノレ変数で、 true ( = 1)と false ( = 0)の 2つの値を持つ変数である。各変数はこれらを検出して、な、ことを示す falseの値（ = 0) をセットする。

[0066] AttackCt, RecordCt, SilenceTimeの変数も、初期値 0をセットする。

[0067] パワー比は、図 6では 8倍音まで測定している力この場合、要素数 7の配列となる

。基音を基準（ = 1)とした倍音のパワー比を測定しているので、基音のパワー比は必要ないため、 8倍音まで測定する場合、要素数は 7となる。これも、後に加算して平均を測定するため、初期値 0をセットしておく。

[0068] 上述の PASSNUM、 RECNUM, NOTEADDは、予め値を決めておく固定値で、今回の例では、 PASSNUM = 2, RECNUM = 8, NOTEADD = 4としている。

[0069] PASSNUMがこのように小さい値なのは、今回広い範囲の音域のパワー比を測定するため、特に高い音では音の立ち上がり '減衰が早いため、このような小さな値にしてある。

[0070] 以上のように初期値がセットできたら、ステップ S102に進む。ステップ S102では、すでにアタックが検出されたかどうかを、 Attack変数でチェックする。

[0071] まだアタックが検出されて、な、 (ステップ S 102； Yes) t 、うことは、本装置がまだ音の打鍵を検出してヽなヽと、うことであるので、ユーザに現在設定されて!、る Note の音高の鍵盤を弾くように指示する (ステップ S103)。該指示は、本装置の表示装置、または、コンピュータのディスプレイ等を用いて行う。 [0072] 既にアタック検出している場合 (ステップ S102 ;No)は、この指示は出す必要はない。

[0073] 次に、離鍵の指示を出すかどうかを、 Attackと Recordの変数でチェックする（ステツプ S104)。既にアタック検出済みで、パワー比の保存も完了しているならば (ステップ S 104 ; Yes)、これ以上押鍵しておく必要はないので、離鍵の指示を出す (ステップ S

105)。

[0074] 離鍵の指示も、本装置の表示装置、または、コンピュータのディスプレイ等を用いて行う。

[0075] 次に、 AZD変換後の波形サンプル力 FFTの窓サイズ溜まるまで待つ (ステップ S

106)。溜まったら (ステップ S106 ;Yes)、 FFT演算を行い、音量とパワー比を測定する (ステップ S107)。音量、パワー比の測定方法は、先に述べた通りである。

[0076] 次のステップ S 108では、求めた音量が閾値を上回っているかどうかをチェックする

。閾値を上回っていない場合 (ステップ S108 ;No)は、ステップ S121以降の無音の判断の処理にジャンプする。

[0077] ステップ S121以降の無音の判断の処理は、パワー比を所定回数測定して、パワー比の平均が求まってから、次の音符に移る前に、完全に無音になっていることを判断するための処理である。

[0078] 今は、まだアタックの検出も、パワー比の保存も行われていないので、ステップ S12

1とステップ S123は、どちらも Noの分岐に進み、ステップ S111へと進む。無音の判断処理の詳細は、後ほど説明する。

[0079] アタックを検出していない、今の段階では、ステップ S 111も Noの分岐に進み (ステップ Sl l l ;No)、ステップ S118でも Noとなり、当然、まだ最終音ではないので、ステップ S 120力ら、ステップ S 102へと戻る。

[0080] このようにして、再びステップ S106で FFTの窓サイズまでデータが溜まるまで待ち

、ステップ S 107で音量とパワー比を測定する。

[0081] そのうちに、ユーザが打鍵を行うので、音量が閾値を上回り、ステップ S108が Yes の分岐に進み、ステップ S 109が実行される。

[0082] ステップ S109では、音量が閾値を上回ったので、アタック検出済みフラグ Attackを t rueにセットする。

[0083] また、次のステップ SI 10で、アタック検出したば力りなので、無音検出済みフラグも f alseにセットしておく。

[0084] ステップ S111では、アタック検出後、パワー比の測定を開始するまでに読み飛ばす処理を行う。つまり、アタックを検出済みで、まだパワー比の保存は完了していないとき、アタック検出後の回数が PASSNUM (今の例では 2)以下では Noの分岐に進み（ステップ S 111； No)、ステップ S 118に進む。

[0085] ステップ S 118で、アタックは検出済みであるので、ステップ S 119で、アタック検出後の回数力インクリメントされる。

[0086] 再びステップ S 102からのループが行われ、アタック検出後の回数 AttackCtが REC NUMを上回ったとき（ステップ Sl l l ;Yes)、処理は、ステップ S112へと進む。

[0087] ステップ S 112では、実際のパワー測定に入る。

[0088] 始めのステップ S101で 0に初期化しておいたパワー比のバッファに各倍音（この例では 2倍音から 8倍音）の基音のパワーに対する比率を加算していく（ステップ S 112) 。最初に 0で初期化して加算していくのは、後に平均を計算するためである。

[0089] 次のステップ S113では、パワー比録音の回数をインクリメントする。

[0090] 録音の回数が、 RECNUM (今の例では 8)以上になったら（ステップ S114 ;Yes)、パワー比の平均を計算する (ステップ S 115)。

[0091] パワー比の平均は、先に述べたとおり、これまでのパワー比がパワー比のバッファに加算されて、るので、録音回数 RECNUMで除算することにより平均が求まる。

[0092] 平均されたパワー比を、上記倍音パワー比記憶部 3に保存する (ステップ S116)。

[0093] 以上で、この音高に対するパワー比の測定が完了したので、録音済みフラグ Recor dを trueにセットする（ステップ S 117)。

[0094] 次に、ステップ S121以降の録音後の無音の判断処理について説明する。

[0095] 前の音が残っている状態で次の音の録音を始めてしまうと、次の音のパワースぺクトルに前の音の成分も混在してしまうため、正しくパワー比を求めることができない。特にピアノのような楽器では、離鍵後もピアノの内部で残響音が残るため、十分に無音になったと判断してから、次の音の録音を始めなくてはならない。 [0096] この処理は、ステップ S121からステップ S124で行っている。録音が完了すると Rec ordフラグが trueになる (ステップ SI 17)ので、ステップ S 104で Yesに進み、ステップ S 105で、離鍵の指示がされる。この指示を受けて、ユーザは離鍵する。

[0097] すると、そのうちに音量が下がり、ステップ S108で音量が閾値以下になる。

[0098] 音量が閾値以下になるまでの間は、ステップ S110で Silenceが falseにセットされ、録音済みなのでステップ S 111は Noに進み、ステップ S 109でアタック検出後の回数のみ力インクリメントされる。

[0099] なお、この例では、アタック検出と無音判断のための音量閾値が同じ値にしてある力これらを另 IJにするようにしてちょい。

[0100] ステップ S108で、音量が閾値以下になったら、ステップ S 121に進む。ステップ S1 21では、まず、アタック検出済みかどうかがチェックされ、一度でも無音と判断したかどうか（Silenceフラグ）がチェックされる。 Attackフラグのチェックは、打鍵前の無音状態でもこのステップが実行されるために入れてある。

[0101] 無音の判断 Silenceが falseの場合 (ステップ S121； Yes)は、ここで trueにセットし、今の時刻を SilenceTime変数にミリ秒の単位で保存しておく（ステップ S122)。

[0102] 次に、ステップ S 123で 1秒間以上無音が続いていることをチェックする。アタック検出済みで、録音が完了していて、一度以上無音と判断していて、最初の無音の判断力 1000ミリ秒、つまり 1秒が経過していたら (ステップ S123 ; Yes)、ステップ S124 に進む。

[0103] ステップ S124に進んだ場合は、この音高に対するすべての処理の完了を意味し、音高に次の音をセットし、他のすべての変数を初期化する。

[0104] 無音の判断中、一度でも音量が閾値を上回ると、ステップ S108は、 Yesに分岐し、ステップ S110で、 Silenceが falseに戻されてしまう。

[0105] すると、次に音量が閾値を下回ったときに、ステップ S122に入り、無音の判断開始時間が再設定される。

[0106] これで、音量が閾値を下回る状態が 1秒以上続くことを判断でき、完全に無音となつたことが判断できる。

[0107] このように、連続して 1秒以上無音になることを判断するのは、ピアノ等の楽器では、音量が上下しながら減衰していくため、一度閾値を下回っても、再び閾値以上になることがあるカゝらである。

[0108] 最後に、ステップ S 120で音高が最終音を上回ったら、処理を終了する。

[0109] このようにして、すべての測定する音階音にっ、てのパワー比が求まったら、倍音パワー比記憶部 3で外部の記憶装置 (フレキシブルディスク等）にパワー比を保存しておく。

[0110] これは、パワー比の測定は自動採譜の度に行う必要はなぐ同一音のパワー比がそれほど変化しない限り、つまり、原則的にはある楽器については一度だけ行えばよいと考えられるからである。すなわち、倍音のパワー比は、自動採譜に先立って測定を行ってもょ、し、以前測定して保存してぉ、たものから読み込んで使用してもよ、。

[0111] 図 6に、このようにして測定したある楽器 (電子ピアノ）の倍音パワー比を示す。この例では、 C3から C6の 3オクターブの音域で、長 3度（半音 4個分)の音程差毎にパヮ一比を測定した。

[0112] この図のように、倍音のパワー比は音の高さの変化と共に、ほぼ滑らかに変化しているので、測定を行わなかった、例えばノートナンバー 49から 51の音高のパワー比も、ノートナンバー 48や 52のパワー比に似た形になることが予想される。よって、この間のパワー比は、近い音高のパワー比を使うか、または、上下の音高のパワー比を使って、各倍音のパワー比がそれらの中間のパワー比になるように、比例計算したものを使うとよい。

[0113] 倍音のパワー比が準備できたら、自動採譜が可能になる。自動採譜の処理について次に説明する。

[0114] AZD変換部 11でディジタル信号化された楽器の演奏音は、音階音パワー検出部

4で各音階音のパワーが測定される。

[0115] 音階音パワー検出部 4での各音階音のパワー測定は、倍音パワー比検出部 2で使つた方法とまったく同じ方法で測定する。つまり、各音階音の基本周波数の上下 50 セントの範囲におけるパワースペクトルのパワーの最大値を検出する。

[0116] ただし、より広い音域で正確にパワーを測定するため、 FFTポイント数は 8192とし

、窓のオーバーラップは 15Z16とする。このとき、周波数分解能は約 1. 3Hz、時間分解能（= 1フレームタイム）は約 46msとなる。これは、およそ 4分音符 = 163のテンポの曲の 32分音符の長さに相当する。

[0117] 検出する音階音の音域は、自動採譜する楽器の音域に合わせて設定する。もちろん、採譜する曲の音域によって、さらに限定してもよい。

[0118] ここでは、仮に、 C3から C6の 3オクターブの範囲とする。つまり、各フレーム時間毎に上記パラメータで 1度 FFT演算を行い、その結果から、 C3から C6の各音階音 (C3

、 C # 3、 D3、 · ··、 B5、 C6)のパワーを検出する。

[0119] 各音階音のパワー検出結果の例を図 7に示す。図 7の上段は波形で、下段が各音階音のパワーを濃淡で表したものである。

[0120] 各音階音のパワーが検出されたら、先に保存しておいたこの楽器の各音階音の基音に対する倍音のパワー比を使って、倍音成分を除去する。この手順を図 8にフローチャートで示す。

[0121] Nは採譜する音階音であり、今の場合 C3 (48)から C6 (84)の範囲となる。 hは倍音の次数で、 2から 8まで変化させる。 Hは Nの h倍音の音高で、 Hが C6を超えている場合は、以下の処理をしない。 P (N)は、音階音 Nのパワーで、 R (N, h)は、音階音 N の h倍音のパワー比である。

[0122] まず、ステップ S201で、変数 Nに採譜する音域の最低音の音高をセットする。今の例では、 C3から C6が採譜する音域なので、最低音の音高は 48である。

[0123] 次に、ステップ S202で、変数 hに 2を代入する。変数 hは、倍音を示す数で、今は 2 倍音から 8倍音まで処理を行うため、まず、 2をセットする。

[0124] 次に、ステップ S203で、変数 Hに Nの h倍音の音階音をセットする。今は、 48の 2 倍音の音高、 60がセットされる。

[0125] Nの h倍音の音高は、まず基準となる Nの音高を周波数に変換し、その周波数を h 倍した周波数を求め、それをまた音高に変換することにより求める。

[0126] Hが採譜する音域を超えている場合 (ステップ S204 ; No)は、その音階音のパワーは計算していないため、後の処理ができない。

[0127] Hが採譜する音域内の場合にのみ倍音除去の処理を行う（ステップ S 204 ; Yes)。

[0128] 次のステップ S205からステップ S211が、実際の倍音除去の処理である。 [0129] ステップ S205では、まず、音高 Nのパワーに、あらかじめ測定して保存してある、音高 Nの h倍音のパワー比を掛け算する。これにより、基音 Nの h倍音の想定される倍音のパワーが計算される。計算の結果を変数 PHに保存する (ステップ S205)。

[0130] 次のステップ S206で、後で使用するため、 Nの h倍音である Hの音高の現在のパヮ一を変数 POに保存しておく（ステップ S206)。

[0131] 次にステップ S207で、 Nの h倍音の Hのパワーから PHを減算する。 PHは h倍音の想定される倍音のパワーであり、これを引き算することで、倍音成分が除去される。

[0132] ただし、パワーはマイナスの値になることはないので、ステップ S208とステップ S20

9で、マイナスになってしまった場合は、 0にしておく。

[0133] 次に、ステップ S210で、保存しておいた以前の Nの h倍音、 Hのパワー POから、現在の Hのパワー P (H)を引く。これにより、実際に減算されたパワーの値力 PDに保存される。

[0134] この PDの値を Nのパワーに加算する（ステップ S211)。これは、特にピアノの低音域のように、基音のパワーが倍音に比べて小さい音でも検出できるように、その倍音の成分を基音に加算してあげようという考えである。

[0135] 以上が倍音除去の処理であり、次の倍音に進めるために、ステップ S212で hをインクリメン卜する。

[0136] hが 8以下の時 (ステップ S213 ;Yes)は、ステップ S203に戻って倍音除去の処理を繰返し、 8を上回ったら（ステップ S213 ;No)、ステップ S214に進む。

[0137] ステップ S214では、次の音階音を処理するために、 Nをインクリメントする。

[0138] ステップ S215では、 Nが採譜する範囲かどうか調べ、まだ続ける場合 (ステップ S2 15 ; Yes)は、ステップ S202〖こ戻って、 hを 2に初期化する。

[0139] Nが採譜する範囲を超えたら (ステップ S215 ;No)、処理を終了する。以上のように、音階音 Nのパワーに、音階音 Nの h倍音のパワー比をかけた値を、 h倍音のパヮ一 P (H)から減算し、減算が行われた場合、その値だけ音階音 Nのパワー P (N)に加算している。

[0140] このようにして、倍音を除去し、その分を基音に上乗せした各音階音のパワーを図 9 に示す。 [0141] 後は、この倍音除去後の各音階音のパワーから、ある閾値以上のパワーを持つ部分を抜き出し、これらから音符情報を生成し、出力する。

[0142] 閾値は、例えば、全音階音の全フレームにおけるパワーの最大値を検出し、これにある値、例えば 0. 3をかけた値とする。音符の検出具合に応じて、ユーザ力この比率を設定するようにしてもよ、。

[0143] 音符検出処理のフローチャートを図 10に示す。

[0144] まず、ステップ S301では、全フレーム、全音階音のパワーの最大値が計算され、変数 PMに代入される。

[0145] PMに代入する値は、パワーの最大値ではなぐパワーの平均値としてもよい。この場合には、次のステップ S302における係数 0. 3の値をより大きな適当な値にすべきである。

[0146] ステップ S302では、音符検出の閾値が決定される。閾値は、 PMにある係数 (この例では 0. 3)を掛けた値で計算される。

[0147] 閾値が求まったら、音符の検出処理に入る。

[0148] ステップ S303で、まず、採譜する音高の初期値として、採譜する音域の最低音をセットする。

[0149] 次にステップ S304で採譜処理に使う変数を初期化する。 Onは、音符の鳴り始め（ノート'オン）を表すブール変数で、最初は falseにセットする。 pmは、検出している音のパワーの最大値で、最初は 0を代入する。

[0150] ステップ S305では、別の変数 fを 0に初期化する。 fは、フレームの番号ある。

[0151] 次のステップ S306で、採譜する音階音 Nの f番目のフレームのパワーを変数 Pに代入する。 Pが閾値以上で、かつ、 Onフラグがまだ falseの場合 (ステップ S307 ; Yes)、次のステップ S314に進む。

[0152] ステップ S314では、 Onフラグを trueにし、音符検出の開始フレームを表す変数 FB に現在のフレーム番号 fを代入し、この音符のパワーを表す pmに現在のパワー Pを代入する。

[0153] ステップ S315力らステップ S317は、 pmの更新処理であり、 Onフラグが true、つまり音符を検出し始めたら (ステップ S315； Yes)、現在のパワー Pが pmより大きいかどうかチェックし (ステップ S316)、カ¾111より大きければ pmを Pで更新する（ステップ S 317)。

[0154] ステップ S318で、現在のフレーム番号 fをインクリメントし、ステップ S319で、 fが総フレーム数未満の時は（ステップ S319 ; Yes)、ステップ S306に戻り、繰り返す。 fが総フレーム数以上の時は (ステップ S319 ;No)、ステップ S320に進み、検出する音階音 Nをインクリメントする。

[0155] ステップ S321で、 Nが採譜する音域内ならば (ステップ S321； Yes)、ステップ S30 4に戻って、各変数を初期化する。 Nが音域外になったら (ステップ S321 ;No)、処理を終了する。

[0156] ステップ S308力らステップ S313について説明する。

[0157] 一度音符を検出し始めると、ステップ S314で、 Onフラグが trueになるので、ステツプ S307は、 Noに分岐する。

[0158] ステップ S308では、ノートオフを検出する。つまり、パワー Pが閾値未満かどうかチエックし、閾値未満になったら（ステップ S308 ;Yes)、ステップ S309に進む。

[0159] ステップ S309では、 Onフラグを falseにする。

[0160] ステップ S310では、検出した音符の継続時間 FLを、（f— FB)で計算する。

[0161] ステップ S311で、継続時間 FLが 3フレーム未満の時は（ステップ S311 ;No)、ステップ S313にジャンプする。継続時間 FLが十分に長いときは (ステップ S311 ;Yes)、検出音符の確定となり、音符検出終了フレーム FEに現在のフレーム番号 fをセットし、 127 X pmZPMで、ベロシティ一 Velを計算し、検出音高 N、検出開始フレーム FB 、検出終了フレーム FE、ベロシティ Velを、検出音符情報として、バッファに保存する (ステップ S312)。

[0162] ステップ S313は、検出した音符の継続時間が短すぎた場合の処理で、 Onフラグを falseに初期化し、パワーの最大値 pmも 0に初期化して、次の音符検出に備える。

[0163] 以上のようにして、各音階音毎に、開始フレームから終了フレームまで、閾値以上で、ある程度の長さを持った音符が検出されていく。

[0164] 以上のように、すべての音階音 Nにつ!/、て、先頭のフレームから最後のフレームまで、そのフレーム fにおけるパワー P (N, f)が閾値以上かどうかチェックし、閾値以上になったところ (FB)から閾値未満になったところ (FE)までを音符の継続時間として、その長さが 3フレームに満たない短いデータは削除し、それ以上のものを検出音符として保存する。 pmは音符継続時間中の最大のパワーであり、これと全音階音の全フレームにおけるパワーの最大値 PM力音符のベロシティ（音の強さ）を計算する。

[0165] 図 10の例では、パワーの最大値からベロシティを決定している力パワーの平均値力もべ口シティを計算するようにしてもょ、。

[0166] 上記図 9の枠で囲まれている部分力このようにして検出された音符である。検出した音符情報は、検出結果出力部 7で発音時間順に並べ替えられ、 SMF (スタンダード'ミディ'ファイル)等の形式でファイルに出力される。または、この採譜装置で演奏でさるようにしてちょい。

[0167] 以上詳述した本実施例構成では、予め自動採譜の対象となる演奏に使われてヽる楽器の基音に対する倍音のパワー比率を幾つかの音階音について用意し、そのパヮー比が存在しない音階音については、その音階音の上または下、もしくは上下両方の音階音でパワー比が存在する音階音のパワー比を使って補間生成し、入力した音響信号から各音階音のパワーを検出し、これら各音階音について、それぞれが基音であると仮定した場合の倍音の音階音のパワーから、基音のパワーに基音の音階音に対する各倍音のパワー比を力けた値を減算し、さらに実際に減算されたパワーを基音のパワーに加算し、以上を音の低い音階音力も順にすベての音階音について実行した後に、閾値以上のパワーを持つ音階音を抽出することにより音符情報を検出している。

[0168] 従って、単音演奏のみでなぐ同時に複数の音が演奏される複音演奏の場合であつても、単一楽器によって演奏された音響信号から、楽譜を自動採譜することができるよつになる。

[0169] 尚、本発明の自動採譜装置は、上述の図示例にのみ限定されるものではなぐ本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。産業上の利用可能性

[0170] 本発明の自動採譜装置及びそれらを実現できるプログラムは、自動採譜装置、音楽データベース作成、音楽構造等の研究、自動伴奏システム、セッションシステム、音楽レッスンシステムなど、種々の分野で利用可能である。

Claims

請求の範囲

[1] 音響信号を入力する入力手段と、

その倍音パワー比を記憶しておく記憶手段と、

を有することを特徴とする自動採譜装置。

[2] 上記倍音パワー比検出手段による基音に対する倍音のパワー比率を検出する場合に、倍音のパワー比率を幾つかの音階音について用意しておき、そのパワー比が存在しない音階音については、その音階音の上または下、もしくは上下両方の音階音でパワー比が存在する音階音のパワー比を使って補間生成して、上記音階音についての倍音のパワー比率として出力することを特徴とする請求項 1記載の自動採譜装置。

[3] コンピュータを、

音響信号を入力する入力手段と、

その倍音パワー比を記憶しておく記憶手段と、

して機能させることを特徴とする自動採譜用プログラム。

上記倍音パワー比検出手段による基音に対する倍音のパワー比率を検出する場合に、倍音のパワー比率を幾つかの音階音について用意しておき、そのパワー比が存在しない音階音については、その音階音の上または下、もしくは上下両方の音階音でパワー比が存在する音階音のパワー比を使って補間生成して、上記音階音につ、ての倍音のパワー比率として出力することを特徴とする請求項 3記載の自動採譜用プログラム。