JPH0934448A - アタック時刻検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 低コストで処理時間が短く、しかも検出精度
の良好なアタック時刻検出装置を提供する。 【構成】 楽曲の音響信号データを格納する音響信号デ
ータ格納手段２と、前記楽曲の音響信号データから線形
予測法により予測残差を算出する予測残差算出手段３
と、前記予測残差の局所ピーク、または前記予測残差の
時間変化量の局所ピークを判定してその時刻を楽器音の
アタック時刻とする判定手段４とを備えるように構成す
る。これにより、短時間で検出精度の良好なアタック時
刻を求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、楽曲の音響信号か
ら楽譜やＭＩＤＩデータを作成する自動採譜装置に関わ
り、特に各楽器音の立ち上がり時刻（以後、アタック時
刻と称す）を検出するアタック時刻検出装置に関する。

【０００２】

【従来の技術】一般に、シンセサイザや電子ピアノ等の
楽器等の音源と連結して情報の交換を可能とするために
規格化された情報のファーマット化方式としてＭＩＤＩ
（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔ
ａｌ Ｉｎｔｅｒｆａｃｅ）規格が、知られている。こ
のＭＩＤＩ規格により、電子楽器等の駆動信号を効率的
に伝達して良好な音質のもとで再生が可能となった。

【０００３】ところで、近年通信カラオケ等のように大
量のＭＩＤＩデータを必要とするシステムが登場してお
り、これにともなってＭＩＤＩデータ制作の効率化が求
められている。楽曲の音響信号から自動的にＭＩＤＩデ
ータが作成できれば効率の上で理想的であり、これを目
的とした自動採譜の研究や特許提案（特開平４−１９５
１９６号公報など）も行なわれている。しかしながら、
現状では、このような技術はごく限られた楽曲に対して
のみ適用可能なレベルなので、実際には人間が聴音また
は楽譜に頼ってＭＩＤＩデータを作成することがほとん
どである。

【０００４】自動化が困難な理由は、自動採譜の技術に
おいて、アタック時刻を検出することが極めて重要であ
り、且つこの検出が難しいからである。この自動採譜に
おいては、アタック時刻を使って音響信号データを小さ
な領域に分割し、各領域毎に音程検出等の処理が行なわ
れる。従って、もしアタック時刻が正確に検出できない
と、それ以降の処理に支障を来してしまうことになる。

【０００５】楽曲の音響信号データからアタック時刻を
検出する装置としては、例えば特開平５−２７３９６４
号公報が提案されている。これは次に示す手順（ａ）〜
（ｄ）を含む技術である。 （ａ）楽曲の音響信号データｘ［ｎ］に対し一定時間間
隔（フレーム）毎の対数パワースペクトルの時系列Ｆ
［ｉ］［ｍ］（フレーム数Ｉ、周波数帯域分割数Ｍとし
て、ｉ＝１〜Ｉ、ｍ＝１〜Ｍ）を求める。 （ｂ）Ｆ［ｉ］［ｍ］に対する時間変化量の時系列△Ｆ
［ｉ］［ｍ］を求める。 （ｃ）フレーム毎に△Ｆ［ｉ］［ｍ］の正の成分の総和
Ｓ［ｉ］を数１により算出する。

【０００６】

【数１】

【０００７】（ｄ）Ｓ［ｉ］の局所ピークを検出し、ア
タック時刻とする。

【０００８】

【発明が解決しようとする課題】ところで、従来装置の
例では手順（ａ）において、数２及び数３を用いて、対
数パワースペクトルの時系列Ｆ［ｉ］［ｍ］を算出して
いる。これらの数式は従来例に限らず、音響分析におい
て広く使われている計算式であるが、非常に多くの計算
量を必要とし、計算時間も長くなる。

【０００９】

【数２】

【００１０】

【数３】

【００１１】ただし、ｉ＝１〜Ｉ、ｍ＝１〜Ｍ この従来装置例では、手順（ａ）〜（ｄ）の処理をＣＰ
Ｕを使ったソフトウエア処理で行なっている。ここで
は、この装置例で用いられているパラメータ値（Ｍ＝２
５６）を使って上記数２、３を比較的良く使われる３２
ビットＣＰＵ（１０〜２０ＭＩＰＳ程度の能力）で計算
すると、１フレーム当りおよそ数１０ｍｓｅｃ時間がか
かってしまう。この装置例では、音響信号の１０ｍｓｅ
ｃに１つの割合でフレームを１つ設定しているので、手
順（ａ）だけの処理に実時間のおよそ数倍の時間が必要
となり、大量のデータを処理する場合にかなりの時間が
必要である。

【００１２】勿論、高速なＣＰＵや特殊なハードウエア
を使えば処理時間も少なくて済むが、処理装置のコスト
も高くなる。従って、比較的低コストで、処理時間が短
く、しかも検出精度の良いアタック時刻検出装置が望ま
れていた。本発明は、以上のような問題点に着目し、こ
れを有効に解決すべく創案されたものであり、本発明の
目的は、低コストで処理時間が短く、しかも検出精度の
良好なアタック時刻検出装置を提供することにある。

【００１３】

【課題を解決するための手段】本発明は、上記問題点を
解決するために、楽曲の音響信号データを格納する音響
信号データ格納手段と、前記楽曲の音響信号データから
線形予測法により予測残差を算出する予測残差算出手段
と、前記予測残差の局所ピーク、または前記予測残差の
時間変化量の局所ピークを判定してその時刻を楽器音の
アタック時刻とする判定手段とを備えるように構成した
ものである。

【００１４】このように構成することにより、音響信号
データ格納手段に記憶された音響信号データに基づい
て、予測残差算出手段は線形予測により、予測残差を算
出する。判定手段は、この予測残差に基づいて、この局
所ピークや予測残差の時間変化量の局所ピークを判定し
てそれをアタック時刻とする。これにより、処理時間も
少なく、検出精度も高いアタック時刻を求めることが可
能となる。

【００１５】

【発明の実施の形態】以下に、本発明に係るアタック時
刻検出装置の一実施例を添付図面に基づいて詳述する。
図１は自動採譜装置等に用いられる本発明に係るアタッ
ク時刻検出装置を示すブロック構成図、図２は図１の装
置で作成されるフレームを説明する説明図、図３は予測
残差算出手段の動作を示すフロー、図４は判定手段の動
作を示すフロー、図５はアタック時刻の判定を説明する
ための説明図である。

【００１６】図１に示すようにこのアタック時刻検出装
置１は、全体が例えばマイクロコンピュータ等により構
成されており、楽曲の音響信号データＳ１を格納する音
響信号データ格納手段２と、線形予測法により上記格納
された音響信号データから予測残差を算出する予測残差
算出手段３と、この予測残差の局所ピークや予測残差の
時間変化量の局所ピークを求めて、その時刻をアタック
時刻とする判定手段４とにより主に構成されている。上
記各手段の動作は、制御部５によりコントロールされ
る。上記音響信号データＳ１は、再生機がＣＤ、ＤＡＴ
（Ｄｅｇｉｔａｌ Ａｕｄｉｏ Ｔａｐｅ）等のデジタ
ル再生機６の場合にはデジタルインタフェース７を介し
て入力され、再生機がアナログテープのようなアナログ
再生機８の場合には、所定の周波数、例えば１２ＫＨｚ
程度のサンプリング周波数でサンプリングを行なってデ
ジタル信号に変換するＡ／Ｄ変換器９を介して入力され
る。

【００１７】上記判定手段４にて得られたアタック時刻
信号Ｓ２は、自動採譜装置の本体（図示せず）にてＭＩ
ＤＩ信号化のために用いられると同時に、ディスプレイ
１０等にも表示されて、オペレータに知らせるようにな
っている。音響信号データＳ１は、上述のようにデジタ
ルインタフェース７を介してＣＤ、ＤＡＴを再生するデ
ジタル再生機６から直接デジタル入力されるか、或いは
アナログ信号の場合は、再生されたアナログ信号をＡ／
Ｄ変換器８を介してデジタル化し、音響信号格納手段２
にデジタルデータとして格納される。音響信号データ格
納手段２は、半導体メモリ、磁気ディスク等で構成する
ことができる。

【００１８】次に、予測残差算出手段３について説明す
る。予測残差算出手段３は、音響信号格納手段２より供
給される音響信号データを複数のフレームに分割し、各
フレーム毎に予測残差の代表値を算出して出力するもの
である。尚、本実施例では、予測残差の代表値として各
データサンプルの予測残差の２乗和を算出する場合につ
いて説明する。この予測残差算出手段３の動作フローを
図３に示す。まず、格納されている音響信号データを図
２に示すようなフレームＦに分割してＦＮ個のフレーム
を作成する（Ｓ１１）。ここで１フレームは、ＦＬ個の
データサンプルで構成され、前後のフレーム間の間隔
は、ＦＰ個のデータサンプルに相当する。フレーム同士
は、一部重なり合っても良いし、また、離れていてもよ
い。フレームの中央のデータサンプルの時刻をそのフレ
ームの時刻とする。ＦＬ，ＦＰの最適値は、サンプリン
グ周波数や楽曲の特性により変わるが、例えばサンプリ
ング周波数１２ＫＨｚの時にＦＰ＝１２０とすると、１
０ｍｓｅｃという実用上十分な精度でアタック時刻を求
めることができる。

【００１９】フレームの総数をＦＮとすると、ｉ＝１〜
ＦＮのフレームについて以下の処理を行い予測残差の２
乗和Ｅ［ｉ］を算出する。まず、ｉを１として（Ｓ１
２）、数４に示すように、音響信号データｘ［ｎ］（ｎ
＝１〜ＦＬ）に窓関数ｗ［ｎ］を乗じる（Ｓ１３）。こ
の窓関数としては数５に示すハミング窓を用いる。

【００２０】

【数４】

【００２１】ただし、ｎ＝１〜ＦＬ

【００２２】

【数５】

【００２３】窓がけしたデータＸ［ｎ］に対して線形予
測法に基づく処理を行なう。線形予測法は、信号波形の
分析／合成に広く使用されている手法である。ここでは
数６に示すように、現在のデータＸ［ｎ］をそれ以前の
ｐ個のデータＸ［ｎ−１］，Ｘ［ｎ−２］，…，Ｘ［ｎ
−ｐ］の線形結合と残差ｅ［ｎ］との和で表し、フレー
ム内の残差ｅ［ｎ］の２乗和が最小となるような係数ａ
［ｋ］を算出する。

【００２４】

【数６】

【００２５】ｉ番目のフレームの残差の２乗和Ｅ［ｉ］
は、数７で表わすことができ、これを求める（Ｓ１
４）。これを最小とする条件として、係数ａ［ｋ］に関
する偏微分を０とおくと、数８が得られる。

【００２６】

【数７】

【００２７】

【数８】

【００２８】ただし、１≦ｑ≦ｐ以上のＳ３とＳ４の動
作を、ｉの値がＦＮになるまで（Ｓ１５）、ｉを１つず
つインクリメントしつつ繰り返し行い（Ｓ１６）、残差
の２乗和を求める。一般的な線形予測法の使用例では、
信号波形をなるべく忠実に表現することを目的とするの
で、ｐの値をある程度大きくして波形情報をａ［ｋ］で
表現するようにし、ｅ［ｎ］を極力小さくするようにす
る。

【００２９】一方、本発明では、信号波形を忠実に表現
することは目的でなく、フレーム内の予測残差の２乗和
を使用するという点で、一般的な使用方法とは異なる。
データサンプル毎のｅ［ｎ］そのものではなく、フレー
ム内の予測残差の２乗和を使うので、ｐの値をかなり小
さくすることが可能となる。ｐを小さくすることによ
り、計算時間が短縮できるのは言うまでもない。例えば
１フレーム中のデータサンプル数ＦＬが数１００程度の
場合でも、ｐ＝２程度のアタック時刻の検出が可能であ
る。ｐ＝２の場合の係数ａ［１］，ａ［２］の値は、数
８を変形し、自己相関関数Ｒ［０］，Ｒ［１］，Ｒ
［２］を使って表した数９、数１０により算出する。

【００３０】

【数９】

【００３１】

【数１０】

【００３２】また、この場合の予測残差の２乗和Ｅ
［ｉ］は、数７、数８を変形して自己相関関数を使って
表した数１１により算出する。

【００３３】

【数１１】

【００３４】ｐを他の値にする場合も全く同様に数７、
数８を変形して予測残差の２乗和Ｅ［ｉ］を求めること
ができる。以上の処理により、フレームの予測残差の２
乗和が求まるが、この値が大きい場合は、フレーム内で
音響信号データの変動が激しく、この値が小さい場合
は、変動が少ないことになる。アタックのある場所で
は、音響信号データは急激に変化するので、フレーム内
の予測残差の２乗和も大きくなる。従って、そのような
フレームの時刻をアタック時刻とすれば良い。

【００３５】また、本発明では、フレーム内の複数のデ
ータサンプルから得られる複数の予測残差値から、その
フレームの予測残差の代表値を算出して使用することに
より、アタック時刻の検出誤差を小さくしている。従っ
て、この予測残差の代表値は、予測残差の２乗和に限ら
ず、予測残差の２乗和の平方根や絶対値の総和などを予
測残差の代表値として後の処理で使用しても良い。ま
た、フレーム内の全てのサンプルの予測残差の２乗和を
求めるのではなく、例えばフレームの中央部のいくつか
のサンプルに対して予測残差の２乗和を求め、これを後
の処理で使用しても良い。

【００３６】予測誤差算出手段３は、従来装置例の手順
（ａ）に相当するが、従来装置例に比べると計算量が少
なくて済む。従って、予測誤差算出手段３を汎用ＣＰＵ
を使ったソフトウエア処理で実現した場合に、従来装置
例に比べて処理時間が短くて済む。例えばフレームデー
タサンプル数ＦＬ＝２４０、フレーム間のデータサンプ
ル相当数ＥＰ＝１２０、サンプリング周波数１２ＫＨｚ
として、従来装置例と同じくフレームの間隔を１０ｍｓ
ｅｃと仮定すると、前述した性能のＣＰＵで計算した場
合には、１フレーム当り約数ｍｓｅｃとなり、従来方式
の約１／１０の時間で計算することができる。

【００３７】判定手段４においては、図４に示すフロー
に基づいて処理を行なう。まず、予測残差の２乗和Ｅ
［ｉ］の時間変化量△Ｅ［ｉ］を求める。△Ｅ［ｉ］の
算出式としては種々のものが利用できるが、例えば数１
２を用いることができる。

【００３８】

【数１２】

【００３９】ただし、ｉ＝１〜ＦＬ、Ｅ［−１］＝０、
Ｅ［ＦＬ＋１］＝０ まず、上記数１２でｉ＝１とし（Ｓ２１）、△Ｅ［ｉ］
を算出する（Ｓ２２）。そして、この操作をｉがＦＮに
なるまで（Ｓ２３）、ｉを１つずつインクリメントしな
がら行い（Ｓ２４）、全ての△Ｅ［ｉ］を求める。

【００４０】次に、先に求めた上記△Ｅ［ｉ］の局所ピ
ークの判定を行なう。図５に示すように、△Ｅ［ｉ］は
正または負の値をとる。△Ｅ［ｉ］が正の大きな値をと
る場所は、フレームの予測残差が急激に増加している場
所であり、アタック時刻とみなせる。この判定には、数
１３を使い、この条件を満たすフレームの時刻をアタッ
ク時刻とする。

【００４１】

【数１３】

【００４２】ただし、αはある定数であり、閾値を示
す。まず、上記数１３においてｉ＝１として（Ｓ２
５）、局所ピークの判定を行なう（Ｓ２６）。数１３か
ら明らかなように、ｉを１つずつインクリメントしなが
ら連続する３つの時間変化量△Ｅ［ｉ］の大小関係を比
較する（Ｓ２７、Ｓ２８）。そして、ｉの値がＦＮにな
ったならば処理を終える（Ｓ２７のＮＯ）。

【００４３】これにより、図５に示すようにアタック時
刻を求めることができる。尚、楽曲によっては、△Ｅ
［ｉ］の算出を省略し、数１４に従って、Ｅ［ｉ］の局
所ピークを判定し、これをアタック時刻としても良い。
この場合には、時間変化量△Ｅ［ｉ］を求める演算が不
要になることから更に処理時間を短縮することができ
る。

【００４４】

【数１４】

【００４５】ただし、βは所定の定数であり、閾値を示
す。以上説明した予測誤差算出手段３及び判定手段４
は、ＣＰＵによるソフトウエア処理でも実現可能であ
り、従来方式と比較して計算量が大幅に少ないので、コ
ストをあげることなく処理時間の大幅な短縮が可能であ
り、しかも検出精度も高く維持することができる。尚、
これらの処理手順は一例であり、その主旨を逸脱しない
範囲において種々の変更を加えることができる。

【００４６】

【発明の効果】以上説明したように、本発明のアタック
時刻検出装置によれば、次のように優れた作用効果を発
揮することができる。従来用いていた対数パワースペク
トルの代わりに線形予測法による残差を使うことによ
り、計算量を大幅に削減できる。従って、特別なハード
ウエアを付加することなく 汎用ＣＰＵによるソフトウ
エア処理でも実用的な処理時間が得られ、低コストで検
出精度の良いアタック時刻検出装置を得ることができ
る。

【図面の簡単な説明】

【図１】自動採譜装置等に用いられる本発明に係るアタ
ック時刻検出装置を示すブロック構成図である。

【図２】図１の装置で作成されるフレームを説明する説
明図である。

【図３】予測残差算出手段の動作を示すフローである。

【図４】判定手段の動作を示すフローである。

【図５】アタック時刻の判定を説明するための説明図で
ある。

【符号の説明】

１…アタック時刻検出装置、２…音響信号データ格納手
段、３…予測残差算出手段、４…判定手段、５…制御
部、６…デジタル再生機、８…アナログ再生機、Ｆ…フ
レーム、Ｓ１…音響信号データ、Ｓ２…アタック時刻信
号、Ｓ３…予測残差の２乗和信号。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 楽曲の音響信号データを格納する音響信
   号データ格納手段と、前記楽曲の音響信号データから線
   形予測法により予測残差を算出する予測残差算出手段
   と、前記予測残差の局所ピーク、または前記予測残差の
   時間変化量の局所ピークを判定してその時刻を楽器音の
   アタック時刻とする判定手段とを備えるように構成した
   ことを特徴とするアタック時刻検出装置。
2. 【請求項２】 前記予測残差算出手段は、前記音響信号
   データを一定長のフレーム単位に分割してフレーム内の
   全てのサンプル或いは一部のサンプルの各予測残差値か
   らそのフレームの予測残差の代表値を算出すると共に、
   前記判定手段は、フレームの前記予測残差の代表値の局
   所ピークまたは前記フレームの前記予測残差値の時間変
   化量の局所ピークを判定して、そのフレームの時刻を楽
   器音のアタック時刻とするように構成したことを特徴と
   する請求項１記載のアタック時刻検出装置。