JP4843711B2 - 楽曲種類判別装置、楽曲種類判別方法、および楽曲種類判別プログラム - Google Patents

Description

本願は、楽曲の特徴量を抽出して楽曲の種類を判別する楽曲種類判別装置の技術分野に関する。

従来から、人間がしゃべる音声信号と楽器による楽音信号とを自己相関係数演算で識別する音声・楽音識別装置がある（特許文献１参照）ことが知られている。また、楽曲の特徴量としての楽曲の周波数を抽出するための技術としてＦＦＴ（Fast Fourier Transform）等の周波数解析技術が知られている。
特許第３０７４０４６号公報

しかしながら、自己相関係数演算を使用した信号分析手法およびＦＦＴ等の周波数分析手法を用いると演算量が膨大になるので演算時間がかかり、リアルタイムに楽曲の種類の識別を行なうことが困難であった。

本願は、上記の各問題点に鑑みて為されたもので、その課題の一例としては、少ない演算量で簡易に精度よく楽曲の種類を判別できる楽曲種別判別装置、楽曲種別判別方法および楽曲種別判別プログラムを提供することにある。

上記課題を解決するために。請求項1に記載の楽曲種類判別装置は、入力された楽曲信号に基づいて、前記楽曲信号を分析し、楽曲の種類の判別を行なう楽曲種類判別装置において、前記楽曲信号を時系列分析する分析手段と、前記分析手段によって分析された分析値に基づいて、前記楽曲信号の種類を判別する判別手段と、を備え、前記判別手段は、前記分析値が第一段階の閾値よりも小さい場合には、前記入力された楽曲信号は単一種類楽器により演奏されたものであると判断し、前記分析値が第一段階の閾値よりも大きい場合であり、かつ前記分析値が第二段階の閾値よりも小さい場合には、前記入力された楽曲信号の直前の判別結果に基づいて、前記入力された楽曲信号の種類を判断し、前記分析値が第一段階の閾値よりも大きい場合であり、かつ前記分析値が第二段階の閾値よりも大きい場合には、前記入力された楽曲信号は複数種類楽器により演奏されたものであると判断することを特徴とする。
上記課題を解決するために。請求項７に記載の楽曲種類判別装置は、入力された楽曲信号に基づいて、前記楽曲信号を分析し、楽曲の種類の判別を行なう楽曲種類判別方法において、前記楽曲信号を時系列分析する分析工程と、前記分析工程において分析された分析値に基づいて、前記楽曲信号の種類を判別する判別工程と、を備え、前記判別工程において、前記分析値が第一段階の閾値よりも小さい場合には、前記入力された楽曲信号は単一種類楽器により演奏されたものであると判断し、前記分析値が第一段階の閾値よりも大きい場合であり、かつ前記分析値が第二段階の閾値よりも小さい場合には、前記入力された楽曲信号の直前の判別結果に基づいて、前記入力された楽曲信号の種類を判断し、前記分析値が第一段階の閾値よりも大きい場合であり、かつ前記分析値が第二段階の閾値よりも大きい場合には、前記入力された楽曲信号は複数種類楽器により演奏されたものであると判断することを特徴とする。
上記課題を解決するために。請求項８に記載の楽曲種類判別プログラムは、請求項１に記載の楽曲種類判別装置に含まれるコンピュータを、前記楽曲信号を時系列分析する分析手段、前記分析手段によって分析された分析値に基づいて、前記楽曲信号の種類を判別する判別手段、として機能させ、前記判別手段は、前記分析値が第一段階の閾値よりも小さい場合には、前記入力された楽曲信号は単一種類楽器により演奏されたものであると判断し、前記分析値が第一段階の閾値よりも大きい場合であり、かつ前記分析値が第二段階の閾値よりも小さい場合には、前記入力された楽曲信号の直前の判別結果に基づいて、前記入力された楽曲信号の種類を判断し、前記分析値が第一段階の閾値よりも大きい場合であり、かつ前記分析値が第二段階の閾値よりも大きい場合には、前記入力された楽曲信号は複数種類楽器により演奏されたものであると判断する機能を有することを特徴とする。

本実施形態の楽曲種類判別装置の構成を示すブロック図である。 本実施形態のピーク除去部の動作を説明する図である。 （ａ）本実施形態の単一閾値を使用した場合の動作を説明する図である。（ｂ）本実施形態の２段階閾値判別方法を使用した場合の動作を説明する図である。 本実施形態の平均正規化残差パワー度数分布の一例を示す図である。 本実施形態の動作を示すフローチャートである。

符号の説明

１ … 線形予測分析部
１ａ…フレーム分割部
１ｂ…線形予測フィルタ係数演算部
２ … 予測残差演算部
２ａ…線形予測フィルタ演算部
２ｂ…演算部
３ … 予測残差パワー演算部
４ … バッファリング部
５ … ピーク除去部
６ … 平均予測残差パワー演算部
７ … 区間判別処理部
Ｓｉ … 楽曲信号

以下、添付図面に基づいて、本願の実施形態について説明する。本実施形態では楽曲の種類として特に単一種類の楽器によって演奏された区間を判別する方法について説明する。

図１は本実施形態の楽曲種類判別装置の構成を示すブロック図であり、図２は本実施形態のピーク信号を除去する一例を説明する図であり、図３は楽曲信号を判別する場合に単一閾値と２段階閾値とを用いた態様を説明する図であり、図４は本実施形態における平均正規化残差パワー度数分布の一例を示す図であり、図５は本実施形態の動作を示すフローチャートである。

最初に本実施形態の楽曲種類判別装置Ｓの構成について図１を用いて説明する。

楽曲種類判別装置Ｓは、分析手段を含む線形予測分析部1（分割手段を含むフレーム分割部１ａおよび線形予測フィルタ係数演算部１ｂを含む）、分析手段を含む予測残差演算部２（線形予測フィルタ演算部２ａおよび演算部２ｂを含む）、分析手段を含む予測残差パワー演算部３、バッファリング部４、ピーク信号除去部を含むピーク除去部５、平均予測残差パワー演算部６、判別手段を含む区間判別処理部７を含んで構成される。
フレーム分割部１ａは、入力された楽曲信号Ｓｉを１曲毎に、フレーム分割する。例えば、１フレームを５１２サンプル（データ）とした場合には、１フレームは５１２サンプルで構成される。また、後述する１セグメントは１００フレームから構成され後段の演算単位となる。サンプリング周波数Ｆｓが４４．１ｋＨｚ（約２２．６８μｓｅｃ．）の場合には１フレームが５１２サンプルから構成されるので、１フレームは約１１．６ｍｓｅｃ．（約２２．６８μｓｅｃ．×５１２）となり、１セグメントが１００フレームで構成されるので、１セグメントは約１．１６ｓｅｃ（約１１．６ｍｓｅｃ．×１００）となる。

楽曲信号Ｓｉをフレーム分割するサンプリング周波数Ｆｓは４４．１ｋＨｚに限定されるわけではなく、サンプリング周波数Ｆｓは任意の周波数に設定することができる。また、１フレームのサンプル数は５１２に限定されるわけではなく任意の整数値を用いることができる。さらに、１セグメントのフレーム数は１００フレームに限定されるわけではなく任意の整数値を用いることができる。

線形予測フィルタ係数演算部１ｂは、フレーム分割部１ａにおいて分割されたフレームに基づいて、時系列分析の一例としての線形予測分析を実行し、線形予測係数（ａｉ）を演算する。線形予測とは一般に過去のサンプルの線形結合から現在の値を予測することを意味し、（式１）による数式で表現される。

予測信号は過去P個のサンプルを用いて（式１）で表される。

線形予測フィルタ係数演算部１ｂは式１の係数である線形予測係数ａｉを演算によって算出する。

線形予測フィルタ演算部２ａは、線形予測フィルタ係数演算部１ｂにおいて演算された線形予測係数ａｉおよび楽曲信号Ｓｉに基づいて、線形予測フィルタを演算によって算出する。

ここで、式1においてａ０＝１とすると、原信号と予測信号の残差ｅ(ｎ)は、式2で表される。

Ｚ変換で式１および式２を表現するとそれぞれ式3および式４で表現される。

（数３）
Ｘ(z)＝Ｆ(z)Ｘ(z) ・・・ （式３）
（数４）
Ｅ(z)＝Ｘ(z)−Ｆ(z)Ｘ(z)＝（１−Ｆ（z））Ｘ(z)＝Ａ(z)Ｘ（z）・・・ （式４）
ここで、ｙ(n)が音声信号であるとすると、このＸ（ｎ）を式５で表現できる。

（数５）
Ｘ（ｚ）＝（１／Ａ（ｚ））Ｅ（ｚ） ・・・ （式５）
式５は音声Ｘ（ｚ）が全極フィルタ１／Ａ（ｚ）の出力であるとみなすことができる。

音声分野においては、合成フィルタをこの全極フィルタで表現することが線形予測分析である。また、全極フィルタ１／Ａ（ｚ）は、Ｅ（ｚ）が最小となるように推定される。

上述のように推定されたフィルタが本実施形態における線形予測フィルタとなる。

演算部２ｂは、残差ｅ(ｎ)を演算するために式２で示されるように、楽曲信号Ｓｉから予測信号を減算する演算を行う。

予測残差パワー演算部３においては、フレーム毎に予測残差パワーを求めるとともに、原信号である楽曲信号Ｓｉを用いて、フレーム毎に予測残差パワーの正規化演算をする。

ここで、予測残差パワーについて説明する。

音声の場合には、線形予測残差はパルス列および雑音になるため、ある程度のパワーを持つことになる。しかし、ピアノ（打弦）およびギター（撥弦）などの楽器では音源となる弦に振動を与えた直後からすぐに減衰過程に入り、共鳴音が主体となるため、予測残差のパワーは小さくなる。

しかし、バイオリン等の擦弦楽器やサキソフォン等の管楽器は、発音中ずっと音源部がパワーを持つ（擦弦楽器の場合には楽音が放音されている間は演奏者が弦をずっと引き続けていることになり、管楽器の場合には楽音が放音されている間は演奏者がずっと吹き続けていることになる。）ため、予測残差のパワーは小さくならない。また、電子楽器に電気的なエフェクト処理がなされている場合も予測残差のパワーは小さくならない。

さらに、複数種類の楽器が鳴っている場合には予測残差のパワーは大きくなり、ピアノやギター等の楽器が単体または複数台で鳴っている場合に予測残差のパワーは小さくなる。これは、ピアノ曲やアコースティックギター曲などでは、落ち着いた響きを持たせるために他の楽器と被らない時間が多いことも一因となっている。したがって、上記の線形予測残差パワーを用いれば、打弦もしくは撥弦楽器等による単一種類楽器演奏区間と複数種類楽器演奏区間との判別が可能となるのである。

また、予測残差信号は、録音レベルによる変動する信号あるため、録音レベルによる誤差を回避するために、予測残差パワー演算部５において予測残差信号を原信号（楽曲信号Ｓｉ）のパワーで正規化する。一フレーム内の原信号のパワーと線形予測残差のパワーの比ＬＰＲ（Linear Prediction residual power Ratio：（一フレーム内の線形予測残差のパワー）／（一フレーム内の原信号のパワー））をとり、後段の演算を行なう。

バッファリング部４は、予測残差パワー演算部３から出力される正規化された１００フレームが入力されると、正規化された１００フレームを１セグメントとして出力する。バッファリング部４には、メモリなどの記憶デバイスが備えられ、一旦入力された正規化されたフレームを記憶しておき、セグメント単位で後段へ出力する。

ピーク除去部５は、バッファリング部４から出力された１セグメント内においてパワーの立ち上がりが急激なフレームを除去する。楽曲の立ち上がり部分（楽器の演奏の始まり部分）では残差パワーが大きくなってしまう（楽器の演奏直前は無音部分または他の楽器の演奏音が小さいことが多い。）ので、その影響によって楽曲を誤判別しないよういするために、予め該当フレームを除去して、後段の演算を行なうのである。

例えば、ピーク除去部５は、１セグメント中の各フレームの残差パワー値のうち除去閾値としての閾値Ｐｅａｋ＿Ｔｈ以上の残差パワー値を持つフレームを除去する。ただし、除去閾値Ｐｅａｋ＿Ｔｈを超えたフレームであっても、直前の除去閾値Ｐｅａｋ＿Ｔｈを超えたフレームとのフレーム間の時間間隔が、予め定められた時間である最少ピーク時間間隔（Ｐｅａｋ＿ｍｉｎ）を超えていない場合には、ピーク除去部５は除去閾値Ｐｅａｋ＿Ｔｈを超えたそのフレームを除去しない。そして、ピーク除去部５は、除去されたフレームを除くセグメントを出力する。

平均予測残差パワー演算部６は、ピーク除去部５から出力されたセグメント（最少ピーク時間間隔（Ｐｅａｋ＿ｍｉｎ）を超え、かつ除去閾値Ｐｅａｋ＿Ｔｈを超えたフレームが除かれたセグメント）について、セグメント毎に平均パワーを演算する。

区間判別処理部７は、セグメント（一区間）毎に、平均予測残差パワー演算部６で演算された平均予測残差パワーに基づいて楽曲の種別を判別する。

例えば、区間判別処理部７は、一区間の平均予測残差パワーが予め定められた第一段階の閾値よりも小さい場合には、前記入力された楽曲信号は単一種類楽器により演奏されたものであると判別（楽曲信号の一区間（一セグメント）が単一種類楽器により演奏されたものであると判別）する。

また、区間判別処理部７は、前記分析値が第一段階の閾値よりも大きく、かつ前記分析値が第二段階の閾値よりも大きい場合には、前記入力された楽曲信号は複数種類楽器により演奏されたものであると判別（楽曲信号の一区間（一セグメント）が複数種類楽器により演奏されたものであると判別）する。

さらに、区間判別処理部７は、前記分析値が第一段階の閾値よりも大きく、かつ前記分析値が第二段階の閾値よりも小さい場合には、前記入力された楽曲信号は、直前の区間の楽曲信号種類（単一種類楽器により演奏された区間か、複数種類楽器により演奏されたものである区間か）によって判別される。また、直前の楽曲信号が、前記分析値が第一段階の閾値よりも大きく、かつ前記分析値が第二段階の閾値よりも小さい場合には、さらにその直前の楽曲信号の種類によって、楽曲信号が判別される。

第一段階の閾値および第二段階の閾値は任意の値に設定することができる。詳細は後述する。

図２は、本実施形態のピークレベルを有するフレームの除去方法を説明する図である。図２において横軸は時間軸を表し、フレームＦ２６からフレームＦ１が等間隔（１フレーム単位）で並んでいる状態が示されており、縦軸はフレーム毎の正規化残差パワーを示している。縦軸は、図２において上側がフレームの正規化残差パワーが大きいことを示している。

図２においては、１セグメント内の１００フレームを簡略化して２６フレーム（Ｆ１〜Ｆ２６）を用いて表示している。フレームＦ１２は、除去閾値Ｐｅａｋ＿Ｔｈを超えているので、除去されるべきフレームの候補となる。しかし、フレーム１２の直前の除去閾値Ｐｅａｋ＿Ｔｈを超えているフレームＦ３との時間間隔が予め定められている最少ピーク時間間隔よりも短いので、フレームＦ１２は、ピーク除去部５において除去されない。しかし、フレームＦ１９は除去閾値Ｐｅａｋ＿Ｔｈを超えており、しかも直前の除去閾値Ｐｅａｋ＿Ｔｈを超えているフレームＦ３との時間間隔が予め定められている最少ピーク時間間隔よりも長いので、フレームＦ１９およびフレームＦ３は、ピーク除去部５において除去される。

ここで、最少ピーク時間間隔（最少ピーク間隔）は、任意に設定される値である。一例としてはおおよそ２５０ｍｓｅｃ．に設定すると本実施形態においては、楽器演奏の演奏を始めるピーク部分のフレームを効率よく除去することができた。また最少ピーク時間間隔は、サンプリング周波数の整数倍の値とすることができる。
また、除去閾値Ｐｅａｋ＿Ｔｈは、本実施形態においては１セグメント中の最大ピーク値を約０．２倍した値を用いている。この除去閾値Ｐｅａｋ＿Ｔｈを設定することにより本実施形態においては、楽曲種類の判別性能が向上している。
また、ピーク除去部５において除去されるフレームは除去閾値Ｐｅａｋ＿Ｔｈを超えているフレームだけではなく、フレームは除去閾値Ｐｅａｋ＿Ｔｈを超えているフレームの前後のフレームも除去される。楽器の弾き始めは１フレームに限られるわけではないので、影響があると考えられるフレームを除去することにより楽曲種類の判別能力を向上させるためである。

一例として、図２において、除去閾値Ｐｅａｋ＿Ｔｈを超えたフレームＦ３の直前の一フレーム（フレームＦ２）と、フレームＦ３の直後の三フレーム（フレームＦ４〜フレームＦ６）をピーク除去部５が除去している。除去閾値Ｐｅａｋ＿Ｔｈを超えたフレームＦ３の直前より直後のフレーム数が多いのは、楽器の弾き始め直後の方が、演奏された楽曲信号Ｓｉのパワーが大きい状態が続くので、その影響を除去するためである。

また、図２において、フレームＦ３の前後のフレームと同様に、フレームＦ１９の前後のフレームをピーク除去部５は除去している。すなわち、除去閾値Ｐｅａｋ＿Ｔｈを超えたフレームＦ１９の直前の一フレーム（フレームＦ１８）と、フレームＦ３の直後の三フレーム（フレームＦ２０〜フレームＦ２２）をピーク除去部５が除去している。除去閾値Ｐｅａｋ＿Ｔｈを超えたフレームの前後のフレーム数は上述の値に限定されるわけではなく、任意の値を設定することができる。サンプリング周波数によってフレーム間の時間間隔が異なるので、サンプリング周波数が大きいほど除去閾値Ｐｅａｋ＿Ｔｈを超えたフレームの前後の除去されるべきフレーム数を多く、サンプリング周波数が小さいほど除去閾値Ｐｅａｋ＿Ｔｈを超えたフレームの前後の除去されるべきフレーム数を小さく、ピーク除去部５は設定することができる。

次に図３（ａ）を用いて、区間判別処理部７において楽曲信号Ｓｉを判別する場合に単一閾値Ｍｏｎｏ＿Ｔｈを用いた例について説明する。

図３（ａ）において横軸は時間軸（区間判別処理部７における解析時間）を示し、セグメントＳＧ１からセグメントＳＧ１５が並んでいる。縦軸はセグメント毎の平均正規化残差パワーが示されている。縦軸は、図３（ａ）において上側ほどセグメントの平均正規化残差パワーが大きいことを示している。

セグメントＳＧ１からセグメントＳＧ３までは平均正規化残差パワーが単一閾値Ｍｏｎｏ＿Ｔｈよりも小さいので、区間判定処理部７は、セグメントＳＧ１からセグメントＳＧ３が単一種類楽器演奏区間であると判別する。

また、セグメントＳＧ４は平均正規化残差パワーが単一閾値Ｍｏｎｏ＿Ｔｈよりも大きいので、区間判定処理部７は、セグメントＳＧ４は複数種類楽器演奏区間であると判別する。

しかし、セグメントＳＧ４の直後にあるセグメントＳＧ５からセグメントＳＧ７まではセグメントの平均正規化残差パワーが単一閾値Ｍｏｎｏ＿Ｔｈよりも小さいので、区間判定処理部７は、再び、セグメントＳＧ５からセグメントＳＧ７が単一種類楽器演奏区間であると判別する。

このように、単一閾値Ｍｏｎｏ＿Ｔｈを用いて区間判別処理をする場合には、セグメントＳＧ１からセグメントＳＧ７までの間に、単一閾値Ｍｏｎｏ＿Ｔｈをわずかでも超える平均正規化残差パワーを有しているセグメント（セグメント４）は、区間判別処理部７が、複数種類楽器演奏区間であると判別する。この場合、区間判別処理部７が、単一種類楽器演奏区間であると判別したセグメントＳＧ１からセグメントＳＧ７間のほぼ中央付近で、突発的に一セグメントだけ複数種類楽器演奏区間と判別することになり、区間判別処理部７が誤判定をしている可能性が高くなる。

また、同様に図３（ａ）において、区間判別処理部７は、セグメントＳＧ８からセグメントＳＧ１３の間（セグメント１２を除く）は、各セグメントの平均正規化残差パワーが単一閾値Ｍｏｎｏ＿Ｔｈよりも大きいので、セグメントＳＧ８からセグメントＳＧ１３（セグメント１２を除く）を複数種類楽器演奏区間と判別する。しかし、セグメント１２の平均正規化残差パワーは、突発的にわずかに単一閾値Ｍｏｎｏ＿Ｔｈよりも小さいので、区間判別処理部７はセグメント１２を複数単一種類楽器演奏区間と判別し、誤判定している可能性が高くなる。なお、単一閾値Ｍｏｎｏ＿Ｔｈは任意の値を設定することができる。そこで、本実施形態においては、図３（ｂ）で説明するように、２段階閾値判別方法を区間判別処理部７に使用することによって、上述した突発的な誤判定を防ぐようにした。

図３（ｂ）は、区間判別処理部７において楽曲信号Ｓｉを判別する際に２段階閾値を用いた場合の説明図である。

図３（ｂ）の縦軸、横軸、およびセグメントＳＧ１からセグメントＳＧ１５は図３（ａ）と同一である。

２段階閾値判別方法を使用する場合には、区間判別処理部７は、セグメントの平均正規化残差パワーが第一段階の閾値Ｔｏｎａｌ＿Ｔｈよりも小さいセグメントを、単一種類楽器演奏区間と判別する。また、区間判別処理部７は、セグメントの平均正規化残差パワーが第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈよりも大きいセグメントを、複数種類楽器演奏区間と判別する。

そして、セグメントの平均正規化残差パワーが第一段階の閾値Ｔｏｎａｌ＿Ｔｈよりも大きく、第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈよりも小さい場合には、判別の対象となっているセグメントの直前（時刻として前）のセグメントの判別状況に基づいて、区間判別処理部７は、そのセグメントが複数種類楽器演奏区間であるか単一種類楽器演奏区間かを判別する。

例えば、図３（ｂ）において、セグメントＳＧ３の平均正規化残差パワーは、第一段階の閾値Ｔｏｎａｌ＿Ｔｈよりも大きく、第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈよりも小さい。この場合には、セグメントＳＧ３の直前のセグメントＳＧ２が種類楽器演奏区間であると区間判別処理部７によって判別されている（セグメントＳＧ２の平均正規化残差パワーが第一段階の閾値Ｔｏｎａｌ＿Ｔｈよりも小さいので、区間判別処理部７はセグメントＳＧ２を単一種類楽器演奏区間であると判別する。）ので、区間判別処理部７はセグメントＳＧ３を単一種類楽器演奏区間であると判別する。

すなわち、あるセグメントの平均正規化残差パワーが第一段階の閾値Ｔｏｎａｌ＿Ｔｈよりも大きく、第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈよりも小さい場合であって、かつ判別の対象となっているセグメントの直前のセグメントが、単一種類楽器演奏区間であると判別されている場合には、区間判別処理部７はそのセグメントを単一種類楽器演奏区間であると判別する。

また、あるセグメントの平均正規化残差パワーが第一段階の閾値Ｔｏｎａｌ＿Ｔｈよりも大きく、第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈよりも小さい場合であって、かつ判別の対象となっているセグメントの直前のセグメントが、複数種類楽器演奏区間であると判別されている場合には、区間判別処理部７はそのセグメントを複数種類楽器演奏区間であると判別する。

図３（ａ）において、区間判別処理部７が、突発的に誤判定していたセグメントＳＧ１２について、２段階閾値判別方法を使用した図３（ｂ）について説明する。

図３（ｂ）において、セグメントＳＧ１２の平均正規化残差パワーが第一段階の閾値Ｔｏｎａｌ＿Ｔｈよりも大きく、第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈよりも小さいので、セグメントＳＧ１２は、直前のセグメントＳＧ１１の判別状況に基づいて、区間判別処理部７がその区間の楽曲種類を判別する（セグメントＳＧ１１が複数種類楽器演奏区間である場合には、セグメントＳＧ１２は複数種類楽器演奏区間であると判別され、セグメントＳＧ１１が単一種類楽器演奏区間である場合には、セグメント１２は単一種類楽器演奏区間であると判別される。）。

しかし、セグメントＳＧ１１の平均正規化残差パワーも第一段階の閾値Ｔｏｎａｌ＿Ｔｈよりも大きく、第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈよりも小さいので、セグメントＳＧ１１は、直前のセグメントＳＧ１０の判別状況に基づいて、区間判別処理部７がその区間の楽曲種類を判別する（すなわち、セグメントＳＧ１０が複数種類楽器演奏区間である場合には、セグメントＳＧ１１は複数種類楽器演奏区間であると判別され、セグメントＳＧ１０が単一種類楽器演奏区間である場合には、セグメントＳＧ１１は単一種類楽器演奏区間であると判別される。）。

ここで、セグメントＳＧ１０の平均正規化残差パワーが第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈよりも大きいので、セグメントＳＧ１０は、複数種類楽器演奏区間であると区間判別処理部７によって判別される。従って、セグメントＳＧ１１は、セグメントＳＧ１１の直前のセグメント１０と同じく、複数種類楽器演奏区間であると区間判別処理部７によって判別される。さらに、セグメントＳＧ１２も、セグメントＳＧ１２の直前のセグメントＳＧ１１と同じく、複数種類楽器演奏区間であると区間判別処理部７によって判別される。

このように、２段階閾値判別方法を使用すると単一閾値を用いた場合に比べて、突発的に閾値をわずかに超える（または突発的に閾値にわずかに満たない）セグメントを誤判定する確率が小さくなり、楽曲種別の判別の精度が向上する。

次に図４を用いて平均正規化残差パワー度数分布の一例について説明する。

図４は区間判別処理部７に入力される各セグメントの平均正規化残差パワー度数分布を示した図の一例である。図４の横軸は、平均正規化残差パワーを示し、図４において右へ行くほど平均正規化残差パワーが大きいことを示す。図４の縦軸は、横軸で示されるある平均正規化残差パワーを有するセグメントの個数を示し、図４において棒グラフが高いほど、その平均正規化残差パワーを有するセグメントの数が多いことを示す。
図４における白抜き棒グラフは単一種類楽器演奏セグメントの分布を示し、黒塗り棒グラフは複数種類楽器演奏セグメントの分布を示す。図４においてサンプリングした楽曲はクラシックおよびポップス等の楽曲であって、単一種類楽器（ピアノおよびギターなどのアコースティック楽器）による演奏を５曲（一曲３０ｓｅｃ）、複数種類楽器（アコースティック楽器及び非アコースティック楽器）による演奏を５曲（一曲３０ｓｅｃ）、それぞれサンプリング（サンプリング周波数は４４．１ｋＨｚ、線形予測フィルタ係数は３次まで使用。）している。

複数種類楽器による演奏セグメントは、図４において右側に集中している。また、単一種類楽器による演奏セグメントは、図４において左側に集中している。すなわち、複数種類楽器による演奏セグメントは、平均正規化残差パワーが大きく（平均正規化残差パワーが０．００６以上に集中している。）、単一種類楽器による演奏セグメントは、平均正規化残差パワーが小さい（平均正規化残差パワーが０．００３以下に集中している。）ことが示されている。

図４の場合には、平均正規化残差パワーの閾値として、第一段階の閾値Ｔｏｎａｌ＿Ｔｈを０．００３とし、第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈを０．００６とすれば、単一閾値を用いることによる誤判定を防ぐことができることがわかる。

ただし、第一段階の閾値Ｔｏｎａｌ＿Ｔｈおよび第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈは絶対的な値ではなく、任意の数値が設定されることが可能である。また、第一段階の閾値Ｔｏｎａｌ＿Ｔｈおよび第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈは、線形予測フィルタ係数の次数によって変化する値でもある。

図４とは別に、ピアノメインのポップス系の洋楽３曲（３０秒／曲）について、２段階閾値判別方法を使用した場合と、単一閾値を用いた場合について誤判定率を比較した。誤判定率は（複数種類楽器演奏区間を単一種類楽器演奏区間と判定したセグメントの個数）／（単一種類楽器演奏区間と判定したセグメントの総数）で示した。

その結果、曲Ａについては、単一閾値を用いた場合の誤判定率は７．６％であったが、２段階閾値判別方法を使用した場合には誤判定率は０％となった。また、曲Ｂについては、単一閾値を用いた場合の誤判定率は４０．０％であったが、２段階閾値判別方法を使用した場合には誤判定率は０％となった。さらに、曲Ｃについては、単一閾値を用いた場合の誤判定率は２５．０％であったが、２段階閾値判別方法を使用した場合には誤判定率は０％となった。

このように、本実施形態における２段階閾値判別方法を使用した場合には、複数種類楽器演奏区間を単一種類楽器演奏区間と誤判定する確率が著しく減少することが確認された。

次に、図５を用いて、本実施形態に係わる動作のフローを説明する。

ステップＳ１において、フレーム分割部１ａは入力された楽曲信号Ｓｉをフレーム分割する。

ステップＳ２において、線形予測フィルタ係数演算部１ｂがフレーム分割部１ａにおいて分割されたフレームに基づいて、線形予測フィルタ係数を演算する。そして、線形予測フィルタ演算部２ａが、楽曲信号Ｓｉと線形予測フィルタ係数に基づいて、線形予測フィルタを演算する。

ステップＳ３において、演算部２ｂは残差成分を演算する。そして予測残差パワー演算部３は、フレーム毎に残差パワーを演算するとともに、原音である楽曲信号Ｓｉを用いてフレーム毎に正規化予測残差パワーを演算する。

ステップＳ４において、バッファリング部４に１００フレーム蓄積（記憶）されたか否かが判断される。バッファリング部４に１００フレーム蓄積されていない場合（ステップＳ４：ＮＯ）にはステップＳ１に進む。バッファリング部４に１００フレーム蓄積された場合（ステップＳ４：ＹＥＳ）にはステップＳ５に進む。

ステップＳ５において、ピーク除去部５は図２において説明した手法を用いて、１セグメント内の正規化残差パワー立ち上がり部のピークとなるフレームを除去する。

ステップＳ６において、平均予測残差パワー演算部３は１セグメント内の平均正規化予測残差パワーを演算する。

ステップＳ７において、区間判別処理部７は判別対象となるセグメントの平均正規化予測残差パワー値が第一段階の閾値Ｔｏｎａｌ＿Ｔｈよりも小さいか否かを判断する。区間判別処理部７が判別対象となるセグメントの平均正規化予測残差パワー値が第一段階の閾値Ｔｏｎａｌ＿Ｔｈよりも小さい（ステップＳ７：ＹＥＳ）と判断した場合には、そのセグメント（区間）は単一種類楽器演奏区間であると判別される。また、区間判別処理部７が判別対象となるセグメントの平均正規化予測残差パワー値が第一段階の閾値Ｔｏｎａｌ＿Ｔｈよりも大きい（ステップＳ７：ＮＯ）と判断した場合には、ステップＳ８に進む。

ステップＳ８において、区間判別処理部７は判別対象となるセグメントの平均正規化予測残差パワー値が第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈよりも小さいか否かを判断する。区間判別処理部７が判別対象となるセグメントの平均正規化予測残差パワー値が第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈよりも大きい（ステップＳ８：ＹＥＳ）と判断した場合には、そのセグメント（区間）は複数種類楽器演奏区間であると判別される。また、区間判別処理部７が判別対象となるセグメントの平均正規化予測残差パワー値が第二段階の閾値ＮｏｎＴｏｎａｌ＿Ｔｈよりも小さい（ステップＳ８：ＮＯ）と判断した場合には、ステップＳ９に進む。

ステップＳ９において、区間判別処理部７は判別対象となるセグメントの直前のセグメントが単一種類楽器演奏区間と判別されたか否かを調べる。区間判別処理部７は判別対象となるセグメントの直前のセグメントが単一種類楽器演奏区間と判別した場合（ステップＳ９：ＹＥＳ）には、判別の対象となっているセグメントを単一種類楽器演奏区間と判別する。また、区間判別処理部７は判別対象となるセグメントの直前のセグメントが複数種類楽器演奏区間と判別した場合（ステップＳ：ＮＯ）には、判別の対象となっているセグメントを複数種類楽器演奏区間と判別する。

ステップＳ７、ステップＳ８、およびステップＳ９において、区間の楽曲種類判別が実行された後に、ステップＳ１０において、区間判別処理部７は楽曲信号Ｓｉの入力が終了したか否かを判断する。楽曲信号Ｓｉの入力が終了していない場合（ステップＳ１０：ＮＯ）の場合には、ステップＳ１に進む。また、楽曲信号Ｓｉの入力が終了した場合（ステップＳ１０：ＹＥＳ）の場合には処理が終了する。

以上説明したように、本発明によれば、ＦＦＴ等の周波数分析演算を使用しないので、少ない演算量でかつ正確に単一種類楽器による演奏区間と複数種類楽器による演奏区間とを判別することが可能となった。

また、本発明によれば、入力信号はセグメント単位またはフレーム単位（予め定められた単位）で演算されるので、演算量が少なく、高速かつ正確に演算を行なうことが可能となった。

さらに、本発明によれば、時系列分析が線形予測分析で行なわれるので、時系列分析を高速フーリエ変換ＦＦＴで行った場合のように膨大な計算量（重たい演算）と計算時間とが必要なくなる。したがって、簡易な構成による少ない演算量によって、単一種類楽器による演奏区間と複数種類楽器による演奏区間を判別するための時系列分析を行なうことができるようになった。

さらに本発明によれば、入力信号のレベルおよび入力信号の雑音レベルによる判断ミスを最小限に減少させることが可能となった。

さらに、本発明によれば、２段階閾値判別方法を使用することにより、突発的なレベル変動による単一種類楽器による演奏区間と複数種類楽器による演奏区間との判別ミスを減少させることが可能となった。

さらに、本発明によれば、楽器演奏を開始した直後のピークレベルを持つ楽曲信号を除去することよって、単一種類楽器による演奏区間と複数種類楽器による演奏区間との判別をより正確に実行することが可能となった。

さらに、本発明によれば、楽器演奏を開始した直後のピークレベルを持つ楽曲信号の前後の楽曲信号を除去するようにしたので、単一種類楽器による演奏区間と複数種類楽器による演奏区間との判別をさらに正確に実行することが可能となった。

また、本実施の形態で説明した楽曲種類判別装置は、家庭（ホーム）、車（カー）またはポータブル機器におけるミュージックサーバに適用できる他に、音楽配信技術、楽曲情報に関するコンピュータプログラムにも適用することができる。さらにホームシアターシステム、ＰＤＰ等の薄型テレビ、ＰＣ、ポータブルＤＶＤ等のパーソナルサラウンドシステムに適用することが可能である。

なお、図５における動作手順を、ハードディスク等の記録媒体に予め記録しておき、或いはインターネット等のネットワークを介して予め記録しておき、これを汎用のマイクロコンピュータ等により読み出して実行することにより、当該汎用のマイクロコンピュータ等を実施形態に係わるＣＰＵとして機能させることも可能である。

Claims (8)

1. 入力された楽曲信号に基づいて、前記楽曲信号を分析し、楽曲の種類の判別を行なう楽曲種類判別装置において、
   前記楽曲信号を時系列分析する分析手段と、
   前記分析手段によって分析された分析値に基づいて、前記楽曲信号の種類を判別する判別手段と、
   を備え、
   前記判別手段は、前記分析値が第一段階の閾値よりも小さい場合には、前記入力された楽曲信号は単一種類楽器により演奏されたものであると判断し、前記分析値が第一段階の閾値よりも大きい場合であり、かつ前記分析値が第二段階の閾値よりも小さい場合には、前記入力された楽曲信号の直前の判別結果に基づいて、前記入力された楽曲信号の種類を判断し、前記分析値が第一段階の閾値よりも大きい場合であり、かつ前記分析値が第二段階の閾値よりも大きい場合には、前記入力された楽曲信号は複数種類楽器により演奏されたものであると判断することを特徴とする楽曲種類判別装置。
2. 請求項１に記載の楽曲種類判別装置において、
   前記楽曲信号を予め定められた単位に分割する分割手段を更に備え、
   前記分析手段、前記判別手段は前記分割手段によって分割された前記楽曲信号の単位に基づいて演算処理を行なうことを特徴とする楽曲種類判別装置。
3. 請求項１または２に記載の楽曲種類判別装置において、
   前記分析手段における時系列分析は線形予測分析であり、前記分析値は前記楽曲信号の線形予測分析による線形予測残差であることを特徴とする楽曲種類判別装置。
4. 請求項１乃至３のいずれか一項に記載の楽曲種類判別装置において、
   前記分析手段は、前記分析結果の電力と前記楽曲信号の電力との比の値を前記分析値とすることを特徴とする楽曲種類判別装置。
5. 請求項１乃至４のいずれか一項に記載の楽曲種類判別装置において、
   予め定められた除去閾値を超えるパワーを持つ前記楽曲信号のピーク信号部分が予め定められた時間以上離れている場合には、前記ピーク信号部分を除去するピーク信号除去部を更に備えることを特徴とする楽曲種類判別装置。
6. 請求項５に記載の楽曲種類判別装置において、
   前記ピーク除去部は、前記ピーク信号の時間軸において予め定められた前後の前記楽曲信号を当該ピーク信号とともに除去することを特徴とする楽曲種類判別装置。
7. 入力された楽曲信号に基づいて、前記楽曲信号を分析し、楽曲の種類の判別を行なう楽曲種類判別方法において、
   前記楽曲信号を時系列分析する分析工程と、
   前記分析工程において分析された分析値に基づいて、前記楽曲信号の種類を判別する判別工程と、
   を備え、
   前記判別工程において、前記分析値が第一段階の閾値よりも小さい場合には、前記入力された楽曲信号は単一種類楽器により演奏されたものであると判断し、前記分析値が第一段階の閾値よりも大きい場合であり、かつ前記分析値が第二段階の閾値よりも小さい場合には、前記入力された楽曲信号の直前の判別結果に基づいて、前記入力された楽曲信号の種類を判断し、前記分析値が第一段階の閾値よりも大きい場合であり、かつ前記分析値が第二段階の閾値よりも大きい場合には、前記入力された楽曲信号は複数種類楽器により演奏されたものであると判断することを特徴とする楽曲種類判別方法。
8. 請求項１に記載の楽曲種類判別装置に含まれるコンピュータを、
   前記楽曲信号を時系列分析する分析手段、
   前記分析手段によって分析された分析値に基づいて、前記楽曲信号の種類を判別する判別手段、
   として機能させ、
   前記判別手段は、前記分析値が第一段階の閾値よりも小さい場合には、前記入力された楽曲信号は単一種類楽器により演奏されたものであると判断し、前記分析値が第一段階の閾値よりも大きい場合であり、かつ前記分析値が第二段階の閾値よりも小さい場合には、前記入力された楽曲信号の直前の判別結果に基づいて、前記入力された楽曲信号の種類を判断し、前記分析値が第一段階の閾値よりも大きい場合であり、かつ前記分析値が第二段階の閾値よりも大きい場合には、前記入力された楽曲信号は複数種類楽器により演奏されたものであると判断する機能を有することを特徴とする楽曲種類判別プログラム。

Images