JP4242281B2

JP4242281B2 - 少なくとも１つの記述子に基づいて音響信号の音色を特徴付けるための方法

Info

Publication number: JP4242281B2
Application number: JP2003531457A
Authority: JP
Inventors: ペータース，ジョフロワ; マックアダムス，スディヴェン; クリムポフ，ヨッヒェン; スジニ，パトリック; ミスダリ，ニコラ; スミス，ベネット
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 2001-09-26
Filing date: 2002-09-26
Publication date: 2009-03-25
Anticipated expiration: 2022-09-26
Also published as: US20040220799A1; FR2830118B1; WO2003028005A3; FR2830118A1; JP2005504347A; WO2003028005A2; US7406356B2; EP1438707A2

Description

発明の詳細な説明

本発明は、少なくとも１つの記述子に基づいて音響信号の音色を特徴付けるためのプロセスに関するものである。

本発明の分野は、時間によって変化する音響信号の音色の特徴付けである。

音響信号の音色は、音の高さ、音響信号の認識強度および主観的持続時間(dure’e)以外の全ての知覚的特性によって直感的に特徴付けられる。

特徴は様々な部類(cate’gory)の音響信号によって変化する。例えば、バイオリンまたはフルートによって生み出される音響のような高調波音響信号と、ドラムなどによって生み出される音響のような震動音響信号とは区別される。当然、他の部類も存在する。

高調波の音響信号および振動の音響信号の部類に対して音色の測定を行った。これらの測定組み立て品のそれぞれは、高調波音色空間または振動音色空間のいずれかを形成する。

例えば、音響データーベースにおける既知の音色の中に、未知の信号の音色を認識または位置付けるために、音響信号ｓ（ｔ）の音色、またはより正確には記述子とも呼ばれるその特性をモデル化することを試みる。これらの特性のモデルは、一般的に、音響信号ｓ（ｔ）およびその変動のスペクトル包絡線および時間包絡線の関数として表現される。

音響信号ｓ（ｔ）および時間包絡線ＥＴ（ｔ）を図１に、スペクトル包絡線ＥＳ（ｆ）を図３に示しており、図３は、一般的にスライド時間枠(fene’tre temporelle glissante)によって信号を分析することを含む第一工程（例を図２に示す）、それに続いて、前の工程から得られた音響の高速フーリエ変換を計算することを含む第二工程の後に得られる。

特性のモデルの一例および、これらの特性の関数として同じ音色空間に存在する２つの音響信号の音色の距離の計算は、刊行物「音色の知覚的相違点についての多次元距離モデルの確証(Validation of a multidimensional distance model for perceptual dissimilarities among musical timbres)」N.Misdariisら、Proceedings of the 16^thInternational Congress on Acoustics および 135^th Meeting Acoustical Society of America, シアトル, ワシントン、２０〜２６頁、１９９８年６月に提案されている。

上記特性は以下を含み、いくつかは上記刊行物に提示されている：
−信号が開始する時間ｔ０と、高調波音響信号の場合信号が安定する時間、または振動音信号の場合信号が最大値に達する時間ｔ１との差異の対数として定義される対数アッタクタイム(temps d’attaque logarithmique)（ｌａｔまたはＬＴ）；ｌａｔ＝ｌｏｇ_１０（ｔ１−ｔ０）；これらの時間ｔ０およびｔ１を図１に示す；上記の刊行物においてｔ０は、信号の振幅が最大振幅の２％に達する時間である；
−高調波スペクトル重心（ｈｓｃ）、または信号の持続時間にわたる瞬間スペクトル重心の平均として定義されるＳＣ、換言すればスライド分析枠(fene’tre d’analyse glissante)で考察される；瞬間スペクトル重心自体は、高調波ピーク全ての均衡点に対応する様式で、図３に示された信号のスペクトルにおける高調波ピークの加重平均によって定義される。

信号の高調波ピークを得る方法のうち１つの簡単な方法は、第一に音響信号ｓ（ｔ）の基本周波数ｆ０を抽出し、次いで第二に図３に示されるように基本周波数ｆ０の倍数周辺に位置した高調波ピークを検出することを含んでいる。例えば、局所周波数は、局所信号ｓ（ｔ）の正規化自己相関関数を計算することによって得られ、次いで局所基本周波数ｆ０は、上記関数の最初の最大値である時間Ｔ０の逆に対応する。

−信号の持続時間にわたってスライド分析枠に認識された瞬間高調波スペクトル偏差の平均として定義されるスペクトルの不規則性を代表する高調波スペクトル偏差（ｈｓｄ）；瞬間高調波スペクトル偏差自体は、スペクトル包絡線においてスペクトルの倍数ピークのスペクトル偏差（対数尺で）として定義される。クラリネットの音響信号に対応する瞬間調査スペクトル偏差（ｉｈｓｄ）の例を図４に示す；
−分析枠で考察される信号の持続時間にわたる瞬間高調波スペクトル変動の平均として定義されるスペクトル束(flux spectral)を代表する高調波スペクトル変動（ｈｓｖ）；瞬間高調波スペクトル変動自体は、２つの隣接した枠の高調波の振幅間における正規化相関の１の補数として定義される。

従って、本発明の目的は、新規の特性または記述子を定義することであり、当該特性または記述子は、既知の記述子と組み合わせた場合、異なる音色空間に最も適切となり、同じ音色空間に存在する２つの音響信号間の距離の最適な計算を行うために使用される。

本発明の目的は、少なくとも１つの記述子に基づいて持続時間Ｄの時間によって変動する音響信号ｓ（ｔ）の音色を特徴付けるプロセスであり、当該プロセスは、信号の高調波スペクトル拡散（ｈｓｓ）によって上記記述子を定義することを含むことで主に特徴付けられる。

本発明の特徴の１つについて、記述子の１つは高調波スペクトル重心（ｈｓｃ）であり、信号の高調波スペクトル拡散は以下の工程に基づいて計算される。

ａ）信号ｓ（ｔ）を記録する工程、
ｂ）基本周波数ｆ０を抽出する工程、
ｃ）高速フーリエ変換システムを用いて、周波数の関数としてＤ以下の持続時間で時間枠ｈ（ｔ）内に分割された信号ｓ．ｈの高調波を計算して記録し、上記時間枠ｈ（ｔ）を信号ｓ（ｔ）の持続時間Ｄにわたりスライドさせる工程、
ｄ）各時間枠ｈ（ｔ）について、

（Ａ（ｓ．ｈ、ｈａｒｍ）は、分割信号ｓ．ｈのスペクトルの高調波の次数がハーム(harm)のときの振幅であり、ｆ（ｓ．ｈ、ｈａｒｍ）は、分割信号のスペクトルの高調波の次数がハームのときの周波数であり、ｎｂｈは、分割信号ｓ．ｈのスペクトルの高調波の数であり、ｈｓｃ（ｓ．ｈ）は、分割信号ｓ．ｈの高調波スペクトル重心である）を用いて分割信号の高調波スペクトル拡散ｈｓｓ（ｓ（ｔ）．ｈ（ｔ））を計算し、各ｈｓｓ（ｓ．ｈ）を記録する工程、
ｅ）

（ｎｂｆは、信号ｓ（ｔ）の持続時間Ｄにわたり枠ｈ（ｔ）をスライドすることによって得られた枠の数である）を用いて信号の高調波スペクトル拡散ｈｓｓ（ｓ）を計算する工程。

さらなる特性について、高調波スペクトル偏差（ｈｓｄ）と呼ばれる第二記述子を使用し、工程ｄ）はまた、

（ＳＥ（ｓ．ｈ、ｈａｒｍ）は、高調波ピーク数ハーム周辺の分割信号ｓ．ｈの局所スペクトル包絡線である）を用いる分割信号の高調波スペクトル偏差の計算を含む。

そしてその次に、工程ｅ）は、

の信号の高調波スペクトル偏差ｈｓｄ（ｓ）を計算することをまた含む。

本発明の１つの特定の実施形態において、枠ｈ（ｔ）の持続時間は、Ｄに等しいか、およそＤに等しく、枠の数ｎｂｆは１に等しい。

音響信号は好ましくは高調波信号である。

本発明はまた、２つの高調波音響信号の間の距離「ｄｉｓｔ」を測定するプロセスに関するものであり、当該プロセスは上記のような信号の特徴付けを用いることを含むことを特徴とする。

音響信号の特徴付けは、対数アッタクタイム（ｌａｔ）、高調波スペクトル重心（ｈｓｃ）、高調波スペクトル偏差（ｈｓｄ）および高調波スペクトル変動（ｈｓｖ）の記述子に基づいているため、距離「ｄｉｓｔ」は、

（ｘ_１、ｘ_２、ｘ_３、ｘ_４、ｘ_５は、所定の係数である）の形式をとる。

１つの好ましい実施形態において、対数アタックタイムは小数対数尺で計算され、５＜ｘ_１＜１１、１０^−５＜ｘ_２＜５×１０^−５、１０^−４＜ｘ_３＜５×１０^−４、５＜ｘ_４＜１５、および−３０＜ｘ_５＜−９０である。

本発明の他の具体的な特徴および利点は、添付の図を参照にして非限定的な例として与えられる以下の説明を読解した後に明らかとなる。

図１は、時間ｔの関数としての音響信号ｓ（ｔ）およびその時間包絡線ＥＴ（ｔ）を図式的に示す。図２は、スライド分析時間枠ｈ（ｔ）を図式的に示す。図３は、周波数ｆの関数としての高調波ピークおよびスペクトル包絡線ＥＳ（ｆ）を図式的に示す。図４は、クラリネットの瞬間高調波スペクトル偏差を図式的に示す。

図１に示された時間ｔおよび持続時間Ｄの関数によって変動する音響信号ｓ（ｔ）については、例えばハミング枠(fene’tre de Hamming)の例である図２に示されたスライド時間枠ｈ（ｔ）に基づいて分析する。

信号の持続時間Ｄは、一般的に、例えばデーターベースの信号内に配置され得る音響サンプルの場合数秒程度であるが、もっと長くなる可能性もある。

本発明について、好ましくは高調波音響信号の音色を説明し、同じ高調波音色空間に存在する２つの音響信号間の距離をより正確に計算するために、高調波スペクトル拡散を代表する新規の記述子を使用する。

スペクトル重心について、高調波スペクトル拡散は、信号の高調波部分のエネルギーの周波数拡散係数に相当する。

高調波スペクトル拡散（ｈｓｓ）の計算は、特に、１つ以上の記憶装置と、少なくとも１つのマイクロプロセッサ、プログラム記憶装置および作業記憶装置(me’moire de travail)を含む中央演算処理装置とを備えるコンピューターで行われる次の工程を含む：
ａ）持続時間Ｄの信号ｓ（ｔ）を記録する工程、
ｂ）先行技術の説明において上で提案された公知のプロセスに基づいて、基本周波数ｆ０を抽出する工程、
ｃ）フーリエ変換プログラムを用いて得られた関数から開始し、持続時間Ｄにわたり枠ｈ（ｔ）をスライドさせることによって、例えば持続時間Ｎ．Ｔ０（Ｔ０は基本周波数である（例えば、８０ミリ秒に等しい持続時間ｈ（ｔ）、Ｎ＝８およびＴ０＝１０ミリ秒））でハミング枠のような時間枠ｈ（ｔ）に基づいて分割された信号ｓ．ｈの高調波を計算し（基本周波数ｆ０の倍数周辺と考えられる上記関数の最大の位置および振幅は、高調波の周波数および振幅をそれぞれ決定する）、そしてこれらの高調波を記憶する工程、
ｄ）各枠ｈ（ｔ）において、

（Ａ（ｓ．ｈ、ｈａｒｍ）は、分割信号ｓ．ｈのスペクトルの高調波の次数がハームのときの振幅であり、ｆ（ｓ．ｈ、ｈａｒｍ）は、分割信号のスペクトルの高調波の次数がハームのときの周波数であり、ｎｂｈは、分割信号ｓ．ｈのスペクトルの高調波の数であり、ｈｓｃ（ｓ．ｈ）は、先行技術の方法に基づいて計算した分割信号ｓ．ｈの高調波スペクトル重心であり、後に例を挙げる。）を用いて分割信号の高調波スペクトル拡散ｈｓｓ（ｓ（ｔ）．ｔ（ｔ））を計算し、得た値ｈｓｓ（ｓ（ｔ）．ｔ（ｔ））を記録する工程、
ｅ）

（ｎｂｆは、信号ｓ（ｔ）の持続時間Ｄにわたり枠ｈ（ｔ）をスライドさせることによって得られた枠の数である）のように信号ｓ（ｔ）の高調波スペクトル拡散を計算する工程。

定常または準定常の信号ｓ（ｔ）の特別な場合において、信号の持続時間Ｄにわたり高調波スペクトル拡散を直接計算する。これは、分析枠ｈ（ｔ）の持続時間が、信号の持続時間Ｄであるか、あるいはほぼＤであり、従って枠の数が１であることと同じことである。

この新規の記述子が利用可能になるとすぐに、先行技術に基づいて、該記述子を他の記述子ｌａｔ、ｈｓｃ、ｈｓｄおよびｈｓｖと組み合わせる。そして、例えば、

（△は、考慮される２つの音響信号において同じ記述子の値の差異であり、ｘ_１、ｘ_２、ｘ_３、ｘ_４およびｘ_５は所定の係数である）を用いて、同じ高調波音色空間内の２つの音響信号間の距離「ｄｉｓｔ」を計算する。

また、先行技術で示された式：
ｌａｔ（ｓ）＝ｌｏｇ_１０（ｔ１−ｔ０）
を用いて、対数アタックタイムｌａｔを計算する。

分割信号の高調波スペクトル重心ｈｓｃの計算によって、当業者に公知の

を用いてｈｓｓの計算の工程ｄ）を完了する。

記述子ｈｓｓ（ｓ）（工程ｅ）と同じ方法で、信号ｓ（ｔ）の高調波スペクトル重心に関して以下：

を得る。

分割信号の高調波スペクトル偏差ｈｓｄを計算するために、

（ＳＥ（ｓ．ｈ、ｈａｒｍ）は、当業者に公知の方法を用いた高調波ピーク数ハーム周辺の分割信号の局所スペクトル包絡線である）によってｈｓｓの計算の工程ｄ）を有利に完了する。

記述子ｈｓｓ（ｓ）（工程ｅ）と同じ方法で、信号ｓ（ｔ）の高調波スペクトル偏差を、

により与える。

分割信号の高調波スペクトル変動ｈｓｖを計算するため、当業者に公知の以下の計算：

によりｈｓｓの計算の工程ｄ）を完了する。

記述子ｈｓｓ（ｓ）（工程ｅ）と同じ方法で、信号ｓ（ｔ）の高調波スペクトル変動を、

により与える。

特に、上の式に基づいて記述子を計算することによって距離を計算し、対数アタックタイムｌａｔは、下の範囲内の係数を用いて小数対数尺で計算する：
５＜ｘ_１＜１１、１０^−５＜ｘ_２＜５×１０^−５、１０^−４＜ｘ_３＜５×１０^−４、５＜ｘ_４＜１５、および−３０＜ｘ_５＜−９０。

時間ｔの関数としての音響信号ｓ（ｔ）およびその時間包絡線ＥＴ（ｔ）を図式的に示す。スライド分析時間枠ｈ（ｔ）を図式的に示す。周波数ｆの関数としての高調波ピークおよびスペクトル包絡線ＥＳ（ｆ）を図式的に示す。クラリネットの瞬間高調波スペクトル偏差を図式的に示す。

Claims

少なくとも１つの音色記述子に基づいて音響信号ｓ（ｔ）の音色を特徴付けるための方法であって、
ａ）上記音響信号ｓ（ｔ）を記録する工程と、
ｂ）基本周波数ｆ０を抽出する工程と、
ｃ）高速フーリエ変換システムを用いて、周波数の関数としてＤ以下の持続時間で時間枠ｈ（ｔ）内に音響信号ｓ（ｔ）を分割して得られる分割信号ｓ．ｈの高調波を計算して記録し、上記時間枠ｈ（ｔ）を上記音響信号ｓ（ｔ）の持続時間Ｄにわたりスライドさせる工程と、
ｄ）各時間枠ｈ（ｔ）について、

（Ａ（ｓ．ｈ、ｈａｒｍ）は、分割信号ｓ．ｈのスペクトルの高調波の次数がハーム (harm) のときのピークの振幅であり、ｆ（ｓ．ｈ、ｈａｒｍ）は、分割信号のスペクトルの高調波の次数がハームのときの周波数であり、ｎｂｈは、分割信号ｓ．ｈのスペクトルの高調波の数であり、ｈｓｃ（ｓ．ｈ）は、分割信号ｓ．ｈの高調波スペクトル重心である）を用いて、分割信号の高調波スペクトル拡散ｈｓｓ（ｓ（ｔ）．ｈ（ｔ））を計算し、各高調波スペクトル拡散ｈｓｓ（ｓ．ｈ）を記録する工程と、
ｅ）

（ｎｂｆは、信号ｓ（ｔ）の持続時間Ｄにわたり枠ｈ（ｔ）をスライドすることによって得られた枠の数である）を用いて上記信号の高調波スペクトル拡散ｈｓｓ（ｓ）を計算する工程と、
に基づいて、上記音色記述子を計算し、
上記音響信号ｓ（ｔ）の上記高調波スペクトル拡散ｈｓｓ（ｓ）は、上記音響信号ｓ（ｔ）の上記音色記述子であり、
上記音色記述子は、同じ音色空間における２つの音響信号の間の距離を計算することを可能にすることを特徴とする音響信号ｓ（ｔ）の音色を特徴付けるための方法。
工程ｄ）はまた、

（ＳＥ（ｓ．ｈ、ｈａｒｍ）は高調波の次数がハームのときのピーク周辺の分割信号ｓ．ｈの局所スペクトル包絡線である）を用いる分割信号の高調波スペクトル偏差の計算を含んでおり、
従って、工程ｅ）は、

の信号の高調波スペクトル偏差ｈｓｄ（ｓ）を計算することをまた含むことを特徴とし、スペクトル偏差（ｈｓｄ）である音色記述子を使用する、請求項１に記載の方法。
上記枠ｈ（ｔ）の持続時間は、Ｄであるか、あるいはほぼＤであり、上記枠の数ｎｂｆは１であることを特徴とする、請求項１または２のいずれか１つに記載の方法。
上記音響信号は、高調波信号であることを特徴とする、請求項１〜３のいずれか１つに記載の方法。
請求項１〜３に記載の信号の特徴付けを使用することを含むことを特徴とする、２つの高調波音響信号間の距離「ｄｉｓｔ」を測定する方法。
上記音響信号の特徴付けは、対数アタックタイム（ｌａｔ）、高調波スペクトル重心（ｈｓｃ）、高調波スペクトル偏差（ｈｓｄ）および高調波スペクトル変動（ｈｓｖ）の記述子に基づいており、上記距離「ｄｉｓｔ」は、

（ｘ_１、ｘ_２、ｘ_３、ｘ_４、ｘ_５は、所定の係数である）の形式をとることを特徴とする、請求項５に記載の距離「ｄｉｓｔ」を測定する方法。
上記対数アタックタイム（ｌａｔ）は小数対数尺で計算され、５＜ｘ_１＜１１、１０^−５＜ｘ_２＜５×１０^−５、１０^−４＜ｘ_３＜５×１０^−４、５＜ｘ_４＜１５、および−３０＜ｘ_５＜−９０であることを特徴とする、請求項６に記載の方法。