JP3288052B2

JP3288052B2 - 基本周波数抽出方法

Info

Publication number: JP3288052B2
Application number: JP00321991A
Authority: JP
Inventors: 広之野戸
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1991-01-16
Filing date: 1991-01-16
Publication date: 2002-06-04
Anticipated expiration: 2017-06-04
Also published as: JPH04241400A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声信号、音響信号、
及び画像信号等の信号の基本周波数を抽出する基本周波
数抽出方法に関するものである。

【０００２】

【従来の技術】従来、この種の分野の技術としては、例
えば図２のようなものがあった。以下、図２を参照しつ
つ従来の基本周波数抽出方法について説明する。図２は
従来の基本周波数抽出方法の処理手順を示すフローチャ
ートであり、各処理を順番にステップＳ１〜Ｓ６で表
す。まず、処理の対象となる信号波形に窓関数を乗じて
所望の時間領域の信号を取り出した後（ステップＳ
１）、信号波形の自己相関関数を求める（ステップＳ
２）。続いて、ステップＳ２で求められた自己相関関数
をもとに線形予測係数を求め（ステップＳ３）、さら
に、この線形予測係数に基づき信号波形に対する線形予
測を行って予測残差信号を求める（ステップＳ４）。そ
の後、予測残差信号のピークを抽出してエポック点を検
出し（ステップＳ５）、エポック点の時間間隔から基本
周波数を計算する（ステップＳ６）。ここで、エポック
点とは、信号波形の基本周波数に対応した時刻であり、
音声信号の場合は、例えば声帯が最も収縮した発声時の
時刻をいう。

【０００３】次に、各処理の内容を説明する。（１）ステップＳ１の処理時間領域で離散的な信号波形をｓ（ｍ）とし（但し、ｍ
は離散的な時刻）、適当な窓関数をｗ（ｍ）とする。
今、処理対象となる信号波形のうち、基本周波数を求め
たい所望の離散的な時刻をｎとする。このとき、所望の
時刻ｎにおける信号波形ｓ_ｎ（ｍ）は次式（１）で求め
る。ｓ_ｎ（ｍ）＝ｓ（ｍ＋ｎ）ｗ（ｍ）・・・（１）但し、０≦ｍ≦Ｎ−１、（Ｎ；所望の窓関数の大きさ）
（２）ステップＳ２の処理所望の時刻ｎにおける信号波形の自己相関関数Ｒ
_ｎ（ｋ）を次式（２）により求める。

【数１】

【０００４】（３）ステップＳ３の処理線形予測係数を求める。ダービン（Ｄｕｒｂｉｎ）の再
帰法によれば、次式（３）〜（７）によって線形予測係
数α_jを求めることができる。ここで、ｊは第ｊ次の予
測係数であることを示し、ｐは線形予測の次数で任意で
ある。Ｅ⁽⁰⁾＝Ｒ（０）・・・（３）

【数２】 α_j ⁽ⁱ⁾＝ｋ_ｉ・・・（５） α_j ⁽ⁱ⁾＝α_j ^(i-1)- ｋ_ｉα_i-j ^(i-1) ・・・（６）但し、１≦ｊ≦ｉ−１Ｅ⁽ⁱ⁾＝（１−ｋ_ｉ ²）Ｅ^(i-1) ・・・（７）計算の手順としては、まず、式（３）によりＥ⁽⁰⁾を得
る。次に、式（４）から式（７）までの計算を行い、α
_j ⁽ⁱ⁾を１≦ｉ≦ｐの範囲で順に再帰的に求める。そし
て、最後に、 α_j＝α_j ^(p) ・・・（８）但し、１≦ｊ≦ｐとして線形予測係数α_jを得る。

【０００５】（４）ステップＳ４の処理ステップＳ３で求めた線形予測係数α_jを用いて予測残
差信号ｅ（ｎ）を求める。予測残差信号ｅ（ｎ）は次式
（９）で計算される。

【数３】（５）ステップＳ５の処理残差信号ｅ（ｎ）のピークをエポック点として求める。
この処理はある一定の閾値Ｈを定め、残差信号ｅ（ｎ）
がこの閾値Ｈを終えてピークを生じた離散的な時刻をエ
ポック点とし、各エポック点の離散的な時刻をＴ₀，Ｔ
₁，Ｔ₂，……とする。（６）ステップＳ６の処理最後にエポック点の間隔とサンプリング周波数ｆｓか
ら、ｂ番目のピッチにおける基本周波数ｆ_ｂを次式（１
０）により計算する。ｆ_ｂ＝ｆ_ｓ／（Ｔ_ｂ−Ｔ_ｂ-1）・・・（10）

【０００６】

【発明が解決しようとする課題】しかしながら、上記の
基本周波数抽出方法では、次のような課題があった。
予測残差信号ｅ（ｎ）の波高値の変化範囲は一定では
ないため、エポック点検出のための閾値Ｈの設定によっ
てはエポック点が正確に検出できない。予測残差信
号ｅ（ｎ）の波形は複雑であり、ピークが多数生ずる。
そのため、どのピークがエポック点によるものかが判別
しにくく、正確な基本周波数の検出が困難である。本発
明は前記従来技術の持っていた課題として、正確なエポ
ック点の検出が困難である点、正確な基本周波数の抽出
が困難である点について解決した基本周波数抽出方法を
提供するものである。

【０００７】

【課題を解決するための手段】本発明は、前記課題を解
決するために、所定の時間区間にわたって正規化された
学習用の提示信号波形を入力し、誤差逆伝搬法により前
記時間区間の所定の位置と前記提示信号波形のエポック
点との一致時のみに出力波形がピークとなるように学習
処理が施された神経回路網を用い、所定の時間区間にわ
たって正規化された入力信号波形を前記神経回路網に入
力し、非線形処理により、前記入力信号波形の時刻を移
動させて得られる前記神経回路網の出力系列波形のピー
クを前記エポック点として複数、検出し、前記検出され
た各エポック点の時間間隔から前記入力信号波形の基本
周波数を算出するようにしたものである。また、前記提
示信号波形及び前記入力信号波形は、電力によって正規
化してもよい。

【０００８】

【作用】本発明は、以上のように基本周波数抽出方法を
構成したので、神経回路網に提示信号波形を入力させて
誤差逆伝搬法により学習処理を施せば、神経回路網は、
入力された提示信号波形の時間区間の所定の位置とエポ
ック点との一致時のみに出力がピークとなるような信号
波形を出力して、基本周波数を有する信号が入力される
とその信号のエポック点が自動的に検出されるようにな
る。このように学習がなされた神経回路網に、基本周波
数が未知である入力信号波形を入力し、その入力信号波
形の時刻をわずかづつ移動させて得られる神経回路網の
出力系列波形のピークをエポック点として複数、検出し
た後、そのエポック点の時間間隔から入力信号波形の基
本周波数を計算する。このように、非線形処理によって
エポック点の時刻を強調して出力することにより、基本
周波数に相当するエポック点の時刻を正確に検出でき、
正確な基本周波数を抽出できる。したがって、前記課題
を解決できるのである。

【０００９】

【実施例】図１（ａ），（ｂ）は、本発明の実施例を示
す基本周波数抽出方法の処理手順を示すフローチャート
であり、同図（ａ）は学習処理の手順を示すフローチャ
ート及び同図（ｂ）は基本周波数抽出処理の手順を示す
フローチャートである。また、図３は本発明の実施例を
示す基本周波数抽出方法を実施するための基本周波数抽
出装置の概略の構成図である。図３において、この基本
周波数抽出装置は、処理対象となる音声信号等の信号波
形５１をアナログ／ディジタル変換してディジタルデー
タを求める図示しないアナログ／ディジタル変換器を有
し、その出力側には入力層を形成する複数個の処理ユニ
ット（以下、単にセルという）５２が接続されている。
さらに、通信回路５３を介して入力層の各セル５２が中
間層のセル５２に、中間層の各セル５２が出力層のセル
５２にそれぞれ接続されている。これら各セル５２は神
経細胞に相当するものであり、それぞれマイクロプロセ
ッサで構成されている。通信回路５３は神経細胞間の接
続ニューロンに対応するものであり、ローカルエリアネ
ットワークで構成されている。さらに、出力層のセル５
２から出力される出力系列５４をディジタルデータとし
て蓄積する図示しないメモリが設けられている。このよ
うなハード構成により、非線形強調処理を行うパーセプ
トロン型の神経回路網が形成される。

【００１０】この神経回路網の処理内容を以下に説明す
る。本発明の処理は、神経回路網の学習処理とその学習
処理が終わった神経回路網による基本周波数の抽出処理
とに分かれる。まず、神経回路網の学習処理について図
１（ａ）及び図４を参照しつつ説明する。なお、図４は
学習処理における各信号の説明図である。神経回路網の
学習のために入力として加える提示信号３００として、
男性の発生した母音波形を１２ｋＨｚ，１２ビットでサ
ンプリングしたものを用い、さらに、提示信号３００に
対して人間の視察により教師信号のピークを与えるエポ
ック点の位置３１０（以下、教師エポック点という）を
予め設定しておく。また、時間領域で離散的な信号波形
をｓ（ｍ）とし、提示信号３００を特にｓ_ａ（ｍ）とす
る。

【００１１】（１）提示信号入力処理（ステップＳ１００）提示信号３００を入力するための処理は次のようにして
行われる。まず、提示信号３００を教師エポック点を中
心とした区間から取り出し、教師信号として０．９を定
める。この場合の提示信号３００の時間区間３３０の長
さは神経回路網の入力層のセル数に等しいサンプル数と
し、本実施例では５１２点のサンプルを提示信号３００
とする。この場合の提示信号３００をｓ_ａ0.9(m) で表
す。但し、０≦ｍ≦５１１とする。そして、神経回路網
の入力として、この提示信号ｓ_ａ0.9(m) を次式（１
１）によってパワ正規化してオフセットを加え、入力層
の各セルの出力ｏ_1j ⁽⁰⁾とする。なお、ｏ_pj ^(q)はｑ番
目の層におけるｐ番目のパタンに対するｊ番目のセルの
出力を表し、ここでは、提示信号ｓ_ａ0.9(m) を１番目
のパタンとし、入力層を０番目の層としている。Ｃは正
規化のための正定数である。

【００１２】

【数４】（２）神経回路網の順方向伝搬処理（ステップＳ１１
０）本実施例の神経回路網の構造は入力層を第０番目の層と
して、第１番目の層を中間層、第２番目の層を出力層と
する３層構造であり、第ｑ番目の層の出力は次式（１
２）で計算する。

【数５】ここで、１≦ｑ≦２である。式（１２）中のｏ_pj ^(q)は
第ｑ番目の層における第ｊ番目のセルの出力であり、第
ｐ番目のパタンを提示した場合のものである。Ｎ_qは、
第ｑ番目の層におけるセルの数であり、ｗ_ji ^(q)は第ｑ
−１番目の層の第ｉ番目のセルから第ｑ番目の層の第ｊ
番目のセルへの重み係数、ｖ_j ^(q)は第ｑ番目の層の第
ｊ番目のセルのバイアスである。本実施例ではＮ₀は５
１２、Ｎ₁は６４、Ｎ₂は１である。重み係数ｗ_ji ^(q)
とバイアスｖ_j ^(q)は学習前にはランダムな小さな値に
設定しておく。式（１２）の計算をすべてのｑに対して
計算し、第２番目の出力層のセルの出力ｏ_p0 ⁽²⁾を得
る。

【００１３】（３）神経回路網の出力誤差計算処理（ステップＳ１
２０）ｑ番目の層の第ｊ番目のセルにおける第ｐ番目の入力に
対する誤差をδ_pj ^(q)で表すと、第ｑ番目の提示信号に
対する教師信号をｔ_pjとして、出力層における誤差δ_p0
⁽²⁾を次式（１３）で計算する。 δ_p0 ⁽²⁾＝（ｔ_p0−ｏ_p0 ⁽²⁾）ｏ_p0 ⁽²⁾（１−ｏ_p0 ⁽²⁾）・・・（13）（４）神経回路網の誤差逆伝搬学習処理（ステップＳ
１３０）第ｑ番目の層の各セルの誤差δ_pj ^(q)が計算済みのと
き、第（ｑ−１）層の各セルの誤差δ_pj ^(q-1)を次式
（１４）で計算しておく。

【数６】さらに誤差δ_pj ^(q)を用いて第（ｑ−１）層から第ｑ層
への重み係数ｗ_ji ^(q)の修正量ΔｐＷ_ji ^(q)を次式（１
５）で計算する。 ΔｐＷ_ji ^(q)＝ηδ_pj ^(q)ｏ_pi ^(q-1) ・・・（15）また、第ｑ層の第ｊ番目のセルのバイアスｖ _j ^(q)に対
する修正量ΔｐＷ_jv ^(q)も次式（１６）で計算する。

【００１４】 ΔｐＷ_jv ^(q)＝ηδ_pj ^(q) ・・・（16）ここで、ηは学習の速度を決定する定数である。これら
の計算を層の番号ｑを減じながら全ての出力層、中間層
について実行し、全ての重み係数ｗ_ji ^(q)及びバイアス
に対する修正量ΔｐＷ_ji ^(q)及びΔｐｖ _j ^(q)を求め
る。全ての修正量ΔｐＷ_ji ^(q)及びΔｐｖ _j ^(q)を計算
した後、この修正量を用いて全ての重み係数ｗ_ji ^(q)及
びバイアスｖ _j ^(q)を次式（１７）によって修正する。Ｗ_ji ^(q)＝Ｗ_ji ^(q)＋ΔｐＷ_ji ^(q) ・・・（17）以上の処理をｐ＝１として、提示信号ｓ_ａ0.9(m) に対
して行う。この時、教師信号ｔ₁₀としては０．９を与え
る。

【００１５】（５）学習終了判定処理（ステップＳ１４０）学習処理の繰り返しによって重み係数ｗ_ji ^(q)が最適な
値に近づくと、出力誤差δ_p0 ⁽²⁾が０に近づく。出力誤
差δ_p0 ⁽²⁾が十分に小さな値εよりも小さな値になった
かどうかを判定し、出力誤差δ_p0 ⁽²⁾が大きければ学習
未終了であると判定し、処理ステップＳ１００に戻る。
出力誤差δ_p0 ⁽²⁾が小さければ、すべての学習処理を終
了する。次に、処理ステップＳ１００に戻った場合に
は、提示信号として前述の教師エポック点を中心としな
い区間３２０をとる。区間３２０の中心の教師エポック
点からのずれはランダムとする。この場合の提示信号ｓ
_ａ0.1(m) を次式（１８）でパワ正規化してオフセット
を加え、入力層の各セルの出力ｏ_2j ⁽⁰⁾とする。

【数７】このときの教師信号ｔ₂₀は０．１とし、処理ステップＳ
１１０以降は前述と同様の処理を行う。以上の学習処理
を繰返し行うことにより、最終的に最適な重み係数が得
られる。

【００１６】次に、学習後の神経回路網を用いた基本周
波数抽出処理について、図１（ｂ）及び図５を参照しつ
つ説明する。なお、図５は基本周波数抽出処理における
各信号の説明図であり、符号４００は基本周波数抽出の
対象となる入力信号、符号４２０は神経回路網に入力す
るある１つの入力信号の区間、符号４２１は区間４２０
に対する神経回路網の出力、符号４３０は神経回路網に
入力する次の１つの入力信号の区間、符号４３１は区間
４３０に対する神経回路網の出力、符号４４０は基本周
波数抽出処理によって得られる神経回路網の出力系列、
及び符号４５０は出力系列から抽出されたエポック点を
示す。

【００１７】（Ａ）神経回路網の信号入力処理（ステップＳ１５０）時間領域で離散的な基本周波数が未知の入力信号をｘ
（ｍ）とし、本実施例では学習処理に用いた提示信号と
は別の話者の母音音声を入力信号として用いることにす
る。ここで、現在着目している時刻ｕを中心とした時間
区間における入力信号をｘ_u ^(m)とする。この入力信号
を神経回路網の入力として次式（１９）によってパワ正
規化してオフセットを加え、入力層の各セルの出力ｏ_uj
⁽⁰⁾とする。ここで、ｏ_uj ^(q)はｑ番目の層における時
刻ｕを中心とした入力信号に対するｊ番目のセルの出力
を示し、Ｃは正規化のための正定数である。

【数８】

【００１８】（Ｂ）神経回路網の順方向伝搬処理（ステップＳ１６
０）この順方向伝搬処理は、式（１２）におけるｐをｕに置
き換えて計算することにより、学習処理における順方向
伝搬処理と同様に行う。この処理によって出力層のセル
からは出力ｏ_u0 ⁽²⁾が得られる。さらに、入力信号を時
刻ｕ＋１を中心とする時間区間からとり、同様な処理を
行う。この様な処理を繰返し、時刻ｕに対する出力ｏ_u0
⁽²⁾の系列を得る。この出力系列の一例を図５の符号４
４０として示す。入力信号を取り出した時間区間の中心
と入力信号のエポック点とが一致すると、出力系列には
ピークが生ずる。このピークを検出し、ピーク間の間隔
を測定することによって入力信号の基本周波数を求める
ことができる。

【００１９】（Ｃ）神経回路網の出力ピーク検出処理（ステップＳ１
７０）出力系列に対するピーク検出処理は、出力が次式（２
０）の条件を満たす離散的な時刻ｖｄをエポック点の時
刻として検出する。

【数９】ここで、Ｐはピークを検出するための閾値であり、本実
施例では定数０．５を用いる。ｄは検出したピークに付
与する番号である。（Ｄ）基本周波数算出処理（ステップＳ１８０）検出したエポック点の時刻ｖ_dの間隔とサンプリング周
波数ｆｓから、ｄ番目のピッチにおける基本周波数ｆ_ｄ
を次式（２１）により計算する。ｆ_ｄ＝ｆｓ／（ｖ_d−ｖ_d-1）・・・（21）本実施例は、信号波形のエポック点を自動的に検出する
神経回路網を学習処理によって構成し、非線形処理によ
ってエポック点の時刻を強調して出力するので、従来の
線形予測法による残差信号を用いた基本周波数抽出方法
に比べて以下のような利点がある。

【００２０】（１）神経回路網の出力セルから得られる出力ｏ_u0
⁽²⁾は、その値が０．０から１．０までの間であり、閾
値Ｐは厳密な設定が不要である。（２）神経回路網の出力セルから得られる出力ｏ_u0
⁽²⁾は、単純なパルス列となっており、ピーク位置の検
出が容易であり、正確な基本周波数が検出しやすい。以
上の利点を明確に示すために、実際のデータによって得
られた各信号の例を図６（ａ），（ｂ），（ｃ）に示
す。同図（ａ）は男性が発生した「ア」の一部である入
力信号ｓ（ｍ）の波形図、同図（ｂ）は線形予測分析に
よって得られた予測残差信号ｅ（ｎ）の波形図、及び同
図（ｃ）は神経回路網によって得られた出力系列ｏ_u0
⁽²⁾の波形図である。なお、図中の縦線は人間の視察に
よって得られたエポック点の時刻であり、離散的な時刻
ｍ，ｎ，ｕの位置が互いに同一の時刻の部分を示してい
る。

【００２１】図６（ｂ）で明らかなように、線形予測分
析による残差信号波形ｅ（ｎ）は複雑であり、この信号
波形からエポック点を正確に抽出して基本周波数を計算
することは難しい。一方、神経回路網による出力系列ｏ
_u0 ⁽²⁾は、学習処理によって生成された最適な非線形処
理により単純なインパルス列の形状を示し、この出力系
列からエポック点を正確に抽出して基本周波数を計算す
ることは容易である。なお、本発明は、図示の実施例に
限定されず、種々の変形が可能である。例えば、図４の
提示信号３００としては実施例に用いた以外の他の母音
波形などの任意の周期性信号を与え、音響信号、画像信
号等の一般的な信号波形に対してエポック点が検出でき
る神経回路網を構成することも可能である。

【００２２】

【発明の効果】以上詳細に説明したように、本発明によ
れば、信号波形のエポック点を自動的に検出する神経回
路網を学習処理によって構成し、その神経回路網に所定
の時間区間にわたって正規化された入力信号波形を入力
する。さらに、入力信号波形の時刻を移動させて得られ
る前記神経回路網の出力系列波形のピークをエポック点
として検出し、検出された各エポック点の時間間隔から
前記入力信号波形の基本周波数を算出するようにした。
そのため、基本周波数に相当するエポック点の時刻を正
確に検出でき、正確な基本周波数を抽出することが可能
となる。また、提示信号波形及び入力信号波形を電力に
よって正規化すれば、正規化処理が簡単かつ的確に行え
る。

【図面の簡単な説明】

【図１】本発明の実施例を示す基本周波数抽出方法のフ
ローチャートであり、同図（ａ）は学習処理のフローチ
ャート及び同図（ｂ）は基本周波数抽出処理のフローチ
ャートである。

【図２】図２は従来の基本周波数抽出方法のフローチャ
ートである。

【図３】本発明の実施例の基本周波数抽出方法を実施す
るための基本周波数抽出装置の概略の構成図である。

【図４】本発明の実施例の学習処理における各信号の説
明図である。

【図５】本発明の実施例の基本周波数抽出処理における
各信号の説明図である。

【図６】本発明の効果を示す図であり、同図（ａ）は入
力信号の波形図、同図（ｂ）は従来の線形予測分析によ
る波形図、及び同図（ｃ）は神経回路網による出力系列
の波形図である。

【符号の説明】

５１信号波形５２セル５３通信回路５４，４４０出力系列３００提示信号３１０，４５０エポック点３２０，３３０，４２０，４３０時間区間４００入力信号

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平１−238697（ＪＰ，Ａ) 特開平１−243169（ＪＰ，Ａ) 特開平２−5098（ＪＰ，Ａ) 加藤誠巳他，”ニューラルネットを用いたピッチ抽出の一手法”，情報処理学会第40回（平成２年前期）全国大会講演論文集，ｐｐ．150−151 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 11/04,15/16 G06F 15/18

Claims

(57)【特許請求の範囲】

【請求項１】所定の時間区間にわたって正規化された
学習用の提示信号波形を入力し、誤差逆伝搬法により前
記時間区間の所定の位置と前記提示信号波形のエポック
点との一致時のみに出力波形がピークとなるように学習
処理が施された神経回路網を用い、所定の時間区間にわたって正規化された入力信号波形を
前記神経回路網に入力し、非線形処理により、前記入力信号波形の時刻を移動させ
て得られる前記神経回路網の出力系列波形のピークを前
記エポック点として複数、検出し、前記検出された各エポック点の時間間隔から前記入力信
号波形の基本周波数を算出することを特徴とする基本周
波数抽出方法。
【請求項２】請求項１記載の基本周波数抽出方法にお
いて、前記提示信号波形及び前記入力信号波形は、電力によっ
て正規化した基本周波数抽出方法。