JP5433696B2 - 音声処理装置 - Google Patents

Description

本発明は、音声処理に関する。

従来から、音声信号を周期成分と非周期成分に分離する手法として、ＰＳＨＦ（pitch-scaled harmonic filter）という方法が知られている。

例えば、非特許文献１には、周期的な波形から基本周期のＮ倍の窓幅の分析窓で窓かけして取り出した波形を、この窓幅を分析長として離散フーリエ変換（ＤＦＴ）し、倍音成分がＮの整数倍番目の周波数ビンに同期して現れることを利用して、周期成分と非周期成分を分離する手法が開示されている。

Ｐ Ｊａｃｋｓｏｎ，「Ｐｉｔｃｈ−Ｓｃａｌｅｄ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｖｏｉｃｅｄ ａｎｄ Ｔｕｒｂｕｌｅｎｃｅ−Ｎｏｉｓｅ Ｃｏｍｐｏｎｅｎｔｓ ｉｎ Ｓｐｅｅｃｈ」，ＩＥＥＥ Ｔｒａｎｓ．Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．９，ｐｐ．７１３−７２６，Ｏｃｔ．２００１

しかしながら、非特許文献１に記載の従来技術では、ピッチやパワーが時間的に変化する場合、周期成分の一部が非周期成分として分離されてしまい、十分な精度で分離が行えない問題があった。

本発明は、上記事情に鑑みてなされたものであり、周期成分と非周期成分への分離を高精度に行うことができる音声処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる音声処理装置は、音声信号を入力する入力部と、前記音声信号に対し、基本周期の代表点を示すピッチマークを基本周期毎に付与するマーキング部と、前記音声信号の一部を窓掛けし、窓掛けした部分の音声波形である部分波形を抽出する抽出部と、前記部分波形を周波数分析して、周波数スペクトルを算出する算出部と、前記ピッチマークの間隔に応じた波形である人工波形を前記音声信号の基本周波数の所定数倍の周波数を有する倍音成分毎に生成し、前記人工波形それぞれから、倍音成分の周波数スペクトルの特徴を示す倍音スペクトル特徴を推定する推定部と、前記倍音スペクトル特徴のそれぞれと前記部分波形の周波数スペクトルとを用いて、前記部分波形を、周期的な声帯振動を音源とする周期成分と声帯振動以外の非周期的な音源で生成される非周期成分とに分離する分離部と、を備えることを特徴とする。

本発明によれば、周期成分と非周期成分への分離を高精度に行うことができるという効果を奏する。

本実施形態の音声処理装置を示す図。 ピッチマーク情報を示す図。 本実施形態の推定部を示す図。 人工波形を示す図。 ハニング窓を示す図。 ＤＦＴスペクトルを示す図。 本実施形態の分離部を示す図。 周期成分の周波数スペクトルを示す図。 本実施形態の音声処理を示すフローチャート。 本実施形態の分離処理を示すフローチャート。 変形例の重畳処理を示すフローチャート。 変形例の音声処理を示すフローチャート。

以下、添付図面を参照しながら、本発明の音声処理装置の実施形態を説明する。

図１は、本実施形態の音声処理装置１の構成の一例を示すブロック図である。図１に示すように、音声処理装置１は、入力部１０と、マーキング部１００と、部分波形処理部２００とを備える。そして、部分波形処理部２００は、抽出部２１０と、算出部２２０と、推定部２３０と、分離部２４０とを備える。

入力部１０は、音声信号を入力するものであり、例えば、デジタル音声信号を記録したファイルを読み込むファイル入力部として実現できる。なお、入力部１０は、マイクロフォンなどにより実現しても良い。ここで、音声信号とは、音声の空気振動をマイクロフォンなどで電気信号に変換した音声波形を指すが、音声波形そのものに限られず、音声波形を何らかのフィルタなどで変換した波形であってもよい。例えば、音声信号は、音声波形を線形予測分析することにより得られる予測残差信号や、音声波形に帯域通過フィルタを適用して得られる音声信号であってもよい。

また、入力部１０は、音声信号とともに、音声信号を分析して得られる基本周波数パターンや、音声信号と同時に記録されたＥＧＧ(ElectroGlottoGraph)信号などを入力してもよい。

マーキング部１００は、入力部１０により入力された音声信号に対し、基本周期の代表点を示すピッチマークを基本周期毎に付与する。本実施形態では、マーキング部１００は、基本周期の代表点として、声門が閉鎖するタイミングである声門閉鎖点にピッチマークを付与するものとする。但し、マーキング部１００は、波形の振幅のローカルピーク、パワーが集中する点、又はゼロクロッシングなど基本周期中の一貫した位置であれば、いずれにピッチマークを付与してもよい。また、ピッチマークは、必ずしも基本周期の代表点である必要はなく、これと等価な別の形式の情報であっても良い。例えば、時間解像度と精度が十分に高い基本周期又は基本周波数の系列からは、容易にピッチマークを生成することが可能なため、これらは基本周期の代表点と等価な情報とみなすことができる。なお、ピッチマークを付与する方法は様々な方法が知られているが、マーキング部１００は、いずれの方法を用いてピッチマークを付与してもよい。

また、マーキング部１００は、入力部１０により音声信号とともに基本周波数パターンやＥＧＧ信号が入力される場合には、基本周波数パターンやＥＧＧ信号を参照しながら、基本周期の代表点を探索して、ピッチマークを付与する。これにより、ピッチマーキングの精度を高めることができる。

マーキング部１００は、後述の分離部２４０がピッチの時間変化による影響のみを考慮して周期成分と非周期成分とを分離する場合には、上述のような方法でピッチマークを付与する。但し、分離部２４０がパワーの時間変化の影響も考慮する場合には、マーキング部１００は、さらに、基本周期毎にピッチマークを付与した位置（以下、ピッチマーク位置と称する）でのパワーに関するパワー値を算出する。

本実施形態では、マーキング部１００は、ピッチマーク位置を窓中心とするようなハニング窓（詳細には、パワー値を算出するピッチマーク位置の一つ前のピッチマーク位置から始まって、一つ後のピッチマーク位置で終わるハニング窓）を用いて、パワー値を算出する。具体的には、マーキング部１００は、このハニング窓で音声信号を窓掛けして波形を取り出し、取り出した波形のパワーを算出し、算出したパワーを窓関数のパワーで除算した値の二乗根（即ち、平均振幅）を求める。なお、パワーの算出方法はこれに限定されるものではなく、マーキング部１００は、ピッチマーク間でのパワーの時間変化を適切に反映した値が算出できる方法であれば、いかなる方法を用いてもよい。例えば、マーキング部１００は、ピッチマーク周辺でのローカルピークの振幅を算出する方法を用いてもよい。

そして、マーキング部１００は、図２に示すような、ピッチマーク位置とピッチマーク位置でのパワー値（平均振幅）とを、ピッチマーク情報として出力する。但し、分離部２４０がパワーの時間変化の影響を考慮しない場合には、マーキング部１００は、ピッチマーク位置のみをピッチマーク情報として出力する。

抽出部２１０は、入力部１０により入力された音声信号の一部を窓掛けし、窓掛けした部分の音声波形である部分波形を抽出する。窓掛けに用いる分析窓（窓関数）には、ハニング窓、矩形窓、又はガウス窓などを使用できるが、本実施形態では、抽出部２１０は、ハニング窓を使用するものとする。

また本実施形態では、抽出部２１０は、窓関数の窓幅として、窓掛けにより抽出する部分波形の中心付近での基本周期の４倍の窓幅を用いるものとする。抽出部２１０は、マーキング部１００から入力されるピッチマーク情報（図１の破線矢印Ａ参照）又は入力部１０により音声信号とともに入力される基本周波数パターンから、基本周期を得ることができる。なお、窓幅は、分析における周波数解像度と時間解像度のトレードオフでのバランスの面から、基本周期の４倍程度が望ましい。但し、窓幅は、必ずしも基本周期に同期させる必要はなく、基本周期の２〜１０倍程度であれば固定値を用いてもよい。

算出部２２０は、抽出部２１０により抽出された部分波形を周波数分析して、周波数スペクトルを算出する。具体的には、算出部２２０は、抽出部２１０により抽出された部分波形を離散フーリエ変換（Discrete Fourier Transformation）して、ＤＦＴスペクトルを算出する。

本実施形態では、算出部２２０は、抽出部２１０での窓掛けに用いた窓幅と同じ長さである基本周期の４倍の分析長で、離散フーリエ変換を行なうものとする。但し、分析長は、部分波形より短くなければ他の長さでもよい。分析長が部分波形より長い場合には、算出部２２０は、部分波形を越える部分に０を埋めてから離散フーリエ変換を行なう。

推定部２３０は、ピッチマークの間隔に応じた波形である人工波形を、音声信号の基本周波数の所定数倍の周波数を有する倍音成分毎に生成し、生成した人工波形それぞれから、倍音成分の周波数スペクトルの特徴を示す倍音スペクトル特徴を推定する。これにより、抽出部２１０により抽出された部分波形（図１の破線矢印Ｂ参照）中に含まれる倍音成分毎のスペクトル特徴が推定される。

ここで、倍音スペクトル特徴とは、倍音成分のＤＦＴスペクトルに関する振幅の分布や、ＤＦＴビン間での位相の関係を表し、部分波形中でのピッチやパワーの時間変化や窓掛けによる影響を含むものである。

具体的に説明すると、各倍音成分はピッチやパワーの時間変化及び窓掛けによって振幅が周波数方向に広がり、位相も影響を受けるが、倍音成分毎に影響を受ける度合いが異なる。例えば、高域の倍音ほどピッチの時間変化の影響を受けやすい。そこで、推定部２３０は、倍音成分それぞれに対してピッチやパワーの時間変化や窓掛けによる影響を受けた後のＤＦＴスペクトルの振幅の分布やＤＦＴビン間での位相の関係を推定する。なお、推定部２３０の詳細については後述する。

分離部２４０は、推定部２３０により推定された倍音スペクトル特徴のそれぞれと算出部２２０により算出された部分波形のＤＦＴスペクトルとを用いて、抽出部２１０により抽出された部分波形を、周期的な声帯振動を音源とする周期成分と声帯振動以外の非周期的な音源で生成される非周期成分とに分離する。なお本実施形態では、分離により得られる周期成分、非周期成分は、それぞれ周期成分の音声波形、非周期成分の音声波形を表すものとする。分離部２４０の詳細については後述する。

図３は、本実施形態の推定部２３０の構成の一例を示すブロック図である。図３に示すように、推定部２３０は、波形生成部２３１と、窓掛け部２３２と、離散フーリエ変換部２３３とを備える。

波形生成部２３１は、マーキング部１００から入力されるピッチマーク情報（ピッチマーク位置及びピッチマーク位置でのパワー値）を用いて人工波形を生成する。本実施形態では、波形生成部２３１は、各倍音成分に対し、数式（１）で表される人工波形を生成する。

ここで、添字ｎは、ｎ番目の倍音成分（基本周波数のｎ倍の周波数を持つ倍音成分）における関数やパラメータを示す。そして、ｇ_ｎ（ｔ）は時間変化する振幅を表し、ω_ｎ（ｔ）は時間変化する各周波数を表し、α_ｎは初期位相を表す。また、ｔ_０は人工波形の開始時刻を表す。なお、ｇ_ｎ（ｔ）及びω_ｎ（ｔ）には、どのような関数を用いてもよい。但し、基本周期の数倍程度の区間内では、パワーの変化やピッチの変化を線形近似できると考えられるため、本実施形態では、ｇ_ｎ（ｔ）及びω_ｎ（ｔ）を１次関数で表すこととする。また本実施形態では、ｇ_ｎ（ｔ）は全倍音成分に共通な関数を用いることとする。

次に、ｇ_ｎ（ｔ）の係数、ω_ｎ（ｔ）の係数、及びα_ｎの算出手法を説明する。まず、波形生成部２３１に入力されるピッチマーク情報のうち、ｉ番目のピッチマークの位置をｔ_ｉ、平均振幅をｐ_ｉと表し、分析対象範囲内には、ｉ_ｍｉｎからｉ_ｍａｘ番目のピッチマークが含まれるものとする。そして、ｇ_ｎ（ｔ）の係数は、平均振幅の系列（ｔ_ｉ，ｐ_ｉ）（ｉ_ｍｉｎ≦ｉ≦ｉ_ｍａｘ）との２乗誤差を最小にすること、即ち、数式（２）で表される評価関数を最小化することで求められる。

ここで、ｗ_ｇ（ｔ）は、誤差評価での重み付けのための関数で、例えば、分析の中心位置の重みを重くし、中心から離れるにつれて軽くすることなどができる。なお、数式（２）で表される評価関数を最小化するような係数は、ｇ_ｎ（ｔ）が線形関数の場合は解析的に求めることが容易であるが、解析的に求められない場合でも、公知の最適化手法を用いることにより求めることができる。

次に、ω_ｎ（ｔ）の係数は、数式（３）で表される評価関数を最小化することにより求められる。

ここで、ｗ_ω（ｔ）は、ｗ_ｇ（ｔ）と同様に誤差評価での重み付けのための関数で、ｗ_ｇ（ｔ）と同じ関数であってもいいし、別の関数であってもいい。そして、数式（３）で表される評価関数を最小化することにより、ピッチマーク間での人工波形の位相の変化をできるだけ２πのｎ倍にするような係数が求まる。即ち、１番目の倍音成分の位相はピッチマーク間で１周期分変化し、２番目の倍音成分の位相はピッチマーク間で２周期分変化することを意味する。なお、数式（３）で表される評価関数を最小化するような係数についても、ω_ｎ（ｔ）が線形関数の場合は解析的に求めることができ、解析的に求められない場合でも、公知の最適化手法を用いることにより求めることができる。

次に、α_ｎは、分析の中心位置に最も近いピッチマークの時刻をｔ_{ｉ＿ｍｉｄ}とすると、数式（４）により求められる。

ここで、ｋは、任意の整数を表すが、α_ｎの絶対値を最小にするような値とする。α_ｎをこのように求めることにより、人工波形は、中心に最も近いピッチマークにおいてゼロ位相となる。

図４は、波形生成部２３１により生成される人工波形の一例を示す図である。人工波形１１０１、１１０２、１１０７は、それぞれ、１番目、２番目、７番目の倍音成分に対して生成した人工波形を示している。なお、人工波形１１０１はピッチマーク間隔の周期であり、人工波形１１０２はピッチマーク間隔の１／２の周期であり、人工波形１１０７はピッチマーク間隔の１／７の周期となっている。

図３に戻り、窓掛け部２３２は、波形生成部２３１により生成された人工波形のそれぞれを、抽出部２１０の分析窓と同一の長さの分析窓を用いて窓掛けを行なう。即ち本実施形態では、窓掛け部２３２は、図５に示すような、部分波形の中心付近での基本周期の４倍の窓幅を持つハニング窓１２００を用いて、人工波形１１０１、１１０２、及び１１０７などの各人工波形に対し窓掛けを行なう。

離散フーリエ変換部２３３は、窓掛け部２３２による窓掛け後の人工波形それぞれに対し、離散フーリエ変換を行ない、倍音スペクトル特徴を表すＤＦＴスペクトルを算出して、出力する。図６は、離散フーリエ変換部２３３により算出されるＤＦＴスペクトルの一例を示す図である。ＤＦＴスペクトル１３０１、１３０２、１３０７は、それぞれ、１番目、２番目、７番目の倍音成分のＤＦＴスペクトルを示している。

図７は、本実施形態の分離部２４０の構成の一例を示すブロック図である。図７に示すように、分離部２４０は、設定部２４１と、周期成分生成部２４２と、非周期成分生成部２４３と、評価部２４４と、最適化部２４５と、逆離散フーリエ変換部２４６とを備える。

分離部２４０は、推定部２３０から入力される倍音成分毎のＤＦＴスペクトル（図６参照）を基底とし、これらの線形和で周期成分の周波数スペクトルを表す。具体的には、ｉ番目の倍音成分のＤＦＴスペクトルをＨ_ｉ（ｋ）（ｋは、ＤＦＴのビン番号）とすると、周期成分の周波数スペクトルＶ（ｋ）は、数式（５）のように表される。

ここで、ａ_ｉは各基底の重みを表す。また、ｅｘｐ（ｊθ_ｉ）は、位相をθ_ｉ回転することを表し、実際の倍音成分の位相とＨ_ｉ（ｋ）の位相とのずれの調整に用いられる。分離部２４０は、数式（５）により求められる周期成分の周波数スペクトルＶ（ｋ）を、算出部２２０により算出された部分波形のＤＦＴスペクトルＳ（ｋ）に適切にフィッティングするように、パラメータ（ａ_１，ａ_２，…，θ_１，θ_２，…）を求める。そして、分離部２４０は、部分波形のＤＦＴスペクトルＳ（ｋ）から周期成分の周波数スペクトルＶ（ｋ）を取り出し、残った成分を非周期成分の周波数スペクトルＵ（ｋ）とする。

設定部２４１は、部分波形を周期成分の周波数スペクトルと非周期成分の周波数スペクトルとに分離する際に用いる各パラメータの初期値を設定する。具体的には、設定部２４１は、ａ_ｉとθ_ｉそれぞれに初期値を設定する。例えば、設定部２４１は、ｉ番目の倍音成分の中心周波数に対応するＤＦＴビンの番号をｋ_ｉと表す場合、ｋ_ｉ番目のビンでのＨ_ｉ（ｋ）の振幅｜Ｈ_ｉ（ｋ_ｉ）｜に対するＳ（ｋ）の振幅｜Ｓ（ｋ_ｉ）｜の比率（｜Ｓ（ｋ_ｉ）｜／｜Ｈ_ｉ（ｋ_ｉ）｜）をａ_ｉの初期値に設定する。なお、ｋ_ｉは、ＤＦＴの分析長が基本周期の４倍の場合、４・ｉに相当する。また例えば、設定部２４１は、ｋ_ｉ番目のビンでのＳ（ｋ）の位相をθ_ｉに設定する。

周期成分生成部２４２は、推定部２３０により推定された倍音スペクトル特徴それぞれの線形和を算出することにより、周期成分の周波数スペクトルを生成する。具体的には、周期成分生成部２４２は、推定部２３０により推定された倍音成分毎のＤＦＴスペクトルＨ_ｉ（ｋ）と、設定部２４１により値が設定されたａ_ｉ及びθ_ｉとを、数式（５）に代入して周期成分の周波数スペクトルＶ（ｋ）を生成する。

図８は、周期成分生成部２４２により生成された周期成分の周波数スペクトルの一例を示す図である。図８に示す例では、周期成分の周波数スペクトル１４００は、図６に示す各倍音成分のＤＦＴスペクトルを基底とし、これらの線形和となっている。

図７に戻り、非周期成分生成部２４３は、算出部２２０により算出された部分波形のＤＦＴスペクトルと、周期成分生成部２４２により生成された周期成分の周波数スペクトルとを用いて、非周期成分の周波数スペクトルを生成する。具体的には、非周期成分生成部２４３は、算出部２２０により算出された部分波形のＤＦＴスペクトルＳ（ｋ）から、周期成分生成部２４２により生成された周期成分の周波数スペクトルＶ（ｋ）を減算して、非周期成分の周波数スペクトルＵ（ｋ）を生成する。即ち、非周期成分の周波数スペクトルＵ（ｋ）は、数式（６）のように表される。なお、非周期成分生成部２４３の減算は複素数スペクトル領域で行われ、振幅だけでなく位相も考慮される。

評価部２４４は、周期成分生成部２４２により生成された周期成分の周波数スペクトルと非周期成分生成部２４３により生成された非周期成分の周波数スペクトルとの分離の適切さの度合いを評価する。本実施形態では、評価部２４４は、分離の適切さを表す一つの評価尺度として、非周期成分の周波数スペクトルＵ（ｋ）のパワーを用いるものとする。具体的には、この評価尺度をＣｏｓｔ＿ｕＰｗｒとすると、数式（７）のように表される。

数式（７）で表される評価尺度は、部分波形のＤＦＴスペクトルＳ（ｋ）に周期成分の周波数スペクトルＶ（ｋ）を適切にフィッティングできれば、非周期成分の周波数スペクトルＵ（ｋ）のパワーが小さくなるという考えに基づいた尺度である。そして、Ｃｏｓｔ＿ｕＰｗｒの値が小さいほど分離結果が適切であると評価される。

そして、評価部２４４は、数式（７）で表される評価尺度が収束しているかどうかを判定する。具体的には、算出された評価値の、前回の評価値からの差分（あるいは評価値に対する差分の比率）が、あらかじめ設定された閾値を下回るかどうかを判定する。

最適化部２４５は、評価部２４４により評価尺度が収束していないと判定された場合に、部分波形を周期成分の周波数スペクトルと非周期成分の周波数スペクトルとに分離する際に用いる各パラメータの値を最適化する。例えば、最適化部２４５は、数式（７）のＣｏｓｔ＿ｕＰｗｒが評価尺度に用いられる場合、ａ_ｉ及びθ_ｉに関するＣｏｓｔ＿ｕＰｗｒの偏微分をそれぞれ０とした数式（８）、（９）から得られる連立方程式を解くことにより、評価値を最も適切に改善するａ_ｉ及びθ_ｉに最適化する。

なお、評価尺度を表す関数によっては、上述のような解析的な方法で評価値を改善するパラメータを得ることができないが、そのような場合には、勾配法、ニュートン法、又は共役勾配法などの公知の最適化手法を用いることによって、評価値を改善するようなパラメータを得ることができる。

逆離散フーリエ変換部２４６は、評価部２４４により評価尺度が収束していると判定された場合に、周期成分と非周期成分の周波数スペクトルを逆離散フーリエ変換することにより、それぞれ周期成分と非周期成分の音声波形を生成する。但し、分離部２４０の出力が、音声波形ではなく、ＤＦＴスペクトルのままでよい場合は、逆フーリエ変換部２４６を備える必要はない。

図９は、本実施形態の音声処理装置１で行われる音声処理の一例を示すフローチャートである。

ステップＳ１では、入力部１０は、音声信号を入力する。

ステップＳ２では、マーキング部１００は、入力部１０により入力された音声信号に対し、基本周期の代表点を示すピッチマークを基本周期毎に付与する。

ステップＳ３では、抽出部２１０は、入力部１０により入力された音声信号の一部を窓掛けし、窓掛けした部分の音声波形である部分波形を抽出する。

ステップＳ４では、算出部２２０は、抽出部２１０により抽出された部分波形を離散フーリエ変換して、ＤＦＴスペクトルを算出する。

ステップＳ５では、推定部２３０は、ピッチマークの間隔に応じた波形である人工波形を倍音成分毎に生成し、生成した人工波形それぞれから、倍音成分の周波数スペクトルの特徴を示す倍音スペクトル特徴を推定する。

ステップＳ６では、分離部２４０は、推定部２３０により推定された倍音スペクトル特徴のそれぞれと算出部２２０により算出された部分波形のＤＦＴスペクトルとを用いて、抽出部２１０により抽出された部分波形を、周期成分と非周期成分とに分離する。

図１０は、本実施形態の分離部２４０で行われる分離処理の一例を示すフローチャートである。

ステップＳ１０では、設定部２４１は、部分波形を周期成分の周波数スペクトルと非周期成分の周波数スペクトルとに分離する際に用いる各パラメータ（ａ_ｉ，θ_ｉ）の初期値を設定する。

ステップＳ１１では、周期成分生成部２４２は、推定部２３０により推定された倍音スペクトル特徴それぞれの線形和を算出することにより、周期成分の周波数スペクトルＶ（ｋ）を生成する。

ステップＳ１２では、非周期成分生成部２４３は、算出部２２０により算出された部分波形のＤＦＴスペクトルＳ（ｋ）から、周期成分生成部２４２により生成された周期成分の周波数スペクトルＶ（ｋ）を減算して、非周期成分の周波数スペクトルＵ（ｋ）を生成する。

ステップＳ１３では、評価部２４４は、周期成分生成部２４２により生成された周期成分の周波数スペクトルと非周期成分生成部２４３により生成された非周期成分の周波数スペクトルとの分離の適切さの度合いを評価する評価値を算出する。

ステップＳ１４では、評価部２４４は、ステップＳ１３で算出した評価値をチェックし、評価値が収束しているか否かを判定する。具体的には、評価部２４４は、算出した評価値と前回の評価値との差分（又は評価値に対する差分の比率）が、予め定められた閾値を下回るかどうかを判定する。そして、評価部２４４は、評価値が収束した場合には（ステップＳ１４でＹｅｓ）、ステップＳ１６に進み、評価値が収束していない場合には（ステップＳ１４のＮｏ）、ステップＳ１５に進む。

ステップＳ１５では、最適化部２４５は、評価部２４４での評価に基づいて、部分波形を周期成分の周波数スペクトルと非周期成分の周波数スペクトルとに分離する際に用いる各パラメータの値を最適化して、更新する。

ステップＳ１６では、逆離散フーリエ変換部２４６は、周期成分と非周期成分の周波数スペクトルを逆離散フーリエ変換することにより、それぞれ周期成分と非周期成分の音声波形を生成する。

このように本実施形態では、ピッチマークの間隔やパワーに応じた波形である人工波形それぞれから、倍音スペクトル特徴を推定し、倍音スペクトル特徴のそれぞれと部分波形の周波数スペクトルとを用いて、部分波形を周期成分と非周期成分とに分離する。従って本実施形態によれば、各倍音成分へのピッチやパワーの時間変化による影響を考慮して周期成分と非周期成分に分離するので、ピッチやパワーが時間変化する音声信号でも、周期成分と非周期成分への分離を高精度に行うことが可能となる。

なお、本実施形態の音声処理装置は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤやリムーバブルドライブ装置などの外部記憶装置と、ディスプレイなどの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

（変形例）
本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

（変形例１）
上記実施形態では、部分波形から分離した周期成分の音声波形と非周期成分の音声波形とを、そのまま出力する例について説明した。但し、実際には、ある程度の長さの音声波形である連続音声波形を、周期成分の音声波形と非周期成分の音声波形とに分離する場合が多い。そこで、変形例１では、連続音声波形を構成する各時刻の部分波形から分離した周期成分の音声波形、非周期成分の音声波形をそれぞれ重畳することにより、連続音声波形を周期成分の音声波形と非周期成分の音声波形とに分離して、出力する例について説明する。

図１１は、変形例１の音声処理装置１で行われる重畳処理の一例を示すフローチャートである。

ステップＳ２０では、部分波形処理部２００は、連続音声波形のうちの周期成分の音声波形を出力するためのバッファＶ［ｎ］、連続音声波形のうちの非周期成分の音声波形を出力するためのバッファＵ［ｎ］、及び振幅正規化用のバッファＷ［ｎ］の全ての振幅を０に初期化する。なお、各バッファは、図示せぬ記憶部に用意されている。

ステップＳ２１では、部分波形処理部２００は、分析時刻ｔを分析開始位置の時刻ｔ＿ｓｔａｒｔに設定する。

ステップＳ２２では、分離部２４０は、分析時刻ｔを中心とする部分波形の分離処理を行い、部分波形を周期成分の音声波形と非周期成分の音声波形とに分離する。

ステップＳ２３では、部分波形処理部２００は、分離された周期成分の音声波形を、バッファＶ［ｎ］中の対応する時刻の振幅に加算する。

ステップＳ２４では、部分波形処理部２００は、分離された非周期成分の音声波形を、バッファＵ［ｎ］中の対応する時刻の振幅に加算する。

ステップＳ２５では、部分波形処理部２００は、分析窓の振幅を、バッファＷ［ｎ］中の対応する時刻の振幅に加算する。

ステップＳ２６では、部分波形処理部２００は、分析時刻ｔに分析のシフト幅の時間ｔ＿ｓｈｉｆｔを加算する。ｔ＿ｓｈｉｆｔは、できるだけ短いほうが分析精度は高まるが、基本周期程度までの幅であれば、処理時間とのトレードオフで任意に設定してもよい。

ステップＳ２７では、部分波形処理部２００は、分析時刻ｔが分析終了位置の時刻ｔ＿ｅｎｄに到達しているか否かを判定し、到達していれば（ステップＳ２７でＹｅｓ）、ステップＳ２８に進み、到達していなければ（ステップＳ２７でＮｏ）、ステップＳ２２に進む。

ステップＳ２８では、部分波形処理部２００は、バッファＶ［ｎ］及びＵ［ｎ］の全ての振幅を、バッファＷ［ｎ］の対応する時刻の振幅で割ることにより正規化する。即ち、部分波形処理部２００は、各時刻で求めた周期成分の音声波形と非周期成分の音声波形を重畳することにより、連続音声波形を周期成分の音声波形と非周期成分の音声波形とに分離して、出力する。

このように変形例１によれば、連続音声波形を、周期成分の音声波形と非周期成分の音声波形とに分離することができる。

（変形例２）
上記実施形態では、評価部２４４の評価尺度として、非周期成分の周波数スペクトルのパワーを用いる例について説明した。但し、この評価尺度を用いて非周期成分の周波数スペクトルの分離を行なうと、分離された非周期成分の周波数スペクトル中の倍音成分の位置（基本周波数の整数倍の位置）に深い谷が生じて不自然なスペクトルになる場合がある。

これは、部分波形のＤＦＴスペクトルＳ（ｋ）の倍音成分の位置に見られるピークに対し、周期成分生成部２４２が、推定部２３０により推定された倍音成分毎のＤＦＴスペクトルＨ_ｉ（ｋ）のピークを過度にフィッティングさせてしまう場合があるためである。実際の音声波形には、倍音成分の位置にもある程度の非周期成分が含まれるため、このような挙動はあまり望ましくない。

そこで、変形例２では、こうした挙動を改善するため、非周期成分の周波数スペクトルに関する特徴を評価尺度に反映させる方法を説明する。

一般的に、非周期成分の周波数スペクトルのパワーは、周波数軸方向に滑らかに変化し、急激に変化することが少ない。このため、変形例２では、評価部２４４の評価尺度として、数式（１０）で表されるような、非周期成分の周波数スペクトルのパワーの滑らかさを表す指標を導入する。

ここで、Ｕ（ｋ）は非周期成分の周波数スペクトル、Ｗは移動平均での窓幅を表し、Ｗには、例えば５〜１０程度の値が設定される。即ち、数式（１０）で表される指標は、非周期成分の周波数スペクトルの振幅のローカルでの移動平均からの分散を表しており、非周期成分の周波数スペクトルのパワーが周波数軸方向に滑らかに変化していれば小さな値となり、急激に変化していれば大きな値となる。

なお、評価部２４４での評価尺度として、数式（１０）で表される指標をそのまま用いても良いし、数式（７）で表される評価尺度と組み合わせて用いても良い。例えば、数式（１１）に示すように、数式（７）で表される評価尺度と数式（１０）で表される指標を重み付きで加算した値を用いてもよい。

ここで、ｗは０〜１の範囲で設定でき、例えば０．５などに設定される。このような評価尺度を用いて分離を行なうと、倍音位置のピークに対するオーバーフィッティングをある程度防ぐことができ、比較的滑らかで自然な形状を持つ非周期成分を得ることができる。

なお、非周期成分スペクトルのパワーの滑らかさを表す指標は、数式（１０）に限らず、他の指標を用いても良い。例えば、数式（１０）の中でのローカルの移動平均を表す項の代わりに、Ｕ（ｋ）に対してローパスフィルターをかけたものを用いても良いし、数式（１２）に示すように、Ｕ（ｋ）に対してハイパスフィルターをかけたＵ_ｈ（ｋ）を用いてもよい。

（変形例３）
変形例１では、非周期成分の周波数スペクトルに関する特徴を表す指標として、非周期成分の周波数スペクトルのパワーの滑らかさを表す指標を導入した例について説明したが、これ以外の指標を用いても良い。

そこで、変形例３では、非周期成分の周波数スペクトルでの位相は一般的にランダムであることから、このような位相のランダムさの度合いを表す指標を導入する例について説明する。

位相がランダムである場合、ＤＦＴスペクトルの各ビンの成分を複素スペクトル領域で足し合わせると０に近くなることから、評価部２４４での評価尺度として、数式（１３）で表されるような指標を使うことができる。

ここで、ｂは周波数帯域を複数に分割したときの各帯域のＩＤを表し、ｓｔａｒｔ（ｂ）は帯域ｂの開始位置（最低周波数）に対応するＤＦＴビンのＩＤを表し、ｅｎｄ（ｂ）は帯域ｂの終了位置（最大周波数）に対応するＤＦＴビンのＩＤを表す。つまり、数式（１３）で表される指標は、周波数帯域ごとにＤＦＴスペクトルの各ビンの成分を複素スペクトル領域で足し合わせたものを算出し、算出した値を全帯域で二乗和したものを表す。なお、各帯域の幅は、それぞれ倍音成分を一つ含む程度の幅、即ち、基本周波数程度の幅が望ましい。数式（１３）で表される指標では、非周期成分の位相がランダムであれば値が０に近づき、位相間で何らかの相関がある場合は０から遠ざかると考えられる。

なお、変形例２と同様に、数式（１３）で表される指標をそのまま評価部２４４での評価尺度に用いても良いし、非周期成分のＤＦＴスペクトルのパワーやパワーの滑らかさに関する指標との重み付き和を評価尺度に用いても良い。

このような評価尺度を用いて分離を行なうと、変形例２と同様に、倍音位置のピークに対するオーバーフィッティングをある程度防ぐことができ、位相がランダムな非周期成分を得ることができる。

なお、非周期成分の周波数スペクトルでの位相のランダムさを表す指標は、上述の数式（１３）に限らず、他のものを用いても良い。例えば、位相がランダムであるほど、位相スペクトルを周波数で微分したものである「群遅延」の分散が大きくなることから、この群遅延の分散の逆数を指標に用いることもできる。

（変形例４）
上記実施の形態では、ピッチやパワーが時間的に変化することによって生じる非周期性については適切に扱うことができる。但し、声道の形状が時間的に変化することによって生じる非周期性については考慮されていない。このため、上記実施の形態では、音素境界などにおいて急激に声道の形状が変化してスペクトル包絡（スペクトルの概形）が大きく変化する箇所においては、声帯振動に起因する周期成分が、非周期成分に大きくリークしてしまう場合がある。

そこで、変形例４では、こうした問題を改善するため、音声信号のスペクトル包絡（スペクトルの概形）を取り除くような白色化処理を適用した後の音声信号を用いて、周期成分と非周期成分とに分離する例について説明する。

図１２は、変形例４の音声処理装置１で行われる音声処理の一例を示すフローチャートである。なお、図１２では、音声波形を線形予測分析することによって得られる予測残差信号を入力として用いる方法について説明する。

ステップＳ３０では、抽出部２１０は、入力部１０により入力された音声信号に対して線形予測分析を行い、予測残差を求める。

ステップＳ３１では、分離部２４０は、予測残差の部分波形を周期成分波形と非周期成分波形とに分離する。

ステップＳ３２では、部分波形処理部２００は、分離された周期成分波形に対して、ステップＳ３０で得られた線形予測係数を用いた線形予測フィルタを適用して、周期成分の部分波形を得る。

ステップＳ３３では、部分波形処理部２００は、分離された非周期成分波形に対して、ステップＳ３０で得られた線形予測係数を用いた線形予測フィルタを適用して、非周期成分の部分波形を得る。

このように、音声信号のスペクトルを事前に白色化することによって、スペクトル包絡の時間変化による非周期性をある程度取り除くことができ、特に音素境界などにおいて、分離の精度を高めることができる。

なお、音源信号の中の周期成分と非周期成分を抽出する場合には、ステップＳ３２及びステップＳ３３の処理を省略してもよい。また、変形例４では、音声信号に対してスペクトルの白色化を行なう例を示したが、ステップＳ３１でのスペクトルの白色化を、部分波形に適用しても良い。

（変形例５）
また、上記実施形態の音声処理装置の機能を、音声処理プログラムを実行することにより実現させるようにしてもよい。

この場合、上記実施形態の音声処理装置で実行される音声処理プログラムは、インストール可能な形式又は実行可能なファイル形式でコンピュータが読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供される。また、上記実施形態の音声処理装置で実行される音声処理プログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

上記実施形態の音声処理装置で実行される音声処理プログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤ等から認識プログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

以上のように、本発明にかかる音声処理装置は、音声信号を周期成分と非周期成分とに分離する音声処理装置に適している。

１ 音声処理装置
１０ 入力部
１００ マーキング部
２００ 部分波形処理部
２１０ 抽出部
２２０ 算出部
２３０ 推定部
２３１ 波形生成部
２３２ 窓掛け部
２３３ 離散フーリエ変換部
２４０ 分離部
２４１ 設定部
２４２ 周期成分生成部
２４３ 非周期成分生成部
２４４ 評価部
２４５ 最適化部
２４６ 逆離散フーリエ変換部

Claims (10)

1. 音声信号を入力する入力部と、
   前記音声信号に対し、基本周期の代表点を示すピッチマークを基本周期毎に付与するマーキング部と、
   前記音声信号の一部を窓掛けし、窓掛けした部分の音声波形である部分波形を抽出する抽出部と、
   前記部分波形を周波数分析して、周波数スペクトルを算出する算出部と、
   前記ピッチマークの間隔に応じた波形である人工波形を前記音声信号の基本周波数の所定数倍の周波数を有する倍音成分毎に生成し、前記人工波形それぞれから、倍音成分の周波数スペクトルの特徴を示す倍音スペクトル特徴を推定する推定部と、
   前記倍音スペクトル特徴のそれぞれと前記部分波形の周波数スペクトルとを用いて、前記部分波形を、周期的な声帯振動を音源とする周期成分と声帯振動以外の非周期的な音源で生成される非周期成分とに分離する分離部と、
   を備えることを特徴とする音声処理装置。
2. 前記抽出部は、所定の分析窓を用いて前記音声信号の一部を窓掛けし、
   前記推定部は、前記人工波形それぞれを、前記分析窓と同一の長さの分析窓を用いて窓掛けして抽出した波形を周波数分析することにより、前記倍音スペクトル特徴を推定することを特徴とする請求項１に記載の音声処理装置。
3. 前記マーキング部は、更に、前記基本周期毎にパワーに関するパワー値を算出し、
   前記推定部は、更に、前記パワー値を用いて前記人工波形を生成することを特徴とする請求項１に記載の音声処理装置。
4. 前記分離部は、前記倍音スペクトル特徴それぞれの線形和を算出することにより、前記周期成分の周波数スペクトルを生成することを特徴とする請求項１に記載の音声処理装置。
5. 前記分離部は、複素スペクトル領域で、前記部分波形の周波数スペクトルから前記周期成分の周波数スペクトルを減算することにより、前記非周期成分の周波数スペクトルを生成することを特徴とする請求項４に記載の音声処理装置。
6. 前記分離部は、前記非周期成分の周波数スペクトルから非周期性に関する評価尺度を算出し、前記非周期性に関する評価尺度が収束するように、前記倍音スペクトル特徴それぞれの線形和を算出することにより、前記周期成分の周波数スペクトルを生成することを特徴とする請求項５に記載の音声処理装置。
7. 前記評価尺度は、前記非周期成分の周波数スペクトルの周波数軸方向でのパワーの滑らかさを表す指標を少なくとも含むことを特徴とする請求項６に記載の音声処理装置。
8. 前記評価尺度は、前記非周期成分の周波数スペクトルの周波数軸方向での位相のランダムさを表す指標を少なくとも含むことを特徴とする請求項６に記載の音声処理装置。
9. 前記抽出部が窓掛けに用いる前記分析窓は、基本周期の２〜１０倍の窓幅のハニング窓であることを特徴とする請求項２に記載の音声処理装置。
10. 前記抽出部は、前記音声信号又は前記部分波形に対し、スペクトルの白色化を行なうことを特徴とする請求項１に記載の音声処理装置。

Images