JP4490507B2 - 音声分析装置および音声分析方法 - Google Patents

Description

本発明は、入力音声を分析することにより、声道特徴と音源特徴とを抽出する音声分析装置および音声分析方法に関する。

近年、音声合成技術の発達により、非常に高音質な合成音を作成することが可能となってきた。

しかしながら、従来の合成音の用途はニュース文をアナウンサー調で読み上げる等の画一的な用途が中心であった。

一方で、携帯電話のサービスなどでは、着信音の代わりに有名人の音声メッセージを用いるといったサービスが提供されるなど、特徴のある音声（個人再現性の高い合成音や、女子高校生風や関西弁風などの特徴的な韻律・声質をもつ合成音）がコンテンツの一つとして流通しはじめている。このように個人間のコミュニケーションにおける楽しみを増やすために、特徴的な音声を作って相手に聞かせることに対する要求が高まることが考えられる。

ところで、音声を合成する方法としては、大別して次の２つの方法がある。１つ目は、予め用意した音声素片ＤＢ（データベース）から適切な音声素片を選択して、選択した音声素片を接続することにより、音声を合成する波形接続型音声合成方法である。２つ目は、音声をパラメータ分析し、分析した音声パラメータを元に、音声を合成する分析合成型音声合成方法である。

前述の、合成音の声質を様々に変化させることを考えると、波形接続型音声合成方法では、音声素片ＤＢを必要な声質の種類だけ用意し、音声素片ＤＢを切り替えながら音声素片を接続する必要がある。したがって、種々の声質の合成音を作成するために、膨大なコストを要することになる。

一方、分析合成型音声合成方法では、分析された音声パラメータを変形させることにより、合成音の声質を変換することが可能である。一般に、パラメータ分析には、音源声道モデルと呼ばれるモデルが使用される。

しかしながら、実環境下では、入力音声には種々の雑音が混入することが考えられる。したがって、混入する雑音に対する対策が必要となる。例えば、ノイズ抑制方法として、特許文献１に記載されている技術がある。

図１１は、特許文献１に記載されているノイズ抑制方法の構成図である。

特許文献１記載のノイズ抑制方法は、音声フレームと判断されたフレーム内の音声成分が含まれない（または音声成分が少ない）と推定される帯域に関しては、雑音フレームの帯域別ゲイン値より小さいゲインを設定し、音声フレーム内での音声成分の含まれる帯域を際立たせることで良好な聴感を得ようとしている。

つまり、入力信号を、予め定められた時間単位のフレームに分割し、この分割されたフレームを所定の周波数帯域に分割し、この分割された帯域ごとに雑音の抑圧処理を行うノイズ抑制方法において、フレームが雑音フレームであるか音声フレームであるかの判定を行う音声フレーム判定ステップと、前記音声フレーム判定ステップの結果に基づき各フレームの帯域別ゲイン値を設定する帯域別ゲイン決定ステップと、前記帯域ゲイン決定ステップにより決定された帯域別ゲイン値を用いて帯域毎に雑音抑圧を行った後にフレームを再構成して雑音抑制された出力信号を生成する信号生成ステップとを含む。前記帯域別ゲイン決定ステップでは、決定対象のフレームが音声フレームであると判定された場合の帯域別ゲイン値が、決定対象のフレームが雑音フレームであると判定された場合の帯域別ゲイン値より小さい値を取り得るように帯域別ゲイン値の設定を行う。

特開２００２−１６９５９９号公報（第３−４頁、図２）

特許文献１に記載の雑音抑制方法では、帯域ごとのゲインを調節することにより、雑音の影響を聴感的に抑圧することは可能である。しかし、帯域ごとにゲインを調節することにより、音声のスペクトル構造に歪が生じ、音声の個人特徴が歪むという課題を有する。

また、特許文献１に記載の方法では、突発的な雑音が混入した場合には、雑音の影響を抑圧しきれないという課題を有する。

本発明は、前記従来の課題を解決するもので、実環境のように背景雑音が存在した場合においても、精度良く音声を分析可能な音声分析装置を提供することを目的とする。

従来、声道および音源をモデル化した声道音源モデルでは、定常な音源モデルを仮定している。このため、結果として声道特徴の微細変動は正しい分析結果として処理されてしまう。発明者らは音源が定常であるという仮定よりも、声道が定常であるという仮定の方に妥当性があり、音源は声道よりも速い変動を行っていると考えている。この考えに基づくと、従来の声道音源モデルは、音声が持つ揺らぎや分析窓の位置による時間変化を、声道特徴として抽出してしまう。その結果、本来声道が持っていないような速い動きを声道特徴とし、本来音源に存在する速い動きを音源特徴から取り除いてしまうという問題がある。

発明者らは、この微細変動による影響の解消方法を、特許文献：特許第４２９４７２４号公報に開示している。つまり、声道が定常であるということを利用することにより、入力音声に雑音が混入した場合においても、雑音の影響を除去することが可能となる。

上記目的を達成するために、本発明に係る音声分析装置は、入力音声を分析することにより、声道特徴と音源特徴とを抽出する音声分析装置であって、音声の発声機構をモデル化した音声生成モデルに基づいて、入力音声から声道特徴と音源特徴とを分離する声道音源分離部と、前記声道音源分離部により分離された音源特徴から、前記音源特徴における前記入力音声の基本周波数の時間的な安定度を算出する基本周波数安定度算出部と、前記基本周波数安定度算出部により算出された前記音源特徴における前記入力音声の基本周波数の時間的な安定度に基づいて、前記音源特徴の安定区間の時間情報を抽出する安定分析区間抽出部と、前記声道音源分離部により分離された声道特徴のうち、前記安定分析区間抽出部により抽出された前記音源特徴の安定区間に含まれる声道特徴を用いて、当該音源特徴の安定区間に含まれない声道特徴を補間する声道特徴補間処理部とを備える。

この構成によると、音源特徴の安定区間に基づいて、声道特徴を補間している。上述のように、音源は声道よりも速い変動を行っていると考えられることより、声道特徴よりも音源特徴のほうが雑音の影響を受けやすい。このため、音源特徴を用いることにより、雑音区間と非雑音区間とを精度良く分離することが可能となる。よって、音源特徴の安定区間に基づいて、声道特徴を補間することにより、声道特徴を精度良く抽出することができる。

好ましくは、上記音声分析装置は、さらに、前記声道音源分離部により分離された音源特徴から、前記入力音声の基本周期間隔で繰り返し出現する特徴点を抽出し、抽出した特徴点にピッチマークを付与するピッチマーク付与部を備え、前記基本周波数安定度算出部は、前記ピッチマーク付与部により付与されたピッチマークを用いて、前記音源特徴における前記入力音声の基本周波数を算出し、前記音源特徴における前記入力音声の基本周波数の時間的な安定度を算出する。

好ましくは、前記ピッチマーク付与部は、前記声道音源分離部により分離された音源特徴から声門閉鎖点を抽出し、抽出した声門閉鎖点に前記ピッチマークを付与する。

音源特徴の波形は、声門閉鎖点において鋭いピークを示す特徴がある。一方、雑音区間における音源特徴の波形には、複数箇所において鋭いピークが見られる。このため、特徴点として声門閉鎖点を用いることにより、非雑音区間においては、一定周期でピッチマークが付されるのに対し、雑音区間では、ランダムな間隔でピッチマークが付されることとなる。このような性質を用いることにより、音源特徴の安定区間と非安定区間とを精度良く分離することが可能となる。

さらに好ましくは、上記音声分析装置は、さらに、前記声道音源分離部により分離された音源特徴のうち、前記安定分析区間抽出部により抽出された前記音源特徴の安定区間に含まれる音源特徴を用いて、当該音源特徴の安定区間以外の区間の音源特徴を復元する音源特徴復元部を備える。

この構成によると、音源特徴の安定区間に基づいて、音源特徴を復元している。上述のように、音源は声道よりも速い変動を行っていると考えられることより、声道特徴よりも音源特徴のほうが雑音の影響を受けやすい。このため、音源特徴を用いることにより、雑音区間と非雑音区間とを精度良く分離することが可能となる。よって、音源特徴の安定区間に基づいて、音源特徴を復元することにより、音源特徴を精度良く抽出することができる。

さらに好ましくは、上記音声分析装置は、さらに、前記声道特徴補間処理部により補間された声道特徴の再現度を算出する再現度算出部と、前記再現度算出部による再現度が所定の閾値よりも小さい場合には、ユーザに対して音声の再入力を指示する再入力指示部とを備える。

雑音の影響が大きく、声道特徴を精度良く分析できない場合には、ユーザに音声を再入力させることにより、雑音による影響を受けない声道特徴および音源特徴の抽出が可能となる。

なお、本発明は、このような特徴的な処理部を備える音声分析装置として実現することができるだけでなく、音声分析装置に含まれる特徴的な処理部をステップとする音声分析方法として実現したり、音声分析方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。

本発明の音声分析装置により、入力音声中に雑音が混入した場合においても、音源特徴の安定区間に基づいて、雑音区間に含まれる声道特徴および音源特徴を補間することができる。

このように、部分的に正しく分析できた区間に含まれる声道特徴および音源特徴を用いて、他の区間に含まれる声道特徴および音源特徴を復元することが可能となる。このため、入力音声中に突発的な雑音が混入した場合においても、雑音に影響されることなく入力音声の個人特徴である声道特徴および音源特徴を精度良く分析することができる。

図１は、本発明の実施の形態に係る音声分析装置の機能的な構成を示すブロック図である。 図２は、音源波形の一例を示す図である。 図３は、安定分析区間抽出部により安定区間の抽出処理を説明するための図である。 図４は、声道特徴補間処理部による声道特徴の補間処理を説明するための図である。 図５は、本発明の実施の形態に係る音声分析装置の動作を示すフローチャートである。 図６は、入力音声波形の一例を示す図である。 図７は、ＰＡＲＣＯＲ係数による声道特徴の一例を示す図である。 図８Ａは、雑音がない区間の音源波形一例を示す図である。 図８Ｂは、雑音区間の音源波形一例を示す図である。 図９は、音源特徴平均化処理部による非周期成分境界周波数の平均化処理を説明するための図である。 図１０は、本発明の実施の形態の変形例に係る音声分析装置の機能的な構成を示すブロック図である。 図１１は、従来の雑音抑圧装置の構成を示すブロック図である。

以下本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明の実施の形態に係る音声分析装置の機能的な構成を示すブロック図である。

音声分析装置は、入力された音声を声道特徴と音源特徴とに分離する装置であり、声道音源分離部１０１と、ピッチマーク付与部１０２と、基本周波数安定度算出部１０３と、安定分析区間抽出部１０４と、声道特徴補間処理部１０５と、音源特徴平均化処理部１０６とを含む。

なお、本実施の形態に係る音声分析装置は、ＣＰＵとメモリとを含む通常のコンピュータにより実現される。つまり、上述の各処理部を実現するためのプログラムをＣＰＵ上で実行し、当該プログラムおよび処理における中間データをメモリに記憶することにより、実現される。

声道音源分離部１０１は、音声の発声機構をモデル化した音声生成モデルに基づいて、入力音声から声道特徴と音源特徴とを分離する処理部である。

ピッチマーク付与部１０２は、声道音源分離部１０１により分離された音源特徴から、入力音声の基本周期間隔で繰り返し出現する特徴点を抽出し、抽出した特徴点にピッチマークを付与する処理部である。

基本周波数安定度算出部１０３は、ピッチマーク付与部１０２により付与されたピッチマークを用いて、音源特徴における入力音声の基本周波数を算出し、音源特徴における入力音声の基本周波数の時間的な安定度を算出する処理部である。

安定分析区間抽出部１０４は、基本周波数安定度算出部１０３により算出された音源特徴における入力音声の基本周波数の時間的な安定度に基づいて、音源特徴の安定区間を抽出する処理部である。

声道特徴補間処理部１０５は、声道音源分離部１０１により分離された声道特徴のうち、安定分析区間抽出部１０４により抽出された音源特徴の安定区間に含まれる声道特徴を用いて、当該音源特徴の安定区間に含まれない声道特徴を補間する処理部である。

音源特徴平均化処理部１０６は、声道音源分離部１０１により分離された音源特徴のうち、安定分析区間抽出部１０４により抽出された音源特徴の安定区間に含まれる音源特徴の平均値を求め、求められた音源特徴の平均値を、音源特徴の安定区間以外の区間の音源特徴として算出する処理部である。

以下、それぞれの構成要素について詳しく説明する。

＜声道音源分離部１０１＞
声道音源分離部１０１は、声道および音源をモデル化した声道音源モデル（音声の発声機構をモデル化した音声生成モデル）を用いて、入力音声を、声道特徴と音源特徴とに分離する。分離に用いる声道音源モデルに制限はなく、どのようなモデルであっても良い。

例えば、声道音源モデルとして、線形予測モデル（ＬＰＣモデル）を用いた場合、音声波形のある標本値ｓ（ｎ）を、それより前のｐ個の標本値から予測するものである。標本値ｓ（ｎ）は、式１のように表せる。

ｐ個の標本値に対する係数αiは、相関法や共分散法などを用いることにより算出できる。算出した係数αiを用いると入力された音声信号は、式２により生成することができる。

ここで、Ｓ（ｚ）は音声信号ｓ（ｎ）のｚ変換後の値である。Ｕ（ｚ）は、有声音源信号ｕ（ｎ）のｚ変換後の値であり、入力音声Ｓ（ｚ）を声道特徴１／Ａ（ｚ）で逆フィルタリングした信号を表す。

通常、音声分析を行なう際には、分析窓内において音声が定常であると仮定される。つまり、声道特徴は、分析窓内において定常であると仮定されている。したがって、入力された音声に雑音が重畳されている場合、定常な雑音は声道特徴に影響を与えると考えられる。

一方で、音源特徴は上述したように分析された声道特徴の逆特性を持つフィルタにより音声をフィルタリングすることにより得られる。したがって、入力音声に雑音が重畳された場合、非定常な雑音成分は、音源特徴に含まれることになる。

したがって、非定常な雑音が原因で分析が失敗する場合には、分析区間において声道特徴からは雑音区間を検知することは難しく、音源特徴により雑音区間を判別する必要がある。

声道音源分離部１０１は、さらに、ＬＰＣ分析により分析された線形予測係数αiを用いて、ＰＡＲＣＯＲ係数（偏自己相関係数）ｋiを算出するようにしてもよい。ＰＡＲＣＯＲ係数は、線形予測係数と比較して、補間特性が良いことが知られている。ＰＡＲＣＯＲ係数は、Levinson-Durbin-Itakuraアルゴリズムを用いることにより算出することが可能である。なお、ＰＡＲＣＯＲ係数は、次の２つの特徴を有する。

（特徴１）低次の係数ほどその変動によるスペクトルへの影響が大きく、高次になるにつれて変動の影響が小さくなる。

（特徴２）高次の係数の変動の影響は、平坦に全域にわたる。

以下の説明では、声道特徴としては、ＰＡＲＣＯＲ係数を用いて説明する。なお、用いる声道特徴はＰＡＲＣＯＲ係数に限らず、線形予測係数を用いても良い。さらには線スペクトル対（ＬＳＰ）を用いてもよい。

また、声道音源分離部１０１は、声道音源モデルとしてＡＲＸ（Autoregressive with exogenous input）モデルを用いた場合、ＡＲＸ分析を用いて、声道と音源を分離することもできる。ＡＲＸ分析は、音源として数式音源モデルを用いる点がＬＰＣ分析と大きく異なる。また、ＡＲＸ分析では、ＬＰＣ分析と異なり、分析区間内に複数の基本周期を含んだ場合においても、より正確に声道と音源の情報を分離できる（非特許文献１：大塚、粕谷、「音源パルス列を考慮した頑健なＡＲＸ音声分析法」、日本音響学会誌５８巻７号、２００２年、ｐ．３８６−３９７）。

ＡＲＸ分析では、音声は式３に示す生成過程により生成される。式３において、Ｓ（ｚ）は、音声信号ｓ（ｎ）のｚ変換後の値を表す。Ｕ（ｚ）は、有声音源信号ｕ（ｎ）のｚ変換後の値を表す。Ｅ（ｚ）は、無声雑音音源ｅ（ｎ）のｚ変換後の値を表す。つまり、ＡＲＸ分析では、有声音は式３の第１項により生成され、無声音は式３の第２項により生成される。

このとき、有声音源信号ｕ（ｔ）＝ｕ（ｎＴｓ）のモデルとして、式４に示す音モデルを用いる。ここで、Ｔｓは、サンプリング周期を示す。

ただし、ＡＶは有声音源振幅、Ｔ０は基本周期、ＯＱは声門開放率を表わす。有声音の場合は式４の第１項が使用され、無声音の場合は式４の第２項が使用される。声門開放率ＯＱは、１基本周期における声門が開放されている割合を示す。声門開放率ＯＱの値が大きいほどやわらかい音声となる傾向があることが知られている。

ＡＲＸ分析は、ＬＰＣ分析と比較して以下の利点がある。

（利点１）分析窓内に複数の基本周期に対応した音源パルス列を配して分析を行っているため、女性や子供など高ピッチ音声でも安定に声道情報を抽出できる。

（利点２）特に、基本周波数Ｆ０と第１フォルマント周波数（Ｆ１）とが接近している／ｉ／、／ｕ／などの狭母音の声道音源分離性能が高い。

有声音区間では、ＬＰＣ分析の場合と同様に、Ｕ（ｚ）は、入力音声Ｓ（ｚ）を声道特徴１／Ａ（ｚ）で逆フィルタリングすることにより得ることができる。

ＬＰＣ分析の場合と同様に、ＡＲＸ分析においても、声道特徴１／Ａ（ｚ）は、ＬＰＣ分析におけるシステム関数と同じ形式である。このことから、声道音源分離部１０１は、ＬＰＣ分析と同様の方法により、声道特徴をＰＡＲＣＯＲ係数に変換するようにしても良い。

＜ピッチマーク付与部１０２＞
ピッチマーク付与部１０２は、声道音源分離部１０１により分離された音源特徴に対し、その有声音区間にピッチマークを付与する。

ピッチマークとは、入力音声の基本周期間隔で繰り返し出現する特徴点に対して付与するマークを指す。ピッチマークを付与する特徴点の位置としては、例えば、音声波形のパワーのピーク位置や、声門閉鎖点の位置などがある。

例えば、前述のＡＲＸモデルにより声道特徴と音源特徴とを分離した場合、音源特徴として、図２に示すような音源波形を得ることができる。図２において横軸は時間を表し、縦軸は振幅を表す。この波形において、声門閉鎖点は、時刻２０１および２０２における音源波形のピーク点に相当する。ピッチマーク付与部１０２は、これらの点にピッチマークを付与する。音源波形は声帯が開閉することにより発生するが、声門閉鎖点は声帯が閉じた瞬間を指し、鋭いピークになる特徴がある。

また、基本波のピーク位置にピッチマークを付与する方法もある。基本波のピーク位置を求めるための具体例としては、音声波形から適応ローパスフィルタによって基本波を抽出し、そのピーク位置を検出する方法があり、この方法は、特許文献：特許第３５７６８００号公報に記載されている。

本発明では、これらを始めとするピッチマーク付与の方法については特に限定するものではない。

＜基本周波数安定度算出部１０３＞
前述の通り、入力音声に雑音が付加されている場合、雑音のうち非定常な雑音に関しては、音源情報に影響を与えている。したがって、基本周波数安定度算出部１０３は、非定常な雑音による音源特徴への影響を検出するため基本周波数の安定度を算出する。

基本周波数安定度算出部１０３は、ピッチマーク付与部１０２により付与されたピッチマークを用いて、声道音源分離部１０１により分離された音源特徴における入力音声の基本周波数の安定度（以下、「Ｆ０安定度」と言う。）を算出する。Ｆ０安定度の算出方法は特に限定されるものではないが、例えば、次に示す方法により算出することができる。

まず、基本周波数安定度算出部１０３は、ピッチマークを用いて入力音声の基本周波数（Ｆ０）を算出する。図２に示す音源波形の例では、時刻２０２から時刻２０１までの時間（つまり、隣接するピッチマーク間の時間区間）が、入力音声の基本周期にあたり、この逆数が入力音声の基本周波数に相当する。例えば、図３（ａ）は、各ピッチマークにおける基本周波数Ｆ０の値を示すグラフであり、横軸が時間を、縦軸が基本周波数Ｆ０の値を示している。同図に示されるように、雑音区間において基本周波数Ｆ０の値がばらついていることが分かる。

次に、基本周波数安定度算出部１０３は、予め定められた時間単位の分析フレームｉごとに、Ｆ０安定度ＳＴ_ｉを算出する。Ｆ０安定度ＳＴ_ｉは、式５により示され、音素区間内の平均からの偏差で表すことができる。なお、Ｆ０安定度ＳＴ_ｉは、値が小さいほど基本周波数Ｆ０の値が安定しており、値が大きいほど基本周波数Ｆ０の値がばらついていることを示す。

ただし、

は、分析フレームｉを含む音素内のＦ０の平均を表す。

なお、Ｆ０安定度算出方法はこの方法に限らず、例えば、自己相関関数を算出することにより周期性の強さを判定するようにしても良い。例えば、分析フレーム内の音源波形ｓ（ｎ）に対して、式６に示す自己相関関数φ（ｎ）の値を算出する。算出したφ（ｎ）を用いてから基本周期Ｔ０ずれた場所での相関値φ（Ｔ０）を算出する。算出された相関値φ（Ｔ０）の大きさが周期性の強さを示すので、この相関値をＦ０安定度として算出するようにしても良い。

例えば、図３（ｂ）は、各ピッチマークにおけるＦ０安定度を示しており、横軸が時間を、縦軸がＦ０安定度の値を示している。同図に示されるように、雑音区間においてＦ０安定度が大きくなっているのが分かる。

＜安定分析区間抽出部１０４＞
安定分析区間抽出部１０４は、基本周波数安定度算出部１０３により算出された音源特徴におけるＦ０安定度に基づいて、音源特徴について安定した分析が実施された区間を抽出する。抽出の方法は特に限定されるものではないが、例えば、次のようにすることで抽出することができる。

例えば、安定分析区間抽出部１０４は、式５により算出されるＦ０安定度が所定の閾値（Thresh）よりも小さい分析フレームが属する区間を、音源特徴が安定な区間であると判定する。つまり、安定分析区間抽出部１０４は、式７を満たす区間を安定区間として抽出する。例えば、図３（ｃ）の黒い矩形で表現される区間が安定区間である。

さらに、安定分析区間抽出部１０４は、安定区間が連続する時間が、所定の時間長（たとえば１００ｍｓｅｃ）以上になるように、安定区間を抽出しても良い。このような処理により、微小区間の安定区間（連続時間が短い安定区間）を除外することができる。例えば、図３（ｄ）に示すように、図３（ｃ）で断続的に出現していた短い安定区間を除外し、連続した長い区間を抽出できている。

平均値からの偏差によりＦ０安定度を算出した場合には、偏差の時間変動を考慮していないため、偶然平均値付近の値が算出されることがあるが、このような場合は、長時間、基本周波数Ｆ０が平均値に安定することはない。このため、このような区間を安定区間から除外することが望ましい。このように微小区間を除外することにより、より安定して音源特徴を分析できている区間を、後の処理に利用することができる。

また、安定分析区間抽出部１０４は、抽出した安定区間に対応する時間区間（以下、「安定区間の時間情報」と言う。）も取得する。

なお、ＡＲＸ分析により声道特徴と音源特徴とを分離する場合には、声帯音源波形のモデルとしてRosenberg-Klattモデルを用いている。このことから、このモデル音源波形と、逆フィルタ音源波形とが一致していることが望ましい状態である。したがって、仮定したモデル音源波形と同じ基本周期と逆フィルタ音源波形の声門閉鎖点を基準とした基本周期が乖離している場合は、分析が失敗している可能性が高いと考えられる。したがって、このような場合は、安定して分析できていないと判断することができる。

＜声道特徴補間処理部１０５＞
声道特徴補間処理部１０５は、声道音源分離部１０１により分離された声道特徴のうち、安定分析区間抽出部１０４により抽出された安定区間の時間情報に対応する声道情報を用いて、声道特徴を補間する。

声帯の振動に伴う音源情報は、音声の基本周波数（数十Ｈｚから数百Ｈｚ）に近い時間間隔で変動することが可能であるが、声帯から口唇までの声道の形状である声道情報は、音声の話速（会話調の場合、例えば６モーラ／秒）に近い時間間隔で変化すると考えられる。このため声道情報は時間的に緩やかに動くことから補間が可能となる。

本願発明は、音源特徴から抽出された安定区間の時間情報を用いて、声道特徴を補間することが１つの特徴である。声道特徴のみから、その声道特徴が安定した時間情報を取得することは困難であり、何れの区間が精度の良い分析ができた区間であるかはわからない。なぜなら、声道音源モデルの場合は、雑音に伴うモデル不一致の影響は、音源情報に多く付加される可能性が高い。声道情報は分析窓内で平均化されることより、単純に声道情報の連続性だけでは判断できず、声道情報がある程度連続であっても、必ずしも安定な分析であるとは限らない。一方、音源情報は、声道情報を用いた逆フィルタ波形であることから、声道情報と比較して、短い時間単位の情報を持っている。このことから、雑音による影響を検出しやすい。

したがって、音源特徴から抽出した安定区間を用いることによって、部分的に正しく分析できた区間を音源特徴から取得することができる。これにより、声道特徴について、取得した安定区間の時間情報を用いて、安定区間以外の声道特徴を他の区間を復元することが可能となる。このため、入力音声中に突発的な雑音が混入した場合においても、雑音に影響されることなく入力音声の個人特徴である声道特徴および音源特徴を精度良く分析することができる。

次に、声道特徴の補間の方法の具体例を以下に示す。

声道特徴補間処理部１０５は、声道音源分離部１０１により算出されたＰＡＲＣＯＲ係数の各次元に対して、安定分析区間抽出部１０４により抽出された安定区間のＰＡＲＣＯＲ係数を用いて、時間方向の補間処理を行う。

補間処理の方法は特に限定するものではないが、例えば、次元ごとに式８に示すような多項式による近似を行うことにより平滑化を行うことができる。

ここで、

は、多項式により近似されたＰＡＲＣＯＲ係数、α_iは多項式の係数、ｘは時刻を示す。

このとき、ｘとして安定分析区間抽出部１０４により抽出された安定区間内に含まれる時間の声道情報のみを用いることで、雑音の影響を除去することが可能となる。

また、近似を適用する時間幅としては、個人特徴として母音ごとの声道特徴を用いることを考えると、例えば、一つの音素区間を近似の単位とすることができる。上記時間幅は音素区間に限定されるものではなく、音素中心から次音素中心までを上記時間幅とするようにしても良い。なお、以下の説明では、音素区間を近似処理の単位として説明を行う。

図４に、ＰＡＲＣＯＲ係数を５次の多項式近似を用いて音素単位で時間方向に補間処理した際の１次のＰＡＲＣＯＲ係数のグラフを示す。グラフの横軸は時刻を表し、縦軸はＰＡＲＣＯＲ係数の値を表す。破線は、声道音源分離部１０１により分離された声道情報（ＰＡＲＣＯＲ係数）であり、実線は、音素単位で多項式近似することにより安定区間外の声道情報を補間した声道情報（ＰＡＲＣＯＲ係数）を示す。

本実施の形態では、多項式の次数として５次を例に説明しているが、多項式の次数は５次でなくとも良い。なお、多項式による近似以外にも移動平均による補間処理を行なってもよい。さらには、直線による補間を行ってもよいし、スプライン曲線による補間を行ってもよい。

同図において、非安定区間のＰＡＲＣＯＲ係数が補間されていることが分かる。また、全体的にＰＡＲＣＯＲ係数は平滑化され、滑らかになっていることがわかる。

なお、音素境界では、適当な過渡区間を設けて、過渡区間の前後のＰＡＲＣＯＲ係数を用いて、ＰＡＲＣＯＲ係数を線形補間することにより、ＰＡＲＣＯＲ係数の不連続を防止することが可能である。

入力音声にラベル情報が付与された場合は、補間の単位は「音素」が望ましい。その他の単位としては、「モーラ」または「音節」を用いても良い。あるいは、母音が連続している場合には、連続する２母音を補間の単位としてもよい。

一方、ラベル情報が付与されていない場合は、所定の長さ（概ね１音素程度の長さの時間幅となるように例えば数十ｍｓｅｃから数百ｍｓｅｃ）の時間幅で、声道特徴を補間するようにすれば良い。

＜音源特徴平均化処理部１０６＞
音源特徴平均化処理部１０６は、声道音源分離部により分離された音源特徴のうち、安定分析区間抽出部１０４により抽出された安定区間に含まれる音源特徴を平均化する。

平均化処理の方法の具体例を以下に示す。

例えば、基本周波数、声門開放度または非周期成分などの音源特徴は、声道特徴と比較すると音韻による影響を受けにくい。そこで、安定分析区間抽出部１０４により抽出された安定区間の種々の音源特徴を平均処理することで、平均値により個人の音源特徴を代表させることができる。

例えば、基本周波数に関しては、安定分析区間抽出部１０４により抽出された安定区間の平均基本周波数を、その話者の平均基本周波数として利用することができる。

同様に、声門開放度および非周期成分も、安定分析区間抽出部１０４により抽出された安定区間の平均声門開放度および平均非周期成分を、その話者の平均声門開放度および平均非周期成分としてそれぞれ利用することができる。

このように環境雑音により分析精度が劣化した区間を排除し、さらに平均化することにより、安定して話者の音源特徴を抽出することが可能となる。

なお、各音源特徴の平均値のみではなく、分散値も含めて個人特徴として用いることもできる。分散値を用いることにより、時間的な変動の大きさを制御することが可能となる。このため、個人特徴の再現度を高める効果を有する。

また、平均化処理の代わりに、声道特徴補間処理部１０５と同様に、各音源特徴（基本周波数、声門開放度、非周期成分など）の安定区間の値を用いて、非安定区間の値を補間により算出するようにしても良い。

＜フローチャート＞
以下に、図５に示すフローチャートに基づいて、動作の詳しい手順について説明する。

声道音源分離部１０１は、入力音声から声道特徴と音源特徴とを分離する（ステップＳ１０１）。例として、図６に示す音声が入力された場合を説明する。図６に示すように、母音／ｏ／を発声中に突発雑音が混入しているものとする。

声道音源分離の方法は特に限定するものではないが、例えば、前述の線形予測モデルやＡＲＸモデルを用いた音声分析手法により分離することができる。以下の説明では、ＡＲＸモデルを用いて分離処理を行うものとする。図７は、ＡＲＸモデルを用いた分離処理により、図６に示した音声から分離した声道特徴をＰＡＲＣＯＲ係数で表現したものである。ここでは、１０次のＰＡＲＣＯＲ係数のそれぞれを示している。図７では、雑音区間のＰＡＲＣＯＲ係数は、雑音区間以外と比較して、歪んでいることがわかる。歪み度合いは、背景雑音のパワーに依存する。

ピッチマーク付与部１０２は、声道音源分離部１０１により分離された音源特徴より特徴点を抽出し、抽出した特徴点に、ピッチマークを付与する（ステップＳ１０２）。具体的には、図８Ａおよび図８Ｂに示すような音源波形から、声門閉鎖点を検出し、声門閉鎖点にピッチマークを付与する。図８Ａは、雑音がない区間の音源波形を示し、図８Ｂは、雑音区間の音源波形を示している。このように、雑音により、声道音源分離後の音源波形に影響が現れている。つまり、雑音の影響により、本来、声門閉鎖点で生じる鋭いピークが現れていなかったり、声門閉鎖点以外の点で鋭いピークが現れていたりする。このことにより、ピッチマークの位置が影響を受ける。

声門閉鎖点の算出方法は特に限定するものではない。例えば、図８Ａまたは図８Ｂに示したような音源波形に対して低域通過フィルタ処理を行い、細かい振動成分を除去した後に、下に凸となるピークポイントを算出するようにすれば良い（例えば、特許文献：特許第３５７６８００号公報参照。）。

ピッチマーク付与方法に特許文献：特許第３５７６８００号公報に記載の方法を用いた場合にも雑音の影響を受ける。すなわち、ピッチマークは適応ローパスフィルタの出力波形のピークに付与される。適応ローパスフィルタには音声の基本波のみを通過させるように遮断周波数が設定されるが、当然その帯域には雑音も存在する。この雑音の影響により、出力波形は正弦波ではなくなる。その結果、ピーク位置は等間隔ではなくなり、Ｆ０安定度は低下する。

基本周波数安定度算出部１０３は、Ｆ０安定度を算出する（ステップＳ１０３）。算出の方法としては、ピッチマーク付与部１０２により付与されたピッチマークを用いる。隣接するピッチマーク間が基本周期に対応する。このため、基本周波数安定度算出部１０３は、その逆数をとることにより基本周波数（Ｆ０）を得る。図３（ａ）は、各ピッチマークにおける基本周波数を表している。同図において、雑音区間では、基本周期が細かく変動していることがわかる。得られた基本周波数の時間的なＦ０安定度を算出する方法として、例えば、所定区間の平均値からの偏差を取ることでＦ０安定度を算出することができる。この処理により、図３（ｂ）に示すようなＦ０安定度を得ることができる。

安定分析区間抽出部１０４は、基本周波数Ｆ０が安定している区間を抽出する（ステップＳ１０４）。具体的には、ステップＳ１０３で得られた各ピッチマーク時刻のＦ０安定度（式５）が所定の閾値よりも小さい場合には、その時刻の分析結果は安定しているとみなし、安定して音源特徴が分析されている区間を抽出する。図３（ｃ）に、閾値処理により安定区間を抽出した例を示す。

安定分析区間抽出部１０４は、さらに抽出した安定区間のうち、所定の時間長よりも長い区間のみを安定区間として抽出するようにしても良い。このようにすることにより、微小な安定区間の抽出を防ぐことができ、より安定して音源特徴が分析できている区間を抽出することが可能となるという利点がある。図３（ｄ）に、微小な安定区間を除去した例を示す。

声道特徴補間処理部１０５は、雑音の影響により安定して分析ができない区間の声道特徴を、安定分析区間抽出部１０４により安定して分析できている区間の声道特徴を用いて補間する（ステップＳ１０５）。具体的には、声道特徴補間処理部１０５は、所定の音声区間（例えば音素区間）において、声道特徴であるＰＡＲＣＯＲ係数の各次元の係数に対し、多項式関数による近似処理を行なう。このとき、安定分析区間抽出部１０４により安定であると判断された区間のＰＡＲＣＯＲ係数のみを使用することにより、安定でないと判断された区間のＰＡＲＣＯＲ係数を補間することが可能となる。

図４に、声道特徴補間処理部１０５により声道特徴であるＰＡＲＣＯＲ係数を補間した例を示す。同図において、点線は、分析された１次のＰＡＲＣＯＲ係数を表している。実線は、ステップＳ１０４で抽出した安定区間を用いて、補間処理を実施したＰＡＲＣＯＲ係数を表している。

音源特徴平均化処理部１０６は、音源特徴の平均化処理を行なう（ステップＳ１０６）。具体的には、所定の音声区間（例えば、有声音区間または音素区間など）に対して、音源特徴パラメータを平均化処理することで、安定した音源特徴を抽出することが可能となる。

図９は、音源特徴の一つである非周期成分境界周波数の分析結果を示す図である。非周期成分境界周波数は、音韻による影響が少ない音源特徴である。このため、同一音素区間内に含まれる安定区間の非周期成分境界周波数の平均値を用いて、非安定区間の非周期成分境界周波数を代表させることができる。なお、平均化処理を行う際に、非安定区間における非周期成分境界周波数の平均値からの偏差を、安定区間の非周期成分境界周波数の平均値に加算するようにしても良い。あるいは、声道特徴と同様に安定区間の非周期成分境界周波数を用いて非安定区間の非周期成分境界周波数を補間処理するようにしてもよい。その他の声門開放率または音源スペクトル傾斜などの音源特徴も、同様に安定区間における値の平均値を用いて代表させるようにすれば良い。

（効果）
以上のような構成により、音源特徴が安定に分析されている区間に基づいて、当該区間に含まれる声道特徴および音源特徴に基づいて、当該区間に含まれない声道特徴および音源特徴をそれぞれ復元することができる。このため、入力音声中に突発的な雑音が混入した場合においても、雑音に影響されることなく、入力音声の個人特徴である声道特徴および音源特徴を精度良く分析することができるという効果を有する。

このようにして抽出した入力音声の声道特徴および音源特徴を用いることにより、例えば、声質変換などを行なう際においても、雑音の影響を受けていない目標話者の声質特徴を用いることができる。このため、高音質であり、かつ個人性の高い声質変換が施された音声を得ることができるという効果を有する。具体的な声質変換の方法は特に限定されるものではないが、例えば、特許第４２９４７２４号公報に記載の方法による声質変換を用いることができる。

また、音源特徴として図２に示すような１次元の音源波形を用いることができる。このため、音源特徴における入力音声の基本周波数の安定度は、簡単な処理により求めることが可能である。

なお、声道特徴補間処理（図５のステップＳ１０５）と、音源特徴平均化処理（図５のステップＳ１０６）との順番は、限定されるものではなく、音源特徴平均化処理（図５のステップＳ１０６）の後に声道特徴補間処理（図５のステップＳ１０５）を実行するようにしても良い。

（変形例）
なお、図１０に示すように、音声分析装置に、さらに、再現度算出部１０７と、再入力指示部１０８とを設けてもよい。

この場合、再現度算出部１０７は、声道特徴補間処理部１０５による声道特徴の復元の度合いを算出し、復元の度合いが十分か否かを判断する。再入力指示部１０８は、再現度算出部１０７が復元の度合いが十分でないと判断した場合には、利用者に対して、再度音声を入力するように促す指示を出力する。

具体的には、再現度算出部１０７は、以下に定義する再現度を算出する。再現度とは、声道特徴補間処理部１０５で、関数（例えば多項式）を用いて近似することにより声道特徴を補間した際の、安定区間における関数近似の際の誤差の逆数と定義する。再現度算出部１０７により算出された再現度が所定の閾値よりも小さくなった場合に、再入力指示部１０８は、利用者に対して音声の再入力を促す指示（例えば、メッセージの表示）を行う。

以上のように音声分析装置を構成することにより、雑音の影響が大きく、個人特徴を精度良く分析できない場合には、ユーザに音声を再入力させることにより、雑音による影響を受けない個人特徴（声道特徴および音源特徴）の抽出が可能となる。

なお、再現度算出部１０７は、声道特徴補間処理部１０５により声道特徴が補間される区間（例えば数十ｍｓｅｃなどの区間）の長さに対する、安定分析区間抽出部１０４により抽出された安定区間の長さの比率を再現度と定義し、再現度が所定の閾値未満の場合は、再入力指示部１０８により利用者への再入力を促すようにするようにしてもよい。

このようにすることで、比較的長時間にわたり雑音の影響を受けた場合に、ユーザに音声の再発声を行なってもらうことで、回復不能な雑音の影響を回避することができる。

以上、本発明の実施の形態に係る音声分析装置について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されてもよい。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。

また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、背景雑音が存在するような実環境下においても、入力音声に含まれる個人特徴である声道特徴と音源特徴を精度良く分析する機能を有し、実環境において音声特徴を抽出することができる音声分析装置等に適用できる。また、抽出した個人特徴を声質変換に使うことにより、エンターテインメントなどで用いられる声質変換装置としても有用である。また、実環境で抽出した個人特徴を話者識別装置などに適用することもできる。

１０１ 声道音源分離部
１０２ ピッチマーク付与部
１０３ 基本周波数安定度算出部
１０４ 安定分析区間抽出部
１０５ 声道特徴補間処理部
１０６ 音源特徴平均化処理部
１０７ 再現度算出部
１０８ 再入力指示部

Claims (16)

1. 入力音声を分析することにより、声道特徴と音源特徴とを抽出する音声分析装置であって、
   音声の発声機構をモデル化した音声生成モデルに基づいて、入力音声から声道特徴と音源特徴とを分離する声道音源分離部と、
   前記声道音源分離部により分離された音源特徴から、前記音源特徴における前記入力音声の基本周波数の時間的な安定度を算出する基本周波数安定度算出部と、
   前記基本周波数安定度算出部により算出された前記音源特徴における前記入力音声の基本周波数の時間的な安定度に基づいて、前記音源特徴の安定区間の時間情報を抽出する安定分析区間抽出部と、
   前記声道音源分離部により分離された声道特徴のうち、前記安定分析区間抽出部により抽出された前記音源特徴の安定区間に含まれる声道特徴を用いて、当該音源特徴の安定区間に含まれない声道特徴を補間する声道特徴補間処理部と
   を備える音声分析装置。
2. さらに、前記声道音源分離部により分離された音源特徴から、前記入力音声の基本周期間隔で繰り返し出現する特徴点を抽出し、抽出した特徴点にピッチマークを付与するピッチマーク付与部を備え、
   前記基本周波数安定度算出部は、前記ピッチマーク付与部により付与されたピッチマークを用いて、前記音源特徴における前記入力音声の基本周波数を算出し、前記音源特徴における前記入力音声の基本周波数の時間的な安定度を算出する
   請求項１記載の音声分析装置。
3. 前記ピッチマーク付与部は、前記声道音源分離部により分離された音源特徴から声門閉鎖点を抽出し、抽出した声門閉鎖点に前記ピッチマークを付与する
   請求項２記載の音声分析装置。
4. 前記声道特徴補間処理部は、前記声道音源分離部により分離された声道特徴のうち、前記安定分析区間抽出部により抽出された前記音源特徴の安定区間に含まれる声道特徴を所定の関数で近似することにより、当該音源特徴の安定区間に含まれない声道特徴を補間する
   請求項１〜３のいずれか１項に記載の音声分析装置。
5. 前記声道特徴補間処理部は、前記声道音源分離部により分離された声道特徴に対して、所定の時間単位ごとに、前記声道特徴の補間処理を行なう
   請求項１〜４のいずれか１項に記載の音声分析装置。
6. 前記所定の時間単位は、音素である
   請求項５記載の音声分析装置。
7. さらに、前記声道音源分離部により分離された音源特徴のうち、前記安定分析区間抽出部により抽出された前記音源特徴の安定区間に含まれる音源特徴を用いて、当該音源特徴の安定区間以外の区間の音源特徴を復元する音源特徴復元部を備える
   請求項１〜６のいずれか１項に記載の音声分析装置。
8. 前記音源特徴復元部は、前記声道音源分離部により分離された音源特徴のうち、前記安定分析区間抽出部により抽出された前記音源特徴の安定区間に含まれる音源特徴の平均値を求め、求められた前記音源特徴の平均値を、前記音源特徴の安定区間以外の区間の音源特徴として算出する音源特徴平均化処理部を含む
   請求項７記載の音声分析装置。
9. 前記音源特徴平均化処理部は、さらに、前記音源特徴の安定区間に含まれる音源特徴の平均値に、前記音源特徴の安定区間以外の区間における音源特徴の平均値からの偏差を加算し、加算結果を前記音源特徴の安定区間以外の区間の音源特徴とする
   請求項８記載の音声分析装置。
10. さらに、前記声道特徴補間処理部により補間された声道特徴の再現度を算出する再現度算出部と、
    前記再現度算出部による再現度が所定の閾値よりも小さい場合には、ユーザに対して音声の再入力を指示する再入力指示部と
    を備える請求項１〜９のいずれか１項に記載の音声分析装置。
11. 前記再現度算出部は、前記声道特徴補間処理部で前記声道特徴を補間した際の、補間前後における前記声道特徴の誤差に基づいて、前記声道特徴の再現度を算出する
    請求項１０記載の音声分析装置。
12. 前記声道音源分離部は、線形予測モデルを用いて、入力音声から声道特徴と音源特徴とを分離する
    請求項１〜１１のいずれか１項に記載の音声分析装置。
13. 前記声道音源分離部は、Autoregressive Exogenousモデルを用いて、入力音声から声道特徴と音源特徴とを分離する
    請求項１〜１１のいずれか１項に記載の音声分析装置。
14. 前記基本周波数安定度算出部は、前記声道音源分離部により分離された音源特徴の自己相関値を、前記音源特徴における前記入力音声の基本周波数の時間的な安定度として算出する
    請求項１記載の音声分析装置。
15. 入力音声を分析することにより、声道特徴と音源特徴とを抽出する音声分析方法であって、
    音声の発声機構をモデル化した音声生成モデルに基づいて、入力音声から声道特徴と音源特徴とを分離する声道音源分離ステップと、
    前記声道音源分離ステップにおいて分離された音源特徴から、前記音源特徴における前記入力音声の基本周波数の時間的な安定度を算出する基本周波数安定度算出ステップと、
    前記基本周波数安定度算出ステップにおいて算出された前記音源特徴における前記入力音声の基本周波数の時間的な安定度に基づいて、前記音源特徴の安定区間の時間情報を抽出する安定分析区間抽出ステップと、
    前記声道音源分離ステップにおいて分離された声道特徴のうち、前記安定分析区間抽出ステップにおいて抽出された前記音源特徴の安定区間に含まれる声道特徴を用いて、当該音源特徴の安定区間に含まれない声道特徴を補間する声道特徴補間処理ステップと
    を含む音声分析方法。
16. 入力音声を分析することにより、声道特徴と音源特徴とを抽出するプログラムであって、
    音声の発声機構をモデル化した音声生成モデルに基づいて、入力音声から声道特徴と音源特徴とを分離する声道音源分離ステップと、
    前記声道音源分離ステップにおいて分離された音源特徴から、前記音源特徴における前記入力音声の基本周波数の時間的な安定度を算出する基本周波数安定度算出ステップと、
    前記基本周波数安定度算出ステップにおいて算出された前記音源特徴における前記入力音声の基本周波数の時間的な安定度に基づいて、前記音源特徴の安定区間の時間情報を抽出する安定分析区間抽出ステップと、
    前記声道音源分離ステップにおいて分離された声道特徴のうち、前記安定分析区間抽出ステップにおいて抽出された前記音源特徴の安定区間に含まれる声道特徴を用いて、当該音源特徴の安定区間に含まれない声道特徴を補間する声道特徴補間処理ステップと
    をコンピュータに実行させるためのプログラム。

Images