JP4825290B2 - 無声化位置検出装置及び方法とそれを用いたセグメンテーション装置及び方法、及びプログラム - Google Patents

Description

この発明は波形接続型の音声合成技術や音声認識技術に用いられる音素セグメンテーションにおける無声化された音素の位置検出及びセグメンテーションを行う装置、方法、及びプログラムに関する。

発声される音声中のある音素はその前後の音素の影響、発声の個人差、訛りのような地域による発声傾向、などにより無声化される場合がある。例えば、文章「記者は」を発声し、得られた音声波形をその文章「記者は」に従って例えば音素列「KY/I/SY/y/A/W/A」にセグメンテーションしたとする。しかし実際には無声音KYとSYで挟まれた有声音Ｉは無声化してしまい（即ち音素Ｉの明確な発音がなされない）、音声波形上のセグメンテーションされた音素ラベルＩに対応する波形部分には音素Ｉの波形が存在しない場合がある。このようなセグメンテーション「KY/I/SY/y/A/W/A」をそのまま使用した場合、音声合成の品質あるいは音声認識の精度が低くなる可能性がある。従って、音声波形中の無声化音素を検出し、セグメンテーションを修正することが望まれる。

非特許文献１に示されている従来の無声化検出技術では、音素の統計的なスペクトルパターンを分布として用意し、与えられた音声のスペクトルパターンの尤度をＨＭＭに基づいて計算する際に、無声化している場合と、していない場合の２種類のスペクトルパターンで尤度を求め、無声化しているパターンの方が尤度の高い場合に無声化していると判定している。

非特許文献２には、数量化II類を用いて無声化の種々の要因の寄与を分析し、無声化の推定を行うことが示されている。

特許第３８４１７０５号 特許第３８９２３７９号 特許第４１２５３２２号

河井恒、戸田智基、「波形接続形音声合成のための自動音素セグメンテーションの評価」、電子情報通信学会技術研究報告、SP2002-170, pp.5-10, Jan.2003。 武田一哉、桑原尚夫、「母音無声化の要因分析と予測方法の検討」、音講論集、105-106(1987.10)。

非特許文献１による従来技術では、無声化の有無で尤度に差が大きく出ない場合（例えば調音結合により無声化しやすい母音の特徴が前後の子音に類似する場合など）に無声化検出精度が劣化する可能性がある。

非特許文献２による方法では、先行・後続音節、アクセント核の位置、単語モーラ長などの、発声内容から無声化要因を設定しているため発声内容は同じであるが、個人差によって無声化する／しないが変動する場合の対応が難しい問題がある。

この発明の目的は無声化の有無の判別精度が高く、かつ個人差の影響が少ない無声化位置検出装置及び方法、それを用いたセグメンテーション装置及び方法、プログラムを提供することである。

この発明によれば、無声化判定対象音素をルールにより決定し、無声化判定対象音素を含む無声化判定範囲を設定する。有声性尺度を無声化検出対象音声に対し求め、有声性尺度に基づいて予め決めた閾値を無声化検出対象範囲での有声性尺度と比較して無声化判定対象音素が無声化されているか否かの判定を行う。

有声性尺度を用いることにより、発声内容が同一だが無声化の有無が状況により異なる場合でも精度よく無声化検出を行うことが可能となる。
また、無声化検出に用いる閾値を自動的に求めることができるので、検出対象音声の状況に柔軟に対応可能である。
さらに、無声化検出を行うことで、推定すべき音素境界がより正確になり、音素境界時刻の推定精度の向上が期待できる。

この発明による無声化位置検出装置及びセグメンテーション装置のブロック構成図。 この発明による装置の動作の概要を示すフロー図。 無声化判定ルールの例を示す表。 無声化判定対象決定部のブロック構成図。 無声化判定部のブロック構成図。 Ａは音声「記者は」のスペクトルパターンの例、Ｂは入力音素ラベル列の例、Ｃは有声性尺度と閾値の関係、Ｄは修正された音素ラベル列、Ｅは再セグメンテーションによる音素ラベル列を示す図。 Ａは入力音声「会議室に」のスペクトルパターン、Ｂは入力音声信号の有声性尺度、Ｃは初期音素ラベル列、Ｄは第１の閾値決定方法における音素分類、Ｅは第２の閾値決定方法における音素分類を示す図。 無声化判定対象決定部と無声化判定部による処理過程を示すフロー図。 音素境界テンプレートを用いた音素モデル表の例を示す図。 音素境界テンプレートの作成方法を説明するための図。 音素境界テンプレートを用いて音素境界を決める方法を説明するための図。 音素境界テンプレートを用いた再セグメンテーションの処理手順を示すフロー図。 音素モデル表の例を示す図。 音素境界推定部による処理過程を示すフロー図。

図１の全体はセグメンテーション装置２００のブロック構成図を示しており、無声化位置検出装置１００と、音声特徴量抽出部２１と、音声特徴量蓄積部２２と、音素境界推定部２３と、音素モデル記憶部２４とから構成されている。無声化位置検出装置１００は有声性尺度抽出部１１と、有声性尺度蓄積部１２と、無声化判定対象決定部１３と、無声化判定対象決定ルール記憶部１４と、無声化判定部１５とから構成されている。

手動又は自動で初期セグメンテーションされた入力音声信号Ｓsは有声性尺度抽出部１１と音声特徴量抽出部２１に与えられ、初期セグメンテーションされた入力音声信号Ｓsの初期音素ラベル列Lpiはその音素ラベル境界時刻の情報と共に無声化判定対象決定部１３と無声化判定部１５に与えられる。以降の説明において、音素ラベル列は各音素ラベル境界時刻の情報も備わっているものとする。これら入力情報に基づいてこの発明による無声化位置検出装置１００とセグメンテーション装置２００の動作の概要を図２を参照して説明する。なお、時刻は音声信号の一連のフレームのそれぞれの位置を識別できる標識であればよく、例えばフレーム番号でよい。

有声性尺度抽出部１１は初期セグメンテーションされた入力音声信号Ｓcからフレーム毎に音声信号の有声音らしさを表す尺度である有声性尺度を抽出し、有声性尺度蓄積部１２に蓄積する（ステップＳ１１）。無声化判定対象決定部１３は初期セグメンテーションされた入力音声信号Ｓsの音素ラベル列Lpiに対し、無声化判定対象決定ルール記憶部１４に予め格納されている無声化判定対象決定ルールを参照し、音素ラベル列Lpiに存在する無声化判定対象音素Ｐxを検出し、その無声化判定対象音素Ｐxを含む無声化判定範囲Ｒuを決める（ステップＳ１２）。無声化判定部１５は決定された無声化判定範囲Ｒuにおける入力音声信号の有声性尺度Ｄと予め決めた閾値Dthを比較することにより、無声化判定対象音素Ｐxが無声化音素であるか否かを判定し、無声化音素であった場合は無声化音素ラベルを削除すると共に音素ラベルの境界時刻を修正し、修正音素ラベル列Lpcを生成する（ステップＳ１３）。修正された音素ラベル列Lpcは無声化位置検出装置１００の出力とされる。ステップＳ１１，Ｓ１２，Ｓ１３は無声化位置検出装置１００による処理ステップＳ１０を構成している。

更にこの発明では、音声特徴量抽出部２１により入力音声信号Ｓsからフレーム毎に音声特徴量Ｃsを抽出して音声特徴量蓄積部２２に蓄積し（ステップＳ２０）、音素境界推定部２３は無声化位置検出装置１００から出力された修正音素ラベル列Lpcに従って、音素モデル記憶部２４に予め格納されている音声特徴量を使って音素又は音素境界の特徴を表した各音素又は各音素境界の特徴を表す音素モデルＭpを参照して、フレーム毎に得られている入力音声信号Ｓsの音声特徴量Ｃsの列の音素境界を推定して再セグメンテーションし、最終的な音素ラベル列Lpfを出力する。

以下、各部の詳細を説明する。
有声性尺度抽出部１１は、入力音声信号をフレーム毎に分析して有声性尺度Ｄを出力する。有声性尺度としては入力音声信号の有声音らしさを表すものであればどのようなものでもよく、例えば特許文献１〜３に示されている入力音声信号のフレーム毎の調波構造の占有度が表す周期性指標を用いてもよい。

無声化判定対象決定部１３は入力された初期音素ラベル列Lpiから規則（ルール）に基づいて実際の入力音声信号中において無声化されている可能性のある音素を無声化判定対象音素Ｐxとして検出する。音素が無声化する条件は様々あるが、一例として音素の組み合わせが無声音／狭母音／無声音となった場合に狭母音が無声化し易い。ここではＡ，Ｂをそれぞれ無声音とし、Ｘを狭母音としてそのような音素の組み合わせをＡ／Ｘ／Ｂ（以下、ＡＸＢと簡略する）と表し、予め音素の組み合わせＡＸＢをルールとして無声化判定対象決定ルール記憶部１４に格納しておく。図３に示す表１４ＴはルールＡＸＢの例を示しており、無声化する狭母音Ｕ及びＩの例を示しているが、その他の母音も無声化する場合がある。

無声化判定対象決定部１３は図４に示すように、比較部１３１と範囲決定部１３２により構成されており、比較部１３１は入力音素ラベル列Lpiの着目する１つの音素Ｐ_jとその前後音素P_j-1, P_j+1の組(P_j-1, P_j, P_j+1)がテーブル１４Ｔに存在するかチェックし、存在する場合は、着目する音素Ｐ_jが無声化判定対象音素Ｐxであると決定し出力する。範囲決定部１３２は例えばその音素Ｐ_j（＝Ｐx ）の前の音素P_j-1の始端時刻から後の音素P_j+1の終端時刻を無声化判定範囲Ｒuと決定し出力する。無声化判定範囲Ｒuの決め方はこの例に限らず、無声化判定対象音素Ｐxを含む範囲であればどのように決めてもよい。

具体例として、図６の（Ａ）は入力音声が「記者は」の場合のセグメンテーションされた入力音声信号スペクトルパターンを示し、縦軸は周波数ｆであり、横軸は時間である。このパターンに沿って（Ｂ）に入力音素ラベル列Lpiを示す。この例では音素列KY/Ｉ/SYが比較部１３１においてルールＡＸＢにより検出され、音素Ｉが無声化判定対象音素Ｐxと決定される。更に、範囲決定部１３２により音素Ｉの前の音素KYの始端から後の音素SYの終端までを無声化判定範囲Ｒuと決定される。

無声化判定部１５は、例えば図５に示すように閾値決定部１５１と無声化判定処理部１５２とを有している。閾値決定部１５１は有声性尺度蓄積部１２から読み出した有声性尺度Ｄと入力音声ラベル列Lpiとに基づいて閾値Ｄ_thを決める。閾値Ｄ_thの具体的な決定方法の例を図７を参照して説明する。

［第１の閾値決定方法］
図７の（Ａ）は入力音声が「会議室に」の場合のスペクトルパターンであり、（Ｂ）は有声性尺度蓄積部１２に保存されている入力音声信号の有声性尺度Ｄを示しており、（Ｃ）は入力音声信号の初期音素ラベル列Lpiを示している。第１の閾値決定方法では、入力音声信号の全音素を（Ｄ）の音素分類に示すように無声音か有声音かのいずれかに分類し、無声音の全領域に渡る有音性尺度Ｄの平均値Ｄ1と、有声音の全領域に渡る有声性尺度Ｄの平均値Ｄ2を求め、これらにより閾値Ｄ_thを
Ｄ_th＝W1D1＋W2D2
として求める。ただし、W1, W2は任意の重み係数であり、W1+W2=1となるよう０〜１の範囲で予備実験的に決めてもよい。

無声化判定処理部１５２は有声性尺度Ｄと無声化判定対象決定部１３（図１）からの無声化判定対象音素Ｐxと無声化判定範囲Ｒuと閾値決定部１５１からの閾値Ｄ_thとが与えられ、図６（Ｃ）に示すように無声化判定範囲Ｒuにおける有声性尺度Ｄを閾値Ｄ_thと比較し、その比較結果に基づいて無声化判定対象Ｐxが無声化音素であるか否かを判定する。判定方法の一例として、無声化判定範囲Ｒu内の各フレームの有声性尺度Ｄと閾値Ｄ_thを比較し、有声性尺度Ｄが閾値Ｄ_thを超えないフレームの数の合計が判定範囲Ｒu内の全フレーム数の所定の割合以上であれば無声化判定対象音素Ｐxは無声化していると判定する。判定基準である所定の割合は実験的に決めるが、例えば６０〜９０％程度が妥当である。この判定方法は一例であり、他にも様々な方法が容易に考えられる。例えば無声化判定範囲Ｒu内の全フレームの有声性尺度の平均を閾値と比較してもよい。

無声化判定処理部１５２は無声化判定対象音素Ｐxが無声化音素であると判定した場合、その音素ラベルＬ_jを初期音素ラベル列Lpiから削除すると共に、無声化判定対象音素Ｐx（＝Ｐ_j）とその前の音素P_j-1との音素境界時刻を削除することにより図６（Ｄ）に示す修正された音素ラベル列Lpc（音素境界時刻情報も含む）を生成し、この発明の無声化位置検出装置１００の出力とする。

［第２の閾値決定方法］
第２の閾値決定方法は、図７（Ｅ）の音素分類に示すように入力音声信号の全音素を無声音と、各種類の母音、この例ではＡ，Ｉ，Ｕ、に分類し、無声音の全領域に渡る有声性尺度Ｄの平均値D1と、母音Ａの全領域に渡る有声性尺度の平均値D2と、母音Ｉの全領域に渡る有声性尺度の平均値D3と、母音Ｕの全領域に渡る有声性尺度の平均値D4とを求める。これらから母音Ａに対する閾値、D_th1＝W1D1+W2D2、母音Ｉに対する閾値D_th2＝W1D1+W2D3、母音Ｕに対する閾値D_th3＝W1D1+W2D4を得る。重み係数W1, W2はW1+W2＝１となるよう０〜１の範囲で予備実験的に決めてもよい。なお、全ての母音について閾値を求める必要はなく、無声化され得る母音についてのみ閾値を決めればよい。ただし、入力音声中に存在しない母音については他の予め決めた母音の閾値を利用する。

無声化判定処理部１５２は与えられた無声化判定対象音素Ｐxと同じ母音に対する閾値を閾値決定部１５１から選択取得し、前述と同様に無声化判定範囲Ｒu内の有声性尺度Ｄと比較し、無声化判定対象音素Ｐxが無声化されているか否かを判定する。その他の動作は前述と同様である。

［第３の閾値決定方法］
前記第２の閾値決定方法では入力音声信号からその中に存在する母音の種類毎に閾値を決めたが、第３の閾値決定方法では、図５に破線で示すように予め音声データベース３０に予め保持されているセグメンテーションされた任意の音声信号データから全母音の種類Ａ，Ｉ，Ｕ，Ｅ，Ｏのそれぞれについての有声性尺度平均値D2, D3, D4, D5, D6に基づいて、それぞれの母音に対する閾値をD_th1=W1D1+W2D2、D_th2=W1D1+W2D3、D_th3=W1D1+W2D4、D_th4=W1D1+W2D5、D_th5=W1D1+W2D6として求める。D1は前述と同様に無声音の全領域に渡る有声性尺度Ｄの平均値である。重み係数W1, W2はW1+W2=1となる様に０〜１の範囲で予備実験的に決める。無声化判定処理部１５２は、与えられた無声化判定対象音素Ｐxと同じ種類の母音に対する閾値を用いて前述の第２の閾値決定方法と同様に無声化音素であるか否かの判定を行い、その結果に基づいて無声化と判定された音素ラベルとそのラベルと前のラベルとの音素境界時刻を削除して修正された音素ラベル列Lpcを出力する。

上述の無声化判定対象決定部１３と無声化判定部１５による一連の処理過程の例を、母音の種類毎の閾値を使用する場合について図８を参照に説明する。ただし、有声性尺度Ｄ及び閾値D_th1, D_th2, ... はすでに求まっているものとする。

［無声化判定対象決定部１３による処理］
入力音素ラベル列Lpi中の音素ラベルの番号をｊとし、ステップＳ１２１でｊ＝１に初期設定する。ステップＳ１２２で無声化判定対象決定ルール記憶部１４内のルールＡＸＢを順次読み出し、入力音声ラベル列のｊ番目の音素Ｐ_jとその前後の音素P_j-1, P_j+1からなる連続する３つの音素P_j-1 / P_j / P_j+1の列と一致するルールＡＸＢが存在するか検査する。一致するものがなければステップＳ１２３でｊを１歩進してステップＳ１２２に戻り、次の音素ラベルＰ_jを中心とする３つの音素ラベルについて同様の検査を行う。一致するルールＡＸＢが存在した場合は、ステップＳ１２４で音素Ｐ_jを無声化判定対象音素Ｐxと決定し、無声化判定範囲Ｒuを連続する音素P_j-1, P_j, P_j+1の列の始端から終端までとする。

［無声化判定部１５による処理］
ステップＳ１３１で範囲Ｒuの総フレーム数をN_maxとし、範囲Ｒu内のフレーム番号初期値をN=1、フレーム計数値ｋの初期値をｋ=0と設定する。ステップＳ１３２で無声化判定対象音素Ｐxに対応する閾値D_thxを選択する。ステップＳ１３３でＮ番目のフレームの有声性尺度D_Nと閾値D_thxを比較し、D_NがD_thxを超えていなければステップＳ１３４でｋを１歩進することによりそのフレームを計数してステップＳ１３５に移り、閾値D_thxを越えていればそのままステップＳ１３５に進む。ステップＳ１３５でフレーム番号ＮがN_maxに達したか判定し、達していなければステップＳ１３６でＮを１歩進してステップＳ１３３に戻り、次のフレームに対しステップＳ１３３，Ｓ１３４，Ｓ１３５を実行する。ステップＳ１３５でフレーム番号Ｎが最大値N_maxに達していればステップＳ１３７でフレーム計数値ｋを最大フレーム数N_maxで割り算し、その結果が予め決めた閾値Ｒ_thより大であればステップＳ１３８で無声化判定対象音素Ｐxを無声化音素と判定し、音素Ｐ_jのラベルを削除すると共に音素P_j-1とP_jの音素境界時刻も削除し、ステップＳ１３９で入力音素ラベル列の全てのラベルについて処理が終了したか判定し、終了していなければステップＳ１２３に戻ってｊを１歩進し、再びステップＳ１２２以降を実行することをステップＳ１３９で全てのラベルについて終了するまで繰り返す。

上述した無声化位置検出装置１００から出力される修正音素ラベル列Lpcは無声化音素の削除と隣接音素との境界時刻の削除という単純処理であり、無声化音素ラベルの削除により、より正確な音素ラベル列が得られるが、セグメンテーションの位置は必ずしも正確になっていない。従って、図１のセグメンテーション装置２００ではこの発明の無声化位置検出装置１００により修正された音素ラベル列Lpcに対し再度セグメンテーションを行うことにより、より正確な音素境界時刻を有する最終的な音素ラベル列を生成する構成とされている。

セグメンテーションを行う手法は従来の自動的なセグメンテーション手法でもよいが、図１では前述のように無声化位置検出装置１００に加えて更に音声特徴量抽出部２１と、音声特徴量蓄積部２２と、音素境界推定部２３と、音素モデル記憶部２４とを設けてセグメンテーション装置２００を構成し、無声化位置検出装置１００から出力された図６（Ｄ）に示す修正音素ラベル列Lpcを用いて入力音声信号をセグメンテーションすることにより図６（Ｅ）に示す音素境界時刻の精度が高い音素ラベル列Lpfを生成する。

音声特徴量抽出部２１は入力音声信号Ｓsをフレーム毎に分析して予め決めた種類の音声特徴量Ｃsを抽出し、音声特徴量蓄積部２２に蓄積する。音声特徴量としてはどのようなものでもよく、例えば線形予測計数、音声認識などでよく用いられるMFCC（メル周波数ケプストラム係数）などでもよい。音素モデル記憶部２４には予め音声特徴量抽出部２１により抽出する音声特徴量と同じ種類の音声特徴量により予め作成した各音素又は各音素境界の特徴を表す音素モデルＭpを格納してある。音素境界推定部２３は修正された音素ラベル列Lpcのラベル順に対応する音素モデルＭpに従って、入力音声信号の各フレームの音声特徴量Csがどの音素に属するものであるかを判定する、もしくは各フレームの音声特徴量Ｃsの音素境界らしさを計算することにより、フレーム単位の精度で音素境界時刻を推定することができる。この処理により図６（Ｅ）にΔで示すように音素境界時刻が修正される。ここで、音素モデルＭpとしては、各音素の統計的スペクトルパターンや、音素境界付近・音素中心付近の音声データから構成される音素境界テンプレート、各音素の平均パターンを表すテンプレート，音素境界付近の統計的スペクトルパターンを現すマルコフモデル、などを用いることができる。

［音素境界テンプレートを用いたセグメンテーション］
以下に音素境界推定部２３において音素境界テンプレートを用いて音素境界推定を行う実施例を説明する。
ここで入力音声信号Ｓsの各フレームのｐ次の音声特徴量ベクトルをＣs=(c_s1, ..., c_sp)と表す。音素モデルとしての音素境界テンプレートは、予め音声データベース３０（図５）中のセグメンテーションされた音声信号中に存在する連続する様々な２つの音素の組から予め作成する。例えば図９にセグメンテーションされた隣接する音素/K/A/の組とその音声信号のフレーム列に対応する音声特徴量ベクトル列Ｃ_mを示す。セグメンテーションによって決められている音素境界のフレームをＦ_Bとする。音素境界フレームＦ_Bに対し前の音素Ｋの中心フレームＦ_Kとその前後それぞれｂ個の合計2b+1個のフレーム（ｂは０以上の予め決めた整数）と、境界フレームＦ_Bとその前後それぞれａ個のフレームの合計2a+1個のフレーム（ａは０以上の予め決めた整数）と、後の音素Ａの中心フレームＦ_Aとその前後それぞれｂ個のフレームの合計2b+1個のフレーム、を選択する。音素Ｋの2b+1個のフレームの音声特徴量ベクトルをそれぞれ^-1C_m1, ..., ^-1C_mK（K=2b+1とする）と表し、境界近傍の2a+1個のフレームの音声特徴量ベクトルをそれぞれ⁰C_m1, ..., ⁰C_mJ（J=2a+1とする）と表し、音素Ａの2b+1個のフレームの音声特徴量ベクトルをそれぞれ¹C_m1, ..., ¹C_mKと表すものとする。これら３つの組の音声特徴量ベクトルを連続する音素/K/A/の音素境界テンプレートＴ_mとして得る。図１の音素モデル記憶部２４に格納されている図１０に示す音素モデルの表２４Ｔ１に書き込む。テンプレートの３つの組の音声特徴量ベクトルをそれぞれテンプレートＴ_mの前部^-1T_m、中央部⁰T_m、後部¹T_mと呼ぶことにする。

図１の音素モデル記憶部２４にはこのようにして音声データベース３０（図５）のセグメンテーションされた音声信号中の２つの連続する様々な音素の組/P_j/P_j+1/について予め作成された音素境界テンプレートＴ_mが図９に示す音素モデル表２４Ｔ１として格納されている。例えば同じ音素の組/K/A/でも音素Ｋの前の音素や音素Ａの後の音素により音素境界が影響を受けるので、音声データ中の様々な/K/A/について音素境界テンプレートが作成されている。

例として、修正セグメンテーションされた音声信号中の音素列/K/A/を再セグメンテーションする場合を図１１を参照して説明する。図１の無声化判定部１５により生成された修正音素ラベル列Lpc中の音素列/K/A/の開始フレーム番号Ｎ_K、音素/K/と/A/の境界フレーム番号Ｎ、音素/A/の終端フレーム番号Ｎ_Aが得られる。従って、音素Ｋの全フレーム数をｎ_K=N-N_K、音素Ａの全フレーム数をｎ_A=N_A-Nとすると音素境界フレームＮから音素Ｋの中心フレームまでの間のフレーム数ｇはｇ＝ｎ_K/2であり、音素境界フレームＮから音素Ａの中心フレームまでのフレーム数ｈはｈ＝ｎ_A/2である。図１０の表２４Ｔ１からＫＡの音素境界テンプレートＴ_mを読み出し、テンプレート前部^-1T_mの中心フレームＦ_Kから中央部⁰T_mの中心フレームＦ_Bまでの距離をフレーム数ｇに設定し、テンプレート後部¹T_mの中心フレームＦAから中央部⁰T_mの中心フレームＦ_Bまでの距離をフレーム数ｈに設定することにより、テンプレートＴ_mの前部^-1T_m、中央部⁰T_m、後部¹T_mの相対位置を互いに固定する。これにより音声信号の音素列/K/A/に対しテンプレートの全長が設定されたことになる。

音素境界フレームＮを中心とその前後それぞれγ個の合計2γ+1フレームを探索範囲と決める。γは予め決めた１以上の整数であり、例えば全モーラの平均フレーム数の５０〜７０％程度の値とする。前述のようにして長さが固定されたテンプレートを、その中央部の中心フレームＦ_Bの位置が探索範囲の開始フレームから終了フレームまでの各フレームに位置を合わせて順次ずらし、各位置でのテンプレートＴ_mと対応する音声信号フレームの音声特徴量ベクトル間距離を計算し、それらの合計を求める。具体的には、テンプレートＴ_mの任意のフレームＦ_iとそれに対応する位置の音声信号フレームとのベクトル間距離を例えば
ｄ_i＝((c_s1 - c_m1)² + (c_s2 - c_m2)² + … + (c_sp - c_mp)²)^1/2
として求める。テンプレートＴ_mの2b+1個のフレームから成る前部^-1T_mにおけるフレームのベクトルと対応する音声信号フレームの音声特徴量ベクトルとの距離の和^-1dと、テンプレートの2a+1個のフレームから成る中央部⁰T_mにおけるフレームのベクトルと対応する音声信号フレームの音声特徴量ベクトルとの距離の和⁰dと、テンプレートの2b+1個のフレームから成る後部¹T_mにおけるフレームのベクトルと対応する音声信号フレームの音声特徴量ベクトルとの距離の和¹dをそれぞれ次のように表す。

^-1d＝(^-1d_-b + ^-1d_-b+1 + … + ^-1d_b-1 + ^-1d_b)
⁰d＝(⁰d_-a + ⁰d_-a+1 + … + ⁰d_a-1 + ⁰d_a)
¹d＝(¹d_-b + ¹d_-b+1 + … + ¹d_b-1 + ¹d_b)
テンプレートと音声信号間の距離の指標（以下、距離指標と呼ぶ）d_sumを例えば
d_sum=^-1d + ⁰d + ¹d
と決める。これにより、テンプレートＴ_mの中央部⁰T_mの中心フレームＦ_Bを音声信号の探索範囲-γ〜+γ内の１つのフレームに合わせたときの距離指標d_sumが１つ得られる。このようにして距離指標を求めることを、テンプレートＴ_mの中心フレームＦ_Bを音素境界のフレームＮを中心とする探索範囲N-γからN+γ間でのそれぞれのフレームについて順次行い2γ+1個のd_sumが得られる。これらの中で最も小さいd_sumを与えた時のテンプレートＴ_mの中心フレームＦ_Bの探索範囲におけるフレーム位置を境界候補とする。

同様にして同じ音素の組/K/A/で他のテンプレートを表２４Ｔ１から読み出し、境界候補を求めることを全ての音素の組/K/A/について行う。これにより、音素の組/K/A/に対する音素境界候補の探索範囲内における分布が得られる。この候補分布から最も尤度の高い音素境界を決めることができる。簡単な例として、分布のピーク位置に対応するフレームを音素境界と決めてもよい。その他、例えば音素列/K/A/の更に前後の音素との同様な音素境界候補分布を考慮して音素ＫとＡの境界を決めてもよい。

上述の音素境界テンプレートを用いるセグメンテーション方法に従った修正音素ラベル列Lpcに基づく音声信号の再セグメンテーションの処理過程を図１２に示す。ｊは音素ラベル列における音素ラベルの通し番号（以下、ラベル番号と呼ぶ）、従って音素の通し番号（以下、音素番号と呼ぶ）を表すものとする。図９における音素Ｋのラベル番号をｊとすると、中心フレームF_Kは以下の説明においてF_jで表される。同様に中心フレームF_AはF_j+1で表される。

ステップＳ３０１で修正音素ラベル列Lpc中の連続する２つの音素ラベルから、入力音声信号中の対応する２つの音素P_j, P_j+1の音素境界フレームＮと、前音素P_jの開始フレームN_jと後音素P_j+1の終端フレームN_j+1を得て、音素境界フレームＮから前音素P_jの中心フレームまでのフレーム数ｇと、フレームＮから後音素P_j+1の中心フレームまでのフレーム数ｈを決める。また、フレームＮを中心とする探索範囲-γ〜+γのそれぞれのフレームに対応して用意したビンB_-γ〜B_γを空にする。

ステップＳ３０２で音素モデル表２４Ｔ１から音素列/P_j/P_j+1/に対応するテンプレートＴ_mを読み出す。
ステップＳ３０３でテンプレートＴ_mの中央部⁰T_mの中心フレームＦ_Bから前部^-1T_mの中心フレームＦ_jまでの間隔をフレーム数ｇに設定し、中心フレームＦ_Bから後部¹T_mの中心フレームF_j+1までの間隔をフレーム数ｈに設定する。これによりテンプレートＴmの前部^-1T_m、中央部⁰T_m、後部¹T_mの相対位置が固定される。

次にステップＳ３０４で整数変数ｑの値を-γに設定し、最小値変数d_minを０に設定する。
ステップＳ３０５でテンプレートＴ_mの中心フレームＦ_Bを音声信号のフレームN+qに合わせて先に説明したようにテンプレートＴ_mと音声信号との間の音声特徴量ベクトル距離指標d_sum-qを計算する。
ステップＳ３０６で距離指標d_sum-qが指標の最小値d_minより小か判定する。
ステップＳ３０６で判定結果が否であった場合、ステップＳ３０７で距離指標d_sum-qを最小値d_minとし、そのフレーム番号N-qを指標最小フレームF_minとし、ステップＳ３０８に移る。ステップＳ３０６で判定結果が正であった場合、そのままステップＳ３０８に移る。

ステップＳ３０８で変数ｑの値がγと一致したか判定する。一致していない場合は全探索範囲についての処理が終了していないので、ステップＳ３０９で変数ｑを１歩進してステップＳ３０５に戻る。一致していれば全探索範囲について終了しているので、ステップＳ３１０に移る。
ステップＳ３１０で最小の距離指標を与えたフレームF_minに対応するビンB_Fminにマッチングスコア１を加算する。
ステップＳ３１１で音素P_j, P_j+1の全てのテンプレートＴ_mについて終了したか判定し、終了していなければステップＳ３０２に戻り、同じ音素の組P_j, P_j+1に対する次のテンプレートＴ_mについてステップＳ３０２〜Ｓ３１１により同様の処理を繰り返す。

ステップＳ３１１で同じ音素の組に対する全てのテンプレートについて終了していれば、ステップＳ３１２で探索範囲のビンB_-γ〜B_γに計数されているマッチングスコアの分布に基づいて最も尤度の高いビンのフレームを音素境界と決定する。
ステップＳ３１３で音声信号の全ての音素境界について処理を終了したか判定し、終了していなければステップＳ３１４でラベル番号ｊを１歩進してステップＳ３０１に戻り、次の音素ラベルの組について以下同様に処理を行う。

［音素パターンのテンプレートを用いたセグメンテーション］
もっと簡単な例として、音素の平均的パターンを表すテンプレートを用いる場合を次に説明する。例えばｐ次の線形予測計数（ＬＰＣ）を音声特徴量として用いるものとする。音素モデル記憶部２４には例えば図１３の表２４Ｔ２に示すように各音素についてその音素を例えばフレーム毎に分析して得た平均的なＬＰＣの係数ベクトルの配列C₁, C₂, C₃, ..., C_K（各係数ベクトルＣはｐ個の係数要素c₁, ..., c_pを有している）が音素の平均的パターンを表す音素モデルＭp＝(C₁, ..., C_J)のテンプレートとして表２４Ｔ２に保持されている。修正された音素ラベル列Lpcを基に、音素境界の再推定（再セグメンテーション）を行う。音素境界の推定を行う範囲（セグメンテーションの範囲）は無声化音素に対する修正を行った音素ラベル位置を含む前後の所望の範囲の音素ラベル列に対して行ってもよいし、修正音素ラベル列Lpcの全体に渡って行ってもよい。

図１４は音素境界推定部２３による処理過程の例を示す。
修正された音素ラベル列Lpc中の境界推定範囲内のｊ番目の音素ラベルＬ_jに対応する音素モデルＭp_j=(C₁, ..., C_H)と次の音素ラベルL_j+1に対応する音素モデルＭp_j+1=(C₁, ..., C_K)を音素モデル記憶部２４の音素モデル表２４Ｔ２から読み出す（ステップＳ２３１）。

入力音声信号の境界推定範囲のＮ番目のフレームの音声特徴量Cs_NとモデルＭp_jの各係数ベクトル(C₁, ..., C_H)との距離を求め、それらの内の最小距離d_Njを得て、同様に音声特徴量Cs_NとモデルMp_j+1の各係数ベクトルC₁, ..., C_Kとの距離を求め、それらの内の最小距離d_Nj+1を得る（ステップＳ２３２）。

ステップＳ２３３でd_Njがd_Nj+1以下であるか判定し、以下であればＮ番目のフレームは音素ラベルL_jに属すると判定し、ステップＳ２３４でフレーム番号Ｎを１歩進してステップＳ２３２に戻り次のフレームについて同様の処理を行う。
ステップＳ２３３でd_Njがd_Nj+1を超えていた場合は、フレームＮは次の音素ラベルL_j+1に属すると判断し、ステップＳ２３５でフレームＮを音素ラベルL_j+1の始端とする。

ステップＳ２３６で推定範囲内に音素ラベルL_j+1が存在するか判定し、存在すればステップＳ２３７でラベル番号ｊを１歩進してステップＳ２３１に戻り、次の音素ラベルについてステップＳ２３１〜Ｓ２３６の処理を繰り返す。ステップＳ２３６で音素ラベルL_j+1が存在しなければステップＳ２３８でフレームＮを音素ラベルL_jの終端とし、処理を終了する。

上述の例では入力音声信号の音声特徴量と音素モデルの係数ベクトルとの間の距離を求めることで音素ラベルの境界を検出する場合を示したが、従来の他の様々な技術を用いることができる。例えば、非特許文献１に示されているように、音素モデルＭpとして各音素の音声特徴量に基づくＨＭＭ（隠れマルコフモデル）を予め音声信号から作成し、入力音声信号の推定範囲の一連のフレームの音声特徴量の変化を推定範囲の音素ラベル列に従ったＨＭＭにおける状態変化の全ての経路についてそれぞれ尤度を求め、最も尤度の高い経路での音素境界のフレーム番号を決める方法を用いてもよい。

Claims (9)

1. 音素ごとに初期セグメンテーションされた入力音声信号の有声音らしさを表す有声性尺度をフレーム毎に抽出する有声性尺度抽出部と、
   無声化判定対象を決定する予め決めたルールを格納する無声化判定対象決定ルール記憶部と、
   上記入力音声信号の初期セグメンテーションによる音素ラベル列と音素ラベルごとの境界位置を表す境界時刻が入力され、上記無声化判定対象決定ルール記憶部のルールを参照して無声化判定対象音素と無声化判定範囲を決定する無声化判定対象決定部と、
   上記入力音声信号の有声性尺度を使って上記無声化判定範囲の有声性尺度を予め決めた閾値と比較し、その比較結果に基づいて上記無声化判定範囲内の上記無声化判定対象音素が無声化音素であるか否かを判定し、無声化音素と判定された場合はその音素ラベルを削除し、その削除にともなう音素ラベルの境界時刻を変更して修正された音素ラベル列と境界時刻を出力し、無声化音素でないと判定された場合は入力された音素ラベル列と境界時刻をそのまま出力する無声化判定部と、
   を含むことを特徴とする無声化位置検出装置。
2. 請求項１記載の無声化位置検出装置において、上記無声化判定部は、
   予め音声信号中の有声音における平均有声性尺度と無声音における平均有声性尺度を使って上記閾値を決める閾値決定部と、
   上記閾値を上記無声化判定範囲のフレームごとの入力音声信号の有声性尺度と比較し、上記無声化判定範囲内の上記閾値を超えないフレーム数の割合に基づいて上記無声化判定対象音素が無声化音素であるかを判定し、その音素ラベルの境界時刻を検出する無声化判定処理部と、
   を含むことを特徴とする無声化位置検出装置。
3. 請求項１記載の無声化位置検出装置において、上記無声化判定部は、
   予め音声信号中の、無声化となり得る母音ごとの平均有声性尺度と、無声音における平均有声性尺度とを使ってそれぞれの無声化となり得る各母音についての閾値を決める閾値決定部と、
   上記無声化判定対象音素の母音の種類に対応する閾値を上記無声化判定範囲のフレームごとの入力音声信号の有声性尺度と比較し、上記無声化判定範囲内の上記閾値を超えないフレーム数の割合に基づいて上記無声化判定対象音素が無声化音素であるかを判定し、その音素ラベルの境界時刻を検出する無声化判定処理部と、
   を含むことを特徴とする無声化位置検出装置。
4. 請求項２又は３記載の無声化位置検出装置において、上記閾値を決めるために使用する音声信号は上記入力音声信号であることを特徴とする無声化位置検出装置。
5. 請求項２又は３記載の無声化位置検出装置において、上記閾値を決めるために使用する音声信号は予め決めた任意の音声信号であり、予めセグメンテーションによりラベリングされた上記任意の音声信号と、その任意の音声信号の有声性尺度を格納する音声データベースが設けられており、上記閾値決定部は上記音声データベースに格納されている音声信号の有声性尺度を使って上記閾値を決定するように構成されていることを特徴とする無声化位置検出装置。
6. 請求項１乃至５の何れか記載の無声化位置検出装置と、
   上記入力音声信号の音声特徴量をフレーム毎に抽出する音声特徴量抽出部と、
   上記音声特徴量と同じ種類の音声特徴量により予め生成した各音素又は各音素境界の特徴を表す音素モデルを格納した音素モデル記憶部と、
   上記音素モデル記憶部の音素モデルを参照し、上記無声化位置検出装置により出力され
   た音素ラベル列に従って上記音声信号のフレーム毎の上記音声特徴量の列の音素境界を推定して再セグメンテーションする音素境界推定部と、
   を含むことを特徴とするセグメンテーション装置。
7. 音素ごとに初期セグメンテーションされた入力音声信号の有声音らしさを表す有声性尺度をフレーム毎に抽出する有声性尺度抽出過程と、
   上記入力音声信号の初期セグメンテーションによる音素ラベル列と音素ラベルごとの境界位置を表す境界時刻が入力され、無声化判定対象を決定する予め決めたルールを参照して無声化判定対象音素と無声化判定範囲を決定する無声化判定対象決定過程と、
   上記入力音声信号の有声性尺度を使って上記無声化判定範囲の有声性尺度を予め決めた閾値と比較し、その比較結果に基づいて上記無声化判定範囲内の上記無声化判定対象音素が無声化音素であるか否かを判定し、無声化音素と判定された場合はその音素ラベルを削除し、その削除にともなう音素ラベルの境界時刻を変更して修正された音素ラベル列と境界時刻を出力し、無声化音素でないと判定された場合は入力された音素ラベル列と境界時刻をそのまま出力する無声化判定過程と、
   を含むことを特徴とする無声化位置検出方法。
8. 請求項７の無声化位置検出方法により音素境界時刻が修正された音素ラベル列を生成する過程と、
   上記入力音声信号の音声特徴量をフレーム毎に抽出する音声特徴量抽出過程と、
   上記音声特徴量と同じ種類の音声特徴量により予め生成した各音素又は各音素境界の特徴を現す音素モデルを参照し、上記修正された音素ラベル列に従って上記音声信号のフレーム毎の上記音声特徴量の列の音素境界を推定して再セグメンテーションする音素境界推定過程と、
   を含むことを特徴とするセグメンテーション方法。
9. 請求項７又は８記載の方法をコンピュータで実行するプログラム。