JPH0352085A - 自己組織化ネットワークを用いた話者照合方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 薮棗立夏 本発明は、音声により話者の同定を行う話者照合方式，
例えば、バンキングサービス，個人情報へのアクセス，
機密保管場所への入室管理等の音声キー（Ｋｅｙ）−玩
具等の応答装置の検出回路等に応用可能なものである． 従来庄曜 自己組織化ネットワークを用いた話者照合に関して、従
来、例えば、中村，その他１９８ｇ　電子情報通信学会
全国大会Ａ−１−１５　［自己組織化ネットワークを用
いた話者照合］；中村、その他ｌ９８９電子情報通信学
会全国大会［自己組織化ネットワークを用いた話者照合
２］；中村、その他ｌ９８８　　東京電機大学工学部研
究報告　Ｐ１９〜［自己組織化ネットワークを用いた話
者照合］等の報告がある。これらの内容は，詳Ｊｉｌ（
スペクトルの分解能、実験等）を除き根本的に同じで、
要約すれば、まず、音声スペクトルを粗く量子化し，ま
ｆ　（０，１，−１）のベクトル時系列として扱い、次
に，スペクトル時系列を類似するフレーム毎に数フレー
ムづつまとめて１つの状態とし、スペクトル時系列をい
くつかの時系列状態に分割する．この状態の遷移の様子
を学習によってｇ合せ、状態のネットワークを形成する
．これを自己組織化ネットワークと呼ぶ．話者照合にお
いては，このネットワークを話者ごとに作成し，未知話
者の音声と登録話者のネットワークとの対応づけを行な
い、このＷｉ似度が所定の閾値以下である時に本人であ
るＬ照合する。

また、本出願人は、先に、音声スペクトルを粗く量子化
し，まず（０，ｌ，−１）のベクトル時系列として扱い
，次に，これを用いてスペクトル時系列を類似するフレ
ームをいくつかまこめて１つの状態とし，スペクトル時
系列をいくつかの状態に分割し，この状態の遷移の様子
を学習によって組合せ，状態のネットワークを形成する
（これを自己組織化ネットワークと呼ぶ）音声認識装置
について提案した。この音声認識においては，このネッ
トワークを単語ごとに作威し、未知音声と登録音声のネ
ットワークとの対応づけを行ないこの類似度が最も大き
い単語を該当単語として出力するようにしている． 上述のように，音声より個人を識別するためには，スペ
クトル包絡、平均ピッチ周波数ヒいった音響バラメー゛
夕を用いてＤＰマッチングを行なったり、母音定常部な
どの音響パラメータの平均値、標準偏差等統計量を導入
した方式などがとられていた。音響中のホルマントとそ
の遷移状態は、個人性を表しているといわれているが、
これをうまく記述し，ホルマント及びその遷移状態を認
識に用いられるような形にした方式はなかった。

瓦一一枚 本発明は，上述のごとき実情に鑑みてなされたもので，
特に、ホルマントの時間遷移情報を状態の遷移という形
でとらえ，これを記述して話者照合を行なうことを目的
とするものである。

豊一一處 本発明は，上記目的を達或するために，入力音声を数ｍ
　８ｅｌＣ毎のフレームに分割し、そのフレームごとに
スペクトルに変換する手段と，音声区間のスペクトルを
所定閾値によって１，Ｏ，−１の３値に粗く量子化する
手段と，この１，Ｏ，−１のスペクトルパターンを時系
列のベクトル列として扱い、辞書作成時には，時間軸上
で類似した数フレームをまとめて同一の状態とする手段
と、この状態を用いて登録時に発声された複数の入力音
声との整合が取れるようにネットワークを作成する手段
と，照合時には、未知話者の音声スペクトル０，１，−
１時系列パターンを本人のネットワークに入力して，入
力音声の各フレームの０．１，−１スペクトルパターン
と本人の各状態との要素間での内積を計算して、ネット
ワークと入力音声との対応を調べ，内積値，ネットワー
クの遷移結果等を基に未知音声が本人の音声であるか否
かを判定することを特徴としたものであり，更には，辞
書登録時に本人の音声の他に詐称者の音声を用いて，本
人の特徴（詐称者が通らない状態，通りずらい状態）を
強調する話者照合用のネッ１へワークを構成することを
特徴とするものである，上述のように，本発明は、ホル
マントの時間遷移情報を状態の遷移という形でとらえ，
これを記述して話者照合を行うものであり、このため、
先に音声認識用に開発された自己組織化ネットワークを
話者照合に応用するものである。これによってホルマン
トの時間変化を用いた話者照合が実現でき個人性情報の
時間変化（遷移）を取入れた高精度かつ辞書容量、ハー
ド規模の小さなシステムを作或することができる。

本発明では、まず、入力音声を数ｍ　ｓｅｃ毎のフレー
ムに分割し、そのフレームごとにスペクトルに変換する
、入力音声から音声区間のみを検出したのち、音声区間
のスペクトルを所定閾値によって１．０，−１の３値に
粗く量子化する。これによってスペクトルのホルマント
位置を記述する。

次に，この０，１，−１のスペクトルパターンを時系列
のベクトル列として扱い、辞書作成時には，時間軸上で
類似した数フレームをまとめて同一の状態とする。この
状態を用いて登録時に発声された複数の入力音声との整
合が取れるようにネットワークを作成する（自己組織化
ネッ１・ワーク）。

照合時には、未知話者の音声スペクトル０，１，−１時
系列パターンを本人のネットワークに入力して、入力音
声の各フレームの０，ｌ．，−１スペクトルパターンと
本人の各状態との要素間での内積を計算して、ネットワ
ークと入力音声との対応を調べ、内積値、ネットワーク
の遷移結果等を基に未知音声が本人の音声であるか否か
を判定する．なお、辞書登録時に本人の音声の他に詐称
者の音声を用いて、本人の特徴（詐称者が通らない状態
、通りずらい状ＭＡ）を強調する話者照合用のネットワ
ークを構或することもできる． 更に本発明の内容を要約すれば、音声スペクトルを粗く
量子化し、まず（０，１，−１）のベクトル時系列を作
成する．次に、これのスペクトル時系列を類似するフレ
ームをいくつかまとめて１つの状態として扱い，スペク
トル時系列をいくつかの状態に分割する。この状態の遷
移の様子を学習によって組合せ，状態のネットワークを
形成する．これを自己組織化ネットワークと呼ぶ．この
ネットワークを話者ごとに作成し、未知話者の音声と登
録話者のネクトワークとの対応づけを行ない、この類似
度が所定の閾値以下である時に本人であると照合する．
以下，本発明の実施例に基づいて説明する． 第１図は、本発明の一実施例を説明するための話者照合
システムのブロック図で、図中，１はマイクロフォン、
２は特徴抽出部，３はネットワーク部，４は決定部．５
は学習アルゴリズム部で，第２図に，上記特徴抽出部の
詳細図、第３図（ａ）〜（ｃ）にそれぞれ第２図のＡ−
Ｃ部における出力信号を示す． まず、マイク１から入力された音声信号は，特徴量抽出
部２にて，数ｍｓごとにフレームに分割されてスペクト
ルの時系列に変換される．この手段としては，スペクト
ルに関しては，Ｍえば入力音声をローバスフィルタ（Ｌ
ＰＦ）によってサンプリング周波数の１７２以上の成分
をカットした後Ａ／Ｄ変換器によって離散的な信号列に
量子化し、さらにこれを短時間の波形毎に切り出してハ
ミングウインドウ等を剰じて窓掛けを行い，スペクトル
に変換しても良いし、またはバンドバスフィルター群を
用いてスペクトルに変換しても良いし、またはバンドパ
スフィルター群を用いてスペクトルに変換し時系列情報
を得ても良い．ここでは、８チャンネルのバンドパスフ
ィルターを用いた例にて説明する，いま、時刻ｉにおけ
るフレームのスペクトルｆｉｊは， ｆ　ｘｊ＝（ｆ　１１７　ｆ　ｘ２，　−−　−　＋　
ｆ　ｉ８）　　（ｊ＝ＬＬ−，８）この音声スペクトル
は、音声信号のパワースペクトルの時系列そのものであ
る．そこで音声のローカルピークを強調したホルマント
の抽出を容易にするために，このスペクトルの時系列パ
ターンを第２１！Ｉに示す特ｙＩｌ抽出部内部の空間フ
ィルターによって処理する．この空間フィルターは，時
間軸方向にはローバスフィルター、周波数軸方向にはハ
イバスフィルターの特性をもつ。空間フィルターによっ
て処理されたスペクトル包絡よりネットワークを構成す
るが，さらにホルマントの位置を明確にし，またネット
ワーク化の際モデル化しやすいようにこのローカルピー
クパターンを３値に粗く量子化する．量子化の際の閾値
としてはローカルパターンの正負それぞれの側の最大値
の例えば１５％とし、これはｌフレームごとに行なう．
このように粗く量子化を行なうと音声の変化の乏しい部
分では，同じパターンのフレームが数フレームから十数
フレーム連続することになる．そこで、同じ部分を圧縮
して全体の情報量の削減を行なう。ここで圧縮したフレ
ーム数は１つの情報として残しておく。最終的にこの圧
縮した３値化ローカルピークパターンを用いてネットワ
ークを構成する．ネットワークの作成は，以下の手順で
行なう． 圧縮したローカルピークパターンの各フレームはそれぞ
れ１，Ｏ，−１の３値を持つ８次元のベクトルとみなす
ことができる。そこでこの１フレームの３Ｍのパターン
を状態遷移図における１つの状態とみなしてネットワー
クを構成する。この様子を第４図に示す．ネットワーク
の１つ工つの状態はそれぞれ１，Ｏ，−１の３値のパタ
ーンにより構威される．このことは、この状態１つ１つ
が音声の短時間スペクトルのパターンを記憶しているこ
とになるのは明らかである．また、各状態は，その状態
が何フレーム続いたかという情報も記憶している．この
ことを同じ話者の他の発声について行なうと，同じ言葉
であればほぼ同じ様なネットワーク（もちろん１回の発
声で作威したネットワ゛−クはそのパスの数は１通りし
かない）ができるが、音声には当然僅かに変動がある。

そこでその変動を吸収し、ネットワークに柔軟性を持た
せるためにネットワークの学習を行なう。ネットワーク
の学習は、元のネットワークに新たなパスを付加えてい
くことによって行なわれる．第５図にこのようすを示す
。この時、元のネットワークと新たに付加えるネットワ
ークとの間で、一紋している状態を見つけるためにこの
２つのネットワーク間でＤＰマッチングを行なう．元の
ネットワークが複雑な場合は，可能な全てのバスにっい
てＤＰマッチングを行ないその距離が最も小さいパスに
新しいバスを付加えていく．これによって複雑なネット
ワークに新しいネットワークを付加える時に最も付け加
えるネットワークに似ているバスを、元のネットワーク
から探すことができる． 照合には前述のネットワークとローカルピークパターン
（空間フィルターを通過した後のスペクトル包絡パター
ン）を用いる．ローカルピークパターンはネットワーク
に入力される．ここで、ネットワークの各状態は、１，
０，−１の８次元のベクトルとみなせ、ローカルピーク
パターンの１フレームも８次元のベクトルとみなせるの
で，この両者の内積を取ることができる．この内積値を
現在の入力のローカルピークのフレームと状態との類似
度として用い、その大小を状態遷移の判断条件として用
いる。第６図に具体例を示す．いま，ネットワークのＡ
の状態からスタートする，このとき、入力のローカルピ
ークパターンの現在の入力フレームが第６図に示したも
のであったとすると、Ａは８次元のベクトル、入力のフ
レームも８次元のベクトルだから内積を取ることができ
る．その値は、 工え　＝　　ＳＡ−Ｐ（ｔ）　　　　　　　　（１）Ｉ
Ａ　：　状ｆｉＡと入力フレームとの内積値ＳＡ　：　
状履を示すベクトル Ｐ（ｔ）：　　入力の１フレーム 但し．通常の内積の場合は ｏｘｏ＝ｏ となり、一致しているにも関わらず得点とならない．そ
こでこの場合には特別に ＱＸＯ＝１０ とする． 内積をとるのはＡだけでなく、Ａより遷移可能な２つの
状態Ｂ，Ｂ’ともそれぞれ内積を取る．この時それぞれ
の内積値が第６図の様に■珍＞工１＞ｚえ となった場合にＡよりＢに状態を遷移させる．また、 Ｉ　Ｂ＞　ｒ　Ａ＞　Ｉ　ｎ・ となった場合もＡよりＢに状態を遷移させ，Ｉ　Ｆ＞　
Ｉ　Ａ＞　Ｉ　！１ の場合はＡよりＢ′に状態を遷移させる．もし，Ｉ　Ａ
＞　Ｉ　ｎ＞　Ｉ　，　　または　Ｉ　ａ＞　Ｉ　１＞
　Ｉ　ｎであったらＡに留る，ただし、Ａに留っていら
れるＦＲＩ１ｌＩは制限されており、それはデータ圧ｍ
時の圧縮されたフレーム数によって決る．この制限時間
を越えてもまだＡより遷移できなければＡの発火は終了
し、ＡよりＢ．Ｂ’に遷移することはできなくなる．こ
のようにして、入力に対して状態を遷移させていきネッ
トワークの最後まで遷移が達した場合を本人として受理
し、途中でとぎれてしまったｌ）Ｍ後まで遷移できなか
った場合は他人として棄却する．また、判断．１！準と
なる他のパラメータとして！ｗ似度をもちいる．これは
、まず（１）式を一般化し、 ｎ ただし、 Ｉ（ｔ）：　　時刻ｔの内積出力値 Ｗｉ　：　状態ベクトル Ｘｉｔ　　：　　時刻ｔの入力フレームベクトルｎ　　
：　ベクトル要素数 とする．ここで，状態と入力フレームの内積和，全入力
フレームに関する内積和を計算してこれを各々 Ｎ ｔ＝Ｏ　　ｉ＝０ ただし、 Ｎ　：　総入力フレーム数 とする． ここで、類似度Ｓｉ層を次のようにして定義する．Ｓｉ
ｎ　　＝　　Ｉｓ’ｕｍ／　Ｉｍａｘ　　　　　−　（
５）このＳｉ膳は１に近いほど本人で有ることを示す．
また、上記２つのパラメータを組合せて、新たなる評価
基準Ｐを Ｐ　＝　ＷＯ・Ｒｅ　＋　１１　・Ｓｉｎ　　　　　−
　（６）として導入し，Ｐが所定の閾値θより大きけれ
ば本人と断定し，それ以下の時は詐称者としても良い．
（６）式でＲｅは、遷移が最後までいったかどうかを示
す定数でＯか１の値を取る．また、ｖＯ，Ｉｆ）１は各
パラメータへの重みである．第７図に別の状態ベクトル
の作り方を示す．この例では，辞書作成時に本人の音声
の他に詐称者の音声を用いて，本人の特徴（詐称者が通
らない状態，通りすらい状態）を強調する話者照合用の
ネットワークを構成するものである．例えば、第７図（
ａ）のように話者ＳＰＩのネットワークができ上がって
いるものとする．このネットワークに（ｂ）の様に遷移
する話者ＳＰ２の音声を入力すると、（ａ）のネットワ
ークにおいてＢ′を通って最後まで遷移してしまう．こ
のときは，Ｂ′を通っても最後まで状態が遷移してしま
うためにＳＰ２を本人であると認識してしまう。そこで
、この不都合を無くすために，Ｂ′を通った時の内積値
の計算を以下で示すように変更し、内積値が小さくなる
ように操作する． ここで、Ｗｅｉｇｈｔとしては、例えば−１，−０．５
．０．２，０．５などといった発火を抑制する形で与え
ればよい．これにより、遷移を抑制したり，類似度を小
さくしたりできこれによって詐称者受理率を小さくでき
る．なお、ここでは本人の他に詐称者の音声も参照して
状態のＷｅｉｇｈｔを求めたが、本人が発声する複数の
音声サンプルを用いて，これによクて形成されるネット
ワーク中ほとんど通らない状態に関しても同様の処置を
しても良い．羞一一果 以上の説明から明らかなように，本発明によると、ホル
マントの時間遷移情報を状態の遷移という形でとらえ，
これをうまく記述して話者照合を行なうものであり、こ
れによって、ホルマントの時間変化を用いた話者照合が
実現でき，４１人性情報の時間変化（遷移）を取入れた
高精度かつ辞書容量，ハード規模の小さなシステムを作
或することができる．本発明によると，人間の学習過程
の状況を反映するように記述できるため学習に依るネッ
トワークの増殖、切断が行なえ汎用性のあるシステム構
築ができる． 更には、辞書登録時に本人の音声の他に詐称者の音声を
用いて，本人の特徴（詐称者が通らない状態、通りずら
い状態）を強調する話者照合用のネットワークを構成す
ることができ詐称者受理率を減らすことができる等の利
点がある。

【図面の簡単な説明】

第１図は、本発明の一実施例を説明するための話者照合
システムのブロック図、第２図は、第１，図に示した特
徴抽出部の詳細図、第３図（ａ）〜（ｃ）は、それぞれ
第２図のＡ−Ｃ部の信号波形図、第４図は、ネットワー
ク化の一例を説明するための図、第５図は、ネットワー
クの学習の一例を示す図、第６図は、状態遷移の具体例
を示す図、第７図は，状態ベクトルの作り方を示す図で
ある．１・・・マイクロフォン，２・・・特徴抽出部、
３・・・電気回路網、４・・・決定部、５・・・学習ア
ルゴリズム部．第 ４ 図 第 ５ 図 第 Ａ−Ｐ（ｔ）　−　１０１ Ｂ′・Ｐ（ｔ）　＝　１２３ ８　−Ｐ（ｔ）　−　１２８ ，”，　Ａ　−８ （（７１ ＳＰＩ 〈ｂ＋ ＳＰ２

Claims (1)

【特許請求の範囲】
1. １、入力音声を数ｍｓｅｃ毎のフレームに分割し、その
   フレームごとにスペクトルに変換する手段と、音声区間
   のスペクトルを所定閾値によって１、０、−１の３値に
   粗く量子化する手段と、この１、０、−１のスペクトル
   パターンを時系列のベクトル列として扱い、辞書作成時
   には、時間軸上で類似した数フレームをまとめて同一の
   状態とする手段と、この状態を用いて登録時に発声され
   た複数の入力音声との整合が取れるようにネットワーク
   を作成する手段と、照合時には、未知話者の音声スペク
   トル０、１、−１時系列パターンを本人のネットワーク
   に入力して、入力音声の各フレームの０、１、−１スペ
   クトルパターンと本人の各状態との要素間での内積を計
   算して、ネットワークと入力音声との対応を調べ、内積
   値、ネットワークの遷移結果等を基に未知音声が本人の
   音声であるか否かを判定することを特徴とする自己組織
   化ネットワークを用いた話者照合方式。