JPH03201027A

JPH03201027A - 学習を用いた動的計画法

Info

Publication number: JPH03201027A
Application number: JP1339956A
Authority: JP
Inventors: Shin Kamiya; 伸神谷
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1989-12-28
Filing date: 1989-12-28
Publication date: 1991-09-02

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〈産業上の利用分野〉この発明は、動的計画法の改良に関する。

〈従来の技術〉通常、同じ人が同じ単語を発声してもその長さはそのつ
ど変わり、しかも時間軸に非線形に伸縮する。すなわち
、時間軸に対する不規則な許容歪みを有するのである。

そのため、例えば音声認識の際において、標準パターン
と人力音声の特徴パターンとの同じ音素同士が対応する
ように時間軸を伸縮する必要がある。その具体的な手法
として動的計画法（ＤＰ）を用いることができる。ＤＰ
マッチングは、このＤＰを用いて特徴パターンと標準パ
ターンとの時間伸縮マツチングを行う手法であり、音声
認識においては重要な手法である。

近年、発明者等は、ＤＰマツチングを応用して個人差に
よる音声信号の特徴パターン変動に対処する話者適応化
方式を提案しく中相、神谷、坂井：「音声スペクトルの
時間軸・周波数軸・強度軸の同時非線形伸縮に基づく不
特定話者の単語音声の認識」電子通信学会論文誌’８１
／２　Ｖｏｌ、Ｊ６４−Ｄ　Ｎ。

２）、実験によってその有効性を認識した。

上記話者適応化方式は、個人差による特徴パターン変動
は主に周波数軸に対する不規則な許容歪みであることに
注目して、ＤＰを周波数伸縮マツチングに用いた方式で
ある。すなわち、キーワードとして単母音／ａ／を発声
し、この母音／ａ／の定常部におけるスペクトルと標準
話者の同じ母音／ａ／の定常部におけるスペクトルとを
、周波数軸上におけるＤＰマツチングによって比較する
。そして、標準話者と人力話者との母音／ａ／のスペク
トルの周波数軸上のずれの方向を検出し、この検出され
た単母音／ａ／のスペクトルの周波数軸上のずれの方向
を単語認識の際の話者適応化に利用するしのである。

〈発明が解決しようとする課題〉しかしながら、上記話者適応化方式において（よ、単母
音／ａ／のスペクトルの周波数軸」−のずれの方向のみ
ならず、そのずれの度合いもＤＰマツチングによって正
規化しようとすると、個人差のみならず音韻差まで正規
化されてしまい、個人差は除去できても単語が認識てき
ない場合が生じるという問題がある。

そこで、この発明の目的は、予め個人差等の許容歪みの
範囲を学習することによって、パターンが有する許容歪
みを必要な範囲で正規化できる動的計画法を提供するこ
とにある。

〈課題を解決するための手段〉上記目的を達成するため、この発明の学習を用いた動的
計画法は、学習モード時において、同一カテゴリに属す
る複数の学習パターン・ベクトルと上記カテゴリに属す
る標準パターン・ベクトルとのＤＰマツチングを行って
、最適経路を行列パターンで表した複数のＤＰパス行列
を求め、次に、上記複数のＤＰパス行列における同一要
素の値を加算して累積ＤＰパス行列を求め、次に、上記
累積ＤＰパス行列における各要素の値に基づいてパス重
みを算出し、評価モード時において、入力された評価パ
ターン・ベクトルと標準パターン・ベクトルとのＤＰマ
ツチング時に両パターン・ベクトルの要素間の距離を算
出する際に、上記要素間に対応した上記パス重みの値を
用いて重み付けを行うことを特徴としている。

〈実施例〉以下、この発明を図示の実施例により詳細に説明する。

第１図はこの発明に係るＤＰマツチングにおける動作手
順の一実施例を示すフローチャートである。このフロー
チャートの説明をするに先立って、本実施例で実施する
周波数伸縮ＤＰマツチングについて、特徴パターンとし
て音声波形に基づく特徴パターンを用いた場合を例に詳
細に説明する。

上記ＤＰマツチングの際に用いられる特徴パターンは次
のようにして生成される。すなわち、音声波形をＬチャ
ンネルのフィルタ・バンクで分析し、ｉｏｍｓ（フレー
ム）毎にサンプリングする。各フレームにおけるＬチャ
ンネルの出力値は各出力値の二乗和によって正規化する
。以下、こうして求められた各チャンネルの正規化値か
らなるチャンネル系列をパワー・スペクトルと言う。こ
うして求められた二つの音声波形に係るパワー・スペク
トルを特徴パターン・ベクトルＡおよび特徴パターン・
ベクトルＢとし、両特徴パターン・ベクトルにおける各
チャンネルの出力値を表す要素値を要素値ａｉおよび要
素値ｂｊ（但し、ｌ≦ｉ、Ｊ≦Ｌ）とする。

いま、第２図に示すような特徴パターン・ベクトルＡと
特徴パターン・ベクトルＢに基づく平面を考える。両パ
ターン・ベクトル（パワー・スペクトル）の周波数の対
応付けは、この平面上の格子点ｃ−（ｉ、ｊ）の系列（
パス）で表現できる。そうすると、両パターン・ベクト
ル間の最適パス（以下、ＤＰパスと言う）に沿った距離
の総和Ｇ（以下、ＤＰスコアと言う）の値は、ＤＰマツ
チングによって（１）式に示される部分和ｇ（ｉ、ｊ）
の値を整合窓の範囲内でｉ、Ｊを増加させながら繰り返
し計算することによって求められる。

Ｇ　＝ｇ（Ｌ、Ｌ）／２　Ｌただし、ｄ（ｉ、ｊ）−ａｉ−ｂｊ（１）式に基づいて算出されるＤＰスコアの値が小さい
ほど両パターン・ベクトル間のＤＰｌくスに沿った距離
の総和が小さく、両パターン・ベクトルは整合窓の範囲
内で周波数伸縮を行った場合によく似た形状に成るパタ
ーン・ベクトルであると言える。つまり、ＤＰスコアは
両パターンが同しカテゴリに属している度合いを表して
いるのである。

第３図は（１）式に基づいて求められたＤＰスコアを与
えろ格子点ｃ（ｉ、ｊ）の系列、すなわちＤＩ）２＜ス
を表現するための行列（以下、このようなりＰバスを表
現する行列をＤＰパス行列と言う）の−例を示す。この
ＤＰパス行列は、１つのａｉに１つのｂｊが対応する（
すなわち、ｇ（ｉ、ｊ）がただ一つ存在する）場合には
、格子点ｃ（ｉ、ｊ）に“２”を与える。

また、１つのａｉに２つのｂｊが対応する（すなわち、
ｇ（ｉ、Ｄが二つ存在する：　ｇ（ｉ、ｊｔ）−ｇ（ｉ
ｊｔ））場合には格子点ｃ（ｉ、ｊｔ’）とｃ（ｉ、ｊ
ｔ）とに“ｌ”を与え、経路上にない格子点ｃ（ｉ、ｊ
）には“Ｏ”（第３図においては記載を省略）を与えた
ものである。

第３図のＤＰパス行列においては、２”が与えられた格
子点（ｉｊ）がほぼ対角線上に数多くあるため、二つの
パワー・スペクトルのパターンは周波数軸上でよく対応
付けられていると言える。

ところで、上述のように、同じ音素カテゴリに属する特
徴パターン・ベクトルであっても、話者によって周波数
軸上における許容歪みを有している。ところが、個人差
による周波数軸上の許容歪みを正規化するためにＤＰマ
ツチングにおける整合窓の範囲を必要以上に大きくする
と、上述のように音韻差までが正規化されてしまうので
ある。

そこで、この発明においては、同じカテゴリに属する種
々の特徴パターン・ベクトルとそのカテゴリを代表する
標準パターン・ベクトルとにおけるＤＰパス行列の出現
範囲を予め学習しておく（学習モード）。そして、評価
すべき特徴パターン・ベクトルと上記標準パターン・ベ
クトルとのＤＰマツチングを行う際には、両パターン・
ベクトルの要素間の距離に対して学習結果に基づく補正
を行って、周波数軸を非線形に伸縮させる場合の伸縮方
向と伸縮範囲とを自動的に設定するのである（評価モー
ド）。以下、学習モードおよび評価モードについて詳細
に述べる。

学習モード標準話者のある音素のパワー・スペクトルを標準パター
ン・ベクトルＡとする一方、複数話者の上記音素と同一
の音素のパワー・スペクトルの１つを学習パターン・ベ
クトル■３とする。そして、標準パターン・ベクトルＡ
と学習パターン・ベクトルＢとのＤＰマッチングを実施
してＤＰパス行列を求める。次に、学習パターン・ベク
トルＢを順次更新してＤＰマッチングを実施し、得られ
た全ＤＰバス行列の同一要素における値を加算すること
によって全話者に関する累積ＤＰパス行列を求める。第
４図（ｉこうして求められた累積Ｄｒパス行列の一例で
ある。この上うな累積ＤＰパス行列における高い値を有
する洛子点ｃ（ｉ、ｊ）の系列は、同一音素に属する複
数話者の特徴パターン・ベクトルとその音素の標準パタ
ーン・ベクトルとのＤＰマッチングにおいて′Ｍ繁に得
られるＤＰパス（以下、頻出ＤＰパスと言う）であると
言うことかできる。

こうして、全学習パターン・ベクトルと標準パターン・
ベクトルとのＤＰマツチングが終了すと、（２）式によ
って累積ＤＰパス行列の各格子点毎に累積値の平均値の
逆数に相当する重み（以下、パス重みと言う）を求める
。

ｐＷ（ｉ、ｊ）−Ｍ／（（ＤＰＷ（ｉ、ｊ）／（ＤＰＷ
（ｉ、ｌ）十ＤＰＷ（ｉ、２）＋・・−＋ＰＤＷ（ｉ、
Ｌ）））十Ｋ）　　　−（２）但し、　　　Ｍ・定数　
（Ｍ＞０）Ｋ：定数　０＜Ｋ＜１ｐＷ（ｉ、ｊ）：パス重みＤＰＩ（ｉ、ｊ）：累積ＤＰパス行列における要素値そして、得られたパス重みｐｗの値を記憶部に格納して
学習を終了する。

評価モード評価対象の特徴パターンとして不特定話者の音声波形か
らパワー・スペクトルが求められる。そして、この評価
対象の特徴パターン・ベクトル（以下、評価パターン・
ベクトルと言う）Ｂと学習モード時に用いられた各音素
における標準パターン・ベクトルＡとのＤＰマツチング
を行う。その際に用いる漸化式を（３）式のように変更
する。

ただし、ｄ’（ｉｊ）＝ｄ（ｉｊ）＋ｐＷ（ｉｊ）すな
わち、評価モード時においては、２つのパターン・ベク
トルＡ、Ｉ３の要素値ａｉ、ｂｊ間の距離ｄ（ｉ。

ｊ）に対してバス重みｐＷ（ｉ、ｊ）を付加するのであ
る。

その結果、上記累積ＤＰパス行列における頻出ＤＰパス
に対応した格子点ｃ（ｉｋ、ｊｋ）におけるバス重みの
値ｐＷ（ｉｋ、ｊｋ）は小さいため、その格子点ｃ（ｉ
ｋｊｋ）に対応した両パターン・ベクトルの要素値ａｉ
ｋ。

ｂｊｋ間の距離は遠ざけられることはない。ところが、
頻出ＤＰパス以外の格子点ｃ（ｉｌ、ｊｌ）におけるバ
ス重みｐＷ（ｉｌ、ｊｌ）の値は大きいため、その格子
点ｃ（ｉｌ、ｊｌ）に対応した両パターン・ベクトルの
要素値ａｉ１．ｂｊ１間の距離は遠ざけられるのである
。

こうすることによって、評価モード時のＤＰマッチング
におけるＤＰパスが頻出ＤＰパスに向かって近付けられ
て、評価パターン・ベクトルが有する周波数軸上の許容
歪みが正規化されるのである。

以下、上述のようなバス重みｐＷを用いたＤＰマツチン
グを重み付けＤＰマツチングと言う。

その際に、上記頻出ＤＰババスある幅を有している場合
には、評価モード時におけるＤＰパスがその頻出ＤＰパ
ス帯内に修正されることになる。

したがって、評価モード時におけるＤＰマツチングの整
合窓が必要以上に大きく設定されて、同一カテゴリに属
さない評価パターン・ベクトルと標準パターン・ベクト
ルとに係るＤＰババス頻出ＤＰパス札外の格子点に設定
されることが回避できるのである。すなわち、頻出ＤＰ
バス帯の範囲が取りも直さず周波数軸上の許容歪みを正
規化する範囲であると言うことができ、頻出ＤＰパス帯
によって周波数軸上の許容歪みの正規化の度合いが自動
的に設定されることになる。また、評価モード時におけ
るＤＰパスの修正は常に頻出ＤＰパス帯側に向かって修
正されるので、周波数軸上の許容歪みの正規化の方向も
自動的に設定されることになる。

上述のことから、上記頻出ＤＰパス帯の範囲をどのよう
に設定するかが重要になる。この頻出ＤＰパス帯の範囲
は、上述の学習モード時において、いかに種々の形態を
有する学習パターン・ベクトルを用いるかに係っている
。したがって、学習パターン・ベクトルを作成する場合
には、年令、性別言語環境９発生癖等を異にする多くの
話者における特徴パターンを用いればよい。

以下、本実施例におけるＤＰマツチング動作手順を第１
図のフローチャートに従って説明する。

第１図はある１つの音素に対する学習あるいは評価に関
するフローチャートである。

ステップＳｌで、処理モードが学習モードであるか否か
が判別される。その結果学習モードであればステップＳ
２に進み、評価モードであればステップＳ１２に進む。

ステップＳ２で、学習パターン数ｐに“ｌ”がセットさ
れる。

ステップＳ３で、対象となる音素におけるｐ番目の学習
パターン・ベクトルが読み出さる。

ステップＳ４で、対象となる音素の標準パターン・ベク
トルが読み出される。

ステップＳ５で、上記ステップＳ３およびステップＳ４
において読み出された学習パターン・ベクトルと標準パ
ターン・ベクトルとのＤＰマッチングが実行される。

ステップＳ６で、上記ステップＳ５におけるＤＰマッチ
ングによって得られるＤＰパスに基づいてＤＰパス行列
が作成される。

ステップＳ７で、累積ＤＰパス行列の各要素値が更新さ
れる。

ステップＳ８で、学習パターン数ｐに“ｌ”が加算され
る。

ステップＳ９で、学習パターン数ｐが全学習パターン数
Ｐになったか否かが判別される。その結果全学習パター
ン・ベクトルに対するＤＰマツチングが終了していれば
ステップＳＩＯに進み、まだ終了していなければステッ
プＳ３に戻って次の学習パターン・ベクトル対する処理
に入る。

ステップＳｌＯで、上記ステップＳ７において求められ
た累積ＤＰパス行列に基づいて、（２）式によってパス
重みｐＷが算出される。

ステップＳｌｌで、上記ステップＳＩＯにおいて算出さ
れたパス重みｐＷが記憶部に格納され、対象となる音素
に対する学習を終了する。

ステップＳＩ２で、評価パターン・ベクトルが人力され
る。

ステップＳ１３て、ある音素の標準パターン・ベクトル
が読み出される。

ステップＳ１４て、上記ステップＳｌｌにおいて記憶部
に格納された上記標準パターン・ベクトルと同じ音素に
係るパス重みｐＷが読み出される。

ステップＳ１５で、上記ステップＳ＋４において読み出
されたパス重みｐｉｔの値を用いて、評価パターン・ベ
クトルと上記ステップＳＬ３において読み出された標準
パターン・ベクトルとの重み付けＤＰマツチングが実行
され、ＤＰスコアが算出される。

そして、算出されたＤＰスコアが出力されて評価パター
ン・ベクトルに対する評価を終了する。

このように、本実施例においては、まず学習モードにお
いて、複数話者から求められた同一カテゴリに属する学
習パターン・ベクトルと上記カテゴリに属する標準パタ
ーン・ベクトルとのＤＰマッチングを行い、複数のＤＰ
パス行列を求める。そして、各ＤＰパス行列の同一要素
における値を加算して累積ＤＰパス行列を求める。こう
して、総ての学習パターン・ベクトルに対するＤＰマツ
チングが終了すると、累積ＤＰパス行列の要素値に基づ
いてパス重みｐＷを算出する。

一方、評価モードにおいて、入力された評価パターン・
ベクトルとあるカテゴリに属する標準パターン・ベクト
ルとに対して、そのカテゴリに係るパス重みｐＷによっ
て両パターン・ベクトルの要素間の距離に重み付けを行
う重み付けＤＰマツチングが実行される。その結果、評
価モード時におけるＤＰパスが、学習モードによって得
られた累積ＤＰパス行列における頻出ＤＰパスに向かっ
て修正されるのである。

また、学習モード時において、種々の学習ノくターンを
用いて上記頻出ＤＰパスがある幅を有するように学習す
れば、頻出ＤＰパス帯外に対応する両パターン・ベクト
ルの要素間の距離が遠ざけられる。その結果、評価パタ
ーン・ベクトルにおける周波数軸上の許容歪みが頻出Ｄ
Ｐパス帯の範囲で正規化されるのである。

すなわち、各カテゴリ毎に、種々の学習ｌくターンと標
準パターンとのＤＰマ・ソチングによってＤＰパス行列
上にわけるＤＰパスの頻出箇所とその頻出箇所の範囲（
ｇ人差の範囲）を予め学習し、その学習結果を評価時に
利用することによって評価時におけろｌ）　Ｉ）マツチ
ングによる個人差（周波数軸上におけろ許容歪み）の正
規化の方向とその度合いが自動的に設定されるのである
。したがって、本実施例によれば、個人差を必要範囲で
肥規化できる。

上記実施例にわける学習動作手順のフローチャートにお
いて、予め記憶した学習パターンを読み出さずにその都
度入力するようにしても何等差し支えない。

上記実施例の説明においては、用いられるＤＰマツチン
グとして周波数伸縮マツチングを例として説明している
が、この発明はこれに限定されるものではない。すなわ
ち、特徴パターンが有する許容歪みの内容に応じて、例
えば時間伸縮マツチングあるいは空間位置を伸縮する空
間位置伸縮マツチング等を用いてもよい。また、例えば
時間伸縮マツチングと周波数伸縮マツチングとを併用し
てもよい。

上記実施例においては、入力音声波形の特徴パターンを
認識する場合を例に上げて説明している。

しかしながら、この発明はこれに限定されるものではな
く、文字画像の特徴パターンを認識する際に用いても構
わない。その際には、用いるＤＰマツチングとして上記
空間伸縮マツチングを用いればよい。

〈発明の効果〉以上より明らかなように、この発明の学習を用いた動的
計画法は、学習モード時においては、複数の学習パター
ン・ベクトルと標準パターン・ベクトルとのＤＰマツチ
ングによって累積ＤＰパス行列を求め、この累積ＤＰパ
ス行列の各要素の値に基づいてパス重みを算出し、評価
モード時において評価パターン・ベクトルと標準パター
ン・ベクトルとのＤＰマッチングを行う際には、両パタ
ーン・ベクトルの要素間の距離を上記パス重みの値によ
る重み付けを行って算出するので、評価モード時におけ
る最適経路は上記累積ＤＰパス行列において高い値を有
する要素の系列からなる頻出最適経路に向かって修正さ
れる。

すなわち、学習モード時において、種々の学習パターン
を用いて上記頻出最適経路がある幅を有するように学習
しておけば、評価モード時において、評価パターン・ベ
クトルが有する許容歪みが上記頻出最適経路帯側に向か
って頻出最適経路幇の範囲で正規化されるのである。

したがって、この発明によれば、種々の学習パターンを
用いて個人差等の許容歪みの範囲を予め学習し、その学
習結果を評価時に利用して許容歪みの正規化の度合いを
自動的に設定し、許容歪みを有するパターンの許容歪み
を必要な範囲で正規化できる。

【図面の簡単な説明】

第１図はこの発明に係るＤＰマツチング動作手順のフロ
ーチャートの一実施例を示す図、第２図はＤＰパス行列
のひな型を示す図、第３図はＤＰパス行列の一具体例を
示す図、第４図は累積ＤＰパス行列の一具体例を示す図
である。

Claims

【特許請求の範囲】

（１）学習モード時において、同一カテゴリに属する複
数の学習パターン・ベクトルと上記カテゴリに属する標
準パターン・ベクトルとのＤＰマッチングを行って、最
適経路を行列パターンで表した複数のＤＰパス行列を求
め、次に、上記複数のＤＰパス行列における同一要素の値を
加算して累積ＤＰパス行列を求め、次に、上記累積ＤＰ
パス行列における各要素の値に基づいてパス重みを算出
し、評価モード時において、入力された評価パターン・ベク
トルと標準パターン・ベクトルとのＤＰマッチング時に
両パターン・ベクトルの要素間の距離を算出する際に、
上記要素間に対応した上記パス重みの値を用いて重み付
けを行うことを特徴とする学習を用いた動的計画法。