JP2637760B2 - パターン学習・生成方式 - Google Patents

Description

【発明の詳細な説明】 〔発明の概要〕 パターンの学習・生成方式に関し、 実世界のデータの効率的な学習を可能にし、かつ早く
収束することができるようにすることを目的とし、 入力層、多段の中間層、多段の出力層、および最終出
力層からなるニューラルネットワークを用い、入力層に
入力系列を加え、最終出力層は多段の出力層の各出力の
重み付け平均をとってこれを最終出力とし、入力層と中
間層との間の重み係数あるいは中間層と出力層との間の
重み係数のいずれか一方の重み係数をランダム化し、各
段独立に学習させるようにしたパターン学習・生成方式
において、上記入力層の各点から全ての段の中間層の各
点に対して結線し、中間層から出力層へは各段内でその
段の中間層の各点からその段の出力層の各点に対して結
線し、上記入力層に加えられた入力系列を、ずらして各
段の中間層に与えるように構成した。

〔産業上の利用分野〕

本発明はパターンの学習・生成方式に関し、合成音声
の生成、音声認識などに有効であるが、広く時系列デー
タを含む一般的なパターンに適用可能である。

合成音声の生成には、登録されたメッセージであれば
パーコール方式があり、これは音声の特徴を抽出し、抽
出されたパラメータから情報圧縮して、音声出力する。
登録されたものではない任意の文章（文字列）の合成音
声の生成にはいわゆる規則合成法が用いられている。規
則合成法は人間の話し方をルール化し、このルールで文
字列を合成音声化するものである。規則合成法は比較的
小規模なシステムでも合成音声が生成できる反面、少し
品質の高い合成音声を作ろうとする場合ルールが複雑化
するとともに、一般的な規則を見つけることが、音声の
基本的問題点と密接に関連していて容易でなく、自然な
合成音声を作ることが困難で、機械的、非人間的音声に
なってしまう。

ニューラルネットワーク（人間の脳をまねたネットワ
ーク）を用いた学習システムを導入することにより、規
則合成法に比べてより自然な合成音声を作ることが可能
である。ニューラルネットワークは、空間にパラメータ
を分布させ、それに覚え込ませるもので、低精度なもの
を並列に多数並べることにより精度を上げ、規則を指示
するではなく学習で覚え込ませるという手法をとる。１
と０の記号列と記号列の学習であり、各々、決められた
場所に符号が立っているか否かで学習ができ、可成り粗
い手法でも成功を収めることが多い。

ニューラルネットワークを用いてテキスト（文字列）
から自然な合成音声を自動生成するシステムは、テキス
トから音韻系列に変換する部分と、音韻系列から合成音
声を生成させる部分からなる。前者の文字列を音韻系列
に変換する部分については、文字列（1/0の状態）の学
習で済むが、音韻系列から合成音声を生成させる部分に
ついては、高精度なアナログデータの学習をしなければ
ならず、今まで困難であった。本発明は音韻系列から音
源／声道パラメータを出力する部分に用いても有効なパ
ターン学習・生成方式に係るものである。

〔従来の技術〕

ニューラルネットワークで用いるアナログニューロン
素子は第５図に示すように重み係数w_ij用の抵抗と加算
器Σと出力関数f_jからなり、入力x_i・しきい値θ_ｊを受
けて次式で表わされる出力z_i,内部変数y_jを生じる。

z_j＝f_j（y_j）（_ｊ＝1,2,……_Ｊ） ……（２） ここでＩは入力素子の数、Ｊは出力素子の数である。
ニューラルネットワークモデルとしては第６図に示す入
力層、中間層（hidden layer;隠れ層）、および出力層
からなる３層構造のモテルが用いられている。重み付け
は入力層と中間層の間、および中間層と出力層の間で行
なわれる。

入力層の任意の一点をx^h _is,_ip（１≦is≦IS,1≦ip≦I
P,ISは入力層における系列の数、IPは系列の一つが持つ
素子数）とし、中間層の任意の一点をz^h _j（１≦ｊ≦J,J
は中間層の素子の数）とする。このとき、入出力関係
は、 となる。同様にして、中間層から出力層への入出力関係
は、 但し、x^o _j≡z^h _jであり、また１≦ｋ≦Ｋ（Ｋは出力層
の素子の数）である。

以下に従来技術において用いられるバックプロパゲー
ション学習アルゴリズムを示す。但し、z^h _j,z^o _kをまと
めてz_jと、またx^h _is,_ip,x^h _jをまとめてx_Jと、またf^h _j,f
^o _kをまとめてｆと書くことにする。

目標入力（望ましい出力；ターゲット）をt_jとし、目
標値t_jと実際の出力z_jとの誤差の二乗和が最小になるよ
うに、重みw_ijを修正する（修正量をΔw_ijとする）。簡
単化のため、しきい値θ_ｊの値は０とする。即ち出力誤
差Ｅを とおき、（1/2は、後で微分をとったときに係数２が消
えるようにするもの）、次式に基づく学習法（最急降下
法；誤差の傾斜が最も急になるように重み修正量Δを決
める）をとる。

Δw_ij∝−∂E/∂w_ij ……（６） ここで、式（５）より、次式が成立する。

∂E/∂z_j＝−（t_j−z_j） ……（７） いま、 ∂E/∂w_ij＝∂E/∂y_j・∂y_j/∂w_ij …（８） であるので、式（１）より となる。つぎに、 δ_ｊ＝−∂E/∂y_j ……（10） と置くと、式（８）と式（９）より −∂E/∂w_ij＝δ_jx_i ……（11） であり、これと式（６）の仮定より Δw_ij＝αδ_jx_i ……（12） となる。つぎに、δ_ｊを計算する。式（10）より δ_ｊ＝−∂E/∂z_j・∂z_j/∂y_j であるので、式（７），式（２）を考慮すると、出力層
における誤差の後向き伝播量δ^o _kは δ^o _k＝（t_k−z^o _k）ｆ′_ｋ（y^o _k） ……（13） となる。また、出力層以外（中間層）における誤差の後
向き伝播量δ^h _jは次のようになる。

特に、出力関数ｆ（・）をロジスティック曲線 z_j＝1/（１＋exp（−y_j）） ……（15） とする（z_jはy_jが０のとき1/2で、それよりy_jが正に増
大すると１に、負にも増大すると０に、飽和曲線を画い
て近ずく）と、 ｆ′_ｊ（y_j）＝z_j（１−z_j） ……（16） であるので、式（13）と式（14）は、各々 δ^o _k＝（t_k−z^o _k）z^o _k（１−z^o _k） ……（17） となる。これらにおいて，式（12）より、中間層と出力
層の間の重みw^o _jkの修正量Δw^o _jkは Δw^o _jk（ｎ＋１）＝αδ^o _kx^o _j ……（19） または、 Δw^o _jk（ｎ＋１）＝αδ^o _kx^o _j＋βΔw^o _jk（ｎ） ……（20） となる。これに対し、入力層と中間層の間の重みw^h _ijの
修正量Δw^h _ijは Δw^h _ij（ｎ＋１）＝αδ^h _jx^h _i ……（21） または、 Δw^h _ij（ｎ＋１）＝αδ^h _jx^h _i＋βΔw^h _ij（ｎ） ……（22） となる。以上の展開より、従来法の学習では、入力層か
ら中間層を経て出力層へ、図のモデルを用いて各々の出
力値を計算し、ついで，式（17），（18）と式（20），
（22）を用いて重み修正をすることにより、パターンの
学習を行っている。つまり、バックプロパゲーションに
よる学習では、学習用のデータを入力し結果を出力する
（前向き；フィードフォワード）、結果のエラーを減ら
すように結合の強さを変える（後向き；フィードバッ
ク）、再び学習用データを入力する、これを収束するま
で繰り返す、という方法をとる。

〔発明が解決しようとする課題〕

ニューラルネットワークを用いた合成音声自動生成シ
ステムは、規則合成法に比べて一層自然な合成音声を生
成することができる。理由は規則合成法が音韻変化の特
徴を全て規則として既述しなければならず、かつこれが
困難であるのに対し、ニューラルネットワークを用いた
学習法を導入すると、音韻環境を伴う入力と実音声より
得られた目標出力をセットで学習することが可能にな
り、自然な音韻環境をネットワークの中に取り込むこと
が可能になるからである。しかし、現在までに提案され
ているニューラルネットワークを用いた学習方式では、
特定の音韻環境以外を学習することは困難である。これ
は、従来技術を用いるとデータ同士が直交しているもの
以外の学習が困難であり、学習の途中で今迄の学習結果
が破壊されることが多く、かつ学習の収束性が極めて悪
いことによる。

本発明はかかる点を改善し、実世界のデータ（必ずし
も直交していないデータ）の効率的学習を可能にし、か
つ早く収束することができるようにすることを目的とす
るものである。

〔課題を解決するための手段〕

第１図に示すように本発明ではニューラルネットワー
クを入力層10、中間層12、出力層14、最終出力層16で構
成し、中間層と出力層は多段にする（多重化する）。

入力層10は１段であり、内部にＩ＝IS×IPの点（素
子）を持つ。ここでISは、入力を系列としたときの該系
列の持つ個数であり、IPは系列の１点が持つ列（ベクト
ル）の中の素子の個数である。

中間層12の段数はＭ段であり、ここでは中央のものを
H₀、最上段をH__{（Ｍ−１）/2}、最下段をＨ_{（Ｍ−１）/2}
としている。出力層14もＭ段とし、ここでは同様な符号
付けをしている。最終出力層16は１段である。

入力層の全ての点から、全ての段の中間層の全ての点
に対し結線し、中間層から出力層へは各段内において、
当該段の中間層の全ての点から出力層の全ての点に結線
し、他の段に対しては結線しない。出力層から最終出力
層へは、ある規則に基づき重み付け平均をとるための結
線をする。

〔作用〕

このニューラルネットワークでは入力層10と中間層12
との間、あるいは中間層12と出力層14との間の重み係数
を必要に応じてランダム化させる。また、多重化した中
間層12と出力層14では各段独立に学習させ、最終出力層
16で出力層14の各段の出力の重み付け平均をとってこれ
を最終出力O_Tとする。次に学習規則を列挙する。

Ｉ）従来法では、入力層はある長さ（IS）の系列からな
り、出力層は入力層の系列（特徴ベクトル列）の一点
（時系列では時刻）に対応するデータの列（特徴ベクト
ル）を出力とし、入力系列と出力系列とをセットで学習
させている。これに対し、本発明では、ネットワークを
多段化させ、出力列を段数分だけ増やして、各段の出力
列に対応する入力系列の点はある点を中心としてなり
あった点をとる、入力系列の任意を点をとる、などの
選択により定める。

II）次いで、学習を行う場合は、入力層と中間層の間の
重み係数、あるいは中間層と出力層との間の重み係数の
うち、必要に応じていずれか一方の重み係数をランダム
化し（例えば正規乱数値を重み係数に与える）、かつ各
段の間では独立に学習させる。この場合、各段の間でも
ランダム化した重み係数は同じセットではなく、やはり
ランダムである。また、最終出力層では、各段の出力層
の重みづけ平均をとる。

III）また、学習プロセスにおいて出力層における誤差
の後向き伝播量δ^o _kを δ^o _k＝（T_k−z^o _k）Ｋ（・） ……（23） とし、中間層における誤差の後向き伝播量δ^h _jを とする。ここで、Ｋ（・）はあらかじめ定められた関数
である。（17）（18）式から明らかなようにδはｚが０
と１で特異点を持ち、値が０になる。δが０に落ちると
浮び上れなくなり、修正がなされなくなる。関数Ｋ
（・）はこれを救うものである。さらに、重み係数の修
正についても、中間層と出力層の間の重みw^o _jkの修正量
Δw^o _jkは、 Δw^o _jk（ｎ＋１）＝αδ^o _kL（・）＋βΔw^o _jk（ｎ） ＋Ｍ（・） ……（25） とし、入力層と中間層の間の重みw^h _ijの修正量Δw
^h _ijは、 Δw^h _ij（ｎ＋１）＝αδ^h _iL（・） ＋βΔw^h _ij（ｎ）＋Ｍ（・） ……（26） とする。ここで、Ｌ（・）,M（・）はあらかじめ定めら
れた関数とする（ここで、II）の係数ランダム化を行う
とΔw^o _jk又はΔw^h _ijのどちらか一方は０となる）。ただ
し、前項Ｉ）または、前項II）を適用する場合，誤差伝
播則、重み修正則はこの限りではない。

ネットワークの多重化及び最後の重み付け平均で、時
間分解能を損なわずに空間分解能を向上させることがで
き、ランダム化で、学習で生じる重み係数の統計的偏り
（これが生じると、今までの学習結果が破壊される恐れ
がある）を均一化、従って学習精度の均一化をすること
ができる。更に、重み係数の一方のランダム化で、他方
の重み係数の収束値を重み係数が取り得る値の空間全体
に拡散させることができ、必らずしも直交していないデ
ータの効率的学習が可能になる。

〔実施例〕

本発明のニューラルネットワークの実施例を音声合成
と音声認識について示す。

第２図は音声合成システムで、音韻生成部22と音声パ
ラメータ生成部24を備え、ニューラルネットワークNNW
は各々に設けられる。入力音声26を音声パラメータ自動
抽出システム20（特開昭59−152496、同152497に開示）
に加えて分析し、音声パラメータ即ち音源パワー、有声
／無声パラメータ、ピッチ等の音源パラメータと、声道
断面積、PARCOR係数などの声道パラメータ、またはAR
（全極型）パラメータ、AR/MA（極零型）パラメータ、
スペクトル、その他音声を分析して得られるパラメータ
を得て、これを音声パラメータ生成部の学習入力（目標
出力）とする。また自動抽出システム20より得られた音
声パラメータ、あるいは原波形より、入力音声の音韻を
決定し、音韻生成部22の学習入力（目標出力）とする。

音韻生成部22の出力は、発声される音声（入力音声2
6）のもとになるテキスト（文字列）T_Xである。文字列T
_X例えば「朝早く……」は音韻系列「A,S,A,H,A,Y,A,K,
U,……」に変換されて、音韻生成部22のニューラルネッ
トワークNNWの入力層10に入る。（１音韻ずつ逐次入力
しかつ排出されて、入力層には所定の音韻があるように
される）。上記変換は、平均音節長あるいは規則合成法
あるいは音韻論の知識を用いて行なう。文字列では、音
声に有る時間的な要素はないが、T_x−I_p間の変換でこの
時間要素が加えられる。また音韻は文字１つでは決らな
いので、複数の文字が参照されて、各音韻が逐次フレー
ム間隔で決定されて行く。こうして時間要素が加えられ
るが、速さは平均的なものであり、実際の速さにはNNW
での学習により修正される。

学習入力は前述の如くで、実音声より定められた音韻
系列データであり、音韻生成部22のニューラルネットワ
ークNNWは上記に入力音韻系列I_pを学習入力音韻系列に
修正して出力し、この出力O_p ^Tがパラメータ生成部24
の入力になる。学習入力は1,0であるが、音韻出力は０
と１の間の値をとる。このとき、必要に応じてしきい値
をもうけ音韻出力を０と１のみの値としてもよい。

音声パラメータ生成部24は上記出力を受けてこれを
前記学習入力（音声パラメータに変換して出力し、この
出力O_s ^Tは音声合成回路28に加えられて合成音声本例で
は「朝早く……」を出力させる。

第３図に音声パラメータ生成部の詳細を示す。入力層
10と最終出力層16は１段、中間層12と出力層14はＭ段で
ある。入力層10への入力は前記音韻系列であり、その
IP個の点（データ）を含む列（音韻）のIS個を入力し
（１回の処理対象）とする。各列は逐次入力され、中央
のものにはt₀、それより下方のものにはt₀₊₁〜t_0+aをま
た上方のものにはt_0-1〜t_0-aを付してある。時間ｔの進
行方向を矢印で示す。

中間層12及び出力層14の段数Ｍは、少ないとランダム
化、重み付け平均化の意味が薄れるのである程度多いの
がよい。例えばIS＝29に対しＭ＝９などとする。

中間層の各段の素子数J₁〜J_Mは各々異なってもよい
が、ここでは一般性を失うことなくJ₁＝……＝J_k＝……
＝J_M＝Ｊとする。出力層14の各段素子数も同様で、ここ
ではK₁＝……＝K_K＝……＝K_M＝Ｋとする。また出力層14
において各段が持つ入力系列の点（本例の時系列では時
刻）は入力系列の任意の点（時刻）でよいが、これも一
般性を失なうことなくK₁〜K_Mはある系列の点（時刻）を
中心として隣り合った点の値をとるものとする。このと
き、 Ｉ）学習は、入力系列の中から互いに連結するIS列のデ
ータをランダムに選択し、その中心の値から両側に（Ｍ
−１）/2個だけの系列の点に対応する出力データ列（ベ
クトル）を各段に順に付与し、その値（目標値）と入力
系列とをセットにして各段で行う。このランダムな選択
学習を逐次、必要なだけ繰り返す。また、最終出力層16
では系列の一点（一時刻）に対しＭ個のデータが与えら
れるので、適当な重み（例えば、Rectangular,あるいは
Hamming,Hanningその他のWindow関数を与える）を付け
て平均値をとる。

II）学習を行う場合、入力層と中間層，あるいは中間層
と出力層の間の重み係数のうち、必要に応じてどちらか
一方（ここでは、一般性を失うことなく中間層から出力
層の間の重み係数値）をランダム化し、学習させる。

III）また、学習プロセスにおいては，中間層と出力層
の重み係数をランダム化し、入力層と中間その間の学習
を式（23），（24），（26）にしたがって行う。このと
き、式（25）と式（26）における関数Ｌ（・）,M（・）
は，式（20），（22）と同様にする、あるいは学習
初期においては定数とし、学習結果を判断しパターンの
性質、学習の収束性を考慮した重み付け関数を実験的に
決める。

第４図に音声認識の実施例の概要を示す。音声認識は
音声合成の逆プロセスになり、ニューラルネットワーク
NNWに音声パラメータを逐次入力して、出力に音韻系列
を得、この音韻系列から文字列を得る。

即ち、入力音声に対し自動抽出システムを適用し、音
声パラメータ即ち音源パラメータ及び声道パラメータを
得る（他のパラメータ、例えばARパラメータ、スペクト
ル・パラメータ,Walsh−Hadamard,Harrパラメータを用
いてもよい。これらのパラメータを入力とし、多段のニ
ューラルネットワークNNWを適用することにより最終出
力を得る。最終出力は音声合成の場合とは逆で、０と１
の間をとる音韻パラメータ系列である。この場合音韻パ
ラメータは既に重み付け平均化がなされているので、そ
の出力値はその音韻であることの確からしさを示してい
る。

従って最終的に入力音声がどの音韻であるかを決定す
る具体的方法は、系列のある点（時系列の場合は時
刻）において同時に発火している素子の中から出力値の
一番大きいものをとる。あるいは、出力値の大きいも
のから順に候補として選択し、島駆動方式などにより、
音韻論的に最も確からしいものに決定する。このシス
テムを多量の音声データに適用することにより得る知見
をルール化し、エキスパートシステムを構成することに
より、音韻を決定する、などの方法をとる。音韻系列が
求まれば、これより文字列に変換する。この場合、第２
図の音韻生成部の逆プロセスをとる（すなわち、音韻系
列を入力とし、文字列を出力とする）ニューラルネット
ワークを構成し、前記の音韻を決定するのと同様の手順
をとることにより（つまり、出力値をその文字であるこ
との確からしさであると考え、前記，，の手順を
とることにより）文字列を決定することもできる。

〔発明の効果〕

以上説明したように本発明はニューラルネットワーク
を多重化し、重み付け平均をとって最終出力とし、入力
層と中間層あるいは中間層と出力層間の重み係数をラン
ダム化するとともに、入力層から各段の中間層に入力系
列をずらして与えるようにしたので時間分解能を損なわ
ずに空間分解能を上げることができるため、アナログ情
報の学習を極めて高い精度で、且つす早く収束可能にす
ることができ、自動音声合成に用いて一層自然的で良好
な合成音声が得られる等の効果を得ることができる。

【図面の簡単な説明】

第１図は本発明の原理説明図、 第２図〜第４図は本発明の実施例を示し、第２図は音声
合成システムの説明図、第３図は音声パラメータ生成部
の説明図、第４図は音声認識システムの説明図、 第５図〜第６図は従来例を示し、第５図はアナログニュ
ーロン素子の説明図、第６図はニューラルネットワーク
モデルの説明図である。 第１図で10は入力層、12は中間層、14は出力層、16は最
終出力層、Ｉは入力系列、O^Tは最終出力である。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】入力層（10）、各段が入力層（10）に対し
   て並列に配置されている多段の中間層（12）、多段の出
   力層（14）、および最終出力層（16）からなるニューラ
   ルネットワークを用い、 入力層に入力系列（Ｉ）を加え、最終出力層は多段の出
   力層の各出力層の各出力の重み付け平均をとってこれを
   最終出力（O^T）とし、 入力層と中間層との間の重み係数あるいは中間層と出力
   層との間の重み係数のいずれか一方の重み係数をランダ
   ム化し、各段独立に学習させるようにしたパターン学習
   ・生成方式において、 上記入力層の各点から全ての段の中間層の各点に対して
   結線し、中間層においては段間での結線を行わず、中間
   層から出力層へは、各段内でその段の中間層の各点から
   その段の出力層の各点に対して結線し、 上記入力層に加えられた入力系列（Ｉ）を、ずらして各
   段の中間層に与えることを特徴とするパターン学習・生
   成方式。