JPH07104849B2 - ニューラル・ネットワークの学習方法 - Google Patents

Description

【発明の詳細な説明】 ＜産業上の利用分野＞ この発明は、学習の際の処理時間の短縮や過学習の防止
を可能にするニューラル・ネットワークの学習方法に関
する。

＜従来の技術＞ 最近、誤差逆伝播学習方法によって学習する多層ニュー
ラル・ネットワークが、音声認識の分野や文字認識の分
野において利用されるようになってきている。従来、こ
の分野においてよく用いられているニューラル・ネット
ワークは、多層パーセプトロン型ニューラル・ネットワ
ークである。この多層パーセプトロン型ニューラル・ネ
ットワークは、入力層，中間層および出力層の少なくと
も３層からなる。

上記多層パーセプトロン型ニューラル・ネットワーク
（以下、単にニューラル・ネットワークと言う）は、入
力層に学習用パターンを与えると共に、出力層にその学
習用パターンが属するカテゴリを与えると、分類する各
カテゴリ間の境界を求める学習を自ら行う。そして、ニ
ューラル・ネットワークの各層内に含まれるユニットと
他層内に含まれるユニットとの間を結合するシナプス結
合の重みが自動的に設定され、ニューラル・ネットワー
クの構造が決定される。

その結果、この学習済みのニューラル・ネットワーク
は、学習によって求めた分類すべきカテゴリ間の境界に
従って、入力パターンをその入力パターンが属するカテ
ゴリに分類するのである。その際に、入力層に含まれる
ユニット数は入力されるパターン（例えば、学習用パタ
ーン）の次数によって決まり、出力層に含まれるユニッ
ト数は分類したいカテゴリの数で決まる。

＜発明が解決しようとする課題＞ しかしながら、上記従来のニューラル・ネットワークを
学習する際には、単に入力層の各ユニットに学習用パタ
ーンを入力するだけなので、多数の学習用パターンを用
いて学習する際にはかなりの処理時間を要し、ニューラ
ル・ネットワーク利用の大きなネックになるという問題
がある。また、一般に入力される学習パターン数が多い
ほど評価の精度は良くなる。しかしながら、学習用パタ
ーンが多くなると、誤差逆伝播学習の収束を妨げたり、
過学習の原因となるような極端なパターンの数も増加す
ることになる。したがって、このような極端な学習用パ
ターンを用いて学習されたニューラル・ネットワーク
は、学習用パターンと異なる入力パターンの評価時にお
いては、カテゴリ判定能力が低下してしまうという問題
がある。

そこで、この発明の目的は、ニューラル・ネットワーク
利用の大きなネックとなる学習時間を大幅に短縮するこ
とができると共に、過学習を防止することができるニュ
ーラル・ネットワークの学習方法を提供することにあ
る。

＜課題を解決するための手段＞ 上記目的を達成するため、この発明のニューラル・ネッ
トワークの学習方法は、入力されたデータに対して所定
の重み係数で荷重演算を行って演算結果を出力する荷重
演算手段を有する複数のノードを用いてネットワークを
形成し，入力ノードに識別データを入力した際に出力ノ
ードから上記識別データが属するカテゴリを表す出力デ
ータを出力するニューラル・ネットワークを構築するに
際して，カテゴリ空間上で隣接するカテゴリにおける両
カテゴリの境界近傍に位置する識別データが入力された
場合に当該識別データが属するカテゴリに割り付けられ
ている出力ノードからの出力が最大値になるように，各
ノード関する上記重み係数を更新するニューラル・ネッ
トワークの学習方法であって、上記カテゴリ空間上で隣
接するカテゴリにおいて，対象学習用パターンが属する
一方のカテゴリ内の各学習用パターンと上記対象学習用
パターンとの距離を求めて，この求めた距離に基づいて
上記対象学習用パターンとの距離が近い順に複数の学習
用パターンを選出し、他方のカテゴリ内の各学習パター
ンと上記対象学習用パターンとの距離を求めて，この求
めた距離に基づいて上記対象学習用パターンとの距離が
近い順に複数の学習用パターンを選出し、上記一方のカ
テゴリ内から選出された学習パターンと上記対象学習用
パターンとの平均距離と，上記他方のカテゴリ内から選
出された学習用パターンと上記対象学習用パターンとの
平均距離とを算出し、上記カテゴリ空間上の位置が上記
隣接する両カテゴリの境界から所定距離内になるような
上記両平均距離の比の値を呈する対象学習用パターンを
選出し、この選出された対象学習用パターンを用いてニ
ューラル・ネットワークの学習を行うことを特徴として
いる。

＜作用＞ 隣接するカテゴリにおいて、対象学習用パターンが属す
る一方のカテゴリ内の各学習用パターンと上記対象学習
用パターンとの距離が求められ、上記対象学習用パター
ンとの距離が近い順に複数の学習用パターンが選出され
る。また、他方のカテゴリ内に属する各学習用パターン
と上記対象学習用パターンとの距離が求められ、上記対
象学習用パターンとの距離が近い順に複数の学習用パタ
ーンが選出される。そして、上記一方のカテゴリ内から
選出された学習用パターンと上記対象学習用パターンと
の平均距離と、上記他方のカテゴリ内から選出された学
習用パターンと上記対象学習パターンとの平均距離とが
算出されて、上記カテゴリ空間上の位置が上記隣接する
両カテゴリの境界から所定距離内になるような上記両平
均距離の比の値を呈する対象学習用パターンが選出され
る。

こうして、カテゴリ間の境界を求める学習に効果的な学
習用パターンが選出され、この選出された学習用パター
ンを用いて、ニューラル・ネットワークの学習が効果的
に行われる。

＜実施例＞ 以下、この発明を図示の実施例により詳細に説明する。

第１図はニューラル・ネットワークの学習に用いられる
パターンのカテゴリ空間における分布の一例を２次元平
面上に大まかに示したものである。

第１図に示すように、任意のカテゴリ（例えば、カテゴ
リＡ）に属する学習用パターンは、次の３つのタイプに
分類することができる。

タイプ……他のカテゴリ（例えばカテゴリＢ）の輪郭
近くの所定領域に位置する学習用パターン。

タイプ……上記任意のカテゴリ（カテゴリＡ）内の中
央付近に位置する学習用パターン。

タイプ……上記任意のカテゴリ（カテゴリＡ）の輪郭
付近に位置し、かつ他のカテゴリ（カテゴリＢ）内部に
位置する学習用パターン（極端な学習用パターンや不良
学習用パターン）。

第１図においては、上記タイプの学習用パターンのカ
テゴリ空間上の位置を、タイプの学習用パターンの
カテゴリ空間上の位置を、タイプの学習用パターン
のカテゴリ空間上の位置をを表現している。

第２図は第１図における学習用パターンが各カテゴリに
属する頻度曲線を大まかに示したものである。図中Ａは
学習用パターンがカテゴリＡに属する頻度曲線を示し、
Ｂは学習用パターンがカテゴリＢに属する頻度曲線を示
す。第２図より、上記学習用パターンの３つのタイプは
次のようにも表現できる。

タイプ……他のカテゴリ（カテゴリＢ）内に位置する
頻度がある程度有る領域に位置する学習用パターン。

タイプ……上記任意のカテゴリ（カテゴリＡ）内に位
置する頻度の方が高い領域に位置し、かつ、タイプの
学習用パターンが位置しない領域に位置する学習用パタ
ーン。

タイプ……他のカテゴリ（カテゴリＢ）内に位置する
頻度の方が高い学習用パターン。

第２図においては、上記タイプの学習用パターンが位
置する領域を１、タイプの学習用パターンが位置する
領域を２、タイプの学習用パターンが位置する領域を
３で示している。

ここで、上記タイプの例としては次のような場合があ
る。すなわち、音節認識において、例えば特定話者が発
生した音節／ぱ／の特徴パターン（すなわち、学習用パ
ターン）が、個人差や調音結合等によって、他の話者の
発生における音節／ば／のカテゴリに位置するような場
合である。この場合は、この学習用パターンは、カテゴ
リ“ぱ”に属しているにもかかわらず、カテゴリ“ば”
に属する確率の方が高いのである。

ニューラル・ネットワークを利用した評価は、学習によ
って求められた上記各カテゴリ間の境界を用いて、入力
されたパターンが属するカテゴリを出力する手法であ
る。したがって、ニューラル・ネットワークの学習に用
いる学習用パターンは、タイプのパターンであること
が重要である。

すなわち、タイプの学習用のパターンはカテゴリＡ内
の中央付近に存在するため、カテゴリ間の境界を求める
ニューラル・ネットワークの学習にあまり寄与せず、い
たずらに学習時間を長くするだけである。また、タイプ
の学習用パターンは極端なパターンや不良パターンで
あるため、タイプの学習用パターンによる学習は極端
な（すなわち、例外的な）例や悪い例についての学習
（過学習）となる。したがって、タイプの学習用パタ
ーンによる学習はいたずらに学習時間を長くし、評価時
における分類性能を低下することになる。

そこで、ニューラル・ネットワークの学習を実行する前
に、学習に用いられる学習用パターンのタイプを予め分
類し、タイプに属する学習用パターンのみを用いてニ
ューラル・ネットワークの学習を実行することが必要で
ある。

この発明は、ニューラル・ネットワークの学習に際し
て、予め学習用パターン群を上記タイプに従って分類
し、この分類結果に従ってタイプの学習用パターン
（すなわち、学習に効果のある学習用パターン）のみを
用いて効率の良いニューラル・ネットワークの学習を実
行するものである。

上記学習用パターンのタイプの分類手法として種々の分
類法があるが、本実施例においてはＫ近傍法を用いる。
以下、Ｋ近傍法によるタイプの分類について詳細に説明
する。ここで、カテゴリ数はカテゴリＡとカテゴリＢの
２つとする。

まず、カテゴリＡに属する学習用パターン群の中から、
カテゴリＡに属する分類の対象となる学習用パターン
（以下、対象学習パターンと言う）との距離の近い方か
らＫ個の学習用パターンを選出する。そして、この選出
されたＫ個の学習用パターンと上記対象学習用パターン
との平均距離Daを算出する。次に、カテゴリＢに属する
学習用パターン群の中から上記対象学習用パターンとの
距離の近い方からＫ個の学習用パターンを選出する。そ
して、この選出されたＫ個の学習用パターンと上記対象
学習用パターンとの平均距離Dbを算出する。そして、上
記平均距離Daと平均距離Dbとを比較して、後に述べるよ
うに平均距離の大小とその程度に応じて、上記対象学習
用パターンを上記３つのタイプ，，に分類するの
である。

すなわち、平均距離Daと平均距離Dbとの比を算出し、こ
の平均距離の比Da/Dbの値に応じて次のようにタイプの
分類を実施する。

T1＜Da/Db＜T2……タイプ Da/Db≦T1……タイプ T2≦Da/Db ……タイプ 但し、T1,T2はT1＜１＜T2となるような閾値である。

次に、上述と同様にして、カテゴリＢに属する対象学習
用パターンとこの対象学習用パターンに近いカテゴリＢ
に属するＫ個の学習用パターンとの平均距離Db′と、上
記対象学習用パターンとこの対象学習用パターンに近い
カテゴリＡに属するＫ個の学習用パターンとの平均距離
Da′と求める。そして、上述と同様に、両平均距離D
b′,Da′の比Db′/Da′の値と上記閾値T1,T2とに基づい
て、カテゴリＢに属する対象学習用パターンのタイプの
分類を実施するのである。

このようにして分類された学習パターンのタイプのう
ち、タイプに分類されたカテゴリＡに属する学習用パ
ターンと、タイプに分類されたカテゴリＢに属する学
習用パターンとを用いてニューラル・ネットワークの学
習をおこなうのである。こうすることによって、ニュー
ラル・ネットワークはカテゴリＡとカテゴリＢとの境界
についての学習を効率良く行うことができる。

上述のようにして学習されたニューラル・ネットワーク
を用いて音節境界の判定をおこなった結果、第１表に示
すような判定結果が得られた。

この学習においては、学習用データとして話者３名分の
パワーとスペクトル変化とから成るデータ1019個を用
い、評価用データとして他の話者４名分の異なるコンテ
キストから得られたパワーとスペクトル変化とから成る
データ1708個を用いた。第１表における本手法は、上記
実施例に示したＫ近傍法によって学習データのタイプの
分類をおこなう手法である。ここで、本実施例の場合
は、Ｋ＝3,T1＝0.77,T2＝1.1とし、距離としてユークリ
ッド距離を用いた。また、従来法は1019個の学習データ
をそのまま使用して学習する方法である。なお、1019個
の学習データをＫ近傍法によって分類した結果、次のよ
うなタイプ別分類比率となった。すなわち、タイプは
29.5％、タイプは65.0％、タイプ5.5％である。こ
うして、1019個の学習データから301個のタイプのデ
ータが選出された。

また、上記誤り率は音節境界の判定誤り率を％で表し、
時間比は従来法による学習において学習が収束するまで
の時間を100として表したものである。

第１表から、本手法における時間比が従来法に比して70
％も短縮されており、学習時間が大幅に短縮されている
ことが実証された。これは、Ｋ近傍法によって1019個の
学習データの中から学習に効果のあるタイプ学習デー
タが301個厳選され、このカテゴリ間の境界の学習に有
効な少数の学習データのみによってニューラル・ネット
ワークの学習が実行されたためである。

また、上述のように、カテゴリ間の境界の学習に有効学
習データのみによって学習が実行される結果、過学習が
防止されてオープン条件で誤り率が従来法に比べて低下
することが実証された。

上述のように、ニューラル・ネットワークの学習の前処
理として、例えばカテゴリＡに属する学習用パターンの
中から、カテゴリＢの輪郭近くの所定領域に位置する学
習用パターン（すなわち、タイプの学習用パターン）
のみを選出し、この選出れた学習用パターンのみを用い
てニューラル・ネットワークの学習を実行するので、少
ない学習用パターンで学習することによって学習時間を
大幅に短縮することができる。また、全学習用パターン
の中から、各カテゴリ間の境界を求める学習に最も効果
的な学習用パターンを選出し、この最も効果的な学習用
パターンのみを用いて学習を実行するので、過学習を防
止してカテゴリ判定能力を向上することができる。

上記実施例においては、学習用パターンの次数が18（９
フレーム分のパワーとスペクトル変化），カテゴリ数が
２である。しかしながら、この発明はこれに限定される
ものではないことは言うまでもない。

上記実施例においては、学習用パターン間の距離として
ユークリッド距離を用いている。しかしながら、この発
明はこれに限定されるものではなく市街化距離等を用い
てもよい。

また、この発明のニューラル・ネットワークの学習方式
は、多層パーセプトロン型ニューラル・ネットワークの
みならずコホーネン型ネットワークの学習に用いても大
きな効果が得られる。

＜発明の効果＞ 以上より明らかなように、この発明のニューラル・ネッ
トワークの学習方法は、隣接するカテゴリにおいて、対
象学習用パターンが属する一方のカテゴリ内と他方のカ
テゴリ内との夫々から上記対象学習用パターンとの距離
が近い順に複数の学習用パターンを選出し、上記両カテ
ゴリ内の夫々から選出された学習パターンと上記対象学
習用パターンとの平均距離を算出し、上記カテゴリ空間
上の位置が上記隣接する両カテゴリの境界から所定距離
内になるような上記両平均距離の比の値を呈する対象学
習用パターンを選出し、この選出された対象学習用パタ
ーンを用いてニューラル・ネットワークの学習を行うの
で、学習に適した少数の学習用パターンでニューラル・
ネットワークを学習することができる。

また、この発明のニューラル・ネットワークの学習方法
は、各カテゴリ間の境界を求める学習に最も効果的な学
習用パターンを選出し、この最も効果的な学習用パター
ンのみを用いてニューラル・ネットワークの学習を実施
することができ、過学習を防止して入力パターンに対す
るカテゴリ分類能力を高めることができる。

【図面の簡単な説明】

第１図はニューラル・ネットワークの学習用パターンの
カテゴリ空間上における分布の一例を示す図、第２図は
学習用パターンが各カテゴリに属する頻度曲線の一例を
示す図である。 ……上記タイプの学習用パターンのカテゴリ空間上
の位置、 ……タイプの学習用パターンのカテゴリ空間上の位
置、 ……タイプの学習用パターンのカテゴリ空間上の位
置、 １……タイプの学習用パターンが位置する領域、 ２……タイプの学習用パターンが位置する領域、 ３……タイプの学習用パターンが位置する領域。

Claims (1)

【特許請求の範囲】
1. 【請求項１】入力されたデータに対して所定の重み係数
   で荷重演算を行って演算結果を出力する荷重演算手段を
   有する複数のノードを用いてネットワークを形成し、入
   力ノードに識別データを入力した際に出力ノードから上
   記識別データが属するカテゴリを表す出力データを出力
   するニューラル・ネットワークを構築するに際して、カ
   テゴリ空間上で隣接するカテゴリにおける両カテゴリの
   境界近傍に位置する識別データが入力された場合に当該
   識別データが属するカテゴリに割り付けられている出力
   ノードからの出力が最大値になるように、各ノードに関
   する上記重み係数を更新するニューラル・ネットワーク
   の学習方法であって、 上記カテゴリ空間上で隣接するカテゴリにおいて、対象
   学習用パターンが属する一方のカテゴリ内の各学習用パ
   ターンと上記対象学習用パターンとの距離を求めて、こ
   の求めた距離に基づいて上記対象学習用パターンとの距
   離が近い順に複数の学習用パターンを選出し、 他方のカテゴリ内の各学習用パターンと上記対象学習用
   パターンとの距離を求めて、この求めた距離に基づいて
   上記対象学習用パターンとの距離が近い順に複数の学習
   用パターンを選出し、 上記一方のカテゴリ内から選出された学習パターンと上
   記対象学習用パターンとの平均距離と、上記他方のカテ
   ゴリ内から選出された学習用パターンと上記対象学習用
   パターンとの平均距離とを算出し、 上記カテゴリ空間上の位置が上記隣接する両カテゴリの
   境界から所定距離内になるような上記両平均距離の比の
   値を呈する対象学習用パターンを選出し、 この選出された対象学習用パターンを用いてニューラル
   ・ネットワークの学習を行うことを特徴とするニューラ
   ル・ネットワークの学習方法。