JPH01232464A - ニューラルネット構成方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明は、パターン認識に用いられる、パックプロパ
ゲーションにより学習を行うニューラルネットの構成法
に関するものである。

「従来の技術」 識別対象の各特徴量（ベクトル）をニューラルネットに
入力させて、バンクプロパゲーションにより学習を行っ
て人力が属するカテゴリー（パターン）を識別すること
が行われている。

第１図にバックプロパゲーションにより学習を行うニュ
ーラルネットの構成例を示す。入力層、隠れ層、出力層
間にユニットは互いに結合しており、各結合は各々重み
を持っている。ハックプロパゲーションでは、所望の出
力値との誤差をもとに所望の値を出力するように結合の
重みを学習する。

まず、各結合の重みの値をランダムに設定し、入力とそ
の入力に対する所望の出力を与える。次に、入力層、隠
れ層、出力層の方向に、入力に対する出力を決定してい
く。入力層のユニットは入力値をそのまま出力値とする
。隠れ層、出力層のユニットは下位層の複数のユニット
の出力値とユニット間の結合の重みの加重総和を人力値
とする。

隠れ層、出力層の各ユニットは人力値を非線形関数（ｓ
ｉｇｍｏｉｄ関数など）により交換して出力値を出力す
る。次に、出力層のユニットの出力と所望の出力の誤差
を評価する。この評価関数の値を小さくするように各ユ
ニットのしきい値、結合の重みを更新する。

以上の手順で評価値が十分小さくなるまで学習ヲ繰り返
す。（バックプロパゲーションについては文献″ｒ’ａ
ｒａｌｌｅｌ　ＤｉｓＬｒｉｂｕｔｅｄ　Ｐｒｏｃｅｓ
ｓｉｎｇ　”　。

Ｒｕｍｅｌｈａｒｔ　　、ＭｃＣｌｅｌｌａｎｄ　　、
ａｎｄ　ＰＤＰ　Ｒｅ５ｅａｒｃｈＧ　ｒ　ｏ　ｕ　ｐ
　、　Ｔ　ｈ　Ｌ！旧Ｔ　Ｐｒｅｓｓ、１９８６に詳し
い。）１回の学習における計算■は、結合の数（入力層
、隠れ層、出力層のユニット数をそれぞれＩ。

Ｊ、にとした時、１ｘＪ＋ＪｘＫ）に比例する。

従って、各層のユニット数１．Ｊ、Ｋが大きくなれば、
計算量も増大する。

識別対象のカテゴリー数が多い実際の識別問題に、この
従来のニューラルネットの構成を適用する場合には、識
別対象のカテゴリー数に対応して出力層のユニ・７ト数
が１１ｍ＋する。また、カテゴリー数を増加した場合に
は高い識別率を得るためには隠れ層のユニット数も増加
しなければならない。

入力層のユニット数は、扱う特ｆｌにより異なるが、カ
テゴリー数を増加すれば、やはりより多くの特徴四が必
要となるため入力層のユニット数も増加する必要がある
。従って、結合の数は、識別対象のカテゴリー数の増加
に対して二〜三乗のオーダーで増加する。結合の数が増
加すると、評価値が十分小さい値に集束するまでの学習
回数が増加する傾向がある。

以上のように識別対象のカテゴリー数が大きい場合には
、評価値が集束するまでの計算■、すなわち学習時間が
膨大となり、現実的でなくなる。

また、計算時間を現実的なものとするために隠れ層のユ
ニット数、入力層のユニット数を小さな値に抑えると、
十分な識別性能が得られなくなるという欠点があった。

この発明の目的は、ニューラルネットを識別対象の多い
識別に適用する場合に学習時間を短縮し、また、識別性
能を向上させることにある。

「課題を解決するための手段」 この発明は識別対象を予め幾つかのグループに分け、そ
のグループの識別を行うネットワークと、グループ内の
個々の識別対象を識別する小規模なネットワークとを設
け、それぞれ独立に学習をした上で各ネットワーク毎に
識別を行い、次にグループを識別するニューラルネット
の出力結果とグループ内の識別を行うニューラルネット
の出力結果の両打から識別結果を決定することを最も主
要な特徴とする。従来の方式とは、複数の独立な規模の
小さいネットワークにより学習、識別を行い、その結果
を総合して識別結果を決定することが異なる。

「実施例」 第２図はこの発明の説明図である。Ａはグループを識別
するネットワーク、Ｂ１〜Ｂ７はグループ毎のネットワ
ークで、本図ではそれぞれ隠れ層を一層としている。Ａ
、Ｂ＋〜Ｂ７とも、入力データの特ｔＵｔに対応した数
の入カニニットを持つ。

本図では、Ａ、Ｂ、〜Ｂ７の入カニニットをすべて共通
化しているが、入カニニットは非線形変換を行わない単
なる端子であり、入カニニット数は直接計算量とは関係
ないため特に共通である必要はない。各ネットワークと
も、隠れ層のユニット数は予備検討などにより適宜決定
する。Ａのネットワークは各グループに対応したｎ個の
出カニニットを持ち、８１〜Ｂ４は各グループ内の要素
に対応した数の出カニニットを持つ。Ａ、Ｂ＋〜Ｂ７の
出カニニットの出力値は判定回路に入力されている。

このネットワークにおいて、まず学習の際には、Ａはす
べての学習用データを用いてグループを識別するように
所望の出力のパターンをへの出カニニットに設定しなが
らバックプロパゲーションにより学習する。８１〜Ｂ、
は各グループ内のカテゴリーに属する学習用データだけ
を用いてグループ内のカテゴリーを識別するように、同
じくバンクプロパゲーションにより学習する。判定回路
は学習時には動作しない。次に、識別の際には、学習の
終了したＡ、Ｂ＋　〜Ｂ、に試験用データを入力し、へ
の出力結果とＢ、−Ｂｆｉの出力結果から判定回路にお
いて識別結果を判定する。判定回路では、■Ａの出カニ
ニットのうち最大の活性値（出力値）を示したユニット
に対応するサブネットワーク（Ｂ、〜Ｂ、）を選択し、
そのサブネットワークの出カニニットのうち最大の活性
値を示したユニットに対応するカテゴリーを識別結果と
する、■Ｂ、−Ｂ、の各出力値と、それぞれのサブネッ
トワークに対応するＡの出力値との積を評価し、その最
大値により識別結果を判定する、等の判定方法により識
別結果を決定する。

以下にこの発明のニューラルネット構成法を音声の子音
認識に適用した例を示す。

尖施猶土 特定話者が発声した、母音／ａ／が後続する単音節の１
４子音／ｂ、ｄ、ｇ、ｐ、ｔ、に、ｚ。

ｓ、ｈ、ｍ、ｎ、ｗ、ｙ、ｒ／を識別対象として認識実
験を行った。入力データは音声始端から８フレームの１
６次ＬＰＧゲプストラム係数（１２ｋｌｌｚサンプリン
グ、１６ｍ５ハミング窓、フレー１１周期８ｍ５）であ
る。

第３図に本実験に適用したネットワークの構成を示す。

ネットワークはグループの識別を行うＡのネットワーク
と各グループ内の識別を行うＢ＋〜Ｂ＋＋（ｎ：複数の
要素を持つグループの数。グループ内の要素は１の場合
もある。）のサブネットワークからなる。実験では、グ
ループ数を７とし、またＡ、Ｂ、−Ｂ、とも３層のネッ
トワークとした。Ａのネットワークの訪れ層のユニット
数は３０とした。また、Ｂ　ｌ””’　Ｂ　ｌ、の隠れ
層のユニソ）１２はグループ内の識別率が最大となる数
に選んだ。本実験では従来の音声学的知見に基づき、調
音様式の同じもの、すなわち／ｚ／、／ｓ、ｈ／。

／ｂ、ｄ、ｇ／、／ｐ、ｔ、に／、／ｗ、ｙ／。

７ｍ、ｎ／、／ｒ／をグル一プとして用いた。

各ネットワークとも結合の重み、ユニットのしきい値を
、非線形関数としてｓｉｇｍｏｉｄ関数を用いて、バッ
クプロパゲーションにより学習した。へのネットワーク
は１４子音のデータを用いて、Ｂ。

〜Ｂ、、のサブネットワークは各グループ内のデータの
みを用いて学πした。

この時、所望の出力値と実際の出力値との誤差が予め定
めたしきい値以下に集束するまでの各ネットワークの学
習回数は、Ａのネットワークが約９０００　Ｘ　１４回
（１４はカテゴリー数、以下同様）、サブネットワーク
は、／ｓ、ｈ／が１５０Ｘ２回、／ｂ、ｄ、ｇ／が２４
００Ｘ３回、／ｐ、ｔ、に／が１２００Ｘ３回、／ｗ、
　　ｙ／が１４０Ｘ２回、７ｍ。

ｎ／が２３００Ｘ２回であった。これを８１算量の評価
値となる結合数と学習回数の積の総和に直すと約５１４
１１１５万で、グループ分けせずに全音節を一つのニュ
ーラルネットで学習した場合の約６５６０４万より小さ
（、学習■すなわち学習時間が少なく済んだ。

識別では、出力ユニットのなかで最大の活性値を示した
ものを識別結果と定義した。ある入力データを与えた時
、Ａの出力によりその入力データが属するグループを決
定し、８１〜Ｂ７のうち当該グループに対応するサブネ
ットワークを選択する。そして選択されたサブネットワ
ークの出力によりＲ＜’＋的な識別結果を決定した。サ
ブネ７）ワークの選択はへの出力結果でＢ１〜Ｂ７の出
力にゲートをかけることで実現した。また、要素が一つ
だけのグループが最大の活性値を示した場合はへの出力
をそのまま識別結果とした。

識別率は第４図に示す通りとなり、グループ分けせずに
全音節を一つのニューラルネットで識別した場合の識別
率９２．５％より高＜９５．７％であった。

大又護１［ グループの設定方法としてニューラルネットの隠れ層の
発火状態からグループを設定する方法を用いて実施例１
と同様の実験を行った。この方法では、予め１４子音を
識別するニューラルネットを隠れ層のユニット数を３０
として学習した。次に学習用データを人力データとして
出力値を計算し、最大の活性値を示したものが入力デー
タのカテゴリーと一致した時の隠れ層の発火状態を３０
次元のベクトルと考え、そのベクトル間のユークリッド
距離の近い子音を同一グループとするようにクラスタリ
ングを行いグループを設定した。グループは第５図のよ
うに分かれ、識別率はやはりグループ分けせずに一つの
ニューラルネットで識別した場合より高＜９５．０％で
あった。

このグループの設定に際し、隠れ層が複数の場合には（
隠れ層の数）×（各層のユニット数）のマトリクスと考
え、そのマトリクスのクラスクリングにより隠れ層の発
火状態に近いものを同一グループとしてグループ分けを
行う。

「発明の効果」 以上説明したように、識別対象をグループ分けし、グル
ープを識別するネットワークと、各グループ内の識別を
行う複数の独立な規模の小さいネットワークとにより学
習、識別を行い、その結果を総合して識別結果を決定す
ることにより、一つのニューラルネットにより全対象を
同時に識別する場合より識別性能を向上できるという利
点がある。また、大規模なネットワークの学習が不要と
なり学習量を削減することができる利点がある。

さらに、識別対象すべてを一つのニューラルネットで学
習、識別した時の隠れ層のユニットの発火状態をベクト
ルまたはマトリクスと考え、そのベクトルまたはマトリ
クスのクラスタリングにより隠れ層の発火状態の近いも
のを同一グループとしてグループ分けを行うことにより
、先験的知識を用いな（とも統計的にグループ分けが行
える利点がある。

【図面の簡単な説明】

第１図は従来のニューラルネットの構成を示す図、第２
図はこの発明のニューラルネットの構成を示す図、第３
図は実施例のニューラルネットの構成を示す図、第４図
、及び第５図はそれぞれ実施例の結果を示す回である。 特許出願人　日本電信電話株式会社

Claims (2)

【特許請求の範囲】
1. （１）　所望の出力値と実際の出力値との誤差に従って
   入力層、隠れ層、出力層の間の結合の重みを変化させる
   アルゴリズムにより所望の値を出力するように学習する
   学習型ニューラルネットにおいて、 識別対象を予め幾つかのグループに分け、そのグループ
   の識別を行うネットワークと、グループ内の個々の識別
   対象を識別するネットワークとを構成し、 それぞれ個別に学習をした上で、まず各ネットワーク毎
   に識別を行い、次にグループを識別するニューラルネッ
   トの出力結果とグループ内の識別を行うニューラルネッ
   トの出力結果の両者から識別結果を決定することを特徴
   とするニューラルネット構成方式。
2. （２）　識別対象すべてを一つのニューラルネットで学
   習、識別した時の隠れ層のユニットの発火状態を隠れ層
   のユニット数の次元のベクトル、または隠れ層が複数の
   場合には（隠れ層の数）×（各層のユニット数）のマト
   リクスと考え、そのベクトルまたはマトリクスのクラス
   タリングにより、隠れ層の発火状態の近いものを同一グ
   ループとしてグループ分けを行うことを特徴とする請求
   項１に記載のニューラルネット構成方式。