JPH01114899A

JPH01114899A - ダイナミックなニューラルネットワーク

Info

Publication number: JPH01114899A
Application number: JP62273830A
Authority: JP
Inventors: Hiroaki Sekoe; 迫江　博昭
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1987-10-28
Filing date: 1987-10-28
Publication date: 1989-05-08
Anticipated expiration: 2009-05-18
Also published as: JPH0638200B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）本発明は音声等のパターン認識システムに利用されるニ
ューラルネットワークの改良に関する。

（従来の技術）生物の神経回路を模擬した情報処理機構であるニューラ
ルネットワークは、パターン認識等の諸問題の解決に有
望と考えられ、近年世界中で研究開発が盛んに行なわれ
ている。

ニューラルネットワークに関しては「日経エレクトロニ
クス」誌、第４２７号（昭和６２年８月１０日発行）の
ｐｐ、１１５−１２４に［ニューラルネットワークをパ
ターン認識、知識処理に使う］と題して発表された解説
］（以下「文猷（１月）に分り易く説明されている。そ
れによると、ニューラルネットワークの基本構成要素は
ニューロンユニットと呼ばれる素子で、複数の入力の荷
重和を計′算しそれに応じた出力を発生する。ニューラ
ルネットワークは多層構造をとり、典型的には入力層、
中間層、出力層の３階層構成となる。入力層の各ニュー
ラルユニットの出力は中間層の各ニューラルユニットに
伝達され一ζそれらへの入力となる。中間層の各ニュー
ラルユニットの出力は出力層の各ニューラルユニットに
伝達され、それらへの入力となる。

音声認識に例を取ると、入力層では［計測と制御１誌、
第２２巻、第１号（昭和５８年１月発行）のｐｐ、９９
−ｐｐ、１０５に［音声認識におけるパターンマツチン
グ手法Ｊと題して発表された論文（以下「文献（２）Ｊ
）の図２に示される如き音声パターンを入力信号として
受ける。ここに図２の行列の各元を入力層の各ニューラ
ルユニットに対応させるものとする。出力層の各ニュー
ラルユニットは、認識対象語文の各単語が対応する、最
大の出力が得られるニューラルユニットに対応する単語
が認識結果となる。

このような認識動作を有効に機能さすためには、あらか
じめニューラルユニットの入力に付せられる荷重の係数
を学習する必要がある。これには前記文献（１）の第１
１８頁に詳述されるパックプロパゲーション法を用いる
ことができる。

（発明が解決しようとする問題点）以上の如き構成と機能を有するニューラルネットワーク
は、理論的に定式化が不可能なパターン認識問題に対し
て、学習という高度な機能を発揮して、対処可能な解法
を与えるものと期待されている。しかし、文献（１）の
図２に示されるように、現在までに提案されているニュ
ーラルネットワークは、層間のニューラルユニット間で
はまったく自由な結合が行なわれている点で、極めて一
般的な形態のものである。それゆえ万能ではあるがも知
れないが特殊な問題を扱かう場合には能率が悪い。例え
ば比較的簡単な認識対象である活字文字でも印字の条件
によっては位置が変動する。あらゆる位置変動を想定し
て学習パターンを与えて荷重係数を学習させるのは、極
めて大変なことである。同様のことは文字の拡大・縮小
の変動についても言える。

別の例として音声認識の例を考える。文献（２）の第３
．１節に記される如く音声パターンには時間軸の伸縮が
存在する。この伸縮は複雑な非線形性を有し、極めて大
量の歪みパターンを生ずる。これら総てを対象として学
習を行なうのは計算時間的に言って不可能である。

以上の２例からパターンの学習には多量の学習パターン
が必要なことが分る。しがし、学習パターンを少なくす
るとＨＩＫｔＬ率が低下することは明白である。

すなわち、従来提案されているニューラルネットワーク
は、−船釣ではあるが、伸縮や位置の変動を処理するに
は適していないという欠点があった。本発明はこれを改
善するためダイナミックなニューラルネットワークの構
成を実現せんとするものである。

（問題点を解決するための手段）本発明によるダイナミックなニューラルネットワークは
、いずれかの層への入力の接続関係を最適に切り換える
機能を有することを特徴とする。

（作用）上記の入力の接続関係を切り換える部位では、あらかじ
めあらゆる接続関係を与えておくことはしない。かつ切
り換え部の両端の各接続線は、入カバターンの位置と何
らかの対応を有しているものとする。かくして入カバタ
ーンが与えられた時、出力層の個々のニューラルユニッ
トの出力が最大になるように上記の接続を切りかえるこ
とにより、下位層での入カバターンの位置、形状（大小
、歪み）等の変動を正規化して上位層に伝達することが
でき、安定な認識動作が達成される。

（実施例）第１図は本発明の原理に基づく音声認識システムの構成
を示す図である。参照数字１１〜１４は入力層で、各１
６個のユニット（図では一部を省略）よりなり、前記文
献（２）の図２の如き１６次元のスペクトラムベクトル
の時系列（ｘｉｍ）（時刻方向がｉ、周波数方向がｍ）
を入力され、それを中間層（参照数字２１〜２４）に送
る。入力層と中間層の結合は図に示す如く、中間層の第
１列のユニットには入力層の第ｉ−１、第ｉ、第ｉ＋１
の３者のユニットが結合される。中間層のｉ列内の各ユ
ニットはに、１，２．３の行番号で指定される。

これら２層間ではｍとｋに関してはあらゆる結合が許さ
れる。

入力層の（ｉ、ｍ）ユニットから中間層の（ｉ、ｋ）ユ
ニットへの結合には１３ｉ、ｔ、ｍ、になる係数が荷重
され、入力層の（ｉ＝１．ｍ）ユニットから中間層の（
ｉ、ｋ）ユニットへの結合にはΔ−１．ｉ、ｍ、になる
係数が荷重される。同様に入力層の（ｉ＋１．ｍ）ユニ
ットから中間層の（ｉ、　ｋ）ユニットにはｌ’ｉ＋１
．ｉ、ｍ、になる係数が荷重される。よって中間層の（
ｉ、ｋ）ユニットへの入力信号和は＋Σ１３ｉ＋１．ｔ
、ｍ、ｋ　’　ｘｉ、ｍ−〇　　　　　　　（１）（θ
はユニットの内部で発生されるバイアスファクタ）となる。これを受けて中間層の（ｉ、ｋ）ユニットはな
る出力を発生する。（１）式の信号は時刻ｉの近傍の人
力殉、ｋに対してｌ３ｉ−１，ｉ、ｍ、に’　Ｄｉ、ｉ
、ｍ、に’　１’ｉ＋１．ｉ、ｍ、になる係数群を荷重
するというフィルタリング処理を施したものであり、係
数群の学習を適当に行なっておくことによりスペクトラ
ム形状と変化傾向に対応した音声的特徴を表現する量と
な″る。（２）式はそれをｓｉｇｍｏｉｄ関数で変換し
て（０，１）なる値域に正規化したものである。結果と
して中間層の時刻ｉにおけるユニット（ｉ、１）〜（ｉ
、３）の出力３’Ｈ”　（ｙ５１ｓ　’／、□ｐ’１４
３＞は、この時刻ｉの近傍における入力の音声的特徴の
検出結果となる。

参照数字５１〜５４は出力層である。認識対象語索の単
語１，２．・・・ｎ・・・Ｎのそれぞれに対応してユニ
ットが設けられている。（特殊な場合として出力層のユ
ニットは１個でもよい。その場合にはニューラルネット
ワーク全体は特定語の検出器としてのみ機能する。）従
来技術による構成では、各ユニツ）ｎは中間層の各ユニ
ット（ｉ、ｋ）に接続され、αｈなる係数で荷重された
入力和を受け、これに応じて出力なる出力を発生する。０（ｎ）が最大となるユニットｎ
が品であるときΔが認識結果となる。

本発明の特徴として中間層と出力層の間にスイッチング
層３０．４０がある。このスイッチング層は中間層の時
刻ｉと出力層の時刻ｊとの間の最適な結合を行なう機能
を有する。

文献（２）の３．１節に関連して前述した如く、音声パ
ターンは時間方向に非線形に件数する。このために入カ
バターンの時刻ｉすなわち中間層の時刻ｉとの間の非線
形な関数ｊ　＝ｊ（ｉ）による写像を時間軸ｉと時間軸
ｊとの間に設ける。これを最適化するには（４）式の出
力が最大となる写像を定めればよいが（４）式のｓｉｇ
ｍｏｉｄ関数が増加関数であること、及び（３）式の右
辺のθがｊ（ｉ）に無関係であることからなる−次結合
の最大化問題を計算すればよいことになる。

このような問題は文献（２）でも行なわれているが如く
、動的計画法によって計算することができる。すなわち
、ｇ（１，１）　＝ｒ（１，１）　　　　　　　　　　　
　　　　（６）なる初期条件のもとにりｆ（ｎ）＝ｇ（Ｉ、Ｊ）　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　（８）と最大化が達成される。ここに、（５）、（
６）式においてｒ（ｉ、ｊ）＝＝Σ噴・Ｖｓｋ（９）である。

以上の（５）〜（９）式の処理は第２図の如き（ｉ、ｊ
）平面で明解に説明される。横軸（ｉ）には中間層より
の出力ｙｔｈが並んでいる。縦軸（ｉ）には荷重係数α
ｒ、が並んでいる。各（ｉ、ｊ）格子点では（９）式の
ｒ（ｉ、ｊ）が算出される。

これをもとにして、まず（６）式の初期条件設定が（１
゜１）点になされる。以後（ｉ、ｊ）が増加する方向に
（ｉ、ｊ）を変化させながらく７）式の漸化式を計算し
格子点にｇ（ｉ。

ｊ）の値を詰めて行く。最後にｇ（ｉ、ｊ）が得られた
時点で処理が終了する。

かくの如く動作するスイッチング層と出力層の構成は第
３図に示す如きマイクロコンピュータにより構成される
。図においてバッファ３５には中間層よりの出力群（ｙ
、、）　ｉ’保持される。荷重記憶部４５には前記の係
数群（ａｊｋ）が記憶される。マイクロプロセッサ部５
０は、ワークメモリ５５上のテーブルｇＱｔｊ）を利用
して、各出カニニットｎに対して（６）から（９）式の
計算を行なって、それぞれの出力０（ｎ）を計算する。

そのためマイクロプロセッサ部で実行される処理プログ
ラムは第４図に示す如くである。この処理中（７）式の
計算において右辺のｇの座標として負あるいは０が生じ
たときはｇ＝−のと見なすものとする。

なお、認識システムとしては、第４図の処理によって順
次算出される０（ｎ）が最大となるｎ＝Δを決定して認
識結果とするという処理も、このマイクロプロセッサ部
５０で実行される。

第３図、第４図の処理機能と同等なことは、例えばブロ
シーディングスオブジアイ・イー・イー・イーインター
ナショナルコンファレンスオンアコ−ステイクススピー
チアンドシグナルプロセッシング（Ｐｒｏｃｅｅｄｉｎ
ｇｓ　ｏｆ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　
Ｃｏｎｆｅｒｅｎｃｅ　ｏｎＡｃｏｕｓｔｉｃｓ、　５
ｐｅｅｃｈ　ａｎｄ−８層ｇｎａｌ　Ｐｒｏｃｅｓｓｉ
ｎｇ）１９８１年３月発行のｐｐ、４７１−４７４に［
アハイスピードアレイコンビュータフオーダイナミック
タイムワービング（ＡＨｉｇｈ　５ｐｅｅｄ　Ａｒｒａ
ｙ　Ｃｏｍｐｕｔｅｒ　ｆｏｒ　Ｄｙｎａｍｉｃ　Ｔｉ
ｍｅＷａｒｐｉｎｇ）　Ｊと題して発表された論文に示
される如き、並列型の回路を用いて行なうことができる
。

以上本発明の原理作用を実施例に基づいて説明したが、
これらの記載は本発明の範囲を限定するものではない。

特に本実施例は音声パターンの時間歪の例を扱うものと
したが、位置、大きさ等のパターン変動をも扱うことが
できるのは明白である。例えば位置変動を扱かう場合に
は、第１図のスイッチング層の結合をｉと１間を単純に
シフトして（５）式の最大化を行なえばよい。中間層出
力３０と出力層人力４０を２次元的に構成して拡大・縮
小及び平行移動等を行なうことにすると文字等の図形認
識に有効である。上記実施例ではスイッチング層を中間
層と出力層の間に盤けたが、中間層と入力層の間、また
は入力層の前等に設けることも可能である。さらに、本
実施例２１は中間層を１層としたが１、：＋′、゛１必要に応じて２層、３層と複数層設定することも可能で
ある。逆に中間層を設けないで、入力層と出力層よりな
るニューラルネットワークにも本発明の原理は適用され
るものである。

また、出力層のニューロンユニットの個数は一般的にＮ
個としたがＮ＝１であってもよい。この場合は認識機能
としてではなく、アクセプタとして動作する。

（効果）いずれかの層への入力を最適に切換える機能を有する本
発明のダイナミックなニューロンネットワークによると
、位置や伸縮等のパターン変動に対して安定な出力を出
すことができるので、少量の学習データで、高制度な認
識動作を実現することができる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す図である。第２図はそ
の動作説明図である。第３図は第１図実施例の要部の構
成例であり、第４図はその動作説明図である。図におい
て、１１．１２．１３．１４・・・入力層ユニ一うルユ
ニット、２１，２２，２３．２４・・・中間層ニューラ
ルユニット、３０・・・中間層出力、４０・・・出力層
入力、５１．５２゜５３、５４・・・出力層ニューラル
ユニット、３１・・・バッファ、４５・・・荷重記憶部
、５０・・・マイクロプロセッサ、５５・・・ワークメ
モリ。

Claims

【特許請求の範囲】

入力の荷重和に応じて出力を発生するニューラルユニッ
トの群により層を構成し、隣接する層のニューラルユニ
ット間で該出力を伝搬するニューラルネットワークにお
いて、いずれかの層への入力の接続関係を最適に切換え
る機能を有することを特徴とするダイナミックなニュー
ラルネットワーク。