JP3172163B2 - ニューラルネットワークにおける結合のグループ単位学習調整方式 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 ファジィ制御システムをニューラルネットワークを用
いて構成する場合において、ニューラルネットワークを
構成する複数のユニットをグループ化し、グループ単位
に学習を行うニューラルにおける結合のグループ単位学
習調整方式に関し、 完全結合のニューラルネットワークを結合のグループ
Ｚ単位としてある特別な構造を持ったネットワークに変
換することと、各結合グループ毎に学習の程度を調整す
ることを目的とし、 ユニットを結ぶ全ての結合に対して、学習時にバック
プロパゲーション法によって求められる結合の重み変更
量に乗じて実際の重み変更量とする乗算定数を学習調整
定数として保持し、該学習調整定数に従って実際の重み
変更量を決定する学習調整装置をそれぞれ備えたニュー
ラルネットワークにおいて、該ニューラルネットワーク
を構成する全てのユニットのうちで同一層内あるいは複
数の層にまたがった複数個のユニットからなる１つ以上
のグループの設定と、該設定されるグループのうちで１
つ以上のグループ内部の各結合、あるいは１組以上のグ
ループ間での各結合に対する各学習調整装置への学習調
整定数設定との指示を受けて、該指示された結合に対す
る学習調整定数を出力する学習調整定数出力手段と、該
学習調整定数出力手段が出力する学習調整定数を前記指
示された結合に対して設定し、前記ニューラルネットワ
ークの学習をグループ単位に制御するニューラルネット
ワーク学習手段とを備えるように構成する。

〔産業上の利用分野〕

本発明はニューラルの学習方式に係り、さらに詳しく
はファジィ制御システムをニューラルネットワークを用
いて構成する場合において、ニューラルネットワークを
構成する複数のユニットをグループ化し、グループ単位
に学習を行うニューラルにおける結合のグループ単位学
習調整方式に関する。

近年ニューラルネットワーク等を使ったパターン認識
装置や適応フィルタなどが広範に研究されている。さら
にプラントの制御など、従来ファジィモデルが適用され
てきた分野でもファジィモデルのニューロモデルでの実
現が行われている。

ファジィモデルをニューロモデルで実現する場合に
は、ファジィ制御ルールのメンバーシップ関数の間の関
数付け記述するモデルを作るために、従来のように例え
ば第１層の各ユニットからの出力が第２層の全てのユニ
ットに入力されるような完全結合のニューラルネットワ
ークとは異なり、ある特別の構造を持ったニューラルネ
ットワークを使う必要がある。

またファジィニューロ融合システムにおいて一部の結
合に対してはあまり学習を行う必要がなく、他の部分に
ついて学習速度を高める必要があるような場合には、ニ
ューラルネットワークを構成する各結合毎に学習の程度
を微調整することも必要となる。このため完全結合され
たニューラルネットワークをある特別の構造のネットワ
ークに変換することと、各結合の学習の程度を微調整す
ることが望まれている。

〔従来の技術〕

新しい制御処理方式として、ファジィ制御が普及しつ
つある。このファジィ制御は、人間の判断等のあいまい
さを含む制御アルゴリズムをif−then形式で表現し、フ
ァジィ推論に従ってこの制御アルゴリズムを実行してい
くことで、検出される制御状態量から制御操作量を算出
して制御対象を制御していくものである。このファジィ
制御を実現していくためには、ファジィ制御ルール中に
記述される「あいまいな言語表現」を数値化して表現す
るメンバーシップ関数を制御対象に適合するものにチュ
ーニングしていく必要がある。

例えば、 if x₁ is big and x₂ is small then y is bigの形式
（if部は前件部、then部は後伴部と称せられている）で
記述されるファジィ制御ルールの生成は、従来、制御対
象の制御に熟知しているオペレータの対象プロセスに関
する知識に従って、先ず最初に、制御状態量及び制御操
作量の値に関しての言語的な意味をメンバーシップ関数
として定量化し、次に、これらのメンバーシップ関数の
間の関係付けを記述することでファジィ制御ルールの粗
いモデルを生成する。そして、この生成した粗いファジ
ィ制御ルールのモデルをシミュレーションや現地テスト
により評価しながらメンバーシップ関数も含めてチュー
ニングしていくことで、制御対象に適合したファジィ制
御ルールに完成させていくという方法により実現されて
いた。

このように、従来では、ファジィ制御ルールの生成処
理と、そのルール中に記述されるメンバーシップ関数の
チューニング処理は、ファジィ制御器を構築しようとす
る設計者と制御対象の制御に熟知しているオペレータと
の共同作業に従い手作業で行われていた。このファジィ
制御ルールの生成とそのメンバーシップ関数のチューニ
ングのための作業は、ノウハウを駆使しながら試行錯誤
的に実行していく必要があるため、通常短くても数カ月
を要することになる。そして、制御対象に関する制御知
識が少ない場合には、この期間は更に長期間のものとな
る。

以上のような背景から最近では学習機能を有するニュ
ーラルネットワークを用いたファジィシステム、すなわ
ちファジィニューロ融合システムが実現されるようにな
っている。（特願平２−60256「階層ネットワーク構成
データ処理装置及びデータ処理システム」を参照された
い。）従来のプログラム内蔵方式のコンピュータでは全
ての場合について動作を指定する必要があったが、ニュ
ーラルネットワークにおいては代表的な学習パターンを
何回か提示することにより学習が行われ、与えられてい
ないパターンに対しても適切な解を出力することが可能
になる。ニューラルネットワークの代表的な構造と学習
方法としては、階層型ネットワークとバックプロパゲー
ション法があることが広く知られている。

〔発明が解決しようとする課題〕

上述のようなファジィニューロ融合システムにおいて
はファジィ制御ルールを記述するモデルがニューラルネ
ットワークとして作られることから、従来のように例え
ば第１層の全てのユニットの出力が第２層の全てのユニ
ットに入力される、すなわち完全結合のニューラルネッ
トワークとは異なり、連続する２層の間でもユニット間
に結合が必ずしも存在しない、ある特別な構造を持った
ニューラルネットワークが必要となる。

またそのようなニューラルネットワークの学習を行わ
せる場合に、あるメンバーシップ関数の制御対象に対す
る適合度が高い場合には、その部分に対応する結合の学
習は他の結合の学習に比べて低速でよいなどのように、
各結合に対して学習の程度を微調整する必要もある。し
かしながら、従来においては完全結合のニューラルネッ
トワークをある特別の構造を持ったネットワークに簡単
に変換することができず、またニューラルネットワーク
の各結合毎に学習の程度を微調整することもできないと
いう問題点があった。

本発明は、完全結合のニューラルネットワークを結合
のグループＺ単位としてある特別な構造を持ったネット
ワークに変換することと、各結合グループ毎に学習の程
度を調整することを目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理ブロック図である。同図は、例
えばファジィ制御システムのモデルとしてのニューラル
ネットワーク内でユニットを結ぶ全ての結合1a,1b,・・
・に対して、学習時にバックプロパゲーション法によっ
て求められる結合の重み変更量に乗じて実際の重み変更
量とする乗算定数を学習調整定数として保持し、その学
習調整定数に応じて実際の重み変更量を決定する学習調
整装置2a,2b,・・・をそれぞれ備えたニューラルネット
ワークにおける結合のグループ単位学習調整方式の原理
ブロック図である。

第１図（ａ）において、学習調整定数出力手段３は、
ニューラルネットワークを構成するユニットのうちで同
一層内あるいは複数の層にまたがった複数個のユニット
からなる１つ以上のグループの設定と、設定されるグル
ープのうちで１つ以上のグループ内部の各結合、あるい
は１組以上のグループ間での各結合に対する各学習調整
装置への学習調整定数設定との指示を受けて、指示され
た結合に対して学習調整定数の値を出力する。またニュ
ーラルネットワーク学習手段４は、学習調整定数出力手
段３が出力する学習調整定数の値を指定された結合の学
習調整装置に対して設定し、ニューラルネットワークの
学習をグループ単位に制御する。なお学習調整定数の値
は例えば０〜１の間の値をとるものとし、特に指示のな
い結合に対する学習調整装置には学習調整定数としてあ
らかじめ１が設定されているものとする。

第１図（ｂ）は第２の発明の原理ブロック図である。
同図においては、第１の発明の原理を示す第１図（ａ）
と同様に、ニューラルネットワーク内の全ての結合1a,1
b,・・・のそれぞれに対して学習調整装置2a,2b,・・・
が備えられる。

学習調整定数および初期重み出力手段５は、ニューラ
ルネットワークを構成するユニットのうちで同一層内、
あるいは複数の層にまたがった複数個のユニットからな
る１つ以上のグループの設定と、設定されるグループの
うちで１つ以上のグループ内部の各結合、あるいは１組
以上のグループ間での各結合に対する各学習調整装置へ
の学習調整定数としての０設定、およびその各結合に対
する初期重み値としての０設定との指示を受けて、これ
らの学習調整定数および初期重みの値を出力する。ここ
で学習調整定数および初期重みとして共に０設定が指示
されるグループの結合は、完全結合のニューラルネット
ワークをある特定構造のネットワークに変換するに際し
て不要となる結合に対応する。

ニューラルネットワーク学習手段６は、学習調整定数
および初期重み出力手段５が出力する学習調整定数およ
び初期重みとして共に０を、指定された結合に対して設
定する。

第３の発明の原理ブロック図は第１図（ａ）と同じで
あるが、第１の発明においては学習調整定数の値として
例えば０から１の間の値が用いられるのに対して、第３
の発明においては実質的に１または０のいずれかが用い
られる。すなわち学習調整装置2a,2b,・・・に保持され
る学習調整定数として、バックプロパゲーション法によ
って求められる結合の重み変更量をそのまま用いるか、
または０とするかに対応するオン、またはオフのフラグ
が用いられる。学習調整定数出力手段３、およびニュー
ラルネットワーク学習手段４の作用は第１の発明におけ
ると同様である。

第４の発明の原理ブロック図は第１図（ｂ）と同様で
ある。第４の発明においては、第３の発明におけると同
様に学習調整装置2a,2b,・・・には学習調整定数として
前述のオン、またはオフのフラグが保持される。そして
学習調整定数および初期重み出力手段５からは指定され
た結合に対して学習調整定数の値としてのオフフラグと
初期重み値０が出力され、そのオフフラグと初期重み値
０とがニューラルネットワーク学習手段６によって指示
された結合に対して設定される。

第５および第６の発明においては、ニューラルネット
ワークを構成する全てのユニットに加えて定数、例えば
１を出力するユニットが設けられる。そしてこの定数出
力ユニットとニューラルネットワーク構成ユニットとの
結合に対する学習調整装置によって決定される実際の重
みが各構成ユニットに対する閾値として用いられ、これ
によりバックプロパゲーション法による閾値の学習もニ
ューラルネットワーク内の結合に対する重みの学習と同
様に行われる。第５の発明においてはニューラルネット
ワーク構成ユニットのそれぞれに対して定数出力ユニッ
トが１つずつ設けられ、第６の発明においては複数個の
ユニットに対して定数出力ユニットが共通的に設けられ
る。

〔作用〕

本発明においては、ニューラルネットワークを構成す
るユニットがグループ化され、グループ単位に学習が行
われる。第１の発明で、例えば入力層、中間層、および
出力層（３層の場合）の各層のユニットを各層毎に１つ
のグループとする場合に、入力層のグループと中間層の
グループとの間の結合に対して学習調整定数の値として
１を、また中間層グループと出力層グループの間の結合
に対して0.5を学習調整定数出力手段３およびニューラ
ルネットワーク学習手段４によって設定し、ニューラル
ネットワークの学習を行わせることにより、中間層と出
力層の間の結合に対する学習の速度が入力層と中間層の
間の結合に対する学習速度の半分になることになる。

第２の発明においては、指定されたグループ内、また
はグループ間の結合に対して初期重みとして０が設定さ
れ、また対応する学習調整装置に学習調整定数として０
が設定されることになり、バックプロパゲーション法に
よるニューラルネットワークの学習時に指定された結合
に対する重みは常に０として保たれることになる。すな
わち完全結合されたニューラルネットワークの全ての結
合のうちでグループによって指定された結合が存在しな
いと同じことになり、ある特定構造のネットワークにお
いて学習が行われる。

第３の発明においては、学習調整定数としてオフフラ
グが設定されたグループ単位の結合に対しては学習が全
く行われず、またオンのフラグが設定された結合に対し
てはバックプロパゲーション法によって求められる結合
の重み変更量がそのまま用いられる。すなわち第３の発
明においてはニューラルネットワークを構成する結合の
うちで学習を行うか否かの指定がグループ単位で行われ
ることになる。

第４の発明においては、第３の発明におけると同様に
グループ単位でオフフラグが学習調整定数として設定さ
れた結合に対しては同時に初期重み値として０が設定さ
れ、指定された結合が存在しないと同じことになる特定
構造のニューラルネットワークにおいて学習が行われ
る。

第５、第６の発明においては、定数出力ユニットが例
えば１を出力することにより、定数出力ユニットニュー
ラルネットワーク構成ユニットとの結合の重みが各構成
ユニットに対する閾値として学習されることになる。一
般にバックプロパゲーション法における結合の重みと閾
値との両方の制御は複雑になるが、本発明においては閾
値が定数出力ユニットとニューラルネットワーク構成ユ
ニットとの結合の重みとして割り当てられることによ
り、学習の制御が簡単化される。

以上のように、本発明においてはニューラルネットワ
ークを構成するユニットのうちで複数個のユニットから
なる１つ以上のグループが設定され、そのグループ単位
としての学習の調整が行われる。

〔実施例〕

第２図は本発明のニューラルネットワークにおける結
合のグループ単位学習調整方式を用いるファジィニュー
ロ融合システムの構成ブロック図である。同図におい
て、10−ｈは階層ネットワーク部11の入力層を構成する
複数の入力ユニット、10−ｉは階層ネットワーク部11の
中間層（複数段備えられる）を構成する複数の基本ユニ
ット、10−ｊは階層ネットワーク部11の出力層を構成す
る１つ又は複数の基本ユニット、12は階層ネットワーク
構成データ処理装置、13は重み値格納部であって、階層
ネットワーク部11の内部結合に割り付けられる重み値を
管理するものである。

21は学習信号格納部であって、重み値の学習のために
用いられる学習用の制御データを格納するもの、22は学
習信号提示部であって、学習信号格納部21から学習用の
制御データを読み出して、その内の制御提示データを階
層ネットワーク部11に提示するとともに、対をなすもう
一方の制御教師データを後述する重み値変更部14と次に
説明する学習収束判定部23に提示するもの、23は学習収
束判定部であって、階層ネットワーク部11から出力され
る制御量データと学習信号提示部22からの制御教師デー
タとを受けて、階層ネットワーク部11のデータ処理機能
の誤差が許容範囲に入ったか否かを判定してその判定結
果を学習信号提示部22に通知するものである。

14は重み値変更部であって、学習信号提示部22からの
制御教師データと階層ネットワーク部11のネットワーク
出力データとを受けて、バック・プロパゲーション法に
従って重み値の更新量を算出して重み値を更新していく
ことで重み値を収束値にと収束させるべく学習するもの
である。

本発明におけるファジイニューロ融合システムの詳細
な説明に入る前に、この階層ネットワーク部11の内部結
合に割り付けられる重み値を学習するために、重み値変
更部14が実行する学習アルゴリズムであるところのバッ
ク・プロパゲーション法（D.E.Rumelhart,G.E.Hinton,a
nd R.J.Williams,“Learning Internal Representation
s by Error Propagation",PARALLEL DISTRIBUTED PROCE
SSING,Vol.1,pp.318−364,The MIT Press,1986）につい
て詳述する。

階層ネットワーク部11は、基本的には、基本ユニット
と呼ばれる一種のノードと、重み値を持つ内部結合とか
ら階層ネットワークを構成している。第３図に、基本ユ
ニット10の構成を示す。この基本ユニット10は、多入力
一出力系となっており、複数の入力に対し夫々の内部結
合の重み値を乗算する乗算処理部15と、それらの全乗算
結果を加算する累算処理部16と、この累算値に非線型の
閾値処理を施して一つの最終出力を出力する閾値処理部
17とを備える。

ｈ層を前段層としｉ層を後段層とすると、この累算処
理部16では下記の（１）式の演算を実行し、閾値処理部
17では下記の（２）式の演算を実行する。

但し、 h : ｈ層のユニット番号 i : ｉ層のユニット番号 p : 入力信号のパターン番号 θ_i: ｉ層のｉ番ユニットの閾値 W_ih: ｈ−ｉ層間の内部結合の重み値 x_pi: ｈ層の各ユニットから１層のｉ番ユニットへの
入力の積和 y_ph: ｐ番目パターンの入力信号に対するｈ層のｈ番
ユニットからの出力 y^pi: ｐ番目パターンの入力信号に対するｉ層のｉ番
ユニットからの出力 そして、階層ネットワーク部11では、このような構成
の多数の基本ユニット10が、入力信号値をそのまま分配
して出力する入力ユニット10−ｈを入力層として、第４
図に示すように階層的に接続されることで階層ネットワ
ークを構成して、入力パターン（入力信号）を対応する
出力パターン（出力パターン）に変換するという並列的
なデータ処理機能を発揮することになる。

バック・プロパゲーション法では、階層ネットワーク
の重み値W_ihと閾値θ_ｉとを誤差のフィードバックによ
り適応的に自動調節して学習することになる。（１），
（２）式から明らかなように、重み値W_ihと閾値θ_ｉと
の調節は同時に実行される必要があるが、この作業は相
互に干渉する難しい作業となる。そこで、本出願人は、
先に出願の「特願昭62−333484号（昭和62年12月28日出
願、“ネットワーク構成データ処理装置”）」で開示し
たように、入力側のｈ層に常に“1"を出力するとともに
その出力に対して閾値θ_ｉを重み値として割り付けるユ
ニットを設けることで、閾値θ_ｉを重み値W_ihの中に組
み込んで閾値θ_ｉを重み値として扱うようにすることを
提案した。このようにすることで、上述の（１），
（２）式は、 で表されることになる。

次に、この（３），（４）式の記述形式のものに従っ
て、バック・プロパゲーション法による重み値の学習処
理方式について説明する。ここで、この説明は、階層ネ
ットワーク部11が、第４図に示すｈ層−ｉ層−ｊ層とい
う３層構造の階層ネットワークをもつもので行う。

（３），（４）式からの類推によって次の（５），
（６）式が得られる。すなわち、 但し、 j : ｊ層のユニット番号 W_ji: ｉ−ｊ層間の内部結合の重み値 x_pj: ｉ層の各ユニットからｊ層のｊ番ユニットへの
入力の積和 y_pj: ｐ番目パターンの入力信号に対するｊ層のｊ番
ユニットからの出力 重み値変更部14では、学習用の入力パターンが提示さ
れたときに出力される出力層からの出力パターンy
_pjと、その出力パターンy_pjのとるべき信号である教師
パターンd_pj（ｐ番目パターンの入力信号に対するｊ層
ｊ番目ユニットへの教師信号）とを受け取ると、先ず最
初に、出力パターンy_pjと教師パターンd_pjとの差分値
〔d_pj−y_pj〕を算出し、次に、 α_pj＝y_pj（１−y_pj）（d_pj−y_pj） （７） 式を算出し、続いて、 但し、ε：学習定数 ζ：モーメンタム t :学習回数 に従って、ｉ層−ｊ層間の重み値の更新量ΔW_ji（ｔ）
を算出する。ここで、「ζΔW_ji（ｔ−１）」という前
回の更新サイクル時に決定された重み値の更新量に係る
ものを加算するのは学習の高速化を図るためである。

続いて、重み値変更部14は、算出したα_pjを用いて、
先ず最初に、 を算出し、次に、 に従って、ｈ層−ｉ層間の重み値の更新量ΔW_ih（ｔ）
を算出する。

続いて、重み値変更部14は、この算出した更新量に従
って次の更新サイクルのための重み値、 W_ji（ｔ）＝W_ji（ｔ−１）＋ΔW_ji（ｔ） W_ih（ｔ）＝W_ih（ｔ−１）＋ΔW_ih（ｔ） を決定していく方法を繰り返していくことで、学習用の
入力パターンが提示されたときに出力される出力層から
の出力パターンy_pjと、その出力パターンy_pjのとるべき
信号である教師パターンd_pjとが一致することになる重
み値W_ji,W_ihを学習するよう処理している。

そして、階層ネットワーク部11がｇ層−ｈ層−ｉ層−
ｊ層という４層構造の階層ネットワークをもつときに
は、重み値変更部14は、先ず最初に、 を算出し、次に、 に従ってｇ層−ｈ層間の重み値の更新量ΔW_hg（ｔ）を
算出するというように、前段側の層間の重み値の更新量
ΔＷを、出力側の後段から求まる値とネットワーク出力
データとを使いながら決定していくよう処理するのであ
る。

本発明において、階層ネットワーク部11の中間層が４
層から成るものとする。

メンバーシップ関数のチューニングの実行時におい
て、例えば前件部が制御状態量に関しての条件を記述
し、後伴部が制御操作量に関しての条件を記述するファ
ジィ制御ルールを処理対象とするときには、階層ネット
ワーク部11の最前段の中間層の基本ユニット10を利用し
て、チューニング対象とされる制御状態量についてのメ
ンバーシップ関数の真理値を算出して出力する機能（前
件部メンバーシップ関数の真理値の算出機能）が実現さ
れるとともに、第４番目に位置する中間層の基本ユニッ
ト10を利用して、チューニング対象とされる制御操作量
についてのメンバーシップ関数の真理値を出力する機能
（後件部メンバーシップ関数の真理値の出力機能）が実
現される。

第５図に、メンバーシップ関数の一例を図示する。前
件部メンバーシップ関数の真理値の算出機能は、具体的
には、基本ユニット10より出力される出力値ｙ が第６図（ａ）に示すように、 ω＜0,θ＜０ であるときには、第５図の「温度が低い」というメンバ
ーシップ関数と類似する関数形状となり、また、 ω＞0,θ＞０ であるときには、第５図の「温度が高い」というメンバ
ーシップ関数と類似する関数形状となることに着目し
て、第６図（ｂ）に示すように、この基本ユニット10の
入力に対する重み値ωおよび閾値θを適切に温度設定す
ることで、第５図の「温度が低い」や「温度が高い」と
いう関数形状のメンバーシップ関数が実現されることに
なる。

また、２つの基本ユニット10より出力される出力値の
差分値ｙ が第７図（ａ）に示すように、第５図の「温度が普通」
というメンバーシップ関数と類似する関数形状となるこ
とに着目して、第７図（ｂ）に示すように、２個の基本
ユニット10と、この２個の基本ユニット10の出力値に重
み値“1"及び“−1"を乗じたものを入力とし、かつ閾値
処理部17を備えない基本ユニット10により構成される減
算器10a（この構成に従い、この２個の基本ユニット10
の出力値の差分値を算出するよう動作する）とを備え
て、この２個の基本ユニット10の入力に対する重み値ω
₁,ω_２及び閾値θ₁,θ_２を適切にすることで、第５図の
「温度が普通」という関数形状のメンバーシップ関数の
割付処理が実現されることになる。

このような構成を採ることにより、これらの基本ユニ
ット10の入力値に対する重み値及び閾値を変更すること
で、その前件部メンバーシップ関数の関数形状を変更で
きることになる。

また、後件部メンバーシップ関数の真理値の出力機能
は、具体的には、第８図（ａ）に示すように、後件部メ
ンバーシップ関数を細かく区画して各区画の真理値y_iを
特定し、次に、第８図（ｂ）に示すように、閾値処理部
17を備えない基本ユニット10により構成される真理値出
力器10bをこの真理値の個数（ｎ個）分用意して、この
真理値出力器10bの入力に対して重み値“y_i"を設定する
ことで実現される。ここで、第８図（ｂ）に示すよう
に、例えばバルブＡの開度といった同一種別の制御操作
量に係る後件部メンバーシップ関数の真理値は、用意さ
れる同一の真理値出力器10bに入力される構成が採ら
れ、これらの真理値出力器10bは、割り付けられる制御
操作量についての縮小されたメンバーシップ関数の真理
値の関数和を出力するよう構成されることになる。

このような構成を採ることから、これらの真理値出力
器10bの入力値に対する重み値を変更することで、その
後件部メンバーシップ関数の関数形状を変更できること
になる。

次に、階層ネットワーク部11の第２番目に位置する中
間層の基本ユニット10を利用しての処理対象のファジイ
制御ルールの前件部演算機能の実現と、第３番目に位置
する中間層の基本ユニット10を利用しての処理対象のフ
ァジイ制御ルールの後件部演算機能の実現について説明
する。

この前件部演算機能は、処理対象のファジイ制御ルー
ルのもつ前件部演算機能に整合させて実現される。従っ
て、前件部演算機能が入力値の平均値を算出して出力す
るものであるときには、例えば、第９図（ａ）に示すよ
うに、重み値“1/入力点数”を乗じたものを入力とし、
かつ閾値処理部17を備えない基本ユニット10により構成
される平均値算出器10cを備えることで実現される。同
様に、この後件部演算機能は、処理対象のファジイ制御
ルールのもつ後件部演算機能に整合させて実現されるこ
とになる。従って、後件演算機能が入力値の加算値を算
出して出力するものであるときには、例えば、第９図
（ｂ）に示すように、重み値“1"を乗じたものを入力と
し、かつ閾値処理部17を備えない基本ユニット10により
構成される加算値算出器10dを備えることで実現され
る。

以下、説明の便宜上、平均値算出器10cを備えること
で前件部演算機能を実現し、加算値算出器10dを備える
ことで後件部演算機能を実現する例で説明することにす
る。

続いて、処理対象のファジイ制御ルールの記述に従う
形式でもって、前件部メンバーシップ関数の割り付けら
れた基本ユニット10と前件部演算機能の割り付けられた
平均値算出器10cとの間が内部結合されるとともに、こ
の平均値算出器10cと後件部演算機能の割り付けられた
加算値算出器10dとの間が内部結合される。この内部結
合の設定処理は、具体的には、後述するように結合関係
のない内部結合に対して学習によっても変化されないゼ
ロ値の重み値を割り付けることで実現される。

後件部演算機能の出力する演算値は、基本的には、対
応する後件部メンバーシップ関数の真理値の縮小率を与
えるものであって、例えば第10図に示すように、「バル
ブＡの開度を小さく設定」というメンバーシップ関数が
のように表され、「バルブＡの開度を大きく設定」と
いうメンバーシップ関数がのように表される場合に
は、のメンバーシップ関数に対応付けられる後件部演
算機能の出力値に伴って、「バルブＡの開度を小さく設
定」というメンバーシップ関数の適用値が定まり、の
メンバーシップ関数に対応付けられる後件部演算機能の
出力値に従って、「バルブＡの開度を大きく設定」とい
うメンバーシップ関数の適用値が定まることになる。そ
して、最も一般的には、下式に従って、この縮小された
メンバーシップ関数の関数和の図形の重心を求めること
で、 ファジイ推論値であるバルブＡの開度Ｙを算出する構成
が採られている。

第11図はファジィ制御ルールが写像されたファジィニ
ューロ融合システムの構成ブロック図である。同図にお
いて記号のつかない○印は基本ユニット10を示し、基本
ユニット10、入力ユニット10−ｈ、基本ユニットが一部
変形されたユニット10a〜10dとによって、前件部メンバ
ーシップ関数値算出機能24、前件部演算機能25、後件部
演算機能26、後件部メンバーシップ関数値出力機能27、
およびファジィ推論値算出機能28がニューラルネットワ
ークとして構成される。また図中のX1（SA）は、X1とい
う制御状態量についてのメンバーシップ関数SA（小さ
い）によって求められるX1の真理値を表す。カッコ内の
MMは“普通”を、またLAは“大きい”を表す。さらにLH
S−１は前件部演算の演算結果値を表し、Ｙ（SA）はＹ
という制御操作量についてのメンバーシップ関数SA（小
さい）に対応づけられることを表している。

第11図において、ファジィ推論値算出機能28の出力を
用いて、図示しない演算部によって最終的な重心の値が
制御操作量データとして算出され、その値は第２図の学
習収束判定部23、および重み値変更部14に出力される。
そして学習収束判定部23によって重み値の更新指示が学
習信号提示部22に与えられ、重み値変更部14によって前
述のバックプロパゲーション法に従って、第11図の前件
部メンバーシップ関数値算出機能24からファジィ推論値
算出機能28までを構成するニューラルネットワークにお
ける重みの更新が行われる。

第11図のファジィニューロ融合システムは、一般のニ
ューラルネットワークのようにある層の各ユニットの出
力が次の層の全てのユニットに入力される完全結合され
たネットワークではなく、ファジィ制御ルールが写像さ
れることにより特別な構造を持つものとなっている。ま
たこのニューラルネットワークのチューニング、すなわ
ちメンバーシップ関数を制御対象に適合させるために行
われるニューラルネットワークの学習において、制御対
象への適合度が高い部分と低い部分とで学習の程度を調
整できることが望ましい。このような目的のために、本
発明では完全結合されたニューラルネットワークの各結
合に対して学習調整装置が設けられ、ニューラルネット
ワークを構成するユニットのうちで複数個のユニットが
グループ化され、グループ単位の結合に対して学習の調
整が行われる。

第12図は、ニューラルネットワーク内のグループ単位
の結合に対する学習調整定数、初期重みを出力する学習
調整定数及び初期重み出力装置と、学習調整定数及び初
期重みを設定し、グループ単位の学習を制御するニュー
ラルネットワーク学習制御装置との実施例の構成ブロッ
ク図である。同図において、ニューラルネットワーク30
を構成する各結合に対して、それぞれ学習調整装置31a,
31b,・・・が設けられる。

第12図において、学習調整定数および初期重み出力装
置32は、ニューラルネットワーク30内で同一層、あるい
は複数の層にまたがった複数個のユニットから構成され
る１つ以上のグループ設定の指示、その設定によって定
義可能となるグループ内またはグループ間のグループ単
位の結合の学習調整定数設定の指示、およびグループ単
位の結合の初期重み設定の指示を受けとる指示読取部3
3、指示読取部33からの出力により後述するニューラル
ネットワーク学習制御装置内の各種設定部に初期重みの
値を出力する初期重み設定部34、グループ設定の情報を
保存するグループ設定情報保存部35、指示された情報を
保存する指示情報保存部36、および指示読取部33、グル
ープ設定情報保存部35、指示情報保存部36からの出力に
より学習制御装置内の各種設定部に学習調整定数を出力
する学習調整定数設定部37から構成される。

また、ニューラルネットワーク学習制御装置38は、初
期重み設定部34からの初期重み、および学習調整定数設
定部37からの学習調整定数の出力を受けて、グループ単
位の結合に初期重みおよび学習調整定数を設定する各種
設定部39aと、グループ単位の学習を制御するための学
習制御部39bから構成される。

なお、第12図においてニューラルネットワーク30内の
各結合はそれぞれ対応する学習調整装置を経由している
ように見えるが、実際には学習調整装置は対応する結合
に対して実際の重み変更量を出力するためのものであ
り、結合自体は学習調整装置を経由するものではない。

第13図は各結合に対応する学習調整装置の実施例の構
成ブロック図である。同図において、学習調整装置31
は、学習制御装置38内の各種設定部39aによってその結
合に対して設定された学習調整定数を記憶する定数保存
部40、ニューラルネットワークの学習時にバックプロパ
ゲーション法によって結合に伝えられる重み変更情報を
読み取るための重み変更情報読取部41、定数保存部40内
の学習調整定数と重み変更情報読取部41によって読み取
られたバックプロパゲーション法に基づく重み変更量と
を乗じて実際の重み変更量を決定する重み変更量調整部
42から構成される。

第13図において、各学習調整装置31に対応する結合43
には、その結合に対する重みを記憶する重み保存部44、
学習時においてバックプロパゲーション法によって求め
られた重み変更量が伝えられる重み変更量保存部45、重
み変更量保存部45に伝えられたバックプロパゲーション
法に基づく重み変更量に応じて、学習調整装置31内の重
み変更量調整部42によって決定される際の重み変更量が
再び重み変更量保存部45に伝えられた後に、その実際の
重み変更量を用いて結合43に対する重みを変更する重み
変更装置46が設けられる。

第14図は、学習調整定数および初期重み出力装置によ
るグループ単位の学習調整定数出力処理実施例のフロー
チャートである。同図において処理が開始されると、ス
テップ（Ｓ）50で指示情報保存部36からまだ取りあげら
れていない指示が１つ選ばれ、S51で、例えば指示され
た２つのグループ間の全ての結合の学習調整装置に指示
された定数を設定するために学習制御装置38内の各種設
定部39aにその定数の値が出力される。その後S52で指示
が終わりか否かが判定され、終わりでない場合には、S5
0からの処理が繰返され、指示が終わりと判定された時
点で処理を終了する。

なおこの図では２つのグループ間の結合に対する学習
調整定数出力の例を示したが、あるグループ内の結合に
対する学習調整定数出力も全く同様に行われる。

第15図は完全結合のニューラルネットワークを結合の
グループ単位で特定構造のネットワークへ変換する処理
実施例のフローチャートである。同図において処理が開
始されると、S53で第14図のS50と同様に指示情報保存部
36からまだ取りあげられていない指示が１つ選ばれ、S5
4で指示のあったグループ単位の結合の重み保存部44に
初期重みとして０が各種設定部39aを介して設定され、
またS55で指示のあったグループ単位の結合に対して学
習調整定数として０、またはオフフラグが設定される。
その後、S56で指示が終わりか否かが判定され、指示が
終わりでない場合にはS53からの処理が繰返され、指示
が終わりと判定されると処理を終了する。

第16図はニューラルネットワークの学習時において、
各結合の学習の有無を指定する場合の、学習調整装置31
の処理実施例のフローチャートである。同図において、
S57で第13図の重み変更量保存部45から、バックプロパ
ゲーション法によって求められた重み変更量が重み変更
量保存部45に伝えられた時点で重み変更情報読取部41に
より重みの変更情報が読み取られ、S58で定数保存部40
に記憶されている学習調整定数の値が０（オフ）か否か
が判別される。

そして、その値が０（オフ）の時には、S59で重み変
更量調整部42により、重みの変更量が０とされて重み変
更量保存部45に与えられる。これに対して、定数保存部
40に記憶されている値が１（オン）の場合には、バック
プロパゲーション法による重み変更量をそのまま用いる
ことが重み変更量保存部45にS60で伝えられ、結合43に
おける重みの変更はバックプロパゲーション法によって
求められた値をそのまま用いて重み変更装置46によって
行われる。

第17図はバックプロパゲーション法による重みの変更
量に学習調整定数を乗ずる場合の、学習調整装置の処理
実施例フローチャートである。同図において、S61で重
み変更情報読取部41によって重み変更量保存部45から重
みを変更するという情報とその変更量が読み取られ、S6
2で定数保存部40から学習調整定数の値が重み変更量調
整部42に出力され、S63でその定数の値、例えば0.5と重
み変更情報読取部41によって読み取られた変更量とが乗
じられて実際の重み変更量が求められ、その値がS64で
結合43の重み変更量保存部45に新しい重み変更量として
設定される。そして重み変更装置46によって重みが変更
され、その重みの値は重み保存部44に保存されることに
なる。

第18図は閾値を結合の重みとして学習するニューラル
ネットワークの実施例である。同図において、本来のニ
ューラルネットワークを構成するユニットに加えて、定
数１を出力するユニット（グループ）G5とG6とが設けら
れる。また入力層のユニットはそれぞれ複数個のユニッ
トのグループG1とG2とに区分され、中間層および出力層
のユニットは、全体でそれぞれグループG3とG4とを構成
している。

ここでG5のユニットとG3内の全てのユニットとを結合
する結合グループをC53、G6とG4内の全てのユニットを
結合する結合のグループをC64とし、これらの結合のそ
れぞれに対する学習調整装置によって決定される実際の
重みと、この結合が入力されるユニットに対する閾値と
を対応させることによって、本発明によって中間層およ
び出力層のユニットに対する閾値も、各入力に対する重
みと同様に学習させることができる。

第19図はグループ単位の結合設定による特定構造のニ
ューラルネットワークの実現法の実施例である。同図に
おいて、第１層から第３層の範囲において破線の結合を
含むような完全結合されたネットワークから破線の結合
を含まないようなネットワークを実現するために、まず
ＡとＢのグループの設定の指示が第12図の学習調整定数
および初期重み出力装置32に与えられ、次にグループＡ
とＢとの間のグループ単位の結合に対して、学習調整定
数の値として０、またはオフフラグと初期重みとして０
とが各種設定部39aを介して設定されることにより、ニ
ューラルネットワーク内の結合は実線で示されるものの
みになる。

第20図は結合のグループ単位の学習速度調整の実施例
である。同図において入力側から見て第１層と第２層の
間の学習の速度に対して、第２層と第３層の学習の速度
を半分にすることにし、第２層のユニットのグループと
第３層のユニットのグループとの間の結合に対して学習
調整定数として0.5が設定され、第１層と第２層の間の
結合に対しては１が設定される。

〔発明の効果〕

以上詳細に説明したように、本発明によれば従来のよ
うに完全結合されたニューラルネットワークから特定の
構造を持つネットワークを結合のグループ単位で簡単に
実現することができ、またグループ単位の結合毎に学習
の程度を微調整することも可能となり、ファジィニュー
ロ融合システムの実用化に寄与することが大きい。

【図面の簡単な説明】

第１図（ａ）は、第１の発明の原理ブロック図、 第１図（ｂ）は、第２の発明の原理ブロック図、 第２図は、本発明のニューラルネットワークにおける結
合のグループ単位学習調整方式を用いるファジィニュー
ロ融合システムの構成を示すブロック図、 第３図は、階層ネットワークにおける基本ユニットの構
成図、 第４図は、階層ネットワーク部の基本構成を示す図、 第５図は、メンバーシップ関数の説明図、 第６図は、前件部メンバーシップ関数の真理値の算出機
能の説明図（その１）、 第７図は、前件部メンバーシップ関数の真理値の算出機
能の説明図（その２）、 第８図は、後件部メンバーシップ関数の真理値の出力機
能の説明図、 第９図は、前件部演算機能および後件部演算機能の説明
図、 第10図は、ファジィ推論値の説明図、 第11図は、ファジィ制御ルールが写像されたニューラル
ネットワークの構成を示すブロック図、 第12図は、学習調整定数および初期重み出力装置とニュ
ーラルネットワーク学習制御装置の実施例の構成を示す
ブロック図、 第13図は、学習調整装置の実施例の構成を示すブロック
図、 第14図は、学習調整定数出力処理実施例のフローチャー
ト、 第15図は、完全結合のニューラルネットワークを結合の
グループ単位で特定構造のネットワークへ変換する処理
の実施例フローチャート、 第16図は、各結合の学習の有無を指定する場合の学習調
整装置の処理実施例のフローチャート、 第17図は、バックプロパゲーション法による重みの変更
量に学習調整定数を乗ずる場合の学習調整装置の処理実
施例フローチャート、 第18図は、閾値を結合の重みとして学習するニューラル
ネットワークの実施例を示す図、 第19図は、グループ単位の結合設定による特定構造のニ
ューラルネットワークの実現法の実施例を示す図、 第20図は、結合のグループ単位の学習速度調整の実施例
を示す図である。 24……前件部メンバーシップ関数値算出機能、 25……前件部演算機能、 26……後件部演算機能、 27……後件部メンバーシップ関数値出力機能、 28……ファジィ推論値算出機能、 30……ニューラルネットワーク、 31a,31b,……学習調整装置、 32……学習調整定数および初期重み出力装置、 37……ニューラルネットワーク学習制御装置．

───────────────────────────────────────────────────── フロントページの続き (72)発明者 川村 旭 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 大和田 有理 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 浅川 和雄 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 松岡 成典 東京都日野市富士町１番地 富士ファコ ム制御株式会社内 (72)発明者 岡田 浩之 東京都日野市富士町１番地 富士ファコ ム制御株式会社内 (56)参考文献 情報処理学会第40回（平成２年前期) 全国大会講演論文集３Ｃ−10 渡部信 雄、川村旭他「ニューラルネットワーク によるファジィ制御−ニューロ・ファジ ィ融合システムの検討−」 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06G 7/60 G06N 3/08 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】ユニットを結ぶ全ての結合（1a,1b,・・
   ・）に対して、学習時にバックプロパゲーション法によ
   って求められる結合の重み変更量に乗じて実際の重み変
   更量とする乗算定数を学習調整定数として保持し、該学
   習調整定数に従って実際の重み変更量を決定する学習調
   整装置（2a,2b,・・・）をそれぞれ備えたニューラルネ
   ットワークにおいて、 該ニューラルネットワークを構成する全てのユニットの
   うちで同一層内あるいは複数の層にまたがった複数個の
   ユニットからなる１つ以上のグループの設定を示すグル
   ープ設定情報を保持し、該設定されたグループのうちで
   １つ以上のグループ内部の各結合、あるいは複数のグル
   ープを組として、１組以上のグループ間での各結合に対
   する各学習調整装置に対して学習調整定数を出力する学
   習調整定数出力手段（３）と、 前記各結合毎に該学習調整定数出力手段（３）から出力
   された学習調整定数を用いて、前記ニューラルネットワ
   ークの学習をグループ単位に制御するニューラルネット
   ワーク学習手段（４）とを備えたことを特徴とするニュ
   ーラルネットワークにおける結合のグループ単位学習調
   整方式。
2. 【請求項２】ユニットを結ぶ全ての結合（1a,1b,・・
   ・）に対して、学習時にバックプロパゲーション法によ
   って求められる結合の重み変更量に乗じて実際の重み変
   更量とする乗算定数を学習調整定数として保持し、該学
   習調整定数に従って実際の重み変更量を決定する学習調
   整装置（2a,2b,・・・）をそれぞれ備えたニューラルネ
   ットワークにおいて、 該ニューラルネットワークを構成するユニットのうちで
   同一層内あるいは複数の層にまたがった複数個のユニッ
   トからなる１つ以上のグループの設定を示すグループ設
   定情報を保持し、該設定されたグループのうちで１つ以
   上のグループ内部の各結合、あるいは複数のグループを
   組として、１組以上のグループ間での各結合に対する各
   学習調整装置への学習調整定数として“0"、および該各
   結合に対する初期重み値として“0"を出力する学習調整
   定数および初期重み出力手段（５）と、 前記各結合毎に該学習調整定数および初期重み出力手段
   （５）が出力する学習調整定数および初期重みとして共
   に“0"を用いて、ニューラルネットワークの学習をグル
   ープ単位に制御するニューラルネットワーク学習手段
   （６）を備えたことを特徴とするニューラルネットワー
   クにおける結合のグループ単位学習調整方式。
3. 【請求項３】ユニットを結ぶ全ての結合（1a,1b,・・
   ・）に対して、学習時にバックプロパゲーション法によ
   って求められる結合の重み変更量をそのまま用いるか、
   または０とするかに対応するオン、またはオフのフラグ
   を学習調整定数として保持し、該学習調整定数に従って
   実際の重み変更量を決定する学習調整装置（2a,2b,・・
   ・）をそれぞれ備えたニューラルネットワークにおい
   て、 該ニューラルネットワークを構成する全てのユニットの
   うちで同一層内あるいは複数の層にまたがった複数個の
   ユニットからなる１つ以上のグループの設定を示すグル
   ープ設定情報を保持し、該設定されたグループのうちで
   １つ以上のグループ内部の各結合、あるいは複数のグル
   ープを組として、１組以上のグループ間での各結合に対
   する各学習調整装置に対して学習調整定数を出力する学
   習調整定数出力手段（３）と、 前記各結合毎に該学習調整定数出力手段から出力された
   学習調整定数を用いて、前記ニューラルネットワークの
   学習をグループ単位に制御するニューラルネットワーク
   学習手段（４）とを備えたことを特徴とするニューラル
   ネットワークにおける結合のグループ単位学習調整方
   式。
4. 【請求項４】ユニットを結ぶ全ての結合（1a,1b,・・
   ・）に対して、学習時にバックプロパゲーション法によ
   って求められる結合の重み変更量をそのまま用いるか、
   または０とするかに対応するオン、またはオフのフラグ
   を学習調整定数として保持し、該学習調整定数に従って
   実際の重み変更量を決定する学習調整装置（2a,2b,・・
   ・）をそれぞれ備えたニューラルネットワークにおい
   て、 該ニューラルネットワークを構成するユニットのうちで
   同一層内あるいは複数の層にまたがった複数個のユニッ
   トからなる１つ以上のグループの設定を示すグループ設
   定情報を保持し、該設定されたグループのうちで１つ以
   上のグループ内部の各結合、あるいは複数のグループを
   組として、１組以上のグループ間での各結合に対する各
   学習調整装置に対して学習調整定数としてのオフフラグ
   を、また該各結合に対する初期重み値として“0"を出力
   する学習調整定数および初期重み出力手段（５）と、 前記各結合毎に該学習調整定数および初期重み出力手段
   （５）から出力される学習調整定数としてのオフフラ
   グ、および初期重みとしての“0"を用いて、ニューラル
   ネットワークの学習をグループ単位に制御するニューラ
   ルネットワーク学習手段（６）を備えたことを特徴とす
   るニューラルネットワークにおける結合のグループ単位
   学習調整方式。
5. 【請求項５】前記ニューラルネットワークを構成する全
   てのユニットに加えて、該全ユニットに対してそれぞれ
   定数を出力するユニットを１つ設け、該定数出力ユニッ
   トと前記ニューラルネットワーク構成ユニットとの結合
   に対する学習調整装置によって決定される実際の重みを
   該ニューラルネットワーク構成ユニットに対する閾値の
   学習を行うことを特徴とする請求項１、２、３、４記載
   のニューラルネットワークにおける結合のグループ単位
   学習調整方式。
6. 【請求項６】前記ニューラルネットワークを構成するす
   べてのユニットのうちで、１組以上の複数個のユニット
   に対して前記定数を出力するユニットを各組にそれぞれ
   共通的に設け、該共通ユニットと該複数個のユニットと
   の各結合に対する各学習調整装置によって決定される実
   際の重みを該複数個の各ユニットに対する格式位置とす
   ることを特徴とする請求項５記載のニューラルネットワ
   ークにおける結合のグループ単位学習調整方式。