JPH08180034A

JPH08180034A - 情報処理装置

Info

Publication number: JPH08180034A
Application number: JP6334846A
Authority: JP
Inventors: Yukio Abe; 行雄阿部
Original assignee: Hitachi Microcomputer System Ltd
Current assignee: Hitachi Microcomputer System Ltd
Priority date: 1994-12-20
Filing date: 1994-12-20
Publication date: 1996-07-12

Abstract

(57)【要約】【目的】ニューラルネットワークの構築を自動化し、
迅速かつ高精度のネットワーク化を実現する技術を提供
する。【構成】ニューラルネットワーク構築手段（１０２、
１０６、１１１）とニューラルネットワーク学習手段
（１０２、１０７、１０９）を備えた情報処理装置１０
０は、所望とするルール情報とファジィ推論情報を供給
することによって、所望のニューラルネットワークを生
成し、当該ニューラルネットワークにファジィ推論情報
が適応するようにニューラルネットワークを構成するニ
ューロン間の接続荷重を調整する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報処理装置に係り、
詳しくはニューラルネットワークの構築機能を有する情
報処理装置に関する。

【０００２】

【従来の技術】ニューラルネットワークは、脳神系類似
の構成要素であるニューロンの結合関係を基に形成され
た数理ネットワークであり、例えば誤差逆伝播学習モデ
ルにおいては、入出力データからその写像関係を容易に
自己獲得がすることができる。このようなニューラルネ
ットワークと言語的表現であるファジィシステムとの融
合法としては、ＩＦ−ＴＨＥＮルールで表現できない制
御対象に対してのみ、誤差逆伝播学習モデルを用いたニ
ューロ＆ファジィやＩＦ−ＴＨＥＮルールのメンバシッ
プ関数を調整できるニューロ・ファジィなどが挙げられ
る（ファジィ制御とニューラルネットワークとの融合
法、情報処理、１９９３年、ＶＯＬ．３４、ＮＯ．１、
第４４頁〜第５１頁参照）。これら、ニューラルネット
ワークの構造化手法は、ＣＡＬＭ：Ｃａｔｅｇｏｒｉ
ｚｉｎｇａｎｄＬｅａｒｎｉｇＭｏｄｕｌｅ，ｐｅ
ｒｇａｍｏｎｐｒｅｓｓ，ＮｅｕｒａｌＮｅｔｗｏ
ｒｋｓ、Ｖｏｌ５、第５５頁〜第８２頁、１９９２年発
行に記載されている。さらに、構造化されたニューラル
ネットワークを用いるアプリケーションプログラムは、
ＡＣｏｄｅｄＢｌｏｃｋＡｄａｐｔｉｖｅＮｅｕ
ｒａｌＮｅｔｗｏｒｋＳｙｓｔｅｍＷｉｔｈａ
Ｒａｄｉｃａｌ−ｐａｒｔｉｔｉｏｎｅｄＳｔｒｕｃ
ｔｕｒｅｆｏｒＬａｒｇｅ−ＶｏｌｕｍｅＣｈｉ
ｎｅｓｅＣｈａｒａｃｔｅｒｓＲｅｃｏｇｎｉｔｉ
ｏｎ”，ｐｅｒｇａｍｏｎｐｒｅｓｓ，Ｎｅｕｒａｌ
ＮｅｔｗｏｒｋｓＶｏｌ５、第８３５頁から第８４
１頁、１９９２年発行に記載されている。上記文献にお
いては、実行速度の向上、認識パターン数の増加、認識
率の向上などの観点から、ニューラルネットワークを構
造化することの重要性は認められていたが、従来技術で
は、ニューラルネットワークの構造化はアプリケーショ
ン開発者の試行錯誤により行なわれていた。また、個別
に学習されたモジュールを既存のニューラルネットワー
クに融合する有効な手段はなかった。

【０００３】

【発明が解決しようとする課題】上記従来のニューラル
ネットワーク技術においては、次のような種々の問題が
生じている。（１）大規模ニューラルネットワークの構築は、ニュー
ラルネットワークを構成するニューロン間の結合を人為
的に試行錯誤を繰返して行っていることから、膨大な時
間を要する。（２）複数のルールからなる複合ルールを事象データに
適用する場合、事象データは各ニューラルネットワーク
に供給され、それらのネットワークの出力を合計して非
線形変換したものが、当該複合ルールが適用されたデー
タとして出力されていた。そのため、事象データに対す
る夫々のルールの適合度については全く考慮されていな
いため、複合ルールを用いることによって得られる出力
データは、所望とする制御値とはかけ離れた値となる。（３）既に学習済みのニューラルネットワークを組み合
わせて複合ネットワークを作成する場合、各ニューラル
ネットワーク間の接続を全て人為的に作成する必要があ
り、接続精度が悪く労力も要する。（４）既に学習済みのニューラルネットワークを組み合
わせて、複合ネットワークを作成した場合に、その複合
ネットワークを再学習させて複合ネットワークの出力を
調節するための有効な手段がない。（５）大規模なニューラルネットワークで所望とする事
象データを計算する場合、全てのニューラルネットワー
クを構成するニューロンの動作が均一に行なわれること
から、出力結果に殆ど影響を与えないニューロンも頻繁
に動作させてしまい、所望とする事象データの計算に直
接関与しない計算時間を費やしている。本発明者は、こ
のような問題を解消する手段の必要性を見出した。

【０００４】本発明の目的は、構成するルールに応じた
所望とするニューラルネットワークを自動的に構築でき
るようにし、ニューラルネットワーク構築期間を短縮化
する技術を提供することである。また、本発明の他の目
的は、既存のニューラルネットワークの融合及び学習を
容易に実現する技術を提供することである。

【０００５】

【課題を解決するための手段】すなわち、ニューラルネ
ットワークの構成要素であるニューロン、当該ニューロ
ンで構成される複数の層、及び当該層間の接続条件を定
義するルール情報を用いて、ニューラルネットワークを
構築する構築手段（１０２、１０６、１１１）と、上記
ニューラルネットワークにファジィ推論させるための入
力情報を上記ニューラルネットワークに供給することに
よって形成される出力情報と上記入力情報に対する出力
期待値情報との差異情報を所定の域値以下として、上記
出力情報を上記期待値情報に近づける学習手段（１０
２、１０７、１０９）と、を備えて情報処理装置を構成
する。

【０００６】更に具体的な観点による本発明は、ニュー
ラルネットワークの構成要素であるニューロン、当該ニ
ューロンで構成される複数の層、及び当該層間の接続条
件を定義するルール情報の種類を判定し上記層間の接続
条件を定義するルール情報格納領域（１０８）を形成す
る手段と、ニューラルネットワークにファジィ推論させ
るための入力情報と当該入力情報に対する期待値を設定
する入出力情報格納領域（１０９）を形成する手段と、
上記層を構成するニューロン間の接続条件を定義するニ
ューロン情報格納領域（１１０）を形成する手段、とを
備える構築手段と、上記ニューロン情報格納領域に設定
される情報により構築されたニューラルネットワークに
対し上記入出力領域に設定された入力情報を供給し、上
記入力情報を供給することによって得られる出力情報と
上記入出力情報領域に設定された上記入力情報に対する
期待値との比較を行いそれら差異情報を求め、当該差異
情報と上記所定の域値との誤差を算出して、当該差異情
報を所定域値以下にする上記接続条件を求め、得られた
接続条件を上記ニューロン情報格納領域に設定する学習
手段と、を備えて情報処理装置を構成する。

【０００７】上記構築手段は、１つのルール情報格納領
域を定義する上記ルール情報からニューラルネットワー
クを構築する第１の手段（２００）と、複数のルールか
らなる複合ルールの当該ルールに対応するルール情報格
納領域を定義する上記ルール情報から、当該ルールに対
応する複数のサブニューラルネットワークを構築し、当
該複数のサブニューラルネットワークからニューラルネ
ットワークを構築する第２の手段（３００）と、複数の
ルールからなる複合ルールが設定され、その中の１つの
ルール情報格納領域を選択するルール選択ルールを定義
する上記ルール情報から、選択されたルールのニューラ
ルネットワークを構築する第３の手段（２００、３０
０）と、を備えることができる。

【０００８】上記第２の手段は、構築されるニューラル
ネットワークに対する上記複数のサブニューラルネット
ワークの出力の度合いを定義するルール情報格納領域を
形成する手段と、上記サブニューラルネットワークの出
力と上記出力の度合いとに基づいた情報の加重平均値を
ニューラルネットワークの出力とする手段と、を備えた
協調属性手段と、上記出力の度合いが最大のサブニュー
ラルネットワークの出力をニューラルネットワークの出
力とする排他属性手段と、を備えることができる。

【０００９】上記学習手段は、上記誤差を上記域値以下
とするように、ニューロン間の上記接続条件を更新し
て、上記ニューロン情報格納領域の内容を書き換える手
段とすることができる。

【００１０】上記第２の手段における学習手段では、上
記サブニューラルネットワークの上記接続条件を、上記
誤差を上記域値以下とするように更新させることができ
るルール学習手段と、上記適合度ニューラルネットワー
クの上記接続条件を、上記誤差を上記域値以下とするよ
うに更新させることができる適合度学習手段と、上記ル
ール学習手段及び適合度学習を行うルール適合度学習手
段と、を備えることができる。

【００１１】上記ルール学習手段、適合度学習手段、及
びルール適合度学習手段は、既存のニューラルネットワ
ークに対して、所望の入力情報と当該入力情報に対応す
る期待値を入出力情報格納領域に供給して適用させるこ
とができる。

【００１２】

【作用】上記手段によれば、所望のルール情報を用いた
構築手段により、当該ルール情報に応じたニューロンを
用いて構成される層を接続させて、ニューラルネットワ
ークが構築される。構築されたニューラルネットワーク
は、学習手段により、上記ニューラルネットワークにフ
ァジィ推論させるための入力情報を供給して得られる出
力情報と上記入力情報に対する出力期待値情報との差異
情報を所定の域値以下とするように制御され、所望のフ
ァジィ推論が実行できる。

【００１３】また、ルール情報格納領域に設定された情
報から、所望のニューロンを用い、所望の層を構成し、
当該層間を所望の接続条件で接続して、所望とするニュ
ーラルネットワークを構築することができる。構築され
たニューラルネットワークには、入出力格納領域に設定
された入力情報が供給され、当該入力情報を供給するこ
とによって得られる出力情報と上記入出力領域に設定さ
れた上記入力情報に対する期待値との比較が行なわれて
差異情報が算出さる。次いで、当該差異情報と所定の域
値との誤差が算出され、当該差異情報を所定域値以下に
する新たな接続条件がニューロン情報格納領域に格納さ
れる。こうして、構築手段で得られたニューラルネット
ワークは、所望のファジィ推論が実行できる。

【００１４】上記第１の手段では、１つのルール情報格
納領域を定義する上記ルール情報から所望のニューラル
ネットワークを構築することができる。上記第２の手段
では、複数のルールからなる複合ルールのルール情報格
納領域を定義する上記ルール情報から、当該ルールに対
応する複数のサブニューラルネットワークを構築し、当
該複数のサブニューラルネットワークから所望のニュー
ラルネットワークを構築することができる。上記第３の
手段では、複数のルールからなる複合ルールが設定さ
れ、その中の１つのルール情報格納領域を選択するルー
ル選択ルールを定義する上記ルール情報から、選択され
た１つのルールのニューラルネットワークを構築するこ
とができる。

【００１５】上記第２の手段における協調属性手段で
は、複数のサブニューラルネットワークの出力の度合い
を定義するルール情報格納領域の情報を用いて、上記サ
ブニューラルネットワークの出力と上記出力の度合いと
に基づいた情報の加重平均値を算出して、その値をニュ
ーラルネットワークの出力とすることができる。また、
上記第２の手段における排他属性手段では、上記出力の
度合いが最大であるサブニューラルネットワークの出力
をニューラルネットワークの出力とすることができる。

【００１６】上記学習手段によれば、上記差異情報を上
記域値以下となるように所定のアルゴリズムを用いて上
記接続条件を更新し、その更新値をニューロン情報格納
領域に設定する。このように、上記接続条件を変えるこ
とで、ニューラルネットワークの出力値が期待値に近づ
くようにすることができる。

【００１７】複合ルールにおける上記学習手段のルール
学習手段では、上記サブニューラルネットワークの接続
条件のみを変えて、ニューラルネットワークの出力を所
定の期待値に近づけることができる。複合ルールにおけ
る上記学習手段の適合度学習手段では、上記適合度ニュ
ーラルネットワークの接続条件のみを変えて、ニューラ
ルネットワークの出力を所定の期待値に近づけることが
できる。複合ルールにおける上記学習手段のルール適合
度学習手段では、ニューラルネットワークを構成する全
てのニューロン間の接続条件を変えて、ニューラルネッ
トワークの出力を所定の期待値に近づけることができ
る。

【００１８】上記ルール学習手段と上記適合度学習手段
と上記ルール適合度学習手段とは、既存のニューラルネ
ットワークの入出力情報領域のデータを変えることで、
適用することができる。このことは、既存のニューラル
ネットワークに再学習させることを意味する。

【００１９】

【実施例】図１には、本発明の一実施例であるニューラ
ルネットワークを用いた情報処理装置１００のブロック
図が示される。同図に示される情報処理装置１００は、
特に制限されないが、公知の半導体集積回路製造技術に
より、単結晶シリコン基板などの一つの半導体基板に形
成される。

【００２０】上記情報処理装置１００は、ニューラルネ
ットワーク用のデータやプログラムを格納するためのメ
モリ１０１と汎用マイクロプロセッサ１０２とを備えて
構成される。上記メモリ１０１としては、特に制限され
ないが、好ましくはダイナミックＲＡＭが用いられる。
上記メモリ１０１は、外部から供給されたルール情報が
ストアされるルール格納領域１１１、翻訳プログラムが
ストアされる翻訳プログラム格納領域１０６、制御プロ
グラムがストアされる制御プログラム格納領域１０７、
翻訳されたルール情報がストアされるルール属性表格納
領域１０８、入出力対応表格納領域１０９、翻訳された
ルール情報を制御して得られるニューラルネットワーク
の構成情報がストアされるネットワーク構成情報格納領
域１１０とを備える。

【００２１】上記マイクロプロセッサ１０２は、上記ル
ール格納領域１１１にストアされたルールを、上記翻訳
プログラムを用いて、ルール属性情報と入出力対応情報
に変換して上記所定のルール属性表格納領域１０８、入
出力対応表格納領域１０９にストアする。上記マイクロ
プロセッサ１０２は、特に限定されるものでは無く、通
常の汎用プロセッサであればよい。さらに翻訳プログラ
ムは、ルール属性表と入出力対応表の情報から、ニュー
ラルネットワーク構成情報を形成する。得られたニュー
ラルネットワーク構成情報は、制御プログラムにより所
望のファジィ推論が適用するように学習され、被制御対
象１０３から供給される情報の制御に用いられる。ファ
ジィ推論されるべき被制御対象１０３の情報は入力部１
０４に供給され、マイクロプロセッサ１０２は、その情
報を上記学習されたニューラルネットワークにて処理
し、出力部１０５から被制御対象１０３へファジィ推論
された情報を出力する。

【００２２】上記情報処理装置１００に供給される情報
には、被制御対象１０３から供給される推論用情報と上
記ルール格納領域１１１へ供給されるルール情報とがあ
る。上記ルール情報としては、ルール文としてプリミテ
ィブルール、複合ルール、ルール選択ルールがあり、そ
れらルールを構成する情報として、事象の発生頻度を示
す特徴量ベクトルを定義するフィーチャ（ｆｅａｔｕｒ
ｅ）文、複数の上記特徴量ベクトルを集合として定義す
るセット（ｓｅｔ）文、ニューラルネットワークの入出
力領域またはハードウエアインタフェースのためのニ
ューロン群を定義するフィールド（ｆｉｅｌｄ）文があ
る。これらルール情報は、例えば上記各種ルール文、セ
ット文、フィーチャ文、フィールド文の順に構文化さ
れ、テキスト形式で情報処理装置１００のルール情報格
納領域１１１に供給される。構文化されたルール情報の
終端にはＥＯＴ（エンドオブテキスト）が付与され
る。上記ルール情報は、情報処理装置１００外部との間
で入出力可能であり、必要に応じて新たなルール情報を
ルール格納領域１１１にストアすることができる。上記
推論用情報は、構築されたニューラルネットワークに被
制御対象１０３から供給されるファジィ推論されるデー
タである。

【００２３】上記フィーチャ文は、メンバシップ関数で
ある特徴量ベクトルで定義される。この特徴量ベクトル
は、所定の事象におけるその事象の出現度合いを示す数
字である。例えば特徴量ベクトル（ｘ１，ｘ２）＝
（０．５，０．５）とすると、この特徴量ベクトルは、
事象ｘ１と事象ｘ２の出現度合いが双方共１／２である
ことを示している。出現度合いを示す数値は、事象間の
出現度合いを比較できるものであればよく制限されるも
のではない。例えば、上記フィーチャ文は、次のように
定義される。ｆｅａｔｕｒｅ特徴量ベクトル名称＝｛数値，・・
・｝特徴量ベクトル名称は、装置内で一意的に定義されたベ
クトルの名前である。中括弧｛｝内に記述される一つ以
上の数値は、特徴量ベクトルを示す。具体的にフィーチ
ャ文が、ｆｅａｔｕｒｅＢｉｇ＝｛０．１，０．２，０．４，
０．８｝のときは、特徴量ベクトル名称Ｂｉｇが、メンバシップ
関数である０．１，０．２，０．４，０．８からなる特
徴量ベクトルであることを示す。これらメンバシップ関
数には所定の事象が対応付けられている。

【００２４】上記セット文は、次の形式で上記特徴量ベ
クトルの集合を定義する。ｓｅｔ集合名称＝｛特徴量ベクトル名称又は名称集
合，・・・｝上記名称集合は、装置内で一意的に定義された集合の名
前であり、一つ以上の特徴量ベクトル名称又は名称集合
の集合を示す。具体的に、セット文２０２が、ｓｅｔＭＡＸ＝｛Ｂｉｇ，Ｂｉｇ１，Ｂｉｇ２，Ｂｉ
ｇ３｝のときは、集合名称ＭＡＸが、特徴量ベクトル名称であ
るＢｉｇ、Ｂｉｇ１、Ｂｉｇ２及びＢｉｇ３の集合であ
ることを示す。

【００２５】上記フィールド文は、次の形式でニューラ
ルネットワークの構成層、又はニューラルネットワーク
とハードウエアとのインタフェースとなるニューロン群
を定義する。ｆｉｅｌｄフィールド名称［ニューロン数］：プログ
ラム名称フィールド名称は、装置内で一意的に定義されたニュー
ラルネットワークを構成するフィールド（層）の名前で
ある。ニューロン数は、その層を構成するニューロン数
を示す。また、コロン（：）以下のプログラム名称は、
フィールド内のニューロンが、発火するときに実行され
るプログラム名を示す。そのフィールドがニューラルネ
ットワーク間のインタフェースであり、ニューロン発火
時に特定のプログラムを実行する必要がないときには、
コロン以下を省略できる。具体的に、フィールド文が、ｆｉｅｌｄＩｎｐｕｔ［４］：ｓｅｎｓｏｒのときは、Ｉｎｐｕｔというフィールドが４個のニュー
ロンからなり、当該ニューロンが発火するとき、ｓｅｎ
ｓｏｒというプログラムが実行されることを示す。上記
ｓｅｎｓｏｒの例としては、上記入力部１０４に供給さ
れる推論用情報をＩｎｐｕｔ層に供給するプログラムが
上げられる。

【００２６】上記ルール文には、プリミティブルール、
複合ルール、ルール選択ルールの３書式がある。上記プ
リミティブルールは、次のように定義される。Ｒｕｌｅプリミティブルール名称｛ＩＦ入力フィールド名称＝特徴量ベクトル名称又は
名称集合ＴＨＥＮ出力フィールド名称＝特徴量ベクトル名称又
は名称集合，・・・｝プリミティブルール名称は、装置内で一意的に定義され
たルールの名前である。中括弧｛｝内に記述される一つ
以上のＩＦ−ＴＨＥＮ形式は、入力フィールドに特定の
特徴量ベクトル名称又は名称集合が入力されたときの、
出力フィールドに出力される特徴量ベクトル名称又は名
称集合を示す。一つ以上のＩＦ−ＴＨＥＮ形式により、
プリミティブルールの代表的な入出力関係を定義するこ
とができる。具体的には、プリミティブルール文が、ＲｕｌｅＡ｛ＩＦＩｎｐｕｔ＝ＢｉｇＴＨＥＮＯｕｔｐｕｔ
＝Ｄｅｃｒｅａｓｅ｝のときは、ルール名Ａが、「フィールドＩｎｐｕｔ
に、特徴量ベクトル名称Ｂｉｇが入力された場合は、フ
ィールドＯｕｔｐｕｔに特徴量ベクトル名称ｄｅｃｒ
ｅａｓｅを出力する」ことを示す。

【００２７】上記複合ルールは、次のように表される。Ｒｕｌｅ複合ルール名称：属性｛プリミティブまたは複合ルール名称，・・・｝複合ルール名称は、装置内で一意的に定義されたルール
の名前である。中括弧｛｝内に記述される２つ以上のプ
リミティブまたは複合ルール名称は、複合ルール名称に
より参照される複合ルールを構成するサブルールを示
す。また、属性は協調（ｃｏｏｐｅｒａｔｉｖｅ）また
は排他（ｅｘｃｌｕｓｉｖｅ）の何れかを取る。協調属
性が指定された場合には、複合ルールを構成するサブル
ールの出力を、その適合度に応じて加重平均したものが
複合ルールの出力となる。排他属性が指定された場合に
は、サブルールの中で最も適合度の高いサブルールの出
力が、複合ルールの出力となる。具体的には、複合ルー
ルが、ＲｕｌｅＣｏｎｔｒｏｌ：ｃｏｏｐｅｒａｔｉｖｅ
｛Ａ，Ｂ，Ｃ｝のときは、ルールＣｏｎｔｒｏｌがプリミティブルー
ルまたは複合ルールであるＡ、Ｂ、Ｃからなる複合ルー
ルであり、その属性が協調であることを示す。

【００２８】上記ルール選択ルールは、次のように表さ
れる。Ｒｕｌｅルール選択ルール名称：属性｛ＩＦ入力フィールド名称＝特徴量ベクトル名称又は
名称集合ＴＨＥＮプリミティブルール又は複合ルール名称，・
・・｝ルール選択ルール名称は、装置内で一意的に定義された
ルールの名前である。ルール選択ルールは、中括弧｛｝
内に記述される一つ以上のＩＦ−ＴＨＥＮ形式により、
入力フィールドに入力される特徴量ベクトル名称又は名
称集合に、ＴＨＥＮ以下のルールが適用されることを示
す。複合ルール名称が選択された場合の属性は、協調
（ｃｏｏｐｅｒａｔｉｖｅ）または排他（ｅｘｃｌｕｓ
ｉｖｅ）の何れかである。具体的には、ルール指定ルー
ルが、ＲｕｌｅＡｄａｐｔｉｖｉｔｙ：ｅｘｃｌｕｓｉｖｅ｛ＩＦＩｎｐｕｔ＝ＭＡＸＴＨＥＮＡ｝のときは、ルールＡｄａｐｔｉｖｉｔｙが、ルール選
択ルールであり、入力フィールドＩｎｐｕｔに、複合
ルール名称ＭＡＸが入力されたときには、ルールＡで処
理することを示す。そのときの属性は、排他である。

【００２９】図２（Ａ）には、上記プリミティブルール
によって形成されるニューラルネットワークの一例が示
される。プリミティブルール２００は、入力層２０１と
出力層２０２との入出力関係を設定する。上記入力層２
０１及び出力層２０２の各層は、上記フィールド文で定
義された一つ以上の人工ニューロン２０４により構成さ
れる。人工ニューロン２０４とは、入力値を非線形化し
て出力する作用を有する所定の関数である。これらの入
力層２０１の人工ニューロン２０４と出力層２０２の人
工ニューロン２０４との中間経路に所定の人工ニューロ
ン２０４から成る隠れ層２０３が設けられる。この隠れ
層は、用いられる翻訳プログラムによって任意に設定さ
れる層である。入力層２０１と隠れ層２０３に属する人
工ニューロン２０４は、互いに荷重２０５により接続さ
れる。同様に、隠れ層２０３と出力層２０２に属する人
工ニューロン２０４も、互いに荷重２０５により接続さ
れる。上記荷重２０５は、事象環境を調整するための情
報とされ、乱数を用いて初期化されており、この値は出
力値を調整する関数とされる。入力層２０１の人工ニュ
ーロン２０４に供給された特徴量ベクトルは、荷重が課
されて隠れ層２０３、出力層２０２の人工ニューロンへ
と伝達されて出力される。

【００３０】図２（Ｂ）は、上記複合ルールによって形
成されるニューラルネットワークの一例が示される。複
合ルール３００は、適合度ニューラルネットワーク３０
１、複数のサブニューラルネットワーク３０２及び出力
調整器３０３から構成される。適合度ニューラルネット
ワーク３０１及びサブニューラルネットワーク３０２
は、それ自身が上記プリミティブルール２００又は複合
ルール３００で生成されるニューラルネットワークであ
る。複合ルールに供給される特徴量ベクトルである入力
ベクトル３０４は、適合度ニューラルネットワーク３０
１及び複合ルール３００を構成する全てのサブニューラ
ルネットワーク３０２の入力層２０１に共通に供給され
る。適合度ニューラルネットワーク３０１は、入力ベク
トル３０４に応じて、複合ルールを構成するサブニュー
ラルネットワーク３０２の出力値の適合度を示す適合度
ベクトル３０６を出力調整器３０３に供給する。一方、
各サブニューラルネットワーク３０２は、入力ベクトル
３０４をサブルール出力ベクトル３０５に変換して出力
調整器３０３に供給する。出力調整器３０３は、供給さ
れる適合度ベクトル３０６とサブルール出力ベクトル３
０５とから、複合ルール３００の属性に基づき、複合ル
ール出力ベクトル３０７を生成する。

【００３１】図３（Ａ）には、上記出力調整器３０３の
属性がｃｏｏｐｅｒａｔｉｖｅである出力調整器３０３
ａの一例構成図が示される。上記出力調整器３０３ａ
は、例えば各サブニューラルネットワーク３０２の出力
であるサブルール出力ベクトル３０５に、適合度ニュー
ラルネットワーク３０１の出力である適合度ベクトル３
０６を乗算し、それぞれのサブルールの乗算結果を加重
平均した値を複合ルール出力ベクトル３０７とする。適
合度ベクトル３０６とサブルール出力ベクトル３０５の
乗算は、接続箇所に設けられたパイ−ニューロン３０９
で行われる。このパイ−ニューロン３０９は、サブルー
ル出力ベクトル３０５を対応する適合度ベクトル３０６
のスカラ倍して、その値を出力部３０８を構成する人工
ニューロン２０４へ供給する。出力部３０８の人工ニュ
ーロン２０４は、パイ−ニューロン３０９の出力を加重
平均して当該ニューラルネットワークの出力とする。

【００３２】図３（Ｂ）には、上記出力調整器３０３の
属性がｅｘｃｌｕｓｉｖｅである出力調整器３０３ｂの
一例構成図が示される。出力調整器３０３ｂでは、それ
ぞれのサブニューラルネットワーク３０２の出力に対応
する適合度ベクトル３０６を受けた人工ニューロン２０
４が活性化され、他の人工ニューロン２０４の活性を抑
制するように適合度ベクトル３０６に応じた負の荷重３
１１、例えば適合度ベクトルが最大値”１”の場合は負
の最大値”−１０”を、他の人工ニューロン２０４へ供
給し、供給される負の荷重３１１の合計値が最小とされ
る人工ニューロン２０４のみ活性化状態が維持される。
所望の人工ニューロン２０４が選択されると、その人工
ニューロン２０４から供給される信号３１３に対応する
排他回路３１０の出力３１４が例えば”１”となり、活
性化された人工ニューロン２０４と接続しているパイ−
ニューロン３１５に”１”が供給される。非活性化され
た人工ニューロン２０４と接続されるパイ−ニューロン
３１５に対する排他回路の出力は例えば”０”とされ
る。ここで、パイ−ニューロン３１５に”１”が供給さ
れることは、パイ−ニューロン３１５に供給される適合
度ベクトル３０６を素通しでパイ−ニューロン３０９へ
伝達することを意味し、”０”が供給されることは、適
合度ベクトル３０６をパイ−ニューロン３０９へ伝達し
ないことを意味する。具体的には、活性化された人工ニ
ューロン２０４と接続するパイ−ニューロン３１５の出
力は、”１”となり、他の人工ニューロン２０４と接続
するパイ−ニューロン３１５の出力は、”０”となる。
パイ−ニューロン３０９は、サブルール出力ベクトル３
０５を適合度ベクトル３０６のスカラ倍する作用を行う
ことから、適合度ベクトル３０６が伝達されたパイ−ニ
ューロン３０９と接続するサブルール出力ベクトル３０
５のみが、出力部３０８の人工ニューロン２０４へ供給
され、当該ニューラルネットワークの出力とされる。よ
って、上記活性化された人工ニューロン２０４に対応す
るただ一つのサブルール出力ベクトル３０５が複合ルー
ル出力ベクトル３０７とされる。尚、本実施例では、出
力調整器３０３ｂ内の荷重３１２は常に１に固定されて
いるものとする。このようにして、ニューラルネットワ
ークの構成層を定義するプリミティブルールや複合ルー
ルによって、所望のニューラルネットワークが構築され
る。

【００３３】図４には、上記ルール属性表格納領域１０
８に格納されるデータ構成の一例が示される。同図に示
されるように、データ構成はルール属性表４００が最上
位に位置し、ニューロン表４３０が最下位に位置するよ
うに階層化されている。上記ルール属性表４００は、ル
ール名４０１、ルール属性４０２、ルール属性表ポイン
タ４０３、入力層ニューロン情報４０４、出力層ニュー
ロン情報４０５、適合度ニューロン情報４０６及び修飾
ルールポインタ４０７からなる。当該ルール属性表４０
０は、ルール文の種類によって下記の上記要素から構成
される。プリミティブルールの場合は、ルール名４０
１、ルール属性４０２、入力層ニューロン情報４０４、
出力層ニューロン情報４０５、適合度ニューロン情報４
０６が構成要素とされる。複合ルールの場合は、ルール
名４０１、ルール属性４０２、ルール属性表ポインタ４
０３、入力層ニューロン情報４０４、出力層ニューロン
情報４０５、適合度ニューロン情報４０６が構成要素と
される。ルール選択ルールの場合は、ルール名４０１、
ルール属性４０２、ルール属性表ポインタ４０３、入力
層ニューロン情報４０４、出力層ニューロン情報４０
５、適合度ニューロン情報４０６及び修飾ルールポイン
タ４０７が構成要素とされる。上記ルール名４０１は、
ルール毎に付けられたルール名称情報がストアされる名
称表４１０の先頭アドレスが設定される。上記ルール属
性４０２は、プリミティブルール、複合ルール、ルール
選択ルールの３属性情報の他に、複合ルールの協調又は
排他属性情報がストアされる名称表４１０の属性４１２
のアドレスが設定される。また、上記ルール属性４０２
には複合ルールにおいて適合度ニュラルネットワーク形
成のためのルール属性表である旨も設定される。ルール
属性表ポインタ４０３は、複合ルールでのみ使用され、
複合ルールを構成するサブルールのルール属性表の先頭
アドレスを格納する。つまり、ルール属性表ポインタ４
０３の下位に更に複合ルールを構成するサブルールのル
ール属性表が設定されることを意味する。複合ルールが
複合ルールから構成される場合には、ルール属性表４０
０は更に階層化される。ニューラルネットワークを構成
するニューロン情報には、基本的にプリミティブルール
を構成する入力層のニューロン情報４０４、出力層のニ
ューロン情報４０６が設定され、各層のニューロン情報
４２０の先頭アドレスがストアされている。複合ルール
が指定された場合のニューロン情報は、入力層のニュー
ロン情報４０４には、複合ルールを構成するサブニュー
ラルネットワーク３０２の出力を処理するフィールドが
設定され、出力層のニューロン情報４０６には、上記出
力部３０８を構成する人工ニューロン２０４の情報が設
定され、適合度のニューロン情報４０７には、サブニュ
ーラルネットワークに対する適合度ベクトル３０６の値
が設定される。また、複合ルールを構成するサブルール
のルール属性表４００の適合度のニューロン情報４０７
には、適合度ニューラルネットワーク３０１で設定され
るべき適合度が設定される。また、ルール選択ルールで
用いられるルール修飾ポインタ４０８には、ルール選択
ルールで選択されたルール属性表４００の先頭アドレス
が設定される。

【００３４】名称表４１０は、名称４１１、属性４１
２、データ４１３から構成される。上記名称４１１に
は、特徴量ベクトル名称（フィーチャ文に対応）、名称
集合（セット文に対応）又はフィールド（フィールド文
に対応）ごとに付けられた名称が格納される。上記属性
４１２には、特徴量ベクトル名称、名称集合又はフィー
ルドの区別をするための識別子が格納される。データ４
１３には、名称４１１が特徴量ベクトル名称の場合はメ
ンバシップ関数が格納され、名称集合の場合は集合を構
成する特徴量ベクトル名称または名称集合の名称表の先
頭アドレスが格納され、フィールドの場合はフィールド
に属するニューロンが発火するときに実行されるサブル
ーチンの先頭アドレス及びフィールドを構成するニュー
ロンの情報が設定されているニューロン情報４２０の先
頭アドレスがストアされる。

【００３５】上記ニューロン情報４２０には、ニューロ
ン数４２１に翻訳プログラムにより展開されるニューロ
ン表４３０の数が設定され、ニューロン表先頭アドレス
４２２に設定されたニューロン表４３０の連続した領域
の先頭アドレスが設定される。先頭アドレスが設定され
ることにより、ニューロン表４３０の所定のデータ量に
応じたニューロン数４２１分のニューロン表が設定され
る。上記ニューロン表４３０は、ニューラルネットワー
クの層を構成する一つのニューロンの種類４３１、状態
４３２、総入力４３３、誤差４３４、入力リンク群４３
５、出力リンク群４３６の情報が設定される。上記種類
４３１には、ニューロン表が人工ニューロンかパイ−ニ
ューロンかを判別するための識別子が設定される。入力
リンク群４３５及び出力リンク群４３６の詳細をリンク
群４４０に示す。リンク群４４０は、そのニューロンの
入力対象又は出力対象とされるニューロンのニューロン
表の先頭アドレス４４１とそのときのニューロン間を接
続する荷重４４２を示す一つ以上のリンクが設定され
る。ニューロン表４３０が複合ルールの上記出力調整器
３０３ａの出力部３０８を構成する人工ニューロン２０
４の場合には、リンク群４４０に当該人工ニュロンと接
続するパイ−ニューロン３０９のニューロン表４３０の
アドレスとそのときの接続荷重”１”が設定される。出
力調整器３０３ｂを構成する人工ニューロン２０４の場
合には、出力調整器３０３ａと同様に、出力部３０８の
人工ニューロン２０４を上位のニューロン表として、そ
の下位に当該人工ニューロン２０４と接続するニューロ
ン表が接続順に設定される。上記総入力４３３には、当
該ニューロンが受ける入力ベクトルである入力リンク群
４３５（又は出力リンク群）内のニューロン表先頭アド
レス４４１で示されるニューロン表４３０の状態４３２
とその荷重４４２を乗算した値の総和が格納される。上
記状態４３２には、総入力４３３をパイ−ニューロン又
はニューロンに応じて定められた微分可能な関数により
変換された値が格納される。ここで用いられる関数につ
いては後述する。誤差４３４には、バックプロパゲーシ
ョンアルゴリズム等において伝播する誤差がストアされ
る。この誤差の計算法については後述する。上記階層化
されたデータ構成からわかるように、ＩＦ−ＴＨＥＮ形
式によって記述される一連のルール情報は、最終的にプ
リミティブルールのニューラルネットワークとして統合
される。ニューラルネットワークとは、この統合された
プリミティブルールを構成するニューロン表４４０によ
りネットワーク化されたものである。

【００３６】図５には、上記入出力領域格納領域１０９
に格納される入出力対応表５００の一例が示される。上
記入出力対応表５００には、プリミティブルールにてＩ
Ｆ−ＴＨＥＮ形式で指定される入力の特徴量ベクトルと
出力の特徴量ベクトルの対応関係が設定される。この対
応関係が、ファジィ推論用の制御データとされる。入出
力対応表５００は、入力フィールド５０１、入力ベクト
ル５０２、出力フィールド５０３、出力ベクトル５０４
から構成される。入力フィールド５０１には、ＩＦ−Ｔ
ＨＥＮ形式で指定された入力フィールドの名称表４１０
の先頭アドレスが設定され、入力ベクトル５０２には、
入力とする特徴量ベクトル名称の名称表４１０の先頭ア
ドレスが設定される。出力フィールド５０３には、ＩＦ
−ＴＨＥＮ形式で指定された出力フィールドの名称表４
１０の先頭アドレスが設定され、出力ベクトル５０４に
は、出力とする特徴量ベクトル名称の名称表４１０の先
頭アドレスが設定される。また、入出力対応表５００に
は、ルール選択ルールにてＩＦ−ＴＨＥＮ形式で指定さ
れる入力である特徴量ベクトルと選択されるルールの対
応関係情報も設定することができる。そのとき、出力フ
ィールド５０３には、ＩＦ−ＴＨＥＮ形式で指定された
選択されるルールのルール属性表４００の先頭アドレス
が設定される。

【００３７】図６には、上記翻訳プログラムのフローチ
ャートが示される。翻訳プログラムは終端情報切り出し
ステップ６０１で上記ルール情報を読み込み、切り出し
た終端記号によりルール情報の構文の終わりかどうかを
ステップ６０２で判定する。ルール情報の構文の終わり
の判断は、ルール情報の構文に付与される上記ＥＯＴで
判断する。構文の終わりでなければ、ルール文判定ステ
ップ６０３、セット文処理ステップ６０４、フィーチャ
文処理ステップ６０５、フィールド文処理ステップ６０
６の判定を行う。ルール文の判定は、例えば各文頭の記
述情報によって行われる。この６０１から６０６間のル
ープは、ステップ６０２により構文の終わりが判定され
るまで繰り返される。ステップ６０３において、ルール
文を認識した場合には、上記ルール属性表４００の作成
を行うルール文処理ステップ６０７が読出される。同様
に、ステップ６０４から６０６において、セット文、フ
ィーチャ文またはフィールド文を見つける度に上記名称
表４２０の作成を行う名称登録処理ステップ６０８が呼
び出される。ステップ６０２で全構文について処理が終
了したと判定した場合には、翻訳プログラムの制御はニ
ューラルネットワーク生成ステップ６０９へ移り、得ら
れたデータを基にニューラルネットワークの構築を行な
い翻訳プログラムを終了する。

【００３８】図７には、上記ルール文処理ステップ６０
７と上記名称登録ステップ６０８のフローチャートが示
される。上記ルール文処理ステップ６０７は、新たに定
義されたルール情報を設定するために、そのルール属性
表４００を作成する。判定されたルールがプリミティブ
ルール又はルール選択ルールの場合はステップ７０２に
て、制御をステップ７０５に移す。ルールが複合ルール
の場合は、当該ルールを構成する全てのサブルールのル
ール属性表４００をステップ７０３で設定する。ステッ
プ７０３では、当該ルールを直接構成する子サブルール
のルール属性表４００だけではなく、子サブルールを構
成する孫サブルールのルール属性表４００も、孫サブル
ールを構成する曾孫サブルールのルール属性表４００も
順次作成される。即ち、ステップ７０３では当該ルール
に関連する全サブルールのルール属性表４００が設定さ
れる。次いで、ステップ７０４では、設定されたルール
属性表４００について、全ての子のルール属性表４００
の先頭アドレスが、親のルール属性表４００のルール属
性表ポインタ４０３にストアされてリンク処理が行われ
る。

【００３９】また、ステップ７０５の判定によりルール
のみ形成する場合、即ち入出力指定がないときには、ス
テップ７１０に制御が移される。入出力指定がある場合
には、ステップ７０６で新しい入出力対応表５００を作
成し、ステップ７０７でＩＦ−ＴＨＥＮ形式で指定され
た入出力の数だけ、入力フィールド５０１、入力ベクト
ル５０２、出力フィールド５０３及び出力ベクトル５０
４を満たす情報が設定される。ステップ７０７にて、例
えば入力ベクトル５０２に名称集合が指定さる場合、名
称集合は集合を構成する２つ以上の特徴量ベクトル名称
に展開後、所望のメンバシップ関数が設定される特徴量
ベクトル名称の名称表４１０の先頭アドレスが入力ベク
トル５０２にストアされる。また、当該ルールがルール
選択ルールの場合は、修飾されるルール属性表４００の
修飾ルールポインタ４０８に、選択されるルールのルー
ル属性表アドレスがステップ７０９で設定される。最後
にステップ７１０では、ルール属性表のルール名４１１
及びルール属性４１２を登録し、ルール文処理ステップ
を終了する。

【００４０】上記名称登録処理ステップ６０８では、ス
テップ７１１にて上記ルール文処理にて必要とされる名
称表４１０が設定され、ステップ７１２にて入出力対応
表５００のデータにより名称４１１、属性４１２、デー
タ４１３がストアされる。

【００４１】図８には、上記ニューラルネットワーク生
成ステップ６０９のフローチャートが示される。先ず、
プリミティブルールのニューラルネットワークを形成す
るニューロン情報について説明する。ステップ８０１で
は、ルール属性表４００で設定されたルールがプリミテ
ィブルールかどうかをルール属性表４００のルール属性
４０２の情報で判定する。設定されたルールがプリミテ
ィブルールのとき、制御をステップ８１４に移す。ステ
ップ８１４では、先ず、ルール属性表４００の情報から
入力層２０１に人工ニューロン２０４が割り付けられて
いるかを判定する。入力層２０１に人工ニューロン２０
４が未だ割り付けられていない場合には、ステップ８１
５において、入力層２０１にニューロン情報４２０のニ
ューロン数４２１で設定された数の人工ニューロン２０
４が割り付けられる。即ち、入力層２０１を構成するニ
ューロンと同じ数だけのニューロン表４３０を確保し、
種類４３１にニューロンの識別子をストアする。また、
入力層２０１のニューロン表先頭アドレス４２２に、ニ
ューロン表４２０の先頭アドレスをストアする。さら
に、ステップ８１６において、上記入力層２０１と同様
に出力層２０２を構成する人工ニューロン２０４が割り
付けられ、所望のニューロン表４３０が確保され、種類
４３１に人工ニューロン２０４を示す識別子が設定され
る。隠れ層２０３を構成する人工ニューロンは、翻訳プ
ログラムにより入力層及び出力層を構成するニューロン
に応じた所定の数だけ設定され、隠れ層を構成するニュ
ーロン表が形成される。

【００４２】さらにステップ８１６では、入力層２０
１、出力層２０２、隠れ層２０３を構成する人工ニュー
ロン間を接続する荷重２０５が形成される。即ち、入力
層２０１を表すニューロン表４３０の出力リンク群４３
６中のニューロン表先頭アドレス４４１に、入力層と接
続する隠れ層２０３を表すニューロン表４３０のアドレ
スが満たされ、出力リンク群４３６中の荷重４４２が乱
数により初期化される。同様に、隠れ層２０３を表すニ
ューロン表４３０の入力リンク群４３５のニューロン表
先頭アドレス４４１に、入力層２０１を表すニューロン
表４３０のアドレスが設定され、入力リンク群４３６中
の荷重４４２に、上記入力層のニューロン表４３０の荷
重と同じ値が格納される。隠れ層２０３と出力層２０２
の間の荷重２０５のリンクも、入力層２０１と隠れ層２
０３と同じ様に、ニューロン表先頭アドレス４４１と荷
重４４２に乱数値を格納して作成される。ステップ８１
７では、入力層ニューロン情報４０４、出力層ニューロ
ン情報４０６にニューロン情報４２０の先頭アドレスが
設定され、ニューロン数４２１及びニューロン表先頭ア
ドレス４２２に入力層又は出力層を構成するニューロン
数と各層の先頭のニューロン表先頭アドレスとが設定さ
れる。

【００４３】複合ルールの場合は、当該ルールを構成す
る全てのサブルールについて夫々のニューラルネットワ
ークを生成する。ステップ８０２でサブルールが読出さ
れ、ステップ８０３において、前記プリミティブルール
のニューラルネットワーク生成を行うステップ６０９が
再帰的に呼び出され、複合ルールを構成する全てのサブ
ルール毎にプリミティブルールの場合と同様にニユーラ
ルネットワークが作成される。ステップ８０４では、当
該ルールのルール属性表１０３内の修飾ルールポインタ
４０８を参照して、条件１：「当該ルールがルール選択
ルールによってその適合度を決められ、且つ、ルール選
択ルールのＩＦ−ＴＨＥＮ形式で示される全ての入力ベ
クトルが直行している」が成立するかどうかを判定す
る。これは換言すれば、ルール選択ルールによって適合
度が決められたルールの内の１ルールのみを選択するか
否かを意味している。上記条件１が成立しない場合は、
ステップ８０５で適合度ニューラルネットワークを作成
する。上記条件１が成立する場合は、ステップ８１８で
選択されたルールが複合ルールか否かの判定が行われ、
複合ルールと判定された場合はステップ８０６へ、プリ
ミティブルールと判定された場合はステップ８１４へ制
御が移される。上記適合度ニューラルネットワークは、
上記プリミティブルールで生成されるニューラルネット
ワークと同等であり、プリミティブルールの生成のため
に、上記ステップ６０９が再帰的に呼び出され、プリミ
ティブルールのニューラルネットワークが作成される。
ステップ８０６では、当該複合ルールの属性が協調であ
るか排他であるかを判定する。協調属性の場合は、上記
出力調整器３０３ａが作成され、排他属性の場合には、
上記出力調整器３０３ｂが作成される。ステップ８０９
では、出力調整器３０３ａ又は３０３ｂの何れかである
ルール調整器３０３とそのサブルールとの間の接続が行
なわれる。ルール選択ルールで複合ルールが選択された
場合も、ステップ８０７、８０８で所望の出力調整器３
０３が作成されて接続が行われる。

【００４４】ステップ８１０では、再び上記条件１を判
定し、この条件が満たされない場合には、ステップ８１
１で出力調整器３０３と上記適合度ニューラルネットワ
ークの間の接続を作成する。ステップ８１０の条件が満
たされた場合には、適合度ニューラルネットワークが作
成されていないから、ステップ８０９で形成されたニュ
ーラルネットワークが維持される。すなわち、条件１を
満たす場合は、適合度ニューラルネットワークは関与さ
れず、ルール属性に対応したサブルールの出力が出力調
整器３０３ｂから出力される。一方、条件１を満たさな
い場合は、所望の適合度ニューラルネットワークを形成
し、全てのサブルールの出力に適合度が付与され、加重
平均化された値が出力調整器３０３ａから出力される。

【００４５】最後に、ステップ８１３では、上記で調整
された入力層ニューロン情報４０４、隠れ層ニューロン
情報４０５、出力層ニューロン情報４０６、適合度ニュ
ーロン情報のニューロン数４０７とニューロン情報４２
０に、入力層２０１、隠れ層２０３、適合度４０７及び
出力層２０２のニューロン数と先頭のニューロン表４３
０のアドレスとがそれぞれストアされ、所望のニューラ
ルネットワークの構成層の接続が決定される。上記フロ
ーチャートは、ルール属性表が多階層化されている場合
にも、所望のルーチンを拡張させることで適用可能とさ
れる。

【００４６】図１１には、上記制御プログラムのフロー
チャートが示される。同図によれば、制御プログラム
は、予め登録されたコマンドを解釈して、それに対応す
る多様な処理を呼び出す機能を持つものである。ここで
は、本発明に関わる学習方法の指定機能についてのみ説
明する。ニューラルネットワークの学習は、「念入りな
学習」と「活性化学習」の二つに分類できる。上記「念
入りな学習」とは、乱数によって初期化された荷重結合
を持つニューラルネットワークの荷重を調節して目的の
値を出力させることである。「活性化学習」とは、実運
用時の環境に適応できるように「念入りな学習」が行わ
れたルールを追加された入出力対応表データを用いて再
学習することである。また、本発明では、プリミティブ
ルールのニューラルネットワーク生成や、適合度ニュー
ラルネットワークの荷重を固定し、サブルールの荷重だ
けを調節する複合ルールのニューラルネットワーク生成
を、「ルール学習」と呼ぶ。逆に、サブルールの荷重を
固定し、適合度ニューラルネットワークの荷重だけを調
節する複合ルールのニューラルネットワーク生成を、
「適合度学習」と呼ぶ。さらに、上記「ルール学習」と
上記「適合度学習」を同時に行う場合は、「ルール適合
度学習」と呼ぶ。上記「念入りな学習」とは、上記「ル
ール適合度学習」を示す。

【００４７】上記制御プログラムは、最初に「念入りな
学習」である結合度調節９００を行う。この結合度調節
９００は、前記翻訳プログラムによって生成されたニュ
ーラルネットワークを調整するプログラムルーチンであ
る。一旦、ニューラルネットワークの学習を終えると、
ステップ１１０１で制御動作のコマンドが読み込まれ
る。上記「念入りな学習」で用いられた入出力対応表５
００に変更がある場合は、このコマンドに学習用コマン
ドを用い、上記「活性化学習」を実行させる。学習用コ
マンドは、「ルール学習」、「適合度学習」及び「ルー
ル適合度学習」用があり、必要に応じて所望のコマンド
が用いられる。ステップ１１０３では、読み込まれた学
習用コマンドに対応してステップ１１０７〜１１１１
で、所定の学習モードが設定される。学習モードが設定
されるとステップ１１０５に制御が移され、入出力対応
表５００に新たなデータが設定される。このデータを基
に、学習モードで設定された学習がステップ１００６で
実行される。前述のように、ステップ１１０６は、ステ
ップ１１０３にて、学習モードを参照することによっ
て、学習の対象となるニューロン間の結合を選択するた
め、活性化学習の段階でもルール学習、適合度学習を別
々に行うことができる。また、ルール適合度学習が指定
されている場合は、再帰的に結合度調節９００の処理が
実行される。

【００４８】図９には、上記結合度調節９００のプログ
ラム動作を示す一例フローチャートが示される。先ず、
ステップ９０１で前記翻訳プログラムで得られたニュー
ラルネットワークがプリミティブルールなのか、複合ル
ールなのかを判定する。プリミティブルールと判定され
た場合は、ステップ９０５へ移りルール学習の処理が行
われる。複合ルールの場合は、ステップ９０２でニュー
ラルネットワークを構成する全てのサブルールが再帰的
に読出される。全てのサブルールが読出されると、ステ
ップ９０４へ移り適合度学習の処理が行われる。適合度
学習を終えるとステップ９０５でルール学習も行われ
る。このように、翻訳プログラムで構築されたニューラ
ルネットワークは、実運用される前に必ずニューラルネ
ットワークを構成する荷重の調整が行われ、入出力対応
表５００に応じた出力が可能となるようにされる。

【００４９】図１０（Ａ）、（Ｂ）、（Ｃ）には、上記
結合度調節９００における学習プログラムのフローチャ
ートが示される。同図（Ａ）には、上記適合度学習のフ
ローチャートが示される。適合度学習が選択されると、
学習モードに適合度学習モードが設定され、誤差演算処
理１０００が行われる。適合度学習モードが設定される
ことにより、サブルール３０２の荷重を固定化し、適合
度ニューラルネットワーク３０１の荷重を調整して所定
の適合度を出力するように誤差演算処理１０００が行わ
れる。同図（Ｂ）には、上記ルール学習のフローチャー
トが示される。ルール学習が選択されると、学習モード
にルール学習モードが設定され、誤差演算処理１０００
が行われる。ルール学習モードが設定されることによ
り、適合度ニューラルネットワーク３０１の荷重を固定
化し、サブルール３０２の荷重を調整して誤差演算処理
１０００が行われる。

【００５０】同図（Ｃ）には、上記誤差演算処理１１０
６のフローチャートが示される。誤差演算処理１１０６
は、上記学習モードを参照することで学習対象となるニ
ューラルネットワークが選択される。即ち、ルール学習
モードの場合は、プリミティブルール及び複合ルールを
構成するサブルールの荷重だけを学習の対象とし、適合
度学習モードの場合は、適合度ニューラルネットワーク
の荷重だけを学習の対象とし、ルール適合度学習モード
の場合は荷重の調節可能な全てのニューロン間の結合を
学習の対象とする。ステップ１００１では、上記学習モ
ード設定に応じたニューラルネットワークの入出力を満
たす入出力対応表５００から、１組の入力ベクトルと出
力ベクトルを選択する。ステップ１００２では、ルール
を構成する全サブルールのニューロンを発火し、上記学
習モードを実行するための学習アルゴリズムを適用す
る。但し、ステップ１００２は、学習モードを参照し、
学習対象でないニューロン２０４間の荷重は変更されな
い。ステップ１００３では、実際のニューラルネットワ
ークの出力ベクトルと上記入出力対応表５００の出力ベ
クトルとを用いて自乗誤差を算出する。上記操作を上記
入出力表５００の全要素について行いステップ１００３
で得られた自乗誤差を加算していく。ステップ１００４
で入出力対応表５００を構成する全要素の上記処理が確
認されると、ステップ１００５で学習モードと同時に制
御プログラムにより設定される所定の域値と得られた上
記自乗誤差の合計が比較され、誤差が域値以上であれ
ば、下記する学習アルゴリズムによって荷重調整を行
い、再度ステップ１００１から１００４のルーチンを繰
り返す。自乗誤差の総和が、域値以下になることによっ
て当該誤差演算処理１０００は終了する。なお、制御プ
ログラムには、学習用コマンド以外にも種々のコマンド
が設けられているが、ここでは説明を省略した。

【００５１】上記学習アゴリズムについて説明する。先
ず、公知のバックプロパゲーションがニューロン表４３
０からなる任意のニューラルネットワークトポロジーに
適用できる漸化式を導出する。ここで、バックプロパゲ
ーションとは、目的の出力に対する誤差を最急降下法を
用いて最小化するアルゴリズムのことを意味する。ニュ
ーラルネットワークを構成する層ｎが出力する自乗誤差
Ｅは、Ｅ＝（Ｔ−Ｓ（ｙｎ）） ×（Ｔ−Ｓ（ｙｎ））／２・・・（式１）で定義される。式１中、Ｔは入出力対応表５００で設定
される目的とする出力ベクトルであり、Ｓはシグナル関
数でありニューラルネットワークを構成する層ｎの実際
の出力値を示す。上記Ｓは、人工ニューロンの場合、Ｓ（ｙｎ）＝１／（１＋ＥＸＰ（−ｙｎ））・・・（式Ａ）を満たし、パイ−ニューロンの場合、Ｓ（ｙｎ）＝Ａｙｎ・・・（式Ｂ）を満たす関数である。式Ｂ中、Ａは実数を示し、上記パ
イ−ニューロン３１５の場合のＡは１であり、上記パイ
−ニューロン３０９の場合のＡは適合度ベクトルのスカ
ラー値である。この関数は、上記ニューロン表４３０の
状態４３２で用いられ、上記状態４３２には個々のニュ
ーロンが実際出力する値が設定される。

【００５２】先ず、人工ニューロンのみから構成される
ニューラルネットワークの学習アルゴリズムを説明す
る。ここで、ニューロンｊからニューロンｉへの荷重Ｗ
ｉｊの変化量△Ｗｉｊは、Ｗｉｊ＝Ｗｉｊ＋△Ｗｉｊ・・・（式２）で表される。ここで調整される変化量△Ｗｉｊは、最急
降下法を用いることにより、 △Ｗｉｊ＝−Ｄ（∂Ｅ）／（∂Ｗｉｊ）・・・（式３）で表される。ここで、Ｄは正の実数である。上記自乗誤
差が、荷重Ｗｉｊで偏微分可能とされると ∂Ｅ／∂Ｗｉｊ＝−（∂Ｅ／∂ｙｉ） ×（∂ｙｉ／∂Ｗｉｊ）・・・（式４）となる。ここで、ニューロンｉの総入力ｙｉは、ｙｉ＝ΣＷｉｊ・Ｓ（ｙｊ）・・・（式６）であるから、式（４）は、 ∂Ｅ／∂Ｗｉｊ＝−（∂Ｅ／∂ｙｉ） ×Ｓ（ｙｉ）・・・（式５）となる。同様に、ｎ層の総ニューロンｎで偏微分を行う
と、 ∂Ｅ／∂ｙｎ＝Σ｛（∂Ｅ／∂ｙｎ−１） ×（∂ｙｎ−１／∂Ｓ（ｙｎ）） ×（∂Ｓ（ｙｎ）／∂ｙｎ）｝＝Σ｛（∂Ｅ／∂ｙｎ−１） ×Ｗｎ−１，ｎ ×（∂Ｓ（ｙｎ）／∂ｙｎ）｝・・・（式７）を得る。式７のｎが出力層Ｏのニューロンを表す場合
は、式７の替わりに ∂Ｅ／∂ｙ０＝−（Ｔ−Ｓ（ｙ０）） ×∂Ｓ（ｙ０）／∂ｙ０・・・（式８）を用いる。上記式７及び式８と式５を繰り返し適用する
ことにより、ニューラルネットワークのトポロジーを考
慮することなしに、バックプロパゲーションアルゴリズ
ムが実現できる。上記式７の左辺を便宜上誤差と呼ぶこ
とにする。

【００５３】次に、複合ルールのようにパイ−ニューロ
ンを含む出力調整器３０３を一構成要素として持つニュ
ーラルネットワークにバックプロパゲーションを適用す
る一方法を示す。先ず上記漸化がパイ−ニューロンに適
用できるように、バックプロパゲーションアルゴリズム
を拡張する。パイ−ニューロンは、２つ以上の入力と一
つの出力を持つことから、その総入力ｙｋ（ｋはパイ−
ニューロンｍの入力側に接続される人工ニューロン又は
パイ−ニューロンの個数）、ｙｋ＝ПＳ（ｙｍ）・・・（式９）を満たし、出力調整器３０３内の荷重２０５が学習によ
り変更されないことである。即ち、パイ−ニューロンｍ
の入力及び出力の接続は荷重を変更しないことから、パ
イ−ニューロンｍは、式７に示される誤差∂Ｅ／∂ｙｎ
を伝播するだけで良い。このような学習アルゴリズムを
用いることにより、上記誤差演算処理１０００のステッ
プ１００２において、ニューロン表４３０の状態４３２
にはＳ（ｙｉ）、総入力４３３にはｙｉがそれぞれ格納
される。さらに、学習アルゴリズムを適用することによ
り、ニューロン表４３０の誤差４３４には、誤差（式７
の左辺または式１０の左辺）が格納される。さらには、
ニューロン表４３０内の入力リンク４３５の荷重４４２
及びニューロン表４３０のアドレスが登録されたニュー
ロン表先頭アドレス４４１と同じリンクの荷重４４２に
上記式２の計算結果である荷重が格納される。このよう
にして、ニューラルネットワークを調整することによ
り、高精度のファジィ制御が実現可能とされる。

【００５４】図１２には、上記情報処理装置１００の汎
用のマイクロプロセッサ１１０に代えて利用可能な専用
マイクロプロセッサ１２００のブロック図が示される。
上記専用マイクロプロセッサ１２００は、命令識別子キ
ュー１２０１、実行ユニット１２０２、データストレー
ジ１２０３、命令ストレージ１２０４、キャッシュメモ
リ１２０５、適合度制御部１２０６を備えて構成され
る。上記命令ストレージ１２０４は、メモリから供給さ
れる上記制御プログラム及び上記翻訳プログラムをスト
アし、データストレージ１２０３は、翻訳プログラムに
よって得られた上記ルール属性表４００、上記入出力対
応表５００及び上記ニューラルネットワーク構成情報が
格納される。本専用マイクロプロセッサの構成は、デー
タストレージ１２０３に命令ストレージよりも安価で低
速なメモリを使用することにより、制御プログラムの高
速実行と大容量データの蓄積を低コストで実現するもの
である。キャッシュメモリ１２０５は、比較的低速なデ
ータストレージ１２０３と実行ユニット１２０２の速度
差を緩和し、実行ユニット１２０２の性能を向上させる
ためのものである。また、ニューラルネットワーク情報
を構成するニューロン表４３０は、翻訳プログラムによ
り連続した領域に確保されるため、キャッシュメモリ１
２０５にストアさせることによって処理速度を上げるこ
とができる。命令識別子キュー１２０１は、例えばファ
ースト・イン・ファースト・アウトのバッファで構成さ
れ、ルール属性表４００の先頭アドレスが格納される。
上記実行ユニット１２０２は、命令識別子キュー１２０
１から制御の対象となるルール情報の識別子を読み込
み、その識別子に対して制御プログラムを適用すること
により、ニューロンの発火及びニューロン間の荷重の調
節を行う。上記適合度制御部１２０６は、複合ルールの
場合（ルール選択ルールで選択されたルールが複合ルー
ルの場合も含む）に作動し、得られた加重を用いてルー
ル属性が協調のときは加重平均処理を行い、排他の場合
は得られた適合度が一番大きいルールを選択する。上記
適合度制御部１２０６は、得られた適合度を周期的に参
照し、適合度の一番大きいルールが選択されて被制御対
象の制御に用いられる。プリミティブルール及びルール
選択ルールの場合（ルール選択ルールで選択されたルー
ルがプリミティブルールの場合）には、適合度制御部１
２０６の制御は不要とされる。制御プログラムで調整さ
れた荷重で生成される適合度は、キャッシュメモリ１２
０５を通してデータストレージ１２０３にストアされて
いる適合度ニューロン情報４０７に書き込まれる。

【００５５】図１３には、上記専用マイクロプロセッサ
１２００のプロセッサ制御の一例フローチャートが示さ
れる。専用マイクロプロセッサ１２００のプロセッサ制
御は、図１３（Ａ）のルール発火制御を備える。上記ル
ール発火制御は、実行ユニット１２０２での制御作用が
示される。実行ユニット制御１２０２は、ルール発火ル
ーチンが呼び出されると、命令識別子キュー１２０１か
ら、ルールの識別子であるルール属性表４００の先頭ア
ドレスを読み出し、ステップ１３０３で識別子で示され
るルールにより生成されたニューラルネットワークの荷
重の調整を行うため、上記制御プログラムを実行する。
ステップ１３０４では、キャッシュメモリ１２０５に供
給された制御プログラムで得られた誤差値は、キャッシ
ュメモリ１２０５で更新されると、図示しないメモリア
クセスコントローラ制御によって、データストレージ１
２０３の所定のニューロン表４３０の誤差４３４にスト
アされる。ステップ１３０５では、複合ルールの処理が
行われている場合、再び命令識別子キュー１２０１から
次に処理を行うルールの識別子が読み出され、複合ルー
ルを構成するサブルールの誤差演算処理が行われる。こ
のルール発火ステップ１３００は、命令識別子キューで
指定される全てのルールが処理されるまで行われる。

【００５６】上記適合度制御１３１０は、上記ステップ
１３０３で行われる前記適合度学習の処理フローが示さ
れる。プリミティブルールやルール選択ルール（ルール
選択ルールで選択されたルールがプリミティブルールの
場合）が処理対象とされる場合は、ステップ１３１３で
得られた誤差が域値未満となるように前記バックプロパ
ゲーション処理が行われる。複合ルール（ルール選択ル
ールで選択されたルールが複合ルールの場合も含む）が
処理対象とされる場合は、ステップ１３１２でルール属
性表４００内の適合度ニューロン情報４０７で指定され
るニューロン表４３０の状態にストアされている各サブ
ルールの適合度を読み出す。読出された各サブルールの
適合度に応じて、複合ルールの属性が協調の場合は荷重
平均を算出し、排他の場合は一番適合度が大きいルール
の出力値が得られ、ステップ１３１３で得られた誤差が
域値未満となるように前記バックプロパゲーション処理
が行われる。本実施例では、域値以上の適合度を持った
ルールに対してのみバックプロパゲーション処理が実行
されるため、特に、複合ルール属性の排他指定と共に使
用することにより、不要なルールのバックプロパゲーシ
ョン処理を省くことができ、制御プログラムの処理時間
を削減することができる。

【００５７】上記実施例によれば、以下の作用効果が得
られる。（１）所定のルール情報に基づいて、ニューラルネット
ワークを構築する翻訳プログラムと、構築されたニュー
ラルネットワークの入出力値を学習させる制御プログラ
ムを備えることで、所望とするニューラルネットファジ
ィ駆動型ファジィ推論機能を容易に得ることができる。（２）ニューラルネットワークを構築するルールが複合
ルールの場合、複合ルールの要素であるサブルールの適
合度を規定する適合度ニューラルネットワークを形成
し、各サブルールの適合度に応じた出力がの加重平均値
が複合ルールで形成されるニューラルネットワークの出
力とすることができる。サブルールによる出力値に適合
度を設けることによって、ニューラルネットワークの出
力に対して所望とするサブルールの作用度合いを高める
ことができる。（３）ニューラルネットワークを構築するルールが複合
ルールの場合、複合ルールの要素であるサブルールの適
合度を規定する適合度ニューラルネットワークを形成
し、最も適合度の大きいサブルールの出力が複合ルール
で形成されるニューラルネットワークの出力とすること
ができる。サブルールによる出力値に適合度を設けるこ
とによって、所望とするサブルールの出力をニューラル
ネットワークの出力とすることができる。（４）ニューラルネットワークを構築するルールが複合
ルールの場合、所望とするルールを指定することで、適
合度ニューラルネットワークを形成することなく、指定
されたルールのみに基づいたプリミティブなニューラル
ネットワークを構成することができる。このニューラル
ネットワークは、他のサブルールの影響を全く受けるこ
となく、選択されたルールに応じたファジィ制御を実現
できる。（５）翻訳プログラムで形成されたニューラルネットワ
ークのサブルールニューラルネットワークと適合度ニュ
ーラルネットワークの荷重は、制御プログラムにより所
定の入出力対応表の値に基づいて学習され調整される。
調整された荷重は、所望とするファジィ制御を実現可能
にする。（６）学習されたニューラルネットワークに新たな入出
力対応表を供給し、再学習させることができ、既存のニ
ューラルネットワークの荷重を必要に応じて自由に調整
することができる。即ち、初期のネットワーク環境と実
運用のニューラルネットワーク環境が異なる場合に、初
めから実運用のニューラルネットワークを生成すること
なく、初期のニューラルネットワークとの相違環境部位
に応じた荷重のみを調整して実運用のニューラルネット
ワークを生成することができる。（７）ニューラルネットファジィ推論用のマイクロコン
ピュータを用いることによって、排他属性の複合ルール
の処理とその荷重調整を同時に処理することが可能とな
り、制御プログラムの処理時間を削減できる。すなわ
ち、所望とするニューラルネットワークの生成処理を高
速に行うことができる。

【００５８】以上本発明者によってなされた発明を実施
例に基づいて具体的に説明したが、本発明はそれに限定
されるものではなく、その要旨を逸脱しない範囲におい
て種々変更可能であることは言うまでもない。

【００５９】以上の説明では主として本発明者によって
なされた発明をその背景となった利用分野であるワンチ
ップマイコンに適用した場合について説明したが、本発
明はそれに限定されるものではなく、所望の接続形態を
有している半導体集積回路に広く適用することができ
る。本発明は、少なくともニューラルファジィ制御が行
われている事象に対して適用することができる。

【００６０】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば下記
の通りである。すなわち、所望のルール情報を翻訳プロ
グラムで解読することによって所定のニューラルネット
ワークを生成することができる。また、得られたニュー
ラルネットワークは、制御プログラムで入出力調整が行
われ、所望のファジィ制御を実現可能にされる。このよ
うに、本発明の情報処理装置によれば、翻訳プログラム
及び制御プログラムで迅速に高精度の所望とするニュー
ラルネットワークが構築できる。

【図面の簡単な説明】

【図１】本発明の情報処理装置の一例ブロック図であ
る。

【図２】本発明のニューラルネットワークの一例構成図
である。

【図３】本発明の出力調整器の一例構成図である。

【図４】本発明の一例ネットワーク構成データ構成図で
ある。

【図５】本発明の一例ネットワーク調整データ構成図で
ある。

【図６】本発明の翻訳プログラムの一例フローチャート
である。

【図７】翻訳プログラムのルール文処理ステップの一例
フローチャートである。

【図８】翻訳プログラムのニューラルネットワーク生成
ステップの一例フローチャートである。

【図９】ニューラルネットワーク生成ステップのニュー
ロン情報設定の結合度調節処理ステップの一例フローチ
ャートである。

【図１０】制御プログラムの各種学習処理ステップの一
例フローチャートである。

【図１１】本発明の制御プログラムの一例フローチャー
トである。

【図１２】ニューラルネットワーク用マイクロプロセッ
サの一例ブロック図である。

【図１３】ニューラルネットワーク用マイクロプロセッ
サのプロセッサ制御の一例フローチャートである。

【符号の説明】

１００情報処理システム１０１メモリ１０２マイクロプロセッサ１０３被制御装置１０４入力部１０５出力部１０６翻訳プログラム格納領域１０７制御プログラム格納領域１０８ルール格納領域１０９入出力表格納領１１０ネットワーク構成情報格納領域１１１ルール格納領域

Claims

【特許請求の範囲】

【請求項１】ニューラルネットファジィ駆動型ファジ
ィ推論機能を備えた情報処理装置において、ニューラルネットワークの構成要素であるニューロン、
当該ニューロンで構成される複数の層、及び当該層間の
接続条件を定義するルール情報を用いて、ニューラルネ
ットワークを構築する構築手段と、上記ニューラルネットワークにファジィ推論させるため
の入力情報を上記ニューラルネットワークに供給するこ
とによって形成される出力情報と上記入力情報に対する
出力期待値情報との差異情報を所定の域値以下として、
上記出力情報を上記期待値情報に近づける学習手段と、
を備えた情報処理装置。
【請求項２】ニューラルネットファジィ駆動型ファジ
ィ推論機能を備えた情報処理装置において、ニューラルネットワークの構成要素であるニューロン、
当該ニューロンで構成される複数の層、及び当該層間の
接続条件を定義するルール情報の種類を判定し上記層間
の接続条件を定義するルール情報格納領域を形成する手
段と、ニューラルネットワークにファジィ推論させるた
めの入力情報と当該入力情報に対する期待値を設定する
入出力情報格納領域を形成する手段と、上記層を構成す
るニューロン間の接続条件を定義するニューロン情報格
納領域を形成する手段、とを備える構築手段と、上記ニューロン情報格納領域の形成により構築されたニ
ューラルネットワークに対し上記入出力情報格納領域に
設定された入力情報を供給し、上記入力情報を供給する
ことによって得られる出力情報と上記入出力情報格納領
域に設定された上記入力情報に対する期待値との比較を
行いそれらの差異情報を求め、当該差異情報と上記所定
の域値との誤差を算出して、当該差異情報を所定域値以
下にする上記接続条件を求め、得られた接続条件を上記
ニューロン情報格納領域に設定する学習手段と、を備え
る情報処理装置。
【請求項３】上記構築手段は、１つのルール情報格納領域を定義する上記ルール情報か
らニューラルネットワークを構築する第１の手段と、複数のルールからなる複合ルールのルールに対応するル
ール情報格納領域を定義する上記ルール情報から、当該
ルールに対応する複数のサブニューラルネットワークを
構築し、当該複数のサブニューラルネットワークからニ
ューラルネットワークを構築する第２の手段と、複数のルールからなる複合ルールが設定され、その中の
１つのルール情報格納領域を選択するルール選択ルール
を定義する上記ルール情報から、選択されたルールのニ
ューラルネットワークを構築する第３の手段と、を備え
ることを特徴とする請求項２記載の情報処理装置。
【請求項４】上記第２の手段は、構築されるニューラルネットワークに対する上記複数の
サブニューラルネットワークの出力の度合いを定義する
ルール情報格納領域を形成する手段と、上記サブニュー
ラルネットワークの出力と上記出力の度合いと、に基づ
いた情報の加重平均値をニューラルネットワークの出力
とする手段と、を備えた協調属性手段と、上記出力の度合いが最大のサブニューラルネットワーク
の出力をニューラルネットワークの出力とする排他属性
手段と、を備えることを特徴とする請求項３記載の情報
処理装置。
【請求項５】上記学習手段は、上記差異情報を上記域値以下とするように、ニューロン
間の上記接続条件を更新して、上記ニューロン情報格納
領域の内容を書き換える手段であることを特徴とする請
求項２記載の情報処理装置。
【請求項６】上記学習手段は、上記サブニューラルネットワークの上記接続条件を、上
記差異情報が上記域値以下となるように更新するルール
学習手段と、上記適合度ニューラルネットワークの上記接続条件を、
上記差異情報が上記域値以下となるように更新する適合
度学習手段と、上記ルール学習手段及び適合度学習を行うルール適合度
学習手段と、を備えることを特徴とする請求項４記載の
情報処理装置。
【請求項７】上記学習手段は、既存のニューラルネッ
トワークに対して、所望の入出力領域を供給して適用さ
せることができることを特徴とする請求項６記載の情報
処理装置。