JP3396489B2 - ネットワーク型情報処理システム - Google Patents

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】本発明は、パターン認識装置、制
御システム、診断システム、意志決定支援システムなど
のコンピュータを利用した情報処理システムに関し、と
くにネットワーク構造を有する情報処理システムに関す
る。 【０００２】 【従来の技術】高度な情報処理機能を実現するための従
来の技術の一つとして、情報処理を行う構造が人間の脳
の神経細胞をモデルとしたニューラルネットワークがあ
る（例えば、Ｃｏｈｅｎ，Ｆｅｉｇｅｎｂａｕｍ著、
「人工知能ハンドブック」共立出版社発行、ｐ４８７−
４９３、 甘利外、特集「ニューラルネットワークに
ついて」，人工知能学会誌，Ｖｏｌ．４，ｐｐ１１８−
１７６（１９８９））。神経細胞は多入力１出力の情報
処理素子である。その信号をｘ＝（ｘ₁，ｘ₂，ｘ₃・・
・ｘ_n）のｎ次元ベクトルで表し、出力信号をｖとす
る。神経細胞の入力ｘに対して、出力ｖを定める入出力
関係が分かれば、神経細胞の特性が分かったことにな
る。神経細胞の特性を解明して、それに似た情報処理を
おこなうモデルを、コンピューター上に構成すれば、人
間の神経細胞と同様の情報処理が可能となる。さらに、
神経細胞に似せた個のモデル（計算ユニット）を複数設
けて、互いの間に神経細胞のシナプスの情報伝達機能と
同様の働きが行えるようにすれば、神経細胞網と同じよ
うな神経回路を構築できる可能性がある。神経細胞では
信号ｘ_iやｖは、神経線維（シナプス）を伝わる神経細
胞の興奮パルスの頻度すなわち神経細胞の発火頻度の形
で表されていると考えられる。従って、このような場
合、信号ｘ_iやｖは連続的なアナログ値を取る。従来の
ニューラルネットワークモデルの例ではアナログ値を近
似的にディジタル値として取り扱うことが多い。即ち、
神経細胞が興奮していない状態と、興奮している状態と
を０，１の２値に対応させて、信号ｘ_iやｖを取り扱う
ことが多い。 【０００３】以下にニューラルネットワークモデルの例
についてもう少し詳しく説明する。入力信号ｘ_iが方向
性リンク（エッジ）を通してノード（計算ユニット）に
伝わる場合の影響が、方向性リンクに備わる重みの値ｗ
_iによって定まるものとする。単位時間内では一定の入
力である入力信号ｘに対する出力ｖは ｖ_j＝ｆ（ｕ_j） （１） ｕ_j＝Σｗ_ij・ｖ_i−θ_j （２） ｖ_iは１つ前段に位置する計算ユニットの出力で、一番
最初は入力信号ｘである。ｖ_jは計算ユニットｊの出
力、ｗ_ijは計算ユニットｉからｊへの結合の重み（例：
実数）、θ_jは計算ユニットｊのしきい値である。ｕ_jは
計算ユニットｊへの入力の総和と呼ばれる。ｆは計算ユ
ニットの入力関数あるいは特性関数と呼ばれる。上式
（１）の関数ｆ（ｕ）は通常神経生理学の知見および数
学的な扱い易さから、シグモイド｛Ｓ字形の単調増加
で、飽和特性を持つ関数１／（１＋ｅ^-x）｝が使われ
る。。式（２）は線形式であるが、式（１）は非線形性
を有しているのでこのような計算ユニットは準線形ユニ
ットと呼ばれる。 【０００４】いま、上記のような準線形のモデルによっ
て所望の情報処理が行われるようにするためには、計算
ユニットの能力とネットワークの構造とを同時に語らね
ばならない。最初に入力層と出力層のみからなり、ネッ
トワークの構造が１つの階層であるものについて説明を
する。ｎ個の複数入力情報、つまりｎ変数の組合せに対
して、１つの計算ユニットが出力として設けられた場
合、入出力特性はｎ変数の関数を記述していることにな
る。例えば、計算ユニットの入出力関数ｆとして、しき
い値をもったしきい関数（入力の総和が負ならば値０、
正ならば値１とする）を用いた場合ならば、ｎ次元空間
をある傾きの超平面で切り、入力のパターン（ｎ次元）
がその一方の側に含まれている場合に１を、他方に含ま
れている場合に０を出力する。入力が３つであれば３次
元の空間内に傾いた平面を置きその片側が０となる。原
点からのズレ（距離）がしきい関数ｆのしきい値によっ
て定まる。このような１つの階層だけの構造を持つネッ
トワークを通した推論では、入力値に線形な情報を基に
計算ユニットが総和を求めるのだから、ｎ次元の超平面
が可能な情報処理は結局、線形分離特性でしかない。 【０００５】非線形的な分離を行うためには、ネットワ
ーク構造に複数の階層を必要とする。ｎ入力計算ユニッ
ト１つが１つのｎ次元超平面を構成するようにして、同
じ入力を共有するｍ個の計算ユニットを設ければ、ｎ次
元の空間にｍ個の異なる傾きを持った超平面があること
になる。それらの複数の超平面１つずつについて分離す
べき事象がどちら側にあるのかを決定して置けば、空間
の局所的な偏向が発生するので、非線形分離特性が得ら
れる。このｍ個の計算ユニットのすべての出力を、１つ
の計算ユニットの入力となるようなｍ入力計算ユニット
を配置すれば、２段階の情報処理が可能となる。このよ
うに段階を複数にした情報処理ができるネットワークを
階層的ネットワークという。最初のノードは入力ノード
と呼ばれ、基本的には何の情報処理もせず、次の段階
（階層）のノードの入力へ情報を伝達する。最終段のノ
ードは出力ノードといわれ、入力ノードと出力ノードの
間に存在するノードは中間層あるいは隠れ層のノードと
いわれる。中間層ノードと出力ノードは計算ユニットで
ある。 【０００６】 【発明が解決しようとする課題】 （記述量）従来の技術においては、入出力の精度は、基
本的には中間層のノードの数によって定まるため、精度
を確保しようとするとデータ記述量が爆発的に増える場
合が存在した。中間層のノードを少なくした場合には、
最終段の計算ユニット出力が粗い段階的表現になった
り、あるいは弁別できる種類が少なくなったりする。し
かし、この中間層の数をどの程度増やせば適正であるの
かについては、定説はない。本発明の一つの目的は、ニ
ューラルネットワークモデルにおける記述量の増大の問
題を解決することにある。 【０００７】（初期状態の設定）また、従来技術におい
ては、学習の基盤となるシステムの初期状態を記述する
有効な手段がなく、基本的には平衡状態やランダムな状
態から学習を始める場合が多かった。物理的な問題で
も、人間の感覚と同じ能力をシミュレートするような問
題でも、何らかの入力信号と出力すべき情報の間にある
関係は、領域として捉えられている場合が多い。ところ
でニューラルネットワークの中間層のノード１つの役割
はｎ次元空間に置かれた超平面の片側が有為であること
を意味することである。つまり、ｎ次元の超空間の中に
領域を十分緻密に設定しようとすると、２のｎ乗から３
のｎ乗程度の超平面即ち中間ノードを用意し、その各々
が領域の周囲を取り囲むように配置しなければならな
い。超平面の配置、あるいは移動は、ノードのｎ個の入
力エッジ（方向正リンク）の重みと、計算ユニットの変
換式のしきい値とを同時に変化されることによって実施
される。つまり、中間層が１段だけで出力がただ１つで
あるネットワークを想定すれば、まず入力と中間層ノー
ドとの間には、 しきい値を持つ中間ノード数 Ｎ₂＝ｋⁿ個 重みを有するエッジの本数 ｅ（１−２）＝ｎ×ｋⁿ本 次に、中間層ノードと出力層ノードとの間には、 重みを有するエッジの本数 ｅ（２−３）＝ｋⁿ本 しきい値を持つ出力ノード Ｎ₃＝１個 が必要となる。以上から、 総エッジ数ｅ＝ｅ（１−２）＋ｅ（２−３）＝（ｎ＋
１）×ｋⁿ本 しきい値を有する総ノード数Ｎ＝Ｎ₂＋Ｎ₃＝ｋⁿ＋１個 重み値としきい値を合わせた総調整箇所数＝（ｎ＋２）
×ｋⁿ＋１ となる。ｋは緻密さを表す係数で２＜ｋ＜３が目安とな
っている。いま、ｋを２とし、入力信号を１０個、出力
数を１とすれば、総調整箇所数は、 （１０＋２）×２¹⁰＝１２，８８８ となり、概略の設定でも初期設定を行えるような数では
なくなる。このため、方向性を持った初期状態を指定す
ることができず、学習の方向性を付けることや学習の収
束速度を上げるなどの調整が困難であった。この初期設
定を困難にする要因は、ニューラルネットワークの構造
そのものに原因があるとも考えられる。中間層ノードに
よってｎ次元超平面ができることは上記のとおりである
が、当初にランダムに配置されていた複数のｎ次元超平
面が、後述するようなニューラルネットワークの学習規
則に則って入力信号がある度に、出力信号が望ましいパ
ターンに近似するように平面の中を傾きを変更し、原点
からの距離を変更して移動するのである。しかし、各々
の超平面が特定の領域を均等にくるむように（球状なら
ばｎ次元超球となるように）超平面が配置されて行くと
いう保証はない。それは、超平面同士、相互の関連を記
述して置くことができないからである。本発明の他の目
的は、初期状態を指定することができ、学習の方向性を
つけ、学習の収束速度をあげるなどの調整を容易に行う
ことができるようにすることにある。 【０００８】（組合せ爆発問題）上記のように、ある程
度緻密に領域を設定するような問題で、さらに識別すべ
き結果の数（出力ノード数に等しい）が複数あるなら
ば、中間層のノード数と出力ノードが増加してゆく。こ
れまでの前提はｎ個の入力を基に１つの出力を導くため
の枠組みを想定して説明していた。識別や診断を行う場
合の緻密さによって係数ｋの値が定まるが、出力がｍ個
必要な場合には、中間層の数はｍ倍程度に増加する。上
記と同様の計算で総エッジ数と総ノード数は、 ｅ＝ｎ×ｍ×ｋⁿ＋ｍ×ｋⁿ＝（ｎ＋１）×ｍ×ｋⁿ Ｎ＝ｍ×ｋⁿ＋ｍ＝ｍ×（ｋⁿ＋１） 試みに入力数ｎ＝１０、出力数ｍ＝１０、ｋ＝２とする
と、 ｅ＝（１０＋２）×１０×２¹⁰＝１２２，８８０ Ｎ＝１０×（２¹⁰＋１）＝１０，２５０ 実際問題として上記のような１万以上の計算ユニットを
設け、総和としきい関数の演算をし、１２万にものぼる
重みの計算をすることは、計算ユニットを物理的に構成
することも困難であるし、同時に計算処理時間の上から
も問題となることが多い。計算処理時間については、推
論した結果を出力する度に、結果の良否判断を行ってし
きい値や重み値を確率的に更新して行くなどの学習機能
が備わっている場合には、学習時間がさらに大きな問題
となる。このように入力と出力の組合せが少し増加して
も指数関数的にノードとエッジが増加してしまうので、
実際に実験現場で利用するソフトウェアツールなどで
は、入力数１０、出力数１０の場合の中間層ノード数を
たかだか１０個程度にして利用したりする。これでは処
理時間の問題などは解消できても、推奨値の１千分の１
という中間ノード数によって表すことができる事象の分
離などの誤差は、容易には小さくならないことを意味す
る。そこで、本発明の他の目的は、緻密な識別や診断を
行うように構成する場合であっても、ノード数の増加が
比較的少なくて済むようにすることにある。 【０００９】（学習）入力層、中間層、出力層のように
階層的に計算ユニットを配置した、階層型ニューラルネ
ットワークの方向性リンクの重みや計算ユニットのしき
い値などのパラメータを、問題の解析から初期設定を行
うことは、前述の理由で困難である。そのためニューラ
ルネットワークには学習方式が備えられることが多い。
ニューラルネットワークに例題を与えて、例題を通した
推論過程における推論の誤差を評価して、ネットワーク
の推論が目的の動作に近づくように、上記のパラメータ
を変更する機構が必要となる。このように各種パラメー
タを帰納法的に確定することを学習と呼ぶ。階層型ニュ
ーラルネットワークの学習方式には大別して、教師信号
（あるいは単に教師という）なしの学習と、教師信号あ
りの学習の２種類がある。本発明によるネットワーク型
推論方式でも後述するようにこれらの２つの学習を行う
ことができる。 【００１０】学習のプロセスを司る規則、いわゆる学習
則はこれまでに多くの研究によって提案されているが、
ここでは代表例としてＤ．Ｅ．Ｒｕｍｅｌｈａｒｔによ
って提案された誤り逆伝播（エラー・バック・プロパゲ
ーション、ｅｒｒｏｒ ｂａｃｋ ｐｒｏｐａｇａｔｉ
ｏｎ）学習則（例えば、Ｒｕｍｅｌｈａｒｔ外２，「Ｌ
ｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂ
ｙ Ｂａｃｋ−ｐｒｏｐａｇａｔｉｎｇ ｅｒｒｏｒ
ｓ」，Ｎａｔｕｒｅ，Ｖｏｌ．３２３−９，ｐｐ５３３
−５３６）について説明する。上記式（１）、式（２）
の前提を利用して階層が３層のニューラルネットワーク
の学習を説明する。入出力層だけのニューラルネットワ
ークは単純な線形分離しかできないために制約が多かっ
たが、３層以上の階層型ニューラルネットワークは１−
２層で線形分離された特徴空間において、次の２−３層
の結合によってさらに特徴が組み合わされて線形分離さ
れる。このことから中間にある層（ここでは第２層）の
計算ユニット（ノード）を十分に用意すれば、いかなる
入出力の非線形関係をも記述できることが言われてい
る。多層型のニューラルネットワークの記述能力は向上
しても、有効な学習則である逆伝播学習則の発見によっ
てはじめて利用可能な状態になった。 【００１１】入力層（第１層）の第ｈ番目の計算ユニッ
トＵ_1hに入力する信号をｘ_h、第２層の第ｉ番目の計算
ユニットをＵ_2i、その入力の総和をｕ_i、計算ユニット
Ｕ_1hと計算ユニットＵ_iの間のエッジ（方向性リンク）
の変換効率すなわち重みをｗ_hi、計算ユニットＵ_iの出
力をｖ_i、出力層（第３層）のｊ番目の計算ユニットＵ
_3jとの間の重みｗ_ij、Ｕ_2jの入力の総和をｕ_j、出力を
ｖ_jとすれば、それらの間の関係は次のように表すこと
ができる。ただし、以後の説明を簡単にするために式
（２）のしきい値θを省略する。 ｖ_j＝ｆ（ｕ_j）＝ｆ（Σｗ_ij・ｖ_i） （３） ｖ_i＝ｆ（ｕ_i）＝ｆ（Σｗ_hi・Ｘ_h） （４） いま学習のためにネットワークの入力ベクトルＸのパタ
ーンとネットワークの初期状態の出力パターンの組
｛（Ｘ_p，Ｖ_p)｝，ｐ＝１，２，…，Ｎ，が用意されて
いる。適当な入力パターンＸを入力し、ニューラルネッ
トワークの出力ｖ_jと対応する正解パターンＹの第ｊ成
分をｙ_jとするなら、誤差の総和Ｅはネットワークと正
解との誤差の絶対値の２乗で表すことができる。 Ｅ＝│ｅ│²＝ΣＹ_p−ｖ_p）² （５） ＜Σの底はｐ＞ 学習にって、最終的に得られるニューラルネットワーク
の結合が、訓練セット｛（Ｘ_p，Ｖ_p)｝に関してのニュ
ーラルネットワークの誤差の総和Ｅが極小になるように
なれば、学習の目標を達成したことになる。Ｅを最小に
するためにＥのノード毎の誤差成分の２分の１のＥ_jを
最小にする。 Ｅ_j＝（ｙ_j−ｖ_j）²／２ （６） ｄＥ_j／ｄｖ_j＝−（ｙ_j−ｖ_j） （７） 【００１２】いま、結合の強さである重みｗ_ijが僅かに
ｄαだけ変化したときの出力ｖ_jへの影響の度合いｄｖ_j
／ｄα_jは、式（３）より、 ｄｖ_j／ｄα_j＝ｖ_i・ｆ’（Σｗ_ij・ｖ_i）＝ｆ’（ｕ_j）・ｖ_i （８） となる。従って結合の重みの変化ｄα_jが、２乗誤差Ｅ
に与える影響ｄＥ_j／ｄα_jは、 ｄＥ_j／ｄα_j＝（ｄＥ_j／ｄｖ_j）×（ｄｖ_j／ｄα_j） ＝−（ｙ_j−ｖ_j）・ｆ’（ｕ_j）・ｖ_i ＝−δ_j・ｖ_i （９） ただし、 δ_j＝ｆ’（ｕ_j）・（ｙ_j−ｖ_j） （１０） 以上のように、ニューラルネットワークの重みを変化さ
せたときの誤差への影響が計算によって求めることがで
きるので、逆にある誤差が観測されたときに、誤差を少
なくする方向に重みを変更することができる。 【００１３】ここで、一般的に行われるバックプロパゲ
ーション（逆伝播）学習則による学習は、ある入力があ
ったとき、式（３）（４）において最終出力段に発生し
た誤差のノード成分の値を基に、その前段の重みｗ_ijを
正解に近づく方向に僅かに修正し、新たな重みとする。
式（１０）を出力誤差から入力へと計算を逆に行って、
誤差Ｅ_jを減少させるような重みｗｉｊの変化量Δαを
計算することができる。即ち、 Δα_j＝η・δ_j・ｖ_i （１１） ｗ_ij＝ｗ_ij＋Δα_j＝ｗ_ij＋η・δ_j・ｖ_i （１２） δ_j＝（ｙ_j−ｖ_j）・ｆ’（ｕ_j） （１０）式に同
じ δ_i＝ｆ’（ｕ_i）Σｗ_ij・δ_j （１３）＜Σの底はｊ＞ 式（１２）は、計算ユニットＵ_jの一般化された誤差δ_j
と、その結合が伝えている信号ｖ_iとの積に応じて、計
算ユニットＵ_jへの結合重みｗ_ijを修正する、修正式で
ある。常数ηは一般に小さな正数である。式（１２）
は、誤差が正、即ち計算ユニットＵ_jの活動が不足して
いる場合、計算ユニットＵ_jに正の信号を送っていたユ
ニットからの結合の重みを減らすように働く。誤差が負
の場合には、結合重みの修正は逆に行われる。式（１
０）のδ_jは、一般化された誤差と呼ばれ、最終出力段
における出力ユニットＵ_jの誤差に出力感度に相当する
ｆ’を乗じている。これに対して、式（１３）ではδ_i
を、丁度、出力層での誤差δ_jを入力とし、出力層から
入力層へ逆方向に、ｆ’（ｕ）を乗じながら伝搬してい
るような形の計算になっている。このことから逆伝播学
習則と呼ばれている。式（１０）〜式（１３）は上記に
示した３層のニューラルネットワークよりも階層の多い
場合にも、当てはめることができる。 【００１４】また、学習を効果的に行うための改良も行
われている。例えば、シミュレーティド・アニーリング
（徐冷）法と言われる方法では、当初の重み変更の度合
いを大きく、学習が進んで誤差が小さくなった場合には
重みの変更度合いを小さくするような方法である。しか
し、式（１２）を入力層の方向に置き換えると、式（１
３）も併せて、 ｗ_hi＝ｗ_hi＋Δα_i＝ｗ_hi＋η・δ_i・ｖ_h ＝ｗ_hi＋η・ｆ’（ｕ_i）・Σｗ_ij・δ_j・ｖ_h （１４） 結局、１度の訓練用の信号入力がされたときに、全ての
エッジに関して式（１０）と式（１２）、あるいは式
（１４）のいずれかの計算をしなければならない。かつ
計算ユニットのしきい関数ｆ（ｕ）には非線形関数がお
もに使われるので計算の負荷は見かけよりも大きくな
る。上記の計算量はエッジの数に比例して増加する。一
方でエッジの数が多いほど訓練用の信号セットの量すな
わち学習回数を増加させなければならない。学習に要す
る時間は、対象が困難な問題ほど、指数関数的に増加す
る。そこで、本発明の目的は、学習に要する時間を短縮
することにある。 【００１５】（学習の安定性）また、従来技術において
は、初期状態の設定の困難であることもあり学習収束の
方向性を付けることは困難である。基本的には、１回の
サンプリングごとのバックプロパゲーションによって内
部状態を変更するため入力データの与え方に偏りが有っ
たり、与え方が採用している学習方式に対して不適当な
場合学習に障害を発生する場合があった。このため、学
習速度や学習結果の妥当性に問題が出る場合があった。
本発明の他の目的は、学習に際して障害を発生しない安
定な学習を行うことのできる学習方式を得ることにあ
る。 【００１６】（説明性）従来技術においては、学習の対
象となるシステム内部の処理記述が基本的にはリンクの
重みという形で表現され、概念的な具体性を持たないた
め、学習の結果を外部（即ち、入出力データ）からしか
判定できない。即ち、従来のシステムにおいては、内部
の処理記述の説明性が良くなかった。このため、学習結
果を内部状態（記述）によって直接評価することは困難
であった。従って、本発明の他の目的は、学習の結果を
容易に評価することのできる学習方式を得ることにあ
る。 【００１７】（可搬性（移植／組替え））従来技術にお
いては、学習の対象となるシステム内部の処理記述が基
本的にはリンクの重みという形で表現され、基本的には
ノード間のリンクは全結合に近い状態で運用される。こ
のため、学習結果を部分的に取り出し利用する、２つの
学習結果を合わせて１つのシステムを構成する、学習結
果を異なるデータ記述形式を持つシステム（プロダクシ
ョンシステムなど）に適用する、といった一つのシステ
ムから他のシステムへの改造や、拡張、縮小などを行う
ことは困難であった。また、同様の理由で、入出力のノ
ードを追加／削除することも困難であった。従って、本
発明の他の目的は、システムへの改造や、拡張、縮小な
どを容易に行うことのできるようにすることにある。 【００１８】 【課題を解決するための手段】本発明は、複数のノード
（図２の２１〜２３）を有する入力層と複数のノード
（２４〜２６）を有する出力層が方向性リンクを介して
結合され、その方向性リンクは通過する情報の変換をす
る情報変換機能を有し、前記出力層のノードは方向性リ
ンクを介して入力される情報に対して関数演算を行う機
能（図１の１５〜１６）を有するネットワーク型情報処
理システムにおいて、上記の方向性リンクの情報変換機
能として、帯域通過型あるいは帯域阻止型のような選択
的な特性をもつフィルタ関数に従って情報変換を行うフ
ィルタ関数演算部（図１の１１〜１４）を有する。 【００１９】前記フィルタ関数演算部は、そのフィルタ
関数として、ファジイメンバシップ関数などの確率分布
関数を用い、入力情報の数量と確率分布関数とを照合し
て合致度の数値を得るものである。 【００２０】さらに、前記フィルタ関数演算部は、前記
確率分布関数の外に重み付け関数を有し、入力情報の数
量と確率分布関数とを照合して合致度の数値を得るとと
もに、その得られた合致度に重み付けした出力を出力層
のノードに伝達するものである。これにより前記出力層
のノードは、伝達される情報の確実度などを前記ノード
の関数計算に活かすことができる。 【００２１】また、前記出力層のノードは、しきい値論
理による２値出力でなく、加重平均値算出のような連続
値を出力する関数演算部を有する。これにより、出力層
の出力が後段に他のネットワーク型情報処理システムが
結合された際に、連続量で表される情報の伝達を行うこ
とができる。 【００２２】また、本発明は、以上に説明した本発明の
ネットワーク型情報処理システムを一つの単位機能モジ
ュールとし、その単位機能モジュールを複数個用意し、
これらの複数の単位機能モジュールを方向性リンクによ
り結合した構成とすることができる。 【００２３】本発明は、上述のネットワーク型情報処理
システムの学習手段に関する。以下、学習手段の構成に
ついて説明する。即ち、本発明は、前記ネットワーク型
情報処理システムが、学習用の入力情報と、前記入力情
報に対応する正しい出力情報とを、教示信号として入力
する手段を有し、複数回の反応サイクルにおいて得られ
るその教示信号、すなわち、入力信号とそれに対応する
正しい出力信号を統計的に処理し、この統計処理結果に
基づいて、前記フィルタ関数のパラメータを決定あるい
は修正する学習手段を有するネットワーク型情報処理シ
ステムである。この学習手段は、入力情報とそれに対応
する正しい出力情報を示す教示情報が予め用意され、入
力情報が与えられたとき、正しい出力情報を取り出すよ
うに学習させるものである。反応サイクルとは、「入力
があり出力を行う」という処理を１サイクルとするもの
である。 【００２４】 【００２５】 【００２６】 【００２７】 【作用】従来のニューラルネットワークシステムでは、
ネットワークのポテンシャルが方向性リンクの重み数値
として蓄えられていた。この場合の情報変換機能の効果
は、ネットワークに入力される情報の量と、上記の重み
数値とが乗算されることによって得られる。識別などを
行うべく入力の領域を区分してゆくためには、上記の複
数入力と中間層のノードとの間の情報変換機能が、前述
のように線形分離を行う多次元平面を利用し、複数の平
面で領域を囲むように配置することが必要であった。し
かし、原理的に確率的に平面の移動補正をすることしか
できないことから、前述のように数多くのノードを必要
とし、また、偏らない入力信号を数多く与えて学習させ
なければらなかった。 【００２８】本発明の一つの方向性リンクのフィルタ関
数は、このような従来のニューラルネットワークの複数
の中間層が実現していた超平面に対応し、また、本発明
の入力層と出力層とを結合する方向性リンクが作り出す
領域指定は、上記従来技術の入力層と中間層と出力層の
組合せリンクとノードからなる複数の超平面が示す領域
指定に対応する。従って、本発明は、従来のニューラル
ネットワークに比べ、同一の精度を得るのに必要な記述
量が少なくなり、要素の数か少なくなって構成が簡単と
なるとともに、処理時間を短縮することができる。 【００２９】また、本発明は、システム内部の処理記述
に確率分布関数のようなフィルタ関数を用いるので、非
線形な分離を可能とし、また、人がその記述内容の表す
具体的な意味を把握し易い。換言すれば本発明は処理記
述の説明性がよい。従って、本発明は、初期状態の設定
を人間が直接記述することが可能であり、また、学習の
結果得られた内部状態を人間が把握することが容易であ
り、学習結果の妥当性を人が判断することができる。更
に、別の処理系によって生成されたデータによって内部
処理の記述をすることも可能となる。これは、完全な平
衡状態から学習を開始するニューラルネットワークと比
較して、学習収束までの時間を大幅に短縮することがで
き、学習結果の質も高くできる。本発明は、ニューラル
ネットワークのようなパラメータの組合せではなく、説
明性のあるフィルタ関数によるルールの形でデータを保
有している。これは、人間あるい他のシステムによるデ
ータ操作／編集などを容易に行うことができることを意
味している。 【００３０】本発明の複数の単位機能モジュールを方向
性リンクにより結合した態様のシステムにおいては、複
数の単位機能モジュールの情報処理結果を利用して、さ
らに別な単位機能モジュールにより別な情報処理を多段
に行わせるので、より高度な複雑な処理を行うことがで
きる。また、このようなシステムにおいては、複数の単
位機能モジュールに異なる方式の学習手段を適用するよ
うにすれば、各単位機能モジュールの機能に合わせた学
習を行わせることができ、より適切な学習結果を得るこ
とができる。なお、単位機能モジュールは、加重平均値
算出のような連続値を出力することができるようにする
ことができるので、上記のような多段の処理を効果ある
ものとすることができる。また、本発明は、情報授受手
段により学習の進行状態を上位系に伝達できるよにした
ので、上位系で必要におうじてパターンの生成／削除、
学習ロジックの変更、境界・拘束条件の変更などを行う
ことができ、より高度で自立的な学習が可能となる。以
上要するに、前述の記述量、初期状態の設定、組合せ爆
発問題、学習効率、学習の安定性、説明性、可搬性の諸
問題を解決することができる。 【００３１】 【実施例】図２は、本発明のネットワーク型情報処理シ
ステムの実施例の概略の構成を示す図である。本実施例
の方式は、図２に示すように入力層の複数のノード２
１，２２，２３および出力層の複数のノード２４，２
５，２６が方向性リンクにより接続され、ネットワーク
を構成している。図２は形式的にみれば従来のニューラ
ルネットワークと同様の構成であるが、各ノードがフィ
ルタ関数を有する方向性リンクを介して結合される点に
おいて従来とは根本的に異なるものである。 【００３２】図１は図２における破線で囲った代表的な
出力層の一つのノード２５とそれに関連する方向性リン
ク（エッジ）の構成例を示すブロック図である。図１に
示すノードは、各方向性リンクにおける、入力情報を選
択的に通過させるフィルタ関数の演算を行うフィルタ関
数演算部１１〜１４と、フィルタ関数演算部１１〜１４
の出力を重み付けした加算平均処理を行う加算部１５
と、その加算部１５の出力にしきい演算を施すしきい関
数演算部１６からなっている。入力と状況（出力）との
関係は、次のようにルールの組（マトリックス）によっ
て表すことができる。 入力１ 入力２ 入力３ 状況１ ｆ₁₁＜ｇ₁₁＞ ｆ₂₁＜ｇ₂₁＞ ｆ₃₁＜ｇ₃₁＞ … 状況１ ｆ₁₂＜ｇ₁₂＞ ｆ₂₂＜ｇ₂₂＞ ｆ₃₂＜ｇ₃₂＞ … 状況１ ｆ₁₃＜ｇ₁₃＞ ｆ₂₃＜ｇ₂₃＞ ｆ₃₃＜ｇ₃₃＞ … ・ ・ ・ ・ ・ ・ ・ ・ ただし、ｆ₁₁〜ｆ₃₃はそれぞれメンバーシップ関数であ
る。また、ｇ₁₁〜ｇ₃₃はそれぞれのメンバーシップ関数
の「重み」である。なお、重みの設定は必須ではない。 【００３３】フィルタ関数は、本実施例では図３に示す
ように、入力ノードに与えられた入力情報の値（入力
値）を横軸にとり合致度を縦軸にしたグラフにおいて不
等辺の台形の形状を持つメンバーシップ関数（ファジィ
メンバーシップ関数）が用いられる。メンバーシップ関
数は、最大合致度を得る入力の中心の値である中心値
ｃ、合致度ｖが得られる入力値の許容範囲を中心値ｃか
らの左および右への幅であらわす左分散値ｖ_lおよび右
分散値ｖ_r、最大合致度が得られる入力値の許容範囲を
中心値ｃからの幅で示した曖昧度ａによって記述され
る。フィルタ関数演算部１１〜１４は、メンバーシップ
関数の演算即ち入力値ｓを合致度ｖに変換するものであ
る。入力値ｓを合致度ｖに変換する式は次にように表す
ることができる。 ｖ＝０．０｛ｓ≦（ｃ−ｖ_l）または（ｃ＋ｖ_r）≦ｓ｝ ｖ＝１．０｛（ｃ−ａ）≦ｓかつｓ≦（ｃ＋ａ）｝ ｖ＝（（ｖ_l−ａ）−（ｃ−ａ−ｓ））／（ｖ−ａ）
｛（ｃ−ｖ_l）≦ｓかつｓ≦（ｃ−ａ）｝ ｖ＝（（ｖ_r−ａ）−（ｓ−ｃ−ａ））／（ｖ−ａ）
｛（ｃ＋ａ）≦ｓかつｓ≦（ｃ＋ｖ_r）｝ ・・・・・（１４） 【００３４】加算部１５は、フィルタ関数演算部１１〜
１４により算出した出力を総合するために加算平均演算
を行う。本実施例では各メンバーシップ関数による入力
情報Ｉ₁〜Ｉ_iの合致度ｖ_1j〜ｖ_ijに重みを乗じた値を総
合して最終合致度を求める。最終合致度算出の方法は種
々考えられるが、本実施例においては、式（１５）に示
すような加重加算平均を用いている。 Ｖ_j＝Σｖ_ij・ｇ_ij／Σｇ_ij （１５） ただし、 Ｖ_j：パターンｊの合致度 ｖ_ij：各メンバーシップ関数による合致度（＝ｆ_ij（Ｉ
_i） Ｉ_iは入力値） ｇ_ij：各メンバーシップ関数の重み Ｎ_s：入力データ数 なお、Σはｉ＝１からＮ_sまでの総和を表す。 【００３５】次に、本実施例における学習について説明
する。学習は、図２に示す学習対象のシステムに教示信
号として、予め入力情報とそれに対する正しい出力信号
の組を用意しておき、その教示信号を学習対象のシステ
ムに与え、方向性リンクのフィルタ関数を変更すること
によって行う。 １）メンバーシップ関数の基本的な変更方式 ある一定の観測期間中に、入力されたデータでかつ該当
するパターンに合致したものを集計し母集団とする。図
５は入力されたデータの量子化のレベルＺを横軸とし、
各レベルに対するデータの発生回数Ｇを縦軸にとり、デ
ータの発生分布の例を示すグラフの例である。なお、Ｇ
cは入力データのノイズ成分等を除去するためのカット
オフレベルである。母集団に含まれる要素の数が一定の
数に達した所でメンバーシップ関数の変更操作を行う。
その母集団より下記の手順に従ってメンバーシップ関数
を導出する。 【００３６】図４はメンバーシップ関数のパラメータ抽
出処理のフロー図である。カットオフデータＧ_cが出力
データ指定として設定されているか否かを判定する（ス
テップ４０１）。カットオフレベルＧ_cが設定されてい
れば、各量子化レベルＺ_iごとにカットオフレベルを差
し引いた値を求めることにより分布データを操作する
（ステップ４０２）。即ち、Ｚ_i−Ｇ_cを求め、新たなＺ
_iとする。図５の入力データ分布をカットオフレベルＧ_c
で処理した結果を図６に示す。上記のカットオフレベル
以下のデータを切り捨てる演算処理がＺの量子化レベル
のすべてについて終了するまで行われる。そのために、
各量子化レベルの演算終了ごとに、全ての量子化レベル
について終了したか否かの判定をする（ステップ４０
３）。全ての量子化レベルについて終了したときはステ
ップ４０４に移る。また、ステップ４０１の判定により
カットオフレベルが設定されていなかったときもステッ
プ４０４に進む。 【００３７】分布データの平均値正規化座標値Ｚ_mを求
める（ステップ４０４）。 Ｚ_m＝Σ（Ｚ_i×Ｇ_i）／ΣＧ_i ただし、Σはｉ＝０からｉ＝ｎまでの総和
を表すものとする。平均値正規化座標値Ｚｍからマイナ
ス側、プラス側それぞれ独立に標準偏差値Ｓ_l，Ｓ_rを求
める（ステップ４０５）。ステップ４０４で求めた平均
値正規化座標値Ｚ_mおよびステップ４０５で求めたマイ
ナス側標準偏差値Ｓ_l，プラス側標準偏差値Ｓ_rを基に次
のような正規化座標値を求める（ステップ４０６）。即
ち、平均値正規化座標値Ｚ_mを中心に、図７に示すよう
に、マイナス側標準偏差値Ｓ_lの１倍（注＊）の正規化
座標値Ｚ_L1、マイナス側標準偏差値Ｓ_lの３倍（注＊）
の正規化座標値Ｚ_L2、プラス側標準偏差値Ｓ_rの１倍
（注＊）の正規化座標値Ｚ_R1、プラス側標準偏差値Ｓ_r
の３倍（注＊）の正規化座標値Ｚ_R2、（注＊：この値は
条件によって変更される）をそれぞれ求める。 【００３８】図８に示すような正規化中心値Ｃ_s，正規
化曖昧度Ｖ_as，正規化分散値Ｖ_ls，Ｖ_rsをそれぞれ次式
により求める（ステップ４０７）。 正規化中心値 Ｃ_s＝（Ｚ_L1＋Ｚ_R1）／２ 正規化曖昧度 Ｖ_as＝（Ｚ_R1-Ｚ_L1）／２ 正規化左分散値 Ｖ_ls＝Ｃ_s-Ｚ_L2 正規化右分散値 Ｖ_rs＝Ｚ_R2-Ｃ_s 次に、正規化中心値Ｃ_s，正規化曖昧度Ｖ_as，正規化左
分散値Ｖ_ls，正規化右分散値Ｖ_rsをそれぞれ逆正規化し
て、中心値Ｃ，曖昧度Ｖ_a，左分散値Ｖ_l，右分散値Ｖ_r
求める（ステップ４０８）。学習による変更前の元のメ
ンバーシップ関数と、前述の図４に示す処理フローによ
り生成したメンバーシップ関数とを用いて新しい（１回
学習後の）メンバーシップ関数を生成する。 【００３９】図９は、本実施例においてメンバーシップ
関数を変更する基本的な方法（学習関数）を示す図であ
る。同図において、元の（現在の）メンバーシップ関数
は点Ｐ₁，Ｐ₂，Ｐ₃，Ｐ₄を結ぶ直線群（太線）により示
され、図４により求めた一定期間のサンプリングから得
られたデータ分布に基づくメンバーシップ関数は点
Ｐ₁ ^'，Ｐ₂ ^'，Ｐ₃ ^'，Ｐ₄ ^'を結ぶ直線群（破線）により示
され、これらのメンバーシップ関数を基に新しく生成さ
れるメンバーシップ関数は点Ｐ₁ ^"，Ｐ₂ ^"，Ｐ₃ ^"，Ｐ ₄ ^"を
結ぶ直線群（細線）により示されている。各４点の座標
をＰ（ｓ，ｖ）、Ｐ^'（ｓ^'，ｖ^'）、Ｐ^"（ｓ^"，ｖ^"）と
する。 ｖ^"＝ｖ^'＝ｖ ｓ^"＝（１．０−ｇ）×ｓ＋ｇ×ｓ^' ただし、０．０≦ｇ≦１．０ 各４点のゲイン値ｇは独立に設定可能とする。 【００４０】各点のゲイン値の設定によって、同じ観測
データによっても、メンバーシップ関数の変更結果は異
なる。図１０は、ゲインの決めかたにより変更結果がど
のように変わるかを示すものである。図１０（ａ）は、
現在のメンバーシップ関数（細い実線）と一定期間のサ
ンプリングから得られた分布に基づくメンバーシップ関
数（破線）を示す。同図（ｂ）は、各点のゲイン値ｇを
０．５としたときに生成されるメンバーシップ関数（太
い実線）を示す。また、同図（ｃ）は、点Ｐ₁のゲイン
値ｇ＝０、他の点のゲイン値ｇ＝０．５とした場合を示
し、同図（ｄ）は、曖昧度（Ｐ₂とＰ₃間の距離）を変え
ず、底辺拡張方向のゲイン値ｇ＝１．０、かつ底辺縮小
方向のゲイン値ｇ＝０とした場合を示す。入力信号源で
あるセンサの特性、学習の意図などによって、上記ゲイ
ン値を設定し、学習の方向性を変化させることが可能で
ある。 【００４１】２）パターン間のメンバーシップ関数の連
続性メンバーシップ関数を個々に独立して、操作してい
ると連続性の確保が困難になる。故障状況をパターン化
して保持する診断システム等においては、状況を捕捉で
きない場合は正常状態とみなすことで、連続性はあまり
問題とはならない。しかし、制御システムの場合には、
連続性確保は重要な問題で、学習によるメンバーシップ
関数の変更によって制御不能領域が発生しないようにす
ることが必要である。基本的には、連続するパターン間
の同一センサに対応するメンバーシップ関数の連続性を
補償するような機能を設けることにより上記問題を解決
する。具体的な補償アルゴリズムはいくつか考えられ
る。 【００４２】図１１（ａ）および（ｂ）の例は、交差領
域での２つのメンバーシップ関数の交差する部分での各
々の高さの合計が常に１．０となるようにして連続性の
補償を行った場合を示すものである。このように補償す
ることにより、メンバーシップ関数が学習により変化し
てもパターン同士の交差が必ず行われ、制御が不能とな
る領域が生じることはない。 【００４３】図１１の例以外に、交差面積が初期状態と
同一となるようにパターンの形状を制御するという補償
アルゴリズムとすることもできる。 【００４４】また、このような連続性補償の処理を用い
て、境界条件、拘束条件の設定が可能となる。なお、境
界条件とは、隣接するパターンとの境界を規定する条件
であり、拘束条件はあるパターンの形状全体を学習によ
って変化しないように規定する条件のことである。図１
２の例では、交差部のみを持つメンバーシップ関数を仮
想し、パターンＡの左端の境界条件を規定している。こ
の場合、入力Ｓが０近傍の場合に必要とする出力が系
（システム）の特性や使用状況などによって明示的に定
まっているとする。そのように明示的に出力値が定まる
ようなときには、メンバーシップ関数のその部分（０近
傍の境界）に対して学習により境界の特性を変化させる
のは好ましくない（変化させる必然性もない）。従っ
て、境界条件を固定することにより、適切な学習を行う
ことができる。また、図１３の例では、連続性を確保し
たパターンの特定のメンバーシップ関数を学習誤差逆伝
播のゲインを０とすることで固定し系全体の拘束条件を
規定している。即ち、図１３において、（ａ）は時刻Ｔ
₁における各メンバーシップ関数で連続性が保持されて
いるものである。（ｂ）は時刻Ｔ₂における学習により
変形された各メンバーシップ関数示をすもので、破線の
波形は前述のように交差領域が生ずるようにして連続性
を補償した波形であり、実線の波形は、連続性を確保し
たパターンの特定のもの（この例ではパターンＣ）を学
習誤差逆伝播のゲインを０とすることにより固定し、系
全体の拘束条件を規定した場合である。上記のような状
況に対応するため、即ち学習の範囲を明確化するために
は、境界条件、拘束条件を設定可能とするのが望ましい
し、また設定できると便利となる。 【００４５】３）否定パターン 学習のためのトリガ（学習の起動条件）としては大別し
て２つのケースが想定される。システムが出力した結果
に対して肯定の教示を行う場合と、否定の教示を行う場
合である。システム、学習方式にも依存するが、前述の
１）項で説明したような変更則を想定した場合、肯定側
の学習則と否定側の学習則を共通化することは困難であ
る。学習則を一意に定めるたに、記述されたパターンの
補集合となる否定パターンを用いる。（図１４参照） 記述されたパターンが否定された（否定の教示が行われ
た）場合は、否定パターンに対して肯定の教示をしたも
のとして処理を行う。この場合、学習則は肯定側の１つ
が存在すれば良いことになる。また、肯定パターン（記
述パターン）と否定パターンが常に互いに補集合となる
ことを維持するために、肯定パターンと否定パターンと
の間で連続性を補償することが必要となる。この補償の
機構としては前述の２）項で説明したと同様のアルゴリ
ズムを用いることができる。 【００４６】４）出力の入力への誤差逆伝播 現在多用されているファジィ集合論やニューラルネット
ワークモデルなどを用いた推論システムでは、推論シス
テム自体としては入力情報を内部状態によって変換して
出力情報とする過程は多段であったが、再帰性を持った
ものは少ない。例えば、図１５の例のように、「Ａでは
無い（ｎｏｔＡ）」「Ｂではない（ｎｏｔＢ）」という
出力情報を入力情報としても扱うことが可能である。
「ｎｏｔＡ→Ｂ」「ｎｏｔＢ→Ａ」というメンバーシッ
プ関数の条件を用いて規則（ルール＝パターン）を記述
することにより、Ａ，Ｂが補集合であることが記述可能
となる。また、この再帰ループを遅れ系としたり、図１
５の「ｎｏｔＢ」の出力のように積分器を介在させたり
することによって時間特性を持たせることも可能とな
る。また、極端な例では、入力をホールドして再帰ルー
プと教示入力のみを行うことによって入力（観測）情報
が無い状態でも学習を行うことが可能となる。 【００４７】以上の実施例は、図２に示すようなネット
ワーク型情報処理装置に関するものであるが、その図２
に示すようなネットワーク型情報処理装置を一つの単位
機能モジュールとし、これを図１５に示すように複数個
をフィルタ関数の機能を有する方向性リンクにより階層
的に（多段に）結合した構成とすることができる。この
ように構成することにより、複雑な状況の識別を行うこ
とができる。このようなモジュール化した階層的なネッ
トワークを構成したときには、図１のしきい関数演算部
１６を省いてアナログ値で出力するようにするのがよ
い。また、このような単位機能モジュールによるネット
ワーク型情報処理システムの学習は、それぞれの単位機
能モジュールに学習手段を設け、それらの学習手段は互
いに異なる方式のものをもちいることができ、それぞれ
のモジュールに合った適切な学習を行うことができる。 【００４８】上記の各実施例において、学習手段による
学習の結果、障害が発生した場合など、外部または上位
系と接続可能な情報授受手段を設けることができる。前
述のような定型的なロジックでは、学習結果の最終的な
特性は、初期状態、つまり定義するパターン、センサの
数や境界条件などに多大な影響を受ける。初期状態が実
際の系に正しく適合したものではないと、学習が収束せ
ず、誤差がある段階以上は小さくならずに振動したり、
また極端な場合は発散してしまったりする可能性もあ
る。このような場合には、仮説（＝初期状態）自体を建
て直して対応する必要がある。具体的には、パターンを
増やしたり、境界条件を変えたてりすることが必要であ
る。しかし、学習ロジック自体でそのような大局的な対
応をとることは、通常の学習のオーバーヘッドを増した
りするとともにシステム全体の見通しを悪化させる要因
となる。そこで、この実施例では学習の進行状況を２乗
誤差の変化など収束の目安となるデータを把握し、情報
授受手段により上位系に伝達する。上位系ではその状態
を監視し、搭載されたロジック（よりマクロ的な学習規
則）に基づき、必要に応じてパターンの生成／削除、学
習ロジックの変更、境界条件や拘束条件の変更などを行
う。これによって、より高度で自律的な学習系が構築可
能である。 【００４９】 【発明の効果】前述のように、同一の精度を得るのに、
ニューラルネットワークの場合、パラメータの記述量が
膨大になり、特に中間層が肥大化する。これに対して、
本発明は、フィルタ関数を用いることにより、従来のよ
うな多数の中間層の計算ユニットを不要とし、学習に要
する更新時間を短縮し、計算に必要な資産を少なくする
ことができる。 【００５０】本発明は、フィルタ関数を用いているの
で、従来のニューラルネットワークとは異なり、人間が
内部処理（ルール）の意味を把握し易い。これにより、
本発明は、学習における初期状態の設定や、学習後の状
態の把握において有利である。このように、本発明は内
部処理の記述の説明性が良いため、初期状態を人間が直
接記述することが可能である。また、別の処理系（統計
処理など）によって生成されたデータによってルール記
述することも可能となる。これは、完全な平衡状態から
学習を開始するニューラルネットワークと比較して、学
習収束までの時間を大幅に短縮することができる可能性
が高く、学習結果の質も高くできる。 【００５１】本発明は、ニューラルネットワークのよう
なパラメータの組合せではなく、説明性のあるルールの
形でデータを保有している。これは、人間あるい他のシ
ステムによるデータ操作／編集などを容易に行うことが
できることを意味している。そして、別の処理方式を持
つ他のシステムとの知識データ（ルールなど）の授受が
容易であるという利点を有する。 【００５２】また、本発明によれば、学習の結果は実際
に搭載する学習アルゴリズムに依存するが、基本的には
メンバーシップ関数というマクロな指標を操作するもの
であり、ニューラルネットワークのように入出力の１点
１点の対応して内部状態を操作するものではない。この
ことは、高度な学習に対するインタフェースとして大き
な利点となるものである。

【図面の簡単な説明】 【図１】 図２における破線で囲った代表的な出力層の
一つのノード２５とそれに関連する方向性リンク（エッ
ジ）の構成例を示すブロック図である。 【図２】 本発明のネットワーク型情報処理システムの
実施例の概略の構成を示す図である。 【図３】 ファジィメンバーシップ関数を説明するため
の図である。 【図４】 メンバーシップ関数のパラメータ抽出処理の
フロー図である。 【図５】 入力されたデータの量子化のレベルＺを横軸
とし、各レベルに対するデータの発生回数Ｇを縦軸にと
り、データの発生分布の例を示すグラフの例である。 【図６】 図５のデータの発生分布をカットオフＧ_cに
より足切りした後のデータ分布を示すものである。 【図７】 各正規化座標値の算出を説明するための図で
ある。 【図８】 図５のデータ分布から得られたメンバーシッ
プ関数を示す図である。 【図９】 本実施例においてメンバーシップ関数を変更
する基本的な方法（学習関数）を説明するための図であ
る。 【図１０】 学習関数のゲインの決めかたによりメンバ
ーシップ関数の変更結果がどのように変わるかを示すも
のであり、（ａ）は、現在のメンバーシップ関数（細い
実線）と一定期間のサンプリングから得られた分布に基
づくメンバーシップ関数（破線）を示し、（ｂ）は、各
点のゲイン値ｇを０．５としたときに生成されるメンバ
ーシップ関数（太い実線）を示し、（ｃ）は、点Ｐ₁の
ゲイン値ｇ＝０、他の点のゲイン値ｇ＝０．５とした場
合を示し、（ｄ）は、曖昧度（Ｐ₂とＰ₃間の距離）を変
えず、底辺拡張方向のゲイン値ｇ＝１．０、かつ底辺縮
小方向のゲイン値ｇ＝０とした場合を示す。 【図１１】 （ａ）および（ｂ）は、交差領域での２つ
のメンバーシップ関数の交差する部分での各々の高さの
合計が常に１．０となるようにして連続性の補償を行っ
た場合の例を示すものである。 【図１２】 交差部のみを持つメンバーシップ関数を仮
想し、パターンＡの左端の境界条件を規定することを示
す図である。 【図１３】 連続性を確保したパターンの特定のメンバ
ーシップ関数（パターンＣ）を固定し系全体の拘束条件
を規定する例を示す図で、（ａ）はある時点でのメンバ
ーシップ関数を示し、（ｂ）はその後、変化のあったメ
ンバーシップ関数を示し、その点線の波形はパターンＣ
を拘束しない場合、実線の波形はパターンＣを拘束した
場合を示す。 【図１４】 学習則を一意に定めるたに、記述されたパ
ターンの補集合となる否定パターンを用いることを説明
するための図である。 【図１５】 出力を入力へ誤差逆伝播して学習を行う例
を示す図である。 【図１６】 複数の単位機能モジュールからなるネット
ワーク型情報処理システムの例を示す図である。 【符号の説明】 １１〜１４…フィルタ関数演算部、１５…加算部、１６
…しきい関数演算部、２１〜２３…入力層のノード、２
４〜２６…出力層のノード。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 塩沢 恵子 東京都渋谷区神南一丁目15番８号 兼仲 ビル４階 株式会社アドイン研究所内 (72)発明者 堀川 隆治 北海道札幌市中央区北３条西二丁目１番 地 丸茶ビル４階 株式会社アドイン研 究所札幌ラボラトリー内 (72)発明者 山脇 裕二 北海道札幌市中央区北３条西二丁目１番 地 丸茶ビル４階 株式会社アドイン研 究所札幌ラボラトリー内 (56)参考文献 特開 平４−60837（ＪＰ，Ａ) 特開 平２−275501（ＪＰ，Ａ) 特開 昭60−204002（ＪＰ，Ａ) 特開 平３−219362（ＪＰ，Ａ) 川村旭・他，「ニューロ・ファジィ融 合システム」，情報処理学会研究報告, 日本，社団法人情報処理学会，1991年 ５月10日，Ｖｏｌ．91，Ｎｏ．36（91− ＭＩＣ−66），ｐｐ．１−８ 山口享・他，「連想記憶によるファジ ールールの推論・学習方式」，電気学会 論文誌Ｃ，日本，社団法人電気学会, 1990年 ３月20日，Ｖｏｌ．110，Ｎｏ. ３，ｐｐ．207−215 森健一郎，「ファジィテンプレートを 用いた筆者照合アルゴリズム」，ＯＭＲ ＯＮ ＴＥＣＨＮＩＣＳ，日本，オムロ ン株式会社，1990年12月20日，Ｖｏｌ. 30，Ｎｏ．４，ｐｐ．303−308 今崎直樹，「ニューラルネットワーク によるファジィモデリング」，東芝レビ ュー，日本，株式会社東芝，1990年12月 １日，Ｖｏｌ．45，Ｎｏ．12，ｐｐ. 991−994 小高俊之・他，「平均演算子を利用し たあいまい要求処理法」，情報処理学会 研究報告，日本，社団法人情報処理学 会，1990年 ３月12日，Ｖｏｌ．90，Ｎ ｏ．21（90−ＤＢＳ−76），ｐｐ．１− ８ 山川烈・監修，「ファジィ応用ハンド ブック」，日本，株式会社工業調査会, 1991年 ７月25日，初版，ｐｐ．305− 323，ＩＳＢＮ：４−7693−5048−１ 野村博義・他，「ニューラルネットの 学習則によるファジィ推論の自動チュー ニングと障害物回避への応用」，平成３ 年電気学会全国大会講演論文集，日本, 1991年 ４月，第６分冊，ｐｐ．Ｓ．10 −27〜Ｓ．10−30，ＪＳＴ資料番号：Ｓ 0653Ａ 中村健・他，「知識コンパイル・パタ ーン推論システム」，1989年度人工知能 学会全国大会講演論文集，日本，1989 年，ｐｐ．295−298 中村健・他，「ファジィ演算による特 徴ベクトル検索」，第５回ファジィシス テムシンポジウム講演論文集，日本, 1989年，ｐｐ．449−454，ＪＳＴ資料番 号：Ｌ0486Ａ (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁) ＩＮＳＰＥＣ（ＤＩＡＬＯＧ)

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】 複数のノードを有する入力層と複数のノ
   ードを有する出力層が方向性リンクを介して結合され、前記 方向性リンクは、帯域通過型あるいは帯域阻止型の
   ような選択的な特性をもつファジイメンバシップ関数な
   どの確率分布関数をフィルタ関数として、入力情報の数
   量と確率分布関数とを照合して合致度の数値を得るフィ
   ルタ関数演算部と、前記フィルタ関数演算部により得ら
   れた合致度の出力に対して重み付け関数により重み付け
   を行って出力層のノードに伝達する機能を有し、前記出力層のノードは、前記方向性リンクから伝達され
   る前記合致度に重み付けした出力に、加重平均値のよう
   な連続値を出力する演算を行う関数演算部を有するネッ
   トワーク型情報処理システムであって、 学習用の入力情報と、前記入力情報に対応する正しい出
   力情報とを、教示信号として入力する手段を有し、複数
   回の反応サイクルにおいて得られたその教示信号、すな
   わち、入力信号とそれに対応する正しい出力信号を統計
   的に処理し、この統計処理結果に基づいて前記フィルタ
   関数のパラメータを決定あるいは修正する学習手段を有
   することを特徴とするネットワーク型情報処理システ
   ム。