JP3354593B2 - ネットワーク型情報処理装置の学習システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パターン認識装置、制
御システム、診断システム、意志決定支援システムなど
のコンピュータを利用したネットワーク構造を有する情
報処理システムに関し、とくにその学習システムに関す
る。

【０００２】

【従来の技術】高度な情報処理機能を実現するための従
来の技術の一つとして、情報処理を行う構造が人間の脳
の神経細胞をモデルとしたニューラルネットワークがあ
る（例えば、Ｃｏｈｅｎ，Ｆｅｉｇｅｎｂａｕｍ著、
「人工知能ハンドブック」共立出版社発行、ｐ４８７−
４９３、 甘利外、特集「ニューラルネットワークに
ついて」，人工知能学会誌，Ｖｏｌ．４，ｐｐ１１８−
１７６（１９８９））。神経細胞は多入力１出力の情報
処理素子である。その信号をｘ＝（ｘ₁，ｘ₂，ｘ₃・・
・ｘ_n）のｎ次元ベクトルで表し、出力信号をｖとす
る。神経細胞の入力ｘに対して、出力ｖを定める入出力
関係が分かれば、神経細胞の特性が分かったことにな
る。神経細胞の特性を解明して、それに似た情報処理を
おこなうモデルを、コンピューター上に構成すれば、人
間の神経細胞と同様の情報処理が可能となる。さらに、
神経細胞に似せた個のモデル（計算ユニット）を複数設
けて、互いの間に神経細胞のシナプスの情報伝達機能と
同様の働きが行えるようにすれば、神経細胞網と同じよ
うな神経回路を構築できる可能性がある。神経細胞では
信号ｘ_iやｖは、神経線維（シナプス）を伝わる神経細
胞の興奮パルスの頻度すなわち神経細胞の発火頻度の形
で表されていると考えられる。従って、このような場
合、信号ｘ_iやｖは連続的なアナログ値を取る。従来の
ニューラルネットワークモデルの例ではアナログ値を近
似的にディジタル値として取り扱うことが多い。即ち、
神経細胞が興奮していない状態と、興奮している状態と
を０，１の２値に対応させて、信号ｘ_iやｖを取り扱う
ことが多い。

【０００３】以下にニューラルネットワークモデルの例
についてもう少し詳しく説明する。入力信号ｘ_iが方向
性リンク（エッジ）を通してノード（計算ユニット）に
伝わる場合の影響が、方向性リンクに備わる重みの値ｗ
_iによって定まるものとする。単位時間内では一定の入
力である入力信号ｘに対する出力ｖは ｖ_j＝ｆ（ｕ_j） （１） ｕ_j＝Σｗ_ij・ｖ_i−θ_j （２） ｖ_iは１つ前段に位置する計算ユニットの出力で、一番
最初は入力信号ｘである。ｖ_jは計算ユニット_jの出力、
ｗ_ijは計算ユニットｉから_jへの結合の重み（例：実
数）、θ_jは計算ユニットｊのしきい値である。ｕ_jは計
算ユニットｊへの入力の総和と呼ばれる。ｆは計算ユニ
ットの入力関数あるいは特性関数と呼ばれる。上式
（１）の関数ｆ（ｕ）は通常神経生理学の知見および数
学的な扱い易さから、シグモイド｛Ｓ字形の単調増加
で、飽和特性を持つ関数１／（１＋ｅ^-x）｝が使われ
る。。式（２）は線形式であるが、式（１）は非線形性
を有しているのでこのような計算ユニットは準線形ユニ
ットと呼ばれる。

【０００４】いま、上記のような準線形のモデルによっ
て所望の情報処理が行われるようにするためには、計算
ユニットの能力とネットワークの構造とを同時に語らね
ばならない。最初に入力層と出力層のみからなり、ネッ
トワークの構造が１つの階層であるものについて説明を
する。ｎ個の複数入力情報、つまりｎ変数の組合せに対
して、１つの計算ユニットが出力として設けられた場
合、入出力特性はｎ変数の関数を記述していることにな
る。例えば、計算ユニットの入出力関数ｆとして、しき
い値をもったしきい関数（入力の総和が負ならば値０、
正ならば値１とする）を用いた場合ならば、ｎ次元空間
をある傾きの超平面で切り、入力のパターン（ｎ次元）
がその一方の側に含まれている場合に１を、他方に含ま
れている場合に０を出力する。入力が３つであれば３次
元の空間内に傾いた平面を置きその片側が０となる。原
点からのズレ（距離）がしきい関数ｆのしきい値によっ
て定まる。このような１つの階層だけの構造を持つネッ
トワークを通した推論では、入力値に線形な情報を基に
計算ユニットが総和を求めるのだから、ｎ次元の超平面
が可能な情報処理は結局、線形分離特性でしかない。

【０００５】非線形的な分離を行うためには、ネットワ
ーク構造に複数の階層を必要とする。ｎ入力計算ユニッ
ト１つが１つのｎ次元超平面を構成するようにして、同
じ入力を共有するｍ個の計算ユニットを設ければ、ｎ次
元の空間にｍ個の異なる傾きを持った超平面があること
になる。それらの複数の超平面１つずつについて分離す
べき事象がどちら側にあるのかを決定して置けば、空間
の局所的な偏向が発生するので、非線形分離特性が得ら
れる。このｍ個の計算ユニットのすべての出力を、１つ
の計算ユニットの入力となるようなｍ入力計算ユニット
を配置すれば、２段階の情報処理が可能となる。このよ
うに段階を複数にした情報処理ができるネットワークを
階層的ネットワークという。最初のノードは入力ノード
と呼ばれ、基本的には何の情報処理もせず、次の段階
（階層）のノードの入力へ情報を伝達する。最終段のノ
ードは出力ノードといわれ、入力ノードと出力ノードの
間に存在するノードは中間層あるいは隠れ層のノードと
いわれる。中間層ノードと出力ノードは計算ユニットで
ある。

【０００６】従来の技術においては、入出力の精度は、
基本的には中間層のノードの数によって定まるため、精
度を確保しようとするとデータ記述量が爆発的に増える
場合が存在した。中間層のノードを少なくした場合に
は、最終段の計算ユニット出力が粗い段階的表現になっ
たり、あるいは弁別できる種類が少なくなったりする。
しかし、この中間層の数をどの程度増やせば適正である
のかについては、定説はない。

【０００７】また、従来技術においては、学習の基盤と
なるシステムの初期状態を記述する有効な手段がなく、
基本的には平衡状態やランダムな状態から学習を始める
場合が多かった。物理的な問題でも、人間の感覚と同じ
能力をシミュレートするような問題でも、何らかの入力
信号と出力すべき情報の間にある関係は、領域として捉
えられている場合が多い。ところでニューラルネットワ
ークの中間層のノード１つの役割はｎ次元空間に置かれ
た超平面の片側が有為であることを意味することであ
る。つまり、ｎ次元の超空間の中に領域を十分緻密に設
定しようとすると、２のｎ乗から３のｎ乗程度の超平面
即ち中間ノードを用意し、その各々が領域の周囲を取り
囲むように配置しなければならない。超平面の配置、あ
るいは移動は、ノードのｎ個の入力エッジ（方向正リン
ク）の重みと、計算ユニットの変換式のしきい値とを同
時に変化されることによって実施される。つまり、中間
層が１段だけで出力がただ１つであるネットワークを想
定すれば、まず入力と中間層ノードとの間には、 しきい値を持つ中間ノード数 Ｎ２＝ｋⁿ個 重みを有するエッジの本数 ｅ（１−２）＝ｎ×ｋⁿ本 次に、中間層ノードと出力層ノードとの間には、 重みを有するエッジの本数 ｅ（２−３）＝ｋⁿ本 しきい値を持つ出力ノード Ｎ３＝１個 が必要となる。以上から、 総エッジ数ｅ＝ｅ（１−２）＋ｅ（２−３）＝（ｎ＋
１）×ｋⁿ本 しきい値を有する総ノード数Ｎ＝Ｎ２＋Ｎ３＝ｋⁿ＋１
個 重み値としきい値を合わせた総調整箇所数＝（ｎ＋２）
×ｋⁿ＋１ となる。ｋは緻密さを表す係数で２＜ｋ＜３が目安とな
っている。いま、ｋを２とし、入力信号を１０個、出力
数を１とすれば、総調整箇所数は、 （１０＋２）×２¹⁰＝１２，８８８ となり、概略の設定でも初期設定を行えるような数では
なくなる。このため、方向性を持った初期状態を指定す
ることができず、学習の方向性を付けることや学習の収
束速度を上げるなどの調整が困難であった。 この初期
設定を困難にする要因は、ニューラルネットワークの構
造そのものに原因があるとも考えられる。中間層ノード
によってｎ次元超平面ができることは上記のとおりであ
るが、当初にランダムに配置されていた複数のｎ次元超
平面が、後述するようなニューラルネットワークの学習
規則に則って入力信号がある度に、出力信号が望ましい
パターンに近似するように平面の中を傾きを変更し、原
点からの距離を変更して移動するのである。しかし、各
々の超平面が特定の領域を均等にくるむように（球状な
らばｎ次元超球となるように）超平面が配置されて行く
という保証はない。それは、超平面同士、相互の関連を
記述して置くことができないからである。

【０００８】上記のように、ある程度緻密に領域を設定
するような問題で、さらに識別すべき結果の数（出力ノ
ード数に等しい）が複数あるならば、中間層のノード数
と出力ノードが増加してゆく。これまでの前提はｎ個の
入力を基に１つの出力を導くための枠組みを想定して説
明していた。識別や診断を行う場合の緻密さによって係
数ｋの値が定まるが、出力がｍ個必要な場合には、中間
層の数はｍ倍程度に増加する。上記と同様の計算で総エ
ッジ数と総ノード数は、 ｅ＝ｎ×ｍ×ｋⁿ＋ｍ×ｋⁿ＝（ｎ＋１）×ｍ×ｋⁿ Ｎ＝ｍ×ｋⁿ＋ｍ＝ｍ×（ｋⁿ＋１） 試みに入力数ｎ＝１０、出力数ｍ＝１０、ｋ＝２とする
と、 ｅ＝（１０＋２）×１０×２¹⁰＝１２２，８８０ Ｎ＝１０×（２¹⁰＋１）＝１０，２５０ 実際問題として上記のような１万以上の計算ユニットを
設け、総和としきい関数の演算をし、１２万にものぼる
重みの計算をすることは、計算ユニットを物理的に構成
することも困難であるし、同時に計算処理時間の上から
も問題となることが多い。計算処理時間については、推
論した結果を出力する度に、結果の良否判断を行ってし
きい値や重み値を確率的に更新して行くなどの学習機能
が備わっている場合には、学習時間がさらに大きな問題
となる。

【０００９】入力層、中間層、出力層のように階層的に
計算ユニットを配置した、階層型ニューラルネットワー
クの方向性リンクの重みや計算ユニットのしきい値など
のパラメータを、問題の解析から初期設定を行うこと
は、前述の理由で困難である。そのためニューラルネッ
トワークには学習方式が備えられることが多い。ニュー
ラルネットワークに例題を与えて、例題を通した推論過
程における推論の誤差を評価して、ネットワークの推論
が目的の動作に近づくように、上記のパラメータを変更
する機構が必要となる。このように各種パラメータを帰
納法的に確定することを学習と呼ぶ。階層型ニューラル
ネットワークの学習方式には大別して、教師信号（ある
いは単に教師という）なしの学習と、教師信号ありの学
習の２種類がある。本発明によるネットワーク型推論方
式でも後述するようにこれらの２つの学習を行うことが
できる。

【００１０】学習のプロセスを司る規則、いわゆる学習
則はこれまでに多くの研究によって提案されているが、
ここでは代表例としてＤ．Ｅ．Ｒｕｍｅｌｈａｒｔによ
って提案された誤り逆伝播（エラー・バック・プロパゲ
ーション、ｅｒｒｏｒ ｂａｃｋ ｐｒｏｐａｇａｔｉ
ｏｎ）学習則（例えば、Ｒｕｍｅｌｈａｒｔ外２，「Ｌ
ｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂ
ｙ Ｂａｃｋ−ｐｒｏｐａｇａｔｉｎｇ ｅｒｒｏｒ
ｓ」，Ｎａｔｕｒｅ，Ｖｏｌ．３２３−９，ｐｐ５３３
−５３６）について説明する。上記式（１）、式（２）
の前提を利用して階層が３層のニューラルネットワーク
の学習を説明する。入出力層だけのニューラルネットワ
ークは単純な線形分離しかできないために制約が多かっ
たが、３層以上の階層型ニューラルネットワークは１−
２層で線形分離された特徴空間において、次の２−３層
の結合によってさらに特徴が組み合わされて線形分離さ
れる。このことから中間にある層（ここでは第２層）の
計算ユニット（ノード）を十分に用意すれば、いかなる
入出力の非線形関係をも記述できることが言われてい
る。多層型のニューラルネットワークの記述能力は向上
しても、有効な学習則である逆伝播学習則の発見によっ
てはじめて利用可能な状態になった。

【００１１】入力層（第１層）の第ｈ番目の計算ユニッ
トＵ_1hに入力する信号をｘ_h、第２層の第ｉ番目の計算
ユニットをＵ_2i、その入力の総和をｕ_i、計算ユニット
Ｕ_1hと計算ユニットＵ_2iの間のエッジ（方向性リンク）
の変換効率すなわち重みをｗ _hi、計算ユニットＵ_2iの出
力をｖ_i、出力層（第３層）のｊ番目の計算ユニットＵ
_3jとの間の重みｗ_ij、Ｕ_2jの入力の総和をｕ_j、出力を
ｖ_jとすれば、それらの間の関係は次のように表すこと
ができる。ただし、以後の説明を簡単にするために式
（２）のしきい値θを省略する。 ｖ_j＝ｆ（ｕ_j）＝ｆ（Σｗ_ij・ｖ_i） （３） ｖ_i＝ｆ（ｕ_i）＝ｆ（Σｗ_hi・Ｘ_h） （４） いま学習のためにネットワークの入力ベクトルＸのパタ
ーンとネットワークの初期状態の出力パターンの組
｛（Ｘ_p，Ｖ_p）｝，_p＝１，２，…，Ｎ，が用意されて
いる。適当な入力パターンＸを入力し、ニューラルネッ
トワークの出力ｖ_jと対応する正解パターンＹの第ｊ成
分をｙ_jとするなら、誤差の総和Ｅはネットワークと正
解との誤差の絶対値の２乗で表すことができる。 Ｅ＝｜ｅ｜²＝Σ（ｙ_p−ｖ_p）² （５） ＜Σの底はｐ＞ 学習にって、最終的に得られるニューラルネットワーク
の結合が、訓練セット｛（Ｘ_p，Ｖ_p）｝に関してのニュ
ーラルネットワークの誤差の総和Ｅが極小になるように
なれば、学習の目標を達成したことになる。Ｅを最小に
するためにＥのノード毎の誤差成分の２分の１のＥ_jを
最小にする。 Ｅ_j＝（ｙ_j−ｖ_j）²／２ （６） ｄＥ_j／ｄｖ_j＝−（ｙ_j−ｖ_j） （７）

【００１２】いま、結合の強さである重みｗ_ijが僅かに
ｄαだけ変化したときの出力ｖ_jへの影響の度合いｄｖ_j
／ｄα_jは、式（３）より、 ｄｖ_j／ｄα_j＝ｖ_i・ｆ’（Σｗ_ij・ｖ_i）＝ｆ’（ｕ_j）・ｖ_i （８） となる。従って結合の重みの変化ｄα_jが、２乗誤差Ｅ
に与える影響ｄＥ_j／ｄα_jは、 ｄＥ_j／ｄα_j＝（ｄＥ_j／ｄｖ_j）×（ｄｖ_j／ｄα_j） ＝−（ｙ_j−ｖ_j）・ｆ’（ｕ_j）・ｖ_i ＝−δ_j・ｖ_i （９） ただし、 δ_j＝ｆ’（ｕ_j）・（ｙ_j−ｖ_j） （１０） 以上のように、ニューラルネットワークの重みを変化さ
せたときの誤差への影響が計算によって求めることがで
きるので、逆にある誤差が観測されたときに、誤差を少
なくする方向に重みを変更することができる。

【００１３】ここで、一般的に行われるバックプロパゲ
ーション（逆伝播）学習則による学習は、ある入力があ
ったとき、式（３）（４）において最終出力段に発生し
た誤差のノード成分の値を基に、その前段の重みｗ_ijを
正解に近づく方向に僅かに修正し、新たな重みとする。
式（１０）を出力誤差から入力へと計算を逆に行って、
誤差Ｅ_jを減少させるような重みｗ_ijの変化量Δαを計R
>算することができる。即ち、 Δα_j＝η・δ_j・ｖ_i （１１） ｗ_ij＝ｗ_ij＋Δα_j＝ｗ_ij＋η・δ_j・ｖ_i （１２） δ_j＝（ｙ_j−ｖ_j）・ｆ’（ｕ_j） （１０）式に同じ δ_i＝ｆ’（ｕ_i）Σｗ_ij・δ_j （１３）＜Σの底はｊ＞ 式（１２）は、計算ユニットＵ_jの一般化された誤差δ_j
と、その結合が伝えている信号ｖ_iとの積に応じて、計
算ユニットＵ_jへの結合重みｗ_ijを修正する、修正式で
ある。常数ηは一般に小さな正数である。式（１２）
は、誤差が正、即ち計算ユニットＵ_jの活動が不足して
いる場合、計算ユニットＵ_jに正の信号を送っていたユ
ニットからの結合の重みを減らすように働く。誤差が負
の場合には、結合重みの修正は逆に行われる。式（１
０）のδ_jは、一般化された誤差と呼ばれ、最終出力段
における出力ユニットＵ_jの誤差に出力感度に相当する
ｆ’を乗じている。これに対して、式（１３）ではδ_i
を、丁度、出力層での誤差δ_jを入力とし、出力層から
入力層へ逆方向に、ｆ’（ｕ）を乗じながら伝搬してい
るような形の計算になっている。このことから逆伝播学
習則と呼ばれている。式（１０）〜式（１３）は上記に
示した３層のニューラルネットワークよりも階層の多い
場合にも、当てはめることができる。

【００１４】また、学習を効果的に行うための改良も行
われている。例えば、シミュレーティド・アニーリング
（徐冷）法と言われる方法では、当初の重み変更の度合
いを大きく、学習が進んで誤差が小さくなった場合には
重みの変更度合いを小さくするような方法である。しか
し、式（１２）を入力層の方向に置き換えると、式（１
３）も併せて、 ｗ_hi＝ｗ_hi＋Δα_i＝ｗ_hi＋η・δ_i・ｖ_h ＝ｗ_hi＋η・ｆ’（ｕ_i）・Σｗ_ij・δ_j・ｖ_h （１４） 結局、１度の訓練用の信号入力がされたときに、全ての
エッジに関して式（１０）と式（１２）、あるいは式
（１４）のいずれかの計算をしなければならない。かつ
計算ユニットのしきい関数ｆ（ｕ）には非線形関数がお
もに使われるので計算の負荷は見かけよりも大きくな
る。上記の計算量はエッジの数に比例して増加する。一
方でエッジの数が多いほど訓練用の信号セットの量すな
わち学習回数を増加させなければならない。学習に要す
る時間は、対象が困難な問題ほど、指数関数的に増加す
る。

【００１５】また、従来技術においては、初期状態の設
定の困難であることもあり学習収束の方向性を付けるこ
とは困難である。基本的には、１回のサンプリングごと
のバックプロパゲーションによって内部状態を変更する
ため入力データの与え方に偏りが有ったり、与え方が採
用している学習方式に対して不適当な場合学習に障害を
発生する場合があった。このため、学習速度や学習結果
の妥当性に問題が出る場合があった。

【００１６】従来技術においては、学習の対象となるシ
ステム内部の処理記述が基本的にはリンクの重みという
形で表現され、概念的な具体性を持たないため、学習の
結果を外部（即ち、入出力データ）からしか判定できな
い。即ち、従来のシステムにおいては、内部の処理記述
の説明性が良くなかった。このため、学習結果を内部状
態（記述）によって直接評価することは困難であった。

【００１７】従来技術においては、学習の対象となるシ
ステム内部の処理記述が基本的にはリンクの重みという
形で表現され、基本的にはノード間のリンクは全結合に
近い状態で運用される。このため、学習結果を部分的に
取り出し利用する、２つの学習結果を合わせて１つのシ
ステムを構成する、学習結果を異なるデータ記述形式を
持つシステム（プロダクションシステムなど）に適用す
る、といった一つのシステムから他のシステムへの改造
や、拡張、縮小などを行うことは困難であった。また、
同様の理由で、入出力のノードを追加／削除することも
困難であった。

【００１８】本願の特許出願人は先に、以上のような従
来の技術の諸問題を解決するための発明について、特許
出願をした（特願平３−３１００８２号「ネットワーク
型情報処理システム」）。この特願平３−３１００８２
号の発明（以下、「前発明」という）のネットワーク型
情報処理システムは、複数のノードを有する入力層と複
数のノードを有する出力層が方向性リンクを介して結合
され、その方向性リンクは通過する情報の変換をする情
報変換機能を有し、前記出力層のノードは方向性リンク
を介して入力される情報に対して関数演算を行う機能を
有するネットワーク型情報処理システムにおいて、上記
の方向性リンクの情報変換機能として、帯域通過型ある
いは帯域阻止型のような選択的な特性をもつフィルタ関
数に従って情報変換を行うフィルタ関数演算部を有する
ものである。これによれば、一つの方向性リンクのフィ
ルタ関数は、従来のニューラルネットワークの複数の中
間層が実現していた超平面に対応し、また、入力層と出
力層とを結合する方向性リンクが作り出す領域指定は、
上記従来技術の入力層と中間層と出力層の組合せリンク
とノードからなる複数の超平面が示す領域指定に対応す
る。従って、上記ネットワーク型情報処理システムの発
明は、従来のニューラルネットワークに比べ、同一の精
度を得るのに必要な記述量が少なくなり、要素の数か少
なくなって構成が簡単となるとともに、処理時間を短縮
することができる。

【００１９】上述の前発明のネットワーク型情報処理シ
ステムにおける学習方式は、前記ネットワーク型情報処
理システムが入力情報から方向性リンクと計算ユニット
を通して情報処理を行うのと平行して、同じ入力情報か
ら正常な情報処理結果を得る手段を有し、その正常な結
果を教師信号として、教師信号と上記の情報処理結果
（計算ユニットの出力）との差異（誤差）を評価関数に
よって求め、その差異の大小やベクトル値を算出し、学
習関数を介して、方向性リンクのフィルタ関数を修正す
る学習手段を有する。ここで、正常な情報処理結果を得
る手段とは、例えば、入力情報とそれに対応する正しい
出力情報を対比させた教師情報を予め用意しておき、入
力情報が与えられたとき、正しい出力情報を取り出すよ
うに構成したものである。また、学習関数とは、例えば
後述するメンバーシップ関数の形状を変化させるゲイン
値のような学習のルールのことである。その学習手段
は、反応サイクル毎の誤差逆伝播学習ではなく、前記ネ
ットワーク型情報処理システムにおける複数回の反応サ
イクルの結果／評価を統計的に処理し、この統計的処理
の結果に基づいて、前記フィルタ関数のパラメータを修
正する関数修正手段を有する。なお、反応サイクルと
は、「入力があり出力を行う」という処理を１サイクル
とするものである。

【００２０】

【発明が解決しようとする課題】本発明は、従来のニュ
ーラルネットワークの問題点を解決する前発明のネット
ワーク型情報処理システムを、さらに改良することを目
的とするものである。

【００２１】１） 前発明のネットワーク型情報処理シ
ステムにおけるルール生成方式では、各次元毎に１つの
分布関数であった。そのため、境界領域における認識率
が低くなるおそれがあった。また、前発明のネットワー
ク型情報処理システムにおいて、認識率を高めるため
に、対象空間内に有効な領域を複数の升目に分割し、升
目毎に各次元について分布関数を設定することも考えら
れるが、それでは分割数の爆発を起こす危険性がある。
本発明は、ネットワーク型情報処理システムの境界領域
における認識率を向上させる学習システムを提供するこ
とを目的とする。

【００２２】２） 前発明のネットワーク型情報処理シ
ステムにおいては、評価データは学習の終了をチェック
するためだけに用いられ、学習システムの中に組み込ま
れてはいない。本発明は評価データを有効に利用し、ル
ールが生成されていない領域に確実にルールを作成し、
学習の効率を高めることのできる学習システムを提供す
ることを目的とするものである。

【００２３】３） 推論、認識などを行なう処理系で
は、効率良く処理を行なうため、入力データに対して、
複数データの統合、微分などの前処理を行なう場合が多
い。従来、この前処理の内容は、主成分分析、最小２乗
法などの統計解析手法によって得られた解析結果を基に
作成したり、対象の系に対する経験則、対象の系の物理
的な特性などによって人為的に作成する、などの方法が
取られていた。統計処理は、特に非線形解析を行なう場
合、扱うデータの種類、量などが増大する処理に必要な
処理装置における手順数が非常に増大し、処理時間が多
くかかることになる。また、人為的に作成する場合は、
経験則、対象系の特性などを作業者が調査、記述しなけ
ればならず、作業時間が多くかかる。また、あくまで作
業者の知識、調査内容に依存して処理が記述されるた
め、客観性、完全性を欠く危険がある。本発明は、自動
的非線形解析を行う前処理系を構築し、前処理系の作成
時間、作業負荷を短縮することができるネットワーク型
情報処理装置の学習システムを提供することを目的とす
る。この目的は、ネットワーク型情報処理装置を用いて
教師データ無しの学習処理を行なわせ、複数の入力デー
タによって非線形解析を行なうことによって達成され
る。

【００２４】

【問題を解決するための手段および作用】本発明は、ネ
ットワーク型情報処理装置の学習システムであり、その
学習にネットワーク型情報処理装置を用いる。ネットワ
ーク型情報処理装置は、複数の入力ノード（図２の２
１）と、複数の出力ノード（図２；２４）と、前記入力
ノードと出力ノードを結合する方向性リンクとを有す
る。その方向性リンクは非線形の選択型関数（図２のｍ
₁₁〜ｍ₃₂）であるフィルタ関数を記憶するフィルタ関数
記憶手段（図１の１１３）と、方向性リンクを通過する
情報を前記フィルタ関数により変換をするフィルタ関数
演算手段（図１１の１１２）を有する。また、前記出力
ノードは方向性リンクを介して入力される情報に対して
関数演算を行う手段（図１の１１４、１１５）を有す
る。このネットワーク型情報処理装置（図１の１１）の
学習システムは、学習用のデータを前記ネットワーク型
情報処理装置に入力する入力手段（図１の１２）と、入
力された学習用データの示す領域が、既存の認識領域に
含まれるか否かを判定する領域判定手段（図１の１３）
と、その領域判定手段により前記既存の認識領域に含ま
れると判定された場合に、その既存の認識領域を形成す
るフィルタ関数のセットにおける各フィルタ関数を個別
に更新するフィルタ関数更新手段（図１の１４）と、前
記領域判定手段により前記既存の認識領域に含まれない
と判定された場合に、新たな認識領域を形成するフィル
タ関数のセットを生成するフィルタ関数生成手段（図１
の１５）とを備えた基本構成を有する。既存の認識領域
とは、既存のフィルタ関数のセットにより限定される領
域のことである。

【００２５】上記の基本構成において、領域判定手段
は、入力データが示す領域（多次元領域における空間座
標）が、ネットワーク型情報処理装置の既存のフィルタ
関数セットが限定する認識領域に属するか否かを判定す
る。フィルタ関数更新手段は、その判定の結果、前記認
識領域に属するものであるとき、その認識領域に対応す
るフィルタ関数セットの各々のフィルタ関数を、ネット
ワーク型情報処理装置の目的に合うように、個別に更新
する。前記認識領域に属さないと判定されたときは、フ
ィルタ関数生成手段により新たな認識領域を設定する。
これにより、同じ階層にあるフィルタ関数のセットが多
次元の領域を軸方向に非対象に切り取るように認識領域
を分離できる。従って、自然に大小の認識領域が生成さ
れ、境界領域に小さなルールが生成されので、認識率が
高まる。なお、従来のニューラルネットワークの学習方
式であるＲＣＥ方式では、新たな多次元領域に次々と電
荷に似たエネルギー（クーロン力の）半径を持つ仮想素
子を配置し、データ入力に対して近辺に半径のある素子
が有れば半径を拡張し、無ければ新たな素子を配置する
ことにより学習を実行するようにしているが、本発明は
これとは異なる。すなわち、本発明は、ＲＣＥ法のよう
な単なる球あるいは超球を新領域として設定するような
空間分割法でなく、 ・軸独立に分布が設定でき楕円体あるいは片スボミのコ
ーンのような領域を形成でき（ＲＣＥ法のように領域が
球あるいは超球に限られるものではない）、 ・学習の期間において、本発明の領域の中心値は、原理
上自由であり、空間を移動できる（ＲＣＥ法のように原
理的に中心値不変のものではない）。

【００２６】本発明は、学習に用いるデータは、入力デ
ータとそれに対する教師信号からなるものてある。一般
に、教師信号は、「入力データから推論される結果は何
々である」という肯定的な意味を持つものであるが、本
発明では、「入力データから推論される結果は何々では
ない」という否定的な意味を持つものを用いることがて
きる。対象が複雑で明確でないシステムにおいては、否
定的出力の教師信号を用いると好都合な場合がある。こ
のような場合に対処するために、本発明は、否定の教師
信号を用いるとともに、否定を表す認識領域を生成す
る。この場合の発明の構成は、入力データとそれに対応
する肯定または否定の教師信号を含む学習用のデータを
前記ネットワーク型情報処理装置に入力する入力手段
と、入力データの示す領域が、既存の肯定を表す認識領
域または否定を表す認識領域に含まれるか否かを判定す
る領域判定手段と、前記領域判定手段により前記既存の
肯定を表す認識領域または否定を表す認識領域に含まれ
ると判定された場合に、その既存の認識領域を形成する
フィルタ関数のセットにおける各フィルタ関数を個別に
更新するフィルタ関数更新手段と、前記領域判定手段に
より前記既存の肯定を表す認識領域または否定を表す認
識領域のいずれに含まれないと判定された場合に、教師
信号が肯定を表すものであるときには新たな肯定を表す
認識領域を形成するフィルタ関数のセットを生成し、ま
た、教師信号が否定を表すものであるときには新たな否
定を表す認識領域を形成するフィルタ関数のセットを生
成するフィルタ関数生成手段とを備えている。また、後
処理のためには、認識領域の出力は肯定的なものに統一
したほうが好都合である。そのために、否定出力ノード
を、それに隣接する領域を持つ肯定出力ノードを参照し
て、肯定出力ノードに変換する手段を設けるとよい。

【００２７】

【００２８】

【００２９】前記本発明の基本構成において、前記領域
判定手段は、具体的態様では前記ネットワーク型情報処
理装置のフィルタ関数演算手段の演算により得られた合
致度を所定のしきい値と比較し、その結果により既存の
認識領域に含まれるか否かの判定を行うよう構成するこ
とができる。

【００３０】前記基本構成の学習システムにおいて、フ
ィルタ関数の更新には、学習の履歴により更新方法を選
択するように構成することができる。すなわち、この場
合、各認識領域に対する学習の回数を学習の履歴情報と
して記憶する履歴記憶手段（図１の１７１）と、前記履
歴記憶手段に記憶された学習の履歴情報を基に、各認識
領域ごとにフィルタ関数の更新方法として、複数の種類
の更新方法から１つの更新方法を選択し指示する更新方
法指示手段（図１の１８）とを設け、フィルタ関数更新
手段は複数の更新方法を有し、更新方法指示手段の指示
に従った更新方法で前記既存の認識領域を形成するフィ
ルタ関数のセットにおける各フィルタ関数を個別に更新
するよう構成される。例えば、履歴データ数（学習の回
数）が１の場合には、第１の更新方法として、メンバー
シップ関数の中心値Ｃを初期入力データに設定し、曖昧
度Ａを０に設定し、履歴データ数が２以上でＭ（所定
値）以下の場合には、第２の更新方法として、メンバー
シップ関数の中心値Ｃを履歴データの最大値と最小値と
の中間の値に設定し、曖昧度Ａを履歴データの最大値と
最小値の差に基づいて設定する。履歴データ数がある所
定値Ｍより大きい場合には、第３の更新方法として統計
的手法を用いる。

【００３１】また、本発明のさらに他の態様では、更新
方法として統計的手法を用いるための構成を有する。即
ち、学習の履歴情報から度数分布を得る度数分布計測手
段１７を備え、フィルタ関数更新手段は、度数分布計測
手段により得られた度数分布に基づいてフィルタ関数を
変更する。

【００３２】上記の学習の履歴情報は、前記方向性リン
クに対応するフィルタ関数ごとにそれぞれ収集し、ま
た、領域判定手段により領域に入ると判定された入力デ
ータのみをその領域を定めているフィルタ関数のセット
に対応する履歴データとして記憶する。

【００３３】また、他の態様によれば、一定期間の学習
終了後に、極端に教師信号の少なかったフィルタ関数の
セットについて、隣接する領域をもつフィルタ関数のセ
ットの内容を基にノイズであるか否かを判定し、ノイズ
と判定されたとき、そのルールを除去するノイズ除去手
段を設けるとよい。

【００３４】

【実施例】

（学習対象のネットワーク型情報処理装置）図２は、本
発明の学習方式が適用されるネットワーク型情報処理シ
ステム（装置）の実施例の概略の構成を示す図である。
このネットワーク型情報処理システムは、図２に示すよ
うに入力層の複数のノード２１，２２，２３および出力
層の複数のノード２４，２５が方向性リンクにより接続
され、ネットワークを構成している。図２は形式的にみ
れば従来のニューラルネットワークと同様の構成である
が、各ノードがフィルタ関数を有する方向性リンクを介
して結合される点において従来とは根本的に異なるもの
である。

【００３５】図３は図２における演算を行う部分の構成
例を示すブロック図である。図３に示すノードは、各方
向性リンクにおける、入力情報を選択的に通過させるフ
ィルタ関数の演算を行うフィルタ関数演算部３１〜３４
と、フィルタ関数演算部３１〜３４の出力を重み付けし
た加算平均処理を行う加算部３５と、その加算部３５の
出力にしきい演算を施すしきい関数演算部３６からなっ
ている。入力と状況（出力）との関係は、次のようにル
ールの組（マトリックス）によって表すことができる。 入力１ 入力２ 入力３ 状況１ ｆ₁₁＜ｇ₁₁＞ ｆ₂₁＜ｇ₂₁＞ ｆ₃₁＜ｇ₃₁＞ … 状況２ ｆ₁₂＜ｇ₁₂＞ ｆ₂₂＜ｇ₂₂＞ ｆ₃₂＜ｇ₃₂＞ … 状況３ ｆ₁₃＜ｇ₁₃＞ ｆ₂₃＜ｇ₂₃＞ ｆ₃₃＜ｇ₃₃＞ … ・ ・ ・ ・ ・ ・ ・ ・ ただし、ｆ₁₁〜ｆ₃₃はそれぞれメンバーシップ関数であ
る。また、ｇ₁₁〜ｇ₃₃はそれぞれのメンバーシップ関数
の「重み」である。なお、重みの設定は必須ではない。

【００３６】フィルタ関数は、本実施例では図４に示す
ように、入力ノードに与えられた入力情報の値（入力
値）を横軸にとり合致度を縦軸にしたグラフにおいて不
等辺の台形の形状を持つメンバーシップ関数（ファジィ
メンバーシップ関数）が用いられる。メンバーシップ関
数は、最大合致度を得る入力の中心の値である中心値
ｃ、合致度ｖが得られる入力値の許容範囲を中心値ｃか
らの左および右への幅であらわす左分散値ｖ_lおよび右
分散値ｖ_r、最大合致度が得られる入力値の許容範囲を
中心値ｃからの幅で示した曖昧度ａによって記述され
る。フィルタ関数演算部３１〜３４は、メンバーシップ
関数の演算即ち入力値ｓを合致度ｖに変換するものであ
る。入力値ｓを合致度ｖに変換する式は次にように表す
ることができる。 ｖ＝０．０｛ｓ≦（ｃ−ｖ_l）または（ｃ＋ｖ_r）≦ｓ｝ ｖ＝１．０｛（ｃ−ａ）≦ｓかつｓ≦（ｃ＋ａ）｝ ｖ＝（（ｖ_l−ａ）−（ｃ−ａ−ｓ））／（ｖ−ａ） ｛（ｃ−ｖ_l）≦ｓかつｓ≦（ｃ−ａ）｝ ｖ＝（（ｖ_r−ａ）−（ｓ−ｃ−ａ））／（ｖ−ａ） ｛（ｃ＋ａ）≦ｓかつｓ≦（ｃ＋ｖ_r）｝ ・・・・・（１４）

【００３７】加算部３５は、フィルタ関数演算部３１〜
３４により算出した出力を総合するために加算平均演算
を行う。本実施例では各メンバーシップ関数による入力
情報Ｉ₁〜Ｉ_iの合致度ｖ_1j〜ｖ_ijに重みを乗じた値を総
合して最終合致度を求める。最終合致度算出の方法は種
々考えられるが、本実施例においては、式（１５）に示
すような加重加算平均を用いている。 Ｖ_j＝Σｖ_ij・ｇ_ij／Σｇ_ij （１５） ただし、 Ｖ_j：パターン（あるいはルール）ｊの合致度 ｖ_ij：各メンバーシップ関数による合致度（＝ｆ_ij（Ｉ
_i） Ｉ_iは入力値） ｇ_ij：各メンバーシップ関数の重み Ｎ_s：入力データ数 なお、Σはｉ＝１からＮ_sまでの総和を表す。

【００３８】（学習システムの実施例）次に、以上に説
明したネットワーク型情報処理装置の学習を行う本発明
の一実施例について説明する。学習は、図２に示す学習
対象のネットワーク型情報処理装置に学習用データとし
て、予め入力データとそれに対する正しい出力信号を表
す教師信号の組を用意しておき、その入力データを学習
対象のネットワーク型情報処理装置１１に与え、それに
対する出力を教師信号と比べる評価関数によって誤差を
検出し、それを学習関数（規則）の入力として、逆伝播
学習の手法により、方向性リンクのフィルタ関数や重み
を変更することによって行う。図１は、本実施例の学習
を行うたの機能をブロック図に表したものである。学習
対象のネットワーク型情報処理装置１１と、学習用のデ
ータを入力する学習用データ入力部１２と、ネットワー
ク型情報処理装置１１のフィルタ関数演算部１１２の出
力を基に、教師信号によって特定される出力ノードに対
応する既存のルール（領域）に入力データが入るか否か
を判定する領域判定部１３と、領域判定部１３により前
記既存のルールに含まれると判定された場合に、その既
存のルールを形成するフィルタ関数のセットにおける各
フィルタ関数を個別に更新するフィルタ関数更新部１４
と、領域判定部１３により前記既存のルールに含まれな
いと判定された場合に、新たなルールを形成するフィル
タ関数のセットを生成するフィルタ関数生成部１５と、
学習の評価を行う評価部１６とを有している。また、フ
ィルタ関数を入力データ数に応じて適切な更新方法に切
り替えるための更新方法指定部１８と、統計的手法によ
りフィルタ関数を更新するための度数分布データを得る
ための度数分布計測手段１７とを備えている。度数分布
データは、履歴バッファ１７１の内容を解析して求め
る。

【００３９】（教師データによるルールの自動生成）図
５は、教師データありのルール自動生成の概略のフロー
示す図である。データ入力部１２からネットワーク型情
報処理装置１１に、学習のための一定数の入力データと
それに対応する教師データとからなるデータを入力する
（ステップＳ５１）。入力されたデータを基にルールの
自動生成処理を行う（ステップＳ５２）。ルールの自動
生成処理の手順については、後で説明する。学習が進ん
だ段階で、必要に応じてノイズ除去処理を行う（ステッ
プＳ５３）。そして後述する評価処理を行う（ステップ
Ｓ５４）。平均誤差がしきい値よりも小さくなったかど
うかを判定し（ステップＳ５５）、もし小さくなってい
れば、処理を終了する。平均誤差がしきい値よりも大き
かったら、再利用用の評価データを学習用データとして
入力し（ステップＳ５６）、さらに、ルールの自動生成
処理を行う（ステップＳ５７）。

【００４０】図５の処理フローにおけるステップＳ５１
およびＳ５７のルールの自動生成処理の詳細を図６に示
す。同図に示すように、入力データおよび教師データを
ネットワーク型情報処理装置１１に入力する（ステップ
Ｓ６１）。ネットワーク型情報処理装置の持つルール
（パターン）の集合を記憶するパターンテーブルを探索
し、教師データと同じ出力を持つ全てのルールを選択す
る（ステップＳ６２）。パターンテーブルは図７に概略
を示すような形式でルールデータを保持している。即
ち、パターンテーブルには、ルール名と正常な認識結果
（領域）、ルールに対応する特徴次元の各軸のフィルタ
関数のパラメータ等が記憶されている。図８は特徴空間
におけるルールと領域の例を示すものである。そして、
入力された学習用の入力データを上記選択されたルール
の中の一つと照合する（ステップＳ６３）。すなわち、
選択された一つのルール（パターン）の各次元のフィル
タ関数ごとに入力データの対応する次元のデータの合致
度を求める。求めた合致度が予め定めたしきい値よりも
大きいか否かを領域判定部１３により判定する（ステッ
プＳ６４）。合致度がしきい値よりも大きかったときに
は、そのルール上の各次元のフィルタ関数を変更する
（ステップＳ６５）。すなわち、図９に示すように、全
次元について合致度がしきい値以上で、合致度の平均が
最も高くなるルールを拡張するよう変更する。フィルタ
関数の変更の手順は、図１１のフローチャートにより後
で説明する。合致度がしきい値よりも小さいときは、フ
ィルタ関数の変更は行わない。ステップＳ６２で選択さ
れたルールのうち入力データに対してまだ照合されてい
ないものがあるかどうかを判定する（ステップＳ６
６）。まだ、ルールが残っていれば、ステップＳ６３〜
Ｓ６６を繰り返す。全ての選択されたルールについて、
照合がすべて済んでいれば、次にしきい値を越えたルー
ルがあるか否かを調べる（ステップＳ６７）。しきい値
を越えたルールがなければ、新しいフィルタ関数のセッ
トを作成し、新規なルールとしてパターンテーブルに登
録する（ステップＳ６８）。すなわち、どのルールにつ
いてもしきい値以上の合致度が得られない次元が一つで
もあれば、フィルタ関数生成部１５により新しいルール
を追加する。図１０はその新しいルールの生成を示す図
である。そして、生成したルールのフィルタ関数を後で
述べるように変更して（ステップＳ６９）、処理を終了
する。ステップＳ６７の判定において、全ての次元でし
きい値を越えたルールがあったときには、終了する。

【００４１】（フィルター関数の生成、変更）図６の処
理におけるステップＳ６５およびＳ６９ルールを構成す
る各次元のフィルター関数（メンバーシップ関数で表わ
す）の変更は、図１１のフローチャートに示すように行
なわれる。図２のシステムに入力するデータは、履歴バ
ッファに格納される（ステップＳ１１１）。履歴バッフ
ァは一つのルールに入力された各次元のデータを保持す
るもので、所定のＭ個の入力の履歴を蓄える容量も持っ
ている。各ルールに対応して履歴バッファが用意され、
各履歴バッファごとに入力されたデータをカウントする
カウンタが設けられている。履歴バッファの入力データ
数を数えるカウンタは、入力されるごとにカウンタの値
を１増加させる（ステップＳ１１２）。次に、カウンタ
の値が１か否かを判定し（ステップＳ１１３）、もし１
であれば、フィルタ関数更新部１４により次のようにフ
ィルタ関数のパラメータを更新する（ステップＳ１１
４）。即ち、履歴データ数に応じて更新方法を切り替え
て更新を行う。なお、 Ｎ：履歴データ数（サンプリングデータ数） Ｍ：履歴バッファーサイズ Ｘ₀：初期入力データ Ｘ₁：履歴データの最小値 Ｘ₂：履歴データの最大値 Ｒ₁：正規空間最小値 Ｒ₂：正規空間最大値 Ｃ：中心値 Ａ：曖昧度 Ｖ：分散値 とする。

【００４２】ａ）Ｎ＝１の場合 Ｃ＝Ｘ0 Ａ＝０ Ｖ＝学習処理時の情報としてシステムの利用者が設定す
る値 図１２は設定されたフィルタ関数の例を示すものであ
る。

【００４３】カウンタの値の判定の結果、２以上であっ
た場合は、カウンタの値が所定の数Ｍを越えているか否
かを判定する（ステップＳ１１５）。その判定の結果Ｍ
を越えていない場合は、フィルタ関数を次の方法で更新
する（ステップＳ１１６）。

【００４４】ｂ）２＜Ｎ＜Ｍの場合 Ｃ＝（Ｘ₁＋Ｘ₂）／２ Ａ＝（Ｘ₂−Ｘ₁）／２ Ｖ＝Ａ＋２Ａ／Ｎ 図１３は設定されたメンバーシップ関数の例を示すもの
である。上述のａ）およびｂ）の場合は、そもそも統計
的に意味を持たない少数のデータを対象としている場合
であり、学習方法も統計的というよりは特に非の無い直
観的な手法に頼らざるを得ない。ファジィの特性を反映
し、データ捕捉と評価が確実であると判断できる手法の
一例である。

【００４５】ステップＳ１１５の判定の結果、カウンタ
の値が履歴バッファの数を越えている場合には、次に示
すような統計処理により変更する（ステップＳ１１
７）。なお、統計処理により設定する方法は、前述の特
願平３−３１００８２号「ネットワーク型情報処理シス
テム」に開示されている方法を用いることができる。 ｃ） 統計処理による変更 ある一定の観測期間中に、入力されたデータでかつ該当
するパターンに合致したものを集計し母集団とする。図
１５は入力されたデータの量子化のレベルＺを横軸と
し、各レベルに対するデータの発生回数Ｇを縦軸にと
り、データの発生分布の例を示すグラフの例である。な
お、Ｇ_cは入力データのノイズ成分等を除去するための
カットオフレベルである。母集団に含まれる要素の数が
一定の数に達した所でフィルタ関数であるメンバーシッ
プ関数の変更操作を行う。その母集団より下記の手順に
従ってメンバーシップ関数を導出する。

【００４６】図１４はメンバーシップ関数のパラメータ
抽出処理のフロー図である。カットオフデータＧ_cが出
力データ指定として設定されているか否かを判定する
（ステップ１４１）。カットオフレベルＧ_cが設定され
ていれば、各量子化レベルＺ_iごとにカットオフレベル
を差し引いた値を求めることにより分布データを操作す
る（ステップ１４２）。即ち、Ｚ_i−Ｇ_cを求め、新たな
Ｚ_iとする。図１５の入力データ分布をカットオフレベ
ルＧ_cで処理した結果を図１６に示す。上記のカットオ
フレベル以下のデータを切り捨てる演算処理がＺの量子
化レベルのすべてについて終了するまで行われる。その
ために、各量子化レベルの演算終了ごとに、全ての量子
化レベルについて終了したか否かの判定をする（ステッ
プ１４３）。全ての量子化レベルについて終了したとき
はステップ１４４に移る。また、ステップ１４１の判定
によりカットオフレベルが設定されていなかったときも
ステップ１４４に進む。

【００４７】分布データの平均値正規化座標値Ｚ_mを求
める（ステップ１４４）。 Ｚ_m＝Σ（Ｚ_i×Ｇ_i）／ΣＧ_i ただし、Σはｉ＝０からｉ＝ｎまでの総和を表すものと
する。平均値正規化座標値Ｚｍからマイナス側、プラス
側それぞれ独立に標準偏差値Ｓ_l，Ｓ_rを求める（ステッ
プ１４５）。ステップ１４４で求めた平均値正規化座標
値Ｚ_mおよびステップ１４５で求めたマイナス側標準偏
差値Ｓ_l，プラス側標準偏差値Ｓ_rを基に次のような正規
化座標値を求める（ステップ１４６）。即ち、平均値正
規化座標値Ｚ_mを中心に、図１７に示すように、マイナ
ス側標準偏差値Ｓ_lの１倍（注＊）の正規化座標値
Ｚ_L1、マイナス側標準偏差値Ｓ_lの３倍（注＊）の正規
化座標値Ｚ_L2、プラス側標準偏差値Ｓ_rの１倍（注＊）
の正規化座標値Ｚ_R1、プラス側標準偏差値Ｓ_rの３倍
（注＊）の正規化座標値Ｚ_R2、 （注＊：この値は条件によって変更される） をそれぞれ求める。

【００４８】図１８に示すような正規化中心値Ｃ_s，正
規化曖昧度Ｖ_as，正規化分散値Ｖ_ls，Ｖ_rsをそれぞれ次
式により求める（ステップ１４７）。 正規化中心値 Ｃ_s＝（Ｚ_L1＋Ｚ_R1）／２ 正規化曖昧度 Ｖ_as＝（Ｚ_R1-Ｚ_L1）／２ 正規化左分散値 Ｖ_ls＝Ｃ_s-Ｚ_L2 正規化右分散値 Ｖ_rs＝Ｚ_R2-Ｃ_s 次に、正規化中心値Ｃ_s，正規化曖昧度Ｖ_as，正規化左
分散値Ｖ_ls，正規化右分散値Ｖ_rsをそれぞれ逆正規化し
て、中心値Ｃ，曖昧度Ｖ_a，左分散値Ｖ_l，右分散値Ｖ_r
求める（ステップ１４８）。学習による変更前の元のメ
ンバーシップ関数と、前述の図１４に示す処理フローに
より生成したメンバーシップ関数とを用いて新しい（１
回学習後の）メンバーシップ関数を生成する。

【００４９】図１９は、本実施例においてメンバーシッ
プ関数を変更する方法（学習関数）を示す図である。同
図において、元の（現在の）メンバーシップ関数は点Ｐ
₁，Ｐ₂，Ｐ₃，Ｐ₄を結ぶ直線群（太線）により示され、
図１４により求めた一定期間のサンプリングから得られ
たデータ分布に基づくメンバーシップ関数は点Ｐ₁ ^'，Ｐ
₂ ^'，Ｐ₃ ^'，Ｐ₄ ^'を結ぶ直線群（破線）により示され、こ
れらのメンバーシップ関数を基に新しく生成されるメン
バーシップ関数は点Ｐ₁ ^"，Ｐ₂ ^"，Ｐ₃ ^"，Ｐ₄ ^"を結ぶ直線
群（細線）により示されている。各４点の座標をＰ
（ｓ，ｖ）、Ｐ^'（ｓ^'，ｖ^'）、Ｐ^"（ｓ^"，ｖ^"）とす
る。 ｖ^"＝ｖ^'＝ｖ ｓ^"＝（１．０−ｇ）×ｓ＋ｇ×ｓ^' ただし、０．０≦ｇ≦１．０ 各４点のゲイン値ｇは独立に設定可能とする。

【００５０】各点のゲイン値の設定によって、同じ観測
データによっても、メンバーシップ関数の変更結果は異
なる。図２０は、ゲインの決めかたにより変更結果がど
のように変わるかを示すものである。図２０（ａ）は、
現在のメンバーシップ関数（細い実線）と一定期間のサ
ンプリングから得られた分布に基づくメンバーシップ関
数（破線）を示す。同図（ｂ）は、各点のゲイン値ｇを
０．５としたときに生成されるメンバーシップ関数（太
い実線）を示す。また、同図（ｃ）は、点Ｐ₁のゲイン
値ｇ＝０、他の点のゲイン値ｇ＝０．５とした場合を示
し、同図（ｄ）は、曖昧度（Ｐ₂とＰ₃間の距離）を変え
ず、底辺拡張方向のゲイン値ｇ＝１．０、かつ底辺縮小
方向のゲイン値ｇ＝０とした場合を示す。入力信号源で
あるセンサの特性、学習の意図などによって、上記ゲイ
ン値を設定し、学習の方向性を変化させることが可能で
ある。

【００５１】前述のように、学習が進んだ段階で、必要
に応じてノイズの除去処理を行うが、それは次のように
行う。 ａ） 各ルールのメンバーシップ関数のＮ（学習の回数
すなわち履歴データ数）を見る。これは履歴バッファ毎
に設けられたカウンタの値を見ればよい。 ｂ） Ｎ＜所定の値の場合には、 （１） 同じ認識領域のルールが１つ以上隣接する場合
にはルールの重みの変化は行わない。すなわち、ルール
の重みに変化はない。なお、ルールが隣接するとは、あ
る次元のメンバーシップ関数同士の底辺（分散値）が重
なることである。 （２） 同じ認識領域のルールが１つも隣接しない場合
には、ルールの重みを下げる。つまり、各次元のメンバ
ーシップ関数の重みを下げる。（３） 上記（２）の処理の結果、重みが規定値を下回
った場合には、当該ルールは無効なルールとみなして削
除を行う。 図２１はノイズの除去の例を説明するためのもので、同
図において点は教師データであり、点を丸で囲った領域
がルールであり、これらのルールによって認識のための
領域が構成される。同図におけるルール１とルール２は
極端に教師信号の少なかったルールであり、このような
ルールについては、同じ認識領域のルールが隣接するル
ール１については、ルールの重みの変更は行わず、同じ
認識領域のルールが１つも隣接しないルール２について
は、ルールの重みを下げる。

【００５２】（否定教師信号学習）否定教師信号を用い
て学習を行うと都合が良い場合がある。例えば、プラン
トシステムにおいて、あるセンサ情報群が表す状況に対
して、それは○○の故障の発生であるというような肯定
側の情報を与えることはできないが、少なくとも火災の
発生という事象ではないという否定側の情報を与えるこ
とはできる場合がある。このようなときに、否定側の情
報により教示を行うことは有用である。 ａ） 入力データ（センサー情報）と否定の認識結果
（〜ではない、例えばｎｏｔＡ）を表す教師信号とが、
学習のためにネットワーク型情報処理装置に入力された
ときは、肯定（すなわち、否定ではない）教師信号と同
様の方式でルールを生成する。 ｂ）教師データによる学習過程において、否定教師信号
によるルールに、正常な認識結果（例えば、ｎｏｔＡ→
Ｂ ｏｒ Ｃ ｏｒ…）のルールが１つ以上隣接した場
合、否定ルールも隣接する正常な認識結果のルールと同
じ認識領域のルールであると判断される。 図２２は否定教師信号により生成されたルールを肯定出
力のルールに変換処理する処理フローを示す図である。
否定教師信号によるルールに正常信号によるルールが隣
接するかを調べ（ステップＳ２２１）、隣接していれば
否定ルールを隣接する正常ルールと同じ領域に変換する
（ステップＳ２２２）。図２３は、否定教師信号による
ルールを否定ではない肯定ルールに変換する例を示すも
ので、ｎｏｔＡの周りにＡ以外の領域Ｂ（ｏｒ Ｃ…）
を持つルールが１つでも隣接した場合は、ｎｏｔＡをＢ
（ｏｒＣ…）に変更する。否定ルールが他にあれば、そ
の否定ルールに対してステップＳ２２１〜Ｓ２２３を繰
り返す。否定ルールが無くなったら、終了する。 （例） 認識結果 Ｘ軸 Ｙ軸 Ｚ軸 ルール１： ｎｏｔＡ ＭＦ１ ＭＦ２ ＭＦ３ ↓ ルール１： Ｂ ＭＦ１ ＭＦ２ ＭＦ３

【００５３】（評価データの再利用学習を行う実施例）
一定数の学習の終了後、学習の程度を評価するために、
評価データを与える。評価データも学習用データと同様
センサー情報（入力データ）と正常な結果からなる。評
価部１６において、各入力データの情報処理結果（推論
結果）と評価用に与えられた正常な結果との差異（誤
差）を求め、評価関数により評価して良否を判定する。
これらの良否は、各ルール毎に積算し、評価のための入
力データの情報処理が全て終了したところで、積算の分
布を評価する。これにより領域分割の妥当性を判断する
ことができる。妥当であると判断された時点で学習の終
了とする。この評価の仕方によれば、評価結果を特徴空
間に蓄積して最終的に領域分割するので、ローカルミニ
マム極小解に落ち込む危険性がない。そのため評価関数
は線形である必要が無く、自由に利用できる。特異なケ
ースとして、パターンテーブルのどのルールにも合致し
ないケース（適用ルール＝ナシ、合致度＝０）の場合、
評価データを教師データとして再利用する。図２４は、
評価処理と評価データの再利用の処理フローを示すもの
である。 ａ） 各評価データに対して、パターンテーブルのルー
ルを適用する（ステップＳ２４１）。 ｂ） 正常な認識結果（合致度＝１．０ ）であるべき
評価データに対して、適用ルール＝無し（合致度＝０．
０ 、誤差＝１．０ ）の評価データを全て求める（ス
テップＳ２４２〜ステップＳ２４５）。 ｃ） ｂ）に該当する評価データを教師データとして、
教師学習を行なう（ステップＳ２４６）。 ｄ） ｃ）終了後、教師データによる学習を再開する。 図２５は、評価データの再利用を説明するもので、Ａの
領域において×印の位置の評価データに対応するルール
がない場合、その評価データを教師データとして学習を
行うことにより、認識領域の欠落した部分を補うことが
できる。

【００５４】

【００５５】

【００５６】

【発明の効果】

１）本発明によれば、フィルタ関数の生成と更新を行う
学習処理によって、境界領域に小さなルールが生成され
認識率が高まる。 ２）本発明によれば、自然に、大きなルール（１つのル
ールが、入力情報の大きな値域にまたがる場合、「大き
なルール」と言う）と小さなルール（入力情報の狭い範
囲に適用されるルールを「小さなルール」と言う）が生
成されるので、従来のように升目分割をすることなく、
認識率を高めることができる。 ３）本発明では、評価処理においてルールが生成されて
いない領域のデータであった場合、教師信号として再度
利用され、ルールが生成されていない領域に確実にルー
ルを作成することを可能にしている。評価データの再利
用と学習速度の増加ができる。

【図面の簡単な説明】

【図１】 本発明のネットワーク型情報処理システムの
学習システムの機能ブロック図

【図２】 ネットワーク型情報処理システムの構成を示
す図

【図３】 図２における演算を行う部分の構成例を示す
ブロック図

【図４】 ファジィメンバーシップ関数を説明するため
の図

【図５】 教師信号による学習の処理の概略を示すフロ
ー図

【図６】 図５のフローにおけるルールの自動生成処理
の詳細を示すフロー図

【図７】 ルールの形式を説明するための図

【図８】 本実施例における認識領域を説明するための
図

【図９】 ルールの拡張を説明するための図

【図１０】 ルールの生成を説明するための図

【図１１】 フィルタ関数の変更処理を示すフロー図

【図１２】 履歴データ数が１であるときに設定される
フィルタ関数を示す図

【図１３】 履歴データ数が２以上でＭより小さいとき
に設定されるフィルタ関数を示す図

【図１４】 メンバーシップ関数のパラメータ抽出処理
のフロー図

【図１５】 入力されたデータの量子化のレベルＺを横
軸とし、各レベルに対するデータの発生回数Ｇを縦軸に
とり、データの発生分布の例を示すグラフの例を示す図

【図１６】 １図５のデータの発生分布をカットオフＧ
ｃにより足切りした後のデータ分布を示す図

【図１７】 各正規化座標値の算出を説明するための図

【図１８】 図５のデータ分布から得られたメンバーシ
ップ関数を示す図

【図１９】 本実施例においてメンバーシップ関数を変
更する基本的な方法（学習関数）を説明するための図

【図２０】 学習関数のゲインの決めかたによりメンバ
ーシップ関数の変更結果がどのように変わるかを示すも
のであり、（ａ）は、現在のメンバーシップ関数（細い
実線）と一定期間のサンプリングから得られた分布に基
づくメンバーシップ関数（破線）を示し、（ｂ）は、各
点のゲイン値ｇを０．５としたときに生成されるメンバ
ーシップ関数（太い実線）を示し、（ｃ）は、点Ｐ１の
ゲイン値ｇ＝０、他の点のゲイン値ｇ＝０．５とした場
合を示し、（ｄ）は、曖昧度（Ｐ２とＰ３間の距離）を
変えず、底辺拡張方向のゲイン値ｇ＝１．０、かつ底辺
縮小方向のゲイン値ｇ＝０とした場合を示す

【図２１】 ノイズの除去を説明するための図

【図２２】 否定教示のルールを肯定教示のルールに変
換する処理のフロー図である。

【図２３】 否定教示のルールを肯定教示のルールへの
変換を説明する図

【図２４】 評価処理のフロー図

【図２５】 評価データの再利用を説明するための図

【符号の説明】

１１…ネットワーク型情報処理装置、１２…学習用デー
タ入力部、１３…領域判定部、１４…フィルタ関数更新
部、１５…フィルタ関数生成部、１６…評価部、１７…
度数分布計測部、１７１…履歴バッファ、１８…更新方
法指定部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤巻 俊秀 北海道札幌市中央区北２条西二丁目１番 地 服部ビル３階 株式会社アドイン研 究所札幌ラボラトリー内 (56)参考文献 特開 平４−84331（ＪＰ，Ａ) 特開 平４−58330（ＪＰ，Ａ) 特開 平４−60837（ＪＰ，Ａ) 特開 平４−88431（ＪＰ，Ａ) 特開 平４−65718（ＪＰ，Ａ) 特開 平３−67303（ＪＰ，Ａ) 特開 平４−58331（ＪＰ，Ａ) 特開 平４−124782（ＪＰ，Ａ) 特開 平２−170265（ＪＰ，Ａ) 特開 平４−142658（ＪＰ，Ａ) 特開 平２−138604（ＪＰ，Ａ) 甘利俊一・監訳，「ＰＤＰモデル」, 日本，産業図書株式会社，1989年 ２月 27日，初版，ｐｐ．167−185 山田貢己，「反面教師による学習の損 失関数」，電子情報通信学会技術研究報 告，日本，社団法人電子情報通信学会, 1992年 ３月19日，Ｖｏｌ．91，Ｎｏ. 530（ＮＣ91−132〜164），ｐｐ．145− 152 山口享・他，「ファジー連想記憶シス テムを用いた適応制御」，電気学会論文 誌Ｃ，日本，社団法人電気学会，1991年 １月20日，Ｖｏｌ．111，Ｎｏ．１, ｐｐ．40−46 今崎直樹，「ニューラルネットワーク によるファジィモデリング」，東芝レビ ュー，日本，株式会社東芝，1990年12月 １日，Ｖｏｌ．45，Ｎｏ．12，ｐｐ. 991−994 山口享・他，「連想記憶によるファジ ールールの推論・学習方式」，電気学会 論文誌Ｃ，日本，社団法人電気学会, 1990年 ３月20日，Ｖｏｌ．110，Ｎｏ. ３，ｐｐ．207−215 黒川忠由，「ニューラル・ネットワー クとその開発支援ソフト」インターフェ ース，日本，ＣＱ出版株式会社，1989年 10月 １日，Ｖｏｌ．15，Ｎｏ．10，ｐ ｐ．239−250 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06G 7/00 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁) ＩＮＳＰＥＣ（ＤＩＡＬＯＧ)

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 複数の入力ノードと、複数の出力ノード
   と、前記入力ノードと出力ノードを結合する方向性リン
   クとを有し；その方向性リンクは非線形の選択型関数で
   あるフィルタ関数を記憶するフィルタ関数記憶手段と、
   方向性リンクを通過する情報を前記フィルタ関数により
   変換をするフィルタ関数演算手段を有し；前記出力ノー
   ドは方向性リンクを介して入力される情報に対して関数
   演算を行う手段を有するネットワーク型情報処理装置の
   学習システムにおいて、入力データとそれに対応する肯
   定または否定の教師信号を含む学習用のデータを前記ネ
   ットワーク型情報処理装置に入力する入力手段と、入力
   された学習用データの示す領域が、既存の肯定を表す認
   識領域または否定を表す認識領域に含まれるか否かを判
   定する領域判定手段と、前記領域判定手段により前記既
   存の肯定を表す認識領域または否定を表す認識領域に含
   まれると判定された場合に、その既存の認識領域を形成
   するフィルタ関数のセットにおける各フィルタ関数を個
   別に更新するフィルタ関数更新手段と、前記領域判定手
   段により前記既存の肯定を表す認識領域または否定を表
   す認識領域のいずれに含まれないと判定された場合に、
   教師信号が肯定を表すものであるときには新たな肯定を
   表す認識領域を形成するフィルタ関数のセットを生成
   し、また、教師信号が否定を表すものであるときには新
   たな否定を表す認識領域を形成するフィルタ関数のセッ
   トを生成するフィルタ関数生成手段とを備えたことを特
   徴とするネットワーク型情報処理装置の学習システム。
2. 【請求項２】 否定出力ノードを、それに隣接する領域
   を持つ肯定出力ノードを参照して、肯定出力ノードに変
   換する手段を設けたことを特徴とする請求項１記載のネ
   ットワーク型情報処理装置の学習システム。
3. 【請求項３】 前記領域判定手段は、前記ネットワーク
   型情報処理装置のフィルタ関数演算手段の演算により得
   られた合致度を所定のしきい値と比較し、その結果によ
   り認識領域の判定を行うことを特徴とする請求項１記載
   のネットワーク型情報処理装置の学習システム。
4. 【請求項４】 各認識領域に対する学習の回数を学習の
   履歴情報として記憶する履歴記憶手段と、既存の認識領
   域を更新する旨判定された場合に、前記履歴記憶手段に
   記憶された学習の履歴情報を基に、各認識領域ごとにフ
   ィルタ関数の更新方法として、複数の種類の更新方法か
   ら１つの更新方法を選択し指示する更新方法指示手段と
   を設け、フィルタ関数更新手段は、前記更新方法選択手
   段の決定した更新方法を用いて、前記既存の認識領域を
   形成するフィルタ関数のセットにおける各フィルタ関数
   を個別に更新するようにしたことを特徴とする請求項１
   記載のネットワーク型情報処理装置の学習システム。
5. 【請求項５】 前記履歴記憶手段に記憶された履歴情報
   から度数分布を求める度数分布計測手段を設けるととも
   に、フィルタ関数更新手段は、度数分布計測手段により
   求めた度数分布を用いた統計的手法によりフィルタ関数
   を更新することを特徴とする請求項１ないし請求項４の
   いずれか１項に記載のネットワーク型情報処理装置の学
   習システム。
6. 【請求項６】 一定期間の学習終了後に、極端に教師
   信号の少なかったフィルタ関数のセットについて、隣接
   する領域をもつフィルタ関数のセットの内容を基にノイ
   ズであるか否かを判定し、ノイズと判定されたとき、そ
   のルールを除去するノイズ除去手段を設けたことを特徴
   とする請求項１ないし請求項５のいずれか１項に記載の
   ネットワーク型情報処理装置の学習システム。
7. 【請求項７】 評価データを用いて誤差を導出し学習の
   終了をチェックする手段を有し、その評価データを誤差
   を導出するためにだけ使用せず、フィルタ関数のセット
   の生成されていない領域の学習用データとしても用いる
   評価データ再利用手段を有することを特徴とする請求項
   １ないし請求項６のいずれか１項に記載のネットワーク
   型情報処理装置の学習システム。