JPH0457181A

JPH0457181A - 多重神経回路網の構築方法およびその装置

Info

Publication number: JPH0457181A
Application number: JP2167917A
Authority: JP
Inventors: Makoto Tsukishiro; 築城　諒
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1990-06-26
Filing date: 1990-06-26
Publication date: 1992-02-24
Also published as: US5201026A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔発明の目的〕（産業上の利用分野）本発明はエキスパートシステム構築手段として好適な多
重の人工神経回路網の構築方法およびその装置に関する
。

（従来の技術）多重の神経回路網を利用して実現するものとして、エキ
スパートシステムを例として説明する。

エキスパートシステムを構築するための方法として、現
在最も多用されているのは文字列で表現されたリテラル
間のルールをベースとした推論を利用するものである（
田中、他：エキスパートシステム構築の方法、パーソナ
ルメディア株式会社刊［昭和６２年コ）。この方法では
、ある分野における専門家の知識が（ｉｆ前提、　ｔｈ
ｅｎ結論）という形のルールとして多数集められてルー
ルベースを構成する。ここで前提および結論は文字列に
よって表現されたリテラルの論理式である。このシステ
ムの前向き推論においては、始めにいくつかの事実を文
字列によって表現されたリテラルの論理式として入力し
、それらがルールのｊｆ部（前提）と比較される。ここ
で事実が汀部とマツチするルルの結論は新に判明した事
実とすることかできる。この手続きは、ユーザにとって
有用ないくつかの結論が事実と判明するか、または使用
すべきルールが無くなってしまうまで繰返される。

この方法には次のような２つの欠点がある。第一に専門
家の知識を（Ｈ前提、　ｔｈｅｎ結論）という形に変換
し、かつ必要にして十分な二乗めることは極めて困難な
作業であり、可能であったとしても高度な技術と資源を
必要とする。第二に事実とルールの前提との比較が文字
列の厳密なパターンマツチングであるために、比較され
る文字列が１ビツトでも違っていればマツチングは失敗
する。

このため曖昧な事実を利用するために確信度の計算とか
、ファジー概念の応用などの複雑な手続が必要となる。

このような事実に鑑み、近年人工神経回路網をエキスパ
ートシステムの構築に利用することか提案されている（
Ｓ、１．Ｇａ１ｌａｎｔ：　Ｃｏｎｎｅｃｔｉｏｎｉｓ
ｔＥｘｐｅｒｔ　Ｓｙｓｔｅｍ、　Ｃｏｍｍｕｎｉｃａ
ｔｉｏｎｓ　ｏｆ’　ｔｉｄｅ　ＡＣＭｖｏｌ、３１．
　ｎｏ、２．　ｐｐ、１５２−１６９．　Ｆｅｂ、　＋
９８８　）　、一つの単位神経回路網は、複数個の入力
神経細胞（以下では神経細胞のことをセルと呼ぶ）から
成る入力部、複数個の出力セルから成る出力部、および
隠れ部を構成する複数個のセルを軸索と呼ばれる信号線
で相互に結線した回路網（ネットワーク）である（麻生
二ニューラルネットワーク情報処理、産業図書刊［昭和
６３年］）。このような単位神経回路網によって、以下
に一例を説明するようにして推論システムを実現できる
。

Ａ、Ｂを各々任意側のリテラルのリストであるとする。

Ａ　＝　（ＡＩ　　Ａ２−＝　Ａｎ）　、　Ｂｍ　（Ｂ
Ｉ　　Ｂ２−Ｂｍ）Ａｉ　　（ｉ＝１．２．−ｎ）　、
Ｂｊ　　（ｊ＝１．２゜・・、ｍ）は一般にリテラルを
表す。Ａ、Ｂは共通の要素を持たない、っまりＢの要素
であるリテラルがＡの要素であることはないものとする
。任意のリテラルは真理値１　（真）、−１（偽）、お
よび０（真偽不明）の内のどれかの値をとるものとする
。ＡＩ、Ａ２．・・・、Ａｎの値のリストをＡの具体例
、またＢｌ、　　Ｂ２．・・・、Ｂｍの値のリストをＢ
の具体例と呼ぶ。具体例はリテラルの真偽に関する連言
に対応させることができる。例えばＡの具体例の一つ（１−１０・・・　］）は（ＡＩは真）　　（Ａ２は偽
）Ａ（Ａ３は真偽不明）　・・・　（Ａｎは真）である
ことを表す。ここに　は論理積である。Ａの具体例ａと
対応するＢの具体例すを組にしたちのａ−＋　ｌ）を事
例と呼び、ａであればｂであるという事実を表すものと
する。このような事例が複数個入力可能であった時に、
ｎ個の入力セルとｍ個の出力セルを備えた単位神経回路
網を、Ａの具体例を入力信号例、対応するＢの具体例を
望ましい出力信号（これを教師信号とも言う）として学
習させることによって論理システムとすることができる
。すなわちここではリテラルの真理値を変量とし、その
集まりを単位神経回路網の入出力信号とする。この推論
システムとしての単位神経回路網は、次のように前向き
推論を行なうことができる。すなわち任意のＡの具体例
ａを入力部に入力された場合に、もしそれに対応する教
師信号としてのＢの具体例すを学習済みであれば出力部
にｂを出力する。このようにしてａを与えられてｂを結
論することができる。またもしａに対応する教師信号と
してのＢの具体例を学習していなければ、学習済みの事
例から適切なりの具体例ｂ′を構成してそれを出力部に
出力する。このようにして直接学習したことのない事例
に対してもａに対応する適切な結論ｂ′を得ることが可
能である。さらにＡの具体例が曖昧な場合、つまりＡの
要素であるリテラルの値が１．　　Ｏ，−１のどれかで
はなく、例えば０．５（あるリテラルの値がＶであると
きにそのリテラルが真である可能性ＰをＰ＝０．５　　　（Ｖ＋１）　＊１００＜％〉＊と定義すれば、Ｖ−０，５のときには真である可能性が
７５％であることを表す）のようなアナログ値であって
も、学習済みの事例から適切なりの要素リテラルのアナ
ログ値を算出して具体例ｂ′を構成し、それを出力部に
出力する。

もし以上のような事例を用いて、文字列で表現されたル
ールをベースとした推論システムを使用するとしたら、
入手可能な全ての事例を１ｆ（Ａの具体例に対応するリ
テラルの連言）ｔｈｅｎ（Ｂの具体例に対応するリテラ
ルの連言）という形のルールとして表現し、それらを集
めてルールベースを用意し、これを用いて前述のような
推論を行なうことになる。しかしこの方法ではルールベ
ースの前提に含まれない具体例はパターンマツチングに
成功できないため、神経回路網を用いる場合と異なり、
入手可能な事例に含まれないＡの具体例に対しては結論
を得ることができない。これに対処するためには必要な
全ての事例をルールベースに入れるか、またはより一般
的なル−ルを発見してルールの個数を減らすなどの困難
な作業が必要になる。Ａの具体例が曖昧な場合にも、こ
の方法では神経回路網を用いる場合と異なり、文字列で
表現されたルールをベースとした推論システムは推論不
能に陥る。これを回避するためには前述の如くファジー
概念の利用や確信度計算のような複雑な手続が必要とな
る。

以上説明したように神経回路網を推論システムとして用
いることには大きな利点があるが、通常の産業上の分野
に上述の神経回路網による推論システムを利用する場合
には、前記の単位神経回路網のみでは能力不足であり、
以下に説明する多重の神経回路網を用いなければならな
い。

推論システムを構築しようとする場合に先ず入手可能な
ものは、通常（ＡＩ＝ｓｌ）　　（Ａ２＝ｓ２）、、、　　（Ａｎ＝
ｓｎ）ならば（Ａｍ−ｓｍ）という形の多くの事例である。ここでＡｍｓはリテラル
Ａの論理値がＳであることを表す。このような事例の集
まりにおいて、ある事例の右辺（「ならば」の右側）に
在るリテラルが、他方で別の事例の左辺（同左側）に現
れたりすることは通常避けられない。このような場合に
は、そのリテラルの真理値を出力信号に含む単位神経回
路網と、それを入力信号に含む別の単位神経回路網を必
要な軸索で結線した２重の神経回路網を構築しなければ
ならない。もしこのようなリテラルの依存関係が多段に
およべば、多重の神経回路網を構築しなければならない
。

第６図を参照して簡単な多重の神経回路網を構築する例
を示す。

ＡＩ＝ミルクで子供を育てる。

Ａ２＝哺乳類である。

Ａ３＝肉を食う。

Ａ４＝４重目である。

Ａ５−毛皮が三味線の材料になる。

Ａ６−猫である。

事例１：　　　（Ａ１＝１）ならば（Ａ２−１）。

事例２：　　　（Ａ２＝１）　　　（Ａ３−１）ならば
（Ａ４＝１）。

事例３：　　（Ａ４＝１）　　　（Ａ５＝１）ならば（
Ａ６＝１）。

この場合には「Ａ２：Ｉｌｉ′１７乳類である」という
リテラルが事例１の右辺と事例２の左辺に入っており、
「Ａ４：食肉口である」というリテラルが事例２の右辺
と事例３の左辺に入っている。このような場合にはＡ１
の真理値を人力信号とし、Ａ２の真理値を出力信号とし
て事例１を学習する単位神経回路網１と、Ａ２の真理値
およびＡ３の真理値を入力信号とし、Ａ４の真理値を出
力信号として事例２を学習する単位神経回路網２と、Ａ
４の真理値およびＡ５の真理値を入力信号とし、Ａ６の
真理値を出力信号として事例３を学習する単位神経回路
網３とを各々用意する。このとき、単位神経回路網１で
Ａ２の真理値を出力する出力セルは、単位神経回路網２
のＡ２の真理値を入力する入力セルを兼ねるものとなり
、また単位神経回路網２でＡ４の真理値を出力する出力
セルは、単位神経回路網３のＡ４の真理値を入力する入
力セルを兼ねるものとなる。これらにより、全体は多重
の（３つの単位神経回路網から成る）神経回路網となる
。

（発明が解決しようとする課題）以上説明した多重の神経回路網の構築は従来人手によっ
て直感的に行なイつれていたが、事例、それに含まれる
リテラルの個数、およびその依存関係の複雑さが増大す
るにつれて作業は困難になる。

既に稼動しているシステムに事例を追加する際に、多重
神経回路網の構成の大幅な変更が必要となるような場合
には専門家による長時間の作業を必要とする。事例の量
と複雑さが限度を越えてしまえばこのような方法では多
重神経回路網を構築することは全く不可能になる。

本発明はこのような点を考慮してなされたもので、事例
がどのように多量であり、とのようにその依存関係が複
雑であっても何等の困難無しに多重の神経回路網を構築
できる方法およびその装置を提供することを目的とする
。

〔発明の構成〕

（課題を解決するための手段）本発明は上記の目的を達成するために、入力例とそれに
対応する望ましい出力の組を記憶し、記憶された組を順
次取出し、その組の入力例に含まれるすべての変量につ
いてそれが記憶されている任意の組において出力に含ま
れているか否かを調べ、どの組においても出力に含まれ
ない変量をマクし、記憶された組を順次取出し、その中
からその組の入力例がマークされた変量のみを含む組を
選択し、選択された組を学習する単位神経回路網を生成
すると同時に単位神経回路網の出力に含まれる変量をマ
ークし、記憶された組を順次取出し、その中の任意の一
つにつき、その組を学習する単位神経回路網が生成され
ているか否かを判定し、判定の結果生成されていない場
合には、組を学習する単位神経回路網を生成し、生成さ
れた単位神経回路網を相互に連結することにより多重の
神経回路網を構築する方法である。

また本発明は、入力例とそれに対応する望ましい出力の
組を記憶する記憶手段と、記憶手段に記憶されたどの組
の出力にも含まれない変量をマークする第１マーク手段
と、記憶手段に記憶された組のうち、入力例がマークさ
た変量のみを含む組を学習する単位神経回路網を生成す
ると同時に生成された単位神経回路網の出力に含まれる
変量をマークする第２マーク手段と、記憶手段に記憶さ
れた組の任意の一つにつき、その組を学習する単位神経
回路網が生成されているか否かを判定する手段と、判定
手段の判定結果に基づいて、生成されてない組を学習す
る単位神経回路網を生成する手段と、生成された単位神
経回路網を相互に連結する手段と、からなる多重神経回
路網の１１４築装置である。

（作　用）本発明における入力例とそれに対応する望ましい出力の
組を記憶する記憶手段は、与えられた絹に等しい組を既
に記憶している場合には何もしない。そうでない場合に
は与えられた組を記憶する。

記憶手段によって記憶されたどの組の出力にも含まれな
い変量をマークする第１のマーク手段は、記憶手段に記
憶されている組を順に取出し、その組の入力例に含まれ
る全ての変量について、それが記憶手段に記憶されてい
る任意の組において出力に含まれているかどうかを調べ
ることにより、どの組においても出力に含まれない変量
にマークを付ける。記憶手段によって記憶された組の内
、入力例がマークされた変量のみを含むような組を学習
する単位神経回路網を生成すると同時にこの単位神経回
路網の出力に含まれる変量をマークする第２のマーク手
段は、記憶手段に記憶されている組を順に取出し、もし
その組の入力に含まれる全ての変量がマークされている
ときには記憶手段によって記憶された組の任意の一つに
つき、その組を学習する単位神経回路網が第２のマーク
手段によって生成されているかどうかを判定する手段に
より、その組を学習する単位神経回路網が既に生成され
ているかどうか判定する。その結果、生成されていない
場合にはこの入力例とそれに対応する望ましい出力の組
を学習する単位神経回路網を生成すると同時にその組の
出力に含まれる変量をマークする。記憶手段によって記
憶された組の任意の一つにつき、その組を学習する単位
神経回路網が第２のマーク手段によって生成されている
かどうかを判定する手段は記憶手段によって記憶された
組の内、入力例がマークされた変量のみを含むような組
を学習する単位神経回路網を生成すると同時にこの単位
神経回路網の出力に含まれる変量をマークする第２のマ
ーク手段に呼出されて、記憶手段によって記憶された組
の任意の一つにつき、その組を学習する単位神経回路網
が第２のマーク手段によって生成されているかどうかを
判定する。制御手段は前記各手段を必要に応じて呼出し
、実行することにより多重神経回路網を構築する。この
ため、ユーザは入力側とそれに対応する望ましい出力の
組を用意すれば、後は全く自動的に多重神経回路網を構
築できる。

（実施例）以下、本発明の一実施例を図面を参照して説明する。な
お、以下では記号′ニー′でもって右辺の値を左辺に代
入することを表し、記号′−一でもって右辺と左辺が等
しいことを表し、記号！−′でもって右辺と左辺が等し
くないことを表すことにする。また記号′−′　は左辺
の変量が右辺の′、′て区切られた全ての値を順にとり
つつ変化することを表す。

まず本実施例において使用する概念である「マーカー」
および「信号」について説明する。マーカーを、次のよ
うな２つのメンバを持つ構造によって表現する。

（ｎａｍｅ、　ｍａｒｋｌここで、ｎａｍｅ：文字列で表された変量の名称、すなわちこれ
が等しいものは同一の変量であり、逆にこれが異なるも
のは異なる変量である。

ｍａｒｋ：整数であって、ｍａｒｋ　−＝　０はこの変
量がマークされていないことを、ｍａｒｋ＝　＝　１は
マークされていることを表す。

次に信号とは、ｎａｍｅで特定されるある変量と、それ
がとっている値のペアであって、次のような２つのメン
バを持つ構造で表現する。

（ｎａｍｅ、　ｖａｌｕｅ　１ここでｎａｍｅは前記同様に変量の名称であり、ｖａｌ
ｕｅ：信号において変量のとっている値、一般に実数。

である。神経回路網の入力および出力は一般に信号の集
まりであって、入力信号（すなわち入力に含まれる信号
）および出力信号（すなわち出力に含まれる信号）は上
記のような構造で表される。

「教師信号」とは望ましい出力に含まれる信号のことで
あって、出力信号の一種であり、当然また同じ構造で表
される。

次に本発明の構成要件である各手段の実現例を説明する
。

第１図は本発明による神経回路網の構築装置の構成を示
すブロック図である。

入力例に含まれる入力信号は、次のような配列によって
参照可能にするのが好適である。すなわち、Ｋを「入力
例とそれに対応する望ましい出力の組」の総数とし、Ｉ
　（ｋ）を組にの入力信号の総数として、記憶場所の配
列：１ｎｐｕｔ（ｉ、ｋ）、　　ｉ＝１．　２．　３．　＝
−、Ｉ（ｋ）；に−１，２，３，・・・Ｋ。

＝　１８を用意し、配列の一つの要素に上記のような構造である
入力信号の一つを格納する。ここでｋは「入力例とそれ
に対応する望ましい出力の組」に付けられた番号であり
、またｉはその組の入力に含まれる第１番目の入力信号
であることを表す。

格納された入力信号のメンバは、以下、記号的に「配列
要素名Ｊｒ、Ｊｒメンバ名」によって参照できるものと
する。すなわち、例えば第に番目の「入力例とそれに対
応する望ましい出力の組」の入力に含まれる第１番目の
入力信号のｎａＭｃ、ｖａｌｕｅは各々１ｎｐｕｔ（ｉ
、ｋ）、　ｎａＩｎｅ、　１ｎｐｕｔ（ｉ、ｋ）、　ｖ
ａｌｕｅによって参照できる。同様に、ｏｕｔｐｕｔ（ｊ、ｋ）、　　ｊ＝１．　２．　３．−
＝、　　Ｊ（ｋ）；に＝１．２，３．・・・、Ｋ。

を用意し、０ＬＩｔｐＵｔ（ｊ、ｋ）　、　ｎａｍｅ、
　ｏｕｔｐｕｔ（ｊ、ｋ）　。

ｖａ　Ｉ　ｕｅによって第に番目の「入力例とそれに対
応する望ましい出力の組」の出力に含まれる第ｊ番目の
出力信号（すなわち教師信号）のｎａｍｅ、ｖａｌｕｅ
を各々参照できるようにする。ここでＪ　（ｋ）は第に
番目の組の出力に含まれる出力信号の個数であ本発明に
おける「入力例とそれに対応する望ましい出力の絹を記
憶する記憶手段］」の一実施例としては、何等かの入力
手段またはデータ伝送手段を介して与えられる「入力例
とそれに対応する望ましい出力の組」を」１記のｉｎ匹
りおよびｏｕｔｐｕｔのような型式で記憶する記憶場所
の配列によって実現できる。そのようにすれば、全ての
組の入力信号および教師信号を上記のようにして参照す
ることができる。

本発明の必須の要件ではないが、その実施にあたり、全
てのマーカーをリスト、または配列の形で参照できるよ
うにするのが好適である。すなわち、変量（ｖａｒｉａ
ｂｌｅ）の総数をＮとして、記憶場所の配列：ｖａｒｉａｂｌｅ（ｎ）、　　ｎ＝Ｌ　　２．　３．　
＝−、Ｎ。

を用意し、配列のｎ番目の要素に前記のような構造であ
るｎ番目のマーカーを格納する。信号の場合と同様にｖ
ａｒｉａｂｌｅ（ｎ）、ｎａｍｃ、　ｖａｒｉａｂｌｅ
（ｎ）、ｍａｒｋによって第ｎ番目のマーカーのメンバ
ｎａｍｅ、　ｍａｒｋを各々参照できるようにする。

上記記憶手段１に記憶された１ｎｐｕｔ　、　ｏｕｔｐ
ｕｔから変ｍ　（ｖａｒｉａｂｌｅ）を構成するには、
例えば次の手続きによる。

手段続き（Ａ）ＡＩ、　Ｎ：＝１゜Ａ２．　ｖａｒｉａｂｌｅ（Ｎ）　、　ｎａｍｅ：　＝
ｉｎｐｕｔ（１，１）、　ｎａｍｅＡ３．　ｖａｒｉａ
ｂｌｅ（Ｎ）　、　ｍａｒｋ＋　＝０゜Ａ４．　ｋ：＝
１．。

Ａ５．　　　　ｉ＋＝１゜Ａ６．　　　　　　　　　ｎニー１゜Ａ　７．　　　　　　　　　ｖａｒｉａｂｌｅ（ｎ）、
ｎａｍｅ＝＝ｉｎｐｕｔ（ｉ　、ｋ）、ｎａｍｅであれ
ばＡＩ２へ行（。

Ａ８．　　　　　　　ｎ＜Ｎてあればｎニーｎ＋１とし
てＡ７へ行く。

Ａ９．　　　　　　　　　　　Ｎ：＝Ｎ＋１、ＡＩＯ，
ｖａｒｉａｂｌｅ（Ｎ）、　　ｎａｍｅ　：　＝ｉｎｐ
ｕｔ（Ｌ、ｋ）、　　ｎａｍｅ。

Ａ１１．　　　　　　　　　　　ｖａｒｉａｂｌｅ（Ｎ
）、ｍａｒｋ　＋　＝０゜ＡＩ２．　　　　　ｉ　＜　
Ｉ　（ｋ）であればｉニーｉ＋１としてＡ６へ行く。

ＡＩ３．　　　　　ｊ：＝１゜ＡＩ４．　　　　　　　　　ｎニー１゜Ａ１５．　　　
　　　　　　ｖａｒｉａｂｌｅ（ｎ）、ｎａｍｅ＝　＝
ｏｕｔｐｕｔ（ｊ、ｋ）、ｎａｍｅであればＡ２０へ行
く。

Ａ１．８．　　　　　　　ｎ＜Ｎであればｎニーｎ＋ｌ
としてＡ１５へ行く。

ＡＩ７．　　　　　　　　Ｎ　：　＝Ｎ＋１゜ＡＩ８．
　　　　　　　　　　　ｖａｒｉａｂｌｅ（Ｎ）、　　
ｎａｍｅ　：　＝ｏｕｔｐｕｔ（ｊ、ｋ）、　　ｎａｍ
ｅ。

Ａ１９．　　　　　　　　　　　ｖａｒｊａｂｌｅ（Ｎ
）、ｍａｒｋ　：　＝Ｏ。

Ａ２０．　　　　　ｊ　＜　Ｊ　（ｋ）であればｊ＋＝
ｊ＋］としてＡ１．４へ行く。

Ａ２］、、ｋ＜Ｋてあればｋ　：＝に＋１としてＡ５へ
行く。

Ａ２２．終了。

このようにして、配列ｖａｒｉａｂｌｅが設定できると
同時に全変量の個数Ｎも得られる。なお全てのｖａｒｉ
ａｂｌｅ（ｎ）において、ｖａｒｉａｂｌｅ（ｎ）、ｍ
ａｒｋ＝　＝　０となっているため、全ての変量はマー
クされていないという状態に初期化されている。

記憶手段１によって記憶されたどの組の出力にも含まれ
ない変量をマークする手段２は、以下の手続きによりｖ
ａｒ４ａｂｌｅ（ｎ）　、ｍａｒｋを変更するようにし
て実現できる。

手続き（Ｂ）Ｂ１．　ｎ：＝１゜Ｂ２．　　　　ｌｃ：＝１゜Ｂ３．　　　　　　ｊ：　−１゜Ｂ４．　　　　　　　　ｖａｒｉａｂｌｅ（ｎ）、ｎａ
ｍｅ＝＝ｏｕｔｐｕｔ（ｊ、ｋ）、ｎａｍｅであればＢ
８へ行く。

Ｂ５．　　　　　　　ｊ＜Ｊ（ｋ）であればｊ：＝ｊ＋
１としてＢ４へ行く。

Ｂ６．　　　　ｋ＜Ｋであればに：＝に＋１としてＢ３
へ行く。

Ｂ　７．　　　　ｖａｒｉａｂｌｅ（ｎ）、ｍａｒｋ　
：　＝　１゜Ｂ８．ｎ＜Ｎであればｎ　ニーｎ＋ｌとし
てＢ２へ行く。

Ｂ９．終了。

この手続きによって記憶手段１によって記憶されたどの
組の出力にも含まれない変量に関しては、ｖａｒｉａｂ
ｌｅ（ｎ）　、　ｎ＋ａｒｋ−−１、またはそうでない
変量に関してはｖａｒｉａｂｌｅ（ｎ）　、　ｍａｒｋ
＝　＝　０となっているようにできる。

前記記憶手段１によって記憶された組の内、入力例がマ
ークされた変量のみを含むような組を学習する単位神経
回路網を生成すると同時に該単位神経回路網の出力に含
まれる変量にマークする手段３は、以下の手続き（Ｃ）
により実現できる。

なお、以下でに個の要素を持つ配列ｎｅｔ（ｋ）、　　
ｋ　＝１．２，３．−、Ｋを用意し、ｎｅｔ　（ｋ）　
＝　−ｍであるとは、ｋ番目の「入力例とそれに対応す
る望ましい出力の組」を学習する単位神経回路網が第ｍ
番目に生成されたものであることを表すことにする。ｎ
ｎｅｔ　（ｋ）は第に番目の「入力例とそれに対応する
望ましい出力の組」を学習する単位神経回路網が初期に
は未だ生成されていないということを表すために、ｎｎ
ｅｔ（ｋ）　　ニー０と初期化する。また、以下の手続
き（Ｃ）で生成される単位神経回路網の総数をＭとし、
配列５ｅｎｓｅ　　ｎａｍｅ（ｐ、ｍ＞、　　ｐ＝１．　２
．　３．−・・Ｐ（ｍ）；ｍ−１，２，３，・、Ｍｒｅｓｐ　　ｎａｍｅ（ｑ、ｍ）　、　　　ｑ＝１．　
２．　３．−・・Ｑ（Ｉｌｌ）；ｍ−１，２，３，−＝
、Ｍを用意し、５ｅｎｓｅ　　ｎａｍｅ（ｐ、ｍ）に第
ｍ番目の単位神経回路網の第ｐ番目の入力信号のｎａｍ
ｅすなわち変量の名称を格納する。すなわち、ｓｅｎｓ
ｅｎａｍｅ（ｐ、ｍ）は第ｍ番目の単位神経回路網の第
ｐ番目の入力信号のｎａｍｅを表す。またｒｅｓｐ　　
ｎａｍｅ（ｑ、ｍ）に第ｍ番目の単位神経回路網の第ｑ
番目の出力信号のｎａｍｅすなわち変量の名称を格納す
る。すなわち、５ｅｎｓｅ　　ｎａｍｅ（ｑ、ｍ）は第
ｍ番目の単位神経回路網の第ｑ番目の出力信号のｎａｍ
ｅを表す。

手続き（Ｃ）Ｃ１，Ｍニー０゜Ｃ２，にニー１゜Ｃ３，ｎｎｅｔ（ｋ）ｌ＝ｏであればＣ２４へ行く。

Ｃ４，ｉ：　−１゜Ｃ５，ｎ：　−１゜Ｃ６，ｖａｒｉａｂｌｅ（ｎ）、ｎａＩＩｌｅ＝＝ｉｎ
ｐｕｔ（Ｌｋ）、　ｎａｍｅかツｖａｒｉａｂｌｅ（ｎ
）　、ｍａｒｋ＝　＝　０であればＣ２４八イ１く。

Ｃ７，ｖａｒｉａｂｌｅ（ｎ）、ｎａｍｅ　−−４ｎｐ
ｕｔ（ｉ、ｋ）、　ｎａｍｅかツｖａｒｉａｂｌｅ（ｎ
）　、ｍａｒｋ＝　＝　１であればＣ９ｍテく。

Ｃ８，ｎ＜Ｎであればｎニーｎ＋１としてＣ６へ行く。

Ｃ９，ｉ＜Ｉ（ｋ）であればｉ　：＝ｉ＋ｌとしてＣ５
へ行く。

Ｃ１０゜Ｃ１１゜ＣＩ２゜Ｃ１３゜Ｃ１４゜Ｃ１５゜ｃｉｅ。

Ｃ１７゜Ｃ１８゜Ｃ１９゜Ｃ２０゜記憶手段１によって記憶された組の任意の一つにつき、
その組を学習する単位神経回路網が前記手段３によって
生成されているかどうかを判定する手段４により、ｋ番
目の「入力例とそれに対応する望ましい出力の組」を学
習する単位神経回路網が本手続き（Ｃ）によって既に生
成されているかどうかを判定する。その結果、既に第ｍ
番目に生成されている場合にはｎｅｔ（ｋ）　：　＝ｍ
として、Ｃ２４へ行く。

ＭニーＭ＋１として、ｋ番目の「入力例とそれに対応す
る望ましい出力の組」を学習する単位神経回路網を生成
し、ｎｅｔ（ｋ）　：　−Ｍとする。

Ｐ（Ｍ）：＝Ｉ（ｋ）、Ｑ（ｍ）：＝Ｊ（ｋ）。

ｐ：＝１゜５ｅｎｓｅ　　ｎａｍｅ（ｐ、Ｍ）　：　＝ｉｎｐｕｔ
（ｐ、ｋ）、　ｎａｍｅ。

Ｐ＜ｐ（Ｍ）であればｐ：＝ｐ＋１としてＣ１４へ行く
。

Ｑ：＝１゜ｒＯｓｐ　　ｎａｍｅ（ｑ、Ｍ）　　：　＝ｏｕｔｐｕ
ｔ（ｑ、ｋ）　、　ｎａｍｅ。

ｑ＜Ｑ（Ｍ）であればｑ：＝ｑ＋１としてＣ１７へ行く
。

ｊニー１゜ｎ：＝１゜Ｃ２１，ｖａｒｉａｔ〕１ｅ（ｎ）、ｎａｍｅ＝＝ｏｕ
ｔｐｕｔ（ｊ、ｋ）、ｎａｍｅであればｖａｒｉａｂｌ
ｅ（ｎ）　、ｍａｒｋ　ニー１としてＣ２３へ行く。

Ｃ２２，ｎ＜Ｎであればｎ：＝ｎ＋１としてＣ２１へ行
く。

Ｃ２３，ｊ＜Ｊ（ｋ）であればｊ：＝ｊ＋１としてＣ２
０へ行く。

Ｃ２４，ｋ＜Ｋてあればｋ　：＝に＋１としてＣ３へ行
く。

Ｃ２５，終了。

以上の手続きにより、Ｍ個の単位神経回路網が生成され
る。ここで、記憶手段１によって記憶された組の任意の
一つにつき、その組を学習する単位神経回路網が前記手
段３によって生成されているかどうかを判定する手段４
が用いる手続きは、単位神経回路網の入力信号、および
出力信号には重複が無い、つまり、５ｅｎｓｅ　　ｎａｍｅ（ｐ、ｍ）＝　＝ｓｅｎｓｅ　
　ｎａｍｅ（ｐ’、ｍ＞かつｐ！“ｐ′ であることも、ｒｅｓｐ　　ｎａｍｅ（ｑ、ｍ）　−＝ｒｅｓｐ　　ｎ
ａｍｅ（ｑ’、ｍ）かつｑ！＝ｑであることも無いことから、以下に示すようなものでも
よい。

手続き（Ｄ）ＤＩ、　ｍ：＝１．　ｆｌａｇ：＝０．　　もしＭ＝＝
０であればＤｌ、７に行く。

Ｄ２．　　　　　Ｐ（ｍ）　！　＝　Ｉ　（ｋ）または
Ｑ（ｍ）！＝Ｊ（ｋ）である場合にはＤｌ８に行く。

Ｄ３．　　　　　ｉ：＝１゜Ｄ４．　　　　　　　　ｐ：＝１゜Ｄ５．　　　　　　　　　１ｎｐｕｔ（ｉ、ｋ）、　ｎ
ａｍｅ＝−ｓｅｎｓｅ　　ｎａｍｅ（ｐ、ｍ）である場
合にはＤ８へ行く。

Ｄ６．　　　　　　　　Ｐ＜ｐ（ｍ）の場合にはｐ・−
ｐ＋コとしてＤ５へ行く。

Ｄ７．　　　　　　　　ＤｌＢへ行く。

Ｄ８．　　　　　ｉ＜Ｉ（ｋ）の場合にはｉ・＝ｉ＋１
としてＤ４に行く。

Ｄ９．　　　　　ｊ：＝１゜ＤＩＯ，ｑ　：　＝　’Ｊ。

Ｄｌｌ　　　　　　　　　　　　　　　　　　ｏｕｔｐ
ｕｔ（ｊ、ｋ）、ｎａｍｅ＝＝ｒｅｓｐ　　　ｎａｍｅ
（ｑ、ｍ）である場合にはＤｌ４に行く。

Ｄｌ２．　　　　　　　ｑ＜Ｑ（ｍ）の場合にはｑ：＝
ｑ＋ｌとしてＤｌｌに行く。

Ｄｌ３．　　　　　　　　ＤｌＢに行く。

Ｄｌ４．　　　　　ｊ　＜　Ｊ　（ｋ）の場合にはｊ：
＝ｊ−１−１としてＤＩＯに行く。

Ｄｌ５．　　　　　ｆｌａｇ　ニー１としてＤｌ７に行
く。

Ｄｉｅ、ｍ＜Ｍであればｍ＋＝ｍ＋１としてＤ２に行く
。

Ｄｌ７．終了。

この手続きにより、記憶手段１によって記憶されたに番
目の組につき、その組を学習する単位神経回路網が生成
されているかどうかが判定され、もし既に生成されてい
ればｆｌａｇ＝＝１となり、またその単位神経回路網の
番号ｍが得られる。逆にもし生成されていなければｒｌ
ａｇ＝−〇となる。なおここでＭはこの手続き（Ｄ）が
実行される時点までに手続き（Ｃ）により生成された単
位神経回路網の総数である。

手続き（Ｃ）のＣ１１において、ｋ番目の「入力例とそ
れに対応する望ましい出力の組」を学習する単位神経回
路網として、Ｐｅｒｃｅｐｔ　ｒｏｎ型神経回路網（蘇
生：前掲書）を使用する場合には、第２図に示すような
神経回路網を生成する。この単位神経回路網の５ｅｎｓ
ｏｒｙ層は入力部であり、そのニューロンすなわち入力
セルの個数はＰ（Ｍ）に等しい。

またＲｅ５ｐｏｎｓｅ層は１１４力部であり、そのニュ
ーロンすなわち出力セルの個数はＱ（Ｍ）に等しい。

Ａｓ５ｏｃｉａｔｉｏｎ層は隠れ部であり、そのセルの
個数はすぐ下に述べるようにこのｔ１１位神経回路網の
学習時に定められる。一般に第Ｍ番目の単位神経回路網
の学習は、手続き（Ｃ）が終了してからｎｅｔ　（ｋ）
　＝　＝　Ｍであるような「入力例とそれに対応する望
ましい出力の組」の全体を使用して誤差逆伝播法（蘇生
：前掲書）により行うことができる。

この方法によって５ｅｎｓｏｒｙ層のニューロンとＡｓ
５ｏｃｉａｔｉｏｎ層のニューロンの結線の荷重、およ
びＡＳＳＯｅｊａｔｆＯｎ層のニューロンとＲｅ５ｐｏ
ｎｓｅ層のニューロンの結線の荷重が単位神経回路網の
出力信号の教師信号に対する誤差の二乗和を最小にする
ように決められる。この時、単位神経回路網の出力信号
の教師信号に対する誤差を必要な大きさ以下にするため
には、試行錯誤によってＡｓ５ｏｃＩａＬｉｏｎ層のニ
ューロンの個数を必要なたけ増やせばよい。

手続き（Ｃ）のＣ１ｌにおいて、ｋ番目の「入力例とそ
れに対応する望ましい出力の組」を学習する単位神経回
路網として、ＲＣＥネットワーク（Ｎｅｓｔｏｒ　Ｉｎ
ｃ、　　：複数のニューラルネットモデルを統合した学
習システム神経回路網、日経ＢＰ社刊［昭和６３年］）
を使用する場合には、Ｐｅｒｃｅｐｔｒｏｎ型神経回路
網と同様の第２図に示すような構造の神経回路網を生成
する。この単位神経回路網の入力セルの個数はＰ（Ｍ）
に、また出力セルの個数はＱ（Ｍ）に各々等しい。中間
層のセルの個数はＰｅｒｃｅｐｔｒｏｎ型神経回路網と
異なり、ｎｅｔ（ｋ）＝−Ｍであるような「人力例とそ
れに対応する望ましい出力の組」の個数以下となり、ま
た結線の荷重の決め方もＰｅｒｃｅｐｔ　ｒｏｎ型神経
回路網と異なり第に番目の「入力例とそれに対応する望
ましい出力の組」に対応する中間層のセルと第１番目の
入力信号の入力を行うニューロンとの結線の荷重を１ｎ
ｐｕｔ（ｉ、ｋ）、ｖａｌｕｅに等しく設定し、また第
ｊ番目の出力信号の出力を行うニューロンとの結線の荷
重をｏｕｔｐｕｔ（ｊ　、ｋ）　、ｖａｌｕｅに等しく
設定すればよい。

手続き（Ｃ）のＣ１９−Ｃ２３において、Ｃ１ｌで生成
した単位神経回路網の出力に含まれる変量をマークして
いる。従って手続き（Ｃ）の終了後は一般に手続き（Ｃ
）の開始時よりマークされた変量が増えている。

次に制御手段５により、以上説明した各手段を作動させ
て多重神経回路網を構築する方法について説明する。

手続き（Ｅ）Ｅｌ、何等かの入力手段またはデータ伝送手段を介して
与えられるに組の「入力例とそれに対応する望ましい出
力の組」を入力例とそれに対応する望ましい出力の組を
記憶する記憶手段１により記憶する。例えば前記の１ｎ
ｐｕｔおよびｏｕｔｐｕｔの型式で記憶する記憶場所の
配列に格納する。

Ｂ２．手続き（Ａ）により、ｖａｒｉａｂｌｅを設定す
る。

Ｂ３．前記記憶手段１によって記憶されたどの組の出力
にも含まれない変量をマークする手段２（例えば手続き
（Ｂ））を呼出して実行する。

Ｂ４．　　Ｌ　：　−に、　ｎｎｅｔ（ｋ）：＝０ただ
しに−１，２，３，−、Ｋ。

Ｂ５．前記記憶手段１によって記憶された組の内、入力
例がマ一りされた変量のみを含むように組を学習する単
位神経回路網を生成すると同時に該単位神経回路網の出
力に含まれる変量にマークする手段３（例えば手続き（
Ｃ））を呼出して実行する。

Ｂ６．Ｂ５により新にｎｎｅｔ　（ｋ）　！　＝　０と
なった「入力例とそれに対応する望ましい出力の組」の
個数をＬから引く。

Ｂ７．Ｌ＞０であればＢ５へ行く。

Ｂ８．終了。

手続き（Ｅ）を使用して多重神経回路網が構築される状
況を以下の「入力例とそれに対応する望ましい出力の組
」を例にして示す。

例題：組に−−１゜人力例：Ａ１−＝Ｌ　Ａ２＝＝１．Ａ３−−１．Ａ４−
＝１゜望ましい出カニＢ１−＝１．Ｂ２−＝Ｏ。

組に＝−２゜入力例：Ｂ１−−１．Ｂ２＝＝１．、Ａ３−−１゜望ま
しい出カニＣ１−＝１．Ｃ２＝＝Ｏ，Ｃ３＝＝１゜組に
−−３゜入力例：Ａ１−−１．Ｂ１−−１．Ｃｌ−−１゜望まし
い出カニＤ１＝−１，Ｄ２−−０゜組に＝＝４゜入力例：Ａ１＝＝０．Ａ２＝＝１．Ａ３−＝Ｏ，Ａ４＝
＝１゜望ましい出カニＢ１＝＝０．Ｂ２−−１゜組に＝
−５゜入力例：Ｂ１＝−０，Ｂ２＝＝１．Ａ５＝−０゜望まし
い出カニＣ１＝−０，Ｃ２−−１，ＣＢ＝−１゜組に＝
＝６゜入力例：Ａ１＝−０，Ｂ１＝＝０．Ｃ１−−１゜望まし
い出力＋Ｄ１＝＝Ｏ，Ｄ２＝＝０゜これらの変量とその
値を配列１ｎｐｕｔ　、　ｏｕｔｐｕｔに格納すると、１ｎｐｕｔ（１，１）、　ｎａｍｅ：　＝’　ＡＩ’　
、　１ｎｐｕｔ（１，１）、　ｖａｌｕｅ　：　＝ＩＩ
ｎｐｕｔ（２，１）、　ｎａｍｅ：　＝’　Ａ２’　、
　１ｎｐｕｔ（２，１）、　ｖａｌｕｅ　：　＝１ｉｎ
ｐｕｔ（８，１）、　ｎａｍｅ：　−’　Ａ３’　、　
１ｎｐｕｔ（３，１）、　ｖａｌｕｅ　：　−１ｉｎｐ
ｕｔ（４，１）、　ｎｕｅ：　＝’　Ａ４’　、　１ｎ
ｐｕｔ（４，１）、　ｖａｌｕｅ　ニー１ｉｎｐｕｔ（
Ｌ、２）、　ｎａｍｅ：　−’　Ｂ　１’　、　　’ｎ
ｐｕｔ（１，２）、　ｖａｌｕｅ　：　＝１ｉｎｐｕｔ
（２，２）、　ｎａｍｅ：　＝’　Ｂ２’　、　１ｎｐ
ｕｔ（２，２）、　ｖａｌｕｅ　：　＝１ｉｎｐｕｔ（
３，２）、　ｎａｍｅ：　＝’　Ａ５’　、　１ｎｐｕ
ｔ（３，２）、　ｖａｌｕｅ　：　−１ｉｎｐｕｔ（１
，３）、　ｎａｍｅ：　＝’　ＡＩ’　、　１ｎｐｕｔ
（１，３）、　ｖａｌｕｅ　：　＝１１ｎｐｕｔ（２，
３）、　ｎ泄ｅニー′１ｎｐｕｔ（３，３）、　ｎａｍ
ｅ　：　＝’１ｎｐｕｔ（１，４）、　ｎ韮ｅニー′１
ｎｐｕｔ（２，４）、　ｎａＪＩｌｅ　：　＝’１ｎｐ
ｕｔ（３，４）、ｎａｍｅ　：　−’１ｎｐｕｔ（４，
４）、　ｎａｍｅ：　＝’１ｎｐｕｔ（１，５）、　ｎ
ａｒｎｅ　：　−’１ｎｐｕＬ（２，５）、　ｎａｍｅ
：　＝’Ｉｎｐｕｔ（３，５）、　ｎａｍｅ　：　＝’
１ｎｐｕｔ（１，６）、　ｎａｍｅ：　−’１ｎｐｕｔ
（２，６）、　ｎａｍｅ：　＝’１ｎｐｕｔ（３，６）
、　ｎａｍｅ　：　＝’Ｂｌ’　、　１ｎｐｕｔ（２，
３）。

ＣＩ　’　、　１ｎｐｕｔ（３，３）。

ＡＩ’　、　　１ｎｐｕｔ（１，４）。

Ａ２’　、　１ｎｐｕｔ（２，４）。

Ａ３’　、　１ｎｐｕｔ（３，４）。

Ａ４’　、　１ｎｐｕｔ（４，４）。

Ｂｌ’　、　１ｎｐｕｔ（１，５）。

Ｂ２’　、　１ｎｐｕｔ（２，５）。

Ａ５’　、　１ｎｐｕｔ（３，５）。

ＡＩ’　、　１ｎｐｕｔ（１，６）。

Ｂｌ’　、　１ｎｐｕｔ（２，［ｉ）。

ＣＩ’　、　１ｎｐｕｔ（３，６）ｖａｌｕｅ　　：　＝　１ｖａｌｕｅ：＝１ｖａｌｕｅ　　：　＝Ｏｖａｌｕｅ　　：　＝　１ｖａｌｕｅ　　：　＝Ｏｖａｌｕｅ　　：　＝　１ｖａｌｕｅ　　：　＝Ｏｖａｌｕｅ　　：　＝　１ｖａｌｕｅ　　：　＝Ｏｖａｌｕｅ　　：　＝Ｏｖａｌｕｅ　　：　＝Ｏｖａｌｕｅ　　：　−１ｏｕｔｐｕｔ（１，１）、ｎａｍｃ　：　＝’　　Ｂ　
１’　。

ｏｕｔｐｕｔ（２，１）、ｎａｍｅ：　＝’　　Ｂ２’
　。

ｏｕｔｐｕｔ（１，２）、ｎａｍｃ　：　＝’　Ｃ１’
ｏｕｔｐｕｔ（２，２）、ｎａｍｅ：　＝’　Ｃ２’　
。

ｏｕｔｐｕｔ（３，２）、ｎａｍｃ：　＝’　　Ｃ３’
　。

ｏｕｔｐｕｔ（１，３）、ｎａｍｅ：　＝’　ＤＩ’　
。

ｏｕｔｐｕｔ（２，３）、ｎａｍｅ：　＝’　Ｄ２’ｏ
ｕｔｐｕｔ（１，，１）、ｖａｌｕｅｏｕｔｐｕｔ（２
，１）、ｖａｌｕｃｏｕｔｐｕｔ（Ｌ、２）、ｖａｌｕｃｏｕｔｐｕｔ（２，２）、ｖａｌｕｃｏｕｔｐｕｔ（３，２）、ｖａｌｕｅｏｕｔｐｕｔ（１，３）、ｖａｌｕｅｏｕｔｐｕｔ（２，３）、ｖａｌｕｅニー１＝＝０ニー１：＝０ニー１：＝１ニー０ｏｕｔｐｕｔ（１，４）、ｎａｍｅ　：　＝’　Ｂ　１
　’　、　ｏｕｔｐｕｔ、（１，４）、ｖａｌｕｅ　：
　＝Ｏｏｕｔｐｕｔ（２，４）、ｎａｍｅ：　＝’　Ｂ
２’　、　ｏｕｔｐｕｔ（２，４）、ｖａｌｕｅ　：　
＝１ｏｕｔｐｕｔ（１，５）、ｎａｍｅ：　＝’　Ｃ１
’　、　ｏｕｔｐｕｔ（１，５）、ｖａｌｕｅ　：　＝
Ｏｏｕｔｐｕｔ（２，５）、ｎａｍｅ：　−’　Ｃ２′
、　ｏｕｔｐｕｔ（２，５）、ｖａｌｕｅ　：　＝１ｏ
ｕｔｐｕｔ（３，５）、ｎａｍｅ：　＝’　Ｃ３’　、
　ｏｕｔｐｕｔ（３，５）、ｖａｌｕｅ　：　＝１ｏｕ
ｔｐｕｔ（１，６）、ｎａｍｅ：　＝’　ＤＩ’　、　
ｏｕｔｐｕｔ（１，６）、ｖａｌｕｅ　：　＝Ｏｏｕｔ
ｐｕｔ（２，６）、ｎａｍｅ：　＝’　Ｄ２’　、　ｏ
ｕｔｐｕｔ（２，６）、ｖａｌｕｅ　：　＝０となる。

これらに対して手続き（Ａ）を適用してｖａｒｉａｂｌ
ｅを作成すると、ｖａｒｉａｂｌｅ（１）、ｎａｍｅ　：　＝’　Ａ　Ｉ
’　、　ｖａｒｉａｂｌｅ（１）、ｍａｒｋｖａｒｉａ
ｂｌｅ（２）、ｎａｍｅ　：　＝’　Ａ２’　、　ｖａ
ｒｉａｂｌｅ（２）、ｍａｒｋｖａｒｉａｂＩｅ（３）
、ｎａｍｅ　：　−’　Ａ３’　、　ｖａｒｉａｂｌｅ
（３）、ｍａｒｋｖａｒｉａｂＩｅ（４）、ｎａｍｅ　
：　＝’　Ａ４’　、　ｖａｒｉａｂｌｅ（４）、ｍａ
ｒｋｖａｒｉａｂｌｅ（５）、ｎａｍｅ　　：　＝’　
　Ｂ　１’　　、　　ｖａｒｉａｂｌｅ（５）、ｍａｒ
ｋｖａｒｉａｂＩｅ（［ｉ）、ｎａｍｅ　：　−’　８
２′、　ｖａｒｉａｂｌｅ（Ｂ）、ｍａｒｋｖａｒｉａ
ｌ］Ｉｅ（７）、ｎａｍｅ　：　−’　Ａ５’　、　ｖ
ａｒｉａｂｌｅ（７）、ｍａｒｋｖａｒｉａｂｌｅ（８
）、ｎａｍｅ　：　＝’　Ｃ］　’　、　ｖａｒｉａｂ
ｌｅ（８）、ｍａｒｋｖａｒｉａｂｌｅ（９）、ｎａｍ
ｅ　：　−’　Ｃ２’　、　ｖａｒｉａｂｌｅ（９）、
ｍａｒｋｖａｒｉａｂｌｅ（１０）、ｎａｍｅ　：　＝
’　Ｃ３’　、　ｖａｒｉａｂｌｅ（１０）、ｍａｒｋ
ｖａｒｉａｂＩｅ（１１）、ｎａｍｅ　：　＝’　ＤＩ
’　、　ｖａｒｉａｂｌｅ（１１）、ｍａｒｋ：千Ｏ；−０＝０ニー〇＝＝０＝０：＝０：＝０ニー０ニー０ニー０ｖａｒｉａｂｌｅ（１２）、ｎａｍｅ　：　−’　Ｄ２
’　、　ｖａｒｉａｂｌｅ（１２）、ｍａｒｋ　：　＝
０となる。記憶手段１によって記憶されたどの組の出力
にも含まれない変量をマークする手段２は、手続き（Ｂ
）によりｖａｒｉａｂｌｅ（ｎ）　、ｍａｒｋを以下の
ように変更する。

ｖａｒｉａｂｌｅ（１）、ｎａｍｅ　：　＝’　ＡＩ’
　、　ｖａｒｉａｂｌｅ（１）、ｍａｒｋ　：　＝１ｖ
ａｒｉａｂｌｅ（２）、ｎａｍｅ　：　＝’　Ａ２’　
、　ｖａｒｉａｂｌｅ（２）、ｍａｒｋ　：　＝　１ｖ
ａｒ］ａｂｌｅ（３）、ｎａｍｅ　：　＝’　Ａ３’　
、　ｖａｒｉａｂｌｅ（３）、ｍａｒｋ　＋　＝　］ｖ
ａｒｉａｂｌｅ（４）、ｎ冊ｅ　：　＝’　Ａ４’　、
　ｖａｒｉａｂｌｅ（４）、ｍａｒｋ　＋　−１ｖａｒ
ｉａｂｌｅ（５）、ｎａｍｅ　：　＝’　Ｂ　１’　、
　ｖａｒｉａｂｌｅ（５）、ｍａｒｋ　：　＝Ｏｖａｒ
ｉａｂｌｅ（［ｉ）、ｎａｍｅ　：　＝’　Ｂ　２’　
、　ｖａｒｉａｂｌｅ（６）、ｍａｒｋ　：　−０ｖａ
ｒｉａｂｌｅ（７）、ｎａｍｅ　：　＝’　Ａ５’　、
　ｖａｒｉａｂｌｅ（７）、ｍａｒｋ　：　−１ｖａｒ
ｉａｂｌｅ（８）、ｎ韮ｅ　：　＝’　ＣＩ’　、　ｖ
ａｒｉａｂｌｅ（８）、ｍａｒｋ　：　−０ｖａｒｉａ
ｂｌｅ（９）、ｎａｍｅ　：　＝’　Ｃ２’　、　ｖａ
ｒｉａｂｌｅ（９）、ｍａｒｋ　：　＝Ｏｖａｒｉａｂ
ｌｅ（１０）、ｎａｍｃ　：　＝’　　Ｃ３’　、　ｖ
ａｒｉａｂｌｅ（１０）、ｍａｒｋ　　ニー０ｖａｒｉ
ａｂｌｅ（１１）、ｎａｍｅ　：　＝’　ＤＩ’　、　
ｖａｒｉａｂｌｅ（１１）、ｍａｒｋ　ニー０ｖａｒｉ
ａｂｌｅ（１２）、ｎａｍｅ　：　＝’　Ｄ２’　、　
ｖａｒｉａｂｌｅ（１２）、ｍａｒｋ　：　＝０初期状
態としてＬ　：　＝　６．　ｎｎｅｔ（ｋ）　：　＝　
０とする。ただしに−１，２，３，４，５，６である。

前記記憶手段１によって記憶された組の内、入力例がマ
ークされた変量のみを含むような組を学習する単位神経
回路網を生成すると同時に該単位神経回路網の出力に含
まれる変量にマークする手段３（例えば手続き（Ｃ））
を実行すると、ｋ＝＝１である組の入出力変量を学習す
る単位神経回路網がｍ＝＝１として生成される（第３図
参照）。

この単位神経回路網の５ｅｎＳＱ　　ｎａｍｅ、　ｒｅ
Ｓｐ　　ｎａｍＱは、５ｅｎｓｅ　　ｎａｍｅ（１，１）　　：　＝’　ＡＩ
’５ｅｎｓｅ　　ｎａｍｅ（２，１）　　：　＝’　Ａ
２’５ｅｎｓｅ　　ｎａｍｅ（３，１）　　：　＝’　
Ａ３’５ｅｎｓｅ　　ｎａｍｅ（４，１）　　：　−’
　Ａ４’ｒｅｓｐ　　ｎａｍｅ（１，１）　　：　　＝
’　　Ｂｌ’ｒｅｓｐ　　ｎａｍｅ（２，１）　　：　
　＝’　　Ｂ　２’と設定される。またｖａｒｉａｂｌ
ｅ（ｎ）、ｍａｒｋは以下のように変更される。

ｖａｒｉａｂｌｅ（１）、ｎａｍｅ　：　＝’　Ａｌ’
　、　ｖａｒｉａｂｌｅ（１）、ｍａｒｋ　：　−１ｖ
ａｒｉａｂｌｅ（２）、ｎａｍｅ　：　＝’　Ａ２’　
、　ｖａｒｉａｂｌｅ（２）、ｍａｒｋ　：　−１ｖａ
ｒｊａｂｌｃ（３）、ｎａｍｅ　：　＝’　Ａ３’　、
　ｖａｒｉａｂｌｅ（３）、ｍａｒｋ　：　−１ｖａｒ
ｉａｂｌｅ（４）、ｎａｍｅ　：　−’　Ａ４’　、　
ｖａｒｉａｂｌｅ（４）、ｍａｒｋ　：　＝　１ｖａｒ
’ａｂｌｅ（５）、ｎａｍｅ　：　−’　Ｂ　１　’　
、　ｖａｒ’ａｂｌｅ（５）、ｍａｒｋｖａｒｉａｂｌ
ｅ（６）、ｎａｍｅ　：　＝’　Ｂ２’　、　ｖａｒｉ
ａｂｌｅ（［ｉ）、ｍａｒｋｖａｒｉａｂｌｅ（７）、
ｎａｍｅ　：　−’　Ａ５’　、　ｖａｒｉａｂｌｅ（
７）、ｍａｒｋｖａｆｌａｂｌｅ（８）、ｎａｍｅ　：
　＝’　Ｃ１’　、　ｖａｒｉａｂｌｅ（８）、ｍａｒ
ｋｖａｒｉａｂｌｅ（９）、ｎａｒｎｅ　：　＝’　　
Ｃ２’　、　ｖａｒｉａｂｌｅ（９）−ｍａｒｋｖａｒ
ｉａｂｌｅ（１０）、ｒ＋ａｍｅ　：　＝’　ＣＢ’　
、　ｖａｒｉａｂｌｅ（１０）、ｍａｒｋｖａｆｌａｂ
ｌｅ（１１）、ｎａｍｅ　：　＝’　Ｄ　１’　、　ｖ
ａｒｊａｂｌｅ（１１）、ｍａｒｋｖａｒｉａｂｌｅ（
１２）、ｎａｍｅ　：　−’　Ｄ２’　、　ｖａｒｉａ
ｂｌｅ（１２）、ｍａｒｋさらに、ｎｎｅｔ（１）　　：　＝　１．　ｎｎｅｔ（４）　　
：　＝　１．　　Ｌ　：　−４となる。ここでに−−４
の組を学習する単位神経回路網はに＝＝１の組を学習す
るものとして既に生成されているため、ｎｎｅｔ（４）
　　：　＝　１となることに注意する。Ｌ＞０であるか
ら、手続き（Ｃ）は再度実行される。それにより、ｋ−
＝２である組の入出力変量を学習する単位神経回路網が
生成され、先に生成されたものと合せて２重の神経回路
網ができる（第４図参照）。この単位神経回路網の５ｅ
ｎｓｅ　　ｎａｍｅ、　　ｒｅｓｐ　　ｎａｍｅは、５
ｅｎｓｅ　　ｎａｍｅ（１，２）　　：　＝’　Ａ５’
ニー１＝＝１＝−１＝＝０ニー０ニー０：＝０ニー０ｓｅｎｓｅ　　ｎａｍｅ（２，２）　　：　＝’　　Ｂ
　１’５ｅｎｓｅ　　ｎａｍｅ（３，２）　　：　＝’
　　Ｂ２’ｒｅｓｐ　　ｎａｍｅ（１，２）　　：　　
　＝’　　ＣＩ　’ｒｅｓｐ　　ｎａｍｅ（２，２）　
　：　　　−’　　Ｃ２’ｒｅｓｐ　　ｎａｍｅ（３，
２）　　：　　　−’　　Ｃ３’と設定される。またｖ
ａｒｉａｂｌｅ（ｎ）、ｍａｒｋは以下のように変更さ
れる。

ｖａｒｌａｂｌｅ（１）、ｎａｍｅ　：　＝’　Ａｌ’
　、　ｖａｒｌａｂｌｅ（１）、ｍａｒｋ　：　＝１ｖ
ａｒｉａｂｌｅ（２）、ｎａｍｅ　：　＝’　Ａ２’　
、　ｖａｒｉａｂｌｅ（２）、ｍａｒｋ　：　＝１ｖａ
ｒｉａｂｌｅ（３）、ｎａｍｅ　：　＝’　Ａ３’　、
　ｖａｒｉａｂｌｅ（３）、ｍａｒｋ　ニー１ｖａｒｉ
ａｂｌｅ（４）、ｎａｍｅ　：　−’　Ａ４’　、　ｖ
ａｒｉａｂｌｅ（４）、ｍａｒｋ　：　−１ｖａｒｉａ
ｂｌｅ（５）、ｎａｍｅ　：　＝’　Ｂ　１’　、　ｖ
ａｒｉａｂｌｅ（５）、ｍａｒｋ　ニー１ｖａｒｉａｂ
ｌｅ（ｆ３）、ｎａｍｅ　：　＝’　Ｂ　２’　、　ｖ
ａｒｉａｂｌｅ（６）、ｍａｒｋ　：　−１ｖａｒｉａ
ｂｌｅ（７）、ｎａｍｅ　：　＝’　Ａ５’　、　ｖａ
ｒｉａｂｌｅ（７）、ｍａｒｋ　：　＝１ｖａｒｉａｂ
ｌｅ（８）、ｎａｍｅ　：　＝’　Ｃ１’　、　ｖａｒ
’ａｂｌｅ（８）、ｍａｒｋ　：　−１ｖａｒｉａｂｌ
ｅ（９）、ｎａｍｅ　：　＝’　Ｃ２’　、　ｖａｒｉ
ａｂｌｅ（９）、ｍａｒｋ　：　−１ｖａｒｉａｂｌｅ
（１０）、ｎａｍｅ　：　＝’　　Ｃ３’　、　ｖａｒ
ｉａｂｌｅ（１０）、ｍａｒｋ　ニー１ｖａｒｉａｂｌ
ｅ（１１）、ｎａｍｅ　　：　＝’　　ＤＩ’　　、　
　ｖａｒｉａｂｌｅ（１１）、ｍａｒｋ　　ニー０ｖａ
ｒｉａｂｌｅ（１２）、ｎａｍｅ　：　−’　Ｄ２’　
、　ｖａｒ’ａｂｌｅ（＋２）、ｍａｒｋ　：　−０さ
らに、ｎｎｅｔ（２）　　：　＝２．　　ｎｎｅｔ（５）　　
：　−２，Ｌ　：　＝２となる。Ｌ＞Ｏであるから、手
続き（Ｃ）は再度実行される。それにより、Ｋ＝＝３で
ある組の入出力変量を学習する単位神経回路網が生成さ
れ、先に生成されたものと合せて３重の神経回路網がで
きることになる（第５図参照）。この単位神経回路網の
５ｅｎＳｅ　　ｎａｍＱ、　ｒｅＳｐｎａｍｅは、５ｅ
ｎｓｅ　　ｎａｍｅ（１，３）　　：　−’　Ａｌ’５
ｅｎｓｅ　　ｎａｍｅ（２，３）　　：　−’　　Ｂｌ
’５ｅｎｓｅ　　ｎａｍｅ（Ｃ３）　　：　＝’　ＣＩ
’ｒｅｓｐ　　ｎａｍｅ（Ｌ、Ｓ）　　：　　＝’　Ｄ
　１　’ｒｅｓｐ　　ｎａｍｅ（２，３）　　：　　＝
’　Ｄ　２’と設定される。ここでｖａｒｉａｂｌｅ（
ｎ）、ｍａｒｋは全て１となり、また、ｎｎｅｔ（３）　　：　　３．　ｎｎｅｔ（６）　　：
　−３，Ｌ　：　＝０となって全体の手続きが終了し、
多重神経回路網は完成する。各単位神経回路網の学習は
単位神経回路網ｍ−−１はｎｎｅｔ（ｋ）　＝−１であ
る組に一−１，に−−４を学習する、単位神経回路網用
−一２はｎｎｅｔ（ｋ）　−＝　２である組に＝＝２．
に−−５を学習する、単位神経回路網ｍ＝＝３はｎｎｅ
ｔ（ｋ）　−＝　３である組に＝＝３．に＝＝６を学習
する、ようにする。

記憶手段１によって記憶された組の内、入力例がマーク
された変量のみを含むような組を学習する単位神経回路
網を生成すると同時に該単位神経回路網の出力に含まれ
る変量にマークする手段３によって単位神経回路網が生
成できないことがある。これは入力例がマークされた変
量のみを含むような組が無かったことを意味しており、
どの組においても入力例が別の組の出力となっている変
量を含むということである。このような場合には、任意
の組ａから出発して、その組ａの入力例に含まれる変量
を出力に含むような組ｂ１またはその組すの入力例に含
まれる変量を出力に含むような組Ｃ１・・・というよう
な連鎖を永久に辿ることができる。というのはもしこの
ような連鎖を切る組があれば、その組の入力例に含まれ
る変量を出力に含むような組が存在しないことになり、
その場合にはその組を学習する単位神経回路網を手段３
によって生成できるからである。ゆえにこの連鎖は永久
に切れることは無い。一方、組の数は有限である。従っ
てこの連鎖のなかにいつかは必ず少なくとも一つの組Ｘ
が２回現れることになる。ということは、この組Ｘの入
力はこの組Ｘ自身の出力に依存することになり、いわゆ
る循環が発生することになる。従って入力例と望ましい
出力の組の集合に誤りが含まれていることを意味するか
ら、本発明の方法によればこのような誤りの検出を行う
ことができる。誤りが検出された場合には、この時点で
ユーザに警告を発して停止すればよい。

以上説明した方法によって多重神経回路網を構築し、そ
れに含まれる単位神経回路網の学習が完了した後、この
多重神経回路網を用いて推論を行うには、例えば以下の
手続き（Ｆ）のようにすればよい。ここで変量の総数を
Ｎとして、記憶場所の配列：ｎｏｄｅ（ｎ）、　　ｎ−１，２，３，・−、Ｎ、を用
意し、配列のｎ番目の要素に２個のメンバｎａｍｅ、　
ｖａｌｕｅを格納する。そうしてｎｏｄｅ（ｎ）　、ｎ
ａｍｅ。

ｎｏｄｅ（ｎ）　、ｖａｌｕｅによって第ｎ番目の変量
の名称、値を参照できるようにする。ただしｎｏｄｅ（ｎ）　、ｖａｌｕｅ　＝　＝　ＮＵＬＬは変
量の値が未知であることを意味するものとする。また単
位神経回路網の総数をＭとして、記憶場所の配列：ｄｏｎｅ（ｍ）、　ｍ＝１．　２．　３．−、　Ｍ。

を用意し、配列のｍ番目の要素に整数を格納し、ｄｏｎ
ｅ（ｍ）＝　＝　０であれば単位神経回路網ｍは推論を
行っていないことを意味し、ｄｏｎｅ（ｍ）＝　＝　１
であれば単位神経回路網用は推論を行ったことを意味す
ることにする。

手続き（Ｆ）Ｆ　１．　ｎｃｘｌｅ（ｎ）、ｖａｌｕｅ　　：　＝Ｎ
ＵＬしただしｎ＝１．、　２．　３．−、　　Ｎ。

ｄｏｎｅ（ｍ）　　：　＝０ただしｍ＝１．　２．　３
．−、　Ｍ。

Ｆ２．値が知られている全ての変ｉｎにつき、値ｖ（ｎ
）を入力すると同時にその変量ｎにつき、ｎｏｄｅ（ｎ
）、ｖａｌｕｅ　：　＝ｖ　（ｎ）とする。

Ｆ３．ｍニー１゜Ｆ４．　　　　もしｄｏｎｅ（ｍ）ｍ＝１であればＦ６
へ行く。

Ｆ５．　　　　　もし単位神経回路網ｍの入力に含まれ
る全ての変量の値が既知であれば、その単位神経回路網
で推論を行い、ｄｏｎｅ（ｍ）　：　＝　１とし、その
出力に含まれる変量ｎの値ｖ（ｎ）を求め、それらの変
量についてｎｃｘｌｅ（ｎ）、ｖａｌｕｅ　：　＝ｖ（
ｎ）としてＦ３へ行く。

そうでなくて単位神経回路網ｍの入力に含まれる変量に
一つでも未知のものがあれば、何もせずにＦ６に行く。

Ｆ６．ｍ＜Ｍであればｍ：＝ｍ＋１としてＦ４へ行く。

Ｆ７．終了。

このようにして、入力可能な変量の値を多重神経回路網
に入力することにより、入力に見合っただけの変量の値
を得ることかできる。第５図に示した回路網の例では、
もし、ＡＩ、Ａ２．Ａ３．Ａ４．Ａ５の値が入手できれば、単位神経回路網１にＡＩ。

Ａ２．Ａ３．Ａ４の値を入力してＢｌ、Ｂ２の値が得ら
れ、単位神経回路網２にＢｌ、　　Ｂ２．　Ａ５の値を
入力してＣＩ、Ｃ２，Ｃ３の値が得られ、単位神経回路
網３にＡＩ、Ｂｌ、ＣＩの値を入力してＤＩ、Ｄ２の値
が得られる。またもし、ＡＩ、Ｂｌ、Ｃ１の値しか入手できなければ、単位神経回路網３にＡＩ、
Ｂｌ、ＣＩの値を入力してＤＩ、Ｄ２の値が得られるが
、この場合には他の変量については値が得られない。

〔発明の効果〕

以上説明したように、本発明によれば、どのように多量
の変量がどのように複雑な依存関係にあろうとも、全く
機械的、自動的に変量間の関係を正確に表現する多重神
経回路網を容易に構築することができる。

【図面の簡単な説明】

第１図は本発明による装置の構成を示すブロック図、第
２図は層状の単位神経回路網の構造を示す図、第３図は
手続き（Ｅ）か例題について多重神経回路網を生成する
様子を示す図で、第１段目の単位神経回路網が生成され
た状態を示す図、第４図は手続き（Ｅ）が例題について
多重神経回路＝　４６− 網を生成する様子を示す図で、第２段目の単位神経回路
網が生成された状態を示す図、第５図は手続き（Ｅ）が
例題について多重神経回路網を生成する様子を示す図で
、第３段目の単位神経回路網が生成された状態を示す図
、第６図は事例１，２゜３を学習できる多重神経回路網
の例を示す図である。１・・・記憶手段、２・・・第１のマーク手段、３・・
・第２のマーク手段、４・・・判定手段、５・・・制御
手段。

Claims

【特許請求の範囲】

１．入力例とそれに対応する望ましい出力の組を記憶し
、前記記憶された組を順次取出し、その組の入力例に含ま
れるすべての変量についてそれが記憶されている任意の
組において出力に含まれているか否かを調べ、どの組に
おいても出力に含まれない変量をマークし、前記記憶された組を順次取出し、その中からその組の入
力例が前記マークされた変量のみを含む組を選択し、前記選択された組を学習する単位神経回路網を生成する
と同時に前記単位神経回路網の出力に含まれる変量をマ
ークし、前記記憶された組を順次取出し、その中の任意の一つに
つき、その組を学習する単位神経回路網が生成されてい
るか否かを判定し、前記判定の結果生成されていていない場合には、前記組
を学習する単位神経回路網を生成し、前記生成された単
位神経回路網を相互に連結することにより多重の神経回
路網を構築する方法。
２．入力例とそれに対応する望ましい出力の組を記憶す
る記憶手段と、前記記憶手段に記憶されたどの組の出力にも含まれない
変量をマークする第１マーク手段と、前記記憶手段に記
憶された組のうち、入力例が前記マークされた変量のみ
を含む組を学習する単位神経回路網を生成すると同時に
前記生成された単位神経回路網の出力に含まれる変量を
マークする第２マーク手段と、前記記憶手段に記憶された組の任意の一つにつき、その
組を学習する単位神経回路網が生成されているか否かを
判定する手段と、前記判定手段の判定結果に基づいて、生成されてない組
を学習する単位神経回路網を生成する手段と、前記生成された単位神経回路網を相互に連結する手段と
、からなる多重神経回路網の構築装置。