JPH03185554A - 神経回路網処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、特に概念の連想を行うのに適した神経回路網
処理方式に関する。

（従来の技術） 近時、複数のニューロンを用い、ニューロン間を重み付
きのリンクを介して結合することにより神経回路網を構
築し、種々の処理を実行することが試みられている。例
えば、−殻内な神経回路網モデルであるホップフィール
ド（Ｈｏｐｆ　１ｅｌｄ）モデルでは一つのニューロン
の出力値を、それと結合している全てのニューロンの出
力値を入力して定めるようになっており、この出力値を
そのニューロンと結合している他の全てのニューロンに
与えるように神経回路網が構築され、これにより種々の
連想を行うようになっている。

ここで、全ニューロン数をＮ個、ニューロンｉの出力値
を０　＋　、ニューロンｉからニューロンｊへのリンク
の重みをＷｌｌ、ニューロンｊの閾値を１１とした場合
、ニューロンｊの出力値Ｏｊは、ＯＨ−ｆ　（ｎｅ　ｔ
＋　）　　　　　　　　　−（＋）ｎｅｔｌ−ΣＷ　１
＋ＯＩＩ　＋　　　　　　”’（２）で与えられる。た
だし、ｆは単調増加関数を示す。

この式（１）、　（２）は、ニューロンｊの油力値０１
は、入力側の各ニューロンｉの出力値ＯＬに各リンクの
重みＷｌ、を乗じ、その総和台から閾値■、を引いたも
のに関数ｆを施すことにより定められることを示してい
る。

ここで、もし２つのニューロンが同時に同じような値を
取る傾向があるようにしたい場合には、それらのニュー
ロンの間に正の値を持つリンクを張る。逆に２つのニュ
ーロンが同時に異なる値を取る傾向があるようにしたい
場合には、それらのニューロン間に負の値を持つリンク
を張るようにする。

例えば、第３図のように４つの画素Ｇｏ、Ｇ。

Ｇ２．Ｇ３についてそれぞれニューロン０．１゜２．３
を割りあてる。このとき第４図像）及び第４図０に示す
ような２つのパターンＳｌ、Ｓ２をそれぞれ連想するに
は、第５図に示すようなネットワークを用いる。

第５図に示すネットワークは、第３図に示す４個のニュ
ーロン間を重みがＷｌ−のリンクで相互に接続した形の
ものである。

リンク重みＷ、ｌは、パターン番号をＳ　（１，２）と
すると、 ・・・（３） となる。ただし、ＯＨ”、ＯＩｓは、パターンＳについ
てのニューロンｊ、ｉの出力値ヲ示ス。この式（３）に
より、第５図の各リンクの重みＷｌ、は、第４図像）（
υのパターンＳｌ、Ｓ２から図示のように１．−１と求
まる。

ここで、第３図の右上の画素ＣＯの値が１であり、他の
画素Ｇ２　、Ｇ３　ｒ　Ｇ４の値が不明の場合には、出
力値の初期値を、 Ｏｇ　　＝１．　　Ｏｔ　　−０２−０３−０とし、閾
値を、 １ｏ−１，−１２−１３−０ とする。これによ′す、ニューロン０の出力値００が他
のニューロンに伝播し、最終的に、Ｏｏ■０３−１ ０、−０２−−１ となり、第４図像）のパターンＳ１を連想したことにな
る。同様に第３図において右上の画素ＣＯの値が−１の
とき、第４図（ｂ）のパターンＳ２が連想される。

このように、神経回路網の連想においては正の重みを持
つリンクによる興奮の伝播と負の重みを持つリンクによ
る抑制の伝播とが重要な役割を果たす。もし、ここで負
のリンクを全て取り去ると、正しく連想することはでき
なくなる。また、出力値もリンクの重みも正の値に制限
し、関数ｆの傾きを調整することにより連想を行う方式
では、関数ｆの傾きを決めることが非常に困難である。

また、上記例では、連想する対象が画像のパターンであ
ったので、画素間の近さや遠さをリンクの重みとして容
易に表現することができた。しかし、複数の概念からそ
れに関係する話題を表わす概念を連想するような場合に
は、概念の近さは定義することができても概念の遠さは
定義することが難しい。この場合の概念の近さとは一つ
の文脈中でよく同時に用いられるということを意味する
。

例えば、「自由」という概念と「独立」という概念とは
近い関係にある。そして「自由」という概念の反対の概
念である「束縛」もやはり近い関係にある。遠い関係に
あるのは反対の関係にある概念ではなく、無関係な概念
であり、例えば、「自由」に対しては「ウーロン茶」な
どがそうであろう。しかし、無関係な関係にある概念を
明示的に示すことが困難である上に、無関係な関係にあ
る概念は無数にあるので人手で列挙し尽くすことはでき
ない。また、無関係な概念間に全てリンクを張るとリン
ク数は膨大になり、（１）　（２）式に従って計算する
と計算量が膨大になる。

（発明が解決しようとする課１ｉ） このように従来の神経回路処理方式にあっては、リンク
の重みを全て明示的に与えなければならず、特に概念の
連想を行う場合には全てのリンクを張るのが難かしく、
また全てのリンクに値を代入するのが難かしく、さらに
計算量が膨大となりネットワークの形成において種々の
問題があった。

そこで、本発明は、ニューロン間のリンクを明示するの
が困難な場合にも、明示可能の部分の明示のみで適切、
かつ効率のよい連想を行うことができる神経回路網処理
方式を提供することを目的とする。

［発明の構成］ （課題を解決するための手段） 上記課題を解決する本発明は、複数のニューロンを有し
、ニューロン間を相互の関連性を意味する重み付けをし
たリンクで結合し、一つのニューロンの出力値を他のニ
ューロンの出力値とリンク重みに関連して定めるように
した神経回路網処理方式において、 ニューロン間のリンクが明示的でない場合、当該ニュー
ロン間にはリンク重みが一定値のリンクが存在するもの
として取り扱うことを特徴とする。

（作用） 本発明の神経回路網処理方式では、リンクが明示的でな
い場合、すなわちリンクが設定されていなかったり、リ
ンク重みが設定されていない場合には、当該ニューロン
間には一定値、例えば負の一定値のリンクが存在するも
のと見做す。

したがって、例えば、神経回路網が語間の関係を表わす
ネットワークのように共起関係など概念の連想を行なう
ようなものである場合、特に無関係であるということを
指定しなくとも、「自由」に「ウーロン茶ｊというよう
な全ての無関係な関係にデフォルト値としての負の一定
値の関係が与えられるので、ネットワークを如実に表現
でき、かつ容易に形成することができ、また、無関係な
関係を全て一定の値で取り扱うので、演算処理が容易で
ある。

（実施例） 以下、添付図面を参照して本発明の詳細な説明する。

第１図は本発明の一実施例に係る神経回路網処理方式を
示すフローチャート、第２図は概念の関係を表わすネッ
トワークの説明図である。

第２図は、語間の関係を表わすネットワークの一例を示
すもので、各語を示すノード間には、適宜リンクが張ら
れ、所定の重みが付けられている。

各リンクに付けられる重みは、概念が近いとされるもの
については正（＋）とされ、同一の文脈上で共に現われ
る可能性が高いものについてはより大きな値が付けられ
るようになっている。例えば、「試行」と「錯誤」は概
念が近く、かつ同一文脈上で共に現われる可能性が高い
ので、１．０とされる。「施行」と「法律ゴ、「施工ｊ
と「工事」についても同様である。また、「告示」と「
選挙」は概念は近いが、同一文脈上で共に現われる可能
性は「試行」と「錯誤」はどではないので０．５とされ
ている。そのほか、概念が近いものにつき、同一文脈上
で共に現われる可能性に基いて、０．３、Ｏ１６，０，
８，０，９などの値がつけられている。

一方、このネットワークでは、概念が近くないもの、例
えば「試行」と「告示」あるいは「施工」と「選挙」に
ついては何ら定義されていない。

一般に、このようなネットワークは、例えば、田中康仁
（兵庫県立姫路短期大学）著の「語と語の関係解析用資
料（１９ｇ９）　Ｊには一つの句の中で同時に用いられ
る語の組合せの表が掲載されているが、このような情報
を用いて作成されるものである。

ここで、本例では、関係のない概念間、つまり、リンク
の張られていない全ての概念に重さＷｏが負で一定値（
ｗ□＜ｏ）のリンクを張る。

すると、このとき、このようなネットワークについては
、（１〉式を参照して、 ｎ　ｅ　ｔ　、＝：Ｅ：：　Ｗ１＋Ｏ＋　＋’ＥＺ　Ｗ
ｏ　０＋　　　Ｉ　Ｈ＋　　＠　　ＤＩ　　　　　　　
　　　　　　　ｌ　　ｖ、　　ＤＩ・・・（４） ただし、Ｄ　Ｉ　”＝　（ｌ　ｌ　ＷＩ＋≠０）となる
。つまり、始めから明示されていたリンクについては（
４）式の１項で総和が取られ、明示されていなかった部
分については一定値Ｗｏのリンクについてその総和が取
られることになる。この関係はＮ個の全てのニューロン
について同様である。

上記式（４）を書き換えると、 ｎ　ｅ　ｔ　４−Σ（ｗ、、−ｗｏ　）　０　＋■　（
Ｄｌ ＋ｎＷ００　＋　　　Ｉ　Ｈ＝１５） −Σ：　ω、ｌＯ１＋Ｗｏ　ΣＯ，−１１ｅＤＩ ・・・（６） となる。（６）式は、始めから明示されていたリンクに
ついて重みＷｏを減ずれば、重みＷｏについてはｉ”［
Ｄ、でなく、全てのｉについて総和を取れば良いことを
示している。（６）式は、ω、ＩｍＷ、１−Ｗｏと定義
すること、及び２項はｉ−１〜Ｎにつキ各ニューロンに
ついて一定であることを示している。

このようにネットワークを動作させる前にリンクの重み
Ｗ、１を（６）式のω、ｌのように変更しておき、（５
）式を実行時に計算する。（５）式は元の（１）式と比
較して第２項が増えているが、第２項はｊには独立なの
で計算を簡素にすることができる。定量的に言つならば
、一つのニューロンから出ているリンクの数をｋとする
と、（１）式では、一つのニューロンのｎｅｔｌを計算
するのに平均的にに回の乗算を必要とする。したがって
、リンクのないニューロンどうしにも重みが一定値Ｗの
リンクを与えて（２）式に則って（４）式を計算すると
、一つのニューロンのｎｅｔｌを計算するのにＮ回の乗
算を必要とする。しかし、本例では（６）式に示すよう
に（ｋ＋１）回の乗算で計算ができる。

以上をまとめ、第１図のアルゴリズムを説明する。

ステップ１０１では、出力値０１１の値を初期化する。

ｔは実行回数を示す。

ステップ１０２では、（７）式に従ってω１．を設定す
る。

ステップ１０３では、出力値の変化量を表わす変数ｄを
０に、実行回数を表わす変数ｔを１に初期化する。

そして、ステップ１０４では、ニューロンｊにｊ−１を
設定し、ステップ１０５へ移行する。

ステップ１０５〜１０７では、全てのニューロンｊにつ
き次式（８）〜（Ｉ））を演算し、出力値Ｑ、Ｉを求め
る。

ｎｅｔｌ”Σω１＋Ｏ＋　ｔ−１＋Ｗｇ　ｄ　−１ｊ・
・・（８） ０　　’　　←ｆ　（ｎｅｔｌ　）　　　　　　　　−
（９）ｄ　　　　”ｄ＋　（０＋’　　０１’−’　）
　　・・・（初ステップ１０８では、実行回数ｔを１つ
増やし、ステップ１０９では終了条件を検査し、条件を
満たしていれば終了し、さもなくばステップ１０４〜１
０９を繰り返す。

以上により、本例では、明示されていないリンクについ
て負の一定値Ｗｏのリンクを張り、適切、かつ効率のよ
い連想を行うことができる。具体的には、例えば第２図
の例において「試行」と「選挙」の間には、始めリンク
が張られてないが、ここに負の一定値のリンクが張られ
、「試行」と「選挙」が関係ないことが意味づけされて
ネットワークが形成され、統率の取れた完全な形のネッ
トワークとして取り扱えるようになる。

このように、本例では、ユーザは定義の容易な興奮性の
リンクのみについて指定すればよく、関連性のない部分
については自動的にリンクが張られ、最適な連想結果を
得ることができる。

上記実施例では、慣性を含まない神経回路網を示したが
、慣性を含むような場合には、例えば次式によって対応
可能である。

ｎｅｔｌ−（１−６）ｎｅｔＢ ＋６（Σω３＋Ｏｌ＋Ｗ６Σ０ｆ−ＩＩ）・・・６１） ただし、０くδく１ また上述の実施例ではＷｏは全ニューロンｊに共通の一
定値としたが、Ｗｏの値をニューロン群に固有の一定値
としても良い。さらに、計算量を最小にするという観点
からニューロンｊから出ているリンクの内で最も多く用
いられているリンクの重みをＷｌとし、重みがＷ、以下
のリンクに固有の重みＷｏを付けるようにしてもよい。

なお、本発明は上述した実施例に限定されるものではな
く、本発明はその要旨を逸脱しない範囲で種々に変形し
て実施することができる。

［発明の効果］ 以上詳細に説明したように、本発明によれば、ニューロ
ン間のリンクが明示的でない場合、当該ニューロン間に
は一定値のリンクが存在するものとして取り扱うので、
定義の容易な興奮性のリンクの指定のみで、定義の困難
な抑制性リンクについてはシステムが自動的に用意する
ことができ、適切かつ効率の良い連想が行える。

理方式のアルゴリズムを示すフローチャート、第２図は
本発明が適用されるネットワークの一例を示す説明図、
第３図〜第５図は一般的な連想方式の説明図である。

ＯＩ・・・ニューロンｊの出力値 Ｗｌｌ・・・ニューロン４，１間のリンク重みＷＯ・・
・自動設定されたリンク重み

Claims (3)

【特許請求の範囲】
1. （１）複数のニューロンを有し、ニューロン間を相互の
   関連性を意味する重み付けをしたリンクで結合し、一つ
   のニューロンの出力値を他のニューロンの出力値とリン
   ク重みに関連して定めるようにした神経回路網処理方式
   において、 ニューロン間のリンクが明示的でない場合、当該ニュー
   ロン間にはリンク重みが一定値のリンクが存在するもの
   として取り扱うことを特徴とする神経回路網処理方式
2. （２）請求項１に記載の神経回路網処理方式において、
   概念の連想を行う場合、無関係な概念にリンク重みが一
   定値のリンクを張ることを特徴とする神経回路網処理方
   式。
3. （３）請求項１に記載の神経回路網処理方式において、
   前記一定値は、負の値とされることを特徴とする神経回
   路網処理方式。