JP4771249B2 - 相互結合型ニューラルネットワークシステム、相互結合型ニューラルネットワーク構造の構築方法、自己組織化ニューラルネットワーク構造の構築方法及びそれらの構築プログラム - Google Patents

Description

本発明は、人工ニューラルネットワーク構造に係り、とりわけ、構成の柔軟性及び学習の容易性に優れた新しいネットワーク形態を備えた相互結合型ニューラルネットワークシステム、相互結合型ニューラルネットワーク構造の構築方法、自己組織化ニューラルネットワーク構造の構築方法及びそれらの構築プログラムに関する。

従来の人工ニューラルネットワーク構造としては、単一の入力ベクトルを入力とする階層型ネットワーク等の固定的なネットワーク形態において、ウェイトベクトル等のネットワークパラメータの調整を行うものが一般的である。ここで、ネットワークパラメータの調整を行う手法としては、ネットワークパラメータを逐次的に更新する誤差逆伝播（backpropagation）法が広く用いられている（非特許文献１）。

しかしながら、上述した従来の人工ニューラルネットワーク構造では、ネットワークパラメータの調整を行う手法として、誤差逆伝播法のような、ネットワークパラメータを逐次的に更新していく逐次型の学習アルゴリズム（iterative training scheme）が用いられているので、(1)入出力の結び付けがきちんと行われるまでのネットワークパラメータの更新に多大な時間がかかる、(2)ネットワークパラメータを更新した結果得られる解が局所解（local minima）に陥りやすく、正しい解が得られにくい、(3)ロバストな追加学習法を実現することが困難である、という問題がある。

また、上述したような従来の人工ニューラルネットワーク構造では、構成の柔軟性が乏しく、複数の入力ベクトルを扱うことができるような実際上有用な手法が確立されていないという問題がある。

なお、人工ニューラルネットワーク構造において複数の入力ベクトルを扱うための従来の手法としては、様々なニューラルネットワーク（もしくはエージェント）をモジュール化してそれらを統合するというようなアプローチ（modular approach）が考えられている（非特許文献２）。

しかしながら、このような手法でも、一つ一つのネットワークモジュールについては、従来のものと同様に、逐次的な学習アルゴリズムをベースにした、ネットワーク形態の固定された人工ニューラルネットワーク構造が用いられるので、上述したような本質的な問題が依然として存在している。
D. E. Rumelhart, G. E. Hinton, and R. J. Williams, "Learning internal representations by error propagation," In D. E. Rumelhart and J. L. McClelland (Eds.), Parallel Distributed Processing: explorations in the microstructure of cognition, 1, Chapter 8, Cambridge, MA, MIT Press, 1986. S. Haykin, "Neural Networks: A Comprehensive Foundation," Macmillan College Publishing Co. Inc., N.Y., 1994.

このような背景の下で、本発明者は先に、ラジアル基底関数（ＲＢＦ：Radial Basis Function）に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力するＲＢＦニューラルネットワーク構造（文献：『S. Haykin, “Neural networks: A Comprehensive Foundation,” Macmillan College Publishing Co. Inc., N.Y., 1994.』参照）を応用した新規なニューラルネットワーク構造を提案している（特願２００１−２９１２３５号参照）。また、本発明者は、ＲＢＦニューラルネットワーク構造に含まれる各ＲＢＦ素子同士を連携させて記憶連鎖の機能を実現する手法を提案している（特願２００２−１００２２３号参照）。

本発明は、上記特願２００１−２９１２３５号及び特願２００２−１００２２３号で提案した方法をさらに発展させたものであり、複数の入力ベクトルを入力とするようなネットワーク形態を自在にとることができ、かつ、人工ニューラルネットワーク構造の追加学習も容易に行うことができる、相互結合型ニューラルネットワークシステム、相互結合型ニューラルネットワーク構造の構築方法、自己組織化ニューラルネットワーク構造の構築方法及びそれらの構築プログラムを提供することを目的とする。

本発明は、第１の解決手段として、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数のニューロンを含むニューラルネットワーク部と、前記ニューラルネットワーク部の前記各ニューロンのうち互いに関係のあるニューロン同士をウェイト係数を介して相互に結合することにより人工ニューラルネットワーク構造を構築するネットワーク制御部とを備え、前記ニューラルネットワーク部の前記各ニューロンは、当該各ニューロンが外部から与えられた入力ベクトルにより活性化されたときに、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する一方で、当該各ニューロンが当該各ニューロンに結合された他のニューロンの発火に起因して連鎖的に活性化されたときに、当該他のニューロンから出力された発火の強さに基づいて得られた擬似的な発火の強さを出力することを特徴とする相互結合型ニューラルネットワークシステムを提供する。

なお、上述した第１の解決手段において、前記ニューラルネットワーク部の前記各ニューロンは、相互に結合された他のニューロンの発火に起因して連鎖的に活性化されたときに、前記擬似的な発火の強さとともに当該各ニューロンのセントロイドベクトルを出力することが好ましい。

また、上述した第１の解決手段において、前記ネットワーク制御部は、前記ニューラルネットワーク部に外部から与えられる複数の入力ベクトルに関連して時系列的に追加又は発火したニューロンの順序に基づいて、前記ニューラルネットワーク部の前記各ニューロンのうち互いに関係のあるニューロン同士を相互に結合することが好ましい。

さらに、上述した第１の解決手段において、前記ネットワーク制御部は、前記ニューラルネットワーク部の前記各ニューロンの発火の度合いに基づいて当該各ニューロン間を結び付けるウェイト係数を学習することが好ましい。

さらに、上述した第１の解決手段において、前記ネットワーク制御部は、前記ニューラルネットワーク部の前記各ニューロンの発火の度合いに基づいて決定される所定のタイミングで当該各ニューロンを除去することが好ましい。

さらにまた、上述した第１の解決手段において、前記ニューラルネットワーク部の前記各ニューロンは、前記セントロイドベクトルとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる中間層ニューロンであり、当該各中間層ニューロンに結合された出力層ニューロンにおいて、前記各中間層ニューロンから出力された発火の強さの変遷を時系列的に出力することが好ましい。

本発明は、第２の解決手段として、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数のニューロンからなる人工ニューラルネットワーク構造であって、前記各ニューロンのうち互いに関係のあるニューロン同士がウェイト係数を介して相互に結合された人工ニューラルネットワーク構造を準備するステップと、前記各ニューロンの発火の度合いに基づいて当該各ニューロン間を結び付けるウェイト係数を学習するステップとを含むことを特徴とする、相互結合型ニューラルネットワーク構造の構築方法を提供する。

なお、上述した第２の解決手段においては、前記人工ニューラルネットワーク構造を準備するステップにおいて、外部から与えられる複数の入力ベクトルに関連して時系列的に追加又は発火したニューロンの順序に基づいて、前記各ニューロンのうち互いに関係のあるニューロン同士を相互に結合することが好ましい。

また、上述した第２の解決手段においては、前記各ニューロンの発火の度合いに基づいて決定される所定のタイミングで当該各ニューロンを除去するステップをさらに含むことが好ましい。

本発明は、第３の解決手段として、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数のニューロンからなる自己組織化ニューラルネットワーク構造であって、前記各ニューロンのうち互いに関係のあるニューロン同士が入力ベクトルに基づいて自律的に結合されてなる自己組織化ニューラルネットワーク構造を構築する、自己組織化ニューラルネットワーク構造の構築方法において、外部から入力された１番目の入力ベクトルに基づいて、当該入力ベクトルを核関数のセントロイドベクトルとして持つニューロンを新たなニューロンとして自己組織化ニューラルネットワーク構造内に追加する第１のステップと、外部から入力されたｎ（ｎは２以上の整数）番目の入力ベクトルのそれぞれに基づいて、以下の(a)〜(c)の処理、すなわち、(a)外部から入力されたｎ番目の入力ベクトルに基づいて、自己組織化ニューラルネットワーク構造内の全てのニューロンの発火の度合いを計算する処理、(b)上記(a)の処理において自己組織化ニューラルネットワーク構造内の一つ又は複数のニューロンの中に所定の閾値を越えて活性化したニューロンがないと判断された場合に、ｎ番目の入力ベクトルを核関数のセントロイドベクトルとして持つニューロンを新たなニューロンとして自己組織化ニューラルネットワーク構造内に追加する処理、及び(c)自己組織化ニューラルネットワーク構造内の各ニューロンの発火の度合いに基づいて当該各ニューロン間を結び付けるウェイト係数の形成及び／又は既存のウェイト係数の学習を行う処理、を繰り返す第２のステップとを含むことを特徴とする、自己組織化ニューラルネットワーク構造の構築方法を提供する。

なお、上述した第３の解決手段においては、前記第２のステップにおいて、(d)前記自己組織化ニューラルネットワーク構造内の各ニューロンの発火の度合いに基づいて不要となったニューロンを除去する処理をさらに行うことが好ましい。

また、上述した第３の解決手段においては、前記自己組織化ニューラルネットワーク構造内の各ニューロンは最終的な出力値に関連するクラスラベルを保持し、前記第２のステップの前記(c)の処理において、前記自己組織化ニューラルネットワーク構造内の各ニューロンが持つクラスラベルが同一である場合にのみ当該各ニューロンの発火の度合いに基づいて当該各ニューロン間を結び付けるウェイト係数の形成及び／又は既存のウェイト係数の学習を行うことが好ましい。

さらに、上述した第３の解決手段において、前記自己組織化ニューラルネットワーク構造内の各ニューロンは、単一のモダリティ（例えば聴覚モダリティ又は視覚モダリティ）を持っていてもよく、また、互いに異なる複数のモダリティ（例えば聴覚モダリティ及び視覚モダリティの両方）を持っていてもよい。

なお、上述した第３の解決手段において、前記各ニューロンで用いられる前記核関数はラジアル基底関数を含むことが好ましい。

本発明は、第４の解決手段として、上述した第２の解決手段又は第３の解決手段における方法をコンピュータに対して実行させることを特徴とする、相互結合型ニューラルネットワーク構造又は自己組織化ニューラルネットワーク構造の構築プログラムを提供する。

本発明は、第５の解決手段として、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数の中間層ニューロンであって、前記セントロイドベクトルとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる複数の中間層ニューロンと、前記各中間層ニューロンに結合された出力層ニューロンであって、前記各中間層ニューロンから出力された発火の強さの変遷を時系列的に出力する出力層ニューロンとを備えたことを特徴とする相互結合型ニューラルネットワークシステムを提供する。

なお、上述した第１乃至第５の解決手段における核関数（カーネル関数）とは、ある２つのベクトルの関係を出力する関数をいう（文献：『N. Cristianini and J. S. Taylor, "An Introduction to Support Vector Machines, Cambridge Univ. Press, 2000.』参照）。このような核関数としては任意のものを用いることができるが、２つのベクトルの相互関係を距離で表してその度合いをスカラー形式で出力するようなガウス関数等に基づくラジアル基底関数や、ノルムを利用した関数、２つベクトルの間の内積を利用した関数、イパネクニコフ平方（Epanechinikov quadratic）や立方（Tri-cube）を利用した関数等が一般的に好ましく用いられる。

本発明の第１乃至第４の解決手段によれば、各ニューロンのうち互いに関係のあるニューロン同士をウェイト係数を介して相互に結合することにより人工ニューラルネットワーク構造を構築し、各ニューロンは、外部から与えられた入力ベクトルにより活性化されたときに、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する一方で、当該各ニューロンに結合された他のニューロンの発火に起因して連鎖的に活性化されたときに、当該他のニューロンから出力された発火の強さに基づいて得られた擬似的な発火の強さを出力するようにしている。このため、１つのニューロンが複数のネットワークに跨って属することが可能となり、また、複数のニューロンを任意のネットワーク形態で結合することが可能となるので、単一の入力ベクトルを入力とする従来の固定的なネットワーク形態とは異なり、複数の入力ベクトルを自在に扱うことが可能で、かつ、構成の変更等を柔軟に行うことができる。またこの場合、ニューロンがモダリティの異なる複数のネットワークに跨って属することが可能となるので、聴覚モダリティ及び視覚モダリティのような互いに異なる複数のモダリティを持つ入力ベクトルを自在に扱うことが可能となり、シングルドメインのパターン認識に限らずマルチドメインのパターン認識にも幅広く適用することが可能となる。

また、本発明の第１乃至第４の解決手段によれば、相互に結合されたニューロン間を結び付けるウェイト係数を更新することにより学習を行うので、人工ニューラルネットワーク構造の追加学習を容易に行うことができる。

さらに、本発明の第１乃至第４の解決手段によれば、ニューロンの出力から独立した形で、ニューロン間を結び付けるウェイト係数を更新することができるので、従来の誤差逆伝播法のような学習アルゴリズムとは異なり、ウェイト係数の学習時に各ニューロンに保存されたデータそのものに全く影響がなく、ニューロンにセントロイドベクトルという形でデータを局在的に保存しながら、ニューロン同士の結合関係を規定するために分散的に保存されているウェイト係数のみを逐次的に更新することができる。このため、分散性及び局在性という異なる特徴を備えたデータ表現を実現することが可能となり、汎化能力及び追加学習能力をも持ち合わせたメモリー素子の構築が可能になる。

さらに、本発明の第１乃至第４の解決手段によれば、セントロイドベクトルとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる複数の中間層ニューロンを設け、当該各中間層ニューロンに結合された出力層ニューロンにおいて、当該各中間層ニューロンから出力された発火の強さの変遷を時系列的に出力することにより、データベースのインクリメンタルサーチ機能のように、時間の推移とともに最終候補が絞られてゆくような認知システムを容易に構築することができる。

本発明の第５の解決手段によれば、セントロイドベクトルとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる複数の中間層ニューロンを設け、当該各中間層ニューロンに結合された出力層ニューロンにおいて、当該各中間層ニューロンから出力された発火の強さの変遷を時系列的に出力するようにしているので、データベースのインクリメンタルサーチ機能のように、時間の推移とともに最終候補が絞られてゆくような認知システムを容易に構築することができる。

発明を実施するための形態

以下、図面を参照して本発明の実施の形態について説明する。

＜全体構成＞
まず、図１により、本発明の一実施の形態に係る相互結合型ニューラルネットワークシステムの全体構成について説明する。

図１に示すように、相互結合型ニューラルネットワークシステム１０は、ニューラルネットワーク部１１と、ニューラルネットワーク部１１を制御するネットワーク制御部１２とを有している。

このうち、ニューラルネットワーク部１１は、複数の入力ベクトルｘ ^１，ｘ ^２，…，ｘ ^ｎ（以下、下線付きの英字はベクトルを表す）を入力として複数の出力（スカラー）ｏ_１，ｏ_２，…，ｏ_Ｎｏを出力するものであり、ラジアル基底関数（ＲＢＦ：Radial Basis Function）に従って入力ベクトルｘ ^１，ｘ ^２，…，ｘ ^ｎに応じた発火の強さを出力する複数のＲＢＦ素子（ニューロン）を含む。

また、ネットワーク制御部１２は、ニューラルネットワーク部１１の各ＲＢＦ素子のうち互いに関係のあるＲＢＦ素子同士をウェイト係数を介して相互に結合することにより人工ニューラルネットワーク構造を構築するものである。

＜人工ニューラルネットワーク構造＞
図２は、図１に示すニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造の一例を示す図である。

図２に示すように、この人工ニューラルネットワーク構造は、３個の入力ベクトルｘ ^１，ｘ ^２，ｘ ^３を入力するための３個の入力層ニューロン１３と、入力層ニューロン１３を介して入力された入力ベクトルｘ ^１，ｘ ^２，ｘ ^３に応じた発火の強さを出力するＲＢＦ素子（中間層ニューロン）１４と、ＲＢＦ素子１４から出力された発火の強さに基づいて最終的な出力（スカラー）ｏ_１，ｏ_２，…，ｏ_Ｎｏを出力する出力層ニューロン１５とを有している。

ここで、中間層ニューロンである４つのＲＢＦ素子１４（ＲＢＦ_１，ＲＢＦ_２，ＲＢＦ_３，ＲＢＦ_４）はウェイト係数ｗ_ｉｊを介して相互に結合されている。また、このようなＲＢＦ素子１４（ＲＢＦ_１，ＲＢＦ_２，ＲＢＦ_３，ＲＢＦ_４）はウェイト係数ｗ_ｉｊ′を介して出力層ニューロン１５（ｏ_１，ｏ_２，…，ｏ_Ｎｏ）に結合されている。

＜ＲＢＦ素子＞
以下、図３により、ニューラルネットワーク部１１に含まれるＲＢＦ素子１４の詳細について説明する。

図３に示すように、ＲＢＦ素子１４は、ＲＢＦ本体部１６と、ポインター部１７と、ウェイト係数保持部１８と、生存期間変数保持部１９と、活性回数保持部２０とを有している。

このうち、ＲＢＦ本体部１６は、当該ＲＢＦ素子が外部から与えられた入力ベクトルｘにより活性化されたときに、ラジアル基底関数に従って入力ベクトルに応じた発火の強さを出力する一方で、当該ＲＢＦ素子が当該ＲＢＦ素子に結合された他のＲＢＦ素子の発火に起因して連鎖的に活性化されたときに、当該他のＲＢＦ素子から出力された発火の強さに基づいて得られた擬似的な発火の強さを出力するものである。

具体的には、ｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）のＲＢＦ本体部１６において、入力ベクトルｘが与えられたときの発火の強さｈ_ｉ（ｘ）は次式（１）により表される。なお、次式（１）において、ｃ _ｉはＲＢＦ素子１４（ＲＢＦ_ｉ）のセントロイドベクトルを表し、σ_ｉはラジウスを表す。

一方、ｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）のＲＢＦ本体部１６における擬似的な発火の強さｈ_ｉは次式（２）により表される。なお、次式（２）において、ｈ_ｋはｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）に結合された他のＲＢＦ素子１４（ＲＢＦ_ｋ）のＲＢＦ本体部１６における発火の強さを表し、ｗ_ｋｉはｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）と他のＲＢＦ素子１４（ＲＢＦ_ｋ）との間を結び付けるウェイト係数を表し、Ｌ_ｉはｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）に結合された他のＲＢＦ素子１４（ＲＢＦ_ｋ）の数を表す。

なお、ＲＢＦ本体部１６は、当該ＲＢＦ素子（例えば、ｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ））が当該ＲＢＦ素子に結合された他のＲＢＦ素子の発火に起因して連鎖的に活性化されたときには、上式（２）に示すような擬似的な発火の強さとともに当該ＲＢＦ素子（ＲＢＦ_ｉ）のセントロイドベクトルｃ _ｉを出力するようにしてもよい。

ポインター部１７は、互いに関係がある他のＲＢＦ素子に対するポインター情報を複数保持するものである。図３に示すように、ｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）のポインター部１７には、そのｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）に結合される他のＲＢＦ素子１４のアドレスが、符号ｐ_ｉ，１〜ｐ_{ｉ，ｍａｘ}のそれぞれに保持されている。

ウェイト係数保持部１８は、相互に結合されているＲＢＦ素子間を結び付けるウェイト係数を保持するものである。図３に示すように、ｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）のウェイト係数保持部１８には、そのｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）に結合される他のＲＢＦ素子１４との間を結び付けるウェイト係数が、符号ｗ_ｉ，１〜ｗ_{ｉ，ｍａｘ}のそれぞれに保持されている。なお、符号ｗ_ｉ，１〜ｗ_{ｉ，ｍａｘ}に保持されているウェイト係数は、ポインター部１７に保持されているポインター情報ｐ_ｉ，１〜ｐ_{ｉ，ｍａｘ}のそれぞれに対応している。

生存期間変数保持部１９は、ｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）の生存期間を決定する変数φ_ｉを保持するカウンタである。

活性回数保持部２０は、ｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）が活性化した回数ε_ｉを保存するカウンタである。

なお、このようなＲＢＦ素子１４からなる人工ニューラルネットワーク構造は、図２に示すように、複数のｘ ^１，ｘ ^２，ｘ ^３を入力として複数の出力（スカラー）ｏ_１，ｏ_２，…，ｏ_Ｎｏを出力するものであり、中間層ニューロンであるＲＢＦ素子１４（ＲＢＦ_１，ＲＢＦ_２，ＲＢＦ_３，ＲＢＦ_４）と出力層ニューロン１５（ｏ_１，ｏ_２，…，ｏ_Ｎｏ）とが、図２に示すような形態でウェイト係数ｗ_ｉｊ′を介して結合されているものとすると、出力ｏ_ｊ（ｊ＝１，２，…，Ｎ_ｏ）は、次式（３）（４）により表される。なお、次式（３）（４）において、ｈ_ｉはｊ番目の出力層ニューロン１５（ｏ_ｊ）に結合されたＲＢＦ素子１４（ＲＢＦ_ｉ）のＲＢＦ本体部１６における発火の強さを表し、ｗ_ｉｊ′はｊ番目の出力層ニューロン１５（ｏ_ｊ）とＲＢＦ素子１４（ＲＢＦ_ｉ）との間を結び付けるウェイト係数を表し、Ｌ_ｊはｊ番目の出力層ニューロン１５（ｏ_ｊ）に結合されたＲＢＦ素子１４（ＲＢＦ_ｉ）の数を表す。

また、出力ｏ_ｊ（ｊ＝１，２，…，Ｎ_ｏ）は、ＲＢＦ素子１４（ＲＢＦ_１，ＲＢＦ_２，ＲＢＦ_３，ＲＢＦ_４）の出力の総和ではなく、出力層ニューロン１５（ｏ_１，ｏ_２，…，ｏ_Ｎｏ）に結合されたＲＢＦ素子１４（ＲＢＦ_ｉ：ｉ＝１，２，…，４）の発火の強さの最大値をとることによって求めてもよい。この場合には、出力ｏ_ｊ（ｊ＝１，２，…，Ｎ_ｏ）は、次式（５）により表される。

ｏ_ｊ＝ｍａｘ（ｗ_ｉｊｈ_ｉ（ｘ）） … （５）
＜ネットワーク形態＞
（相互結合型ネットワーク）
図２に示す人工ニューラルネットワーク構造では、４つのＲＢＦ素子１４（ＲＢＦ_１，ＲＢＦ_２，ＲＢＦ_３，ＲＢＦ_４）がウェイト係数ｗ_ｉｊを介して相互に結合されており、全体として相互結合型ネットワークを構成している。このような相互結合型ネットワークシステムは、複数の入力ベクトルｘ ^１，ｘ ^２，ｘ ^３を自在に扱うことが可能な多入力−多出力（ＭＩＭＯ：multi-modal input multi output）システムであり、構成の変更等を柔軟に行うことができる。なお、この場合、各ＲＢＦ素子１４のセントロイドベクトルの大きさは、固定長でなく、入力ベクトルｘ ^１，ｘ ^２，ｘ ^３の種類に応じた可変長とすることが好ましい。これにより、幾つかの異なる感覚入力（音や画像等）を同時に処理して人間のような複合的なパターン認識を行うことができる。

なお、図１に示す相互結合型ニューラルネットワークシステム１０においては、ニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造として、図２に示すようなものに限らず、図４乃至図７に示すような任意のネットワーク形態をとることができる。

（双方向型ネットワーク）
図４は、図１に示すニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造の他の例を示す図である。図４に示す人工ニューラルネットワーク構造は、３つのＲＢＦ素子１４（ＲＢＦ_１，ＲＢＦ_２，ＲＢＦ_３）がウェイト係数ｗ_１３，ｗ_２３を介して相互に結合されたものであり、フィードフォワード型及びフィードバック型の両方の性質を持つ双方向型ネットワークを構成している。

具体的には例えば、入力ベクトルｘ ^１が、片方の耳に相当する聴覚センサーから入力された入力ベクトルに対応し、入力ベクトルｘ ^２が、片目に相当する視覚センサーから入力された入力ベクトルに対応するものとし、入力ベクトルｘ ^１，ｘ ^２がそれぞれＲＢＦ_１，ＲＢＦ_２に入力されることにより、ＲＢＦ_１，ＲＢＦ_２がそれぞれ活性化されるものとする。次に、ＲＢＦ_３が（言語学上の）語義ネットワーク（semantic network）等の陳述記憶（declarative memory）を表しているものとし、センサー等から入力された入力ベクトルｘ ^３ではなく、ウェイト係数ｗ_１３，ｗ_２３を介して結合されたＲＢＦ_１，ＲＢＦ_２の発火に起因して活性化されたときには、上式（２）に基づく次式（６）のようなルール、又は、次式（７）のようなルールに従って擬似的な発火の強さｈ_３を決定するものとする。なお、次式（６）（７）では、｜ｗ_１３ｈ_１｜≦１及び｜ｗ_２３ｈ_２｜≦１という２つの条件が満たされることをあらかじめ仮定している。

この場合には、ＲＢＦ_３から最終的に出力が得られたときには、信号の流れは、ｘ^１，ｘ^２→ＲＢＦ_１，ＲＢＦ_２→ＲＢＦ_３となるので、図４に示す人工ニューラルネットワーク構造はフィードフォワード型の働きをなしていることになる。

なお、上式（６）（７）のうち、上式（７）の場合には、ＲＢＦ_３ の出力がバイナリ型の出力（０又は１）となるので、条件反射（conditional reflexes）等のように、速いシナプス（synapse）間の情報の伝達を行う電気シナプスの特性を模倣することができると考えられる。それと対照的に、上式（６）の場合には、組織の微妙な調節を行う化学シナプスの特性を模倣することができると考えられる（文献：『山元大輔, 「脳と記憶の謎」, 講談社現代新書, 1997.』参照）。なお、ＲＢＦ_３は、上記文献（『脳と記憶の謎』）によれば、「視覚刺激にしか反応しないニューロンと聴覚刺激にしか反応しないニューロンの両方から情報を譲り受けて、対象の全体的イメージをつくりあげる働きをしている」、複数の感覚を統合する脳細胞の役割を模倣するもの、もしくは、哲学でいう「ゲシュタルト（gestalt）」的な細胞の役割を模倣するものと考えられる。

一方、最初に、センサーから入力された入力ベクトルｘ ^３が与えられてＲＢＦ_３が活性化されたとき、又は、最初に、思考メカニズム及び言語処理の過程で語義ネットワーク内においてウェイト係数を介して結合されたノードの活性化によりＲＢＦ_３が活性化されたときには、上式（６）又は上式（７）と同様のルールに従ってＲＢＦ素子ｈ_１，ｈ_２がそれぞれ続けて活性化される。

この場合には、信号の流れは、ｘ^３→ＲＢＦ_３→ＲＢＦ_１，ＲＢＦ_２となるので、図４に示す人工ニューラルネットワーク構造はフィードバック型の働きをなしていることになる。このとき、このようなフィードバック型の働きを応用し、例えば「ウェイト係数を介して結合されたＲＢＦ_１，ＲＢＦ_２が活性化されたときには、その保存されているセントロイドベクトルｃ _１，ｃ _２も同時に出力する」というようにしておけば、ニューラルネットワークの出力から入力を復元して取り出すことが可能になる。具体的には例えば、「母親」という言葉から連想して、その母親の声（聴覚情報）及び顔（視覚情報）の特徴の両方を同時に取り出すことができる。

（木構造ネットワーク）
図５は、図１に示すニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造の他の例を示す図である。図５に示す人工ニューラルネットワーク構造は、図２及び図４に示す人工ニューラルネットワーク構造をさらに発展させたものであり、ディシジョンツリー（decision tree）で用いられるような木構造ネットワークを構成している。なお、図５に示す人工ニューラルネットワーク構造は、入力ベクトルが与えられるＲＢＦ素子１４（ＲＢＦ_１，ＲＢＦ_２，ＲＢＦ_３，ＲＢＦ_４，…）の他、入力ベクトルが直接入力されないＲＢＦ素子１４′（ＲＢＦ_５）（感覚入力がなく情報の統合のみを行うようなニューロン）を含む。

（格子状ネットワーク）
図６は、図１に示すニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造のさらに他の例を示す図である。図６に示す人工ニューラルネットワーク構造は、図２及び図４に示す人工ニューラルネットワーク構造をさらに発展させたものであり、自己組織化マップ（ＳＯＦＭ：self-organising feature map）（文献：『T. Kohonen, "The self-organizing map," Proc. IEEE, vol. 78, pp. 1464-1480, 1990.』参照）等を模倣した格子状ネットワークを構成している。このような人工ニューラルネットワーク構造は、網膜（retina）等に見られるような視覚系のコラム構造を模倣するのに有用である。

（階層型ネットワーク）
図７は、図１に示すニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造のさらに他の例を示す図である。図７に示す人工ニューラルネットワーク構造は、図２及び図４乃至図６に示す人工ニューラルネットワーク構造とは異なり、図３に示すＲＢＦ素子１４を用いて従来の階層型ニューラルネットワークを構成したものである。

ここで、図７に示すような３層の階層型ニューラルネットワークを構成する場合、ＲＢＦ素子１４（ＲＢＦ_ｉ：ｉ＝１，２，…，Ｎ_ｈ）のポインター情報は、次式（８）に従って、
ｐ_ｈｉ，１＝ｏ_１，ｐ_ｈｉ，２＝ｏ_２，…，ｐ_{ｈｉ，Ｎｏ}＝ｏ_Ｎｏ … （８）
と与えられる。

図７に示すような階層型ニューラルネットワークは、単一の入力ベクトルｘ＝［ｘ_１，ｘ_２，…，ｘ_Ｎｉ］^Ｔを入力として複数の出力（スカラー）ｏ_１，ｏ_２，…，ｏ_Ｎｏを出力する一入力−多出力システム（ＳＩＭＯ：single-modal input multiple output）であり、中間層ニューロンであるＲＢＦ素子１４（ＲＢＦ_１，ＲＢＦ_２，…，ＲＢＦ_Ｎｈ）と出力層ニューロン１５（ｏ_１，ｏ_２，…，ｏ_Ｎｏ）とが、図７に示すような完全結合形態でウェイト係数ｗ_ｉｊを用いて結合されているものとすると、出力ｏ_ｊ（ｊ＝１，２，…，Ｎ_ｏ）は、次式（９）（１０）（１１）により表される。なお、次式（９）（１０）（１１）において、ｈ_ｉはＲＢＦ素子１４（ＲＢＦ_ｉ）のＲＢＦ本体部１６における発火の強さを表し、ｗ_ｉｊはｊ番目の出力層ニューロン１５（ｏ_ｊ）とＲＢＦ素子１４（ＲＢＦ_ｉ）との間を結び付けるウェイト係数を表し、Ｎ_ｈはＲＢＦ素子１４（ＲＢＦ_ｉ）の数を表す。また、ｃ _ｉはＲＢＦ素子１４（ＲＢＦ_ｉ）のセントロイドベクトルを表し、σ_ｉはラジウスを表す。

また、出力ｏ_ｊ（ｊ＝１，２，…，Ｎ_ｏ）は、このようなＲＢＦ素子１４（ＲＢＦ_１，ＲＢＦ_２，…，ＲＢＦ_Ｎｈ）の出力の総和ではなく、出力層ニューロン１５（ｏ_１，ｏ_２，…，ｏ_Ｎｏ）に結合されたＲＢＦ素子１４（ＲＢＦ_ｉ：ｉ＝１，２，…，Ｎ_ｈ）の発火の強さの最大値をとることによって求めてもよい。この場合には、出力ｏ_ｊ（ｊ＝１，２，…，Ｎ_ｏ）は、次式（１２）により表される。

ｏ_ｊ＝ｍａｘ（ｗ_ｉｊｈ_ｉ（ｘ）） … （１２）
次に、図１乃至図７に示す相互結合型ニューラルネットワークシステム１０の作用について説明する。

＜人工ニューラルネットワーク構造の構築＞
まず、図１に示す相互結合型ニューラルネットワークシステム１０において、ネットワーク制御部１２によりニューラルネットワーク部１１を制御し、ニューラルネットワーク部１１内において、外部から与えられる複数の入力ベクトルｘ ^１，ｘ ^２，…，ｘ ^ｎに基づいてＲＢＦ素子１４を適宜追加及び削除することにより、動的なパターン認識を実現する人工ニューラルネットワーク構造を構築する。

具体的には、次のステップ１及びステップ２に従って行われる。

ステップ１：ＲＢＦ素子の数Ｍが上限値Ｍ_ｍａｘよりも小さい場合には、上式（１）で計算される発火の強さｈ_ｉと、そのセントロイドベクトルｃ _ｉ＝ｘとを持つＲＢＦ素子を、ニューラルネットワーク部１１に加える。

ステップ２：そうでない場合には、最も発火の弱いセントロイドの発火の強さ（例えば、ｊ番目のｈ_ｊ）がｈ_ｊ＜ｔｈである場合には、それを、セントロイドベクトルがｃ _ｊ＝ｘとなる、新しいものに置き換える。

なおこのとき、外部から与えられる複数の入力ベクトルｘ ^１，ｘ ^２，…，ｘ ^ｎに関連して時系列的に追加又は発火したＲＢＦ素子１４の順序に基づいて、各ＲＢＦ素子１４のポインター部１７を用いて、各ＲＢＦ素子１４のうち互いに関係のあるＲＢＦ素子１４同士を相互に結合する。

具体的には例えば、ある時間ｔ＝ｔ_１で、ＲＢＦ_１が追加又は発火され、次いで、時間ｔ＝ｔ_２で、ＲＢＦ_２が追加又は発火されるとすると、図８に示すように、１つ前の時間ｔ_１に追加又は発火されたＲＢＦ_１のポインター情報ｐ_１，１はＲＢＦ_１の次に追加又は発火されたＲＢＦ_２のアドレスを示す値に設定され、同時に、ＲＢＦ_２のポインター情報ｐ_２，１はＲＢＦ_１のアドレスを示す値に設定される。また、同様にして、再度ＲＢＦ_１が発火し、その直後に別のＲＢＦ素子（例えばＲＢＦ_３）が引き続いて追加又は発火されたとすると、ＲＢＦ_１の２番目のポインター情報ｐ_１，２はＲＢＦ_１の次に追加又は発火されたＲＢＦ_３のアドレスを示す値に設定され、同時に、ＲＢＦ_３のポインター情報ｐ_３，１はＲＢＦ_１のアドレスを示す値に設定される。

また、このようにして互いに関係のあるＲＢＦ素子１４同士が相互に結合される過程で、各ＲＢＦ素子１４のウェイト係数保持部１８を用いて、ウエイト係数が設定される。

具体的には例えば、図８に示すように、ＲＢＦ_１とＲＢＦ_２とが相互に結合される場合には、ＲＢＦ_１の１番目のウェイト係数ｗ_１，１及びＲＢＦ_２の１番目のウェイト係数ｗ_２，１に、ＲＢＦ_１とＲＢＦ_２との間を結び付けるウェイト係数がそれぞれ設定される。

＜ＲＢＦ素子間のウェイト係数の学習＞
なお、以上のようにしてニューラルネットワーク部１１内に人工ニューラルネットワーク構造を構築する過程においては、各ＲＢＦ素子１４の活性回数保持部２０を用いて、当該各ＲＢＦ素子１４の発火の度合いに基づいて当該各ＲＢＦ素子１４間を結び付けるウェイト係数を学習するようにするとよい。

具体的には、各ＲＢＦ素子１４間を結び付けるウェイト係数は、Hebbの法則（文献：『D. O. Hebb, "The Organization of Behavior," John Wiley & Sons, New York, 1949.』参照）を拡張し、「ウェイト係数を介して相互に結合された２つのＲＢＦ素子が、ある期間ｐ_１内で２つとも発火し、その発火の度合いが、ある評価関数で与えられた閾値を越えたときに、そのウェイト係数の値を増加させるものとし、逆に、ある期間ｐ_２内に、２つのＲＢＦ素子の片方もしくは両方ともが発火しなかった場合には、そのウェイト係数の値を減少させる」ものとする。

（ウェイト係数の更新のための第１のアルゴリズム）
具体的なアルゴリズム（第１のアルゴリズム）としては次のようなものを用いることができる。

(1) ある期間ｐ_１内に、２つのＲＢＦ素子（例えばＲＢＦ_ｉとＲＢＦ_ｊ（ｉ≠ｊ））の発火の回数ε_ｉ，ε_ｊが両方ともある閾値θ_ｐ１を越えた場合、すなわち、次式（１３）を満たす場合には、
ε_ｉ≧θ_ｐ１，ε_ｊ≧θ_ｐ１ … （１３）
ウェイト係数ｗ_ｉｊは、次式（１４）に従って設定される（ただし、Δ_１ｗ_ｉｊ＞０）。

ｗ_ｉｊ＝ｗ_ｉｊ＋Δ_１ｗ_ｉｊ（ｗ_ｉｊが存在している場合）
＝ｗ_{ｉｊ，ｍａｘ} （ｗ_ｉｊ＞ｗ_{ｉｊ，ｍａｘ}の場合） … （１４）
＝ｗ_ｉｎｉｔ （ｗ_ｉｊが存在していない場合）
(2) 逆に、ある期間ｐ_２内に、ＲＢＦ_ｉとＲＢＦ_ｊのいずれか片方もしくは両方ともが、上式（１３）を満たさない場合には、ウェイト係数ｗ_ｉｊは次式（１５）に従って設定される（ただし、Δ_２ｗ_ｉｊ＞０）。

ｗ_ｉｊ＝ｗ_ｉｊ−Δ_２ｗ_ｉｊ（ｗ_ｉｊ＞ｗ_ｉｎｉｔの場合）
ｗ_ｉｊを消去 （そうでない場合） … （１５）
(3) もし、ＲＢＦ素子が、期間ｐ_３（≪ｐ１，ｐ２）内に他のＲＢＦ素子と結合されなければ、そのＲＢＦ素子はニューラルネットワークから除去される。

（ウェイト係数の更新のための第２のアルゴリズム）
また、上記第１のアルゴリズムに変えて、次の第２のアルゴリズムを用いることも可能である。なお、この第２のアルゴリズムは、Hebbの法則の一つである「ニューロンＡの軸索がニューロンＢを発火させるのに十分に近く、かつ、反復的にかつ永続的にその発火が起こるものとすると、何らかの成長プロセス又は代謝の変化が、ニューロンＢを発火させるニューロンの一つとしてのニューロンＡの効率性を増加させるような形でニューロンＡ及びニューロンＢの一つ又は両方に生じる。」という法則から神経心理学的な考察を経て導かれた以下の２つの仮定（仮定１及び仮定２）に基づくものである。

仮定１：２つのＲＢＦ素子が反復的に発火すると、これらのＲＢＦ素子の間に新たなウェイト係数が形成される。それから、このようなことが周期的に生じると、ウェイト係数の値は増加する。（なお、この仮定１では、上記Hebbの法則におけるニューロンＡ及びニューロンＢの間の隣接関係については考慮されていない。これは、第１に、後述するようなアルゴリズムを実際にハードウェア（例えばロボットのメモリーシステム等）上で実装する場合において、ＲＢＦ素子の位置関係を考慮する必要性が必ずしもないからである。また、第２に、上記Hebbの法則では、ニューロンＡの発火自体が、シナプスを介した他のニューロンの発火に起因して生じるかもしれないからである。なお、この第２の理由は次の仮定２を導くものである。）
仮定２：一つのＲＢＦ素子が発火し、かつ、そのＲＢＦ素子に接続されたウェイト係数の一つが他のＲＢＦ素子に接続されているときには、当該一つのＲＢＦ素子の発火はウェイト係数を介して当該他のＲＢＦ素子に送られる。ただし、この場合に他のＲＢＦ素子に送られる発火の度合いはウェイト係数の値に依存するものとなる。

上記仮定１及び仮定２に基づいて得られる第２のアルゴリズムは次のとおりである。

(1) ２つのＲＢＦ素子（例えばＲＢＦ_ｉとＲＢＦ_ｊ（ｉ≠ｊ））の間にウェイト係数ｗ_ｉｊが既に存在している場合には、その値を次式（１５−１）により減少させる。

ｗ_ｉｊ＝ｗ_ｉｊ・ｅｘｐ（−ξ_ｉ） … （１５−１）
(2) ２つのＲＢＦ素子（例えばＲＢＦ_ｉとＲＢＦ_ｊ（ｉ≠ｊ））が連続的にｐ回に亘って発火した場合（すなわち、発火の度合いが所定の閾値以上（ＲＢＦ_ｉ≧θ_Ｋ）である場合）には、ウェイト係数ｗ_ｉｊは、次式（１５−２）に従って設定される。

ｗ_ｉｊ＝ｗ_ｉｎｉｔ （ｗ_ｉｊが存在していない場合）
＝ｗ_{ｉｊ，ｍａｘ} （ｗ_ｉｊ＞ｗ_{ｉｊ，ｍａｘ}の場合） … （１５−２）
＝ｗ_ｉｊ＋δ （それ以外の場合）
(3) ある期間ｐ_１内に、ＲＢＦ素子（ＲＢＦ_ｉ）が発火しなければ、ＲＢＦ_ｉ及びそれに接続された全てのウェイト係数ｗ _ｉ（＝［ｗ_ｉ１，ｗ_ｉ２，…］）がニューラルネットワークから除去される。（このことは、ニューロンであるＲＢＦ素子の消滅を表す。）
なお、上式（１５−１）（１５−２）において、ξ_ｉ，ｗ_ｉｎｉｔ，ｗ_{ｉｊ，ｍａｘ}，δはいずれも正の定数である。

ここで、上記(1)(2)の処理は、Hebbの法則をより具体的に言い換えた次の法則(i)(ii)に合致するものである。

(i) もし、一つのシナプスの両側に位置する２つのニューロンが非同期的に発火したならば、そのシナプスの強さは選択的に減少するか又はシナプス自体が除去される。

(ii) もし、一つのシナプスの両側に位置する２つのニューロンが同時的に（すなわち同期的に）発火したならば、そのシナプスの強さは選択的に増加する。

このような言い換えられた法則(i)(ii)に合致するように、上記(1)の処理では、ウェイト係数の更新のために減衰係数ξ_ｉが導入されており、これにより、シナプスの減衰又は消滅を模擬することができるようになっている。

なお、上述した法則(i)(ii)は、次の法則(a)(b)のように拡張して解釈することもできる。すなわち、(a)シナプスの減衰の量は短い期間では比較的小さいけれども常に生じる。また、(b)シナプスの減衰は、他のニューロンがある一つのニューロンの発火によって発火されたときにも生じる。

ここで、法則(a)は、ウェイト係数ｗ_ｉｊの減衰係数であるξ_ｉにより表される。一方、法則(b)は、シナプスの他側のポテンシャルが一側のポテンシャルよりも（わずかに）低いという前提により表される。この点については、神経解剖学的なレベルにおいて、スパイク状のパルスの移動率の変化又は長期抑制（ＬＴＤ）等により表される減衰によって、類似の状況が起こることが知られている。これらは、上述した言い換えられた法則(i)(ii)の修正を導くものであり、次の仮定３が導かれる。

仮定３：ＲＢＦ素子（ＲＢＦ_ｉ）が入力ベクトルｘによって活性化し、かつ、そのＲＢＦｈ_ｉがウェイト係数ｗ_ｉｊを介して他のＲＢＦ素子（ＲＢＦ_ｊ）に接続されているならば、ＲＢＦ_ｊの発火の度合いｈ_ｊは次式（１５−３）により求められる。

ｈ_ｊ（ｘ）＝γｗ_ｉｊＩ_ｉ … （１５−３）
ここで、γは減衰係数（０≪γ≦１）であり、Ｉ_ｉは次式（１５−４）により表されるインジケータ関数である。

Ｉ_ｉ＝１ （ＲＢＦ_ｉが発火した場合（ｈ_ｉ≧θ_Ｋとなった場合））… （１５−４）
＝０ （それ以外の場合）
なお、上式（１５−３）（１５−４）において、インジケータ関数Ｉ_ｉは、ＲＢＦ_ｉの発火によりＲＢＦ_ｉで生成されたスパイク状のパルス（又は作用ポテンシャル）がシナプスを介して他のＲＢＦ_ｊへ送られることを模擬するものである。上式（１５−３）（１５−４）は、既存のニューラルネットワークと異なり、ニューロンである各ＲＢＦ素子が通常の入力である入力ベクトルｘから離れて、二次的な入力（すなわち他のニューロンからの発火の転移）によっても発火することを示している。

（ウェイト係数の更新のための第３のアルゴリズム）
なお、第２のアルゴリズムは、次の第３のアルゴリズムのように修正することも可能である。なお、この第３のアルゴリズムは、後述する＜自己組織化ニューラルネットワーク構造の構築＞で用いられるＲＢＦ素子（すなわち、図１０に示すような、最終的な出力値に関連するクラスラベルη_ｉを保持するクラスラベル保持部２１を有するＲＢＦ素子１４″）を前提とするものである。

第３のアルゴリズムの具体的な内容は次のとおりである。

(1) ２つのＲＢＦ素子（例えばＲＢＦ_ｉとＲＢＦ_ｊ（ｉ≠ｊ））の間にウェイト係数ｗ_ｉｊが既に存在している場合には、その値を次式（１５−５）により減少させる。

ｗ_ｉｊ＝ｗ_ｉｊ・ｅｘｐ（−ξ_ｉ） … （１５−５）
(2) ２つのＲＢＦ素子（例えばＲＢＦ_ｉとＲＢＦ_ｊ（ｉ≠ｊ））が連続的にｐ回に亘って発火した場合（すなわち、発火の度合いが所定の閾値以上（ＲＢＦ_ｉ，ＲＢＦ_ｊ≧θ_Ｋ）である場合）で、かつ、ＲＢＦ_ｉ，ＲＢＦ_ｊのクラスラベルη_ｉ，η_ｊが同一であるならば、ウェイト係数ｗ_ｉｊは、次式（１５−６）に従って設定される。

ｗ_ｉｊ＝ｗ_ｉｎｉｔ （ｗ_ｉｊが存在していない場合）
＝ｗ_{ｉｊ，ｍａｘ} （ｗ_ｉｊ＞ｗ_{ｉｊ，ｍａｘ}の場合） … （１５−６）
＝ｗ_ｉｊ＋δ （それ以外の場合）
(3) ある期間ｐ_１内に、ＲＢＦ素子（ＲＢＦ_ｉ）が発火しなければ、ＲＢＦ_ｉ及びそれに接続された全てのウェイト係数ｗ _ｉ（＝［ｗ_ｉ１，ｗ_ｉ２，…］）がニューラルネットワークから除去される。（このことは、ニューロンであるＲＢＦ素子の消滅を表す。）
なお、上式（１５−５）（１５−６）において、ξ_ｉ，ｗ_ｉｎｉｔ，ｗ_{ｉｊ，ｍａｘ}，δはいずれも正の定数である。

＜ＲＢＦ素子の生存期間の決定＞
また、以上のようにしてニューラルネットワーク部１１内に人工ニューラルネットワーク構造を構築する過程においては、各ＲＢＦ素子１４の生存期間変数保持部１９を用いて、当該各ＲＢＦ素子１４の発火の度合いに基づいて決定される所定のタイミングで当該各ＲＢＦ素子１４を除去するようにしてもよい。

具体的には、ｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）の生存期間を決定する変数φ_ｉは、時間ｔ_ｉとともに単調減少する関数（例えば指数減衰関数）を用いて次式（１６）のように定義される（ただし、ａ＞０，ｔ_ｉ≧０）。

φ_ｉ＝ｅｘｐ（−ａ・ｔ_ｉ） … （１６）
上式（１６）のようにして定義される変数φ_ｉにおいて、減少の度合いを決定する係数であるａの値は、時間ｔを基準にした所定の期間（Ｔ_１≦ｔ≦Ｔ_２）の間にｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）の出力が所定の閾値θ_ｏｕｔを越えた場合には、次式（１７）に従って更新される（ただし、δ_ａ＞０）。また、この場合には同時に、上式（１６）で用いられている時間ｔ_ｉがｔ_ｉ＝０に初期化される。

ａ＝ａ−δ_ａ （ａ≧θ_ａ）
＝θ_ａ （そうでない場合） … （１７）
そして、このようにして逐次更新される変数φ_ｉにおいて、ｔ_ｉ＝Ｔ_２−Ｔ_１のときのφ_ｉが、φ_ｉ＞θ_φ（θ_φは任意の閾値）である場合には、ｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）をネットワーク制御部１１から除去する。

なお、上式（１６）（１７）において、係数ａの更新期間をｔ＋Ｔ_１からｔ＋Ｔ_２の間に限定したのは、心理学的な概念である慣れの要素に配慮したためであり、このような一定の遅延期間をおくことによりＲＢＦ素子の効率的な学習を行うことが可能になる（文献：『山元大輔, 「脳と記憶の謎」, 講談社現代新書, 1997.』参照）。

＜遅延的要素を考慮したニューラルネットワークの出力＞
なお、ニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造の出力ｏ_ｊ（ｊ＝１，２，…，Ｎ_ｏ）は、上式（１）（２）（３）（４）に従って求められるが、これ以外にも、中間層ニューロンであるＲＢＦ素子１４から出力された発火の強さの変遷を時系列的に出力するようにしてもよい。

具体的には、第１の出力形式として、ある期間Ｔの間のＲＢＦ素子１４の発火の統計をとり、その中の大きなもののうち、上からＮ（＜Ｔ）番目までのものを次式（１８）〜（２０）に従ってベクトル形式に列挙して最終的な出力とする方法を用いることができる。

ｏ _ｊ＝［ｏ_ｊ（１），ｏ_ｊ（２），…，ｏ_ｊ（Ｎ）］^Ｔ … （１８）
ここで、ｏ_ｊ（ｌ）（ｌ＝１，２，…，Ｎ）は、
ｏ_ｊ（ｌ）＝ｓｏｒｔ（ｍａｘ（θ_ｉｊ（ｔ））） … （１９）
θ_ｉｊ（ｔ）＝ｗ_ｉｊｈ_ｉ（ｘ（ｔ）） … （２０）
である。

なお、上式（１９）（２０）において、ｉはｊ番目の出力層ニューロンにウェイト係数ｗ_ｉｊを介して結合された全てのＲＢＦ素子の番号、ｔはｔ＝０，１，…，Ｔ−１（時間）、ｓｏｒｔ（・）は降順に並べ替えを行う関数である。

また、第２の出力形式として、ある期間Ｔの間のＲＢＦ素子１４の発火の度合いを次式（２１）（２２）に従ってスカラー形式で出力する方法を用いることもできる。

ｏ_ｊ＝ｆ（θ _ｉｊ） … （２１）
ここで、θ _ｉｊは、
θ _ｉｊ＝［θ_ｉｊ（０），θ_ｉｊ（１），…，θ_ｉｊ（Ｔ−１）］^Ｔ … （２２）
である。

なお、上式（２１）において、一例として、ｆ（・）は時間的な総和を求めるシグモイド関数とし、次式（２３）に従って求められてもよい（ただし、ｂは正の定数である）。

なお、上述した第１及び第２の出力形式に従って、中間層ニューロンであるＲＢＦ素子１４から出力された発火の強さの変遷を時系列的に出力する場合には、各ＲＢＦ素子１４は、そのセントロイドベクトルｃ _ｉとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる。ｉ番目のＲＢＦ素子１４（ＲＢＦ_ｉ）のセントロイド行列Ｃ _ｉ（Ｎ_ｉ×Ｔ）は、次式（２４）のように表される。

ここで、セントロイド行列Ｃ _ｉの最初の２行（すなわちｃ _１，ｃ _２）が
ｃ _１＝［2 0 0 0 0.5 0 0 0 1 0 0 0 1 …］
ｃ _２＝［0.5 1 2 0 0 0 0 0 1 0 1 0 0 …］
であるとすると、そのパルス列は、図９に示すようなものとなる。

なお、上述した第１及び第２の出力形式では、ニューラルネットワークの最終的な出力は非同期的に与えられるので、一つ一つのＲＢＦ素子１４の出力を、大脳生理学においてニューロンからスパイク状に出力されるパルスとみなせば、パルスの大きさ及びパルス間の時間長の変動を利用して、複数のＲＢＦ素子１４間で情報を記憶させることが可能となり、いわゆるパルスドニューラルネットワーク（pulsed neural network）（文献：『J. E. Dayhoff and G. L. Gerstein, "Favored patterns in nerve spike trains I. Detection," J. Neurophys, 49 (6), 1334-1348, 1983).』参照）、又は、いわゆる時間遅延型ニューラルネットワーク（ＴＤＮＮ：time delay neural network）（文献：『K. J. Lang and G. E. Hinton, "The development of the time-delay neural network," Technical Report CMU-CS-88-152, Carnegie-Melon Univ., Pittsburgh, PA, 1988.』参照）のような記憶方式を実現することができる。

なお、このような遅延的要素を考慮した人工ニューラルネットワーク構造を応用すると、例えば、データベースのインクリメンタルサーチ機能のように、時間の推移とともに最終候補が絞られてゆくような認知システムを構築することが可能になる。具体的には、ある最初の言葉の並び又は曲等のフレーズから、残りの文や曲を自動生成したり推定したりするような思考メカニズムを構築する場合等に応用することができる。

＜自己組織化ニューラルネットワーク構造の構築＞
なお、以上においては、相互結合型ニューラルネットワークシステム１０のニューラルネットワーク部１１内において、図４乃至図７に示すような人工ニューラルネットワーク構造内のＲＢＦ素子間のウェイト係数を学習によって適宜更新していく過程を中心にして説明したが、ニューラルネットワーク部１１内において、ニューロンであるＲＢＦ素子が全く存在していない状態から、外部から与えられる複数の入力ベクトルｘ ^１，ｘ ^２，…，ｘ ^ｎに基づいてＲＢＦ素子の追加及びＲＢＦ素子間の結合（ＲＢＦ素子間のウェイト係数の形成及びＲＢＦ素子間のウェイト係数の値の更新）を自律的（非管理的）に行って人工ニューラルネットワーク構造（自己組織化ニューラルネットワーク構造）を構築（自己組織化）することも当然可能である。なお、このようにして構築される自己組織化ニューラルネットワーク構造内の各ＲＢＦ素子は、その全てが単一のモダリティ（例えば聴覚モダリティ又は視覚モダリティ）を持っていてもよく、また、互いに異なる複数のモダリティ（例えば聴覚モダリティ及び視覚モダリティの両方）を持っていてもよい。

以下、このような自己組織化ニューラルネットワーク構造の構築方法について詳細に説明する。なお、このような自己組織化ニューラルネットワーク構造内の各ＲＢＦ素子（ＲＢＦ_ｉ）としては、図１０に示すＲＢＦ素子１４″のように、最終的な出力値に関連するクラスラベルη_ｉを保持するクラスラベル保持部２１を用いるものとする。

（自己組織化ニューラルネットワーク構造の構築フェーズ）
まず、自己組織化ニューラルネットワーク構造の構築フェーズ（学習フェーズ）について説明する。

ステップ１：第１のステップ（ｃｎｔ＝１）として、外部から入力された１番目の入力ベクトルｘ（１）に基づいて、当該入力ベクトルｘ（１）をラジアル基底関数のセントロイドベクトルｃ _１として持つＲＢＦ素子を新たなニューロンとして自己組織化ニューラルネットワーク構造内に追加する。

ステップ２：第２のステップとして、ｃｎｔ＝２からｃｎｔ＝｛入力ベクトルの総数｝まで、以下の２．１〜２．３の処理が繰り返される。

ステップ２．１：
(i) 外部から入力された入力ベクトルｘ（ｃｎｔ）に基づいて、自己組織化ニューラルネットワーク構造内の全てのＲＢＦ素子（ＲＢＦ_ｉ）の発火の度合いｈ_ｉを計算する。このとき、ｈ_ｉ（ｘ（ｃｎｔ））≧θ_Ｋであるならば、そのＲＢＦ_ｉは発火したものとなる。

(ii) ＲＢＦ素子間でのウェイト係数（リンク）に基づく発火の原理（例えば上式（１５−３）（１５−４））に従って、ＲＢＦ_ｉにウェイト係数ｗ_ｉｊを介して接続されたＲＢＦ_ｊの発火の度合いｈ_ｊをチェックする。このとき、ｈ_ｊ（ｘ（ｃｎｔ））≧θ_Ｋであるならば、そのＲＢＦ_ｊは発火したものとなる。

(iii) 上記(i)(ii)において発火したとされる全てのＲＢＦ素子をマークする。

ステップ２．２：自己組織化ニューラルネットワーク構造内のＲＢＦ素子の中に、外部から入力された入力ベクトルｘ（ｃｎｔ）により発火したＲＢＦ素子（ＲＢＦ_ｉ）が存在しないなら、入力ベクトルｘ（ｃｎｔ）をラジアル基底関数のセントロイドベクトルとして持つＲＢＦ素子を新たなニューロンとして自己組織化ニューラルネットワーク構造内に追加する。

ステップ２．３：上述したウェイト係数の更新のための第１乃至第３のアルゴリズムのいずれかに従って、自己組織化ニューラルネットワーク構造内の各ＲＢＦ素子（ＲＢＦ_ｉ）の発火の度合いｈ_ｉに基づいて当該各ＲＢＦ素子（ＲＢＦ_ｉ）間を結び付けるウェイト係数ｗ_ｉｊの形成及び／又は既存のウェイト係数ｗ_ｉｊの値の更新（学習）を行う。

なお、上記ステップ２．３においては、上記第１乃至第３のアルゴリズムで述べたように、自己組織化ニューラルネットワーク構造内の各ＲＢＦ素子（ＲＢＦ_ｉ）の発火の度合いｈ_ｉに基づいて不要となったＲＢＦ素子（ＲＢＦ_ｉ）を除去する処理を行うようにしてもよい。また、上記ステップ２．３においては、上記第３のアルゴリズムで述べたように、自己組織化ニューラルネットワーク構造内の各ＲＢＦ素子（ＲＢＦ_ｉ）が持つクラスラベルが同一である場合にのみ当該各ＲＢＦ素子（ＲＢＦ_ｉ）の発火の度合いｈ_ｉに基づいて当該各ＲＢＦ素子（ＲＢＦ_ｉ）間を結び付けるウェイト係数ｗ_ｉｊの形成及び／又は既存のウェイト係数ｗ_ｉｊの値の更新（学習）を行うようにしてもよい。

（自己組織化ニューラルネットワーク構造の検証フェーズ）
次に、自己組織化ニューラルネットワーク構造の検証フェーズについて説明する。

ステップ１：
(i) 外部から入力された入力ベクトルｘ（ｃｎｔ）（ｃｎｔ＝１〜｛入力ベクトルの総数｝）を自己組織化ニューラルネットワーク構造内に入力し、全てのＲＢＦ素子（ＲＢＦ_ｉ）の発火の度合いｈ_ｉを計算する。このとき、ｈ_ｉ（ｘ（ｃｎｔ））≧θ_Ｋであるならば、そのＲＢＦ_ｉは発火したものとなる。

(ii) ＲＢＦ素子間でのウェイト係数（リンク）に基づく発火の原理（例えば上式（１５−３）（１５−４））に従って、ＲＢＦ_ｉにウェイト係数ｗ_ｉｊを介して接続されたＲＢＦ_ｊの発火の度合いｈ_ｊをチェックする。このとき、ｈ_j（ｘ（ｃｎｔ））≧θ_Ｋであるならば、そのＲＢＦ_jは発火したものとなる。

(iii)上記(i)(ii)において発火したとされる全てのＲＢＦ素子をマークする。

ステップ２：
(i) 自己組織化ニューラルネットワーク構造内の全てのマークされたＲＢＦ素子の中で、最大に発火したＲＢＦ素子の発火の度合いｈ_ｍａｘ（＝ｍａｘ（ｈ_ｉ（ｘ）））を得る。

(ii) その後、もし自己組織化ニューラルネットワーク構造の構築の目的が何らかの認識の処理であるとするならば、その認識の結果の出力は単純に、対象となるＲＢＦ素子１４″のＲＢＦ本体部１６に設けられたクラスラベル保持部２１（図１０参照）からクラスラベルη_ｍａｘを出力することにより行われる。

なお、以上においては、自己組織化ニューラルネットワーク構造内の各ＲＢＦ素子（ＲＢＦ_ｉ）が、最終的な出力値に関連するクラスラベルη_ｉを保持しているものとして説明したが、各ＲＢＦ素子がクラスラベルη_ｉを保持するのではなく、クラスラベルを表すクラスラベル用ＲＢＦ素子を別途用意し、このクラスラベル用ＲＢＦ素子を対象となるＲＢＦ素子に接続するようにしてもよい。この場合には、自己組織化ニューラルネットワーク構造による認識の結果の出力は、対象となるＲＢＦ素子に接続されたクラスラベル用ＲＢＦ素子の発火の度合いをチェックすることにより行われる。

より具体的には、この後者のアルゴリズムは次のとおりである。

(1) 新たなＲＢＦ素子が自己組織化ニューラルネットワーク構造内に生成される。（この時点では、この新たなＲＢＦ素子のために生成されるウェイト係数は存在していない。）
(2) その時点から数時点後に新たなカテゴリ（クラスラベル）を表すＲＢＦ素子が自己組織化ニューラルネットワーク構造内の新たなＲＢＦ素子として与えられる。

(3) その後に追加される新たなＲＢＦ素子は、上記の新たなカテゴリ（クラスラベル）を表すＲＢＦ素子にウェイト係数を介して接続される。

このように本実施の形態によれば、ネットワーク制御部１２による制御の下で、ニューラルネットワーク部１１内の各ＲＢＦ素子１４のうち互いに関係のあるＲＢＦ素子１４同士をウェイト係数を介して相互に結合することにより人工ニューラルネットワーク構造を構築し、各ＲＢＦ素子１４は、外部から与えられた入力ベクトルｘにより活性化されたときに、ラジアル基底関数に従って入力ベクトルｘとセントロイドベクトルｃ _ｉとの類似度に応じた発火の強さｈ_ｉを出力する一方で、当該各ＲＢＦ素子１４に結合された他のＲＢＦ素子１４の発火に起因して連鎖的に活性化されたときに、当該他のＲＢＦ素子１４から出力された発火の強さｈ_ｋに基づいて得られた擬似的な発火の強さｈ_ｉを出力するようにしている。このため、１つのＲＢＦ素子１４が複数のネットワークに跨って属することが可能となり、また、複数のＲＢＦ素子１４を任意のネットワーク形態で結合することが可能となるので、単一の入力ベクトルを入力とする従来の固定的なネットワーク形態とは異なり、複数の入力ベクトルを自在に扱うことが可能で、かつ、構成の変更等を柔軟に行うことができる。またこの場合、ＲＢＦ素子１４がモダリティの異なる複数のネットワークに跨って属することが可能となるので、聴覚モダリティ及び視覚モダリティのような互いに異なる複数のモダリティを持つ入力ベクトルを自在に扱うことが可能となり、シングルドメインのパターン認識に限らずマルチドメインのパターン認識にも幅広く適用することが可能となる。

また、本実施の形態によれば、ネットワーク制御部１２による制御の下で、ニューラルネットワーク部１１内の相互に結合されたＲＢＦ素子１４間を結び付けるウェイト係数を更新することにより学習を行うので、人工ニューラルネットワーク構造の追加学習を容易に行うことができる。

さらに、本実施の形態によれば、ニューラルネットワーク部１１内のＲＢＦ素子１４の出力から独立した形で、ＲＢＦ素子１４間を結び付けるウェイト係数を更新することができるので、従来の誤差逆伝播法のような学習アルゴリズムとは異なり、ウェイト係数の学習時に各ＲＢＦ素子１４に保存されたデータそのものに全く影響がなく、ニューラルネットワーク部１１内のＲＢＦ素子１４にセントロイドベクトルという形でデータを局在的に保存しながら、ＲＢＦ素子１４同士の結合関係を規定するために分散的に保存されているウェイト係数のみを逐次的に更新することができる。このため、分散性及び局在性という異なる特徴を備えたデータ表現を実現することが可能となり、ミンスキーの提案した古典的なＫ−ｌｉｎｅｓ（knowledge-line）というアイデア（エージェントをシンボルベースのノードとみなし、その間をＫ−ｌｉｎｅｓでリンクするというアイデア）（文献：『M. Minsky, "The Society of Mind," Simon & Schuster, N.Y., 1985.』参照）と比較しても有利で、汎化能力及び追加学習能力をも持ち合わせたメモリー素子の構築が可能になる。

さらに、本実施の形態において実現される人工ニューラルネットワーク構造は、一般回帰型ニューラルネットワーク（ＧＲＮＮ）及び確率論的ニューラルネットワーク（ＰＮＮ）と同様の特性を有するものであり、ネットワークの拡大及び縮小が容易で、かつ計算的な不安定要因が小さいという利点を有する。

さらにまた、本実施の形態によれば、ニューラルネットワーク部１１内のＲＢＦ素子１４（ＲＢＦ_ｉ）を、そのセントロイドベクトルｃ_ｉとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる中間層ニューロンとし、当該各中間層ニューロンに結合された出力層ニューロン１５（ｏ_ｊ）において、各中間層ニューロンから出力された発火の強さの変遷を時系列的に出力することにより、データベースのインクリメンタルサーチ機能のように、時間の推移とともに最終候補が絞られてゆくような認知システムを容易に構築することができる。

なお、上述した実施の形態においては、人工ニューラルネットワーク構造内のニューロンとして、ラジアル基底関数を持つＲＢＦ素子を用いる場合を例に挙げて説明しているが、ここでいう人工ニューラルネットワーク構造内のニューロンとしては、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力することが可能な任意のものを用いることができる。なお、ここでいう核関数としては、上述したように、ノルムを利用した関数、２つベクトル間の内積を利用した関数、イパネクニコフ平方（Epanechinikov quadratic）や立方（Tri-cube）を利用した関数等を用いることができる。

また、上述した実施の形態においては、各ＲＢＦ素子１４のセントロイドベクトルｃ _ｉとして、顔等の画像そのものから得られた特徴ベクトルを用いることができる他、より生物学的に妥当なモデルを考慮して、例えばHubelらによる大脳皮質第１次視覚野の研究（文献：『D. H. Hubel and T. N. Wiesel, "Receptive fields, binocular and functional architecture in the cat's visual cortex," Journal of Physiology, vol. 160, pp. 106-154, 1962.』参照）で明らかになった、ある特定の画像要素に反応するニューロンの働きを模倣し、線分やエッジ等の特徴ベクトルを用いることもできる。この後者の場合には、複数のＲＢＦ素子１４によって全体として顔等の画像を認識するような人工ニューラルネットワーク構造が構築される。

さらに、上述した実施の形態に係る相互結合型ニューラルネットワークシステム１０は、ＲＢＦ素子１４をプログラマブルアレイとして実装する等の方法によりハードウェアとして実現することができる他、例えば、図１１に示すようなコンピュータシステム４０上で稼働するプログラムとしても実現することができる。ここで、コンピュータシステム４０は、バス４８と、バス４８に接続されたプロセッサ４１、メモリ４２及びハードディスク４３と、バス４８に接続された周辺機器（キーボードやマウス等の入力装置４４、ディスプレイやプリンタ等の出力装置４５、ＦＤドライブ４６及びＣＤ−ＲＯＭドライブ４７）とを備えている。そして、上述したようなプログラムは、メモリ４２やハードディスク４３、フレキシブルディスク４９及びＣＤ−ＲＯＭ５０等のようなコンピュータ読み取り可能な記録媒体に格納され、プロセッサ４１から逐次読み出されて実行されることにより上述したような手順を実現することができる。

次に、上述した実施の形態の具体的実施例について述べる。

問題の設定
自己組織化ニューラルネットワーク構造が実際にどのように構築されるのかを考察するため、直接的なパターン認識の処理として、自己組織化ニューラルネットワーク構造により排他的論理和（ＸＯＲ）の問題を解決する場合を取り上げる。

ここで、自己組織化ニューラルネットワーク構造の各ＲＢＦ素子としては、図１０に示すようなＲＢＦ素子を用いた。なお、各ＲＢＦ素子のＲＢＦ本体部は、ラジウスσが１．０であるラジアル基底関数を持つものとした。また、発火の閾値θ_Ｋは０．７とした。さらに、自己組織化ニューラルネットワーク構造に入力される４つの入力ベクトルは、ｘ（１）＝［０．１，０．１］^Ｔ、ｘ（２）＝［０．１，１．０］^Ｔ、ｘ（３）＝［１．０，０．１］^Ｔ、ｘ（４）＝［１．０，１．０］^Ｔとした。

そして、上述した＜自己組織化ニューラルネットワーク構造の構築（構築フェーズ）＞で述べたアルゴリズムに従って、４つの排他的論理和のパターンを認識（分類）するのに用いられる自己組織化ニューラルネットワーク構造を構築した。具体的な手順は次のとおりである。

(1) ｃｎｔ＝１
σ＝１．０、θ_Ｋ＝０．７に初期化した。それから、新たなＲＢＦ素子としてＲＢＦ_１を追加した。このとき、ＲＢＦ_１のセントロイドベクトルｃ ₁は入力ベクトルであるｘ（１）＝［０．１，０．１］^Ｔと同一とし、クラスラベルはη_１＝０とした。

(2) ｃｎｔ＝２
入力ベクトルｘ（２）を自己組織化ニューラルネットワーク構造（この時点では１つのＲＢＦ素子（ＲＢＦ_１）のみが存在している）に与えた。

このとき、
ｈ_１＝ｅｘｐ（−‖ｘ（２）−ｃ _１‖_２ ^２／σ^２）＝０．４４４９
であった。

従って、ｈ_１（ｘ（２））＜θ_Ｋとなるので、新たなＲＢＦ素子（ＲＢＦ_２）を追加した。このとき、ＲＢＦ_２のセントロイドベクトルｃ _２は入力ベクトルであるｘ（２）＝［０．１，１．０］^Ｔと同一とし、クラスラベルはη_２＝１とした。

(3) ｃｎｔ＝３
入力ベクトルｘ（３）を自己組織化ニューラルネットワーク構造（この時点では２つのＲＢＦ素子（ＲＢＦ_１，ＲＢＦ_２）が存在している）に与えた。

このとき、
ｈ_１＝ｅｘｐ（−‖ｘ（３）−ｃ _１‖_２ ^２／σ^２）＝０．４４４９（＜θ_Ｋ）
ｈ_２＝ｅｘｐ（−‖ｘ（３）−ｃ _２‖_２ ^２／σ^２）＝０．１９７９（＜θ_Ｋ）
であった。

従って、入力ベクトルｘ（３）により発火されるＲＢＦ素子は存在しないので、新たなＲＢＦ素子（ＲＢＦ_３）を追加した。このとき、ＲＢＦ_３のセントロイドベクトルｃ _３は入力ベクトルであるｘ（３）＝［１．０，０．１］^Ｔと同一とし、クラスラベルはη_３＝１とした。

(4) ｃｎｔ＝４
入力ベクトルｘ（４）を自己組織化ニューラルネットワーク構造（この時点では３つのＲＢＦ素子（ＲＢＦ_１，ＲＢＦ_２，ＲＢＦ_３が存在している）に与えた。

このとき、
ｈ_１＝ｅｘｐ（−‖ｘ（４）−ｃ _１‖_２ ^２／σ^２）＝０．１９７９（＜θ_Ｋ）
ｈ_２＝ｅｘｐ（−‖ｘ（４）−ｃ _２‖_２ ^２／σ^２）＝０．４４４９（＜θ_Ｋ）
ｈ_３＝ｅｘｐ（−‖ｘ（４）−ｃ _３‖_２ ^２／σ^２）＝０．４４４９（＜θ_Ｋ）
であった。

従って、入力ベクトルｘ（４）により発火されるＲＢＦ素子は存在しないので、新たなＲＢＦ素子（ＲＢＦ_４）を追加した。このとき、ＲＢＦ_４のセントロイドベクトルｃ _４は入力ベクトルであるｘ（４）＝［１．０，１．０］^Ｔと同一とし、クラスラベルはη_４＝０とした。

以上により、４つのＲＢＦ素子（ＲＢＦ_１，ＲＢＦ_２，ＲＢＦ_３，ＲＢＦ_４）を備えた自己組織化ニューラルネットワーク構造が構築されたが、このようにして構築された自己組織化ニューラルネットワーク構造は、上述した４つの入力ベクトルのパターンを、上述した＜自己組織化ニューラルネットワーク構造の構造（検証フェーズ）＞で述べたアルゴリズムに従って、正しく認識することができる。

なお、以上のようにして自己組織化ニューラルネットワーク構造を構築することは、ＧＲＮＮやＰＮＮを構築することと類似している。これは、一つのニューラルネットワーク構造内に４つのニューロン（すなわちＲＢＦ素子）が存在しており、かつ、クラスラベルη_i（ｉ＝１，２，３，４）をターゲット値とみなすことができるからである。（従って、このことは、ＧＲＮＮやＰＮＮを自己組織化ニューラルネットワーク構造のサブクラスとして捉えることができるということを意味する。）
しかしながら、一方で、自己組織化ニューラルネットワーク構造の構築中に、排他的論理和の関係を表す別のパターンの入力ベクトル（すなわちｘ（５）＝［０．２，０．２］^Ｔ、ｘ（２）＝［０．２，０．８］^Ｔ、ｘ（３）＝［０．８，０．２］^Ｔ、ｘ（４）＝［０．８，０．８］^Ｔ）が続いて与えられる場合を考えると、ＧＲＮＮやＰＮＮとの相違が現れる。すなわち、これらの入力ベクトルはＰＮＮ／ＧＲＮＮでは、その構築中に全てのパターンが何らかの形で学習（すなわち新たなニューロンが追加）されてしまうが、自己組織化ニューラルネットワーク構造では、その構築中にはＲＢＦ素子の冗長な追加は行われない。すなわち、これらの４つのパターンの入力ベクトルは（ｈ_ｉ＞θ_Ｋの条件に従って）それぞれに近いＲＢＦ素子を発火させるのみである。しかしながら、依然としてそれらのパターンの入力ベクトルは正しいパターン認識の結果をもたらし、ＲＢＦ素子がさらに追加されることはない。

このような考察から分かるように、自己組織化ニューラルネットワーク構造においては、入力データが極めて少数のＲＢＦ素子に局在的に保存されることとなるので、各ＲＢＦ素子に関連したパラメータを適切に調整することにより、データプルーニング（すなわちデータクラスタリング）を適切に行うことが可能なパターン分類器を実現することができる。

以下、幾つかのシミュレーション実験例を取り上げながら、自己組織化ニューラルネットワーク構造におけるパラメータの調整の問題を考える。

シミュレーション実験例１
（シングルドメインのパターン認識）
まず、自己組織化ニューラルネットワーク構造がより現実的な場面でどのように構築（自己組織化）されるのかを理解するため、シングルドメインのパターン認識（公開されたデータベースから引き出された幾つかのシングルドメインのデータセットを用いたパターン認識）についてシミュレーション実験を行った。なお、上記「問題の設定」では、自己組織化ニューラルネットワーク構造内のＲＢＦ素子間の結合（ＲＢＦ素子間のウェイト係数の形成及びＲＢＦ素子間のウェイト係数の学習）については説明を省略しているが、以下に述べるシミュレーション実験例１では、ウェイト係数を介したＲＢＦ素子間での発火が自己組織化ニューラルネットワーク構造の性能にどのような影響を与えるのかを理解するため、ＲＢＦ素子間のウェイト係数についても当然考慮している。また、以下のシミュレーション実験例１では、ＲＢＦ素子間のウェイト係数の学習のためのアルゴリズムとして、上述した第２のアルゴリズムを用いた。ただし、ここでは、自己組織化ニューラルネットワーク構造の振る舞いをより明確に追跡するため、上述した第２のアルゴリズムの(3)の処理（すなわちニューロンであるＲＢＦ素子の削除）は考慮しなかった。

（パラメータの設定）
シミュレーション実験例１においては、カリフォルニア大学の“UCI Machine Learning Repository”のデータベース（ＳＦＳ、ＯｐｔＤｉｇｉｔ及びＰｅｎＤｉｇｉｔ）から引き出された３つの異なるドメインのデータセットを用いた。これら３つのデータセットは、認識の処理を行うための互いに独立したデータセットであり、その特徴は下記表１に示されているとおりである。なお、ＳＦＳのデータセットに関しては、予め符号化処理が施されて認識の処理のためのパターンベクトルが与えられている。

自己組織化ニューラルネットワーク構造内のＲＢＦ素子のパラメータは、下記表２にまとめられているとおりに選択した。下記表２に示されているように、パラメータの組み合わせは、できるだけ類似の条件でシミュレーションを行うため、全ての３つのデータセットについてできるだけ等しいものとなるように選択した。自己組織化ニューラルネットワーク構造の構築中に、各ＲＢＦ素子について発火の評価（ＲＢＦ素子の発火の度合いｈ_ｉが所定の閾値θ_Ｋを越えているか否か）を行うため、σ_ｉ=σ（∀ｉ）及びθ_Ｋ=０．７とした。さらに、シミュレーション実験例１では、普遍性を失わないよう、ウェイト係数を介した各ＲＢＦ素子の発火が最も近接したＲＢＦ素子の間でのみ行われると制限した。

（シミュレーション結果）
図１２及び図１３はシミュレーション実験例１の実験結果を示す図であり、図１２は自己組織化ニューラルネットワーク構造の構築中におけるＲＢＦ素子（ニューロン）の数の変化を示す図、図１３は自己組織化ニューラルネットワーク構造の構築中におけるウェイト係数（リンク）の数の変化を示している。

図１２及び図１３に示すように、自己組織化ニューラルネットワーク構造の構築中には、ＲＢＦ素子の数及びウェイト係数の数がいずれも単調に増加していることが分かる。なお、図１２及び図１３においては、３つの異なるドメインのデータセットについてその増加量を比較するため、その横軸は入力されたパターンベクトル（入力ベクトル）の数で正規化されたスケールを用いた。図１２及び図１３において、その横軸におけるそれぞれの数ｘ（ｉ）（ｉ＝１，２，…，１１）は従って、パターンベクトルの正規化された入力数（すなわちｘ（ｉ）＝ｉ×［学習用データセット中のパターンベクトルの総数］／１０）である。

図１２及び図１３を考察すると、ＰｅｎＤｉｇｉｔのデータセットのデータ構造は、他の２つのデータセットに比べて比較的単純であることが分かる。これは、生成されたＲＢＦ素子の数が常に最も少ない一方で、ウェイト係数の数が最も大きいことでも分かる。他方、各パターンベクトルの長さ（すなわち「１６」（上記表１参照））は３つのデータセットの中で最も小さく、パターン空間は他のデータセットに比べてより小さな数のデータ数で構築されている。

（自己組織化ニューラルネットワーク構造の性能に対してのラジウスσの選択の影響）
一般的なニューラルネットワーク構造であるＧＲＮＮやＰＮＮに関しては、自己組織化ニューラルネットワーク構造におけるラジウスの値が特定の値をとる場合に汎化能力と計算の複雑さとの間の合理的なトレードオフが与えられる、ということが確認されている。そこで、シミュレーション実験例１における自己組織化ニューラルネットワーク構造の構築中においても、パラメータであるラジウスをσ_ｉ＝σ（∀_ｉ）と選択した。

しかしながら、自己組織化ニューラルネットワーク構造において、ラジウスσ_ｉの値をどのように選択するかは、一般的なニューラルネットワーク構造であるＧＲＮＮやＰＮＮと同様に依然として汎化能力に大きな影響を与えるものである。この点をさらに追求すると、ラジウスσ_ｉの値は、学習用データセット中のパターンベクトルの全ての組の間で計算される最小ユークリッド距離と、同様にして計算される最大ユークリッド距離との間で変化する。なお、３つのデータセット（ＳＦＳ、ＯｐｔＤｉｇｉｔ及びＰｅｎＤｉｇｉｔ）の最小ユークリッド距離及び最大ユークリッド距離は、下記表３に示すように計算された。

図１４及び図１５はそれぞれ、シミュレーション実験例１における自己組織化ニューラルネットワーク構造におけるラジウスσと生成されたＲＢＦ素子（ニューロン）の数との関係、及びラジウスσと汎化能力との関係を示している。

図１４及び図１５に示すように、生成されたＲＢＦ素子（ニューロン）の数及び汎化能力はいずれもラジウスσの値に応じて大幅に変化することが分かる。具体的には、ラジウスσが最小ユークリッド距離に近いときには、ＲＢＦ素子の数はほぼデータセット内のパターンベクトルの数と同一となる。言い換えれば、そのような場合には自己組織化ニューラルネットワーク構造の構築中にほぼ全ての学習用データセットが用い尽くされることとなる。しかしながら、一方で、図１４及び図１５は、ＲＢＦ素子の数の減少が常に汎化能力の相対的な劣化を導くものではないことも示している。この傾向はまた、図１６に示す関係、すなわち、ラジウスσと、正しく接続されたウェイト係数（リンク）の数（すなわち同一のクラスラベルを持つＲＢＦ素子間の接続を確立するウェイト係数の数）との関係によっても確認することができる。

図１６を図１５と比較すると、それぞれのデータセットについて、正しく接続されたウェイト係数の数がピークから減少し始めたときに、汎化能力が急激に劣化することが分かる。このような考察から、上記表２のそれぞれのデータセットのラジウスσの値を合理的に選択した。正しく接続されたウェイト係数と誤って接続されたウェイト係数との間の比率は十分に高かった。（すなわち、実際の比率は、ＳＦＳ及びＯｐｔＤｉｇｉｔのデータセットのそれぞれについて２．１及び７．３であった。これに対し、ＰｅｎＤｉｇｉｔについては、誤ったウェイト係数の数は０であった。）
（自己組織化ニューラルネットワーク構造の汎化能力）
下記表４は、上記表２のパラメータを用いて構築された自己組織化ニューラルネットワーク構造（すなわち、構築のための全てのパターンベクトルの入力が終了した自己組織化ニューラルネットワーク構造）と、良く知られたマッキーン（MacQueen）のｋ−ｍｅａｎｓクラスタリングアルゴリズムにより求められたセントロイドを持つＰＮＮとの間で性能を比較したものである。なおここでは、両者の間の比較をできるだけ公平に行うため、それぞれのクラスを担うＰＮＮ内のニューロンの数は、自己組織化ニューラルネットワーク構造内のＲＢＦ素子（ニューロン）の数に固定した。

上記表４に示すように、３つのデータセットについて、自己組織化ニューラルネットワーク構造の全体の汎化能力は、上述したＰＮＮの手法とほぼ同じか若干良くなった。しかしながら、一般的なニューラルネットワーク構造であるＧＲＮＮやＰＮＮとは異なり、ＲＢＦ素子（ニューロン）の数は、自律型のアルゴリズムにより自動的に決定される。この点で、自己組織化ニューラルネットワーク構造は、一般的なニューラルネットワーク構造であるＧＲＮＮやＰＮＮよりも動的である。

（パターンベクトルの入力の順番の変化）
自己組織化ニューラルネットワーク構造において、上述したようなパターン分類器を構成するための典型的な方法である通常の「バランスのとれた」パターンベクトルの入力は、例えば、数字／ＺＥＲＯ／のパターン＃１、数字／ＯＮＥ／のパターン＃１、…、数字／ＮＩＮＥ／のパターン＃１、数字／ＺＥＲＯ／のパターン＃２、数字／ＯＮＥ／のパターン＃２、…、数字／ＮＩＮＥ／のパターン＃２、…、という具合である。しかしながら、これに変えて、パターンベクトルの入力の順番を、(1)ランダムに変えたり、(2)新たなクラスを伴うように変えたりすることも可能である。すなわち、数字／ＺＥＲＯ／のパターン＃１、数字／ＺＥＲＯ／のパターン＃２、…、数字／ＺＥＲＯ／の最後のパターン、数字／ＯＮＥ／のパターン＃１、数字／ＯＮＥ／のパターン＃２、…、という具合にしてもよい。このような変更は、経験的に、生成されたＲＢＦ素子（ニューロン）及びウェイト係数（リンク）の数にも汎化能力にも影響を与えないことが分かっている。このことは、自己組織化ニューラルネットワーク構造がＰＮＮのような新たなクラスを伴う能力だけでなく、条件の変化に対してもロバストであることを示している。

シミュレーション実験例２
（マルチドメインのパターン認識）
上記シミュレーション実験例１では、パターン認識の分野において、自己組織化ニューラルネットワーク構造が、一般的なニューラルネットワーク構造であるＰＮＮ／ＧＲＮＮの場合に比べて同様かあるいはそれよりも若干良い汎化能力を示すことが確認された。このことは、自己組織化ニューラルネットワーク構造の特徴の一つではあるが、全部ではない。すなわち、自己組織化ニューラルネットワーク構造には複数のモダリティを持つマルチドメインの問題に適用することが可能であるという特徴がある。そこでここでは、上述した後者の特徴を理解するため、自己組織化ニューラルネットワーク構造に関して、マルチドメインのパターン認識（すなわちデュアルドメインの同時的なパターン認識）についての別の実用的なシミュレーション実験を行った。

なお、シミュレーション実験例２において構築された自己組織化ニューラルネットワーク構造は、２つの部分的な自己組織化ニューラルネットワーク構造を統合したものである。すなわち、このような自己組織化ニューラルネットワーク構造は、「デュアルドメインの同時的なパターン認識」を実現するため、その内部の特定の領域（すなわち聴覚領域）に入力された特定の音声が聴覚領域だけでなくそれと並行してすなわち同時に視覚領域をも発火させるというような状況を模擬するように設計されている。このような設計は、それぞれのモダリティ（聴覚モダリティ及び視覚モダリティ）用の適切な組み込み型の特徴抽出メカニズムがシステム内に設けられていることを意味している。このことは従って、異なったモダリティの間の「連関（associations）」をモデル化する問題、又はより一般的には「概念形成（concept formation）」の問題に幾分関連している。なお、ここでいう問題は、幾つかの知覚方法が同時的にすなわち統合的に（融合的に）扱われる問題であり、ゲシュタルト（gestalt）と呼ばれる統合的な表現法により実現されるものである。

（パラメータの設定）
シミュレーション実験例２においては、ＳＦＳのデータセット（数字音声認識用）及びＰｅｎＤｉｇｉｔのデータセット（数字文字認識用）の両方を用いた。ここで、各データセットは、対応する特定のドメインデータのための部分的な自己組織化ニューラルネットワーク構造を構築するために用いた。これらを用いて構築される２つの部分的な自己組織化ニューラルネットワーク構造内にある所定数のＲＢＦ素子（ニューロン）を接続するクロスドメインなウェイト係数（リンク）（すなわち連関リンク）が、上述したウェイト係数の更新のためのアルゴリズムと同様の手法により形成される。ここで、デュアルドメインのパターン認識の処理を行うためのにウェイト係数を更新するパラメータは、上記表２の右側のカラムにまとめられている。２つの部分的な自己組織化ニューラルネットワーク構造間の連関リンクを形成するため、通常のウェイト係数（すなわち上記表２の左側のカラムにまとめられている部分的な自己組織化ニューラルネットワーク構造内のウェイト係数）と同一の値を選択した。ただし、減衰係数ξ_ｉについてはξ_ｉ＝ξ＝０．０００５（∀_ｉ）とした。

さらに、このようなクロスドメインの問題をモデル化するにあたっては、パターンベクトルの入力の順番が連関リンクの形成に影響を与えるということを考慮する必要がある。従って、シミュレーション実験例２においては、パターンベクトルを２つの学習用データセットにまたがって交互に、すなわち、ＳＦＳのパターンベクトル＃１、ＰｅｎＤｉｇｉｔのパターンベクトル＃１、ＳＦＳのパターンベクトル＃２、ＰｅｎＤｉｇｉｔのパターンベクトル＃２、という具合に入力した。

（シミュレーション結果）
下記表５の２番目のカラム及び３番目のカラムは、シミュレーション実験例２におけるデュアルドメインのパターン認識の処理での汎化能力をまとめたものである。下記表５において、「Ｓｕｂ−ＳＯＫＭ（ｉ）→Ｓｕｂ−ＳＯＫＭ（ｊ）」は、ｉ番目の部分的な自己組織化ニューラルネットワーク構造内のＲＢＦ素子から連関リンクを介してｊ番目の部分的な自己組織化ニューラルネットワーク構造内のＲＢＦ素子の発火が行われることに起因した、ｊ番目の部分的な自己組織化ニューラルネットワーク構造内のＲＢＦ素子の発火により得られる全体の汎化能力を示すものである。ここで、Ｓｕｂ−ＳＯＫＭ（１）はＳＦＳデータセット用の部分的な自己組織化ニューラルネットワーク構造を示し、Ｓｕｂ−ＳＯＫＭ（２）はＰｅｎＤｉｇｉｔデータセット用の部分的な自己組織化ニューラルネットワーク構造を示す。

シミュレーション実験例３
（自己組織化ニューラルネットワーク構造へのクラスラベルの導入）
上記シミュレーション実験例１及び２では、新たなＲＢＦ素子が自己組織化ニューラルネットワーク構造内に追加されるときにクラスラベルη_ｉが与えられ、現在の入力ベクトルであるパターンベクトルと同一の値に設定される。しかしながら、自己組織化ニューラルネットワーク構造においては、入力ベクトルであるパターンベクトルが与えられるのと同時にクラスラベルη_ｉを設定する必要が常にあるわけではなく、クラスラベルη_ｉを非同期的に設定することも可能である。

シミュレーション実験例３では、このような点を考慮し、ウェイト係数の更新のアルゴリズムとして、上述した第３のアルゴリズム（クラスラベルη_ｉを考慮に入れたアルゴリズム）を用いた。すなわち、クラスラベルη_ｉは、ＲＢＦ素子間を結合するウェイト係数の値を調整するために用いられる。これにより、汎化能力を大幅に向上させることができる。

（ウェイト係数の形成における制約）
自己組織化ニューラルネットワーク構造においては、クラスラベルはその応用例に依存して何時でも与えることができる。ここでは、クラスラベルに関する情報が事前に知られているという、実際上はあまり典型的ではない状況を考え、このような変更が自己組織化ニューラルネットワーク構造の性能にどのような影響を与えるのかを検討する。

（シミュレーション結果）
図１７はシミュレーション実験例３のクラスラベルに関しての制約がある状態で構築された自己組織化ニューラルネットワーク構造のウェイト係数の数と、クラスラベルに関しての制約がない状態で構築された自己組織化ニューラルネットワーク構造のウェイト係数の数とを比較するものである。図１７に示されているように、ウェイト係数の全ての種類（すなわち、単独のＳＦＳのデータセットでのウェイト係数、単独のＰｅｎＤｉｇｉｔのデータセットでのウェイト係数、２つのデータセット間での連関リンクのウェイト係数）について、制約があるウェイト係数の数は制約がないウェイト係数の数に比べて小さいことが分かる。このことは、クラスラベルに関しての制約がある場合には、ＲＢＦ素子の「誤った」接続（すなわち、異なったクラスラベルを持つＲＢＦ素子同士の接続）の形成が構築中に避けられることを意味する。

本発明の一実施の形態に係る相互結合型ニューラルネットワークシステムの全体構成を示すブロック図。 図１に示す相互結合型ニューラルネットワークシステムのニューラルネットワーク部内に構築される人工ニューラルネットワーク構造の一例を示す図。 図２に示すニューラルネットワーク部で用いられるＲＢＦ素子（ニューロン）の構成を示す図。 図１に示す相互結合型ニューラルネットワークシステムのニューラルネットワーク部内に構築される人工ニューラルネットワーク構造の他の例を示す図。 図１に示す相互結合型ニューラルネットワークシステムのニューラルネットワーク部内に構築される人工ニューラルネットワーク構造のさらに他の例を示す図。 図１に示す相互結合型ニューラルネットワークシステムのニューラルネットワーク部内に構築される人工ニューラルネットワーク構造のさらに他の例を示す図。 図１に示す相互結合型ニューラルネットワークシステムのニューラルネットワーク部内に構築される人工ニューラルネットワーク構造のさらに他の例を示す図。 図２に示す人工ニューラルネットワーク構造の構築方法を説明するための模式図。 図２及び図４乃至図７に示す人工ニューラルネットワーク構造に含まれるＲＢＦ素子（ニューロン）で用いられる行列形式のセントロイドデータを説明するための模式図。 図２に示すニューラルネットワーク部で用いられるＲＢＦ素子（ニューロン）の変形例の構成を示す図。 本発明の一実施の形態が適用されるコンピュータシステムの一例を示す図。 シミュレーション実験例１の実験結果（自己組織化ニューラルネットワーク構造の構築中におけるＲＢＦ素子（ニューロン）の数の変化）を示す図。 シミュレーション実験例１の実験結果（自己組織化ニューラルネットワーク構造の構築中におけるウェイト係数（リンク）の数の変化）を示す図。 シミュレーション実験例１の実験結果（自己組織化ニューラルネットワーク構造におけるラジウスと生成されたＲＢＦ素子（ニューロン）の数との関係）を示す図。 シミュレーション実験例１の実験結果（自己組織化ニューラルネットワーク構造におけるラジウスと汎化能力との関係）を示す図。 シミュレーション実験例１の実験結果（自己組織化ニューラルネットワーク構造におけるラジウスと生成されたウェイト係数（リンク）の数との関係）を示す図。 シミュレーション実験例２の実験結果を示す図。

符号の説明

１０ 相互結合型ニューラルネットワークシステム
１１ ニューラルネットワーク部
１２ ネットワーク制御部
１３ 入力層ニューロン
１４，１４′，１４″ ＲＢＦ素子（中間層ニューロン）
１５ 出力層ニューロン
１６ ＲＢＦ本体部
１７ ポインター部
１８ ウェイト係数保持部
１９ 生存期間変数保持部
２０ 活性回数保持部
２１ クラスラベル保持部

Claims (3)

1. 核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数のＲＢＦ素子を含むニューラルネットワーク部であって、それぞれ異なる感覚入力に対応する複数の入力ベクトルが入力されるニューラルネットワーク部と、
   外部から与えられる前記複数の入力ベクトルに関連して時系列的に追加又は発火した前記ＲＢＦ素子同士を相互に結合し、相互に結合された前記ＲＢＦ素子間のウェイト係数を設定するネットワーク制御部とを備え、
   前記ニューラルネットワーク部の前記各ＲＢＦ素子は、当該各ＲＢＦ素子が外部から与えられた入力ベクトルにより活性化されたときに、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する一方で、当該各ＲＢＦ素子が当該各ＲＢＦ素子に結合された他のＲＢＦ素子の発火に起因して連鎖的に活性化されたときに、当該他のＲＢＦ素子から出力された発火の強さ及び当該他のＲＢＦ素子の間とのウェイト係数の積和を擬似的な発火の強さとすることを特徴とする相互結合型ニューラルネットワークシステム。
2. 前記ニューラルネットワーク部の前記各ＲＢＦ素子は、相互に結合された他のＲＢＦ素子の発火に起因して連鎖的に活性化されたときに、前記擬似的な発火の強さとともに当該各ＲＢＦ素子のセントロイドベクトルを生成することを特徴とする、請求項１に記載の相互結合型ニューラルネットワークシステム。
3. 前記ネットワーク制御部は、前記ニューラルネットワーク部に外部から与えられる複数の入力ベクトルに関連して時系列的に追加又は発火したＲＢＦ素子の順序に基づいて、前記ニューラルネットワーク部の前記各ＲＢＦ素子のうち互いに関係のあるＲＢＦ素子同士を相互に結合することを特徴とする、請求項１又は２に記載の相互結合型ニューラルネットワークシステム。

Images