JPH07175772A - カオスニューラルネットワーク及びこれを用いたパルス信号発生装置 - Google Patents

Abstract

(57)【要約】 【目的】 カオス現象を利用し、動的な状態に対して適
応性を有するニューラルネットワークを容易に構築でき
るようにすること。 【構成】 複数の信号を加算する加算手段１１と、この
加算手段１１の加算結果を非線形変換する非線形変換手
段１２と、この非線形変換手段１２による変換結果を外
部に出力する出力手段１３と、複数の外部入力信号に対
して結合係数を乗算し乗算結果を前記加算手段へ出力す
る外部入力手段１４と、前記加算手段１１の加算結果に
対して係数を乗算し乗算結果を前記加算手段１１へ出力
する第１内部入力手段１５と、前記非線形変換手段１２
の変換結果に対して係数を乗算し乗算結果を前記加算手
段１１へ出力する第２内部入力手段１６と、加算手段１
１に入力させる信号を格納した記憶手段１７とを有する
複数個のニューロン素子１０を相互に接続し、各ニュー
ロン素子１０の出力信号が動的に遷移するようにした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば画像や音声の認
識、ロボット等の適応制御、連想記憶、非線形予測等の
ような各種制御に適用可能な、神経細胞を模倣したカオ
スニューラルネットワーク及びこれを用いたパルス信号
発生装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークにし、情報の並列処理を目指したのが、いわゆるニ
ューラルネットワークである。文字認識や連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成しないもの
が多い。生体の神経系、特に生体特有の機能、即ち並列
処理、自己学習等をニューラルネットワークにより模倣
して、これらの問題を解決しようとする試みが盛んに行
われている。

【０００３】しかし、これらのニューラルネットワーク
の研究は、静的状態を扱うものが殆どであり、実際の生
体で行われている動的状態とは異なるものである。従っ
て、人間や他の生体が有する情報処理機能を実現するた
めには、この動的状態を扱わなければならない。

【０００４】ここに、動的なニューラルネットワークの
情報処理で、大きな役割を果たしていると考えられてい
るのが「カオス現象」である。このカオス状態を有する
ニューラルネットワークモデルとしては、例えば、「ニ
ューラルシステムにおけるカオス」（合原一幸編著、東
京電機大学出版局、ｐｐ．１５７〜１８８）に示される
ものがある。

【０００５】図９はこの文献において示されているカオ
スニューロンの電子回路モデルのブロック図構成を示す
ものである。これは、２つのサンプル＆ホールド回路
（Ｓ＆Ｈ回路）１，２と１次元写像回路３とを用い、ク
ロック４に従いＳ＆Ｈ回路１により１ステップ前の内部
状態値を保持し、これを１次元写像回路３に入力してク
ロック５に従い次の時刻の値をＳ＆Ｈ回路２の出力に得
る、という動作を繰返すようにしたものである。

【０００６】

【発明が解決しようとする課題】ところが、上記文献に
示されるようなカオスニューロンモデルは、図８に示し
たようにアナログ回路で構成されている。さらに、シン
プルなモデルとはいえ、不応期が存在する等、まだ複雑
さを有しているものである。よって、ニューラルネット
ワークの真の効力を発揮させるための大規模化が困難な
ものである。また、上記文献では、このようなカオスニ
ューラルネットワークの学習、即ち、ネットワーク状態
の更新方法については言及されていないものである。

【０００７】

【課題を解決するための手段】請求項１記載の発明で
は、複数の信号を加算する加算手段と、この加算手段の
加算結果を非線形変換する非線形変換手段と、この非線
形変換手段による変換結果を外部に出力する出力手段
と、複数の外部入力信号に対して結合係数を乗算し乗算
結果を前記加算手段へ出力する外部入力手段と、前記加
算手段の加算結果に対して係数を乗算し乗算結果を前記
加算手段へ出力する第１内部入力手段と、前記非線形変
換手段の変換結果に対して係数を乗算し乗算結果を前記
加算手段へ出力する第２内部入力手段と、加算手段に入
力させる信号を格納した記憶手段とを有する複数個のニ
ューロン素子を相互に接続してカオスニューラルネット
ワークを構成した。

【０００８】請求項２記載の発明では、請求項１記載の
発明中、加算手段に入力させる信号を格納した記憶手段
を省略した構成とした。

【０００９】また、請求項３記載の発明では、これらの
発明に関し、加算手段の加算結果をそのまま直接この加
算手段に出力する第１内部入力手段とした。

【００１０】同様に、請求項４記載の発明では、これら
の発明に関し、非線形変換手段の出力信号をそのまま直
接加算手段に出力する第２内部入力手段とした。

【００１１】さらに、請求項５記載の発明では、これら
の発明に加え、入力信号を発生させるとともに出力結果
を入力させてこれらの入力信号と出力結果とから評価値
を生成する評価手段と、この評価手段による評価値を用
いてニューロン素子内部の係数を読出してその係数を遺
伝アルゴリズムに従い更新し更新された係数を各ニュー
ロン素子に書込む遺伝アルゴリズム演算手段とを設け
た。

【００１２】請求項６記載の発明では、請求項１，２，
３又は４記載の発明に関し、入力信号を用いて結合係数
を更新する外部入力手段とした。

【００１３】請求項７記載の発明では、動的に状態が遷
移するニューラルネットワークと、このニューラルネッ
トワークから出力される信号がパルス列信号となるよう
に前記ニューラルネットワークに対して制御信号を入力
させる信号入力手段とを有するパルス信号発生装置と
し、請求項８記載の発明では、そのニューラルネットワ
ークを、請求項１，２，３，４，５又は６記載のカオス
ニューラルネットワークとした。

【００１４】

【作用】請求項１記載の発明においては、各ニューロン
素子の出力信号が動的に遷移することになり、よって、
動的な状態に対して適応性を有するニューラルネットワ
ークを容易に構築できる。

【００１５】請求項２，３又は４記載の発明において
は、その一部の構成が省略ないしは簡略化されているの
で、動的な状態に対して適応性を有するニューラルネッ
トワークをより容易に構築できる。

【００１６】請求項５記載の発明においては、評価手段
と遺伝アルゴリズム演算手段とを設けているので、動的
な状態に対して適応性を有するニューラルネットワーク
に学習機能を持たせることもでき、より柔軟性の高いシ
ステムを構築できる。

【００１７】請求項６記載の発明においては、入力信号
を用いて結合係数を更新するようにしているので、動的
な状態に対して適応性を有するニューラルネットワーク
に学習機能を持たせることもでき、より柔軟性の高いシ
ステムを構築できる。

【００１８】請求項７又は８記載の発明においては、動
的な状態に対して適応性を有するこのようなニューラル
ネットワークを用いてパルス信号発生装置を構成してい
るので、複雑なパルス列制御信号を自由に生成し得るパ
ルス信号発生装置を構築できる。

【００１９】

【実施例】請求項１ないし４記載の発明の一実施例を図
１ないし図４に基づいて説明する。図１に本実施例のカ
オスニューラルネットワークを構成する要素となる１個
のニューロン素子１０の構成例を示す。まず、複数の信
号を加算する加算器（加算手段）１１とその加算結果を
非線形変換する非線形変換部（非線形変換手段）１２と
その変換結果を外部に出力する出力部（出力手段）１３
とが順に設けられている。前記加算器１１の入力側に
は、複数個の外部入力部（外部入力手段）１４と、第１
内部入力部（第１内部入力手段）１５と、第２内部入力
部（第２内部入力手段）１６と、所定の入力信号を記憶
したメモリ（記憶手段）１７とが並列的に接続され、各
々の信号を加算器１１に入力し得るように構成されてい
る。カオスニューラルネットワークとしては、複数個の
このようなニューロン素子１０を相互に接続することに
より構成される。

【００２０】ここに、前記外部入力部１４は、例えば図
２に示すように、外部入力信号とメモリ１８に格納され
ている信号、具体的には、結合係数とを乗算器１９によ
って乗算し、この乗算結果を前記加算器１１に入力させ
るものである。

【００２１】前記第１内部入力部１５は、例えば図３に
示すように、加算器１１からの出力信号２０とメモリ２
１に格納されている信号、具体的には、所定の係数とを
乗算器２２によって乗算し、この乗算結果を前記加算器
１１に入力させるものである。

【００２２】前記第２内部入力部１６は、例えば図４に
示すように、非線形変換部１２からの出力信号２３とメ
モリ２４に格納されている信号、具体的には、所定の係
数とを乗算器２５によって乗算し、この乗算結果を前記
加算器１１に入力させるものである。

【００２３】前記出力部１３は、非線形変換部１２から
の変換結果なる出力値を一定期間保持するラッチにより
構成されている。

【００２４】前記非線形変換部１２は、テーブルルック
アップを用いて加算器１１からの出力信号を変換するも
のとしてもよく、或いは、ＤＳＰ又はＣＰＵによって非
線形関数を算出するようにしてもよい。

【００２５】なお、前述した加算器１１や乗算器１９，
２２，２５もＤＳＰ又はＣＰＵにより実現するようにし
てもよく、また、メモリ１７，１８，２１，２４は１デ
ータだけを保持するレジスタとしてもよい。

【００２６】また、このようなニューロン素子１０は、
その一部又は全部をソフトウエアにより実現するように
してもよい。

【００２７】このような請求項１記載の発明に相当する
カオスニューラルネットワーク構成によれば、メモリ１
７，１８，２１，２４に格納されている値や外部入力信
号の値によって各ニューロン素子１０の出力値が動的に
遷移するような動的挙動を示すものとなり、動的な状態
に対して適応性を有するニューラルネットワークを構築
できるものとなる。

【００２８】ここに、図１に示す各ニューロン素子１０
の構成において、メモリ１７を削除してもよい（請求項
２記載の発明に相当する）。また、メモリ１８と乗算器
１９とを実質的になくした第１内部入力部１４構成と
し、加算器１１からの出力信号２０をそのまま直接この
加算器１１に入力させるようにしてもよい（請求項３記
載の発明に相当する）。同様に、メモリ２１と乗算器２
２とを実質的になくした第２内部入力部１５構成とし、
非線形変換部１２からの出力信号２３をそのまま直接加
算器１１に入力させるようにしてもよい（請求項４記載
の発明に相当する）。これらによれば、ニューラルネッ
トワークをより容易に構築し得るものとなる。

【００２９】つづいて、請求項５記載の発明の一実施例
を図５及び図６により説明する。本実施例は、遺伝アル
ゴリズム（Ｇenetic Ａlgorithm ＝ＧＡ）を利用して、
前記実施例で説明したような構成からなるカオスニュー
ラルネットワーク２６の学習、即ち、各ニューロン素子
１０中のメモリ１７，１８，２１，２４の値の更新を行
うようにしたものである。まず、遺伝アルゴリズムの適
用方法から説明する。図５に示すように、各ニューロン
素子１０のメモリの値を因子とする遺伝子を想定する。
ここに、メモリ１８は結合係数に相当し、そのニューロ
ン素子１０における外部入力部１４の数だけ存在する。

【００３０】遺伝アルゴリズムでは、必要なデータを、
上記のように１本の遺伝子（個体）と見做してコード化
する。このような個体を複数個用意して集団を形成す
る。そして、以下の手順〜に従って処理を行う。 遺伝子（個体）を多数発生させる。 各個体をカオスニューラルネットワーク２６にロー
ドし、トレーニングデータに対する出力値から、評価値
Ｅｒを算出する。ここでは、この評価値Ｅｒが０に近い
ほど、よい評価であるものとする。 評価値を用い、ある基準値以上のものは“淘汰”す
る。 残った個体間で、“交叉”を行う。 淘汰された個体数だけ、新たに個体を発生させる。 ある割合で個体に“突然変異”を起こさせる。 上記〜を繰返し、最適な個体が見つかれば終了
する。

【００３１】なお、評価基準及び突然変異の割合は、経
験的に、任意に決定する。

【００３２】図６はこのようなＧＡを利用した学習を行
わせるための装置構成を示し、カオスニューラルネット
ワーク２６の入出力間に評価器（評価手段）２７が接続
されているとともに、カオスニューラルネットワーク２
６に対してＧＡ演算器（遺伝アルゴリズム演算手段）２
８が接続されて構成されている。

【００３３】このような構成において、評価器２７はテ
ストデータを入力信号としてカオスニューラルネットワ
ーク２６に入力し、このカオスニューラルネットワーク
２６から得られる出力結果を入力させる。そこで、この
評価器２７はカオスニューラルネットワーク２６の出力
結果と与えた入力信号とから評価関数により評価値Ｅｒ
を算出する。算出されたこの評価値ＥｒによりＧＡ演算
器２８はカオスニューラルネットワーク２６における各
メモリ１７，１８，２１，２４の値を書込み更新する。

【００３４】本実施例によれば、カオスニューラルネッ
トワーク２６の学習が可能となるため、より柔軟性の高
いものとなる。

【００３５】つづいて、請求項６記載の発明の一実施例
について説明する。本実施例も、前述した実施例で説明
したような構成からなるカオスニューラルネットワーク
２６の学習方法に関するものであるが、Ｈebb の学習則
のようなローカルな学習ルールによって外部入力部１４
におけるメモリ１８の値（結合係数値）を更新するよう
にしたものである。即ち、メモリ１８，２１，２４の更
新後、更新前の値をＭＥＭ_NEW ，ＭＥＭ_OLD 、各メモリ
値ＭＥＭ_OLD と乗算された入力値をＩＮとすると、 ＭＥＭ_NEW ＝ＭＥＭ_OLD ＋Ａ×（ＩＮ−Ｂ） なる式に従って、メモリ１８の値を更新するようにした
ものである。ここに、Ａ，Ｂの値は、経験的に、カオス
ニューラルネットワーク２６内の各メモリ１８，２１，
２４毎に任意に決定される。また、本実施例の学習方法
ではメモリ１７の値は固定値とされる。

【００３６】本実施例による場合も、カオスニューラル
ネットワーク２６の学習が可能となるため、より柔軟性
の高いものとなる。

【００３７】ついで、前述したようなカオスニューラル
ネットワーク２６を初めとして、要は、動的に状態が遷
移するニューラルネットワークの利用例として、請求項
７及び８記載の発明の一実施例を図７により説明する。
まず、動的に状態が遷移するニューラルネットワーク、
例えば、カオスニューラルネットワーク２６において
は、各メモリ値を適当に定めることにより、パルス列を
出力する。そこで、本実施例では、前述したような学習
方法によってカオスニューラルネットワーク２６を学習
することで、モータ等のパルス駆動系のコントローラと
して用い得るパルス信号発生装置３２を構成するように
したものである。例えば、図７に示すように、カオスニ
ューラルネットワーク２６から出力される信号がパルス
列信号となるようにこのカオスニューラルネットワーク
２６に対して制御信号を入力させる信号入力手段３３を
設け、カオスニューラルネットワーク２６から得られる
モータ３４に最適な制御信号をパルス列信号３５として
得るように構成される。

【００３８】この場合、動的に状態が遷移するカオスニ
ューラルネットワーク２６を利用しているため、複雑な
パルス列による制御信号も自由に生成できるものとな
り、パルス駆動系のコントローラとして適応性の高いも
のとなる。

【００３９】

【発明の効果】請求項１記載の発明によれば、複数の信
号を加算する加算手段と、この加算手段の加算結果を非
線形変換する非線形変換手段と、この非線形変換手段に
よる変換結果を外部に出力する出力手段と、複数の外部
入力信号に対して結合係数を乗算し乗算結果を前記加算
手段へ出力する外部入力手段と、前記加算手段の加算結
果に対して係数を乗算し乗算結果を前記加算手段へ出力
する第１内部入力手段と、前記非線形変換手段の変換結
果に対して係数を乗算し乗算結果を前記加算手段へ出力
する第２内部入力手段と、加算手段に入力させる信号を
格納した記憶手段とを有する複数個のニューロン素子を
相互に接続してカオスニューラルネットワークを構成し
たので、各ニューロン素子の出力信号が動的に遷移する
ことになり、よって、動的な状態に対して適応性を有す
るニューラルネットワークを容易に構築できる。

【００４０】請求項２記載の発明によれば、請求項１記
載の発明中、加算手段に入力させる信号を格納した記憶
手段を省略した構成とし、請求項３記載の発明によれ
ば、これらの発明に関し、加算手段の加算結果をそのま
ま直接この加算手段に出力する第１内部入力手段とし、
請求項４記載の発明によれば、これらの発明に関し、非
線形変換手段の出力信号をそのまま直接加算手段に出力
する第２内部入力手段とすることで、一部の構成を省略
ないしは簡略化したので、動的な状態に対して適応性を
有するニューラルネットワークをより容易に構築でき
る。

【００４１】さらに、請求項５記載の発明によれば、こ
れらの発明に加え、入力信号を発生させるとともに出力
結果を入力させてこれらの入力信号と出力結果とから評
価値を生成する評価手段と、この評価手段による評価値
を用いてニューロン素子内部の係数を読出してその係数
を遺伝アルゴリズムに従い更新し更新された係数を各ニ
ューロン素子に書込む遺伝アルゴリズム演算手段とを設
けたので、動的な状態に対して適応性を有するニューラ
ルネットワークに学習機能を持たせることもでき、より
柔軟性の高いシステムを構築できる。

【００４２】請求項６記載の発明によれば、請求項１，
２，３又は４記載の発明に関し、入力信号を用いて結合
係数を更新する外部入力手段としたので、動的な状態に
対して適応性を有するニューラルネットワークに学習機
能を持たせることもでき、より柔軟性の高いシステムを
構築できる。

【００４３】請求項７記載の発明によれば、動的に状態
が遷移するニューラルネットワークと、このニューラル
ネットワークから出力される信号がパルス列信号となる
ように前記ニューラルネットワークに対して制御信号を
入力させる信号入力手段とを有するパルス信号発生装置
とし、請求項８記載の発明によれば、そのニューラルネ
ットワークを、請求項１，２，３，４，５又は６記載の
カオスニューラルネットワークとすることで、動的な状
態に対して適応性を有するこのようなニューラルネット
ワークを用いてパルス信号発生装置を構成したので、複
雑なパルス列制御信号を自由に生成し得るパルス信号発
生装置を構築できる。

【図面の簡単な説明】

【図１】請求項１ないし４記載の発明の一実施例を示す
１つのニューロン素子のブロック図である。

【図２】その外部入力部の構成を示すブロック図であ
る。

【図３】その第１内部入力部の構成を示すブロック図で
ある。

【図４】その第２内部入力部の構成を示すブロック図で
ある。

【図５】請求項５記載の発明の一実施例を示す遺伝子に
ついての説明図である。

【図６】ブロック図である。

【図７】請求項７及び８記載の発明の一実施例を示すブ
ロック図である。

【図８】従来例を示すカオスニューロンのブロック図で
ある。

【符号の説明】

１０ ニューロン素子 １１ 加算手段 １２ 非線形変換手段 １３ 出力手段 １４ 外部入力手段 １５ 第１内部入力手段 １６ 第２内部入力手段 １７ 記憶手段 ２６ カオスニューラルネットワーク ２７ 評価手段 ２８ 遺伝アルゴリズム演算手段 ３３ 信号入力手段

Claims (8)

【特許請求の範囲】
1. 【請求項１】 複数の信号を加算する加算手段と、この
   加算手段の加算結果を非線形変換する非線形変換手段
   と、この非線形変換手段による変換結果を外部に出力す
   る出力手段と、複数の外部入力信号に対して結合係数を
   乗算し乗算結果を前記加算手段へ出力する外部入力手段
   と、前記加算手段の加算結果に対して係数を乗算し乗算
   結果を前記加算手段へ出力する第１内部入力手段と、前
   記非線形変換手段の変換結果に対して係数を乗算し乗算
   結果を前記加算手段へ出力する第２内部入力手段と、前
   記加算手段に入力させる信号を格納した記憶手段とを有
   する複数個のニューロン素子を相互に接続してなること
   を特徴とするカオスニューラルネットワーク。
2. 【請求項２】 複数の信号を加算する加算手段と、この
   加算手段の加算結果を非線形変換する非線形変換手段
   と、この非線形変換手段による変換結果を外部に出力す
   る出力手段と、複数の外部入力信号に対して結合係数を
   乗算し乗算結果を前記加算手段へ出力する外部入力手段
   と、前記加算手段の加算結果に対して係数を乗算し乗算
   結果を前記加算手段へ出力する第１内部入力手段と、前
   記非線形変換手段の変換結果に対して係数を乗算し乗算
   結果を前記加算手段へ出力する第２内部入力手段とを有
   する複数個のニューロン素子を相互に接続してなること
   を特徴とするカオスニューラルネットワーク。
3. 【請求項３】 加算手段の加算結果をそのまま直接この
   加算手段に出力する第１内部入力手段としたことを特徴
   とする請求項１又は２記載のカオスニューラルネットワ
   ーク。
4. 【請求項４】 非線形変換手段の変換結果をそのまま直
   接加算手段に出力する第２内部入力手段としたことを特
   徴とする請求項１，２又は３記載のカオスニューラルネ
   ットワーク。
5. 【請求項５】 入力信号を発生させるとともに出力結果
   を入力させてこれらの入力信号と出力結果とから評価値
   を生成する評価手段と、この評価手段による評価値を用
   いてニューロン素子内部の係数を読出してその係数を遺
   伝アルゴリズムに従い更新し更新された係数を各ニュー
   ロン素子に書込む遺伝アルゴリズム演算手段とを設けた
   ことを特徴とする請求項１，２，３又は４記載のカオス
   ニューラルネットワーク。
6. 【請求項６】 入力信号を用いて結合係数を更新する外
   部入力手段としたことを特徴とする請求項１，２，３又
   は４記載のカオスニューラルネットワーク。
7. 【請求項７】 動的に状態が遷移するニューラルネット
   ワークと、このニューラルネットワークから出力される
   信号がパルス列信号となるように前記ニューラルネット
   ワークに対して制御信号を入力させる信号入力手段とを
   有することを特徴とするパルス信号発生装置。
8. 【請求項８】 ニューラルネットワークを、請求項１，
   ２，３，４，５又は６記載のカオスニューラルネットワ
   ークとしたことを特徴とする請求項７記載のパルス信号
   発生装置。