JPH02100167A - ニューラル・ネット情報処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） この発明は最適化問題、各種制御、信号変換、パターン
認識、連想記憶等の情報処理システムに利用されるニュ
ーラル・ネット情報処理システムに関する。

（従来の技術） 生体のニューラル・ネットの機能を模した情報処理シス
テムとして、ニューラル・ネット情報処理システムが知
られている。ニューラル・ネット情報処理システムそれ
自体は、例えば、合原−幸著「ニューラルネットコンピ
ュータ」、東京電機大学出版局、昭和６３年、等に記載
されている。

第７図にアナログ構成のニューラル・ネットの一例を示
す、第７図に示される回路の１つのアンプが生体の１個
のニューロンの細胞体に対応する。

そして、１番目のアンプの出力電圧ＸＪのフィードバッ
ク線がｉ番目のアンプの入力線に抵抗（正のコンダクタ
ンス）Ｗ・、を介して接続され、これＪ が生体における興奮性シナプス結合に対応する。

なお、抑制性シナゲス結合が必要な場合には、アンプの
反転出力電圧（−ｘ−）が使用される。

抵抗ｗｉｊを介して流入する電流平ｗ１ｊ−Ｘ、と外部
から流入する電流■・が加算され、コンデンサＣ１と抵
抗ρｉを介してアースされ、ｉ番目のアンプに入力電圧
Ｕ、が印加される。

アンプの出力関数としては、通常その入出力の静特性ｆ
　（ｕ、）が第８図の実線あるいは破線に■ 示すようなシグモイド関数が使用され、アンプは入力電
圧Ｕ、に対応する電圧Ｘ、を出力する。

第７図に示されるニューラル・ネットの動特性を数式で
表現すれば、第１式から第３式に示されるようになる。

・・・　（１） ｘ＞　　＝ｆ　　（ｕ　・　） ・・・　（２） 第７図のニューラル・ネット（回路）のシナゲス結合を
対称的（Ｗｌｊ−Ｗｊｉ）とすれば、このニューラル・
ネットは、第４式に示されるエネルギー関数（リアプノ
フ関数）を持つ。

・・・　（４） 第７図のニューラル・ネットはエネルギー値Ｅか減少す
る方向に動作し、エネルギー値Ｅの極小点が回路のアト
ラクタ（定常状態）に対応する。

第７図の回路を用いて、情報処理を行なう場合、まず、
目的とする情報処理に応じて最小値が最良の状態を意味
するエネルギー関数を定める必要がある。エネルギー関
数は極小点が７トラクタに対応するという性質を利用し
て決定される。求められたエネルギー関数は第４式の形
式に変形され、シナプス荷重Ｗ・、と入力電流■、の値
が定められＩＪ　　　　　　　　　　　　　ｌ る。求められたシナプス荷重ｗ−と入力電流■Ｊ が第７図の回路にセントされる。この状態で１回路を動
作させ、アンプの出力Ｘ、により第４式の解が得られる
。

ニューラル・ネットを応用した情報処理システムは、（
１）巡回セールスマン問題等の数理計画（オペレーショ
ナル・リサーチ）分野における最適化問題の求解、（２
）ロボット制御、（３）Ａ／Ｄ（アナログ／デジタル）
変換、（４）時系列の認識、等に使用できる。

（発明が解決しようとする課題） ニューラル・ネットは一般に複数のアトラクタを持つ。

即ち、第４式のエネルギー関数は、第９図に模式的に示
されるように深さの異なるいくつかの谷、例えば、Ｅｌ
とＥ２を持つ、このため、ルートＡに示すように、ニュ
ーラル・ネットのエネルギーが最も深い谷Ｅ１に相当す
るアトラクタ状態に早く到達することが望ましい、しか
し、アンプに設定される初期値や、アンプの出力関数の
形状等により、ニューラル・ネットのエネルギーがルー
トＢあるいはルートＣのように浅い谷Ｅ２にトラツプさ
れ、システムが不適切な解を出力する可能性がある。

このため、第７図のアンプの初期値や第８図に示される
出力関数の形などの任意に設定できる値を種々変えてシ
ステムを動作させることが行われている。また、アンプ
に強制的にノイズを加え、システムが浅い谷にトラップ
されるのを回避するすることも行われている。

しかし、これらの方法では、情報処理結果を得るのに時
間がかかり、ニューラル・ネット情報処理技術の長所で
ある高速処理性を弱める。特に、ニューラル・ネット情
報処理システムをオンラインリアルタイム情報処理分野
で使用する場合は致命的な問題となる。

この発明は、上記実情に鑑みてなされたもので、エネル
ギー関数値の最小に近い解を、より迅速に得ることがで
きるニューラル・ネット情報処理システムを得ることを
目的とする。

（課題を解決するための手段） この発明では、エネルギー（リアブノフ）関数値が極小
になる点に安定点を有することを利用して、情報処理を
行なｌ、、、ｚ、−ラル・ネット情報処理システムを、
同一構造のニューラル・ネットではあるが、その設定可
能な値（例えば、ニューラル・ネットを構成するアンプ
の出力関数、バイアス電圧、初期値）が異なるｎ（ｎは
２以上の整数）個のニューラル・ネットと、前記ｎ個の
ニューラル・ネットの出力を受け、各ニューラル・ネッ
トのエネルギー関数値を求め、求められた複数のエネル
ギー関数値を比較し、エネルギー関数値が最小値になっ
ているニューラル・ネットを判定する判定手段と、前記
判定手段の判定結果を受け、エネルギー・関数値が最小
値になっているニューラル・ネットの出力を、情報処理
結果として選択して、出力する出力手段と、より構成す
る。

（作用） 上記構成においては、設定値が異なるニューラル・ネッ
トがｎ個同時に動作する。ｎ個の二ニー・ラル・ネット
の出力は判定手段に供給され、各ニューラル・ネットの
エネルギー関数値が求められる。出力手段は最小のエネ
ルギー状態にあるニューラル・ネットの出力を自動的に
選択して出力する。このため、最適な解を短時間に求め
ることができる。

（実施例） 以下、この発明の第１の実施例を第１図を参照して説明
する。

第１図の装置は、０組のニューラル・ネット１１−１〜
１１−ｎを備える。ニューラル・ネット１１−１　＝−
１１−〇は、例えば、第７図に示される構成を有し、構
成自体は互いに同一である。ニューラル・ネッ）　１１
−１〜１１−ｎには１対１の関係でエネルギー関数値演
算回路２１−１〜２１−ｎが接続され、ニューラル・ネ
ット１１−１〜１１−ｎの出力は対応するエネルギー関
数値演算回路２１−１〜２１−ｎに供給される。エネル
ギー間数値演算回路２１−１〜２１−ｎは通常知られた
演算回路でよく、例えば、ニューラル・ネット１１−１
〜１１−ｎを構成するアンプの出力を受けるバッファと
、ＣＰＵと、周辺回路から構成される演算回路が使用で
きる。エネルギー関数値演算回路２１−１〜２１−ｎュ
ーラル・ネット１１−１〜１１−ｎのエネルギー関数値
Ｅを算出する。エネルギー関数値演算回路２１−１〜２
１−ｎの出力は最小値判定回路ｌに供給される。Ｉ＆小
値判定回路１はエネルギー関数値演算回路２１−１〜２
１−ｎの出力を受けて、最小のエネルギー状態にあるニ
ューラル・ネットを判定し、そのニューラル・ネットの
出力を通過させるためのゲート指令を出力する。

最小値判定回路１とニューラル・ネット１１−１〜１１
−ｎに、ゲート回路２が接続される。ゲート回路２は、
例えば、通常知られた３ステートバツフア等から構成さ
れ、最小値判定回路１からのゲート指令を受けて、指定
されたニューラル・ネットの出力を通過させる。

第１図に示される装置の動作に先立ち、目的とする情報
処理問題に対してエネルギー関数が定められる。エネル
ギー関数に従って定まるシナプス荷重Ｗ、、および入力
電流Ｉ・の値を、各二二−ラＩＪ　　　　　　　　　　
　　　　　　　ｌル・ネット１１−１〜１１−ｎ及びエ
ネルギー関数演算回Ｈ２１１〜２ｌ−ｎｃ：　セ−ｙ　
トＬｔ’！。

例えば、第１図のシステムをｍ個の都市を最短距離で巡
回する道順を求める巡回セールスマン問題の情報処理に
用いる場合、エネルギー関数を第５式のように定めるこ
とができる。

第５式の意味を簡単に説明すると、アンプ出力ｘ７．が
“１”であることは都市ｙを１番目に訪問する事を意味
している。ｄ、２は都市ｙと都市Ｚの距離を、Ａ、Ｂ、
Ｃ，Ｄは各項のウェイト付けをする定数である。第５式
の第１項は同−都市を１回以下訪問すれば、０であり、
２回以上訪問すれば、正の値になる。従って、例えば、
同一の都市を複数回訪問する解が出れば、エネルギー関
数値Ｅの第１項が大きくさ、ｐ゛・１ネルギー関数値８
が大きくなる。第５式の第２項は同時に２つ以上の都市
を訪問する解が出れば、正の値になる。従って同時に複
数の都市を訪れる（現実には起り得ない）解がでれば、
第２項が正の値となり、エネルギー関数値Ｅが大きくな
る。第３項は正確にｍ個の都市を訪問する解が出れば０
となり、そうでない時には正の値になる。従って、例え
ば、訪問する都市の数がｍより少ない或は多い場合、第
３項が正の値になり、エネルギー関数値Ｅが大きくなる
。第４項は巡回した距離の総和を意味し、巡回距離の総
和が大きくなるに従って、大きな値になる。従って、こ
のエネルギー関数値Ｅが最小になる時の状態がＩ＆適解
を与える。

第５式を第４式の形に変形することにより、Ｘの２次項
の係数からシナプス荷重Ｗ１．が、Ｘの１Ｊ 次項の係数から入力電流■、が定まる。求められたシナ
プス荷重Ｗ８．と入力電流■、がニューラルＩＪ　　　
　　　　　　　　　　Ｉ ・ネット１１−１〜１１−ｎ及び各エネルギー関数値演
算回路２１−１〜２１−ｎにセットされる。なお、第４
式右べて十分に小さいので、エネルギー関数値Ｅの演算
時には、無視してよい、従って、巡回セールスマン問題
の場合、第４式の代わりに、第５式でエネルギー関数値
Ｅを求めても良い、この場合、５ｗ１ｊ、■１の代わり
に定数Ａ、Ｂ、Ｃ，Ｄ、ｍ、ｄ、７をエネルギー関数値
演算回路２１−１〜２１−ｎにセットする。

次に、ニューラル・ネット毎に設定値の組をセットする
０例えば、あるニューラル・ネットの１番目のアンプに
第８図の実線で示される関数をセットし、他のニューラ
ル・ネットの１番目のアンプに第８図の破線で示される
関数をセットする。

同様に、各アンプの初期値あるいはバイアス電圧等の任
意に設定できる他の値も適当にセットされる。設定値は
一部が同一であっても組として互いに興なれば良い。

次に、ニューラル・ネット１１−１〜１１−ｎを一斉に
ランさせる。エネルギー関数値演算回路２１−１〜２１
−ｎはニューラル・ネット１１−１〜１１−ｎの出力（
それを構成するアンプの出力）の変化を監視する。

エネルギー関数値演算回路２１−１〜２１−ｎはニュー
ラル・ネット１１−１〜１１−ｎの出力が定常状態に達
すると対応するニューラル・ネット１１−１〜１１−ｎ
のエネルギー関数値Ｅを算出する。なお、ニューラル・
ネットをランさせた後所定時間経過した時点でエネルギ
ー関数値Ｅを計算しても良い、最小値判定回路１は、求
められたエネルギー関数値Ｅを比較し、エネルギーが最
小の状態にあるニューラル・ネットを判断し、そのニュ
ーラル・ネットの出力を通過させるゲート指令を出力す
る。

ゲート回路２は、最小値判定回路１からのゲート指令で
指定されたニューラル・ネットに対応するゲートを開き
、そのニューラル・ネットの出力を通過させ、このシス
テムの出力とする。

前記実施例のニューラル・ネットは、第７図に示される
ようなアナログ回路タイプのものに限定されない、デジ
タル演算素子でニューラル・ネットを構成しても良い、
この場合、第１式の微分方程式は離散形に変形される。

この発明は上記実＃ｉ例に限定されず、第２図に示され
る実施例のように構成しても良い、第２図では、単一の
エネルギー関数値演算回路２１がスイッチ３を切替えて
、ニューラル・ネット１１−１〜１１−ｎの出力を走査
し、時分割で各ニューラル・ネッｆ−１１−１〜１１−
ｎのエネルギー関数値を求める。最小値判定回路ｌは走
査により得られた、複数のエネルギー関数値Ｅを記憶し
、最小のエネルギー関数値Ｅを判定する。ｉ小値判定回
路１は最小のエネルギー状態にあるニューラル・ネット
の出力を選択するためのゲート指令を出力する。このよ
うな構成は、エネルギー関数値演算回路２１によるエネ
ルギー関数値Ｅの演算に要する時間がニューラル・ネッ
ト１１−１〜１１−ｎが定常状態に達するまでの時間に
比べ十分に短い場合に特に有効である。

第３図にこの発明の他の実施例を示す、第３図に示され
る構成の特徴は第２図に示される構成に設定回路３１が
追加されていることである。設定回路３１はエネルギー
関数値演算回路２１の出力を受け、ニューラル・ネット
２１−１〜２１−ｎを構成するアンプのシグモイド関数
、バイアス値、初期値等を設定する。設定回路３１は、
例えば、ＣＰＵとＩ１０デバイス等を備えるマイクロコ
ンピュータから構成される。

第３図に示されるシステムの動作の一例を第４図を参照
して説明する。まず、設定回路３１は離散的にニューラ
ル・ネット１１−１〜１１−ｎの設定値をセットしくス
テップＳ１）、各ニューラル・ネットを動作させる（ス
テップＳ２）、ニューラル・ネット１１−１〜１１−ｎ
の出力が定常状態に達すると、エネルギー関数値演算回
路２１はニューラル・ネット１１−１〜１１−ｎの出力
を走査しつつ、エネルギー関数値Ｅを求める。最小値判
定回路１は求められたエネルギー関数値Ｅのうちから最
小値を判定し、対応するニューラル・ネットの出力を通
過させるためのゲート指令を出力する。

設定回路３１は得られたエネルギー関数値Ｅに基づいて
、ニューラル・ネット１１−１〜１１−ｎの設定値と得
られたエネルギー関数値Ｅを対応させたテーブルをメモ
リ内に作成する（ステップＳ３）、前述の動作がｍ回繰
返される（ステップ５４）１以上の動作により、ｍｘｎ
組の離散的な設定値とエネルギー関数値Ｅの対が得られ
る。

設定回路３１は求められたｎＸｍ個のエネルギー関数値
Ｅの値の内、小さいエネルギー関数値Ｅをｐ個選択する
（ステップＳ５）、設定回１ｉ３１は１個のエネルギー
関数値が得られた時の設定値のそれぞれについて９組の
類似の設定値を求める。設定回路３１は求められた類似
の設定値を各ニューラル・ネットにセットする（ステッ
プＳ６）、設定回路３１はニューラル・ネット１ｌ−Ｉ
Ｎ１１−ｎを動作させる（ステップＳ７）、エネルギー
関数値演算回路３１はエネルギー関数値Ｅを求め、最小
値判定回路１は最小のエネルギー関数値を示すニューラ
ル・ネットの出力を通過させるためのゲート指令を出力
する。上記動作が繰返され、ｐｘｑ個の設定値が全て設
定され、出力が求められると、このシステムの動作は終
了する（ステップＳ８）。

第３図のような構成とすると、最初のｍ回は設定値を離
散的（できるだけ異なった状態）に設定するめ“で、シ
ステムが１つの浅い谷のみにトラップされる恐れはない
、さらに、後半は比較的小さいエネルギー関数値が得ら
れたときの設定値に類似する設定値がセットされるので
、最小のエネルギー状態であるシステムの出力を比較的
容易に求めることができる。この結果、正確な最小値を
短時間に得ることができる。

前記実施例では、巡回サラリーマン問題を解く場合を例
に説明したが、この発明はこれに限定されず、他の種々
の応用が可能である。

−例として、ニューラル・ネットを４ビツトのＡ／Ｄ変
換に用いる場合を考える。アナログ入力電圧Ｐをニュー
ロン４個からなるニューラル・ネットに入力し、ニュー
ラル・ネット出力ＶＯ〜■３の並びで４ビツトデジタル
値を示す、この場合、エネルギー関数は第６式のように
なる。

ｊ；Ｏ ・・・　（６） 第７式となる。

第７式と第４式を比較することにより、ニューラル・ネ
ットのパラメータを第８式、第９式で示されるように決
定できる。

２ｉ−１ｉ １、＝（−２＋２　　　・　Ｐ）　　　　・・・（９）
電 出来上がったニューラル・ネットを第５図に示す、第５
図は第７図とは異なった表現方式を採用しているが、■
は、結合を示し、その脇に記載されている数字は結合の
度合いを示す０例えば、第２のニューロン（アンプ５３
）にはアナログ入力ポテンシャルＰを４倍して入力する
。アンプ５１〜５４の出力はインバータ５５〜５８によ
り反転され、出力される。

この実施例では、第５図のニューラル・ネットを第６図
に示されるように複数配置する。複数のニューラル・ネ
ット１１−１〜１１−ｎの出力はデジタル・アナログ変
換回路６１によりＤ／Ａ変換される。

Ｄ／Ａ変換回路６１の出力電圧とアナログ入力電圧Ｐの
偏差Δが偏差回路６２により求められる。偏差図１１６
２の出力Δは２東回路６３により２乗される。

最小値判定回路１は偏差の２乗値Δ２が最小となるニュ
ーラル・ネットを指示するゲート指令を出力する。ゲー
ト回路２はゲート指令に応答し、偏差の２乗値Δ２が最
小となるニューラル・ネットの出力を通過させる０通過
した、出力ＶＯ〜■３が入力電圧Ｐに対応するデジタル
値となる。

なお、第６図の構成に、第３図に示される設定回路３１
を追加しても良い。

その曲、この発明は上記実施例に限定されず、種々の変
形が可能である。

し発明の効果］ 前述したように、ニューラル・ネットを可動させで定常
状態に落着いた時、エネルギー関数値は極小になってい
るが、最小になっているとは限らない、このため、アン
プにセットする初期値やアンプ出力関数の形を種々変え
て）３返し情報処理を行なう必要があり、ニューラル・
ネットの高速処理性が減殺されていた。これに対し、本
発明のニューラル・ネット情報処理システムでは、アン
プの初期値や出力関数が異なる複数組のニューラル・ネ
ットを同時に可動させ、それらの中のエネルギー関数値
が最も小さい状態にあるニューラル・ネットの出力を自
動的に選択して出力することができ、情報処理時間を短
縮できる０例えば、１組のニューラル・ネットを利用し
た装置では、従来の単一のニューラル・ネットによる場
合に比べて１倍高速になり、特に、高速処理が必要なオ
ンラインリアルタイム処理に適したニューラル・ネット
処理システムを得ることができる。

【図面の簡単な説明】

第１図はこの発明の一実施例にかかる情報処理システム
の構成図、第２図、第３図は第１図に示−′れる情報処
理システムの変形例を示す図、第４図は第３図に示され
るニューラル・ネット情報処理システムの動作を説明す
るためのフローチャート、第５図は４ビツトＡ／Ｄ変換
用のニューラルネットの構成の一例を示す図、第６図は
第５図に示されるニューラル・ネットを用いた、Ａ／Ｄ
変換回路の構成を示すブロック図、第７図はアナログ式
のニューラル・ネットの構成の一例を示す回路図、第８
図はニューラル・ネットを構成するアンプの出力関数を
示す図、第９図はエネルギー関数を説明するための図で
ある。 １・・・最小値判定回路、２・・・ゲート回路、３・・
・スイッチ、１１−１〜１１−ｎ・・・ニューラル・ネ
ット、２１−１〜２１−ｎ・・・エネルギー関数値演算
回路、３１・・・設定回路、５１〜５４・・・アンプ、
５５〜５８・・・インバータ、６１・・・デジタル・ア
ナログ変換回路、６２・・・偏差回路、６３・・・２乗
回路。 第１図 第 図 第 図 第 図 第 図 第９図

Claims (1)

1. 【特許請求の範囲】 　エネルギー関数値が極小になる点に安定点を有するこ
   とを利用して、情報処理を行なうニューラル・ネット情
   報処理システムにおいて、 任意に設定可能な値が異なる同一構造のｎ（ｎは２以上
   の整数）個のニューラル・ネットと、前記ｎ個のニュー
   ラル・ネットの出力を受け、各ニューラル・ネットのエ
   ネルギー関数値を求め、求められた複数のエネルギー関
   数値を比較し、エネルギー関数値が最小値になっている
   ニューラル・ネットを判定する判定手段と、 前記判定手段の判定結果を受け、エネルギー関数値が最
   小値になっているニューラル・ネットの出力を、情報処
   理結果として選択して、出力する出力手段と、 を備えることを特徴とするニューラル・ネット情報処理
   装置。