JPH03168861A - 入力情報を学習して自己組織化を行う人工神経回路網 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は．入力情報を学習して自己組織化を行うことが
できる人工神経回路網に関するもので．．この人工神経
回路網は．例えば電子回路で実現できる．そして．この
人工神経回路網の自己組織化の過程を利用して．数学的
な組合わせ最適化問題の真の解，または極めて良好な近
似解を得ることができる．また，自己組織化された人工
神経回路網を標準パターン集合として利用することによ
り，パターン認識や情報圧縮を行うことができる． ［用語の説明］ あらかじめ．発明の名称と特許請求の範囲に記載の事項
における用語の意味するところを明示しておく． 本発明における人工神経細胞とは，複数種類の入力端子
と，１種類多分岐の出力端子と．内部状態ベクトルとを
もつ計算素子で，入力端子に与えられる入力に対して．
コスト関数の意味で入力データとの整合性を計算できる
計算素子である． 人工神経回路網とは．上のような人工神経細胞の集合を
いう． 人工神経回路網の位相とは．各人工神経細胞に対して，
別の人工神経細胞の結合がどのような形態であり．どの
ような近傍系を有しているかの様子をいう．例えば，２
次元配列や円周配列がある． 優位人工神経細胞とは，コスト関数を最小にすることが
できる人工神経細胞のことである．各人工神経細胞は．
相互に影響しあうことが許されており，これを相互結合
という．興奮性結合とは．ｆｆ位人工神経＃Ｉ胞が．他
の人工神経細胞の内部状態ベクトルを，自分の状態ベク
トルに近ずける働きをもっていることを意味する．抑制
性結合とは，優位人工神経細胞が．他の人工神経細胞の
内部状態ベクトルを，自分の状態ベクトルよりも遠ざけ
る働きをもっていることを意味する． 人工神経回路網における学習の形態の一つである自己組
織化とは，入力が与えられる度に各々の入工神経細胞の
状態ベクトルが修正され，これを繰り返すうちに修正量
が十分に少なくなり．最終的な人工神経細胞の状態ベク
トルの集合としての人工神経回路網が得られることであ
る． ［従来の技術］ 個々の人工神経細胞のもつ計算能力は低いがそれらを多
数個用いて集団効果を発揮させ計算の困難な問題を解が
せようという発惣は．■９８０年代に入ってからいくつ
が例示されている．それらの代表的なものがＪ．Ｈｏｐ
ｆｉｅｌｄによる人工神経細胞を用いた巡回セールスマ
ン問題の解決である．これは相当数のパラメータを有す
るコスト関数の最小化の問題に．解くべき問題を置き直
し，次いで正しい答えが出るようにパラメータを調整し
た後，計算実行を行うという方式である．この方法は，
かなり広範な種類の複雑な組合わせ最適化問題を高速に
解けるが，組合わせの対象となる要素数を増加していく
と解を見つけうるコスト関数のパラメータ領域が極めて
小さくなり．実際の計算に先立って見つけることができ
なくなるという欠点を有している．これは，用いる人工
神経回路網に学習する機能がないからである． パターン認識や情報圧縮の分野においては．標準パター
ンを自己組織化する方法がいくつが提案されている．こ
れらは，各入力ベクトルが与えられるごとに標準パター
ン集合を更新する逐次更新型と，すべての入力ベクトル
を一度に読み込み，その後標準パターン集合を更新する
一括更新型とに分けられる．このとき標準パターン集合
中の各要素は，人工神経細胞の内部状態ベクトルに相当
するものと解釈できる．しかしながら，一括更新型にお
いては，人工神経細胞間の位相と相互結合を与える方法
が得られていなかった．また．逐次更新型においては．
入力データをコスト最適化の意味でグループ化するとい
う過程が落ちており，さらに人工神経細胞の状態ベクト
ルについても，性質の異なるものの直積形が許されてい
ない．そして自己組織化のアルゴリズム自体が直感に依
存しているため，コスト関数の種類や更新法．そして人
工神経細胞の相互結合に著しい制約があり人工神経回路
網としては．Ｆ：カが極めて限られていた． ［発明が解決しようとする課ＭＪ 人工神経回路網を用いて複雑度の高い組合わせ最適化問
題を解がせようとする場合，学習機能のない人工神経回
路網においては，用いるコスト関数におけるパラメータ
ベクトルの存在領域が，問題の複雑度の上昇とともに急
激に小さくなり，パラメータ選択に名人芸を要する．こ
れは，ニューロコンピュータの実用性の向上にとって大
きな障害である． また，パターン認識や情報圧縮において，実質的には人
工神経細胞の内部状態の一部と等価な役割を演ずる標準
パターン集合を，自己＃Ｉｍ化により求める問題におい
ては．一括更新型の自己組織化法では，人工神経細胞に
結合と位相を手える方法が欠けており，学習結果を利用
する際に人工神経細胞を総当りで探索する必要がある．
そして何よりも結合と位相を利用する組合わせ最適化問
題に対しては，まったく無力である．また．もう一方の
逐次更新型の自己組織化法においては，入力データをコ
スト関数が非増加となるようにグループ化する部分と内
部状態ベクトルの直積化の機能が欠落している．加うる
に，理論の欠如のため．対象としうるコスト関数とそれ
に対応した人工神経細胞の内部状態の更新法が，ただ一
種類になっており．問題の適用範囲を著しく狭めている
． 本発明は．標準パターン集合を作成する従来の自己組織
化法の能力を有し．かつ組合わせ最適化問題も解くこと
ができる相互結合と位相をを有し，逐次更新と一括更新
の混在を許す形の自己組織化を行うことができる人工神
経回路網を得ることを目的としている． ［課題を解決するための手段］ 上記目的を達成するために，本発明の人工神経回路網に
おいては，以下で説明するような自己組織化を行う．た
だし，説明において不必要な繁雑さを避けるために，ま
ず逐次更新型について記述し．次いで一括更新型との結
合法について説明する． 本発明における人工神経回路網の自己組織化法は．逐次
更新のみを用いる場合，次のような写１象スケジューラ
に管理された時間的に順序性のある繰り返し演算を行う
． 「写像スゲジューラ』 写像スケジューラは，次のような規則を有しており，　
Ｓｔｅｐｌ〜Ｓｔｅｐ５における各種のパラメータ調節
や選択を行う． ●グループ化写像選択規則：与えられたコスト関数を非
増加とするグループ化写像の集合Φの中から写像を１つ
選ぶ．ただし．最適グループ化写像そのもの．あるいは
その近似写像の有限集合　Φ．の中の各要素は無限回出
現するように計画されているものとする． ●入工神経細胞の位相二位相とは人工神経細胞どうしが
結合されているときの近傍系の形態である． ●結合の定義：人工神経細胞間の興奮性および抑制性結
合の形態と強さで．これは，重みを更新できる有向グラ
フ　Ｌ　と等価である．●更新近傍縮小Ｊ！則：各人工
神経細胞の更新近傍とその縮小規則． ●更新確率の変更規則：各人工神経細胞の状態を更新す
る確率の変更規則． ●公正競争バイアスの変更規則：コスト関数最適化によ
る優位人工神経細胞を選ぶときに，優位性を確保した回
数に応じて与えるハンディキャップとしての余分なコス
トに関する変更規則？学習率の減少規ＩＩｌ：学習率と
は．人工神経細胞の内部状態の更新を行うときのＱ個の
小さな正の数値ｓ”［ｏｌｄ］，　（ｑ■０，−，Ｑ−
１）をいい，繰り返しのたびにそれを小さくする． ●繰り返し回数：学習を繰り返す回数Ｋｍｍｍｍスケジ
ューラは次の６つのステップを司る．Ｓｔｅｐｌ　（初
期状態：　ｋ＝０） 次のような初期値が与えられている． ●人工神経回路網の初期状態：これは．集合の直積の形
をしていて．　ｎ　．Ｃ　”’［ｏｌｄｌと表される．
ｎ，とは，ｑ−０がらＱ−１までの直積を意味するもの
とする． ●グループ化パターン：これは入力データをグループ化
してベクトルを作るもので，　ｕ［ｏｌｄ］で表す． ●人工神経回路網の位相：これは．各人工神経細胞が有
する近傍系の定義で， ０　　”’　（Ｃｓ　ｌｍｌ　《Ｑ’　［ｏｌｄ］，［
ｏｌｄｌ），ｎ（ｑ）＝０，−，Ｎ．−１：　　ｑ＝０
，一．Ｑ−１で表される＊　Ｃａ　ｉｌ＋１　”’　［
ｏｌｄｌは，人工神経細胞の状態の集合Ｃ　”’［ｏｌ
ｄｌの要素である．●近傍中の人工神経細胞の更新確率
：これは，優位人工神経細胞としてＣＩｌｌ＠ｌ”’が
選ばれたときに，その近傍中の人工神経細胞１，＋ｑｌ
が，自分自身の状態を更新することを認める確率ｐｌ＠
ｌ　（ｂｌｍｌ　．Ｑ　　ｌ＠ｌ　（ｃ，ｏｌ′＋１　
［０１ｄ］　．［ｏｌｄｌ），ｎ（ｑ）＝Ｏ．−，Ｎ．
，−１；　　ｑ＝Ｏ，−＋Ｑ−１をいう． ●人工神経細胞の優位回数　これは， ｈ，，，，”’［ｏｌｄｌ＝０，　ｎ（（１）＝０，−
，Ｎ＊−１；　Ｑ：０．−．Ｑ−１のように設定される
．これらの集合をＨ　［ｏｌｄｌで表す． ●結合量：これは，興奮性および抑制性結合の様式とそ
の量で．αＬ［ｏｌｄｌで表す．以上の設定をした後，
　Ｓｔｅｐ２へ行く．Ｓｔｅｐ２　（グループ化，　ｋ
：＝ｋ＋１）スケジューラは，Φの中から写像φを選択
し（　ｎ　，Ｃ　”’　［ｏ１ｄ］，ｕ［ｏｌｄｌ）に
適用してｕ［ｎｅｗｌを得る．このときのグループ化に
より，入力データは，　ｖ７，（ｊ；０，−，Ｊ−１）
というベクトル集合として表される． Ｓｔｅｐ３　（停止判定》 ｋ＝Ｋ．．．になっていれば終了し，Ｕとｎ　＠ｃ　”
’を得る． Ｓｔｅｐ４　（優位人工神経細胞の選出と更新〉Ｓｔｅ
ｐ４．　１　（優位人工神経細胞の選出）ｄ（・・）を
コスト関数とし，　ｆｍ（ｘ．ｉは．ｋ４＠でＸに近ず
く関数とする．このとき． ｄ．”’（・．ｒｌ　．Ｃ　”’［ｏｌｄ］）＝ｆｋ（
ｄ（−，　ｎ　，Ｃ　”’　［ｏｌｄ］），Ｈ［ｏｌｄ
］）を用いてｖ，［ｎｅｗ］，（ｊ＝０，−，Ｊ−１）
に対する優位人工神経細胞ｒｌ　ｑｅｗＪ”’　［ｏｌ
ｄｌを求める．そして，ｈ，　＋１１１　”’　［ｎｅ
Ｗ］＝｝ｌａｔｅｌ　”’　［ｏｌｄ］＋１を行う． Ｓｔｅｐ４．２　（　Ｆ１位人工神経細胞とその近傍系
の更Ｍ） 次の計算を行う． Ｃ・ｌ　＠　ｌ　［　ｎｅ　ｗ　］ ＝ｃ．）　”’　［ｏｌｄ］＋ｇ”　［ｏｌｄｌｒ”’
　（ｖ，，ｃ．Ｊ［ｏｌｄ］）これを確率 ｐ《鴫’　（ＣｖＪ　”’　［ｏｌｄｌ，Ｑ　　ｌ喝’
　（ｃ．，”’　［ｏｌｄ］　，（ｏｌｄｌ　），ｑ＝
０，−，Ｑ−１で実行する．ここに，　ｒ３ｍｌ（，・
）は．コスト関数を減少させる方向のベクトルである．
近傍系については，すべての ｂ”　　［ｎｅｗ］ｆ三〇　　”’　　（ｃ．，　　”
’　　［ｏｌｄｌ．　　［ｏｌｄｌ）に対して， ｂ　′″’　［ｎｅｗｌ ＝ｂ”　［ｏｌｄ］＋ｃ”　［ｏｌｄ］ｒ”’　（ｖ３
，ｂ，，［ｏｌｄ］）を確率 ｐ”’　（ｂ”’　［ｏｌｄｌ，　Ｏ　”’　（ｂ１′
ｌ’　［ｏｌｄ］，　［ｏｌｄ］）），（ｑ＝０，−．
Ｑ−１）で実行する． Ｓｔｅｐ４．３　（興奮性および抑制性結合をもつ人工
神経細胞とその近傍系の更新》 ｅ”’　［ｏｌｄ］は，　ｃ．４”’［ｎｅｗ］と興奮
性または抑制性結合が決められているとする．このとき
，次のような更新を行う． ｂ”’　［ｏｌｄｌＦＯ　”’　（ｅ”’　［ｏｌｄ］
，　（ｏｌｄｌ）に対して．ｂ”’［ｎｅｗｌ ＝ｂ”　［ｏｌｄｌ±ｔ　”　［ｏｌｄ］ｓ”’　（Ｖ
Ｊ　，ｂ”　［ｏｌｄ］）ここに　ｇ　ｌ　ｑ　１　（
・．・〉は，コストを減少させる方向のベクトルである
．これを，確率αＬ［ｏｌｄｌｘｐ”’（ｂ”’（ｏｌ
ｄｌ，Ｏ　　ｌｔ＋ｌ（　ｂ＋１−ν　［ｏｌｄｌ．　
　［ｏｌｄｌ　　））で行う．αＬ［ｏｌｄ３Ｆ　（０
，　ｌ　）は．結合の強さである＋ｔ　”　［ｏｌｄ］
は興奮性結合を，　−ｇ”’［ｏｌｄｌは抑制性結合を
意味する． 次に，　Ｓｔｅｐ５へ行く． Ｓｔｅｐ５　（各種変更規則の実行〉 ？Ｏ　”’（．［ｏｌｄｌ）を近傍縮小規則に従って変
更し　■　ｔ′Ｉ＋（．，［ｎｅｗｌ）とする．●更新
確率を変更規則に従って調節する。

●結合量αＬ［ｏｌｄ］を調節して，αＬ［ｎｅｗ］を
得る．●学習率ｔ　（　ｓ　ｌ　［　Ｏｌ　ｄ　］を調
節してｔ’　ｃ”［ｎｅｗ］を得る。

＊　［ｏｌｄｌト［ｎｅｗｌとし，　Ｓｔｅｐ２へ戻る
．上で説明した人工神回路網の自己組織化法は，写像φ
を適用する度に生戒されるグループ化済ベクトルＶ，を
１つ得て，それにより人工神経細胞の状態更新を行うも
のである．これに対して，複数個あるいは全てのグルー
プ化済みのベクトルＶＪ．　（ｊ・Ｏ，−．Ｊ−１）を
用いる一括更新も可能である．このときは，更新すべき
人工神経細胞毎にコストの意味で最隣接となるＶ，を集
め，更新における修正量の平均値を用いる．あるいは，
最隣接となるＶ，の集合に対する重心を求めそれを更新
された人工神経細胞の状態ベクトルとする．この場合．
公正競争のバイアスに関連するｈａ　＋＊ｌ　”’　［
ｎｅＷ］は，ｈ＋＋　ｌ−Ｑｌ　［ｎｅｗｌ ＝ｈ＊　ｌ＠）［ｏｌｄｌ＋（ｃ．ｉ．）”’　［ｏｌ
ｄ］に対するｆＩｉ合中の要票数〉により計算を行う．
ただし２この分割には，ｃ．１．１　”’［ｏｌｄ］と
結合している人工神経細胞が代表点となっている分割集
合中にある人工神経細胞を，確率αＬ．［０１ｄ］ｐｌ
＊＋で加えておく．これが．相互結合を意味する． 写像スゲジューラは，このようないくつかのグループ化
済みベクトルＶ，が与えられた後での人工神経細胞の値
の修正を，一括更新に置き替えるか．あるいは逐次更新
と一括更新の混合を許すようにすることができる． ［作用］ 上記のような構成と自己組織化法をもつ人工神経回路網
においては，必要に応じて性質の異なる状態を直積とし
て分離できる構造があること．逐次更新と一括更新の混
合が可能であること．人工神経細胞間の位相と相互結合
があること，公正競争バイアスがあること．そして確率
性があること，多様なコスト関数を扱えることといった
豊富な性質を備えており，自己組織化をする人工神経回
路網としては広範な学習能力を有している． このため，従来から行われているパターン認識や情報圧
縮のための標準パターン集合の作成だけではなくて，自
己組織化の学習過程を利用して，計算機科学に数多く見
受けられる複雑度の高い組合わせ最適化に対する真の解
または良好な近似解を得ることができる． ［実施例］ 実施例について，図面を参照して説明する．第ｌ図は．
人工神経回路網の自己組織化を実現する一実施回路を表
している．ｌで示される部分は．自己組織化の過程を司
るスゲジューラである．２で示される部分は学習に用い
られるデータの入力端子である．これは３で表される入
力層に蓄積され，スゲジューラ内の計算機構によりグル
ープ化され．ベクトルを作る．情報経路７は．このとき
に用いられる．次いで，１で示されるスゲジューラから
８で示される経路を通じて送られる情報により，４で逐
次更新か一括更新が選ばれ．５で示される部分で人工神
経細胞の更新計算を行う．この過程は９で示される情報
経路を用いて，ｌで示されるスケジューラに監視される
．更新計算された人工神経細胞は．６で示される人工神
経回路網として保存される．この内容は．１０で示され
る情報経路により，ｌで示されるスゲジューラが入手で
きるようになっている．この情報は．３で示される入力
層でのデータのグループ化に用いられる．第２図は，「
課題を解決するための手段」において与えておいた人工
神経回路網の自己組織化法を表すフローチャートである
．　１１で示される部分はスゲジューラである，　１２
は，初期化を行う部分である．　１３で示される部分で
データのグループ化を行い，１４で示される部分で人工
神経細胞の状態を更新する，　１５で示される部分は学
習Ｊｉ　ＩＩに従ってパラメータや結合と近傍系，そし
て確率を更新する部分である．そして，再びｌ３で示さ
れる部分へ戻る．この繰り返しは．自己組織化終了の判
定条件が満たされたとき．ｌ６で示される終了の部分に
移る．破線１７．　１Ｂ．１９．　２０は，スケジュー
ラ１１の支配化にあることを意味している． ［発明の効果］ 本発明は，以上説明したように構成されているので，以
下に記載されるような効果をもたらす． まず．自己組織化という学習の過程を利用する場合には
．直列処理計算機では極めて困難となる組合わせ最適化
問題に対して，速やかに真の解または良好な近似解を得
ることができる計算機として使用することができる． これは．解くべき問題ごとに．その組合わせ最適化問題
をコスト関数の最適化に置き直して．本発明による自己
組織化をおこなうものである． 一方，自己組織化された結果としての人工神経回路網を
利用することも可能である．この場合，入力に対してグ
ループ化を行い，そのとき生成された各ベクトルに対し
て，優位人工神経細胞をを求める．これは．パターンマ
ッチングに相当する．各人工神経細胞を指定する情報量
は．入力データの情報量よりずっと少ないのでデータ圧
縮にもなっている．この過程は，人工神経回路網を連想
メモリとして用いていることに相当する．

【図面の簡単な説明】

第１図は，自己組織化を行うことができる人工神経回路
網の一実施回路図，第２図は，本発明における人工神経
回路網の自己組織化の過程で行われる計算のステップを
．フローチャートとして表したものである．１−スケジ
ューラ，２一人カデータ．３一人力層，４一逐次更新型
と一括更新型とのスイッチ，５一人工神経細胞の状態の
更新計算機構，６一自己組織化される人工神経回路網．
７．８，９．１０−スゲジューラとの問の情報経路．　
１１−スゲジューラ．　１２一初期値設定部分．　１３
−グループ化計算．　１４一人工神経繕胞の更新計算．
　１５−パラメータ．近傍系，確率の更新 １６一自己組織化された人工神経回路網を採用し２ 計算を終了する部分， １７． １８， １９， ２０

Claims (1)

【特許請求の範囲】
1. １　与えられたコスト関数が増加しないように入力デー
   タを分割した後、得られた分割要素の一つ一つを入力ベ
   クトルとし、そのコスト関数を最適化する意味で最も優
   れた人工神経細胞を選び、その人工神経細胞の内部状態
   を意味する数値ベクトルをコスト関数が非増加となるよ
   うに更新し、さらにその人工神経細胞と相互結合してい
   る他の人工神経細胞の内部状態を、興奮性結合の場合に
   は自分に近ずけるように、そして抑制性結合の場合には
   遠ざけるように更新してから再び入力データの分割に戻
   り、これを反復することにより人工神経細胞群の自己組
   織化を行う人工神経回路網。