JPH08235146A

JPH08235146A - 確率的非巡回神経回路網の学習法

Info

Publication number: JPH08235146A
Application number: JP7041752A
Authority: JP
Inventors: Yoshihiro Ochiai; 慶広落合; Shin Mizutani; 伸水谷; Tadashi Uchiyama; 匡内山; Noboru Sonehara; 曽根原　　登; Kazuchika Watanabe; 一央渡辺; Takafumi Ohori; 隆文大堀
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1995-03-01
Filing date: 1995-03-01
Publication date: 1996-09-13

Abstract

(57)【要約】【目的】連続非線形ユニットと線形しきい値ユニット
が混在するような神経回路網に対して、微分処理や逆伝
搬処理を用いることなく簡単な相関処理のみを用いて学
習を行なえるようにする。【構成】それぞれのユニットのしきい値に、互いに無
相関で分散１のゆらぎを加える（ステップ１０２）。教
師データに対する出力誤差とユニットでのゆらぎとその
ユニットへの入力との積の時間平均を求め、この時間平
均からそのユニットについての重みの更新量を計算し、
重みの修正を行なう（ステップ１０３）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、神経回路網（ニューラ
ル・ネットワーク; Neural Network）の学習法に関し、
特に、確率的非巡回神経回路網の教師あり学習法に関す
る。

【０００２】

【従来の技術】生体の脳内での情報伝達をモデル化して
各種の問題解決を図る神経回路網が注目されている。神
経回路網では、ニューロンとも呼ばれる複数のユニット
が接続され、１つのユニットには一般に他の複数のユニ
ットの出力が入力している。ユニットの結合部位のこと
をシナプスともいう。各ユニットの出力値は、他のユニ
ットから入力する値にそれぞれ重み（結合係数）を乗じ
て加算した和に応じて決定され、この和からそのユニッ
トの出力値を算出するアルゴリズムに応じ、ユニット
は、連続非線形ユニットや線形しきい値ユニットに分類
されている。神経回路網は、各ユニットでの重み（結合
係数）を変化させることによって、学習を行なうことが
できる。階層構成となった神経回路網に対する学習法と
しては、誤差逆伝搬（ＢＰ; error Back Propagation）
法が有名である。

【０００３】ところで、誤差逆伝搬法とは異なる学習法
として、並列相関学習法（ＰＣＬ;Parallel Correlatio
n Learning method）がある。並列相関学習法は、独立
・無相関なしきい値ゆらぎを学習に直接利用する方法で
あり、階層構成をとらない神経回路網の学習も可能であ
る。以下、並列相関学習法について説明する。

【０００４】図１は非巡回形（フィードフォワード形）
の神経回路網の一例を示す図であり、複数のニューロン
（ユニット）５１がシナプスによって結合している。図
２は並列相関学習法で用いられるニューロンモデルを示
す図であり、個々のニューロン５１内での処理を図解し
たものである。このニューロンモデルは、ゆらぎの発生
源を持ち、情報伝達諸量が時間的に揺らいでいることを
除けば、従来のニューロンモデルと同様のものである。
すなわち、図２に示すように、パターンｐに対するニュ
ーロン（ユニット）ｋの情報伝達量は以下のように記述
できる。ただし、ｆ{・}は入出力関数、Ｄ(ｋ)はニュー
ロンｋに直接情報伝達している下位ニューロン集合、^T
は転置、ｔは時間を表わす。

【０００５】

【数１】なお、結合係数

【０００６】

【外１】は、集合Ｄ(ｋ)中のユニットｊからユニットｋへの結合
の重みｗ_jkを要素とするベクトル

【０００７】

【数２】として表わされており、ユニット間の結合の程度を示す
ものである。また、しきい値関数ｎ_k(ｔ)には、ゆらぎ
が含まれている。

【０００８】ここで、連続非線形ユニットの場合と線形
しきい値ユニットの場合について、並列相関学習法にお
ける学習則を説明する。

【０００９】（１）連続非線形ユニットの場合：［文
献：渡辺一央、三谷光照、西田啓蔵、大堀隆文；”しき
い値ゆらぎを利用した多層パーセプトロンの並列相関学
習法”,信学論Ｄ-II,投稿中］連続非線形ユニットからなる神経回路網の出力ベクトル
に関して、微分可能な出力誤差関数ｅ(ｐ,ｔ)を考え
る。微分可能であれば、その関数形にはこだわらない。
入力総和の平均ａ_k(ｐ)は、次式で表わされる。

【００１０】

【数３】このとき、入力総和の中のゆらぎ成分ｍ_k(ｐ,ｔ)は、

【００１１】

【数４】となる。各ユニットのａ_k(ｐ),ｍ_k(ｔ),ｎ_k(ｔ)からな
るベクトルを、それぞれ

【００１２】

【外２】によって表わす。ここで、ゆらぎに、条件１：「しきい
値ゆらぎベクトル

【００１３】

【外３】は十分に小さい」を設定すると、ｍ_k(ｔ)はユニットｋ
へ情報を伝達しているユニットｊ群のしきい値ゆらぎｎ
_j(ｔ)群の線形和で近似できるので、ゆらぎ成分ベクト
ル

【００１４】

【外４】は係数行列Ｃを用いて次式のように表わされる。

【００１５】

【数５】式(7)により、ゆらぎ成分ベクトルはしきい値ゆらぎベ
クトルの１次形式で近似できる従属変数で、

【００１６】

【数６】の時、

【００１７】

【数７】となるから、ｅ(ｐ,ｔ)は、独立変数

【００１８】

【外５】のみに関するテーラー展開を用いて次式で表わされる。

【００１９】

【数８】全ユニットのゆらぎが存在しない状態、すなわち

【００２０】

【数９】であるときの出力誤差関数値

【００２１】

【数１０】を、ユニットｋへの結合係数

【００２２】

【外６】に関する最急降下法によって最小化することを考える
と、結合係数の修正式

【００２３】

【外７】は、次式で与えられる。

【００２４】

【数１１】式(8)の両辺に、右辺から

【００２５】

【外８】を乗じ、その期待値を求めると、次式を得る。

【００２６】

【数１２】ここで、条件２：「しきい値ゆらぎベクトルの時間平均
が０、すなわち

【００２７】

【数１３】である」と条件３：「各ユニット間でゆらぎに相互相関
がない。すなわち、

【００２８】

【数１４】である」を設定する。ただし、

【００２９】

【外９】は対角行列を表わす。

【００３０】その結果、式(10)は、

【００３１】

【数１５】となる。また、式(9)中の偏微分量

【００３２】

【外１０】は、次式のように書き表される。

【００３３】

【数１６】式(11),(12)を式(9)に代入することによって、微分処理
や逆伝搬処理を含まない簡潔な規則として、次式を得
る。

【００３４】

【数１７】これが、神経回路網が微分可能な連続非線形で構成され
る場合の学習則である。

【００３５】（２）線形しきい値ユニットの場合：［文
献：三谷光照、大堀隆文、渡辺一央；”確率的非巡回神
経回路網と並列相関学習法”,信学論Ｄ-II,投稿中］次に、神経回路網が線形しきい値ユニット形多層パーセ
プトロンである場合の学習法を説明する。以下では、神
経回路網の動作を確率的に表現することから、この神経
回路網を確率的非巡回神経回路網(Probabilistic Feedf
orward Neuralnetwork; PFN)と呼ぶ。

【００３６】確率的非巡回神経回路網の情報伝達量につ
いて離散時間確率系で考察する。あるパターンｐの入力
期間中（入力継続期間）におけるニューロンｋの伝達諸
量、すなわちシナプス前ニューロン群出力

【００３７】

【外１１】入力総和ｕ_k(ｐ,ｔ)、しきい値ゆらぎ関数ｎ_k(ｔ)、瞬
時活性値ｖ_k(ｐ,ｔ)及び瞬時出力値ｒ_k(ｐ,ｔ)をそれぞ
れ確率変数として

【００３８】

【外１２】で表わし、各確率変数の分布を

【００３９】

【外１３】で表わす。ゆらぎに、条件４：「パターン入力継続期間
Ｔp内の小区間Ｔsのゆらぎ分布Ｎ´(ｎ_k)は、微小な偏
り（活性値バイアス）ν_kを有していることを除いて
は、Ｔp内のゆらぎ分布と等しい。すなわち、

【００４０】

【数１８】である」を設定する。

【００４１】ここで、<・>_TpはＴp期間の期待値を表わ
す。式(1)〜(4)より、伝達諸量の確率分布は、下記の式
(14)〜(17)に示される特徴や関係を持つ。以下、時間変
数ｔ、パターン変数ｐ、期待値の表示における期間Ｔp
の表記を省略する。

【００４２】

【数１９】よって、確率的非巡回神経回路網は式(14)〜(17)に示し
た確率分布変換を繰り返しながら情報伝達を行なってい
ると解釈できる。

【００４３】一方、可視ニューロン群Ｓ_vに対する平均
出力誤差<ｅ>は、ζ_jを教師信号として、次式で表わせ
る。

【００４４】

【数２０】パターン入力継続期間Ｔpでの平均出力誤差<ｅ>を、各
ユニットｋへの結合係数に関する最急降下法によって最
小化する。結合係数の修正量

【００４５】

【外１４】は、次式で与えられる。

【００４６】

【数２１】以後、式(19)の右辺の前半部と後半部をそれぞれ誤差駆
動項ＥＤ(ｋ)、局部可塑項

【００４７】

【外１５】と呼ぶ。Ｔs区間の平均出力誤差<ｅ>を

【００４８】

【外１６】に関してマクローリン展開すると、

【００４９】

【数２２】を得る。上述の条件４から、

【００５０】

【外１７】が<ｅ>_Tpと等しくなるので、式(20)の両辺に右から

【００５１】

【外１８】を乗じ、期間Ｔpにおける期待値を求めると、

【００５２】

【数２３】となる。ここで、ゆらぎに、条件５：「確率的非巡回神
経回路網では、各ニューロン内ゆらぎｎ_kは互いに独立
である」を設定すると、

【００５３】

【数２４】であることから、式(21)より、誤差駆動項はＥＤ(ｋ)は
次式となる。

【００５４】

【数２５】また、式(16)の

【００５５】

【外１９】に関する微分から、局部可塑項は次式となる。

【００５６】

【数２６】ここで、Ｎ(・)が分散σ²を有する正規分布であると
き、

【００５７】

【数２７】の関係が成立する。式(24)を式(23)に代入し、変形する
と、次式が得られる。

【００５８】

【数２８】結局、式(19),(22),(25)から、微分処理や逆伝搬処理を
含まない、以下の学習則が得られる。これが線形しきい
値ユニットに対する学習則である。

【００５９】

【数２９】

【００６０】

【発明が解決しようとする課題】前述したように、微分
可能な連続関数で入出力特性が表わされるニューロン
（連続非線形ユニット）のみからなる神経回路網、ある
いは線形しきい値関数に代表されるような不連続関数で
入出力特性が表わされるニューロン（線形しきい値ユニ
ット）のみから構成された神経回路網に対しては、上述
の式(13)あるいは式(26)で表わされる学習則を用いるこ
とにより、学習が可能である。しかし、これら２つの学
習則は、連続非線形ユニットと線形しきい値ユニットが
混在している神経回路網に対しては、有効ではない。

【００６１】本発明の目的は、連続非線形ユニットと線
形しきい値ユニットが混在しているような神経回路網に
対して、微分処理や逆伝搬処理を用いることなく簡単な
相関処理のみを用いて学習を実行できる学習法を提供す
ることにある。

【００６２】

【課題を解決するための手段】本発明の確率的非巡回神
経回路網の学習法は、各ユニットに対応して互いに無相
関なゆらぎを発生させ、前向き方向の計算を行なうとき
には、ユニットへの入力値と重みとの内積値にバイアス
及び前記ゆらぎを加えた値を非線形変換した値を当該ユ
ニットの出力とし、ユニットにおける前記重みを更新す
るときには、出力ユニットの出力値と教師データとの誤
差を求め、前記誤差と当該ユニットのゆらぎと当該ユニ
ットに対する前層のユニット群からの出力との積に関し
て時間平均を計算することにより重みの更新量を求め、
前記更新量に応じて前記重みを修正する。

【００６３】本発明において、ＫＬ変換用の神経回路網
を用いることにより、各ユニットに加えるべきゆらぎを
発生させることができる。また、重みの更新に際して
は、現在の重みの更新量のみに応じて重みの修正を行な
うほか、一反復前の重みの更新量と現在の重みの更新量
に応じて重みの修正を行なうようにしてもよい。

【００６４】

【作用】神経回路網を構成するユニット間の結合値に互
いに無相関なゆらぎを加え、その上で、ゆらぎと教師デ
ータに対する出力誤差と各ユニットへの入力との積の時
間平均を求めることにより、以下に説明するようにして
重み（結合係数）の更新量を求めることができる。すな
わち、従来使用されてきた誤差逆伝搬法によらず、重み
の更新量を求めることが可能になり、かつ、連続非線形
ユニットと線形しきい値ユニットが混在する神経回路網
に対しても、学習を行なうことが可能になる。

【００６５】以下、本発明についてさらに詳しく説明す
る。本発明における学習法は、確率的学習法の一種で、
連相関学習法（ＣＣＬ;Chained Correlation Learning
method）と名付けたものである。はじめに、確率的非巡
回神経回路網の情報伝達諸量について説明する。伝達諸
量の確率分布は、以下の特徴や関係をもつ。

【００６６】

【数３０】ただし、

【００６７】

【数３１】であり、

【００６８】

【外２０】は

【００６９】

【外２１】の要素に関する多重積分、Ｓ_hは隠れニューロン群を表
す。

【００７０】ここで、神経回路網の瞬時誤差ｅ(ｐ,ｔ)
として、以下の２種類を定義する。

【００７１】

【数３２】このとき、誤差期待値は、次式となる。

【００７２】

【数３３】瞬時出力誤差ｅの期待値<ｅ>を次式の結合係数

【００７３】

【外２２】に関する最急降下法により最小化する。

【００７４】

【数３４】式(36)の右辺中の偏微分は以下のように表わせる。ただ
し、以下では、ニューロンｋを意味する添え字_kを省略
する。

【００７５】

【数３５】ただし、右辺中の偏微分は、

【００７６】

【数３６】と表わせる。また、式中の

【００７７】

【外２３】は、

【００７８】

【外２４】を用いて、

【００７９】

【数３７】と表わすことができ、

【００８０】

【数３８】であることから、式(37)は、

【００８１】

【数３９】となる。ここで、ゆらぎの確率密度Ｎ(ｎ)に関する微分
方程式

【００８２】

【数４０】を満たすｇ(ｎ)を導入すると、式(40)は次式となる。

【００８３】

【数４１】ゆらぎが正規分布にしたがうとして式(41)を解くと、式
(36),(42)より以下の学習式を得る。

【００８４】

【数４２】連続非線形ユニットと線形しきい値ユニットの両方に対
して式(27),(28)で情報伝達諸量の確率分布が示され、
以降は両方のユニットを区別していないので、式(43)に
示される学習則は、連続非線形ユニットと線形しきい値
ユニットとが混在する神経回路網にも適用できるもので
ある。

【００８５】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。図３は本発明の一実施例の確率的非巡回神
経回路網の学習法の処理手順を示すフローチャート、図
４はこの学習法の実施に使用される装置の一例の構成を
示すブロック図である。

【００８６】図３に示すように、本実施例の学習法で
は、まず、学習対象の非巡回神経回路網に入力とその時
の望ましい出力との対を教師データとして与える（ステ
ップ１０１）。次に、非巡回神経回路網を構成する各ユ
ニットのしきい値に、相互に無相関であり分散が１であ
るゆらぎを加える（ステップ１０２）。そして、教師デ
ータに対する出力誤差を求め、各ユニットごとに、この
出力誤差とそのユニットに加えられたゆらぎとそのユニ
ットへの入力との積の時間平均を求めることにより、そ
のユニットに対する重み（結合係数）の更新量を求め、
重みの修正を行なう（ステップ１０３）。以上の処理を
反復することによって、学習が進行する。本実施例にお
いては、神経回路網は、従来用いられている階層型神経
回路網のような層構造をなしている必要はない。また、
ユニットの入出力特性としても連続非線形ユニットのみ
あるいは線形しきい値ユニットのみから構成される神経
回路網のみならず、両方のタイプのユニットが混在して
いる神経回路網にも、本実施例を適用できる。

【００８７】次に、本実施例の学習法の実施に使用され
る装置の構成例について、図４を用いて説明する。この
学習装置は、非巡回神経回路網１の学習を行なうための
装置であって、相互に無相関なゆらぎを生成するゆらぎ
生成回路２と、ゆらぎ生成回路２で生成したゆらぎに応
じ、非巡回神経回路網１内の各ユニットのしきい値にゆ
らぎを加えるゆらぎ混入回路３と、ゆらぎや非巡回神経
回路網１の出力誤差などから重みの更新量を計算する重
み更新量計算回路４と、計算された重み更新量を用いて
各ユニットの重み（結合係数）を修正し、非巡回神経回
路網１の学習を行なう学習回路５と、から構成されてい
る。重み更新量計算回路４では、上記のゆらぎと教師デ
ータに対する出力誤差と各ユニットへの入力値との積を
算出し、上述の式(43)によって時間平均を求めることに
より、各ユニットごとの重みの更新量を計算する。

【００８８】学習回路５は、例えば、重み更新量計算回
路４により求められた重み更新量に学習率などの係数を
乗じて得た値を各ユニットの重みにそれぞれ加算するこ
とにより、各ユニットの重みを更新・修正する。学習回
路５により重みを修正する方法には、上述の学習率のみ
を乗じる方法だけでなく、一反復前の重みの更新量に慣
性率を乗じた値を現在の重みの更新量に加算する方法な
ど、各種の方法が考えられる。これら、実用的な学習ア
ルゴリズムの具体例を以下に示す。ここで、添え字_kは
ユニットｋを示すのではなく、反復回数ｋを示してい
る。式(43)により計算される更新量

【００８９】

【外２５】を勾配率とし、学習率と慣性率をそれぞれη,βとする
と、収束を加速化した以下のアルゴリズムが考えられ
る。

【００９０】

【数４３】また、学習過程における重みの振動が激しい場合には、
振動が発生しないように重みの値を補正する項を付加し
たアルゴリズムを用いることにより、さらに収束を加速
化した以下の式(45)に示すアルゴリズムが考えられる。
ただし、補正係数をγ、補正項を

【００９１】

【数４４】とする。

【００９２】

【数４５】次に、ユニットのしきい値に混入すべきゆらぎ成分の生
成方法について説明する。ユニットのしきい値に混入す
るゆらぎ成分は、ｔとＴpとをともに整数として、離散
時間系

【００９３】

【外２６】の乱数系列群

【００９４】

【数４６】の主成分軸群を抽出し、乱数ベクトル

【００９５】

【外２７】の各主成分軸への射影ベクトル［ＫＬ（カルフーネン-
レーヴ）変換成分］

【００９６】

【数４７】を求めることにより、有限標本数Ｔpの下で不偏かつ相
互に無相関な標本系列として得られる。

【００９７】ところでＫＬ変換用の神経回路網が知られ
ており［文献：渡辺一央、伊東英彦、増田一、大堀隆
文；”ＫＬ変換用多段接続形パーセプトロン”,信学論
(Ｄ-II), J75-D-II, 11, pp.1925-1932(1992)、あるい
は、文献：増田一、大堀隆文；”ＫＬ変換用３層構造ニ
ューラルネットワーク”,信学論(Ｄ-II), J77-D-II, 2,
pp. 397-404(1994)］、ＫＬ変換用の神経回路網を用意
しこれをゆらぎ生成回路として用いることによって、学
習対象の非巡回神経回路網の各ユニットのしきい値に混
入すべきゆらぎを生成することができる。

【００９８】図５はＫＬ変換用神経回路網の構成の一例
を示す図である。図５においてユニットは円で示されて
おり、この神経回路網は、Ｎ個のユニットからなる入力
層６１、Ｒ個（ただしＲはＮ以下の整数）のユニットか
らなる中間層６２、及びＮ個の出力ユニットをＲ列並列
に配置した出力層６３からなる３層線形神経回路網であ
る。出力層６３で同じ列に属するユニットは、同一の中
間層ユニットとのみ結合している。以下では、図示最左
の中間層ユニットと結合されている出力層のネットワー
ク部分を第１列ネットワークと呼び、以下順次、列に番
号をふることにする。

【００９９】出力層６３の第ｒ列の出力ベクトル

【０１００】

【数４８】が、同じ列に対する入力ベクトル

【０１０１】

【数４９】と第ｒ−１列の出力ベクトル

【０１０２】

【外２８】との和、すなわち

【０１０３】

【数５０】として与えられるように、出力層６３の各列間には行方
向を向いた１方向性の水平ネットワークが形成されてい
る。第ｒ列ネットワークの下層（中間層）と上層（出力
層）の重み（結合係数）ベクトルをそれぞれ

【０１０４】

【数５１】と定め、第ｒ列ネットワークの下層のしきい値ベクトル
（実際にはスカラ量）をφ_rとし、上層のしきい値ベク
トルを

【０１０５】

【数５２】と定め、入力標本ベクトルを

【０１０６】

【数５３】とすると、出力層６３の入出力ベクトル

【０１０７】

【外２９】及び中間層６２の出力Ｚ_rpは、

【０１０８】

【数５４】のように表わされる。このようなＫＬ変換用神経回路網
に対し、入力として乱数群

【０１０９】

【外３０】を与え、この入力と出力層の各列出力との間で並列的に
恒等写像学習を行なわせると、収束後に中間層ユニット
出力群

【０１１０】

【数５５】により、入力のＫＬ変換成分群が得られる。これに、分
散が等しくなるように比例係数を乗じることにより、完
全に等分散、不偏かつ無相関のしきい値ゆらぎ

【０１１１】

【数５６】を得ることができる。

【０１１２】次に、本実施例による連相関学習法の学習
動作を確認するために行なったシミュレーションの結果
を説明する。パターン入力継続期間における標準正規分
布ゆらぎＴp＝１０００（平均値などの条件がない）、
ε＝０.１とし、結合係数の初期値を１０系列用いて、
ＸＯＲ課題に適用することにより、シミュレーションを
実行した。図３は連続非線形ユニットのみからなる神経
回路網についてのシミュレーション結果を示し、図４は
線形しきい値ユニットのみからなる神経回路網について
のシミュレーション結果を示している。ただし、連続非
線形ユニットの場合には式(32)で示される誤差関数ｅ
₁(ｐ,ｔ)を使用し、線形しきい値ユニットの場合には式
(33)で示される誤差関数ｅ₂(ｐ,ｔ)を使用した。どちら
の場合も、１０系列の初期値の内、９系列が収束した。
これらのシミュレーション結果から、本実施例の学習法
は、連続非線形ユニットのみ、または、線形しきい値ユ
ニットのみから構成される異なる２種類の神経回路網を
学習させた場合に、誤差逆伝搬法と同等の収束性を有す
ることが示された。

【０１１３】

【発明の効果】以上説明したように本発明は、神経回路
網を構成するユニット間の結合値に互いに無相関なゆら
ぎを加え、その上で、教師データに対する出力誤差とユ
ニットに加えられたゆらぎとユニットへの入力との積の
時間平均を求めることにより、誤差逆伝搬法によらずに
重みの更新量を求めることが可能になり、かつ、連続非
線形ユニットと線形しきい値ユニットが混在する神経回
路網に対しても学習を行なうことが可能になるという効
果がある。

【図面の簡単な説明】

【図１】並列相関学習法で用いられるニューロンモデル
を示す図である。

【図２】非巡回神経回路網の構成の一例を示す図であ
る。

【図３】本発明の一実施例の確率的非巡回神経回路網の
学習法における処理手順を示すフローチャートである。

【図４】図３に示す学習法の実施に使用される装置の一
例の構成を示すブロック図である。

【図５】ゆらぎの発生に使用されるＫＬ変換用神経回路
網の一例を示す図である。

【図６】連続非線形ユニットからなる神経回路網の学習
についてのシミュレーション結果を示すグラフである。

【図７】線形しきい値ユニットからなる神経回路網の学
習についてのシミュレーション結果を示すグラフであ
る。

【符号の説明】

１確率的非巡回神経回路網２ゆらぎ生成回路３ゆらぎ混入回路４重み更新量計算回路５学習回路５１ニューロン６１入力層６２中間層６３出力層１０１〜１０３ステップ

───────────────────────────────────────────────────── フロントページの続き (72)発明者曽根原登東京都千代田区内幸町一丁目１番６号日本電信電話株式会社内 (72)発明者渡辺一央北海道札幌市手稲区前田７条15丁目４番１号北海道工業大学電気工学科内 (72)発明者大堀隆文北海道札幌市手稲区前田７条15丁目４番１号北海道工業大学電気工学科内

Claims

【特許請求の範囲】

【請求項１】非巡回神経回路網の学習法において、各ユニットに対応して互いに無相関なゆらぎを発生さ
せ、前向き方向の計算を行なうときには、ユニットへの入力
値と重みとの内積値にバイアス及び前記ゆらぎを加えた
値を非線形変換した値を当該ユニットの出力とし、ユニットにおける前記重みを更新するときには、出力ユ
ニットの出力値と教師データとの誤差を求め、前記誤差
と当該ユニットのゆらぎと当該ユニットに対する前層の
ユニット群からの出力との積に関して時間平均を計算す
ることにより重みの更新量を求め、前記更新量に応じて
前記重みを修正することを特徴とする確率的非巡回神経
回路網の学習法。
【請求項２】ＫＬ変換用の神経回路網を用いてゆらぎ
を発生させる請求項１に記載の確率的非巡回神経回路網
の学習法。
【請求項３】一反復前の重みの更新量と現在の重みの
更新量に応じて重みの修正を行なう請求項１または２に
記載の確率的非巡回神経回路網の学習法。