JP3364242B2 - 人工的神経回路網のリンク学習装置 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】本発明は、連想メモリとして用い
られる人工的神経回路網のリンク学習装置に関する。 【０００２】 【従来の技術】コネクショニストモデルに基づく認識理
解技術は、日本語ワープロの同音語選択や自然言語翻訳
の訳語選択に適用できる。このモデルでは、偏ったパタ
ーンで連想メモリを学習しなければならない。しかし従
来の連想メモリではランダムパターン（パターンをＮ個
の０と１との列として表現すると、ｉ番目の値とｊ（ｊ
≠ｉ）番目の値とが互いに独立に決まるようなパターン
をランダムパターンという。この場合パターンは集合と
して偏りのないパターンとなる）の学習にしか適してい
ないので、コネクショニストモデルに基づく認識理解技
術に従来型連想メモリを適用することは困難であった。
以下これについて以下の手順で詳しく述べる。 １．コネクショニストモデルを用いたかな漢字変換の例 ２．パターンとは何か ３．コネクショニストモデルにおけるパターンの特徴 ４．従来の実現方法とその問題点 ５．共分散行列に用いた連想メモリ １．コネクショニストモデルを用いたかな漢字変換の例 【０００３】近年、コネクショニストモデルに基づく認
識理解の研究が行なわれている（David L. Walts and J
ordan B. Pollack. Massively parallel parsing: A st
rongly interactive model of natural language inter
pretation. Cognitive Science, Vol. 9, pp. 51-74, 1
985, 田村他 Connectioninst modelを用いた自然言語
処理システム。情報処理学会，Vol. 28, No. 2,pp. 202
-210, 1987）。この手法では、シンボルをノードとし、
シンボル間の関係をネットワークで表現し、ノードの活
性値をネットワークを介して伝播させることにより、入
力情報の話題を把握し意味理解を行なう。この技術は自
然言語処理、音声・文字認識の分野に適用が可能であ
る。これを日本語ワープロのかな漢字変換に適用する研
究が行なわれている（特願平１−１５７１５９号），鈴
岡他 神経回路網の連想機能を用いたかな漢字変換方式
−ニューロワープロへの展望。情報処理学会第４０回全
国大会，Vol. 1C-3, pp. 105-106, 1990）。ここでは、
大量の実文書からネットワークを学習し、ユーザの入力
情報をキーとしてノードの活性値を伝播させ、入力文書
話題を把握する。この話題の情報を用いてかな漢字変換
の精度向上を目指す。このかな漢字変換のメカニズムを
以下により詳しく説明する。 【０００４】ワープロでかな漢字変換する場合には、読
みを表すひらがな列を入力して表記を表すかな漢字混じ
り文字列を出力する。これは、入力されたひらがな列の
読みを持つかな漢字候補の中から、ユーザの意図にあっ
たものを選び出すことである。これを行なうのに、まず
語の使用上の近さを表すネットワークを作成しておく
（このネットワークでは、よく同時に用いられる二語に
対応するノードの間には正の大きな値のリンクが張られ
ている）。そしてある語が選択されたならばその語に対
応するノードの活性値を強制的に引き上げる。活性値の
上がったノードから活性値の伝播が行なわれ、現在の話
題に関係する語に対応するノードの活性値が高まる。活
性値の伝播はノードに接続されているリンクを介して行
われ、リンクの値が大きい程よく活性値が伝わるものと
する。従って、文章をワープロに入力していくと、現在
入力中の文章の話題に関係深い語に対応するノードの活
性値が高まるように活性値が伝播されるようになる。そ
こで同音語の中で最も活性値が高いものが現在の話題に
最も関係が深いと考え、それをかな漢字変換の第一候補
とする。例えば、図３のネットワークを用いてかな漢字
変換の例を説明する。「クロックの立ち上がりにおいて
この信号はプロセッサに取り込まれる」までが正しくか
な漢字変換されているとする。このとき「クロック」，
「信号」，プロセッサ」といった語が選択されているの
で、それらに関連した計算機のハードウェア関係の語に
対応するノードの活性値は高まる。ここで「どうき」を
かな漢字変換しようとした場合を考える。「どうき」に
は「同期」，「動悸」，「動機」と同音語があるが、そ
の中で計算機のハードウェア関係の語である「同期」に
対応するノードの活性値が最も高まっているので、「同
期」とかな漢字変換される。ここで用いるネットワーク
は入力情報（入力語）から話題を想起するものであるの
で、機能として神経回路網の連想メモリに相当する。 ２．パターンとは何か 【０００５】ワープロのかな漢字変換の場合に、この連
想メモリを学習するために使われるパターンについて説
明する（特願平１−３１７７９１号）。単語が１からＮ
の連続する整数の単語コードを持つとき（単語と単語コ
ードとは一対一に対応する）、パターンはＮ個の０もし
くは１の値を取るビットパターンで表現される。このビ
ットパターンは次の手順で決められる。 １．文章を段落ごとに切り分ける。 ２．段落ごとに文章を単語に分解し、単語を単語コード
に変換する。 【０００６】３．ある段落に含まれる単語の単語コード
に対応するビットの値は１とし、その段落に含まれない
単語の単語コードに対応するビットの値は０とする。例
えば、「今日は天気が良い。」という非常に短い段落が
あった場合には、まずその文章を単語に分解し、その段
落に含まれる単語コードの集合を作る。例えば、以下の
ように単語と単語コードとの対応があるとすると、 「今日」＝１０１２０ 「は」 ＝１２３ 「天気」＝２２３７８ 「が」 ＝１０３４ 「良い」＝２８７６ 次のような単語コード集合ができる。 ｛１２３，１０３４，２８７６，１０１２０，２２３７
８｝ 単語数Ｎ＝１０００００とすると、このパターンは１０
００００ビットのパターンからなり、 ｛１２３，１０３４，２８７６，１０１２０，２２３７
８｝番目のビットのみが１で、それ以外のビットは０で
あるようなパターンである。 この場合重複は考慮されない。即ち、ある段落中に同じ
単語が二度以上出現しても二度目以降の出現は無視され
ビットは１のままとなる。このように定められた学習パ
ターンはノイズや偏りを含むことが本質的に避けられな
い。例えば、「昨日僕は本を買った。」という文章で
は、「昨日」と「本」とは直接意味的なつながりはない
が、同じ段落（この場合には同じ文）に「昨日」と
「本」とが現れているため、共に対応するビットが１と
なる。このように、実際の文章からのパターンはノイズ
や偏りを含むことが避けられないため、従来の連想メモ
リをそのまま適用することはできない。 【０００７】まず、学習パターンの特徴について述べ
る。次に、そのような特徴があるパターンを従来の連想
メモリでは適切に連想することが困難であったことにつ
いて説明する。 ３．コネクショニストモデルにおけるパターンの特徴 【０００８】言語知識を扱うネットワークの学習に、実
際の文書を用いる場合、上述した手順で段落内に含まれ
る文章を単語（ネットワーク中のシンボルに相当）の集
合に変換したものを、学習パターンとする。これらのパ
ターンには以下の特徴がある。 Ｐ１ ノイズを含まない厳密に正しい記憶パターン（ネ
ットワーク中のシンボルを表すノードに１／０のビット
を割り当てたもの）は存在しない。 【０００９】学習データとしてのパターン（実際の文章
例）はたくさんあるが、それは殆どの場合ノイズ（話題
と関係ない語）を含んでいる。そこで大量のパターンを
用いてノイズを避けた汎化パターンを学習しなければな
らない。これは逆に言えば、厳密なパターンを記憶して
おかなくてもよいということでもある。 Ｐ２ 一つのパターンは全語種に対して非常に少ない語
種しか含まない。 【００１０】日本語には数十万の語があり、一人使う語
に限っても数千語があるが、一つの段落に含まれるのは
数百語である。このようなパターンはスパースなパター
ンと言われている。 Ｐ３ 語の出現頻度差が大きい。 【００１１】「これ」という指示語は文章によらず頻繁
に出現するが、「奥書」という専門語は特殊な場合にし
か現れない。この頻度差は入力文章の話題により顕著に
なることもあれば、話題によらず頻度の高い語，低い語
もある。 Ｐ４ 学習が追加的にできなければならない。 【００１２】コネクショニストモデルでは大量の学習パ
ターン（実際の文章例）が次々に与えられる。これらに
即応するには新たな学習パターンを追加的に、すなわち
容易に学習できなければならない。 Ｐ５ パターンの出現頻度に偏りがある。 【００１３】話題を明示できないため、全ての話題につ
いて均等にパターンを集めることはできない。例えば、
新聞記事からデータを集めれば、政治に関する文章を１
００集め、科学技術に関する文章を１０集めたことにな
る可能性がある。このように話題によって出現頻度が異
なるが、どのような話題がどのくらいの頻度で現れたか
も知る術がない。 Ｐ６ パターン間の相関に偏りがある。 【００１４】一般に話題間は独立ではなく、どのような
話題が密接に関係しているかは文章の状況によって異な
る。特に相関の程度にも話題によって偏りがあることに
注意する必要がある。例えば、「政治」と「科学技術」
とはあまり相関がないが、「政治」と「経済」とはかな
り強い相関がある。 ４．従来の実現方法とその問題点 【００１５】コネクショニストモデルに適した連想メモ
リとしては、多くの文章例から同時に良く出現する語群
としての話題を調べ上げ、ある入力文章が与えられた時
にその話題に相当する語群が提示できればよい。神経回
路網の連想メモリには、直交学習と相関学習とがある。
直交学習はノイズのないパターンを必要とする上に追加
学習にも不向きである。このような連想メモリには、ノ
イズを許容し、ノイズを含んだ多くのパターンから正し
いパターンを汎化によって獲得する能力が必要である。
それには相関学習による連想メモリが適している。相関
学習ではネットワークとして用いる行列について、相関
行列を用いた連想メモリと共分散行列を用いた連想メモ
リとがある。しかし、相関行列を用いた連想メモリはス
パースなパターンを記憶できない。以下に従来型連想メ
モリの中で最も有望である共分散行列を用いた連想メモ
リについて述べる。 ５．共分散行列を用いた連想メモリ 【００１６】ランダムスパースなパターン（Ｐ２）を記
憶するために、共分散行列用いた連想メモリが提案され
ている(S. Amari. Neural theory of association and
concept-formation. Bio. Cybern, Vol. 26, pp. 185-1
75, 1977, S. Amari. Characteristics of sparsely en
coded associative memory. Neural Netwaorks, Vol.2,
pp. 451-457, 1989, C. J. Perez-Vicente. Finite-si
ze capasity of sparse-coding models. Europhysics L
etters, Vol. 10, No. 7, pp. 627-631, 1989)。この連
想メモリではＮこのノードからランダム１つのノードを
順次選び、（４）式に従ってその活性値を更新する。活
性値が変化するノードがなくなるまでこれを繰り返す。
ここで関数ｆは閾値関数である。このとき、（３）式の
エネルギーＥは計数ｋの符号が負（正）ならば単調減少
（増加）することが保証される。 【００１７】 【数１】【００１８】以下、図面を参照しながら従来手法である
共分散行列を用いた連想メモリのリンクの学習装置につ
いて説明する。図４は連想メモリのリンクの学習装置の
構成例を示す図、図５はこの装置の処理の流れを表すフ
ロー図である。 【００１９】図４の学習装置は、ネットワークのリンク
の重みと各ノードの活性確率とを学習する。そのために
この学習装置は、リンクの重み格納部４６と活性確率格
納部４３とを持つ。これらに格納されている値は、学習
を開始する前に初期化指示部４８からの指示により、０
に初期化される。その後、パターン提示部４１において
示された学習パターンについて、リンクの重み学習部４
５は古いリンクの値をリンクの重み格納部４６から取り
出して、活性確率の情報も用いてリンクの値を更新し、
その結果をリンクの重み格納部４６に格納する。同様に
活性確率更新部４２は提示されたパターンについて、そ
の古い値を活性確率格納部４３から取り出し、活性確率
を更新した後にそれを活性確率格納部４３に戻す。 【００２０】次にリンクの値の更新アルゴリズムを詳し
く図５のフロー図を用いて説明する。まず、５０１〜５
０８は初期化ルーチンで、リンクの値Ｗｊｉを９に初期
化し、活性値の平均値ａ_j を０に初期化する。そして学
習すべきパターンがある限り（５０９），５１０〜５２
２を繰り返す。まず学習すべきパターンＶを入力する
（５１０）。５１１〜５１８でＷｊｉの値を（６）式に
従って更新する。ここでΔは、０＜Δ＜＜１である。但
し、Ｗｉｉは０のままにするために、５１３によりＷｉ
ｉの値を変えないようにする。５１９〜５２２では、活
性値の平均値ａ_jを更新する。活性値の平均値の真の値
はわからないので、５２０のようにａ_j の値を少しずつ
修正しながら求める。そして学習すべきパターンが尽き
たならば（５０９）、リンクの値の配列Ｗと活性値の平
均値ａとをファイル等に保存し（５２３）、処理を終了
させる。 【００２１】記憶パターンはリンクの値として学習され
るので、Ｐ１は問題ない。この連想メモリはランダムス
パースなパターンを記憶するために考案されたものであ
るので、Ｐ２のようなスパースにエンコードされたパタ
ーンの記憶には適している。またＰ３の問題はノードの
活性値の活性確率ａ_j の導入により解決されている。さ
らに（６）式にあるように記憶パターンを追加的に学習
できるので、Ｐ４も満たしている。 【００２２】しかし、この連想メモリはパターンの出現
頻度が偏った場合（Ｐ５）には適していない。なぜなら
ば、良く現れるパターンのみを記憶する傾向にあるから
である。（６）式のリンク値を決める式からもわかるよ
うに、パターンが提示されるたびにそのパターンのため
のリンク値（Ｖ_j −ａ_j ）（Ｖ_i −ａ_i ）が元のリンク
の値Ｗｊｉに加算される。これに良く出現するパターン
程、よく学習が行なわれ、想起も良くなっていく。しか
し、出現頻度の低いパターンに対しては稀にしか学習し
ないため、正しい想起する確率は低い。 【００２３】また、この連想メモリはパターン間に相関
に偏りがある場合（Ｐ６）にも適していない。この連想
メモリはパターン間に均質な相関がある場合（ランダム
スパースなパターンはその一例）にのみ適しているので
ある。 【００２４】このことを以下に詳しく説明する。パター
ンの出現頻度に偏りがある場合（Ｐ５）には、高頻度で
出現するパターンしか記憶できないという問題がある。
これはエネルギー曲面により説明できる。学習パターン
が提示される度に従来型方式でリンクの値を更新する
と、図６．ａ（横軸はパターンを表し、各パターンに対
応するエネルギー値をプロットした概念図である）のよ
うに出現頻度の高いパターンＡの方が頻度の低いパター
ンＢよりエネルギー値が低くなる（以下の説明ではエネ
ルギーの係数ｋが負の定数であるとする。勿論ｋが正の
定数としても同様に説明ができる）。一般に連想メモリ
はエネルギーが低い状態にほど陥り易いので、エネルギ
ー値が低い出現頻度の高いパターンしか想起できない。 【００２５】パターン間の相関に偏りがある場合（Ｐ
６）の問題は二つある。一つは、望ましいパターンでは
なく、相関の特に強い複数のパターンの中間のパターン
を想起するという問題である。しかし、この問題はあま
り重要ではない。なぜならば、パターン間の相関が弱け
ればこの問題は起こらないし、逆に強ければ中間のパタ
ーンを想起したとしても望ましいパターンとあまり違っ
ていないからである。もう一つは、相関のあまりないパ
ターンを想起できないという問題である。これもＰ５の
場合と同様にエネルギー曲面で説明できる。例えば、パ
ターン１〜３があり、それらが全てのパターンが同じ頻
度で出現した場合には、従来方式によりリンクの値を学
習すると、図７．ａのようなエネルギー曲面になる。こ
のため、パターン１と２との中間パターンの想起は容易
となるが、パターン１及び２とあまり相関のないパター
ン３の想起は困難となる。 【００２６】以上まとめると、人工的神経回路網におけ
る連想は、エネルギー値Ｅを極小化するようにノード
（人工的ニューロン）の活性値を更新（伝搬）していく
ことにより行われる。このため一般にエネルギー値が低
い状態に各ノードの活性値は落ち着く。学習パターンが
ランダムパターンである場合には、それらの従来型のリ
ンクの重みの決め方で作られた連想メモリにおけるエネ
ルギー値はほぼ一定を取るため、各ノードの活性値は適
切なパターンに落ち着く。しかし偏ったパターンの場合
には、従来型連想メモリにおけるエネルギー値にはパタ
ーンによって差が出るため、各ノードの活性値はエネル
ギー値の低いパターン（Ａや１，２）にはなるが、それ
以外の想起してほしいパターン（Ｂや３）にはなりにく
い。 【００２７】 【発明が解決しようとする課題】このように従来の連想
メモリは、学習パターンを提示してリンクの重みを最適
化する際、パターンの出現頻度やパターン間の相関に偏
りがあると、適切な連想を行えるようなリンクの重み学
習により獲得することができないとう問題があった。 【００２８】本発明はコネクショニストモデルに基く認
識理解で現れるような偏ったパターンを想起するのに適
した、即ち上記Ｐ１〜Ｐ６の問題を同時に解決すること
のできる人工的神経回路網のリンク学習装置を提供する
ことにある。 【００２９】 【課題を解決するための手段】本発明に係る人工的神経
回路網のリンクを学習する装置は以下のように構成され
る。即ち、複数のノードがリンクで結合されノードの活
性値をリンクの重みに基づいて伝搬させて連想を行うた
めの人工的神経回路網を備え、前記連想が適切に行われ
るよう前記リンクの重みを更新するものであって、各ノ
ードに対応する活性値を学習すべきパターンとして入力
する入力手段と、この入力手段により入力されたパター
ンの想起のされ易さの指標となるエネルギー値Ｅを計算
するＥ計算手段と、このＥ計算手段で計算されたエネル
ギー値Ｅと所定のエネルギー値Ｅｔｈとの差に基づいて
リンクの重みを更新させる度合いを決定する学習量決定
手段と、前記入力手段により入力されたパターンに基づ
き、前記学習量決定手段により決定された度合いに従っ
て、リンクの重みを更新する更新手段とを具備するもの
である。 【００３０】尚、入力された各ノードに対応する活性値
の複数パターン分の平均値に基づいて各ノードの活性確
率を求め、上記更新手段においてこの活性確率をも考慮
してリンクの重みを更新してもよい。 【００３１】ここで言うエネルギー値Ｅとは（３）式の
ように決定され、リンクの重みを更新させる度合い（学
習量δ）は（２）式のように決定され、リンクの重みは
（１）式のように学習される。 【００３２】 【数２】 【００３３】 【作用】本発明によれば、学習パターンがどのようなも
のであってもエネルギー値をほぼ一定にするようにリン
クの値を学習する。これにより偏ったパターンについて
も適切に想起できるようになる。以下にこれについて詳
しく説明する。 【００３４】本発明では、全ての記憶パターンのエネル
ギーが同じ値を持つように（図６．ｂ，図７．ｂ）、全
ての記憶パターンにおいてエネルギー値を一定の負の値
Ｅｔｈとなるように学習を行なう。このため、次のよう
なエネルギー値で重み付けをした学習をする。まず学習
を行なう前に、提示パターンのエネルギー値Ｅを求め
る。その値が基準エネルギーＥｔｈよりも大きければ、
その大きさに応じて強く学習するよう学習量δを決定す
る。ｇはｇ（０）＝０である、上下限のある単調増加関
数である。そしてδの値に応じて学習を行なう。 【００３５】これにより、不得意なパターンを積極的に
学習するようになる。なお、この学習則は現に提示され
たパターンを覚えるのではなく忘れることもあることに
注意されたい。提示パターンのエネルギー値Ｅｔｈより
も低くなった場合には、（Ｅ−Ｅｔｈ）は負の値とな
り、δも負数になる。このような場合には、過学習が行
なわれていると考えそのパターンを忘却するように学習
が働く。 【００３６】 【実施例】本発明の一実施例に係わる人工的神経回路網
のリンク学習装置について以下の手順で説明する。 １． 一実施例についての概説 １．１ 構成図の説明 １．２ アルゴリズムの説明 ２． 実験 ２．１ パターンの出現頻度に偏りがある場合 ２．２ パターンの相関に偏りがある場合 ２．３ 学習の高速化についての実験 ３． 応用例 ３．１ ワープロのかな漢字変換技術に適用した例 ３．２ 自然言語翻訳における訳語選択に適用した例 １．一実施例についての概説 【００３７】図面を参照して本発明の一実施例を説明す
る。図１は連想メモリのリンクの学習装置の構成例を示
す図、図２はこの装置の処理の流れを表すフロー図であ
る。 １．１ 構成図の説明 図１の学習装置は、図４の従来型の学習装置と比較し
て、エネルギー計算部１０９と学習量δ算出部１１０が
ある点が異なる。 【００３８】ネットワークのリンクの重みと各ノードの
活性確率とを学習する。そのためにこの学習装置は、リ
ンクの重み格納部１０６と活性確率格納部１０３とを持
つ。これらに格納されている値は、学習を開始する前に
初期化指示部１０８からの指示により、０に初期化され
る。パターン提示部１０１において示された学習パター
ンについて、エネルギー計算部１０９においてエネルギ
ー値Ｅを計算する。さらにその値Ｅと基準エネルギー値
記憶部１１１のＥｔｈとの差から学習量δを学習量δ算
出部１１０において求める。そして、リンクの重み学習
部１０５は古いリンクの値をリンクの重み格納部１０６
から取り出して、活性確率の情報も用いて学習量δ分だ
けリンクの値を更新し、その結果をリンクの重み格納部
１０６に格納する。同様に活性確率更新部４２は提示さ
れたパターンについて、その古い値を活性確率格納部１
０３から取り出し、活性確率を更新した後にそれを確率
格納部１０３に戻す。ここで学習したものについて、リ
ンクの重みはリンクの重み取出し部１０７を介して、ま
た活性確率については活性確率取出し部１０４を介し
て、値を取出す。 【００３９】尚、ここでは活性確率をパターンを提示す
る毎に更新するようにしたが、活性確率を予め定められ
た値（例えば０．５）に固定しておいても、本方式はう
まく機能する。これら取出された値の用い方については
後述する。 １．２ アルゴリズムの説明 【００４０】図２は本発明の実施例方式を適用した連想
メモリのリンク値の学習方式を示したフロー図である。
図５と基本的に異なるのは、２１１〜２１３の追加であ
る。まず、２０１〜２０８は初期化ルーチンで、リンク
のＷｊｉを０に初期化し、活性値の平均値ａ_j を０に初
期化する。そして学習すべきパターンがある限り（２０
９）、２１０〜２３５を繰り返す。まず学習すべきパタ
ーンＶを入力する（２１０）。２１１〜２２１でＷｊｉ
の値を（１）式に従って更新する。図５の従来技術では
Ｗの更新量はΔで固定であったが、実施例方式では更新
量δがエネルギー値によって変わる。２１１で学習すべ
きパターンのエネルギー値Ｅを求める。次に関数ｇを作
用させて学習量δを計算する（２１２）。もしそのδが
０ならばリンクの値は変わらないので、２１４〜２２１
の処理を省略する（２１３）。また、Ｗｉｉは０のまま
にするために、２１６によりＷｉｉの値を変えないよう
にする。２２２〜２２５では、活性値の平均値ａ_j を更
新すると、活性値の平均値の真の値はわからないので、
２２３のようにａ_j の値を少しずつ修正しながら求め
る。そして学習すべきパターンが尽きたならば（２０
９）、リンクの値は変わらないので、リンクの値の配列
Ｗと活性値の平均値ａとをファイル等に保存し（４２
６）、処理を終了させる。 【００４１】ここで、上述したようにδが０の時には、
リンクの値を更新する処理を省略できる。このδの値は
関数ｇの出力である。この関数ｇ（ｘ）は、ｘ＝０のと
きに０を出力する上下限のある単調増加関数である。こ
こで、ｇ（ｘ）はｘ＝０のときのみ０を出力するとする
と、ｘ＝０となる確率は非常に低いので、殆どの場合に
δは非零となりリンクの値の更新処理を行わなければな
らない。そこで、ｘの絶対値が０に近い場合にはｇ
（ｘ）の出力を０にすることにより、δが０となる確率
が高くなる。これによってリンクの更新処理を省略でき
る確率が高まり、学習速度の高速化を達成することがで
きる。 ２．実験 この方法による想起能力の向上を調べる為に、Ｐ５，Ｐ
６の条件下で実験を行った。 ２．１ パターンの出現頻度に偏りがある場合の実験 【００４２】従来手法の中で最も有望である共分散行列
を用いた連想メモリ（以下、従来型連想メモリと称す
る）と本発明方式による連想メモリとの性能を比較する
ために、パターンの出現頻度に偏りがある状況（Ｐ５）
で実験した。方法 【００４３】パラーメータとしては、学習回数，ノイ
ズ，リンク密度がある。学習回数とはリンクの値を学習
するためのパターン提示回数である。ノイズとは提示さ
れる学習パターン及び、テスト時に提示される初期パタ
ーンに含まれるノイズを意味する。コネクショニストモ
デルでは、一つの段落といったある決まった量をデータ
として与えるのが普通である。そのため活性値が活性化
しているノード数は与えられたデータ量に比例する。従
ってノイズを含んでいてもいなくとも、パターン中の活
性化ノードの数は変わらないと考えるのが適切である。
ここでノイズがｎ（０≦Ｎ＜１）であることは、次のこ
とを意味する。活性値が１であるべきノードの活性値が
確率ｎで０に反転しており、逆に活性値が０であるべき
ノードの活性値が確率ｐｎ／（１−ｐ）で１に反転して
いる。このようにすると、ノイズを含んだパターンにお
ける活性ノードの比率の期待値は、 【００４４】 【数３】 となり、ノイズを含まない場合と同じになる。また、ノ
イズを含まない記憶パターンとそれにノイズｎを加えた
パターンとの間のハミング距離（ハミング距離とは、二
つのヘクトルの間で対応する要素の値が異なっているも
のの数である。要素数がＮのとき、二つのベクトルが完
全に一致していればハミング距離は０であり、すべての
対応する要素の値が異なっていればハミング距離はＮで
ある。ハミング距離が小さいほど二つのベクトルは似て
いると言える）の期待値は ２Ｎｐｎ である。リンク
密度とはネットワークのリンク数の完全結合時のリンク
数との比である。ノード数がＮでリンク数がＬであるな
らば、リンク密度１は１＝Ｌ／Ｎ² で与えられる。な
お、リンク数を減らす場合にはリンクの値の小さいリン
クから順に削除した。 【００４５】ノイズを含まない記憶パターンとしてＮ＝
１０００要素（ノード）から成るＭ＝１００個のパター
ンをランダムに生成した。但し、どのパターンも１００
０ノードのうち１００ノードの活性値が１であるように
した（Ｐ２）。このときノードの活性値の平均値ｐは
０．１であった。 【００４６】学習パターンにはノイズを含まない記憶パ
ターンにノイズｎを学習時にランダムに与えた。即ち有
限個の学習パターン集合をあらかじめ用意しておくこと
はしなかった。このためある程度ノイズがあるならば、
毎回異なったパターンが学習パターンとして提示される
ことになる。更に、ｉ番目（１≦ｉ≦０）のパターンの
出現確率を２ｉ／｛Ｍ（Ｍ／１）｝とした。これにより
最も出現しにくい１番目のパターンと最も出現しやすい
Ｍ番目のパターンとでは、出現頻度に１００倍の差があ
ることになる。関数ｇとしては次のものを用いた。この
関数のグラフを図８に示す。 【００４７】 【数４】 （３）式のｋは−１／２とし、Ｅｔｈ＝−１とした。 【００４８】評価方法としては、ノイズを加える前の記
憶パターンと、それにノイズを加えたものを初期パター
ンとして想起されたパターンとの間のハミング距離を用
いた。一条件の実験のために５０００回これを繰り返し
た。学習時も想起時も提示パターンのノイズおよび出現
確率は等しくした。想起時に与えられるパターンも動的
にランダム生成し、学習パターンとは異なるものとし
た。尚、活性値が共にｐである二つのランダムパターン
の間のハミング距離の平均値は、２Ｎｐ（１−ｐ）であ
る。ｐ＝０．１，Ｎ＝１０００の時、この値は１８０で
ある。従って、想起結果として真のパターンとの間のハ
ミング距離が１８０近くになれば、想起に完全に失敗し
たと考えられる。 学習回数，ノイズ，リンク数を変えた実験 【００４９】学習回数を５０から５００００に変化させ
た場合の両連想メモリの想起能力を図４に示す。但し、
ノイズｎ＝０．０；０．４；０．５，リンク密度１＝
０．２とした。学習回数が少ない場合には、両連想メモ
リの想起能力はほぼ同じであったが、学習回数がある程
度多くなると本連想メモリの方が従来型連想メモリより
も想起能力が高くなった。 【００５０】リンク密度１を０．００１から０．４に変
化させた場合の両連想メモリの想起能力の図９に示す。
但し、学習回数を１００００，ノイズｎ＝０．０，０．
４，０．５とした。リンク密度の増加と共に両連想メモ
リとも想起能力が高まったが、本連想メモリが常に従来
型連想メモリより優れていた。 【００５１】また、図９，１０からわかるようにこの想
起実験では、学習回数１００００回、リンク密度０．２
で十分であることが分かった。そこで以降の実験ではこ
のパラメータを用いた。 【００５２】ノイズｎを０から０．８に変化させた割合
の両連想メモリの想起能力を図１１に示す。この場合に
は本連想メモリが常に従来型連想メモリより優れてい
た。従来型連想メモリでは頻度の低いパターンの記憶が
できないために、ノイズが０であっても完全な想起をす
ることができなかった。これに対して本連想メモリでは
提示パターンのノイズが小さくなればそれに従って想起
結果も向上した。この理由については後で述べる。ノイ
ズを含まない記憶パターンとのハミング距離が初期提示
パターン（図１１の破線）よりも想起によって得られた
パターンの方が向上していなければ想起の意味はない。
従来型連想メモリはノイズｎ＝０．２５〜０．６の範囲
でのみ有効であったが、本連想メモリはノイズｎ＝０．
０〜０．６の範囲で有効であった。 本方式の特長 【００５３】学習時の提示頻度の違いがリンクの形成に
どのような影響を与えるかを調べるために、学習時のパ
ターン提示頻度とそのノイズを含まない記憶パターンに
おけるエネルギー値との関係を調べた（図１２）。ここ
での考察では、学習回数１００００，リンク密度１＝
０．２の場合についてであるが、他の場合にも同様のこ
とが言えた。 【００５４】提示頻度の高いパターン程、またノイズが
小さい程、エネルギー値も低くなった。これはノイズが
大きいとリンクの値は様々なノイズを含んだ重みベクト
ルの和になるので、互いにある程度相殺しあってエネル
ギー値を高くしているからであると考えられる。 【００５５】本連想メモリの場合には、ノイズｎが０．
５以下では提示パターンの頻度に係わらずエネルギー値
がほぼ一定になっていた（図１３）。ノイズｎが０．６
になると従来型連想メモリのように提示頻度に従ってエ
ネルギーが低くなった。これは、ノイズｎ＝０．６以上
では両者の連想メモリの性能の差はないという図１１の
結果と符合している。なお、従来型連想メモリではノイ
ズが大きい程エネルギー値が高かったが、本連想メモリ
ではこれと逆になっていった。これは本連想メモリでは
十分学習したと思われるパターンについては更に学習を
しないため、そのようなパターンのためにリンクの値が
更新されないので、エネルギーが低くなることがない。
このことを示すために、提示頻度と学習量との関係を図
１４に示す。ここで縦軸は一連の学習における学習総量
（即ち（６）式のδの和）である。図から明らかなよう
にノイズｎが０．５以下の場合には、提示パターンの頻
度とは無関係に学習量が一定である。しかし、ノイズｎ
が０．６以上になると共分散行列を用いた連想メモリの
場合と同様に提示パターンの頻度に応じて学習量が増加
する。これは（６）式でδを定数に固定したことを相当
し、本連想メモリが従来型連想メモリと等しくなってい
ることが確認できる。 【００５６】ノイズｎ＝０．４のときの学習時のパター
ンの提示頻度と想起の良さとの関係を図１５に示す。従
来型の連想メモリでは提示頻度が０．０１３以上でない
と適切な想起ができなかったが、本連想メモリでは提示
頻度が０．００３程度でも適切な想起ができた。このよ
うに本連想メモリの方が提示頻度に偏りがある場合でも
良い想起ができた。 【００５７】学習回数が２０００回と２００００回との
ときの想起能力の関係について調べてみた。いずれの連
想メモリにおいても学習回数を増やすことにより想起能
力は向上したが、本連想メモリの方が劇的に向上した。
本連想メモリでは提示頻度が０．００１程度でも学習の
進行と共に想起能力は向上したが、従来型連想メモリで
は、提示頻度が０．００７以下の場合には学習回数を増
やしても想起能力は向上しなかった。 【００５８】リンク密度は０．２と０．００２とに変え
て想起能力の違を調べた。リンク密度を下げるとリンク
の値の小さい方から順に削除される。このとき従来型連
想メモリでは出現頻度の低いパターンのリンクから順に
削除されるので、学習時の提示頻度が低いものから順に
想起能力が低下した。これに対して本連想メモリでは均
一にリンクが削除されるので、学習時の提示頻度に関係
なく全体的に想起能力が低下した。 ２．２ パターンの相関に偏りがある場合の実験 従来型連想メモリと本連想メモリとについて、パターン
の相関に偏りがある場合（Ｐ６）の実験を行なった。 方法 【００５９】この実験の場合にも予備実験を行ない、パ
タメータとして学習回数を１００００回，リンク密度１
＝０．２として十分であることを確認し、そのパラメー
タを用いた。ノイズｎを０〜０．８の範囲で変化させて
実験を行なった。 【００６０】ノイズを含まない記憶パターンとして前回
の実験と同様にＮ＝１０００要素（ノード）から成るＭ
＝１００個のパターンについて実験した。どのパターン
も１０００ノードのうち１００ノードの出力値１である
ようにした。ｉ番目（１≦ｉ≦７５）の７５パターンは
ランダムに生成し、ｊ番目（７６≦ｊ≦１００）のパタ
ーンは、（ｊ−２５）番目のパターンとハミング距離が
２０離れたランダムに生成したパターンとした。つま
り、１番から５０番までのパターンは独立なパターンで
あるが５１番から１００番までのパターンは２５組の相
関のあるパターンとした。学習パターンも前回の実験と
同様にノイズを加えた。また今回は学習時も評価時もパ
ターンの提示頻度を等しくした。 ノイズを変えた実験 【００６１】ノイズｎを０〜０．８に変化させた場合の
想起能力を図１６に示す。この図では、両連想メモリつ
いての相関のあるパターンとないパターンとを分けて想
起能力を示している。 【００６２】相関のあるパターンに対する想起能力はい
ずれの場合もほぼ同じであった。この場合ノイズが全く
ない場合でも想起パターンとそれからノイズを除いたパ
ターンとの間のハミング距離は１０程度であった。これ
は、５１〜１００番のパターンについてはハミング距離
が２０離れたところにノイズを含まないパターンがある
ので、その中間のパターン（真のパターンとハミング距
離で１０だけ離れている）が記憶されているためであ
る。 【００６３】独立なパターンに対しては両連想メモリの
性能は全く異なった。従来型連想メモリではノイズ量に
無関係に初期提示パターンよりもハミング距離の点で悪
い結果を得た。これに対して本連想メモリでは良好な結
果を得た。ノイズｎが０．５以下では、５１〜１００番
のパターンと同等の性能を得た。この場合ノイズが０の
場合にハミング距離も０となっているのは、近くに強い
相関のあるパターンがないため、干渉が起こらないから
である。 【００６４】この現象をノイズを含まない記憶パターン
におけるエネルギー値という観点から説明する。従来型
の連想メモリにおける相関のあるパターンとないパター
ンの平均エネルギー値の図を図１７に示す。図からわか
るように相関のないパターンのエネルギー値は、相関の
あるパターンのエネルギー値の約半分である。このため
相関のないエネルギー値はノイズに埋もれ易く、想起す
ることが困難であることがわかる。同様に本連想メモリ
のエネルギー値を図１８に示す。ノイズｎが０．５以下
では相関があるパターンもないパターンもほぼ等しいエ
ネルギー値を取り、一方のパターンを特に想起しやすい
ということはない。ノイズｎが０．５以上で共にエネル
ギー値が上昇しているのは、パターンが急速に記憶でき
なくなっていることを表している。ノイズｎ＝０．８で
はエネルギー値は共に非常に高くなり、もはやノイズを
含まないパターン付近で極小値を取り得なくなっている
ことがわかる。 ２．３ 学習の高速化についての実験 本実施例において、リンクの値の更新処理を省略する
と、どの程度処理が高速化できるかを示す実験を行っ
た。 【００６５】学習時間（学習回数ではない）について両
連想メモリを比較する。本連想メモリでは学習時に提示
パターンのエネルギー値を求め、それが零でなければ実
際にリンクの値を更新する。ここで最も計算コストの高
い浮動小数点の乗算の計算量で速度を考える。リンク一
本当たり、エネルギー値を更新するのに２回の乗算が必
要であり、リンクの値を更新するのに３回の乗算が必要
である。従って、リンクの値を更新する（更新しない）
場合には、本連想メモリの学習則ではリンク当たり５回
（２回）の乗算が必要である。これに対して、従来型の
連想メモリの学習則では常にリンク当たり３回の乗算が
必要である。リンクの値を更新しないのはδ＝０である
ときである。本実験では（７）式の関数ｇを用いている
ので、学習パターンのエネルギー値Ｅが目標エネルギー
値Ｅｔｈに近い場合には学習を行わない（｜Ｅ−Ｅｔｈ
｜が一定値以下では学習しない）。本実験の場合のリン
ク当たりの乗算回数のグラフを図１９に示す。学習回数
が多い程、またノイズ量が少ない程、本連想メモリの学
習装置の方が従来型の学習装置よりも計算量が少なくて
済むことが図からわかる。 ３．応用例 ３．１ ワープロのかな漢字変換技術に適用した例 【００６６】従来技術の項で述べたコネクショニストモ
デルを用いたかな漢字変換方式で用いる連想メモリのリ
ンクの値を、ユーザが作成した文章（同音語選択が終了
した文章）から、学習する方法について説明する。この
場合以下の手順に従って学習を行う。 １．ユーザの文章を段落に分ける。 ２．各段落について従来技術の２で述べたように、パタ
ーンを作る。 ３．上記でできたパターンを学習パターンとして、それ
ぞれ本学習装置にてリンクの値を学習する。 このようにして、リンクのＷ_jiとノードの活性確率ａ_j
とが求まる。 【００６７】次にかな漢字変換を行う手順について説明
する。初期状態として、ノードの活性値Ｖ_j ＝ａ_j とす
る。そして、図１のリンクの重み取出部１０７、活性確
率取出部１０４を介して、本リンク学習装置からかな漢
字変換装置にリンクの値と活性確率とをロードしてお
く。かな漢字変換時にシステムが提示した単語コードが
ｊである変換候補をユーザが選択キーを押すことにより
受理（次候補キーを押すことにより拒否）した時には、
（４）式で閾値Ｉ_j と小さな（大きな）値としてノード
ｊの活性値Ｖ_j を大きく（小さく）する。この後、
（４）式に従って活性値が変更するが、ここで本学習装
置で求めたリンクの値Ｗ_jiと活性確率ａ_j とが用いられ
る。活性値の更新により活性値が伝播する（詳しくは従
来技術の１．コネクショニストモデルを用いたかな漢字
変換の例を参照）。そして、かな漢字変換する場合には
同音語の中で最も大きな活性値Ｖを対応するノードに持
つ語が、現在の話題に最も近いと考えて第一候補として
選択される。 ３．２ 自然言語翻訳における訳語選択に適用した例 第一言語（入力言語）から第二言語（出力言語）へ翻訳
する場合に、言語Ａの単語の曖昧さを解消することが問
題となる。例えば、 "The boys hasten to the playground with bats, ball
s, and gloves."という英文には次のような多義語が含
まれており、 bat …野球のバット／動物のこおもり ball …野球のボール／舞踏会 glove …野球のグローブ／手袋 文法および品詞を解析しただけでは、日本語に適切に翻
訳できない。そこで、コネクショニストモデルによる認
識理解技術を用いて訳語選択を行う。 【００６８】まず、第二言語（ここの説明では日本語）
における語もしくは句の意味素の近さを表現する図２０
のようなネットワークを作成しておく。図２０では関係
の近いものの間にはそれぞれ近さに応じて異なる正の値
のリンクが張られている。逆に関係が近くないものの間
には負の値のリンクが張られているが、図では省略して
ある。 【００６９】このネットワークを作成するのに、リンク
学習装置を用いる。すなわちかな漢字変換技術への応用
で述べたように、第二言語の文例からパターンを段落ご
とに取り出し、それらのパターンについてネットワーク
のリンクの値を学習する。 【００７０】次に訳語選択をする場合に、上記で求まっ
たリンクの値Ｗ_jiと活性確率ａ_j で定められる人工的神
経回路網を用いる。まず、翻訳装置に、図１のリンクの
重み取出部１０７、活性確率取出部１０４を介して、リ
ンクの値と活性確率とをロードする。そして、各ノード
の活性値Ｖ_j の初期値をａ_j とする。ある文章が正しく
翻訳できた場合には、その翻訳文中に現れる語に対応す
るノードの閾値を下げて、そのノードの活性値を高め
る。そして、（４）式に従って各ノードの活性値を更新
していく。第一言語のある語を第二言語に翻訳する場合
に、文法的に不適切なものを除去した後にも、その語に
対応する第二言語の語が複数ある場合には、それらの語
の中で対応するノードの活性値Ｖが最も高い語を、現在
の話題に最も関係する語であると考えそれを選択する。 【００７１】 【発明の効果】以上に説明したように、本発明によれ
ば、コネクショニストモデルに基づく認識理解で、パタ
ーンの出現頻度が偏っていたり、パターンの相関が偏っ
ていたりする場合にも適切に想起ができるようなリンク
重みを持った人工的神経回路網を作成することができ
る。

【図面の簡単な説明】 【図１】 本発明の一実施例に係わる人工的神経回路網
のリンクの学習装置の構成例を示す図。 【図２】 本発明の一実施例に係わる人工的神経回路網
のリンクの学習アルゴリズムを示すフロー図。 【図３】 連想メモリを用いたかな漢字変換方式の説明
図。 【図４】 人工的神経回路網の従来のリンクの学習装置
の構成例を示す図。 【図５】 人工的神経回路網の従来のリンクの学習アル
ゴリズムを示すフロー図。 【図６】 パターンの提示頻度に偏りのある場合のエネ
ルギー局面の模式図。 【図７】 パターンの相関に偏りがある場合のエネルギ
ー局面の模式図。 【図８】 関数ｇの性質を表す図。 【図９】 学習回数の想起能力との関係を表す図。 【図１０】 リンク密度と想起能力との関係を表す図。 【図１１】 ノイズと想起能力との関係を表す図。 【図１２】 従来型連想メモリにける提示頻度とハミン
グ距離との関係を表す図。 【図１３】 本実施例方式による連想メモリにおける提
示頻度とハミング距離との関係を表す図。 【図１４】 本実施例による連想メモリにおける提示頻
度と学習量との関係を表す図。 【図１５】 提示頻度と想起能力との関係を表す図。 【図１６】 パターンの相関の有無と想起能力との関係
を示す図。 【図１７】 従来型連想メモリにおけるパターンの相関
の有無とエネルギー値との関係を示す図。 【図１８】 本実施例方式による連想メモリにおけるパ
ターンの相関の有無とエネルギー値との関係を示す図。 【図１９】 学習回数と乗算回数との関係を示す図。 【図２０】 本発明を自然言語翻訳に適用した例を示す
図。 【符号の説明】 １０１…パターン提示部、 １０２…活性確率更新
部、１０３…活性確率格納部、 １０４…活性確率取
出部、１０５…リンクの重み学習部、１０６…リンクの
重み格納部、１０７…リンクの重み取出部、１０８…初
期化指示部、１０９…エネルギー計算部、 １１０…学
習量δ算出部、１１１…基準エネルギー値記憶部

フロントページの続き (56)参考文献 西山清・他，「冗長なニューロンをも つＨｏｐｆｉｅｌｄニューラルネットワ ークに基づく連想記憶モデル（ＩＩ Ｉ）」，電子情報通信学会技術研究報 告，日本，社団法人電子情報通信学会, 1992年３月19日，Ｖｏｌ．91，Ｎｏ. 530（ＮＣ91−132〜164），ｐｐ．１− ８ 鈴岡節，「連想メモリにおけるスパー スにエンコードさらたパターンの連想能 力についての一考察」，電子情報通信学 会技術研究報告，日本，社団法人電子情 報通信学会，1992年１月18日，Ｖｏｌ. 91，Ｎｏ．414（ＮＣ91−82〜97），ｐ ｐ．65−70 天野真家・他，「ニューラルネットワ ークを用いたかな漢字変換技術」，東芝 レビュー，日本，株式会社東芝，1990年 12月１日，Ｖｏｌ．45，Ｎｏ．12，ｐ ｐ．987−990 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】複数のノードがリンクで結合されノードの
   活性値をリンクの重みに基づいて伝搬させて連想を行う
   ための人工的神経回路網を備え、前記連想が適切に行わ
   れるよう前記リンクの重みを更新する人工的神経回路網
   のリンク学習装置において、各ノードに対応する活性値
   を学習すべきパターンとして入力する入力手段と、この
   入力手段により入力されたパターンの想起のされ易さの
   指標となるエネルギー値Ｅを計算するＥ計算手段と、 このＥ計算手段で計算されたエネルギー値Ｅと所定のエ
   ネルギー値Ｅｔｈとの差を変数とし、かつ、この変数が
   ０のとき値が０となる所定の単調増加関数に基づいて学
   習量を決定する学習量決定手段と、 前記入力手段により入力されたパターンに基づき、前記
   学習量決定手段により決定された学習量が大きければ大
   きくなるような所定関数でリンクの重みを更新する更新
   手段とを具備することを特徴とする人工的神経回路網の
   リンク学習装置。