JP3043539B2

JP3043539B2 - ニューラル・ネットワーク

Info

Publication number: JP3043539B2
Application number: JP5124869A
Authority: JP
Inventors: 承権安; 普賢王; 碩培高; 潤根李
Original assignee: エルジー電子株式会社
Priority date: 1992-08-28
Filing date: 1993-04-28
Publication date: 2000-05-22
Anticipated expiration: 2015-05-22
Also published as: JPH06111038A; KR950012359B1; US5634063A; US5493632A; KR940004463A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、新しいニューラル・ネ
ットワーク（neural Network）及びその操作方法に関す
る。

【０００２】

【従来の技術】一般的に、ニューラル・ネットワークと
は、生物の脳の構造および動作原理を工学的に具現化し
たネットワークを意味する。

【０００３】一般的にニューラル・ネットワークの構造
は、図１（ａ）に示すように複数の層により構成され、
各層は有限個の神経細胞（neuron）で構成される。

【０００４】１個の層の一つの神経細胞は、隣接する他
の層の各神経細胞と連結されており、この連結特性は連
結強度という値でモデル化される。ニューラル・ネット
ワークの主な機能は、与えられた関数が所望の精度に近
づき或いは所望の精度以上となるように、連結強度を変
化させることにある。

【０００５】このように特定の入力に対して特定の出力
が得られるように連結強度を定める方法を、学習法則と
いう。

【０００６】図１（ｂ）は、図１（ａ）の領域ｋの拡大
図で、１個の層の一つの神経細胞が隣接する他の層の各
神経細胞に相互に異なる連結強度で連結された状態を示
したものである。

【０００７】図１（ｂ）において、ｘ_i（ｘ₁，ｘ₂，
…ｘ_n）は各神経細胞に入力される入力値を示し、ｗ_i
（ｗ₁，ｗ₂，…ｗ_n）は各神経細胞と各入力値ｘ_iと
の連結強度を示し、また、神経細胞内の記号はしきい値
（threshold ）を示す。ここで、ｎは正の整数である。

【０００８】これにより、ニューラル・ネットワーク
は、その連結強度ｗ_iを変化させることによって、与え
られた入力値に対する所望の出力値を得る。

【０００９】初期のニューラル・ネットワークの研究に
おいて、ニューラル・ネットワークの一種として、単層
パーセップトロン（single layered perceptron ）とい
われる基本的なモデルが提案された。

【００１０】この単層パーセップトロンは、図２（ａ）
に示すように、１個の入力層（input layer ）と１個の
出力層（output layer）とからなる。この時、連結強度
（以下、加重値：weight）は単層である。この連結強度
（すなわち加重値）を調節するには最小平均自乗（Leas
t Mean Square ）学習法が主に用いられる。

【００１１】以下、単層パーセップトロンのオペレーテ
ィング過程を図６を参照して説明する。まず、図２
（ａ）に示す単層パーセップトロンについて考える。こ
の場合、入力データはｎ次元ベクトルＸ_i＝［ｘ₁，ｘ
₂，…ｘ_n］であり、出力データはｐ次元ベクトルＹ_i
＝［ｙ₁，ｙ₂，…ｙ_p］である。

【００１２】出力側ｉ番目の神経細胞と入力層ｊ番目の
神経細胞とを連結する連結強度（すなわち加重値）はｗ
_ijと表現できる。

【００１３】したがって、Ｘ_iという入力を単層パーセ
ップトロンに供給した時に得られる出力はベクトル行列
の掛け算および合算により下記の式（１）で表現でき
る。ここで、ｆは非線形函数である。

【００１４】入力値Ｘ_iおよび出力値Ｙ_iに対してあた
えられたｍ個の学習（learning）データ（Ｘ₁，
Ｙ₁），（Ｘ₂，Ｙ₂），…，（Ｘ_m，Ｙ_m）を単層パ
ーセップトロンで学習するためには、下記式（２）で示
す最小平均自乗法により連結強度（すなわち加重値）を
調整しなければならない。ｗ_ij (k+1)＝ｗ_ij(k) ＋η（ｙ_i(k) −ｄ_i(k) ）ｘ_j(k) ………（２）ここで、ｄ_i（ｋ）は所望する出力であり、ｙ_i（ｋ）
は実際の出力である。上記の式（２）によれば、学習デ
ータの内、１つの入力ｘ_iが印加された時、単層パーセ
ップトロンは、先に、所望する出力ｙ_iより実際の出力
ｄ_iを減算して出力誤差を検出する。そしてこの出力誤
差を利用して入力層と出力層間の加重値を変化させた
後、出力誤差が所望する程減少したか否かをチャックし
て、減少したと判断すると、学習を終了し、減少しなか
ったと判断すると、出力誤差を検出する過程に復帰す
る。

【００１５】上述のように、図２（ａ）の単層パーセッ
プトロンによれば、入力層および各神経細胞が出力層の
各神経細胞に独立的な連結強度（すなわち加重値）を有
して互に直接連結されるので、速い速度で正確に学習を
行うことができるという長所はあるが、線形分離問題
（Linearly seperable problem）を解決することしかで
きないという短所を有する。

【００１６】単層パーセップトロンのように、入力（Ｘ
₁）および出力（Ｙ_i）を直接連結する構造（Ｘ₁，Ｙ
_i）を直接連想（direct association）という。

【００１７】したがって、単層パーセップトロンのよう
なニューラル・ネットワークは、連想記憶装置（Associ
ative Memory）の役割を行う内容参照メモリ（Content
Addressable Memory; 以下“ＣＡＭ”という）ことがで
きる。

【００１８】一般に、連想記憶装置またはＣＡＭは、入
力があたえられた時、これより連想される出力を行な
う。位置参照メモリ（location addressable memory: L
AM）に対応する概念に照らして見れば、ＣＡＭは、部分
的な表現のみからでも、記憶された情報を類推できると
いう長所を有する。

【００１９】一方、いくつかのパターン認識問題（Patt
ern recognition problem ）をｎ次元の空間におけるｎ
−１次元の高次平面（Hyper plain ）によって正確に分
けることができる場合、その問題を線形分離問題とい
う。

【００２０】図３（ａ）は２次元の空間における線型分
離問題の一例を示す説明図である。すなわち、図３
（ａ）によれば、２次元の空間上のＡおよびＢの正確な
線型分離が可能である。また、線型分離問題に属しない
パターン認識問題を非線型分離問題（Nonlinearly Sepe
rble Problem）という。

【００２１】図３（ｂ）は２次元の空間における非線型
分離問題の一例を示す説明図である。すなわち、図３
（ｂ）によれば、２次元空間上のＸとＯは直線により分
離できない。したがって非線型分離問題は図３（ｃ）の
真理表に示すようにＥＸＯＲ、すなわち排他的論理和に
該当するとするべきである。

【００２２】しかし、パターン認識問題は、図５に示す
ように、ごく少数のもののみが線型分離問題に属し、大
部分のものが非線型分離問題に属する。

【００２３】したがって、直接連想の概念を具現した単
層パーセップトロンは、MinskyおよびPapert（M. L. Mi
nsky and S. A. Papert, peceptron : An introduction
tocomputational Geometry. Cambridge, MA., MIT Pre
ss, expended edition, 1988.）による指摘の通り、回
路網の自身の表現能力（representation Capability）
が制限されることに起因して図３（ｂ）に示すような非
線型分離問題を解決することができなかったので、ニュ
ーラル・ネットワークの他の種類として単層パーセップ
トロンの直列に連結させた多層パーセップトロン（Mult
i-layered perceptron）が提案された。

【００２４】すなわち、単層パーセップトロンは線型分
離問題のみを解決することができる多層パーセップトロ
ンの短所を補完するためのもので、図２（ｂ）に示すよ
うに、１つの入力層、１つの出力層、および、入力層と
出力層間に備えられた隠れ層（hidden layer）からな
る、３層以上の層を備えたニューラル・ネットワークで
ある。

【００２５】多層パーセップトロンは、入力状態
（Ｘ_i）および出力状態（Ｙ_i）を中間状態（Ｚ_i）を
通じて間接的に連結させることにより、間接連想（indi
rect association）概念を具現化したものである。

【００２６】すなわち、図４に示すように、直接連想
（Ｘ_i，Ｙ_i）が論理的に１つのＩＦ−ＴＨＥＮＲＵ
ＬＥ（ＩＦＸ_i，ＴＨＥＮＹ_i）に該当すると、間
接連想（Ｘ_i，Ｚ_i，Ｙ_i）は三段論法（ＩＦＸ_i，
ＴＨＥＮＺ_i，and ＩＦＺ_i，ＴＨＥＮＹ_i）に
該当する。

【００２７】結局、直接連想をさらに容易に行うため
に、入力（Ｘ_i）と出力（Ｙ_i）間に中間段階（Ｚ_i）
を挿入してＺ_i，Ｘ_i，Ｙ_iで構成したものを間接連想
といい、論理学的な観点からは、間接連想は２つの直接
連想からなると解釈することができる。

【００２８】換元すれば、間接連想は「Ｘ_iであれば、
Ｚ_iである」というルール及び「Ｚ_iであればＹ_iであ
る」というルールで表現される三段論法であり、「Ｘ_i
であればＺ_iである」、「Ｚ_iであればＹ_iである」と
表現される２個の直接連想のルールに分離させることが
可能である。

【００２９】このように分離されることにより、１つの
隠れ層を有する多層パーセップトロンは、２つの多層パ
ーセップトロンが直列に連結された構造であるというこ
とができる。多層パーセップトロンの学習方法（learni
ng method ）としては、誤差逆伝搬（error back propa
gation）学習方法が広く用いられている。

【００３０】この誤差逆伝搬学習方法によれば、充分な
個数の神経細胞が確保されれば、どのような函数であっ
てもある程度以上の正確度で近似化できることが、Horn
ik (K. Hornik, M. Stinchcomb, and H. White, “Mult
ilayer feed forward networks are universal approxi
mators”，Neual networks, Vol. 2. no. 5, pp. 359-3
66, 1989. ）によって立証された。

【００３１】この誤差逆伝搬学習方法は、図４に示した
間接連想の概念に照らして見れば、あたえられた入力デ
ータ（Ｘ₁）および出力データ（ｙ₁）に対して線型分
離の可能の中間状態（Ｚ₁）を自動的に探す方法である
と解釈される。

【００３２】この誤差逆伝搬学習の原理は次の通りであ
る。学習データの内、１つの入力を与える場合、所望す
る出力（desired output）と実際の出力（actual outpu
t ）との誤差（error ）を利用して隠れ層と出力層との
間の加重値（以下、第２加重値という）すなわち第２連
結強度を変化させ、この第２加重値に関連させて入力層
と隠れ層との間の加重値（以下、第１加重値という）す
なわち第１連結強度を変化させる。

【００３３】以下、多層パーセップトロンの動作を多層
パーセップトロンの漸減法である誤差逆伝搬学習過程を
示す図７および誤差伝搬学習の順序を示す図８を参照し
て説明する。

【００３４】ここでは、図２（ｂ）に示す多層パーセッ
プトロンについて考える。多層パーセップトロンに隠れ
層を追加した多層パーセップトロンの構造は、ニューラ
ル・ネットワークを用いて非線型分離問題を解決するこ
とができる可能性を提供する。

【００３５】しかしながら、上述のような隠れ層の追加
により、多層パーセップトロンを学習させる際に使用し
た最小平均自乗法が、多層パーセップトロンでは使用す
ることができなくなるので、新しい態様の学習法則が要
求される。

【００３６】この要求に応じる学習法則が、誤差逆伝搬
学習である。この誤差逆伝搬学習は下記の式（３）で表
現できる。ｗ_ij（ｋ＋１）＝ｗ_ij（ｋ）＋ηδ_ijＯ_pj ………（３）ここで、ｗ_ijはｉ番目の神経細胞とｊ番目の神経細胞と
の間の連結強度（すなわち加重値）であり、ηは学習常
数を示す。また式（３）でδ_ijはｐ番目の入力を加えた
場合にｊ番目の神経細胞から得られる誤差項であって、
出力層に対しては下記式（４）で、また隠れ層に対して
は下記式（５）で表現できる。 δ_pj＝ＫＯ_pj（１−Ｏ_pj）（ｄ_pj−Ｏ_pj） ………（４） δ_pj＝ＫＯ_pj（１−Ｏ_pj）Σ（δ_pjＷ_jk） ………（５）式（４）（５）において、δ_pjはｊ番目の神経細胞の実
際の出力値であり、ｄ _ijはｊ番目の神経細胞について所
望される出力値である。またＫは学習回数を示し、ｉ，
ｊ，ｐ，ｋはすべての正の整数を示す。

【００３７】図９（ａ）は最小平均自乗法により加重値
を調節する場合を示すエネルギーグラフで、加重値が最
小値（Ｍ）に収斂されると学習が終了する。

【００３８】図９（ｂ）は誤差逆伝搬学習により加重値
を調節する場合を示すエネルギーグラフで、加重値が曲
形の最小値（ＧＭ）に収斂されると学習が終了される。

【００３９】上記式（３）、（４）、（５）によれば、
学習データの中１つの入力が供給される際、多層パーセ
ップトロンは、先に、所望する出力より実際の出力を減
算して出力誤差を検出する。この出力誤差を利用して隠
れ層と出力層間の第２加重値を変化させた後、第２加重
値に比例させて入力層と隠れ層間の第１加重値を変化さ
せる。

【００４０】ついで出力誤差が所望する程減少したか否
かをチャックして、減少したと判断されると学習を終了
し、減少しなかったと判断されると出力誤差を検出する
過程に復帰する。

【００４１】しかし、この誤差逆伝搬学習を用いた多層
パーセップトロンは、上述のように、非線型分離問題を
解決することができるという長所を有する。

【００４２】

【発明が解決しようとする課題】しかしながら、このよ
うなニューラル・ネットワークには、Hornikによっても
提示されたように、次のような問題点を有する。１．図９（ｂ）に示すように、局所極少点（local erro
r minima : LM ）に収斂し易い。２．あたえられたｍ個の連想Ｕ（Ｘ_i，Ｙ_i）に対して
適当なｍ個の間接連想Ｕ（Ｘ_i，Ｚ_i，Ｙ_i）を作る中
間状態（intermediate state）（Ｚ_i）を漸減法（grad
ient descent）により自動的に探す際や各層の加重値を
調整する際に出力層の誤差のみを用いるので、学習時間
が非常に長くなる。３．図９（ｂ）に示すように、加重値の初期の学習性能
に敏感に影響を受ける。換言すれば、初期加重値をどの
ように選択するかにしたがって学習性能が変化する。し
たがって学習性能の一定性が保障されない。例えば、図
９（ｂ）において初期の加重値Ｗ（Ｏ）がそれぞれＡ，
Ｂ，Ｃ，Ｄに位置する場合、学習性能は下記の式（６）
のような順序を有する。Ａ＞Ｂ＞Ｃ＞Ｄ ………（６）４．学習データの適用順序にしたがって学習能率が異な
ることとなる。

【００４３】このような４つの問題点によれば、上述し
た間接連想の概念に照らしてみれば、ニューラル・ネッ
トワークすなわち多層パーセップトロンが適切な中間状
態（Ｚ_i）を探すことができないことを意味する。

【００４４】本発明の第１目的は、上述した単層パーセ
ップトロンおよび多層パーセップトロンの欠点を除去す
るためのもので、間接連想の概念を導入することによっ
て学習速度を向上させるとともに構成を単純化させるこ
とができる内容−位置−内容参照メモリ（Content-Loca
tion-Content Addressable Memory ）で構成された新し
いニューラル・ネットワーク及びその操作方法を提供す
ることにある。

【００４５】本発明の他の目的は、間接連想の概念を導
入することによって、学習速度を向上させるとともに構
成を単純化させることができる位置−内容参照混成メモ
リ（Hybrid Location-Content Addressable Memory）で
構成された新しいニューラル・ネットワーク及びその操
作方法を提供することにある。

【００４６】

【課題を解決するための手段】上記の目的を達成するた
めの本発明の一つの態様によれば、まず、間接連想コー
ド発生手段は、入力データ（Ｘ_i）および出力データ
（Ｙ_i）に対応させて、線型分離が可能な第１中間状態
Ｚ_1iおよび第２中間状態Ｚ_2iを求め、これにより、この
間接連想の概念に対応する２種類の直接連想（Ｘ_i，Ｚ
_1i）および（Ｚ_2i，Ｙ_i）を得る。

【００４７】入力側の単層パーセップトロンは、あたえ
られた入力情報Ｘ_iおよび第１中間状態Ｚ_1iに対する線
形分離問題である直接連想（Ｘ_i，Ｚ_1i）を具現化し、
位置参照メモリのアドレスとして第１中間状態Ｚ_1iを出
力する。

【００４８】一方、学習手段は、２つの直接連想
（Ｘ_i，Ｚ_1i），（Ｘ_i，Ｚ_2i）についての訓練を、最
小平均自乗法を用いて行なう。位置参照メモリは、入力
側単層パーセップトロンに対する第１中間状態Ｚ_1iをア
ドレスとして記憶し、出力側単層パーセップトロンに対
する第２中間状態Ｚ_2iをアドレスに相応する内容として
記憶する。すなわち、第１中間状態Ｚ_1iと第２中間状態
Ｚ_2iとを直列連結する。

【００４９】本発明の他の態様によれば、間接連想コー
ド発生手段は、間接連想による入力データ（Ｘ_i）およ
び出力データ（Ｙ_i）に対応させて、線型分離が可能な
中間状態Ｚ_iを求め、これにより、１つの直接連想
（Ｘ_i，Ｙ_i）から２種類の直接連想（Ｘ_i，Ｚ_i），
（Ｚ_i，Ｙ_i）を得る。

【００５０】単層パーセップトロンは、あたえられた入
力データＸ_iおよび中間状態Ｚ_iに対する線形分離問題
についての直接連想（Ｘ_i，Ｚ_i）を具現化し、位置参
照メモリのアドレスとしてその中間状態Ｚ_iを出力す
る。

【００５１】学習手段は、前記直接連想（Ｘ_i，Ｚ_i）
を、単層パーセップトロンから最小平均自乗法を用いて
訓練させる。位置参照メモリは、単層パーセップトロン
より出力される中間状態Ｚ_iをアドレスとして入力し、
各アドレスに対応してあたえられた出力データＹ_iを所
望する出力データとして格納する。

【００５２】前述の第１の態様および第２の態様によれ
ば、構造が簡単でかつ学習速度が速いニューラル・ネッ
トワークを提供することが可能となる。

【００５３】

【実施例】以下、添付された図面を参照して本発明の第
１実施例および第２実施例を詳細に説明する。第１実施例本発明の第１実施例によるニューラル・ネットワーク
と、その操作方法を説明する前に、すでに上述したが、
本発明の理解のためにいろいろな先行技術を要約して再
度説明する。

【００５４】ニューラル・ネットワークは、連想記憶装
置の役割をする内容参照メモリである。連想記憶装置
は、入力があたえられた時、このあたえられた入力より
連想される出力を引き出す。

【００５５】単層パーセップトロンは直接連想概念を具
現するが、多層パーセップトロンは間接連想概念を具現
化する。

【００５６】論理学的な観点から、間接連想は２つの直
接連想であると解釈することができる。換言すれば、間
接連想は、下記式（７）で表現される三段論法である。
この三段論法は下記式（８），（９）で表現されるよう
な２つのルールで表現される２つの直接連想に分離する
ことが可能である。ＸであればＺであり、ＺであればＹである ………（７）ＸであればＺである ………（８）ＺであればＹである ………（９）このような分離により、１つの隠れ層を有する多層パー
セップトロンは、２つの単層パーセップトロンが直列連
結された構造であるとみなされる。

【００５７】先行技術において説明した誤差逆伝搬の学
習は、あたえられたｍ個の連想Ｕ（Ｘ_i，Ｚ_i）に対し
て適合するｍ個の間接連想を作るための中間状態Ｚを漸
減法（gradient descent method ）により自動的に探す
ものである。

【００５８】しかし、この時、すでに説明したように、
４つの重大な問題が発生する。これらの問題点を解決す
るために、第１実施例のニューラル・ネットワークで
は、間接連想Ｕ（Ｘ_i，Ｚ_i，Ｙ_i）から分離されてな
る２つの直接連想Ｕ（Ｘ_i，Ｚ_i），Ｕ（Ｚ_i，Ｙ_i）
を線形分離問題に導入するための２つの中間状態Ｚ_1i，
Ｚ_2iを、使用者が直接探す。分離された直接連想Ｕ（Ｘ
_i，Ｚ_i），Ｕ（Ｚ_i，Ｙ_i）は最小平均自乗法で学習
され、中間状態Ｚ_1i，Ｚ_2iは位置参照メモリ（Location
Addressable Memory : LAM ）により連結される。

【００５９】上述のように、第１実施例により提案され
る新しい態様のニューラル・ネットワークは、２つの独
立した直接連想で構成され、２つの中間状態が連結され
なければならないので、図１０および図１１のような新
しいネットワーク構造が要請される。

【００６０】図１０は本発明の第１実施例による新しい
ニューラル・ネットワークの概念的な構成ブロック図
で、あたえられた入力Ｘ_iと、使用者により求められた
第１中間状態Ｚ_1iに対する線形分離問題である直接連想
（Ｘ_i，Ｚ_1i）を具現化する入力側単層パーセップトロ
ン（１０）と、あたえられた出力Ｙ_iと使用者により求
められた第２中間状態Ｚ_2iに対して線形分離問題である
直接連想（Ｚ_2i，Ｙ_i）を具現化する出力側単層パーセ
ップトロン（２０）と、第１中間状態Ｚ_1iと第２中間状
態Ｚ_2iとを連結させるための位置参照メモリ（３０）が
含まれる。

【００６１】ここで、位置参照メモリ（３０）は、一般
的なメモリ素子で、アドレスディコーディング部分（３
０ａ）、各アドレスに該当する内容を格納する内容部分
（３０ｂ）およびデータ出力部分（３０ｃ）で構成され
る。

【００６２】図１０において第１単層パーセップトロン
（１０）および第２単層パーセップトロン（２０）は、
上述のように内容参照メモリといわれる。本発明の第１
実施例によるニューラル・ネットワークは図１０に示す
ように、２つの内容参照メモリと、それらの間に設けら
れる位置参照メモリで構成されるので、内容−位置−内
容参照メモリ（ＣＬＣＡＭ）といわれる。

【００６３】一方、外部よりあたえられたｍ個の直接連
想（Ｘ_i，Ｚ_i）を図１０のＣＬＣＡＭに学習させるた
めには、間接連想の概念によってあたえられた直接連想
（Ｘ_i，Ｙ_i）より分離される直接連想Ｕ（Ｘ_i，
Ｚ_1i），Ｕ（Ｚ_2i，Ｙ_i）がそれぞれ線形分離の問題に
なるようにするための第１中間状態Ｚ_1iおよび第２中間
状態Ｚ_2iを簡単かつ体系的に求める方法が必要となる。

【００６４】この問題を間接連想コード発生問題（inde
rect association code generationproblem）といい、
この問題を解決するための種々の方法の内、第１実施例
においては補数関係データ（Complement data ）の幾何
学的な配置に基づいた解決方法を提案する。

【００６５】また、あたえられたｍ個の連想Ｕ（Ｘ_i，
Ｙ_i）に対する間接連想問題の解として、第１中間状態
Ｚ_1iおよび第２中間状態Ｚ_2iが求められると、第１実施
例では、最終的に、最小平均自乗法を利用して入力側の
内容参照メモリ（例えば単層パーセップトロン）および
出力側の内容参照メモリ（例えば単層パーセップトロ
ン）の学習を行なう。

【００６６】したがって、図１０に示すＣＬＣＡＭは図
１１に示すように、さらに具体的に構成され得る。

【００６７】すなわち、図１１のＣＬＣＡＭは、あたえ
られた入力データＸ_iおよび出力情報Ｙ_iにより線形分
離が可能な第１中間状態Ｚ_1iおよび第２中間状態Ｚ_2iを
作る間接連想コード発生装置（４０）と、あたえられた
入力情報Ｘ_iおよび第１中間状態Ｚ_1iに対して線形分離
問題である直接連想（Ｘ_i，Ｚ_1i）を具現化する入力側
単層パーセップトロン（５０）と、あたえられた出力Ｙ
_iおよび第２中間状態Ｚ_2iに対して線形分離問題である
直接連想（Ｚ_2i，Ｙ_i）を具現化する出力側単層パーセ
ップトロン（６０）と、かつ直接連想（Ｘ_i，Ｚ_1i）
（Ｚ_2i，Ｙ_i）を最小平均自乗法で学習させるための学
習装置（７０）と、入力側単層パーセップトロン（５
０）の第１中間状態Ｚ_1iと出力側単層パーセップトロン
（６０）の第２中間状態Ｚ_2iとを直接連結する位置参照
メモリ（８０）を備える。

【００６８】図１０と同様、入力側単層パーセップトロ
ン（５０）および出力側単層パーセップトロン（６０）
は、それぞれ内容参照メモリで構成される。

【００６９】また、位置参照メモリ（８０）は、一般的
なメモリ素子として、アドレスデコートディング部（８
０ａ）、内容部（８０ｂ）およびデータ出力部（８０
ｃ）からなる。

【００７０】以下、図１１によるＣＬＣＡＭの操作過程
を説明する。ＣＬＣＡＭの操作過程は、大別して図１２
（ａ）のような学習過程と図１２（ｂ）のような連想過
程とに区分される。

【００７１】学習過程は、図１２（ａ）に示したよう
に、あたえられた入力データＸ_iを利用し、間接連想コ
ード発生装置（４０）用いて、線形分離問題を作る第１
中間状態Ｚ_1iを求める第１学習過程と、図１２（ａ）の
ようにあたえられた出力データＹ_iを利用し、間接連想
コード発生装置（４０）を用いて、線形分離問題を作る
第２中間状態Ｚ_2iを求める第２学習過程と、図１２
（ｂ）のように第１学習過程および第２学習過程を通じ
て得られた２つの直接連想、すなわち入力データＸ_iお
よび第２中間状態Ｚ_1iに対する直接連想（Ｘ_i，Ｚ_1i）
と、第２中間状態およびＺ_2i出力データＹ_iに対する直
接連想（Ｚ_2i，Ｙ_i）とを、それぞれ入力側単層パーセ
ップトロン（５０）および出力側単層パーセップトロン
（６０）から最小平均自乗法で訓練（training）させる
第３学習過程と、からなる。 ◎ 第１学習過程図１３に示すように、あたえられた入力データＸ_iに対
して線形分離にあるコード（code）、すなわち第１中間
状態Ｚ_1iを、補数関数データの幾何学的な配置に基づい
た方法を利用して下記のような段階を通じて作る。 i) あたえられた二進数の入力データＸ_iを、大きさの
順序通り配列する。 ii）最左方のビットが‘０’であるか‘１’であるかに
よって、２つの集合に分ける。

【００７２】この時、第１ビットが‘０’の入力データ
Ｘ_iからなる集合をＡと定義し、第１ビットが‘１’の
入力データＸ_iからなる集合をＢと定義する。

【００７３】もし、あたえられた入力データＸ_iの第１
ビットがすべて‘０’であればＢは空集合になり、あた
えられた入力データＸ_iの第１ビットがすべて‘１’で
あればＡは空集合になる。 iii) 図１４（ａ）に示すように、集合Ａの要素から、
補数が集合Ｂの要素となるものをすべて探す。 iv）段階(iii）で探す要素をＸ₁と定義すると、この
場合、Ｘ₁はＡの要素となり、Ｘ₁ ^ｃはＢの要素とな
る。Ｘ₁を集合Ｂに移し、Ｘ_iと補数関係にある要素Ｘ
₁ ^ｃを集合Ａに移した後、集合Ａに属するすべての要素
に‘０’を割当て、集合Ｂに属するすべての要素に
‘１’を割当てる。このような過程をコーディングとい
う。ｉ番目のコーディングにより得られた二進数のベク
トル（vector）をｇ_iとする。 v) ｇ_i＝｛ｇ₁，ｇ₂，…ｇ_s｝が、あたえられた入
力データＸ_iのベクトルｇ_iをすべて区分することがで
きれば、コーディングを終了する。

【００７４】もし、区分することができなければ、区分
が可能する時までコーディングを繰り返す。 vi）図１４（ｂ）に示すように、交換しようとする補
数要素Ｘ_i ^ｃがなければ、集合Ａの要素を１ビットだけ
変化させて得た仮想要素の補数となるすべての要素を、
集合Ｂから探す。もし、該当する要素が存在すれば、そ
の要素を１つずつ交換しながら、入力データのベクトル
をすべて区分することができるまで、コーディングを遂
行する。 vii) 段階（vi）のコーディングについてもあたえられ
た入力データＸ_iをすべて区分することができなけれ
ば、図１４（ｃ）に示すように、集合Ａと集合Ｂの要素
を１つずつ反対側の集合に移しながら、入力データのベ
クトルをすべて区分することができる時まで、コーディ
ングを遂行する。 viii）図１５に示すような、他と区別できるすべての
入力データのベクトルｇ_i＝｛ｇ₁，ｇ₂，…，ｇ_s｝
を、図１１に示した位置参照メモリ（８０）のアドレス
を示す第１中間状態Ｚ_1iとして、格納する。 ◎ 第２学習過程あたえられた出力データＹ_iに対して線形分離している
コード、すなわち第２中間状態Ｚ_2iを、間接連想コード
発生装置（４０）を通じて作る。

【００７５】図１６に示すように、このコード生成方法
は、出力データＹ_iが‘１’である場合には‘００’を
割当て、出力データＹ_iが‘０’である場合には、‘１
１’を割当てて、あたえられた出力データＹ_iに対して
線形分離している間接コードを作り、位置参照メモリ
（８０）の内容として記憶させる。‘００’の代わりに
‘０１’または‘１０’のいずれかを用いることができ
る。 ◎ 第３学習過程第１学習過程および第２学習過程から求めた線形分離問
題にある第１中間状態Ｚ_1i、第２中間状態Ｚ_2i、あたえ
られた入力データＸ_iおよび出力データＹ_iに対して具
現化される線形分離問題の直接連想（Ｘ_i，Ｚ_1i）およ
び直接連想（Ｚ_2i，Ｙ_i）を、それぞれ入力側内容参照
メモリ（すなわち単層パーセップトロン（５０））およ
び出力側内容参照メモリ（すなわち単層パーセップトロ
ン（６０））から、図１１の学習手段（７０）により最
小平均自乗法で学習させる。 ◎ 連想過程この連想過程は、第１連想過程と第２連想過程とからな
る。 i) あたえられた入力データＸ_iが前記学習過程を通じ
て学習された図１１のＣＬＣＡＭの入力側単層パーセッ
プトロン（５０）に入力されると、入力側単層パーセッ
プトロン（５０）は位置参照メモリ（８０）のアドレス
として使用される線形分離が可能な第１中間状態Ｚ_1iを
出力する。 ii）位置参照メモリ（８０）は入力されるアドレスに
該当する内容、すなわち学習過程における内容として格
納された線形分離可能な第２中間状態Ｚ_2iを出力する。
この第２中間状態Ｚ_2iは出力側単層パーセップトロン
（６０）の入力となる。この時、出力側単層パーセップ
トロン（６０）から得られた出力が、所望する出力とな
る。

【００７６】上述のように、本発明の第１実施例は、間
接連想概念という思想に立脚して新しい種類のニューラ
ル・ネットワーク及びその操作方法を提案する。

【００７７】本発明は、上述した範囲に限定されるもの
ではなく、間接連想を具現化するための間接連想コード
発生方法を変更することにより、図１１のＣＬＣＡＭで
使用された内容参照メモリ（すなわち単層パーセップト
ロン）の数を増加させることができる。

【００７８】例えば、特定の種類のパターン認識問題を
解くためには、図１１に示すようなＣＬＣＡＭを、複数
個階層的（直列に）連結して、ニューラル・ネットワー
クを構成することもできる。

【００７９】また、特定の種類の問題を解くためには、
図９に示すようなＣＬＣＡＭを複数個並列に連結してニ
ューラル・ネットワークを構成することもできる。

【００８０】さらに、もし、あたえられた入力データＸ
_iおよび出力データＹ_iが実数ベクトル（real-valued
vector）であれば、ＣＬＣＡＭと共にｑ‐レベル変換器
（Q-level quantizer)またはアナログ‐ディジタル変換
器を用いてニューラル・ネットワークを構成することも
できる。

【００８１】第１実施例のＣＬＣＡＭによれば、従来の
ような誤差逆伝搬学習方法を用いる多層パーセップトロ
ンと比べて、次のような効果がある。１．学習時間が速くなる。２．局所極小点に落ちないので、どのようなデータが
与えられても学習が可能である。３．どのような初期加重値を選択しても、優れた学習
性能が保障される。４．学習データを加える順序とは関係なく、学習性能
を保障することができる。５．同一の複雑度を有する他のニューラル・ネットワ
ークと比べて多量の情報を記憶することができ、また学
習させることができる。６．大容量の単語を記憶する映像認識、音声認識、文
書認識、画像認識、神経制御網、予測システムおよび推
論システムのようなパターン認識システムにおいて、高
い認識率を保障することができる。７．雑音が多い場合にも、高い認識率を保障すること
ができる。８．ニューラル・ネットワークにおける、高い制御性
能を保障することができる。

【００８２】上述のＣＬＣＡＭは、多層パーセップトロ
ンに比べて優れた効果を有する。しかしＣＬＣＡＭの構
成の内、出力側単層パーセップトロンは、位置参照メモ
リに故障がないという仮定下においては、ＣＬＣＡＭの
一般的な能力に特別な影響をあたえないので、必須不可
欠な要素ではない。

【００８３】第２実施例第２実施例は第１実施例によるＣＬＣＡＭと同様の性能
を保持すると共に、ＣＬＣＡＭの構造を単純化させるこ
とができ、かつ学習速度を向上させることができる、改
善されたニューラル・ネットワーク及びその操作方法を
提供するためのものである。

【００８４】図１７は第２実施例に係るニューラル・ネ
ットワークの概念的な構成ブロック図で、あたえられた
入力Ｘ_iと、使用者により人為的な線形分離を行うこと
ができるように求められる中間状態Ｚ_iに対して線形分
離問題となる直接連想（Ｘ_i，Ｚ_i）を具現化する単層
パーセップトロン（１１０）と、単層パーセップトロン
（１１０）より出力される中間状態Ｚ_iをアドレスとし
て入力し、あたえられた出力データＹ_iをアドレスに対
応させて、所望する出力値として格納する位置参照メモ
リ（１２０）とを備える。

【００８５】ここで、位置参照メモリ（１２０）は、一
般的なメモリの構成と同一であり、アドレスディコーデ
ィング部（１２０ａ）、各アドレスに該当する内容を格
納する内容部（１２０ｂ）およびデータ出力部（１２０
ｃ）で構成される。

【００８６】第１実施例で説明したように、単層パーセ
ップトロンは内容参照メモリと言われる。

【００８７】図１７のニューラル・ネットワークは図１
８に示すように、さらに具体的に構成することができ
る。

【００８８】図１８のニューラル・ネットワークは、あ
たえられた入力データＸ_iより線形分離が可能な第１中
間状態Ｚ_iを作る間接連想コード発生装置（１３０）
と、あたえられた入力データＸ_iおよびあたえられた中
間状態Ｚ_iに対する直接連想（Ｘ_i，Ｚ_i）を具現化す
る単層パーセップトロン（１４０）と、直接連想
（Ｘ_i，Ｚ_i）を最小平均自乗法で単層パーセップトロ
ン（１４０）において学習させるための学習装置（１５
０）と、単層パーセップトロン（１４０）より出力され
る中間状態Ｚ_iをアドレスとして入力し、各アドレスに
対してあたえられた出力データＹ_iを、所望する出力デ
ータＹ_iとして格納する位置参照メモリ（１６０）とか
らなる。

【００８９】図１７と同様に、位置参照メモリ（１６
０）は、一般的なメモリ素子の構造であり、アドレスデ
ィコーディング部（１６０ａ）、あたえられた出力デー
タＹ_iを各アドレスに該当する内容として格納する内容
部（１６０ｂ）およびデータ出力部（１６０ｃ）で構成
される。

【００９０】図１８のニューラル・ネットワークによれ
ば、直接連想（Ｘ_i，Ｙ_i）を間接連想に相応する２つ
の直接連想（Ｘ_i，Ｚ_i），（Ｚ_i，Ｙ_i）に変換し、
前者の直接連想（Ｘ_i，Ｚ_i）のみを線形分離が可能と
なるように作った後、単層パーセップトロン（１４０）
から学習させる。

【００９１】後者の直接連想（Ｚ_i，Ｙ_i）は直接位置
参照メモリ（１６０）に記憶させる。この時、後者の直
接連想（Ｚ_i，Ｙ_i）は、直接位置参照メモリ（１６
０）に記憶されるので、線形分離が可能となるようにす
る必要がない。

【００９２】すなわち、出力側に対して、中間状態に該
当する間接連想コードをさらに作る必要がないので、第
１実施例によるＣＬＣＡＭに比べて間接連想コード生成
時間が短縮され、後者の単層パーセップトロンを除去す
ることができるので、ニューラル・ネットワークの構成
が簡略化できる。

【００９３】図１７のニューラル・ネットワークは、１
つの内容参照メモリ（すなわち、単層パーセップトロ
ン）と、１つの位置参照メモリとで構成されるので、位
置‐内容参照が可能なメモリ（Hybrid Location-Conten
t Addressable Memory : HyLCAM)と言われる。

【００９４】外部よりあたえられたｍ個の直接連想（Ｘ
_i，Ｚ_i）を図１７のＨｙＬＣＡＭに学習させるために
は、あたえられた直接連想（Ｘ_i，Ｙ_i）より分離され
る直接連想（Ｘ_i，Ｚ_i）が線形分離の問題となるように
するための中間状態を体系的に求められるような方法を
使用することが必須である。

【００９５】この問題を間接連想コード発生問題（indi
rect association code generationproblem）という。

【００９６】第２実施例では、種々の解決方法の中で、
自己複製法（auto-association）および補数関係データ
（Complement data)の幾何学的な配置に基づいたコーデ
ィング方法を利用する。

【００９７】この方法の効率は、あたえられた入力デー
タＸ_iの数ｍとこの入力データＸ_iに対する補数データ
Ｘ_i ^ｃの数ｓと、入力データＸ_iの大きさｎによって決
定される。

【００９８】もし、ｎ＞ｍ−ｓ−１であれば、自己複製
法の方が効率的であり、ｎ＞ｍ−ｓ−１でなければ、補
数関係データの方が効率的である。

【００９９】自己複製法とは、入力データＸ_iをそのま
ま単層パーセップトロン（１４０）の出力、すなわち中
間状態Ｚ_iとして使用する方法である。この方法では間
接連想コードを作る必要がなく、補数関係データの幾何
学的な配置による間接連想コード生成方法と比較して図
１８に示した間接連想コード発生装置（１３０）の構造
をさらに簡略に構成することができるという長所があ
る。

【０１００】この補数関係データの幾何学的な配置に基
づいて間接的な線形分離が可能であることはすでに証明
されており、これは下記のＨｙＬＣＡＭの操作による補
数関係データの幾何学的な配置を根拠とした間接連想コ
ード生成方法や、やはり下記のＨｙＬＣＡＭの操作の説
明とともに、詳細に説明する。

【０１０１】図１８に示したＨｙＬＣＡＭの操作過程
は、大別して図１９（ａ）に示した学習過程と、図１９
（ｂ）に示した連想過程とに区分される。

【０１０２】図１９（ａ）に示すように、学習過程は、
あたえられた入力データＸ_iおよび出力データＹ_iを利
用して、間接連想コード発生装置によりあたえられた入
力データＸ_iに対して線形分離が可能な間接連想コード
を、１つの中間状態Ｚ_iとして求める第１学習過程と、
間接連想概念にしたがって第１学習過程から求めた中間
状態Ｚ_iおよびあたえられた入力データＸ_iに対する直
接連想（Ｘ_i，Ｚ_i）を単層パーセップトロンから最小
平均自乗法で訓練させ、中間状態Ｚ_iを位置参照メモリ
のアドレスディコーディング部（１６０ａ）に記憶さ
せ、あたえられた出力データＹ_iを位置参照メモリ（１
６０）の内容部（１６０ｂ）に記憶させる第２学習過程
と、からなる。 ◎ 第１学習過程第１学習方法は、上述のように、２つの方法、すなわち
自己複製方法と補数関係データの幾何学的な配置に基づ
いた方法とにより遂行される。

【０１０３】以下、これらを図２０を参照して説明す
る。 ◎ 自己複製法もし、ｎ＞ｍ−ｓ−１であれば、間接連想コード発生方
法として、自己複製法を使用する。

【０１０４】この方法は、あたえられた入力データＸ_i
を、図１７および図１８の単層パーセップトロンの出力
（または中間状態Ｚ_i）として使用する。

【０１０５】すなわち、Ｚ_i＝Ｘ_iである。この間接連
想コード発生方法は、すべての自己複製（auto-associa
tion）（Ｘ₁，Ｘ₁），（Ｘ₂，Ｙ₂）…（Ｘ_m，
Ｘ_m）は、線形分離が可能であるという事実に基づくも
のである。

【０１０６】ここで、Ｘ_iはｎ次元のベクトルである。
また、Ｚ_i＝Ｘ_iであるので、生成された直接連想（Ｘ
_i，Ｚ_i）は線形分離が可能であり、中間状態Ｚ_iを表
現するベクトルの大きさは入力ベクトルの大きさと同一
である。

【０１０７】すなわちｈ＝ｎである。この自己複製法
は、剰余（redundant)データを根拠とする間接連想コー
ド生成方法と呼ばれ、これを定理（theorem)と証明（pr
oof)および系（corollary)の順に詳細に説明する。

【０１０８】この方法は剰余データの対（pairs)が、線
形分離可能であることを示す、次の定理から得られる。定理１：剰余データ対（Ｘ₁，Ｘ₁）…（Ｘ_m，Ｘ_m）
は各入力データＸ_iがｎ次元（dimensional)の二進ベク
トルである場合、線形分離が可能である。証明：ｎを特定の値とした場合の証明を、一般的な場合
すなわちｎを任意の値とした場合にまで拡張することは
容易であるので、まずｎ＝３と仮定する。

【０１０９】そして、ｍ＝２ⁿ＝８の場合を考える。

【０１１０】あたえられたスイッチング関数としての自
己複製は、１つの真理テーブル（truth table)で表すこ
とができる。

【０１１１】このことは、デーブル１の１番目および２
番目のコラム（column）に示されている。

【０１１２】テーブル１：自己複製の真理テーブルおよびこれに対応する不等式Ｘ₁ Ｘ₂ Ｘ₃ ｆ₁ ｆ₂ ｆ₃ 不等式０００００００＜Ｔ００１００１Ｗ₃＜Ｔ０１００１０Ｗ₂＜Ｔ０１１０１１Ｗ₂＋Ｗ₃＜Ｔ１００１００Ｗ₁＞Ｔ１０１１０１Ｗ₁＋Ｗ₃＞Ｔ１１０１１０Ｗ₁＋Ｗ₂＞Ｔ１１１１１１Ｗ₁＋Ｗ₂＋Ｗ₃＞Ｔ

【０１１３】テーブル２：ｆ₂の線形分離を評価するためのテーブルＸ₁ Ｘ₂ Ｘ₃ ｆ₂ 不等式０００００＜Ｔ００１０Ｗ₁＜Ｔ０１００Ｗ₃＜Ｔ０１１０Ｗ₁＋Ｗ₃＜Ｔ１００１Ｗ₂＞Ｔ１０１１Ｗ₁＋Ｗ₂＞Ｔ１１０１Ｗ₂＋Ｗ₃＞Ｔ１１１１Ｗ₁＋Ｗ₂＋Ｗ₃＞Ｔついで、スイッチング関数ｆ₁の線形分離問題を考え
る。スイッチング関数の理論（theory）に基づいて８個
の不等式が構成されてテーブル１の３番目のコラムに記
載さている。上方から４番目の列までは矛盾（contradi
ction)がないことが容易に発見される。

【０１１４】矛盾がないということは、その不等式を満
足する加重値Ｗ₁が存在することを意味する。下方から
４番目の列（bottom four rows）までは利得項（gain t
erm)Ｗ₁を加算し、上方から４番目の列に対して不等号
を反対にすることにより容易に得られるので、それには
どんな矛盾もないということが注目される。

【０１１５】上方および下方の式は、共通のパターンを
有するので、下記式（１０），（１１），（１２），
（１３）のように、結合して示すことができる。Ｔ’≦０＜Ｔ ………（10）Ｔ’≦Ｗ₃＜Ｔ ………（11）Ｔ’≦Ｗ₂＜Ｔ ………（12）Ｔ’≦Ｗ₂＋Ｗ₃＜Ｔ ………（13）ここで、Ｔ’＝Ｔ−Ｗ₁である。式（１０）〜（１３）
を満足するＷ₁，ＴおよびＴ’を探すことは保障されて
いる。したがって、スイッチング関数ｆ₁は線形分離が
可能であると結論できる。スイッチング関数ｆ₂の線形
分離は、テーブル２に示すように、真理テーブルを再作
成する方法により立証することができる。

【０１１６】これに対応する不等式は、スイッチング関
数ｆ₁を用いて作った式と同じパターンのものであり、
添字が異なるだけである。

【０１１７】スイッチング関数ｆ₁の線形分離を証明す
る場合と同じの理由により、スイッチング関数ｆ₂も線
形分離が可能であると結論できる。

【０１１８】スイッチング関数ｆ₃の線形分離も、同様
の手順で確められる。

【０１１９】最後に、ｍ＜２ⁿの場合を考える。この場
合は、考慮しない項（Don't care terms）としてみるこ
とのできる欠落項が存在することを意味する。

【０１２０】非矛盾式（noncontradictory equations）
の部分集合は、常に非矛盾であるので、考慮しない項は
スイッチング関数の線形分離には影響をあたえない。

【０１２１】この証明は、常に非矛盾不等式を作る真理
テーブル内において共通パターンとして存在するものと
することを考慮することにより、任意の数ｎに対して容
易に拡張することができる。系１：単層パーセップトロ
ンは、各入力データＸ_iがｎ次元二進ベクトル（binary
vector)である場合において、常に自己複製（Ｘ_i），
（Ｘ_i）…（Ｘ_m），（Ｘ_m）を表し、学習することが
できる。証明：定理１およびRosenblattによるパーセッ
プトロンカンバーゼンス（convergence)定理（F.Rosenb
latt, Principles of Neurodynamics, NewYork, Sparta
nBooks, 1959 。）により証明される。

【０１２２】定理１および系１は、自己複製の使用が間
接コード生成問題に対する簡単な解答を提供することが
できることを意味する。この場合において、中間状態Ｚ
_iの次数は上述のように入力状態のそれと同一である
（ｈ＝ｎ）。 ◎ 補数関係データの幾何学的な配置に基づく間接コー
ド生成方法ｎ≦ｍ−ｓ−１であれば、前記自己複製方法を適用せ
ず、入力データＸ_iに対して線形分離となる間接連想コ
ードを、補数関係データの幾何学的な配置に基づくコー
ド生成法を使用して作る。

【０１２３】この間接連想コードの生成方法は、第１実
施例において第１中間状態Ｚ_iとして使用された間接コ
ード生成方法と類似している。

【０１２４】理解のために、この方法を図２０を参照し
て、以下のように、段階別に再度説明する。 i) あたえられた二進数の入力データＸ_iを大きさの順
序通り配列し、最左方のビットが‘０’であるものと
‘１’であるものとの２つの集合に分ける。

【０１２５】この時、第１ビットが‘０’である入力デ
ータの集合をＡとし、第１ビットが‘１’である入力デ
ータの集合をＢとする。

【０１２６】もし、あたえられた入力データＸ_iの第１
ビットがすべて‘０’であるとＢは空集合になり、あた
えられた入力データＸ_iの第１ビットがすべて‘１’で
あるとＡは空集合になる。 ii）ｋ＝０と設定する。

【０１２７】集合Ａの要素に‘０’を割当て、集合Ｂの
要素に‘１’を割当てて、ｇ_kを作る。 iii) 集合Ａの要素から、補数が集合Ｂの要素となるも
のをすべて探す。

【０１２８】これにより探したデータの数をｓとする。
もし、ｓ＝０であれば、ステップ（iv）に移行する。 iv）ｋ＝ｋ＋１と設定する。

【０１２９】Ｘ_iがＡの要素であり、Ｘ_i ^ｃがＢの要素
であるＸ_iを考える。Ｘ_iを集合Ｂに移し、Ｘ_iに補数
関係がある要素Ｘ_i ^ｃを集合Ａに移した後、これにより
作った集合をＡ_kおよびＢ_kとする。

【０１３０】集合Ａ_kに属するすべての要素に‘０’を
割当て、集合Ｂ_kに属するすべての要素に‘１’を割当
ててｇ_kを作る。 v) ｛ｇ₁，ｇ₂，…ｇ_k｝を列ベクトルとする行列Ｇ
を考える。

【０１３１】この時、Ｇの行ベクトルは中間状態Ｚ_iと
なり、この中間状態Ｚ_iが入力ベクトルをすべて区分す
ることができれば、ステップ（vii)に移行する。

【０１３２】もし、区分することができなければ、ｋ＝
ｓとなるまでステップ（vi）を繰り返す。 vi）ｋ＝０と設定する。

【０１３３】集合Ａの要素の補数が集合Ｂに存在しない
場合は、この要素を集合Ｂに移し、これにより作った集
合をＡ_s+kおよびＢ_s+kとする。集合Ａ_s+kのすべての
要素に‘０’を割当て、集合Ｂ_s+kのすべての要素に
‘１’を割当てることにより、ベクトルｇ_s+kを求め
る。 vii) 二進ベクトルｇ_s+kを列ベクトルとする行列を考
えると、その行列の行ベクトルを中間状態Ｚ_iとして定
め、求めた中間状態Ｚ_iがあたえられた入力ベクトルを
すべて区分することができるようになるまで、ステップ
（vi）を繰り返す。 viii）コード生成を終了する。 ◎ 第２学習過程第２学習過程は、第１学習過程から作られた中間状態Ｚ
_iを利用して求めた２つの直接連想（Ｘ_i，Ｚ_i）（Ｚ
_i，Ｙ_i）の内で、前者の直接連想（Ｘ_i，Ｚ_i）を図
１８に示す単層パーセップトロンから最小平均自乗法で
学習させる段階と、後者の直接連想（Ｚ_i，Ｙ_i）を図
１８の位置参照メモリ（１６０）にアドレスおよび内容
として格納する段階とからなる。 ◎ 連想過程ＨｙＬＣＡＭの連想作用は、次の通りである。図１９
（ｂ）に示すように、学習された図１８のＨｙＬＣＡＭ
にあたえられた入力データＸ_iが入力されると、多層パ
ーセップトロンは位置参照メモリのアドレスとして中間
状態Ｘ_iを出力する過程と、位置参照メモリは単層パー
セップトロンにより出力されたアドレスに該当する内容
すなわちあたえられた出力データＹ_iを出力する過程と
らかなる。

【０１３４】上述のように、第２実施例では間接連想概
念の思想に立脚して新しいニューラル・ネットワーク及
びその操作方法を提供した。

【０１３５】間接連想を具現化するために、また他の間
接連想コード合成方法を使用することにより、ＨｙＬＣ
ＡＭから使用される単層パーセップトロンの数を増加さ
せることができる。

【０１３６】特定の種類の問題を解するためには、図１
７、図１８に示すようなＨｙＬＣＡＭの多数を直列に連
結してニューラル・ネットワークを構成することもでき
る。

【０１３７】また、特定の種類の問題を解するために
は、いくつのＨｙＬＣＡＭを並列的に連結してニューラ
ル・ネットワークを構成することもできる。

【０１３８】また、あたえられた入出力データが実数ベ
クトル（real-valued vector）であれば、ｑ‐レベル量
子化器（Q-level quantizer)またはアナログ‐ディジタ
ル変換器（A/D Converter)をＨｙＬＣＡＭと共に用いて
ニューラル・ネットワークを構成することもできる。

【０１３９】以上説明したように、本発明の第２実施例
によれば、ＨｙＬＣＡＭは、第１実施例のＣＬＣＡＭと
比較して出力側単層パーセップトロンが除去されるの
で、ニューラル・ネットワークの構造が簡単となり、自
己複製法による間接コード（すなわち、中間状態）の生
成により学習時間が短縮されるという効果を有する。

【０１４０】もちろん、ＨｙＬＣＡＭは従来の多層パー
セップトロンと比較して第１実施例で説明したＣＬＣＡ
Ｍのすべての長所を同様に有する。

【０１４１】上述した第２実施例として提案したＨｙＬ
ＣＡＭの性能を評価するために、ｎ個の入力に１つの出
力を有する簡単なＥＸＯＲの問題の例をあげる。

【０１４２】この問題の興味深いのは、すでにＰＤＰ
Ｇｒｏｕｐ（D.E.Rumelhart, G.E.Hinton, and R.J.wil
liams,“Learning internal representations by error
propagation”in parallel Distributed Processing.
Cambridge, MA; MIT press,1988, pp.318〜362 ．）が
提示したように、誤差逆伝搬により学習された多層パー
セップトロンがこの問題に対して局所極小点に収斂され
る場合があるためである。

【０１４３】まず、ＨｙＬＣＡＭの学習を考える。どの
ようなｎに対してもｎ＜ｍ−ｓ−１であるので、適当な
中間状態を探すために自己複製方法を利用する。テーブ
ル３は、３つの入力を有するＥＸＯＲ問題に対する中間
状態を示す。

【０１４４】ついで、得られた直接連想（Ｘ_i，Ｚ_i）
（Ｚ_i，Ｙ_i）を、図１８に示すようにＨｙＬＣＡＭの
単層パーセップトロンおよび位置参照メモリにそれぞれ
記憶させる。

【０１４５】また、学習速度の比較のために、誤差逆伝
搬によって学習した多層パーセップトロンとの比較実験
を行う。

【０１４６】公正な比較のために、多層パーセップトロ
ンの隠れ層の数は、ＨｙＬＣＡＭの中間状態Ｚ_iの大き
さと同一にした。

【０１４７】図２１は、入力データを２個から５個に変
化させる場合の学習回数の変化を示す。多層パーセップ
トロンの学習回数は、入力データＸ_iの数に指数関数的
に比例して増加した反面、提案されたＨｙＬＣＡＭはほ
とんど線形的に変化することが理解できる。

【０１４８】すなわち、提案されたＨｙＬＣＡＭには、
ＭｉｎｓｋｙおよびＰａｐｅｒｔが指摘したscaling-up
問題がみられないことが理解できる。

【０１４９】最終的に、２４回の学習中、図２（ｂ）の
多層パーセップトロンでは局所極小点に収斂される回数
が４回である反面、図１８のＨｙＬＣＡＭでは全く収斂
されなかったことを確認した。

【０１５０】したがって、図２１のようにＨｙＬＣＡＭ
の解が保証されていることに伴う速い学習速度を確認し
た。

【０１５１】テーブル３．３個の入力を有するＥＸＯＲ
および形成された中間状態

【図面の簡単な説明】【図１】（ａ）は一般的なニューラル・ネットワークの
構造を示すダイヤグラムであり、（ｂ）は図１（ａ）の
領域ｋに対する拡大図である。【図２】（ａ）は単層パーセップトロンの構造を示すダ
イヤグラムであり、（ｂ）は多層単層パーセップトロン
の構造を示すダイヤグラムである。【図３】（ａ）〜（ｃ）ともに線形分離問題を示す説明
図である。【図４】間接連想の概念を説明するためのダイヤグラム
である。【図５】全てのパターン認識問題領域の中、線形分離問
題の領域と非線形分離問題の領域との関係を示すダイヤ
グラムである。【図６】単層パーセップトロンの学習過程を説明するダ
イヤグラムである。【図７】多層パーセップトロンの学習過程を説明するダ
イヤグラムである。【図８】多層パーセップトロンの漸減法を説明するダイ
ヤグラムである。【図９】（ａ）は多層パーセップトロンにおいて最小平
均自乗法により加重値を調節する場合を示すエネルギー
グラフであり、（ｂ）は多層パーセップトロンにおいて
誤差伝搬学習により加重値を調節する場合を示すエネル
ギーグラフである。【図１０】本発明の第１実施例によるＣＬＣＡＭの概念
的な構成ブロック図である。【図１１】本発明の第１実施例によるＣＬＣＡＭの具体
的な構成ブロック図である。【図１２】（ａ）は本発明の第１実施例によるＣＬＣＡ
Ｍの学習過程を示すダイヤグラムであり、（ｂ）は本発
明の第１実施例によるＣＬＣＡＭの連想過程を示すダイ
ヤグラムである。【図１３】第１実施例にしたがってあたえられた入力デ
ータＸ_iに対して線形分離可能な第１中間状態Ｚ_1iとし
ての間接連想コードを生成する過程を示すフローチャー
トダである。【図１４】（ａ）〜（ｃ）ともに、補数関係データの幾
何学的配置に基づいた方法により第１中間状態Ｚ_1iに該
当する間接連想コードを生成する段階を示すフローチャ
ートである。【図１５】入力データのベルトルを示す図である。【図１６】第１実施例にしたがってあたえられた出力デ
ータＹ_iに対して線形分離が可能な第２中間状態Ｚ_2iと
しての間接連想コードを生成する方法を示すダイヤグラ
ムである。【図１７】本発明の第２実施例によるＨｙＬＣＡＭの概
念的な構成ブロック図である。【図１８】本発明の第２実施例によるＨｙＬＣＡＭの具
体的な構成ブロック図である。【図１９】（ａ）は本発明の第２実施例によるＨｙＬＣ
ＡＭの学習過程を示すダイヤグラムであり、（ｂ）は本
発明の第２実施例によるＨｙＬＣＡＭの連想過程を示す
ダイヤグラムである。【図２０】第２実施例にしたがってあたえられた入力デ
ータＸ_iに対して線形分離が可能な中間状態Ｚ_iとして
の間接連想コードの生成過程を示すフローチャートであ
る。【図２１】多層パーセップトロンとＨｙＬＣＡＭの学習
速度とを比較したグラフである。【符号の説明】１０，２０，５０，６０，１１０，１４０単層パーセ
ップトロン３０，８０，１２０，１６０位置参照メモリ４０，１３０間接連想コード発生装置７０，１５０学習装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者李潤根大韓民国ソウル特別市九老区九老洞住公アパートメント、117−302 (56)参考文献松本元・大津展之共編脳とコンピュータ２ニューロコンピューティングの周辺培風館 1991年７月10日初版発行ｐ43−80 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06G 7/60 G05B 13/02 G06N 3/02 ＪＩＣＳＴファイル（ＪＯＩＳ) ＷＰＩ（ＤＩＡＬＯＧ)

Claims

(57)【特許請求の範囲】

【請求項１】あたえられた入力Ｘ_iと、使用者により求
められた第１中間状態Ｚ_1iに対する線形分離問題である
直接連想（Ｘ_i，Ｚ_1i）を具現化する入力側単層パーセ
ップトロンと、あたえられた出力Ｙ_iと使用者により求められた第２中
間状態Ｚ_2iに対する線形分離問題である直接連想
（Ｚ_2i，Ｙ_i）を具現化する出力側単層パーセップトロ
ンと、第１中間状態Ｚ_1iと第２中間状態Ｚ_2iとを連結させるた
めの位置参照メモリと、を備えることを特徴とするニューラル・ネットワーク。
【請求項２】入力側単層パーセップトロンおよび出力側
単層パーセップトロンは、内容参照メモリで構成するこ
とを特徴とする請求項１記載のニューラル・ネットワー
ク。
【請求項３】特定の種類の問題の解を出力するために、
前記入力側単層パーセップトロン、前記出力側単層パー
セップトロン、前記位置参照メモリのいずれかが直列に
連結されることを特徴とする請求項１記載のニューラル
・ネットワーク。
【請求項４】特定の種類の問題を解するために、前記入
力側単層パーセップトロン、前記出力側単層パーセップ
トロン、前記位置参照メモリのいずれかが並列に連結さ
れることを特徴とする請求項１記載のニューラル・ネッ
トワーク。
【請求項５】入力データＸ_iおよび出力データＹ_iが実
数ベクトルであれば、これらを処理するために、アナロ
グ−ディジタル変換器を含むことを特徴とする請求項１
〜４のいずれかに記載のニューラル・ネットワーク。
【請求項６】入力データＸ_iおよび出力データＹ_iが実
数ベクトルである場合には、これらを処理するために、
ｑ（正の整数）量子化器を含むことを特徴とする請求項
１〜４のいずれに記載のニューラル・ネットワーク。
【請求項７】あたえられた入力Ｘ_iおよびあたえられた
出力Ｙ_iより、線形分離が可能な第１中間状態Ｚ_1iおよ
び第２中間状態Ｚ_2iを作るための間接連想コード発生手
段と、あたえられた入力情報Ｘ_iおよび第１中間状態Ｚ_1iに対
する線形分離問題である直接連想（Ｘ_i，Ｚ _1i）を具現
化する入力側単層パーセップトロンと、あたえられた出力Ｙ_iおよび第２中間状態Ｚ_2iに対する
線形分離問題である直接連想（Ｚ_2i，Ｙ_i）を具現化
する出力側単層パーセップトロンと、前記直接連想（Ｘ_i，Ｚ_1i）（Ｚ_2i，Ｙ_i）を最小平均自
乗法で学習させるための学習手段と、入力側単層パーセップトロンに対する第１中間状態Ｚ_1i
と出力側単層パーセップトロンに対する第２中間状態Ｚ
_2iとを直列連結する位置参照メモリと、を備えることを特徴とするニューラル・ネットワーク。