JP3758982B2 - Hierarchical neural network system - Google Patents

Description

で示す入力荷重和ｓ^（τ）を用いて、以下のように表される。
【数２】

ここで、ｆ（・）はｓを独立変数、ｚを従属変数としたときの出力関数で、単位ステップ関数や以下のようなシグモイド関数などが用いられる。
【数３】

結合荷重ｗ_ｉ ^（τ）（ｉ＝１，２，…，ｎ）は、ｙ^（τ）またはｚ^（τ）の発生後、すなわちτとτ＋１の間に、以下の式（３）のように変更される。
【数４】

ここで、αは学習定数、ｒは学習信号である。学習信号は、一般Ｈｅｂｂ学習法では以下の表１に示すように、学習法の種類によってそれぞれ異なった形の計算式で与えられる。
【表１】

【０００３】
しかしながら、現在のニューラル・ネットワークＬＳＩは、大規模化しようとすると配線が非常に複雑になると同時に、ＬＳＩの大部分の面積を配線が占めるという問題が生じる。そのため、素子数はせいぜい数千程度が限界である。この問題を解決するために、本出願の発明者は、ベクトルの成分をフーリエ係数として一つの周期信号に変換することを考え、これをフーリエ級数信号と名づけた。
フーリエ級数信号は、各フーリエ係数に情報を担わせることにより、複数個の情報あるいは多次元の情報を一つの信号で表現でき、かつ１本の信号線で伝送できるので、情報表現および情報伝送の上で大変便利である。さらに、情報処理の上でもいろいろな利点が考えられる。例えば、ベクトルの各成分をフーリエ係数にとれば、ベクトルの加算、減算、内積演算が簡単なアナログ回路で短時間に実行できる。これを、図２〜図４を用いて説明する。
図２は、ベクトルの各成分がどのようにフーリエ係数と対応するかを示している。図２において、ベクトルＡ＝（ａ_１，ａ_２，ａ_３，…）とベクトルＢ＝（ｂ_１，ｂ_２，ｂ_３，…）の成分であるａ_１，ａ_２，ａ_３，…およびｂ_１，ｂ_２，ｂ_３，…が、それぞれフーリエ級数信号である関数Ｆ_Ａ（ｔ）とＦ_Ｂ（ｔ）におけるフーリエ係数となっていることを示している。
【０００４】
図３および図４は、ベクトルの加減算と内積演算がフーリエ級数信号ではどのように実現するかを示している。図３（ａ）は、ベクトルの加減算を示している。これで理解できるように、ベクトルの各成分ごとに演算回路を設ける必要がある。これに対して、図３（ｂ）に示されているように、フーリエ級数信号の場合は、１個のアナログ加減算回路でベクトルの加減算を行うことができる。また、図４（ａ）にはベクトルの内積演算を示している。これも各成分ごとの乗算回路と総和を計算する加算回路とが必要である。図４（ｂ）に示されているように、フーリエ級数信号の場合は、１個のアナログ乗算回路と１個のアナログ積分回路とでベクトルの内積演算を行うことができる。
フーリエ級数信号を用いることで、これらの演算回路の構成等から、
▲１▼ベクトル演算が簡単なアナログ電子回路で実行することができる。
▲２▼演算回路の入力線が、常に２本でよい。
という利点があることが分かる。
【０００５】
このように、本発明の発明者は、上述の利点を生かして、フーリエ級数信号を用いた学習しきい素子を構成すると共に、それを用いてニューラル・ネットワークを構成できるようにし、これをフーリエ級数型学習しきい素子（Fourier series-type learning threshold element：Ｆｏｌｔｈｒｅｔ）と名づけた（電子情報通信学会論文誌 Ｄ−ＩＩ Vol.J75-D-II No.1 pp.145-151 「フーリエ級数型学習しきい素子−Ｆｏｌｔｈｒｅｔ−」１９９２年１月；電子情報通信学会論文誌 Ｄ−ＩＩ Vol.J76-D-II No.3 pp.680-688 「ニューラルコンピュータのための基本素子ＧＨ−Ｆｏｌｔｈｒｅｔ」１９９３年３月等を参照）。
【０００６】
＜ＧＨ−Ｆｏｌｔｈｒｅｔ＞
図５〜図７で、ＧＨ−Ｆｏｌｔｈｒｅｔの構成について説明する。このＧＨ−Ｆｏｌｔｈｒｅｔは、上述の表１に示すような一般Ｈｅｂｂ学習（General Hebbian learning）が可能なＦｏｌｔｈｒｅｔである。
まずｎ＋１個の入力信号ｘ_ｉ ^（τ）（ｉ＝１，２，…，ｎ，ｎ＋１）とｎ＋１個の結合荷重ｗ_ｉ ^（τ）（ｉ＝１，２，…，ｎ＋１）を、それぞれ以下の式（４）と（５）に示すフーリエ級数信号Ｆ_ｘ ^（τ）（ｔ），Ｆ_ｗ ^（τ）（ｔ）で表現する。
【数５】

ここで、ωはフーリエ級数信号の基本角周波数、Ｔはフーリエ級数信号の周期で、２π／ωに等しい。［ ］はガウス記号である。
図５（ａ）は、上述の式（１）の入力の総和の計算を、式（４）、式（５）で定義したフーリエ級数信号で行う場合、図５（ｂ）は、上述の式（３）の結合荷重の修正の計算を、同様にフーリエ級数信号で行う場合を示している。
図５で示すように、これらの式は以下の式（６）、式（７）で表される。
【数６】

なお、λ^（τ）は入力時刻を連続時間で表したものである。ＧＨ−Ｆｏｌｔｈｒｅｔでは１単位時間は２Ｔとなり、はじめの１周期間すなわちλ^（τ）からλ^（τ）＋Ｔにおいては、ｓ^（τ）等が求められる。λ^（０）は０である。図６は、これらの演算をアナログ回路で行うことを示している。図６（ａ）はフーリエ級数信号を用いて入力の総和の計算を行うための回路で、乗算器３１２および積分器３１４で構成されている。図６（ｂ）は、同じくフーリエ級数信号を用いて結合荷重の修正の計算を行う回路を示しており、乗算器３２４、増幅器（増幅率α）３２３、加算器３２２で構成されている。
【０００７】
図７は、これらの回路を用いて構成したＧＨ−Ｆｏｌｔｈｒｅｔのブロック図である。ＧＨ−Ｆｏｌｔｈｒｅｔは、入力総和計算部３１０、出力信号発生部３６０、結合荷重修正部３２０、結合荷重メモリ部３３０、教師信号計算部３４０で構成されている。結合荷重メモリ部３３０は、ＡＤ変換器、ＤＡ変換器、および、デジタル・メモリで構成してもよい。
この図７では、入力線は２本で、１本はＦ_ｘ ^（τ）（ｔ）のため、もう１本は教師信号を含んだ信号ｙ^（τ）ξ（ｔ）のためである。なお、ξ（ｔ）は、振幅１の正弦波信号で、直流信号であるｙ^（τ）を交流信号に変換している。
さて、時刻λ^（τ）にＦ_x ^（τ）（ｔ）がまず入力される。Ｆ_x ^（τ）（ｔ）は乗算器３１２により、結合荷重メモリ部３３０に記憶されているフーリエ級数信号Ｆ_ｗ ^（τ）（ｔ）と乗算され、さらに積分器３１４により１周期間積分されて、ｓ^（τ）が求められる。これから、出力信号発生部３６０の関数演算器３６２により、ｚ^（τ）＝ｆ（ｓ^（τ））を計算する。この信号はサンプル・ホールド３６４および３６６により遅延される。従って、時刻λ^（τ）の時点では、時刻λ^{（τ−１）}の出力信号ｚ^{（τ−１）}をｐ^（τ）（ｔ）として出力することになる。振幅１の正弦波であるζ（ｔ）との掛け算を乗算器３６８により行い、Ｐ^{（ τ）}（ｔ）として出力する。
Ｆ_ｗ ^（τ）（ｔ）の変更は、教師信号計算部３４０において、入力された信号ｙ^（τ）ξ（ｔ）から教師信号ｙ^（τ）を計算し、次に、学習信号計算器３２６において、ｙ^（τ），ｓ^（τ），ｚ^（τ）等を用いて学習信号ｒ^（τ）を計算し、これとＦ_ｘ ^（τ）（ｔ）により行う。この学習信号ｒ^（τ）は、表１に示した学習法により規定されている。変更によって得られるＦ_ｗ ^{（τ＋１）}（ｔ）は、結合荷重メモリ部３３０におけるＦ_ｗ ^（τ）（ｔ）を保持しているメモリ３３４とは別のメモリ３３５に１周期分書き込まれる。これら二つのメモリ３３４，３３５は並列に接続され、学習期間中それぞれの役割は単位時間ごとに交互に切り換わる。すなわち、一方のメモリがＦ_ｗ ^（τ）（ｔ）の読出し用であれば、他方はＦ_ｗ ^{（τ＋１）}（ｔ）の書込み用である。学習期間後に切換えは行われず、一つのメモリ内の信号が常に読み出される。
【０００８】
＜ネットワーク（回路網）＞
ネットワークの基本構造としては、相互結合型、階層型、混合型の三種類がある。混合型は、階層型において層内部の素子を相互結合したものや、隣接した層だけでなく離れた層の間にも結合を設けたものなどさまざまな形態がある。階層型や混合型は、相互結合型において特定の素子間の結合荷重を０に固定したものとみなすことができ、そのような意味では相互結合型の特殊な場合である。従って、情報処理のみを考えるなら、相互結合型をＧＨ−Ｆｏｌｔｈｒｅｔによって実現すれば、他のネットワークも同じ方法で実現できる。
しかし、学習まで考えると話は別である。相互結合型の場合には、ＧＨ−Ｆｏｌｔｈｒｅｔによってネットワークを実現すれば、そのまま学習も可能となる。それに対して、階層型や混合型の場合には、ＧＨ−Ｆｏｌｔｈｒｅｔによってネットワークを実現しても、各ＧＨ−Ｆｏｌｔｈｒｅｔが入力信号を選択するようにしなければネットワークの学習はできない。なぜなら、そのような選択をしないと、常に０でなければならない結合荷重が結合荷重の変更時に０でなくなってしまう可能性があるからである。従って、ＧＨ−Ｆｏｌｔｈｒｅｔでネットワークを実現する場合、相互結合型とその他のネットワークを別個に分けて考える必要がある。
【０００９】
＜階層型ネットワーク＞
図８は階層型ネットワークの構成を図示したものである。各層の素子は、第１層（入力層）・・・第Ｌ層（中間層）・・・第Ｍ層（出力層）にｎ_１個・・・ｎ_Ｌ個・・・ｎ_Ｍ個づつ配置されている。ただし、入力層の素子は、１個の入力信号をそのまま出力して、第２層に送るものである。第２層から出力層までの素子はすべて学習しきい素子である。入力層でもある第１層の各素子への入力信号
【数７】

をｋ個のグループに分け、それぞれのグループに含まれる入力信号を成分とするベクトルをｘ＜１｜１＞，・・・，ｘ＜１｜ｋ＞と表し、入力信号全体をベクトルｘ＜１＞として表している。第１層を構成するそれぞれの素子の出力信号を
【数８】

とし、この出力信号全体を、これらの出力信号を成分とするベクトルｚ＜１＞と表すと、これは、最初の中間層である第２層の入力ベクトルｘ＜２＞となっている。同様に第Ｌ層（中間層）の入力ベクトルｘ＜Ｌ＞は、第Ｌ−１層の出力ベクトルｚ＜Ｌ−１＞であり、第Ｌ層の出力ベクトルｚ＜Ｌ＞は、次の層の入力ベクトルとなっている。この階層型ネットワークの出力は、第Ｍ層からの出力ベクトルｚ＜Ｍ＞である。なお、第１層に限って、ベクトルｘ＜１＞とベクトルｚ＜１＞は等しい。
また、第２層以降には、それぞれの素子に、その素子への教師信号
【数９】

が入力されている。
【００１０】
＜ＧＨ−Ｆｏｌｔｈｒｅｔによる階層型ネットワーク＞
図８に示した階層型ネットワークをＧＨ−Ｆｏｌｔｈｒｅｔで構成したものを図９（ａ）に示す。ネットワークの各素子４４２，４４６，４５２，４５６，４６２．４６６に一つの周波数を割り当て、それぞれの素子の出力信号線からはその周波数の正弦波が出力されるようにして、すべての素子の入力用信号線と出力用信号線を１本の共通の信号線に接続している。図９（ａ）の場合、帯域フィルタ４３２，４３４．４３６を各層に１個ずつ配置し、結合荷重の変更時に別の層の入力信号が混入しないようにしている。周波数分割多重方式により、図９（ｂ）に示すように、各層に入力されるフーリエ級数信号Ｆ_ｘ＜Ｌ＞（ｔ）（Ｌ＝２，３，…，Ｍ）の占有する周波数帯域は互いに重ならないようにとってあり、各フィルタの通過帯域はこれらの周波数帯域の一つを内部に含む。周波数は後の層ほど高くなる。この階層型ネットワークの場合、各帯域フィルタでの待ち時間を１周期とすると、信号が第１層に入力されてから第Ｍ層より出力されるまでの時間は３（Ｍ−１）Ｔとなる。
図９（ａ）に示すように、第２層の入力Ｆ_ｘ＜２＞（ｔ）は第２層の帯域フィルタＢＰＦ＜２＞４３２を通過して第２層の各ＧＨ−Ｆｏｌｔｈｒｅｔに供給される。なお、図９（ｂ）から理解できるように、第２層から第Ｍ層までの全素子数をｖとすると、入力信号線に伝送される信号の周波数範囲は、ωから［（ｎ_１＋ｖ−ｎ_Ｍ＋Ｍ−１）／２］・ω以上となる。
以上述べた方法のほかに、帯域フィルタを各ＧＨ−Ｆｏｌｔｈｒｅｔに内蔵させる方法も考えられる。この場合、ネットワークは図９の中の帯域フィルタを取り除いた形で実現される。
ただ、帯域フィルタを用いると、１単位時間を３周期から４周期ぐらいにしなければならず、スループットが低下する。従って、フーリエ級数信号の基本周波数および帯域フィルタの通過帯域をできるだけ高い方にもっていくことが必要になる。
大規模なネットワークを実現する場合には、以上述べたいずれの方法でも、使用する周波数は非常に低いところから高いところまで相当広範囲にわたる。そのため、ハードウェア化する上でさまざまな問題が出てくる。例えば、加算器や乗算器あるいは積分器の高域遮断周波数をかなり高くしなければならないし、入力信号線４１０や教師信号線４２０についても伝送帯域を低い方から高い方まで相当広くしなければならない。
しかし、実際的には、Ｆｏｌｔｈｒｅｔに用いられる回路部品の使用周波数帯域に制限があるため、Ｆｏｌｔｈｒｅｔネットワークが利用できる周波数帯域をどこまでも際限なく広げることはできない。このために、ネットワークの素子数の拡大には限界があり、大規模なニューラル・ネットワークＬＳＩの実現は大きな課題である。
【００１１】
【発明が解決しようとする課題】
本発明の目的は、Ｆｏｌｔｈｒｅｔネットワークの以上に述べた課題を解決して、ネットワークが利用できる周波数帯域幅を大幅に拡大し、大規模ニューラル・ネットワークＬＳＩの実現を可能とすることである。
【課題を解決するための手段】
上記目的を達成するために、本発明は、フーリエ級数信号を用いて演算する学習しきい素子で構成された階層型ニューラル・ネットワーク・システムであって、第１層は、ネットワークへの入力信号を正弦波信号に変換し、さらにそれらを加算して複数のフーリエ級数信号を生成した後に、それらのフーリエ級数信号で群変調する群変調器と、群変調された信号で第２層への搬送波を変調する変調器とを有し、中間層は、それぞれの層に対応した搬送波に同調した入力信号用同調器および復調器と、群復調器を内蔵した複数の学習しきい素子と、前記複数の学習しきい素子の正弦波出力から複数のフーリエ級数信号を生成した後、それらのフーリエ級数信号で群変調する群変調器と、群変調された信号で次の層への搬送波を変調する変調器とを有するものである。
この階層型ニューラル・ネットワーク・システムは、ネットワークの各層への教師信号を正弦波信号に変換し、さらにそれらを加算して複数のフーリエ級数信号を生成した後、それらのフーリエ級数信号で各層ごとに群変調する群変調器と、前記変調器の出力で各層に対応した搬送波を変調する変調器と、各層ごとに対応する搬送波に同調した教師信号用同調器と復調器とを有し、第２層以降を構成する前記学習しきい素子は、群変調信号中から自己あての教師信号を含んだフーリエ級数信号を群復調する群復調器を有してもいる。
また、前記第２層以降を構成する学習しきい素子は、入力総和計算部と、出力信号発生部と、教師信号計算部と、結合荷重メモリ部と、結合荷重修正部とを有し、前記入力総和計算部、前記結合荷重メモリ部および前記結合荷重修正部は、内蔵された群復調器からの出力信号を処理できる。
前記群復調器は、スーパヘテロダイン方式を取り入れることが望ましい。
【００１２】
【発明の実施の形態】
本発明の実施形態を、図面を参照して詳細に説明する。
本発明は、周波数範囲が制限された無数のフーリエ級数信号を用いて群変調を行うことにより、ネットワークが利用できる周波数帯域幅を大幅に拡大し、ニューラル・ネットワークを構成する多数のＦｏｌｔｈｒｅｔを使用できるようにした。
＜群変調＞
まず、群変調について説明する。群変調は、搬送式多重通信方式において、いくつかの音声通話路をまとめて変調して一つの通話路群（前群）を作り、この１束の通話路群を１群とし、他の通話路群と合わせて、また変調して通話路群（基礎群）を作成する等を繰り返すことで、多数の通話路をまとめて搬送することをいう。良く用いられる群変調の例を表２に示す。
【表２】

表２では、３つの音声チャネルをまとめて前群とし、４つの前群をまとめて基礎群（Ｇ）としている。また、５つの基礎群（Ｇ）をまとめて基礎超群（ＳＧ）とし、５つの基礎超群（ＳＧ）をまとめて基礎主群（ＭＧ）としている。３つの基礎主群（ＭＧ）で基礎超主群（ＳＭＧ）を構成し、４つの基礎超主群をまとめて基礎巨群を構成している。基礎巨群では、最終的にチャネル数３６００、周波数帯域４２．６ＭＨｚから５９．７ＭＨｚ、帯域幅１７．ＭＨｚである。
【００１３】
＜Ｆｏｌｔｈｒｅｔネットワークへの応用＞
上述の群変調方式の、Ｆｏｌｔｈｒｅｔネットワークへの応用について説明する。フーリエ級数信号で搬送波を変調した信号を集めてまず前群を作る。次に、このようにして作られた前群を一つの信号として扱い、複数個の前群で周波数のさらに高い搬送波を変調して基礎群を作る。さらに基礎群を一つの信号として、同様の多重化を行い、基礎超群を作る。これを繰り返し適用することにより、基礎主群、基礎超主群、基礎巨群等を作ることができる。このような群変調により、ネットワークを構成する実質的なＦｏｌｔｈｒｅｔ数を限りなく拡大していくことができる。
この群変調を用いた階層型ネットワークを構成するフーリエ級数型学習しきい素子を図１０に示す。図１０は、群復調器を内蔵した群変調用ＧＨ−Ｆｏｌｔｈｒｅｔ６００の構成を示している。図１０における群変調用ＧＨ−Ｆｏｌｔｈｒｅｔの基本的構成は、図７に示したＧＨ−Ｆｏｌｔｈｒｅｔの構成と同様である。図１０において、フーリエ級数信号Ｆ_ｙ ^（τ）（ｔ）に対する群複調器６１０は、第Ｌ層第ｉグループのＧＨ−Ｆｏｌｔｈｒｅｔに対して復調を行い、この素子に対する教師信号を含んだフーリエ級数信号を出力する。また、フーリエ級数信号Ｆ_ｘ ^（τ）（ｔ）に対する群復調器６２０は、第Ｌ層の素子に対するすべての入力信号を含んだｋ個のフーリエ級数信号Ｆ_ｘ ^（τ）＜Ｌ｜１＞（ｔ），・・・，Ｆ_ｘ ^（τ）＜Ｌ｜ｋ＞（ｔ）を復調することができる。このｋ個のフーリエ級数信号Ｆ_ｘ ^（τ）＜Ｌ｜１＞（ｔ），・・・，Ｆ_ｘ ^（τ）＜Ｌ｜ｋ＞（ｔ）に対して、それぞれに対応した結合荷重を含んだフーリエ級数信号をｋ個の乗算器６４２・・・乗算器６４５により掛け合わせた後、ｋ個の積分器６４３・・・積分器６４７により積分され。その総和を加算器６４９でとる。結合荷重を含んだフーリエ級数信号は、ｋ個の結合荷重メモリ部６３２・・・結合荷重メモリ部６３６により発生する。この結合荷重メモリ部に記憶されている結合荷重を含むフーリエ級数信号は、それぞれｋ個ある乗算器６３５・・・乗算器６３９、増幅器６３４・・・増幅器６３８および加算器６３３・・・加算器６３７で構成される結合荷重修正部により修正される。他の教師信号計算部や出力信号発生部の構成は、図７に示したＧＨ−Ｆｏｌｔｈｒｅｔと同じである。このような図１０に示した構成の群複調器を内蔵した群変調用ＧＨ−Ｆｏｌｔｈｒｅｔは、実質的に図７のＧＨ−Ｆｏｌｔｈｒｅｔのｋ個分に相当する。
【００１４】
図１１は、図１０の群復調器を内蔵した群変調用ＧＨ−Ｆｏｌｔｈｒｅｔを用いて構成した階層型ネットワークの例を示している。図１１において、第１層（入力層）では、入力信号
【数１０】

をそれぞれ正弦波信号に変換し、それらをｋ個のグループに分け、各グループの正弦波信号を加算することにより、ｋ個のフーリエ級数信号Ｆ_ｘ ^（τ）＜１｜１＞（ｔ），・・・，Ｆ_ｘ ^（τ）＜１｜ｋ＞（ｔ）を構成する。第１層では入力信号がそのまま出力されて第２層に送られるので、これらのフーリエ級数信号は第２層の入力として送られるフーリエ級数信号Ｆ_ｘ ^（τ）＜２｜１＞（ｔ），・・・，Ｆ_ｘ ^（τ）＜２｜ｋ＞（ｔ）に等しい。これらのｋ個のフーリエ級数信号は、群変調器７２６において群変調に用いられ、群変調された信号で第２層に対応した周波数ω＜２＞の搬送波を変調してから、入力信号線５１４を介して第２層を構成するＧＨ−Ｆｏｌｔｈｒｅｔに伝搬している。第２層では、周波数ω＜２＞の同調器７４２と復調器７４４の対により、第１層から第２層に送られた群変調された信号を受信する。
また、第２層、第３層・・・第Ｍ層に対する教師信号
【数１１】

も同様に、それぞれ正弦波信号に変換し、それらを各層ごとに複数のグループに分け、各グループの正弦波信号を加算することにより、各層に対応したｍ個のフーリエ級数信号Ｆ_ｙ ^（τ）＜２｜１＞（ｔ），・・・，Ｆ_ｙ ^（τ）＜２｜ｍ＞（ｔ），Ｆ_ｙ ^（τ）＜３｜１＞（ｔ），・・・，Ｆ_ｙ ^（τ）＜３｜ｍ＞（ｔ），・・・，Ｆ_ｙ ^（τ）＜Ｍ｜１＞（ｔ），・・・，Ｆ_ｙ ^（τ）＜Ｍ｜ｍ＞（ｔ）を得ている。これらのフーリエ級数信号を用いて、それぞれ各層ごとに、群変調器７２２，群変調器７２３，・・・，群変調器７２４により群変調した後、さらに変調器７１２，変調器７１３，・・・，変調器７１４により各層に対応した周波数ω＜２＞，ω＜３＞，・・・，ω＜Ｍ＞の搬送波を変調する。第２層では、教師信号線５１２から送られるこれらの変調信号は、周波数ω＜２＞の同調器７３２および復調器７３４により復調されて、第２層の各素子に対する教師信号を含む群変調信号が得られる。
第２層において、教師信号線５１２から同調器７３２および復調器７３４で受信した群変調信号、入力信号線５１４から同調器７４２および復調器７４４で受信した群変調信号はともに、群変調用ＧＨ−Ｆｏｌｔｈｒｅｔ７５２，７５４，・・・，７５６に入力される。それぞれの群変調用ＧＨ−Ｆｏｌｔｈｒｅｔでは、図１０に示されているように、それぞれの素子に対する教師信号を含むフーリエ級数信号を、内部の群復調器６１０で復調して受信している。また、それぞれの素子へのｋ個の入力フーリエ級数信号を、群復調器６２０で復調して受信している。群変調用ＧＨ−Ｆｏｌｔｈｒｅｔは、実質的にｋ個のＧＨ−Ｆｏｌｔｈｒｅｔとして動作する。
第２層を構成している各ＧＨ−Ｆｏｌｔｈｒｅｔからの正弦波出力は、加算器７７２〜７７６によりグループごとに加算され、次の第３層への入力フーリエ級数信号Ｆ_ｘ ^（τ）＜３｜１＞（ｔ），・・・，Ｆ_ｘ ^（τ）＜３｜ｋ＞（ｔ）に構成される。これらのフーリエ級数信号は、群変調器７６２で搬送波を群変調するのに用いられる。この群変調信号で、変調器７６４において第３層に対応する周波数ω＜３＞の搬送波を変調して、入力信号線５１４に戻される。
第３層以降は、第２層と同様の構成を有しており、各層ごとに、同調器と復調器のペアでその層に対応した周波数の変調波を受信している。
【００１５】
＜スーパヘテロダイン技術の利用＞
周波数が非常に高い搬送波を用いたときの高周波域の問題解決法として、群復調に、多重スーパヘテロダイン技術を利用することができる。
群変調は、前に説明したように、変調を多重に繰り返して、段階ごとに高い周波数となる。このような群変調された信号を復調するためには、逆に高い周波数から順次低い周波数へと復調していくことが必要である。この復調にスーパヘテロダイン技術を用いるのである。この技術を利用することにより、高選択度により混信を防ぐことができ、精度のよい信号が得られることや、高周波の微弱信号を容易に増幅できるなど、大規模なネットワークを実現することに有利に働く。
【００１６】
＜まとめ＞
このように周波数帯域が制限された無数のフーリエ級数信号に群変調を適用することにより、ネットワークが利用できる周波数帯域幅を大幅に拡大し、大規模ニューラル・ネットワークＬＳＩの実現を可能とした。なお、高周波域でシャープな同調フィルタの設計が困難である等のため、多重スーパヘテロダイン方式も同時に取り入れるとよい。
【００１７】
超大規模人工ニューラル・ネットワークがハードウェア的に実現すれば、しかもＬＳＩの形になれば、以下のことが可能となる。
▲１▼ 人間の持つ大規模で複雑な知識ネットワーク、特に暗黙知の部分を学習できるようになる。
▲２▼ 巨大で複雑なメカニズムが存在し、数式等で記述できないシステムや処理過程の順モデルや逆モデルを学習により実現できるようになる。
▲３▼ 人間に近い能力や特性を持った機械知能を実現できる。
したがって、超大規模人工ニューラル・ネットワークがハードウェア的に実現することの効果として、以下のことが期待できる。
▲１▼ 人間の持つ大規模で複雑な知識ネットワーク、特に暗黙知の部分を学習できるようになれば、自然言語の意味処理、機械翻訳、名医に近い自動診断、ベテランドライバーのような自動運転や自律走行による施設の一部の無人化などが期待できる。
▲２▼ 巨大で複雑なメカニズムが存在し、数式等で記述できないシステムや処理過程の順モデルや逆モデルを学習により実現できるようになれば、人間しかできないような複雑なパターン認識や動画像処理、巨大で複雑なプラントの制御等が期待できる。
▲３▼ 人間に近い能力を持った機械知能を実現できれば、あらかじめ決められた作業をするだけではなく、自らも考え、人の相談にも応じることができる自動車、家庭電化製品、ワープロ、各種ロボットの実現が期待できる。
▲４▼ 巨大プログラムの一部を大規模人工ニューラル・ネットワークで置き換えることにより、労力と時間およびコストの大幅な削減が期待できる。
▲５▼ 既存のあらゆる工学システムに組み込んで、人間のような高い学習能力と知能を持たせることができるようになる。
【００１８】
【発明の効果】
上述したように、本発明では、周波数帯域が制限された無数のフーリエ級数信号に群変調を適用することにより、ネットワークが利用できる周波数帯域幅を大幅に拡大し、大規模ニューラル・ネットワークＬＳＩの実現を可能とした。
【図面の簡単な説明】
【図１】学習しきい素子を示す図である。
【図２】ベクトルのフーリエ級数化を説明する図である。
【図３】ベクトルの加減算のフーリエ級数信号による実現法を説明する図である。
【図４】ベクトルの内積演算のフーリエ級数信号による実現法を説明する図である。
【図５】学習しきい素子内部演算のフーリエ級数信号による実現法を説明する図である。
【図６】フーリエ級数信号を用いる場合の学習しきい素子内部の演算回路を説明する図である。
【図７】ＧＨ−Ｆｏｌｔｈｒｅｔの構成を示す図である。
【図８】階層型ネットワークの構成を説明する図である。
【図９】帯域フィルタを用いてＧＨ−Ｆｏｌｔｈｒｅｔにより階層型ネットワークを構成することを説明する図である。
【図１０】群変調を用いて階層型ネットワークを構成するためのＧＨ−Ｆｏｌｔｈｒｅｔの構成を示す図である。
【図１１】群変調用ＧＨ−Ｆｏｌｔｈｒｅｔを用いて構成した階層型ネットワークを示す図である。
【符号の説明】
３１０ 入力総和計算部
３１２ 乗算器
３１４ 積分器
３２０ 結合荷重修正部
３２２ 加算器
３２３ 増幅器
３２４ 乗算器
３２５ サンプル・ホールド
３２６ 学習信号計算器
３３０ 結合荷重メモリ部
３３４，３３５ メモリ
３４０ 教師信号計算部
３４２ 積分器
３４４ 正弦波メモリ
３４６ 乗算器
３６０ 出力信号発生部
３６２ 関数演算器
３６４，３６６ サンプル・ホールド
３６７ 正弦波メモリ
３６８ 乗算器
４１０ 教師信号線
４２０ 入力信号線
４４２，４４６，４５２，４５６，４６２，４６６ ＧＨ−Ｆｏｌｔｈｒｅｔ４３２，４３４，４３６ 帯域フィルタ
５１２ 教師信号線
５１４ 入力信号線
６１０ 群復調器
６２０ 群復調器
６３２，６３６ 結合荷重メモリ部
６３３，６３７ 加算器
６３４，６３８ 増幅器
６３５，６３９ 乗算器
６４２，６４５ 乗算器
６４３，６４７ 積分器
６４９ 加算器
７２６ 群変調器
７１２，７１３，７１４ 変調器
７１６ 変調器
７２２，７２３，７２４ 群変調器
７３２ 同調器
７３４ 復調器
７４２ 同調器
７４４ 復調器
７５２，７５４，７５６ 群変調用ＧＨ−Ｆｏｌｔｈｒｅｔ
７６２ 群変調器
７６４ 変調器
７７２，７７６ 加算器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a neural network system, and more particularly to a neural network system using a Fourier series type learning threshold element.
[0002]
[Technical background]
The human cerebral cortex is a large-scale network composed of about 14 billion nerve cells, and one way to bring machine intelligence closer to human intelligence is to realize a large-scale artificial neural network. The artificial neural network is composed of model elements of nerve cells. FIG. 1 shows a discrete element learning threshold element model of a nerve cell. The number of variable bonds is n + 1, w_iIs the bond weight of the i-th variable bond, x_iIs an input signal, z is an output signal, and y is a teacher signal. x_{n + 1}Is a special input signal and is always 1. τ is a discrete time and takes an integer value of 0, 1, 2,. y^(Τ)And z^(Τ)May not necessarily occur at τ, but may actually occur between τ and τ + 1.
The input / output relationship in the discrete-time learning threshold element model shown in FIG.
[Expression 1]

Input load sum s^(Τ)Is expressed as follows.
[Expression 2]

Here, f (•) is an output function when s is an independent variable and z is a dependent variable, and a unit step function or the following sigmoid function is used.
[Equation 3]

Bond load w_i ^(Τ)(I = 1, 2,..., N) is y^(Τ)Or z^(Τ)Is changed, as shown in the following expression (3), between τ and τ + 1.
[Expression 4]

Here, α is a learning constant, and r is a learning signal. In the general Hebb learning method, the learning signal is given by a calculation formula having a different form depending on the type of the learning method, as shown in Table 1 below.
[Table 1]

[0003]
However, in the current neural network LSI, when the scale is increased, the wiring becomes very complicated, and at the same time, the wiring occupies most of the area of the LSI. Therefore, the maximum number of elements is about several thousand. In order to solve this problem, the inventor of the present application considered converting a vector component into a single periodic signal as a Fourier coefficient, and named it a Fourier series signal.
In the Fourier series signal, by assigning information to each Fourier coefficient, a plurality of information or multidimensional information can be expressed by one signal and transmitted by one signal line. Very convenient above. Furthermore, there are various advantages in information processing. For example, if each component of a vector is taken as a Fourier coefficient, the addition, subtraction, and inner product calculation of the vector can be executed in a short time with an analog circuit. This will be described with reference to FIGS.
FIG. 2 shows how each component of the vector corresponds to a Fourier coefficient. In FIG. 2, the vector A = (a₁, A₂, A₃, ...) and vector B = (b₁, B₂, B₃A) which is a component of₁, A₂, A₃, ... and b₁, B₂, B₃,... Are functions F that are respectively Fourier series signals._A(T) and F_BIt shows that it is a Fourier coefficient in (t).
[0004]
FIGS. 3 and 4 show how vector addition and subtraction and inner product operations are realized in a Fourier series signal. FIG. 3A shows vector addition / subtraction. As can be understood from this, it is necessary to provide an arithmetic circuit for each component of the vector. On the other hand, as shown in FIG. 3B, in the case of a Fourier series signal, vector addition / subtraction can be performed by one analog addition / subtraction circuit. FIG. 4A shows the inner product calculation of vectors. This also requires a multiplication circuit for each component and an addition circuit for calculating the sum. As shown in FIG. 4B, in the case of a Fourier series signal, a vector inner product operation can be performed by one analog multiplication circuit and one analog integration circuit.
By using the Fourier series signal, from the configuration of these arithmetic circuits,
(1) Vector calculation can be executed by a simple analog electronic circuit.
(2) The number of input lines of the arithmetic circuit may always be two.
It can be seen that there is an advantage.
[0005]
As described above, the inventor of the present invention makes use of the above-described advantages to construct a learning threshold element using a Fourier series signal, and to use it to construct a neural network, which is used as a Fourier series. Named “Fourier series-type learning threshold element” (D-II Vol.J75-D-II No.1 pp.145-151 “Fourier series-type learning” KIKI-Folthret- "January 1992; IEICE Transactions D-II Vol.J76-D-II No.3 pp.680-688" Basic Element for Neural Computers GH-Folthret "1993 See month etc.).
[0006]
<GH-Folthret>
The configuration of GH-Folthret will be described with reference to FIGS. This GH-Folthret is a Folthret capable of general Hebb learning as shown in Table 1 above.
First, n + 1 input signals x_i ^(Τ)(I = 1, 2,..., N, n + 1) and n + 1 bond weights w_i ^(Τ)(I = 1, 2,..., N + 1) are converted into Fourier series signals F shown in the following equations (4) and (5), respectively._x ^(Τ)(T), F_w ^(Τ)Expressed as (t).
[Equation 5]

Here, ω is the fundamental angular frequency of the Fourier series signal, and T is the period of the Fourier series signal, which is equal to 2π / ω. [] Is a Gaussian symbol.
FIG. 5A shows a case where the calculation of the sum of the inputs of the above equation (1) is performed with a Fourier series signal defined by the equations (4) and (5), and FIG. The case where the calculation of the correction of the coupling load in (3) is similarly performed with a Fourier series signal is shown.
As shown in FIG. 5, these formulas are represented by the following formulas (6) and (7).
[Formula 6]

Λ^(Τ)Represents the input time in continuous time. In GH-Folthret, one unit time is 2T, and the first one period, that is, λ^(Τ)To λ^(Τ)For + T, s^(Τ)Etc. are required. λ⁽⁰⁾Is 0. FIG. 6 shows that these operations are performed by an analog circuit. FIG. 6A shows a circuit for calculating the total sum of inputs using a Fourier series signal, and includes a multiplier 312 and an integrator 314. FIG. 6B also shows a circuit for calculating the coupling weight correction using the Fourier series signal, and includes a multiplier 324, an amplifier (amplification factor α) 323, and an adder 322.
[0007]
FIG. 7 is a block diagram of the GH-Folthret configured using these circuits. The GH-Folthret includes an input sum calculation unit 310, an output signal generation unit 360, a coupling load correction unit 320, a coupling load memory unit 330, and a teacher signal calculation unit 340. The combined load memory unit 330 may be composed of an AD converter, a DA converter, and a digital memory.
In FIG. 7, there are two input lines and one is F._x ^(Τ)For (t), the other signal y includes the teacher signal.^(Τ)This is because ξ (t). Note that ξ (t) is a sine wave signal having an amplitude of 1, and is a DC signal.^(Τ)Is converted into an AC signal.
Now, time λ^(Τ)F_x ^(Τ)(T) is input first. F_x ^(Τ)(T) is a Fourier series signal F stored in the coupling weight memory unit 330 by the multiplier 312._w ^(Τ)Multiplied by (t), and further integrated for one period by an integrator 314 to obtain s^(Τ)Is required. From now on, the function calculator 362 of the output signal generator 360 makes z^(Τ)= F (s^(Τ)). This signal is delayed by sample and hold 364 and 366. Therefore, time λ^(Τ)At time λ^(Τ-1)Output signal z^(Τ-1)P^(Τ)(T) is output. Multiplication with ζ (t), which is a sine wave of amplitude 1, is performed by a multiplier 368, and P^{( τ)}Output as (t).
F_w ^(Τ)The change of (t) is performed by the input signal y in the teacher signal calculation unit 340.^(Τ)Teacher signal y from ξ (t)^(Τ)And then in the learning signal calculator 326, y^(Τ), S^(Τ), Z^(Τ)The learning signal r using^(Τ)And this and F_x ^(Τ)(T). This learning signal r^(Τ)Is defined by the learning method shown in Table 1. F obtained by change_w ^{(Τ + 1)}(T) is F in the combined load memory unit 330._w ^(Τ)One cycle is written in a memory 335 different from the memory 334 holding (t). These two memories 334 and 335 are connected in parallel, and their roles are switched alternately every unit time during the learning period. That is, one memory is F_w ^(Τ)If it is for reading (t), the other is F_w ^{(Τ + 1)}For writing (t). Switching is not performed after the learning period, and the signal in one memory is always read out.
[0008]
<Network (circuit network)>
There are three basic types of networks: interconnected, hierarchical, and mixed. The mixed type has various forms such as a hierarchical type in which elements in layers are mutually coupled, and a type in which coupling is provided not only between adjacent layers but also between separated layers. The hierarchical type and the mixed type can be regarded as those in which the coupling load between specific elements is fixed to 0 in the mutual coupling type, and in that sense, is a special case of the mutual coupling type. Therefore, if only the information processing is considered, if the mutual coupling type is realized by GH-Folthret, other networks can be realized by the same method.
However, the story is different when considering learning. In the case of the mutual coupling type, if a network is realized by GH-Folthret, learning can be performed as it is. On the other hand, in the case of a hierarchical type or a mixed type, even if a network is realized by GH-Folthret, the network cannot be learned unless each GH-Folthret selects an input signal. This is because, unless such a selection is made, there is a possibility that the joint load that must always be zero may not be zero when the joint load is changed. Therefore, when the network is realized by GH-Folthret, it is necessary to consider the mutual connection type and the other network separately.
[0009]
<Hierarchical network>
FIG. 8 illustrates the configuration of a hierarchical network. The elements of each layer are composed of the first layer (input layer), the Lth layer (intermediate layer), and the nth layer (output layer).₁N_LN_MIt is arranged one by one. However, the elements in the input layer output one input signal as it is and send it to the second layer. All elements from the second layer to the output layer are learning threshold elements. Input signal to each element of the first layer that is also the input layer
[Expression 7]

, X <1 | 1>,..., X <1 | k>, and the entire input signal is represented by a vector x <1. >. The output signal of each element constituting the first layer
[Equation 8]

If the entire output signal is expressed as a vector z <1> having these output signals as components, this is an input vector x <2> in the second layer which is the first intermediate layer. Similarly, the input vector x <L> of the Lth layer (intermediate layer) is the output vector z <L-1> of the (L-1) th layer, and the output vector z <L> of the Lth layer is the next layer. Is the input vector. The output of this hierarchical network is an output vector z <M> from the Mth layer. Only in the first layer, the vector x <1> and the vector z <1> are equal.
In the second and subsequent layers, each element has a teacher signal to that element.
[Equation 9]

Is entered.
[0010]
<Layered network by GH-Folthret>
FIG. 9A shows a configuration in which the hierarchical network shown in FIG. 8 is configured by GH-Folthret. Assign a single frequency to each element 442, 446, 452, 456, 462.466 in the network, and output a sine wave of that frequency from the output signal line of each element. The signal line and the output signal line are connected to one common signal line. In the case of FIG. 9A, one band pass filter 432, 434.436 is arranged in each layer so that an input signal of another layer is not mixed when the coupling load is changed. As shown in FIG. 9B, a Fourier series signal F input to each layer is obtained by frequency division multiplexing._xThe frequency bands occupied by <L> (t) (L = 2, 3,..., M) do not overlap each other, and the pass band of each filter includes one of these frequency bands. The frequency is higher in later layers. In the case of this hierarchical network, assuming that the waiting time in each band filter is one cycle, the time from when a signal is input to the first layer until it is output from the Mth layer is 3 (M−1) T. .
As shown in FIG. 9A, the input F of the second layer_x<2> (t) is supplied to each GH-Folthret of the second layer through the band filter BPF <2> 432 of the second layer. As can be understood from FIG. 9B, when the total number of elements from the second layer to the Mth layer is v, the frequency range of the signal transmitted to the input signal line is from ω to [(n₁+ V−n_M+ M-1) / 2] · ω or more.
In addition to the method described above, a method of incorporating a bandpass filter in each GH-Folthret is also conceivable. In this case, the network is realized by removing the bandpass filter in FIG.
However, when a bandpass filter is used, one unit time has to be changed from 3 cycles to 4 cycles, and the throughput is lowered. Therefore, it is necessary to set the fundamental frequency of the Fourier series signal and the passband of the bandpass filter as high as possible.
When realizing a large-scale network, in any of the methods described above, the frequency to be used is considerably wide ranging from a very low place to a high place. For this reason, various problems arise when implementing hardware. For example, the high-frequency cutoff frequency of the adder, multiplier, or integrator must be considerably increased, and the transmission band of the input signal line 410 and the teacher signal line 420 must be considerably wide from the lower to the higher one. .
However, in practice, there is a limit to the frequency band of the circuit components used for the Follett, and therefore the frequency band that can be used by the Follett network cannot be expanded without limit. For this reason, there is a limit to the expansion of the number of elements in the network, and realization of a large-scale neural network LSI is a big problem.
[0011]
[Problems to be solved by the invention]
An object of the present invention is to solve the above-mentioned problems of the Folthret network, greatly increase the frequency bandwidth that can be used by the network, and realize a large-scale neural network LSI.
[Means for Solving the Problems]
In order to achieve the above object, the present invention is a hierarchical neural network system composed of learning threshold elements that are operated using a Fourier series signal, wherein the first layer receives an input signal to the network. After converting into a sine wave signal and adding them to generate a plurality of Fourier series signals, a group modulator that performs group modulation with the Fourier series signals, and a carrier wave to the second layer with the group modulated signals And an intermediate layer includes an input signal tuner and demodulator tuned to a carrier wave corresponding to each layer, a plurality of learning threshold elements including a group demodulator, and the plurality of learning threshold elements. A group modulator that generates multiple Fourier series signals from the sinusoidal output of a learning threshold element and then performs group modulation with the Fourier series signals, and a modulator that modulates the carrier wave to the next layer with the group modulated signals When Those having.
This hierarchical neural network system converts a teacher signal to each layer of the network into a sine wave signal, adds them to generate multiple Fourier series signals, and then uses those Fourier series signals for each layer. A group modulator that performs group modulation, a modulator that modulates a carrier wave corresponding to each layer with the output of the modulator, a tuner for tuner signals and a demodulator that are tuned to the carrier wave corresponding to each layer, The learning threshold elements constituting the layers and beyond also have a group demodulator that group-demodulates a Fourier series signal including a self-directed teacher signal from the group modulation signal.
The learning threshold elements constituting the second and subsequent layers include an input summation calculation unit, an output signal generation unit, a teacher signal calculation unit, a coupling load memory unit, and a coupling load correction unit, The input sum calculation unit, the coupling load memory unit, and the coupling load correction unit can process an output signal from a built-in group demodulator.
The group demodulator preferably adopts a superheterodyne system.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described in detail with reference to the drawings.
The present invention significantly increases the frequency bandwidth available to the network by performing group modulation using an infinite number of Fourier series signals with a limited frequency range, and can use a large number of foltrets constituting a neural network. I did it.
<Group modulation>
First, group modulation will be described. Group modulation is a carrier multiplex communication system in which several voice communication paths are modulated together to form a single communication path group (previous group). It means that a large number of speech paths are transported together by repeating the creation of a speech path group (basic group) with modulation along with the path group. Table 2 shows examples of frequently used group modulation.
[Table 2]

In Table 2, the three voice channels are grouped together as a front group, and the four front groups are grouped as a base group (G). In addition, the five basic groups (G) are collectively referred to as a basic super group (SG), and the five basic super groups (SG) are collectively referred to as a basic main group (MG). Three basic main groups (MG) constitute the basic super main group (SMG), and the four basic super main groups constitute a basic super group. In the basic giant group, finally, the number of channels is 3600, the frequency band is 42.6 MHz to 59.7 MHz, and the bandwidth is 17. MHz.
[0013]
<Application to Folthret Network>
An application of the above-described group modulation scheme to the Follett network will be described. First, a front group is formed by collecting signals obtained by modulating a carrier wave with a Fourier series signal. Next, the front group thus created is treated as one signal, and a plurality of front groups are used to modulate a carrier wave having a higher frequency to form a base group. Furthermore, the basic group is used as one signal and the same multiplexing is performed to create a basic super group. By applying this repeatedly, a basic main group, a basic super main group, a basic super group, etc. can be created. With such group modulation, the substantial number of foltrets constituting the network can be expanded without limit.
FIG. 10 shows a Fourier series learning threshold element constituting a hierarchical network using the group modulation. FIG. 10 shows the configuration of a group modulation GH-Folthret 600 incorporating a group demodulator. The basic configuration of the group modulation GH-Folthret in FIG. 10 is the same as the configuration of the GH-Folthret shown in FIG. In FIG. 10, the Fourier series signal F_y ^(Τ)The group multi-tone modulator 610 for (t) demodulates the GH-Folthret of the L-th layer i-th group, and outputs a Fourier series signal including a teacher signal for this element. Fourier series signal F_x ^(Τ)The group demodulator 620 for (t) includes k Fourier series signals F including all input signals for the elements of the Lth layer._x ^(Τ)<L | 1> (t), ..., F_x ^(Τ)<L | k> (t) can be demodulated. These k Fourier series signals F_x ^(Τ)<L | 1> (t), ..., F_x ^(Τ)After multiplying <L | k> (t) by Fourier multiplier signals 642... Multipliers 645 including the corresponding coupling weights, k integrators 643. ..Integrated by integrator 647 The sum is taken by an adder 649. The Fourier series signal including the coupling weight is generated by the k coupling weight memory units 632... The coupling weight memory unit 636. The Fourier series signals including the coupling weights stored in the coupling weight memory unit are k multipliers 635... Multiplier 639, amplifier 634... Amplifier 638 and adder 633. It is corrected by the combined load correction unit constituted by The configurations of other teacher signal calculation units and output signal generation units are the same as those of the GH-Folthret shown in FIG. The group modulation GH-Folthret incorporating the group double-tone modulator having the configuration shown in FIG. 10 substantially corresponds to k of the GH-Folthret in FIG.
[0014]
FIG. 11 shows an example of a hierarchical network configured using a group modulation GH-Folthret incorporating the group demodulator of FIG. In FIG. 11, in the first layer (input layer), the input signal
[Expression 10]

Respectively into sine wave signals, divide them into k groups, and add the sine wave signals of each group to obtain k Fourier series signals F_x ^(Τ)<1 | 1> (t), ..., F_x ^(Τ)<1 | k> (t). Since the input signal is output as it is in the first layer and sent to the second layer, these Fourier series signals are Fourier series signals F sent as the input of the second layer._x ^(Τ)<2 | 1> (t), ..., F_x ^(Τ)It is equal to <2 | k> (t). These k Fourier series signals are used for group modulation in the group modulator 726, and a carrier wave having a frequency ω <2> corresponding to the second layer is modulated with the group modulated signal, and then the input signal line 514. Is propagating to the GH-Folthret constituting the second layer. In the second layer, the group-modulated signal sent from the first layer to the second layer is received by the pair of the tuner 742 and the demodulator 744 having the frequency ω <2>.
In addition, teacher signals for the second layer, the third layer, ... the Mth layer
## EQU11 ##

In the same manner, each of the signals is converted into a sine wave signal, divided into a plurality of groups for each layer, and the sine wave signals of each group are added to obtain m Fourier series signals F corresponding to each layer._y ^(Τ)<2 | 1> (t), ..., F_y ^(Τ)<2 | m> (t), F_y ^(Τ)<3 | 1> (t), ..., F_y ^(Τ)<3 | m> (t), ..., F_y ^(Τ)<M | 1> (t), ..., F_y ^(Τ)<M | m> (t) is obtained. Using these Fourier series signals, group modulation is performed by a group modulator 722, a group modulator 723,..., A group modulator 724 for each layer, and then a modulator 712, a modulator 713,. , Modulator 714 modulates a carrier wave having a frequency ω <2>, ω <3>,..., Ω <M> corresponding to each layer. In the second layer, these modulation signals sent from the teacher signal line 512 are demodulated by a tuner 732 and a demodulator 734 having a frequency ω <2>, and a group modulation signal including a teacher signal for each element of the second layer. Is obtained.
In the second layer, the group modulation signal received by the tuner 732 and the demodulator 734 from the teacher signal line 512 and the group modulation signal received by the tuner 742 and the demodulator 744 from the input signal line 514 are both GH− for group modulation. .., 756. In each group modulation GH-Folthret, as shown in FIG. 10, a Fourier series signal including a teacher signal for each element is demodulated and received by an internal group demodulator 610. In addition, k input Fourier series signals to each element are demodulated by the group demodulator 620 and received. The group modulation GH-Folthret operates substantially as k GH-Folthrets.
The sine wave output from each GH-Folthret constituting the second layer is added for each group by adders 772 to 776, and the input Fourier series signal F to the next third layer is added._x ^(Τ)<3 | 1> (t), ..., F_x ^(Τ)<3 | k> (t). These Fourier series signals are used for group modulation of the carrier wave by the group modulator 762. With this group modulation signal, the modulator 764 modulates the carrier wave having the frequency ω <3> corresponding to the third layer, and is returned to the input signal line 514.
The third and subsequent layers have the same configuration as the second layer, and a modulated wave having a frequency corresponding to that layer is received by a pair of a tuner and a demodulator for each layer.
[0015]
<Utilization of superheterodyne technology>
As a method for solving a problem in the high frequency range when a carrier wave having a very high frequency is used, a multiple superheterodyne technique can be used for group demodulation.
As described above, the group modulation has a high frequency for each stage by repeating the modulation in a multiplex manner. In order to demodulate such a group-modulated signal, it is necessary to demodulate from a higher frequency to a lower frequency. Superheterodyne technology is used for this demodulation. By using this technology, it is possible to prevent interference due to high selectivity, and to obtain a high-accuracy signal and to easily amplify a weak high-frequency signal, which is advantageous for realizing a large-scale network. To work.
[0016]
<Summary>
In this way, by applying group modulation to an infinite number of Fourier series signals with limited frequency bands, the frequency bandwidth that can be used by the network is greatly expanded, and a large-scale neural network LSI can be realized. In addition, since it is difficult to design a sharp tuning filter in a high frequency range, a multiple superheterodyne method may be adopted at the same time.
[0017]
If a super large-scale artificial neural network is realized in hardware, and if it is in the form of an LSI, the following becomes possible.
(1) It becomes possible to learn a large-scale and complex knowledge network possessed by humans, particularly tacit knowledge.
(2) There is a huge and complicated mechanism, and it becomes possible to realize a system that cannot be described by mathematical formulas, a forward model or a reverse model of the process by learning.
(3) Realize machine intelligence with human-like capabilities and characteristics.
Therefore, the following can be expected as an effect of realizing the ultra-large-scale artificial neural network in hardware.
(1) If you can learn a large and complex knowledge network of human beings, especially tacit knowledge, natural language semantic processing, machine translation, automatic diagnosis close to a well-known doctor, It can be expected that some facilities will be unmanned by autonomous driving.
(2) There is a huge and complex mechanism, and if it is possible to realize a system that cannot be described by mathematical formulas or a forward model or inverse model of the processing process by learning, complex pattern recognition and moving image processing that only humans can do It can be expected to control huge and complex plants.
(3) If machine intelligence with human-like capabilities can be realized, cars, home appliances, word processors, and various robots that can not only perform predetermined tasks but also think and respond to human consultation Can be expected.
(4) Replacing a part of a huge program with a large-scale artificial neural network can greatly reduce labor, time and cost.
(5) It can be incorporated into all existing engineering systems to provide human-like high learning ability and intelligence.
[0018]
【The invention's effect】
As described above, in the present invention, by applying group modulation to an infinite number of Fourier series signals whose frequency band is limited, the frequency bandwidth that can be used by the network is greatly expanded, and a large-scale neural network LSI is realized. Made possible.
[Brief description of the drawings]
FIG. 1 is a diagram showing learning threshold elements.
FIG. 2 is a diagram for explaining Fourier series conversion of a vector.
FIG. 3 is a diagram for explaining a method of realizing addition and subtraction of vectors using Fourier series signals.
FIG. 4 is a diagram for explaining a realization method of a vector inner product operation using a Fourier series signal;
FIG. 5 is a diagram for explaining a realization method of learning threshold element internal computation using a Fourier series signal;
FIG. 6 is a diagram illustrating an arithmetic circuit inside a learning threshold element when a Fourier series signal is used.
FIG. 7 is a diagram illustrating a configuration of GH-Folthret.
FIG. 8 is a diagram illustrating a configuration of a hierarchical network.
FIG. 9 is a diagram illustrating that a hierarchical network is configured by GH-Folthret using a band filter.
FIG. 10 is a diagram illustrating a configuration of GH-Folthret for configuring a hierarchical network using group modulation.
FIG. 11 is a diagram illustrating a hierarchical network configured using GH-Folthret for group modulation.
[Explanation of symbols]
310 Input total calculation part
312 multiplier
314 Integrator
320 Bond load correction part
322 Adder
323 amplifier
324 multiplier
325 Sample hold
326 Learning signal calculator
330 Bond load memory
334,335 memory
340 Teacher signal calculator
342 integrator
344 Sine wave memory
346 multiplier
360 Output signal generator
362 function calculator
364, 366 Sample hold
367 Sine wave memory
368 multiplier
410 Teacher signal line
420 Input signal line
442, 446, 452, 456, 462, 466 GH-Folthret 432, 434, 436 Bandpass Filter
512 Teacher signal line
514 Input signal line
610 Group demodulator
620 group demodulator
632,636 Bond load memory section
633, 637 Adder
634,638 amplifier
635,639 multiplier
642,645 multiplier
643,647 integrator
649 Adder
726 Group modulator
712, 713, 714 modulator
716 modulator
722, 723, 724 group modulator
732 Tuner
734 Demodulator
742 Tuner
744 Demodulator
752,754,756 Group modulation GH-Folthret
762 Group modulator
764 modulator
772,776 Adder

Claims (4)

A hierarchical neural network system composed of learning threshold elements that operate using a Fourier series signal,
The first layer converts a signal input to the network into a sine wave signal, adds them to generate a plurality of Fourier series signals, and then performs group modulation on the group of the Fourier series signals, and group modulation. And a modulator for modulating the carrier wave to the second layer with the generated signal,
Each intermediate layer includes an input signal tuner and demodulator tuned to a carrier wave corresponding to each layer, a plurality of learning threshold elements incorporating a group demodulator, and a sine wave output of the plurality of learning threshold elements A group modulator that generates a plurality of Fourier series signals from a signal and then performs group modulation using the Fourier series signals, and a modulator that modulates a carrier wave to the next layer using the group-modulated signal. Hierarchical neural network system. The hierarchical neural network system according to claim 1, wherein
A group modulator that converts a teacher signal to each layer element of the network into a sine wave signal, adds them to generate a plurality of Fourier series signals, and then performs group modulation for each layer with those Fourier series signals;
A modulator that modulates a carrier wave corresponding to each layer with an output of the group modulator;
A teacher signal tuner and demodulator tuned to the corresponding carrier for each layer;
The learning threshold elements constituting the second and subsequent layers have a group demodulator that group-demodulates a Fourier series signal including a teacher signal addressed to itself among the plurality of Fourier series signals for teacher used for group modulation. A hierarchical neural network system characterized by this. The hierarchical neural network system according to claim 2 ,
The learning threshold elements constituting the second and subsequent layers include an input summation calculation unit, an output signal generation unit, a teacher signal calculation unit, a combined load memory unit, and a combined load correction unit.
The hierarchical neural network system, wherein the input sum calculation unit, the joint load memory unit, and the joint load correction unit can process an output signal from a built-in group ditoner. The hierarchical neural network system according to any one of claims 1 to 3,
The group demodulator employs a superheterodyne system, and is a hierarchical neural network system.

Images