JPH07302292A

JPH07302292A - ニューラルネットワーク回路の制御装置

Info

Publication number: JPH07302292A
Application number: JP6119555A
Authority: JP
Inventors: Takashi Morie; 隆森江
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1994-05-09
Filing date: 1994-05-09
Publication date: 1995-11-14

Abstract

(57)【要約】【目的】学習可能なニューラルネットワークＬＳＩに
おいて、学習完了を容易かつ高速にチェックすることが
でき、しかも外部ホスト計算機との接続が簡単であるニ
ューラルネットワーク回路の制御装置を提供することを
目的とする。【構成】学習可能なニューラルネットワーク回路の各
出力ユニットの出力値とこれに対応する教師信号との差
の絶対値または自乗が所定の値よりも小さいか、大きい
かによって、論理出力状態を変える学習終了判定回路
を、各出力ユニットに付加したものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、学習操作によって結合
荷重を変化することができるニューラルネットワーク回
路の制御装置に関するものである。

【０００２】

【従来の技術】ニューラルネットワーク回路は生物の神
経回路網をモデル化した回路であり、近年、従来のノイ
マン形計算機では難しかった文字認識や音声認識などの
パタン認識処理、最適化問題の近似求解、ロボット制御
等に有効であると期待されている。

【０００３】図６は、従来、よく知られているニューラ
ルネットワーク回路１０を示す図であり、多層フィード
フォワード形のニューラルネットワークを示す図であ
る。

【０００４】この従来例は、与えられた問題によって個
数が決まる入力ユニット１ｕ、出力ユニット２ｕをそれ
ぞれ含む入力層１、出力層２に加えて、ニューラルネッ
トワークの入出力に直接は関与しない任意個数の隠れユ
ニット３ｕを含む隠れ層（中間層とも呼ばれる）３を有
し、これらの間が結合荷重によって重み付けされて結合
しているものである。隠れ層３が１層のみ設けられ、層
間のユニット間にのみ結合が存在するニューラルネット
ワーク構造がよく使用されるが、一般的には、隠れ層３
を２層以上有するようにしてもよく、ユニット間の結合
も任意の組合せがあり得る。

【０００５】ニューラルネットワーク回路において望ま
しい入出力関係を獲得するために、結合荷重を修正して
いく必要があり、この方法としてバックプロパゲーショ
ン学習法（以下、「ＢＰ法」または「ＢＰ学習」とい
う）がよく使われる。

【０００６】ここでいう「学習」とは、ニューラルネッ
トワーク回路に与える入力値と、この入力値に対応する
教師信号（入力値に対応する望ましい出力値）とのパタ
ンの組み（以下、「学習パタン」という）を複数個準備
し、各学習パタンについて、ニューラルネットワーク回
路の実際の出力値が教師信号に近付くように結合荷重を
修正していくことをいう。通常、学習パタンを１つ提示
しては、結合荷重をわずかに修正し、次に別の学習パタ
ンを提示し、結合荷重をわずかに修正するという動作を
繰り返し、１つの学習パタンについて、数１０から数１
０００回の荷重修正を繰り返す。

【０００７】ＢＰ学習に代表されるこのような「教師有
り学習法」では、教師信号と実際のニューラルネットワ
ークの出力値との差（以下、「学習誤差」という）を小
さくするように荷重を修正していくので、学習がどの程
度進んだかを調べるには、この学習誤差を随時監視する
必要がある。通常、全ての学習パタンについての学習誤
差の絶対値の最大値、または学習誤差の自乗平均が、予
め設定されている所定の閾値を下回ったときに、学習が
完了したとみなすことが多い。

【０００８】

【発明が解決しようとする課題】ＢＰ学習においては、
学習が正しく進めば、学習誤差は必ず減少するので、十
分な時間、学習させた後で学習誤差をチェックすれば、
学習が完了しているか否かの判断を一応行うことができ
る。

【０００９】しかし、学習誤差が十分に小さくなった後
も学習をさらに続けると、いわゆる「過学習」状態とな
り、学習に用いたパタンについては学習誤差が十分減少
するものの、学習をしていないパタンについては逆に誤
差が増大し、すなわち、汎化能力が劣化する。したがっ
て、学習を行なっている間、学習誤差を常時モニタし、
学習誤差が設定値に達したら直ちに学習を停止させるこ
とが望ましいが、しかし、このように学習を行なってい
る間、学習誤差を常時モニタすることが煩雑であるとい
う問題がある。

【００１０】また、ニューラルネットワークにおける隠
れユニット３ｕの数が多ければ、ニューラルネットワー
クの内部自由度が大きくなるので、学習が成功する可能
性が高くなるものの、一般に汎化能力が低下する。一
方、隠れユニット３ｕが少な過ぎると、学習が正しく行
なわれない。隠れユニット３ｕの最適な個数を決定する
には、隠れユニット３ｕの数を変えながら、学習を行な
い、学習が成功する最も少ない隠れユニット３ｕの数を
見つけ出すようにすればよいが、このようにすると、学
習を何度も繰り返さなければならないので、隠れユニッ
ト３ｕの最適な個数を決定するためには、非常に長い時
間を必要とするという問題がある。

【００１１】ところで、ニューラルネットワークが取り
扱う入出力信号、教師信号は、文字認識等のように０、
１または−１、１のデジタル値であることも多いが、一
般にはアナログ値である。入出力信号、教師信号がアナ
ログ値である場合、ＬＳＩの外部で学習演算を行なった
ときに、並列処理を行なうようにすると、ピン数が多く
なることから学習の完了をチェックする機構が複雑にな
り、時分割で処理するようにすると、処理速度を速くす
ることが困難になる。一方、入出力信号、教師信号がア
ナログ値である場合、ＬＳＩの内部で学習演算を行なっ
たときに、ＬＳＩ外部のホスト計算機によって学習完了
の判断を行なうようにすると、Ａ／Ｄ変換回路を設ける
必要があるので、ニューラルネットワークシステム全体
が複雑化し、またＡ／Ｄ変換する時間が必要であること
から学習速度が低下する。

【００１２】本発明の第１の目的は、学習可能なニュー
ラルネットワークＬＳＩにおいて、学習完了を容易かつ
高速にチェックすることができ、しかも外部ホスト計算
機との接続が簡単であるニューラルネットワーク回路の
制御装置を提供することである。

【００１３】本発明の第２の目的は、学習可能なニュー
ラルネットワークＬＳＩにおいて、隠れユニットの最適
な個数を短時間で決定することができるニューラルネッ
トワーク回路の制御装置を提供することである。

【００１４】

【課題を解決するための手段】本発明は、学習可能なニ
ューラルネットワーク回路の各出力ユニットの出力値と
これに対応する教師信号との差の絶対値または自乗が所
定の値よりも小さいか、大きいかによって、論理出力状
態を変える学習終了判定回路を、各出力ユニットに付加
するものである。

【００１５】

【作用】本発明は、学習可能なニューラルネットワーク
ＬＳＩの各出力ユニットに、教師信号に対して出力値が
所定の値以内に近付いたか否かを調べ、その結果を１ビ
ット論理値で出力する学習終了判定回路を付加するの
で、出力値や教師信号がアナログ値であっても、学習完
了の判断結果をデジタル値で得ることができ、このため
に、外部ホストとの接続も容易かつ簡便になり、また、
各ユニットが並列的に学習完了を判断するので、学習完
了の判断を高速に実行することができ、結果として学習
速度が向上し、また、学習完了の判断がデジタル的にな
されるので、学習完了の操作をチップ内で処理すること
も容易になる。

【００１６】

【実施例】図１は、本発明の一実施例であるニューラル
ネットワーク回路の制御装置１００を示す図である。

【００１７】この実施例は、学習機能内蔵型アナログニ
ューラルネットワーク回路１１についてのものであり、
３つの学習終了判定回路２０と、論理積回路４０と、学
習制御回路５０と、学習パタン発生回路６０とを有す
る。

【００１８】ここで、ニューラルネットワーク回路１１
は、３つの入力ユニット１ｕで構成されている入力層１
と、３つの出力ユニット２ｕで構成されている出力層２
と、ニューラルネットワーク回路の内部で非線形変換処
理を行なう３つの隠れユニット３ｕで構成されている隠
れ層３とを有するものである。また、ニューラルネット
ワーク回路１１は、３種類のユニット１ｕ、２ｕ、３ｕ
がそれぞれ任意の結合荷重によって重み付けされて結合
しており、３つの入力値と、これらの入力値に対応する
３つの望ましい出力値（教師信号）とのパタンで構成さ
れる組みが少なくとも１つ与えられたときに、上記複数
の結合荷重を適宜調整することによって、３つの出力ユ
ニット２ｕの出力値を、対応する教師信号に近付けるこ
とが可能なニューラルネットワーク回路である。

【００１９】学習終了判定回路２０は、各出力ユニット
２ｕの出力値と望ましい出力値（教師信号）との差の絶
対値（または自乗）が所定の値Ｄよりも小さいか、大き
いかによって、論理出力状態を変え、しかも各出力ユニ
ット２ｕに対応させて付加されている回路である。

【００２０】論理積回路４０は、３つの出力ユニット２
ｕに対応して設けられた学習終了判定回路２０の出力の
全てについて論理積をとる回路である。

【００２１】学習制御回路５０はラッチ回路５１を有
し、学習制御回路５０が学習パタン発生回路６０にパタ
ン提示開始信号を出力したときに、ラッチ回路５１がリ
セットされ、論理積回路４０が出力する学習完了信号が
０になると、ラッチ回路５１がセットされ、論理積回路
４０が出力する学習完了信号が１であるときに、ラッチ
回路５１がリセットされるようになっている。つまり、
ラッチ回路５１は、パタン提示開始信号によってリセッ
トされ、論理積回路４０が出力する学習完了信号が０で
あるときにセットされ、その後は、論理積回路４０が出
力する学習完了信号が１になってもリセットされず、パ
タン提示開始信号の発生によってのみリセットされる。

【００２２】なお、学習パタンは、ニューラルネットワ
ーク回路１１に与える入力値と、この入力値に対応する
教師信号Ｔ（入力値に対応する望ましい出力値）とのパ
タンの組みである。

【００２３】学習パタン発生回路６０が発生する各学習
パタンについて、論理積回路４０が出力する学習完了信
号が全て１になったときに、学習パタンの提示が不要に
なるので、学習パタン発生回路６０にパタン提示開始信
号を供給することを停止するものである。つまり、学習
制御回路５０は、論理積回路の出力の変化に応じて、ニ
ューラルネットワーク回路内部の結合荷重調整を終了さ
せる調整終了回路の例である。

【００２４】なお、入力ユニット１ｕ、出力ユニット２
ｕ、隠れユニット３ｕは、それぞれ３つ以外の個数設け
られていてもよく、つまり、入力ユニット１ｕは第１の
所定個数、出力ユニット２ｕは第２の所定個数、隠れユ
ニット３ｕは第３の所定個数設けられていてもよい。ま
た、学習終了判定回路２０は、出力ユニット２ｕと同じ
個数設けられていればよい。

【００２５】図２（１）は、上記実施例における学習終
了判定回路２０の具体例を示す回路図である。

【００２６】学習終了判定回路２０は、これ自体で、ニ
ューラルネットワーク回路の制御装置として把握できる
ものであり、ニューラルネットワーク回路１１における
出力層２を構成する出力ユニット２ｕの出力値Ｏと、こ
れに対応する教師信号Ｔとの差を求める減算器２１と、
この減算器２１によって求められた差の絶対値を算出す
る絶対値回路２２と、この算出された絶対値が所定の値
（許容値）Ｄ以下であるか否かを求めるコンパレータ２
３とで構成されている。コンパレータ２３の出力値は、
学習終了判定回路２０の論理出力値Ｊである。つまり、
論理出力値Ｊは、｜Ｔ−Ｏ｜＜Ｄならば１になり、そう
でなければ０になる。

【００２７】図２（２）は、上記実施例における学習終
了判定回路２０をより具体例に示す回路図である。図２
（２）における絶対値回路２２は、「C. Mead, Analog
VLSIand Nenral Systems, Addison-Weisley, 1989」に
示されている回路を用いている。

【００２８】上記実施例において、絶対値回路２２の代
わりに、自乗回路を使用してもよく、この場合、乗算器
を用いて自乗回路を構成するようにしてもよい。

【００２９】図３は、学習終了判定回路２０の代わりに
使用することができる学習終了判定回路３０を示す回路
図である。

【００３０】この学習終了判定回路３０は、これ自体
で、ニューラルネットワーク回路の制御装置として把握
できるものであり、アナログの加算器３１、減算器３
２、コンパレータ３３、３４、ＡＮＤ回路３５を用いた
回路であり、図３における上側の回路によって、Ｔ＋Ｄ
＞Ｏが成り立つか否かを調べ、図３における下側の回路
によって、Ｔ−Ｄ＜Ｏが成り立つか否かを調べ、両者の
論理積をとることによって、両方が成り立つ場合に、１
を出力する回路である。

【００３１】次に、上記実施例の動作について説明す
る。

【００３２】まず、学習制御回路５０がパタン提示開始
信号を学習パタン発生回路６０に供給することによっ
て、学習パタン発生回路６０が学習パタン提示を開始
し、特定の順番またはランダムな順番によって、全ての
学習パタンをニューラルネットワーク回路１１に与え、
つまり、ニューラルネットワーク回路１１に与える入力
値と、この入力値に対応する教師信号Ｔ（入力値に対応
する望ましい出力値）とのパタンの組みである学習パタ
ンを発生し、各出力ユニット２ｕ、２ｕ、……のそれぞ
れに配置されている学習終了判定回路２０、２０、……
の出力の論理積を論理積回路４０が演算し、この論理積
（学習完了信号）を調べることによって、全出力ユニッ
ト２０、２０、……が望ましい出力を出すようになった
か否かを判定する。

【００３３】つまり、学習終了判定回路２０が、ニュー
ラルネットワーク回路１１における出力層２を構成する
出力ユニット２ｕの出力値Ｏと、これに対応する教師信
号Ｔとの差を求め、この求められた差の絶対値を算出
し、この算出された絶対値が所定の値Ｄ以下であるか否
かを求め、｜Ｔ−Ｏ｜＜Ｄならば、論理出力値Ｊが１に
なり、そうでなければ０になる。すなわち、学習可能な
ニューラルネットワークＬＳＩの各出力ユニット２ｕ、
２ｕ、……の出力値Ｏが、その教師信号Ｔに対して所定
の値Ｄ以内に近付いたか否かを調べ、その結果が１ビッ
ト論理値で出力される。

【００３４】したがって、上記実施例において、出力値
Ｏや教師信号Ｔがアナログ値であっても、学習完了の判
断結果をデジタル値で得ることができ、外部ホスト計算
機との接続が簡単である。

【００３５】このようにして、学習パタン発生回路６０
が全ての学習パタンをニューラルネットワーク回路１１
に与えた後、学習パタン発生回路６０がパタン提示終了
信号を学習制御回路５０に返す。このときに、全ての学
習パタンについて学習完了していた場合には、各学習パ
タンについて、論理積回路４０が出力する学習完了信号
が全て１になるので、これをラッチ回路５１で調べる。
すなわち、全ての学習パタンがニューラルネットワーク
回路１１に入力された後にラッチ回路５１がリセットさ
れていれば、全ての学習パタンについての学習が完了し
たことを示し、一方、全ての学習パタンがニューラルネ
ットワーク回路１１に入力された後にラッチ回路５１が
セットされていれば、全ての学習パタンのうち少なくと
も１つの学習パタンについて学習が完了していないこと
を示している。

【００３６】全ての学習パタンについて学習が完了した
ときに、学習制御回路５０は、全ての学習パタンについ
て学習が完了したことを示す全パタン学習完了信号を１
にセットし、学習制御回路５０は結合荷重の更新を終了
させる。ラッチ回路５１が上記全パタン学習完了信号を
出力するようにしてもよく、ラッチ回路５１以外の回路
が上記全パタン学習完了信号を出力するようにしてもよ
い。

【００３７】図１に示す実施例によれば、学習可能なニ
ューラルネットワークＬＳＩの各出力ユニット２ｕ、２
ｕ、……の出力値Ｏが、対応する教師信号Ｔに対して所
定の値Ｄ以内に近付いたか否かを調べ、その結果が１ビ
ット論理値で出力されるので、出力値Ｏや教師信号Ｔが
アナログ値であっても、学習完了の判断結果をデジタル
値で得ることができ、このために、外部ホスト計算機と
の接続も容易かつ簡便になり、また、各出力ユニット２
ｕ、２ｕ、……の出力値について並列的に学習完了を判
断するので、学習完了の判断を高速に実行することがで
き、結果として学習速度が向上し、また、学習完了の判
断がデジタル的になされるので、学習完了の操作をチッ
プ内で処理することも容易になる。

【００３８】図４は、本発明の他の実施例であるニュー
ラルネットワーク回路２００を示す回路図であり、学習
を行いながらニューラルネットワーク構造を最適にする
回路を示す図である。

【００３９】図４に示す実施例は、図３に示すニューラ
ルネットワーク回路１００に加えて、学習におけるパタ
ン提示の繰り返し回数をモニタし、パタン提示回数の上
限に達したか否かを判断するパタン提示回数制御回路７
０と、隠れユニット数増減回路８０とを付け加えたもの
である。

【００４０】パタン提示回数制御回路７０は、パタン提
示回数を積算するカウンタ回路で構成され、学習許可信
号を出力するものである。この学習許可信号は、学習中
には１を出力し、設定した学習回数に達したら０を出力
する信号である。また、パタン提示回数を学習時間で管
理するタイマー回路によってパタン提示回数制御回路７
０を構成してもよく、この場合、パタン提示回数制御回
路７０が出力する学習許可信号は、学習中に１を出力
し、設定した学習時間が経過したら０を出力する信号で
ある。

【００４１】隠れユニット数増減回路８０は、３つの隠
れユニット３ｕに対して（一般的には、第３の所定個数
の隠れユニット３ｕに対して）、結合荷重調整の過程の
初期においては、任意の個数の隠れユニット３ｕの出力
をその入力の状態に関わりなく固定することによって、
その任意の個数の隠れユニット３ｕの機能を無効化して
結合荷重調整を行なう手段と、所定のパタン提示回数ま
たは時間の結合荷重調整の過程の後、論理積回路４０の
出力の変化が見られた場合は、無効化された隠れユニッ
ト３ｕの個数を任意数だけ増加させる手段と、論理積回
路４０の出力の変化が見られない場合は、無効化された
隠れユニット３ｕの個数を任意数だけ減少させる手段と
を有するものである。

【００４２】なお、ニューラルネットワーク回路２００
において、ニューラルネットワーク回路１２は、基本的
には、ニューラルネットワーク回路１１と同じである
が、隠れ層３ａを構成する隠れユニット３ｕ、３ｕ、３
ｕのそれぞれの出力端子にスイッチＳＷ１、ＳＷ２、Ｓ
Ｗ３を有している点が異なる。

【００４３】次に、図４に示す実施例の動作について説
明する。

【００４４】図５は、図４に示す実施例の動作を示すフ
ローチャートである。

【００４５】まず、学習操作を開始したときに（Ｓ
１）、学習パタン提示回数の上限ＮＰ、学習誤差許容値
（所定の値）Ｄ、隠れユニット３ｕの数を示すＮＨＩＤ
を設定し（Ｓ２）、荷重初期値を設定し（Ｓ３）、学習
制御回路５０がパタン提示開始信号を出力することによ
って学習パタン発生回路６０が学習パタンを提示し（Ｓ
４）、この学習パタンを構成する入力信号と教師信号Ｔ
とがニューラルネットワーク回路１２に供給される。

【００４６】そして、学習が行われた後に、荷重修正が
行われ（Ｓ５）、全ての学習パタンのうちの１つでも、
その学習誤差が学習誤差許容値Ｄよりも大きければ（Ｓ
６）、パタン提示回数の上限ＮＰになるまで学習を繰り
返し（Ｓ７）、学習がパタン提示回数の上限ＮＰに達し
たときに、各学習パタンについての学習誤差が全て学習
誤差許容値Ｄよりも小さくならなければ（Ｓ７）、学習
が失敗したと判断し（Ｓ８）、隠れユニット３ｕの数Ｎ
ＨＩＤを１だけ増加させ（Ｓ９）、学習パタン提示、荷
重修正を繰り返す。

【００４７】一方、各学習パタンについての学習誤差が
全て学習誤差許容値Ｄよりも小さければ（Ｓ６）、学習
が成功したと判断し（Ｓ１１）、不要な隠れユニット３
ｕを減少させる意味で、隠れユニット３ｕの数ＮＨＩＤ
を１だけ減少させ（Ｓ１２）、学習パタン提示、荷重修
正を繰り返す。そして、隠れユニット３ｕの数ＮＨＩＤ
が収束した場合には（Ｓ１０）、学習最適化に成功した
ことになる。

【００４８】つまり、各学習パタンの全てについて学習
完了信号が１であり、しかも、パタン提示回数制御回路
７０が出力する学習許可信号が１である場合（パタン提
示回数の設定値以内である場合）は、設定回数以内に学
習が成功したことを示す。この場合、学習に成功したの
で、隠れユニット３ｕの数を減らして再学習を繰り返
す。一方、全学習パタン学習完了信号と学習許可信号と
がともに０である場合は、設定回数以内に学習が成功し
なかったことを示す。この場合、学習に失敗したので、
結合荷重の初期値を変えて再学習を行なうか、または隠
れユニット３ｕの数を増やして再度学習を開始する。

【００４９】このようにして、隠れユニット３ｕの数を
変えながら学習を繰り返し、隠れユニット３ｕの数があ
る数の前後で、学習の成功・失敗を繰り返すようになる
と、隠れユニット３ｕの数が収束したと考え、この場合
に最適化が実現されたことになる。なお、隠れユニット
３ｕの数を減らすには、隠れユニット３ｕの出力を０に
固定するように、スイッチＳＷ１、ＳＷ２、ＳＷ３で切
り換えればよい。逆に、隠れユニット３ｕの数を増やす
には、０に固定していた隠れユニット３ｕの出力を、本
来の動作を行なうようにスイッチＳＷ１、ＳＷ２、ＳＷ
３で切り換えればよい。

【００５０】図４に示す実施例によれば、隠れユニット
３ｕの数の最適化を行う回路を組み込むことによって、
ニューラルネットワーク回路の最適化を高速で実現する
ことができる。

【００５１】ＢＰ学習の場合は荷重の初期値が学習の成
功・失敗に大きく影響する。図５に示すフローチャート
では学習の度に荷重初期値をランダムに設定し、学習の
成功・失敗に応じて隠れユニット３ｕの数を増減して、
学習を繰り返している。これとは別に、学習が失敗した
ときに隠れユニット３ｕの数を変更せずに、荷重初期値
を変更して学習をやり直してみることは重要である。適
当な試行回数の上限を設定して、その試行回数内で学習
が成功しなかった場合にのみ、隠れユニット３ｕの数を
増加させるようにしてもよく、この方法は有効である。

【００５２】また、学習が成功した場合に、荷重値をリ
セットするのではなく、成功したときの荷重値を初期値
として、適当な隠れユニット３ｕを除去して（隠れユニ
ット３ｕの数を減じて）学習をやり直すようにしてもよ
く、この方法も有効である。削除する隠れユニット３ｕ
は、たとえば次段のユニットへの結合荷重の絶対値が全
て小さいもの、または同様な荷重を有するユニットが２
つ以上存在する場合にはそのうちの１つを選ぶ。これは
そのユニットを削除してもニューラルネットワークとし
ての性能を低下させることが少ないと予想されるからで
ある。以上のような操作を、学習制御回路５０に行わせ
るようにしてもよい。

【００５３】なお、学習終了判定回路２０、３０は、各
出力ユニットの出力値と望ましい出力値との差の絶対値
または自乗が所定の値よりも小さいか、大きいかによっ
て、論理出力状態を変え、しかも各出力ユニットに対応
させて付加されている学習終了判定回路の例である。

【００５４】また、ラッチ回路５１の代わりに、提示す
べき学習パタンの数と同じ数のレジスタと、論理積回路
回路４０が出力する学習完了信号を各レジスタに切り換
えるマルチプレクサと、上記レジスタに格納されている
値の論理積をとる論理積回路（論理積回路４０とは別の
論理積回路）とを設けるようにしてもよく、この場合、
提示すべき各学習パタンと各レジスタとを対応させるよ
うにマルチプレクサを切り換え、上記別の論理積回路が
１を出力すれば、全ての学習パタンについての学習が完
了したことを示す。

【００５５】なお、上記実施例は、ＢＰ学習だけでな
く、隠れユニットを有するニューラルネットワーク構造
を有し、教師有り学習を行うモデル（たとえばボルツマ
ンマシン等）に、一般的に適用できる。

【００５６】

【発明の効果】本発明によれば、学習完了の確認を回路
上で並列的に実行できるので、実効的に高速な学習を行
うことができ、また、アナログの出力を取り扱うニュー
ラルネットワークにおいても学習完了の信号をデジタル
信号で得られるので、学習制御操作をデジタル論理で実
行することができ、高速で複雑な制御を行うことができ
るという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例であるニューラルネットワー
ク回路の制御装置１００を示す図である。

【図２】図２（１）は、上記実施例における学習終了判
定回路２０の具体例を示す回路図であり、図２（２）
は、上記実施例における学習終了判定回路２０をより具
体例に示す回路図である。

【図３】学習終了判定回路２０の代わりに使用すること
ができる学習終了判定回路３０を示す回路図である。

【図４】本発明の他の実施例であるニューラルネットワ
ーク回路２００を示す回路図であり、学習を行いながら
ニューラルネットワーク構造を最適にする回路を示す図
である。

【図５】図４に示す実施例の動作を示すフローチャート
である。

【図６】従来の多層フィードフォワード形のニューラル
ネットワーク回路１０を示す図である。

【符号の説明】

１…入力層、１ｕ…入力ユニット、２…出力層、２ｕ…出力ユニット、３…隠れ層、３ｕ…隠れユニット、ＳＷ１、ＳＷ２、ＳＷ３…スイッチ、１１、１２…ニューラルネットワーク回路、２０、３０…学習終了判定回路、４０…論理積回路、５０…学習制御回、、５１…ラッチ回路、６０…学習パタン発生回路、７０…パタン提示回数制御回路、８０…隠れユニット数増減回路。

Claims

【特許請求の範囲】

【請求項１】第１の所定個数の入力ユニットと、第２
の所定個数の出力ユニットと、ニューラルネットワーク
回路の内部で非線形変換処理を行なう第３の所定個数の
隠れユニットとを有し、上記３種類のユニットがそれぞ
れ任意の結合荷重によって重み付けされて結合してお
り、上記第１の所定個数の入力値と、これらの入力値に
対応する上記第２の所定個数の望ましい出力値とのパタ
ンで構成される組みが少なくとも１つ与えられたとき
に、上記複数の結合荷重を適宜調整することによって、
上記第２の所定個数の出力ユニットの出力値を上記望ま
しい出力値に近付けることが可能なニューラルネットワ
ーク回路において、上記各出力ユニットの出力値と上記望ましい出力値との
差の絶対値または自乗が所定の値よりも小さいか、大き
いかによって、論理出力状態を変え、しかも各出力ユニ
ットに対応させて付加されている学習終了判定回路によ
って構成されていることを特徴とするニューラルネット
ワーク回路の制御装置。
【請求項２】第１の所定個数の入力ユニットと、第２
の所定個数の出力ユニットと、ニューラルネットワーク
回路の内部で非線形変換処理を行なう第３の所定個数の
隠れユニットとを有し、上記３種類のユニットがそれぞ
れ任意の結合荷重によって重み付けされて結合してお
り、上記第１の所定個数の入力値と、これらの入力値に
対応する上記第２の所定個数の望ましい出力値とのパタ
ンで構成される組みが少なくとも１つ与えられたとき
に、上記複数の結合荷重を適宜調整することによって、
上記第２の所定個数の出力ユニットの出力値を上記望ま
しい出力値に近付けることが可能なニューラルネットワ
ーク回路において、上記各出力ユニットの出力値と上記望ましい出力値との
差の絶対値または自乗が所定の値よりも小さいか、大き
いかによって、論理出力状態を変え、しかも各出力ユニ
ットに対応させて付加されている学習終了判定回路と；
上記第２の所定個数の出力ユニットに対応して設けられ
た上記学習終了判定回路の出力の全てについて論理積を
とる論理積回路と；この論理積回路の出力の変化に応じ
て、上記ニューラルネットワーク回路内部の結合荷重調
整を終了させる調整終了回路と；を有することを特徴と
するニューラルネットワーク回路の制御装置。
【請求項３】第１の所定個数の入力ユニットと、第２
の所定個数の出力ユニットと、ニューラルネットワーク
回路の内部で非線形変換処理を行なう第３の所定個数の
隠れユニットとを有し、上記３種類のユニットがそれぞ
れ任意の結合荷重によって重み付けされて結合してお
り、上記第１の所定個数の入力値と、これらの入力値に
対応する上記第２の所定個数の望ましい出力値とのパタ
ンで構成される組みが少なくとも１つ与えられたとき
に、上記複数の結合荷重を適宜調整することによって、
上記第２の所定個数の出力ユニットの出力値を上記望ま
しい出力値に近付けることが可能なニューラルネットワ
ーク回路において、上記各出力ユニットの出力値と上記望ましい出力値との
差の絶対値または自乗が所定の値よりも小さいか、大き
いかによって、論理出力状態を変え、しかも各出力ユニ
ットに対応させて付加されている学習終了判定回路と；
上記第２の所定個数の出力ユニットに対応して設けられ
た上記学習終了判定回路の出力の全てについて論理積を
とる論理積回路と；この論理積回路の出力の変化に応じ
て、上記ニューラルネットワーク回路内部の結合荷重調
整を終了させる調整終了回路と；上記第３の所定個数の
隠れユニットに対して、結合荷重調整の過程の初期にお
いては、任意の個数の隠れユニットの出力をその入力の
状態に関わりなく固定することによって、上記隠れユニ
ットの機能を無効化して結合荷重調整を行なう手段と；
所定のパタン提示回数または時間の結合荷重調整の過程
の後、上記論理積回路の出力の変化が見られた場合は、
上記無効化された隠れユニットの個数を任意数だけ増加
させる手段と；上記論理積回路の出力の変化が見られな
い場合は、上記無効化された隠れユニットの個数を任意
数だけ減少させる手段と；を有することを特徴とするニ
ューラルネットワーク回路の制御装置。