JPH05197705A - ニューラルネットワークの学習システム - Google Patents

Abstract

(57)【要約】 【目的】 パターンや文字の認識、各種制御等の広い応
用分野を持つニューラルネットワークの学習方式に係わ
り、例えば中間層のユニット数が異なる複数のニューラ
ルネットワークを用いて、ハードウエア量の増加を抑え
ながら学習を効率的、かつ高速に行うことができるニュ
ーラルネットワークの学習システムを提供することを目
的とする。 【構成】 入力層、１層以上の中間層、および出力層か
ら構成される階層型ニューラルネットワークが複数個配
列されたニューラルネットワークシステムにおいて、該
複数のニューラルネットワークの２個以上に対する共通
の入力層または２個以上に対する共通の入力層および１
層以上の中間層と該複数のニューラルネットワークの学
習を制御する学習制御手段と備えるように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はパターン認識、各種制御
等の広い応用分野を持つニューラルネットワークの学習
を効率的、高速に行うためのニューラルネットワークの
学習システムに関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】ニュー
ロコンピュータの学習では、いくつかの学習パラメータ
や重みの初期値、中間層のユニット数などの条件によ
り、学習の結果がかなり異なってくる。従って、望みど
おりの性能を持つニューラルネットを得るためには条件
を変えて何度も試行錯誤を繰り返さなければならない。

【０００３】図１５は従来のニューラルネットワークを
用いた学習システムの構成例を示すブロック図である。
ネットワークが１から４まで４個あり、それぞれのネッ
トワークは入力層と中間層と出力層を持っている。そし
て、各ネットワークに学習パターンを同時に或いは順次
入力して学習を行わせるようになっている。

【０００４】通常のニューラルネットワークを学習する
場合には、図１６に示すように直列的な方法と、並列的
な方法がある。（ａ）に示す直列的な方法は、ネットワ
ーク１の学習を行い、次にネットワーク２の学習を行う
という具合に直列的に学習を行っていくものである。こ
れに対して、（ｂ）に示す並列的な方法は、プロセス１
ではネットワーク１の学習を、プロセス２ではネットワ
ーク２の学習をという具合に、学習を並列的に、各ネッ
トワークに同時に行わせるものである。

【０００５】図１７は、ニューラルネットワークの学習
システムの従来例である。同図は例えば構成の異なる３
種類のニューラルネットワークＡ，Ｂ，及びＣに学習を
行わせる学習システムの例である。同図において、パタ
ーン記憶装置１０には、それぞれのニューラルネットワ
ークに学習を行わせるための入力パターンと、それに対
応する教師パターンが格納されている。入力パターンは
入力パターン部１１に、また教師パターンは教師パター
ン部１２に格納されている。

【０００６】各ニューラルネットワークＡ〜Ｃはそれぞ
れ入力層装置１３、中間層装置１４、及び出力層装置１
５によって構成され、また各ニューラルネットワークに
対応して出力層装置１５の出力と教師パターン部１２か
ら出力される教師データとの誤差を計算するための誤差
計算機１６が備えられ、また誤差計算機１６の出力する
誤差に応じて中間層装置１４、及び出力層装置１５内に
格納されている重みの更新を行うための学習制御装置１
７が備えられている。

【０００７】図１７において、例えばまずニューラルネ
ットワークＡについて学習を行わせ、次にニューラルネ
ットワークＢについて学習を行わせるという具合に直列
的な学習が行われる。この学習時に各ニューラルネット
ワークには入力パターン部１１から入力パターンが学習
パターンとして入力され、出力層装置１５の出力と教師
パターン部１２から出力される教師データとの差がある
一定値以下となるように学習が行われる。

【０００８】図１６において説明した２つの学習方法の
うちで、並列的な方法が学習の高速化に有効である。し
かしながら、従来の並列的な方法ではそれぞれのニュー
ラルネットワークを全く独立に学習させていたために、
ハードウエア量が多くなり、またニューラルネットワー
クの前向き処理、即ち入力層に値を入力させて出力層ユ
ニットの出力を得るまでの処理に際して、パターン記憶
装置からのパターンのローディングをネットワーク毎に
行わなければならないという問題点があった。

【０００９】本発明は、ハードウエア量の増加を抑えな
がら学習を効率的、かつ高速に行うことができるニュー
ラルネットワークの学習システムを提供することを目的
とする。

【００１０】

【課題を解決するための手段及び作用】図１は本発明の
原理ブロック図である。同図においては、入力層２０の
みが共通な４つのニューラルネットワークと、これらの
ネットワークの学習を制御する学習制御手段２５から構
成されるニューラルネットワークシステムが示されてい
る。中間層１，２と中間層３，４では層内のユニット数
が異なっており、また例えば入力層と中間層１の間、及
び入力層と中間層２の間では重みの初期値が異なってい
るものとすれば（入力層と中間層３及び入力層と中間層
４の間も同様）、図１は４種類のニューラルネットワー
クを示しており、例えばこれらの４種類のニューラルネ
ットワークのうち学習の収束が最も早いニューラルネッ
トワークが最適なニューラルネットワークとして用いら
れることになる。

【００１１】図１において入力層２０が共通化されてい
るために、同じ学習パターンを学習させる時に入力の無
駄を省いて効率的な学習を行わせることができる。即ち
ニューラルネットワークへの学習パターンのローディン
グ回数が１回でよく、学習を効率的かつ高速に行うこと
が可能となる。

【００１２】なお図１において入力層のみが共通とされ
ているが、例えば重みの初期値などが同じ場合には中間
層１と中間層２、及び中間層３と中間層４とをそれぞれ
共通とすることも可能である。

【００１３】

【実施例】図２〜図４はニューラルネットワークシステ
ムの構成の実施例である。本発明は構造、重み初期値、
または学習パラメータが異なる複数のネットワークを入
力層、または入力層と中間層とを共通とするニューラル
ネットワークシステムとして構成し、複数のネットワー
クに同一データを与えることによって最適のニューラル
ネットワークを見つけるものであるが、図２は構造の異
なる２つのネットワークを学習させるシステムの例であ
る。同図において中間層のユニット数が４個と３個の２
つのニューラルネットワークによって、入力層と中間層
とを共通とするニューラルネットワークシステム（中間
層のユニット数は４個）の学習システムが構成される例
を示している。

【００１４】図３は重み初期値が異なる２つのニューラ
ルネットワークを１つのネットワークシステムとして学
習させる場合の例である。同図ではネットワークの構
成、即ちその層数及び各層のユニット数は同じである
が、例えば中間層ユニットと出力層ユニットとの間の重
み初期値が異なる２つのニューラルネットワークが１つ
のネットワークシステムとして構成されている。

【００１５】図４は中間層と出力層との間の結合の学習
パラメータε，αが異なる２つのネットワークを１つの
ニューラルネットワークシステムとして構成した例であ
る。なお図２〜図４は１つの例であり、これらの例を組
み合わせることも可能で、ユーザが自由にパラメータを
設定してニューラルネットワークのシミュレーションを
行うことができる。

【００１６】図５は本発明におけるニューラルネットワ
ーク学習システムの実施例構成ブロック図である。同図
は、図１に示したような入力層のみを共通とするニュー
ラルネットワークシステムの例である。従来例の図１７
におけると同様にＡ〜Ｃの３つのネットワークによって
システムが構成されているが、入力層が共通であるため
に、図１７と異なり共通入力層装置１８は共通のものと
して１つだけ設けられており、本発明の特徴を示してい
る。

【００１７】図６は図５における各ブロックを説明する
ために１つのニューラルネットワークだけを抜き出した
場合の説明図である。図５においてパターン記憶装置１
０はニューラルネットワークが学習するパターンを記憶
する装置であり、学習パターンは入力パターンとそれに
対応する教師パターンとから構成され、これらのパター
ンは通常ベクトルとして与えられる。１つのネットワー
クは通常複数組のパターンを学習する。これらのパター
ンが共通入力層装置１３に与えられる。この入力層装置
はニューラルネットワークの入力層に相当する処理を行
う装置であり、図５では３つのネットワークＡ〜Ｃへ同
一のパターンデータのブロードキャストを行うものであ
る。

【００１８】中間層装置以降は３つのネットワークＡ〜
Ｃのそれぞれにおいて異なるものであるため、図６を用
いて説明する。中間層装置はニューラルネットワークの
中間層に相当する処理を行うものであり、場合によって
はこの中間層装置は複数のニューラルネットワークの間
で共通に用いられることもある。また出力層装置はニュ
ーラルネットワークの出力層に相当する処理を行う装置
であり、学習制御装置は出力層装置の出力としての出力
パターンと教師パターンとの差の情報からネットワーク
内の結合の重みの更新を計算し、その更新量を中間層装
置および出力層装置に出力するものである。例えば中間
層装置には入力層の各ユニットと中間層の各ユニットと
の間の結合の重みが記憶されており、学習制御装置から
出力される重みの更新量に従ってその重みが更新され
る。なおこの出力パターンと教師パターンとの差は図５
の誤差計算機１６によって計算される。

【００１９】図５においては、３つのネットワークＡ，
ＢおよびＣに対して学習制御装置１７は並列に動作し、
各ネットワークの学習は並列的に行われる。この学習に
際しては、各中間層装置１４、および出力層装置１５か
ら重み更新のために必要なデータが学習制御装置１７に
出力され、学習制御装置１７からは重み更新量が各装置
１４，１５に与えられる。この学習は出力層装置１５が
出力する出力パターンと教師パターンとの差がある一定
値以下に収束するまで続けられる。

【００２０】また図５において、教師パターンは各入力
パターンに対して１つずつ、すなわち出力層のユニット
数が１個だけの場合の出力値に対応する教師パターンが
示されているが、一般的には出力層のユニット数は１個
に限定されないことは当然である。更に本実施例ではニ
ューラルネットワークの学習方式としてバックプロパゲ
ーション法を用いることを想定しているが、本発明にお
いてどのような学習方式を使用するかは本質的ではな
く、正解となるべき教師パターンが与えられている場
合、すなわちいわゆる教師あり学習であり、かつニュー
ラルネットワークが階層型であれば本発明の適用が可能
である。

【００２１】図７はニューラルネットワークシステムの
学習終了後のニューラルネットワークの使用法の説明で
ある。例えば、図５の学習システムにおいて学習が終了
した後、例えば学習パターンとは異なるパターンを用い
て３つのニューラルネットワークＡ〜Ｃの試験が行わ
れ、試験結果のよいものが実行時のニューラルネットワ
ークとして選択される。例えば図５においてネットワー
クＢに対する試験結果が最もよい場合には、実行時には
ネットワークＡとＣとを使用することなく、共通入力層
装置、ネットワークＢの中間層装置、およびネットワー
クＢの出力層装置を用いてニューラルネットワークの実
行が行われる。

【００２２】前述のように本発明においては入力層のみ
でなく、中間層をも共通とすることが可能である。図８
は、構成Ａにおいて例えば入力層と２つの中間層のそれ
ぞれとの間の結合の重みが同一である時に、構成Ｂに示
すように中間層を共通とした場合の例である。構成Ｂを
用いることにより入力層と中間層との間の結合は共有化
され、処理の簡単化と効率化が実現される。

【００２３】図９は、入力層と中間層とを共通化した場
合の処理をフローチャート化したものである。図１０は
中間層が複数ある場合、その１部の中間層を共通化する
例である。同図においては中間層が第１中間層と第２中
間層の２層からなっており、そのうち第１中間層が共通
化されている。

【００２４】図１１は従来例としての直列方式および並
列方式と、本発明とにおける前向き処理回数の算出式で
ある。ここで前向き処理とはニューラルネットワークの
入力層に入力パターンを与えて出力層のユニットから出
力を得るまでの処理をいい、また図１６で説明したよう
に並列方式の場合、並列に行われる前向き処理は１回と
して数えるものとする。

【００２５】そこで図１１に示すように、直列方式では
ネットワーク番号ｎによって指定されるネットワークｎ
の学習回数の緩和が全体としての前向き処理回数となる
のに対して、並列方式および本発明の方式ではｎ個のネ
ットワークのそれぞれの学習回数のうちの最大値が全体
の前向き処理回数となる。

【００２６】図１２はのべ前向き回数の算出式である。
ここでのべ前向き処理回数とは、例えば直列方式の場合
次式で与えられる。

【００２７】

【数１】

【００２８】従って直列方式ではのべ前向き処理回数は
式で与えられ、並列方式でも個々の前向き処理はネッ
トワーク毎に独立に行われるために、のべ前向き処理回
数としては式で示すように直列方式と同じとなる。こ
れに対して本発明においては入力層への学習パターンの
ロードおよび、例えば中間層ユニットの出力の計算が共
通して行われるために、共通して行われる処理を含む前
向き処理をシステム全体として１回と数えることによ
り、のべ前向き処理回数は式で与えられる。

【００２９】図１３は図１１および図１２に示した前向
き処理回数、およびのべ前向き処理回数の具体例であ
る。例えばネットワークＡ，ＢおよびＣのそれぞれの前
向き処理回数が６，４及び１１回であるとすると、直列
方式では前向き処理回数およびのべ前向き処理回数は共
に２１回となるのに対して、並列方式ではそれぞれ１１
回と２１回、本発明の方式では共に１１回となる。なお
本実施例においては複数のネットワークを同期的に学習
させることを前提としており、ニューラルネットワーク
の規模に関係なく前向き処理および重み更新の制御にか
かる時間を一定と考えているために、学習回数と学習時
間とは１対１に対応したものとなる。

【００３０】図１４は従来方式と本発明の方式の比較を
示す。同図において処理に要するトータル時間は、従来
例の直列方式では各ネットワークの学習時間の緩和とな
るのに対して、従来例の並列方式、および本発明の方式
では各ネットワークの学習時間のうちの最大値がトータ
ル時間となる。前向き処理回数およびのべ前向き処理回
数については図１１および図１２に示されている。

【００３１】図１４におけるパターンローディングのた
めのハードウェア量の比較においては、ここでは同一の
パターンに対するメモリが共有されているものとして、
ハードウェア量とは１つのメモリから同時に複数のネッ
トワークに転送するための転送装置としてのメモリのポ
ート、転送処理装置、およびバスの量であり、その量は
直列方式と本発明の方式では１つの単位で済むのに対し
て、従来例の並列方式ではネットワーク数と同一数の単
位が必要となる。また同時に学習できるパターンの種類
は、従来例の並列方式ではネットワークを適当に区分し
て異なるパターンを与えることができるために１つ以上
となるのに対して、本発明と従来例の直列方式では同時
に学習できるパターンは１つである。

【００３２】

【発明の効果】以上説明したように、本発明においては
階層型ニューラルネットワークシステムの入力層、また
は中間層の少なくとも１つを共通化することによって、
入力パターンのローディングおよびニューラルネットワ
ークの前向き処理におけるオーバーヘッドを少なくする
ことができ、例えばハード的にシステムを構築する場合
にはハードウェアを簡素化することが可能となり、学習
を効率よく行うことができるニューラルネットワークの
学習システムを提供することができ、パターン認識、制
御、その他ニューラルネットワークを用いるあらゆる産
業分野に利用することが可能である。

【図面の簡単な説明】

【図１】本発明の原理ブロック図である。

【図２】構造の異なる２つのネットワークから構成され
るシステムの実施例を示す図である。

【図３】重み初期値の異なる２つのネットワークから構
成されるシステムの実施例を示す図である。

【図４】学習パラメータの異なる２つのネットワークか
ら構成されるシステムの実施例を示す図である。

【図５】本発明におけるニューラルネットワーク学習シ
ステムの実施例の構成を示すブロック図である。

【図６】単一のネットワークに対する各装置の動作を説
明する図である。

【図７】実行時のニューラルネットワークの構成例を示
す図である。

【図８】中間層を共通とするニューラルネットワーク学
習システムの実施例を示す図である。

【図９】入力層と中間層とを共通化した場合の処理のフ
ローチャートである。

【図１０】入力層と第１の中間層とを共通とするニュー
ラルネットワーク学習システムの実施例を示す図であ
る。

【図１１】前向き処理回数の算出式を示す図である。

【図１２】のべ前向き処理回数の算出式を示す図であ
る。

【図１３】前向き処理回数とのべ前向き処理回数との具
体例の比較を示す図である。

【図１４】従来方式と本発明の方式との比較を示す図で
ある。

【図１５】従来のニューラルネットワーク学習システム
の構成例を示すブロック図である。

【図１６】従来のニューラルネットワークシステムにお
ける学習の説明図である。

【図１７】従来のニューラルネットワーク学習システム
の具体的構成例を示すブロック図である。

【符号の説明】

１０ パターン記憶装置 １１ 入力パターン部 １２ 教師パターン部 １３ 入力層装置 １４ 中間層装置 １５ 出力層装置 １６ 誤差計算機 １７ 学習制御装置 １８ 共通入力層装置 ２０ 入力層 ２１ 中間層 ２２ 出力層 ２５ 学習制御手段

Claims (7)

【特許請求の範囲】
1. 【請求項１】 入力層（２０）、１層以上の中間層（２
   １）、及び出力層（２２）からなる階層型ニューラルネ
   ットワークが複数個配列されたニューラルネットワーク
   システムにおいて、 該複数のニューラルネットワークの２個以上に対する共
   通の入力層（２０）、または２個以上に対する共通の入
   力層及び１層以上の中間層（２１）と、 該複数のニューラルネットワークの学習を制御する学習
   制御手段（２５）とを備えたことを特徴とするニューラ
   ルネットワークの学習システム。
2. 【請求項２】 前記複数のニューラルネットワークが、
   中間層の層数の差、中間層及び出力層内のユニット数の
   差を含む構成上の相違を備えていることを特徴とする請
   求項１記載のニューラルネットワークの学習システム。
3. 【請求項３】 前記複数のニューラルネットワークが、
   各層間の結合の重みの初期値の異なるニューラルネット
   ワークであることを特徴とする請求項１記載のニューラ
   ルネットワークの学習システム。
4. 【請求項４】 前記複数のニューラルネットワークが、
   教師パターンの学習時における学習パラメータの異なる
   ニューラルネットワークであることを特徴とする請求項
   １記載のニューラルネットワークの学習システム。
5. 【請求項５】 前記ニューラルネットワークの学習シス
   テムにおいて、 前記複数のニューラルネットワークの全てに共通の入力
   層が共通入力層装置（１８）によって、 該複数のニューラルネットワークのそれぞれの中間層が
   それぞれ対応する中間層装置（１４）によって、 該複数のニューラルネットワークのそれぞれの出力層が
   それぞれ対応する出力層装置（１５）によって、 前記学習制御手段（２５）が学習制御装置（１７）によ
   って構成され、 該ニューラルネットワークの学習システムが、更に学習
   時に該共通入力層装置（１８）に与えるべき入力パター
   ンと該入力パターンに対応してニューラルネットワーク
   から出力されるべき教師パターンとを対応させて記憶す
   るパターン記憶装置（１０）と、 該パターン記憶装置（１０）から出力される教師パター
   ンと、前記出力層装置（１５）から出力される出力との
   誤差を計算し、該誤差を前記学習制御装置（１７）に出
   力する、該出力層装置（１５）と１対１に対応する複数
   の誤差計算機（１６）とを備えたことを特徴とする請求
   項１記載のニューラルネットワークの学習システム。
6. 【請求項６】 前記ニューラルネットワークの学習シス
   テムにおいて、 前記学習制御装置（１７）が、該ニューラルネットワー
   クの学習システムを構成する複数のニューラルネットワ
   ークの学習をバックプロパゲーション法を用いて制御す
   ることを特徴とする請求項５記載のニューラルネットワ
   ークの学習システム。
7. 【請求項７】 前記ニューラルネットワークの学習シス
   テムにおいて、 該ニューラルネットワークの学習システムを構成する複
   数のニューラルネットワークの学習終了後に、学習済み
   のパターン以外の入力パターンを用いて該複数のニュー
   ラルネットワークの試験を行い、 該試験結果が最も良いニューラルネットワークを除い
   て、前記共通入力層装置（１８）と、中間層装置（１
   ４）との接続を切り離し、 該共通入力装置（１８）に入力パターンを与え、該試験
   結果が最も良いネットワークの出力層装置（１５）から
   出力を得て、ニューラルネットワークの実行を行うこと
   を特徴とする請求項５記載のニューラルネットワークの
   学習システム。