JPH045751A - データ処理装置の学習方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、ニューラルネットワークの概念を基礎とする
データ処理装置に関する。

〔従来の技術］ この種のデータ処理装置におけるニューラルネットワー
クは、第３図に示す神経細胞モデル（以下、ニューロン
という）１を、並列に設けて層状に構成される。各層の
ニューロンは隣接する他の層の全てのニューロンにシナ
プス結合して、データの入出力を行う。すなわちニュー
ロン１において、外部から入力されるデータＩ、、Ｌ、
■。

・・・Ｉｎにはそれぞれ重みＷＩＳＷ２、Ｗ。

、・・・Ｗｎが掛けられ、これらの総和と閾値θとの比
較結果に応じたデータＯが出力される。

この比較方法としては種々のものが可能であるが、例え
ば正規化関数１〔ｆ］を採用すると、出力データ０は、 ０＝１　〔ΣＷｎ−Ｉｎ−θ）　　　・・−−−（１）
と表される。すなわち、ΣＷｎ−Ｉｎが閾値８以上の時
そのニューロンは発火して出力データＯは「１」となり
、またΣＷｎ−Ｉｎが閾値θより小さい時出力データ０
は「０」となる。

従来のニューラルネットワークは、このようなニューロ
ンを並列に設けてニューラルレイヤを形成するとともに
、このニューラルレイヤを直列に接続して構成される。

ニューラルレイヤは例えば、ローゼンブラット（Ｒｏｓ
ｅｎｂｌａｔｔ）が提案したバーセプトロンのように３
層すなわち入力層、中間層および出力層から成り、各層
のニューロンは隣接する他の層の全てのニューロンにシ
ナプス結合する。

〔発明が解決しようとする課題〕

このようなデータ処理装置において各ニューロンのシナ
プス重みを最適化する操作は「学習」と呼ばれ、その実
現の保証と効率化は重要な課題である。例えば、近年注
目を集めているハックプロパゲーション法では、ローカ
ルミニマムからの脱出と、収束時間が問題点として残さ
れている。特に多数の中間層を含むニューラルネットワ
ークにおいてその傾向が大である。

本発明はこのような従来の問題点を解消すべく創案され
たもので、中間層に対し効率的学習を施し得る学習方法
を提供することを目的とする。

〔課題を解決するための手段〕

本発明に係る学習方法は、入力層の発火パターンと出力
層の発火パターンとを複数の入出力について人為的に決
定し、各入出力について、中間層の各ニューロンが、入
力層の対応領域のニューロンの出力値と出力層の対応す
るニューロンの出力値に所定の係数を乗した値との和が
一定値以上である場合に、発火する傾向を持つように、
中間層および出力層のシナプスの重みを決定するもので
ある。そして、中間層が多数設けられる場合には、１個
の中間層の学習が所定段階まで終了したときに、新たに
中間層を追加し、これに対しても同様の学習を施し、逐
次中間層を増加させるものである。ここに入出力層のニ
ューロン数はその１回のデータ容量により決定され、処
理し得るデータ個数はニューラルネットワーク全体のニ
ューロン数により決定される。したがって多くのデータ
の処理のためには中間層の増大は必須である。

［実施例］ 以下図示実施例により本発明を説明する。

第１図は、本発明の一実施例に係るデータ処理装置を有
する文字認識システムを示す。この文字認識システムは
、ビデオカメラ１０、前処理装置２０、データ処理装置
３０、後処理装置４０およびデイスプレィ５０を備える
。ビデオカメラ１０は文字を入力するために設けられ、
前処理装置２０に接続される。前処理装置２０は例えば
従来公知の画像処理装置であり、入力された文字の特徴
データ（例えば端点数、分岐点数等）を抽出し、この特
徴データをデータ処理装置３０に出力する。

データ処理装置３０は、後述するようにニューラルネッ
トワークを構成し、前処理装置２０から入力された文字
の特徴データに基づいてその文字を認識し、この認識結
果に応じたデータを後処理装置４０に出力する。認識信
号は例えばキャラクタコードであり、後処理袋２４０は
この出力データを例えばワープロデータとして格納し、
同時にデイスプレィ５０に出力する。デイスプレィ５０
は例えばＣＲＴから構成され、データ処理装置３０によ
り認識された文字を画面上に表示する。

データ処理装置３０を構成するニューラルネットワーク
はコンピュータのハードウェアの一部として構成される
。このデータ処理装置３０は第１図において模式的に表
されており、この図から理解されるように入力層３１、
中間層３２および出力層３３を有し、中間層３２は入力
層３１および出力層３３の間に配設される。各層３１．
３２．３３は本実施例において、それぞれ多数のニュー
ロンＮを有し、入力層３１のニューロンＮは中間層３２
の全てのニューロンＮに接続され、また中間層３２のニ
ューロンＮは出力層３３の全てのニューロンＮに接続さ
れる。

各ニューロンＮは第３図を参照して上述したように、（
１）式の正規化関数に基づき、「１」または「０」のデ
ータを出力する。ニューロンＮは例えばオペアンプから
構成され、また各ニューロンＮへ入力されるデータに乗
じられる重みＷｎは、例えば、オペアンプの入力端子に
接続された可変抵抗により得られる。また閾値関数はス
イッチング素子等によって実現される。すなわち各ニュ
ーロンの出力データに応じて可変抵抗の大きさを変化さ
せることにより、重みＷｎが変化せしめられ、出力デー
タが補正されて学習が行われる。

第２図（ａ）、（ｂ）、（ｃ）は入力層３１、中間層３
２および出力層３３を模式的に表したものである。ニュ
ーロンの数は、入力層３１、中間層３２、出力層３３の
順に少なくなっている。ここでは説明の簡単のため、入
力層３１のニューロン数を６４個、中間層３２のニュー
ロン数を４９個、出力層３３のニューロン数を３６個と
する。

また各層のニューロンは、入力層３１においては横方向
および縦方向にそれぞれ８個配列され、中間層３２にお
いては横方向および縦方向にそれぞれ７個配列され、出
力層３３においては横方向および縦方向に６個配列され
ている。ここで、図の左下隅のニューロンの位置を原点
とし、左からｉ番目、下からｊ番目に位置するニューロ
ンをＮ　ｉ　ｊとする。

入力層３１の各ニューロンは、ビデオカメラＩＯを介し
て得られる文字の特徴データによって発火する。例えば
Ｎ１１、Ｎｌ２、Ｎ２１、Ｎ２□の発火の組合せによっ
て端点数が表され、Ｎ１３、Ｎ　Ｉ　４、Ｎ２３、Ｎ２
４の発火の組合せによって分岐点数が表されるとする。

すなわち、入力層３１のニューロンの発火パターンは入
力される文字に応じて人為的に決定される。

一方出力層３３では、例えば、左下隅と右上隅のニュー
ロンを結ぶ対角線上のニューロンＮ　ｉ　ｉ（破線りに
より囲まれたニューロン）により文字が表される。すな
わちこの対角線上のニューロンは、その文字のキャラク
タコードを表し、出力層３３のニューロンの発火パター
ンは人為的に決定される。本実施例において、対角線上
のニューロンＮ　ｉ　ｉの発火パターンの種類は６４通
りあり、したがって本実施例では６４種類の文字を認識
することができ、例えばアルファベットの認識が可能で
ある。

さて文字認識の学習が行われる前においては、データ処
理装置３０に文字データが入力されても、出力層３３の
ニューロンは発火しない。この二ニーロンは、学習によ
って発火が可能となり、入力された文字データに応じた
所定の発火パターンを呈するようになると、学習は終了
する。なお学習用の入出カバターンはニューラルネット
ワークで処理すべきデータの代表データであり、実際に
処理すべきデータは広範囲に渡る。そして学習は、この
代表入出力データに対する連想が適正に行われるまで実
行される。しかして学習が終了すると、入力層３１およ
び出力層３３は入力された文字データに応じて上述した
ように人為的に定められる発火パターンを呈することと
なる。そして、入力層３１、中間層３２および出力層３
３の各層における発火パターンはこれらの層３１．３２
．３３にわたってスムーズに変化していくと推定される
。

そこで本実施例では、学習の過程において、これらの層
における発火パターンがスムーズに変化するように、中
間層３２および出力層３３の重みを変化させている。

まず、中間層３２のニューロンＮ　ｉ　ｊが発火すべき
か否かを、入力層３１および出力層３３の対応する複数
のニューロンの発火を考慮して決定する。

すなわち、入力層３１の対応領域のニューロンの出力値
と、出力層３３の対応するニューロンの出力値に所定の
係数を乗じた値との和が、一定値以上である場合に、中
間層３２のニューロンＮ、Ｊは発火する傾向を有すると
判断され、このような発火が得られるように、中間層３
２および出力層３３の所定のニューロンの重みが増加せ
しめられる。

このように出力層３３の対応ニューロンの出力値に係数
を乗じるのは、出力層３３のニューロンと入力層３１の
ニューロンとがそれぞれ中間層３２のニューロンに対し
て同等の影響を持つようにするためである。例えば、入
力層３１の対応ニューロンが４個であり、出力層３３の
対応ニューロンが１個である場合には、出力Ｎ３３の対
応ニューロンの出力値には、係数４が乗じられ、これに
より入力層３１と出力層３３の各ニューロンは、中間層
３２のニューロンの発火分布に対して同じ影響力を持つ
ようになる。

このような中間層のニューロンが発火すべきか否かの判
定方法について、第２図（ａ）〜（ｃ）を参照して具体
的に説明する。なお第２図（ａ）は入力層３１の発火パ
ターン、第２図（ｂ）は中間層３２の発火パターン、第
２図（Ｃ）は出力層３３の発火パターンをそれぞれ示し
、図中、黒丸は発火しているニューロン、白丸は発火し
ていないニューロンを示す。この例では、入力された文
字の特徴データによって入力層３１は図のような発火パ
ターンを呈し、またこの文字を認識するためには、出力
層３３は図のような発火パターンを呈しなければならな
い。つまり図示された入力層３１の発火パターンは入力
文字によって一意に定まり、出力層３３の発火パターン
は学習が終了した時のものである。一方中間層３２の発
火パターンの傾向は、後述するように入力層３１および
出力層３３の発火パターンに従って決定される。

各層のニューロンの対応関係について説明する。

中間層３２の各ニューロンには、入力層３１の４個のニ
ューロンから成る領域と出力層３３の１個のニューロン
とが対応する。すなわち、中間層３２のニューロンＮ　
ｉ　ｊには、入力層３１のニューロンＮ　ｉ　ｊ　、Ｎ
　（ｉ　、Ｉ　１　Ｊ％　Ｎ　ｉ。４．、、Ｎ（ｉ。１
．．１゜。（中間層のニューロンＮＺ６の場合、符号Ｅ
２で囲まれた領域）が対応し、また出力層３３のニュー
ロンＮ□Ｊ（中間層のニューロンＮ２．の場合、ニュー
ロンＮ２６）が対応する。なお本実施例において、第２
図（ｂ）において中間層３２の上縁部のニューロンＮ、
７、および右縁部のニューロンＮ１、には、出力層３３
の上縁部のニューロンＮ　ｉ　＆、および右縁部のニュ
ーロンＮ６Ｊがそれぞれ対応すると定める。

中間層３２のニューロンは、本実施例において、入力層
３１の対応領域のニューロンの出力値と出力層３３の対
応するニューロンの出力値に係数４を乗じた値との和が
例えば「３」以上である場合に、発火する傾向にあると
判断される。なお、本実施例においては、ニューロンが
発火している場合の出力値はｒｌ、であり、また発火し
ていない場合の出力値は「Ｏ」である。さて第２図（ｂ
）の例において、中間層３２のニューロンＮｔｈに関し
、入力層３１の対応領域Ｅ２の４個のニューロンの出力
値の合計はｒ３Ｊであり、出力層３３の対応ニューロン
Ｎ２６の出力値は「０」である。したがって、これらの
和は「３」であり、中間層３２のニューロンＮ２６は発
火する傾向にあると判断される。一方、中間層３２のニ
ューロンＩ’Ｌｉに関し、入力層３１の対応領域Ｇのニ
ューロンの出力値の合計は「２」であり、出力層３３の
対応ニューロンＮ　３３の出力値はＩ’ｌ」である。し
たがってこの場合、入力層３１の対応ニューロンの出力
値と出力層３３の対応ニューロンの出力値乙こ係数４を
乗した値との和は「６」であり、中間層３２のニューロ
ンＮ。は発火する傾向にあると判断される。しかして中
間層３２のニューロンは、第２図（ｂ）に示すような発
火パターンを呈する傾向にあると判断される。

本実施例における文字認識の学習では、中間層３２およ
び出力層３３の各ニューロンの重みが、このようにして
得られた発火パターンが得られるように、所定値だけ増
加せしめられる。

この重みの増加を第３図を用いて具体的に説明すると、
中間層のニューロン１の出力データ０が発火時の値（例
えば「１」）であれば、そのニューロンｌに結合してい
る入力層のニューロンのうち、発火しているニューロン
から入力されるデータ（例えば「■２」と’１３’Ｊ）
に対するシナプス重み（この場合「Ｗ２」と’Ｗ３」）
が、例えば５％だけ増加せしめられる。出力層のニュー
ロンのシナプス重みについても同様に処理され、上述し
たように発火すべきであるとされた中間層のニューロン
に対するシナプス重みが、例えば５％だけ増加せしめら
れる。

しかして、入力層３１、中間層３２および出力層３３の
各層間において発火パターンが最もスムーズに変化する
ように、中間層３２および出力層３３の重みが増加せし
められる。ここで、入力層３１および出力層３３の各ニ
ューロンが全ての入力文字に関してできるだけ同じ頻度
で発火するように定めておけば、中間層３２の各ニュー
ロンも均等に発火することが可能となる。これによって
、ローカルミニマムへの落ち込みを防止することが可能
となり、また中間層３Ｉの各ニューロンは、それぞれ略
均等に発火することとなる。すなわち発火しないニュー
ロンの発生を回避することが可能となり、中間層３２の
ニューロンを効率的に作用させることができる。

なお１回の学習におけるシナプス重みの増加は学習回数
に対して第４図のように変化し、複数回の学習により徐
々に全体系の学習が行われるとともに、学習終期には微
小変化による微調整が行われる。また初期の重みの急増
により学習速度が高められる。

上記実施例において、中間層３２は入力層３１と出力層
３３に接続され、層数は３であった。しかし、本発明は
３層のニューラルネットワークに限定されるものではな
く、４層以上のニューラルレイヤを有するニューラルネ
ットワークにも適用可能である。この場合、まず第１の
中間層を選択し、この中間層の各ニューロンが、入力層
の対応領域のニューロンの出力値と出力層の対応二ニー
ロンの出力値に所定の係数を乗じた値との和が、一定値
以上である場合に、発火する傾向を持つように、第１の
中間層および出力層のシナプス重みを増加させる。そし
て全ての入力文字について学習が所定段階まで終了する
と、新たに第２の中間層を追加し、この第２の中間層に
ついても同様にしで、対応する複数のニューロンの出力
値の大きさを考慮して、第２の中間層およびこの中間層
の出力側に結合された層（出力層または第１の中間層）
におけるシナプス重みを増加させる。しかして４層の場
合の重み分布が得られる。５層以上の場合も同様である
。

第２図（ａ）、（ｂ）、（Ｃ）において、中間層３２の
１個のニューロンに対応するニューロンは、入力層３１
については４個、出力層３３については１個であった。

しかし、対応するニューロンの個数はこれに限定される
ものではなく、必要に応じて任意の数を選択することが
でき、例えば、中間層３２の１個のニューロンに、入力
層３１の９個のニューロンが対応し、また出力層３３の
３個のニューロンが対応するようにしてもよい。この場
合、出力層３３の対応ニューロンの出力値に乗じる係数
は「３」となる。

ここで、中間層３２のニューロンＮ２６、Ｎ　３　ｈ　
％Ｎ１７、Ｎ３５、Ｎ６６、Ｎ、６について着目すると
、入力層３１については、領域Ｅ２〜Ｅ、がそれぞれ対
応する。入力層３１において、各領域のニューロンは、
左右に隣接する領域にも重複して含まれ、また同様に、
上下に隣接する領域にも重複して含まれる。したがって
、入力層３１のニューロンは、周縁部のものを除いて、
４つの領域に属することとなり、すなわち中間層３２の
４個のニューロンに対応している。

一方、中間層３２と出力層３３の関係を見ると、中間層
３２の上縁部および右縁部のニューロンＮ１フ＼Ｎ７．
以外のニューロンＮ　ｉ　ｊは、出力層３３において同
じ座標位置のニューロンに対応するが、中間層３２の上
縁部および右縁部のニューロンＮ□７、Ｎ　？　ｉは、
前述したように、出力層３３において上縁部および右縁
部のニューロンＮｉ６、Ｎ　６　ｉに対応する。すなわ
ち中間層３２の各ニューロンは出力層３３の１個のニュ
ーロンに対応している。

このように、中間層３２の各ニューロンは、入力層３１
の複数のニューロンに対応するとともに、出力層３３の
１個のニューロンに対応する。また入力層３１の各ニュ
ーロンは、上述したように中間層３２の複数のニューロ
ンにそれぞれ対応する。

すなわち、入力層３１において隣接するニューロンは、
互いに中間層３２の同じニューロンにも対応している。

したがってこの入力層３１の隣接するニューロンは、中
間層３２の同じニューロンの発火の傾向の判断に関与す
ることとなる。

なおニューロンに対する入出力データは、デジタルの場
合２値に限定されず、多値であってもよく、またアナロ
グデータであってもよい。

さらに出力層は、対角線上のニューロンによってキャラ
クタコードを表すように構成される必要はなく、全ての
ニューロンによって認識文字を定義するように構成して
もよい。

また各層３１．３２．３３におけるニューロン数は、認
識する文字の種類の数に応じた数だけ設げられる。

さらに、本発明は文字認識だけでなく、図形認識あるい
は音声認識に通用することもできる。

〔発明の効果〕

以上のように本発明によれば、ニューラルネットワーク
の中間層に対し効率的な学習を施すことができるという
効果が得られる。

【図面の簡単な説明】

第１図は本発明の一実施例を適用した文字認識システム
を示す概略構成図、 第２図は入力層、中間層および出力層におけるニューロ
ンを示す概念図、 第３回はニューロンの一例を示す概念図、第４図は学習
回数と重みの変化との関係を示すグラフである。 １、Ｎ・・・ニューロン ３１・・・入力層 ３２・・・中間層 ３３・・・出力層 学習回数 第　　４ 図

Claims (2)

【特許請求の範囲】
1. （１）入力されたデータに所定の処理を施した結果に基
   づいて発火し所定のデータを出力する複数のニューロン
   を有する入力層と、この入力層よりも少数のニューロン
   を有する出力層と、上記入力層および出力層の間に配設
   され、上記入力層および出力層の中間の数のニューロン
   を有し、各ニューロンが上記入力層および出力層の各ニ
   ューロンに結合する中間層とを備えたデータ処理装置の
   学習方法において、入力層の発火パターンと出力層の発
   火パターンとを複数の入出力について人為的に決定し、
   各入出力について、中間層の各ニューロンが、入力層の
   対応領域のニューロンの出力値と出力層の対応するニュ
   ーロンの出力値に所定の係数を乗じた値との和が一定値
   以上である場合に、発火する傾向を持つように、中間層
   および出力層のシナプスの重みを増加させ、全ての入出
   力に対して同様の処理を施すことを特徴とするデータ処
   理装置の学習方法。
2. （２）請求項１記載の学習方法により学習されたデータ
   処理装置について、新たな中間層を追加し、この新たな
   中間層の各ニューロンを隣接する層の各ニューロンに接
   続し、新たな中間層の各ニューロンが、入力側の層の対
   応領域のニューロンの出力値と出力側の層の対応するニ
   ューロンの出力値に所定の係数を乗じた値との和が一定
   値以上である場合に、発火する傾向を持つように、新た
   な中間層および隣接する出力側の層のシナプスの重みを
   増加させ、全ての入出力に対して同様の学習を施し、学
   習が所定段階まで終了した時点でさらに新たな中間層の
   追加と同様の学習を繰り返し、中間層を増加させていく
   ことを特徴とするデータ処理装置の学習方法。