JPH05314090A

JPH05314090A - ニューラルネットを用いたパターン認識方法およびその装置

Info

Publication number: JPH05314090A
Application number: JP4121750A
Authority: JP
Inventors: Shigeo Abe; 重夫阿部; Masahiro Shikayama; 昌宏鹿山; Hiroshi Takenaga; 寛武長; Tadaaki Kitamura; 忠明北村; Toshihiko Nakano; 利彦中野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-05-14
Filing date: 1992-05-14
Publication date: 1993-11-26

Abstract

(57)【要約】【目的】ニューラルネットでパターン認識を行うとき
の処理時間の短縮化を図る。【構成】入力データに対する望ましい出力データを教
師データとし、いくつかの教師データの入出力関係を用
いてパターン認識のアルゴリズムをニューロンを多層に
接続したニューラルネットに学習させるにあたり、各ク
ラスに対する教師データの入力空間での存在範囲を１つ
の連結領域で近似し、各クラスに対応する連結領域がお
互いに交差しないときに学習が収束すると判定し、学習
前に事前に収束するか否かの判定を行う。これにより、
短時間で学習処理が可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はニューラルネットによる
パターン認識方法及びその装置に係り、特に、ニューラ
ルネットを構築するのに要する時間を短縮するのに好適
なパターン認識方法及びその装置に関する。

【０００２】

【従来の技術】ニューラルネットを用いてパターン認識
する方法について、エム.アイ.ティープレス(1986年)パ
ラレルディストリビューティッドプロセシング第318頁
から362頁(Parallel Distributed Processing, Vol. 1,
MIT Press, Cambridge MA, 1986 pp. 318-362) におい
て論じられている。パターン認識を行なうニューラルネ
ットは、ニューロンをカスケードに多層に結合したもの
であり、３層ニューラルネットが図２に例示されてい
る。図２において、1000,1001は入力ニューロン、1003,
1004は中間層ニューロン、1006,1007は出力ニューロ
ン、1002,1005はバイアスニューロンである。入力ニュ
ーロン及びバイアスニューロンは入力をそのまま出力す
るが、中間層ニューロン及び出力ニューロンは、図９に
示すようなシグモイド関数とよばれる飽和特性のある入
出力関係を持ち、入力をｘ，出力をｚとすると

【０００３】

【数１】

【０００４】となる。

【０００５】入力側から各層の番号を付すとし、ｉ番目
の層でｊ番目のニューロンの入力，出力を、各々、ｘj
（ｉ），ｚj（ｉ）とすると、入力ニューロンの入出力
関係は、上述したように入力をそのまま出力するため、

【０００６】

【数２】

【０００７】となる。

【０００８】第２層および第３層のｉ番目のニューロン
の出力は、数式１の関係により、

【０００９】

【数３】

【００１０】となる。

【００１１】各層間のニューロンはシナプスを介して完
全に結合されている。各シナプスは夫々重みを持ち、前
段のニューロンの出力にその重みを乗じたものを次段の
ニューロンへ出力する。従って、第２層，第３層目のｊ
番目のニューロンへの入力は次式４で与えられる。

【００１２】

【数４】

【００１３】上記のニューラルネットで、入力データを
ｎ（３）個のクラスに分離する場合は、ｉ番目の出力ニ
ューロンをクラスｉに対応させ、ある入力に対してｉ番
目の出力が“１”で他が“０”のとき、クラスｉである
というように判定する。このようにパターンを分離でき
るようにするには、重みｗjk（ｉ）（ここで、ｉ＝１，
２）を適切に決める必要がある。そのため、入出力デー
タを教師データとして各ニューロンの重みを学習により
決める。今、ｍ個の教師データの値を

【００１４】

【数５】

【００１５】とすると、

【００１６】

【数６】

【００１７】となるように重みｗjk（ｉ）を決める。但
し、ｚjl（３）は、教師データ入力ｘil（１）に対応す
る出力ニューロンの出力である。重みを決める方法とし
ては、上記文献に示されている逆伝播法が広く用いられ
ている。この逆伝播法では、１組の教師データの入力ｘ
il（１）（ここで、ｉ＝１，…，ｎ（１））に対して、
出力ｚjl（３）がｓjl（ここで、ｊ＝１，…，ｎ
（３））に近づくように、出力側から順次入力側に重み
を修正し、それが終わったら次の教師データについて上
記の手順を繰り返し

【００１８】

【数７】

【００１９】が成立するまで修正を繰り返す。ただし、
数式７でεは、収束したことを判定するための小さな正
の数である。

【００２０】このようにしてニューラルネットの各ニュ
ーロンの重みを決定した後、未学習データを入力してこ
れに対するネットワークの出力を調べることで、パター
ン認識が可能になるか否かが判定できる。この従来のパ
ターン認識方法は、入出力パターンに基づいて学習を行
うことでパターン識別ネットを構築できるため、識別ア
ルゴリズムを作る必要がないという大きな利点がある。
また、パターン認識に限っていえば、情報処理学会欧文
誌、第１４巻３号第３４４頁〜第３５０頁に示されるご
とく、ネットワークがどのようにして作られているかに
ついても明かになっている。

【００２１】

【発明が解決しようとする課題】しかしながら、上述し
た従来技術では、与えられた入力変数と教師データで学
習が収束しなければ、入力変数を新たに追加したり、あ
るいは学習データを修正して、再度学習を繰り返すとい
う試行錯誤を繰り返す必要がある。このため、ネットを
学習するまでに非常に時間がかかるという問題がある。
また、学習済みのネットに対して、テストデータでテス
トして、認識率が満足できないときは、教師データを追
加して再度学習し直すということも必要となり、最終的
に十分な認識率のネットを作り上げるまでに多大の時間
を必要とする。更に、大規模なパターン認識のネットを
作る一般的な手法がないため、大規模ネットを作るとき
は更に時間がかかるという問題がある。

【００２２】本発明の目的は、試行錯誤を繰り返すこと
なく短時間に学習ができ、容易に大規模なニューラルネ
ットを構築できるパターン認識方法及びその装置を提供
することにある。

【００２３】

【課題を解決するための手段】上記目的は、（イ）事前
にニューラルネットが収束するか否かを判定すること
で、達成される。

【００２４】上記目的はまた、（ロ）与えられた教師デ
ータで学習して、テストデータで十分な認識率が得られ
るか否かを判定することで、達成される。

【００２５】上記目的はまた、（ハ）全てのクラス対に
対して分離度が指定された値以上あるような最少数の入
力変数を選択することで、達成される。

【００２６】上記目的はまた、（ニ）分離しにくいクラ
ス対を求めこれらをグループ化して最初のネットで各々
のグループを分離し、ついで次のネットで各グループを
クラスに分離し、大規模問題において高い認識率を確保
することで、達成される。

【００２７】上記目的は、これらイロハニの種々な組合
せによっても、達成される。

【００２８】

【作用】上記（イ）については、例えば、各クラスに属
する教師データが凸超多面体の中に存在し、かつ各々の
超多面体が交差しないとき、ニューラルネットは３層で
収束する。このため、各クラスに対応する凸超多面体が
お互いどの程度はなれているかの度合い、即ち分離度を
２つのクラスの対にたいして定義し、この分離度がある
程度以上あれば３層ネットで学習が収束すると判定す
る。クラス対の分離度が大きいほど、二つのクラスの間
を分離するように超平面を設定することが容易となり、
学習が収束しやすくなる。

【００２９】上記（ロ）については、各クラス対の分離
度を教師データおよびテストデータで計算し、テストデ
ータに対する分離度で教師データに対する分離度より極
端に小さいものがなければ、教師データとテストデータ
で同程度の認識率が得られると判定できる。教師データ
とテストデータの分離度が極端に違うと、学習で得られ
た超平面では、テストデータが正しく分離できないよう
になる。

【００３０】上記（ハ）については、全てのクラス対に
たいして分離度が指定された値以上あるような最少数の
入力変数を選ぶことで、各クラス対で誤認識が起こる割
合を均一化できる。

【００３１】上記（ニ）については、全てのクラス対の
分離度を計算することにより、分離しにくいクラス対を
求めこれらをグループ化して最初のネットで各々のグル
ープを分離し、ついで次のネットで各グループをクラス
に分離することで、複合ネットの第一のネットの認識率
を高めることができ、大規模なネットでも十分な認識率
を確保するネットを構築できる。

【００３２】

【実施例】以下、本発明の一実施例を図面を参照して説
明する。図１は、本発明の一実施例に係るパターン認識
装置の構成図である。図１において、100は教師データ
およびテストデータ、200はニューラルネット学習装
置、210はニューラルネット最適化手段、220は学習手
段、230はニューラルネット、300はディスプレイであ
る。

【００３３】図３は、ニューラルネット最適化手段の処
理手順を示すフローチャートであり、教師データおよび
／またはテストデータ100を用い必要に応じて実行さ
れ、結果はディスプレイ300に表示される。図３におい
て、201は学習の収束を判定するステップ、202はテスト
データの認識率を判定するステップ、203は最適入力を
選定するステップ、204は複合ネットを構成するステッ
プである。

【００３４】ステップ201では、各クラス間のデータが
分離している度合いが計算され、これにより教師データ
により３層ネットで学習が収束するか否か判定される。
収束すると判定されると、例えば図１のディスプレイ30
0に表示してあるように『全てのクラス対の分離度は0.4
以上あり、３層ネットで学習は収束します。』と表示さ
れる。また、収束が難しいときは、例えば『クラス２と
クラス６の分離度が0.03と低く、このクラスのデータが
原因で学習が収束しない可能性があります。』あるいは
『クラス４の８番目の教師データと、クラス３の３番目
の教師データが共通領域の中にあり、これらのデータの
ため学習が収束しないでしょう。』と表示される。

【００３５】テストデータの認識率判定ステップ202で
は、テストデータあるいは教師データにテストデータが
追加されたものの分離度が計算され、分離度の低いもの
について教師データの分離度と比較される。十分な分離
度があるときは、例えば『テストデータにも十分な分離
度があり、よい認識結果が得られると期待できます。』
と表示される。分離度が低いものがあるときは、『クラ
ス３とクラス８の分離度が0.04と低く（あるいは分離さ
れておらず）、このクラスのテストデータで誤認識が起
こりやすいでしょう。』という表示がされる。

【００３６】最適入力選定ステップ203では、与えられ
た入力変数の組合せから、学習の収束性を落とさずに、
テストデータにおける認識率も低下させない条件で、入
力変数の数を最少にする最適化が行われる。またその結
果は、例えば『入力変数のうち2,6,9番目の入力を削除
しても、学習の収束性や、テストデータにおける認識率
の劣化はありません。』と表示される。

【００３７】複合ネットの構成ステップ204では、クラ
ス間の分離度が計算され、分離しにくいデータをグルー
プ化した結果を求め、『クラス２，クラス７，クラス８
およびクラス３，クラス１０は分離しにくいため、これ
らのクラスは各々グループ化し、まずこれらのクラスを
分離する複合ネットを構成したほうがよいでしょう。』
と表示される。これらの結果に基づいて、最適な入力あ
るいはクラスをグループ化した結果を学習する学習手段
220（図１）に設定し、ニューラルネット230を用いて学
習し、希望のニューラルネットを構成する。以下、ステ
ップ201〜ステップ204までの詳細実現方法について説明
する。

【００３８】（イ）事前にニューラルネットが収束する
か否かを判定する。

【００３９】情報処理学会欧文誌、第14巻3号第344〜35
0頁によれば、もし全てのクラスが単一領域に分離され
るとき、即ち、任意のクラスの入力データがいくつかの
超平面の同じ側にあり、他のクラスのデータがこの領域
にないとき、識別ネットは３層ニューラルネットで分離
できる。学習の安定な収束と高い汎化能力を得るため
に、この条件が必要である。この条件はまた、任意のク
ラスの入力データが凸超多面体の内部にあり、これらの
超多面体が交差しないことと等価である。凸超多面体
は、あらゆる組の入力データを全て線分でつなぎ、これ
らの線分で張られる凸超多面体の内部の線分を削除する
ことにより得られる。

【００４０】しかしこの手順をそのまま実行すると大変
なので、凸超多面体を入力変数の軸に平行な表面を持つ
凹超多面体で近似することにする。そしてこの凹超多面
体が交差しなければ、３層ニューラルネットが合成でき
ると仮定する。この仮定を確実のものとするため、各ク
ラスの対の分離度を、クラス間の入力データの最短距離
で定義し、ある程度の分離度があるとき分離できるとす
る。

【００４１】つぎに、クラスｉの超多面体の構成法につ
いて述べる。クラスｉに対して、超多面体をつぎのよう
に定義する。

【００４２】

【数８】

【００４３】もし、超多面体Ｐi，Ｐjが交差しないと
き、即ち、Ｐi∩Ｐj＝０のとき、クラスｉとクラスｊは
分離可能である。このときは、明かにどれかの入力変数
で分離されていることになる。もしＰi∩Ｐjのなかにク
ラスｉ，ｊの入力データがないとき、あるいはどちらか
のクラスの入力データがないときは、それらは分離可能
である。

【００４４】交差領域の中に両方のクラスのデータが存
在するときは、つぎのように交差領域を縮退することに
より判定することにする。（図４，図５，図６は以下の
手順を補助するもので、これらの図の符号206,207は、
各々、クラスｉ，ｊの存在領域を示している。）図４に
示す様に交差領域が存在するとき、つまり次の数式９が
成立するときは、交差領域の最小値を、交差領域の入力
変数ｋに関するクラスｉの最小値にする。

【００４５】

【数９】

【００４６】図５に示す様に交差領域が存在するとき、
つまり次の数式１０が成立するときは、交差領域の最大
値を、交差領域の入力変数ｋに関するクラスｉの最大値
にする。

【００４７】

【数１０】

【００４８】図６に示す様に交差領域が存在するとき、
つまり次の数式１１が成立するときは、交差領域の最小
値，最大値を、交差領域の入力変数ｋに関するクラスｉ
の最小値，最大値にする。

【００４９】

【数１１】

【００５０】ついで、新たに交差領域中に作られた超多
面体が交差するかどうかを調べる。もし交差しなけれ
ば、クラスｉとクラスｊは分離可能である。もし交差す
るならば、上記の手順を、交差しなくなるか或いは交差
する領域が縮退しなくなるまで、繰り返す。

【００５１】ここで、クラスｉとクラスｊが入力変数の
集合Ｉ＝｛１，…，ｍ｝に関して分離可能とは、上記の
超多面体が交差しないことをいい、交差するときは分離
不可能ということにする。また、クラスｉとクラスｊの
入力変数の集合Ｉに関する分離度Ｓij（Ｉ）を、分離可
能のときクラス間のデータの最小値とし、分離不可能の
とき“０”とする。すなわち、次の数式１２で分離度を
定める。

【００５２】

【数１２】

【００５３】数式１２で、最小値は２つのクラスの全て
のデータの組合せについて取るものとする。分離不可能
なクラスｉとクラスｊについて、分離不可能度Ｎij
（Ｉ）を次式１３で定義する。

【００５４】

【数１３】

【００５５】但し、数式１３で、ｎiはクラスｉのデー
タで交差流域にある数である。数式１３で最小値をとる
理由は、最小値を取るクラスの交差領域のデータをこの
領域から移せば交差が解消するからである。

【００５６】任意のクラスを分離可能とするために、分
離余裕度αs（＞0）を導入し

【００５７】

【数１４】

【００５８】を要請する。もし、クラスｉ，ｊにおい
て、数式１４が成立しないとき、このクラスｉ，ｊは分
離が難しいと判定する。もしＳij（Ｉ）が“０”なら、
Ｎij（Ｉ）により、どの程度難しいか判定できる。な
お、各クラスに対する存在領域は、１つの連結領域で近
似するればよく、超球、超楕円体等で近似してもよい。

【００５９】（ロ）与えられた教師データで学習して、
テストデータで十分な認識率が得られるか否かを判定す
る。上記の判定を教師データについて行なえば、学習が
しやすいか、難しいかの判定ができる。テストデータあ
るいはテストデータに教師データを加えたものについて
行えば、テストデータと教師データの認識率の違いを判
定できる。上記手法の有利な点は、与えられた学習デー
タと入力変数とで３層識別ネットが合成できるかどうか
を、学習の前に判定できることにある。更にまた、分離
しにくいクラスをも同定できることにある。

【００６０】（ハ）最適な入力変数を選択する。学習の
収束性および汎化能力を低下させることなく、入力変数
の数を削減する方法について述べる。それには、入力変
数の集合Ｉsにおいて、指定の余裕度より小さいＳij
（Ｉs）が、もとの入力に対するＳij（Ｉ）と同じにな
る入力変数集合Ｉsを求めればよい。すなわち、入力変
数の集合Ｉから、一つの変数を除いてＳij（Ｉ）を計算
して、もし数式１４を満すときは、その変数を集合Ｉか
ら削除する。この操作を集合Ｉに含まれる全ての入力変
数に対して行うことで、集合Ｉが求める集合Ｉsとな
る。

【００６１】次に、入力変数は全て特徴量であるという
仮定をおく。この場合の入力の選定は、全てのクラスの
組が分離余裕度αs以上で分離できるようにすることで
ある。しかしながら、このとき、Ｓij（{ｋ}）≧αsと
選んでいくとすると、あまりに控えめな答えを導く虞が
ある。というのも、Ｓij（{ｋ}）＜αsあるいはＳij
（{ｋ}）＝０であっても、選択されたＩsではＳij
（Ｉ）が正になるかもしれないからである。このため、
入力が単一のときの分離度をつぎのように定義する。
（図７でそれを補足する。図７において、符号208,209
は、各々、クラスｉ，ｊの存在領域を示している。）

【００６２】

【数１５】

【００６３】この指標によれば、平均値が離れるほど、
また分散が小さくなるほど、分離度が大きくなる。ここ
で、Ｓijを入力変数の集合Ｉsにおける最大の分離度と
する。すなわち

【００６４】

【数１６】

【００６５】このとき、Ｓijを、クラスｉ，ｊの分離度
とよぶことにする。のちに述べる入力変数の選択におい
て、ＳijをＳij（Ｉs）の推定値として用いる。定義か
ら

【００６６】

【数１７】

【００６７】は、明かであるが

【００６８】

【数１８】

【００６９】がβの適当な値に対して成立することを仮
定する。もしこの仮定が成立するとすると、特徴量の選
定問題を

【００７０】

【数１９】

【００７１】が全てのｉ，ｊについて成立するような入
力変数の集合Ｉsを求めることと言い換えることができ
る。ここでまず、Ｉsが空集合あるいは、ある初期の入
力変数を持っているとし、Ｃを全てのクラスの組（ｉ，
ｊ）（ここで、ｉ＞ｊであり、ｉ，ｊ＝１，…，ｎ）を
含む集合とする。このとき、選定のアルゴリズムとして
つぎのものが考えられる。

【００７２】《アルゴリズム》最大の余裕度をαm、最
小の余裕度をαs、αの減少量をΔα、入力変数の集合
をＩとする。入力変数の集合Ｉsを初期設定し、分離余
裕度αをαmで初期設定する。集合Ｉの要素である各々
の入力変数Ｉに対して、余裕度αで分離されるクラスの
組を数え、最大の数の入力変数を選択して、これらの組
をＣから削除して、集合Ｉから要素ｉを削除すると共
に、要素ｉを集合Ｉsに追加する。この手順を選択でき
る要素ｉがなくなるまで繰り返す。ついでαをΔαだけ
減少し、選択できる入力変数がなくなるか、αがαsに
なるまで上記手順を繰り返す。アルゴリズムが終了した
とき、もし、集合Ｃが空でないとき、この集合の要素に
ついてＳij（Ｉs）を計算する。Ｓij（Ｉs）＜αsが成
立しないときは、これらのクラスは入力変数の集合Ｉs
では余裕度αsで分離できない。なお、このアルゴリズ
ムは一つのやり方であり、このほかにもいろいろ変形は
可能である。

【００７３】《学習の収束を保証する入力変数の集合》
入力データを教師データに設定して、アルゴリズムを適
用する。もし入力変数の集合Ｉsが任意のｉ，ｊの組合
わせに対して数式１４，数式１９を満足するならば、十
分な中間層ニューロンに対してニューラルネットの収束
が保証される。

【００７４】《汎化能力を劣化させない入力変数の集
合》入力データをテストデータあるいはテストデータに
教師データを加えたものとし、集合Ｉsの初期値とし
て、教師データにより選ばれた入力変数の集合を設定
し、アルゴリズムを適用する。もし得られた入力変数の
集合が初期値と同じであり、どのクラスの組合せに対し
ても数式１４が成立するならば、良好な汎化能力が得ら
れる。しかしながら、初期入力変数集合に入力変数が加
えられるか、同じでも数式１４が成立しなくなったとき
は、汎化能力が悪くなることが予想される。

【００７５】以上の方法によれば、前もって入力変数が
各クラスを分離するのに十分か、また教師データおよび
テストデータの特性が同じかどうかの判定ができる。

【００７６】（ニ）大規模問題において高い認識率を確
保する。上記の入力変数の選択法によれば、どのクラス
の対が分離しにくいかが予め判定できる。これにより、
分離しにくいクラスをグループ化することにより、複合
ニューラルネットを構成することができる。複合ニュー
ラルネットの第１番目のニューラルネットは、各グルー
プを分離し、第２番目のニューラルネットで各々のグル
ープをクラスに分離する。これらの複合ニューラルネッ
トの入力変数は、前述の方法を用いればよい。このとき
注意すべきことは、ある出力がいくつかのクラスの集合
に対応していることである。従って、パターン分離は、
あるクラスの集合を別のクラスから分離することが必要
になる。ところが、特徴量は、クラス間の分離をするた
めに選ばれているため、一つの入力でこのような分離が
出来ないことが多いと考えられる。このようなときは、
単一ニューラルネットに対して選ばれた入力変数を取れ
ばよい。なぜならば、この入力変数の集合により、複合
ニューラルネットの第１番目のニューラルネットのクラ
スの集合は、少なくとも複数領域に分離されているから
である。このとき３層で合成できるかどうかは数式１４
が成立するかどうかを調べればよい。

【００７７】以上述べた実施例を数字のパターン認識に
適用した場合、上記の（イ）によれば、教師データに対
して全てのクラス対の分離度がある程度以上あるもので
は、学習はかならず収束し、分離度が極端に低いものに
ついては学習の収束が極めて遅いあるいは収束しないこ
とが確かめられた。このように、学習する前に、その学
習が収束するか否か判定できるため、極めて効率よく学
習済みのネットを構築できる。

【００７８】また、上記（ロ）によれば、数字のパター
ン認識で、教師データの分離度に対していくつかのクラ
ス対について分離度が低いテストデータを用意し、ネッ
トを学習してテストデータの認識率を評価したところ、
分離度の低いものがよく誤認識を起こすことが確かめら
れた。このように、学習する前に予め度のクラス対が誤
認識を起こしやすいかが判定できるため、容易に認識率
の高いネットを構築できる。

【００７９】また、上記（ハ）によれば、英数字36文字
をパターン認識するため特徴量である入力変数を99個用
意し、上記の手法により、最適な入力数を選択すると、
22個選択できた。この選択に要した時間は18秒で、従来
学習が5.2分かかったのに比べれば、無視できる程短時
間になり、入力変数の削減でネットの認識時間を大幅に
縮めることができる。

【００８０】また、上記（ニ）によれば、簡単な10個の
数字パターンの認識でも、分離できないクラス対をグル
ープ化して複合ネットを構築することにより、0.5%認識
率が向上した。大規模な問題の場合、認識率の向上ばか
りでなく、ネットの分割により認識時間も高速化できる
という効果がある。

【００８１】具体的なアプリケーションの例として、車
番認識システムにおける例を図８に示す。図８におい
て、車のナンバプレートは、工業用テレビで画像認識装
置に取り込まれる。画像認識装置では、ナンバープレー
トの切り出しを行ない、その中から文字を１つづつ切り
出し、文字の特徴量を抽出する。抽出された特徴量は、
ニューラルネットワークに入力され、その識別結果が出
力される。本発明を実施することにより、高い認識率の
ニューラルネットを短期間で開発できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係るニューラルネットを用
いたパターン認識装置の構成図である。

【図２】ニューラルネットの構成図である。

【図３】ニューラルネット最適化手段での処理手順を示
すフローチャートである。

【図４】交差領域の縮退の説明図である。

【図５】交差領域の縮退の説明図である。

【図６】交差領域の縮退の説明図である。

【図７】１入力の分離度の説明図である。

【図８】車番認識装置の構成図である。

【図９】シグモイド関数のグラフである。

【符号の説明】

１００…教師データおよびテストデータ、２００…ニュ
ーラルネット学習装置、２１０…ニューラルネット最適
化手段、２２０…学習手段、２３０…ニューラルネッ
ト、３００…ディスプレイ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者北村忠明茨城県日立市久慈町4026番地株式会社日立製作所日立研究所内 (72)発明者中野利彦茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内

Claims

【特許請求の範囲】

【請求項１】入力データに対する望ましい出力データ
を教師データとし、いくつかの教師データの入出力関係
を用いてパターン認識のアルゴリズムをニューロンを多
層に接続したニューラルネットに学習させるパターン認
識方法において、学習前に、各クラスに対する教師デー
タの入力空間での存在範囲を１つの連結領域で近似し、
各クラスに対応する連結領域がお互いに交差しないとき
に学習が収束すると判定することを特徴とするパターン
認識方法。
【請求項２】入力データに対する望ましい出力データ
を教師データとし、いくつかの教師データの入出力関係
を用いてパターン認識のアルゴリズムをニューロンを多
層に接続したニューラルネットに学習させるパターン認
識方法において、学習前に、各クラスに対する教師デー
タの入力空間での存在範囲を入力空間に平行な面を持つ
超多面体で近似し、各クラスに対応する超多面体がお互
いに交差しないときに学習が収束すると判定することを
特徴とするパターン認識方法。
【請求項３】請求項１または請求項２において、二つ
の連結領域が交差していないとき、その連結領域の近接
の度合いに従って分離度を定義し、クラスの対の分離度
が所定値以上あるとき、学習が収束すると判定すること
を特徴とするパターン認識方法。
【請求項４】請求項３において、分離度を二つのクラ
ス内の入力データ間の最短距離としたことを特徴とする
パターン認識方法。
【請求項５】請求項１または請求項２において、二つ
の連結領域が交差するとき、その連結領域の交差の度合
いに従って非分離度を定義し、二つの連結領域が交差す
るときにその学習のしづらさを判定することを特徴とす
るパターン認識方法。
【請求項６】請求項５において、非分離度を交差した
連結領域のなかにある一方のあるいは両方のデータの数
で定義し、二つの連結領域が交差するときにその学習の
しづらさを判定することを特徴とするパターン認識方
法。
【請求項７】入力データに対する望ましい出力データ
を教師データとし、いくつかの教師データの入出力関係
を用いてパターン認識のアルゴリズムをニューロンを多
層に接続したニューラルネットに学習させるパターン認
識装置において、各クラスに対する教師データ入力空間
での存在範囲を１つの連結領域で近似しこれらの連結領
域の近接度を決定する手段と、各クラスに対応する連結
領域がお互いに交差せずかつ所定値以上連結領域が離れ
ているとき学習が収束すると判定する手段とを備えるこ
とを特徴とするパターン認識装置。
【請求項８】入力データに対する望ましい出力データ
を教師データとし、いくつかの教師データの入出力関係
を用いてパターン認識のアルゴリズムをニューロンを多
層に接続したニューラルネットに学習させるパターン認
識装置において、各クラスに対する教師データの入力空
間での存在範囲を１つの連結領域で近似しこれらの連結
領域の近接度を決定する手段と、クラス対の連結領域が
所定値以下に近接しているか或いは交差しているときに
そのクラス対が分離しにくいと判定する手段とを備える
ことを特徴とするパターン認識装置。
【請求項９】請求項７または請求項８において、判定
する手段は、連結領域の近接度に従いどの程度収束しや
すいか或いは収束し難いかを表示する手段を備えること
を特徴とするパターン認識装置。
【請求項１０】入力データに対する望ましい出力デー
タを教師データとし、いくつかの教師データの入出力関
係を用いてパターン認識のアルゴリズムをニューロンを
多層に接続したニューラルネットに学習させ、その後に
テストデータで学習済みネットの認識率を評価するパタ
ーン認識方法において、各クラスに対する教師データお
よび／またはテストデータの入力空間での存在範囲を１
つの連結領域で近似し、教師データに対応するあるクラ
ス対の連結領域の隣接の度合いに対して、テストデータ
および／または教師データに対する連結領域の隣接の度
合いの大小により、テストデータでの認識率を判定する
ことを特徴とするパターン認識方法。
【請求項１１】入力データに対する望ましい出力デー
タを教師データとし、いくつかの教師データの入出力関
係を用いてパターン認識のアルゴリズムをニューロンを
多層に接続したニューラルネットに学習させ、その後に
テストデータで学習済みネットの認識率を評価するパタ
ーン認識装置において、各クラスに対する教師データお
よび／またはテストデータの入力空間での存在範囲を１
つの連結領域で近似する手段と、教師データに対応する
あるクラス対の連結領域の隣接の度合いに対してテスト
データおよび／または教師データに対する連結領域の隣
接の度合いの大小を判定する手段とを備える学習装置を
備えることを特徴とするパターン認識装置。
【請求項１２】請求項１１において、判定する手段
は、隣接の度合いによりテストデータでの認識率が劣化
するかどうかを表示する手段を備えることを特徴とする
パターン認識装置。
【請求項１３】入力変数は各クラスを別のクラスから
分離する特徴量よりなり、入力データに対する望ましい
出力データを教師データとし、いくつかの教師データの
入出力関係を用いてパターン認識のアルゴリズムをニュ
ーロンを多層に接続したニューラルネットに学習させる
とき最適な入力を選択する方法であって、各特徴量があ
るクラスに属する入力データと別のクラスに属する入力
データの近接の度合いがある値以上になっているクラス
対の数を数え、この数の多い入力変数を逐次選択いくこ
とにより最適な入力変数を選ぶことを特徴とする入力選
定方法。
【請求項１４】入力変数は各クラスを別のクラスから
分離する特徴量よりなり、入力データに対する望ましい
出力データを教師データとし、いくつかの教師データの
入出力関係を用いてパターン認識のアルゴリズムをニュ
ーロンを多層に接続したニューラルネットに学習させる
ニューラルネットの学習装置において、各特徴量がある
クラスに属する入力データと別のクラスに属する入力デ
ータの近接の度合いがある値以上になっているクラス対
の数を数える手段と、この数の多い入力変数を逐次選択
いくことにより最適な入力変数を選ぶ手段とを備えるこ
とを特徴とするニューラルネットの学習装置。
【請求項１５】請求項１４において、最適な入力を表
示する手段を有することを特徴とするニューラルネット
の学習装置。
【請求項１６】入力データに対する望ましい出力デー
タを教師データとし、いくつかの教師データの入出力関
係をニューロンを多層に接続したニューラルネットに学
習することによりパターン認識する方法であって、ある
クラス対に対する入力データの入力空間での近さの度合
いを評価し、それが近いものをグループ化し、複合のニ
ューラルネットの第一段のニューラルネットでそれらの
グループの識別を行い、第２段以降のニューラルネット
でグループ内のクラスの識別を行うことを特徴とするパ
ターン認識方法。
【請求項１７】入力データに対する望ましい出力デー
タを教師データとし、いくつかの教師データの入出力関
係を用いてパターン認識のアルゴリズムをニューロンを
多層に接続したニューラルネットに学習させる装置であ
って、あるクラス対に対する入力データの入力空間での
近さの度合いを判定しそれが近いクラスをグループ化す
る手段を有することを特徴とするニューラルネットの学
習装置。
【請求項１８】入力データに対する望ましい出力デー
タを教師データとし、いくつかの教師データの入出力関
係をニューロンを多層に接続したニューラルネットに学
習することによりパターン判別を行う装置であって、予
めあるクラス対に対する入力データの入力空間での近さ
の度合いが近いクラスをグループ化した結果に基づいて
複合のニューラルネットを構成し、複合のニューラルネ
ットの第一段のニューラルネットでそれらのグループの
識別を行う手段と、第２段以降のニューラルネットでグ
ループ内のクラスの識別を行う手段とを有することを特
徴とするパターン認識装置。
【請求項１９】入力データに対する望ましい出力デー
タを教師データとし、いくつかの教師データの入出力関
係をニューロンを多層に接続したニューラルネットに学
習することによりパターン判別を行う装置であって、各
クラスに対する入力データが存在する領域が、あるクラ
ス間で近接しているとき、あるいは交差しているとき、
ニューラルネットを４層で構成し、そうでないときは、
３層で構成することを特徴とするパターン認識装置。
【請求項２０】入力データに対する望ましい出力デー
タを教師データとし、いくつかの教師データの入出力関
係を用いてパターン認識のアルゴリズムをニューロンを
多層に接続したニューラルネットに学習させるときに、
最適な入力を選択する方法であって、ある入力を削除し
たときの教師データあるいはテストデータ、あるいはそ
れらを合わせたデータに対する各クラス間の近接度の度
合いが、予め設定されたクラス間の近接の度合いよりも
大きいとき削除し、そうでないとき削除しないことを特
徴とする最適入力の選定方法。