JP3485420B2

JP3485420B2 - 大規模ニューラルネットワーク構築装置

Info

Publication number: JP3485420B2
Application number: JP21466596A
Authority: JP
Inventors: 裕一石塚
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1996-08-14
Filing date: 1996-08-14
Publication date: 2004-01-13
Anticipated expiration: 2016-08-14
Also published as: JPH1063632A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パターン認識など
の処理に用いるニューラルネットワーク装置に関し、特
に処理対象の多様化に伴うニューラルネットワークの大
規模化に対応するための大規模ニューラルネットワーク
構築方法及びそれを実現する装置に関する。

【０００２】

【従来の技術】パターン認識などの処理を行うニューラ
ルネットワークにおいて、認識などの処理の対象を増や
そうとした場合、最も単純な解決策としては、ニューロ
ンの数を増やすという方法が考えられる。しかしなが
ら、フィードフォワード型のニューラルネットワークで
は、ニューロンの数をＮとすれば、ニューロン間のリン
クの数はＮ²のオーダーで増加し、これに伴って計算量
もＮ²のオーダーで増加する。しかもニューラルネット
ワークの学習の収束時間は、ネットワークのサイズの増
加よりも遥かに高い割合で増加する。従って、単純にニ
ューロンの数を増やす方法では、ニューロンの数の増大
に伴って学習時間の爆発的な増大や学習の収束性の急速
な低下を招いてしまう。また、ネットワークを実装する
のに必要な記憶容量の増え方は、ネットワークのサイズ
（すなわちニューロンの数）の増加に対して線形ではな
いため、ネットワークの大規模化は記憶容量の爆発的な
増大を招き、ハードウエア資源の面から実現困難とな
る。また、ネットワークを大規模化した場合、学習の例
題を増やしていかないと識別の誤りが増大することも知
られている。

【０００３】このような問題を解決するための従来の研
究としては、例えばY.Mori,K.Joe：“A Large Scale Ne
ural Network which Recognizes Handwritten Kanji Ch
aracters”，Advances in Neural Information Process
ing Systems,2.pp415-421,1989. が知られている。この
従来技術では、役割別に分類された複数の部分ニューラ
ルネットワークを組み合わせて１つの大規模ニューラル
ネットワークを構成する。具体的には、統合型と選択型
の２つの方式が示されている。統合型では、入力データ
を複数の部分ネットワークに並列的に与え、その結果の
出力同士を所定の規則に従って順次上位のニューラルネ
ットワークに入力して統合し、最上位のニューラルネッ
トワークの出力結果が１つの認識結果を与える。また、
選択型では、その逆に、入力データを最上位のニューラ
ルネットワークに与え、このニューラルネットワークが
その入力データを処理するのに適当な下位の部分ネット
ワークを選択し、選択された部分ネットワークにて入力
データを認識する。

【０００４】この従来技術によれば、個々の部分ネット
ワーク自体は規模が小さいので容易に学習させることが
でき、上述の諸問題を解消することができた。

【０００５】

【発明が解決しようとする課題】しかしながら、従来技
術では、部分ネットワークを組み立てて大規模なネット
ワークを構築するためには、対象に応じた認識「ルー
ル」を事前にある程度分析しておき、この「ルール」に
従ってニューラルネットワークを構築する必要があっ
た。すなわち、従来技術では、システム設計の段階で、
分析により求めた「ルール」に従って、各部分ネットワ
ークの役割や、下位のネットワークと上位のネットワー
クとの接続関係など、ネットワークの構造を厳密に決定
しておく必要があり、このような作業のためには多大の
労力、時間を要していた。このことは、例えば特開平６
−２６６６８８号に示された認識回路においても同様で
あった。

【０００６】本発明は、このような問題を解決するため
になされたものであり、事前のルール分析やそれに従っ
た構造設計などが不要な大規模ニューラルネットワーク
構築方法及び装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】前述の目的を達成するた
めに、本発明に係る大規模ニューラルネットワーク構築
装置は、複数の単位ニューラルネットワークを、それぞ
れ対応する学習パターン群を用いて学習させる手段と、
各単位ニューラルネットワークそれぞれについて、出力
層の出力結果に対する影響度が所定値以下の典型入力層
ニューロンを求める手段と、各単位ニューラルネットワ
ークについて求められた典型入力層ニューロンを入力層
に配した高次ニューラルネットワークを構築する手段
と、前記各学習パターン群に含まれる学習パターンを前
記高次ニューラルネットワークに入力し、学習パターン
に対応する単位ニューラルネットワークを識別するよう
学習させる手段と、この学習の結果に基づき前記高次ニ
ューラルネットワークの各識別出力に対して各単位ニュ
ーラルネットワークを対応づけ、大規模ニューラルネッ
トワークを形成する手段と、を含むことを特徴とする。

【０００８】この構成では、学習済みの複数の単位ニュ
ーラルネットワークを組み合わせることにより大規模ニ
ューラルネットワークを構築する。この際、本発明で
は、学習済みの各単位ニューラルネットワークのそれぞ
れについて典型入力層ニューロンが求める。これら典型
入力層ニューロンは、出力層の出力結果に対する影響度
が小さい入力層ニューロンである。すなわち、典型入力
層ニューロンに対する入力値の変化は出力層の出力結果
の変化にあまり影響を及ぼさず、この意味で、典型入力
層ニューロンは、当該単位ニューラルネットワークが学
習した各パターンに共通する典型的部分を示し、いわば
当該学習済み単位ニューラルネットワークの高次概念を
示しているものと言える。従って、各単位ニューラルネ
ットワークから求めた典型入力層ニューロンを入力層に
配した新たなニューラルネットワークを構成すれば、こ
の新たなニューラルネットワークは、入力パターンが属
する高次概念の判別、すなわち入力パターンがどの単位
ニューラルネットワークに対応するかの判別に用いるこ
とができる。この新たなニューラルネットワークを高次
ニューラルネットワークと呼ぶ。本発明では、高次ニュ
ーラルネットワークに対して、順次学習パターンを与
え、各学習パターンがどの単位ニューラルネットワーク
に対応するか識別するよう学習させる。高次ニューラル
ネットワークは、入力層が典型入力層ニューロンのみで
構成されており、パターンの識別も高次概念のレベルで
よいので、学習の収束性は高く、学習に要する時間も短
くて済む。この学習結果に基づいて、高次ニューラルネ
ットワークの識別出力に対してそれぞれ対応する単位ニ
ューラルネットワークを対応づけることにより、大規模
ニューラルネットワークを構築することができる。この
ようにして構築された大規模ニューラルネットワークで
は、高次ニューラルネットワークにて入力パターンの高
次概念に対応する単位ニューラルネットワークを求め、
求められた単位ニューラルネットワークにて入力パター
ンを詳細に識別することにより、入力パターンを認識す
ることができる。

【０００９】本発明では、各単位ニューラルネットワー
クや高次ニューラルネットワーク自体は比較的小規模な
ニューラルネットワークなので学習の収束性や学習時間
も良好であり、リンク数も少ないため実装に必要なメモ
リ量も少なくて済む。従って、本発明によれば、現実的
な時間、コストで大規模ニューラルネットワークを構築
することができる。また、本発明では、典型入力層ニュ
ーロンの抽出や高次ニューラルネットワークの構築及び
学習などのすべての処理が、人間の知識や洞察などを必
要としない機械的な処理で実現できるので、事前のルー
ル分析やそれに基づくニューラルネットワークの構造設
計などは不要となり、労力や時間を大幅に節減すること
ができる。なお、本発明は、ソフトウエア的なニューラ
ルネットワークだけでなく、ハードウエア的なニューラ
ルネットワークの構築にも有効である。

【００１０】ここで、本発明では、典型入力層ニューロ
ンの具体的な求め方として、学習済みの各単位ニューラ
ルネットワークについて、各入力層ニューロンごとに入
力値の変化に対する出力層の出力結果の変化率を調べ、
この変化率が所定値以下の入力層ニューロンを典型入力
層ニューロンとする。

【００１１】また、このほかにも、各単位ニューラルネ
ットワークについて、対応する学習パターン群を入力し
た場合の各入力層ニューロンの入力値の変化率を調べ、
この変化率が所定値以下の入力層ニューロンを典型入力
層ニューロンとすることもできる。

【００１２】本発明の好適な態様では、大規模ニューラ
ルネットワークを形成する手段は、前記各単位ニューラ
ルネットワークから、それぞれ各自の典型入力層ニュー
ロンを除去する。本発明によって構築される大規模ニュ
ーラルネットワークでは、高次ニューラルネットワーク
により入力パターンがどの単位ニューラルネットワーク
に対応するかが求められているので、その入力パターン
は、当該単位ニューラルネットワークが認識対象とする
各パターンに共通する部分を有していることになる。従
って、高次ニューラルネットワークの識別結果に応じ
て、ある単位ニューラルネットワークに入力されるパタ
ーンは、必ず共通部分を有している。この共通部分に対
応するニューロンである典型入力層ニューロンは、当該
単位ニューラルネットワークから取り除いたとしても認
識に対する影響はなく、これを取り除くことにより、単
位ニューラルネットワークの規模を小さくすることがで
き、処理速度が向上する。

【００１３】

【００１４】また、本発明に係る大規模ニューラルネッ
トワーク構築装置は、それぞれ別々の学習パターン群に
よって学習した複数の単位ニューラルネットワークを結
合して大規模ニューラルネットワークを構築する装置で
あって、前記各学習パターン群を記憶すると共に、各学
習パターン群と各単位ニューラルネットワークとの対応
関係を記憶する学習パターン記憶部と、各単位ニューラ
ルネットワークについて、対応する学習パターン群を前
記学習パターン記憶部から取り出し、この学習パターン
群をそれら各単位ニューラルネットワークに入力して学
習させ、その学習による学習済みの各単位ニューラルネ
ットワークの入力層ニューロンのうち、出力層の出力結
果に対する影響度が所定値以下となる入力層ニューロン
を当該単位ニューラルネットワークの典型入力層ニュー
ロンとして求める典型ニューロン判別部と、各単位ニュ
ーラルネットワークの典型入力層ニューロンを組み合わ
せて入力層を形成し、これに中間層と、少なくとも前記
各単位ニューラルネットワークを識別できるだけの出力
パターンが表現可能な出力層とを付加して高次ニューラ
ルネットワークを生成する高次ニューラルネットワーク
生成部と、生成された高次ニューラルネットワークに対
して、前記学習パターン記憶部から取り出した学習パタ
ーン及びこの学習パターンに対応する単位ニューラルネ
ットワークを示す識別パターンをそれぞれ入力データ及
び教師データとして与え、高次ニューラルネットワーク
を学習させる高次ニューラルネットワーク学習制御部
と、学習済みの前記高次ニューラルネットワークの各出
力パターンに対して各単位ニューラルネットワークを対
応づけ、大規模ニューラルネットワークを構築するネッ
トワーク構築部とを有する。

【００１５】この構成では、典型ニューロン判別部が、
各単位ニューラルネットワークのそれぞれについて、対
応する学習パターン群を用いて典型入力層ニューロンを
求める。求め方としては、例えば各学習パターンを単位
ニューラルネットワークに入力し、入力層の各ニューロ
ンごとに、入力値の変化に対する出力層の出力結果の変
化の度合を求め、この度合の小さいものを典型入力層ニ
ューロンとすればよい。また、各入力層ニューロンにお
いて、学習パターンを順次入力していくときの入力値の
変化率を求め、この変化率の小さいものを選んでもよ
い。このようにして求められた典型入力層ニューロンを
入力層に配した高次ニューラルネットワークを構築し、
学習パターン群を用いて学習させることにより、高次ニ
ューラルネットワークは、入力パターンに対応する単位
ニューラルネットワークを識別することが可能となる。
従って、ネットワーク構築部により、この高次ニューラ
ルネットワークの各識別出力に対して、それぞれ対応す
る単位ニューラルネットワークを関連づけることによ
り、各単位ニューラルネットワークの認識対象パターン
のすべてを認識することができる大規模ニューラルネッ
トワークを構築することができる。

【００１６】また、本発明により作成されるニューラ
ルネットワーク装置は、それぞれ異なるカテゴリを認識
対象とし、それぞれ対象とするカテゴリに含まれる各パ
ターンを認識する複数の単位ニューラルネットワーク
と、前記各単位ニューラルネットワークの出力結果に対
する影響度が所定値以下の典型入力層ニューロンを組み
合わせた入力層を有し、入力されたパターンが複数の前
記カテゴリのいずれに対応するかを識別するよう学習し
た高次ニューラルネットワークと、与えられた入力パタ
ーンを前記高次ニューラルネットワークに入力し、この
入力に対応して前記高次ニューラルネットワークで求め
られたカテゴリの識別結果を受け取り、求められたカテ
ゴリに対応する単位ニューラルネットワークに対して当
該入力パターンを入力する制御部とを含む。

【００１７】この構成では、認識すべきパターンが入力
された場合、制御部はこの入力パターンを高次ニューラ
ルネットワークに入力する。高次ニューラルネットワー
クは、この入力パターンに対応するカテゴリを識別す
る。制御部は、この結果求められたカテゴリに対応する
単位ニューラルネットワークに対して当該入力パターン
を入力する。この単位ニューラルネットワークは、その
入力パターンを認識可能なニューラルネットワークであ
り、入力パターンの認識処理を実行する。このニューラ
ルネットワーク装置は、各単位ニューラルネットワーク
が認識可能なカテゴリのすべてを認識可能な大規模ニュ
ーラルネットワークとなる。

【００１８】また、ニューラルネットワークのある構
成では、前記制御部は、各単位ニューラルネットワーク
ごとに典型入力層ニューロンを記憶し、単位ニューラル
ネットワークに対して入力パターンを入力する際に、入
力パターンのうちで当該単位ニューラルネットワークの
典型入力層ニューロンに対応する箇所をマスクする。

【００１９】この構成において、入力パターンのうち典
型入力層ニューロンに対応する箇所は、単位ニューラル
ネットワークでのパターンの識別に影響が少ない。従っ
て、この構成では、単位ニューラルネットワークに与え
る入力パターンにおいてこのような箇所をマスクするこ
とにより、入力データが小さくなり、認識処理の速度が
向上する。

【００２０】また、ニューラルネットワークのある構
成では、前記制御部は、出力結果のレベルに関するユー
ザの指示入力を受け付け、この指示入力に応じて前記高
次ニューラルネットワークの認識結果及び前記各単位ニ
ューラルネットワークの認識結果のいずれかを選択して
出力する。

【００２１】この構成によれば、高次概念レベルの認識
でよいのかそれとも詳細なパターン認識を必要とするの
かについてユーザの指示を受付け、その指示に応じたレ
ベルでの認識結果を出力することができる。

【００２２】

【発明の実施の形態】

［実施形態の原理］本実施形態における大規模ニューラ
ルネットワーク構築の原理について説明する。本実施形
態では、複数の小規模ニューラルネットワーク（以下、
「ニューラルネットワーク」のことを『ＮＮ』と略す）
をそれぞれ学習させ、学習済みの各小規模ＮＮを組み合
わせて構造化することにより、大規模ＮＮを構築する。
以下では、大規模ＮＮの構成要素となる小規模ＮＮのこ
とを単位ＮＮと呼ぶ。

【００２３】本実施形態の方法又は装置によって構築す
る大規模ＮＮの概略構成を図１に示す。図１において、
大規模ＮＮは、高次ＮＮ２０と複数の単位ＮＮ１０（Ａ
1 ，Ａ2 ，…，Ａn ）とを含む。この構成において、各
単位ＮＮ１０は、それぞれ別々のパターン群を用い、バ
ックプロパゲーション法などの公知の学習アルゴリズム
に従って学習したものであり、各々自己の学習した範囲
（カテゴリ）内においてパターン認識ができるものとす
る。これに対して、高次ＮＮ２０は、入力されたパター
ンがどの単位ＮＮ１０で認識できるかを判定するニュー
ラルネットワークである。従って、入力パターンが与え
られた場合、まず高次ＮＮ２０にてその入力パターンが
認識可能な単位ＮＮ１０を求め、この単位ＮＮ１０に対
して入力パターンを与えることにより、当該入力パター
ンの認識を行う。このような構成により、大規模ＮＮ
は、個々の単位ＮＮが認識できるパターンのすべてを認
識することができる。

【００２４】本実施形態では、各単位ＮＮの情報に基づ
き高次ＮＮを自動生成することにより、大規模ＮＮを機
械的な処理にて構築する。以下、本実施形態における高
次ＮＮの生成の原理を説明する。

【００２５】本実施形態では、各単位ＮＮの入力層から
典型入力層ニューロンを選び、これら典型入力層ニュー
ロンを用いて高次ＮＮの入力層を構成する。この典型入
力層ニューロンは、出力結果への影響度という評価値に
基づき決定する。

【００２６】この影響度は、佐野らの研究（佐野秀輝他
『層状ニューラルネットワークの注視領域の抽出』信学
技報 NC93-135(1994-03),PP175-182）において提案され
ている『依存度』という評価値を発展させたものであ
る。ここで、依存度について説明する。

【００２７】図２に示すような典型的なフィードフォワ
ード結合のＮＮを考える。図２では、説明を簡単にする
ため、中間層が１層のみのＮＮを示している。このＮＮ
は、すでに与えられたパターン群を用いて学習済みであ
るとする。ここで、入力ＩはＩ₁，Ｉ₂，…Ｉ_i，…Ｉ
_Iの成分を含み、図２のＮＮには、入力Ｉの各成分に対
応してＩ個の入力層ニューロン１１が設けられている。
中間層ニューロン１２はＪ個設けられており、それぞれ
がすべての入力層ニューロン１１とリンクで結ばれてい
る。また、出力層ニューロン１３はＫ個設けられ、それ
ぞれがすべての中間層ニューロン１２とリンクで結ばれ
ている。各リンクには重みＷが定義され、入力層ニュー
ロンｉと中間層ニューロンｊを結ぶリンクの重みはｗ¹
_ijと、中間層ニューロンｊと出力層ニューロンｋとを結
ぶリンクの重みはｗ² _jkと表す。また、中間層ニューロ
ン１２及び出力層ニューロン１３には内部状態があり、
中間層ニューロンｊの内部状態はｕ² _jと、出力層ニュ
ーロンｋの内部状態はｕ³ _kと表す。また、Ｏ² _jは中
間層ニューロンｊからの出力を表し、Ｏ_kは出力層ニュ
ーロンｋからの出力を表す。

【００２８】このような構成のＮＮにおいて、入力層ニ
ューロンｉへの入力Ｉ_iの変化に対する出力層ニューロ
ンｋからの出力Ｏ_kの変化率は、次式で求められる。

【００２９】

【数１】上式（１）において、関数ｆは、中間層及び出力層ニュ
ーロンにおける内部状態ｕと出力Ｏとの関係を表す関数
であり、ｆ´はｆの一階微分である。関数ｆとしては、
例えばシグモイド関数が用いられる。

【００３０】そして、次式のごとく、この変化率を２乗
して入力空間全体で積分することにより、入力層ニュー
ロンｉへの入力が入力空間全体にわたって変化したとき
の、出力層ニューロンｋの出力の変化の総量を示す値を
得ることができる。

【００３１】

【数２】この値が大きいということは、出力層ニューロンｋの出
力値Ｏ_kが入力層ニューロンｉの入力値Ｉ_iに強く影響
されるということを示し、逆にこの値が小さいというこ
とは、出力層ニューロンｋの出力値が入力層ニューロン
ｉの入力値にあまり影響を受けないということを示す。
佐野らは、この値を用いてＮＮが入力パターンのどの部
分に注目して認識を行うか（すなわちパターンのどの部
分が認識の決め手となるか）を評価しようとした。ただ
し、佐野らは、入力空間が大きな場合には上式（２）の
計算量が膨大となってしまい事実上計算不能になると
し、次式で示すＤ（ｋ，ｉ）を上式（２）の代用とし、
『依存度』と名付けた。

【００３２】

【数３】佐野らは、この依存度が大きい入力層ニューロンを、Ｎ
Ｎがパターン認識を行う際の注視点と考え、この注視点
の近傍で入力層ニューロンが密になるように入力層ニュ
ーロンを再配置することにより、ニューロンの数を増や
さずに認識率を向上させることができると論じている。

【００３３】本実施形態では、この依存度に基づき各入
力層ニューロンの『影響度』を定義する。影響度の定義
を行う前に、本実施形態における依存度の定義を示す。
佐野らは入力空間が連続であるとして上述の式（２）を
考えたが、本実施形態では、入力空間を離散空間とし、
出力層ニューロンｋの入力層ニューロンｉに対する依存
度ｍ_kiを次のように定義する。

【００３４】

【数４】すなわち、佐野らは計算量の観点から依存度を式（３）
のごとく最大値にて定義したが、実際のところ入力空間
全体で積分するのも入力空間中の最大値を求めるのもサ
ンプリングする入力空間によっては計算量としてはほと
んど変わらないので、本実施形態では上式（４）のごと
く依存度を定義した。なお、説明を簡単にするため、本
実施形態では各ニューロンの内部状態や出力値は区間
［０，１］の範囲の実数とする。

【００３５】さて、本実施形態では、式（４）で示され
る依存度を出力層全体について積算したものを、入力層
ニューロンｉの出力に対する『影響度』とする。すなわ
ち、本実施形態では、入力層ニューロンｉの影響度は次
式で定義される。ただし、次式では、影響度は、区間
［０，１］に規格化してある。

【００３６】

【数５】ここで、入力層のある部分が出力結果に対して影響が少
ないということは、学習の際にその部分に対する入力に
あまり変化がなかったことを意味する。従って、影響度
の値が小さい入力層ニューロンは、ＮＮが学習した各パ
ターンの共通部分に対応するニューロンと考えることが
できる。例えば、『うかんむり』を部首とする漢字の識
別を学習したＮＮでは、この『うかんむり』の部分が各
パターンに共通する部分であり、この部分の入力は認識
結果にほとんど影響しない。従って、ＮＮの入力層にお
いて『うかんむり』の部分に対応するニューロンは、影
響度が小さくなる。

【００３７】本実施形態では、このような影響度の小さ
い入力層ニューロンを、ＮＮの学習したパターン群に典
型的な部分を示すニューロンと捉え、典型入力層ニュー
ロンと名付ける。そして、各単位ＮＮから典型入力層ニ
ューロンを抽出し、高次ＮＮの入力層を構成する。

【００３８】具体的には、典型入力層ニューロンは、次
式のような集合である。

【００３９】

【数６】上式（６）において、θは典型入力層ニューロンを選抜
するための０以上１以下のしきい値であり、Ｒは実数の
集合を示す。この式（６）を満たす入力層ニューロンｉ
が典型入力層ニューロンに選ばれる。集合Ｍは典型入力
層ニューロンの集合である。

【００４０】一つの単位ＮＮから選ばれた典型入力層ニ
ューロン群は、その単位ＮＮが学習したパターン群の共
通部分に対応している。そして、この共通部分は、単位
ＮＮの学習したカテゴリを代表する高次概念を表してい
ると捉えることができる。従って、各単位ＮＮから抽出
した典型入力層ニューロンを組み合わせて高次ＮＮの入
力層を構成すれば、この高次ＮＮは、入力パターンが属
する高次概念の判別、すなわち入力パターンがどの単位
ニューラルネットワークに対応するかの判別に用いるこ
とができる。もっとも、高次ＮＮはすぐに入力パターン
の高次概念を判別できるわけではなく、これを可能とす
るには高次ＮＮに対して高次概念の判別を学習させる必
要がある。このためには、高次ＮＮに、パターンを入力
すると共に、その入力パターンが属する高次概念を示す
コードを教師データとして与えることにより、学習を行
わせればよい。

【００４１】このようにして学習が完了した高次ＮＮを
各単位ＮＮと結合することにより、図１に示すような大
規模ＮＮが構成できる。

【００４２】なお、以上では、影響度を、式（５）のよ
うに入力に対する出力の変化の総和の形で定義し、この
影響度に基づき典型入力層ニューロンを定義した。しか
し、典型入力層ニューロンは、単位ＮＮが学習したパタ
ーン群において変化が少ない部分に対応するニューロン
と捉えられるので、次式のように定義してもよい。

【００４３】

【数７】上式（７）では、入力層ニューロンｉの影響度ｍ_iを、
当該入力層ニューロンｉへの入力Ｉ_iの時間変化率の積
分（ただし、変化率の絶対量をみるためにここでは二乗
したものを積分している）と定義している。この式にお
ける入力１Ｉ_iは、当該単位ＮＮの学習で用いた学習パ
ターンにおいて、入力層ニューロンｉに入力される部分
の値である。従って、入力Ｉ_iの時間変化率は、各学習
パターンを一定の時間間隔ごとに順に入力していった場
合の、入力層ニューロンｉでの入力値の変化を表す。式
（７）でも、θは典型入力層ニューロンを選抜するため
のしきい値を表す。

【００４４】この方法では、学習に用いた各学習パター
ンの共通部分に対応する入力層ニューロンの影響度が小
さくなり、そのような入力層ニューロンが典型入力層ニ
ューロンとして選別される。この方法は、個々のニュー
ロンがある程度の大きさを持った物理的な存在であり、
情報の伝播にも局所性があることを考えた場合、より自
然な影響度の定義ということができる。

【００４５】この方法によれば、各入力層ニューロンの
影響度を、出力層とは無関係に当該入力層ニューロンに
対する入力値のみから求めることができ、このようにし
て求めた影響度に基づき典型入力層ニューロンを求める
ことができる。

【００４６】なお、式（７）では、影響度を入力の時間
変化率の積分と定義したが、その式における時間は、学
習パターンの変化を表すために導入したものなので、時
間を用いずに、ｎ番目の学習パターンと（ｎ＋１）番目
の学習パターンとの間で入力層ニューロンｉに対応する
部分の値の差分を取り、その差分を全学習パターンにつ
いて総和した結果を影響度と定義することもできる。

【００４７】［実施形態１］ここでは、本発明を漢字認
識に適用した場合の例について説明する。この例は、印
刷文字認識、手書き文字認識のいずれにも適用可能であ
る。

【００４８】図３は、本実施形態の大規模ＮＮ構築方法
の手順を示すフローチャートである。以下、図３を参照
して本実施形態の処理手順を説明する。

【００４９】本実施形態では、まず複数の単位ＮＮ（Ａ
₁，Ａ₂，…，Ａ_n）を用意し、それら各単位ＮＮに対
して学習させる（Ｓ１０）。各単位ＮＮは、それぞれ異
なるカテゴリの漢字の識別を学習する。ここでは、漢字
を部首によってカテゴリ分けする。すなわち、各単位Ｎ
Ｎは、『うかんむり』、『てへん』、『にんべん』など
特定のカテゴリの漢字の識別を学習する。

【００５０】図４に、単位ＮＮの構成を概念的に示す。
図４において、単位ＮＮは、入力層３２、中間層３３及
び出力層３４から構成され、入力層３２にはスキャナ等
から取り込まれた画像３１が入力される。入力層３２か
ら出力層３４まではフィードフォワード結合がなされて
いる。文字認識処理においては、文字のドットパターン
そのもの、つまり各画像又はブロックの輝度値に基づき
認識を行う方法のほかに、文字の方向特徴などの特徴抽
出を前処理として行い、この特徴情報に基づき認識を行
う方法や、前処理で得られた特徴情報とドットパターン
とを併用して認識精度を高める方法など、が知られてい
る。本発明は、これら前処理の方式に限定されるもので
はなく、ＮＮによる認識処理一般に広く適用可能なの
で、説明を簡単にするために以下では最も単純なドット
パターンを入力する場合を例にとって説明する。

【００５１】簡単のため、入力層３２にはニューロンが
平面上に一様に整列配置されているものとする。従っ
て、各入力層ニューロンは、画像３１上の各位置にそれ
ぞれ対応しており、画像３１からそれぞれ対応する位置
のデータ値を入力として取り込む。これら入力層ニュー
ロンに内部状態を持たせて閾値処理などを行わせてもよ
いが、これも話を単純にするために、入力層ニューロン
には内部状態を仮定せず、各入力層ニューロンは入力さ
れた値をそのまま出力するものとする。

【００５２】出力層３４には、当該単位ＮＮが認識すべ
き全漢字を識別できる出力パターンを表現できる数のニ
ューロンが設けられればよく、従ってニューロン数を減
らそうとすれば、分散表現（いくつかのニューロンの組
み合わせで１つの文字を表す方法。例えば“０１０１”
というビット表現で“あ”を表現するような方法）によ
って各漢字を表現すればよい。しかし、以下では、説明
を簡単にするために、出力層ニューロンと漢字とは１対
１対応、すなわち出力層ニューロンの１つ１つがそれぞ
れ文字１字１字に対応するものとする。図４には、各出
力層ニューロンが、それぞれ各漢字に対応している様子
が示されている。なお、本発明は、上記いずれの出力方
式に対しても適用できることはいうまでもない。

【００５３】単位ＮＮの学習は、バックプロパゲーショ
ン法などの公知の学習アルゴリズムを用いて行われる。
図４は、『うかんむり』のカテゴリの漢字が学習された
様子を示している。

【００５４】このようにして、各単位ＮＮが、それぞれ
割り当てられたカテゴリの認識を学習する。

【００５５】各単位ＮＮの学習がすべて完了すると、次
に各単位ＮＮごとに入力層ニューロンの影響度を計算し
（Ｓ１２）、これに基づき、各単位ＮＮからそれぞれ典
型入力層ニューロンを抽出する（Ｓ１４）。すなわち、
各単位ネットごとに、実施形態の原理において説明した
計算式（式（５）及び（６）、又は式（７））に従い、
各入力層ニューロンの影響度を求め、典型入力層ニュー
ロンを選び出す。この結果、例えば図４の単位ＮＮで
は、『うかんむり』の部分に対応する各入力層ニューロ
ンが典型入力層ニューロンとして抽出される。この処理
を各単位ＮＮについて行うことにより、各単位ＮＮから
それぞれ典型入力層ニューロンを求める。

【００５６】次に、各単位ＮＮから抽出された典型入力
層ニューロンから高次ＮＮを生成する（Ｓ１６）。より
詳しくは、各典型入力層ニューロンから入力層を構成す
ると共に、単位ＮＮの数に等しいだけのニューロンを持
つ出力層を構成し、これらを中間層を介してフィードフ
ォワード結合することにより高次ＮＮを生成する。すな
わち、本実施形態の高次ＮＮの出力層ニューロンは、そ
れぞれ各単位ＮＮ、すなわち各カテゴリに対応する。

【００５７】高次ＮＮの構成例を図５に示す。図５の例
では、『うかんむり』のカテゴリを学習した単位ＮＮ
と、『てへん』のカテゴリを学習した単位ＮＮとに基づ
き生成される高次ＮＮを示している。高次ＮＮも、単位
ＮＮと同様、入力層４２、中間層４３及び出力層４４か
ら構成され、これら各層がフィードフォワード結合され
ている。高次ＮＮでは、入力層４２は、『うかんむり』
に対応する典型入力層ニューロンと『てへん』に対応す
る典型入力層ニューロンとから構成されている。すなわ
ち、Ｓ１６では、高次ＮＮの入力層には、各単位ＮＮか
ら抽出された各典型入力層ニューロンに対応する各位置
に、入力層ニューロンが配置される。すなわち、図５の
高次ＮＮは、入力される画像４１のうち、『うかんむ
り』及び『てへん』に対応する部分のデータのみを注目
して認識処理を行うことになる。そして、出力層４４に
は、識別すべき２つのカテゴリ（『うかんむり』及び
『てへん』）に対してそれぞれニューロンが設けられて
いる。

【００５８】このような高次ＮＮが生成されると、次に
この高次ＮＮに対してカテゴリの識別（すなわち単位Ｎ
Ｎの選択）を学習させる（Ｓ１８）。具体的には、高次
ＮＮに対して、各単位ＮＮの学習に用いた学習パターン
を入力データとして与えると共に、出力層に対して、そ
の学習パターンの属するカテゴリ（すなわち学習パター
ンに対応する単位ＮＮ）に対応するニューロンの値が１
で他のニューロンの値が０である教師データを与え、バ
ックプロパゲーション法などにより学習を行わせる。こ
の学習を、入力パターンに対応するカテゴリが所定以上
の認識率で認識可能となるまで繰り返す。

【００５９】なお、本実施形態では、高次ＮＮの出力層
は、簡単のためニューロンと識別結果（カテゴリ）とを
１対１対応させたものとするが、本発明は、高次ＮＮの
出力層で分散表現を採用する場合にも適用可能であるこ
とはいうまでもない。分散表現を採用する場合には、学
習において教師データとして各カテゴリ（単位ＮＮ）に
対応するビット配列を出力層に与えればよい。

【００６０】このようにして高次ＮＮの学習が完了する
と、最後にこの高次ＮＮの出力に対して各単位ＮＮを結
合して構造化することにより、大規模ＮＮを構築する
（Ｓ２０）。

【００６１】図６に、以上の手順によって構築された大
規模ＮＮの構成を概念的に示す。図６では、高次ＮＮ４
０の各出力層ニューロン４４に対して、それぞれ『うか
んむり』の漢字を識別する単位ＮＮ３０及び『てへん』
の漢字を識別する単位ＮＮ５０が、それぞれリンク４５
及び４６により結合されている。ただし、これらリンク
４５及び４６は、出力層ニューロンからの出力値が単位
ＮＮに伝送されるという物理的な結合ではなく、制御の
流れを表す論理的な結合を示す。すなわち、リンクは、
高次ＮＮの出力結果に従って複数の単位ＮＮのいずれか
が選択されるという意味での結合を示している。図６の
例では、入力画像４１として『宙』が高次ＮＮ４０に入
力されると、高次ＮＮ４０により当該入力が『うかんむ
り』のカテゴリに属すると識別される。この結果、その
入力画像は、『うかんむり』のカテゴリを対象とした単
位ＮＮ３０に入力され、この単位ＮＮ３０が当該入力画
像について詳細な認識処理を行う。この結果、単位ＮＮ
３０にて、当該入力画像が漢字『宙』であることが認識
される。

【００６２】次に、本実施形態の方法を実施するための
装置構成について、図７を参照して説明する。図７にお
いて、単位ＮＮ群６０には、複数の単位ＮＮ６０ａが含
まれる。一方、学習パターンデータベース６１には、各
単位ＮＮ６０ａの学習に用いる学習パターンが格納され
ている。学習パターンデータベース６１において、パタ
ーン記憶部６３は各学習パターンを格納し、対応テーブ
ル６２は各学習パターンがどのカテゴリに属するか、す
なわち各学習パターンがどの単位ＮＮに対応するもので
あるか、を示す対応情報を保持している。各学習パター
ンのカテゴリ分けは予め行われているものとする。本実
施形態の装置では、まず、この学習パターンデータベー
ス６１の情報を用いて、各単位ＮＮ６０ａをそれぞれ対
応するカテゴリの学習パターン群にて学習させる。

【００６３】ニューロン抽出部６４は、学習済みの各単
位ＮＮ６０ａから典型入力層ニューロンを抽出するため
の構成であり、入出力記憶部６５、影響度演算部６６、
及び典型入力層ニューロン判別部６７を含む。入出力記
憶部６５は、学習済みの各単位ＮＮ６０ａの入力及び出
力が互いに関係づけて記憶される。すなわち、本実施形
態では、学習が完了した単位ＮＮ６０ａに対して、当該
単位ＮＮ６０ａが学習に用いた学習パターン群の各パタ
ーンデータが学習パターンデータベース６１から入力さ
れ、それら各パターンを入力したときの各入力層ニュー
ロンｉの入力値Ｉ_i及び各出力層ニューロンｋの出力値
Ｏ_kが入出力記憶部６５にそれぞれ記憶される。次に、
影響度演算部６６は、入出力記憶部６５に記憶された入
出力値に基づき、前記式（５）式又は式（７）に基づ
き、単位ＮＮ６０ａの各入力層ニューロンｉの影響度ｍ
_iを算出する。そして、典型入力層ニューロン判別部６
７は、式（６）又は式（７）を用い、単位ＮＮ６０ａの
入力層ニューロンの中から典型入力層ニューロンを選び
出す。入出力記憶部６５、影響度算出部６６及び典型入
力層ニューロン判別部６７は、これらの処理を各単位Ｎ
Ｎ６０ａについて行い、各単位ＮＮ６０ａそれぞれにつ
いて典型入力層ニューロン群を求める。求められた典型
入力層ニューロンの情報は、例えば当該典型入力層ニュ
ーロンの番号ｉの形で出力される。

【００６４】高次ＮＮ生成部６８は、ニューロン抽出部
６４から入力される典型入力層ニューロンの情報に基づ
き、高次ＮＮ７０を生成する。高次ＮＮ生成部６８は、
まず入力層として各単位ＮＮ６０ａから抽出された典型
入力層ニューロンに対応する各位置にニューロンを配置
し、出力層として単位ＮＮ６０ａの数に等しいだけのニ
ューロンを設ける。そして、入力層と出力層の間に適切
な数のニューロンを有する中間層を設け、これら各層の
ニューロン同士をフィードフォワード結合することによ
り高次ＮＮ７０を生成する。なお、出力結果を分散表現
で表示して、出力層のニューロン数を減らすことも可能
である。

【００６５】次に、このようにして生成された高次ＮＮ
７０に、学習パターンデータベース６１のパターン記憶
部６３に記憶された学習パターンの一部を順次入力し、
学習パターンの各カテゴリに分類できるよう学習を行わ
せる。この学習においては、入力した学習パターンのカ
テゴリの情報が対応テーブル６２から読み出され、この
カテゴリを表す教師信号が高次ＮＮ７０の出力層に供給
される。

【００６６】高次ＮＮ７０の学習が完了すると、構造化
処理部６９が高次ＮＮ７０の出力と各単位ＮＮ６０ａと
を論理的に結合して構造化することにより、大規模ＮＮ
７５が完成する。

【００６７】図８は、本実施形態において構築される大
規模ニューラルネットワーク装置の概略構成を示してい
る。

【００６８】図８において、画像入力部８１は、認識の
対象となる画像を装置内に取り込むための機構であり、
例えばスキャナなどが該当する。制御部８４は、高次Ｎ
Ｎ８２及び各単位ＮＮ８３のデータの入出力を制御す
る。すなわち、ユーザインタフェース８５を介してユー
ザから認識処理の実行命令が入力された場合、制御部８
４は、画像入力部８１を起動して画像パターンを取り込
み、この画像パターンを高次ＮＮ８２に入力する。そし
て、制御部８４は、高次ＮＮ８２から出力されるカテゴ
リ識別結果をモニタし、このカテゴリに対応する単位Ｎ
Ｎ８３に対して画像パターンを供給する。そして、単位
ＮＮ８３によって得られた認識結果がユーザインタフェ
ース８５によって表示される。

【００６９】なお、図８の大規模ＮＮ装置は、認識結果
のレベルを設定し、当該設定レベルに応じた認識結果を
表示することもできる。すなわち、認識処理の目的によ
っては当該パターンの属するカテゴリ（漢字認識の場合
は、例えば部首）が分かるだけでよい場合もあり、図８
の装置はこのような場合にも対応することができる。こ
の場合、ユーザがユーザインタフェース８５から認識レ
ベルの指示を入力すると、制御部８４は、その指示がカ
テゴリレベルであれば高次ＮＮ８２の出力結果をユーザ
インタフェース８５に表示させる。この場合、単位ＮＮ
８３には、入力画像を供給しない。そして、ユーザから
の指示が個別パターン識別レベルであれば、制御部８４
は、単位ＮＮ８３の出力をユーザインタフェース８５に
表示させる。

【００７０】以上説明したように、本実施形態によれ
ば、人間が構造設計などを行わなくても、機械的な処理
にて大規模ＮＮを構築することができる。また、本実施
形態によれば、大規模ＮＮを、単位ＮＮと高次ＮＮとの
結合構造として構成したことにより、単純なフィードフ
ォワード構造のままでニューロンの数を増やして大規模
化する方式よりも、学習時間を大幅に短縮することがで
きる。すなわち、本実施形態の方式よれば、大規模ＮＮ
が機能するために必要な学習の時間は個々の単位ＮＮの
学習時間と高次ＮＮの学習時間との和であり、これは単
位ＮＮの学習時間を仮に平均して１とし、高次ＮＮの学
習時間もこれと同じオーダーとし、単位ＮＮの数をｎ個
とすると、（ｎ＋１）程度の時間である。これに対し
て、同規模のＮＮを単純なフィードフォワード構造のＮ
Ｎとして構築した場合、ニューロン数は単位ＮＮのｎ倍
程度になると考えられるので、リンクの数は単位ＮＮの
ｎ²程度となり、学習に要する時間も同程度すなわちｎ
²程度のオーダーと、膨大なものとなる。この例から
も、本実施形態の利点は明らかであろう。

【００７１】また、本実施形態では、個々の単位ＮＮや
高次ＮＮは比較的小規模となるため、学習の収束性は良
好である。また、すでに構築されている小規模なＮＮが
存在する場合には、それらを単位ＮＮとして利用してさ
らに大規模なＮＮを構築することができる。この場合、
大規模ＮＮの構築のために要する時間は、実質的に高次
ＮＮの学習のみに必要な時間だけである。また、本実施
形態の高次ＮＮは、入力層が典型入力層ニューロンのみ
から構成されているので、学習の収束性は高く、学習に
要する時間も短くて済む。

【００７２】なお、以上の例は、漢字を部首によってカ
テゴリ分けするという直観的に分かりやすい例であった
が、本実施形態は、カテゴリの高次概念が直観的にはわ
かりづらい場合であっても、高次概念を代表する典型入
力層ニューロンを自動的に抽出して高次ＮＮを構成する
ことができる。

【００７３】なお、本実施形態において求められる典型
入力層ニューロンは、単位ＮＮが認識対象とする各パタ
ーンの共通部分に対応するので、原理上、典型入力層ニ
ューロンがなくても対象パターンの認識は可能である。
そこで、本実施形態の変形例として、各単位ＮＮからそ
れぞれ各自の典型入力層ニューロンを除去すれば、各単
位ＮＮにおける認識処理を高速化することができる。こ
れを実現する方法としては、次の２つが考えられる。

【００７４】一つは、大規模ＮＮ構築の過程において、
典型入力層ニューロンを求めた段階で、各単位ＮＮから
典型入力層ニューロンを除去してしまうという方法であ
る。典型入力層ニューロンの具体的な除去の方法として
は、例えば典型入力層ニューロンの入力をマスクしてし
まう方法が考えられる。もう一つの方法は、大規模ＮＮ
が構築されてしまった後、個々のパターンを認識する際
に、入力パターンのうち典型入力層ニューロンに対応す
る部分をマスクして単位ＮＮに供給するという方法であ
る。この方法を例えば図８の構成において実現する場合
には、制御部８４に各単位ＮＮ８３の典型入力層ニュー
ロンを登録しておき、高次ＮＮ８２の識別結果に基づい
て単位ＮＮ８３にパターンを入力する際に、制御部８４
が当該単位ＮＮ８３の典型入力層ニューロンに対応する
部分をマスクする。これらいずれの方法を用いた場合で
も、単位ＮＮの規模が小さくなるため、認識処理に要す
る時間が短縮される。

【００７５】

【００７６】

【００７７】

【００７８】

【００７９】

【００８０】以上、本発明の好適な実施形態について説
明した。以上の各実施形態では、本発明の文字認識や画
像認識などへの適用例について説明したが、本発明は広
くニューラルネットワーク一般に適用可能であり、音声
認識や経済指標分析など他の分野にも適用可能である。

【００８１】

【発明の効果】以上説明したように、本発明によれば、
現実的な時間、コストで大規模ニューラルネットワーク
を構築することができるとともに、典型入力層ニューロ
ンの抽出などのすべての処理が、人間の知識や洞察など
を必要としない機械的な処理で実現できるので、事前の
ルール分析やそれに基づくニューラルネットワークの構
造設計などは不要となり、労力や時間を大幅に節減する
ことができる。

【００８２】また、本発明では、学習済みの各単位ニュ
ーラルネットワークについて、各入力層ニューロンごと
に入力値の変化に対する出力層の出力結果の変化率を調
べることにより、典型入力層ニューロンを求めることが
できる。

【００８３】また、本発明では、各単位ニューラルネッ
トワークについて、対応する学習パターン群を入力した
場合の各入力層ニューロンの入力値の変化率を調べるこ
とにより、典型入力層ニューロンを求めることができ
る。

【００８４】また、本発明では、大規模ニューラルネッ
トワークを形成する工程において、前記各単位ニューラ
ルネットワークから、それぞれ各自の典型入力層ニュー
ロンを除去することにより、大規模ニューラルネットワ
ークにおける各単位ニューラルネットワークの規模が小
さくなり、各単位ニューラルネットワークの計算効率を
向上させることができる。

【００８５】

【００８６】また、本発明に係る大規模ニューラルネッ
トワーク構築装置によれば、典型入力層ニューロンの抽
出などのすべての処理が機械的な処理で実現できるの
で、大規模ニューラルネットワーク構築の効率を向上さ
せることができる。

【００８７】また、本発明により作成されるニューラ
ルネットワーク装置は、多くの認識対象を認識すること
ができるとともに、構築の際の学習時間や必要とするメ
モリ資源などが少なくて済む。

【００８８】また、単位ニューラルネットワークに対
して入力パターンを入力する際に、入力パターンのうち
で当該単位ニューラルネットワークの典型入力層ニュー
ロンに対応する箇所をマスクすることにより、単位ニュ
ーラルネットワークに入力されるパターンのデータ量が
小さくなるため、認識処理の速度が向上する。

【００８９】また、出力結果のレベルに関するユーザ
の指示入力を受け付け、この指示入力に応じて前記高次
ニューラルネットワークの認識結果及び前記各単位ニュ
ーラルネットワークの認識結果のいずれかを選択して出
力することにより、ユーザの所望するレベルの認識結果
を出力することができる。

【図面の簡単な説明】

【図１】本発明に係る大規模ニューラルネットワーク
の構成を示す概念図である。

【図２】フィードフォワード型のニューラルネットワ
ークの構造を示す図である。

【図３】本発明に係る大規模ニューラルネットワーク
構築方法の処理手順を示すフローチャートである。

【図４】実施形態１における単位ニューラルネットワ
ークの構成を示す説明図である。

【図５】実施形態１における高次ニューラルネットワ
ークの構成を示す説明図である。

【図６】実施形態１における大規模ニューラルネット
ワークの構成を示す説明図である。

【図７】本発明に係る大規模ニューラルネットワーク
構築装置の構成を示す図である。

【図８】本発明に係る大規模ニューラルネットワーク
装置の構成を示す図である。

【符号の説明】

１０単位ＮＮ（ニューラルネットワーク）、１１入
力層ニューロン、１２中間層ニューロン、１３出力層
ニューロン、２０高次ＮＮ、６０単位ニューラルネ
ットワーク群、６１学習パターンデータベース、６２
対応テーブル、６３パターン記憶部、６４ニュー
ロン抽出部、６５入出力記憶部、６６影響度演算
部、６７典型入力層ニューロン判別部、６８高次ニ
ューラルネットワーク生成部、６９構造化処理部、７
０高次ニューラルネットワーク、７５大規模ニュー
ラルネットワーク。

フロントページの続き (56)参考文献特開平４−175964（ＪＰ，Ａ) ＭａｒｋＷ．ＭａｏａｎｄＪａｍｅｓＢ．Ｋｕｏ，”ＡＣｏｄｅｄＢｌｏｃｋＡｄａｐｔｉｖｅＮｅｕｒａｌＮｅｔｗｏｒｋＳｙｓｔｅｍＷｉｔｈａＲａｄｉｃａｌ −ＰａｒｔｉｔｉｏｎｅｄＳｔｒｕｃｔｕｒｅｆｏｒ・・・”，ＮｅｕｒａｌＮｅｔｗｏｒｋｓ，1992年９月，Ｖｏｌ．５，Ｎｏ．５，ｐｐ. 835−841，ＩＳＳＮ：0893−6080 久間、中山，「ニューロコンピュータ工学」，日本，株式会社工業調査会, 1992年２月３日，初版，ｐｐ．33− 36，ＩＳＢＮ：４−7693−5053−８鈴木良次・他，「ニューロ・ファジィ・ＡＩハンドブック」，日本，株式会社オーム社，1994年５月25日，初版, ｐｐ．600−604，ＩＳＢＮ：４−274− 03446−１萩原将文，「ニューロ・ファジィ・遺伝的アルゴリズム」，日本，産業図書株式会社，1994年９月12日，初版，ｐｐ．124−126，ＩＳＢＮ：４−7828− 5539−７大友照彦・他，「神経回路モデルを用いた手書き漢字の２段階認識法」，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，1991年２月25日，Ｖｏｌ．Ｊ74−Ｄ−ＩＩ，Ｎｏ．２，ｐｐ．158−165，ＩＳＳＮ：0915−1923 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60 G06K 9/00 - 9/03 G06K 9/46 - 9/52 G06K 9/62 - 9/82 G06T 7/00 G06T 7/20 - 7/60 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)

Claims

(57)【特許請求の範囲】

【請求項１】複数の単位ニューラルネットワークを、
それぞれ対応する学習パターン群を用いて学習させる手
段と、各単位ニューラルネットワークそれぞれについて、出力
層の出力結果に対する影響度が所定値以下の典型入力層
ニューロンを求める手段と、各単位ニューラルネットワークについて求められた典型
入力層ニューロンを入力層に配した高次ニューラルネッ
トワークを構築する手段と、前記各学習パターン群に含まれる学習パターンを前記高
次ニューラルネットワークに入力し、学習パターンに対
応する単位ニューラルネットワークを識別するよう学習
させる手段と、この学習の結果に基づき前記高次ニューラルネットワー
クの各識別出力に対して各単位ニューラルネットワーク
を対応づけ、大規模ニューラルネットワークを形成する
手段と、を含むことを特徴とする大規模ニューラルネットワーク
構築装置。
【請求項２】前記典型入力層ニューロンを求める手段
は、学習済みの各単位ニューラルネットワークについ
て、各入力層ニューロンごとに入力値の変化に対する出
力層の出力結果の変化率を調べ、この変化率が所定値以
下の入力層ニューロンを典型入力層ニューロンとするこ
とを特徴とする請求項１に記載の大規模ニューラルネッ
トワーク構築装置。
【請求項３】前記典型入力層ニューロンを求める手段
は、各単位ニューラルネットワークについて、対応する
学習パターン群を入力した場合の各入力層ニューロンの
入力値の変化率を調べ、この変化率が所定値以下の入力
層ニューロンを典型入力層ニューロンとすることを特徴
とする請求項１に記載の大規模ニューラルネットワーク
構築装置。
【請求項４】前記大規模ニューラルネットワークを形
成する手段は、前記各単位ニューラルネットワークか
ら、それぞれ各自の典型入力層ニューロンを除去したも
のを、前記高次ニューラルネットワークの前記各識別出
力に対応づけることを特徴とする請求項１〜請求項３の
いずれかに記載の大規模ニューラルネットワーク構築装
置。
【請求項５】それぞれ別々の学習パターン群によって
学習した複数の単位ニューラルネットワークを結合して
大規模ニューラルネットワークを構築する装置であっ
て、前記各学習パターン群を記憶すると共に、各学習パター
ン群と各単位ニューラルネットワークとの対応関係を記
憶する学習パターン記憶部と、各単位ニューラルネットワークについて、対応する学習
パターン群を前記学習パターン記憶部から取り出し、こ
の学習パターン群をそれら各単位ニューラルネットワー
クに入力して学習させ、その学習による学習済みの各単
位ニューラルネットワークの入力層ニューロンのうち、
出力層の出力結果に対する影響度が所定値以下となる入
力層ニューロンを当該単位ニューラルネットワークの典
型入力層ニューロンとして求める典型ニューロン抽出部
と、各単位ニューラルネットワークの典型入力層ニューロン
を組み合わせて入力層を形成し、これに中間層と、少な
くとも前記各単位ニューラルネットワークを識別できる
だけの出力パターンが表現可能な出力層とを付加して高
次ニューラルネットワークを生成する高次ニューラルネ
ットワーク生成部と、生成された高次ニューラルネットワークに対して、前記
学習パターン記憶部から取り出した学習パターン及びこ
の学習パターンに対応する単位ニューラルネットワーク
を示す識別パターンをそれぞれ入力データ及び教師デー
タとして与え、高次ニューラルネットワークを学習させ
る高次ニューラルネットワーク学習制御部と、学習済みの前記高次ニューラルネットワークの各出力に
対して各単位ニューラルネットワークを対応づけ、大規
模ニューラルネットワークを構築するネットワーク構築
部と、を有することを特徴とする大規模ニューラルネットワー
ク構築装置。