JPH05265998A

JPH05265998A - ニューラルネットワークの学習方式

Info

Publication number: JPH05265998A
Application number: JP4066200A
Authority: JP
Inventors: Masanori Yamamoto; 正典山本; Kazumi Yoshida; 和美吉田; Kazuteru Aragai; 和照新貝; Takashi Karasawa; 隆柄沢; Hideaki Uekusa; 秀明植草
Original assignee: Fuji Electric Co Ltd; Fuji Facom Corp
Current assignee: Fuji Electric Co Ltd; Fuji Facom Corp
Priority date: 1992-03-24
Filing date: 1992-03-24
Publication date: 1993-10-15

Abstract

(57)【要約】【目的】パターン認識、文字認識等のカテゴリ識別を
行うニューラルネットワークの学習方式に関し、必ずし
もすべてのサンプルデータを学習させることなく、代表
データのみを学習させて、学習を高速化させることを目
的とする。【構成】同一カテゴリ毎にすべてのサンプル入力デー
タの階層的クラスタ化を行い、同一クラスタに属するデ
ータを合成して新しい学習データを作成し、該作成され
た学習データをニューラルネットワークに学習させるよ
うに構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はパターン認識、文字認識
などの、従来の数学的手法を用いるだけでは必ずしも容
易でない感覚的なカテゴリ識別法に係わり、さらに詳し
くはそのようなカテゴリ識別を行うニューラルネットワ
ークの学習方式に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】パタ
ーン認識、文字認識などのカテゴリ識別をニューラルネ
ットワークを用いて行う場合には、第１の方式としてサ
ンプルデータを全て学習させる方式か、または第２の方
式として最初は全てのサンプルデータを学習データとし
て与え、学習中に誤差が収束した学習データを学習デー
タから取り除いて、その他のサンプルデータに対して学
習を続行する補習学習の学習方式のいずれかが用いられ
ている。

【０００３】しかしながら、第１の方式では全てのサン
プルデータを同時に学習するために学習に時間がかかる
という問題点があった。第２の方式では学習対象から除
かれた学習済みのデータはしだいに忘却される傾向があ
り、学習済みのデータを正しく識別できるか検査を行う
必要があるという問題点があった。

【０００４】本発明は、必ずしも全てのサンプルデータ
を学習させることなく代表的なサンプルデータのみを学
習させる場合の代表データの選択基準を与え、学習デー
タを少なくしてニューラルネットワークの学習を高速化
することである。

【０００５】

【課題を解決するための手段および作用】図１は本発明
の機能ブロック図である。同図は複数のカテゴリに分類
されるデータを学習し、その学習後に与えられるカテゴ
リ不明のデータに対してカテゴリ識別を行うニューラル
ネットワークにおける学習方式の機能ブロック図であ
る。

【０００６】図１において、１で同一カテゴリ毎に全て
のサンプル入力データ、すなわちニューラルネットワー
クの入力層ユニットへの入力データの階層的クラスタ化
が行われ、２で同一クラスタに属するデータが合成され
て新しい学習データが作成され、３でその作成された学
習データがニューラルネットワークによって学習され
る。

【０００７】例えばこの学習後にすべてのサンプル入力
データに対するカテゴリ識別ができた場合には学習を終
了することになるが、識別できなかったデータがある場
合には別の学習データを作成して学習を続けることにな
る。

【０００８】その場合には図１の４で複数のカテゴリの
いずれかに属するすべてのサンプルデータがカテゴリを
区別することなく階層的にクラスタ化され、５で識別不
可能であったサンプルデータを含み、かつ異種カテゴリ
のデータを含まない最上位階層クラスタとしての極大ク
ラスタが探索され、６でその極大クラスタに属するデー
タの合成によって再び新しい学習データが作成され、７
で作成されたデータが追加された学習データを用いてニ
ューラルネットワークの学習が行われる。

【０００９】本発明においては、例えばニューラルネッ
トワークのｎ個の入力層ユニットに与えられるｎ個の入
力データをｎ次元ユークリッド空間の座標値としてサン
プル入力データを１つの点で表し、対応する点の間の距
離が小さいサンプル入力データを統合することによって
階層的クラスタ化が行われる。２つのサンプルデータに
おいて、対応するｎ個の入力データの値の差が小さい時
にはそれらのサンプルデータは同一のクラスタに含まれ
ることになり、この性質を利用して学習サンプルを少な
くすることが可能になる。

【００１０】

【実施例】図２は本発明の学習方式を用いるカテゴリ識
別システムの実施例の構成ブロック図であり、図３はこ
のシステムの各構成部の動作の説明図である。図２およ
び３を用いて、システムの動作を説明する。

【００１１】図２において、学習制御情報設定部１１に
対して各種の制御情報が利用者によって設定される。制
御情報としては最初に学習データを取り出すクラスタの
数、後述する図４でループを打ち切る回数、およびニュ
ーラルネットワークによってカテゴリ識別ができたか否
かを判定するための、例えば誤差の境界値などがある。
設定された制御情報は学習制御情報記憶部１２に記憶さ
れる。

【００１２】同様にサンプルデータ設定部１４に対して
入力層の各ユニットに与えられるサンプルデータの情
報、すなわちデータの名称、入力値、および所属するカ
テゴリの設定が利用者によって行われ、設定されたサン
プルデータはサンプルデータ記憶部１５に記憶される。

【００１３】本発明の学習方式の制御は主として学習制
御部１３の制御によって行われる。まずクラスタ化処理
部１７によりサンプルデータ、または合成データを対象
としてデータのクラスタ化が行われる。このクラスタ化
においては、後述するように同一カテゴリのみ、または
異種カテゴリを混同したデータが対象とされる。クラス
タ化処理の結果はクラスタ記憶部１８に記憶され、その
内容を用いて学習制御部１３により合成されたデータは
合成データ記憶部１６に記憶される。

【００１４】学習対象記憶部１９には、ニューラルネッ
トワークで学習すべきデータやそのデータがどのクラス
タに由来するかなどが記憶され、ニューラルネットワー
ク部２０は学習データの入力に対して、繰り返しニュー
ラルネットワークにバックプロパゲーションによって学
習を行わせ、学習後のニューラルネットワークにカテゴ
リ不明のデータを与えてカテゴリ認識を行わせ、誤差を
求める。ニューラルネットワーク記憶部２１には、ニュ
ーラルネットワークの各層の間の重みの情報などが記憶
される。

【００１５】図４は本発明の学習方式の全体処理実施例
フローチャートである。同図において処理が開始される
と、Ｓ（ステップ）３１で与えられたサンプル入力デー
タに対して各カテゴリ毎に同一カテゴリのサンプルデー
タのみを含む形でクラスタ化が行われる。クラスタ化の
詳細については後述する。次にＳ３２で各カテゴリ毎に
学習するクラスタ数が決定される。例えば、すべての各
カテゴリ毎に２個の学習データが用いられるが、その数
については利用者によって設定される。

【００１６】続いてＳ３３で学習データを抽出すべきク
ラスタ毎に、そのクラスタに属するサンプルデータから
代表的な学習データが合成され、Ｓ３４でその学習デー
タを用いてバックプロパゲーション方式で学習が行わ
れ、Ｓ３５で学習の終了したニューラルネットワークが
全てのサンプル入力データのカテゴリ識別を行うことが
できるか否かが判定され、Ｓ３６で識別可能の時には処
理を終了する。

【００１７】Ｓ３６で識別できないサンプルがある場合
には、Ｓ３７でカテゴリを無視して全てのサンプルデー
タを対象としてクラスタ化が行われ、Ｓ３８でＳ３５で
識別できなかったサンプルデータを含み、かつ異種カテ
ゴリのサンプルデータを含まない極大のクラスタ（極大
クラスタの探索については後述する。）を対象としてデ
ータの合成が行われ、Ｓ３９で合成されたデータが学習
済みのデータと同一でなく、追加可能か否かが判定さ
れ、すでに学習したデータと同じで追加できない時には
処理を終了する。

【００１８】Ｓ３９で学習データとして追加可能であれ
ば、Ｓ４０でそのデータを学習データとしてＳ３３で合
成された学習データに追加し、Ｓ３４以降の処理が繰り
返される。

【００１９】Ｓ３４からＳ４０までのループは、Ｓ３６
で全てのサンプルデータについて識別可能と判定される
か、またはＳ３９で学習済みのデータに追加できないと
判定された時に終了するが、２回目以降のループにおい
てＳ３７は全く同一であるので実行する必要がなく、Ｓ
３８で例えばデータの合成法を変化させることによりル
ープの処理が続行され、図３で説明したように学習制御
情報設定部１１に設定されたループ打ち切り回数が例え
ばＳ３６で判定されて、処理が打ち切られることにな
る。

【００２０】図５はサンプルデータのクラスタ化の実施
例である。同図においては識別すべきカテゴリをＡ，Ｂ
の２種類、各カテゴリのサンプルデータ数を５個とす
る。図（ａ）はカテゴリＡのみのクラスタ構造図、
（ｂ）はカテゴリＢのみのクラスタ構造図、（ｃ）はカ
テゴリを混在させたクラスタ構造図であり、Ａ１〜Ａ５
はカテゴリＡに属するサンプル、Ｂ１〜Ｂ５はカテゴリ
Ｂに属するサンプルである。

【００２１】図４はＳ３１ではカテゴリＡ，Ｂのそれぞ
れについてクラスタ化を行い、図５（ａ），（ｂ）が結
果として得られる。ここで実線で示されるクラスタが最
上位のものであり、それぞれ全てのサンプルデータを含
んでいる。Ｓ３２で決定される学習するクラスタ数につ
いては、ここではＡ，Ｂ共に２個の学習データを合成す
るものとする。

【００２２】図４のＳ３３でカテゴリＡに対してはクラ
スタＣＡ１から、学習データＡ６が、クラスタＣＡ２か
ら学習データＡ７が合成される。ここでクラスタＣＡ１
はサンプルデータＡ１，Ａ２，およびＡ３からなり、ク
ラスタＣＡ２はサンプルデータＡ４およびＡ５からなっ
ており、これらのサンプルデータから学習データの合成
が行われる。同様にカテゴリＢに対してはサンプルデー
タＢ１，Ｂ２，Ｂ３，およびＢ４から成るクラスタＣＢ
１から学習データＢ６が合成され、またサンプルデータ
Ｂ５のみを含むクラスタＣＢ２のデータがそのまま学習
データとして用いられる。

【００２３】Ｓ３４ではＡ６，Ａ７，Ｂ５およびＢ６を
学習データとしてバックプロパゲーション学習が行わ
れ、Ｓ３５で１０個のサンプルデータについて全て識別
できるか否かが調べられる。ここではサンプルデータＡ
４，Ｂ１，Ｂ２の３つが識別できないものとし、Ｓ３７
の処理が行われる。

【００２４】Ｓ３７では１０個のサンプルデータ全てに
ついてカテゴリを無視してクラスタ化が行われ、図５
（ｃ）の結果が得られるものとする。Ｓ３８では、図５
（ｃ）でＸ印が付けられた、識別できなかったデータＡ
４，Ｂ１，およびＢ２を対象として極大クラスタの探索
が行われる。この探索法については詳しく後述するが、
まずＡ４についてはその上位クラスタＣ３の中に異種カ
テゴリのデータＢ３およびＢ４が含まれているためにＣ
３は除外され、データＡ４と一致するクラスタＣ４が選
ばれ、Ａ４が学習データとされる。

【００２５】次にＢ１の上位クラスタはＣ１およびＣ２
であるが、Ｃ２は異種カテゴリのデータＡ５を含んでい
るために極大クラスタとしてＣ１が選ばれる。Ｃ１に属
するデータＢ１とＢ２から合成されたデータＢ７が学習
データとして追加される。データＢ２については、Ｂ１
と共にクラスタＣ１を構成しているために、再度極大ク
ラスタを探索する必要はない。

【００２６】図４のＳ３９で、データＡ４およびＢ７が
学習データに追加可能であるため、これらが追加され、
Ｓ３４に戻ってバックプロパゲーション学習が行われ
る。この例で示されるように初期の学習データ数は４
個、追加された学習データ数は２個であり、合計１０個
のサンプルデータ数より少なくなっている。

【００２７】次にサンプルデータの階層的クラスタ化に
ついて詳細に説明する。ここではクラスタの個々の要
素、本発明ではサンプルデータを個体と呼び、クラスタ
を｛クラスタ内の個体｝のように表示する。階層的クラ
スタ化とは、個体をクラスタ化する時にボトムアップ的
に積み上げていく方式であり、個体を集めてクラスタを
作り、それらのクラスタを更に統合して行き、最終的に
は全個体を含むクラスタを作る方式である。

【００２８】クラスタとは類似した個体を集めたグルー
プのことであり、個体の類似性は、２つの個体の間に距
離を定義し、距離が大きければ類似性が少なく、小さけ
れば類似性が大きいものとみなすことにする。この距離
は一般に０より大きい正の値である。

【００２９】図６はクラスタ化処理実施例のフローチャ
ートである。同図において処理が開始されると、まずＳ
４１で個体１個ずつがそれぞれクラスタとされる。例え
ばｎ個の個体ａ₁，ａ₂，・・・，ａ_nの１個ずつが、
クラスタ｛ａ₁｝，｛ａ₂｝，・・・｛ａ_n｝とされ
る。

【００３０】次にＳ４２でそれぞれのクラスタ間の距離
が求められ、図示しないバッファに格納される。ここで
は各クラスタ間の距離はそれぞれのクラスタの個体の間
の距離である。個体としての２つのサンプル入力データ
間の距離は次の２つのいずれかの方法によって定義され
る。

【００３１】第１の定義は２つのサンプルデータ、すな
わちニューラルネットワークの入力層ユニットへの入力
データｎ個の値をそれぞれｎ次元ユークリッド空間にお
ける座標の値とし、各サンプルデータをユークリッド空
間内の点によって表し、その点の間の距離を求めるもの
であり、この場合にはサンプルデータＡ１とＡ２との間
の距離ｄ（Ａ１，Ａ２）は、入力層のｉ番目のユニット
へのデータをＡ１（ｉ）、およびＡ２（ｉ）として、次
式によって与えられる。

【００３２】

【数１】

【００３３】(1)式の定義から次の性質が成り立つ。ｄ（Ａ１，Ａ２）＝ｄ（Ａ２，Ａ１），ｄ（Ａ１，Ａ
１）＝０ｄ（Ａ１，Ａ２）≧０２つのサンプルデータ間の距離の第２の定義として、２
つのサンプルデータＡ１，Ａ２の間の相関係数を‘１’
から引いた次式を用いることもできる。

【００３４】

【数２】

【００３５】ここで、Ａ１（ｏ）はＡ１（ｉ）の平均
値、Ａ２（ｏ）はＡ２（ｉ）の平均値図６のＳ４３で
は、バッファ内の距離のうちで最小のものに対応する２
つのクラスタが統合され、最下層のクラスタの上位のク
ラスタとされる。そしてＳ４４で統合された２つのクラ
スタに関係する距離、すなわち統合された２つのクラス
タのそれぞれと他のクラスタとの間の距離がバッファか
ら削除され、統合されたクラスタと他の統合されていな
いクラスタとの間の距離がバッファに追加される。続い
てＳ４５でバッファ内の距離が１個になったか否かが判
定され１個になった時には処理を終了し、まだ１個にな
っていない場合にはＳ４３からの処理が繰り返される。

【００３６】図６のＳ４４でバッファ内に追加される距
離は次のように求められる。例えばＳ４３で統合された
２つのクラスタがＣ１とＣ２であり、この統合されたク
ラスタとの間の距離が求められる他のクラスタがＣ３で
あるとすると、統合されたクラスタとＣ３との距離を求
めるため後述の最遠隣法を使用するものとして、クラス
タＣ１とＣ３の距離とクラスタＣ２とＣ３の距離のうち
の大きい方の値が、統合されたクラスタとＣ３との距離
とされる。

【００３７】一般に統合されたクラスタの間、または統
合されたクラスタと個体１個のみから成るクラスタとの
間の距離を求める方法として最近隣法、最遠隣法、およ
び重心法の３つがある。最近隣法では２つのクラスタの
間で個体相互間の距離のうちの最小値が、最遠隣法では
最大値が、また重心法では２つのクラスタそれぞれを構
成する個体の重心の間の距離がクラスタ間の距離とされ
る。

【００３８】次に図６にフローチャートを示したクラス
タ化処理の例を説明する。今Ａ１，Ａ２，Ａ３、および
Ａ４の４つのサンプルデータ、すなわち個体を１つずつ
含む４つのクラスタがあり、Ｓ４２で２つのクラスタ間
の距離ｄがそれぞれ次のように与えられるものとする。ｄ（｛Ａ１｝，｛Ａ２｝）＝８ｄ（｛Ａ２｝，｛Ａ３｝）＝２ｄ（｛Ａ１｝，｛Ａ３｝）＝３ｄ（｛Ａ２｝，｛Ａ４｝）＝６ｄ（｛Ａ１｝，｛Ａ４｝）＝５ｄ（｛Ａ３｝，｛Ａ４｝）＝２この場合、最小の距離はＡ２とＡ３の間、Ａ３とＡ４の
間の２つであり、このように最小の値が複数個ある場合
にはどれを選択してもよいが、ここではサンプルデータ
Ａ２とＡ３とを統合するものとする。

【００３９】Ｓ４４でサンプルデータＡ２とＡ３に関係
する距離，，，、を削除し、統合されたクラ
スタと他のクラスタとの間の距離として、最遠隣法を用
いて次のおよびが追加される。ｄ（｛Ａ１｝，｛Ａ２，Ａ３｝）＝max 〔ｄ（｛Ａ１｝，｛Ａ２｝），ｄ（｛Ａ１｝，｛Ａ３｝）〕＝８ｄ（｛Ａ４｝，｛Ａ２，Ａ３｝）＝max 〔ｄ（｛Ａ２｝，｛Ａ４｝），ｄ（｛Ａ３｝，｛Ａ４｝）〕＝６Ｓ４５でバッファ内にある距離は，およびの３個
であり、再びＳ４３でバッファ内で最小の距離、すなわ
ち‘５’に対応する２つの個体Ａ１とＡ４とが統合さ
れ、Ｓ４４でＡ１とＡ４に関係する距離，および
が削除され、今統合されたクラスタと前回統合されたク
ラスタ（Ａ２とＡ３から成るクラスタ）との距離が追
加され、Ｓ４５でバッファ内の距離がの１個だけと判
定されて処理を終了する。なお距離は次のように求め
られる。ｄ（｛Ａ１，Ａ４｝，｛Ａ２，Ａ３｝）＝max 〔ｄ（｛Ａ１｝，｛Ａ２，Ａ３｝），ｄ（｛Ａ４｝，｛Ａ２，Ａ３｝）〕＝８図７は、結果としてのクラスタ構造図である。ここで階
層的クラスタ化において、クラスタの階層をレベルで表
わすことにする。クラスタのレベルは、そのクラスタが
何番目に作られたかで定義するものとし、最初の個体１
個のみのクラスタをレベル０とし、クラスタが作られる
たびに１つずつレベルが上るものとする。そこで図７に
示すようにサンプルデータＡ２とＡ３から成るクラスタ
はレベル１，Ａ１とＡ４とから成るクラスタはレベル
２，全ての個体を含むクラスタはレベル３となる。

【００４０】次に図４のＳ３８における極大クラスタの
探索について図８によって説明する。ここでＳ３８にお
ける極大クラスタとは、その上位レベルのクラスタの全
ては異種カテゴリのデータを含んでしまうが、該当クラ
スタでは異種カテゴリのデータを含まないクラスタであ
る。

【００４１】図８で処理が開始されると、まずＳ５１で
識別不可能であったデータが１つ取り出され、Ｓ５２で
データが取り出されたか否かが判定され、取り出せない
場合には処理を終了する。取り出された場合にはＳ５３
で取り出されたデータのみを要素とするクラスタが極大
クラスタの候補とされ、Ｓ５４でその候補がすでに極大
クラスタ中に含まれているか否かが判定され、含まれて
いる時には他の識別不可能データを対象としてＳ５１以
降の処理が繰り返される。

【００４２】極大クラスタに含まれていない場合には、
Ｓ５５で極大クラスタの候補のすぐ上位のクラスタに異
種データが含まれているか否かが調べられ、含まれてい
る場合にはＳ５６で極大クラスタの候補が極大クラスタ
とされ、Ｓ５１以降の処理が繰り返される。含まれてい
ない時にはＳ５７でそのすぐ上位のクラスタが極大クラ
スタの候補とされ、その候補に対するＳ５４以降の処理
が繰り返される。

【００４３】次に図８にフローチャートを示した極大ク
ラスタ探索処理を適用する具体例として、図５(c) の例
を更に詳細に説明する。まず認識不可能データのうちＡ
４がＳ５１で取り出され、Ｓ５３で極大クラスタの候補
とされ、Ｓ５４でこの候補はまだ極大クラスタに含まれ
ていないのでＳ５５で上位クラスタ、すなわちＣ３に異
種カテゴリのデータが含まれているか否かが判定され、
この場合は含まれているのでＳ５６で｛Ａ４｝が極大ク
ラスタとされて、Ｓ５１に戻る。

【００４４】次にＳ５１でデータＢ１が取り出され、Ｓ
５３で極大クラスタの候補とされ、この候補はＳ５４の
判定ですでに極大クラスタとして選ばれている｛Ａ４｝
には含まれておらず、Ｓ５５の判定で｛Ｂ１｝の上位ク
ラスタ、すなわちＣ１に異種データが含まれていないた
めに、Ｓ５７でクラスタＣ１が極大クラスタの候補とさ
れ、Ｓ５４でこの候補が極大クラスタに含まれていない
ためにＳ５５で更に上位のクラスタＣ２が異種データを
含んでいるかどうかが判定されるが、この場合にはデー
タＡ５が含まれているためにＳ５６でクラスタＣ１が極
大クラスタとされて、Ｓ５１に戻る。

【００４５】続いてＳ５１でデータＢ２が取り出され、
Ｓ５３で極大クラスタの候補とされ、Ｓ５４でこの候補
が極大クラスタに含まれておらず、Ｓ５５で｛Ｂ２｝の
上位クラスタＣ１に異種カテゴリのデータが含まれてい
ないので、Ｓ５７でこのクラスタが候補とされ、Ｓ５４
でこの候補がすでに極大クラスタに含まれていると判定
されＳ５１に戻るが、すでに識別不可能データは全て取
り出されているために処理を終了する。

【００４６】次に学習データの合成について説明する。
図４のＳ３３およびＳ３８におけるクラスタ内での学習
データの合成は、ニューラルネットワークの各ユニット
への入力データの相加平均、または相乗平均を取ること
によって行われる。例えば図５(b) において、サンプル
データＢ１，Ｂ２，Ｂ３、およびＢ４を合成してデータ
Ｂ６を相加平均を用いて作成する場合には、ｉ番目の入
力層ユニットへの入力を例えばＢ１（ｉ）のように表わ
すと、合成データは次式によって求められる。Ｂ６（ｉ）＝〔Ｂ１（ｉ）＋Ｂ２（ｉ）＋Ｂ３（ｉ）＋Ｂ４（ｉ）〕／４・・・・・・(3) 図４のＳ３８で極大クラスタから合成されたデータにつ
いては、Ｓ３９で学習データとして追加できるか否か、
すなわちすでに学習されているデータと一致していない
かを判定する必要があるが、この判定については学習済
みのデータのそれぞれについてそのデータがどのクラス
タから取り出されたかを記憶しておき、極大クラスタか
らの合成データについて記憶されているデータと一致す
るものがあるか否かが調べられ、一致するものがなけれ
ば合成されたデータが学習データに追加される。例えば
図５において、学習データＡ６はクラスタＣＡ１から、
Ａ７はＣＡ２から、Ｂ６はＣＢ１から、Ｂ５はＣＢ２か
ら取り出されており、仮にＢ５が識別不可能であれば、
これに対応する極大クラスタがＣＢ２、すなわち｛Ｂ
５｝であることが分かっても、これはすでに学習済みで
あるため、この極大クラスタからは学習データを追加す
ることができない。この一致の検出は、合成方法が一種
類に限られていれば全ての入力層ユニットへの入力デー
タをすべて比較することなく行うことができ、全てのデ
ータを比較する場合に比べて処理時間を短くすることが
できる。

【００４７】本実施例においては図４で説明したよう
に、識別不可能なデータに対しては異種カテゴリのサン
プルデータと同時にクラスタ化を行うので、レベルの高
いクラスタでは他のカテゴリのデータが入り混じるが、
クラスタのレベルを下げることにより同一カテゴリから
成るクラスタが得られる。このクラスタ、すなわち極大
クラスタは他のカテゴリのデータと分離されているため
に、ここから代表データを合成することにより識別不可
能なデータを代表し、かつ他のカテゴリと区別できる学
習データを選択できることになる。

【００４８】すなわち類似したものを集めたのがクラス
タであり、同一カテゴリのデータは当然類似性が高いた
め、レベルの低いクラスタでは同一カテゴリのデータの
みを含むのは一般的と考えられる。例えば手書きの
「Ａ」と「Ｂ」のサンプルを集めてクラスタ化した場合
には、高いレベルのクラスタでは「Ａ」と「Ｂ」の両方
を含む可能性が大きくなるが、レベルの低いクラスタで
は要素間の類似性が高いために「Ａ」または「Ｂ」のど
ちらか一方の個体のみを含むことになると考えられる。

【００４９】このような異種カテゴリを含むクラスタ化
の有効性について図９および図１０を用いて説明する。
図９は大小と白黒の２つの性質を含む認識対象の例とし
ての円を示す。図１０は異種カテゴリを含むクラスタ化
の例の説明図である。同図(a) は図９の円を大小の性質
に従ってクラスタ化した構造図である。同図(b) は黒の
三角を含んで、白黒の性質を中心として作成されたクラ
スタ構造図である。このように円と三角を含むクラスタ
化では円のみのクラスタ化において分類に用いられた性
質、すなわち大小と異なる白黒の性質による分類を得る
ことができ、カテゴリ識別にとってより有効となる可能
性がある。

【００５０】

【発明の効果】以上詳細に説明したように、本発明によ
れば全てのサンプルデータを用いることなく、合成され
た学習データのみを用いてニューラルネットワークを学
習させることにより学習時間を短縮させることができ、
ニューラルネットワークを用いた認識システムの実用性
の向上に寄与するところが大きい。

【図面の簡単な説明】

【図１】本発明の機能ブロック図である。

【図２】本発明の学習方式を用いるカテゴリ識別システ
ムの実施例の構成を示すブロック図である。

【図３】図２のシステムの各部の動作を説明する図であ
る。

【図４】本発明における学習方式の全体処理実施例のフ
ローチャートである。

【図５】サンプルデータのクラスタ構造の実施例を示す
図である。

【図６】クラスタ化処理の実施例のフローチャートであ
る。

【図７】図６のクラスタ化処理のフローチャートによっ
て得られたクラスタ構造の例を示す図である。

【図８】極大クラスタ探索処理実施例のフローチャート
である。

【図９】大小と白黒の２つの性質を含む識別対象の例を
示す図である。

【図１０】異種カテゴリを含むクラスタ化の例を説明す
る図である。

【符号の説明】

１１学習制御情報設定部１２学習制御情報記憶部１３学習制御部１４サンプルデータ設定部１５サンプルデータ記憶部１６合成データ記憶部１７クラスタ化処理部１８クラスタ記憶部１９学習対象記憶部２０ニューラルネットワーク部２１ニューラルネットワーク記憶部

───────────────────────────────────────────────────── フロントページの続き (72)発明者新貝和照神奈川県川崎市川崎区田辺新田１番１号富士電機株式会社内 (72)発明者柄沢隆東京都日野市富士町１番地富士ファコム制御株式会社内 (72)発明者植草秀明東京都日野市富士町１番地富士ファコム制御株式会社内

Claims

【特許請求の範囲】

【請求項１】複数のカテゴリに分類されるデータを学
習し、該学習後に与えられるカテゴリ不明のデータに対
してカテゴリ識別を行うニューラルネットワークにおい
て、同一カテゴリ毎に全てのサンプル入力データの階層的ク
ラスタ化を行い（１）、同一クラスタに属するデータを合成して新しい学習デー
タを作成し（２）、該作成された学習データを前記ニューラルネットワーク
に学習させる（３）ことを特徴とするニューラルネット
ワークの学習方式。
【請求項２】前記作成された学習データのニューラル
ネットワークによる学習（３）の後に、複数のカテゴリのいずれかに属する全てのサンプル入力
データをカテゴリを区別することなく階層的クラスタ化
を行い（４）、前記学習（３）後に識別不可能であったサンプル入力デ
ータを含み、かつ異種カテゴリのデータを含まない最上
位階層クラスタとしての極大クラスタを探索し（５）、該極大クラスタに属するデータを合成して再び新しい学
習データを作成し（６）、該作成されたデータを学習データに追加して前記ニュー
ラルネットワークに学習させる（７）ことを特徴とする
請求項１記載のニューラルネットワークの学習方式。
【請求項３】前記階層的クラスタ化（１），（４）に
おいて、前記各サンプル入力データとしての個体をそれぞれ１個
だけ含む各クラスタを最下層のクラスタとし、該各クラスタのうち、クラスタ間で定義される距離が最
小となる２つのクラスタを統合して次の上位層における
クラスタを合成し、該合成されたクラスタと統合されなかった各クラスタと
の距離を求め、合成されたクラスタと統合されなかった
クラスタとの全てを対象として前記距離最小となる２つ
のクラスタを統合しての次の上位層におけるクラスタ合
成以降の処理を、最上位層クラスタが１個となるまで繰
り返すことを特徴とする請求項１、または２記載のニュ
ーラルネットワークの学習方式。
【請求項４】前記最下層クラスタとしての各サンプル
入力データが、前記ニューラルネットワークの入力層ユ
ニットのｎ個に対応するｎ個の値を持つ時、該ｎ個の値
をｎ次元ユークリッド空間の各座標値に対応させ、該ｎ
次元空間中の点の間の距離として該最下層クラスタとし
ての個体間の距離を定義することを特徴とする請求項３
記載のニューラルネットワークの学習方式。
【請求項５】前記合成されたクラスタと最下層のクラ
スタの間、または合成されたクラスタ相互間の距離を、
２つのクラスタの間における個体相互間の距離のうちの
最大の距離として定義することを特徴とする請求項３、
または４記載のニューラルネットワークの学習方式。
【請求項６】前記極大クラスタの探索（５）におい
て、前記サンプル入力データのうちでカテゴリの識別できな
かったデータを取り出して極大クラスタの候補とし、該候補がすでに極大クラスタに含まれているかを調べ、
すでに含まれている時には前記識別できなかったデータ
を取り出して極大クラスタの候補とする処理以降を繰り
返し、含まれていない時には該極大クラスタの候補のすぐ上位
階層のクラスタに異種カテゴリのサンプルデータが含ま
れているかを調べ、含まれている時には該極大クラスタ
の候補を極大クラスタとして、前記識別できなかったデ
ータを取り出して極大クラスタの候補とする処理以降を
繰り返し、含まれていない時には該上位階層のクラスタを極大クラ
スタの候補として、前記該候補がすでに極大クラスタに
含まれているかを調べる処理以降を繰り返すことを特徴
とする請求項２記載のニューラルネットワークの学習方
式。