JPH02206867A - 分類学習装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、複数の回路によるベクトルの距離の計算の並
列化、専用回路による最小値計算の高速化、及び処理全
体のパイプライン化を実現することにより、分類学習ア
ルゴリズム（従来から、Ｌ６ａｒｎｉｎｇシｅｃｔｏｒ
　Ｑｕａｔｉｚａｔｉｏｎ　　（Ｌ　Ｖ　Ｑ）として知
られている）によって行われる処理演算を高速に実行す
る分類学習装置に関するものである。

［従来の技術］ 最初に、ＬＶＱと呼ばれるパターンの分類学習アルゴリ
ズムについて説明する。このアルゴリズムニツイては、
例えば、にｏｈｏｎｅｎ、　Ｔ、（１９８８）、著、Ｓ
ｅｌｆ−ｏｒｇａｎｉｚａｔｉｏｎ　ａｎｄ　ａｓｓｏ
ｃ＋ａｔ＋ｖｅ　ｍｅｍｏｒｙ（２ｎｄ　ｅｄ、）、　
Ｂｅｒｌｉｎ：　Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ、発
行の著書に記載されている。

まず、入力値として、属するクラスが分かっているサン
プルパターンを用意し、このサンプルからニューロンの
個数の決定、各二ニーロンへのクラスの割当、及び、各
ニューロンの値の初期化を行う。この場合、入力値と二
ニーロンの値は、同次元のベクトルである。

従来の汎用逐次針７機を使用してアルゴリズムを実現す
る場合は、第５図の参考図に示すように、入力値の決定
、入力値と各ニューロンの値との距離の計算、それらの
距離が最小となるニューロンの選出、そして、そのニュ
ーロンの値の修正という一連の繰り返し処理を行う。修
正に関しては、ニューロンに割り当てられたクラスとパ
ターンの属するクラスが同じならば、ニューロンの値を
入力値に近ずける方向に修正し、さもなければ逆の方向
に修正する。

応用としては、例えば、医療診断問題が考えられる。こ
のとき、患者の訴えた症状を入力値とし、各病名をクラ
スとする。そして、すでに病名が確定している患者の症
状と病名のサンプルを用意すれば、前記アルゴリズムを
実行することにより、患者の訴える症状からその原因と
なる可能性の高い病名を診断するシステムを構築できる
。しかし、アルゴリズムの実行には、一般に数十万回く
らいの一連の繰り返し処理を必要とし、汎用逐次計算機
を用いて処理を行うときわめて長時間の計算を必要とす
ることが問題となる。

［発明が解決しようとする課題］ 上記のシステムにおいては、アルゴリズムの実行のため
に、一般に数十万回くらいの一連の繰り返し処理を必要
とし、汎用逐次計算機を用いて処理を行うときわめて長
時間の計算を必要とすることが問題となる。本発明にお
いては、ＬＶＱの逐次汎用計算機において処理負荷問題
を解決した専用装置を提供することを目的とする。

［課題を解決するための手段］ 上記の課題を解決するために、本発明ににいては、バイ
ブライン処理を実現するため、入力値の決定、距離の計
算、最小値の計算、ニューロンの値の修正、というサイ
クルを繰り返すアルゴリズムにおいて、サイクルを多重
化する。すなわち、１つの入力値と全てのニューロンの
値との距離の計算を完了すると、次の入力値との距離の
計算を行う。そして、これらの処理とは独立に、距離を
最小とするニューロンを選出した後、二ニーロンの値の
修正を行う。これは、ある時点で距離の計算に用いるニ
ューロンの値が数回前の入力値に対して修正されたもの
となっている。

［作用］ 本発明の分類学習装置は、第５図について説明した従来
の技術とは異なり、第１図に示す構成を備えており、距
離の計算において逐次処理を行わず、複数の回路を用い
て並列に処理を行うこと、更に、アルゴリズムに変更を
加え、処理全体をパイプライン化することにより、高速
に処理を実行することができる。

［実施例］ 第２図は、本発明の実施例の全体図を示し、ｌは、入力
値を各距離計算回路に送る入力装置であって、２は、入
力値を格納するランダムアクセスメモリ、３は入力装置
ｌの制御を行う制御回路である。

４は、入力値とニューロンの値との距離の計算を行う距
離計算回路であって、この実施例においては、距離計算
回路Ａから距離計算回路りまでの４回路が設けられてお
り、いずれも同一構造を備えているから、距離計算回路
へについてのみ回路内部の構成を示し、ＢないしＤにつ
いては、人出力線を除いて構成の記載は省略している。

距離計算回路４において、５は入力値を格納するエリア
、６は距離の計算器、７は距離計算回路４の制御を行う
制御回路である。

８は、各距離計算回路４で求めた距離が最小となる二ニ
ーロンを選ぶための最小値計算回路であって、データフ
ローで動く木構造型の比較回路９と、１つの入力に対す
る最小値の計算をする選択回路ｌＯからなる。１１は比
較回路９の比較器、１２は選択回路ｌＯの比較器、１３
は中間結果を格納するエリア、１４は選択回路１０の制
御を行う制御回路である。　　１５はニューロンの値を
管理するニューロン管理装置であって、ニューロンの値
を格納するランダムアクセスメモリ１６、ニューロン管
理装置１５の制御を行う制御回路１７、入力値を格納す
るエリア１８、ニューロンの値の修正を行う修正器１９
からａｔされる。

本発明の実施例の動作を、患者が風邪であるかどうかを
判定する医療診断問題を例として説明する。

前処理として、与えられた第３図（Ａ＞に示す患者のサ
ンプルを入力装置のメモリ２に格納し、このサンプルか
らニューロンの個数とそのクラスを決定し、適当に初期
化を行い、ニューロン管理袋［１５のメモリ１６にニュ
ーロンの値を格納する。このとき、各距離計算回路４の
制御回路５に一つの入力値に対して処理するニューロン
の個数を与え、その個数の最大値を最小値計算回路８の
制御回路１４に与える。

実施例においては、ニューロンの初期値として各クラス
（風邪であるかどうか）のデータの平均値にランダムな
ノイズを与えたものとしている。

ニューロンの初期値を第３図（Ｂ）に示す。

入力装置１の動作は、距離計算回路４から入力値の要求
があった時、メモリ２に格納した患者のデータを適当に
選び、各距離計算回路４、及びニューロン管理装置１５
に出力する。選択の方法としては、例えば、データをラ
ンダムに選ぶことが考えられる。ここで、制御回路３は
、非同期に起こる処理装置からの要求に対して、同一サ
イクルでは同じ値が出力されるように制御する。また、
ニューロン管理装置１５への出力は、全ての距離計算回
路４への出力を完了した後に行われる。

以下の例では、最初の入力値として患者番号９が選ばれ
たとする。距離計算回路４の動作は、入力装置１から入
力値、ニューロン管理装置１５からニューロンの値を入
力し、２つの値の距離を計算し、距離とニューロンの番
号を最小値計算回路８に出力する。入力値５は入力値を
格納するエリアであり、計算器６は入力値とニューロン
の値との距離を計算する計算器である。計算器６の動作
は、ニューロンの値が到着すると入力値を読み込み距離
の計算を行う。

制御回路７はカウンタを持ち、計算器６で計算が行われ
ると、初期値をＯとしだカウンタに１を加える。そして
、カウンタが１つの入力に対して処理すべきニューロン
の個数（前処理で格納した数）と等しくなったとき、入
力装置１に新規の入力値の要求とカウンタの初期化を行
う。ただし、１つの入力に対して処理すべきニューロン
の個数が他の回路より少ない回路では、最後の出力とし
て適当に大きな値、例えば、前回の値に１を加えた値を
出力する。例題において、距離としてユークリッド距離
の２乗を用いた場合、患者番号９と各ニューロンとの距
離の計算結果を第３図（Ｃ）に示す。

最小値計算回路８は、比較回路９と選択回路ＩＯから構
成される。比較回路９はデータフローで順次距離の小さ
い方の値を出力する比較器１１を本構造型に配置した回
路であり、同一段階で各距離計算回路４が出力した距離
の最小値とその二ニーロンの番号を選択回路１０に出力
する。

選択回路ｌＯは、１つの入力値に対する距離の最小値の
選択、及びニューロン管理装置１５に対してニューロン
の番号を出力する。制御回路１４は、カウンタ（初期値
は０）を持ち、カウンタの値が０の時、送られた値とそ
のニューロン番号を回路内の中間結果１３に格納し、カ
ウンタの値に１を加える。

これ以降、比較回路９が出力した距離と中間結果１３に
格納しである距離を選択回路１０の比較器１２で比較し
、小さい方の値とそのニューロンの値を中１”Ｊ］結果
１３に格納し、カウンタの値に１を加える。カウンタの
値が１つの入力に対して処理すべきニューロンの個数の
最大値（前処理で格納した数）と等しくなったとき、中
間結果１３に格納しであるニューロンの番号をニューロ
ン管理装置１５へ出力し、カウンタを初期化する。実施
例では、５番目のニューロンが選ばれる。

ニューロンＷＰ１’Ａｒ１ｔ　１５は、ニューロンの値
の出力と修正を行う。制御回路１７はメモリ１６に格納
したニューロンの値を順番に各距離計算回路４へ出力す
る。但し、−通りニューロンの出力を完了すると、次に
値を送る先は制御回路へとする。

入力値１８は、入力装置ｌｌが出力した入力値を順番に
格納するエリアであり、修正器１９はニューロンの値の
修正を行う。修正器１９の動作は、最小値計算回路８か
ら距離を最小にするニューロ・ンの番号が到着すると、
入力値１８の先頭の値を読み込み、その番号のニューロ
ンの値をメモリ１６から取り出して修正をし、修正が完
了したニューロンの値をメモリ１６の元の場所に格納す
る。

但し、修正式は、を番目の入力値をｘ　（ｔ）、ニュー
ロンの値をｍｔ（ｔ）、距離を最小とするニューロンの
番号をＣ％ｔの増加に従って０に近ずく係数をα（１）
としたとき、 ｍ　ｃ　（ｔ　＋　１＞　＝　ｍ　ｃ　（ｔ）＋α（ｔ
）　・（ｘ　（ｔ）　　ｍｃ（ｔ））、（入力値のクラ
スとニューロンのクラス一致したとき） ｍｅ（ｔ＋　１）＝ｍｃ（ｔ）　　ａ　（ｔ）　・（ｘ
　（ｔ）　　ｍｃ（ｔ）　）、（入力値のクラスとニュ
ーロンのクラスが不一致のとき） で与えられる。

実施例は、入力値のクラスとニューロンのクラスが一致
したケースであり、α（１）をＯ，ｌとしたときの修正
後のニューロンの値を第３図（Ｄ）に示す。

第４図の処理進行のタイムチャートからは、処理全体が
パイプライン化されていることが分かる。

また、入力値は、Ａ、Ｂ、Ｃ，・・・の順に与えられる
ことを示している。

［発明の効果コ 本発明は、ＬＶＱとして知られているパターンの分類学
習アルゴリズムを、入力値とニューロンの値との距離の
計算に関しては、複数の回路を用いて並列に実行し、距
離が最小となるニューロンを選ぶ最小値計算処理に関し
ては、専用回路を用いて高速に実行することができる。

さらに、アルゴリズムに変更を加え、処理をパイプライ
ン化することにより高速処理が可能で、汎用逐次計算機
を用いた場合の処理負荷問題を解決することが可能とな
る。

【図面の簡単な説明】

第１図は、本発明の分類学習装置の基本説明図、第２図
は、本発明の分類学習装置の実施例を示す全体図、第３
図は、実施例の動作の説明において使用されるデータを
示す図、第４図は、本発明の装置の動作タイムチャート
を示す図、第５図は、従来技術を示す参考図である。 ｌ二入力装置 ２：入力装置のメモリ ３：入力装置の制御回路 ４：距離計算回路 ５：入力値 ６：計算器 ７：距離計算回路の制御回路 ８：最小値計算回路 ９：比較回路 ｌＯ：選択回路 ｌｌ：比較回路の比較器 １２：選択回路の比較器 １３：中間結果 １４：選択回路の制御回路 １５：ニューロン管理装置 １６：ニューロン管理装置のメモリ １７：ニューロン管理装置の制御回路 １８：ニューロン管理装置の入力値 １９：修正器

Claims (1)

【特許請求の範囲】
1. 複数の並列的に動作する距離計算回路に入力値を与える
   ための、メモリ及び制御回路からなる入力装置、ニュー
   ロンの値の修正及び各距離計算回路にニューロンの値を
   与えるための、メモリ、制御回路修正器を有するニュー
   ロン管理装置、入力値とニューロンの値との距離の計算
   を行う複数の距離計算回路、これらの回路で求めた距離
   が最小となるニューロンを選ぶための、比較器及び制御
   回路を備えた最小値計算回路から構成され、パターンの
   分類学習アルゴリズムＬＶＱ（ＬｅａｒｎｉｎｇＶｅｖ
   ｔｏｒＱｕａｔｉｚａｔｉｏｎ）を、距離の計算に関し
   ては複数の処理装置を用いて並列に実行し、更に、処理
   全体をパイプライン化することにより、高速に処理する
   ことを特徴とする分類学習装置。