JP2822909B2

JP2822909B2 - データ分類装置

Info

Publication number: JP2822909B2
Application number: JP4153995A
Authority: JP
Inventors: 伸克北島
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1995-03-01
Filing date: 1995-03-01
Publication date: 1998-11-11
Anticipated expiration: 2013-11-11
Also published as: JPH08235154A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のデータを自動分
類するデータ分類装置に関する。

【０００２】

【従来の技術】コンピュータの最も重要な用途の一つと
してデータの自動分類がある。例えば、コンピュータ上
のデータベースに入力された顧客のデータを基に、顧客
の購買活動の予測等にデータ分類装置が利用されてお
り、現代社会には不可欠な技術となっている。このよう
に、産業上重要な技術となったデータ分類装置である
が、一般のデータ分類装置は、分類データに正規分布等
の分布構造がない場合は十分な性能を発揮することはで
きない。これに対し、ＬＶＱやＢＰといったニューラル
ネットワークを用いたデータ分類装置は、分類データに
特定の分布構造の想定を必要とせず、任意のデータに対
して適用可能な優れた分類装置である。

【０００３】この中でもＬＶＱを利用したデータ分類装
置（以下ＬＶＱデータ分類装置と呼ぶ）は、分類を目的
としたニューラルネットワークであり、高い性能を得る
ことが可能である。さらに、他のニューラルネットワー
クを用いた分類装置と比較して、その構造を単純化する
ことが容易であり、データの学習ならびに分類に要する
時間が大幅に節約できるという利点を持った優れた分類
装置である。

【０００４】このＬＶＱ分類装置では学習ベクトル量子
化法というアルゴリズムに基づいて、学習ならびに分類
を行っている。このアルゴリズムを用いて学習を行う場
合、まず、学習に用いるデータ（以下学習データと呼
ぶ）をそのデータ数より少ない個数で代表する例である
参照ベクトルを乱数に基づいて生成する。次に、この参
照ベクトルが学習データの典型例となるように繰り返し
修正を行う（この過程は学習と呼ばれる）。以上によっ
て、データの分類を可能にする。修正アルゴリズムとし
ては扱うデータがＮ次元の場合、例えば、ある学習デー
タＸ_a＝（ｘ_a1，ｘ_a2，・・・，ｘ_aN），（１≦ａ≦
Ｊ，Ｊは学習データの個数）、に対して、全ての参照ベ
クトルＭ_k＝（ｍ_k1，ｍ_k2，・・・，ｍ_kN），（ｋ＝
１，２，・・・，Ｋ，Ｋは参照ベクトルの個数）、との
距離を計算し、最近接である参照ベクトルＭ_b（１≦ｂ
≦Ｋ）を特定し、その値を修正する。推定時には、分類
対象データ（以下未知データと呼ぶ）に対してこの修正
済の参照ベクトルの中で最近接のものを探索し、その属
性を未知データの属性とする。この属性を以下ではカテ
ゴリと呼ぶ。

【０００５】図６は、前述した従来用いられていたＬＶ
Ｑデータ分類装置の構成を示したブロック図である。以
下、この図面を用いてこの装置を説明する。

【０００６】学習データ記憶部１０は、学習データを記
憶し学習ベクトル量子化部１８から参照を受ける。参照
ベクトル設定部２３では、乱数を用いて参照ベクトルを
発生し、参照ベクトル記憶部１２に送る。参照ベクトル
記憶部ではこの参照ベクトルを一時的に記憶し、学習ベ
クトル量子化部１８から参照を受ける。

【０００７】学習ベクトル量子化部１８では、学習デー
タ記憶部１０から学習データを、また参照ベクトル記憶
部１２から参照ベクトルを参照し、学習ベクトル量子化
のアルゴリズムにしたがって、参照ベクトルの修正を繰
り返す。修正が終わった参照ベクトルは推定部１９に送
られる。

【０００８】推定部１９では、学習ベクトル量子化部１
８から修正済参照ベクトルを受け取り、未知データを得
て、未知データと最近接の修正済参照ベクトルの属性を
分類結果として出力する。

【０００９】なお、学習ベクトル量子化のアルゴリズム
については、例えば「ザ・セルフ・オーガナイズイング
・マップ、プロシーディング・オブ・アイ・トリプル・
イー、第７８巻、第９号」（Ｔ．Ｋｏｈｏｎｅｎ：Ｔｈ
ｅＳｅｌｆ−ＯｒｇａｎｉｚｉｎｇＭａｐ，Ｐｒｏ
ｃ．ＩＥＥＥ，Ｖｏｌ．７８，Ｎｏ．９，Ｓｅｐｔｅｍ
ｂｅｒ，１９９０）に詳しい。

【００１０】

【発明が解決しようとする課題】しかしながら、上述の
装置では、参照ベクトル設定部が設定する参照ベクトル
の初期値の分布と学習データの分布に関連がないため、
（ａ）分類精度にバラツキが多い（ｂ）学習回数等を最
適値に設定することが困難という問題があった。これら
は、参照ベクトルの初期値を乱数を用いて設定している
ことが原因と考えられる。

【００１１】本発明が解決しようとする課題は、学習デ
ータの分布に基づいて参照ベクトルを選択することによ
り、安定して高速・高性能な分類を実現するＬＶＱを用
いたデータ分類装置を提供することにある。

【００１２】

【００１３】

【課題を解決するための手段】第１の発明は、学習デー
タを受け取り記憶する学習データ記憶部と、参照ベクト
ルを受け取り記憶する参照ベクトル記憶部と、前記学習
データ記憶部を参照して学習データを、前記参照ベクト
ル記憶部を参照して参照ベクトルをそれぞれ得て、学習
ベクトル量子化のアルゴリズムにより参照ベクトルの修
正を行う学習ベクトル量子化部と、前記学習ベクトル
量子化部から前記参照ベクトルを受け取り、未知データ
を得て、未知データを分類する推定部とを有する、性質
の異なる少なくとも２種以上のデータをその性質ごとに
分類する、データ分類装置において、前記学習データを
受け取り、前記参照ベクトルを選択する参照ベクトル選
択部と、前記参照ベクトル記憶部を参照して前記参照ベ
クトルを、前記学習データ記憶部を参照して前記学習デ
ータを得て、その学習データに対応する参照ベクトルを
探索し、その学習データのラベルと参照ベクトルのラベ
ルを出力する最近接参照ベクトル探索部と、前記最近接
参照ベクトル探索部から前記参照ベクトルのラベルを受
け取り、修正する参照ベクトルを選択し、その参照ベク
トルのラベルを出力する被修正参照ベクトル選択部と、
前記参照ベクトル記憶部を参照して被修正参照ベクトル
のラベルに対応した参照ベクトルのデータを得て、この
参照ベクトルを修正する参照ベクトル修正部と、前記最
近接参照ベクトル探索部から最近接である学習データと
参照ベクトルのラベルの組を受け取って、学習データを
それぞれの最近接参照ベクトルに対応して分類する学習
データ分類部と、前記参照ベクトル記憶部を参照して前
記参照ベクトルを得て、前記学習データ分類部から各参
照ベクトルに対応して分類した学習データを受け取っ
て、各々の参照ベクトルのカテゴリ付きの参照ベクトル
を出力するカテゴリ決定部と、を備えることを特徴とす
る。

【００１４】第２の発明は、第１の発明において、前記
学習データ分類部から前記各参照ベクトルを最近接とす
る学習データの集合を受け取り、複製および削除する前
記参照ベクトルのラベルを出力する複製・削除判定部
と、前記参照ベクトル記憶部を参照して複製および削除
する前記参照ベクトルのラベルを得て、参照ベクトルの
複製および削除を行い、新たな参照ベクトルを出力する
複製・削除部とを、さらに備えることを特徴とする。

【００１５】第３の発明は、第１または第２の発明にお
いて、前記学習ベクトル量子化部から前記参照ベクトル
を受け取り、あらかじめ設定した条件に適合しているか
否かを判定し、前記参照ベクトルを条件に適合していな
ければ学習ベクトル量子化部に戻し、条件に適合してい
れば前記参照ベクトルデータを出力する収束判定部を、
さらに備えることを特徴とする。

【００１６】

【作用】本発明においては、学習データの中から参照ベ
クトルの初期値を選択することによって、分類精度向上
に貢献しない参照ベクトルが選ばれることを防いでい
る。

【００１７】また、参照ベクトルの初期値を学習データ
の個数、分布密度およびカテゴリに応じて自動的に決定
することにより、分布の把握が困難な学習データを持つ
応用にも高精度なデータ分類を行うことができる。

【００１８】さらに、学習ベクトル量子化部における参
照ベクトルの修正の状態を調べて、学習回数を自動的に
決定するために、最短の時間で学習を終了することがで
きる。

【００１９】

【実施例】以下では、人間の脳内で１個または複数個の
部位が活動していると仮定される場合に、頭皮上で計測
される脳波データからその活動部位の個数を推定する例
についての本データ分類装置の動作を説明する。このと
き、脳波データ（電場データ）のかわに磁場データを用
いてもよい。この推定問題は以下に示すとおりに、デー
タ分類として捉えることができる。人間の脳内活動は電
気的な活動であり、その活動部位は頭皮上で計測される
脳波データの源泉として仮定された双極子として捉える
ことができる。したがって、頭皮上で計測される脳波デ
ータから脳内の活動部位の個数を推定する問題は、計測
した脳波データをそのもととなった双極子の個数に応じ
て分類する問題として捉えることができる。

【００２０】図１は、本発明に関連する技術の構成例を
示したブロック図である。以下この例を本発明に関連す
る技術の例と呼ぶ。

【００２１】このデータ分類装置は、学習データ記憶部
１０と、参照ベクトル選択部１１と、参照ベクトル記憶
部１２と、学習ベクトル量子化部１８と、推定部１９と
から構成されている。

【００２２】学習データ記憶部１０は、双極子の個数、
位置、モーメントからなる双極子の学習データを受け取
り、これに一意なラベル例えば番号をつけて記憶する。

【００２３】参照ベクトル選択部１１は、学習データ記
憶部１０から学習データを受け取り、その一部を参照ベ
クトルとして選択し、参照ベクトル記憶部１２に送る。
この選択方法としては例えば、乱数を発生させてその乱
数をラベルの番号に持つ学習データを選択する、あるい
は各カテゴリから数個ずつの学習データを選択する等の
方法がある。

【００２４】参照ベクトル記憶部１２は、記憶している
参照ベクトルがあらかじめ設定した条件に満たない場合
に参照ベクトル要求信号を学習データ記憶部１０に送
り、参照ベクトル選択部１１から参照ベクトルを受け取
り、これを記憶する。その条件とは、例えば各カテゴリ
に対して一定数以上の参照ベクトルが存在することある
いは、各カテゴリの学習データ数に対して一定比率以上
の個数の参照ベクトルが存在すること等である。また、
参照ベクトル記憶部１２は、参照ベクトルがあらかじめ
設定した条件を満たすと、参照ベクトルを学習ベクトル
量子化部１６に送る。その条件とは、例えば一定回数の
参照ベクトルの修正を行うこと等である。

【００２５】学習ベクトル量子化部１８は、学習データ
記憶部１０を参照して学習データを、参照ベクトル記憶
部１２を参照して参照ベクトルをそれぞれ得て、学習ベ
クトル量子化のアルゴリズムにより参照ベクトルの修正
を繰り返し、修正された参照ベクトルを推定部１９に送
る。学習ベクトル量子化のアルゴリズムは扱うデータの
次元数がＮのとき、ある学習データＸ_a＝（ｘ_a1，
ｘ_a2，・・・，ｘ_aN）（１≦ａ≦Ｊ，Ｊは学習データの
個数）、に対して、あらかじめ定義された距離で最近接
である参照ベクトルＭ_b＝（ｍ_b1，ｍ_b2，・・・，
ｍ_bN）（１≦ｂ≦Ｋ，Ｋは参照ベクトルの個数）、を探
索し、その参照ベクトルＭ_bに限って修正を行う。ここ
で用いる距離とは、例えばユークリッド距離あるいはマ
ンハッタン距離等である。参照ベクトルＭ_b＝（ｍ_b1，
ｍ_b2，・・・，ｍ_bN），の要素ｍ_bN（ｎ＝１，２，・・
・，Ｎ）の修正の方法は次の修正式に従う。学習データ
Ｘ_jと参照ベクトルＭ_kのカテゴリが等しい場合は、ｍ_bn（ｔ＋１）＝ｍ_bn（ｔ）＋α（ｔ）（ｘ_an（ｔ）−
ｍ_bn（ｔ））学習データＸ_jと参照ベクトルＭ_kのカテゴリが異なる
場合は、ｍ_bn（ｔ＋１）＝ｍ_bn（ｔ）−α（ｔ）（ｘ_an（ｔ）−
ｍ_bn（ｔ））ここで、α（ｔ）は、学習係数であり学習が進むにつれ
て徐々に０に近づく。学習ベクトル量子化のアルゴリズ
ムについては、例えば「ザ・セルフ・オーガナイズイン
グ・マップ、プロシーディング・オブ・アイ・トリプル
・イー、第７８巻、第９号」（Ｔ．Ｋｏｈｏｎｅｎ：Ｔ
ｈｅＳｅｌｆ−ＯｒｇａｎｉｚｉｎｇＭａｐ，Ｐｒｏ
ｃ．ＩＥＥＥ，Ｖｏｌ．７８，Ｎｏ．９，Ｓｅｐｔｅｍ
ｂｅｒ，１９９０）に詳しい。

【００２６】推定部１９は、学習ベクトル量子化部１８
から参照ベクトルを受け取り、未知の電磁場データを得
て、分類推定を行う。この推定方法としては例えば、前
記同様あらかじめ定義した距離上で最近接の参照ベクト
ルのカテゴリを未知データのカテゴリとする、あるいは
近接の参照ベクトルのカテゴリのうち最多数のものを未
知データのカテゴリとする等の方法がある。

【００２７】以上の各部を用いて、双極子の個数が既知
である頭皮上の電磁場データを学習データとして、その
学習データの中から選択した参照ベクトルを用いて、学
習ベクトル量子化のアルゴリズムにより学習を行い、そ
の学習後の参照ベクトルを用いて、双極子の個数が未知
の電磁場データを双極子の個数に対応するカテゴリに分
類することができる。

【００２８】前記学習データ記憶部１０、参照ベクトル
記憶部１２は、例えば磁気ディスク装置、半導体メモリ
記憶装置などを用いて実現することができる。

【００２９】前記参照ベクトル選択部１１、学習ベクト
ル量子化部１８、推定部１９は、例えば日本電気（株）
製のＰＣ−９８０１シリーズ等のパーソナル・コンピュ
ータ、日本電気（株）製のＥＷＳ４８００等のエンジニ
アリング・ワークステーション等を用いて実現すること
ができる。

【００３０】図２は、第１の発明の一実施例の構成を示
したブロック図である。以下この実施例を第１の実施例
と呼ぶ。

【００３１】このデータ分類装置は、学習データ記憶部
１０と、参照ベクトル選択部１１と、参照ベクトル記憶
部１２と、最近接参照ベクトル探索部１３と、被修正参
照ベクトル選択部１４と、参照ベクトル修正部１５と、
学習データ分類部１６と、カテゴリ決定部１７と、学習
ベクトル量子化部１８と、推定部１９とから構成されて
いる。

【００３２】学習データ記憶部１０は、双極子の個数、
位置、モーメントからなる双極子の学習データを受け取
り、これに一意なラベル例えば番号をつけて記憶する。

【００３３】参照ベクトル選択部１１は、学習データ記
憶部１０から学習データを受け取り、その一部を参照ベ
クトルとして選択し、参照ベクトル記憶部１２に送る。
この選択方法としては例えば、乱数を発生させてその乱
数をラベルの番号に持つ学習データを選択する。あるい
は各カテゴリから数個ずつの学習データを選択する等の
方法がある。

【００３４】参照ベクトル記憶部１２は、記憶している
参照ベクトルがあらかじめ設定した条件に満たない場合
に参照ベクトル要求信号を学習データ記憶部１０に送
り、参照ベクトル選択部１１から参照ベクトルを受け取
り、これを記憶する。その条件とは、例えば各カテゴリ
に対して一定数以上の参照ベクトルが存在することある
いは、各カテゴリの学習データ数に対して一定比率以上
の個数の参照ベクトルが存在すること等である。また、
参照ベクトル記憶部１２は、被修正参照ベクトル選択部
１４から修正する参照ベクトルのラベルを受け取り、そ
のラベルを持つ参照ベクトルを参照ベクトル修正部１５
に送る。さらに、参照ベクトル記憶部１２は、参照ベク
トルがあらかじめ設定した条件を満たすと、参照ベクト
ルを学習ベクトル量子化部１６に送る。その条件とは、
例えば一定回数の参照ベクトルの修正を行うこと等であ
る。

【００３５】最近接参照ベクトル探索部１３は、学習デ
ータ記憶部１０を参照して学習データを、参照ベクトル
記憶部１２を参照して参照ベクトルをそれぞれ得て、そ
の学習データにあらかじめ定義した距離を用いて最近接
の参照ベクトルを探索し、その参照ベクトルを被修正参
照ベクトル選択部１４に、最近接となった学習データの
ラベルと参照ベクトルのラベルの組を学習データ分類部
１６に送る。用いる距離としては例えば、ユークリッド
距離、マンハッタン距離等がある。

【００３６】被修正参照ベクトル選択部１４は、最近接
参照ベクトル探索部１３からある学習データに最近接な
参照ベクトルデータを受け取り、修正を施す参照ベクト
ルをある方法で決定し、その参照ベクトルのラベルを参
照ベクトル記憶部１２に送る。その修正を施す参照ベク
トルを選択する方法としては例えば、各参照ベクトルを
２次元の座標に写像し、その２次元座標で最近接参照ベ
クトルを中心とする一定範囲の参照ベクトルを選択する
方法等がある。

【００３７】参照ベクトル修正部１５は、学習データ記
憶部１０を参照して学習データを、参照ベクトル記憶部
１２を参照して修正する参照ベクトルをそれぞれ得て、
参照ベクトルを修正し、修正した参照ベクトルを参照ベ
クトル記憶部１２に送る。この修正は、例えば次の様に
行う。扱うデータがＮ次元の場合、ある学習データＸ_a
＝（ｘ_a1，ｘ_a2，・・・，ｘ_aN）（１≦ａ≦Ｊ，Ｊは学
習データの個数）、Ｘ_aに最近接である参照ベクトル
を、Ｍ_b＝（ｍ_b1，ｍ_b2，・・・，ｍ_bN）（１≦ｂ≦
Ｋ，Ｋは学習データの個数）とするとき、その参照ベク
トルＭ_bの要素ｍ_bN （ｎ＝１，２，・・・，Ｎ）の修正
式は、次のようになる。ｍ_bn（ｔ＋１）＝ｍ_bn（ｔ）＋α（ｔ）（ｘ_an（ｔ）−
ｍ_bn（ｔ））ここで、α（ｔ）は、学習係数であり学習が進むに連れ
て徐々に０に近づく。

【００３８】学習データ分類部１６は、最近接参照ベク
トル探索部１３から最近接である学習データと参照ベク
トルの組を受け取り、参照ベクトルごとに学習データを
分類する。

【００３９】カテゴリ決定部１７は、学習データ分類部
１６から参照ベクトルごとに分類された学習データを受
け取って、各参照ベクトルのカテゴリを決定する。その
カテゴリ決定方法としては例えば、参照ベクトルごとに
分類された学習データのカテゴリによる多数決などの方
法がある。

【００４０】学習ベクトル量子化部１８は、学習データ
記憶部１０を参照して学習データを、参照ベクトル記憶
部１２を参照して参照ベクトルをそれぞれ得て、学習ベ
クトル量子化のアルゴリズムにより参照ベクトルの修正
を繰り返し、修正された参照ベクトルを推定部１９に送
る。学習ベクトル量子化のアルゴリズムは扱うデータの
次元数がＮのとき、ある学習データＸ_a＝（ｘ_a1，
ｘ_a2，・・・，ｘ_aN）（１≦ａ≦Ｊ，Ｊは学習データの
個数）、に対して、あらかじめ定義された距離で最近接
である参照ベクトルＭ_b＝（ｍ_b1，ｍ_b2，・・・，
ｍ_bN）（１≦ｂ≦Ｋ，Ｋは参照ベクトルの個数）、を探
索し、その参照ベクトルＭ_bに限って修正を行う。ここ
で用いる距離とは、例えばユークリッド距離あるいはマ
ンハッタン距離等である。参照ベクトルＭ_b＝（ｍ_b1，
ｍ_b2，・・・，ｍ_bN），の要素ｍ_bN（ｎ＝１，２，・・
・，Ｎ）の修正の方法は次の修正式に従う。学習データ
Ｘ_jと参照ベクトルＭ_kのカテゴリが等しい場合は、ｍ_bn（ｔ＋１）＝ｍ_bn（ｔ）＋α（ｔ）（ｘ_an（ｔ）−
ｍ_bn（ｔ））学習データＸ_jと参照ベクトルＭ_kのカテゴリが異なる
場合は、ｍ_bn（ｔ＋１）＝ｍ_bn（ｔ）−α（ｔ）（ｘ_an（ｔ）−
ｍ_bn（ｔ））ここで、α（ｔ）は、学習係数であり学習が進むにつれ
て徐々に０に近づく。学習ベクトル量子化のアルゴリズ
ムについては、例えば「ザ・セルフ・オーガナイズイン
グ・マップ、プロシーディング・オブ・アイ・トリプル
・イー、第７８巻、第９号」（Ｔ．Ｋｏｈｏｎｅｎ：Ｔ
ｈｅＳｅｌｆ−ＯｒｇａｎｉｚｉｎｇＭａｐ，Ｐｒｏ
ｃ．ＩＥＥＥ，Ｖｏｌ．７８，Ｎｏ．９，Ｓｅｐｔｅｍ
ｂｅｒ，１９９０）に詳しい。

【００４１】推定部１９は、学習ベクトル量子化部１８
から参照ベクトルを受け取り、未知の電磁場データを得
て、分類推定を行う。この推定方法としては例えば、前
記同様あらかじめ定義した距離上で最近接の参照ベクト
ルのカテゴリを未知データのカテゴリとする、あるいは
近接の参照ベクトルのカテゴリのうち最多数のものを未
知データのカテゴリとする等の方法がある。

【００４２】以上の各部を用いて、双極子の個数が既知
である頭皮上の電磁場データを学習データとして、その
学習データの中から選択した参照ベクトルの分布を学習
データの分布の特徴に適合させてから学習ベクトル量子
化のアルゴリズムにより学習を行い、その学習後の参照
ベクトルを用いて、双極子の個数が未知の電磁場データ
を双極子の個数に対応するカテゴリに分類することがで
きる。

【００４３】次に図２を用いて、脳波計で計測したＮチ
ャネル（Ｎ個の電極で計測した）の脳波データ（Ｎ次元
の電場データ、電位差）を脳内の双極子の（活動部位）
個数ｌ（１≦ｌ≦Ｌ）に対応するカテゴリに分類する場
合のより具体的な説明を行う。

【００４４】まず、学習データつまり源泉となる双極子
の個数が明らかである頭皮上の脳波（電場）データを計
算する。学習データＸ_j＝（ｘ_j1，ｘ_j2，・・・，
ｘ_jN）（ｊ＝１，２，・・・，Ｊ，Ｊは学習データの個
数）、の各要素ｘ_jn（ｎ＝１，２，・・・，Ｎ）は、次
式で表すことができる。

【００４５】ｘ_jn＝Σ_l=1 ^Lψ_jn（ｐ_l）Ｓ_l，（１≦ｌ≦Ｌ）ここで、ψ_jn（ｐ_l）：チャネル（電極）ｎにおける電
位差であり、ｐ_lの関数、ｐ_l：ｌ番目の双極子を表すパラメタ、Ｓ_l：ある時刻におけるｌ番目の双極子による振幅値で
ある。 ψ_jn、Ｓ_lの具体的な式は、「ザ・ポテンシャル・ディ
ストリビューション・イン・ア・レイヤード・アニソト
ロピィック・スフェロイダル・ヴォリューム・コンダク
タ、ジャーナル・オブ・アプライド・フィジックス、６
４（２）巻」（Ｊ．Ｃ．ｄｅＭｕｎｃｋ，Ｔｈｅｐ
ｏｔｅｎｔｉａｌｄｉｓｔｒｉｂｕｔｉｏｎｉｎ
ａｌａｙｅｒｅｄａｎｉｓｏｔｒｏｐｉｃｓｐｈ
ｅｒｏｉｄａｌｖｏｌｕｍｅｃｏｎｄｕｃｔｏ
ｒ，ＪｏｕｒｎａｌｏｆＡｐｐｌｉｅｄＰｈｙｓ
ｉｃｓ．６４（２），１５Ｊｕｌｙ１９８８）に詳
しい。

【００４６】Ｎ次元の学習データの例を図７に示す。学
習には図７に示すような学習データを十分な個数、例え
ばＪ個用意する。

【００４７】学習データ記憶部１０は、前記学習データ
を記憶する。記憶する際に学習データＸ_j（ｊ＝１，
２，・・・，Ｊ）に一意なラベルをつける。このラベル
は、例えば番号ｊ（ｊ＝１，２，・・・，Ｊ）で代用で
きる。

【００４８】次に参照ベクトル選択部１１は前記学習デ
ータ記憶部１０を参照して、記憶している学習データＸ
_j（ｊ＝１，２，・・・，Ｊ）の中から参照ベクトルと
して用いるデータＭ_k＝（ｍ_k1，ｍ_k2，・・・，
ｍ_kN），（ｋ＝１，２，・・・，Ｋ，Ｋ（＜Ｊ）は参照
ベクトルの個数）を選択する。その選択方法は、例えば
乱数を発生して、その乱数に等しい番号（ラベル）の付
いた学習データを選択する方法がある。参照ベクトル
は、学習データから選択するので形式は図７の学習デー
タと同様である。

【００４９】参照ベクトル記憶部１２は、前記参照ベク
トル選択部１１で選択された参照ベクトルＭ_kを記憶す
る。参照ベクトル記憶部１２は、記憶している参照ベク
トルがあらかじめ設定した条件に満たない場合に参照ベ
クトル要求信号を前記学習データ記憶部１０に送り、前
記参照ベクトル選択部１１から新たな参照ベクトルを受
け取り、これを記憶する。このときの条件としては例え
ば、各カテゴリの学習データの個数を調べて、カテゴリ
ごとに学習データの数の１／Ｈ（Ｈは定数）の個数の参
照ベクトルを用意する、等がある。

【００５０】あらかじめ設定した条件にあったＫ個の参
照ベクトルＭ_k＝（ｍ_k1，ｍ_k2，・・・，ｍ_kN），（ｋ
＝１，２，・・・，Ｋ）が用意できると以下の方法で参
照ベクトルを学習データの分布密度およびカテゴリに適
合させる。

【００５１】最近接参照ベクトル探索部１３は、学習デ
ータ記憶部１０を参照して学習データＸ_j＝（ｘ_j1，ｘ
_j2，・・・，ｘ_jN）（ｊ＝１，２，・・・，Ｊ）を、参
照ベクトル記憶部１２を参照して参照ベクトル、Ｍ_k＝
（ｍ_k1，ｍ_k2，・・・，ｍ_kN），（ｋ＝１，２，・・
・，Ｋ）をそれぞれ得て、学習データに最近接である参
照ベクトルを探索する。最近接参照ベクトルとは、学習
データに対して全ての参照ベクトルとの間の距離、例え
ばユークリッド距離等を計算して、その距離が最小であ
る参照ベクトルである。例えば、ある学習データＸ_a＝
（ｘ_a1，ｘ_a2，・・・，ｘ_aN），（１≦ａ≦Ｊ，Ｊは学
習データの個数）、参照ベクトルＭ_b＝（ｍ_b1，ｍ_b2，
・・・，ｍ_bN），（１≦ｂ≦Ｋ，Ｋは参照ベクトルの個
数）、の間のユークリッド距離は式 √（（ｘ_a1−ｍ_b1）²＋（ｘ_a2−ｍ_b2）²＋・・・＋（ｘ_aN−ｍ_bN）²）（１）で表されるので式（１）が最小になる参照ベクトルが、
この学習データに対する最近接参照ベクトルである。こ
こで、ユークリッド距離の代わりにマンハッタン距離等
の他の距離を用いても良い。

【００５２】被修正参照ベクトル選択部１４は、最近接
参照ベクトル探索部１３からある学習データＸ_a（１≦
ａ≦Ｊ）に最近接な参照ベクトルＭ_b（１≦ｂ≦Ｋ）を
受け取り、被修正参照ベクトルをある方法で選択して、
その参照ベクトルのラベルを参照ベクトル記憶部１２に
送る。被修正参照ベクトルを選択する方法としては例え
ば、各参照ベクトルＭ_k（ｋ＝１，２，・・・，Ｋ）を
２次元の座標に写像し、その２次元座標上で最近接参照
ベクトルを中心とする一定範囲の参照ベクトルを選択す
る方法等がある。被修正参照ベクトルの選択例を図８で
説明する。１００個の参照ベクトルを（１，１）〜（１
０，１０）の２次元座標に１対１写像する。最近接参照
ベクトルの２次元座標が（５，５）であり、修正する参
照ベクトルの選択範囲が４であるとき、被修正参照ベク
トルは図８の内側の長方形に囲まれた、（２，２），・
・・，（９，２），（２，３），・・・，（９，３），
・・・，（２，９），・・・，（９，９）である。

【００５３】参照ベクトル修正部１５は、学習データ記
憶部１０を参照して学習データを、参照ベクトル記憶部
１２を参照して修正する参照ベクトルをそれぞれ得て、
該当する参照ベクトルを修正し、修正した参照ベクトル
を参照ベクトル記憶部１２に送る。この修正は、例えば
次の様に行う。ある学習データＸ_a＝（ｘ_a1，ｘ_a2，・
・・，ｘ_aN）（１≦ａ≦Ｊ，Ｊは学習データの個数）、
に最近接である参照ベクトルＭ_b＝（ｍ_b1，ｍ_b2，・・
・，ｍ_bN），（１≦ｂ≦Ｋ，Ｋは参照ベクトルの個
数）、であるとき、参照ベクトルＭ_bの要素ｍ_bn（ｎ＝
１，２，・・・，Ｎ）の修正式は、次のようになる。ｍ_bn（ｔ＋１）＝ｍ_bn（ｔ）＋α（ｔ）（ｘ_an（ｔ）−
ｍ_bn（ｔ））ここで、α（ｔ）は、学習係数であり、例えば０．２な
どの初期値から修正が進むにつれて徐々に０に近づく。
学習係数の修正法は例えば次式で示される。

【００５４】α（ｔ）＝α（０）（１−ｔ／Ｔ）ここで、Ｔは全学習回数、ｔは学習ステップ数、α
（０）は学習係数の初期値である。

【００５５】前記参照ベクトル記憶部１２、最近接参照
ベクトル探索部１３、被修正参照ベクトル探索部１４、
参照ベクトル修正部１５による参照ベクトルの修正は、
あらかじめ決めた条件、例えば定数回修正する等、を満
たすまで繰り返される。この参照ベクトルの修正によっ
て、参照ベクトルの分布密度が学習データの分布密度に
適応する。

【００５６】学習データ分類部１６は、最近接参照ベク
トル探索部１３から学習データとそれに最近接である参
照ベクトルとの組を受け取り、参照ベクトルごとに学習
データを分類する。その分類法としては例えば、次の方
法がある。前記最近接参照ベクトル探索部１３によって
学習データには最近接となる参照ベクトルが探索されて
いる。したがって、最近接参照ベクトルごとに学習デー
タを分類することが可能である。

【００５７】カテゴリ決定部１７は、学習データ分類部
１６から参照ベクトルごとに分類された学習データを受
け取って、各参照ベクトルのカテゴリを決定する。その
カテゴリ決定方法としては例えば、各参照ベクトルに対
応する学習データのカテゴリによる多数決等の方法があ
る。

【００５８】ここまでで、学習データの分布密度に加え
て、カテゴリに適応した参照ベクトルが用意できてい
る。この参照ベクトルを学習ベクトル量子化部１８に渡
す。

【００５９】学習ベクトル量子化部１８は、学習データ
記憶部１０を参照して学習データを、参照ベクトル記憶
部１２を参照して参照ベクトルをそれぞれ得て、学習ベ
クトル量子化のアルゴリズムにより学習を行い、その結
果の参照ベクトルを推定部１９に送る。学習ベクトル量
子化のアルゴリズムは、ある学習データＸ_a＝（ｘ_a1，
ｘ_a2，・・・，ｘ_aN）（１≦ａ≦Ｊ，Ｊは学習データの
個数）、に対して、あらかじめ定義された距離で最近接
である参照ベクトルを探索し、その参照ベクトルに限っ
て修正を行う。最近接参照ベクトルの探索方法は前記最
近接参照ベクトル選択部１３と同様である。ここで用い
る距離とは、例えばユークリッド距離あるいはマンハッ
タン距離等である。学習データＸ_aに最近接である参照
ベクトルがＭ_b＝（ｍ_b1，ｍ_b2，・・・，ｍ_bN），（１
≦ｂ≦Ｋ，Ｋは参照ベクトルの個数）の修正式は、次の
ようになる。学習データと参照ベクトルのカテゴリが等
しい場合は、ｍ_bn（ｔ＋１）＝ｍ_bn（ｔ）＋α（ｔ）（ｘ_an（ｔ）−
ｍ_bn（ｔ））学習データと参照ベクトルのカテゴリが異なる場合は、ｍ_bn（ｔ＋１）＝ｍ_bn（ｔ）−α（ｔ）（ｘ_an（ｔ）−
ｍ_bn（ｔ））この修正を全学習データＸ_k（ｋ＝１，２，・・・，
Ｋ）に対して、定数回繰り返す。この参照ベクトルの修
正の繰り返しを学習と呼ぶ。ここで、α（ｔ）は、学習
係数であり例えば０．０１などの初期値から学習が進む
につれて徐々に０に近づく。学習係数の修正法は例えば
次式で示される。

【００６０】α（ｔ）＝α（０）（１−ｔ／Ｔ）ここで、Ｔは全学習回数、ｔは学習ステップ数、α
（０）は学習係数の初期値である。学習ベクトル量子化
のアルゴリズムについては、例えば「ザ・セルフ・オー
ガナイズイング・マップ、プロシーディング・オブ・ア
イ・トリプル・イー、第７８巻、第９号」（Ｔ．Ｋｏｈ
ｏｎｅｎ：ＴｈｅＳｅｌｆ−ＯｒｇａｎｉｚｉｎｇＭ
ａｐ，Ｐｒｏｃ．ＩＥＥＥ，Ｖｏｌ．７８，Ｎｏ．９，
Ｓｅｐｔｅｍｂｅｒ，１９９０）に詳しい。

【００６１】前記学習ベクトル量子化部１８によって学
習された参照ベクトルは推定部１９に渡される。

【００６２】推定部１９は、学習ベクトル量子化部１８
から参照ベクトルを受け取り、新たに計測した源泉とな
る双極子（脳内活動部位）の個数が未知である脳波（電
場）データを得て、その双極子の個数ｌ（１≦ｌ≦Ｌ）
を推定する。つまり、その新たな脳波データを脳内の双
極子の個数ｌに対応するカテゴリに分類する。ここで用
いられる推定方法としては参照ベクトルのカテゴリは既
知であることから、例えばあらかじめ定義した距離上で
最近接の参照ベクトルを前記同様に探索して、そのカテ
ゴリを未知データのカテゴリとする方法が考えられる。
あるいは近接の参照ベクトルのカテゴリのうち最多数の
ものを未知データのカテゴリとする等の方法等もある。

【００６３】前記学習データ記憶部１０、参照ベクトル
記憶部１２は、例えば磁気ディスク装置、半導体メモリ
記憶装置などを用いて実現することができる。

【００６４】前記参照ベクトル選択部１１、最近接参照
ベクトル探索部１３、被修正参照ベクトル選択部１４、
参照ベクトル修正部１５、学習データ分類部１６、カテ
ゴリ決定部１７、学習ベクトル量子化部１８、推定部１
９は、例えば日本電気（株）製のＰＣ−９８０１シリー
ズ等のパーソナル・コンピュータ、日本電気（株）製の
ＥＷＳ４８００等のエンジニアリング・ワークステーシ
ョン等を用いて実現することができる。

【００６５】図３は、第２の発明の一実施例の構成を示
したブロック図である。以下この実施例を第２の実施例
と呼ぶ。

【００６６】このデータ分類装置は、図２に示す第１の
実施例の構成部分に加えて、複製・削除判定部２０と、
複製・削除部２１を付加して構成されている。

【００６７】複製・削除判定部２０は、あらかじめ設定
した条件、例えば一定回数の参照ベクトルの修正を行
う、各参照ベクトルの修正量がある値以下になる、等を
満たすと学習データ分類部１６から各参照ベクトルを最
近接とした学習データの集合を受け取って、複製または
削除する参照ベクトルを、あらかじめ設定した条件で選
択し、複製または削除する参照ベクトルのラベルを参照
ベクトル記憶部１２に送る。このときの条件としては例
えば、ある参照ベクトルを最近接とする学習データの個
数がある個数以上のときは複製し、そのような学習デー
タが１つもない場合には削除する等が考えられる。

【００６８】複製・削除部２１は、参照ベクトル記憶部
１２が前記複製・削除判定部２０から受け取ったラベル
に対応する参照ベクトルつまり、複製または削除する参
照ベクトルを受け取り、それぞれ複製または削除を行
う。

【００６９】複製・削除判定部２０、複製・削除部２１
を付け加えることにより、分布密度、カテゴリに加えて
個数も学習データに適合した参照ベクトルを用いて、学
習ベクトル量子化のアルゴリズムにより学習することが
できる。

【００７０】前記複製・削除判定部２０、複製・削除部
２１は、例えば日本電気（株）製のＰＣ−９８０１シリ
ーズ等のパーソナル・コンピュータ、日本電気（株）製
のＥＷＳ４８００等のエンジニアリング・ワークステー
ション等を用いて実現することができる。

【００７１】図４は、第３の発明の一実施例の構成を示
したブロック図である。

【００７２】このデータ分類装置は、図２に示す第１の
実施例の構成部分に加えて、収束判定部２２を付加して
構成されている。

【００７３】収束判定部２２は、学習ベクトル量子化部
１８から参照ベクトルを受け取り、これがあらかじめ設
定した条件を満たしている場合には参照ベクトルを推定
部１９に送る。参照ベクトルが、あらかじめ設定した条
件を満たしていない場合は、参照ベクトルを学習ベクト
ル量子化部１８に送る。このときの条件としては例え
ば、全参照ベクトルの修正量の和の変化がある値以下で
ある、あるいはいったん推定部１９に参照ベクトルを送
り、その求める分類性能に達しているか否か、等があ
る。

【００７４】収束判定部２２を付け加えることにより、
前記のようなあらかじめ設定した条件により、自動的に
学習回数を決定することができる。

【００７５】収束判定部２２は、例えば日本電気（株）
製のＰＣ−９８０１シリーズ等のパーソナル・コンピュ
ータ、日本電気（株）製のＥＷＳ４８００等のエンジニ
アリング・ワークステーション等を用いて実現すること
ができる。

【００７６】図５は、第３の発明の一実施例の構成を示
したブロック図である。

【００７７】このデータ分類装置は、図３に示す第２の
実施例の構成部分に加えて、学習ベクトル量子化部１８
から参照ベクトルを受け取り、これがあらかじめ設定し
た条件を満たしている場合には参照ベクトルを推定部１
９に送り、参照ベクトルが、あらかじめ設定した条件を
満たしていない場合は、参照ベクトルを学習ベクトル量
子化部１８に送る、収束判定部２２に付加して構成され
ている。

【００７８】収束判定部２２を付け加えることにより、
前記のようなあらかじめ設定した条件により、自動的に
学習回数を決定することができる。

【００７９】

【発明の効果】本発明を用いることにより、参照ベクト
ルの初期値を学習データの個数、分布密度およびカテゴ
リに応じて自動的に設定することが可能になるため、高
い精度でのデータ分類を行うことができる。また、参照
ベクトルの修正量の変化等から自動的に学習を終了する
ため、最少の学習回数つまり最短の学習時間で学習を行
うことができる。

【００８０】実際の３０チャネルの脳波データの分類実
験の結果、本装置は従来の技術に記載した装置に比べて
分類結果の正答率が平均８．２％向上することが確認さ
れた。

【図面の簡単な説明】

【図１】本発明に関連する技術であるデータ分類装置の
構成を示したブロック図である。

【図２】第１の発明の一実施例であるデータ分類装置の
構成を示したブロック図である。

【図３】第２の発明の一実施例であるデータ分類装置の
構成を示したブロック図である。

【図４】第３の発明の一実施例であるデータ分類装置の
構成を示したブロック図である。

【図５】第３の発明の一実施例であるデータ分類装置の
構成を示したブロック図である。

【図６】従来のデータ分類装置の構成を示したブロック
図である。

【図７】Ｎ次元の学習データの例。

【図８】被修正参照ベクトル選択例。

【符号の説明】

１０学習データ記憶部１１参照ベクトル選択部１２参照ベクトル記憶部１３最近接参照ベクトル探索部１４被修正参照ベクトル選択部１５参照ベクトル修正部１６学習データ分類部１７カテゴリ決定部１８学習ベクトル量子化部１９推定部２０複製・削除判定部２１複製・削除部２２収束判定部２３参照ベクトル設定部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/18 G06T 1/00 G06F 17/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】学習データを受け取り記憶する学習データ
記憶部と、参照ベクトルを受け取り記憶する参照ベクト
ル記憶部と、前記学習データ記憶部を参照して学習デー
タを、前記参照ベクトル記憶部を参照して参照ベクトル
をそれぞれ得て、学習ベクトル量子化のアルゴリズムに
より参照ベクトルの修正を行う学習ベクトル量子化部
と、前記学習ベクトル量子化部から前記参照ベクトルを
受け取り、未知データを得て、未知データを分類する推
定部とを有する、性質の異なる少なくとも２種以上のデ
ータをその性質ごとに分類する、データ分類装置におい
て、前記学習データを受け取り、前記参照ベクトルを選択す
る参照ベクトル選択部と、前記参照ベクトル記憶部を参照して前記参照ベクトル
を、前記学習データ記憶部を参照して前記学習データを
得て、その学習データに対応する参照ベクトルを探索
し、その学習データのラベルと参照ベクトルのラベルを
出力する最近接参照ベクトル探索部と、前記最近接参照ベクトル探索部から前記参照ベクトルの
ラベルを受け取り、修正する参照ベクトルを選択し、そ
の参照ベクトルのラベルを出力する被修正参照ベクトル
選択部と、前記参照ベクトル記憶部を参照して被修正参照ベクトル
のラベルに対応した参照ベクトルのデータを得て、この
参照ベクトルを修正する参照ベクトル修正部と、前記最近接参照ベクトル探索部から最近接である学習デ
ータと参照ベクトルのラベルの組を受け取って、学習デ
ータをそれぞれの最近接参照ベクトルに対応して分類す
る学習データ分類部と、前記参照ベクトル記憶部を参照して前記参照ベクトルを
得て、前記学習データ分類部から各参照ベクトルに対応
して分類した学習データを受け取って、各々の参照ベク
トルのカテゴリ付きの参照ベクトルを出力するカテゴリ
決定部と、を備えることを特徴とするデータ分類装置。
【請求項２】前記学習データ分類部から前記各参照ベク
トルを最近接とする学習データの集合を受け取り、複製
および削除する前記参照ベクトルのラベルを出力する複
製・削除判定部と、前記参照ベクトル記憶部を参照して複製および削除する
前記参照ベクトルのラベルを得て、参照ベクトルの複製
および削除を行い、新たな参照ベクトルを出力する複製
・削除部とを、さらに備えることを特徴とする請求項１記載のデータ分
類装置。
【請求項３】前記学習ベクトル量子化部から前記参照ベ
クトルを受け取り、あらかじめ設定した条件に適合して
いるか否かを判定し、前記参照ベクトルを条件に適合し
ていなければ学習ベクトル量子化部に戻し、条件に適合
していれば前記参照ベクトルデータを出力する収束判定
部を、さらに備えることを特徴とする請求項１または２
記載のデータ分類装置。