JPH06161979A - ニューラルネットワークの学習方式 - Google Patents

Abstract

(57)【要約】 【目的】 本発明の目的は、学習データにノイズ等が含
まれている場合にも未知データに対する分類精度が向上
するニューラルネットワークの学習方式を提供すること
である。 【構成】 本発明は、学習データの特徴量ベクトル１２
を入力とし、既知規則分類結果ベクトル及び分類結果信
頼度を出力する分類規則実行手段１と、学習データの特
徴量ベクトル４の分布密度及び平均分類結果ベクトルを
算出する分布平均算出手段２と、学習データの分類結果
または既知規則による分類結果に重み付けをした教師ベ
クトル１５を出力する教師ベクトル算出手段３と、特徴
量ベクトル１４と教師ベクトル１５との対からなる教師
データを複数保持し、結合荷重調整手段１６に供給する
教師データ格納手段４とを有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クの学習方式に係り、特に、データの分類処理を行うニ
ューラルネットワークの学習方式において、既知の分類
規則と事例データからの学習を併用して、分類精度の高
いニューラルネットワーク構成することのできるニュー
ラルネットワークの学習方式に関する。

【０００２】

【従来の技術】従来より、データの分類処理を目的に多
層構造型ニューラルネットワークが用いられている。

【０００３】図６は、多層構造型ニューラルネットワー
クの構成を示す。同図において、入力層１０１は、分類
対象データの特徴量ベクトルｘ＝（ｘ₁ ，ｘ₂ ，…，ｘ
_n ）が入力される。特徴量ベクトルｘのｉ番目の要素ｘ
_i はｉ番目のユニットに入力される。同図の例では、特
徴量ベクトルの要素ｘ₂ は２番目のユニットに入力され
る。

【０００４】出力層１０２は、分類結果ｏ_kjを出力す
る。分類カテゴリ数がｍ個の場合は、通常、それぞれ
が、各カテゴリに対応したｍ個のユニットからなる。従
って、ニューラルネットの出力はｍ次元のベクトルとな
る。

【０００５】入力層１０１と出力層１０２の間には０乃
至それ以上の中間層１０３がある。各中間層のユニット
の入力は、その前段層の各々のユニットの出力に結合さ
れている。中間層１０２の各々のユニットの出力ｏ
_kjは、以下の式に従って決定される。

【数１】 ここで、ｏ_kjはｋ層（ｋ≧１、ｋ＝１は入力層）のｊ番
目のユニットの出力値、ｗ_kij は、ｋ−１層のｉ番目の
ユニットからｋ層のｊ番目のユニットへの結合荷重、Ｎ
_(k-1) は、ｋ−１層のユニットの総数である。但し、ｗ
_k0j は、ｋ層のｊ番目のユニットにバイアスを与えるた
めの結合荷重で、ｏ_(k-1)0は、常に“１”とする。ま
た、入力層（ｋ＝１）の各ユニットは入力された特徴量
ベクトルｘをそのまま中間層に出力する。

【０００６】このようなニューラルネットワークにデー
タの分類を行わせるためには、入力層ユニット１０１に
分類対象データの特徴量ベクトルｘを与えた時の出力値
ベクトルの各要素が、正しい分類カテゴリの番号ｊに対
応して、ｊ番目の要素が大きく、他の要素が小さい値と
なるように、即ち、出力層のｊ番目のユニットが大きい
値を出力し、他のユニットが小さい値を出力するように
上記の各ユニット間の結合荷重を設定する必要がある。

【０００７】上記のように結合荷重を設定するために、
従来一般に用いられている第１の方法は、分類結果が既
知である学習データを複数用意し、学習データの特徴量
ベクトルを入力した時に、ニューラルネットワークの出
力が正しい分類結果を与えるように結合荷重の調整を行
う方法である。

【０００８】即ち、学習データの分類カテゴリの番号を
ｊとすると、例えば、ｊ番目の要素のみが“１”で、他
の要素が“−１”であるような分類結果ベクトルを、上
記の特徴ベクトルを入力した時の望ましい出力値ベクト
ル（以下、教師ベクトルと呼ぶ）として用いるものであ
る。

【０００９】ニューラルネットワークの結合荷重の調整
は、通常、逆誤差伝搬学習方式によって行われる。逆誤
差伝搬学習方式は、結合荷重をランダムな値に初期設定
しておき、ある特徴量ベクトルを入力したときの実際の
出力値ベクトルと教師ベクトルの誤差が減少するよう
に、結合荷重を微少量ずつ繰り返し調整する方法であ
る。以下、従来の第１の方法を図面と共に説明する。

【００１０】《従来の第１の方法》図７は従来の第１の
方法を説明するための図である。同図に示す構成は、結
合荷重調整部２０３、結合荷重調整部２０３に入力され
る前の学習前のニューラルネットワーク２０１−１、結
合荷重が調整済の学習後のニューラルネットワーク２０
１−２、分類対象データの特徴ベクトル２０２−１、分
類結果ベクトル２０２−２の対からなる学習データが複
数格納され、結合荷重調整部２０３に学習データを与え
る学習データ格納部２０２により構成される。

【００１１】結合荷重調整部２０３は学習前のニューラ
ルネットワーク２０１−１に学習データ格納部２０２の
特徴量ベクトル２０２−１を入力したときの出力値ベク
トルと教師ベクトルとの誤差が減少するように逆誤差伝
搬方式を用いて結合荷重を微少量ずつ調整する。なお、
従来の第１の方法の場合、教師ベクトルには学習データ
の分類結果ベクトル２０２−２がそのまま用いられる。

【００１２】次に、従来の第１の方法の動作について説
明する。

【００１３】結合荷重調整部２０３は、ニューラルネッ
トワーク２０１−１の入力層に学習データの特徴量ベク
トル２０２−１を入力した時のニューラルネットワーク
の出力値ベクトルｏ_K ＝（ｏ_K1，ｏ_K2，…，ｏ_Km ）と
教師ベクトルｙ＝（ｙ₁ ，ｙ ₂ ，…，ｙ_m ）との二乗誤
差Ｅ

【数２】 を算出する。ここで、Ｋは出力層１０２の層番号、即ち
ニューラルネットワークの全層数である。ｍは分類カテ
ゴリ数である。

【００１４】次に、結合荷重調整部２０３は、算出され
た誤差が減少するように、ニューラルネットワーク２０
１−１の結合荷重ｗ_kij を以下の(5) 式に従って微少量
調整する。 δ_kij ＝ηｄ_kjｏ_(k-1)i (5) ここで、δ_kij は結合荷重ｗ_kij の調整量、ηは一回の
繰り返しでの調整量の大きさを求めるパラメータであ
る。調整量ｄ_kjは、ｋ層が出力層（ｋ＝Ｋ）のとき、以
下の式で算出される。 ｄ_Kj＝ｅ_j （１−ｏ_Kj）（１＋ｏ_Kj） (6) ここで、ｅ_j は(4) 式に従って算出された出力誤差であ
る。また、ｋ層が中間層の時は調整量ｄ_kjは以下の式で
与えられる。

【数３】

【００１５】以上の結合荷重調整部２０３による誤差算
出及び、結合荷重調整を、学習データを繰り返し与えて
実行し、二乗誤差Ｅが一定値以下になったとき学習を終
了する。

【００１６】《従来の第２の方法》次に従来の第２の方
法について説明する。この方法は、概ね正しいと考えら
れるデータ分類規則が既知である時に、この分類規則と
等化な分類機能を有するように、ニューラルネットワー
クの結合荷重を初期設定し、その後、学習データに対し
て正しい分類結果が得られるように学習データの分類結
果ベクトルを教師ベクトルとして、逆誤差伝搬方式を用
いて結合荷重を調整する方法である。この方法は、「特
願平２−１８５５７０、仲林、丸山『ニューラルネット
の学習方式』」に記載されている。

【００１７】図８は従来の第２の方法を説明するための
図である。

【００１８】同図に示すシステムは、既知の事例データ
分類規則３０１、データ分類規則３０１を論理演算式に
変換する論理演算変換部３０２、論理演算変換３０２よ
り得られた論理式と等価な動作を行うようにニューラル
ネットワークの構造及び結合荷重を設定する結合荷重設
定部３０３、特徴量ベクトル２０２−１と分類結果ベク
トル２０２−２の対の複数の学習データを格納し、学習
データ結合荷重調整部２０３に学習データを与える学習
データ格納部２０２、結合荷重設定部３０３から得られ
るニューラルネットワーク２０１−１に対して、前述の
従来の第１の方法と同様に、学習データの特徴量ベクト
ル２０２−１を入力したときの実際の出力値ベクトルと
分類結果ベクトルの誤差が減少するように逆誤差伝搬学
習方式を用いて、結合荷重を微少量ずつ繰り返し調整す
る。

【００１９】次に、上記の各部の動作について説明す
る。今、既知の事例データ分類規則３０１として以下が
与えられる。 ＩＦ（ｘ₁ ＞ａ₁ ）ａｎｄ（ｘ₂ ＞ａ₂ ）ＴＨＥＮ ｙ (8) ＩＦ（ｘ₃ ＞ａ₃ ）ａｎｄ（ｘ₄ ＜ａ₄ ）ＴＨＥＮ ｙ (9) 式(8) は「分類対象データの特徴量ｘ₁ が定数ａ₁ より
大きく、かつ、分類対象データの特徴量ｘ₂ が定数ａ₂
より大きければ、分類対象データはカテゴリｙに属す
る」ことを意味しており、式(9) の式は、「特徴量ｘ₃
が定数ａ₃ より大きく、且つ特徴量ｘ₄ が定数ａ₄ より
小さければ、分類対象データはカテゴリｙに属する」こ
とを意味している。これらの式から論理演算変換部３０
２は、「（特徴量ｘ₁ が定数ａ₁ より大きく、かつ特徴
量ｘ₂ が定数ａ₂ より大きい）または、（特徴量ｘ₃ が
定数ａ₃ より大きく、かつ特徴量ｘ₄ が定数ａ₄ より小
さい）ならば、ｙが真」を意味する以下の論理演算式(1
0)を生成する。但し、“・”は論理積、“＋”は論理
和、“¬”は論理否定を表す。 ｙ＝（ｘ₁ ＞ａ₁ ）・（ｘ₂ ＞ａ₂ ）＋（ｘ₃ ＞ａ₃ ）・¬（ｘ₄ ＞ａ₄ ） (10) 次に、結合荷重設定部３０３の動作について説明する。
図９は従来の第２の方法における結合荷重設定部を説明
するための図である。

【００２０】初期結合荷重設定部３０３は、論理演算変
換部３０２から与えられる論理演算式４０１（論理演算
式(10)）に従って、ニューラルネットワーク４０２の結
合構成及び結合荷重を決定する。ニューラルネットワー
ク４０２の結合構成は、同図に示すように、一つの第１
中間層ユニットを乗法項毎に、一つの第２中間層ユニッ
トを割り当てて、出力層で全乗法項の加法を実現するよ
うに行う。

【００２１】結合荷重ｗの決定方法は、特願平２−１８
５５７０に詳細に記述されているが、ここでは決定のた
めの計算式を示す。

【００２２】１．加法ユニット（出力層） ｎ−入力加法ユニットを考える。入力信号Ｉ_i （１≦ｉ
≦ｎ）を −１≦Ｉ_i ≦−θ の場合 … 「偽」 θ≦Ｉ_i ≦１ の場合 … 「真」 また、出力信号ｏを −１≦ｏ ≦−θ’の場合 … 「偽」 θ’≦ｏ ≦１ の場合 … 「真」 とする。但し、θ、−θ、θ’、−θ’は、閾値を表
す。以上の条件で、加法機能を実現する場合には、結合
荷重ｗ_i （１≦ｉ≦ｎ）とバイアスｗ₀ を以下のように
設定する。

【数４】 但し、入力が否定項である場合（ｙ＝ａ＋¬ｂのｂ）
は、結合荷重は、 ｗ_i ＝−ｗ とする。また、閾値θは、 θ＞（ｎ−１）／（ｎ＋１） という条件を満たす必要がある。

【００２３】２．乗法ユニット（第２中間層） 入力乗法ユニットｎ、閾値θ，θ’を加法の場合と同様
に定義する。乗法機能を実現するには、結合荷重ｗ
_i （１≦ｉ≦ｎ）とバイアスｗ_o を以下のように設定す
る。

【数５】 但し、入力が否定項である場合（ｙ＝ａ・¬ｂのｂ）に
は、結合荷重は ｗ_i ＝−ｗ する。また、閾値θは、 θ＞（ｎ−１）／（ｎ＋１） という条件を満たす必要がある。

【００２４】３．比較ユニット（第１中間層） 入力Ｉが定数Ａより大きい時に「真」を出力するユニッ
トの結合荷重ｗ₁ とバイアスｗ₀ との関係を以下のよう
に設定する。 ｗ₀ ＝−ｗ₁ Ａ (15) なお、ユニット及びユニット間の結合として論理式に対
応しない余分なものがあってもよく、これらの結合では
上で決定した結合荷重よりも絶対値の十分小さいランダ
ムな値に設定される。

【００２５】以上、結合荷重設定部３０３で得られたニ
ューラルネットワークに対して、結合荷重調整部２０３
は、従来の第１の技術と同様に、学習データの特徴量ベ
クトルを入力したときの実際の出力値ベクトルと分類結
果ベクトルの誤差が減少するように、学習データの分類
結果ベクトルを教師ベクトルとして結合荷重を微少量ず
つ繰り返し調整する。

【００２６】

【発明が解決しようとする課題】しかしながら、上記第
１の従来の方法は、学習データに対して正しい分類結果
が得られるように、学習データの分類結果ベクトルを教
師ベクトルとし、逆誤差伝搬学習方式を用いて学習を行
っている。このため、学習データに対しては高い分類精
度を与えるニューラルネットワークを得ることができる
が、学習データ以外の未知データを入力した時に、正し
い分類結果が得られる保証はない。また、学習データの
個数が少ない場合や、学習データにノイズが含まれてい
る場合など、学習データが分類対象データの本来の性質
を十分反映していない場合には、学習データに対して高
い分類性能を与えることができるニューラルネットワー
クであっても未知データに対しても高い分類精度を与え
るという保証はない。

【００２７】また、上記第２の従来の方法は、既知であ
る概ね正しいと考えられる分類規則と等価な分類機能を
有するようにニューラルネットワークの結合荷重を初期
設定しておき、これに対して学習データによる学習を行
っている。このため、従来の第１の方法に比較すれば、
未知データに対する分類精度が向上することが期待され
る。しかし、従来の第１の技術と同様に、学習データの
分類結果ベクトルを教師ベクトルとして学習を行ってい
るため、学習データにノイズ等が含まれている場合に
は、分類精度の低下を招く可能性がある。

【００２８】本発明は上記の点に鑑みなされたもので、
既知の分類規則と事例データからの学習を併用し、学習
データにノイズ等が含まれている場合にも未知データに
対する分類精度が向上するニューラルネットワークを構
成することが可能なニューラルネットワークの学習方式
を提供することを目的とする。

【００２９】

【課題を解決するための手段】図１は本発明の原理構成
図である。

【００３０】本発明のニューラルネットワークの学習方
式は、分類対象の特徴を表す特徴量ベクトルの次元数に
等しい数のユニットからなる入力層、分類対象の分類結
果を表す分類結果ベクトルの次元数に等しい数のユニッ
トからなる出力層、任意個数のユニットを有する０層以
上の任意層数の中間層及び、ユニット間を接続する結合
荷重からなる多重構造型のニューラルネットワーク１７
と、分類結果が既知である分類対象の特徴量ベクトル１
２と分類結果ベクトル１３の対からなる学習データを複
数保持する学習データ格納手段１１と、ニューラルネッ
トワーク１７の入力層に学習データの特徴量ベクトル１
２を入力した時のニューラルネットワーク１７の出力層
に得られる出力値ベクトルと、出力値ベクトルが得られ
る時の望ましい出力値である教師ベクトルとの誤差が減
少するようにニューラルネットワーク１７の結合荷重を
調整する結合荷重調整手段１６とを含むニューラルネッ
トワークの学習方式において、学習データの特徴量ベク
トル１２を入力とし、既知である分類規則に従って学習
データの分類を行って既知規則分類結果ベクトル及び分
類結果信頼度を出力する分類規則実行手段１と、学習デ
ータの特徴量ベクトル１２と分類結果ベクトル１３が入
力され、分類対象データの特徴量ベクトル１２の存在す
るベクトル空間内において、学習データの近傍に存在す
る他の複数個の学習データの特徴量ベクトル１２の分布
密度及び平均分類結果ベクトルを算出する分布平均算出
手段２と、分布平均算出手段２から出力された平均分類
結果ベクトルに分布密度に比例する重み係数を乗じたベ
クトルと、分類規則実行手段１より出力された既知規則
分類結果ベクトルに分類結果信頼度に比例する重み係数
を乗じたベクトルを算出し、これら二つのベクトルを加
え合わせて得られるベクトル教師ベクトル１５として出
力する教師ベクトル算出手段３と、学習データ格納手段
１１から読み出された特徴量ベクトル１４と教師ベクト
ル１５との対からなる教師データを複数保持し、結合荷
重調整手段１６に供給する教師データ格納手段４とを有
する。

【００３１】

【作用】本発明のニューラルネットワーク学習方式は、
ニューラルネットワークの結合荷重調整の際に、分類対
象データの特徴量ベクトル空間内において学習データの
分布密度が高い領域に属する学習データや既知分類規則
による分類結果の信頼度が低い学習データに対しては、
学習データの分類結果に高い重み付けをした教師ベクト
ルを用い、分布密度が低い領域に属する学習データや規
則分類結果の信頼度が高い学習データには、既知規則に
よる分類結果に高い重み付けをした教師ベクトルを用い
るように動作する。このため、学習データにノイズ等が
含まれている場合にも、未知データに対する十分な分類
精度が得られるニューラルネットワークを構成すること
が可能となる。

【００３２】

【実施例】以下、本発明の実施例を図面を用いて説明す
る。図２は本発明の一実施例の構成図である。同図にお
いて、本実施例のシステムは、学習データ格納部２０
２、分類規則実行部５０１、分布平均算出部５０２、教
師ベクトル算出部５０３、教師データ格納部５０４、ニ
ューラルネットワーク２０１、結合荷重調整部２０３よ
り構成される。

【００３３】分類規則実行部５０１は、学習データ格納
部２０２に格納された学習データの特徴量ベクトル２０
１−１に対して既知の分類規則に従って分類を行い、既
知規則分類結果ベクトル及び分類結果信頼度を出力す
る。

【００３４】分布平均算出部５０２は、学習データ格納
２０２から入力された学習データの特徴ベクトル２０１
−１についてベクトル空間内で近傍に存在する他の学習
データの分布密度及び平均分類結果ベクトルを算出す
る。

【００３５】教師ベクトル算出部５０３は、分布平均算
出部５０２から出力される平均分類結果ベクトルに分布
密度に比例した値を乗じたベクトルと、分類規則実行部
５０１から出力される既知規則分類結果ベクトルに分類
結果信頼度に比例する値を乗じたベクトルとを加え合わ
せて教師ベクトルとして出力する。

【００３６】教師データ格納部５０４は、学習データの
特徴量ベクトル５０４−１と教師ベクトル算出部５０３
で算出された教師ベクトル５０４−２を対として保持
し、ニューラルネットワークの結合荷重調整の際に、結
合荷重調整部２０３に出力する。他の構成要素は図７の
構成要素と同様である。

【００３７】図３は本発明の一実施例の動作を示すフロ
ーチャートである。

【００３８】ステップ１１からステップ１５は教師ベク
トル算出部５０３が教師ベクトルを算出する過程であ
り、ステップ２１からステップ２３は、結合荷重調整部
２０３が算出された教師ベクトル５０４−２を用いてニ
ューラルネットワーク２０１−１の結合荷重を調整する
過程である。

【００３９】ステップ１１：学習データ格納部２０２よ
り学習データの特徴ベクトルｘ＝（ｘ₁ ，ｘ₂ ，…，ｘ
_n ）と分類結果ベクトルｚ＝（ｚ₁ ，ｚ₂ ，…，ｚ_m ）
の対（ｘ，ｚ）を一つ読み出す。

【００４０】ステップ１２：分類規則実行部５０１は、
学習データ格納部２０２より読み出された特徴量ベクト
ルｘに対して後に詳細に述べるように、予め設定された
分類規則を適用し、既知規則分類結果ベクトルｒ＝（ｒ
₁ ，ｒ₂ ，…，ｒ_m ）及び分類結果信頼度ｃを算出す
る。

【００４１】ステップ１３：一方、分布平均算出部５０
２は、ステップ１１で読み出された特徴量ベクトルｘを
保持しておき、後に詳細に述べるように、特徴量ベクト
ル空間内におけるｘの近傍の特徴量ベクトルの分布密度
ｐと、平均分類結果ベクトルｚ^* を求める。

【００４２】ステップ１４：教師ベクトル算出部５０３
は、以下の式に従って、教師ベクトルｙを算出する。

【数６】 ここで、ｒ，ｃはステップ１２で算出された既知規則分
類結果ベクトルと分類結果信頼度であり、ｚ^* ，ｐはス
テップ１３で算出された平均分類結果ベクトルと分類密
度である。

【００４３】ステップ１５：ステップ１１で学習データ
格納部２０２より読み出された特徴量ベクトルｘとステ
ップ１４で算出された教師ベクトルｙの対（ｘ，ｙ）を
教師データ格納部５０４に格納する。

【００４４】以上のステップ１１からステップ１５を学
習データ格納手段２０２に格納された全ての学習データ
に対して繰り返して教師データを作成する。

【００４５】次に、上記で生成された教師データを用い
てニューラルネットワークの結合荷重を調整する結合荷
重調整部２０３は以下の動作を行う。但し、この動作は
従来の第１の方法と同様の動作である。

【００４６】ステップ２１：教師データ格納手段５０４
から、教師データ、即ち特徴量ベクトルｘ＝（ｘ₁ ，ｘ
₂ ，…，ｘ_n ）と教師ベクトルｙ＝（ｙ₁ ，ｙ₂ ，…，
ｙ_n）の対（ｘ，ｙ）を一つ読み出す。

【００４７】ステップ２２：特徴量ベクトルｘをニュー
ラルネットワークに入力して出力値ベクトルｏ_K ＝（ｏ
_K1，ｏ_K2，…，ｏ_Km）を得る。これから、誤差ｅ_j ＝ｏ
_Kj−ｙ_j を算出する。

【００４８】ステップ２３：逆誤差伝搬により結合荷重
を調整する。すなわち、誤差ｅ_j を用いて、式(6) に従
って出力層の調整量ｄ_Kjを算出する。さらにこの調整量
を用いて式(7) に従って、中間層の調整量ｄ_kjを算出す
る。これによって、得られた調整量ｄ_kjを用い、式(5)
に従って、結合荷重の変化量δ_kij を算出してニューラ
ルネットワークの結合荷重の調整を行う。

【００４９】以上のステップ２１から２３の動作を教師
データ格納部５０４に格納された全ての教師データに対
して繰り返す。さらに、式(5) の二乗誤差Ｅが一定値以
下になるまで、繰り返し教師データを与えて以上の動作
を繰り返す。

【００５０】次に、上記のステップ１２における分類規
則実行部５０１の動作について詳細に説明する。

【００５１】図４は本発明の一実施例の分類規則実行部
の動作を説明するためのフローチャートを示す。

【００５２】ステップ１２１：ｊ番目のカテゴリに対す
る分類規則が以下のように与えられているとする。 ＩＦ （（ｘ₁ ≧ａ₁ ）ａｎｄ（ｘ₂ ≧ａ₂ ）） ｏｒ （（ｘ₃ ≧ａ₃ ）ａｎｄ（ｘ₄ ≦ａ₄ ）） ＴＨＥＮ Ｃ_j (17) 分類規則実行手段５０１は、図３のステップ１１で学習
データ格納部２０２より読み出された特徴量ベクトルｘ
＝（ｘ₁ ，ｘ₂ ，…ｘ_n ）を用いてこの規則を実行し、
結果が真であれば、既知規則分類結果ベクトルｒのｊ番
目の要素ｒ_j を１に、偽であれば、“−１”にする。上
記の式(17)では、「特徴量ｘ₁ が定数ａ₁以上かつ特徴
量ｘ₂ が定数ａ₂ 以上か又は、特徴量ｘ₃ が定数ａ₃ 以
上で且つ、特徴量ｘ₄ が定数ａ₄ 以下」であれば、既知
規則分類結果ベクトルｒ_j ＝１とし、それ以外の場合
は、既知規則分類結果ベクトルｒ＝−１とする。これを
すべてのカテゴリに対する分類規則について実行し、既
知規則分類結果ベクトルｒのすべての要素を決定する。

【００５３】ステップ１２２：ｊ番目のカテゴリに対す
る分類規則を構成する比較・論理積・論理和の演算に対
応して以下のような演算を行って分類結果信頼度ｃ_j を
求める。

【００５４】１．比較演算ｘ＞ａの信頼度：特徴量ｘと
定数ａの差が小さいときに、“０”、大きい時に“１”
に近づくような値とする。例えば、tanh² （（ｘ−ａ）
／ｂ）とする。ここで、ｂは適当な定数とする。特別な
場合として、ｂ＝０とした場合には、比較演算の信頼度
は常に１、ｂ＝∞とした場合には、比較演算の信頼度は
常に０とする。

【００５５】２．論理積Ａ₁ and Ａ₂ の信頼度：論理積
Ａ₁ とＡ₂ の信頼度の最小値とする。

【００５６】３．論理和Ａ₁ ｏr Ａ₂ の信頼度:論理和
Ａ₁ とＡ₂ の信頼度の最大値とする。

【００５７】従って、式(17)の例では、信頼度の算出
は、以下の式に従って行われる。但し、min ( ),max( )
は、引数の最大値、最小値をとる演算である。

【００５８】 ｃ_j ＝max( min (tanh²(( ｘ₁ −ａ₁ ) ／ｂ₁),tanh²((ｘ₂ −ａ₂)／ｂ₂)) ， min (tanh²(( ｘ₃ −ａ₃ ) ／ｂ₃),tanh²((ｘ₄ −ａ₄)／ｂ₄)) ） (18) 以上の操作を全てのカテゴリに対する分類規則について
実行して、各分類規則の分類結果信頼度ｃ₁ ，ｃ₂ ，
…，ｃ_m を求め、それらのうち最小のものに、全体的に
分類規則にどの程度の信頼を置くかを表す定数Ｃを乗じ
て最終的な分類結果信頼度ｃ（ｘ）とする。即ち、分類
結果信頼度ｃは、 ｃ＝Ｃ×min(ｃ₁ ，ｃ₂ ，…，ｃ_m ） (19) として算出する。

【００５９】次に、図３のフローチャートのステップ１
３における分布平均算出部５０２の動作について説明す
る。図５は、本発明の一実施例の分布平均算出部の動作
を説明するフローチャートを示す。

【００６０】ステップ１３１：学習データ格納手段２０
２より全ての学習データ（ｘ_i ，ｚ _i ）を読み出し、そ
のうち、特徴量ベクトルｘ_i ＝（ｘ_i1，ｘ_i2，…，
ｘ_in）とステップ１１で読み出した特徴ベクトルｘ＝
（ｘ₁ ，ｘ₂ ，…，ｘ_n ）とのユークリッド距離ｓ

【数７】 を求める。

【００６１】ステップ１３２：ユーックリッド距離ｓ
が、予め設定された値th以下であるものを選択する。

【００６２】ステップ１３３：以下の式に従って特徴量
ベクトルの分布密度ｐを求める。

【数８】 ここで、Ｎは学習データ格納手段２０３に格納された学
習データの総数、Ｍはステップ１３２で選択された学習
データ数、Ｖ（ｚ）はｎ次元の特徴量ベクトル空間内に
おける半径thのｎ次元超球の体積である。

【００６３】ステップ１３３：以下に式に従って、選択
された学習データの分類結果ベクトルの平均ｚ^* を求め
る。以下の式では和は選択された学習データに対してと
る。

【数９】

【００６４】なお、上記の実施例において、学習の対象
となるニューラルネットワークは入力層のユニット数が
特徴量ベクトルの次元数に等しく出力層のユニット数が
分類結果ベクトルの次元数に等しいものであれば、どの
ような構成のものでもよい。例えば、第２の従来の方法
に示したように、予め既知の分類規則と等価な分類機能
を有するように構造及び結合荷重を設定したものを用い
ることができる。

【００６５】また、既知分類規則として分類結果が「真
／偽」の二値となる“ＩＦ−ＴＨＥＮ”型規則の例を示
したが、ファジー規則のように分類結果を連続値で出力
するようなものも上記の構成で同様に扱うことが可能で
ある。分類規則による分類結果信頼度についてもその算
出方法は上記の実施例に示した方法に限定されない。

【００６６】なお、上記実施例において、特徴量ベクト
ルの分布密度を求める際に、その分布形態はどのような
形態であってもよく、限定されるものではない。

【００６７】さらに、分布平均算出部５０２についても
上記に示したものは１つの構成例であって同様な機能を
有する他の実現手段と置き換えることが可能である。

【００６８】

【発明の効果】上述のように本発明のニューラルネット
ワークの学習方式では、分類対象データの特徴量ベクト
ル空間内において、学習データの分布密度が高い領域に
属する学習データや既知分類規則による分類結果が低い
学習データに対しては学習データの分類結果に高い重み
付けをした教師ベクトルを用い、分布密度が低い領域に
属する学習データや規則分類結果の信頼度が高い学習デ
ータには既知規則による分類結果に高い重み付けをした
教示ベクトルを用いてニューラルネットワークの結合荷
重調整を行うように構成されているため、学習データに
ノイズ等が含まれている場合にも、未知データに対する
分類精度が向上するニューラルネットワークを構成する
ことができる。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の一実施例の構成図である。

【図３】本発明の一実施例の動作を示すフローチャート
である。

【図４】本発明の一実施例の分類規則実行部の動作を説
明するためのフローチャートを示す。

【図５】本発明の一実施例の分布平均算出部の動作を説
明するフローチャートを示す。

【図６】多層構造型ニューラルネットワークの構成図で
ある。

【図７】従来の第１の方法を説明するための図である。

【図８】従来の第２の方法を説明するための図である。

【図９】従来の第２の方法における結合荷重設定部を説
明するための図である。

【符号の説明】

１ 分類規則実行手段 ２ 分布平均算出手段 ３ 教師ベクトル算出手段 ４ 教師データ格納手段 １１ 学習データ格納手段 １２ 特徴量ベクトル １３ 分類結果ベクトル １４ 特徴量ベクトル １５ 教師ベクトル １６ 結合荷重調整手段 １７ 多層構造型ニューラルネットワーク １０１ 入力層 １０２ 出力層 １０３ 中間層 ２０２ 学習データ格納部 ２０１−１ 学習前のニューラルネットワーク ２０１−２ 学習後のニューラルネットワーク ２０２−１ 特徴量ベクトル ２０２−２ 分類結果ベクトル ２０３ 結合荷重調整部 ３０１ 既知の事例データ分類規則 ３０２ 論理演算変換手段 ３０３ 結合荷重設定手段 ４０１ 論理演算式 ４０２ ニューラルネットワーク ５０１ 分類規則実行部 ５０２ 分布平均算出部 ５０３ 教師ベクトル算出部 ５０４ 教師データ格納部 ５０４−１ 特徴量ベクトル ５０４−２ 教師ベクトル

Claims (1)

【特許請求の範囲】
1. 【請求項１】 分類対象の特徴を表す特徴量ベクトルの
   次元数に等しい数のユニットからなる入力層、分類対象
   の分類結果を表す分類結果ベクトルの次元数に等しい数
   のユニットからなる出力層、任意個数のユニットを有す
   る０層以上の任意層数の中間層及び、ユニット間を接続
   する結合荷重からなる多重構造型のニューラルネットワ
   ークと、分類結果が既知である分類対象の特徴量ベクト
   ルと分類結果ベクトルの対からなる学習データを複数保
   持する学習データ格納手段と、該ニューラルネットワー
   クの入力層に該学習データの特徴量ベクトルを入力した
   時の該ニューラルネットワークの出力層に得られる出力
   値ベクトルと、該出力値ベクトルが得られる時の望まし
   い出力値である教師ベクトルとの誤差が減少するように
   該ニューラルネットワークの結合荷重を調整する結合荷
   重調整手段とを含むニューラルネットワークの学習方式
   において、 該学習データの特徴量ベクトルを入力とし、既知である
   分類規則に従って該学習データの分類を行って既知規則
   分類結果ベクトル及び分類結果信頼度を出力する分類規
   則実行手段と、 該学習データの特徴量ベクトルと分類結果ベクトルを入
   力とし、分類対象データの特徴量ベクトルの存在するベ
   クトル空間内において、該学習データの近傍に存在する
   他の複数個の学習データの特徴量ベクトルの分布密度及
   び平均分類結果ベクトルを算出する分布平均算出手段
   と、 該分布平均算出手段から出力された該平均分類結果ベク
   トルに該分布密度に比例する重み係数を乗じたベクトル
   と、該分類規則実行手段より出力された既知規則分類結
   果ベクトルに分類結果信頼度に比例する重み係数を乗じ
   たベクトルを算出し、これら二つのベクトルを加え合わ
   せて得られるベクトルを該教師ベクトルとして出力する
   教師ベクトル算出手段と、 該学習データ格納手段から読み出された特徴量ベクトル
   と該教師ベクトルとの対からなる教師データを複数保持
   し、該結合荷重調整手段に供給する教師データ格納手段
   とを有することを特徴とするニューラルネットワークの
   学習方式。