JPH08106295A - パターン認識方法及び装置 - Google Patents

Abstract

(57)【要約】 【目的】 学習段階に用いられない未知なる入力パター
ンを従来例に比較してより正確に認識することができ、
より高い認識精度を有するパターン認識方法及び装置を
提供する。 【構成】 入力されたパターンを所定の複数の類の１つ
に分類して認識するパターン認識方法において、入力さ
れたパターンを、各類の特徴を強調するように各類に対
応した変換パラメータを用いて特徴変換処理を実行する
ことにより各類に対応した複数の特徴空間のベクトルに
変換し、変換した複数の特徴空間のベクトルに対してそ
れぞれ、各類の類似性尺度を示す判別関数を用いて判別
関数の値を計算し、計算した複数の判別関数の値に基づ
いて入力されたパターンが属する類を選択することによ
りパターン認識を実行し、学習用パターンに基づいて、
特徴変換処理の変換パラメータと判別関数とをパターン
認識の誤り確率が最小になるように学習させて設定す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば、音声、文字、
画像などのある類又はクラスに属する数値表現が可能な
パターンを認識して、類に分類するためのパターン認識
方法及び装置に関する。

【０００２】

【従来の技術】音声認識や文字認識、画像認識などのパ
ターン認識は基本的に、音声、文字、又は画像などの認
識対象を数量的に観測した量であるパターンを予め設定
された類又はクラスに分類して対応付ける問題と捉えら
れる。パターン認識は、基本的には、図２に示すよう
に、特徴抽出部１と、分類部２とから構成される。ここ
で、特徴抽出部１は、認識にとって不必要な情報まで含
んだ高次元の観測量を含む音声、文字又は画像などの入
力パターンを、当該パターン認識にとって必要な類固有
の特性を表現する低次元の情報である特徴量に変換す
る。次いで、分類部２は、変換された特徴量を所定の類
に分類して対応づけて分類結果を出力する。

【０００３】分類部２は、基本的には、図３に示すよう
に、複数Ｋ個の判別関数器３−１乃至３−Ｋと選択器４
を備え、入力された特徴量の各類への帰属度又は各類の
類似性尺度を表す「判別関数」を予め定めておき、この
判別関数の値が最大又は最小になる類に入力パターンを
対応づけることによって分類処理が実行される。すなわ
ち、入力パターンの特徴ベクトルｘは、それぞれ所定の
判別関数を有する各判別関数器３−１乃至３−Ｋに入力
され、各判別関数器３−１乃至３−Ｋはそれぞれ所定の
判別関数を用いて判別関数値を計算して選択器４に出力
する。選択器４は、複数Ｋ個の判別関数値のうち所定の
最大値又は最小値の判別関数値を選択して、選択した判
別関数値を出力した判別関数器が示す類の情報を分類結
果として出力する。このように、パターン認識は従来、
属している類が既知の学習標本集合を用いて各判別関数
器３−１乃至３−Ｋの判別関数を学習させ、必ずしも学
習標本の集合に含まれない新たな未知標本を認識するこ
とで行なわれる。

【０００４】また、従来、入力パターンを所定の特徴空
間に変換する特徴変換部１は、図４に示すように、複数
Ｋ個の判別関数器３−１乃至３−Ｋに対して１個のみ設
けられる。すなわち、特徴空間は、すべての類に対して
共通に与えられる。ここで、特徴抽出部１の特徴変換
は、分類部２の判別関数の設定と独立に先験的に設定さ
れ、分類部２の判別関数はこの特徴抽出部１によって得
られる特徴空間が与えられた後に設定される。

【０００５】パターン認識においては、各種の優れた特
徴抽出法が多数提案され、実用化されている。ＫＬ変換
や重判別分析に代表される統計的・線形的特徴抽出法
は、数理的基盤の充実性と計算の簡便さにより、主に文
字・画像認識の分野で広く用いられている（例えば、エ
ルッキ・オヤ著，小川英光，佐藤誠共訳，“パターン認
識と部分空間法”，産業図書，１９８６年（以下、参考
文献１という。）、又は鳥脇純一郎著，“認識工学”，
テレビジョン学会編，コロナ社，１９９３年（以下、参
考文献２という。）参照。）。特に、音声認識分野にお
ける音声特徴抽出法として、フーリエ変換に基づく短時
間パワースペクトルや線形予測分析（ＬＰＣ）法、ケプ
ストラム法等が知られている（例えば、L.Rabiner及び
B.H. Juang,“Fundamentals of Speech Recognition”,
Prentice-Hall International Inc., １９９３年（以
下、参考文献３という。）参照。）。これらは、類の分
類に必要な音声の言語的特徴を比較的低次元で効率良く
表現できる方法であるため、現在の音声認識装置におけ
る特徴抽出法としてしばしば使用されている。

【０００６】

【発明が解決しようとする課題】しかしながら、実際の
パターン認識システムの使用環境においては、同一の類
においても、これらの優れた特徴量はさまざまな要因に
より変動する。例えば音声認識においては、例えば発声
速度の違いや調音結合などの性別の違いや話者の違い、
例えば背景雑音などの音響的な環境の違いが重要な変動
要因としてあげられ、このことは、音声認識装置の不特
定話者に対する性能の劣化や、耐雑音性の低下の要因と
なる。実際の状況においては、音声認識装置の学習に用
いられる学習標本とは異なる未知標本に対して良好な認
識性能を有する音声認識装置の学習が本質的に重要であ
る。そのためには、各類における特徴量の統計的変動の
解析が重要である。従来、特徴量の変動を表現するため
の基本的な技法として、各類に複数の標準パターンであ
るテンプレートを割り当てる方法、いわゆるマルチテン
プレート法がよく用いられている。学習ベクトル量子化
（ＬＶＱ）などの複数のテンプレートとの距離で分類す
る手法（例えば、S.Katagiri,C.H.Lee,及びB.H. Juang,
“New discriminative training algorithms based on
the generalized probabilistic descent method”,Pro
ceedings of 1991 IEEE Workshop on Neural Networks
for Signal Processing,pp.299-308,プリンストン，ニ
ュージャージー州，米国，１９９１年９月（以下、参考
文献４という。）参照。）や、混合ガウス分布による隠
れマルコフモデル（ＨＭＭ）に基づく手法（例えば、参
考文献３、又はX.D. Huang,Y. Ariki及びM.A.Jack,“Hi
dden Marcov Models for Speech Recognition”,Edinbu
rgh University Press, Edinburgh,１９９０年（以下、
参考文献５という。）参照。）などが、この方法に含ま
れる。これらのマルチテンプレート法では、ばらつきを
良く表現する目的でテンプレートの数を増加させた場
合、同時に調節すべきパラメータの数が増大するため、
有限個の学習標本に過度にパラメータが調節されてしま
って過学習となり、未知標本の認識精度が劣化する問題
が生ずる。このため、パラメータ数を極力減らし、学習
標本の認識精度を抑制することにより未知標本の認識精
度劣化を抑える手段がよくとられる。しかし、パラメー
タ数の最適化は難しい問題であり、通常発見的に行なわ
れる。

【０００７】図４の従来例のパターン認識装置は、分類
部２と独立に経験的に学習される特徴抽出部１を用い
て、しかも先験的に与えられる判別関数を用いる。こう
して得られるパターン認識結果は、特徴抽出と判別関数
とのいずれもが、パターン認識の目標である認識誤りの
最小化というパターン認識の本来の目的との一貫性が無
いものであるために、認識精度の観点から最適であるこ
とは保証されず、認識精度が比較的低いという問題点が
あった。しかも、パターン認識装置は本質的には、学習
段階に用いられない未知なる入力パターンを正確に認識
することが望まれるが、先験的に与えられる特徴抽出と
判別関数とを用いるパターン認識が正確に認識できる入
力パターンは原理的には、高々学習用段階に用いられる
入力パターンのみである。これらの経験的又は先験的な
特徴学習及び計量学習に基づく方法は、認識結果との一
貫性がないため、未知なるパターンに対する学習の耐性
の向上に関する合理的な対策、具体的には数理的な対策
がきわめて難しいという問題点があった。

【０００８】本発明の目的は以上の問題点を解決し、学
習段階に用いられない未知なる入力パターンを従来例に
比較してより正確に認識することができ、より高い認識
精度を有するパターン認識方法及び装置を提供すること
にある。

【０００９】

【課題を解決するための手段】本発明に係る請求項１記
載のパターン認識方法は、入力されたパターンを所定の
複数の類の１つに分類して認識するパターン認識方法に
おいて、入力されたパターンを、上記各類の特徴を強調
するように上記各類に対応した所定の変換パラメータを
用いて特徴変換処理を実行することにより上記各類に対
応した複数の特徴空間のベクトルに変換し、上記変換し
た複数の特徴空間のベクトルに対してそれぞれ、上記各
類の類似性尺度を示す所定の判別関数を用いて判別関数
の値を計算し、上記計算した上記各類に対応する複数の
判別関数の値に基づいて上記入力されたパターンが属す
る類を選択することによりパターン認識を実行し、所定
の学習用パターンに基づいて、上記特徴変換処理の変換
パラメータと、上記判別関数とを、パターン認識の誤り
確率が最小になるように学習させて設定することを特徴
とする。

【００１０】また、請求項２記載のパターン認識方法
は、請求項１記載のパターン認識方法において、上記特
徴変換処理は、入力されたパターンを、所定の基底ベク
トルに対して写像しかつ所定の実数を乗算することによ
り上記各類に対応した複数の特徴空間のベクトルに線形
変換することを特徴とする。さらに、請求項３記載のパ
ターン認識方法は、請求項１又は２記載のパターン認識
方法において、上記判別関数は、上記各類の類似性尺度
を示す所定の２次判別関数であることを特徴とする。ま
たさらに、請求項４記載のパターン認識方法は、請求項
１、２又は３記載のパターン認識方法において、所定の
学習用パターンに基づいて、上記特徴変換処理の変換パ
ラメータと、上記判別関数とを、確率的降下定理を用い
る適応的最小化法を用いてパターン認識の誤り確率が最
小になるように適応化することを特徴とする。

【００１１】本発明に係る請求項５記載のパターン認識
装置は、入力されたパターンを所定の複数の類の１つに
分類して認識するパターン認識装置において、上記複数
の類毎に設けられ、入力されたパターンを、上記各類の
特徴を強調するように上記各類に対応した所定の変換パ
ラメータを用いて特徴変換処理を実行することにより上
記各類に対応した複数の特徴空間のベクトルにそれぞれ
変換する複数の特徴変換手段と、上記複数の類毎に設け
られ、上記複数の特徴変換手段によって変換された複数
の特徴空間のベクトルに対してそれぞれ、上記各類の類
似性尺度を示す所定の判別関数を用いて判別関数の値を
それぞれ計算する複数の判別関数手段と、上記複数の判
別関数手段によって計算された上記各類に対応する複数
の判別関数の値に基づいて上記入力されたパターンが属
する類を選択することによりパターン認識を実行する選
択手段と、所定の学習用パターンに基づいて、上記複数
の特徴変換処理の変換パラメータと、上記複数の判別関
数とを、パターン認識の誤り確率が最小になるように学
習させて設定する学習制御手段とを備えたことを特徴と
する。

【００１２】また、請求項６記載のパターン認識装置
は、請求項５記載のパターン認識装置において、上記複
数の特徴変換手段はそれぞれ、入力されたパターンを、
所定の基底ベクトルに対して写像しかつ所定の実数を乗
算することにより上記各類に対応した複数の特徴空間の
ベクトルに線形変換することを特徴とする。さらに、請
求項７記載のパターン認識装置は、請求項５又は６記載
のパターン認識装置において、上記複数の判別関数手段
の判別関数はそれぞれ、上記各類の類似性尺度を示す所
定の２次判別関数であることを特徴とする。またさら
に、請求項８記載のパターン認識装置は、請求項５、６
又は７記載のパターン認識装置において、上記学習制御
手段は、所定の学習用パターンに基づいて、上記複数の
特徴変換処理の変換パラメータと、上記複数の判別関数
手段の判別関数とを、確率的降下定理を用いる適応的最
小化法を用いてパターン認識の誤り確率が最小になるよ
うに適応化することを特徴とする。

【００１３】また、請求項９記載のパターン認識装置
は、請求項５乃至８のうちの１つに記載のパターン認識
装置において、さらに、入力された音声を音声信号に変
換して出力する信号変換手段と、上記信号変換手段から
出力される音声信号を所定の音声の特徴パラメータに変
換して変換した特徴パラメータを、もしくは上記音声信
号を、パターンとして上記複数の特徴変換手段及び上記
学習制御手段に出力する特徴抽出手段とを備え、上記入
力された音声を認識することを特徴とする。さらに、請
求項１０記載のパターン認識装置は、請求項９記載のパ
ターン認識装置において、上記特徴抽出手段は、上記信
号変換手段から出力される音声信号に対して、線形予測
分析を行ってＬＰＣケプストラム係数ベクトルに変換し
てパターンとして上記複数の特徴変換手段及び上記学習
制御手段に出力することを特徴とする。またさらに、請
求項１１記載のパターン認識装置は、請求項５、６又は
７記載のパターン認識装置において、さらに、文字又は
画像をドット画像データに変換してパターンとして上記
複数の特徴変換手段及び上記学習制御手段に出力する画
像変換手段を備え、上記文字又は画像を認識することを
特徴とする。

【００１４】

【作用】請求項１記載のパターン認識方法においては、
入力されたパターンを、上記各類の特徴を強調するよう
に上記各類に対応した所定の変換パラメータを用いて特
徴変換処理を実行することにより上記各類に対応した複
数の特徴空間のベクトルに変換し、上記変換した複数の
特徴空間のベクトルに対してそれぞれ、上記各類の類似
性尺度を示す所定の判別関数を用いて判別関数の値を計
算し、上記計算した上記各類に対応する複数の判別関数
の値に基づいて上記入力されたパターンが属する類を選
択することによりパターン認識を実行し、所定の学習用
パターンに基づいて、上記特徴変換処理の変換パラメー
タと、上記判別関数とを、パターン認識の誤り確率が最
小になるように学習させて設定する。従って、本発明に
よれば、パターン認識装置の学習用パターンとは異なる
未知のパターンに対して精度の高いパターン認識装置の
学習のための新しい方法を提供し、類固有の特徴を効果
的に表現する特徴計量空間、すなわち、類固有の判別関
数の計量を識別的に、すなわち認識誤りが減少するよう
に学習することができる。それ故、従来全ての類で共通
の特徴空間で類別評価が行なわれていたのに対して、本
発明では、類の特徴を表現する各類固有の空間で評価が
行なわれるため、未知のパターンに対しても変動要因が
抑制され、認識性能が向上し、従来に比較して高い認識
精度を得ることができる。

【００１５】また、請求項２記載のパターン認識方法に
おいては、上記特徴変換処理は、好ましくは、入力され
たパターンを、所定の基底ベクトルに対して写像しかつ
所定の実数を乗算することにより上記各類に対応した複
数の特徴空間のベクトルに線形変換する。さらに、請求
項３記載のパターン認識方法においては、上記判別関数
は、好ましくは、上記各類の類似性尺度を示す所定の２
次判別関数である。またさらに、請求項４記載のパター
ン認識方法においては、好ましくは、所定の学習用パタ
ーンに基づいて、上記特徴変換処理の変換パラメータ
と、上記判別関数とを、確率的降下定理を用いる適応的
最小化法を用いてパターン認識の誤り確率が最小になる
ように適応化する。

【００１６】請求項５記載のパターン認識装置において
は、上記複数の特徴変換手段はそれぞれ、入力されたパ
ターンを、上記各類の特徴を強調するように上記各類に
対応した所定の変換パラメータを用いて特徴変換処理を
実行することにより上記各類に対応した複数の特徴空間
のベクトルにそれぞれ変換する。次いで、上記複数の判
別関数手段は、上記複数の特徴変換手段によって変換さ
れた複数の特徴空間のベクトルに対してそれぞれ、上記
各類の類似性尺度を示す所定の判別関数を用いて判別関
数の値をそれぞれ計算する。そして、上記選択手段は、
上記複数の判別関数手段によって計算された上記各類に
対応する複数の判別関数の値に基づいて上記入力された
パターンが属する類を選択することによりパターン認識
を実行する。さらに、上記学習制御手段は、所定の学習
用パターンに基づいて、上記複数の特徴変換処理の変換
パラメータと、上記複数の判別関数とを、パターン認識
の誤り確率が最小になるように学習させて設定する。従
って、本発明によれば、パターン認識装置の学習用パタ
ーンとは異なる未知のパターンに対して精度の高いパタ
ーン認識装置の学習のための新しいパターン認識装置を
提供し、類固有の特徴を効果的に表現する特徴計量空
間、すなわち、類固有の判別関数の計量を識別的に、す
なわち認識誤りが減少するように学習することができ
る。それ故、従来全ての類で共通の特徴空間で類別評価
が行なわれていたのに対して、本発明では、類の特徴を
表現する各類固有の空間で評価が行なわれるため、未知
のパターンに対しても変動要因が抑制され、認識性能が
向上し、従来に比較して高い認識精度を得ることができ
る。

【００１７】また、請求項６記載のパターン認識装置に
おいては、上記複数の特徴変換手段はそれぞれ、好まし
くは、入力されたパターンを、所定の基底ベクトルに対
して写像しかつ所定の実数を乗算することにより上記各
類に対応した複数の特徴空間のベクトルに線形変換す
る。さらに、請求項７記載のパターン認識装置において
は、上記複数の判別関数手段の判別関数はそれぞれ、好
ましくは、上記各類の類似性尺度を示す所定の２次判別
関数である。またさらに、請求項８記載のパターン認識
装置においては、上記学習制御手段は、好ましくは、所
定の学習用パターンに基づいて、上記複数の特徴変換処
理の変換パラメータと、上記複数の判別関数手段の判別
関数とを、確率的降下定理を用いる適応的最小化法を用
いてパターン認識の誤り確率が最小になるように適応化
する。

【００１８】また、請求項９記載のパターン認識装置に
おいては、上記信号変換手段は、入力された音声を音声
信号に変換して出力し、上記特徴抽出手段は、上記信号
変換手段から出力される音声信号を所定の音声の特徴パ
ラメータに変換して変換した特徴パラメータを、もしく
は上記音声信号を、パターンとして上記複数の特徴変換
手段及び上記学習制御手段に出力する。ここで、学習用
音声を上記信号変換手段に入力することにより、上記学
習制御手段により学習処理が実行され、その後、未知の
音声を上記信号変換手段に入力することにより入力され
た未知の音声を認識することができる。さらに、請求項
１０記載のパターン認識装置においては、上記特徴抽出
手段は、好ましくは、上記信号変換手段から出力される
音声信号に対して、線形予測分析を行ってＬＰＣケプス
トラム係数ベクトルに変換してパターンとして上記複数
の特徴変換手段及び上記学習制御手段に出力する。この
とき、請求項９記載のパターン認識装置と同様に、学習
処理及び未知の音声認識を行うことができる。またさら
に、請求項１１記載のパターン認識装置においては、上
記画像変換手段は、文字又は画像をドット画像データに
変換してパターンとして上記複数の特徴変換手段及び上
記学習制御手段に出力する。ここで、学習用文字又は画
像を上記画像変換手段に入力することにより、上記学習
制御手段により学習処理が実行され、その後、未知の文
字又は画像を上記画像変換手段に入力することにより入
力された未知の文字又は画像を認識することができる。

【００１９】

【実施例】以下、図面を参照して本発明に係る実施例に
ついて説明する。 （１）パターン認識装置の構成 図１に、音声認識装置として用いられる本実施例のパタ
ーン認識装置を示す。本実施例のパターン認識装置は、
学習用パターンに基づいて装置パラメータの学習を行う
学習モードと、未知のパターンに対して認識処理を実行
する認識モードとを有し、図１に示すように、マイクロ
ホン２００と、特徴抽出部２０１と、複数Ｋ個の特徴変
換部１０−１乃至１０−Ｋと、複数Ｋ個の判別関数器１
１−１乃至１１−Ｋと、選択器１２と、パラメータ学習
制御部２０とを備える。特に、本実施例のパターン認識
装置は、パターン認識の分類を行う複数の類毎に、１つ
の特徴変換部と１つの判別関数器との対を設け、しかも
各類毎の特徴変換部の特徴変換のパラメータと判別関数
器の判別関数のパラメータとを、該当する類の特徴に対
応し類の特徴を認識するように、すなわちパターン認識
の誤り確率が最小になるように適応化して学習して設定
するパラメータ学習制御部２０を備えたことを特徴とす
る。

【００２０】マイクロホン２００は、入力音声を音声信
号に変換して特徴抽出部２０１に出力する。次いで、特
徴抽出部２０１は、入力された音声信号を所定のサンプ
リング周波数でかつ所定の量子化ビット数で音声データ
にＡ／Ｄ変換した後、変換された音声データに対して例
えば線形予測分析（ＬＰＣ）を実行して、例えば３２次
元ＬＰＣケプストラム係数などの音声の特徴パラメータ
のベクトルを抽出し、入力パターンｘとして特徴変換部
１０−１乃至１０−Ｋとパラメータ学習制御部２０とに
出力する。各特徴変換部１０−１乃至１０−Ｋはそれぞ
れ、パラメータ学習制御部２０によって変更可能であっ
て各判別関数器１１−１乃至１１−Ｋに対応した特徴変
換のための所定の特徴変換のパラメータを有し、入力パ
ターンｘに対して対応する類の特徴を強調するための特
徴変換の処理を実行することによって、入力パターンｘ
を特徴ベクトルｙ_s（ｓ＝１，２，…，Ｋ）に変換して
対応する判別関数器１１−１乃至１１−Ｋに出力する。
ここで、特徴変換の処理は、図６を参照して詳細後述す
るように、入力パターンｘを対応する類Ｃ_iの特徴を表
わす類特徴軸である基底ベクトルに対して正射影して写
像し、かつ所定の実数を乗算することにより拡大又は縮
小する。これによって、類固有の本質的な特徴を表わす
特徴計量空間において入力パターンｘを評価することが
できるように特徴ベクトルｙ_sに変換する。

【００２１】さらに、判別関数器１１−１乃至１１−Ｋ
はそれぞれ、パラメータ学習制御部２０によって変更可
能であって所定の類に対する類似性尺度又は類の帰属度
を示す所定の判別関数を有し、入力された特徴ベクトル
ｙ_sに対する判別関数値ｇ_s（ｙ_s）（ｓ＝１，２，…，
Ｋ）を計算して選択器１２に出力する。選択器１２は、
入力される複数Ｋ個の判別関数値ｇ_s（ｙ_s）の中で最小
値の判別関数値を出力した判別関数器（１１−１乃至１
１−Ｋのうちの１つ）に対応する類の情報を分類結果と
して出力する。

【００２２】パラメータ学習制御部２０は、学習モード
において動作され、入力される学習用入力パターンｘに
基づいて、特徴変換部１０−１乃至１０−Ｋの特徴変換
のパラメータと、判別関数器１１−１乃至１１−Ｋの判
別関数のパラメータとを、該当する類の特徴に対応し類
の特徴を認識するように、すなわちパターン認識の誤り
確率が最小になるように学習して設定する。言い換えれ
ば、上記各パラメータは、各類間のパターン分離度が高
くなるように適応化される。上記学習モードの後に認識
モードに設定し、入力音声をマイクロホン２００に入力
させ、特徴抽出部２０１と、特徴変換部１０−１乃至１
０−Ｋと、判別関数器１１−１乃至１１−Ｋと、選択器
１２を動作させてパターン認識を実行する。

【００２３】なお、特徴抽出部２０１と、複数Ｋ個の特
徴変換部１０−１乃至１０−Ｋと、複数Ｋ個の判別関数
器１１−１乃至１１−Ｋと、選択器１２と、パラメータ
学習制御部２０とは、好ましくは、マイクロコンピュー
タなどの電気的ディジタル計算機によって構成される。

【００２４】すなわち、本実施例では、パターン認識に
とって重要な類の特徴計量空間を形成する判別関数の計
量の学習方法を開示する。最も簡単な計量の学習方法と
して、各類毎に、学習標本集合の主成分分析を行ない、
より高位の主成分を与える軸を示す固有ベクトルほど類
内の変動要因に対応すると見なし、より低位の主成分に
対する軸を類特徴を表現する座標軸として用いることが
考えられる。判別関数が２次判別関数である場合、この
学習方法により得られる判別関数は、ガウス型判別関数
又はマハラノビス距離と本質的に等しいものとなる。こ
の学習方法は、与えられた訓練標本集合の変動要因を良
く表現する手段として有効であるが、各類での学習が他
の類と独立に行なわれ、認識誤りを起こしやすい標本分
布の端の部分、すなわち類の境界付近の調整が不十分で
あるため、最適な識別を与える計量が得られる保証はな
い。そこで、本発明に係る実施例においては、認識結果
に基づく学習を導入し、類に関して識別的に計量を学習
する方法を用い、具体的には、最小分類誤り／一般化確
率的降下法を学習方法として用いる。以下、この最小誤
り学習による計量の学習法を識別的計量学習法と呼ぶ。

【００２５】（２）統計的パターン認識の概要及び計量
の役割 （２−１）ベイズ決定理論によるパターン認識 ここでは、自然数ｄ次元の入力パターンｘ∈Ｒ^dを複数
Ｋ個の類｛Ｃ_s｝_s=1 ^Kに分類する課題を取り扱う。類Ｃ_s
は、例えば音声認識においては音素や単語などの言語的
カテゴリに対応する。文字認識装置においては、類Ｃ_s
はそれぞれの文字であり、画像認識装置においては、類
Ｃ_sは予め決められた画像パターンである。これら文字
又は画像パターンは例えばドット画像データの形式で表
される。また、入力パターンｘは、例えば連続音声波形
から分類の対象となる部分を切り出したもの、もしくは
その切り出された波形を特徴抽出した、短時間パワース
ペクトル、ＬＰＣ係数などの特徴パラメータに対応す
る。認識決定規則Ｃ（ｘ）を、次の数１に示すように、
入力パターン空間Ｒ^dから類Ｃ_sの特徴計量空間である類
空間｛Ｃ_s｝_s=1 ^Kへの写像として定義する。

【００２６】

【数１】Ｃ(ｘ)：Ｒ^d⇒{Ｃ_s}_s=1 ^K

【００２７】この認識決定規則Ｃ（ｘ）は、従来、図３
に示すように、ｘを既に特徴抽出過程を経た特徴量と
し、特徴量を分類する過程と見なされるのが一般的であ
るが、本実施例では、（ａ）上記の一般的な場合、並び
に、（ｂ）入力パターンｘを観測量と考え、入力パター
ンｘから特徴量を抽出する過程とその特徴量を分類する
過程の両方を含む場合とを考える。ここで、類Ｃ_kに属
している入力パターンｘが認識された場合の損失をｌ_k
（Ｃ（ｘ））とする。損失ｌ_k（Ｃ（ｘ））は次の数２
を満足する。

【００２８】

【数２】ｌ_k(Ｃ(ｘ))＝０，Ｃ(ｘ)＝Ｃ_kのとき ｌ_k(Ｃ(ｘ))≫０，Ｃ(ｘ)≠Ｃ_kのとき

【００２９】この損失ｌ_k（Ｃ（ｘ））は、パターン認
識装置の認識結果に基づく行動の危険性を反映するよう
に設定されるものである。本実施例では、学習目的が認
識誤り率最小化にあるので、正解認識の場合の損失を０
とし、誤認識の場合の損失を１に設定する、次の数３の
０−１損失を用いる。

【００３０】

【数３】ｌ_k(Ｃ(ｘ))＝０，Ｃ(ｘ)＝Ｃ_kのとき ｌ_k(Ｃ(ｘ))＝１，Ｃ(ｘ)≠Ｃ_kのとき

【００３１】全てのパターンに対する損失、すなわち損
失の期待値である期待損失は次の数４で与えられる。

【００３２】

【数４】

【００３３】ここで、ｐ（ｘ，Ｃ_k）は入力パターンｘ
と類Ｃ_kとの間の同時確率密度を表わす。特に、損失ｌ_k
が数３の０−１損失の場合、期待損失Ｌ（Ｃ（ｘ））は
認識誤り確率に対応する。ベイズ決定理論に基づく統計
的パターン認識では、期待損失Ｌ（Ｃ（ｘ））が最小と
なる決定規則Ｃ（ｘ）を有するパターン認識装置が最適
であると考える（例えば、参考文献２、又はR.O.Duda及
びP.E.Hart，“Pattern Classification and Scene Ana
lysis”，New York:John,Wiley & Sons,１９７３年（以
下、参考文献７という。）参照。）。すなわち、学習標
本の集合を用いて期待損失Ｌ（Ｃ（ｘ））が最小になる
ような決定規則Ｃ（ｘ）を求めることでパターン認識装
置が学習される。しかしながら、学習標本がいくら多く
とも有限個であるため、真に最適なパターン認識装置の
学習は困難である。従って、実際のパターン認識装置の
学習問題は、限られた量の学習パターン｛ｘ_n；ｎ＝
１，２，…，Ｎ｝を用いて、全てのパターンに対する期
待損失Ｌ（Ｃ（ｘ））をできるだけ小さくするような決
定規則Ｃ（ｘ）を求める問題となる。ベイズ決定理論に
基づく具体的なパターン認識装置の学習方法は、次に示
す最大事後確率決定法（ベイズ法）及び判別関数法の２
種に大別される。

【００３４】（２−１−１）最大事後確率決定法（ベイ
ズ法） 数４の期待損失を次の数５のように書き直すことができ
る。

【００３５】

【数５】

【００３６】ここで、Ｐｒ（Ｃ_k│ｘ）はパターンｘが
与えられたという条件下での類Ｃ_kの事後確率であり、
ｐ（ｘ）はパターンｘの出現確率密度関数である。この
数５から明らかなように、パターンｘが与えられたと
き、そのパターンｘを数５の｛｝内の部分が最小になる
類Ｃ（ｘ）に対応づけるような決定規則が、Ｌ（Ｃ
（ｘ））を最小にすることがわかる。すなわち、期待損
失を最小にする決定規則Ｃ（ｘ）は次の数６で与えられ
る。

【００３７】

【数６】

【００３８】ここで、数６の右辺のａｒｇｍｉｎは、そ
の右にある値が最小になるときのｓの値である。上記数
６の決定規則はベイズ決定規則と言われる（例えば、参
考文献２及び７参照。）。特に、数３で与えられる０−
１損失の場合、数６は次の数７に帰着する。

【００３９】

【数７】

【００４０】ここで、数７の右辺のａｒｇｍａｘは、そ
の右にある値が最大になるときのｓの値である。すなわ
ち、最大の事後確率を与える類Ｃ_iに入力パターンｘを
割り当てる決定規則が、誤り確率最小のパターン認識装
置を実現することになる。この規則を、特に、最大事後
確率決定規則という。ベイズの定理より、数７の決定規
則は次の数８と等価である。

【００４１】

【数８】

【００４２】ここで、Ｐｒ（Ｃ_s）は類Ｃ_sの事前確率ｐ
（ｘ│Ｃ_s）は類Ｃ_sにおけるパターンｘの条件付確率密
度関数である。以上により、ベイズ決定規則は、各類の
事前確率及び各類におけるパターンの条件付確率密度関
数で構成される判別関数を用いることにより類別するも
のであることがわかる。上記の決定規則は、正確な事前
確率及び条件付確率密度関数が与えられている場合の
み、誤り確率最小の認識が可能である。しかしながら、
実際は、これらの真値を得ることは困難であってほとん
ど不可能である。そこで、有限個の学習標本からこれら
の確率密度を推定する手段を用いる。これが最大事後確
率決定法（ベイズ法）の学習原理である。属している類
が既知の学習標本が与えられているとして、各類Ｃ_sの
事前確率Ｐｒ（Ｃ_s）及び条件付確率密度関数ｐ（ｘ│
Ｃ_s）を、それらの確率モデルＰｒ（Ｃ_s｜η_s）及びｐ
（ｘ｜Ｃ_s，λ_s）に基づいて推定する。ここで、η_s及
びλ_sはそれぞれ事前確率及び条件付確率密度関数のモ
デルの推定パラメータである。結局、ベイズ法では、ま
ず、確率モデルである事前確率モデル及び条件付確率密
度関数モデルの関数を予め指定し、学習標本を用いてモ
デルの未知パラメータを推定することでパターン認識装
置が学習され、次の数９に従って未知の入力パターンの
認識が実行される。

【００４３】

【数９】

【００４４】モデルの適合には通常、最尤推定法などの
統計的推定法（例えば、参考文献７、及び坂元慶行，石
黒真木夫，北川源四郎共著，“情報量統計学”，情報科
学講座Ａ．５．４，共立出版，１９８３年（以下、参考
文献８という。）参照。）が適用される。しかしなが
ら、上述の分類法には２つの大きな問題点がある。１つ
は、最適な確率モデルの関数の決定が困難なことがあげ
られる。最も簡単なモデルとしては単一ガウス分布が考
えられるが、実際の入力パターンの分布は、もっと複雑
である。そこで、各類において平均ベクトル（すなわ
ち、いわゆるテンプレート）を複数個与え、複数のガウ
ス分布を組み合わせて複雑な分布を表現する、混合ガウ
ス型関数がよく用いられる（例えば、参考文献５参
照。）。ところが、複雑な分布を表現するために混合数
を増加させると、同時に推定すべきパラメータ数も増大
し、モデルが有限個の学習標本を過度に忠実に表現して
しまうため、未知標本に対する識別性能が劣化する問題
が起こる。これを過学習という。そこで、テンプレート
数を適当数に定めつつパラメータの個数を減らす手段と
して、対角共分散行列を指定する発見的な方法や情報量
規準（例えば、参考文献８参照。）を適用する手法がよ
くとられるが、確率分布の推定精度が極度に劣化するた
め、最小誤り認識の実現がさらに困難となる。もう一つ
の問題点は、確率分布の推定精度と認識誤り率との非一
貫性である。上述のように、学習標本は有限個であるた
め、推定確率分布はほとんど必ず真の分布との誤差を伴
う。誤認識は実質的に類境界付近で起こると考えられる
が、ベイズ法は類境界から離れた学習標本が密集してい
る部分に忠実にモデルを合わす傾向にあり、誤差のしわ
寄せが類境界付近に集中することもあり得る。すなわ
ち、確率分布の推定精度の改善が誤り率の最小化に直接
寄与しているとは言えないのである。従って、本発明に
係る実施例においては、当該最大事後確率決定法（ベイ
ズ法）を用いず、次の判別関数法を用いる。

【００４５】（２−１−２）判別関数法 判別関数法は、入力パターンの各類への帰属度を示す尺
度である判別関数を定め、学習標本の認識結果がもたら
す損失を最小にするように判別関数を学習することによ
ってパターン認識装置の学習を行なう方法である。上述
のベイズ法と比べて、判別関数法は、損失又は認識誤り
率の最小化を直接目指した学習法であると言える。判別
関数法では、決定規則として次の数１０又は数１１を与
える。

【００４６】

【数１０】 または、

【数１１】

【００４７】すなわち、決定規則Ｃ（ｘ）が関数集合ｇ
（ｘ）＝｛ｇ_s（ｘ）｝_s=1 ^Kで表現される。ここで、ｇ_s
（ｘ）は判別関数と呼ばれ、入力パターンｘの類Ｃ_sの
帰属度を表わすものである。数１０はパターンｘを最大
の判別関数の値を示す類に対応づける決定規則であり、
判別関数として類似度を示す確率モデルや２つのベクト
ルの角度を採用した場合が例としてあげられる。一方、
数１１はパターンｘの判別関数の値を示す類に割り当て
る決定規則であり、類参照ベクトルとの距離を判別関数
として適用した場合がその例である。すなわち、確率モ
デルに限定されたベイズ法と異なり、判別関数法ではよ
り広い範囲の関数を指定することができる。

【００４８】パターン認識装置の学習は、属している類
が既知の学習標本集合｛ｘ_n；ｎ＝１，２，…，Ｎ｝を
用いて期待損失Ｌ（Ｃ（ｘ））をなるべく小さくするよ
うな判別関数集合ｇ（ｘ）を学習することで行なわれ
る。ただし、この汎関数最小化問題を直接解くのは困難
であるため、通常は判別関数の形状ｇ_s（ｘ；Θ）を設
定し、パラメータΘを推定することで学習が行なわれ
る。判別関数法に基づくパターン認識装置の学習におい
ては、損失関数ｌ_k（ｘ；Θ）＝ｌ_k（ｇ（ｘ；Θ））の
定式化と目的関数の期待損失の最小化手法が重要な問題
である。最小分類誤り／一般化確率的降下法は、その基
礎的な方法が、例えば、B.H.Juang及びS.Katagiri,“Di
scriminative learning for minimum error classifica
tion”，IEEETransation on Signal Processing,Vol.4
0,No.12,pp.3043-3054,１９９２年１２月（以下、参考
文献６という。）において開示されている。この最小分
類誤り／一般化確率的降下法は、決定規則Ｃ（ｘ）及び
損失関数ｌ_k（ｘ；Θ）の滑らかである１階微分可能な
関数による定式化を実現し、勾配法などの実際的な最小
化手法の適用を可能にしたパターン認識装置の学習方法
である。

【００４９】判別関数法による学習は、直観的に言えば
認識誤りがなるべく起こらなくなるように判別関数を修
正することで行なわれる。これは、誤認識が起こりやす
い類境界の精度向上が行なわれることを意味しており、
確率モデルの適合に基づくベイズ法と比較して、判別関
数法は認識精度向上に本質的な部分の学習を行なうこと
がわかる。従って、本発明に係る本実施例においては、
パターン認識装置を判別関数法を用いて学習を実行す
る。

【００５０】しかしながら、判別関数法においても、学
習標本と異なる未知標本に対する認識精度の低下の問題
は深刻である。例えば、マルチテンプレート型距離分類
器（ＬＶＱ：例えば参考文献４参照。）に代表される距
離尺度に基づく分類法において、パターンの類内のばら
つきを表現すべく類参照ベクトルであるテンプレートの
個数を増加させた場合、ベイズ法における混合ガウス関
数の場合と同様に、学習標本に対する過学習の問題が起
こる。通常、テンプレートの個数（又はパラメータの自
由度）は発見的に定められるが、このことは、学習標本
と未知標本の認識精度の差の減少に寄与しても、未知標
本の認識精度の向上を合理的に行なうことにはならな
い。

【００５１】（２−２）判別関数の計量の役割 統計的パターン認識においては、学習標本とは異なる未
知標本に対する認識精度の向上が本質的に重要な問題で
ある。このことは、例えば不特定話者音声認識や雑音環
境下での音声認識など、認識にとって不要な変動が含ま
れやすい実環境において最も重要な課題である。上述の
ベイズ法、判別関数法いずれにおいても、未知標本の認
識精度劣化を防ぐためにしばしば良くとられる手段は、
学習標本に対する認識精度を犠牲にすることによるもの
である。しかしながら、このことは上述した通り、未知
標本の認識精度の向上を合理的に行なう方法とは言えな
い。

【００５２】標本の違いに独立でかつ高精度なパターン
認識装置学習のためには、有限の学習標本から、類の特
徴を効率的に表現する何らかの属性を学習するのが良い
と考えられる。ここでは、類内の変動が少ない特徴計量
空間の学習を考える。従来例の図４においては、特徴計
量空間は全ての類に対して共通に与えられる。しかしな
がら、全ての類において変動が少ない共通の特徴計量空
間を得ることは困難であると思われる。そこで、全ての
類で共通の特徴計量空間で類別評価を行う図４の従来例
に代わり、本実施例では、図１に示すように、類固有の
特徴をよく表現する特徴計量空間を各類毎に設けるよう
に構成する。これは、類別評価を各類固有の空間で行う
ように、類固有の判別関数の「計量」を学習する問題と
捉えることができる。

【００５３】この学習が実現できれば、未知標本と各類
との類似性を評価するとき、パターン認識によって本質
的ではない変動を抑制することができるとともに、図５
に示すように、各類固有の特徴を効果的に表現するよう
な特徴計量空間で類別評価を行うことができる。すなわ
ち、元の空間では、類＃１のパターンと類＃２のパター
ンとがランダムに存在しているが、類＃１の特徴計量空
間においては、類＃１に属するパターンが所定の範囲内
のロケーションに位置し類＃１の類別評価を容易に実行
することができる一方、類＃２の特徴計量空間において
は、類＃２に属するパターンが所定の範囲内のロケーシ
ョンに位置し類＃２の類別評価を容易に実行することが
できる。この「計量」の数学的定義及びその学習方法を
次に詳細に述べる。

【００５４】（３）計量の学習 （３−１）計量の定式化 まず、次の数１２により、原始パターン空間Ｘから類Ｃ
_sの特徴計量空間Ｙ_sへの線形変換Ｌ_isを定義する。この
線形変換は図１の特徴変換部１０−１乃至１０−Ｋにお
いて実行される。

【００５５】

【数１２】ｙ_s＝Ｌ_is(ｘ) ＝Φ_sＶ_s ^Tｘ， ｓ＝１，２，…，Ｋ

【数１３】Φ_s＝ｄｉａｇ(φ_s,₁ φ_s,₂ … φ_s,_d)

【数１４】Ｖ_s＝［ｖ_s,₁ ｖ_s,₂ … ｖ_s,_d］， Ｖ_s ^TＶ_s＝Ｉ

【００５６】ここで、上付き^Tは行列の転置を表し、ｄ
ｉａｇ（ ）は対角行列を表わす。Ｉは単位行列であ
る。上記式の変換の役割は、２次元（ｄ＝２）の場合で
あって図６から容易に理解できる。直交行列Ｖ_sの各列
ベクトルは、ｄ次元ベクトル空間の１つの正規直交基底
ベクトルである。変換後のベクトルｙ_sのｉ番目成分
は、入力パターンｘをｉ番目の基底ベクトルｖ_s,_iの方
向に正射影し、さらに、図６で図示していないが、実数
φ_s,_iで乗算することで拡大又は縮小する（すなわち、
伸縮する）ことにより得られる。以下、ベクトルｖ_s,_i
及び実数φ_s,_iをそれぞれ、類Ｃ_sにおけるｉ番目の類特
徴軸及び伸縮パラメータと呼ぶ。図６の例では、原始パ
ターン空間Ｘは直交する２つの軸Ｘ₁，Ｘ₂で表され、Ｏ
Ｐで表される入力パターンｘが、直交する２つの基底ベ
クトルｖ_s,₁及びｖ_s,₂からなる線形変換後の特徴計量空
間に変換される。ここで、基底ベクトルｖ_s,₁に変換さ
れた成分ＯＱは│ｖ_s,₁ ^Tｘ│で表される一方、基底ベク
トルｖ_s,₂に変換された成分ＯＲは│ｖ_s,₂ ^Tｘ│で表さ
れる。

【００５７】類特徴軸と伸縮パラメータは、各類毎に個
別に学習することができる。また、絶対値の小さい伸縮
パラメータに対応する軸上の成分は、類似性評価にあま
り反映されない。従って、各類において、パターン認識
にとって本質的ではない変動を表す軸を、この小さい値
の伸縮パラメータを有する類特徴軸に対応させることに
より、類固有の本質的特徴を表す特徴計量空間に重点を
おいた評価がなされることとなる。すなわち、類別評価
が各類固有の特徴計量空間内で行なわれ、標本の違いに
よる類別評価の変動を少なくすることができる。

【００５８】空間｛ｖ_s,_i｝_i=1 ^d及び空間｛φ_s,_i｝_i=1 ^d
はともに、類Ｃ_sにおける類似性の「計り方」を与える
ものである。よって、これらを「計量」と称することと
し、特徴ベクトルｙ_sが動く空間Ｙ_sを「類Ｃ_sの特徴計
量空間」と呼ぶことにする。本実施例において示すパタ
ーン認識装置の学習方法は、一般的に適用されている分
類部２の学習パラメータとともに、この計量も同時に学
習するものである。すなわち、本実施例では、特徴変換
部１０−１乃至１０−Ｋと判別関数器１１−１乃至１１
−Ｋの両方を学習させる。

【００５９】（３−２）取り扱う判別関数 各類における特徴計量空間上での類似性尺度としては、
一般に、種々の測度が適用可能である。すなわち、類似
性尺度の選択と計量の学習は独立に考察することができ
る。最も簡単でかつ最も汎用性の高い測度として、ユー
クリッド距離尺度があげられる。これを原始パターン空
間Ｘから眺めた場合、ｓ番目の類Ｃ_s（ｓ＝１，２，
…，Ｋ）に対する判別関数が、次の数１５の２次判別関
数で与えられる。

【００６０】

【数１５】

【００６１】ここで、

【数１６】Ａ_s＝Ｖ_sΛ_sＶ_s ^T

【数１７】Λ_s＝Φ_s ²

【数１８】ｒ_s＝［ｒ_s,₁ ｒ_s,₂ … ｒ_s,_d］^T

【数１９】Θ＝｛Θ₁，…，Θ_K｝

【数２０】Θ_s＝｛ｒ_s，Φ_s，Ｖ_s｝

【００６２】ここで、数１５の第２式の右辺の││・│
│²はベクトルのユークリッドノルムの２乗を表し、ｄ
ｅｔは行列式を表し、ｒ_sは類Ｃ_sの参照ベクトルであ
る。類Ｃ_sに関するパターン認識装置のパラメータΘ
_sは、類参照ベクトルｒ_s及び計量（Φ_s，Ｖ_s）である。
ε及びδはともに予め決められた非負の定数である。ε
は判別関数が負にならないようにするための定数であ
る。すなわち、ε≧１とすれば判別関数は常に非負とな
る。また、δＡ_sは学習のときに行列Ａ_sが零行列になら
ないための制約項である。なお、ｒ_s及びＡ_sとしてそれ
ぞれ類Ｃ_sにおける平均ベクトル及び共分散行列の逆行
列を採用した場合、判別関数は、ε＝１かつδ＝０のと
きマハラノビス距離に対応し、ε＝０かつδ＝１のと
き、判別関数はガウス型判別関数となる。すなわち、上
記数１５の判別関数は、一般的に適用されている判別関
数の基盤となるものである。ここでは、好ましい場合と
して、分類器として上述の２次判別関数分類器を用い
る。

【００６３】（３−３）主成分分析による計量の学習 最も簡単な計量の学習法として、同じ類に属する学習標
本集合の主成分分析を各類において行なう方法が考えら
れる。主成分分析は、多変量データの集合から、成分の
分散を最大にするような直交軸を探索するデータ解析法
（例えば、参考文献１及び２参照。）である。これによ
り各類における変動要因の主成分方向を抽出することが
できる。まず、類Ｃ_sにおける類標本平均μ_s及び類標本
共分散行列Ｒ_sは次の数２１及び数２２で表される。

【００６４】

【数２１】

【数２２】

【００６５】ここで、ｘ_n ^(s)は類Ｃ_sに属する学習標本
であり、Ｎ_sはその個数を表わす。また、次の数２３を
用いて、類標本共分散行列Ｒ_sを固有値分解する。

【００６６】

【数２３】Ｒ_s＝Ｅ_sΓ_sＥ_s ^T

【数２４】Γ_s＝ｄｉａｇ(γ_s,₁ γ_s,₂ … γ_s,_d)

【数２５】Ｅ_s＝［ｅ_s,₁ ｅ_s,₂ … ｅ_s,_d］， Ｅ_s ^TＥ_s＝Ｉ

【００６７】主成分軸は、類標本共分散行列Ｒ_sの固有
ベクトル｛ｅ_s,_i｝_i=1 ^dにより与えられる。各固有ベク
トルに対応する固有値｛γ_s,_i｝_i=1 ^dは、標本をその固
有ベクトルの方向に正射影した成分の標本分散に等し
い。従って、各類における類標本共分散行列の大きい固
有値に対応する固有ベクトルが、その類における標本の
ばらつきを表現する軸であると見なせる。ここで、計量
（Φ_s，Ｖ_s）は次の数２６で表される。

【００６８】

【数２６】Φ_s＝Γ_s ^-1/2

【数２７】Ｖ_s＝Ｅ_s

【００６９】これは、伸縮パラメータとして共分散行列
の固有値の逆数の平方根を指定しており、より低位の主
成分の固有ベクトルを類特徴を表現する基底軸であると
見なすことに帰着する。結果として、中心ベクトルｒ_s
として類標本平均μ_sをとり、特徴計量空間内の距離尺
度をユークリッド距離とした場合、主成分分析に基づく
２次判別関数は、本質的には従来のガウス型判別関数又
はマハラノビス距離と等しいものとなる。すなわち、ガ
ウス型判別関数は、各類の計量を学習標本の類独自の統
計分析から求めた場合の２次判別関数と見なすことがで
きる。

【００７０】（３−４）最小誤り認識に基づく識別的な
計量の学習 主成分分析方法は、入力パターンの情報圧縮手法として
統計学的に精度の高い方法である。しかしながら、各類
での学習が他の類と独立に行なわれ、学習標本が密集し
ている部分で計量が忠実に学習される傾向があり、実質
的に認識誤りを起こしやすい標本分布の端の部分、すな
わち類の境界付近の調整が不十分であるため、未知標本
に対して最適な識別を与える計量が得られる保証はな
い。そこで、上述した判別関数法に基づく学習法、すな
わち類に関して識別的に計量を学習する方法を用いる。
ここでは、最小分類誤り／一般化確率的降下法による学
習を行なう。簡単のため、この学習法を識別的計量学習
法と呼ぶ。

【００７１】（３−４−１）識別的計量学習法の概要 上述したように、判別関数法はパターン認識装置の期待
損失、すなわち誤認識確率の最小化を直接目指したパタ
ーン認識装置学習を行なうものである。この学習法で
は、損失関数ｌ_k（ｘ；Θ）の定式化、及び目的関数で
ある期待損失の最小化手法が重要な問題である。損失関
数は、分類器の分類結果に基づく行動の危険性をうまく
反映するものであることが望ましく、特に、最小誤りパ
ターン認識装置の学習を目標とする場合は、数３で与え
られる０−１損失が、誤認識確率と対応して一貫してい
る。しかしながら、この０−１損失に基づく目的関数が
学習パラメータΘに関して非平滑であり、すなわち１階
微分不可能であるため、効率的な最適化手法である勾配
法が適用不可能であり、この損失関数は実際的観点から
見て不適切である。そこで、０−１損失に代わる、より
解析的に扱いやすい損失関数として、パーセプトロン損
失や自乗誤差損失がよく適用される（例えば、参考文献
７参照。）。これらの損失は、目的関数が微分可能とな
るため勾配法が適用可能であるという利点を有するが、
誤認識確率最小化との一貫性がなく、最適なパターン認
識装置の学習に対して不十分である。

【００７２】上述の２つの問題点である、目的関数の非
平滑性と、認識誤り率最小化との非一貫性とを同時に解
決する方法が、最小分類誤り／一般化確率的降下法であ
る。最小分類誤り／一般化確率的降下法は、以下の２段
階の定型化により、認識誤り確率最小化との一貫性を持
つ平滑な損失関数の定式化を実現することができる。い
ま、類Ｃ_kに属している入力パターンｘの類別を考え
る。まず、類別決定の正誤を表す測度、誤分類測度ｄ_k
（ｘ；Θ）を定義する。ここでは、次に示すＬｐノルム
形式の測度を採用する。すなわち、数１０の最大判別関
数決定規則の場合、誤分類測度ｄ_k（ｘ；Θ）は次の数
２８で定義される一方、数１１の最小判別関数決定規則
の場合、誤分類測度ｄ_k（ｘ；Θ）は次の数２９で定義
される。

【００７３】

【数２８】

【数２９】

【００７４】いずれの場合も、学習定数ηが十分大きい
場合、誤分類測度ｄ_k（ｘ；Θ）≦０は正解分類に対応
し、誤分類測度ｄ_k（ｘ；Θ）＞０は誤分類に対応す
る。すなわち、これらの誤分類測度は、類別決定規則を
関数の形で表現したものであり、かつパラメータΘに関
して平滑であって１次微分可能である。次に、数３の０
−１損失を模擬するような、平滑な０−１損失を定義す
る。これも、種々の定式化が可能であるが、ここでは次
の数３０で定義されるシグモイド関数を用いる。

【００７５】

【数３０】ｌ_k(ｘ；Θ) ＝ｌ_k(ｄ_k(ｘ；Θ)) =1/(１＋ｅｘｐ{−α(ｄ_k(ｘ；Θ)−β)})， α＞０

【００７６】この損失関数の値は、十分大きなα及び絶
対値の十分小さなβに対して、誤分類測度ｄ_k（ｘ；
Θ）≦０、すなわち正解分類の場合で０になる一方、誤
分類測度ｄ_k（ｘ；Θ）＞０、すなわち誤分類の場合で
１に十分近くなる。従って、この損失関数が０−１損失
関数の良好な近似であり、結果的に目的関数が認識誤り
確率を十分に近似するものとなることがわかる。また、
この損失関数は誤分類測度ｄ_k関して平滑であって１次
微分可能であるため、パラメータΘに関しても平滑であ
って１次微分可能である。定数αを変更することによ
り、認識誤り確率との近似性と平滑性を調節することが
できる。以上により定式化された損失関数で形成される
目的関数の最小化問題を考える。この最小化方法は２種
に大別される。１つは、入手可能な学習標本の集合｛ｘ
_n；ｎ＝１，２，…，Ｎ｝の全てに対する次の数３１の
経験的平均損失の最小化を最急降下法などの勾配法によ
りバッチ処理的に行なう方法が考えられる。

【００７７】

【数３１】

【００７８】数３１において、１（・）は関数値として
１又は０をとる関数である。最小化方法のもう１つは、
学習標本の集合から属している類が既知の１標本を無作
為に抽出し、それに対する損失が小さくなるようにパラ
メータΘの調整を行なう適応処理的方法である。与えら
れた有限の学習標本の集合を用いる限り、この両者の差
異は小さい。しかしながら、後者の適応型調整機構は、
学習段階では扱うことのできなかった新しい利用状況に
分類器を適応させることができるという著しい潜在的可
能性を有している。本実施例において用いる最小分類誤
り／一般化確率的降下法では、以下に示す適応型最小化
方法を用いる。適応型最小化方法では、自然数ｔ回目の
イテレーションにおいて、パラメータΘの更新は次の３
２により行なわれる。

【００７９】

【数３２】Θ^(t)＝Θ^(t-1)＋ΔΘ(ｘ_t，Ｃ_k，Θ^(t-1))

【００８０】ここで、パラメータΘ^(t)はｔ回目のイテ
レーションにおけるパラメータの値であり、ΔΘ（ ）
はパラメータの修正量であり、ｘ_t及びＣ_kはそれぞれ、
無作為に与えられた学習標本及びそれが属している類を
表わす。この更新式に従う調整機構は、新しい標本が与
えられるたびに期待損失が小さくなるようにパターン認
識装置が学習され、かつ、期待損失の最小化を常に目指
しているものであることが望まれるが、これらの要求に
対する数理的基盤は、以下に示す確率的降下定理により
与えられる。

【００８１】＜確率的降下定理＞与えられた標本ｘ_tが
類Ｃ_kに属している場合、パラメータの修正量ΔΘを次
の数３３により設定する。

【００８２】

【数３３】ΔΘ(ｘ_t，Ｃ_k，Θ^(t-1))＝−ε_tＨ∇Θｌ
_k(ｘ_t；Θ^(t-1))

【００８３】ここで、∇ΘはパラメータΘによる偏微分
を表し、修正係数ε_tは十分小さな正の定数であり、Ｈ
は正定値行列である。このとき、十分小さなε_tに対し
て期待損失Ｌ（Θ）が各イテレーションにおいて平均的
に減少する。すなわち、次の数３４が成立する。

【００８４】

【数３４】Ｅ{Ｌ(Θ^(t))−Ｌ(Θ^(t-1))}≦０

【００８５】さらに、もし無作為に抽出された標本の無
限個列｛ｘ_t；ｔ＝１，２，…｝が学習に用いられ、か
つ、ε_tが次の数３５に従うならば、数３２及び数３３
に従って生成されるパラメータ列｛Θ^(t)；ｔ＝１，
２，…｝は期待損失Ｌ（Θ）の少なくとも局所的最小点
Θ＊に確率１で収束する。

【００８６】

【数３５】

【００８７】当初、上記の定理は固定次元のパターンの
場合においてのみ与えられていたが、音声パターンな
ど、標本により次元が変化するパターンに対する上記の
定理の拡張もなされている。以上により、パターン認識
の誤り確率である期待損失又は誤認識確率の最小化と一
貫した平滑な損失関数の定式化及び実際的な適応的最適
化方法の定型化がなされた。

【００８８】（３−４−２）制約条件なしの最適化 属している類が既知の学習標本の集合｛ｘ_t；ｔ＝１，
２，…，Ｎ｝を用いて、数１５で与えられる２次判別関
数に対して、学習パラメータΘ_s＝｛ｒ_s，Φ_s，Ｖ_s｝
（ｓ＝１，２，…，Ｋ）、すなわち中心ベクトルと計量
を、最小分類誤り／一般化確率的降下法により学習す
る。しかしながら、ｒ_sとΦ_sの修正は容易であるが、Ｖ
_sは、直交行列であるという制約条件が課せられるた
め、このままでは修正が難しい。そこで、直交行列Ｖ_s
を次の数３６で表現する。

【００８９】

【数３６】Ｖ_s＝Ｕ₁,₂(θ_s,₁,₂)Ｕ₁,₃(θ_s,₁,₃)…
Ｕ_d-1,_d(θ_s,_d-1,_d)

【００９０】ここで、ｄ×ｄの行列Ｕ_p,_q（θ）（ｐ＜
ｑ）は次の数３７で与えられる。

【００９１】

【数３７】

【００９２】すなわち、行列Ｕ_p,_q（θ）は、（ｐ，
ｐ）成分と（ｑ，ｑ）成分がｃｏｓθであり、（ｐ，
ｑ）成分がｓｉｎθであり、（ｑ，ｐ）成分が−ｓｉｎ
θであり、それ以外は対角成分が１で非対角成分が０の
ｄ次直交行列である。この行列Ｕ_p,_q（θ）はヤコビの
回転（Jacobi Rotation）と呼ばれ、ｄ次元ベクトルの
ｐ軸成分とｑ軸成分をそれらの軸により生成される平面
上で角度θだけ回転させる演算子である（例えば、G.H.
Golub及びC.F.Van Loan,“Matrix Computations,TheJoh
ns Hopkins University Press,１９８９年（以下、参考
文献９という。）参照。）。数３６は、直交行列を全て
の組合せの軸対に対応するヤコビの回転（Jacobi Rotat
ion）で表現することを表している。その組合せの個数
は直交行列Ｖ_sの自由度と同じｄ（ｄ−１）／２であ
り、直交行列Ｖ_sそのものを制約条件の下で修正する代
わりに角度（θ_s,_p,_q）を調節すれば良いことがわか
る。以上により、最小分類誤り／一般化確率的降下法に
より調節されるパラメータは以下の３種となる。

【００９３】

【数３８】ｒ_s＝［ｒ_s,₁ ｒ_s,₂ … ｒ_s,_d］^T∈Ｒ^d

【数３９】φ_s＝［φ_s,₁ φ_s,₂ … φ_s,_d］^T∈Ｒ^d

【数４０】θ_s＝［θ_s,₁,₂ θ_s,₁,₃ … θ_s,_d-1,_d］
^T∈Ｒ^d(d-1)/2， ｓ＝１，２，…，Ｋ

【００９４】（３−４−３）識別的計量学習法の初期化 最小分類誤り／一般化確率的降下法の最適化手法は勾配
法に基づいており、パラメータ列が初期値により様々な
局所的最適解に収束する。従って、なるべく大域的最適
解に近い初期値を与えることが望まれる。ｒ_sの初期値
ｒ_s ⁽⁰⁾としては、通常の距離尺度と同様に、類の標本平
均ベクトルμ_sを与えるのが妥当と考えられる。計量の
初期値（Φ_s ⁽⁰⁾，Ｖ_s ⁽⁰⁾）としては、一様重みとデカル
ト座標系（Φ_s ⁽⁰⁾＝Ｉ，Ｖ_s ⁽⁰⁾＝Ｉ）、もしくは、上述
の主成分分析によるもの（Φ_s ⁽⁰⁾＝Γ^-1/2，Ｖ_s ⁽⁰⁾＝Ｅ
_s）が考えられる。前者はユークリッド距離に対応し、
後者はガウス型判別関数又はマハラノビス距離に対応す
る。特に、後者は主成分分析により得られる値であるこ
とから、統計的に良好な初期値であると考えられる。従
って、本実施例では後者を用いる。しかしながら、主成
分分析による初期化の場合、直交行列の初期値Ｖ
_s ⁽⁰⁾（＝Ｅ_s）に対応するパラメータθ_sの初期設定が困
難である。そこで、類Ｃ_sにおける座標系を初期値Ｖ_s
⁽⁰⁾だけ回転させる。

【００９５】

【数４１】ｇ（ｘ；Θ_s） ＝(Ｖ_s ^(0)Tｘ−ｐ_s)^TＷ_sΦ_s ²Ｗ_s ^T(Ｖ_s ^(0)Tｘ−ｐ_s)＋lo
gdet(εＩ＋δΦ_s ^-2)

【数４２】ｐ_s＝Ｖ_s ^(0)Tｒ_s

【数４３】Ｗ_s＝Ｖ_s ^(0)TＶ_s

【００９６】ここで、Ｗ_sは明らかに直交行列であり、
直交行列Ｗ_sを改めて数３６と同様に次の数４４で表現
する。

【００９７】

【数４４】Ｗ_s＝Ｕ₁,₂（θ_s,₁,₂）Ｕ₁,₃（θ_s,₁,₃）…
Ｕ_d-1,_d（θ_s,_d-1,_d）

【００９８】このとき、直交行列Ｗ_sの初期値Ｗ
_s ⁽⁰⁾は、次の数４５のように表わすことができる。

【００９９】

【数４５】Ｗ_s ⁽⁰⁾＝Ｖ_s ^(0)TＶ_s ⁽⁰⁾＝Ｉ

【０１００】従って、パラメータθ_sの初期値をすべて
１に設定すればよいこととなる。以上により、調整され
るパラメータΘ_s（ｓ＝１，２，…，Ｋ）は次の数４６
乃至数４８で表される。

【０１０１】

【数４６】ｐ_s＝［ｐ_s,₁ ｐ_s,₂ … ｐ_s,_d］^T∈Ｒ^d

【数４７】φ_s＝［φ_s,₁ φ_s,₂ … φ_s,_d］^T∈Ｒ^d

【数４８】θ_s＝［θ_s,₁,₂ θ_s,₁,₃ … θ_s,_d-1,_d］^T∈
Ｒ^d(d-1)/2

【０１０２】そして、それらの初期値は次の数４９乃至
数５２で与えられる。

【０１０３】

【数４９】ｐ_s ⁽⁰⁾＝Ｖ_s ^(0)Tμ_s

【数５０】φ_s,_i ⁽⁰⁾＝１／√(γ_s,_i)， ｉ＝１，２，…，ｄ

【数５１】θ_s,_p,_q ⁽⁰⁾＝１， ｐ＜ｑ； ｐ＝１，２，…，ｄ−１； ｑ＝２，３，…，ｄ

【数５２】Ｖ_s ⁽⁰⁾＝Ｅ_s

【０１０４】（３−４−４）ＤＭＤ更新式の導出 最小分類誤り／一般化確率的降下法において、正解の類
がＣ_kである学習標本ｘ_tが与えられたときのパラメータ
修正値は、数３３で与えられる。損失関数としてシグモ
イド関数を適用する場合、損失関数の勾配は鎖則により
次の数５３乃至数５４で表される。

【０１０５】

【数５３】∇Θｌ_k(ｘ；Θ)＝(∂ｌ_k(ｄ_k)／∂ｄ_k)∇Θ
ｄ_k(ｘ；Θ)

【数５４】∇Θｌ_k(ｘ；Θ)＝αｌ_k(ｘ；Θ){１−ｌ
_k(ｘ；Θ)}∇Θｄ_k(ｘ；Θ)

【０１０６】ここで、∇Θｄ_k(ｘ；Θ)は次の数５５及
び数５６で与えられる。

【０１０７】

【数５５】∇Θｄ_k(ｘ；Θ)＝[∇Θ₁ｄ_k(ｘ；Θ) ∇Θ
₂ｄ_k(ｘ；Θ)…∇Θ_Kｄ_k(ｘ；Θ)]

【数５６】∇Θ_sｄ_k(ｘ；Θ)＝ρ_k,_s(ｘ；Θ)(∂ｇ
(ｘ；Θ_s)／∂Θ_s)，ｓ＝１，２，…，Ｋ

【０１０８】

【数５７】

【０１０９】さらに、判別関数ｇ（ｘ；Θ_s）の勾配は
次の数５８乃至数６２で与えられる。

【０１１０】

【数５８】∂ｇ(ｘ；Θ_s)／∂ｐ_s＝−２Ｗ_sΦ_s ²Ｗ_s ^T(Ｖ
_s ^(0)Tｘ−ｐ_s)

【数５９】∂ｇ(ｘ；Θ_s)／∂φ_s,_i ＝２φ_s,_i│ω_s,_i ^T(Ｖ_s ^(0)Tｘ−ｐ_s)│²−{２δ／φ_s,_i
(εφ_s,_i ²＋δ)}

【数６０】Ｗ_s＝[ω_s,₁，ω_s,₂，…，ω_s,_d]

【数６１】∂ｇ(ｘ；Θ_s)／∂θ_s,_p,_q ＝２(Ｖ_s ^(0)Tｘ−ｐ_s)^T(∂Ｗ_s／∂θ_s,_p,_q)Φ_s ²Ｗ_s ^T(Ｖ
_s ^(0)Tｘ−ｐ_s)

【数６２】∂Ｗ_s／∂θ_s,_p,_q ＝Ｕ₁,₂(θ_s,₁,₂)…Ｕ_p,_q-1(θ_s,_p,_q-1) (∂Ｕ_p,_q(θ_s,_p,_q)／∂θ_s,_p,_q)Ｕ_p,_q+1(θ_s,_p,_q+1)…
Ｕ_d-1,_d(θ_s,_d-1,_d)

【０１１１】結局、識別的計量学習法におけるパラメー
タΘ_s＝（ｐ_s，φ_s，θ_s）（ｓ＝１，２，…，Ｋ）の更
新式は数３２、数３３及び数５４乃至数６２から次の数
６３乃至数６５が得られる。

【０１１２】

【数６３】ｐ_s ^(t) ＝ｐ_s ^(t-1) ＋２ε_tαｌ_k(ｘ_t;Θ^(t-1){１−ｌ_k(ｘ_t;Θ^(t-1))}ρ_k,
_s(ｘ_t;Θ^(t-1))×Ｗ_s ^(t-1)Φ_s ^(t-1)exp2Ｗ_s ^(t-1)T（Ｖ_s
^(0)Tｘ_t−ｐ_s ^(t-1)）

【数６４】φ_s,_i ^(t) ＝φ_s,_i ^(t-1) −２ε_tαｌ_k(ｘ_t;Θ^(t-1){１−ｌ_k(ｘ_t;Θ^(t-1))}ρ_k,
_s(ｘ_t;Θ^{（ｔ−１）}）×［φ_s,_i ^(t-1)│ｗ_s,_i ^(t-1)T(Ｖ
_s ^(0)Tｘ_t-ｐ_s ^(t-1))│²−δ／{φ_s,_i ^(t-1)(εφ_s,_i
^(t-1)exp2＋δ)}]， ｉ＝１，２，…，ｄ

【数６５】θ_s,_p,_q ^(t) ＝θ_s,_p,_q ^(t-1) −２ε_tαｌ_k(ｘ_t;Θ^(t-1){１−ｌ_k(ｘ_t;Θ^(t-1))}ρ_k,
_s(ｘ_t;Θ^(t-1))×(Ｖ_s ^(0)Tｘ_t-ｐ_s ^(t-1))^T(∂Ｗ_s/∂
θ_s,_p,_q)^(t-1)Φ_s ^(t-1)exp2Ｗ_s ^(t-1)T (Ｖ_s ^(0)Tｘ_t-ｐ_s ^(t-1))， ｐ＝１，２，…，ｄ−１； ｑ＝２，３，…，ｄ； ｐ＜ｑ

【０１１３】ここで、上付きのｔは繰り返しステップの
番号を表わす。また、上付きのｅｘｐ２は２乗を示す。
ｌ_k(ｘ_t;Θ^(t-1)は数２９及び数３０から得られ、ρ_k,_s
(ｘ_t;Θ^(t-1))は数５７から得られ、そして(∂Ｗ_s/∂θ
_s,_p,_q)^(t-1)は数６２のθ_s,_p,_qにθ_s,_p,_q ^(t-1)を代入す
ることにより得られる。なお、ここで、簡単化のため数
３３における重み正定値行列Ｈを単位行列としている。
正定値行列Ｈを適当に定めることにより、各パラメータ
の更新の度合いに重み付けをすることができる。パラメ
ータｐ_sを調整することにより各類の最適な中心ベクト
ルｒ_sが得られ、パラメータθ_sを調整することにより各
類の最適な正規直交軸Ｖ_sが得られ、そしてφ_sを調整す
ることにより各類の各特徴軸に対する最適な伸縮パラメ
ータが得られる。

【０１１４】結局、パラメータ学習制御部２０によって
実行される識別的計量学習法の基本アルゴリズムである
パラメータ学習処理を図７に示す。

【０１１５】図７に示すように、まず、ステップＳ１に
おいて、数４９乃至数５２を用いてパラメータの初期化
を実行し、かつイテレーションパラメータｔを１に初期
化する。次いで、ステップＳ２において、属している類
Ｃ_kが既知である学習標本ｘ_tを無作為に抽出する。そし
て、ステップＳ３，Ｓ４，Ｓ５において、抽出された学
習標本ｘ_tに基づいて、各パラメータの値を計算する、
すなわち、ステップＳ３では、数１５を用いて判別関数
ｇ（ｘ_t；Θ_s ^(t-1)）の値を計算し、ステップＳ４で
は、数２９を用いて誤分類測度ｄ_k（ｘ_t；Θ^(t-1)）を
計算し、ステップＳ５では、数３０を用いて損失ｌ_k
^(t-1)を計算する。さらに、ステップＳ６において、パ
ラメータΘを、数３２と数３３と数５４から導出された
次の数６６を用いて更新する。

【０１１６】

【数６６】Θ^(t)＝Θ^(t-1)−ε_tＨαｌ_k ^(t-1){１−ｌ_k
^(t-1)}∇Θｄ_k(ｘ_t；Θ^(t-1))

【０１１７】ここで、パラメータΘは、Θ₁，Θ₂，…，
Θ_Kからなる列ベクトルの行列で表され、パラメータΘ_s
は、ｐ_s，φ_s，θ_s（ｓ＝１，２，…，Ｋ）からなる列
ベクトルの行列で表される。また、∇Θｄ_k(ｘ_t；Θ
^(t-1))は、∇Θ₁ｄ_k(ｘ_t；Θ^(t-1))，∇Θ₂ｄ_k(ｘ_t；Θ
^(t-1))，…，∇Θ_Kｄ_k(ｘ_t；Θ^(t-1))からなる列ベクト
ルの行列で表される。さらに、∇Θ_sｄ_k(ｘ_t；Θ^(t-1))
は次の数６７で表される。

【０１１８】

【数６７】∇Θ_sｄ_k(ｘ_t；Θ^(t-1))＝ρ_k,_s(ｘ_t；Θ
^(t-1))∇Θ_sｇ(ｘ_t；Θ^(t-1))

【０１１９】ここで、ρ_k,_s(ｘ_t；Θ^(t-1))は数５７で
表される。また、∇Θ_sｇ(ｘ_t；Θ^(t-1))は、Θ_s＝Θ_s
^(t-1)のときの∂ｇ(ｘ_t；Θ_s)／∂ｐ_s，∂ｇ(ｘ_t；Θ_s)
／∂φ_s，∂ｇ(ｘ_t；Θ_s)／∂θ_sからなる列ベクトルの
行列で表される。ただし、∂ｇ(ｘ_t；Θ_s)／∂ｐ_sは数
５８で表され、∂ｇ(ｘ_t；Θ_s)／∂φ_sは、それぞれ数
５９で表される∂ｇ(ｘ_t；Θ_s)／∂φ_s,₁，∂ｇ(ｘ_t；
Θ_s)／∂φ_s,₂，…，∂ｇ(ｘ_t；Θ_s)／∂φ_s,_dからなる
列ベクトルの行列で表される。さらに、∂ｇ(ｘ_t；Θ_s)
／∂θ_sは、それぞれ数６１でｐ＜ｑかつｐ及びｑが
１，２，…，ｄの範囲で表される∂ｇ(ｘ_t；Θ_s)／∂θ
_s,₁,₂，∂ｇ(ｘ_t；Θ_s)／∂θ_s,₁,₃，…，∂ｇ(ｘ_t；Θ
_s)／∂θ_s,_d-1,_dからなる列ベクトルの行列で表され
る。

【０１２０】さらに、ステップＳ７において、判定条件
を満足するか否かが判断され、満足する場合、パラメー
タ学習の適応化が終了したと判断して当該パラメータ学
習処理を終了する。一方、満足しない場合は、ステップ
Ｓ８においてイテレーションパラメータｔに１を加算し
て更新し、ステップＳ２に進んで上記の処理を繰り返
す。なお、判定条件としては、繰り返し回数ｔが予め定
められた回数に達した時点で終了してもよいし、もしく
は、学習標本の集合に対する平均損失の減少度が決めら
れた値より小さくなった時点で終了してもよい。詳細後
述するシミュレーションにおいては前者を用いる。

【０１２１】（４）シミュレーション 本実施例のパターン認識装置を用いて、最も基本的な不
特定話者の日本語５母音の認識シミュレーションを行っ
た。このシミュレーションの目的は、識別的計量学習法
の実現可能性を確証することにある。従来の一般的なマ
ハラノビス距離尺度に基づくパターン認識装置、および
マルチテンプレート距離分類器の代表であるＬＶＱパタ
ーン認識装置との比較により、本実施例で用いた識別的
計量学習法の有効性を実証する。

【０１２２】このシミュレーションにおいては、ラベル
付きの属している類が既知のパターンを以下「トーク
ン」と呼ぶ。母音のトークンとしては、男性３６人と女
性３４人を含む７０人の話者が発声した５１２個の孤立
単語を、サンプリング周波数１２ＫＨｚ及び量子化１６
ｂｉｔで標本化しかつ量子化した音声データを用いる。
各母音セグメントの中心部分から前後１０ｍｓｅｃのフ
レーム、すなわちフレーム長２０ｍｓｅｃに対してハミ
ング窓を乗算して切り出し、ＬＰＣケプストラム分析を
行ない、そのケプストラム係数をパターン認識装置の入
力トークン、すなわち入力パターンとする。当該シミュ
レーションでは、ＬＰＣ次数及びケプストラム次数をと
もに３２としている。すなわち、各々の入力トークンは
３２次元の単一ケプストラムベクトルである。７０人の
話者のうちの５０人のデータをパターン認識装置の学習
標本セットとして用い、残りの２０人のうちそれぞれ１
０人を２種類のテストセットとし、それぞれのテスト認
識をテスト１及びテスト２と呼ぶ。学習用トークンの個
数は約７５００であり、各テストセットにおけるトーク
ンの個数は約１５００である。このシミュレーションに
おけるパターン認識装置のパラメータを最適化するため
の学習処理は以下の通りである。

【０１２３】まず、５０人の５１２個の学習用孤立単語
発生音声データから各母音に対応する音声波形データを
切り出し、５母音のいずれかである属する類の情報を付
加して、学習用音声波形データセットとする。次いで、
この学習用音声波形データセットの各音声波形を、本実
施例のパターン認識装置に特徴抽出部２０１に入力す
る。特徴抽出部２０１は、入力された学習用音声波形デ
ータセットの各音声波形を３２次元ＬＰＣケプストラム
係数ベクトルｘ_n（ｎ＝１，２，…，Ｎ）に変換してパ
ターン学習制御部２０に出力する。そして、当該パター
ン認識装置を学習モードに設定し、パターン学習制御部
２０は、図７のパラメータ学習処理を実行する。ここ
で、ｓ＝１，２，…，５でありＫ＝５である。学習処理
が終了した後、当該パターン認識装置を認識モードに設
定し、特徴抽出部２０１と、特徴変換部１０−１乃至１
０−Ｋと、判別関数器１１−１乃至１１−Ｋと、選択器
１２とを動作させて、学習セットに対するパターン認識
処理と、テスト１及びテスト２とを実行する。表１に当
該シミュレーションの結果を示す。ここでは、２次判別
関数に基づく識別的計量学習法を用いる分類器（以下、
本実施例の特徴変換部と判別関数器とをあわせて、ＤＭ
Ｄ分類器という。）を備えた本実施例のパターン認識装
置と、従来のマハラノビス距離分類器と、ユークリッド
距離に基づく複数のテンプレートを有する従来のＬＶＱ
分類器とによる音声認識の誤り率を示す。

【０１２４】

【表１】 日本語５母音のタスクにおける音声認識の誤り率 ─────────────────────────────────── 学習セット テスト１ テスト２ ─────────────────────────────────── ＤＭＤ分類器 ３．８４％ ８．７８％ １０．５９％ ─────────────────────────────────── マハラノビス距離分類器 ８．８０％ １３．１０％ １５．４２％ ─────────────────────────────────── ＬＶＱ分類器 １０．５１％ １０．９３％ １５．６２％ （１個のテンプレート） ─────────────────────────────────── ＬＶＱ分類器 ５．００％ １４．３８％ １２．９３％ （８個のテンプレート） ─────────────────────────────────── ＬＶＱ分類器 ３．４６％ １６．４１％ １３．４０％ （１６個のテンプレート） ───────────────────────────────────

【０１２５】表１から明らかなように、テストデータに
対して、本実施例のＤＭＤ分類器が従来のマハラノビス
距離分類器、従来のＬＶＱ分類器のいずれよりも高い音
声認識精度を示している。また、１個のテンプレートを
用いた場合であっても、各類に個別の特徴計量空間を持
たせる本実施例のＤＭＤ分類器は、従来のＬＶＱ分類器
のテンプレートの個数を増加させた場合に比較して、パ
ターン認識装置の頑健性を増大させることがわかる。

【０１２６】（５）本実施例の識別的計量学習法と他の
方法との相違点 （３−３）主成分分析による計量の学習の項で上述した
ように、各類ごとに学習標本集合の主成分分析を行なう
方法が計量の学習の最も簡単である方法としてあげられ
る。２次判別関数に基づく分類器の場合、ガウス型判別
関数又はマハラノビス距離が主成分分析に基づく計量学
習法で学習された判別関数の代表としてあげられる。し
かしながら、上述したように、主成分分析は、各類独立
に学習が行なわれ、他の類の影響を考慮せずに計量が学
習されるため、認識誤り最小化というパターン認識装置
本来の目的に対して不十分である。このことは、上記の
シミュレーション結果でも実証されている。

【０１２７】最近、最小分類誤り／一般化確率的降下法
の学習に基づくガウス分布型隠れマルコフモデル（ＨＭ
Ｍ）音声パターン認識装置が、高精度の音声認識を実現
する方法として注目されつつある（例えば、W.Chou,B.
H.Juang,及びC.H.Lee“Segmental GPD training of HMM
based speech recognizer”,Proceedings of ICASSP9
2,Vol.1,pp.473-476,１９９２年（以下、参考文献１０
という。）、もしくは、D.Rainton及びS.Sagayama,“Mi
nimum error classification training of HMMs--- imp
lementation details and experimental results”,Jap
anese AcousticSociety Japan,(E),Vol.13,No.6,pp.379
-387,１９９２年１１月（以下、参考文献１１とい
う。）参照。）。従来、一般化確率的降下法の適用を可
能にするため、対角共分散行列のガウス分布しか取り扱
うことができず、また、パターン変動をモデリングする
ため、各類において複数の対角共分散ガウス分布を割り
当てる混合ガウス分布型ＨＭＭが専ら採用されている。
これは結局、各類において複数の参照ベクトルを割り当
てるマルチテンプレート型距離分類器（ＬＶＱ）と本質
的に同じものである。しかしながら、（２−１−１）最
大事後確率決定法及び（２−１−２）判別関数法の項で
上述したように、単一ガウス分布を有する参照ベクトル
の個数の増加と未知標本に対する耐性はトレードオフの
関係にあるため、未知標本の認識に対する最適な参照ベ
クトルの個数の決定が困難である。容易に推察されるよ
うに、２次判別関数に基づく識別的計量学習法は、本質
的に２次判別関数に基づいているガウス分布型ＨＭＭ分
類器に応用可能である。特に、類特徴軸である直交行列
Ｖ_sの調整を可能にしたことは、対角行列に限らない、
一般の共分散行列のガウス分布を有するＨＭＭの最小分
類誤り／一般化確率的降下法による最適化を可能にす
る。識別的計量学習法によって各類個別の特徴計量空間
を学習する手段が、複数の参照ベクトルを割り当てる手
段に比較して、未知標本に対する認識精度を向上させる
ことが、上記のシミュレーション結果で示されている。
このことは、今後、ＨＭＭ音声パターン認識装置の未知
標本に対する耐性を考える上での新しい知見を与えるも
のと考えられる。

【０１２８】識別的計量学習法における各類個別の線形
変換Ｌ_isは、特徴抽出過程と見なすこともできる。最近
提案された識別的特徴抽出法（A.Biem及びS. Katagiri,
“Feature extraction based on minimum classificati
on error/generalized probabilistic descent metho
d”,Proceedings of ICASSP 93,Vol.2,pp.275-278,１９
９３年４月（以下、参考文献１２という。）参照。）
は、特徴抽出過程と分類過程の両方を最小分類誤り／一
般化確率的降下法で統一的に学習するものであり、認識
誤り最小化という認識器本来の目的に対する両過程の不
整合を解決する方法である。しかしながら、当該識別的
特徴抽出法では、全ての類に対して共通の特徴空間が与
えられるのに対し、本実施例で用いる識別的計量学習法
では各類個別の特徴計量空間が与えられる。また、参考
文献１２では各ケプストラム係数の重みのみの最適化を
行なっているが、識別的計量学習法では重みのみならず
特徴計量空間の直交座標軸も調整が可能である。この点
で、識別的計量学習法は上記識別的特徴抽出法と異な
る。

【０１２９】識別的計量学習法と同様に、各類個別に特
徴空間を持たせてパターンを分類する分類法として、部
分空間法（参考文献１参照。）、及びその関連した手法
である複合類似度法（飯島泰蔵著，“パターン認識理
論”，森北出版，１９８９年（以下、参考文献１３とい
う。）参照。）、学習部分空間法（参考文献１参
照。）、混合類似度法（参考文献１３参照。）が提案さ
れている。これら４つの手法は、類特徴を表現する「部
分空間」を各類ごとに割り当て、入力パターンの各類部
分空間への「正射影」を判別関数として採用する方法で
ある。ただし、複合類似度法及び混合類似度法では、部
分空間の各基底ベクトルに対して重みを与えている。こ
こでは簡単のため、これら４手法を射影分類法と総称す
ることとする。

【０１３０】識別的計量学習法と射影分類法は、取り扱
う入力パターンの種類が根本的に異なる。正射影を判別
関数とする射影分類法は、定数倍しても帰属する類が変
化しないようなパターンに対してのみ適用可能である。
一方、距離関数に基づく識別的計量学習法は、上記のよ
うなパターンに対しても大きさで正規化することによ
り、任意の種類のパターンを取り扱うことができる。す
なわち射影分類法は、原音声波形や画像パターン、パワ
ースペクトルなどには適用できるが、対数パワースペク
トル、ケプストラム、及びＬＰＣ係数などには適用不可
能である。しかしながら、本実施例で用いる識別的計量
学習法は、上記のいずれのパターンも取り扱える。ま
た、類特徴軸の取り扱い方が、識別的計量学習法と射影
分類法で異なる。射影分類法では、類特徴軸は類のテン
プレートとしての意味合いが強く、識別的計量学習法
（又はＬＶＱ分類器）における参照ベクトルに対応す
る。一方、本実施例の識別的計量学習法は、類特徴軸を
原始パターン空間から各類特徴計量空間への写像として
取り扱っている。言い換えれば、射影分類法ではＬＶＱ
分類器と同様に、類テンプレートのみが学習されるのに
対し、本実施例の識別的計量学習法ではテンプレートと
特徴計量空間の両方が学習される。

【０１３１】（６）効果 以上説明したように、本実施例においては、パターン認
識装置の学習標本とは異なる未知標本に対して精度の高
いパターン認識装置の学習のための新しい方法として、
類固有の特徴を効果的に表現する特徴計量空間、すなわ
ち、類固有の判別関数の計量を識別的に、すなわち認識
誤りが減少するように学習する方法である識別的計量学
習法を用いる。従って、従来全ての類で共通の特徴空間
で類別評価が行なわれていたのに対して、本実施例にお
いては、類の特徴を表現する各類固有の特徴計量空間で
評価が行なわれるため、未知標本に対しても変動要因が
抑制され、認識性能が向上する。また、本実施例の構成
は比較的簡単である。認識率最大化を目的としたパター
ン分類器の学習法として有効性が知られている最小分類
誤り／一般化確率的降下法を適用することにより、真に
認識に本質的な判別式の計量が得られる。

【０１３２】（７）変形例 以上の実施例においては、音声認識装置に適用するため
のパターン認識装置について説明したが、本発明はこれ
に限らず、文字認識装置や画像認識装置に適用してもよ
い。なお、文字認識装置や画像認識装置の場合には、図
１のマイクロホン２００及び特徴抽出部２０１に代え
て、用紙上に手書き、タイプ又は印字された文字、もし
くは画像パターンなどの画像をドット画像データに変換
してパターンとして特徴変換部１０−１乃至１０−Ｋ及
びパラメータ学習制御部２０に出力するイメージスキャ
ナーを備える。この場合、予め設定された学習用文字又
は画像パターンを用いて学習させた後、文字認識又は画
像認識を行うことができる。なお、音声認識装置におい
て、特徴抽出部２０１を設けず、マイクロホン２００で
得られる音声信号波形をＡ／Ｄ変換して得られた音声デ
ータを、そのまま入力パターンとして用いてもよい。

【０１３３】以上の実施例において、特徴抽出部２０１
は、入力される音声信号を３２次元ＬＰＣケプストラム
係数ベクトルに変換しているが、本発明はこれに限ら
ず、音声認識装置の場合、パワースペクトル、対数パワ
ースペクトルなどの他の音声の特徴パラメータに変換し
て入力パターンｘとして用いてもよい。

【０１３４】以上の実施例においては、各類の類似性尺
度を示す判別関数として２次判別関数を用いているが、
本発明はこれに限らず、以下に示す判別関数を用いても
よい。 （ａ）類毎に中心ベクトルを複数個与えて、入力された
パターンと各中心ベクトルとの間の距離を、参考文献４
と同様な方法で表した判別関数を用いる。 （ｂ）入力されたパターンと参照パターンとの自然数ｎ
次元における特徴パラメータなどのベクトル間の角度を
表わす判別関数を用いる。 （ｃ）類毎にパターンの確率密度関数を与えて、入力さ
れたパターンの密度関数の値である尤度を表わす判別関
数を用いる。

【０１３５】以上の実施例においては、選択器１２は、
複数Ｋ個の判別関数値の中で最小値の判別関数値を出力
した判別関数器に対応する類の情報を分類結果として出
力しているが、本発明はこれに限らず、判別関数値が大
きいときに類の類似性尺度が高いときは、複数Ｋ個の判
別関数値の中で最大値の判別関数値を出力した判別関数
器に対応する類の情報を分類結果として出力するように
構成される。

【０１３６】

【発明の効果】以上詳述したように本発明に係る請求項
１記載のパターン認識方法によれば、入力されたパター
ンを、上記各類の特徴を強調するように上記各類に対応
した所定の変換パラメータを用いて特徴変換処理を実行
することにより上記各類に対応した複数の特徴空間のベ
クトルに変換し、上記変換した複数の特徴空間のベクト
ルに対してそれぞれ、上記各類の類似性尺度を示す所定
の判別関数を用いて判別関数の値を計算し、上記計算し
た上記各類に対応する複数の判別関数の値に基づいて上
記入力されたパターンが属する類を選択することにより
パターン認識を実行し、所定の学習用パターンに基づい
て、上記特徴変換処理の変換パラメータと、上記判別関
数とを、パターン認識の誤り確率が最小になるように学
習させて設定する。従って、本発明によれば、パターン
認識装置の学習用パターンとは異なる未知のパターンに
対して精度の高いパターン認識装置の学習のための新し
い方法を提供し、類固有の特徴を効果的に表現する特徴
計量空間、すなわち、類固有の判別関数の計量を識別的
に、すなわち認識誤りが減少するように学習することが
できる。それ故、従来全ての類で共通の特徴空間で類別
評価が行なわれていたのに対して、本発明では、類の特
徴を表現する各類固有の空間で評価が行なわれるため、
未知のパターンに対しても変動要因が抑制され、認識性
能が向上し、従来に比較して高い認識精度を得ることが
できる。

【０１３７】また、本発明に係る請求項５記載のパター
ン認識装置によれば、入力されたパターンを所定の複数
の類の１つに分類して認識するパターン認識装置におい
て、上記複数の類毎に設けられ、入力されたパターン
を、上記各類の特徴を強調するように上記各類に対応し
た所定の変換パラメータを用いて特徴変換処理を実行す
ることにより上記各類に対応した複数の特徴空間のベク
トルにそれぞれ変換する複数の特徴変換手段と、上記複
数の類毎に設けられ、上記複数の特徴変換手段によって
変換された複数の特徴空間のベクトルに対してそれぞ
れ、上記各類の類似性尺度を示す所定の判別関数を用い
て判別関数の値をそれぞれ計算する複数の判別関数手段
と、上記複数の判別関数手段によって計算された上記各
類に対応する複数の判別関数の値に基づいて上記入力さ
れたパターンが属する類を選択することによりパターン
認識を実行する選択手段と、所定の学習用パターンに基
づいて、上記複数の特徴変換処理の変換パラメータと、
上記複数の判別関数とを、パターン認識の誤り確率が最
小になるように学習させて設定する学習制御手段とを備
える。従って、本発明によれば、パターン認識装置の学
習用パターンとは異なる未知のパターンに対して精度の
高いパターン認識装置の学習のための新しいパターン認
識装置を提供し、類固有の特徴を効果的に表現する特徴
計量空間、すなわち、類固有の判別関数の計量を識別的
に、すなわち認識誤りが減少するように学習することが
できる。それ故、従来全ての類で共通の特徴空間で類別
評価が行なわれていたのに対して、本発明では、類の特
徴を表現する各類固有の空間で評価が行なわれるため、
未知のパターンに対しても変動要因が抑制され、認識性
能が向上し、従来に比較して高い認識精度を得ることが
できる。

【０１３８】また、請求項９記載のパターン認識装置に
よれば、上記信号変換手段は、入力された音声を音声信
号に変換して出力し、上記特徴抽出手段は、上記信号変
換手段から出力される音声信号を所定の音声の特徴パラ
メータに変換して変換した特徴パターンを、もしくは上
記音声信号を、パターンとして上記複数の特徴変換手段
及び上記学習制御手段に出力する。ここで、学習用音声
を上記信号変換手段に入力することにより、上記学習制
御手段により学習処理が実行され、その後、未知の音声
を上記信号変換手段に入力することにより入力された未
知の音声を、従来に比較して高い認識精度で認識するこ
とができる。

【０１３９】さらに、請求項１１記載のパターン認識装
置によれば、上記画像変換手段は、文字又は画像をドッ
ト画像データに変換してパターンとして上記複数の特徴
変換手段及び上記学習制御手段に出力する。ここで、学
習用文字又は画像を上記画像変換手段に入力することに
より、上記学習制御手段により学習処理が実行され、そ
の後、未知の文字又は画像を上記画像変換手段に入力す
ることにより入力された未知の文字又は画像を、従来に
比較して高い認識精度で認識することができる。

【図面の簡単な説明】

【図１】 本発明に係る一実施例であるパターン認識装
置のブロック図である。

【図２】 従来例のパターン認識装置のブロック図であ
る。

【図３】 図２の分類部２のブロック図である。

【図４】 図３の分類部２を用いた従来例のパターン認
識装置である。

【図５】 図１の実施例において元の１つの空間を２つ
の特徴計量空間に分類したときの各パターンを示す説明
図である。

【図６】 図１の特徴変換部１０−１乃至１０−Ｋの動
作を示す図である。

【図７】 図１のパラメータ学習制御部１０によって実
行されるパラメータ学習処理を示すフローチャートであ
る。

【符号の説明】

１０−１乃至１０−Ｋ…特徴変換部、 １１−１乃至１１−Ｋ…判別関数器、 １２…選択器、 ２０…パラメータ学習制御部、 １００…パターン認識装置、 ２００…マイクロホン、 ２０１…特徴抽出部。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成７年６月１６日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００５５

【補正方法】変更

【補正内容】

【００５５】

【数１２】ｙ_s＝Ｌ_is(ｘ) ＝Φ_sＶ_s ^Tｘ， ｓ＝１，２，…，Ｋ

【数１３】Φ_s＝ｄｉａｇ(φ_s,1 φ_s,2 … φ_s,d)

【数１４】Ｖ_s＝［ｖ_s,1 ｖ_s,2 … ｖ_s,d］， Ｖ_s ^TＶ_s＝Ｉ

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００５６

【補正方法】変更

【補正内容】

【００５６】ここで、上付き^Tは行列の転置を表し、ｄ
ｉａｇ（ ）は対角行列を表わす。Ｉは単位行列であ
る。上記式の変換の役割は、２次元（ｄ＝２）の場合で
あって図６から容易に理解できる。直交行列Ｖ_sの各列
ベクトルは、ｄ次元ベクトル空間の１つの正規直交基底
ベクトルである。変換後のベクトルｙ_sのｉ番目成分
は、入力パターンｘをｉ番目の基底ベクトルｖ_s,iの方
向に正射影し、さらに、図６で図示していないが、実数
φ_s,iで乗算することで拡大又は縮小する（すなわち、
伸縮する）ことにより得られる。以下、ベクトルｖ_s,i
及び実数φ_s,iをそれぞれ、類Ｃ_sにおけるｉ番目の類特
徴軸及び伸縮パラメータと呼ぶ。図６の例では、原始パ
ターン空間Ｘは直交する２つの軸Ｘ₁，Ｘ₂で表され、Ｏ
Ｐで表される入力パターンｘが、直交する２つの基底ベ
クトルｖ_s,1及びｖ_s,2からなる線形変換後の特徴計量空
間に変換される。ここで、基底ベクトルｖ_s,1に変換さ
れた成分ＯＱは│ｖ_s,1 ^Tｘ│で表される一方、基底ベク
トルｖ_s,2に変換された成分ＯＲは│ｖ_s,2 ^Tｘ│で表さ
れる。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００５８

【補正方法】変更

【補正内容】

【００５８】空間｛ｖ_s,i｝_i=1 ^d及び空間｛φ_s,i｝_i=1 ^d
はともに、類Ｃ_sにおける類似性の「計り方」を与える
ものである。よって、これらを「計量」と称することと
し、特徴ベクトルｙ_sが動く空間Ｙ_sを「類Ｃ_sの特徴計
量空間」と呼ぶことにする。本実施例において示すパタ
ーン認識装置の学習方法は、一般的に適用されている分
類部２の学習パラメータとともに、この計量も同時に学
習するものである。すなわち、本実施例では、特徴変換
部１０−１乃至１０−Ｋと判別関数器１１−１乃至１１
−Ｋの両方を学習させる。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００６１

【補正方法】変更

【補正内容】

【００６１】ここで、

【数１６】Ａ_s＝Ｖ_sΛ_sＶ_s ^T

【数１７】Λ_s＝Φ_s ²

【数１８】ｒ_s＝［ｒ_s,1 ｒ_s,2 … ｒ_s,d］^T

【数１９】Θ＝｛Θ₁，…，Θ_K｝

【数２０】Θ_s＝｛ｒ_s，Φ_s，Ｖ_s｝

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００６６

【補正方法】変更

【補正内容】

【００６６】

【数２３】Ｒ_s＝Ｅ_sΓ_sＥ_s ^T

【数２４】Γ_s＝ｄｉａｇ(γ_s,1 γ_s,2 … γ_s,d)

【数２５】Ｅ_s＝［ｅ_s,1 ｅ_s,2 … ｅ_s,d］， Ｅ_s ^TＥ_s＝Ｉ

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００６７

【補正方法】変更

【補正内容】

【００６７】主成分軸は、類標本共分散行列Ｒ_sの固有
ベクトル｛ｅ_s,i｝_i=1 ^dにより与えられる。各固有ベク
トルに対応する固有値｛γ_s,i｝_i=1 ^dは、標本をその固
有ベクトルの方向に正射影した成分の標本分散に等し
い。従って、各類における類標本共分散行列の大きい固
有値に対応する固有ベクトルが、その類における標本の
ばらつきを表現する軸であると見なせる。ここで、計量
（Φ_s，Ｖ_s）は次の数２６で表される。

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００８９

【補正方法】変更

【補正内容】

【００８９】

【数３６】Ｖ_s＝Ｕ_1,2(θ_s,1,2)Ｕ_1,3(θ_s,1,3)…Ｕ
_d-1,d(θ_{ｓ，ｄ−１，ｄ}）

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】００９０

【補正方法】変更

【補正内容】

【００９０】ここで、ｄ×ｄの行列Ｕ_ｐ，ｑ（θ）（ｐ
＜ｑ）は次の数３７で与えられる。

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】００９２

【補正方法】変更

【補正内容】

【００９２】すなわち、行列Ｕ_p,q（θ）は、（ｐ，
ｐ）成分と（ｑ，ｑ）成分がｃｏｓθであり、（ｐ，
ｑ）成分がｓｉｎθであり、（ｑ，ｐ）成分が−ｓｉｎ
θであり、それ以外は対角成分が１で非対角成分が０の
ｄ次直交行列である。この行列Ｕ_p,q（θ）はヤコビの
回転（Jacobi Rotation）と呼ばれ、ｄ次元ベクトルの
ｐ軸成分とｑ軸成分をそれらの軸により生成される平面
上で角度θだけ回転させる演算子である（例えば、G.H.
Golub及びC.F.Van Loan,“Matrix Computations,TheJoh
ns Hopkins University Press,１９８９年（以下、参考
文献９という。）参照。）。数３６は、直交行列を全て
の組合せの軸対に対応するヤコビの回転（Jacobi Rotat
ion）で表現することを表している。その組合せの個数
は直交行列Ｖ_sの自由度と同じｄ（ｄ−１）／２であ
り、直交行列Ｖ_sそのものを制約条件の下で修正する代
わりに角度（θ_s,p,q）を調節すれば良いことがわか
る。以上により、最小分類誤り／一般化確率的降下法に
より調節されるパラメータは以下の３種となる。

【手続補正１０】

【補正対象書類名】明細書

【補正対象項目名】００９３

【補正方法】変更

【補正内容】

【００９３】

【数３８】ｒ_s＝［ｒ_s,1 ｒ_s,2 … ｒ_s,d］^T∈Ｒ^d

【数３９】φ_s＝［φ_s,1 φ_s,2 … φ_s,d］^T∈Ｒ^d

【数４０】θ_s＝［θ_s,1,2 θ_s,1,3 … θ_s,d-1,d］
^T∈Ｒ^d(d-1)/2， ｓ＝１，２，…，Ｋ

【手続補正１１】

【補正対象書類名】明細書

【補正対象項目名】００９７

【補正方法】変更

【補正内容】

【００９７】

【数４４】Ｗ_s＝Ｕ_1,2（θ_s,1,2）Ｕ_1,3（θ_s,1,3）…
Ｕ_d-1,d（θ_s,d-1,d）

【手続補正１２】

【補正対象書類名】明細書

【補正対象項目名】０１０１

【補正方法】変更

【補正内容】

【０１０１】

【数４６】ｐ_s＝［ｐ_s,1 ｐ_s,2 … ｐ_s,d］^T∈Ｒ^d

【数４７】φ_s＝［φ_s,1 φ_s,2 … φ_s,d］^T∈Ｒ^d

【数４８】θ_s＝［θ_s,1,2 θ_s,1,3 … θ_s,d-1,d］^T∈
Ｒ^{ｄ（ｄ−１）／２}

【手続補正１３】

【補正対象書類名】明細書

【補正対象項目名】０１０３

【補正方法】変更

【補正内容】

【０１０３】

【数４９】ｐ_ｓ ^（０）＝Ｖ_s ^(0)Tμ_s

【数５０】φ_s,i ⁽⁰⁾＝１／√(γ_s,i)， ｉ＝１，２，…，ｄ

【数５１】θ_s,p,q ⁽⁰⁾＝１， ｐ＜ｑ； ｐ＝１，２，…，ｄ−１； ｑ＝２，３，…，ｄ

【数５２】Ｖ_s ⁽⁰⁾＝Ｅ_ｓ

【手続補正１４】

【補正対象書類名】明細書

【補正対象項目名】０１０７

【補正方法】変更

【補正内容】

【０１０７】

【数５５】∇Θｄ_ｋ（ｘ；Θ)＝[∇Θ₁ｄ_k(ｘ；Θ) ∇
Θ₂ｄ_k(ｘ；Θ)…∇Θ_Kｄ_k(ｘ；Θ)]

【数５６】∇Θ_sｄ_k(ｘ；Θ)＝ρ_k,s(ｘ；Θ)(∂ｇ
(ｘ；Θ_s)／∂Θ_s)， ｓ＝１，２，…，Ｋ

【手続補正１５】

【補正対象書類名】明細書

【補正対象項目名】０１１０

【補正方法】変更

【補正内容】

【０１１０】

【数５８】∂ｇ(ｘ；Θ_s)／∂ｐ_s＝−２Ｗ_sΦ_s ²Ｗ_s ^T(Ｖ
_s ^(0)Tｘ−ｐ_s)

【数５９】∂ｇ(ｘ；Θ_s)／∂φ_s,i ＝２φ_s,i│ω_s,i ^T(Ｖ_s ^(0)Tｘ−ｐ_s)│²−{２δ／φ_s,i
(εφ_s,i ²＋δ)}

【数６０】Ｗ_s＝[ω_s,1，ω_s,2，…，ω_s,d]

【数６１】∂ｇ(ｘ；Θ_s)／∂θ_s,p,q ＝２(Ｖ_s ^(0)Tｘ−ｐ_s)^T(∂Ｗ_s／∂θ_s,p,q)Φ_s ²Ｗ_s ^T(Ｖ
_s ^(0)Tｘ−ｐ_s)

【数６２】∂Ｗ_s／∂θ_s,p,q ＝Ｕ_1,2(θ_s,1,2)…Ｕ_p,q-1(θ_s,p,q-1) (∂Ｕ_p,q(θ_s,p,q)／∂θ_s,p,q)Ｕ_p,q+1(θ_s,p,q+1)…
Ｕ_d-1,d(θ_{ｓ，ｄ−１，ｄ}）

【手続補正１６】

【補正対象書類名】明細書

【補正対象項目名】０１１２

【補正方法】変更

【補正内容】

【０１１２】

【数６３】ｐ_ｓ ^（ｔ） ＝ｐ_s ^(t-1)＋２ε_tαｌ_k(ｘ_t;Θ^(t-1)){１−ｌ_k(ｘ_t;Θ
^(t-1))}ρ_k,s(ｘ_t;Θ^(t-1))×Ｗ_s ^(t-1)Φ_s ^(t-1)exp2Ｗ_s
^(t-1)T（Ｖ_s ^(0)Tｘ_t−ｐ_s ^(t-1)）

【数６４】φ_s,i ^(t) ＝φ_s,i ^(t-1)−２ε_tαｌ_k(ｘ_t;Θ^(t-1)){１−ｌ_k(ｘ_t;
Θ^(t-1))}ρ_k,s(ｘ_t;Θ^(t-1))×[φ_s,i ^(t-1)│ｗ_s,i
^(t-1)T(Ｖ_s ^(0)Tｘ_t-ｐ_s ^(t-1))│²−δ／{φ_s,i ^(t-1)(ε
φ_s,i ^(t-1)exp2＋δ)}]， ｉ＝１，２，…，ｄ

【数６５】θ_s,p,q ^(t) ＝θ_s,p,q ^(t-1)−２ε_tαｌ_k(ｘ_t;Θ^(t-1)){１−ｌ_k(ｘ
_t;Θ^(t-1))}ρ_k,s(ｘ_t;Θ^(t-1))×(Ｖ_s ^(0)Tｘ_t-ｐ_s
^(t-1))^T(∂Ｗ_s/∂θ_s,p,q)^(t-1)Φ_s ^(t-1)exp2Ｗ_s ^(t-1)T (Ｖ_s ^(0)Tｘ_t-ｐ_s ^(t-1))， ｐ＝１，２，…，ｄ−１； ｑ＝２，３，…，ｄ； ｐ＜ｑ

【手続補正１７】

【補正対象書類名】明細書

【補正対象項目名】０１１３

【補正方法】変更

【補正内容】

【０１１３】ここで、上付きのｔは繰り返しステップの
番号を表わす。また、上付きのｅｘｐ２は２乗を示す。
ｌ_k(ｘ_t;Θ^(t-1))は数２９及び数３０から得られ、ρ
_k,s(ｘ_t;Θ^(t-1))は数５７から得られ、そして(∂Ｗ_s/
∂θ_s,p,q)^(t-1)は数６２のθ_{s, p,q}にθ_s,p,q ^(t-1)を代
入することにより得られる。なお、ここで、簡単化のた
め数３３における重み正定値行列Ｈを単位行列としてい
る。正定値行列Ｈを適当に定めることにより、各パラメ
ータの更新の度合いに重み付けをすることができる。パ
ラメータｐ_sを調整することにより各類の最適な中心ベ
クトルｒ_sが得られ、パラメータθ_sを調整することによ
り各類の最適な正規直交軸Ｖ_sが得られ、そしてφ_sを調
整することにより各類の各特徴軸に対する最適な伸縮パ
ラメータが得られる。

【手続補正１８】

【補正対象書類名】明細書

【補正対象項目名】０１１８

【補正方法】変更

【補正内容】

【０１１８】

【数６７】∇Θ_sｄ_k(ｘ_t；Θ^(t-1))＝ρ_k,s(ｘ_t；Θ
^(t-1))∇Θ_sｇ(ｘ_t；Θ^{（ｔ−１）}）

【手続補正１９】

【補正対象書類名】明細書

【補正対象項目名】０１１９

【補正方法】変更

【補正内容】

【０１１９】ここで、ρ_ｋ，ｓ（ｘ_t；Θ^(t-1))は数５
７で表される。また、∇Θ_sｇ(ｘ_t；Θ^{(t -1)})は、Θ_s＝
Θ_s ^(t-1)のときの∂ｇ(ｘ_t；Θ_s)／∂ｐ_s，∂ｇ(ｘ_t；
Θ_s)／∂φ_s，∂ｇ(ｘ_t；Θ_s)／∂θ_sからなる列ベクト
ルの行列で表される。ただし、∂ｇ(ｘ_t；Θ_s)／∂ｐ_s
は数５８で表され、∂ｇ(ｘ_t；Θ_s)／∂φ_sは、それぞ
れ数５９で表される∂ｇ(ｘ_t；Θ_s)／∂φ_s,1，∂ｇ(ｘ
_t；Θ_s)／∂φ_s,2，…，∂ｇ(ｘ_t；Θ_s)／∂φ_s,dから
なる列ベクトルの行列で表される。さらに、∂ｇ(ｘ_t；
Θ_s)／∂θ_sは、それぞれ数６１でｐ＜ｑかつｐ及びｑ
が１，２，…，ｄの範囲で表される∂ｇ(ｘ_t；Θ_s)／∂
θ_s,1,2，∂ｇ(ｘ_t；Θ_s)／∂θ_s,1,3，…，∂ｇ(ｘ_t；
Θ_s)／∂θ_s,d-1,dからなる列ベクトルの行列で表され
る。

【手続補正２０】

【補正対象書類名】明細書

【補正対象項目名】図７

【補正方法】変更

【補正内容】

【図７】 図１のパラメータ学習制御部２０によって実
行されるパラメータ学習処理を示すフローチャートであ
る。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山口 毅 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内 (72)発明者 片桐 滋 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内

Claims (11)

【特許請求の範囲】
1. 【請求項１】 入力されたパターンを所定の複数の類の
   １つに分類して認識するパターン認識方法において、 入力されたパターンを、上記各類の特徴を強調するよう
   に上記各類に対応した所定の変換パラメータを用いて特
   徴変換処理を実行することにより上記各類に対応した複
   数の特徴空間のベクトルに変換し、上記変換した複数の
   特徴空間のベクトルに対してそれぞれ、上記各類の類似
   性尺度を示す所定の判別関数を用いて判別関数の値を計
   算し、上記計算した上記各類に対応する複数の判別関数
   の値に基づいて上記入力されたパターンが属する類を選
   択することによりパターン認識を実行し、 所定の学習用パターンに基づいて、上記特徴変換処理の
   変換パラメータと、上記判別関数とを、パターン認識の
   誤り確率が最小になるように学習させて設定することを
   特徴とするパターン認識方法。
2. 【請求項２】 上記特徴変換処理は、入力されたパター
   ンを、所定の基底ベクトルに対して写像しかつ所定の実
   数を乗算することにより上記各類に対応した複数の特徴
   空間のベクトルに線形変換することを特徴とする請求項
   １記載のパターン認識方法。
3. 【請求項３】 上記判別関数は、上記各類の類似性尺度
   を示す所定の２次判別関数であることを特徴とする請求
   項１又は２記載のパターン認識方法。
4. 【請求項４】 所定の学習用パターンに基づいて、上記
   特徴変換処理の変換パラメータと、上記判別関数とを、
   確率的降下定理を用いる適応的最小化法を用いてパター
   ン認識の誤り確率が最小になるように適応化することを
   特徴とする請求項１、２又は３記載のパターン認識方
   法。
5. 【請求項５】 入力されたパターンを所定の複数の類の
   １つに分類して認識するパターン認識装置において、 上記複数の類毎に設けられ、入力されたパターンを、上
   記各類の特徴を強調するように上記各類に対応した所定
   の変換パラメータを用いて特徴変換処理を実行すること
   により上記各類に対応した複数の特徴空間のベクトルに
   それぞれ変換する複数の特徴変換手段と、 上記複数の類毎に設けられ、上記複数の特徴変換手段に
   よって変換された複数の特徴空間のベクトルに対してそ
   れぞれ、上記各類の類似性尺度を示す所定の判別関数を
   用いて判別関数の値をそれぞれ計算する複数の判別関数
   手段と、 上記複数の判別関数手段によって計算された上記各類に
   対応する複数の判別関数の値に基づいて上記入力された
   パターンが属する類を選択することによりパターン認識
   を実行する選択手段と、 所定の学習用パターンに基づいて、上記複数の特徴変換
   処理の変換パラメータと、上記複数の判別関数とを、パ
   ターン認識の誤り確率が最小になるように学習させて設
   定する学習制御手段とを備えたことを特徴とするパター
   ン認識装置。
6. 【請求項６】 上記複数の特徴変換手段はそれぞれ、入
   力されたパターンを、所定の基底ベクトルに対して写像
   しかつ所定の実数を乗算することにより上記各類に対応
   した複数の特徴空間のベクトルに線形変換することを特
   徴とする請求項５記載のパターン認識装置。
7. 【請求項７】 上記複数の判別関数手段の判別関数はそ
   れぞれ、上記各類の類似性尺度を示す所定の２次判別関
   数であることを特徴とする請求項５又は６記載のパター
   ン認識装置。
8. 【請求項８】 上記学習制御手段は、所定の学習用パタ
   ーンに基づいて、上記複数の特徴変換処理の変換パラメ
   ータと、上記複数の判別関数手段の判別関数とを、確率
   的降下定理を用いる適応的最小化法を用いてパターン認
   識の誤り確率が最小になるように適応化することを特徴
   とする請求項５、６又は７記載のパターン認識装置。
9. 【請求項９】 上記パターン認識装置はさらに、 入力された音声を音声信号に変換して出力する信号変換
   手段と、 上記信号変換手段から出力される音声信号を所定の音声
   の特徴パラメータに変換して変換した特徴パラメータ
   を、もしくは上記音声信号を、パターンとして上記複数
   の特徴変換手段及び上記学習制御手段に出力する特徴抽
   出手段とを備え、 上記入力された音声を認識することを特徴とする請求項
   ５乃至８のうちの１つに記載のパターン認識装置。
10. 【請求項１０】 上記特徴抽出手段は、上記信号変換手
    段から出力される音声信号に対して、線形予測分析を行
    ってＬＰＣケプストラム係数ベクトルに変換してパター
    ンとして上記複数の特徴変換手段及び上記学習制御手段
    に出力することを特徴とする請求項９記載のパターン認
    識装置。
11. 【請求項１１】 上記パターン認識装置はさらに、 文字又は画像をドット画像データに変換してパターンと
    して上記複数の特徴変換手段及び上記学習制御手段に出
    力する画像変換手段を備え、 上記文字又は画像を認識することを特徴とする請求項
    ５、６又は７記載のパターン認識装置。