JP3102989B2 - パタン表現モデル学習装置及びパタン認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、認識対象となるカテゴ
リのパタン表現モデルの学習装置及びパタン認識装置に
関し、特にカテゴリ間の認識能力の高いパタン表現モデ
ル学習装置及びパタン認識装置を提供するものである。

【０００２】

【従来の技術】音声パタンの表現モデルとして、近年Ｈ
ＭＭ（Hidden Markov Model 、隠れマルコフモデル）が
広く用いられており、ここではパタン表現モデルとして
ＨＭＭを用いた場合を例にとり、従来技術の説明を行う
こととする。

【０００３】ＨＭＭは音声パタンの特徴ベクトルの時系
列を確率的に表現するモデルであり、音声パタンはＨＭ
Ｍにより複数の状態とその間の遷移によりモデル化され
る。ＨＭＭは状態間遷移の確率と、遷移時に出力される
特徴ベクトルの出力確率分布をパラメータとする。ＨＭ
Ｍの学習、すなわちパラメータ推定方式として最も一般
的なものは、学習に用いる特徴ベクトルの時系列に対し
てＨＭＭの出力する尤度が大きくなるようにＨＭＭのパ
ラメータを設定する方式で、最尤推定法と呼ばれてい
る。

【０００４】この最尤推定法によるＨＭＭの学習は、モ
デル間の識別能力を学習時に考慮していないため、得ら
れたモデルによる識別性能には限界がある。音声認識の
ためのＨＭＭ学習法についてこの問題を解決する目的で
提案されているものは、本発明の発明者ら（水田忍、中
島邦男）による、文献：「混合連続分布ＨＭＭに対する
最適識別学習法の検討」（日本音響学会平成２年春季研
究発表会講演論文集、１−３−１２）のようなものがあ
る。

【０００５】図６は文献に記述されているパタン表現モ
デル学習装置及びパタン認識装置の一実施例を示す構成
図である。

【０００６】本例では、パタン表現モデルとして、出力
確率分布が多次元正規分布の混合分布で表現された連続
型のＨＭＭを用いるものとする。

【０００７】また、学習や認識の対象となるカテゴリの
単位は単語であるとする。

【０００８】図６において、１は学習用パタンであり、
各カテゴリの音声を音響分析して得られる音響特徴ベク
トルの時系列である。２は各カテゴリ毎にＨＭＭの初期
モデルを設定する初期モデル設定手段、３は初期モデル
設定手段２によって設定された各カテゴリの初期モデ
ル、４は入力された学習用パタンに応じて学習するカテ
ゴリを選択する学習用カテゴリ選択手段、６は学習用カ
テゴリ選択手段４によって選択された学習カテゴリのパ
タン表現モデルのパラメータを制御するパラメータ制御
手段、７はパラメータ制御手段によって得られた学習結
果モデル、８は発声内容が未知の音声を音響分析して得
られる音響特徴ベクトルの時系列である、認識パタン、
９は認識パタン８のカテゴリを決定する認識用カテゴリ
選択手段、１０は認識結果である。

【０００９】まずパタン表現モデル学習装置の動作につ
いて説明する。

【００１０】学習手続きに先立ち、初期モデル設定手段
２によって、各カテゴリの初期モデル３は既に設定され
ているものとする。本例では初期モデル３は最尤推定法
により設定されているものとする。

【００１１】また学習用パタン１は、学習対象となるカ
テゴリの各々に対して一個以上用意されているものとす
る。

【００１２】学習は以下のように行う。

【００１３】（学習手順１）学習対象となる前記複数の
単語カテゴリのいずれかに属する、一個の学習用パタン
１が、学習用カテゴリ選択手段４に入力されると、学習
用カテゴリ選択手段４は、この学習パタン１に対して、
前記各カテゴリの初期モデル３の各々からの生起確率を
求め、これら複数の初期モデル３のうち、前記学習用パ
タン１と異なるカテゴリに属し、生起確率が最大となる
最近傍他カテゴリのモデルを選択し、選択結果５を出力
する。

【００１４】（学習手順２）パラメータ制御手段６で
は、前記初期モデル３のうち前記学習パタン１と同じ単
語カテゴリに属する自カテゴリモデル、及び前記選択手
段により選択された最近傍他カテゴリモデルについて、
この学習用パタン１が生起する確率が自カテゴリモデル
では高く、最近傍他カテゴリモデルでは低くなるように
モデルのパラメータを再推定する。

【００１５】このパラメータ再推定は、モデルの出力確
率分布と前記学習用パタン１との対応関係をViterbi パ
ス（生起確率が最大となるような、前記学習パタン１の
特徴ベクトルの時系列とモデルの状態との対応関係）に
より決定し、パラメータ更新は混合連続分布で表現され
た出力確率分布の中心ベクトルを、学習用パタン１を構
成する音響特徴ベクトルの対応するベクトルに近づけ、
また遠ざけることで実現する。

【００１６】（学習手順３）再推定されたモデルを初期
モデル３と置き換える。

【００１７】（学習手順４）すべての学習パタンの各々
に対して、上記の学習手順１から３を行う。

【００１８】（学習手順５）上記 の学習手順１から４までの処理を必要回数行った
後、得られたモデルを学習結果モデル７として出力す
る。

【００１９】次にパタン認識装置の動作について説明す
る。

【００２０】認識対象となる前記複数の単語カテゴリの
いずれかに属する、カテゴリ未知の認識パタン８が認識
用カテゴリ選択手段９に入力されると、認識用カテゴリ
選択手段９では、前記認識パタン８に対する学習結果モ
デル７の各々からの生起確率を求め、これらの学習結果
モデルのうち、生起確率が最大となるモデルを選択し、
このモデルの属するカテゴリを認識結果１０として出力
する。

【００２１】

【発明が解決しようとする課題】上記従来例のパタン表
現モデル学習方式では、複数のカテゴリの各カテゴリ間
のすべての対立関係を考慮した学習が行われる。

【００２２】具体的には、例えばＡ，Ｂ，Ｃ，……，Ｊ
の認識すべき１０個の単語カテゴリがある場合、カテゴ
リＡに属する学習用パタン１を入力した時、学習用カテ
ゴリＢが最近傍他カテゴリとして選択されたならば、パ
ラメータ制御手段５により前記学習用パタン１が属する
カテゴリＡのモデルに対しては、この学習用パタン１が
生起する確率が高くなるようにパラメータを再推定し、
逆にカテゴリＢのモデルに対しては、この学習用パタン
１が生起する確率が低くなるようにパラメータを再推定
する。

【００２３】以上より、上記パタン表現モデル学習方式
においては、カテゴリＡとカテゴリＢとの識別性能の向
上が期待される。しかし、前記パラメータの再推定によ
り、他の認識すべき８個（Ｃ，Ｄ，Ｅ，……，Ｊ）の単
語カテゴリの一つまたは複数との識別性能が低下する方
向に前記パラメータが再推定されてしまう可能性があ
る。このような悪影響はカテゴリ総数が大きくなるほ
ど、発生しやすくなるものと考えられる。

【００２４】本発明は、上記問題点を解決するためにな
されたもので、識別性能の高いパタン表現モデル学習装
置及びパタン認識装置を提供することを目的とする。

【００２５】

【課題を解決するための手段】請求項１記載の発明にお
いては、認識の対象となるカテゴリに属する学習用パタ
ンを用いて、前記カテゴリに属するパタンを表現するパ
タン表現モデルのパラメータの初期値を設定する初期モ
デル設定手段と、前記初期モデル設定手段によって得ら
れた各々のカテゴリに属する初期モデルを用いて、各カ
テゴリ間の類似度を求め、類似度の高いカテゴリ同士を
一つの小カテゴリ群にクラス分けすることによって、前
記認識対象となる複数のカテゴリ全体を所定数の小カテ
ゴリ群に分類し、この分類結果を小カテゴリ群帳に登録
する小カテゴリ群登録手段と、前記認識対象となる複数
のカテゴリのいずれかに属するカテゴリ既知の学習パタ
ンを入力とし、この学習パタンが属するカテゴリを含む
小カテゴリ群全てをまず選択し、選択された小カテゴリ
群の中からこの学習パタンとの類似度が最大となる小カ
テゴリ群一個を、最終選択結果として出力する学習用小
カテゴリ群選択手段と、前記学習用小カテゴリ群選択手
段により選択された一個の小カテゴリ群を構成する複数
のカテゴリのうち、前記学習パタンが属するカテゴリで
ある学習自カテゴリと、前記学習パタンが属するカテゴ
リ以外で前記学習パタンとの類似度が最大となるカテゴ
リである最近学習他カテゴリとを、選択結果として出力
する学習用カテゴリ選択手段と、前記学習用カテゴリ選
択手段により選択された前記学習自カテゴリのパタン表
現モデルに対しては前記学習パタンとの類似度がより高
くなるようにモデルのパラメータを制御し、前記最近傍
学習他カテゴリのパタン表現モデルに対しては前記学習
パタンとの類似度がより低くなるようにモデルのパラメ
ータを制御するパラメータ制御手段とを備える。

【００２６】また請求項２記載の発明においては、カテ
ゴリ未知の認識パタンを入力とし、前記小カテゴリ群帳
に登録された所定数の小カテゴリ群の中から、前記認識
パタンとの類似度が最大となる一個の小カテゴリ群を選
択する認識用小カテゴリ群選択手段と、前記パラメータ
制御手段によってパラメータを制御された学習結果モデ
ルを用いて、前記認識用小カテゴリ群選択手段によって
選択された一個の小カテゴリ群を構成する複数のカテゴ
リのパタン表現モデルの各々と、前記認識パタンとの類
似度を求め、類似度が最大となるパタン表現モデルの属
するカテゴリを出力する認識用カテゴリ選択手段とを備
える。

【００２７】また請求項３及び請求項４記載の発明にお
いては、前記初期モデル設定手段によって得られた各々
のカテゴリに属する初期モデルと学習用パタンを用い
て、各カテゴリ間での認識混同情報を生成する混同情報
生成手段と、前記混同情報をもとに認識時に混同を生じ
やすいカテゴリ同士を一つの小カテゴリ群にクラス分け
することによって、前記認識対象となる複数のカテゴリ
全体を所定数の小カテゴリ群に分類し、この分類結果を
小カテゴリ群帳に登録する小カテゴリ群登録手段を備え
る。

【００２８】

【作用】請求項１記載の発明に係わるパタン学習装置に
おいて、小カテゴリ群登録手段は、類似度の高いカテゴ
リ同士を一つの小カテゴリ群にクラス分けすることによ
って、複数のカテゴリ全体を所定数の小カテゴリ群に分
類し、この分類結果を小カテゴリ群帳に登録する。学習
用小カテゴリ群選択手段は、前記複数のカテゴリのいず
れかに属するカテゴリ既知の学習パタンを入力とし、こ
の学習パタンが属するカテゴリを含む小カテゴリ群全て
をまず選択し、選択された小カテゴリ群の中からこの学
習パタンとの類似度が最大となる小カテゴリ群一個を最
終的に選択する。パラメータ制御手段は、この選択され
た一個の小カテゴリ群の内部でのみ、カテゴリの識別能
力を向上させるためのパラメータの再推定を行う。

【００２９】また請求項２記載の発明に係わるパタン認
識装置において、カテゴリ未知の認識パタンを入力と
し、認識用小カテゴリ群選択手段は前記小カテゴリ群帳
に登録された所定数の小カテゴリ群の中から、前記認識
パタンとの類似度が最大となる一個の小カテゴリ群を選
択する。認識用カテゴリ選択手段は、前記認識小カテゴ
リ群選択手段によって選択された一個の小カテゴリ群を
構成する複数のカテゴリのパタン表現モデルの各々と、
前記認識パタンとの類似度を求め、類似度が最大となる
パタン表現モデルの属するカテゴリを出力する。

【００３０】また請求項３及び請求項４記載の発明にお
いては、混同情報生成手段は初期設定により得られた各
々のカテゴリに属するパタン表現モデルと、パタン表現
モデル学習用の音声データを用いて各カテゴリ間での認
識混同情報を生成し、小カテゴリ群登録手段は、この混
同情報をもとに、認識時に混同を生じやすいカテゴリ同
士を一つの小カテゴリ群にまとめ、前記認識対象となる
複数のカテゴリ全体を所定数の小カテゴリ群に分類し、
この分類結果を小カテゴリ群帳に登録する。

【００３１】

【実施例】

実施例１．図１は、請求項１と請求項２記載の発明の一
実施例に係わる、パタン表現モデル学習装置及びパタン
認識装置の構成図である。

【００３２】図１において、１は学習用パタンであり、
各カテゴリの音声を音響分析して得られる音響特徴ベク
トルの時系列である。２は各カテゴリ毎にＨＭＭの初期
モデルを設定する初期モデル設定手段、３は初期モデル
設定手段２によって設定された各カテゴリの初期モデ
ル、４は入力された学習用パタンに応じて学習するカテ
ゴリを選択する学習用カテゴリ選択手段、６は学習用カ
テゴリ選択手段４によって選択された学習カテゴリのパ
タン表現モデルのパラメータを制御するパラメータ制御
手段、７はパラメータ制御手段によって得られた学習結
果モデル（図１には示されず、後述する図６に示されて
いる。）、８は発声内容が未知の音声を音響分析して得
られる音響特徴ベクトルの時系列である、認識パタン、
９は認識パタン８のカテゴリを決定する認識用カテゴリ
選択手段、１０は認識結果、１１は小カテゴリ群登録手
段、１２は小カテゴリ群が登録されている小カテゴリ群
帳、１３は学習用小カテゴリ群を選択する学習用小カテ
ゴリ群選択手段、１４は学習用小カテゴリ群の選択結
果、１５は学習途中の小カテゴリ群別学習途中モデル、
１６は学習が完了した小カテゴリ群別学習結果モデル、
１７は認識用の小カテゴリ群を選択する認識用小カテゴ
リ群選択手段、１８は認識用小カテゴリ群の選択結果で
ある。

【００３３】ここで小カテゴリ群別学習途中モデル１５
及び小カテゴリ群別学習結果モデル１６は、各小カテゴ
リ群毎に別々に用意する。すなわち、複数の小カテゴリ
群に属するカテゴリは、そのカテゴリが所属する小カテ
ゴリ毎に別々のパタン表現モデルを設定する。

【００３４】本実施例においても従来技術の例と同様
に、パタン表現モデルとして、出力確率分布が多次元正
規分布の混合分布で表現された連続型のＨＭＭを用いる
ものとする。また学習や認識の対象となるカテゴリの単
位は単語であるとする。

【００３５】まずパタン表現モデル学習装置の動作につ
いて説明する。

【００３６】学習手続きに先立ち、初期モデル設定手段
２によって、各カテゴリの初期モデル３は既に設定され
ているものとする。本例では初期モデル３は最尤推定法
により設定されているものとする。

【００３７】また小カテゴリ群別学習途中モデル１５の
初期値としては、初期モデル３の値を各小カテゴリ群で
共通に設定することとする。例えば、Ａ，Ｂ，Ｃ，…
…，Ｊの認識すべき１０の単語カテゴリがあり、小カテ
ゴリ群帳にI 、II、III の３個の小カテゴリ群が登録さ
れており、それぞれに属するカテゴリとして、I ：
（Ａ，Ｂ，Ｄ，Ｆ）、II：（Ａ，Ｃ，Ｇ，Ｉ）、III ：
（Ａ，Ｅ，Ｈ，Ｊ）と分類されているとき、小カテゴリ
群I に属するカテゴリＡのパタン表現モデルも、小カテ
ゴリ群IIに属するカテゴリＡのパタン表現モデルも、初
期モデル３のカテゴリＡを表現するモデルのパラメータ
を初期値として設定する。

【００３８】また学習用パタン１は、学習対象となるカ
テゴリの各々に対して一個以上用意されているものとす
る。

【００３９】学習は以下のように行う。

【００４０】（学習手順１）学習対象となる前記複数の
単語カテゴリのいずれかに属する、一個の学習用パタン
１が、学習用小カテゴリ群選択手段１３に入力される
と、学習用小カテゴリ群選択手段１３では、初期モデル
３を用いて、小カテゴリ群帳１２に登録された小カテゴ
リ群のうち、学習パタン１の属するカテゴリを含み、こ
の学習用パタン１に最も適合した小カテゴリ群を選択
し、小カテゴリ群選択結果１４を出力する。ここでは小
カテゴリ群の選択を以下のように行う。

【００４１】初期モデル３と学習用パタン１の類似度を
求め、モデルの属する単語カテゴリを類似度の高いもの
から順にＣ（１）、Ｃ（２）、……とおく。小カテゴリ
群ｋに単語カテゴリＣ（１）、Ｃ（２）、……Ｃ（Ｎ）
がすべて含まれるとし、ｋに関するＮの最大値をＮ
（ｋ）とおくとき、Ｎ（ｋ）の最も大きい小カテゴリ群
ｋを選択結果１４として出力するものとする。ただし、
選択された小カテゴリ群はこの学習パタン１が属するカ
テゴリを必ず含むものとする。ここで、前記複数の単語
カテゴリの各々は前記複数の小カテゴリ群のいずれかに
属するものとし、１つの単語カテゴリが複数の小カテゴ
リ群に属することも可能である。

【００４２】（学習手順２）学習用カテゴリ選択手段４
は、前記学習パタン１が属するカテゴリを自カテゴリと
して選択する。

【００４３】また学習小カテゴリ群選択手段１３によっ
て選択された小カテゴリ群に属する小カテゴリ群別学習
途中モデル１５を用いて、前記学習パタン１に対して、
前記学習パタン１が属するカテゴリ以外のモデルからの
生起確率を求め、前記生起確率が最大となるもののカテ
ゴリを最近傍他カテゴリとして選択する。

【００４４】（学習手順３）パラメータ制御手段６で
は、小カテゴリ群別学習途中モデル１５において、学習
用小カテゴリ群選択手段１３によって選択された小カテ
ゴリ群に属し、かつ学習用カテゴリ選択手段４によって
選択された自カテゴリのモデル、及び最近傍他カテゴリ
のモデルに対して、この学習用パタン１が生起する確率
が自カテゴリモデルでは高く、最近傍他カテゴリモデル
では低くなるようにモデルのパラメータを再推定する。

【００４５】このパラメータ再推定は従来技術と同様の
方法で行う。すなわち、モデルの出力確率分布と前記学
習用パタン１との対応関係をViterbi パスにより決定
し、出力確率分布の中心ベクトルを、学習用パタン１を
構成する音響特徴ベクトルの対応するベクトルに自カテ
ゴリモデルでは近づけ、最近傍他カテゴリモデルでは遠
ざけることで実現する。

【００４６】パラメータの再推定は、学習用小カテゴリ
群選択手段１３によって選択された小カテゴリ群以外の
小カテゴリ群に属するモデルに対しては行わない。

【００４７】（学習手順４）再推定されたモデルを、対
応する小カテゴリ群別学習途中モデル１５と置き換え
る。

【００４８】（学習手順５）すべての学習パタンの各々
に対して、上記の学習手順１から４を行う。

【００４９】（学習手順６）上記の学習手順１から５ま
での処理を必要回数行った後、得られたモデルを小カテ
ゴリ群別学習結果モデル１６として出力する。

【００５０】本発明に係わるパタン表現モデル学習装置
におけるパタン表現モデルの学習方式を例をあげて説明
する。例えば、Ａ，Ｂ，Ｃ，……，Ｊの認識すべき１０
の単語カテゴリがあり、小カテゴリ群帳１２にI ，II，
III の３個の小カテゴリ群が登録されており、それぞれ
に属するカテゴリとして、I ：（Ａ，Ｂ，Ｄ，Ｆ）、I
I：（Ａ，Ｃ，Ｇ，Ｉ）、III ：（Ａ，Ｅ，Ｈ，Ｊ）と
分類されているとする。カテゴリＡに属する学習用パタ
ン１を入力したとき、学習用小カテゴリ群選択手段１３
によって小カテゴリ群I が選択され、さらに学習用カテ
ゴリ選択手段４により、カテゴリＡの最近傍カテゴリと
してカテゴリＢが選択されたならば、パラメータ制御手
段６により、小カテゴリ群Iに属するカテゴリＡのモデ
ルに対しては、学習用パタン１が生起する確率が高くな
るようにパラメータを再推定し、逆に小カテゴリI のカ
テゴリＢのモデルに対しては、この学習用パタン１が生
起する確率が低くなるようにパラメータを再推定するこ
とにより、カテゴリＡとカテゴリＢの識別性能を高める
ことができる。

【００５１】このパラメータの再推定により、小カテゴ
リ群I に属する他のカテゴリであるカテゴリＤと、カテ
ゴリＡまたはカテゴリＢとの、識別性能を低下させるよ
うなパラメータに推定される可能性もあるが、このよう
な悪影響を及ぼす可能性は小カテゴリ群I 内のみに限定
されているので、全てのカテゴリを分割せずに一括して
扱う従来技術として比較して、前記のような悪影響を及
ぼす可能性のあるカテゴリ数が少ない。ゆえにモデルＡ
とモデルＢのパラメータを再推定したことにより、小カ
テゴリ群I 内の他カテゴリのモデルとの識別性能が低下
した場合でも、さらに前記識別性能が低下したモデル同
士のパラメータを再推定すればよく、その再推定結果が
他のモデルとの識別性能に影響を与えた場合でも、小カ
テゴリ群内ではカテゴリ数が少ないので、さらに再推定
を繰り返し行うことにより、前記悪影響を非常に小さく
抑えることができる。

【００５２】また、この時、小カテゴリ群II、III に属
するカテゴリＡのパタン表現モデルのパラメータは変更
しない。このため、小カテゴリ群II、及びIII に属する
カテゴリ同士の識別性能には変化をあたえることなく、
小カテゴリ群I に属するカテゴリ同士の識別性能を高め
ることが可能である。このため、学習精度を高めること
が可能である。

【００５３】次に認識の動作について説明する。

【００５４】認識パタン８が入力されると、認識用小カ
テゴリ群選択手段１７では、初期モデル３を用いて、小
カテゴリ群帳１２に登録された小カテゴリ群のうち、認
識パタン８に最も適合した小カテゴリ群を選択し、認識
用小カテゴリ群選択結果１８を出力する。ここでは学習
用小カテゴリ群選択手段１３と同様にして選択を行う。
ただし学習用小カテゴリ群選択手段１３では、選択され
た小カテゴリ群は学習用パタン１が属するカテゴリを必
ず含むものとしたが、ここでは対応する条件は設けな
い。

【００５５】認識用カテゴリ選択手段９では、前記認識
用小カテゴリ群選択手段１７によって選択された小カテ
ゴリ群を構成するカテゴリに対して、小カテゴリ群別学
習結果モデル１６を用いて、前記認識パタン８との生起
確率を求め、これらのモデルのうち生起確率が最大とな
るカテゴリのモデルを選択し、認識結果１０を出力す
る。

【００５６】実施例２．図２は、請求項１記載の発明の
実施例に係わるパタン表現モデル学習装置及びパタン認
識装置において、小カテゴリ群として２つの相異なるカ
テゴリの対を設定した場合の一実施例を示す構成図であ
る。

【００５７】図２において、１は学習用パタンであり、
各カテゴリの音声を音響分析して得られる音響特徴ベク
トルの時系列である。２は各カテゴリ毎にＨＭＭの初期
モデルを設定する初期モデル設定手段、３は初期モデル
設定手段２によって設定された各カテゴリの初期モデ
ル、４は入力された学習用パタンに応じて学習するカテ
ゴリを選択する学習用カテゴリ選択手段、６は学習用カ
テゴリ選択手段４によって選択された学習カテゴリのパ
タン表現モデルのパラメータを制御するパラメータ制御
手段、８は発声内容が未知の音声を音響分析して得られ
る音響特徴ベクトルの時系列である、認識パタン、１０
は認識結果、１９はカテゴリ対登録手段、２０はカテゴ
リ対帳、２１は学習用カテゴリ対選択手段、２２は学習
用カテゴリ対の選択結果、２３は学習途中のカテゴリ対
別学習途中モデル、２４は学習が完了したカテゴリ対別
学習結果モデル、２５は認識用のカテゴリ対を選択する
認識用カテゴリ対選択手段、２６は認識用カテゴリ対の
選択結果である。

【００５８】ここでカテゴリ対別学習途中モデル２３及
びカテゴリ対別学習結果モデル２４は、各カテゴリ対毎
に別々に用意する。

【００５９】本実施例においてもパタン表現モデルとし
て、出力確率分布が多次元正規分布の混合分布で表現さ
れた連続型のＨＭＭを用いるものとする。また学習や認
識の対象となるカテゴリの単位は単語であるとする。

【００６０】まずパタン表現モデル学習装置の動作につ
いて説明する。

【００６１】学習手続きに先立ち、初期モデル設定手段
２によって、各カテゴリの初期モデル３は既に設定され
ているものとする。本例では初期モデル３は最尤推定法
により設定されているものとする。

【００６２】またカテゴリ対別学習途中モデル２３の初
期値としては、初期モデル３の値を各カテゴリ対で共通
に設定することとする。

【００６３】また学習用パタン１は、学習対象となるカ
テゴリの各々に対して一個以上用意されているものとす
る。

【００６４】まずパタン表現モデルの学習時の動作につ
いて説明する。

【００６５】パタン表現モデルの学習は、（１）カテゴ
リ対登録、（２）小カテゴリ対内のパタン表現モデルの
学習、の２つの手続きによって行う。

【００６６】（１）カテゴリ対登録 学習対象となっている全てのカテゴリを用いて作られる
相異なる２個のカテゴリの対を、すべてカテゴリ対帳２
０に登録する。例えば、学習対象となっているカテゴリ
が、Ａ，Ｂ，Ｃ，Ｄ，Ｅの５個であったとすると、登録
されているカテゴリの対は、（Ａ，Ｂ），（Ａ，Ｃ），
（Ａ，Ｄ），（Ａ，Ｅ），（Ｂ，Ｃ），（Ｂ，Ｄ），
（Ｂ，Ｅ），（Ｃ，Ｄ），（Ｃ，Ｅ），（Ｄ，Ｅ）の１
０個である。

【００６７】（２）カテゴリ対内のパタン表現モデルの
学習 学習は以下のように行う。

【００６８】（学習手順１）学習対象となる前記複数の
単語カテゴリのいずれかに属する、１個の学習用パタン
１が、学習用カテゴリ対選択手段２１に入力されると、
学習用カテゴリ対選択手段２１では、初期モデル３を用
いて、カテゴリ対帳２０に登録されたカテゴリ対のう
ち、学習パタン１の属するカテゴリを含み、この学習用
パタン１に最も適合したカテゴリ対を選択し、カテゴリ
対選択結果２２を出力する。

【００６９】学習カテゴリ対の選択は以下のように行
う。

【００７０】（選択手順１） カテゴリ対帳２０に登録
されたカテゴリ対のうち、学習用パタン１が属するカテ
ゴリを含むカテゴリ対全てを選択対象とする。

【００７１】（選択手順２） 選択対象となっているカ
テゴリ対に含まれるカテゴリのうち、学習用パタン１が
属するカテゴリを除く全てのカテゴリの初期モデル３と
学習用パタン１との類似度を求め、類似度のもっとも高
いカテゴリを含むカテゴリ対を学習カテゴリ対選択結果
として出力する。

【００７２】（学習手順２） 学習用カテゴリ選択手段４では、学習用カテゴリ対選択
手段２１による選択結果２２を構成するカテゴリのう
ち、前記学習用パタン１が属するカテゴリを学習自カテ
ゴリとして選択し、また対を構成する他方のカテゴリと
して選択し、選択結果５を出力する。

【００７３】（学習手順３） パラメータ制御手段６では、カテゴリ対別学習途中モデ
ル２３において、学習用カテゴリ対選択手段２１により
選択されたカテゴリ対に属する自カテゴリのモデル、及
び最近傍他カテゴリのモデルに対して、この学習用パタ
ン１が生起する確率が自カテゴリモデルでは高く、最近
傍他カテゴリモデルでは低くなるようにモデルのパラメ
ータを再推定する。

【００７４】このパラメータ再推定は実施例１と同様の
方法で行う。

【００７５】パラメータの再推定は、学習用カテゴリ対
選択手段２１によって選択されたカテゴリ対以外のカテ
ゴリ対に属するモデルに対しては行わない。

【００７６】（学習手順４）再推定されたモデルを対応
するカテゴリ対別学習途中モデル２３と置き換える。

【００７７】（学習手順５）すべての学習パタンの各々
に対して、上記の学習手順１から４を行う。

【００７８】（学習手順６）上記の学習手順１から５ま
での処理を必要回数行った後、得られたモデルをカテゴ
リ対別学習結果モデル２４として出力する。

【００７９】次に認識の動作について説明する。

【００８０】カテゴリ未知の認識用音響的特徴系列が入
力されると、認識用カテゴリ対選択手段２５では、初期
モデル３を用いて、カテゴリ対帳２０に登録されたカテ
ゴリ対のうち、認識パタン８に最も適合したカテゴリ対
を選択し、カテゴリ対選択結果２２を出力する。

【００８１】認識カテゴリ対の選択は以下のように行
う。

【００８２】（選択手順１） カテゴリ群帳に登録され
ているカテゴリ対全てを選択対象とする。

【００８３】（選択手順２） 認識用カテゴリ対選択手
段２５では、選択対象となっているカテゴリ対に含まれ
る全てのカテゴリの初期モデル３と認識パタン８との類
似度を求め、類似度の高い１位、２位のカテゴリを、対
として持っているカテゴリ対を認識カテゴリ対選択結果
２６として出力する。

【００８４】認識用カテゴリ選択手段９では、認識用カ
テゴリ対選択手段２５によって選択されたカテゴリ対に
対して、カテゴリ対別学習結果モデル２４を用いて、認
識パタン８と前記カテゴリ対を構成する２個のモデルと
の類似度を求め、これらのモデルのうち類似度が最大と
なるカテゴリのモデルを選択し、認識結果１０を出力す
る。

【００８５】実施例３．図３は、請求項３及び請求項４
記載の発明に係わるパタン表現モデル学習装置及びパタ
ン認識装置の一実施例を示す構成図である。

【００８６】図３において、１は学習用パタンであり、
各カテゴリの音声を音響分析して得られる音響特徴ベク
トルの時系列である。２は各カテゴリ毎にＨＭＭの初期
モデルを設定する初期モデル設定手段、３は初期モデル
設定手段２によって設定された各カテゴリの初期モデ
ル、４は入力された学習用パタンに応じて学習するカテ
ゴリを選択する学習用カテゴリ選択手段、６は学習用カ
テゴリ選択手段４によって選択された学習カテゴリのパ
タン表現モデルのパラメータを制御するパラメータ制御
手段、７はパラメータ制御手段によって得られた学習結
果モデル（図３には示されず、後述する図６に示されて
いる。）、８は発声内容が未知の音声を音響分析して得
られる音響特徴ベクトルの時系列である、認識パタン、
９は認識パタン８のカテゴリを決定する認識用カテゴリ
選択手段、１０は認識結果、１１は小カテゴリ群登録手
段、１２は小カテゴリ群が登録されている小カテゴリ群
帳、１３は学習用小カテゴリ群を選択する学習用小カテ
ゴリ群選択手段、１４は学習用小カテゴリ群の選択結
果、１５は学習途中の小カテゴリ群別学習途中モデル、
１６は学習が完了した小カテゴリ群別学習結果モデル、
１７は認識用の小カテゴリ群を選択する認識用小カテゴ
リ群選択手段、１８は認識用小カテゴリ群の選択結果、
２７は各カテゴリ間の認識混同情報を生成する混同情報
生成手段、２８は学習用パタン１の出力場所を切り換え
るスイッチである。

【００８７】ここで小カテゴリ群別学習途中モデル１５
及び小カテゴリ群別学習結果モデル１６は、各小カテゴ
リ群毎に別々に用意する。すなわち、複数の小カテゴリ
群に属するカテゴリは、そのカテゴリが所属する小カテ
ゴリ毎に別々のパタン表現モデルを設定する。

【００８８】本実施例においても、パタン表現モデルと
して、出力確率分布が多次元正規分布の混合分布で表現
された連続型のＨＭＭを用いるものとする。また学習や
認識の対象となるカテゴリの単位は単語であるとする。

【００８９】まずパタン表現モデル学習装置の動作につ
いて説明する。

【００９０】学習手続きに先立ち、初期モデル設定手段
２によって、各カテゴリの初期モデル３は既に設定され
ているものとする。本例では初期モデル３は最尤推定法
により設定されているものとする。

【００９１】また小カテゴリ群別学習途中モデル１５の
初期値としては、実施例１と同様に初期モデル３の値を
各小カテゴリ群で共通に設定することとする。

【００９２】また学習用パタン１は、学習対象となるカ
テゴリの各々に対して一個以上用意されているものとす
る。

【００９３】まずパタン表現モデルの学習時の動作につ
いて説明する。

【００９４】パタン表現モデルの学習は、（１）小カテ
ゴリ群登録、（２）各小カテゴリ群内のパタン表現モデ
ルの学習、の２つの手続きによって行う。

【００９５】（１）小カテゴリ群登録 切り換えスイッチ２８を端子Ａに接続し、学習用パタン
１が混同情報生成手段２７に入力されるようにする。混
同情報生成手段２７では、学習対象となっている各カテ
ゴリの初期モデル３を用いて、前記学習用パタン１に対
する音声認識を行い、カテゴリ間の混同情報を生成す
る。

【００９６】例えば、学習用音響的特徴系列が属するカ
テゴリがＡであり、認識結果がカテゴリＢであったとす
ると、カテゴリＡのカテゴリＢへの認識混同情報として
保持しておく。

【００９７】他の全ての学習用パタンに対しても、上記
と同様に各カテゴリの初期モデルとの類似度を計算し、
認識誤りの情報を保持しておく。全ての学習用パタンに
対する上記処理の終了後の混同情報を表１に示す。表１
からカテゴリＡの学習用音響的特徴系列を入力した場合
には、カテゴリＢ，Ｄ，Ｅと誤って認識される場合があ
ることがわかる。

【００９８】

【表１】 小カテゴリ群登録手段１１では、混同情報生成手段２７
によって生成された、混同情報に基づいて小カテゴリ群
を設定し、小カテゴリ群帳１２に登録する。

【００９９】本実施例では、各カテゴリにおいて、当該
カテゴリの学習用音響的特徴系列を入力した場合に、認
識結果として出力されたカテゴリ及び当該カテゴリの混
同情報から導かれるカテゴリの和集合を一つの小カテゴ
リ群とする。すなわち表１において、入力カテゴリがＡ
である場合の混同情報の結果から、構成要素がカテゴリ
Ａ，Ｂ，Ｄ，Ｅである小カテゴリ群を小カテゴリ群帳１
２に登録する。同様に入力カテゴリがＢである場合の混
同情報の結果から、構成要素がカテゴリＢ，Ｆ，Ｇであ
る小カテゴリ群を小カテゴリ群帳１２に登録する。

【０１００】同様に入力カテゴリがＣ，Ｄ，Ｅ，……，
Ｊの場合に対しても小カテゴリ群を構成し、小カテゴリ
群帳１２に登録する。

【０１０１】以上で小カテゴリ群登録の手続きを終了す
る。

【０１０２】 （２）各小カテゴリ群内のパタン表現モデルの学習 切り換えスイッチ２８を端子Ｂに接続し、学習用パタン
１が学習用小カテゴリ群選択手段１３に入力されるよう
にする。

【０１０３】学習は以下のように行う。

【０１０４】（学習手順１） 学習対象となる前記複数の単語カテゴリのいずれかに属
する、１個の学習用パタン１が、学習用小カテゴリ群選
択手段１３に入力されると、学習用小カテゴリ群選択手
段１３では、初期モデル３を用いて、小カテゴリ群帳１
２に登録された小カテゴリ群のうち、学習パタン１の属
するカテゴリを含み、この学習用パタン１に最も適合し
た小カテゴリ群を選択し、小カテゴリ群選択結果１４を
出力する。学習用小カテゴリ群の選択は図４に示すよう
に行う。

【０１０５】すなわち、 （選択手順１） 小カテゴリ群帳１２に登録された小カ
テゴリ群のうち、学習用パタン１が属するカテゴリを含
む小カテゴリ群全てを選択対象とする。

【０１０６】（選択手順２） 選択対象となっている小
カテゴリ群に含まれるカテゴリのうち、学習用パタン１
が属するカテゴリを除く全てのカテゴリの初期モデル３
と学習用パタン１との類似度を求め、各カテゴリに対し
て類似度の高いものから順に類似度の順位を１位、２
位、……と付与する。

【０１０７】（選択手順３） 類似度の順位を指定する
変数ｎを、ｎ＝１とする。

【０１０８】（選択手順４） 選択対象となっている小
カテゴリ群のなかから、類似度の順位がｎ位のカテゴリ
を含む小カテゴリ群を選択する。

【０１０９】（選択手順５Ａ） 選択手順４で選択され
た小カテゴリ群が１個の場合、その選択された小カテゴ
リ群を選択結果１４として出力する。

【０１１０】（選択手順５Ｂ） 選択手順４で選択され
た小カテゴリ群が０個の場合、類似度の順位を示す変数
ｎを、ｎ＝ｎ＋１として選択手順４に戻る。

【０１１１】（選択手順５Ｃ） 選択手順４で選択され
た小カテゴリ群が２個以上の場合は、選択対象とする小
カテゴリ群を選択手順４で選択された小カテゴリ群のみ
に限定し、また類似度の順位を示す変数ｎを、ｎ＝ｎ＋
１として選択手順４に戻る。

【０１１２】（学習手順２）学習用カテゴリ選択手段４
は、前記学習パタン１が属するカテゴリを自カテゴリと
して選択する。

【０１１３】また学習用小カテゴリ群選択手段１３によ
って選択された小カテゴリ群に属する小カテゴリ群別学
習途中モデル１５を用いて、前記学習パタン１に対し
て、前記学習パタン１が属するカテゴリ以外のモデルか
らの生起確率を求め、前記生起確率が最大となるものの
カテゴリを最近傍他カテゴリとして選択する。

【０１１４】（学習手順３） パラメータ制御手段６では、小カテゴリ群別学習途中モ
デル１５において、学習用小カテゴリ群選択手段１３に
より選択された小カテゴリ群に属し、かつ学習用カテゴ
リ選択手段４によって選択された自カテゴリのモデル、
及び最近傍他カテゴリのモデルに対して、この学習用パ
タン１が生起する確率が自カテゴリモデルでは高く、最
近傍他カテゴリモデルでは低くなるようにモデルのパラ
メータを再推定する。

【０１１５】このパラメータ再推定は実施例１と同様の
方法で行う。

【０１１６】パラメータの再推定は、学習用小カテゴリ
群選択手段１３によって選択された小テゴリ対以外の小
カテゴリ群に属するモデルに対しては行わない。

【０１１７】（学習手順４）再推定されたモデルを、対
応する小カテゴリ群別学習途中モデル１５と置き換え
る。

【０１１８】（学習手順５）すべての学習パタンの各々
に対して、上記の学習手順１から４を行う。

【０１１９】（学習手順６）上記の学習手順１から５ま
での処理を必要回数行った後、得られたモデルを小カテ
ゴリ群別学習結果モデル１６として出力する。

【０１２０】次に認識の動作について説明する。

【０１２１】認識パタン８が入力されると、認識用小カ
テゴリ群選択手段１７では、初期モデル３を用いて、小
カテゴリ群帳１２に登録された小カテゴリ群のうち、認
識パタン８に最も適合した小カテゴリ群を選択し、小カ
テゴリ群選択結果１８を出力する。この小カテゴリ群の
選択は図５に示すように行う。

【０１２２】すなわち、（選択手順１） 小カテゴリ群
帳１２に登録されている小カテゴリ群全てを選択対象と
する。

【０１２３】（選択手順２） 選択対象となっている小
カテゴリ群に含まれる全てのカテゴリの初期モデルと認
識用パタン８との類似度を求め、各カテゴリに対して類
似度の高いものから順に類似度の順位を１位、２位、…
…と付与しておく。

【０１２４】（選択手順３） 類似度の順位を指定す変
数ｎを、ｎ＝１とする。

【０１２５】（選択手順４） 選択対象となっている小
カテゴリ群のなかから、類似度の順位がｎ位のカテゴリ
を含む小カテゴリ群を選択する。

【０１２６】（選択手順５Ａ） 選択手順４で選択され
た小カテゴリ群が１個の場合、その選択された小カテゴ
リ群を選択結果１８として出力する。

【０１２７】（選択手順５Ｂ） 選択手順４で選択され
た小カテゴリ群が０個の場合、類似度の順位を示す変数
ｎを、ｎ＝ｎ＋１として選択手順４に戻る。

【０１２８】（選択手順５Ｃ） 選択手順４で選択され
た小カテゴリ群が２個以上の場合は、選択対象とする小
カテゴリ群を選択手順４で選択された小カテゴリ群のみ
に限定し、また類似度の順位を示す変数ｎを、ｎ＝ｎ＋
１として選択手順４に戻る。

【０１２９】認識用カテゴリ選択手段９では、前記認識
用小カテゴリ群選択手段１７によって選択された小カテ
ゴリ群を構成するカテゴリに対して、小カテゴリ群別学
習結果モデル１６を用いて、前記認識パタン８との生起
確率を求め、これらのモデルのうち生起確率が最大とな
るカテゴリのモデルを選択し、認識結果１０を出力す
る。

【０１３０】上記実施例１、２、３においては、学習の
対象を音声としたが、画像など他の対象に対して用いて
もよい。また、小カテゴリ群選択及びカテゴリ選択に用
いるモデルとして連続モデルを用い、パラメータ制御方
式として最適識別学習を用いてモデルの確率分布の平均
ベクトルを再推定したが、カテゴリを代表する平均ベク
トルをモデルとして用い、ＬＶＱ（Learning Vector Qu
antizatin)をパラメータ制御方式として用いる等、他の
モデル、他の制御方式でもよい。

【０１３１】また、例えば、小カテゴリ群選択及びカテ
ゴリ選択に用いるモデルとして、音声の音響的特徴量を
ベクトル量子化して扱う離散分布モデルを用いてもよ
く、パラメータ再推定には遷移確率と、音声の音響的特
徴量をベクトル量子化したコードラベルの出力確率を再
推定すればよい。この場合のパラメータ制御方式すなわ
ち再推定方式としては、例えばcorrective training を
用いればよい。

【０１３２】

【発明の効果】以上のように、請求項１または請求項３
記載の発明に係るパタン表現モデル学習装置では、類似
するカテゴリ同士をまとめ、所定数の学習小カテゴリ群
として分類し、この所定数の学習小カテゴリ群の中か
ら、各学習パタン毎に、その学習パタンに最も類似する
小カテゴリ群を、学習小カテゴリ群選択手段により、１
個選択する。この選択された１個の小カテゴリ群の内部
でのみ、パラメータの再推定をパラメータ制御手段によ
り行う。この小カテゴリ群内のカテゴリ数は少ないの
で、再推定を繰り返すことにより選択された小カテゴリ
群内におけるカテゴリ間の識別性能を向上させることが
できる。また、前記パラメータ制御手段は、前記選択さ
れた小カテゴリ群以外の小カテゴリ群には全く影響を及
ぼさないため、前記選択された小カテゴリ群の内部のカ
テゴリの識別性能は高められ、かつ前記選択された小カ
テゴリ群以外のカテゴリの識別性能には影響を与えるこ
とがない。その結果、識別性能の高いパタン表現モデル
学習装置を実現することを可能とする。

【０１３３】また、請求項２または請求項４記載の発明
に係わるパタン認識装置では、類似するカテゴリ同士を
クラス分けすることによって、所定数の認識小カテゴリ
群として分類し、未知の認識用パタンに対して、この所
定数の認識小カテゴリ群の中から、最も類似する認識小
カテゴリ群を選択し、この認識小カテゴリ群に含まれる
カテゴリのモデルに対してのみ、前記未知の認識パタン
との類似度を計算する。認識小カテゴリ群内の各カテゴ
リのモデルは本発明に係わるパラメータ制御手段によっ
て識別性能が高められており、その結果、認識性能の高
いパタン認識装置を実現することができる。

【図面の簡単な説明】

【図１】 請求項１及び請求項２記載発明の一実施例に
係るパタン表現モデル学習装置及びパタン認識装置の構
成を示す構成図である。

【図２】 請求項１及び請求項２記載発明の他の実施例
に係るパタン表現モデル学習装置及びパタン認識装置の
構成を示す構成図である。

【図３】 請求項３及び請求項４記載発明の一実施例に
係るパタン表現モデル学習装置及びパタン認識装置の構
成を示す構成図である。

【図４】 請求項３記載発明の一実施例に係るパタン表
現モデル学習装置における学習用小カテゴリ群選択手段
の動作を示すフローチャートである。

【図５】 請求項４記載発明の一実施例に係るパタン認
識装置における認識用小カテゴリ群選択手段の動作を示
すフローチャートである。

【図６】 従来例に係るパタン表現モデル学習装置を示
す構成図である。

【符号の説明】

１ 学習用パタン、２ 初期モデル設定手段、３ 初期
モデル、４ 学習用カテゴリ選択手段、５ 学習用カテ
ゴリ選択手段の選択結果、６ パラメータ制御手段、７
学習結果モデル、８ 認識パタン、９ 認識用カテゴ
リ選択手段、１０ 認識結果、１１ 小カテゴリ群登録
手段、１２ 小カテゴリ群帳、１３ 学習用小カテゴリ
群選択手段、１４ 学習用小カテゴリ群選択結果、１５
小カテゴリ群別学習途中モデル、１６ 小カテゴリ群
別学習結果モデル、１７ 認識用小カテゴリ群選択手
段、１８ 認識用小カテゴリ群選択結果、１９ カテゴ
リ対登録手段、２０ カテゴリ対帳、２１ 学習用カテ
ゴリ対選択手段、２２ 学習用カテゴリ対選択手段の選
択結果、２３ カテゴリ対別学習途中モデル、２４ カ
テゴリ対別学習結果モデル、２５ 認識用カテゴリ対選
択手段、２６ 認識用カテゴリ対選択手段の選択結果、
２７ 混同情報生成手段、２８ 切り換えスイッチ。

フロントページの続き (56)参考文献 特許2763704（ＪＰ，Ｂ２) 特公 平８−33739（ＪＰ，Ｂ２) 電子情報通信学会技術研究報告［音声 ］，Ｖｏｌ．91，Ｎｏ．243，ＳＰ91− 58，水田忍外「混合連続分布音素片ＨＭ Ｍを用いた不特定話者単語認識方式にお ける最適識別学習法の検討」，ｐ．21− 28（1991年９月27日発行) 日本音響学会平成２年度春季研究発表 会講演論文集▲Ｉ▼，１−３−12，水田 忍外「混合連続分布ＨＭＭに対する最適 識別学習法の検討」，ｐ．23−24（平成 ２年３月発行) 日本音響学会平成３年度秋季研究発表 会講演論文集▲Ｉ▼，３−５−16，水田 忍外「認識語彙の音韻対立関係を考慮し た音素片ＨＭＭの最適識別学習法」, ｐ．121−122（平成３年10月４日特許庁 資料館受入) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 15/14 G10L 15/06 G06K 9/68 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 パタン認識において、認識の対象となる
   カテゴリに属する学習用パタンを用いて、前記カテゴリ
   に属するパタンを表現するパタン表現モデルのパラメー
   タの初期値を設定する初期モデル設定手段と、 前記初期モデル設定手段によって得られた各々のカテゴ
   リに属する初期モデルを用いて、各カテゴリ間の類似度
   を求め、類似度の高いカテゴリ同士を一つの小カテゴリ
   群にクラス分けすることによって、前記認識対象となる
   複数のカテゴリ全体を所定数の小カテゴリ群に分類し、
   この分類結果を小カテゴリ群帳に登録する小カテゴリ群
   登録手段と、 前記認識対象となる複数のカテゴリのいずれかに属する
   カテゴリ既知の学習パタンを入力とし、この学習パタン
   が属するカテゴリを含む小カテゴリ群全てをまず選択
   し、選択された小カテゴリ群の中からこの学習パタンと
   の類似度が最大となる小カテゴリ群一個を、最終選択結
   果として出力する学習用小カテゴリ群選択手段と、 前記学習用小カテゴリ群選択手段により選択された一個
   の小カテゴリ群を構成する複数のカテゴリのうち、前記
   学習パタンが属するカテゴリである学習自カテゴリと、
   前記学習パタンが属するカテゴリ以外で前記学習パタン
   との類似度が最大となるカテゴリである最近傍学習他カ
   テゴリとを、選択結果として出力する学習用カテゴリ選
   択手段と、 前記学習用カテゴリ選択手段により選択された前記学習
   自カテゴリのパタン表現モデルに対しては前記学習パタ
   ンとの類似度がより高くなるようにモデルのパラメータ
   を制御し、前記最近傍学習他カテゴリのパタン表現モデ
   ルに対しては前記学習パタンとの類似度がより低くなる
   ようにモデルのパラメータを制御するパラメータ制御手
   段とを備え、 前記パラメータ制御手段の出力パラメータを学習結果と
   するパタン表現モデル学習装置。
2. 【請求項２】 パタン認識において、認識の対象となる
   カテゴリに属する学習用パタンを用いて、前記カテゴリ
   に属するパタンを表現するパタン表現モデルのパラメー
   タの初期値を設定する初期モデル設定手段と、 前記初期モデル設定手段によって得られた各々のカテゴ
   リに属する初期モデルを用いて、各カテゴリ間の類似度
   を求め、類似度の高いカテゴリ同士を一つの小カテゴリ
   群にクラス分けすることによって、前記認識対象となる
   複数のカテゴリ全体を所定数の小カテゴリ群に分類し、
   この分類結果を小カテゴリ群帳に登録する小カテゴリ群
   登録手段と、 前記認識対象となる複数のカテゴリのいずれかに属する
   カテゴリ既知の学習パタンを入力とし、この学習パタン
   が属するカテゴリを含む小カテゴリ群全てをまず選択
   し、選択された小カテゴリ群の中からこの学習パタンと
   の類似度が最大となる小カテゴリ群一個を、最終選択結
   果として出力する学習用小カテゴリ群選択手段と、 前記学習用小カテゴリ群選択手段により選択された一個
   の小カテゴリ群を構成する複数のカテゴリのうち、前記
   学習パタンが属するカテゴリである学習自カテゴリと、
   前記学習パタンが属するカテゴリ以外で前記学習パタン
   との類似度が最大となるカテゴリである最近傍学習他カ
   テゴリとを、選択結果として出力する学習用カテゴリ選
   択手段と、 前記学習用カテゴリ選択手段により選択された前記学習
   自カテゴリのパタン表現モデルに対しては前記学習パタ
   ンとの類似度がより高くなるようにモデルのパラメータ
   を制御し、前記最近傍学習他カテゴリのパタン表現モデ
   ルに対しては前記学習パタンとの類似度がより低くなる
   ようにモデルのパラメータを制御するパラメータ制御手
   段と、 カテゴリ未知の認識パタンを入力とし、前記小カテゴリ
   群帳に登録された所定数の小カテゴリ群の中から、前記
   認識パタンとの類似度が最大となる一個の小カテゴリ群
   を選択する認識用小カテゴリ群選択手段と、 前記パラメータ制御手段によってパラメータを制御され
   た学習結果モデルを用いて、前記認識用小カテゴリ群選
   択手段によって選択された一個の小カテゴリ群を構成す
   る複数のカテゴリのパタン表現モデルの各々と、前記認
   識パタンとの類似度を求め、類似度が最大となるパタン
   表現モデルの属するカテゴリを出力する認識用カテゴリ
   選択手段とを備え、 前記認識用カテゴリ選択手段の出力であるカテゴリを、
   認識結果として得ることを特徴とするパタン認識装置。
3. 【請求項３】 パタン認識において、認識の対象となる
   カテゴリに属する学習用パタンを用いて、前記カテゴリ
   に属するパタンを表現するパタン表現モデルのパラメー
   タの初期値を設定する初期モデル設定手段と、 前記初期モデル設定手段によって得られた各々のカテゴ
   リに属する初期モデルと学習用パタンを用いて、各カテ
   ゴリ間での認識混同情報を生成する混同情報生成手段
   と、 前記混同情報をもとに認識時に混同を生じやすいカテゴ
   リ同士を一つの小カテゴリ群にクラス分けすることによ
   って、前記認識対象となる複数のカテゴリ全体を所定数
   の小カテゴリ群に分類し、この分類結果を小カテゴリ群
   帳に登録する小カテゴリ群登録手段と、 前記認識対象となる複数のカテゴリのいずれかに属する
   カテゴリ既知の学習パタンを入力とし、この学習パタン
   が属するカテゴリを含む小カテゴリ群全てをまず選択
   し、選択された小カテゴリ群の中からこの学習パタンと
   の類似度が最大となる小カテゴリ群一個を、最終選択結
   果として出力する学習用小カテゴリ群選択手段と、 前記学習用小カテゴリ群選択手段により選択された一個
   の小カテゴリ群を構成する複数のカテゴリのうち、前記
   学習パタンが属するカテゴリである学習自カテゴリと、
   前記学習パタンが属するカテゴリ以外で前記学習パタン
   との類似度が最大となるカテゴリである最近傍学習他カ
   テゴリとを、選択結果として出力する学習用カテゴリ選
   択手段と、 前記学習用カテゴリ選択手段により選択された前記学習
   自カテゴリのパタン表現モデルに対しては前記学習パタ
   ンとの類似度がより高くなるようにモデルのパラメータ
   を制御し、前記最近傍学習他カテゴリのパタン表現モデ
   ルに対しては前記学習パタンとの類似度がより低くなる
   ようにモデルのパラメータを制御するパラメータ制御手
   段とを備え、 前記パラメータ制御手段の出力パラメータを学習結果と
   するパタン表現モデル学習装置。
4. 【請求項４】 パタン認識において、認識の対象となる
   カテゴリに属する学学習用パタンを用いて、前記カテゴ
   リに属するパタンを表現するパタン表現モデルのパラメ
   ータの初期値を設定する初期モデル設定手段と、 前記初期モデル設定手段によって得られた各々のカテゴ
   リに属する初期モデルと学習用パタンを用いて、各カテ
   ゴリ間での認識混同情報を生成する混同情報生成手段
   と、 前記混同情報をもとに認識時に混同を生じやすいカテゴ
   リ同士を一つの小カテゴリ群にクラス分けすることによ
   って、前記認識対象となる複数のカテゴリ全体を所定数
   の小カテゴリ群に分類し、この分類結果を小カテゴリ群
   帳に登録する小カテゴリ群登録手段と、 前記認識対象となる複数のカテゴリのいずれかに属する
   カテゴリ既知の学習パタンを入力とし、この学習パタン
   が属するカテゴリを含む小カテゴリ群全てをまず選択
   し、選択された小カテゴリ群の中からこの学習パタンと
   の類似度が最大となる小カテゴリ群一個を、最終選択結
   果として出力する学習用小カテゴリ群選択手段と、 前記学習用小カテゴリ群選択手段により選択された一個
   の小カテゴリ群を構成する複数のカテゴリのうち、前記
   学習パタンが属するカテゴリである学習自カテゴリと、
   前記学習パタンが属するカテゴリ以外で前記学習パタン
   との類似度が最大となるカテゴリである最近傍学習他カ
   テゴリとを、選択結果として出力する学習用カテゴリ選
   択手段と、 前記学習用カテゴリ選択手段により選択された前記学習
   自カテゴリのパタン表現モデルに対しては前記学習パタ
   ンとの類似度がより高くなるようにモデルのパラメータ
   を制御し、前記最近傍学習他カテゴリのパタン表現モデ
   ルに対しては前記学習パタンとの類似度がより低くなる
   ようにモデルのパラメータを制御するパラメータ制御手
   段と、 カテゴリ未知の認識パタンを入力とし、前記小カテゴリ
   群帳に登録された所定数の小カテゴリ群の中から、前記
   認識パタンとの類似度が最大となる一個の小カテゴリ群
   を選択する認識用小カテゴリ群選択手段と、前記パラメ
   ータ制御手段によってパラメータを制御された学習結果
   モデルを用いて、前記認識用小カテゴリ群選択手段によ
   って選択された一個の小カテゴリ群を構成する複数のカ
   テゴリのパタン表現モデルの各々と、前記認識パタンと
   の類似度を求め、類似度が最大となるパタン表現モデル
   の属するカテゴリを出力する認識用カテゴリ選択手段と
   を備え、この認識用カテゴリ選択手段の出力であるカテ
   ゴリを、認識結果として得ることを特徴とするパタン認
   識装置。