JPH03147079A

JPH03147079A - 音声認識方法および装置

Info

Publication number: JPH03147079A
Application number: JP2244139A
Authority: JP
Inventors: Arthur J Nadas; アーサー・ジエー・ナダス; David Nahamoo; デービツド・ナハモー
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1989-10-26
Filing date: 1990-09-17
Publication date: 1991-06-24
Anticipated expiration: 2010-06-14
Also published as: US5263117A; JPH0756675B2; CA2024382A1; CA2024382C; EP0424665A2; EP0424665A3

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】Ａ、産業−１−の利用分野この発明は、パターン認１システムにおいて用いる決定
ツリー（ｄｅｃｉｓｉｏｎ　ｔｒｅｅ）を構成するため
の、観察イベントの２進分類に関するものである。

観察イベントとは、例えば、口頭ワードまたは筆記キャ
ラクタであればよい。この発明に従って分類できるその
他の観察イベントには、それに限られるものではないが
、医療上の症状および対象のレーダ・パターンが含まれ
る。

Ｂ、従来の技術より詳細にいえば、この発明は、２進決定ツリーを生成
させる観察イベントのセット（即ち、観察イベントの学
習セット）についての、最適もしくは最適近傍の２進分
類を発見することに関するものである。２進決定ツリー
においては、ツリーの各ノードは１個の入力パスと２個
の出力ハス（例えば、出力バス八と出力バスＢ）とを有
している。ツリーの各ノードにおいては、“Ｘはセット
Ｓｘの要素であるか？”なる形式の質問が出される。そ
の応答がＹｅｓ″であるときには、該ノードからは出力
パス八が追従される。これに対して、その応答が“Ｎｏ
”であるときには、該ノードからは出力パスＢが追従さ
れる。

一般的にいえば、分類されるべき各観察イベントは予想
特徴Ｘおよびカテゴリ特徴Ｙを備えている。予想特徴は
Ｍ個の異なるｊｉＪ能性のある値Ｘｍの中の１個を有し
ており、また、カテゴリ特徴はＮ個の異なる可能性のあ
る値Ｘｍの中の１個を有している。ここに、ｍおよびｎ
は、それぞれに、ＭおよびＮよりも小さいかこれに等し
い正の整数である。

２進決定ツリーを構成するときに有利なことは、カテゴ
リ特徴Ｙに関する情報が最大化され、該カテゴリ特徴Ｙ
における不確実性が最小化されるような、ＳＸのサブセ
ラ）　Ｓ　Ｘ　、、、を発見することである。“分類さ
れるべき観察イベントに対して、予想特徴Ｘの値はサブ
セットＳＸｉ−ｔの要素であるか？”なる質問に対する
応答として与えられることは、複数個の観察イベントに
おける平均として、カテゴリ特徴Ｙの値に関する不確実
性の減少が最大になることである。

カテゴリ特徴Ｙにおける不確実性を最小にするために最
良のサブセットＳＸｉ、ＰＩを発見する一つの既知の方
法は、Ｓｘの全てのサブセットを列挙Ｌ、そして、各サ
ブセットに対するカテゴリ特徴Ｙの値における情報また
は不確実性を計算することによるものである。Ｍ個の要
素を有するセットＳＸに対しては、２（Ｘｍ　１個の異
なる可能性のあるサブセットかび在する。このために、
Ｓｘの最良のサブセットを発見するためには、２　（Ｍ
−１１１個の情報または不確実性の計算が必要とされる
ことになる。従って、自動的な音声認識において経験さ
れるようなＭの大きな値のために、この方法は実際的に
は不可能なことである。

レオ・プレイマン外（１，ｅｏ　Ｂｒｅｉ＊ａｎ　ｅｔ
　ａ１）のく分類および回帰ツリー”Ｃ１ａｓｓｉｆｉ
ｃａｔｉｏｎ　ＡｎｄＲｅｇｒｅｓｓｉｏｎ　Ｔｒｅｅ
ｓ　　、ワズワース社’　ＷａｄｓｖｏｒｔｈＩｎｃ、
　　、カリフォルニア州、モントレイ“ＭｏｎＬｅｒｅ
ｙ　　　Ｉ　９８４、ｌ　Ｏ１−１０２ペイジ）によれ
ば、カテゴリ特徴Ｙが２個だけの可能性のある異なる値
ＹｎおよびＹ２を有している特別なケース（即ち、Ｎ＝
２なる特別なケース）に対する最良のサブセットＳＸｏ
□を発見するための方法が記述されている。この方法に
おいては、２　ｆＭ−１１１個の情報の計算を必要とす
る完全な列挙を、（Ｍ−１）個だけのサブセットに対す
る情報の計算で置換することができる。

プレイマン外による方法は次の事実を基礎とするもので
ある。即ち、予想特徴Ｘの各値Ｘｍに対して、カテゴリ
特徴Ｙの１個の値Ｙｎについての条件付き確率の増大し
ていく値に従い、セットＳＸの最良のサブセット５Ｘｏ
ｐｔは、予想特徴値Ｘｍの順序付けによって規定される
ような、サブセットの増大していくシーケンスの中にあ
るという゛ド実を基礎とするものである。

即ち、プレイマン外による方法においては、＋３（Ｙｎ
｜Ｘｎ）の値に従って、予想特徴値Ｘｍが第１の順序に
される。これに次いでセットＳｘの多くのサブセットＳ
ＸＩが規定されるが、ここで各すブセットＳｘ１に含ま
れているのは、条件付き確率ｐ（ｙ、１ｘ＝）について
ｉ個の最低値を有する値Ｘｍのちのだけである。Ｘｍに
ついてＭ個の異なる値が存在するときには、（Ｍ−１）
個のサブセットＳｘＩが存在することになる。

プレイマン外によって説明されているように、サブセッ
トＳＸｉの中の１個が情報を最大化させるものであり、
従って、クラスＹの値における不確実性を最小化させる
ものである。

プレイマン外によって提供されている短縮化された方法
は、イベントが２個のクラスまたはカテゴリＹｎおよび
Ｙｎに入るだけの簡単なケースのために、測定または予
想変数Ｘに従って、イベントの最良の２進分類を発見す
るためのものであるが、イベントが２個よりも多くのク
ラスまたはカテゴリに入るときに、予想変数Ｘの最良の
サブセットをどのようにして発見するかについて、プレ
イマン外は説明をしていない。

Ｃ０発明が解決しようとする課題こノ発明の目的は、観察イベントのセットに−〕いて、
３個以上の兄なる可能性のある値Ｘｍをイｆする予想特
徴に従って、観察イベントのカテゴリ特徴Ｙ（ここで、
カテゴリ特徴は３個以上の可能性のある値Ｙｎ、を有し
ている）の値における不確実性を最小にするように、最
適または最適近傍の２進分類を発見するための方法およ
び装置を提供することにある。

この発明の別の目的は、予想特徴Ｘの値の可能性のある
異なるサブセットを全て列挙することなく、また、各サ
ブセットに対するカテゴリ特徴Ｙの値における不確実性
を計算することなく、予想特６ｔｈｘの最適または最適
近傍の分類を発見することができる、このような分類方
法を提供することにある。

１００課題を解決するための手段この発明は、観察イベントのセットを分類するための方
法および装置である。谷イベントは予想特徴Ｘおよびカ
テゴリ特徴Ｙを有している。予想特徴はＭ個の異なる可
能性のある値Ｘｍの中の１個を有しており、また、カテ
ゴリ特徴はＮ個のｉｉＪ能性のある値Ｙｎの中の１個を
有している。この方法において、ＭおよびＮは３よりも
大きいかこれに等しい整数、ｍはＩからＭまでの整数で
ありまた、ｎは１からＮまでの整数である。

この発明によれば、観察イベントのセットにおける各イ
ベントの予想特徴値Ｘｍおよびカテゴリ特徴値Ｙｎの測
定がなされる。測定された予想特徴値および測定された
カテゴリ特徴値から、カテゴリ特徴値Ｙｎおよび予想特
徴値Ｘｍを有するイベントの生起する確率Ｐ　（Ｘ　Ｉ
Ｉ＋　Ｙ　、、）が、３Ｙｎおよび各Ｘｍに対して評価
される。

これに次いで、予想特徴値Ｘｍの出発セットｓ　ｘ　ｕ
ｐｔ（ｔ　）が選択される。変数【は任意の初期値を有
している。

この評価された確率から、カテゴリ特徴値がＹｎ、であ
るときの、セットｓ　ｘ　０ｐｃ（ｔ　）における予想
特徴値の条件付きの確率Ｐ　（Ｓ　Ｘ　、、、（ｔ　）
｜Ｙｎ）が、各Ｙｎに対して計算される。

この条件付きの確率Ｐ（ＳＸｉ、１（ｔ）｜Ｙｎ）から
、カテゴリ特徴値Ｙｎの多くの対のセｙ＋−ｓ”ｙ’、
１（ｔ）およびＳＹｊ（ｔ）が規定される。ここに、ｊ
は１から（Ｎ−１）までの整数である。各セット５Ｙｊ
（ｔ）に含まれているものは、条件付きの確率Ｐ（ＳＸ
ｏｐｔ（ｔ）｜Ｙｎ）についてｊ個の最低値を有するそ
れらのカテゴリ特徴値Ｙｎ％だけである。

各セットｓｙ、（Ｈに含まれているものは、条件付きの
確率Ｐ　（Ｓ　Ｘ　ｎｐｔ（ｔ　）ＩＹ　、）について
（Ｎ−ｊ）個の最高値を有するそれらのカテゴリ特徴値
Ｙｎ。

だけである。かくして、ＳＹｊ（ｔ）は５Ｙｊ（ｔ）を
補完するものである。

上記のように規定された（Ｎ−１）対のセットから、予
想特徴値における最低の不確実性を有するものとして、
甲一対のセットＳＹｏｐｔ（ｔ）およびＳＹｊ（ｔ）が
発見される。

ここで、評価されたイベントの確率り　（Ｘ　、、　Ｙ
　ｎ）から、予想特徴値がＸｍであるときにセットＳＹ
ｊ、１（ｔ）にカテゴリ特徴値を有する条件付きの確率
Ｐ（Ｓ　Ｘｍ、、（ｔ　）｜Ｘｎ）が各値Ｘｍに対して
計算される。予想特徴値Ｘｍの多くの対のセットＳＸｉ
（ｔ＋１）およびｓｘ、（ｔ＋１）の規定がナサれるが
、ここで１はＩからＭまでの整数である。

各セットＳｘ、（＋−＋−ｔ）に含まれているものは、
条件付きの確率Ｐ（ＳＸｉ、ｔ（ｔ）｜Ｘｍ）について
個の最低値を有するそれらの予想特徴値Ｘｍだけである
。各セットｓｘ、（ｔ＋１）に含まれているものは、該
条件付きの確率について（Ｍ−ｉ）個の最高値を有する
それらの予想特徴値Ｘｍだけである。このようなセット
が（Ｍ　−１）対だけ存在する。

−に記のように規定された（Ｍ−１）対のセットから、
カテゴリ特徴値における最低の不確実性を（ｆするもの
として、弔一対のセットＳＸｏ□（ｔ＋１）オヨびＳ　
Ｘ　、、、ｔ（ｔ　＋　］　）が発見される。

その後で、イベントの予想特徴値がセットＳ　ｘｏｐｔ
（ｔ　＋　１　）のメンバであるときには、該イベント
は第１のクラスに分類される。また、イベントのＦ　想
特６１　値がセットｓ　ｘ、、、（ｔ　＋１）のメンバ
であるときには、該イベントは第２のクラスに分類され
る。

この発明の一つの局面においては、イベントが第１のク
ラスまたは第２のクラスのメンバであることを識別する
分類信号を生成させることにより、当該イベントは第１
のクラスまたは第２のクラスに分類される。

この発明の他の局面においては、セットＳ　Ｘｍ、、１
（ｔ　＋　１　）が先行のセットＳＸｉｐｔ（ｔ）に等
しくなるまで、または実質的に等しくなるまで、この方
法が繰り返して反復される。

より好適には、セットの６対に対する不確実性の計算を
することによって、最低の不確実性を有するセットの対
が発見される。

これに代えて、増大する条件付きの確率の順序において
セットの６対に対する不確実性の計算をすることにより
、最低の不確実性を有するセットの対が発見される。計
算される不確実性の減少が停止１−シたときに、最低の
不確実性を存するセットの対が発見される。

この発明の更に別の局面においては、イベントのセ・ッ
ト内には存在しないイベントの予想特徴値が測定される
。該予想特徴値がセットＳ　Ｘｏｐｔ（ｔ　＋　Ｉ　）のメンバであるときには
、該当のイベントは第１のクラスに分類されろ。そして
、該予想特徴値がセットＴ玉。ｐ＋、（：　ｔ　＋　１
）のメンバであるときには、該当のイベントは第２のク
ラスに分類される。

この発明による方法および装置においては、谷イベント
は、例えば、一連の口頭による発ＩＩの中のある１個の
口頭による発声であればよい。この発明による発声の分
類は、例えば、類似の発声のモデルを生成させる目的を
もって行うことができる。これに代えて、この発明によ
る発声の分類は、例えば、［」頭による発声を認識する
目的をもって行うことができる。

その他の例においては、各イベントは、一連の［−］頭
によるワードの中のある１個の［１頭によるワードであ
る。ワードの予想特徴値には、該一連の口頭によるワー
ドにおいて直前を先行するワードの識別が含まれている
。

また、この発明は、［１頭による発声を自動的に認識す
るための方法および装置にも関するものである。発声さ
れる予想ワードを表す丘想ワード信号は、決定セットに
おける予想特徴信号と比較される。該予想ワード信号が
該決定セットのメンバであるときには第１の予想ワード
が出力され、そうでないときには第２の予想ワードが出
力される。

この発明による方法および装置は次の理由によ。

て有利である。即ち、この発明のｈ′法および装置によ
れば、観察イベントのセットに対して、該イベントのカ
テゴリ特徴値における不確実性を最小または最小近傍に
するような、当該イベントの予想特徴値のサブセットを
識別することができる。

ここで、カテゴリ特徴は、３個またはこれより多くの可
能性のある値を有している。この発明によれば、予想特
徴値の全ての可能性のあるサブセットについて完全な列
挙を必要とすることなく、効率的な態様をもって、この
予想特徴値のサブセットが発見される。

Ｅ、実施例第１図は、この発明によって観察イベントのセットを分
類する方法についてのフローチャートである。観察イベ
ントのセットにおける各イベントは、予想特徴Ｘおよび
カテゴリ特徴Ｙをイｆしている。

予想特徴はＭ個の異なるｉｉＪ能性のある値Ｘｍの中の
１個を有している。カテゴリ特徴はＮ個の可能性のある
値Ｙｎの中の１個を有している。ＭおよびＮは３よりも
大きいかこれに等しいＩＦの整数であるが、互いに等し
いことは必要ではない。変数ｍはＭよりも小さいかこれ
に等しい正の整数である。変数ｎはＮよりも小さいかこ
れに等しい正の整数である。

観察イベントのセットにおける各イベントは、例えば、
発ｊｔＩされるｒノードのシーケンスであることができ
る。例えば、各イベントを構成できるものは、先行ワー
ドと、この先行ワードに追従する認識ワードである。予
想特徴が先行ワードであるときには、カテゴリ特徴が認
識ワードである。そして、認識ワードの値における不確
実性を最小にする先行ワードの最良のサブセットを発見
することによってイベントを分類することが所望される
とすると、先行ワードが知られているときに、認識ワー
ドの１個またはそれより多くの候補値を識別４−るため
に、この発明による分類方法を用いることができる。

この発明の方法によって分類できるｒ・想特徴／カテゴ
リ特徴をＨする他のタイプの観察イベントに含まれるも
のは、例えば、医療上の症状／病気、レーダ・パターン
／対象、および、可視的なパターン／キャラクタである
。その他の観察イベントもこの発明の方法によって分類
することができる。

この発明の詳細な説明する目的のために、観察イベント
は先行ワード／認識ワード・イベントとして説明してい
く。実際には、ある１個のへ′語（ランゲージ）モデル
に対して数トものワードがあることから、ある１個のイ
ベントの予想特徴は、数千ものソシなる利用１ＴｉＪ能
性のある予想特徴値の中の１個である。これと同様にし
て、ある１個のイベントのカテゴリ特徴は、数千もの異
なる利用ｌｊＪ能性のあるカテゴリ特徴値の中の１個で
ある。このような場合において、該カテゴリ特徴の値に
おける不確実性を最小にするような、予想特徴値の最良
のサブセットＳＸｉ、、を発見するためには、２　＋Ｍ
−１１，，１個のサブセットを列挙することが必要とさ
れる。この値が数千というようなときには、これは実際
的ではない。

この発明によれば、以下に説明されるように、最良のサ
ブセラ）ＳＸｉ□を発見するためには、多くとも近似的
にＫ　（Ｍ　＋　Ｎ　）個のサブセットを列挙すること
が必要とされるだけである。ここでＫは定数であって、
例えば６である。

予想特徴およびカテゴリ特徴は数千の異なる可能性のあ
る値を有するものであるが、この発明を説明する１」的
のために、Ｍ＝５であり、Ｎ−５である例について説明
する。なお、一般的には、ＭがＮに等しいことは必要で
はない。

第１表には、５個の異なる可能性のある値ＸないしＸｍ
を有する予想特徴が例示されている。

予想特徴（先行ワード）値は、それぞれに、“トラベル
（ｔｒａｖｅ１）″　　“クレジット（ｃｒｅｄｉｔ）
”　　　”スペシャル（ｓｐｅｃｉａ１）”　　　”ト
レード（ｔｒａｄｅ）”および“ビジネス（ｂｕｓｉｎ
ｅｓｓ）”である。

第２表には、５個の異なるｉｉＪ能性のある値Ｙないし
Ｙｎを４４するカテゴリ特徴が例示されている。カテゴ
リ特徴（認識ワードＢ＋ｌ’ｉは、それぞれに、エージ
ェント（ａｇｅｎｔ）”ブレティン（ｂｕｌｌｅｔｉｎ
）”マネージメント（ｍａｎａｇｅｌＩｌｅｎｔ）”コ
ンサルタント（ｃｏｎｓｕｌｔａｎｔ）”および“カー
ド（ｃａｒｄ）″である。

ここで第１図に戻ると、イベントのセットにおけるδイ
ベントの予想特徴値Ｘｏおよびカテゴリ特徴値Ｙｎが、
この発明によって１１１１１定される。第３表には、１
０個の仮説的なイベントに対する［ｌＪ能な測定が例示
されている。

第３表における測定されたＦ想特徴値および６（１定さ
れたカテゴリ特徴値から、カテゴリ特徴値Ｙｎおよび予
想特徴値Ｘｍを有するイベントの生起する確・ト目）（
Ｘｍ、Ｙｎ）が、各Ｙｎおよび各Ｘｍに対して評価され
る。イベントのセットが十分に大きいときには、カテゴ
リ特徴値Ｙ５および予想特徴値Ｘ４を有するイベントの
生起する確・ｌ？Ｐ（Ｘｍ、Ｙｂ）が、観察イベントの
全体数によって除算された特徴値（Ｘ　１１＋　Ｙ　ｂ
）を有する観察イベントのセットにおけるイベントの全
体数として評価される。

第４表には、確ｉ１　１）　（Ｘ　、、　Ｙ　ｂ）の仮
説的な評価が例示されている。

確率の評価がなされた後で、予想特徴値Ｘｍの出発セッ
トＳ　Ｘ　ｏ、、ｃｔ　＞が選択される。変数ｔは任意
の初期値を有するものである。ここでの例においては、
ｆ想特徴値ＸｍおよびＸｔ（即ち、先行ワードの“トラ
ベル”および“クレジット″）に等しい出発セットＳ　
Ｘ　、ｐｌ（ｔ　）が任意に選択される。

第１図におけるフローチャートを継続して参照すると、
評価された確５９＜　Ｐ　（Ｘ　、、　Ｙ　ｎ）から、
カテゴリ特徴の値がＹｎであるときに、セ、トｓｘ、ｐ
ｔ（ｔ）において予想特徴値を自するという条件付きの
確率Ｐ　（Ｓ　Ｘ　ｏｐｔ（Ｌ）　ｉ　Ｙ　、）が、各
Ｙｎに対して計算される。第５表に例示されているもの
は、ｔが１に等しいときに、ＳＸｉ、、（ｔ）とＹｎと
のジヨイント確率、ｓｘ、ｐｔ（ｔ）とＹｎ、とのジヨ
イント確率、および、カテゴリ特徴Ｙの各値Ｙｎに与え
られるｓｘ、ｐｔ（ｔ）の条件付き確率である。

これらの数は第４表に示されている確率に基づくもので
ある。ここに、Ｐ（ＳＸｏｐｔ（ｔ）、Ｙｎ）　　　＝　　　Ｐ（Ｘｍ
、Ｙｏ）　　　斗　　ｒ’（Ｘｍ、Ｙｎ）。

そＰ（ＳＸｉ、１（ｔ）、Ｙｎ）　　＝　　Ｐ（Ｘｍして
、１’（ＳＸｉ、＋（ｔ）｜Ｙｎ、）ｉｐ（ｓｘ、、ｔ　（ｔ）、　ｙ、）１÷１Ｐ（ＳＸｏ
ｐｔ（ｔ）、ｙ、、）Ｙｎ）十＋十Ｐ（Ｘｍ、　Ｙｎ）Ｐ（Ｘｓ、ｙ−）。

ｐ（ｓｘ、、、　（ｔ）、　ｙ、）１条件付き確率の計算がなされた後で、カテゴリ特徴値Ｙ
ｎについての多くの順序付けられた対のセットｓｙ、＋
（ｔ）およびＳＹｊ（ｔ）の規定がなされる。セットの
数ｊは、（Ｎ−１）より小さいかこれに等しい正の整数
である。各セットＳＹｊ（ｔ）に含まれているものは、
条件付き確ｊ：＋（Ｐ　（Ｓ　Ｘ　ｏｐｌ　（ｔ）Ｙｎ
）についてｊ個の最低値を有するような、それらのカテ
ゴリ特徴値Ｙｎである。各セットｓｙ、＋（ｔ）に３ま
れでいるものは、条件付き確率について（Ｎ−ｊ）個の
最高値を有するような、それらのカテゴリ特徴値Ｙｎ．
である。

第５表における条件付き確率から、第６表には、セット
ＳＹｊ（ｔ）およびｓ　ｙ　、（ｔ　）からＳＹｊ（ｔ
）およびＳＹｊ（ｔ）までの、順序付けられた対が例示
されている。また、この第６表には、各セットにおける
カテゴリ特徴値Ｙｎ、も示されている。

（Ｎ−１）個の順序付けられた対のセ・ｙｈｓＹｎ、＋
およびＳＹｊの各々に対して、予想特徴値Ｘｍにおける
不確実性を、２通りの異なるやり方で計算することがで
きる。より好適には、該不確実性の計算は、第４表の確
率からなされる。これに代えて、該不確実性の計算は、
第５表の確率から行うこともできる。一般的にいえば、
第４表における個別の確率に基づく不確実性の計算の方
が、第５表におけるセットＳｘ４．Ｐｌ（ｔ）および５
Ｘｏｐｔ（ｊ）ノ確率に基づく不確実性の計算よりは正
確である。しかしながら、減退型の第５表における不確
実性の計算の方が迅速であつて、同様な結果が得られる
。

第６表において、セットＳＹｊ（ｔ）およびｓｙ、＋（
ｔ）に対する、予想特徴Ｘの値における不確実性Ｈ（Ｓ
　ｐ　ｌ　ｉ　ｔ　Ｓ　ＹＪ（ｔ　））の計算は、第４
表の確率から次の式に従ってなされた。

ｔｌ（Ｓｔ）ｌｉｔ　Ｓち（ｔ））＝　Ｐ（ＳＹｊ（ｔ））　ＩＩ（ＸｍｌＳＹｊ＋（ｔ）
）＋　ｐ（ｓｙＪ（ｔ））　Ｈ（ｘ、ｌｓｙ、＋（ｔ）
）。

ここに、１１（Ｘｍ１ＳＹＪ（ｔ）） −−Σ　Ｐ（Ｘ−ｌｓＹＪ（ｔ））Ｑｏｇ　Ｐ（Ｘηｓ
ｙ、＋（ｔ））。

気１１Ｌ！’（Ｘｍ１ＳＹＪ（ｔ））　　＝　　Ｐ（Ｘｍ、ＳＹ
ｊ（ｔ）−Ｐ（ＳＹｊＩ（ｔ））そして、第６表においては、２を基数とする対数が用いられてい
る。（例えば、昧４！１字専１ｊリマ７」−２□をＥｎ
ｃｙｃｌｏｐｅｄｉａ　ｏｒ　５ｔａｔｉｓｔｉｃａｌ
　５ｃｉｅｎｃｅｓ。

ｖｏｌｕ＋＊ｅ　２”　　ジョン・ワイリー・アンド・
→ンズ社“Ｊｏｈｎ　Ｗｉｌｃｙ　＆　５ｏｎｓ　　　
１９８２年、５１２５１６ペイジを診照。）かくして、一対のセットに対する特徴値における不確実
性は、例えばＰ（ＳＹｊ（ｔ））のような、該当のセッ
トにおけるある１個のイベントの生起確率について、当
該セットに対する例えばＩＩ□ＩＩｓ　ＹＪ（ｔ　））
のような不確実性を乗算するようにして、このような積
の和として計算された。

第６表において示されているように、予想特徴Ｘの値に
おいて最低の不確実性を有するセットＳ　Ｙ　、、、、
（ｔ　）およびｓ　ｙ　ｏｐ＋Ｎ　）の対は、第４表に
おける確率から計算されるようなセソＦ　Ｓ　Ｙｒ（ｔ
　）およびＳＹｊ（ｔ）の対である。

評価された確率Ｐ（Ｘｍ、Ｙｎ、）から、予想特徴の値
がＸｍであるときに、セットｓ　ｙ　、、ｐ、（ｔ　）
においてカテゴリ特徴の値を有するような条件付きの確
率ｐ（ｓ　ｙ、ｐｔ（ｔ　）１ｘ、）が、各Ｘｍに対し
て計算される。第７表に示されているものは、第４表に
おけるジ３インド確率に基づく、これらの条件付き確率
である。ここに、Ｐ（ＳＹｊＰｌ（ｔ）、Ｘｍ）　　　＝゛　　Ｐ（Ｙ４
．Ｘｍ）　　　七　　Ｐ（Ｙ６．Ｘｍ）Ｐ（ＳＹｊＰＬ
（Ｌ）、Ｘｍ）　＝＝　Ｐ（Ｙｎ、Ｘｍ）　十Ｐ（Ｙｒ
、Ｘｍ）１−　　Ｐ（Ｙ３．Ｘｍ）Ｐ（ＳＹｊ、ｐ、（ｔ）｜Ｘｎ）Ｐ（ＳＹｏｐｔ　（ｔ）、　Ｘｍ） ÷１Ｐ（ＳＹｏｐｔ（ｔ）、Ｘｍ）　　＠　　Ｐ（ＳＹ
ｊｐｔ（ｔ）、Ｘ＝月次に、予想特徴Ｘｍのセット５Ｘ
ｍ（ｔＩ−１）およびｓｘ、（ｔ＋１）の順序付けられ
た対の規定がなされる。変数１は（Ｍ−１）より小さい
かこれに等しい正の整数である。各セ・ｙ　トｓＸ＋（
ｔ　＋　］）に含まれているものは、条件付きの確率Ｐ　（Ｓ　Ｙ　ｏｐ、（ｔ　）ＩＸ　、）のｉ個の最低
の値を有するそれらの予想特徴値Ｘｍだけである。各セ
ットＳＸｉ（ｔ＋１）に含まれているものは、条件付き
の確率の（Ｍ−ｉ）個の最高の値を有するそれらの予想
特徴値Ｘｍだけである。

第８表に示されているものは、第７表における条件付き
の確率に基づく予想特徴値の、セットＳＸｉ（ｔ＋１）
およびＳＸｉ（ｔ＋１）からｓｘ、（ｔ＋１）およびＳ
Ｘｉ（Ｌ＋］）まＴ（７）、順序付けられた対である。

また、この第８表には各セットに関連した予想特徴値も
示されている。

第６表に関して−Ｌ述されたと同様な態様をもって、カ
テゴリ特徴値における不確実性の計算が、第４表および
第７表における確率からのセットの各対についてそれぞ
れになされた。第８表に示されているように、カテゴリ
特徴値において最低の不確実性を有するセットＳＸｉ、
、（Ｌ　＋　１）およびｓｘ、、（ｔ　＋　１）の対は
、第４表の確率から計算されるように、ｓｘ、（ｔ＋１
）であった。なお、ここにｔ＝１である。

最後に、セット５ｘ６ｐｌ（ｔ←■）およびＳＸｉｐｌ
（ｔ＋１）の対が発見されると、イベントの予想特徴値
がセットＳ　ｘａｐｔ（ｔ　＋　１　）のメンバである
ときには、該イベントは第１のクラスに分類される。イ
ベントの予想特徴値がセットＳＸｉ９．（ｔ＋１）のメ
ンバであるときには、該イベントは第２のクラスに分類
される。

ＳＸｉ、、、（を斗１）およびｓ　ｘ　ｏｐｃ　（ｔ　
＋　］　）　ｌこりいて得られた第１の値に従って観察
イベントの分類をすることは、この発明によれば可能で
あるけれども、このプロセスを繰り返すことによって更
に良好なサブセットを得ることができる。即ち、対のセ
ットＳ　Ｘ　ｏｐＬ（ｔ　＋　１　）およびｓ　ｘ、ｐ
ｔ（ｔ　ｔ−ｉ）を発見した後であるが、イベントの分
類をするのに先立ってｔを１だけ増大させ、これに次い
で、ｓ　Ｘｏｐｔ（ｊ　＋　１）およびＳＸｏい、（ｔ
＋１）の発見を通して条件付きの確率Ｐ　（Ｓ　Ｙ　、
ｐｃ（ｔ　）ＩＹ　ｎ）を計算するステップを繰り返す
ことが好適である。これらのステ、ブは、例えば、該当
のセットｓ　ｘ　ａｐｔ（ｔ　＋Ｉ　）が先行のセット
Ｓ　Ｘ　ｕｐｔ（ｔ　）と等しくなるまで、または実質
的に等しくなるまで繰り返すことができる。これに代え
て、これらのステップをある選択された回数だけ繰り返
すことができる。

−Ｌ述されたステップを繰り返すことにより、そして、
Ｓ　ｘ、ｐｌ（ｔ　＋　１　）＝　Ｓ　Ｘｍ、Ｉ（ｔ　
）になったときにこの繰り返しを停止することにより、
ランダムに発生された確率の分布に基づ（イベントのセ
ットを分類するために、この発明が用いられた。Ｍの値
が２から１２まで、また、Ｎの値が２から１６までに対
して、分類の繰り返しが１００回にゎたってなされた。

全てのケースにおいて、５回以上の繰り返しをすること
なく分類が完１′シた。そのために、試験されたサブセ
ットは５（Ｍ　−１−Ｎ　）個に満たないものであった
。この発明によって得られた分類における情報（不確実
性）は最適に近いものであった。

第２図のフローチャートは、予想・特徴の値において最
低の不確実性を有するセラｈｓＹｎｐｔ（ｔ）およびｓ
　ｙ　、、、ｔ（ｔ　）を発見する−っの態様を示すも
のである。セットＳＹＪおよびＳＹｊの順序付けられた
対が規定された後で、変数ｊが１に専しく設定される。

これに続けて、セットＳＹｊ（１）および５ｙＪ（Ｈに
対する不確実性Ｉｔ（ＳｐｌｉｔＳＹＪ（ｔ））が計算
され、また、セットＳ　Ｙ　ｉ、＋、ｚ（ｔ　）および
Ｓ　Ｙ　＋、＋、＋＋（ｔ　）に対する不確実性）（（
Ｓ　ｐ　ｌ　！　ｔ　　Ｓ　Ｙ　ＩＪ、１１（ｔ　））
が計算される。

次に、不確実性＋１（Ｓ　ｐ　Ｉ　ｉ　ｔ　　Ｓ　Ｙｎ
（ｔ　））が不確実性Ｈ（Ｓ　ｐ　ｉ　ｉ　ｔ　　Ｓ　
Ｙ　＋、＋−＋＋（ｔ　））と比較される。

１１（Ｓｐ　Ｉ　ｔ　ｔ　　ＳＹｊ（ｔ））がＨ（Ｓ　
ｐ　Ｉ　Ｉ　ｔ　　Ｓ　Ｙ　＋、＋−＋＋（Ｌ　））よ
りも小さいときには、ｓｙ、、、＋（ｔ）がＳＹｊ（ｔ
）に等しく設定され、また、ＳＹｊ、、（ｔ）は５ｙｊ
（ｔ）に等しく設定される。！（（Ｓ　ｐ　Ｉ　ｉ　ｔ
　　Ｓ　ＹＪ（ｔ　））が！Ｉ　（Ｓ　ｐ　！　！　ｔ
　　Ｓ　Ｙ　＋Ｊ、＋＋Ｄ　））よりも小さくないとき
にはｊが１だけ増大され、そして、ｊの新規な値に対す
る不確実性の計算がなされる。

カテゴリ特徴の値において最低の不確実性を有するセッ
トＳ　Ｘ　ｏｐ　ｌ（ｔ−＋１）およびＳ　Ｘｍ、、（
ｔ　＋　１）を、同様な態様で発見することができる。

第３図には、観察イベントのセットを分類するための装
置が概略的に示されている。この装置を構成することが
できるものは、例えば、適切にプログラムされたコンピ
ュータ・システムである。

この例において、該装置を構成する汎用デジタル・プロ
セッサ１０は、データ・エントリ用のキーボード１２、
デイスプレィ１４、ランダム・アクセス・メモリ１Ｇ、
および、蓄積デバイス１８が備えられている。ランダム
・アクセス・メモリ１６に蓄積されているプログラムの
制御の下に、プロセッサ１０は蓄積デバイス１８におけ
る学習テキストから、予想特徴値Ｘｍおよびカテゴリ特
徴値Ｙ　ｎの探索をする。該学習テキストにおける特徴
値から、プロセッサ１０は評価確率Ｐ　（Ｘ　、、　Ｙ
　ｎ）の計算を行い、この評価確率を蓄積デバイス１８
に蓄積する。

次いで、プロセッサ１０は予想特徴値の出発セット５ｘ
ｕｐｔ（ｔ）の選択をする。例えば、【が初期値を有す
るときのセットｓ　ｘ、、ｔ（ｔ　）には、（Ｍが偶数
の整数であるときの）予想特徴値ＸｍないしＸ　、、、
、または、（Ｎが奇数の整数であるときの）Ｘｍないし
Ｘ（、＊１ｌｔｔを含ませることができる。他のどのよ
うな選択でも受は入れることができる。

蓄積デバイス１８における確率１）　（Ｘ　、、　Ｙ　
ｎ）から、プロセッサ１０は条件付き確率Ｐ　（Ｓ　Ｘ　、ｐｔ（ｔ　）ＩＹ　、）（７）計算を
行い、コレラヲ蓄積デバイス１８に蓄積させる。該条件
付きの確率から、セットＳＹバｔ）およびＳＹｊ（ｔ）
の順序付けられた対の規定がなされて、蓄積デバイス１
８に蓄積される。

なおもプログラムの制御の下に、プロセッサ１０はセッ
トの（Ｎ−１）個の順序付けられた対についての不確実
性の計算を行い、そして、予ｔ！特徴の値において最低
の不確実性を有するセットＳＹｏｐｔ（ｔ）お、上びＳ
Ｙｊｐｔ（ｔ）を蓄積デバイス１８に蓄積する。

プロセッサ１０は、同様な態様をも−〕で、カテゴリ特
徴の値において最低の不確実性をイ１゛するセットＳ　
Ｘｍ、ｐ、（ｔ　＋　１　＞およびＳ　Ｘｏｐ＋（ｔ　
＋　Ｉ　）の発見および蓄積を行う。

第４図には、この発明の方法および装置によって発生で
きる決定ツリー（ｄｅｃｉｓｉｏｎ　ｔｒｅｅ）が例示
されている。第４図に示されているように、該決定ツリ
ーの各７−ドは、イベントのセットＳＺ。

ないしＳＺ、と関連している。該ツリーの頂点部におけ
るセットＳｚｏには、全ての予想特徴の全ての値が含ま
れている。セットＳＺｏにおけるイベントは、この発明
の方法および装置を用いることにより、第１の予想特徴
Ｘ゛に従って、該ツリーの第２のレベルに分類される。

例えば、該第１の予想特徴Ｘ′が認識されるべきワード
Ｙの直前を先行するワードであるときには、該イベント
のセットＳｚｏは、先行のワードがセットＳＸ゛。、の
メンバであるようなイベントのセットｓ　ｚ　、、およ
び、その先行のワードがセ。

トｓｘ−，，のメンバであるようなセットＳＺ、に分割
される。

該ツリーの第３のレベルにおいては、イベントのセット
ＳＺＩおよびＳＺ、は、例えば、第２の予想値Ｘ“（認
識されるべきワードに対して次に先行するワード）によ
っ°（更に分割される。該決定ツリーの各ノードは、認
識されるべきワードの値（カテゴリ特徴の値）に対する
確率分布に関連付けられている。ある１個が該決定ツリ
ーを通って進行するにつれて、認識されるべきワードＹ
の値における不確実性が連続的に減少する。

第５図は、この発明による分類方法および装置が用いら
れる自動的な音声認識システムを示すブロック図である
。これと同様なシステムは、例えば、米国特許第４，７
５９，０６８号において説明されている。第５図に示さ
れたシステムには、ある１個の発声を電気的な信号に変
換するためのマイクロホン２０が含まれている。音響ラ
ベル・プロトタイプ蓄積部２４からの、最も良くマ・ツ
チングがとれた音響ラベル・プロトタイプを発見する、
音響プロセッサ／ラベル・マツチング部２２によって、
該マイクロホンからの信号が処理される。急速音響ワー
ド・マツチング・プロセッサ２６は、蓄積部２８におけ
る短縮音響ワード・モデルに対して音響プロセッサ２２
からのラベル・ストリングのマツチングをさせて、ある
１個の発声信号を生成させる。

該急速音響ワード・マツチング・プロセッサによって出
力された発声信号には、該発声の予想ワードを表す少な
くとも１個の予想ワード信号が含まれている。ただし、
−・般的には、該急速音響マツチング・プロセッサは多
くの候補としての予想ワードを出力するものである。

ａ　急速音１’Ｐワード・マツチング・プロセッサ２６
によって生成された各予想ワード信号は、ワード関連マ
ツチング部３０に人力される。このワード関連マツチン
グ部３０においては、ワードの関連を蓄積部３２からの
ランゲージ・モデルと対比して、ある１個の候補として
の予想ワードを表す少なくとも１個のカテゴリ特徴信号
を出力する。

該急速音響マツチング部およびランゲージ・モデルによ
って生成された認１候補から、詳細音響マツチング部３
４は、蓄積部３６における詳細音響ワード・モデルに対
して、音響プロセッサ２２からのラベル・ストリングと
マツチングさせて、該当の発声に対応するワード・スト
リングを出力する。

第６図は、ワード関連マツチング部３０およびランゲー
ジ・モデル３２の部分についての、更に詳細なブロック
図である。該ワード関連マツチング部３０およびランゲ
ージ・モデル３２に含まれているものは、全ての予想ワ
ードを蓄積するための予想特徴信号蓄積部３８である。

（第３図に関して前述された装置のような）決定セット
・ゼネレータ４０は、該当の決定セットに対する予想ワ
ードのサブセットを発生させるものである。

コントローラ４２は、急速音響ワード・マ・ツチング・
プロセッサ２６からの予想ワード信号を、予想ワード信
号蓄積部４４に蓄積させる。

コントローラ４２によってアドレスされた予想ワード信
号は、コンパレータ４６において、該コントローラ４２
によってアドレスされた予想特徴信号と比較される。予
想ワード信号が決定セ・ノドと比較された後で、該予想
ワード信号が決定セ・ットのメンバであるときには、第
１のカテゴリ特徴信号が出力される。そうでないときに
は、第２のカテゴリ特徴信号が出力される。

ワード関連マツチング部３０およびランゲージ・モデル
３２の動作の一例については、第１表、第２表および第
９表を参照して説明することができる。

ワード・ストリングの発声において、先行のワード（即
ち、認識されるべきワードの直前を先行するワード）は
、ワード“トラベル”として試験的に識別される。第１
表によれば、該先行ｒノード“トラベル”は予想特徴値
Ｘｍを有している。第９表からみて、該ワード”トラベ
ル”はセットＳＸｉ、ｌ（ｔ　＋１）内にある。従−）
で、認識されるべきワードの６値Ｙａの確率は、第９表
における条件付きの確率Ｐ（ＹｎＩｓＸｏ、Ｉ（ｔ　＋
　１））によって与えられる。

第１および第２に高い条件付きの確率を有するワードの
選択をすると、ランゲージ・モデル２６からは、“トラ
ベル”に追従する認識ワードに対する候補として、ワー
ドＹ３およびＹｎ（“マネージメント”および“コンサ
ルタント″）が出力される。これに次いで、該候補は詳
細音響マツチング部に呈示されて、更に調査を受けるこ
とになる。

【図面の簡単な説明】

第１図は、この発明による観察イベントのセットを分類
する方法のフローチャート図である。第２図は、最低の不確実性を有するセットの発見のしか
たを示すフローチャート図である。第３図は、この発明による観察イベントのセットを分類
する装置のブロック図である。第４図は、この発明による方法および装置によって生成
された分類から構成することができる決定ツリーの図で
ある。第５図は、この発明によるワード関連マツチング部を含
む音声認識システムのブロック図である。第６図は、前記第５図におけるワード関連マツチング部
のブロック図である。第３図において：１０は汎用デジタル・プロセッサ、１２はキーボード、１４はデイスプレィ、１６はランダム・アクセス・メモリ、１８はＪ！ｒｆｔ！！デバイス。ＩＩ＋６図

Claims

【特許請求の範囲】

（１）観察イベントのセットを分類する方法であって、
各イベントは予想特徴Ｘおよびカテゴリ特徴Ｙを有し、
前記予想特徴はＭ個の異なる可能性のある値Ｘ＿ｍの１
個を有し、前記カテゴリ特徴はＮ個の異なる可能性のあ
る値Ｙ＿ｎの１個を有しており、ここに、Ｍは３よりも
大きいかこれに等しい整数、Ｎは３よりも大きいかこれ
に等しい整数、ｍはゼロよりも大きく、かつ、Ｍより小
さいかこれに等しい整数、そして、ｎはゼロよりも大き
く、かつ、Ｎより小さいかこれに等しい整数であり、：（ａ）該イベントのセットにおける各イベントの予想特徴値Ｘ＿ｍおよびカテゴリ特徴値Ｙ＿ｎを
測定するステップ；（ｂ）該測定された予想特徴値および該測定されたカテゴリ特徴値から、各Ｙ＿ｎおよび各Ｘ＿ｍ
に対して、カテゴリ特徴値Ｙ＿ｎおよび予想特徴値Ｘ＿
ｍを有するイベントを生起させる確率Ｐ（Ｘ＿ｍ、Ｙ＿
ｎ）を評価するステップ；（ｃ）ｔが初期値であるときに、予想特徴値Ｘ＿ｍの出発セットＳＸ＿ｏ＿ｐ＿ｔ（ｔ）を選択す
るステップ；（ｄ）該評価された確率Ｐ（Ｘ＿ｍ、Ｙ＿ｎ）から、各
Ｙ＿ｎに対するカテゴリ特徴の値がＹ＿ｎであるとき、
予想特徴がセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ）における値を
有するように、条件付きの確率Ｐ（ＳＸ＿ｏ＿ｐ＿ｔ（
ｔ）｜Ｙ＿ｎ）を計算するステップ；（ｅ）カテゴリ特徴値Ｙ＿ｎの多数対のセットＳＹ＿ｊ
（ｔ）および＠ＳＹ＠＿ｊ（ｔ）を定義するステップ（
ここに、ｊはゼロよりも大きく、かつ、（Ｎ−１）より
小さいかこれに等しい整数であり、各セットＳＹ＿ｊ（
ｔ）はＰ（ＳＸ＿ｏ＿ｐ＿ｔ（ｔ）｜Ｙ＿ｎ）のｊ個の
最低値を有するカテゴリ特徴値Ｙ＿ｎだけを含み、各セ
ット＠ＳＹ＠＿ｊ（ｔ）はＰ（ＳＸ＿ｏ＿ｐ＿ｔ（ｔ）
｜Ｙ＿ｎ）の（Ｎ−ｊ）個の最高値を有するカテゴリ特
徴値Ｙ＿ｎだけを含んでいる）；（ｆ）セットＳＹ＿ｏ＿ｐ＿ｔ（ｔ）および＠ＳＹ＠＿
ｏ＿ｐ＿ｔ（ｔ）の対が予想特徴の値における最低の不
確実性を有するように、セットＳＹ＿ｊ（ｔ）および＠
ＳＹ＠＿ｊ（ｔ）の対の中からセットＳＹ＿ｏ＿ｐ＿ｔ
（ｔ）および＠ＳＹ＠＿ｏ＿ｐ＿ｔ（ｔ）の対を発見す
るステップ；（ｇ）該評価された確率Ｐ（Ｘ＿ｍ、Ｙ＿
ｎ）から、各Ｘ＿ｍに対するカテゴリ特徴の値がＸ＿ｍ
であるとき、予想特徴がセットＳＹ＿ｏ＿ｐ＿ｔ（ｔ）
における値を有するように、条件付きの確率Ｐ（ＳＹ＿
ｏ＿ｐ＿ｔ（ｔ）｜Ｘ＿ｎ）を計算するステップ；（ｈ）予想特徴値Ｘ＿ｍの多数対のセットＳＸ＿ｉ（ｔ）および＠ＳＸ＠＿ｉ（ｔ）を定義するス
テップ（ここに、ｉはゼロよりも大きく、かつ、（Ｍ−
１）より小さいかこれに等しい整数であり、各セットＳ
Ｘ＿ｉ（ｔ＋１）はＰ（ＳＹ＿ｏ＿ｐ＿ｔ（ｔ）｜Ｘ＿
ｍ）のｉ個の最低値を有する予想特徴値Ｘ＿ｍだけを含
み、各セット＠ＳＸ＠＿ｉ（ｔ＋１）はＰ（ＳＹ＿ｏ＿
ｐ＿ｔ（ｔ）｜Ｘ＿ｍ）の（Ｍ−ｉ）個の最高値を有す
る予想特徴値Ｘ＿ｍだけを含んでいる）；（ｉ）セットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）および＠ＳＸ
＠＿ｏ＿ｐ＿ｔ（ｔ＋１）の対がカテゴリ特徴の値にお
ける最低の不確実性を有するように、セットＳＸ＿ｉ（ｔ＋１）および＠ＳＸ＠＿ｉ（ｔ＋１）の対
の中からセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）および＠Ｓ
Ｘ＠＿ｏ＿ｐ＿ｔ（ｔ＋１）の対を発見するステップ；（ｌ）イベントの予想特徴値がセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）のメンバであるときには、
該イベントを第１のクラスに分類するステップ；および（ｍ）イベントの予想特徴値がセット＠ＳＸ＠＿ｏ＿ｐ＿ｔ（ｔ＋１）のメンバであるときに
は、該イベントを第２のクラスに分類するステップ；を
有する前記の方法。
（２）イベントを該第１のクラスに分類するステップに
は、該イベントの予想特徴値がセットＳＸ＿ｏ＿ｐ＿ｔ
（ｔ＋１）のメンバであるときに、該イベントを該第１
のクラスのメンバとして識別する分類信号を発生させる
ステップが含まれており；またイベントを該第２のクラスに分類するステップには、該イベントの予想特徴値がセットＳＸ＿ｏ
＿ｐ＿ｔ（ｔ＋１）のメンバであるときに、該イベント
を該第２のクラスのメンバとして識別する分類信号を発
生させるステップが含まれている；ことを特徴とする請
求項１に記載の方法。
（３）セットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）および＠ＳＸ
＠＿ｏ＿ｐ＿ｔ（ｔ＋１）の対の発見の後であるが、イ
ベントの分類に先立って、（ｊ）ｔを１だけ増大させるステップ；および（ｋ）セットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）Ｓが先行のセ
ットＸ＿ｏ＿ｐ＿ｔ（ｔ）と実質的に等しくなるまで、
ステップ（ｄ）ないし（ｋ）を繰り返すステップ；を更
に有する請求項２に記載の方法。
（４）セットＳＹ＿ｏ＿ｐ＿ｔ（ｔ）および＠ＳＹ＠＿
ｏ＿ｐ＿ｔ（ｔ）の対が予想特徴の値における最低の不
確実性を有するように、セットＳＹ＿ｊ（ｔ）および＠
ＳＹ＠＿ｊ（ｔ）の対の中からセットＳＹ＿ｏ＿ｐ＿ｔ
（ｔ）および＠ＳＹ＠＿ｏ＿ｐ＿ｔ（ｔ）の対を発見す
るステップは；（ｆ）（１）ｊ＝１にセットするステップ；（ｆ）（２
）セットＳＹ＿ｊ（ｔ）および＠ＳＹ＠＿ｊ（ｔ）の対に対する予想特徴値における不
確実性Ｈ（ＳｐｌｉｔＳＹ＿ｊ（ｔ））、および、セッ
トＳＹ＿（＿ｊ＿＋＿ｉ＿）（ｔ）および＠ＳＹ＠＿（
＿ｊ＿＋＿ｉ＿）（ｔ）の対に対する予想特徴値におけ
る不確実性Ｈ（ＳｐｌｉｔＳＹ＿（＿ｊ＿＋＿ｉ＿）（ｔ））を計
算するステップ；（ｆ）（３）Ｈ（ＳｐｌｉｔＳＹ＿ｊ（ｔ））をＨ（Ｓ
ｐｌｉｔＳＹ＿（＿ｊ＿＋＿ｉ＿）（ｔ））と比較する
ステップ；および（ｆ）（４）Ｈ（ＳｐｌｉｔＳＹ＿ｊ（ｔ））がＨ（Ｓ
ｐｌｉｔＳＹ＿（＿ｊ＿＋＿ｉ＿）（ｔ））よりも小さ
いときには、ＳＹ＿ｏ＿ｐ＿ｔ（ｔ）＝ＳＹ＿ｊ（ｔ）
および＠ＳＹ＠＿ｏ＿ｐ＿ｔ（ｔ）＝＠ＳＹ＠＿ｊ（ｔ
）にセットし、そうでないときには、ｊを１だけ増大さ
せて、ステップ（ｆ）（２）ないし（ｆ）（４）を繰り
返すステップ；を有することを特徴とする請求項３に記載の方法。
（５）セットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）および＠ＳＸ
＠＿ｏ＿ｐ＿ｔ（ｔ＋１）の対がカテゴリ特徴の値にお
ける最低の不確実性を有するように、セットＳＸ＿ｉ（ｔ＋１）および＠ＳＸ＠＿ｉ（ｔ＋１）の対
の中からセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）および＠Ｓ
Ｘ＠＿ｏ＿ｐ＿ｔ（ｔ＋１）の対を発見するステップは
；（ｉ）（１）ｉ＝１にセットするステップ；（ｉ）（２
）セットＳＸ＿ｉ（ｔ＋１）および＠ＳＸ＠＿ｉ（ｔ＋
１）の対に対するカテゴリ特徴値における不確実性Ｈ（
ＳｐｌｉｔＳＸ＿ｉ（ｔ＋１））、および、セットＳＸ
＿ｉ（ｔ＋１）および＠ＳＸ＠＿（＿ｉ＿＋＿ｊ＿）（ｔ＋１）の対に対する
カテゴリ特徴値における不確実性Ｈ（ＳｐｌｉｔＳＹ＿
（＿ｉ＿＋＿１＿）（ｔ））を計算するステップ；（ｉ）（３）Ｈ（ＳｐｌｉｔＳＸ＿ｉ（ｔ＋１））をＨ
（ＳｐｌｉｔＳＸ＿（＿ｉ＿＋＿１＿）（ｔ＋１））と
比較するステップ；および（ｉ）（４）Ｈ（ＳｐｌｉｔＳＸ＿ｉ（ｔ＋１））がＨ
（ＳｐｌｉｔＳＸ＿（＿ｉ＿＋＿１＿）（ｔ＋１））よ
りも小さいときには、ＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）＝Ｓ
Ｘ＿ｉ（ｔ＋１）および＠ＳＸ＠＿ｏ＿ｐ＿ｔ（ｔ＋１
）＝＠ＳＸ＠＿ｉ（ｔ＋１）にセットし、そうでないと
きには、ｉを１だけ増大させて、ステップ（ｉ）（２）
ないし（ｉ）（４）を繰り返すステップ；を有すること
を特徴とする請求項４に記載の方法。
（６）セットＳＸ＿ｉ（ｔ＋１）および＠ＳＸ＠＿ｉ（ｔ＋１）に対するカテゴリ特徴値におけ
る不確実性は、セット＠ＳＸ＠＿ｉ（ｔ＋１）に対する
カテゴリ特徴値における不確実性の乗算がなされる、セ
ット＠ＳＸ＠＿ｉ（ｔ＋１）における予想特徴値を有す
るイベントの生起確率に、セットＳＸ＿ｉ（ｔ＋１）に
対するカテゴリ特徴値における不確実性の乗算がなされ
る、セットＳＸ＿ｉ（ｔ＋１）における予想特徴値を有
するイベントの生起確率を加えたものに等しいことを特
徴とする請求項５に記載の方法。
（７）イベントのセット内には存在しないイベントの予
想特徴値を測定するステップ；イベントの予想特徴値がセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）のメンバであるときには、
該イベントを第１のクラスに分類するステップ；およびイベントの予想特徴値がセット＠ＳＸ＠＿ｏ＿ｐ＿ｔ（ｔ＋１）のメンバであるときに
は、該イベントを第２のクラスに分類するステップ；を
更に有する請求項６に記載の方法。
（８）各イベントは一連の口頭による発声における１個
の口頭による発声であることを特徴とする請求項７に記
載の方法。
（９）各イベントは一連の口頭によるワードにおける１
個の口頭によるワードであり；またワードの予想特徴値
は、該一連の口頭によるワードにおいて直前を先行するワードを識別するも
のである；ことを特徴とする請求項８に記載の方法。
（１０）観察イベントのセットを分類する装置であって
、各イベントは予想特徴Ｘおよびカテゴリ特徴Ｙを有し
、前記予想特徴はＭ個の異なる可能性のある値Ｘ＿ｍの
１個を有し、前記カテゴリ特徴はＮ個の異なる可能性の
ある値Ｙ＿ｎの１個を有しており、ここに、Ｍは３より
も大きいかこれに等しい整数、Ｎは３よりも大きいかこ
れに等しい整数、ｍはゼロよりも大きく、かつ、Ｍより
小さいかこれに等しい整数、そして、ｎはゼロよりも大
きく、かつ、Ｎより小さいかこれに等しい整数であり、
；（ａ）該イベントのセットにおける各イベントの予想特徴値Ｘ＿ｍおよびカテゴリ特徴値Ｙ＿ｎを
測定する手段；（ｂ）該測定された予想特徴値および該測定されたカテゴリ特徴値から、各Ｙ＿ｎおよび各Ｘ＿ｍ
に対して、カテゴリ特徴値Ｙ＿ｎおよび予想特徴値Ｘ＿
ｍを有するイベントを生起させる確率Ｐ（Ｘ＿ｍ、Ｙ＿
ｎ）を評価する手段；（ｃ）ｔが初期値であるときに、予想特徴値Ｘ＿ｍの出発セットＳＸ＿ｏ＿ｐ＿ｔ（ｔ）を選択す
る手段；（ｄ）該評価された確率Ｐ（Ｘ＿ｍ、Ｙ＿ｎ）
から、各Ｙ＿ｎに対するカテゴリ特徴の値がＹ＿ｎであ
るとき、予想特徴がセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ）にお
ける値を有するように、条件付きの確率Ｐ（ＳＸ＿ｏ＿
ｐ＿ｔ（ｔ）｜Ｙ＿ｎ）を計算する手段；（ｅ）カテゴリ特徴値Ｙ＿ｎの多数対のセットＳＹ＿ｊ
（ｔ）および＠ＳＹ＠＿ｊ（ｔ）を定義する手段（ここ
に、ｊはゼロよりも大きく、かつ、（Ｎ−１）より小さ
いかこれに等しい整数であり、各セットＳＹ＿ｊ（ｔ）
はＰ（ＳＸ＿ｏ＿ｐ＿ｔ（ｔ）｜Ｙ＿ｎ）のｊ個の最低
値を有するカテゴリ特徴値Ｙ＿ｎだけを含み、各セット
＠ＳＹ＠＿ｊ（ｔ）はＰ（ＳＸ＿ｏ＿ｐ＿ｔ（ｔ）｜Ｙ
＿ｎ）の（Ｎ−ｊ）個の最高値を有するカテゴリ特徴値
Ｙ＿ｎだけを含んでいる）；（ｆ）セットＳＹ＿ｏ＿ｐ＿ｔ（ｔ）および＠ＳＹ＠＿
ｏ＿ｐ＿ｔ（ｔ）の対が予想特徴の値における最低の不
確実性を有するように、セットＳＹ＿ｊ（ｔ）およびＳ
Ｙ＿ｊ（ｔ）の対の中からセットＳＹ＿ｏ＿ｐ＿ｔ（ｔ
）および＠ＳＹ＠＿ｏ＿ｐ＿ｔ（ｔ）の対を発見する手
段；（ｇ）該評価された確率Ｐ（Ｘ＿ｍ、Ｙ＿ｎ）から
、各Ｘ＿ｍに対するカテゴリ特徴の値がＸ＿ｍであると
き、予想特徴がセットＳＹ＿ｏ＿ｐ＿ｔ（ｔ）における
値を有するように、条件付きの確率Ｐ（ＳＹ＿ｏ＿ｐ＿
ｔ（ｔ）｜Ｘ＿ｎ）を計算する手段；（ｈ）予想特徴値Ｘ＿ｍの多数対のセットＳＸ＿ｉ（ｔ＋１）およびＳＸ＿ｉ（ｔ＋１）を定義す
る手段（ここに、ｉはゼロよりも大きく、かつ、（Ｍ−
１）より小さいかこれに等しい整数であり、各セットＳ
Ｘ＿ｉ（ｔ＋１）はＰ（ＳＹ＿ｏ＿ｐ＿ｔ（ｔ）｜Ｘ＿
ｍ）のｉ個の最低値を有する予想特徴値Ｘ＿ｍだけを含
み、各セット＠ＳＸ＠＿ｉ（ｔ＋１）はＰ（ＳＹ＿ｏ＿
ｐ＿ｔ（ｔ）｜Ｘ＿ｍ）の（Ｍ−ｉ）個の最高値を有す
る予想特徴値Ｘ＿ｍだけを含んでいる）；（ｉ）セットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）および＠ＳＸ
＠＿ｏ＿ｐ＿ｔ（ｔ＋１）の対がカテゴリ特徴の値にお
ける最低の不確実性を有するように、セットＳＸ＿ｉ（ｔ＋１）および＠ＳＸ＠＿ｉ（ｔ＋１）の対
の中からセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）および＠Ｓ
Ｘ＠＿ｏ＿ｐ＿ｔ（ｔ＋１）の対を発見する手段；（ｌ）イベントの予想特徴値がセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）のメンバであるときには、
該イベントを第１のクラスに分類する手段；および（ｍ
）イベントの予想特徴値がセット＠ＳＸ＠＿ｏ＿ｐ＿ｔ（ｔ＋１）のメンバであるときに
は、該イベントを第２のクラスに分類する手段；を備えてなる前記の装置。
（１１）イベントのセット内には存在しないイベントの
予想特徴値を測定する手段；イベントの予想特徴値がセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）のメンバであるときには、
該イベントを第１のクラスに分類する手段；およびイベ
ントの予想特徴値がセット＠ＳＸ＠＿ｏ＿ｐ＿ｔ（ｔ＋１）のメンバであるときに
は、該イベントを第２のクラスに分類する手段；を更に備えてなる請求項１０に記載の装置。
（１２）発声を当該発声を表す発声信号に変換するステ
ップ（ここに、発声は一連の少なくとも１個の予想ワー
ドおよび１個の予想されたワードからなり、発声信号は
該予想ワードを表す少なくとも１個の予想ワード信号か
らなるものである）；それぞれに予想特徴値Ｘ＿ｍを有
するＭセットの予想特徴信号を生成させるステップ（こ
こに、Ｍは３よりも大きいかこれに等しい整数、ｍはゼ
ロよりも大きく、かつ、Ｍよりも小さいかこれに等しい
整数であり、該当のセット内の各予想特徴信号は異なる
ワードを表している）；該当のワードを表すＭ個の予想特徴信号のサブセットを含む決定セットを発生させるステップ；該当の予想ワード信号を該決定セット内の予想特徴信号と比較するステップ；該予想ワード信号が決定セットのメンバであるときに、第１の予想されたワードを表す第１のカ
テゴリ特徴信号を出力させるステップ（前記第１のカテ
ゴリ特徴信号はＮ個のカテゴリ特徴信号の中の１個であ
り、各カテゴリ特徴信号は異なるワードを表し、カテゴ
リ特徴値Ｙ＿ｎを有しており、ここに、Ｎは３よりも大
きいかこれに等しい整数、ｎはゼロよりも大きく、かつ
、Ｎよりも小さいかこれに等しい整数である）；および
該予想ワード信号が決定セットのメンバではないときに、該第１のカテゴリ特徴信号とは異なり
、該第１の予想されたワードとは異なる第２の予想され
たワードを表している、第２のカテゴリ特徴信号を出力
させるステップ；を有する自動的な音声認識方法であって観察イベントのセットを含む学習テキストを用意するステップであって、各イベントは予想ワー
ドを表す予想特徴Ｘおよび予想されたワードを表すカテ
ゴリ特徴Ｙを有し、前記予想特徴はＭ個の異なる可能性
のある値Ｘ＿ｍの１個を有し、各Ｘ＿ｍは異なる予想ワ
ードを表しており、前記カテゴリ特徴はＮ個の異なる可
能性のある値Ｙ＿ｎの１個を有し、各Ｙ＿ｎは異なる予
想されたワードを表している前記のステップ；（ａ）イベントのセットにおける各イベントの予想特徴値Ｘ＿ｍおよびカテゴリ特徴値Ｙ＿ｎを測
定するステップ；（ｂ）該測定された予想特徴値および該測定されたカテゴリ特徴値から、各Ｙ＿ｎおよび各Ｘ＿ｍ
に対して、カテゴリ特徴値Ｙ＿ｎおよび予想特徴値Ｘ＿
ｍを有するイベントを生起させる確率Ｐ（Ｘ＿ｍ、Ｙ＿
ｎ）を評価するステップ；（ｃ）ｔが初期値であるときに、予想特徴値Ｘ＿ｍの出発セットＳＸ＿ｏ＿ｐ＿ｔ（ｔ）を選択す
るステップ；（ｄ）該評価された確率Ｐ（Ｘ＿ｍ、Ｙ＿ｎ）から、各
Ｙ＿ｎに対するカテゴリ特徴の値がＹ＿ｎであるとき、
予想特徴がセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ）における値を
有するような、条件付きの確率Ｐ（ＳＸ＿ｏ＿ｐ＿ｔ（
ｔ）｜Ｙ＿ｎ）を計算するステップ；（ｅ）カテゴリ特徴値Ｙ＿ｎの多数対のセットＳＹ＿ｊ
（ｔ）および＠ＳＹ＠＿ｊ（ｔ）を定義するステップ（
ここに、ｊはゼロよりも大きく、かつ、（Ｎ−１）より
小さいかこれに等しい整数であり、各セットＳＹ＿ｊ（
ｔ）はＰ（ＳＸ＿ｏ＿ｐ＿ｔ（ｔ）｜Ｙ＿ｎ）のｊ個の
最低値を有するカテゴリ特徴値Ｙ＿ｎ、だけを含み、各
セット＠ＳＹ＠＿ｊ（ｔ）はＰ（ＳＸ＿ｏ＿ｐ＿ｔ（ｔ
）｜Ｙ＿ｎ）の（Ｎ−ｊ）個の最高値を有するカテゴリ
特徴値Ｙ＿ｎだけを含んでいる）；（ｆ）セットＳＹ＿ｏ＿ｐ＿ｔ（ｔ）および＠ＳＹ＠＿
ｏ＿ｐ＿ｔ（ｔ）の対が予想特徴の値における最低の不
確実性を有するように、セットＳＹ＿ｊ（ｔ）および＠
ＳＹ＠＿ｊ（ｔ）の対の中からセットＳＹ＿ｏ＿ｐ＿ｔ
（ｔ）および＠ＳＹ＠＿ｏ＿ｐ＿ｔ（ｔ）の対を発見す
るステップ；（ｇ）該評価された確率Ｐ（Ｘ＿ｍ、Ｙ＿
ｎ）から、各Ｘ＿ｍに対するカテゴリ特徴の値がＸ＿ｍ
であるとき、予想特徴がセットＳＹ＿ｏ＿ｐ＿ｔ（ｔ）
における値を有するように、条件付きの確率Ｐ（ＳＹ＿
ｏ＿ｐ＿ｔ（ｔ）｜Ｘ＿ｎ）を計算するステップ；（ｈ）予想特徴値Ｘ＿ｍの多数対のセットＳＸ＿ｉ（ｔ＋１）および＠ＳＸ＠＿ｉ（ｔ＋１）を定
義するステップ（ここに、１はゼロよりも大きく、かつ
、（Ｍ−１）より小さいかこれに等しい整数であり、各
セットＳＸ＿ｉ（ｔ＋１）はＰ（ＳＹ＿ｏ＿ｐ＿ｔ（ｔ
）｜Ｘ＿ｍ）のｉ個の最低値を有する予想特徴値Ｘ＿ｍ
だけを含み、各セット＠ＳＸ＠＿ｉ（ｔ＋１）はＰ（Ｓ
Ｙ＿ｏ＿ｐ＿ｔ（ｔ）｜Ｘ＿ｍ）の（Ｍ−ｉ）個の最高
値を有する予想特徴値Ｘ＿ｍだけを含んでいる）；（ｉ）セットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）および＠ＳＸ
＠＿ｏ＿ｐ＿ｔ（ｔ＋１）の対がカテゴリ特徴の値にお
ける最低の不確実性を有するように、セットＳＸ＿ｉ（ｔ＋１）および＠ＳＸ＠＿ｉ（ｔ＋１）の対
の中からセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）および＠Ｓ
Ｘ＠＿ｏ＿ｐ＿ｔ（ｔ＋１）の対を発見するステップ；
および（ｌ）該決定セットをセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）に等しくセットするステッ
プ；によって該決定セットの内容が発生されることを特徴とする前記の方法。
（１３）発声を当該発声を表す発声信号に変換する手段
（ここに、発声は一連の少なくとも１個の予想ワードお
よび１個の予想されたワードからなり、発声信号は該予
想ワードを表す少なくとも１個の予想ワード信号からな
るものである）；それぞれに予想特徴値Ｘ＿ｍを有する
Ｍセットの予想特徴信号を生成させる手段（ここに、Ｍ
は３よりも大きいかこれに等しい整数、ｍはゼロよりも
大きく、かつ、Ｍよりも小さいかこれに等しい整数であ
り、該当のセット内の各予想特徴信号は異なるワードを
表している）；該当のワードを表すＭ個の予想特徴信号のサブセットを含む決定セットを発生させる手段該当の
予想ワード信号を該決定セット内の予想特徴信号と比較する手段；該予想ワード信号が決定セットのメンバであるときに、第１の予想されたワードを表す第１のカ
テゴリ特徴信号を出力させる手段（前記第１のカテゴリ
特徴信号はＮ個のカテゴリ特徴信号の中の１個であり、
各カテゴリ特徴信号は異なるワードを表し、カテゴリ特
徴値Ｙ＿ｎを有しており、ここに、Ｎは３よりも大きい
かこれに等しい整数、ｎはゼロよりも大きく、かつ、Ｎ
よりも小さいかこれに等しい整数である）；および該予想ワード信号が決定セットのメンバではないときに、該第１のカテゴリ特徴信号とは異なり
、該第１の予想されたワードとは異なる第２の予想され
たワードを表している、第２のカテゴリ特徴信号を出力
させる手段；からなる自動的な音声認識装置であって観察イベントのセットを含む学習テキストを蓄積する手段であって、各イベントは予想ワードを
表す予想特徴Ｘおよび予想されたワードを表すカテゴリ
特徴Ｙを有し、前記予想特徴はＭ個の異なる可能性のあ
る値Ｘ＿ｍの１個を有し、各Ｘ＿ｍは異なる予想ワード
を表しており、前記カテゴリ特徴はＮ個の異なる可能性
のある値Ｙ＿ｎの１個を有し、各Ｙ＿ｎは異なる予想さ
れたワードを表している前記の手段；（ａ）イベントのセットにおける各イベントの予想特徴値Ｘ＿ｍおよびカテゴリ特徴値Ｙ＿ｎを測
定する手段；（ｂ）該測定された予想特徴値および該測定されたカテゴリ特徴値から、各Ｙ＿ｎおよび各Ｘ＿ｍ
に対して、カテゴリ特徴値Ｙ＿ｎおよび予想特徴値Ｘ＿
ｍを有するイベントを生起させる確率Ｐ（Ｘ＿ｍ、Ｙ＿
ｎ）を評価する手段；（ｃ）ｔが初期値であるときに、予想特徴値Ｘ＿ｍの出発セットＳＸ＿ｏ＿ｐ＿ｔ（ｔ）を選択す
る手段；（ｄ）該評価された確率Ｐ（Ｘ＿ｍ、Ｙ＿ｎ）
から、各Ｙ＿ｎに対するカテゴリ特徴の値がＹ＿ｎであ
るとき、予想特徴がセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ）にお
ける値を有するような、条件付きの確率Ｐ（ＳＸ＿ｏ＿
ｐ＿ｔ（ｔ）｜Ｙ＿ｎ）を計算する手段；（ｅ）カテゴリ特徴値Ｙ＿ｎの多数対のセットＳＹ＿ｊ
（ｔ）およびＳＹ＿ｊ（ｔ）を定義する手段（ここに、
ｊはゼロよりも大きく、かつ、（Ｎ−１）より小さいか
これに等しい整数であり、各セットＳＹ＿ｊ（ｔ）はＰ
（ＳＸ＿ｏ＿ｐ＿ｔ（ｔ）｜Ｙ＿ｎ）のｊ個の最低値を
有するカテゴリ特徴値Ｙ＿ｎだけを含み、各セット＠Ｓ
Ｙ＠＿ｊ（ｔ）はＰ（ＳＸ＿ｏ＿ｐ＿ｔ（ｔ）｜Ｙ＿ｎ
）の（Ｎ−ｊ）個の最高値を有するカテゴリ特徴値Ｙ＿
ｎだけを含んでいる）；（ｆ）セットＳＹ＿ｏ＿ｐ＿ｔ（ｔ）および＠ＳＹ＠＿
ｏ＿ｐ＿ｔ（ｔ）の対が予想特徴の値における最低の不
確実性を有するように、セットＳＹ＿ｊ（ｔ）および＠
ＳＹ＠＿ｊ（ｔ）の対の中からセットＳＹ＿ｏ＿ｐ＿ｔ
（ｔ）および＠ＳＹ＠＿ｏ＿ｐ＿ｔ（ｔ）の対を発見す
る手段；（ｇ）該評価された確率Ｐ（Ｘ＿ｍ、Ｙ＿ｎ）
から、各Ｘ＿ｍに対するカテゴリ特徴の値がＸ＿ｍであ
るとき、予想特徴がセットＳＹ＿ｏ＿ｐ＿ｔ（ｔ）にお
ける値を有するように、条件付きの確率Ｐ（ＳＹ＿ｏ＿
ｐ＿ｔ（ｔ）｜Ｘ＿ｎ）を計算する手段；（ｈ）予想特徴値Ｘ＿ｍの多数対のセットＳＸ＿ｉ（ｔ＋１）および＠ＳＸ＠＿ｉ（ｔ＋１）を定
義する手段（ここに、ｉはゼロよりも大きく、かつ、（
Ｍ−１）より小さいかこれに等しい整数であり、各セッ
トＳＸ＿ｉ（ｔ＋１）はＰ（ＳＹ＿ｏ＿ｐ＿ｔ（ｔ）｜
Ｘ＿ｍ）のｉ個の最低値を有する予想特徴値Ｘ＿ｍだけ
を含み、各セット＠ＳＸ＠＿ｉ（ｔ＋１）はＰ（ＳＹ＿
ｏ＿ｐ＿ｔ（ｔ）｜Ｘ＿ｍ）の（Ｍ−ｉ）個の最高値を
有する予想特徴値Ｘ＿ｍだけを含んでいる）；（ｉ）セットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）および＠ＳＸ
＠＿ｏ＿ｐ＿ｔ（ｔ＋１）の対がカテゴリ特徴の値にお
ける最低の不確実性を有するように、セットＳＸ＿ｉ（ｔ＋１）および＠ＳＸ＠＿ｉ（ｔ＋１）の対
の中からセットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）および＠Ｓ
Ｘ＠＿ｏ＿ｐ＿ｔ（ｔ＋１）の対を発見する手段；およ
び（ｌ）該セットＳＸ＿ｏ＿ｐ＿ｔ（ｔ＋１）を決定セッ
トとして出力する手段；によって該決定セットの発生手段が構成されていることを特徴とする前記の装置。