JPH0782357B2 - 適応的探索方法 - Google Patents
適応的探索方法Info
- Publication number
- JPH0782357B2 JPH0782357B2 JP5069746A JP6974693A JPH0782357B2 JP H0782357 B2 JPH0782357 B2 JP H0782357B2 JP 5069746 A JP5069746 A JP 5069746A JP 6974693 A JP6974693 A JP 6974693A JP H0782357 B2 JPH0782357 B2 JP H0782357B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- depth
- search tree
- score
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【産業上の利用分野】この発明は適応的探索方法に関
し、さらに詳しくは、音声認識、自然言語理解、情報検
索などの分野において、多数存在する候補の中から正解
候補を絞る探索方法に関する。
し、さらに詳しくは、音声認識、自然言語理解、情報検
索などの分野において、多数存在する候補の中から正解
候補を絞る探索方法に関する。
【０００２】
【従来の技術】従来より、問題の状態空間が木で表現さ
れる場合の探索には以下のような手法が提案されてい
る。
れる場合の探索には以下のような手法が提案されてい
る。
【０００３】［縦型探索］ 深さ優先探索とも呼ばれ、探索木の深い節点を先に調べ
る。縦型探索は解への道が多くあり、その道が長い場合
に特に有効である。
る。縦型探索は解への道が多くあり、その道が長い場合
に特に有効である。
【０００４】［横型探索］ 幅優先探索とも呼ばれ、探索木の浅い節点を先に調べ
る。一般に、目標とする解の節点が探索木の深いところ
にあれば前述した縦型探索が適しているが、浅いところ
にあればこの横型探索が適している。
る。一般に、目標とする解の節点が探索木の深いところ
にあれば前述した縦型探索が適しているが、浅いところ
にあればこの横型探索が適している。
【０００５】これらの探索手法は、木の深さと、１つの
節点から出ている技の数の平均（有効枝別れ数）とがあ
る程度以上になると、いずれの方法でも探索しなければ
ならない木の節点の数は非常に大きくなる。このため、
極めて簡単な問題を除いて、時間または記憶空間の限界
をはみ出してしまうのが通常である。これを探索におけ
る組合せ的爆発といい、これらの手法は盲目的探索と呼
ばれる。
節点から出ている技の数の平均（有効枝別れ数）とがあ
る程度以上になると、いずれの方法でも探索しなければ
ならない木の節点の数は非常に大きくなる。このため、
極めて簡単な問題を除いて、時間または記憶空間の限界
をはみ出してしまうのが通常である。これを探索におけ
る組合せ的爆発といい、これらの手法は盲目的探索と呼
ばれる。
【０００６】そこで、この組合せ的爆発を回避するた
め、特別な問題領域固有の情報を利用した探索が用いら
れることが多い。このような探索はヒューリスティック
探索と呼ばれる。以下、ヒューリスティック探索を例示
する。
め、特別な問題領域固有の情報を利用した探索が用いら
れることが多い。このような探索はヒューリスティック
探索と呼ばれる。以下、ヒューリスティック探索を例示
する。
【０００７】［最良優先探索］ 常に、現時点までに得られているすべての節点の中か
ら、最も目標に近い節点を選んで展開する。
ら、最も目標に近い節点を選んで展開する。
【０００８】［Ａ＊探索］ 最良優先探索において、節点ｎから目標までのコストｈ
（ｎ）が予測できる場合、評価関数ｆ（ｎ）として、節
点ｎまでの道の実際にかかったコストｇ（ｎ）と、上記
節点ｎから目標までのコストの予測値ｈ＊（ｎ）との和
を採用する。この場合、評価関数も近似値ｆ＊（ｎ）と
なり、次式で表わされる。この評価関数の近似値ｆ
＊（ｎ）が小さい節点から順に展開する。
（ｎ）が予測できる場合、評価関数ｆ（ｎ）として、節
点ｎまでの道の実際にかかったコストｇ（ｎ）と、上記
節点ｎから目標までのコストの予測値ｈ＊（ｎ）との和
を採用する。この場合、評価関数も近似値ｆ＊（ｎ）と
なり、次式で表わされる。この評価関数の近似値ｆ
＊（ｎ）が小さい節点から順に展開する。
【０００９】 ｆ＊（ｎ）＝ｇ（ｎ）＋ｈ＊（ｎ） ［ビーム探索］ 横型探索のように水平に探索するが、各レベルでは、あ
る節点を探索木から切り捨てる。すなわち、技刈りすべ
きか否かを決定するのにヒューリスティックな情報を用
いる。
る節点を探索木から切り捨てる。すなわち、技刈りすべ
きか否かを決定するのにヒューリスティックな情報を用
いる。
【００１０】
【発明が解決しようとする課題】たとえば音声認識の分
野では、認識語彙が増えたり、連続音声を対象としたり
すると、探索空間が膨大になる。その結果、認識処理時
間や記憶空間が極めて大きくなり、場合によっては天文
学的な処理時間や記憶空間を要することがあり得る。し
たがって、上述した盲目的探索では対処することができ
ない。
野では、認識語彙が増えたり、連続音声を対象としたり
すると、探索空間が膨大になる。その結果、認識処理時
間や記憶空間が極めて大きくなり、場合によっては天文
学的な処理時間や記憶空間を要することがあり得る。し
たがって、上述した盲目的探索では対処することができ
ない。
【００１１】一方、上述したヒューリスティック探索に
よればこのような組合せ的爆発を回避することができる
が、ヒューリスティックな情報として主に仮説のスコア
だけを用いているため、場合によっては無駄な探索を行
なっていることがあり、また、場合によっては正解候補
が得られないこともある。
よればこのような組合せ的爆発を回避することができる
が、ヒューリスティックな情報として主に仮説のスコア
だけを用いているため、場合によっては無駄な探索を行
なっていることがあり、また、場合によっては正解候補
が得られないこともある。
【００１２】この発明はこれらの問題を解決するために
なされたもので、より効率的に枝刈りなどを行なうこと
によって探索空間を削減し、ある程度の正解率を確保し
ながら探索時間を短縮することを目的とする。
なされたもので、より効率的に枝刈りなどを行なうこと
によって探索空間を削減し、ある程度の正解率を確保し
ながら探索時間を短縮することを目的とする。
【００１３】
【課題を解決するための手段】請求項１に係る適応的探
索方法は、探索木よりなる問題空間から正解仮説を探索
する方法であって、前記探索木のある深さにおける節点
からその次の深さにおける複数の節点へ展開するステッ
プと、前記探索木のある深さにおいて、その深さに到達
するまでに得られた複数の候補仮説のスコアをそれぞれ
算出するステップと、前記探索木のある深さにおいて、
少なくともその深さを含む複数の観測可能な特徴量を入
力とする所定の制御関数を用いて前記探索木の枝刈りを
行なうステップとを含む。
索方法は、探索木よりなる問題空間から正解仮説を探索
する方法であって、前記探索木のある深さにおける節点
からその次の深さにおける複数の節点へ展開するステッ
プと、前記探索木のある深さにおいて、その深さに到達
するまでに得られた複数の候補仮説のスコアをそれぞれ
算出するステップと、前記探索木のある深さにおいて、
少なくともその深さを含む複数の観測可能な特徴量を入
力とする所定の制御関数を用いて前記探索木の枝刈りを
行なうステップとを含む。
【００１４】請求項２に係る適応的探索方法では、上記
請求項１のステップに加えて、前記算出されたスコアの
順に前記複数の候補仮説を並べるステップをさらに含
み、前記複数の特徴量が前記探索木の深さに加えて前記
並べられた複数の候補仮説のスコア分布を表わす回帰係
数を含む。
請求項１のステップに加えて、前記算出されたスコアの
順に前記複数の候補仮説を並べるステップをさらに含
み、前記複数の特徴量が前記探索木の深さに加えて前記
並べられた複数の候補仮説のスコア分布を表わす回帰係
数を含む。
【００１５】請求項３に係る適応的探索方法では、上記
請求項１のステップに加えて、前記算出されたスコアの
うちその深さにおける最大スコアとその前の深さにおけ
る最大スコアとの差を算出するステップをさらに含み、
前記複数の特徴量が前記探索木の深さに加えて前記算出
された最大スコアの差を含む。
請求項１のステップに加えて、前記算出されたスコアの
うちその深さにおける最大スコアとその前の深さにおけ
る最大スコアとの差を算出するステップをさらに含み、
前記複数の特徴量が前記探索木の深さに加えて前記算出
された最大スコアの差を含む。
【００１６】請求項４に係る適応的探索方法は、探索木
よりなる問題空間から正解仮説を探索する方法であっ
て、前記探索木のある深さにおける節点からその次の深
さにおける複数の節点へ展開するステップと、前記探索
木のある深さにおいて、その深さに到達するまでに得ら
れた複数の候補仮説のスコアをそれぞれ算出するステッ
プと、前記算出されたスコアの順に前記複数の候補仮説
を並べるステップと、前記探索木のある深さにおいて、
少なくとも前記並べられた複数の候補仮説のスコア分布
を表わす回帰係数を含む複数の観測可能な特徴量を入力
とする所定の制御関数を用いて前記探索木の技刈りを行
なうステップとを含む。
よりなる問題空間から正解仮説を探索する方法であっ
て、前記探索木のある深さにおける節点からその次の深
さにおける複数の節点へ展開するステップと、前記探索
木のある深さにおいて、その深さに到達するまでに得ら
れた複数の候補仮説のスコアをそれぞれ算出するステッ
プと、前記算出されたスコアの順に前記複数の候補仮説
を並べるステップと、前記探索木のある深さにおいて、
少なくとも前記並べられた複数の候補仮説のスコア分布
を表わす回帰係数を含む複数の観測可能な特徴量を入力
とする所定の制御関数を用いて前記探索木の技刈りを行
なうステップとを含む。
【００１７】請求項５に係る適応的探索方法は、上記請
求項１または４の制御関数としてニューラルネットワー
クを用いる。
求項１または４の制御関数としてニューラルネットワー
クを用いる。
【００１８】請求項６に係る適応的探索方法は、上記請
求項１または４の制御関数として重回帰分析を用いる。
求項１または４の制御関数として重回帰分析を用いる。
【００１９】請求項７に係る適応的探索方法は、上記請
求項１または４の制御関数として複数種類のものを用
い、それら制御関数の出力値を組合せることによって前
記探索木の枝刈りを行なう。
求項１または４の制御関数として複数種類のものを用
い、それら制御関数の出力値を組合せることによって前
記探索木の枝刈りを行なう。
【００２０】
【作用】一般に、正解仮説を含む最小の探索空間Θ
（ｄ）が得られれば、探索の効率は最もよくなる。これ
は、たとえばビーム探索の場合であれば正解仮説の順位
がわかっているので、そのビーム幅を正解仮説の順位に
設定することに相当する。
（ｄ）が得られれば、探索の効率は最もよくなる。これ
は、たとえばビーム探索の場合であれば正解仮説の順位
がわかっているので、そのビーム幅を正解仮説の順位に
設定することに相当する。
【００２１】そこで、観測可能な特徴量Ｏi を変数とす
るｍ次の制御関数φ（）を用いて、この最小の探索空間
Θ（ｔ）を次の式（１）のように近似する。
るｍ次の制御関数φ（）を用いて、この最小の探索空間
Θ（ｔ）を次の式（１）のように近似する。
【００２２】 Θ* （ｔ）＝φ（Ｏ1 （ｔ），Ｏ2 （ｔ），…Ｏm （ｔ）） （１） ここで、｛Ｏi （ｔ）｝（ｉ＝１，２，…ｍ）は、時刻
ｔにおける観測可能な特徴量の集合を表わす。
ｔにおける観測可能な特徴量の集合を表わす。
【００２３】なお、上述した従来のビーム探索の場合、
次の式（２）のように、近似の模索空間Θ* （ｔ）は定
数関数となる。
次の式（２）のように、近似の模索空間Θ* （ｔ）は定
数関数となる。
【００２４】 Θ* （ｔ）＝ｃｏｎｓｔ． （２） 従来から用いられてきたヒューリスティック探索では、
主として仮説のスコアのみをヒューリスティックな情報
として用いてきた。それに対し、本発明では従来のヒュ
ーリスティック情報に加え、各仮説のスコアの分布状況
などの観測可能な特徴量を入力とする制御関数φ（）を
基に枝刈りをすべきか否かを決定する。すなわち、探索
範囲を適応的に変化させる。この制御関数φ（）は、ニ
ューラルネットワークまたは重回帰分析で構成され、認
識実験で得られる観測可能な特徴量と正解仮説の順位の
サンプルを使って予め学習しておく。
主として仮説のスコアのみをヒューリスティックな情報
として用いてきた。それに対し、本発明では従来のヒュ
ーリスティック情報に加え、各仮説のスコアの分布状況
などの観測可能な特徴量を入力とする制御関数φ（）を
基に枝刈りをすべきか否かを決定する。すなわち、探索
範囲を適応的に変化させる。この制御関数φ（）は、ニ
ューラルネットワークまたは重回帰分析で構成され、認
識実験で得られる観測可能な特徴量と正解仮説の順位の
サンプルを使って予め学習しておく。
【００２５】なお、予備実験の結果、正解仮説の順位と
観測可能な特徴量との間には何らかの相関関係が認めら
れており、制御関数φ（）は精度よく正解仮説の順位を
予測できることが期待される。
観測可能な特徴量との間には何らかの相関関係が認めら
れており、制御関数φ（）は精度よく正解仮説の順位を
予測できることが期待される。
【００２６】
【実施例】次に、本発明に係る適応的探索方式の実施例
について図面に基づき詳しく説明する。
について図面に基づき詳しく説明する。
【００２７】図１は、本発明に係る適応的探索方式の一
実施例を利用した音声認識システムの構成を示すブロッ
ク図である。
実施例を利用した音声認識システムの構成を示すブロッ
ク図である。
【００２８】このシステムはＨＭＭ−ＬＲと呼ばれるも
ので、言語モデルとしてＬＲパーザを用いたＨＭＭベー
スの連続音声認識システムである。なお、この方式の詳
細は文献「北研二、川端豪、斉藤博昭：“ＨＭＭ音韻認
識と拡張ＬＲ構文解析法を用いた連続音声認識”，情報
処理学会論文誌，Vol.31,No.3,pp.472-479(1990.3)」に
開示されているので、ここではこれを援用する。
ので、言語モデルとしてＬＲパーザを用いたＨＭＭベー
スの連続音声認識システムである。なお、この方式の詳
細は文献「北研二、川端豪、斉藤博昭：“ＨＭＭ音韻認
識と拡張ＬＲ構文解析法を用いた連続音声認識”，情報
処理学会論文誌，Vol.31,No.3,pp.472-479(1990.3)」に
開示されているので、ここではこれを援用する。
【００２９】図１に示すように、このＨＭＭ−ＬＲ連続
音声認識システムは、概略、ＨＭＭ音素の照合部１とＬ
Ｒパーザ部２とから構成される。またこのシステムに
は、ＨＭＭの格納部３、ＬＲテーブルの格納部４、文脈
自由文法（ＣＦＧ）の格納部５などが含まれる。
音声認識システムは、概略、ＨＭＭ音素の照合部１とＬ
Ｒパーザ部２とから構成される。またこのシステムに
は、ＨＭＭの格納部３、ＬＲテーブルの格納部４、文脈
自由文法（ＣＦＧ）の格納部５などが含まれる。
【００３０】この音声認識システムによれば、まず構文
解析動作表（ＬＲテーブル）に基づいて、入力された音
声データ中の次の音素を予測し、その予測された次の音
素の尤度をＨＭＭ音素照合で調べることによって、音声
認識と言語処理とを同時に進行させる。そして、このよ
うな処理が進むにつれて解析木は徐々に広がり続け、そ
のため何らかの枝刈りが必要となる。
解析動作表（ＬＲテーブル）に基づいて、入力された音
声データ中の次の音素を予測し、その予測された次の音
素の尤度をＨＭＭ音素照合で調べることによって、音声
認識と言語処理とを同時に進行させる。そして、このよ
うな処理が進むにつれて解析木は徐々に広がり続け、そ
のため何らかの枝刈りが必要となる。
【００３１】ところで、従来のＨＭＭ−ＬＲシステムで
は、仮説の上位Ｎ個までを残すビーム探索が採用されて
いた。すなわち、ヒューリスティックな情報としてＮ個
という固定的な値が用いられていた。しかしながら、現
在では音素モデルの性能が向上し、正解候補の順位は１
０位以内に入っていることが多い。その一方、音声認識
が完璧に行なわれるわけではないので、正解候補の順位
はしばしば１００位を越えることもある。したがって、
高い認識性能を得るためには大きなビーム幅が必要であ
った。その結果、無駄な探索を行なっていることが多か
った。
は、仮説の上位Ｎ個までを残すビーム探索が採用されて
いた。すなわち、ヒューリスティックな情報としてＮ個
という固定的な値が用いられていた。しかしながら、現
在では音素モデルの性能が向上し、正解候補の順位は１
０位以内に入っていることが多い。その一方、音声認識
が完璧に行なわれるわけではないので、正解候補の順位
はしばしば１００位を越えることもある。したがって、
高い認識性能を得るためには大きなビーム幅が必要であ
った。その結果、無駄な探索を行なっていることが多か
った。
【００３２】そこで、この発明による音声認識システム
では、以下の手法により枝刈りが行なわれる。
では、以下の手法により枝刈りが行なわれる。
【００３３】仮説のスコアの分布は、次の式（３），
（４）のように回帰分析によってなされる。
（４）のように回帰分析によってなされる。
【００３４】 ｙ＝ａ1 ｘ＋ａ0 （３） ｙ＝ｂ2 ｘ2 ＋ｂ1 ｘ＋ｂ0 （４） ここで、ｘは仮説の順位、ｙはスコアの近似値である。
便宜上、ｘは｛１，２，…１０｝に制限されている。観
測可能な特徴量、すなわち制御関数φ（）への入力｛Ｏ
1 ，Ｏ2 ，…Ｏ5 ｝として、次の５つの観測量を使用す
る。
便宜上、ｘは｛１，２，…１０｝に制限されている。観
測可能な特徴量、すなわち制御関数φ（）への入力｛Ｏ
1 ，Ｏ2 ，…Ｏ5 ｝として、次の５つの観測量を使用す
る。
【００３５】・回帰係数：ａ1 ，ｂ2 ，ｂ1 ・ＬＲ解析木の現在の深さ：ｎ ・現在の探索時点（深さｎ）における第１位仮説のスコ
アと、その直前の探索時点（深さｎ−１）における第１
位仮説のスコアとの差：Δｓｃｏｒｅ この実施例では、制御関数φ（）としてニューラルネッ
トワーク６が用いられる。このニューラルネットワーク
６の役割を図２に示す。同図から明らかなように、この
ニューラルネットワーク６は、５つの入力ユニット６ａ
と１つの出力ユニット６ｂとを含み、回帰係数ａ1 ，ｂ
1 ，ｂ2 、現在の深さｎ、および現在の第１位仮説のス
コアと直前の第１位仮説のスコアとの差Δｓｃｏｒｅか
ら構成される５つの入力に基づいて、正解仮説の順位を
出力するように学習されている。
アと、その直前の探索時点（深さｎ−１）における第１
位仮説のスコアとの差：Δｓｃｏｒｅ この実施例では、制御関数φ（）としてニューラルネッ
トワーク６が用いられる。このニューラルネットワーク
６の役割を図２に示す。同図から明らかなように、この
ニューラルネットワーク６は、５つの入力ユニット６ａ
と１つの出力ユニット６ｂとを含み、回帰係数ａ1 ，ｂ
1 ，ｂ2 、現在の深さｎ、および現在の第１位仮説のス
コアと直前の第１位仮説のスコアとの差Δｓｃｏｒｅか
ら構成される５つの入力に基づいて、正解仮説の順位を
出力するように学習されている。
【００３６】このＨＭＭ−ＬＲシステムにおいて、ビー
ム探索は音素同期で動作する。すなわち、解析木の深さ
が１つ進むたびに枝刈りを実行する。したがって、前述
した式（１）において、時刻ｔは解析木の深さｎで代用
される。
ム探索は音素同期で動作する。すなわち、解析木の深さ
が１つ進むたびに枝刈りを実行する。したがって、前述
した式（１）において、時刻ｔは解析木の深さｎで代用
される。
【００３７】このように、本実施例は回帰係数ａ1 ，ｂ
1 ，ｂ2 などの観測可能な特徴量を入力とするニューラ
ルネットワーク６からなる制御関数を用いて探索範囲を
適応的に変化させているので、ビーム幅の制御をきめ細
かく行なうことができる。したがって、従来よりも少な
い音素照合回数で常に安定した音声認識率が得られる。
1 ，ｂ2 などの観測可能な特徴量を入力とするニューラ
ルネットワーク６からなる制御関数を用いて探索範囲を
適応的に変化させているので、ビーム幅の制御をきめ細
かく行なうことができる。したがって、従来よりも少な
い音素照合回数で常に安定した音声認識率が得られる。
【００３８】また本実施例では、制御関数が学習により
得られているので、タスクや音素モデルの性能に応じて
ビーム幅の制御を最適に行なうことができる。さらに、
制御関数を学習し直すことによって、異なる問題領域に
対処することも可能である。すなわち、探索アルゴリズ
ム自体を変えることなく同じアルゴリズムで、さまざま
な問題に対応できるなど、汎用性に富む。
得られているので、タスクや音素モデルの性能に応じて
ビーム幅の制御を最適に行なうことができる。さらに、
制御関数を学習し直すことによって、異なる問題領域に
対処することも可能である。すなわち、探索アルゴリズ
ム自体を変えることなく同じアルゴリズムで、さまざま
な問題に対応できるなど、汎用性に富む。
【００３９】以上、この発明の一実施例を詳述したが、
この発明は上述した実施例に限定されることなく、その
他の態様でも実施することができる。
この発明は上述した実施例に限定されることなく、その
他の態様でも実施することができる。
【００４０】たとえば前述した実施例において、ニュー
ラルネットワーク６はしばしば真の順位よりもかなり大
きい値を出力することがある。このような過大評価は、
逆に無駄な探索につながることになる。
ラルネットワーク６はしばしば真の順位よりもかなり大
きい値を出力することがある。このような過大評価は、
逆に無駄な探索につながることになる。
【００４１】そこで、ニューラルネットワークほどきめ
細かいビーム幅の制御はできないが、過大評価に陥る危
険が少ない、つまりロバスト性のある制御関数を用いて
正解仮説の順位に上限値を設定してもよい。すなわち、
複数種類の制御関数を用い、それらの出力値を組合せる
ことによってビーム幅を決定してもよい。
細かいビーム幅の制御はできないが、過大評価に陥る危
険が少ない、つまりロバスト性のある制御関数を用いて
正解仮説の順位に上限値を設定してもよい。すなわち、
複数種類の制御関数を用い、それらの出力値を組合せる
ことによってビーム幅を決定してもよい。
【００４２】ここでは、ニューラルネットワークおよび
可変ビーム探索から構成される２種類の制御関数を用い
た場合について説明する。可変ビーム探索については、
文献「北，川端，森元；“ＨＭＭ−ＬＲ連続音声認識シ
ステムにおける計算量削減の一検討”，日本音響学会講
演論文集3-6-4(1989.3) 」に開示されているので、ここ
ではこれを援用する。
可変ビーム探索から構成される２種類の制御関数を用い
た場合について説明する。可変ビーム探索については、
文献「北，川端，森元；“ＨＭＭ−ＬＲ連続音声認識シ
ステムにおける計算量削減の一検討”，日本音響学会講
演論文集3-6-4(1989.3) 」に開示されているので、ここ
ではこれを援用する。
【００４３】この実施例によれば、次の式（５）のよう
に、各深さｎでニューラルネットワークの出力と可変ビ
ーム探索による出力とを比較し、値の小さい方を選択す
る。ただし、過小評価の防止対策として小さな値のマー
ジン(margin)を用いる。
に、各深さｎでニューラルネットワークの出力と可変ビ
ーム探索による出力とを比較し、値の小さい方を選択す
る。ただし、過小評価の防止対策として小さな値のマー
ジン(margin)を用いる。
【００４４】 φ(n) ＝ｍｉｎ( φV (n),φN (O1 (n),O2 (n), …O5 (n))+margin) （５） ここで、φV （）は可変ビーム探索、φN （）はニュー
ラルネットワーク、φ(n) は本実施例による適応的ビー
ム探索である。
ラルネットワーク、φ(n) は本実施例による適応的ビー
ム探索である。
【００４５】本発明者らは、この実施例である適応的ビ
ーム探索法と２つの従来法との比較実験を行なった。図
３は、これら３つの探索方式についての比較実験の結果
を示すグラフで、縦軸はビーム幅を表わし、横軸はＬＲ
探索木の深さを表わす。
ーム探索法と２つの従来法との比較実験を行なった。図
３は、これら３つの探索方式についての比較実験の結果
を示すグラフで、縦軸はビーム幅を表わし、横軸はＬＲ
探索木の深さを表わす。
【００４６】図３から明らかなように、可変ビーム探索
によれば従来の固定ビーム探索に比べてグラフ上で山状
になっている部分の両側の探索空間が削減されたが、本
実施例である適応的ビーム探索によればさらに細かく探
索空間が削減された。このため、ＨＭＭ音素の照合回数
は平均して３分の１以下に減少した。とりわけ、継続時
間の長い入力音声に対しては、探索が進むにつれてビー
ム幅が小さくなるという可変ビーム探索の絞り込み作用
によって、探索空間の削減効果がより大きくなった。
によれば従来の固定ビーム探索に比べてグラフ上で山状
になっている部分の両側の探索空間が削減されたが、本
実施例である適応的ビーム探索によればさらに細かく探
索空間が削減された。このため、ＨＭＭ音素の照合回数
は平均して３分の１以下に減少した。とりわけ、継続時
間の長い入力音声に対しては、探索が進むにつれてビー
ム幅が小さくなるという可変ビーム探索の絞り込み作用
によって、探索空間の削減効果がより大きくなった。
【００４７】さらに、制御関数としてニューラルネット
ワークの代わりに重回帰分析を用いてもよい。重回帰分
析の場合も同様に、回帰係数などを入力して正解仮説の
順位を出力する。ニュラルネットワークと重回帰分析と
の相違は、前者が非線形システムであるのに対し、後者
は線形システムであることである。
ワークの代わりに重回帰分析を用いてもよい。重回帰分
析の場合も同様に、回帰係数などを入力して正解仮説の
順位を出力する。ニュラルネットワークと重回帰分析と
の相違は、前者が非線形システムであるのに対し、後者
は線形システムであることである。
【００４８】その他、本発明は当業者の知識に基づき種
々の改良、修正、変形を加えた態様で実施することが可
能である。
々の改良、修正、変形を加えた態様で実施することが可
能である。
【００４９】
【発明の効果】この発明に係る適応的探索方式は、各候
補のスコアなどの観測可能な特徴量を入力とする制御関
数を用いて探索範囲を適応的に変化させているので、ビ
ーム幅の制御をきめ細かく行なうことができる。このた
め、比較的少量の探索で、常に安定した正解率を確保す
ることができる。
補のスコアなどの観測可能な特徴量を入力とする制御関
数を用いて探索範囲を適応的に変化させているので、ビ
ーム幅の制御をきめ細かく行なうことができる。このた
め、比較的少量の探索で、常に安定した正解率を確保す
ることができる。
【００５０】また、制御関数としてニューラルネットワ
ークを用いれば、学習によってタスクや音素モデルなど
の性能に応じてビーム幅の制御を最適に行なうことがで
きる。さらに、制御関数を学習し直すことによって、異
なる問題領域に対処することも可能である。すなわち、
本発明は探索アルゴリズム自体を変えることなく同じア
ルゴリズムで、様々な問題に対応できる汎用性に富んだ
探索方式である。
ークを用いれば、学習によってタスクや音素モデルなど
の性能に応じてビーム幅の制御を最適に行なうことがで
きる。さらに、制御関数を学習し直すことによって、異
なる問題領域に対処することも可能である。すなわち、
本発明は探索アルゴリズム自体を変えることなく同じア
ルゴリズムで、様々な問題に対応できる汎用性に富んだ
探索方式である。
【図１】本発明に係る適応的探索方式の一実施例を利用
したＨＭＭ−ＬＲ連続音声認識システムの構成を示すブ
ロック図である。
したＨＭＭ−ＬＲ連続音声認識システムの構成を示すブ
ロック図である。
【図２】図１に示したニューラルネットワークの役割を
示す説明図である。
示す説明図である。
【図３】本発明に係る適応的探索方式の他の実施例であ
る適応的ビーム探索方式について、従来の探索方式との
比較実験を行なった結果を示すグラフである。
る適応的ビーム探索方式について、従来の探索方式との
比較実験を行なった結果を示すグラフである。
１ ＨＭＭ音素の照合 ２ ＬＲパーザ ６ ニューラルネットワーク ７ 回帰分析
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−115297（ＪＰ，Ａ) 特開 平３−116100（ＪＰ，Ａ)
Claims (7)
- 【請求項１】 探索木よりなる問題空間から正解仮説を
探索する方法であって、 前記探索木のある深さにおける節点からその次の深さに
おける複数の節点へ展開するステップと、 前記探索木のある深さにおいて、その深さに到達するま
でに得られた複数の候補仮説のスコアをそれぞれ算出す
るステップと、 前記探索木のある深さにおいて、少なくともその深さを
含む複数の観測可能な特徴量を入力とする所定の制御関
数を用いて前記探索木の枝刈りを行なうステップとを含
む適応的探索方法。 - 【請求項２】 前記算出されたスコアの順に前記複数の
候補仮説を並べるステップをさらに含み、 前記複数の特徴量が前記探索木の深さに加えて前記並べ
られた複数の候補仮説のスコア分布を表わす回帰係数を
含むことを特徴とする請求項１に記載の適応的探索方
法。 - 【請求項３】 前記算出されたスコアのうちその深さに
おける最大スコアとその前の深さにおける最大スコアと
の差を算出するステップをさらに含み、 前記複数の特徴量が前記探索木の深さに加えて前記算出
された最大スコアの差を含むことを特徴とする請求項１
に記載の適応的探索方法。 - 【請求項４】 探索木よりなる問題空間から正解仮説を
探索する方法であって、 前記探索木のある深さにおける節点からその次の深さに
おける複数の節点へ展開するステップと、 前記探索木のある深さにおいて、その深さに到達するま
でに得られた複数の候補仮説のスコアをそれぞれ算出す
るステップと、 前記算出されたスコアの順に前記複数の候補仮説を並べ
るステップと、 前記探索木のある深さにおいて、少なくとも前記並べら
れた複数の候補仮説のスコア分布を表わす回帰係数を含
む複数の観測可能な特徴量を入力とする所定の制御関数
を用いて前記探索木の枝刈りを行なうステップとを含む
適応的探索方法。 - 【請求項５】 前記制御関数としてニューラルネットワ
ークを用いることを特徴とする請求項１または４に記載
の適応的探索方法。 - 【請求項６】 前記制御関数として重回帰分析を用いる
ことを特徴とする請求項１または４に記載の適応的探索
方法。 - 【請求項７】 前記制御関数として複数種類のものを用
い、それら制御関数の出力値を組合せることによって前
記探索木の枝刈りを行なうことを特徴とする請求項１ま
たは４に記載の適応的探索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5069746A JPH0782357B2 (ja) | 1993-03-29 | 1993-03-29 | 適応的探索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5069746A JPH0782357B2 (ja) | 1993-03-29 | 1993-03-29 | 適応的探索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06282295A JPH06282295A (ja) | 1994-10-07 |
| JPH0782357B2 true JPH0782357B2 (ja) | 1995-09-06 |
Family
ID=13411680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5069746A Expired - Fee Related JPH0782357B2 (ja) | 1993-03-29 | 1993-03-29 | 適応的探索方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0782357B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011083528A1 (ja) * | 2010-01-06 | 2011-07-14 | 日本電気株式会社 | データ処理装置、そのコンピュータプログラムおよびデータ処理方法 |
| JP5538350B2 (ja) * | 2011-11-30 | 2014-07-02 | 日本電信電話株式会社 | 音声認識方法とその装置とプログラム |
| WO2013125203A1 (ja) * | 2012-02-21 | 2013-08-29 | 日本電気株式会社 | 音声認識装置、音声認識方法およびコンピュータプログラム |
| JP7173327B2 (ja) * | 2019-06-07 | 2022-11-16 | 日本電信電話株式会社 | 学習装置、音声認識装置、それらの方法、およびプログラム |
| US11487945B2 (en) * | 2019-07-02 | 2022-11-01 | Servicenow, Inc. | Predictive similarity scoring subsystem in a natural language understanding (NLU) framework |
| WO2023162133A1 (ja) * | 2022-02-25 | 2023-08-31 | 日本電信電話株式会社 | 学習装置、学習方法および学習プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2813209B2 (ja) * | 1989-09-29 | 1998-10-22 | 富士通株式会社 | 大語彙音声認識装置 |
| JPH04115297A (ja) * | 1990-09-05 | 1992-04-16 | Matsushita Electric Ind Co Ltd | 単語音声認識方法 |
-
1993
- 1993-03-29 JP JP5069746A patent/JPH0782357B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06282295A (ja) | 1994-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gopalakrishnan et al. | A tree search strategy for large-vocabulary continuous speech recognition | |
| US5787396A (en) | Speech recognition method | |
| EP0813735B1 (en) | Speech recognition | |
| US5884259A (en) | Method and apparatus for a time-synchronous tree-based search strategy | |
| Valtchev et al. | Lattice-based discriminative training for large vocabulary speech recognition | |
| Murveit et al. | Integrating natural language constraints into HMM-based speech recognition | |
| US7035802B1 (en) | Recognition system using lexical trees | |
| US7031915B2 (en) | Assisted speech recognition by dual search acceleration technique | |
| JP2002507010A (ja) | 同時に起こるマルチモード口述のための装置及び方法 | |
| Giachin | Phrase bigrams for continuous speech recognition | |
| US6725196B2 (en) | Pattern matching method and apparatus | |
| Nocera et al. | Phoneme lattice based A* search algorithm for speech recognition | |
| US20040148169A1 (en) | Speech recognition with shadow modeling | |
| US20040158464A1 (en) | System and method for priority queue searches from multiple bottom-up detected starting points | |
| JPH0782357B2 (ja) | 適応的探索方法 | |
| US20040158468A1 (en) | Speech recognition with soft pruning | |
| Sundermeyer | Improvements in language and translation modeling | |
| Lee et al. | Korean speech act analysis system using hidden markov model with decision trees | |
| Yu et al. | Evaluation of a long-contextual-Span hidden trajectory model and phonetic recognizer using a* lattice search. | |
| JPH08110792A (ja) | 話者適応化装置及び音声認識装置 | |
| JP3104900B2 (ja) | 音声認識方法 | |
| Kershaw et al. | The 1995 Abbot hybrid connectionist-HMM large-vocabulary recognition system | |
| JPH07104780A (ja) | 不特定話者連続音声認識方法 | |
| Duchateau et al. | Improved parameter tying for efficient acoustic model evaluation in large vocabulary continuous speech recognition. | |
| JP2888781B2 (ja) | 話者適応化装置及び音声認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19960227 |
|
| LAPS | Cancellation because of no payment of annual fees |