JPH06102895A

JPH06102895A - 音声認識モデル学習装置

Info

Publication number: JPH06102895A
Application number: JP4249297A
Authority: JP
Inventors: Otoya Shirotsuka; 音也城塚; Noriya Murakami; 憲也村上
Original assignee: N T T DATA TSUSHIN KK; NTT Data Communications Systems Corp
Current assignee: N T T DATA TSUSHIN KK; NTT Data Corp
Priority date: 1992-09-18
Filing date: 1992-09-18
Publication date: 1994-04-15

Abstract

(57)【要約】【目的】少ない学習データで高認識性能の認識モデル
の学習を可能とし、連結学習により認識モデルの学習を
行なう音声認識システムの性能を向上させる。【構成】連結学習により認識モデルの学習を行なう音
声認識システムの音声認識モデル学習装置において、入
力された学習データに対応する文字列を解析し、認識モ
デルを構成するトライフォン等の最小単位の種類と出現
数を抽出する入力データ解析部と、抽出したトライフォ
ン等の種類と出現個数とを、入力された全学習データに
対応付けて登録する入力データ最小単位分布保存部と、
登録したトライフォン等の種類と出現個数に基づき、入
力された全学習データから、学習に最適なデータを選び
だす入力データ評価部とを設ける。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声認識システムにお
ける認識モデルの学習技術に係わり、特に、認識モデル
の学習を効率良く行ない、学習に要するデータ量を削減
するのに好適な音声認識モデル学習装置に関するもので
ある。

【０００２】

【従来の技術】現在、コンピュータのより自然な入出力
技術として、例えば、電子情報通信学会編「電子情報通
信ハンドブック」（１９８８年、オーム社発行）の第１
１９１頁から第１２０６頁に記載のように、音声の合成
や認識に係わる技術が研究されている。

【０００３】従来、音声認識システムでの認識モデルの
学習において、高い認識性能を得るためには、連結学習
（以下、単に学習と記載）用データとして、認識対象と
同じタスクの音声データを用意する必要がある。そのた
め、認識対象タスクを変更するたびに、新しいタスクの
学習用データを、新たに収録する必要がある。この学習
用データの作成技術として、認識対象タスクに含まれる
単語や音韻、音素、トライフォンといった認識単位に着
目し、それらを、できるだけ使用し、文法的に可能なそ
れらの組み合わせにより作られた文を、人間が発声する
のが代表的である。

【０００４】尚、トライフォンとは、音素を、その先行
および後続音素によって場合分けした音素単位であり、
例えば、「朝日」という単語は、「ａ」、「ｓ」、
「ａ」、「ｈ」、「ｉ」という５つの音素表記で表され
るが、トライフォンで表記する場合は、「＃ａｓ」、
「ａｓａ」、「ｓａｈ」、「ａｈｉ」、「ｈｉ＃」とい
う５つの音素表記で表される。このトライフォンの音素
表記の「＃」は、単語頭、単語末の無音（ポーズ）を表
し、従って、「朝日」の「ａ」は、語頭の無音「＃」
と、後続の音素「ｓ」に挾まれ、「＃ａｓ」と表され
る。同様に、「朝日」の「ｓ」は、先行の音素「ａ」
と、後続の音素「ａ」に挾まれており、「ａｓａ」と表
される。Ｎ種類の音素があれば、Ｎの３乗の種類のトラ
イフォンが存在することになる。

【０００５】しかし、このような認識モデルの学習にお
いては、学習用データの設計、および、収録には、時間
と労力がかかる。このような学習時間を削減するため
に、作成された学習データから任意の量の学習データ
を、無作為に選択して、認識モデルの学習に使用するこ
とが考えられる。しかし、この場合、学習後の認識モデ
ルの性能にバラツキが生じ、得られた認識性能が、任意
の学習量における最も高い認識性能である保証がない。

【０００６】

【発明が解決しようとする課題】解決しようとする問題
点は、従来の技術では、音声認識システムでの認識モデ
ルの学習において、この学習時間を削減する場合、作成
された学習データから任意の量の学習データを無作為に
選択して、認識モデルの学習に使用するが、学習後の認
識モデルの性能にバラツキが生じ、得られた認識性能
が、任意の学習量における最も高い認識性能である保証
がなく、少ない学習データ量では、高い認識性能を得る
ことができない点である。本発明の目的は、これら従来
技術の課題を解決し、少ない学習データ量で、認識性能
の高い認識モデルの学習ができ、音声認識システムの性
能の向上を可能とする音声認識モデル学習装置を提供す
ることである。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明の音声認識モデル学習装置は、（１）入力さ
れた複数の音声データとこの音声データに対応する文字
列とを用いて、音声認識システムの認識モデルの学習
（連結学習）を行なう音声認識モデル学習装置であり、
学習用に入力された音声データに対応する文字列を解析
し、文字列毎に含まれる単語、音素、音素環境を考慮し
た音素単位であるトライフォン等、認識モデルを構成す
る最小単位の種類と出現数を抽出する入力データ解析部
と、この入力データ解析部で抽出した認識モデルを構成
する最小単位の種類と出現個数とを、入力された全ての
音声データに対応付けて登録する入力データ最小単位分
布保存部と、この入力データ最小単位分布保存部で登録
した認識モデルを構成する最小単位の種類と出現個数に
基づき、認識モデルの学習用に入力された全ての音声デ
ータから、この認識モデルの学習に適したデータを選び
だす入力データ評価部とを設け、この入力データ評価部
で選びだした最適学習データを用いて認識モデルの学習
処理を行なうことを特徴とする。また、（２）上記
（１）に記載の音声認識モデル学習装置において、予め
求められた認識対象データ全体に含まれる認識モデルを
構成する最小単位の種類と出現数を登録する認識対象デ
ータ最小単位分布保存部を設け、入力データ評価部は、
この認識対象データ最小単位分布保存部、および、入力
データ最小単位分布保存部で登録した認識モデルを構成
する最小単位の種類と出現個数に基づき、認識モデルの
学習に適したデータを選びだすことを特徴とする。ま
た、（３）上記（１）、もしくは、（２）のいずれかに
記載の音声認識モデル学習装置において、入力データ評
価部が選んだ学習に最適な音声データの認識モデルを構
成する最小単位の種類と出現個数を登録する最適データ
最小単位分布保存部を設け、入力データ評価部は、この
最適データ最小単位分布保存部に未だ最適学習データと
して登録していない入力データに対して、入力データ最
小単位分布保存部で登録した認識モデルを構成する最小
単位の種類と出現個数に基づく認識モデルの学習に適し
たデータの選択を行なうことを特徴とする。

【０００８】

【作用】本発明においては、予め、学習に使用可能な各
学習データを分析し、含まれる単語、音素、音素環境を
考慮した音素単位であるトライフォンなど、認識モデル
を構成する最小単位の種類と、その出現数を記録する。
そして、記録した認識モデルを構成する最小単位の種類
と、その出現数とに基づき、学習に使用可能な各データ
の評価を行ない、一番評価値の高いものを、最適学習デ
ータとして選択し、その選択したデータ、および、選択
したデータに含まれる最小単位の種類とその出現数を記
録する。尚、この評価において、今回の評価の対象とな
るデータが、前回までの評価で、既に、最適学習データ
として選択されたデータであれば、このデータに対する
評価は行なわず、処理を高速化する。さらに、選択され
たデータの数が、必要とするデータ数に達するまで、全
学習可能データの評価と、最適学習データの選択を繰返
し、任意の数の最適学習データを選択する。このように
して、認識モデルの学習に用いるデータを、最適学習デ
ータに絞り込むことにより、認識モデルの学習を効率良
く行なうことが可能となる。

【０００９】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図１は、本発明に係わるモデル学習部の構成
の一実施例を示すブロック図であり、図２は、そのモデ
ル学習部を用いた音声認識システムの構成の一実施例を
示すブロック図である。図２において、１は、入力され
た音声の認識を行なうと共に、認識に用いる認識モデル
の学習を行なう音声認識システム、２は、学習用および
認識用の音声を入力する入力端子、３は、学習用の音声
入力に対応する文字列を入力する入力端子、４は、入力
端子２より入力された音声を処理して、その特徴パラメ
ータを抽出する前処理部、５は、抽出された音声の特徴
パラメータと、入力端子３より入力された入力音声に対
応する文字列を使用して、認識モデルの学習を行なう本
発明の音声認識モデル学習装置としてのモデル学習部、
６は、モデル学習部５の学習で作成される認識モデル、
７は、認識モデル６を参照して、入力端子２より入力さ
れた音声の認識を、抽出された音声の特徴パラメータを
使用して行なう音声認識部、８は、音声認識部７の認識
結果を出力する出力端子である。

【００１０】このような構成により、本実施例の音声認
識システム１は、入力された既知の音声を使用した認識
モデルの学習、および、入力された未知音声の認識を行
なう。すなわち、認識時には、音声認識部７により、認
識モデル６を使用して、入力端子２から入力された音声
の認識を行ない、出力端子８に出力する。また、学習時
には、入力端子２、３のそれぞれから入力された音声
と、それに対応する文字列に基づき、モデル学習部５に
より、学習を行ない、認識モデル６を作成する。以下、
図１を用いて、モデル学習部５の本発明に係わる説明を
行なう。

【００１１】図１において、モデル学習部５は、入力さ
れた学習データに対応する記号列をトライフォン表現に
変換して、トライフォン分布を解析する本発明の入力デ
ータ解析部としての入力データトライフォン分布解析部
９と、この入力データトライフォン分布解析部９が求め
たトライフォン分布を記録保存する本発明の入力データ
最小単位分布保存部としての入力データトライフォン分
布保存部１１と、予め求めてあった認識対象データ全体
のトライフォン分布を保存する本発明の認識対象データ
最小単位分布保存部としての認識対象データトライフォ
ン分布保存部１２と、既に、学習に最適なデータとして
選ばれた学習データのトライフォン分布を保存する最適
データ最小単位分布保存部としての最適データトライフ
ォン分布保存部１３と、入力データトライフォン分布保
存部１１、認識対象データトライフォン分布保存部１
２、最適データトライフォン分布保存部１３のそれぞれ
に保存されたトライフォン分布に基づき、最適な学習デ
ータを選び出す入力データ評価部１０と、この入力デー
タ評価部１０により選択された最適データ自体を保存す
る最適データ保存部１４と、最適データ保存部１４に保
存されている入力データ評価部１０により選択された最
適学習データを使用して、認識モデルの学習処理を行な
う認識モデル学習処理部１５とにより構成されている。

【００１２】入力データトライフォン分布解析部９は、
入力されたひらがなやローマ字、発音記号などで表記さ
れた学習データと対応する記号列を、トライフォン表現
に変換すると共に、変換した記号列を解析して、記号列
毎に含まれるトライフォンの分布、すなわち、種類と出
現個数を調べる。そして、入力データトライフォン分布
保存部１１は、この入力データトライフォン分布解析部
９が求めたトライフォンの種類と、出現個数を記録保存
する。また、最適データトライフォン分布保存部１３
は、既に、学習に最適なデータとして選ばれた学習デー
タのトライフォンの種類と出現個数を保存する。

【００１３】一方、認識対象データトライフォン分布保
存部１２は、予め求めてあった認識対象データ全体のト
ライフォンの種類と出現個数を保存している。ここで、
認識対象データとは、図２の音声認識システム１に入力
され、認識される音声データである。例えば、図２の音
声認識システム１が、ホテルの予約業務に使用され、ホ
テルの予約を希望する人達が、このシステムに音声を入
力する場合、認識対象データは、ホテルの予約に関する
音声データ、具体的には、「新宿の何々ホテルに１６日
の予約をお願いします。」や、「来週の金曜日に仙台の
ホテルに泊まりたいのですが」などといったものとな
る。音声認識システムが、どのような用途に使用される
かにより、認識対象データは変わる。

【００１４】また、認識データのトライフォンなどの最
小単位の分布を求めるには、以下の２種類の方法があ
る。（ａ）認識システムのタスク（使用目的）を踏まえて、
そこで使用されると考えられる単語や構文から、入力さ
れる音声の内容予測（文の集合）を予測し、その文を解
析することにより、最小単位の分布を求める。（ｂ）認識システムの実際の使用目的に関する音声デー
タを、人々に発声してもらって収集し、その内容を文字
列データに変換して、解析することにより、最小単位の
分布を求める。

【００１５】このようにして認識対象データトライフォ
ン分布保存部１２に保存された認識対象データ全体のト
ライフォン分布情報（トライフォンの種類と出現個数）
と入力データトライフォン分布保存部１１に保存された
各データのトライフォン分布情報とを使用して、もしく
は、入力データトライフォン分布保存部１１に保存され
た各データのトライフォン分布情報のみを使用して、入
力データ評価部１０は、入力データを評価し、評価値の
最も高いものを、学習に最適なデータとして選び出す。

【００１６】この時、入力データ評価部１０は、最適デ
ータトライフォン分布保存部１３に保存された、既に、
学習に最適なデータとして選ばれたデータのトライフォ
ン分布情報に基づき、最適学習データとして未だ選ばれ
ていない入力データに対してのみ評価を行なう。そし
て、入力データ評価部１０により選択された最適データ
自体は、最適データ保存部１４に保存され、認識モデル
学習処理部１５は、この最適データ保存部１４に保存さ
れている最適学習データを使用して、認識モデルの学習
処理を行なう。

【００１７】このようにして、本実施例のモデル学習部
５は、認識モデルの学習において、使用可能な全学習デ
ータから、各学習データのトライフォンの分布に基づい
て、認識モデルの学習に適した学習データを評価して選
択し、認識モデルの学習に使用する。また、認識対象デ
ータ全体のトライフォンの分布が分かる場合には、認識
対象データのトライフォンの分布に基づいて、認識モデ
ルの学習に適した学習データを評価して選択し、認識モ
デルの学習に使用する。

【００１８】次に、モデル学習部５の本発明に係わる最
適学習データの選択処理動作を、次の図３を用いて説明
する。図３は、図１におけるモデル学習部の本発明に係
わる処理動作の一実施例を示すフローチャートである。
本実施例は、主に図１における入力データ評価部１０の
処理動作を示すものであり、まず、入力データセットか
ら、入力データを１つ取り出す（ステップ３０１）。図
１の最適データトライフォン分布保存部１３を参照し
て、このデータが、既に最適学習データとして選択済み
でないかチェックする（ステップ３０２）。このように
して、既に最適学習データとして選択済みのデータに対
する重複した処理を回避する。

【００１９】取りだした入力データが、未だ最適学習デ
ータとして選択済みでなければ、予め用意した評価関数
に基づき、そのデータの評価を行なう（ステップ３０
３）。ここで使用する評価関数としては、以下の数１〜
数３に掲げる３種類の関数を用意する。

【数１】

【数２】

【数３】

【００２０】数１に示す関数は、選択した入力データの
トライフォンの種類数が最大になるように、入力データ
を選択するための評価関数であり、Ｋｔは、選択したト
ライフォンの種類数である。数２に示す関数は、既に選
択した入力データのトライフォン分布を調べて、出現数
の少ないトライフォンを含むデータを優先的に選択する
ための評価関数であり、ｎは、トライフォンの総種類
数、Ｗａ（ｉ）は、トライフォン「ｉ」の選択された入
力データにおける希少性を考慮した重み、Δｔ（ｉ）
は、既に選択された入力データに新たな入力データを追
加した場合のトライフォン「ｉ」の個数の増加分であ
る。数３に示す関数は、認識対象データのトライフォン
分布を予め調べておき、その分布上で出現しにくいトラ
イフォンを含む入力データを優先的に選択する手法であ
り、Ｗｂ（ｉ）は、認識対象のトライフォン分布から見
たトライフォン「ｉ」の希少性を考慮した重みである。

【００２１】数１の評価関数と数２の評価関数は、認識
対象データのトライフォン分布情報を、その評価に使用
しないので、認識対象データのトライフォン分布が不明
であるときにも使用可能である。また、数３の評価関数
は、認識対象データのトライフォン分布情報を使用する
ので、認識対象データのトライフォンの分布が分かって
いるときのみに使用できる。それぞれの評価関数は、各
入力データのトライフォン分布情報と、既に最適データ
として選択された入力データのトライフォン分布情報
を、その評価に使用する。

【００２２】このような評価関数を用いた評価により
（ステップ３０４）、最も高く評価されたデータと、そ
の評価値を記録する（ステップ３０６）。全ての入力デ
ータを評価したことを検出すると（ステップ３０５）、
記録している最も高く評価した入力データを、最適学習
データとして決定して記録する（ステップ３０７）。ま
た、新しいデータの選択に伴い、選択した入力データ
（最適学習データ）全体のトライフォン分布を更新す
る。

【００２３】このようにして選択した最適学習データの
数が、目的とするデータ数に達するまで、ステップ１５
からステップ２１までの処理を繰返し、入力データか
ら、１データずつ、最適学習データを選択する（ステッ
プ２２）。また、このステップ２２において、目的の数
の最適学習データを選択したことを確認すると、入力デ
ータの評価、選択処理を終了する。そして、図１の認識
モデル学習処理部１５により、選択した最適学習データ
を使用した認識モデルの学習処理を開始する。

【００２４】以上、図１〜図３を用いて説明したよう
に、本実施例の音声認識システムにおけるモデル学習部
では、認識モデルの学習において、予め、学習に使用可
能な全学習データから、各学習データのトライフォンの
分布（種類と出現個数）に基づいて、認識モデルの学習
に適した学習データを評価して選択し、認識モデルの学
習に使用する。また、認識対象データ全体のトライフォ
ンの分布が分かる場合には、認識モデルを構成する認識
対象データのトライフォンの分布を調べ、その分布に基
づいて、認識モデルの学習に適した学習データを評価し
て選択し、認識モデルの学習に使用する。

【００２５】このように、既存データから、学習に適し
たデータを、データのトライフォン分布に基づいて評価
して選択することにより、従来は学習に適していなかっ
たデータセットの学習データへの使用が可能となる。ま
た、既存データから、学習に適した少量のデータを選択
してくることにより、学習データ量の削減が可能とな
り、従来より小規模の学習データで、かつ、従来よりも
短時間の学習で、従来と同程度の認識性能を持つ認識モ
デルの学習が可能となる。

【００２６】尚、本発明は、図１〜図３を用いて説明し
た実施例に限定されるものではなく、その要旨を逸脱し
ない範囲において種々変更可能である。例えば、本実施
例では、最小単位として、トライフォンを使用している
が、他の単位を使用する場合も、その実施は同様に可能
である。

【００２７】

【発明の効果】本発明によれば、少ない学習データ量
で、認識性能の高い認識モデルの学習ができ、音声認識
システムにおける学習データ作成の労力の削減と、学習
時間の短縮が可能となり、音声認識システムの性能を向
上させることができる。

【００２８】

【図面の簡単な説明】

【図１】本発明に係わるモデル学習部の構成の一実施例
を示すブロック図である。

【図２】図１におけるモデル学習部を用いた音声認識シ
ステムの構成の一実施例を示すブロック図である。

【図３】図１におけるモデル学習部の本発明に係わる処
理動作の一実施例を示すフローチャートである。

【符号の説明】

１音声認識システム２、３入力端子４前処理部５モデル学習部６認識モデル７音声認識部８出力端子９入力データトライフォン分布解析部１０入力データ評価部１１入力データトライフォン分布保存部１２認識対象データトライフォン分布保存部１３最適データトライフォン分布保存部１４最適データ保存部１５認識モデル学習処理部

Claims

【特許請求の範囲】

【請求項１】入力された複数の音声データと該音声デ
ータに対応する文字列とを用いて、音声認識システムの
認識モデルの連結学習を行なう音声認識モデル学習装置
であり、上記連結学習用に入力された音声データに対応
する文字列を解析し、上記文字列毎に含まれる単語、音
素、音素環境を考慮した音素単位であるトライフォン
等、上記認識モデルを構成する最小単位の種類と出現数
を抽出する入力データ解析手段と、該入力データ解析手
段で抽出した上記認識モデルを構成する最小単位の種類
と出現個数とを、上記入力された全ての音声データに対
応付けて登録する入力データ最小単位分布保存手段と、
該入力データ最小単位分布保存手段で登録した上記認識
モデルを構成する最小単位の種類と出現個数に基づき、
上記認識モデルの連結学習用に入力された全ての音声デ
ータから、該認識モデルの連結学習に適したデータを最
適学習データとして選びだす入力データ評価手段とを設
け、該入力データ評価手段で選びだした最適学習データ
を用いて上記認識モデルの連結学習処理を行なうことを
特徴とする音声認識モデル学習装置。
【請求項２】請求項１に記載の音声認識モデル学習装
置において、予め求められた認識対象データ全体に含ま
れる上記認識モデルを構成する最小単位の種類と出現数
を登録する認識対象データ最小単位分布保存手段を設
け、上記入力データ評価手段は、該認識対象データ最小
単位分布保存手段、および、上記入力データ最小単位分
布保存手段で登録した上記認識モデルを構成する最小単
位の種類と出現個数に基づき、上記認識モデルの連結学
習に適したデータを選びだすことを特徴とする音声認識
モデル学習装置。
【請求項３】請求項１、もしくは、請求項２のいずれ
かに記載の音声認識モデル学習装置において、上記入力
データ評価手段が選んだ最適学習データの上記認識モデ
ルを構成する最小単位の種類と出現個数を登録する最適
データ最小単位分布保存手段を設け、上記入力データ評
価手段は、該最適データ最小単位分布保存手段に未だ最
適学習データとして登録していない上記入力データに対
して、上記入力データ最小単位分布保存手段で登録した
上記認識モデルを構成する最小単位の種類と出現個数に
基づく、上記認識モデルの連結学習に適したデータの選
択を行なうことを特徴とする音声認識モデル学習装置。