JP6941494B2 - エンドツーエンド日本語音声認識モデル学習装置およびプログラム - Google Patents

Description

本発明は、エンドツーエンド日本語音声認識モデル学習装置およびそのプログラムに関する。

従来、音声を認識するための音声認識モデルの学習には、概ね次の（１）〜（３）のようなプロセスが必要であった。
（１）入力した音声を特徴ベクトル（音響特徴量）へ変換し、（２）特徴ベクトルを各単語に対して人手で割りつけた音素へ変換するような音響モデルを学習し、（３）音素列を単語へ変換するような言語モデルを学習する。

このうち、従来（２）のプロセスは、まず、入力音声の系列長の変化に強いＨＭＭ／ＧＭＭ（Hidden Markov model／Gaussian Mixture Model）により音響モデルを学習し、さらに近年では、ＤＮＮ（Deep Neural Network）によってこの音響モデルの学習を行うことで高精度な音響モデルを生成してきた（図１２（ａ）参照）。

そして、このようなモデル学習の複雑さを解消するための技術として、ＣＴＣ（Connectionist Temporal Classification）（非特許文献１参照）とＤＮＮとを用いた音響モデル学習法が知られている。この学習法は、音声と、音素または文字などのラベルと、の対応付けを直接学習する仕組みである。この学習法は、入力音声の系列長が変化した場合にも音響モデルの学習能力に強く、ＨＭＭ／ＧＭＭによる学習をこのＣＴＣとＤＮＮとを用いた音響モデル学習法に置き換えることで、音響モデルの学習を一括で行う（Ｅｎｄ−ｔｏ−Ｅｎｄ）ことが可能である。特に、ＣＴＣとＲＮＮ（Recurrent Neural Network）とを用いた音響モデル学習法には様々な手法が知られており、ビッグデータといわれる多量のデータを用いることにより、入力音声の特徴ベクトルを入力し、この特徴ベクトルから直接文字（文字ラベル）を出力する学習法も提案されている（非特許文献２、３参照）。また、Ｅｎｄ−ｔｏ−Ｅｎｄの音響モデル学習では、図１２（ｂ）に示すように、音素等の中間表現を用いることがない。

Graves, A., et al., "Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks," ICML '06 Proceedings of the 23rd international conference on Machine learning Pages 369-376 (2006) Miao, Y., et al., " EESEN: END-TO-END SPEECH RECOGNITION USING DEEP RNN MODELS AND WFST-BASED DECODING" 2015 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU) Pages 167-174 (2015) Hannun, A., et al., " Deep Speech: Scaling up end-to-end speech recognition" Cornell University Library arXiv:1412.5567, 19 Dec 2014

しかしながら、ＤＮＮの出力を文字とする先行研究の多くは、英語による音声認識を対象としており、日本語を扱う場合には、日本語の文字種の多さが原因で以下の２つの問題が生じる。
１つは、出力ラベル数が多く、パラメータ数が英語に比べ膨大であることである。英語で文字を出力するＥｎｄ−ｔｏ−Ｅｎｄのニューラルネットワーク（ＮＮ）を構成した場合、出力ラベルの数はアルファベットに数字、記号を含めても１００種程度だが、日本語には漢字、ひらがな、カタカナなど３，０００以上の文字種が存在する。文字種の多さのためネットワークの各層間の結合パラメータが多くなるが、文字種に対して発音の種類は多くないため、ネットワーク内の表現に重複が生じ、モデルの頑健性に乏しい。
り、学習を難しくする。

もう一つの問題は、いわゆる「疎」を意味するデータスパース性の課題がある。日本語の場合、文字種が多い分だけ、文字１種あたりの平均学習サンプル数は少なくなり、また、出現頻度の極端に少ない文字も存在する。このような出現頻度の低い文字（低頻度文字）が出力ラベルに存在している音響モデルでは、その文字の音響特徴はほとんど学習されず、音声認識結果として、例えば不要な低頻度文字が挿入誤りとして出力される傾向にあった。そのため、音声認識率を向上させることが難しかった。

本発明は、以上のような問題点に鑑みてなされたものであり、日本語の音声認識率を向上させることのできるエンドツーエンド日本語音声認識モデル学習装置およびプログラムを提供することを目的とする。

前記課題を解決するために、本発明に係るエンドツーエンド日本語音声認識モデル学習装置は、テキストと音声または当該音声の音響特徴量とを含む学習データである前記音声または当該音声の音響特徴量から文字または単語のラベルを出力するエンドツーエンドの音響モデルを音声認識モデルとして学習するエンドツーエンド日本語音声認識モデル学習装置であって、
前記学習データにおける前記テキストから、当該テキストに含まれる出現頻度が、予め定められた出現頻度の基準より低い複数の文字または複数の単語を、当該複数の文字または複数の単語を代表するクラスに割り当てるクラスラベルと、前記基準よりも出現頻度が高い単独の文字または単独の単語に付される単独ラベルと、を作成するラベル作成手段と、
前記複数の文字または複数の単語を、前記クラスラベルに割り当てる変換表に基づいて、前記学習データにおける前記テキストに含まれる複数の文字または複数の単語を前記クラスラベルに変換し、前記テキストを変換した後のテキストである変換後テキストを作成するテキスト作成手段と、
前記学習データである音声または当該音声の音響特徴量と、前記変換後テキストと、前記クラスラベルと、複数の前記単独ラベルと、を学習し、当該学習により音声または音響特徴量を前記クラスラベルおよび前記単独ラベルのラベル列に変換し、変換した当該ラベル列に基づいて、前記音響モデルを学習する音響モデル学習手段と、を備える構成とした。

本発明は、以下に示す優れた効果を奏するものである。
本発明に係るエンドツーエンド日本語音声認識モデル学習装置によれば、出現頻度が低い複数の文字または複数の単語を１つのクラスラベルとしてまとめて学習することができる。
したがって、出現頻度が低い複数の文字または複数の単語について従来手法よりも多いサンプル数で音響特徴を学習することが可能となり、音声認識率が向上する。
また、このような学習によって、日本語のような出力ラベル数の多さに起因する学習ネットワークの表現の重複を緩和することが可能となり、音声認識率が向上する。

本発明の第１実施形態に係るエンドツーエンド日本語音声認識モデル学習装置を模式的に示すブロック図である。 本発明の第１実施形態に係るエンドツーエンド日本語音声認識モデル学習装置のラベル作成手段の構成を模式的に示すブロック図である。 音響モデルの模式図であって、（ａ）は入力音声からラベルを出力する模式図、（ｂ）は、入力する音声からクラスラベルも出力する模式図である。 （ａ）は、文字・ラベル変換表の一例、（ｂ）は、文字をクラスラベルに変換する音響モデルの概念図、（ｃ）は、テキスト中のクラスラベルを文字に復元する言語モデルの概念図である。 第１実施形態に係るラベル作成手段によるクラスラベルの作成処理の流れを示すフローチャートである。 本発明の第２実施形態に係るエンドツーエンド日本語音声認識モデル学習装置のラベル作成手段の構成を模式的に示すブロック図である。 （ａ）は、入力する音声から複数のクラスラベルを出力する音響モデルの模式図、（ｂ）は、文字をクラスラベルに変換する音響モデルの概念図、（ｃ）は、テキスト中のクラスラベルを文字に復元する言語モデルの概念図である。 形態素リストおよび読みリストの模式図である。 （ａ）は、音声認識手段による処理の一例を示す概念図であり、（ｂ）は、（ａ）の音声認識を行う言語モデル学習手段を構成する単語を出力する変換器の模式図である。 第２実施形態に係るラベル作成手段によるクラスラベルの作成処理の流れを示すフローチャートである。 図１０の処理において漢字を選択した場合の処理の流れを示すフローチャートである。 （ａ）は、従来の発音辞書を用いる音声認識処理の流れの模式図であり、（ｂ）は、従来の英語におけるエンドツーエンドの音声認識処理の流れの模式図である。

以下、本発明の実施形態に係る日本語音声認識モデル学習装置について、図面を参照しながら説明する。
（第１実施形態）
［エンドツーエンド日本語音声認識モデル学習装置の構成］
エンドツーエンド日本語音声認識モデル学習装置２は、テキスト１ｂと音声１ａまたは当該音声の音響特徴量（以下、単に音声という）とを含む学習データ１である音声１ａから文字または単語（以下、単に文字という）のラベル３を出力するエンドツーエンドの音響モデルを音声認識モデルとして学習する。

本実施形態では、日本語の音響モデル作成用の学習データ１を、音声１ａとテキスト１ｂとのペアとして説明する。音声１ａおよびテキスト１ｂは、日本語の大量の音声データおよび大量のテキストを表している。例えば、音声１ａとして、事前学習用の放送番組の番組音声を用い、テキスト１ｂとして、その番組音声の内容の厳密な書き起こし、または、それに準ずるものを用いることができる。なお、図１において、変換後テキスト１ｃ、ラベル３、および、ラベル・変換表４は、それぞれデータを示している。

このエンドツーエンド日本語音声認識モデル学習装置２は、ラベル作成手段２０と、テキスト作成手段５と、音響モデル学習手段６と、言語モデル学習手段７と、音響モデル記憶手段８と、言語モデル記憶手段９と、を備えている。なお、ここでは、エンドツーエンド日本語音声認識モデル学習装置２は、音声認識手段１０を備えている。
エンドツーエンド日本語音声認識モデル学習装置２は、学習データ１におけるテキスト１ｂから、テキスト１ｂに含まれる出現頻度が予め定められた出現頻度の基準より低い複数の文字を、当該複数の文字を代表するクラスに割り当てるクラスラベルと、前記基準よりも出現頻度が高い単独の文字に関する単独ラベルと、を作成し、複数の文字をクラスラベルに割り当てる文字・ラベル変換表４に基づいて、学習データ１におけるテキスト１ｂに含まれる複数の文字をクラスラベルに変換し、テキスト１ｂを変換した後のテキストである変換後テキスト１ｃを作成する。そして、学習データ１における音声１ａと変換後テキスト１ｃとクラスラベルと複数の単独ラベルとを学習し、当該学習により音声１ａをクラスラベルおよび単独ラベルのラベル列に変換し、変換した当該ラベル列に基づいて、音響モデルを学習する。

ラベル作成手段２０は、学習データ１におけるテキスト１ｂから、テキスト１ｂに含まれる出現頻度が予め定められた出現頻度の基準より低い複数の文字を、当該複数の文字を代表するクラスに割り当てるクラスラベルと、前記基準よりも出現頻度が高い単独の文字に関する単独ラベルと、を作成するものである。単独ラベル（以下、文字のラベルという）と、クラスラベルとを総称する場合、ラベル３と表記する。ラベル３は、音響モデルの出力に用いるラベルである。文字のラベルは、単独の文字を扱うラベルであり、クラスラベルは、複数の文字をひとまとまりに扱うラベルである。

ラベル作成手段２０は、テキスト１ｂの中からモデル学習に適したラベル３と、どの文字をどのクラスラベルと対応させるかに関する表である文字・ラベル変換表４と、を作成し、出力する。ここでは、ラベル作成手段２０は、学習データ１におけるテキスト１ｂから、文字ラベルを作成し、クラスラベルを後から追加することとした。文字のラベルは、図３（ａ）の模式図に示すように、ひらがな、カタカナ、漢字、アルファベット等を含んでいる。クラスラベルを図３（ｂ）の模式図では、星印で示しているが、これに限定されるものではない。

本実施形態では、ラベル作成手段２０は、図２に示すように、形態素分割手段２１と、文字リスト作成手段２２と、ラベル決定手段２３と、記憶手段２４と、を備えている。

形態素分割手段２１は、学習データ１のテキスト１ｂを形態素に分割し、そのそれぞれについて読みを付与するものである。なお、形態素分割手段２１としては、例えば日本語形態素解析のための一般的なソフトウェア（例えばMeCabやChaSen）を用いることができる。以下では、学習データ１のテキスト１ｂを形態素単位に分割したリストのことを、形態素単位リストＷと呼ぶ。この形態素リストＷは記憶手段２４に記憶される。

文字リスト作成手段２２は、学習データ１のテキスト１ｂ内の文字ごとの出現頻度を計数し、出現頻度が予め定められた基準より高い文字のリストと、それ以外の文字のリストを作成するものである。
ここでは、出現頻度が最上位からＮ文字種までの文字からなるリストを、文字リストＦと呼ぶ。また、それ以外の低頻度文字からなるリストを、文字リストＲと呼ぶ。この文字リストＦおよび文字リストＲは記憶手段２４に記憶される。

前記Ｎの値は、所望の値に設定でき、例えば、学習データ１のテキスト１ｂ内の全文字種の総数の半分より小さくすることができる。言い換えると、学習データ１におけるテキスト１ｂに含まれる出現頻度が予め定められた基準より低い文字の種類の個数は、テキスト１ｂに含まれる全文字種の総数の１／２以上にすることができる。

ラベル決定手段２３は、このラベル作成手段２０全体の制御を司る。ラベル決定手段２３は、高頻度の文字については文字のラベルとして決定し、文字リストＲから選択した低頻度文字についてはクラスラベルとして決定する。ラベル決定手段２３は、クラスラベルおよび文字のラベルをラベル３として記憶手段２４に格納する。

また、ラベル決定手段２３は、ラベル・変換表４を作成し、テキスト作成手段５に出力する。ラベル・変換表４は、複数の文字をクラスラベルに割り当てるための変換表である。ラベル・変換表４の一例を図４（ａ）に示す。この例は、図３（ｂ）の模式図に対応しており、文字「璃、鷲、劉、…」をそれぞれ星印「☆」に変換する。

記憶手段２４は、ラベル作成手段２０の処理により作成されたデータ等を記憶するものであって、ハードディスク等の一般的な記憶媒体である。この記憶手段２４には、形態素リストＷ、文字リストＦ、文字リストＲ、ラベル３のデータ等が記憶される。

テキスト作成手段５は、文字・ラベル変換表４に基づいて、学習データ１におけるテキスト１ｂに含まれる複数の文字をクラスラベルに変換し、テキスト１ｂを変換した後のテキストである変換後テキスト１ｃを作成する。このテキスト作成手段５は、テキスト１ｂを入力し、文字・ラベル変換表４を用いて、テキスト１ｂのクラスラベルごとに分類された文字群を、分類されたクラスラベルに書き換えて変換後テキスト１ｃを作成する。

図４（ｂ）の１行目に示す「今日の尾鷲市は雨」は、このテキスト作成手段５に入力するテキスト１ｂの一例である。
また、図４（ｂ）の２行目に示す「今日の尾☆市は雨」は、このときに、テキスト作成手段５が出力する変換後テキスト１ｃの一例である。
なお、テキスト作成手段５へ入力するテキストは、学習データ１のテキスト１ｂとは別のテキストであってもよい。

音響モデル学習手段６は、学習データ１である音声１ａと、変換後テキスト１ｃと、クラスラベルと、複数の単独ラベル（文字のラベル）と、を学習し、当該学習により音声１ａをクラスラベルおよび文字のラベルのラベル列に変換し、変換した当該ラベル列に基づいて、音響モデルを学習する。この音響モデル学習手段６は、ラベル３と音声１ａと変換後テキスト１ｃを用いて音声がラベル３のうちどれであるかを出力するモデルを学習し、音響モデル記憶手段８に記憶する。音響モデル学習手段６は、非特許文献２に記載されたような文字のシーケンスを特定するＥｎｄ−ｔｏ−Ｅｎｄの音響モデルの全てに適用可能なものである。

この音響モデルは、大量の音声データから予め抽出した音響特徴量（メル周波数ケプストラム係数、フィルタバンク出力等）を、設定したラベルごとにディープニューラルネットワーク（Deep Neural Network）とコネクショニスト時系列分類法（ＣＴＣ：Connectionist Temporal Classification）等によってモデル化したものである。なお、音響モデルによる音響特徴量の尤度計算は、出力が漢字を含む書記素であれば再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）であっても、長・短期記憶（ＬＳＴＭ：Long Short Term Memory）であっても構わない。

言語モデル学習手段７は、変換後テキスト１ｃを学習し、当該学習によりクラスラベルおよび単独ラベル（文字のラベル）のラベル列を単語列に変換する言語モデルを音声認識モデルとして学習する。言語モデルは、大量のテキストから予め学習した出力系列（単語等）の出現確率等をモデル化したものである。この言語モデルには、例えば、一般的なＮグラム言語モデルを用いることができる。

言語モデル学習手段７は、ラベル３と変換後テキスト１ｃとを用いて、ラベル３から単語列を出力するモデルを学習し、言語モデル記憶手段９に記憶する。言語モデル学習手段７は、非特許文献２のように、音響モデル記憶手段８の出力を入力として、前後の単語の関係から単語列を推定し出力するもののうち、音響モデル学習手段６で用いたラベル３にない文字についても文字・ラベル変換表４と前後の単語の関係から文字を復元する。

音響モデル記憶手段８は、音響モデル学習手段６が学習により作成した音響モデルを記憶するもので、ハードディスク等の一般的な記憶媒体である。
言語モデル記憶手段９は、言語モデル学習手段７が学習により作成した言語モデルを記憶するものであって、ハードディスク等の一般的な記憶媒体である。

音声認識手段１０は、入力された音声（評価用音声）を、人が発話した発話区間ごとに音声認識するものである。この音声認識手段１０は、認識結果である単語列を図示しない表示装置等に出力する。
この音声認識手段１０は、入力された音声を、特徴量（特徴ベクトル）に変換し、この特徴量を音響モデル記憶手段８に記憶されている音響モデルを用いて、順次、ラベルに変換することでラベル列を作成する。このときに音声認識手段１０は、例えば、図４（ｃ）の１行目に示す「今日の尾☆市は雨」のようなラベル列を作成する。
そして、音声認識手段１０は、言語モデル記憶手段９に記憶されている言語モデルを用いて、前記ラベル列を、順次、単語に変換することで単語列を作成する。このときに音声認識手段１０は、例えば、図４（ｃ）の２行目に示す「今日の尾鷲市は雨」のような単語列を作成する。

［クラスラベルの作成処理の流れ］
第１実施形態に係るエンドツーエンド日本語音声認識モデル学習装置２のラベル作成手段２０によるクラスラベルの作成処理の流れについて図５を参照して説明する。
まず、エンドツーエンド日本語音声認識モデル学習装置２のラベル作成手段２０は、形態素分割手段２１によって、学習データ１のテキスト１ｂを形態素に分割した形態素単位リストＷを作成する（ステップＳ１０１）。

そして、ラベル作成手段２０は、文字リスト作成手段２２によって、学習データ１のテキスト１ｂ内の文字ごとの出現頻度上位Ｎ文字種の文字リストＦと、それ以外の低頻度文字からなる文字リストＲを作成する（ステップＳ１０２）。
そして、ラベル作成手段２０は、ラベル決定手段２３によって、文字リストＲから低頻度文字を選択し（ステップＳ１０３）、選択した低頻度文字をクラスラベルに追加し（ステップＳ１０４）、文字・ラベル変換表４を更新する（ステップＳ１０５）。

そして、ラベル決定手段２３は、全ての低頻度文字を選択したか否かを判定する（ステップＳ１０６）。未選択の低頻度文字がある場合（ステップＳ１０６：Ｎｏ）、ラベル決定手段２３は、ステップＳ１０３に戻る。一方、全ての低頻度文字を選択した場合（ステップＳ１０６：Ｙｅｓ）、ラベル作成手段２０は、クラスラベルと文字リストＦを統合してラベル３を作成し（ステップＳ１０７）、文字・ラベル変換表４をテキスト作成手段５に出力し、処理を終了する。

本実施形態によれば、出現頻度の低い文字（低頻度文字）を一つのクラスラベルとしてまとめることで、学習パラメータを減らし、１ラベルあたりの学習サンプル数を増やすので、低頻度文字の音響特徴が学習され易くなり、日本語の音声認識精度が向上する効果を奏する。

（第２実施形態）
次に、本発明の第２実施形態に係る日本語音声認識モデル学習装置について図６を参照して説明する。なお、第２実施形態に係るエンドツーエンド日本語音声認識モデル学習装置は、ラベル作成手段２０Ｂが複数のクラスラベルを作成する点が第１実施形態とは異なるものの、他の構成要素が第１実施形態と同様なので、その全体構成の図面を省略する。また、図６に示すラベル作成手段２０Ｂにおいて、図２に示すラベル作成手段２０と同一の構成には同一の符号を付して説明を適宜省略する。
ラベル作成手段２０Ｂは、出現頻度が予め定められた基準より低い所定の複数の文字を、予め定められた基準で区分された複数のクラスのいずれかに割り当てて複数のクラスラベルを作成する。

ここでは、ラベル作成手段２０Ｂは、一例として、文字の音韻的特徴を反映し、図７（ａ）に示すように、文字の読みごとに区分された複数のクラスのいずれかに割り当てて複数のクラスラベルを作成することとした。なお、図７（ａ）において、例えば、読みが「あ」であるクラスに割り当てられた「＜あ＞」は、読みを表す文字「あ」と、その両側に記載された２つの記号「＜」、「＞」とにより、クラスラベルを表している。
本実施形態では、テキスト作成手段５に入力するテキスト１ｂが、例えば、図７（ｂ）の１行目に示す「今日の尾鷲市は雨」である場合、テキスト作成手段５は、変換後テキスト１ｃとして、例えば、図７（ｂ）の２行目に示す「今日の尾＜わ＞市は雨」のような変換後テキスト１ｃを出力する。
また、本実施形態では、音声認識手段１０は、入力音声から、例えば、図７（ｃ）の１行目に示す「今日の尾＜わ＞市は雨」のようなラベル列を作成した場合、言語モデルを用いて例えば、図７（ｃ）の２行目に示す「今日の尾鷲市は雨」のような単語列を作成する。
以下、ラベル作成手段２０Ｂの各構成について図６を参照して説明する。

ラベル作成手段２０Ｂは、図６に示すように、形態素分割手段２１と、文字リスト作成手段２２と、ラベル決定手段２３Ｂと、記憶手段２４と、形態素リスト作成手段２５と、編集距離算出手段２６と、読み区切り推定手段２７と、読みリスト作成手段２８と、を備えている。

形態素リスト作成手段２５は、形態素単位リストＷのうち文字リストＲ内の低頻度文字を含む形態素リストＪを作成するものである。この形態素リストJは記憶手段２４に記憶される。なお、形態素リスト作成手段２５としては、例えば日本語形態素解析のための一般的なソフトウェアを用いることができる。

本実施形態では、形態素リスト作成手段２５は、形態素単位リストＷに基づいて、注目する漢字ｓごとに、当該漢字ｓを含む形態素のリストである形態素リストＪ_sを作成する。この形態素リストJ_sは、当該漢字ｓについての処理のときに記憶手段２４に記憶される。
例えば、注目する漢字ｓが「生」の場合に、形態素リスト作成手段２５が作成する形態素リストＪ_sの一例を図８に示す。

また、ここでは、形態素リスト作成手段２５は、注目する漢字ｓごとの形態素リストＪ_sに出現する各形態素ｊ_s（形態素リストＪ_s内の各形態素区間ｊ_s）に含まれる全ての漢字の一文字単独での全ての読みのリストである単独漢字リストも作成することとした。具体的には、形態素ｊ_sの一例が「生」である場合、形態素リスト作成手段２５は、「生」の読みとして、例えば「せい」、「しょう」、「き」、「なま」を記載したリストを作成する。

編集距離算出手段２６は、注目する漢字ｓごとの形態素リストＪ_sに出現する形態素ｊ_sごとに、形態素ｊ_sを構成する各漢字に単独の読みを付与したときに対応付けられる全ての組み合わせを、形態素分割手段２１で付与された形態素ｊ_s全体の読みｊ^r _sと比較して編集距離Ｄ_xを算出するものである。
ここで、各漢字の組み合わせの読みと、形態素全体の読みとの編集距離Ｄ_xは、一方の読みから、挿入、削除、置換といった操作を行なうことによって、他方の読みに編集する際に、必要とされる操作の最小回数である。編集距離算出手段２６は、これら削除・挿入・置換誤り文字数を求めることで編集距離Ｄ_xを算出する。

具体的には、形態素ｊ_sの一例を図８に示す「生物」であるものとすると、「生」および「物」に、単独の読みをそれぞれ付与したときに対応付けられる全ての組み合わせとは、各文字の読みを組み合わせることで得られる。
ここでは、「生」の読みは、例えば「せい」、「しょう」、「き」、「なま」であるものとする。また、「物」の読みは、例えば「ぶつ」、「もの」であるものとする。
この場合、全ての組み合わせｊⁱ _s,xとは、「せい−もの」、「せい−ぶつ」、「しょう−もの」、「しょう−ぶつ」、「き−もの」、「き−ぶつ」、「なま−もの」、「なま−ぶつ」の合計８個の組み合わせである。

読み区切り推定手段２７は、編集距離Ｄ_xが最小となる漢字の組み合わせｊⁱ _s,xを求め、当該形態素ｊ_sにおいて注目する漢字ｓの単独の読みの区切りｊ^r _s,sを推定するものである。
図８に示す「生物」の全体の読みｊ^r _sは、形態素分割手段２１で「せいぶつ」のように付与されている。しかしながら、形態素分割手段２１は、単語レベルの読みを付与するものであって、シンボル「生物」において、シンボル「生」の読みが、「せ」なのか、「せい」なのかということについては、情報が無い。そこで、読み区切り推定手段２７は、例えば、上記した合計８個の組み合わせについてのそれぞれの編集距離Ｄ_xに基づいて、シンボル「生物」においてシンボル「生」の読みが「せい」である確率が高いことを判定し、シンボル「生物」において、注目する漢字ｓである「生」の単独の読みの区切りｊ^r _s,sを推定する。

読みリスト作成手段２８は、前記した一文字単独での全ての読みのリストである単独漢字リストを参照して、形態素ｊ_sにおいて注目する漢字ｓに対して推定された読みの区切りｊ^r _s,sが、注目する漢字ｓの一文字単独での全ての読みｊⁱ _xのいずれであるのかを判定し、判定された読みに応じて、形態素ｊ_sを注目する漢字ｓの読みｊⁱ _sごとに分類した読みリストＬ^r _sへ格納するものである。
この読みリストＬ^r _sは、当該漢字ｓについての処理のときに記憶手段２４に記憶される。

図８に示す例では、上から３個目までの「生」の読みは「せい」であり、上から４個目の「生」の読みは「しょう」であり、上から５個目の「生」の読みは「い」である。
よって、この場合、読みリスト作成手段２８は、「生物」、「生徒」、「生活」を、漢字「生」の読み「せい」に対応した読みリストＬ^r _sへ格納する。
また、読みリスト作成手段２８は、「生涯」を、漢字「生」の読み「しょう」に対応した読みリストＬ^r _sへ格納する。
さらに、読みリスト作成手段２８は、「生き物」を、漢字「生」の読み「い」に対応した読みリストＬ^r _sへ格納する。

ラベル決定手段２３Ｂは、ラベル決定手段２３と同様に、ラベル作成手段２０Ｂ全体の制御を司り、高頻度の文字については文字のラベルとして決定し、文字リストＲから選択した低頻度文字についてはクラスラベルとして決定する。ラベル決定手段２３Ｂは、クラスラベルおよび文字のラベルをラベル３として記憶手段２４に格納する。
ラベル決定手段２３Ｂは、文字リストＲから低頻度文字を選択したときに、漢字以外であれば、該当するクラスに割り当てる。
ラベル決定手段２３Ｂは、注目する漢字ｓの読みｊⁱ _sごとに分類した読みリストＬ^r _sごとに、読みリストＬ^r _sに格納されている全形態素ｊ_sの個数Ｌ^r,c _sを、数え上げ、最大要素数を持っている読みリストの読みの頭文字を判定する。

具体的には、図８に示す例では、漢字「生」の読み「せい」に対応した読みリストＬ^r _sに格納されている形態素の個数Ｌ^r,c _sは「３」である。
また、漢字「生」の読み「しょう」に対応した読みリストＬ^r _sに格納されている形態素の個数Ｌ^r,c _sは「１」である。
また、漢字「生」の読み「い」に対応した読みリストＬ^r _sに格納されている形態素の個数Ｌ^r,c _sは「１」である。
したがって、この場合、ラベル決定手段２３Ｂは、漢字「生」の読み「せい」に対応した読みリストＬ^r _sが最大要素数を持っていることから、その頭文字「せ」から、クラス「＜せ＞」に割り当てると判定する。

本実施形態では、記憶手段２４には、形態素リストＷ、文字リストＦ、文字リストＲ、ラベル３等のデータに加え、形態素リストＪ、形態素リストＪ_s、読みリストＬ^r _sが記憶される。

ここで、言語モデル学習手段７が、ラベルから文字を復元する処理について図９（ａ）および図９（ｂ）を参照して説明する。
図９（ａ）には、一例として、漢字「奏」、「創」、「遭」、「送」を、その読みの頭文字である「そ」に対応させて、クラスラベル「＜そ＞」に割り当てて学習した音響モデルを模式的に示している。また、変換後テキスト１ｃの一例である「演＜そ＞会 に 出る」から、元のテキスト１ｂの一例である「演奏会」を復元できるような学習を行った言語モデルを模式的に示している。

図９（ｂ）は、このときの言語モデルにおいて、漢字「奏」をクラスラベル「＜そ＞」に割り当てて学習した際の単語「演奏会」についての重みつき有限状態トランスデューサ（Weighted Finite State Transducer：ＷＦＳＴ）の模式図である。ＷＦＳＴは、入力信号および出力信号のペアとその重みを記すことにより情報を遷移する変換器であって、非特許文献２、３においても言語モデル学習手段に用いられている。なお、図９（ｂ）において、ＷＦＳＴの矢印上の「入力信号：出力信号（遷移確率）」のうち、遷移確率の記載は省略する。また、「ｅｐｓ」は入出力がない遷移を示す。また、「ｓｐａｃｅ」は空白の遷移を示す。

本実施形態では、言語モデル学習手段７は、文字列作成手段（以下、変換器Ｔという）、単語列作成手段（以下、変換器Ｌという）、文章作成手段（以下、変換器Ｇという）のそれぞれのトランスデューサの合成で表される。ここでは、ＣＴＣのラベルから文字への変換器Ｔ、文字から単語への変換器Ｌ、単語から文章への変換器Ｇの３つの変換器の合成によりデコードする。

変換器Ｔで生成されるのはラベル３を用いた文字列である。
変換器Ｌは、文字・ラベル変換表４によって、クラスラベルを含むラベル列から、日本語の単語へ復元する。図９（ｂ）ではその例として、漢字「奏」がラベル「＜そ＞」に割り振られた場合の単語列出力を示している。
変換器Ｌでは、変換器Ｔで推定されたトークン列を単語に変換する際、音響モデル学習時に割り当てたクラスラベルから本来の文字を含む単語への変換をする役割をもつ。
変換器Ｇでは、変換器Ｌで得られた単語列の候補から、単語間の統計的な連続情報（ｎ−ｇｒａｍ）によってもっともらしい認識結果を出力する。

［クラスラベルの作成処理の流れ］
次に、第２実施形態に係るエンドツーエンド日本語音声認識モデル学習装置２のラベル作成手段２０Ｂによるクラスラベルの作成処理の流れについて図１０を参照して説明する。なお、図１０に示すステップＳ１０１，Ｓ１０２の処理は、図５に示す処理と同一の処理なので、説明を省略する。

ステップＳ１０２に続いて、ラベル作成手段２０Ｂは、形態素リスト作成手段２５によって、形態素単位リストＷのうち文字リストＲ内の低頻度文字を含む形態素リストＪを作成する（ステップＳ２０１）。
そして、ラベル作成手段２０Ｂは、ラベル決定手段２３Ｂによって、文字リストＲから低頻度文字を選択する（ステップＳ２０２）。
ここで、ラベル決定手段２３Ｂが低頻度文字として漢字を選択した場合、ラベル作成手段２０Ｂは、当該漢字の読みを推定し、読みの頭文字のリストに追加する処理を実行する（ステップＳ２０３）。なお、その詳細は後記する。

また、ラベル決定手段２３Ｂは、低頻度文字として、ひらがなやカタカナを選択した場合、その該当する読みのリストに追加する（ステップＳ２０４）。
さらに、ラベル決定手段２３Ｂは、低頻度文字として、読みを推定できない数字やアルファベットを選択した場合、読み不明のリストに追加する（ステップＳ２０５）。
あるいは、ラベル決定手段２３Ｂは、低頻度文字として、読みの存在しない記号を選択した場合、記号のリストに追加する（ステップＳ２０６）。

ステップＳ２０３〜ステップＳ２０６のいずれかの処理に続いて、ラベル作成手段２０Ｂは、ラベル決定手段２３Ｂによって、文字・ラベル変換表４を更新する（ステップＳ２０７）。そして、ラベル決定手段２３Ｂは、全ての低頻度文字を選択したか否かを判定する（ステップＳ２０８）。未選択の低頻度文字がある場合（ステップＳ２０８：Ｎｏ）、ラベル決定手段２３Ｂは、ステップＳ２０２に戻る。一方、全ての低頻度文字を選択した場合（ステップＳ２０８：Ｙｅｓ）、クラスラベル集合Ｌ_iと文字リストＦを統合してラベル３を作成し（ステップＳ２０９）、文字・ラベル変換表４をテキスト作成手段５に出力し、処理を終了する。

次に、ラベル作成手段２０Ｂが、低頻度文字として漢字を選択した場合の処理について図１１を参照（適宜図１０参照）して説明する。なお、ここでは、図１０に示す処理の途中から一部を重複させて説明する。まず、ラベル作成手段２０Ｂは、ラベル決定手段２３Ｂによって、文字リストＲから、低頻度文字として漢字ｓを選択する（初期値ｓ＝１：ステップＳ２０２）。なお、ｓ（ｓ＝１，２，…）は漢字を識別する符号であるが、以下、単に漢字ｓという。

そして、ラベル作成手段２０Ｂは、形態素リスト作成手段２５によって、前記ステップＳ２０１（図１０）で作成した低頻度文字を含む形態素リストJから、漢字ｓ（ｓ番目の漢字）を含む形態素リストJ_ｓを作成する（ステップＳ２３１）。
ラベル作成手段２０Ｂは、ラベル決定手段２３Ｂによって、形態素リストＪ_sから形態素ｊ_s（ｊ_s番目の形態素）を選択する（ステップＳ２３２）。なお、ｊ_s（ｊ_s＝１，２，…）は形態素を識別する符号であるが、以下、単に形態素ｊ_sという。

続いて、ラベル作成手段２０Ｂは、例えば、編集距離算出手段２６および読み区切り推定手段２７によって、形態素ｊ_sにおいて漢字ｓの読みｊ^r _s,ｓを推定し、読みリスト作成手段２８によって、この漢字ｓの読みｒごとに用意された読みリストＬ^r _sに形態素ｊ_sを格納する（ステップＳ２３３）。

そして、ラベル決定手段２３Ｂは、全形態素区間を選択したか否かを判定する（ステップＳ２３４）。未選択の形態素区間がある場合（ステップＳ２３４：Ｎｏ）、ラベル決定手段２３Ｂは、形態素区間の値（ｊ_s）に「１」を加算し（ｊ_s＝ｊ_s＋１：ステップＳ２３５）、ステップＳ２３２に戻る。

一方、全形態素区間を選択した場合（ステップＳ２３４：Ｙｅｓ）、ラベル作成手段２０Ｂは、読みリスト作成手段２８によって、漢字ｓの読みｒごとに分類された読みリストＬ^r _sに格納されている形態素の数Ｌ^r,c _sを数え上げ、読みリストＬ^r _sのうち最大要素数を持つ読みｒの頭文字r_tを求める（ステップＳ２３６）。そして、ラベル決定手段２３Ｂは、頭文字r_tのリストＬ^r _ｒｔに漢字ｓを追加する（ステップＳ２３７）。
ただし、ステップＳ２３６にて編集距離が指定した値よりも大きくなるなどして読みが推定できない場合には、ステップＳ２０５と同様に、読み不明のリストに追加することとする。

そして、ラベル作成手段２０Ｂは、ラベル決定手段２３Ｂによって、文字・ラベル変換表４を更新する（ステップＳ２０７）。そして、ラベル決定手段２３Ｂは、低頻度文字における全ての漢字を選択したか否かを判定する（ステップＳ２０８）。未選択の漢字区間がある場合（ステップＳ２０８：Ｎｏ）、ラベル決定手段２３Ｂは、漢字区間の値（ｓ）に「１」を加算し（ｓ＝ｓ＋１：ステップＳ２３８）、ステップＳ２０２に戻る。一方、低頻度文字における全漢字区間を選択した場合（ステップＳ２３８：Ｙｅｓ）、ラベル決定手段２３Ｂは、クラスラベル集合Ｌ_iと文字リストＦを統合してラベル３を作成し（ステップＳ２０９）、文字・ラベル変換表４をテキスト作成手段５に出力し、処理を終了する。なお、ステップＳ２０９において、クラスラベル集合Ｌ_iの中に該当する漢字が存在しない場合、そのクラスラベルは省略してもよい。

本実施形態によれば、第１実施形態と同様に、日本語の音声認識精度が向上する効果を奏する。また、文字の読みを基準に複数のクラスラベルに分割したので、クラスラベルから文字を復元する際に、文字の読みがヒントになるので、いっそう単語認識精度を向上させる効果がある。

以上、本発明の各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲で実施することができる。例えば、音響モデル学習手段６や音声認識手段１０には、音声を入力し、内部で特徴量に変換するのとして説明したが、音声を変換した音響特徴量を入力として用いてもよい。

また、前記各実施形態では、エンドツーエンド日本語音声認識モデル学習装置として説明したが、各装置の構成の処理を可能にするように、汎用または特殊なコンピュータ言語で記述したエンドツーエンド日本語音声認識モデル学習プログラムとみなすことも可能である。

また、頭文字の読みの推定について、形態素リスト作成手段２５が、注目する漢字ｓごとの形態素リストＪ_sに出現する各形態素ｊ_sに含まれる全ての漢字の一文字単独での全ての読みのリストである単独漢字リストを作成することとしたが、この方法に限定されない。例えば、ｋａｋａｓｉの辞書のもつ文字の読みリストから、漢字の位置に応じて前方／後方一致するよう一字ずつ探索し、合致した読みを採用することもできる。なお、ｋａｋａｓｉは、漢字仮名交じり文をひらがな文やローマ字文に変換することを目的として作成されたプログラムと辞書をいう。

また、エンドツーエンド日本語音声認識モデル学習装置２は、入力する音声１ａから文字のラベル３を直接出力するエンドツーエンドの音声認識モデルを学習するものとしたが、単語のラベルを直接出力するようにしてもよい。なお、日本語の単語数は、日本語の文字種の数よりも多いためパラメータ数も多いが、例えば１０万程度の語彙数であっても単語を直接出力するシステムが可能であることが報告されている。

第２実施形態では、複数のクラスラベルに分割する基準を文字の読みとして説明したが、例えば、文字または単語の前後関係や品詞等のコンテキストを基準に複数のクラスラベルに分割してもよい。

本発明に係るエンドツーエンド日本語音声認識モデル学習装置の性能を確かめるために、音声認識実験を行った。
第１および第２実施形態に係るエンドツーエンド日本語音声認識モデル学習装置によって生成した音響モデルおよび言語モデルを用いて音声認識したときの単語誤り率をそれぞれ求めた。以下、これらを実施例１および実施例２という。また、比較例として、クラスラベルを用いずに音声認識したときの単語誤り率を求めた。

＜実験条件＞
KaldiベースのEESENフレームワーク（https://github.com/srvk/eesen）を用いた。なお、Kaldiベースについては、下記の参考文献に記載されている。
（参考文献）
D. Povey, A. Ghoshal, G. Boulianne, L. Burget, O. Glembek, N. Goel, M. Hannemann, P. Motlicek, Y. Qian, P. Schwarz et al., “The kaldi speech recognition toolkit," in Proc. ASRU, no. EPFL-CONF-192584. IEEE Signal Processing Society, 2011.

実験では、KaldiベースのEESENフレームワークを、日本語の文字が出力可能なように、以下のように修正して用いた。
音響モデルは、ＣＴＣ基準の４層ＢＬＳＴＭ（Bi-directional Long Short Term Memory）で、学習データ１の音声１ａおよびテキスト１ｂとして、７１２時間分のＮＨＫ（登録商標）の番組音声と字幕のペアを用いて学習した。
特徴量としては、合計１２０次元の特徴パラメータであり、その内訳は、４０次元の対数メルフィルタバンク特徴量、およびそれぞれのΔ，ΔΔ係数である。
ＬＳＴＭのメモリセルは各方向３２０ずつとした。
言語モデルは、語彙２０万単語のＮＨＫ（登録商標）の原稿と字幕から作成したＡＲＰＡフォーマットの３ｇｒａｍＷＦＳＴを使用した。
評価用データには、ＮＨＫ（登録商標）の情報番組「ひるまえほっと」５時間分を使用した。

学習データ１として用いる前記した７１２時間のデータで登場する文字種は、漢字、
、カタカナ等３，４７６種である。この３，４７６文字種を頻度の高いものから順に集めた際、学習データ中の全文字のうち何パーセントをカバー可能かについて調査した。その結果、学習データ中のほとんどの文字が高頻度文字種の上位３０％程度に集中しており、上位４２％の１，４５２の文字種で学習データに現れる全文字中の９９％の文字を網羅できることがわかった。なお、実験では、以下に示すように上位１，５００文字種を高頻度の文字種としてピックアップした。

音響モデルの出力ラベルとして、学習データ１で出現する全文字種（３，４７６種）用のラベルに、ブランクラベルを加えた３，４７７ラベルを出力とするものを比較例として実験した。
実施例１では、学習データ１中から、高頻度の文字を１，５００字抜き出して、文字のラベルの出力用の１，５００ラベルとした。加えて、それ以外の１，９７６字を１種のクラスラベルに割当てた。つまり、１，５０１ラベルを音響モデル学習に用いた。また、割り当てた１種のクラスラベルからもともとの文字へ復元する言語モデルを用いた。

また、実施例２では、学習データ１中から、高頻度の文字を１，５００字抜き出して、文字のラベルの出力用の１，５００ラベルとした。加えて、それ以外の１，９７６字を７３種のクラスラベルに割当てた。ここで、７３種とは、五十音図における「を」と撥音とを含む４６文字種のそれぞれの読みを表すクラス、濁音および半濁音を含む２５文字種のそれぞれの読みを表すクラス、数字やアルファベット等の読み不明のクラス、および、記号のクラスを意味する。なお、実際には、１，９７６字のうちいずれの文字も割り当てられなかったクラスラベル（３クラスラベル）については除外しているため、１，５７０ラベルのみを音響モデル学習に用いた。また、割り当てた７０種のクラスラベルからもともとの文字へ復元する言語モデルを用いた。実験結果を表１に示す。

クラスを使用しない場合に比べ、クラス使用した方が音声認識単語誤り率（Word Error Rate：ＷＥＲ）が改善している。クラスも、全ての低頻度文字を１つのクラスラベルに割り当てるよりも複数のクラスラベルに分割する方がＷＥＲはさらに改善する。

２ エンドツーエンド日本語音声認識モデル学習装置
５ テキスト作成手段
６ 音響モデル学習手段
７ 言語モデル学習手段
８ 音響モデル記憶手段
９ 言語モデル記憶手段
１０ 音声認識手段
２０，２０Ｂ ラベル生成手段
２１ 形態素分割手段
２２ 文字リスト作成手段
２３，２３Ｂ ラベル決定手段
２４ 記憶手段
２５ 形態素リスト作成手段
２６ 編集距離算出手段
２７ 読み区切り推定手段
２８ 読みリスト作成手段

Claims (5)

1. テキストと音声または当該音声の音響特徴量とを含む学習データである前記音声または当該音声の音響特徴量から文字または単語のラベルを出力するエンドツーエンドの音響モデルを音声認識モデルとして学習するエンドツーエンド日本語音声認識モデル学習装置であって、
   前記学習データにおける前記テキストから、当該テキストに含まれる出現頻度が、予め定められた出現頻度の基準より低い複数の文字または複数の単語を、当該複数の文字または複数の単語を代表するクラスに割り当てるクラスラベルと、前記基準よりも出現頻度が高い単独の文字または単独の単語に付される単独ラベルと、を作成するラベル作成手段と、
   前記複数の文字または複数の単語を、前記クラスラベルに割り当てる変換表に基づいて、前記学習データにおける前記テキストに含まれる複数の文字または複数の単語を前記クラスラベルに変換し、前記テキストを変換した後のテキストである変換後テキストを作成するテキスト作成手段と、
   前記学習データである音声または当該音声の音響特徴量と、前記変換後テキストと、前記クラスラベルと、複数の前記単独ラベルと、を学習し、当該学習により音声または音響特徴量を前記クラスラベルおよび前記単独ラベルのラベル列に変換し、変換した当該ラベル列に基づいて、前記音響モデルを学習する音響モデル学習手段と、を備えるエンドツーエンド日本語音声認識モデル学習装置。
2. 前記ラベル作成手段は、前記出現頻度が予め定められた基準より低い所定の複数の文字または複数の単語を、予め定められた基準で区分された複数のクラスのいずれかに割り当てて複数のクラスラベルを作成する請求項１に記載のエンドツーエンド日本語音声認識モデル学習装置。
3. 前記ラベル作成手段は、前記出現頻度が予め定められた基準より低い所定の複数の文字または複数の単語を、文字または単語の読みごとに区分された複数のクラスのいずれかに割り当てて複数のクラスラベルを作成する請求項２に記載のエンドツーエンド日本語音声認識モデル学習装置。
4. 前記変換後テキストを学習し、当該学習により前記クラスラベルおよび前記単独ラベルのラベル列を単語列に変換する言語モデルを前記音声認識モデルとして学習する言語モデル学習手段を備える請求項１から請求項３のいずれか一項に記載のエンドツーエンド日本語音声認識モデル学習装置。
5. コンピュータを、請求項１から請求項４のいずれか一項に記載のエンドツーエンド日本語音声認識モデル学習装置として機能させるためのプログラム。

Images