JP6027754B2

JP6027754B2 - Adaptation device, speech recognition device, and program thereof

Info

Publication number: JP6027754B2
Application number: JP2012048232A
Authority: JP
Inventors: 貴裕奥; 亨今井
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2012-03-05
Filing date: 2012-03-05
Publication date: 2016-11-16
Anticipated expiration: 2032-03-05
Also published as: JP2013182261A

Description

本発明は、音響モデルを適応化する適応化装置、およびその適応化装置を用いる音声認識装置、ならびにそのプログラムに関する。 The present invention relates to an adaptation device for adapting an acoustic model, a speech recognition device using the adaptation device, and a program thereof.

音声認識処理においては、音素と音響特徴量との間の統計的関係を表わす音響モデルを用いる。音声認識処理において、認識性能を向上させるために、音響モデルの話者適応が行われる。音響モデルの話者適応とは、認識対象話者の音声データを用いて、話者の声質に合わせて、音響モデルのモデルパラメータを変化させることである。話者適応化は、発声内容に関する教師データを用いる教師あり話者適応と、教師データを用いない教師なし話者適応とに分類される。前者は、人手による書き起こしデータ（教師データ、テキストデータ）などが与えられ、発話内容の音素列が既知である場合の適応手法である。また、後者は、一般に話者非依存の音響モデルにより一度音声認識を行い、その認識結果を教師データとみなして適応化する手法である。 In the speech recognition process, an acoustic model representing a statistical relationship between phonemes and acoustic features is used. In speech recognition processing, speaker adaptation of an acoustic model is performed in order to improve recognition performance. The speaker adaptation of the acoustic model is to change model parameters of the acoustic model in accordance with the voice quality of the speaker using the speech data of the recognition target speaker. Speaker adaptation is classified into supervised speaker adaptation using teacher data relating to utterance content and unsupervised speaker adaptation not using teacher data. The former is an adaptation method when handwritten transcription data (teacher data, text data) or the like is given and the phoneme string of the utterance content is known. The latter is a technique in which speech recognition is generally performed once using a speaker-independent acoustic model, and the recognition result is regarded as teacher data for adaptation.

非特許文献１には、代表的な話者適応化手法として、事前知識を利用し、最大事後確率推定法（Maximum A Posteriori Estimation，ＭＡＰ）を用いて音響モデルを適応化する技術が記載されている。
また、非特許文献２には、話者間の線形写像を用いて音響モデルを適応化する最尤線形回帰法（Maximum Likelihood Linear Regression，ＭＬＬＲ）が記載されている。 Non-Patent Document 1 describes a technique for adapting an acoustic model using a priori knowledge and using a maximum a posteriori estimation (MAP) as a typical speaker adaptation method. Yes.
Non-Patent Document 2 describes a Maximum Likelihood Linear Regression (MLLR) method that adapts an acoustic model using a linear mapping between speakers.

Jean-Lue Gauvain，Chin-Hui Lee，“Maximum a Posteriori Estimation for Multivariate Gaussian Mixture Observations of Markov Chains”，IEEE Transactions on Speech and Audio Processing，Vol.2，No.2，p.291-298，April，１９９４年Jean-Lue Gauvain, Chin-Hui Lee, “Maximum a Posteriori Estimation for Multivariate Gaussian Mixture Observations of Markov Chains”, IEEE Transactions on Speech and Audio Processing, Vol. 2, No. 2, p.291-298, April, 1994. Year C.J.Leggetter，P.C.Woodland，“Maximum Likelihood Linear Regression for Speaker Adaptation of Continuous Density Hidden Markov Models”，Computer Speech and Language，No.9，p.171-185，１９９５年C.J. Legggetter, P.C. Woodland, “Maximum Likelihood Linear Regression for Speaker Adaptation of Continuous Density Hidden Markov Models”, Computer Speech and Language, No. 9, p.171-185, 1995

しかしながら、従来技術による教師あり話者適応化手法は、適応化に用いる音声データの各時刻において、音響モデルの初期モデル（適応化前の音響モデル）による認識のし易さを考慮していないという問題があった。
実際には、適応化に用いる音声データにおいて、認識率が例えば１００％である（つまり、認識誤りのない）音声区間に比べて、認識誤りのある音声区間の方が教師あり話者適応化の効果が高いと考えられる。しかしながら、従来技術による教師あり話者適応化手法は、音声区間による認識誤りの有無を考慮せず、どの音声区間も同等に話者適応化を行っていた。
つまり、従来技術による手法では、音声データの各時刻で一様に話者適応化を行っていることにより、話者適応化による効果も十分に得られていなかったことが考えられる。 However, the supervised speaker adaptation method according to the prior art does not consider the ease of recognition by the initial model of the acoustic model (acoustic model before adaptation) at each time of the speech data used for adaptation. There was a problem.
Actually, in speech data used for adaptation, a speech section with a recognition error is more suitable for supervised speaker adaptation than a speech section with a recognition rate of, for example, 100% (that is, no recognition error). The effect is considered high. However, the supervised speaker adaptation method according to the prior art does not consider the presence or absence of recognition errors due to speech segments, and performs speaker adaptation equally in any speech segment.
In other words, it is conceivable that with the technique according to the prior art, the speaker adaptation is not performed sufficiently because the speaker adaptation is uniformly performed at each time of the voice data.

本発明は、上記の課題認識に基づいて行なわれたものであり、音声区間ごとの認識のし易さを考慮して音響モデルの適応化を行う適応化装置、および適応化プログラム、ならびにそのような適応化を行なう音声認識装置を提供することを目的とする。 The present invention has been made on the basis of the above problem recognition, an adaptation device and an adaptation program for adapting an acoustic model in consideration of ease of recognition for each speech section, and such a program. An object of the present invention is to provide a speech recognition apparatus that performs adaptive adaptation.

［１］上記の課題を解決するため、本発明の一態様による適応化装置は、音素と音響特徴量との間の統計的関係を表わすデータを含んでなる音響モデルを読み込み、前記音響モデルに基づいて、読み込まれる音声データと前記音声データに対応するテキストデータとを時間的にアラインすることにより、時刻に対応付けた音響尤度データを含んでなる第１アライメント結果データを生成する第１アライメント部と、前記音声データの認識結果データを読み込み、前記音響モデルに基づいて、前記音声データと読み込んだ前記認識結果データとを時間的にアラインすることにより、時刻に対応付けた音響尤度データを含んでなる第２アライメント結果データを生成する第２アライメント部と、前記時刻ごとに前記第１アライメント結果データに含まれる音響尤度データと前記第２アライメント結果データに含まれる音響尤度データとを比較する重点区間検出部と、前記重点区間検出部による比較結果に応じた重み付けを音声区間に付与しながら前記音響モデルを適応化する適応化処理部とを具備する。
また、上記の適応化装置において、前記重点区間検出部は、時刻ごとに、前記第１アライメント結果データに含まれる音響尤度データよりも、前記第２アライメント結果データに含まれる音響尤度データのほうが、より高い尤度を表わす場合に、当該時刻に関連付けられた区間を重点適応区間として検出する、ことを特徴とする。 [1] In order to solve the above-described problem, an adaptation apparatus according to an aspect of the present invention reads an acoustic model including data representing a statistical relationship between phonemes and acoustic features, and loads the acoustic model into the acoustic model. Based on the first alignment result data including the acoustic likelihood data associated with the time by temporally aligning the read voice data and the text data corresponding to the voice data based on the first alignment And the speech likelihood recognition data associated with the time by reading the recognition result data of the speech data and aligning the speech data and the read recognition result data temporally based on the acoustic model. A second alignment unit for generating the second alignment result data, and the first alignment result data at each time An importance interval detection unit that compares the acoustic likelihood data to be included and the acoustic likelihood data included in the second alignment result data, and assigning weights according to the comparison results by the importance interval detection unit to the speech interval And an adaptation processing unit that adapts the acoustic model.
Further, in the above-described adaptation device, the important interval detection unit may detect the acoustic likelihood data included in the second alignment result data rather than the acoustic likelihood data included in the first alignment result data for each time. In the case where the higher likelihood is expressed, the section associated with the time is detected as the priority adaptation section.

この構成によれば、重点区間検出部は、第１アライメント結果データ（音声データと、対応するテキストデータとのアライメント結果）と第２アライメント結果データ（音声データと、その認識結果データとのアライメント結果）とを各時刻で比較する。そして、両者の音響尤度の異なる時刻を含む音声区間を検出する。適応化処理部は、検出された音声区間において音響モデルを重点的に適応化する。よって、より高精度な適応化を行なうことができ、ひいては高精度な音声認識を実現できる。
なお、第１アライメント部が音響モデルとのアライメントを行なう対象のテキストデータとしては、例えば、書き起こしデータ（教師データ）や、認識結果によるテキストデータ（但し、第２アライメント部がアライメントの対象とする認識結果とは異なるもの）や、その他、音声データに対応し得るテキストを用いる。 According to this configuration, the important section detection unit includes the first alignment result data (the alignment result between the voice data and the corresponding text data) and the second alignment result data (the voice data and the recognition result data). ) And each time. And the audio | voice area containing the time from which both acoustic likelihood differs is detected. The adaptation processing unit intensively adapts the acoustic model in the detected speech section. Therefore, higher-accuracy adaptation can be performed, and consequently high-accuracy speech recognition can be realized.
Examples of text data to be aligned with the acoustic model by the first alignment unit include, for example, transcription data (teacher data) and text data based on a recognition result (however, the second alignment unit is to be aligned). Other than the recognition result) or other text that can correspond to voice data.

［２］また、本発明の一態様は、上記の適応化装置において、前記適応化処理部は、前記音響モデルの適応化処理において、前記重点区間検出部が検出した前記重点適応区間に付与する重みを、重点適応区間ではない区間に付与する重みよりも大きくする、ことを特徴とする。
音響尤度データが数値データであり、尤度がより高いほどより大きい数値で表わされる場合には、対応する時刻において、第２アライメント結果データに含まれる音響尤度データの値から、第１アライメント結果データに含まれる音響尤度データの値を減じて、その結果が正である場合に、重点区間検出部は、その区間を重点適応区間として検出する。
これにより、第１アライメントデータに含まれる音響尤度をより高める方向への適応化を、より重点的に行なうこととなる。その結果、より高精度に、音響モデルを適応化することができる。 [ 2 ] Further, according to one aspect of the present invention, in the above-described adaptation device, the adaptation processing unit gives the priority adaptation section detected by the priority section detection unit in the adaptation process of the acoustic model. It is characterized in that the weight is set larger than the weight given to the section that is not the priority adaptation section.
When the acoustic likelihood data is numerical data and is represented by a larger numerical value as the likelihood is higher, the first alignment is calculated from the value of the acoustic likelihood data included in the second alignment result data at the corresponding time. When the value of the acoustic likelihood data included in the result data is subtracted and the result is positive, the important interval detection unit detects the interval as the important adaptation interval.
Thereby, adaptation to the direction which raises the acoustic likelihood contained in 1st alignment data more will be performed more intensively. As a result, the acoustic model can be adapted with higher accuracy.

［３］また、本発明の一態様は、上記の適応化装置において、前記適応化処理部は、前記音響モデルの適応化処理において、前記第２アライメント結果データに含まれる音響尤度データが表わす尤度と前記第１アライメント結果データに含まれる音響尤度データが表わす尤度との差が大きい区間ほど、前記重点適応区間に付与する重みを大きくする、ことを特徴とする。 [ 3 ] Further, according to one aspect of the present invention, in the adaptation apparatus, the adaptation processing unit represents acoustic likelihood data included in the second alignment result data in the acoustic model adaptation processing. In a section where the difference between the likelihood and the likelihood represented by the acoustic likelihood data included in the first alignment result data is larger, the weight given to the priority adaptation section is increased.

［４］また、本発明の一態様は、上記のいずれかの適応化装置と、前記音響モデルを記憶する音響モデル記憶部と、前記音響モデルに記憶されている前記音響モデルを読み出して、入力される前記音声データの認識処理を行なう認識処理部と、を具備し、前記適応化装置が具備する前記第１アライメント部は、前記音響モデル記憶部から読み込んだ前記音響モデルに基づいて、前記認識処理部による認識処理の対象となる前記音声データと前記テキストデータとを時間的にアラインし、前記適応化装置が具備する前記第２アライメント部は、前記音響モデル記憶部から読み込んだ前記音響モデルに基づいて、前記音声データと前記認識処理部による認識処理の結果得られる前記認識結果データとを時間的にアラインし、前記適応化装置が具備する適応化処理部は、適応化した結果得られる適応化音響モデルを前記音響モデル記憶部に書き込むことを特徴とする音声認識装置である。 [ 4 ] Further, according to one aspect of the present invention, any one of the above-described adaptation devices, an acoustic model storage unit that stores the acoustic model, and the acoustic model stored in the acoustic model are read and input. A recognition processing unit that performs recognition processing of the voice data, and the first alignment unit included in the adaptation device is configured to recognize the recognition based on the acoustic model read from the acoustic model storage unit. The voice data and the text data to be subjected to recognition processing by the processing unit are temporally aligned, and the second alignment unit included in the adaptation device applies the acoustic model read from the acoustic model storage unit to the acoustic model. Based on the speech data and the recognition result data obtained as a result of the recognition processing by the recognition processing unit, the adaptation device includes: Adaptive processing unit which is a speech recognition apparatus characterized by writing the adapted acoustic models obtained as a result of the adaptation to the acoustic model storage unit.

この構成により、適応化装置が具備する適応化処理部は、適応化した結果得られる適応化音響モデルを音響モデル記憶部に書き込む。即ち、音響モデル記憶部を更新する。 With this configuration, the adaptation processing unit included in the adaptation apparatus writes the adaptive acoustic model obtained as a result of the adaptation to the acoustic model storage unit. That is, the acoustic model storage unit is updated.

［５］また、本発明の一態様は、上記のいずれかの適応化装置と、前記音響モデルを記憶する音響モデル記憶部と、言語要素の出現頻度に関する統計的データを表わす第１言語モデルを記憶する第１言語モデル記憶部と、言語要素の出現頻度に関する統計的データを表わし、前記第１言語モデルとは異なる第２言語モデルを記憶する第２言語モデル記憶部と、前記音響モデル記憶部に記憶されている前記音響モデルを読み出すとともに、前記第１言語モデル記憶部から読み出した前記第１言語モデルあるいは前記第２言語モデル記憶部から読み出した前記第２言語モデルのいずれかを用いて、入力される前記音声データの認識処理を行なう認識処理部と、を具備し、前記適応化装置が具備する前記第１アライメント部は、前記音響モデル記憶部から読み込んだ前記音響モデルに基づいて、前記認識処理部による認識処理の対象となる前記音声データと、前記認識処理部が前記第１言語モデルを用いて前記音声データを認識処理して得られた結果である前記テキストデータとを時間的にアラインし、前記適応化装置が具備する前記第２アライメント部は、前記音響モデル記憶部から読み込んだ前記音響モデルに基づいて、前記音声データと、前記認識処理部が前記第２言語モデルを用いて前記音声データを認識処理して得られた結果である前記認識結果データとを時間的にアラインし、前記適応化装置が具備する適応化処理部は、適応化した結果得られる適応化音響モデルを前記音響モデル記憶部に書き込む、ことを特徴とする音声認識装置である。 [ 5 ] Further, according to one aspect of the present invention, any one of the above-described adaptation devices, an acoustic model storage unit that stores the acoustic model, and a first language model that represents statistical data regarding the appearance frequency of language elements are provided. A first language model storage unit for storing, a second language model storage unit for representing statistical data relating to the appearance frequency of language elements, and storing a second language model different from the first language model, and the acoustic model storage unit Using the first language model read from the first language model storage unit or the second language model read from the second language model storage unit, A recognition processing unit that performs recognition processing of the input voice data, and the first alignment unit included in the adaptation device includes the acoustic model description. The speech data to be subjected to recognition processing by the recognition processing unit based on the acoustic model read from the unit, and the recognition processing unit obtained by recognizing the speech data using the first language model. The second alignment unit included in the adaptation device is based on the acoustic model read from the acoustic model storage unit, and the text data as a result is temporally aligned. A recognition processing unit temporally aligns the recognition result data, which is a result obtained by recognizing the speech data using the second language model, and the adaptation processing unit included in the adaptation device includes: The speech recognition apparatus is characterized in that an adaptive acoustic model obtained as a result of adaptation is written in the acoustic model storage unit.

この構成により、第１言語モデルを用いて認識処理を行った結果得られるテキストデータを、第１アライメント部におけるアライメントの対象として用いることができる。つまり、テキストデータを用意する必要がない。また、適応化装置が具備する適応化処理部は、適応化した結果得られる適応化音響モデルを音響モデル記憶部に書き込む。即ち、音響モデル記憶部を更新する。 With this configuration, text data obtained as a result of performing the recognition process using the first language model can be used as an alignment target in the first alignment unit. That is, there is no need to prepare text data. Further, the adaptation processing unit included in the adaptation device writes the adaptive acoustic model obtained as a result of the adaptation to the acoustic model storage unit. That is, the acoustic model storage unit is updated.

［６］また、本発明の一態様は、コンピューターを、音素と音響特徴量との間の統計的関係を表わすデータを含んでなる音響モデルを読み込み、前記音響モデルに基づいて、読み込まれる音声データと前記音声データに対応するテキストデータとを時間的にアラインすることにより、時刻に対応付けた音響尤度データを含んでなる第１アライメント結果データを生成する第１アライメント手段、前記音声データの認識結果データを読み込み、前記音響モデルに基づいて、前記音声データと読み込んだ前記認識結果データとを時間的にアラインすることにより、時刻に対応付けた音響尤度データを含んでなる第２アライメント結果データを生成する第２アライメント手段、前記時刻ごとに前記第１アライメント結果データに含まれる音響尤度データと前記第２アライメント結果データに含まれる音響尤度データとを比較する重点区間検出手段、前記重点区間検出手段による比較結果に応じた重み付けを音声区間に付与しながら前記音響モデルを適応化する適応化処理手段、として機能させるためのプログラムであって、
前記重点区間検出手段は、時刻ごとに、前記第１アライメント結果データに含まれる音響尤度データよりも、前記第２アライメント結果データに含まれる音響尤度データのほうが、より高い尤度を表わす場合に、当該時刻に関連付けられた区間を重点適応区間として検出する、プログラムである。 [ 6 ] Further, according to one embodiment of the present invention, a computer reads an acoustic model including data representing a statistical relationship between phonemes and acoustic features, and audio data to be read based on the acoustic model is read. First alignment means for generating first alignment result data including acoustic likelihood data associated with time by time-aligning and text data corresponding to the speech data, recognition of the speech data Second alignment result data including acoustic likelihood data associated with time by reading result data and aligning the speech data and the read recognition result data in time based on the acoustic model The second alignment means for generating the acoustic likelihood included in the first alignment result data at each time And an acoustic likelihood data included in the second alignment result data, and the acoustic model is adapted while weighting according to the comparison result by the important section detection unit is given to the speech section. A program for functioning as an adaptation processing means ,
In the case where the importance interval detection means represents a higher likelihood for each time, the acoustic likelihood data included in the second alignment result data than the acoustic likelihood data included in the first alignment result data In addition, the program detects a section associated with the time as a priority adaptation section.

［７］また、本発明の一態様は、コンピューターを上のいずれかに記載の音声認識装置として機能させるためのプログラムである。 [ 7 ] One embodiment of the present invention is a program for causing a computer to function as the voice recognition device according to any one of the above.

本発明によれば、音声認識時の認識誤りに応じて重点区間を検出し、効果的に音響モデルの話者適応化処理を行なう。よって、高精度な音響モデルを得ることができる。つまり、より高精度な音声認識が可能となる。 According to the present invention, an important section is detected according to a recognition error at the time of speech recognition, and the speaker adaptation processing of the acoustic model is effectively performed. Therefore, a highly accurate acoustic model can be obtained. That is, more accurate speech recognition is possible.

本発明の第１の実施形態による適応化装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the adaptation apparatus by the 1st Embodiment of this invention. 同実施形態によるアライメント結果記憶部が記憶するデータの構成を示す概略図である。It is the schematic which shows the structure of the data which the alignment result memory | storage part by the same embodiment memorize | stores. 同実施形態による適応化装置による適応化処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the adaptation process by the adaptation apparatus by the embodiment. 本発明の第２の実施形態による音声認識装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the speech recognition apparatus by the 2nd Embodiment of this invention. 本発明の第３の実施形態による音声認識装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the speech recognition apparatus by the 3rd Embodiment of this invention.

以下、図面を参照しながら、本発明の複数の実施形態について説明する。 Hereinafter, a plurality of embodiments of the present invention will be described with reference to the drawings.

［第１の実施形態］
図１は、第１の実施形態による適応化装置の機能構成を示すブロック図である。図示するように、適応化装置１は、書き起こしデータ記憶部１１と、認識結果記憶部１４と、アライメント部１５（第１アライメント部）と、アライメント部１６（第２アライメント部）と、アライメント結果記憶部１７および１８と、重点区間検出部１９と、適応化処理部２０とを含んで構成される。 [First Embodiment]
FIG. 1 is a block diagram illustrating a functional configuration of the adaptation apparatus according to the first embodiment. As illustrated, the adaptation device 1 includes a transcription data storage unit 11, a recognition result storage unit 14, an alignment unit 15 (first alignment unit), an alignment unit 16 (second alignment unit), and an alignment result. Storage units 17 and 18, an important section detection unit 19, and an adaptation processing unit 20 are configured.

また、適応化装置１は、適応化処理を行う前の初期モデルである音響モデル１２と、適応化用音声データ１３とを読み込む。適応化用音声データ１３は、適応化に用いるための特定話者の音声データである。つまり、適応化用音声データ１３は、当該特定話者に特有の音響特徴量を有するものである。また、適応化装置１は、適応化用音声データ１３に対応する書き起こしデータと認識結果のデータとを読み込む。そして、適応化装置１は、適応化の結果として得られる話者適応化音響モデル２１を出力する。 In addition, the adaptation apparatus 1 reads the acoustic model 12 that is an initial model before the adaptation processing and the adaptation audio data 13. The adaptation voice data 13 is voice data of a specific speaker for use in adaptation. That is, the adaptation voice data 13 has an acoustic feature amount specific to the specific speaker. The adaptation apparatus 1 reads the transcription data corresponding to the adaptation audio data 13 and the recognition result data. And the adaptation apparatus 1 outputs the speaker adaptive acoustic model 21 obtained as a result of adaptation.

適応化装置１の各部について説明する。
書き起こしデータ記憶部１１は、適応化用音声データ１３に対応する書き起こしデータを記憶する。書き起こしデータは、予め人手等によって書き起こされたテキストデータである。書き起こしデータは、基本的には適応化用音声データにおける発話内容を表わす正解データであるが、必ずしも完全な正解データでなくても良く、多少の誤りを含んでいても良い。また、言い換えれば、この書き起こしデータは学習用（適応化用）の教師データである。 Each part of the adaptation apparatus 1 is demonstrated.
The transcription data storage unit 11 stores transcription data corresponding to the adaptation audio data 13. The transcription data is text data that has been transcribed in advance by hand or the like. The transcription data is basically correct data representing the utterance content in the adaptation voice data, but it may not necessarily be complete correct data and may contain some errors. In other words, the transcription data is learning (adaptation) teacher data.

認識結果記憶部１４は、認識処理によって予め得られている認識結果のデータを記憶する。認識結果は、不図示の認識装置が、初期モデルである音響モデル１２を用いて、適応化用音声データ１３の認識処理を行った結果得られたものである。 The recognition result storage unit 14 stores recognition result data obtained in advance by recognition processing. The recognition result is obtained as a result of a recognition device (not shown) performing recognition processing of the adaptation voice data 13 using the acoustic model 12 as an initial model.

アライメント部１５および１６は、音響モデル１２を用いて、それぞれ、テキストデータと適応化用音声データ１３（音声データ）との間の強制アライメント処理を行う。ここで、音響モデル１２は、音素と音響特徴量との間の統計的関係を表わすデータを含んで構成されるデータである。音響モデルの詳細については、後述する。 The alignment units 15 and 16 use the acoustic model 12 to perform forced alignment processing between the text data and the adaptation speech data 13 (speech data), respectively. Here, the acoustic model 12 is data including data representing a statistical relationship between phonemes and acoustic features. Details of the acoustic model will be described later.

そして、アライメント部１５は、音響モデル１２を読み込み、音響モデル１２に基づいて、読み込まれる適応化用音声データ１３と、これに対応する書き起こしデータ（書き起こしデータ記憶部１１から読み出されるテキストデータ）とを時間的にアラインすることにより、時刻に対応付けた音響尤度データを含んでなる第１アライメント結果データを生成し、アライメント結果記憶部１７に書き込む。また、アライメント部１６は、適応化用音声データ１３に対応する認識結果データを認識結果記憶部１４から読み込み、音響モデル１２に基づいて、適応化用音声データ１３と読み込んだ認識結果データとを時間的にアラインすることにより、時刻に対応付けた音響尤度データを含んでなる第２アライメント結果データを生成し、アライメント結果記憶部１８に書き込む。つまり、アライメント部１５は、書き起こしデータ記憶部１１から読み出した書き起こしデータのアライメント処理を行う。また、アライメント部１６は、認識結果記憶部１４から読み出した認識結果のアライメント処理を行う。 Then, the alignment unit 15 reads the acoustic model 12, and based on the acoustic model 12, the adaptation speech data 13 to be read and the corresponding transcription data (text data read from the transcription data storage unit 11). Are aligned in time, first alignment result data including acoustic likelihood data associated with the time is generated and written to the alignment result storage unit 17. The alignment unit 16 reads the recognition result data corresponding to the adaptation speech data 13 from the recognition result storage unit 14, and based on the acoustic model 12, the adaptation speech data 13 and the read recognition result data The second alignment result data including the acoustic likelihood data associated with the time is generated by the alignment, and is written in the alignment result storage unit 18. That is, the alignment unit 15 performs alignment processing of the transcription data read from the transcription data storage unit 11. The alignment unit 16 performs alignment processing on the recognition result read from the recognition result storage unit 14.

アライメント結果記憶部１７および１８は、それぞれ、アライメント部１５および１６によるアライメント処理の結果を記憶する。アライメント結果記憶部１７および１８が記憶するデータの構成については後述する。 The alignment result storage units 17 and 18 store the results of alignment processing performed by the alignment units 15 and 16, respectively. The configuration of data stored in alignment result storage units 17 and 18 will be described later.

重点区間検出部１９は、アライメント結果記憶部１７および１８のそれぞれからアライメント結果を読み出し、これに基づき、適応化を重点的に行う音声区問（重点適応区問）を検出する。より具体的には、重点区間検出部１９は、時刻ごとに、アライメント結果記憶部１７が記憶するデータ（第１アライメント結果データ）に含まれる音響尤度データよりも、アライメント結果記憶部１８が記憶するデータ（第２アライメント結果データ）に含まれる音響尤度データのほうが、より高い尤度を表わす場合に、当該時刻に関連付けられた区間を重点適応区間として検出する。 The priority section detection unit 19 reads the alignment result from each of the alignment result storage units 17 and 18, and based on this, detects a speech section (priority adaptation section) that focuses on adaptation. More specifically, in the important interval detection unit 19, the alignment result storage unit 18 stores more than the acoustic likelihood data included in the data (first alignment result data) stored in the alignment result storage unit 17 for each time. When the acoustic likelihood data included in the data to be performed (second alignment result data) represents a higher likelihood, the section associated with the time is detected as the priority adaptation section.

適応化処理部２０は、重点区間検出部１９が検出した重点区間の重みを、その他の区間の重みよりも大きくしながら、音響モデルの適応化処理を行ない、その結果として話者適応化音響モデル２１を出力する。 The adaptation processing unit 20 performs the acoustic model adaptation processing while making the weight of the priority section detected by the priority section detection unit 19 larger than the weight of the other sections, and as a result, the speaker adaptation acoustic model is performed. 21 is output.

音響モデル１２は、前述の通り、音素と音響特徴量との間の統計的関係を表わすデータの集合である。音響モデル１２は、音響特徴量（ベクトル）に関するＭ個の混合ガウス分布を表わすデータと、パラメータθを含む。パラメータθは、ベクトルであり、空間Θに属する。音響モデルは、不特定の話者に関するパラメータθ、あるいは特定の話者ごとのパラメータθ（話者のインデックスを付加して、θ_１，θ_２，・・・と表わしても良い）を記憶する。複数の話者に対応する場合には、音響モデルは、各々の話者について、話者識別情報と関連付けて音響モデルのパラメータの値θ_ｊ（ｊ＝１，２，・・・）を記憶する。この音響モデルを用いることにより、音声認識装置は、音響特徴量のサンプルｘ＝（ｘ_１，・・・，ｘ_Ｔ）が観測されたとき、時刻ｔにおける事後確率γ_ｔ（ｉ，ｍ）を求める。ここで、ｉは、隠れマルコフモデル（ＨＭＭ）の状態（トライフォン表記の音素に相当）である。また、ｍ（１≦ｍ≦Ｍ）は、音響モデルにおけるＭ個の混合ガウス分布のうちの一つを指すインデックス値である。 As described above, the acoustic model 12 is a set of data representing a statistical relationship between phonemes and acoustic features. The acoustic model 12 includes data representing M mixed Gaussian distributions related to acoustic features (vectors) and a parameter θ. The parameter θ is a vector and belongs to the space Θ. The acoustic model stores a parameter θ relating to an unspecified speaker or a parameter θ for each specific speaker (which may be expressed as θ ₁ , θ ₂ ,... By adding a speaker index). . In the case of dealing with a plurality of speakers, the acoustic model stores the parameter value θ _j (j = 1, 2,...) Of the acoustic model in association with the speaker identification information for each speaker. . By using this acoustic model, the speech recognition apparatus obtains the posterior probability γ _t (i, m) at time t when the acoustic feature quantity sample x = (x ₁ ,..., X _T ) is observed. Ask. Here, i is a hidden Markov model (HMM) state (corresponding to a phoneme in triphone notation). Further, m (1 ≦ m ≦ M) is an index value indicating one of M mixed Gaussian distributions in the acoustic model.

図２は、アライメント結果記憶部１７および１８がそれぞれ記憶するデータの構成を示す概略図である。図示するように、アライメント結果記憶部１７および１８のそれぞれは、表形式のデータであり、時刻と、音素と、音響尤度の各項目（桁）を有している。図中の音響尤度は、当該時刻における音響尤度（０より大きく、１未満）の対数値であり、負数である。このデータのレコード（行）は、フレームごとに存在する。また、このデータの全レコードの集合は、適応化用音声データ１３の全区間に相当する。時刻は、適応化用音声データの開始位置からの相対時刻に相当するものである。この時刻は、図示するように、フレーム番号で表わされる。フレーム番号は０または１から始まるシリアル番号である。フレーム周期は、例えば、数百分の一秒ないしは数千分の一秒である。この時刻が、この表形式のデータにおける主キーである。音素は、当該時刻における音素のラベルである。ここでは、音素のラベルはトライフォンで表わされる。つまり、現在の音素に対して、直前の音素と直後の音素を並べて表記される。例えば、時刻が「３０９」である行においては、音素は「ｔ＋ｏ」と表わされているが、これは、現在の音素が「ｔ」（日本語においてタ行の音を構成する子音）で、直前の音素が無く、直後の音素が「ｏ」（母音の「オ」）であることを示している。同様に、時刻が「３１４」である行においては、音素は「ｔ−ｏ＋ｋ」と表わされているが、これは、現在の音素が「ｏ」で、直前の音素が「ｔ」で、直後の音素が「ｋ」であることを示している。一般に、現在の音素「Ｘ」に対して、直前の音素が「Ｌ」で、直後の音素が「Ｒ」であるときには、「Ｌ−Ｘ＋Ｒ」の形でトライフォンが表わされる。 FIG. 2 is a schematic diagram showing the configuration of data stored in alignment result storage units 17 and 18, respectively. As shown in the drawing, each of the alignment result storage units 17 and 18 is tabular data, and has items (digits) of time, phoneme, and acoustic likelihood. The acoustic likelihood in the figure is a logarithmic value of the acoustic likelihood (greater than 0 and less than 1) at the time, and is a negative number. A record (row) of this data exists for each frame. A set of all records of this data corresponds to all sections of the adaptation audio data 13. The time corresponds to a relative time from the start position of the adaptation audio data. This time is represented by a frame number as shown. The frame number is a serial number starting from 0 or 1. The frame period is, for example, hundreds of seconds or thousands of seconds. This time is the primary key in this tabular data. The phoneme is a label of the phoneme at the time. Here, the phoneme label is represented by a triphone. That is, the immediately preceding phoneme and the immediately following phoneme are displayed side by side with respect to the current phoneme. For example, in the line where the time is “309”, the phoneme is expressed as “t + o”. This is because the current phoneme is “t” (consonant that constitutes the sound of a line in Japanese) , There is no immediately preceding phoneme, and the immediately following phoneme is “o” (vowel “o”). Similarly, in the line where the time is “314”, the phoneme is expressed as “t−o + k”, which is that the current phoneme is “o”, the previous phoneme is “t”, It indicates that the immediately following phoneme is “k”. In general, when the immediately preceding phoneme is “L” and the immediately following phoneme is “R” with respect to the current phoneme “X”, the triphone is represented in the form of “L−X + R”.

図３は、適応化装置１による適応化処理の手順を示すフローチャートである。以下、このフローチャートに沿って、詳細な手順を説明する。 FIG. 3 is a flowchart showing the procedure of the adaptation process by the adaptation apparatus 1. The detailed procedure will be described below along this flowchart.

まずステップＳ１において、アライメント部１５および１６が、それぞれ、アライメント処理を行う。アライメント部１５は、音響モデル１２を用いて、書き起こしデータ記憶部１１から読み出した書き起こしデータを、適応化用音声データ１３に強制アライメントする。また、アライメント部１５は、音響モデル１２を用いて、認識結果記憶部１４から読み出した認識結果のテキストデータを、適応化用音声データ１３に強制アライメントする。なお、アライメント処理自体は既存技術を用いて行なうことが可能である。アライメント部１５および１６は、それぞれ、書き起こしデータおよび認識結果テキストを音素列に変換し、それらの音素列を、時間軸上で最尤の位置となるように、適応化用音声データから得られるフレームごとの音響特徴量の列にアラインする。なお、時間軸上で最尤の位置となるようにアラインするために、アライメント部１５および１６は、上記の音素列と上記の音響特徴量との間の統計的関係を音響モデル１２から読み出し、適宜尤度を計算しながら探索を行うことによって、尤度最大となるようなアライメントを得る。アライメント部１５および１６は、アライメント処理の結果、音素（トライフォン）と音響尤度のペアを、フレームごとのシーケンスとして、それぞれ、アライメント結果記憶部１７および１８に書き込む。なお、適応化用音声データにおいては、音響特徴量と時刻（フレーム番号）とは元々関連付けられている。 First, in step S1, the alignment units 15 and 16 each perform an alignment process. The alignment unit 15 uses the acoustic model 12 to forcibly align the transcription data read from the transcription data storage unit 11 to the adaptation voice data 13. Further, the alignment unit 15 forcibly aligns the recognition result text data read from the recognition result storage unit 14 with the adaptation voice data 13 using the acoustic model 12. The alignment process itself can be performed using existing technology. The alignment units 15 and 16 respectively convert the transcription data and the recognition result text into phoneme strings, and obtain these phoneme strings from the speech data for adaptation so that they are at the most likely positions on the time axis. Align to the acoustic feature column for each frame. In addition, in order to align so as to be the most likely position on the time axis, the alignment units 15 and 16 read the statistical relationship between the phoneme string and the acoustic feature amount from the acoustic model 12, By performing a search while calculating the likelihood as appropriate, an alignment that maximizes the likelihood is obtained. As a result of the alignment process, the alignment units 15 and 16 write phoneme (triphone) and acoustic likelihood pairs to the alignment result storage units 17 and 18 as sequences for each frame, respectively. In the adaptation audio data, the acoustic feature value and the time (frame number) are originally associated with each other.

次にステップＳ２からＳ５までの処理で、重点区間検出部１９は、重点適応区間の検出を行なう。 Next, in the processes from step S2 to step S5, the important section detection unit 19 detects the priority adaptation section.

ステップＳ２においては、重点区間検出部１９は、時刻（フレーム番号）を表わす制御用の記憶領域（変数ｔ）をゼロにリセットする。
次にステップＳ３において、重点区間検出部１９は、時刻ｔにおける、認識結果と書き起こしデータとの間の音響尤度差を計算する。アライメントされた書き起こしデータによる、時刻ｔにおける音響尤度（アライメント結果記憶部１７の、時刻ｔの行から読み出される値）をＬ^Ｒ（ｔ）とする。また、アライメントされた認識結果による、時刻ｔにおける音響尤度（アライメント結果記憶部１８の、時刻ｔの行から読み出される値）をＬ^Ｈ（ｔ）とする。このとき、時刻ｔにおける音響尤度差ΔＬ（ｔ）は、次の式（１）で計算される。 In step S2, the important section detection unit 19 resets the control storage area (variable t) representing the time (frame number) to zero.
Next, in step S3, the important section detector 19 calculates the acoustic likelihood difference between the recognition result and the transcription data at time t. ^Let L ^R (t) be the acoustic likelihood at time t (value read from the row at time t in the alignment result storage unit 17) based on the aligned transcription data. Further, the acoustic likelihood at time t (value read from the row at time t in the alignment result storage unit 18) based on the aligned recognition result is defined as L ^H (t). At this time, the acoustic likelihood difference ΔL (t) at time t is calculated by the following equation (1).

重点区間検出部１９は、計算された音響尤度差ΔＬ（ｔ）の値が正のとき、時刻ｔによって代表される区間（フレーム）では、認識結果による音響尤度が書き起こしデータによる音響尤度よりも大きいことから、当該区間を重点適応区間として検出する。逆に、ΔＬ（ｔ）の値が零または負のとき、重点区間検出部１９は、時刻ｔによって代表される区間（フレーム）を重点区間としない。上記のようにΔＬ（ｔ）の値が正である音声区間を重点適応区間とする理由は、書き起こしデータ（正解データ）よりも認識結果の方が優位である区間が、特に適応化が必要な区間であるからである。 When the value of the calculated acoustic likelihood difference ΔL (t) is positive, the important interval detection unit 19 transcribes the acoustic likelihood based on the recognition result in the interval (frame) represented by the time t, and the acoustic likelihood based on the data. Since it is larger than the degree, the section is detected as the priority adaptation section. On the other hand, when the value of ΔL (t) is zero or negative, the priority section detection unit 19 does not set the section (frame) represented by the time t as the priority section. The reason why the speech section having a positive ΔL (t) value as described above is set as the priority adaptation section is that the section in which the recognition result is superior to the transcription data (correct data) needs to be particularly adapted. This is because it is a long section.

次にステップＳ４において、重点区間検出部１９は、時刻を指し示す変数ｔを次に進める。本実施形態では、時刻がフレームのシリアル番号で表わされているため、変数ｔをインクリメントする。
次にステップＳ５において、重点区間検出部１９は、適応化用音声データ１３を全てサーチし終えたか否かを判断する。全てサーチし終えた場合（ステップＳ５：ＹＥＳ）には、次のステップＳ６に進む。まだサーチし終えていない場合（ステップＳ５：ＮＯ）には、ステップＳ３に戻って次のフレームの処理を続ける。 Next, in step S4, the important section detection unit 19 advances the variable t indicating the time next. In this embodiment, since the time is represented by the serial number of the frame, the variable t is incremented.
Next, in step S <b> 5, the priority section detection unit 19 determines whether or not all the adaptation voice data 13 has been searched. If all the searches have been completed (step S5: YES), the process proceeds to the next step S6. If the search has not been completed yet (step S5: NO), the process returns to step S3 to continue processing the next frame.

次にステップＳ６に進んだ場合には、適応化処理部２０が、重点適応区間により大きい重みを与えながら、適応化処理を行う。この適応化処理の詳細を次に記載する。 Next, when the process proceeds to step S6, the adaptation processing unit 20 performs an adaptation process while giving a larger weight to the priority adaptation section. Details of this adaptation processing will be described next.

適応化処理部２０は、ＭＬＬＲ適応とＭＡＰ適応を行なう。これらの適応化処理自体は、既存技術を用いて行える。このとき、適応化処理部２０は、適応化用音声データ１３から得られる音響特徴量の列と、パラメータベクトルθによる音響モデル１２とから、正解候補の音素列の確率を計算する。そして、適応化処理部２０は、これにより得られる認識結果候補の音素列（およびその確率）と、教師データである書き起こしデータに対応する音素列との一致度合いから、パラメータベクトルθを評価する。書き起こしデータに対応する音素列は、アライメント結果記憶部１７から読み出される。そして、適応化処理部２０は、適切に定義された評価関数の値が最適値に近付くように、θを探索する。探索アルゴリズムとしては、例えばＥＭアルゴリズムを用いる。その際、適応化処理部２０は、フォワードバックワードアルゴリズムにより、時刻ｔにおける事後確率γ_ｔ（ｉ，ｍ）を求める。ここで、ｉは、隠れマルコフモデル（ＨＭＭ）の状態（トライフォン表記の音素に相当）である。また、ｍ（１≦ｍ≦Ｍ）は、音響モデルにおけるＭ個の混合ガウス分布のうちの一つを指すインデックス値である。そして、本実施形態による適応化処理部２０は、適応化を行なう際には、上記の事後確率γ_ｔ（ｉ，ｍ）をそのまま用いるのではなく、重点適応区間により大きい重みを与えるために、下の式（２）によって算出される事後確率γ´_ｔ（ｉ，ｍ）を用いる。 The adaptation processing unit 20 performs MLLR adaptation and MAP adaptation. These adaptation processes themselves can be performed using existing technology. At this time, the adaptation processing unit 20 calculates the probability of the correct candidate phoneme sequence from the acoustic feature value sequence obtained from the adaptation speech data 13 and the acoustic model 12 based on the parameter vector θ. Then, the adaptation processing unit 20 evaluates the parameter vector θ from the degree of coincidence between the phoneme string (and its probability) of the recognition result candidate obtained thereby and the phoneme string corresponding to the transcription data that is the teacher data. . A phoneme string corresponding to the transcription data is read from the alignment result storage unit 17. Then, the adaptation processing unit 20 searches for θ so that the value of the appropriately defined evaluation function approaches the optimal value. For example, an EM algorithm is used as the search algorithm. In that case, the adaptation process part 20 calculates | requires posterior probability (gamma) _t (i, m) in the time t by a forward backward algorithm. Here, i is a hidden Markov model (HMM) state (corresponding to a phoneme in triphone notation). Further, m (1 ≦ m ≦ M) is an index value indicating one of M mixed Gaussian distributions in the acoustic model. Then, the adaptation processing unit 20 according to the present embodiment does not use the posterior probability γ _t (i, m) as it is when adapting, but gives a greater weight to the priority adaptation interval. The posterior probability γ ′ _t (i, m) calculated by the following equation (2) is used.

なお、式（２）において、αは重点適応の重み定数であり、βは閾値である。なお、αおよびβはともに正の設定値である。αおよびβの具体的な値の例については後述する（実施例１）。 In equation (2), α is a weighting constant for priority adaptation, and β is a threshold value. Α and β are both positive set values. Examples of specific values of α and β will be described later (Example 1).

つまり、式（２）で表わされる通り、適応化処理部２０は、ΔＬ（ｔ）≦０である音声区間においては、重みをかけずに、γ_ｔ（ｉ，ｍ）をそのままγ´_ｔ（ｉ，ｍ）の値として用いる。また、０＜ΔＬ（ｔ）である音声区間（重点適応区間）においては、γ_ｔ（ｉ，ｍ）よりも大きい値をγ´_ｔ（ｉ，ｍ）の値として用いる。式（２）の例では、０＜ΔＬ（ｔ）≦βである音声区間においては、ΔＬ（ｔ）の値に対する線形な増分がγ_ｔ（ｉ，ｍ）に加算されている。また、β＜ΔＬ（ｔ）である音声区間においては、一律にα・β・γ_ｔ（ｉ，ｍ）がγ_ｔ（ｉ，ｍ）に加算されている。つまり、式（２）によってγ´_ｔ（ｉ，ｍ）を計算するのは、ΔＬ（ｔ）が正である音声区間の事後確率γ_ｔ（ｉ，ｍ）に対して線形に大きな重みを与える例（但し、所定の閾値以上では、一定値にカットオフ）である。 In other words, as represented by the formula (2), the adaptive processing section 20, in the [Delta] L (t) ≦ 0 a is the voice section, without the weight, gamma _t (i, m) as it gamma prime _t ( Used as the value of i, m). Furthermore, 0 <in [Delta] L (t) is a voice section (Priority adapter section) is used as the value of gamma _t (i, m) greater than gamma prime _t (i, m). In the example of Expression (2), in a speech section where 0 <ΔL (t) ≦ β, a linear increment with respect to the value of ΔL (t) is added to γ _t (i, m). Further, in the speech section where β <ΔL (t), α · β · γ _t (i, m) is uniformly added to γ _t (i, m). In other words, to calculate the gamma prime _t (i, m) by equation (2) is the posterior probability gamma _t (i, m) of the speech segment [Delta] L (t) is in positive giving greater weight linearly with respect to This is an example (however, above a predetermined threshold, it is cut off to a constant value).

式（２）の代わりに、非線形な重みを与えてγ´_ｔ（ｉ，ｍ）を計算しても良い。非線形な重みを与えるためには、例えば、適応化処理部２０は、下の式（３）によってγ´_ｔ（ｉ，ｍ）を計算する。 Instead of equation (2), γ ′ _t (i, m) may be calculated by giving a non-linear weight. In order to give a non-linear weight, for example, the adaptation processing unit 20 calculates γ ′ _t (i, m) by the following equation (3).

式（３）におけるαおよびβは、ともに正の設定値である。また、ｅはネイピア数である。式（３）によって算出されるγ´_ｔ（ｉ，ｍ）の値は、ΔＬ（ｔ）の増加に対して単調増加である。また、γ_ｔ（ｉ，ｍ）＜γ´_ｔ（ｉ，ｍ）＜（１＋α）・γ_ｔ（ｉ，ｍ）である。 Α and β in equation (3) are both positive set values. E is the number of Napiers. The value of γ ′ _t (i, m) calculated by Equation (3) is monotonically increasing with respect to the increase in ΔL (t). Further, γ _t (i, m) <γ ′ _t (i, m) <(1 + α) · γ _t (i, m).

さらに式（３）の変形例として、適応化処理部２０が、下の式（４）によってγ´_ｔ（ｉ，ｍ）を計算するようにしても良い。 Further, as a modification of Expression (3), the adaptation processing unit 20 may calculate γ ′ _t (i, m) by the following Expression (4).

このように、適応化処理部２０は、時刻ｔに応じて、ｔで表わされる区間に対する重み付けをしながら適応化の処理を行なう。式（２）、式（３）、式（４）のいずれを用いる場合も、あるいはその他の重み（ΔＬ（ｔ）に関してγ´_ｔ（ｉ，ｍ）が単調増加となるような重み）を用いる場合も、次の作用を有する。即ち、適応化処理部２０は、重点適応区間に関して、ΔＬ（ｔ）が大きいほど（つまり、Ｌ^Ｈ（ｔ）とＬ^Ｒ（ｔ）との差が大きいほど、さらに言い換えれば、アライメント結果記憶部１８（第２アライメント結果データ）に含まれる音響尤度データが表わす尤度とアライメント結果記憶部１７（第１アライメント結果データ）に含まれる音響尤度データが表わす尤度との差が大きいほど）、より大きな重み付けをその重点適応区間に付与しながら、音響モデルを適応化する、 As described above, the adaptation processing unit 20 performs the adaptation process while weighting the section represented by t according to the time t. When using any of Equation (2), Equation (3), or Equation (4), or using other weights (weights such that γ ′ _t (i, m) monotonically increases with respect to ΔL (t)). Also in the case, it has the following action. That is, the adaptation processing unit 20 further increases the difference ΔL (t) (that is, the difference between L ^H (t) and L ^R (t) with respect to the priority adaptation interval, and in other words, the alignment result storage unit. 18 (the greater the difference between the likelihood represented by the acoustic likelihood data included in 18 (second alignment result data) and the likelihood represented by the acoustic likelihood data included in alignment result storage unit 17 (first alignment result data)). , Adapting the acoustic model while giving a higher weight to the priority adaptation interval,

［第２の実施形態］
図４は、本発明の第２の実施形態による音声認識装置の機能構成を示すブロック図である。本実施形態による音声認識装置２は、第１の実施形態で述べた適応化装置１を内部に備えている。そして、図示するように、音声認識装置２は、適応化装置１と、音響モデル記憶部１１２と、認識処理部１５３とを含んで構成される。 [Second Embodiment]
FIG. 4 is a block diagram showing a functional configuration of the speech recognition apparatus according to the second embodiment of the present invention. The speech recognition apparatus 2 according to this embodiment includes the adaptation apparatus 1 described in the first embodiment. As illustrated, the speech recognition device 2 includes an adaptation device 1, an acoustic model storage unit 112, and a recognition processing unit 153.

音声認識装置２は、外部から音声データを取得し、この音声データに対応する認識結果を出力する。ここで、認識処理部１５３は、音響モデル記憶部１１２から読み出す音響モデルと、不図示の言語モデルとを用いて、音声データに対応する音響特徴量列に対して最尤なテキストを探索し、出力する。認識処理部１５３のこの処理自体は、既存の音声認識技術を用いて実現される。また、音響モデル記憶部１１２は、話者ごとに音響モデルを記憶する。言い換えれば、音響モデル記憶部１１２は、各々の話者について、話者識別情報と関連付けて音響モデルのパラメータの値を記憶する。 The voice recognition device 2 acquires voice data from the outside and outputs a recognition result corresponding to the voice data. Here, the recognition processing unit 153 uses the acoustic model read from the acoustic model storage unit 112 and a language model (not shown) to search for the most likely text with respect to the acoustic feature amount sequence corresponding to the speech data, Output. This processing itself of the recognition processing unit 153 is realized using an existing speech recognition technology. The acoustic model storage unit 112 stores an acoustic model for each speaker. In other words, the acoustic model storage unit 112 stores the parameter values of the acoustic model for each speaker in association with the speaker identification information.

適応化装置１は、音響モデル記憶部１１２から音響モデルを読み込む。これは、第１の実施形態において適応化装置１が音響モデル１２（図１）を読み込んだことに相当する。また、適応化装置１は、第１の実施形態でも述べたように、認識処理部１５３が出力した認識結果を取得する。また、適応化装置１は、第１の実施形態でも述べたように、認識処理部１５３による認識処理とは独立に別途書き起こされた書き起こしデータを読み込む。また、適応化装置１は、外部から入力された音声データを取得する。この音声データは、第１の実施形態で述べた適応化用音声データ１３（図１）に相当する。 The adaptation device 1 reads the acoustic model from the acoustic model storage unit 112. This corresponds to the adaptation apparatus 1 reading the acoustic model 12 (FIG. 1) in the first embodiment. Further, as described in the first embodiment, the adaptation apparatus 1 acquires the recognition result output from the recognition processing unit 153. Further, as described in the first embodiment, the adaptation apparatus 1 reads the transcription data separately transcribed independently of the recognition processing by the recognition processing unit 153. Moreover, the adaptation apparatus 1 acquires the audio | speech data input from the outside. This audio data corresponds to the adaptation audio data 13 (FIG. 1) described in the first embodiment.

これら入力されるデータを元に、適応化装置１は、第１の実施形態で述べた手順で適応化の処理を行い、話者適応化された音響モデルを出力する。適応化装置１は、この話者適応化された音響モデルによって、音響モデル記憶部１１２を更新する。これにより、音声認識装置２の音響モデルは、特定の話者に適応化される。話者適応化のために用いる音声データは、一発話分（ここで、一発話とは、無音区間を始端境界および終端境界として切り出される音声区間とする）であっても良く、数発話分であっても良い。また、所定の時間（例えば、５秒）で区切った音声データを適応化用音声データとして用いても良い。このように特定話者に適応化された音響モデルを用いることにより、音声認識装置２が特定話者の音声を認識する際の認識精度を向上させることができる。 Based on these input data, the adaptation apparatus 1 performs an adaptation process according to the procedure described in the first embodiment, and outputs a speaker-adapted acoustic model. The adaptation apparatus 1 updates the acoustic model storage unit 112 with the speaker-adapted acoustic model. Thereby, the acoustic model of the speech recognition apparatus 2 is adapted to a specific speaker. The voice data used for speaker adaptation may be for one utterance (here, one utterance is a voice section cut out with a silent section as a start boundary and an end boundary). There may be. Further, audio data divided at a predetermined time (for example, 5 seconds) may be used as the adaptation audio data. By using the acoustic model adapted to the specific speaker in this way, the recognition accuracy when the speech recognition apparatus 2 recognizes the voice of the specific speaker can be improved.

また、適応化装置１による音響モデルの適応化を複数回繰り返して行なっても良い。この場合、一回の適応化処理ごとに音響モデル記憶部１１２が更新される。そして、その一回ごとに当該話者に関して音響モデルが適応化され、その音響モデルを用いた音声認識処理の精度がその都度向上する。 Further, the adaptation of the acoustic model by the adaptation device 1 may be repeated a plurality of times. In this case, the acoustic model storage unit 112 is updated for each adaptation process. And an acoustic model is adapted about the said speaker for every time, and the precision of the speech recognition process using the acoustic model improves each time.

本実施形態の構成を整理すると、次の通りである。即ち、適応化装置１が具備するアライメント部１５（第１アライメント部）は、音響モデル記憶部１１２から読み込んだ音響モデルに基づいて、認識処理部１５３による認識処理の対象となる音声データとテキストデータとを時間的にアラインし、適応化装置１が具備するアライメント部１６（第１アライメント部）は、音響モデル記憶部１１２から読み込んだ音響モデルに基づいて、音声データと認識処理部１５３による認識処理の結果得られる認識結果データとを時間的にアラインする。また、適応化装置１が具備する適応化処理部２０は、適応化した結果得られる適応化音響モデルを音響モデル記憶部１１２に書き込む。つまり、適応化処理部２０が、適応化用音声データ１３に対応する話者の音響モデルを更新する。 The configuration of the present embodiment is organized as follows. In other words, the alignment unit 15 (first alignment unit) included in the adaptation apparatus 1 is based on the acoustic model read from the acoustic model storage unit 112, and the speech data and text data to be subjected to recognition processing by the recognition processing unit 153. Are aligned in time, and the alignment unit 16 (first alignment unit) included in the adaptation apparatus 1 recognizes the speech data and the recognition processing unit 153 based on the acoustic model read from the acoustic model storage unit 112. And the recognition result data obtained as a result of the above are temporally aligned. In addition, the adaptation processing unit 20 included in the adaptation apparatus 1 writes an adaptive acoustic model obtained as a result of adaptation in the acoustic model storage unit 112. That is, the adaptation processing unit 20 updates the speaker acoustic model corresponding to the adaptation speech data 13.

［第３の実施形態］
図５は、本発明の第３の実施形態による音声認識装置の機能構成を示すブロック図である。本実施形態による音声認識装置３は、第１の実施形態で述べた適応化装置１を内部に備えている。そして、図示するように、音声認識装置３は、適応化装置１と、音響モデル記憶部１１２と、認識処理部１５３と、認識結果記憶部１５４と、第１言語モデル記憶部１６１と、第２言語モデル記憶部１６２とを含んで構成される。 [Third Embodiment]
FIG. 5 is a block diagram showing a functional configuration of a speech recognition apparatus according to the third embodiment of the present invention. The speech recognition device 3 according to the present embodiment includes the adaptation device 1 described in the first embodiment. As illustrated, the speech recognition device 3 includes the adaptation device 1, the acoustic model storage unit 112, the recognition processing unit 153, the recognition result storage unit 154, the first language model storage unit 161, and the second And a language model storage unit 162.

同図における適応化装置１は、第１の実施形態で述べた構成を有している。また、音響モデル記憶部１１２と認識処理部１５３については、第２の実施形態で述べた通りである。本実施形態特有の構成は、第１言語モデル記憶部１６１および第２言語モデル記憶部１６２が、それぞれ互いと異なる形態の言語モデルを記憶している点である。 The adaptation apparatus 1 in the figure has the configuration described in the first embodiment. Further, the acoustic model storage unit 112 and the recognition processing unit 153 are as described in the second embodiment. The configuration unique to this embodiment is that the first language model storage unit 161 and the second language model storage unit 162 store different types of language models.

そして、認識処理部１５３は、まず第１段階で、第１言語モデル記憶部１６１に記憶されている言語モデルを用いて認識処理を行ない、その認識結果を認識結果記憶部１５４に書き込む。認識処理部１５３は、その後の第２段階で、第２言語モデル記憶部１６２に記憶されている言語モデルを用いて認識処理を行なう。このとき、第１言語モデル記憶部１６１と第２言語モデル記憶部１６２に記憶されている言語モデルが互いに異なるため、認識処理部１５３による認識結果も若干異なったものとなる。そして、適応化装置１は、上記第２段階において、認識結果記憶部１５４から読み出した認識結果のテキストを、第１の実施形態において説明した書き起こしデータの代わりとして読み込む。また、第２段階において認識処理部１５３から出力された認識結果のテキストを、第１の実施形態において説明した認識結果として読み込む。これらの入力を用いて、適応化装置１は、適応化処理を行ない、その結果得られる話者適応化音響モデルを用いて、音響モデル記憶部１１２を更新する。 The recognition processing unit 153 first performs recognition processing using the language model stored in the first language model storage unit 161 in the first stage, and writes the recognition result in the recognition result storage unit 154. The recognition processing unit 153 performs recognition processing using the language model stored in the second language model storage unit 162 in the second stage thereafter. At this time, since the language models stored in the first language model storage unit 161 and the second language model storage unit 162 are different from each other, the recognition results by the recognition processing unit 153 are also slightly different. In the second stage, the adaptation apparatus 1 reads the text of the recognition result read from the recognition result storage unit 154 as a substitute for the transcription data described in the first embodiment. In addition, the text of the recognition result output from the recognition processing unit 153 in the second stage is read as the recognition result described in the first embodiment. Using these inputs, the adaptation apparatus 1 performs an adaptation process, and updates the acoustic model storage unit 112 using the speaker adaptive acoustic model obtained as a result.

第２の実施形態においては、音声認識装置３では、適応化用音声データに対応する書き起こしデータを手作業等によって予め用意する必要があった。それに対して、この第３の実施形態では、第１段階において第１言語モデル記憶部１６１を参照しながら行なった認識処理で認識処理部１５３が出力した認識結果を、一時的に認識結果記憶部１５４に記憶させ、第２段階において書き起こしデータの代わりに用いる。従って、音声認識装置３は、予め書き起こしデータを作成する必要がなく、手間を削減できる。 In the second embodiment, the speech recognition device 3 needs to prepare in advance the transcription data corresponding to the adaptation speech data by manual work or the like. On the other hand, in the third embodiment, the recognition result output by the recognition processing unit 153 in the recognition processing performed while referring to the first language model storage unit 161 in the first stage is temporarily used as the recognition result storage unit. 154 and used in place of the transcription data in the second stage. Therefore, the voice recognition device 3 does not need to create transcription data in advance, and can save time and effort.

なお、一例としては、第１言語モデル記憶部１６１には、トライグラム（trigram）の言語モデルを記憶させる。また第２言語モデル記憶部１６２には、バイグラム（bigram）の言語モデルを記憶させる。バイグラムの言語モデルは、連鎖数が２である言語要素（単語等）の連鎖の統計的出現確率を用いた言語モデルである。トライグラムの言語モデルは、連鎖数が３である言語要素（単語等）の連鎖の統計的出現確率を用いた言語モデルである。 As an example, the first language model storage unit 161 stores a trigram language model. The second language model storage unit 162 stores a bigram language model. The bigram language model is a language model using a statistical appearance probability of a chain of language elements (words, etc.) having a chain number of two. The language model of the trigram is a language model using a statistical appearance probability of a chain of language elements (such as words) having a chain number of 3.

なお、上述した各実施形態における適応化装置、音声認識装置の機能の全部または一部をコンピューターで実現するようにしても良い。その場合、これらの機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 In addition, you may make it implement | achieve all or one part of the functions of the adaptation apparatus and speech recognition apparatus in each embodiment mentioned above with a computer. In that case, the program for realizing these functions may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, a “computer-readable recording medium” dynamically holds a program for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included, and a program that holds a program for a certain time. The program may be a program for realizing a part of the above-described functions, or may be a program that can realize the above-described functions in combination with a program already recorded in a computer system.

以上、複数の実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
例えば、単独の話者ごとの音響モデルを適応化する代わりに、音響的に似た特徴を有する複数の話者で構成される話者クラスタごとに、音響モデルを適応化するようにしても良い。 Although a plurality of embodiments have been described above, the present invention can also be implemented in the following modifications.
For example, instead of adapting the acoustic model for each individual speaker, the acoustic model may be adapted for each speaker cluster composed of a plurality of speakers having acoustically similar characteristics. .

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

放送局で用いるための音声認識システムに、本発明の適応化装置１を適用した。同システムは、音声認識処理を利用して、生放送番組に字幕（テキスト）を付与するシステムである。同システムは、生放送の情報番組で流される音声を聞きながらリスピーク（再発話）する２人のリスピーカーの音声を認識する。リスピーカーは十分に訓練された話者である。まず、リスピーカーの役割を果たす特定話者２人（便宜上、ＡおよびＢと呼ぶ）の音声（約３時間分）を用いて、隠れマルコフモデルによる不特定話者用の音響モデルを、事前に、ＡおよびＢのそれぞれ用に適応化しておく。これらを初期音響モデル（それぞれ、モデルＡ_０およびモデルＢ_０）として用いる。そして、２人のリスピーカーは、放送中にオンラインで、適当な発話区切りごとに交替で、交互に発話する。そして、音声認識システムは、話者Ａが発話している間には、Ａの音声を認識する処理を行なうとともに、話者交替以前の話者Ｂの発話の認識結果を用いて話者Ｂ用のモデルＢ_ｎを適応化してモデルＢ_ｎ＋１に更新する（ｎは整数）。また、逆に、話者Ｂが発話している間には、Ｂの音声を認識する処理を行なうとともに、話者交替以前の話者Ａの発話の認識結果を用いて話者Ａ用のモデルＡ_ｎを適応化してモデルＡ_ｎ＋１に更新する。これを繰り返していく。 The adaptation apparatus 1 of the present invention is applied to a voice recognition system for use in a broadcasting station. This system is a system for giving subtitles (text) to a live broadcast program using voice recognition processing. The system recognizes the voices of two re-speakers who are lispeaking (repeating) while listening to the voices played in live broadcast information programs. Respeakers are fully trained speakers. First, an acoustic model for an unspecified speaker based on a hidden Markov model is preliminarily used by using voices (about 3 hours) of two specific speakers (referred to as A and B for convenience) serving as respeakers. , A and B are adapted for each. These are used as initial acoustic models (model A ₀ and model B ₀ , respectively). Then, the two re-speakers speak in turn during the broadcast, alternately at appropriate utterance breaks. And while the speaker A is speaking, the voice recognition system performs processing for recognizing the voice of A, and for the speaker B using the recognition result of the speaker B's utterance before the speaker change. Model B _n is adapted and updated to model B _{n + 1} (n is an integer). On the other hand, while speaker B is speaking, a process for recognizing B's voice is performed and a model for speaker A is used using the recognition result of speaker A's utterance before speaker change. _An is adapted and updated to the model _{An + 1} . Repeat this.

上記の、不特定話者用の音響モデルは、５状態３自己ループの状態共有トライフォンＨＭＭ（４０００状態、１６混合分布）である。認識用に用いた言語モデルは大量の放送番組の書き起こし等（４１２Ｍ単語）によって学習した語彙サイズ９３ｋのトライグラムモデルと、番組ごとの関連テキスト（１７ｋ単語）によって構築したトライグラムモデルを線形補間したものである。 The above acoustic model for unspecified speakers is a 5-state 3 self-loop state-sharing triphone HMM (4000 states, 16 mixed distributions). The language model used for recognition is a linear interpolation between a trigram model with a vocabulary size of 93k learned by transcription of a large number of broadcast programs (412M words) and a trigram model constructed with related text (17k words) for each program. It is a thing.

認識実験および話者適応化のための認識仮説の生成には、第１パスでバイグラムによる単語依存Ｎ−ｂｅｓｔ探索、第２パスでトライグラムリスコアリングする逐次２パスデコーダを使用した。また、適応化手法としては、次の３手法を用いて比較した。（ａ）ベースライン：従来の技術によるＭＬＬＲ、ＭＡＰで適応化する。（ｂ）トライグラム：最尤認識仮説として第２パスの最尤仮説を用いて、重点適応区間を決定する。（ｃ）バイグラム：最尤認識仮説として第１パスの最尤仮説を用いて、重点適応区間を決定する。 For the recognition experiment and the generation of recognition hypotheses for speaker adaptation, a sequential 2-pass decoder that uses word-dependent N-best search by bigram in the first pass and trigram rescoring in the second pass was used. As an adaptation method, the following three methods were used for comparison. (A) Baseline: Adaptation using MLLR and MAP according to the conventional technology. (B) Trigram: The priority adaptation interval is determined using the maximum likelihood hypothesis of the second pass as the maximum likelihood recognition hypothesis. (C) Bigram: Uses the maximum likelihood hypothesis of the first pass as the maximum likelihood recognition hypothesis to determine the priority adaptation interval.

ここで、ＭＬＬＲ適応およびＭＡＰ適応を行なう際に、重み付き事後確率γ´_ｔ（ｉ，ｍ）を算出するためには、前記の式（２）を用いた。また、式（２）における設定値αおよびβとしては、次の値を用いた。即ち、β＝２５．０（固定値）とした。
また、αは、状況に応じて次の通りとした。
バイグラムの場合（上記（ｃ））、初期の音響モデルの生成時には、ＭＬＬＲ適応ではα＝１０．０、ＭＡＰ適応ではα＝０．３とした。オンライン適応化時には、ＭＬＬＲ適応ではα＝２０．０、ＭＡＰ適応ではα＝０．６とした。
トライグラムの場合（上記（ｂ））、初期の音響モデルの生成時には、ＭＬＬＲ適応ではα＝２０．０、ＭＡＰ適応ではα＝０．３とした。オンライン適応化時には、ＭＬＬＲ適応ではα＝１００．０、ＭＡＰ適応ではα＝１．５とした。 Here, when performing MLLR adaptation and MAP adaptation, the above formula (2) is used to calculate the weighted posterior probability γ ′ _t (i, m). Further, the following values were used as the setting values α and β in the equation (2). That is, β = 25.0 (fixed value).
Α is set as follows according to the situation.
In the case of bigram ((c) above), when generating the initial acoustic model, α = 10.0 for MLLR adaptation and α = 0.3 for MAP adaptation. At online adaptation, α = 20.0 for MLLR adaptation and α = 0.6 for MAP adaptation.
In the case of a trigram (above (b)), α = 20.0 for MLLR adaptation and α = 0.3 for MAP adaptation when generating the initial acoustic model. During online adaptation, α = 100.0 for MLLR adaptation and α = 1.5 for MAP adaptation.

この実施例による結果は、下の表１の通りである。この表は、話者Ａ、話者Ｂ、および全体のそれぞれについて、重点適応区間がない場合（上記（ａ））と重点適応区間がある場合（上記（ｂ）および（ｃ））の、単語誤り率（ＷＥＲ，Word Error Rate）を示している。いずれも、重点適応区間なしで音響モデルを適応化するよりも、重点適応区間ありで音響モデルを適応化したほうが、単語誤り率が下がっている。つまり、重点適応区間ありで適応化したほうが高い効果が得られることが確認された。 The results according to this example are shown in Table 1 below. This table shows the words for speaker A, speaker B, and the whole when there is no important adaptation interval (above (a)) and when there is an important adaptation interval (above (b) and (c)). The error rate (WER, Word Error Rate) is shown. In either case, the word error rate is lower when the acoustic model is adapted with the important adaptation section than when the acoustic model is adapted without the important adaptation section. In other words, it was confirmed that the higher effect can be obtained by adapting with the priority adaptation section.

本発明は、音声の音響的特徴を用いた統計的処理に利用可能である。特に、本発明は、音声認識処理に利用可能である。さらに、本発明は、音声認識処理を利用して放送番組等の音声に対応したテキストデータ（字幕データ）を生成する処理に利用可能である。 The present invention can be used for statistical processing using acoustic features of speech. In particular, the present invention can be used for speech recognition processing. Furthermore, the present invention can be used for a process of generating text data (caption data) corresponding to the sound of a broadcast program or the like using a voice recognition process.

１適応化装置
２，３音声認識装置
１１書き起こしデータ記憶部
１２音響モデル
１３適応化用音声データ（音声データ）
１４認識結果記憶部
１５アライメント部（第１アライメント部，第１アライメント手段）
１６アライメント部（第２アライメント部，第２アライメント手段）
１７アライメント結果記憶部（第１アライメント結果データ）
１８アライメント結果記憶部（第２アライメント結果データ）
１９重点区間検出部（重点区間検出手段）
２０適応化処理部（適応化処理手段）
１１２音響モデル記憶部
１５３認識処理部
１５４認識結果記憶部
１６１第１言語モデル記憶部
１６２第２言語モデル記憶部 DESCRIPTION OF SYMBOLS 1 Adaptation apparatus 2, 3 Speech recognition apparatus 11 Transcription data storage part 12 Acoustic model 13 Voice data for adaptation (voice data)
14 recognition result storage unit 15 alignment unit (first alignment unit, first alignment means)
16 Alignment unit (second alignment unit, second alignment means)
17 Alignment result storage unit (first alignment result data)
18 Alignment result storage unit (second alignment result data)
19 Priority section detection unit (Priority section detection means)
20 Adaptation processing unit (adaptive processing means)
112 acoustic model storage unit 153 recognition processing unit 154 recognition result storage unit 161 first language model storage unit 162 second language model storage unit

Claims

An acoustic model including data representing a statistical relationship between phonemes and acoustic features is read, and the read voice data and text data corresponding to the voice data are temporally aligned based on the acoustic model. A first alignment unit that generates first alignment result data including acoustic likelihood data associated with the time;
It includes acoustic likelihood data associated with time by reading the recognition result data of the voice data and aligning the voice data and the read recognition result data in time based on the acoustic model. A second alignment unit for generating second alignment result data;
An important interval detection unit that compares the acoustic likelihood data included in the first alignment result data with the acoustic likelihood data included in the second alignment result data for each time;
An adaptation processing unit that adapts the acoustic model while assigning a weight according to a comparison result by the priority section detection unit to a speech section;
Equipped with,
When the important interval detection unit represents a higher likelihood for each time, the acoustic likelihood data included in the second alignment result data than the acoustic likelihood data included in the first alignment result data In addition, the section associated with the time is detected as the priority adaptation section.
It shall be the said adaptation device.

The adaptation processing unit, in the adaptation process of the acoustic model, to make the weight to be given to the priority adaptation section detected by the priority section detection unit larger than the weight to be given to a section that is not a priority adaptation section;
The adaptation device according to claim 1 .

In the adaptation process of the acoustic model, the adaptation processing unit is configured such that the likelihood represented by the acoustic likelihood data included in the second alignment result data and the likelihood represented by the acoustic likelihood data included in the first alignment result data. The larger the difference from the degree, the greater the weight given to the priority adaptation section,
The adaptation device according to claim 2 .

An adaptation device according to any one of claims 1 to 3 ,
An acoustic model storage unit for storing the acoustic model;
A recognition processing unit that reads out the acoustic model stored in the acoustic model and performs recognition processing of the input voice data;
Comprising
The first alignment unit included in the adapting device converts the speech data and the text data to be subjected to recognition processing by the recognition processing unit based on the acoustic model read from the acoustic model storage unit. Aligned and
The second alignment unit included in the adaptation device, based on the acoustic model read from the acoustic model storage unit, the voice data and the recognition result data obtained as a result of recognition processing by the recognition processing unit. Aligned in time,
The adaptation processing unit included in the adaptation device writes an adaptive acoustic model obtained as a result of adaptation to the acoustic model storage unit.
A speech recognition apparatus characterized by that.

An adaptation device according to any one of claims 1 to 3 ,
An acoustic model storage unit for storing the acoustic model, a first language model storage unit for storing a first language model representing statistical data regarding the appearance frequency of language elements,
A second language model storage unit that represents statistical data related to the appearance frequency of language elements, and stores a second language model different from the first language model;
While reading out the acoustic model stored in the acoustic model storage unit, either the first language model read from the first language model storage unit or the second language model read from the second language model storage unit A recognition processing unit for performing recognition processing of the input voice data using
Comprising
Based on the acoustic model read from the acoustic model storage unit, the first alignment unit included in the adaptation device includes the speech data to be subjected to recognition processing by the recognition processing unit, and the recognition processing unit Temporally aligning the text data, which is the result obtained by recognizing the speech data using the first language model,
The second alignment unit included in the adaptation device is configured to use the voice data based on the acoustic model read from the acoustic model storage unit, and the voice data from the recognition processing unit using the second language model. Time-aligned with the recognition result data, which is the result obtained by recognizing the
The adaptation processing unit included in the adaptation device writes an adaptive acoustic model obtained as a result of adaptation to the acoustic model storage unit.
A speech recognition apparatus characterized by that.

Computer
An acoustic model including data representing a statistical relationship between phonemes and acoustic features is read, and the read voice data and text data corresponding to the voice data are temporally aligned based on the acoustic model. A first alignment means for generating first alignment result data including acoustic likelihood data associated with the time,
It includes acoustic likelihood data associated with time by reading the recognition result data of the voice data and aligning the voice data and the read recognition result data in time based on the acoustic model. Second alignment means for generating second alignment result data;
An important section detection unit that compares the acoustic likelihood data included in the first alignment result data with the acoustic likelihood data included in the second alignment result data for each time.
Adaptation processing means for adapting the acoustic model while assigning a weight according to the comparison result by the priority section detection means to the speech section;
A program for functioning as,
In the case where the importance interval detecting means represents a higher likelihood for each time, the acoustic likelihood data included in the second alignment result data than the acoustic likelihood data included in the first alignment result data. In addition, the section associated with the time is detected as the priority adaptation section.
program.

The computer program for functioning as a speech recognition apparatus according to claim 4 or claim 5.