JP6461308B2 - 音声認識装置およびリスコアリング装置 - Google Patents
音声認識装置およびリスコアリング装置 Download PDFInfo
- Publication number
- JP6461308B2 JP6461308B2 JP2017507782A JP2017507782A JP6461308B2 JP 6461308 B2 JP6461308 B2 JP 6461308B2 JP 2017507782 A JP2017507782 A JP 2017507782A JP 2017507782 A JP2017507782 A JP 2017507782A JP 6461308 B2 JP6461308 B2 JP 6461308B2
- Authority
- JP
- Japan
- Prior art keywords
- language model
- learned
- learning
- discriminatively
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000010354 integration Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- ZZORFUFYDOWNEF-UHFFFAOYSA-N sulfadimethoxine Chemical compound COC1=NC(OC)=CC(NS(=O)(=O)C=2C=CC(N)=CC=2)=N1 ZZORFUFYDOWNEF-UHFFFAOYSA-N 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Machine Translation (AREA)
Description
実施の形態1は、識別的基準に基づくRNN−LMを用いるものである。本発明はRNN−LMを識別的に学習することで認識性能を向上させることを目的としている。言語モデルの重要な目的のひとつは、認識したい音声を正しいテキストデータに変換することなので、従来の音声認識結果を補正できるような言語モデルを構築することが望ましい。
実施の形態1では識別的に学習された第2言語モデル35をそのまま用いた。実施の形態2では、元の言語モデル36と、第2言語モデル35との間で重みづけ平均されたパラメータを用いる。このような構成より、過学習の影響を減らすことができる。
実施の形態3では、単語信頼度を用いた識別的基準に基づくRNN−LMを用いる。
実施の形態1および2では、学習の結果を言語モデルレベルで統合した。これに対し、実施の形態4では、学習の結果を認識結果レベルで統合する。
実施の形態5は、言語モデルの識別的学習に、不正解仮説のみを用いる構成である。
実施の形態1では、音声認識用の第1言語モデル32は識別的学習の対象とならない。これに対し、実施の形態6では、RNN−LMを用いて、音声認識用の言語モデルを学習する。
Claims (8)
- 識別的に学習された言語モデルを記憶した音声認識装置であって、
前記識別的に学習された言語モデルは、学習データに基づき、正解列またはN−best認識結果を用いて学習が行われたものであり、
前記識別的に学習された言語モデルは、正解列と候補列との単語単位でのアライメントに基づいて正解の認識結果よりも不正解の認識結果に大きい重みを置いて学習され、
前記識別的に学習された言語モデルは、リカレントニューラルネットワークに基づいて構成されたものである、
音声認識装置。 - 前記音声認識装置は、元の言語モデルのパラメータと、前記識別的に学習された言語モデルのパラメータとの重みづけ平均を取り、
前記元の言語モデルは、前記元の言語モデルに対して識別的学習が実行されることにより、前記識別的に学習された言語モデルが生成される、元の言語モデルであり、
請求項1に記載の音声認識装置。 - 前記候補列の各単語はそれぞれ信頼度を有し、
前記識別的に学習された言語モデルは、より高い信頼度を有する単語がより重点的となるよう学習される、
請求項1に記載の音声認識装置。 - 前記音声認識装置は、元の言語モデルに基づいて、候補列を含む第1の結果を取得し、
前記元の言語モデルは、前記元の言語モデルに対して識別的学習が実行されることにより、前記識別的に学習された言語モデルが生成される、元の言語モデルであり、
前記識別的に学習された言語モデルに基づいて、候補列を含む第2の結果を取得し、
前記第1の結果および前記第2の結果を統合する、
請求項1に記載の音声認識装置。 - 識別的に学習された言語モデルを用いて、音声認識の候補列をリスコアリングする、リスコアリング装置であって、
前記識別的に学習された言語モデルは、学習データに基づき、正解列またはN−best認識結果を用いて学習が行われたものであり、
前記識別的に学習された言語モデルは、正解列と候補列との単語単位でのアライメントに基づいて正解の認識結果よりも不正解の認識結果に大きい重みを置いて学習され、
前記識別的に学習された言語モデルは、リカレントニューラルネットワークに基づいて構成されたものである、
リスコアリング装置。 - 前記音声認識装置は、元の言語モデルのパラメータと、前記識別的に学習された言語モデルのパラメータとの重みづけ平均を取り、
前記元の言語モデルは、前記元の言語モデルに対して識別的学習が実行されることにより、前記識別的に学習された言語モデルが生成される、元の言語モデルであり、
請求項5に記載のリスコアリング装置。 - 前記候補列の各単語はそれぞれ信頼度を有し、
前記識別的に学習された言語モデルは、より高い信頼度を有する単語がより重点的となるよう学習される、
請求項5に記載のリスコアリング装置。 - 前記音声認識装置は、元の言語モデルに基づいて、候補列を含む第1の結果を取得し、
前記元の言語モデルは、前記元の言語モデルに対して識別的学習が実行されることにより、前記識別的に学習された言語モデルが生成される、元の言語モデルであり、
前記識別的に学習された言語モデルに基づいて、候補列を含む第2の結果を取得し、
前記第1の結果および前記第2の結果を統合する、
請求項5に記載のリスコアリング装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2015/026217 WO2016167779A1 (en) | 2015-04-16 | 2015-04-16 | Speech recognition device and rescoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017527846A JP2017527846A (ja) | 2017-09-21 |
JP6461308B2 true JP6461308B2 (ja) | 2019-01-30 |
Family
ID=57125816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017507782A Active JP6461308B2 (ja) | 2015-04-16 | 2015-04-16 | 音声認識装置およびリスコアリング装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6461308B2 (ja) |
TW (1) | TW201638931A (ja) |
WO (1) | WO2016167779A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11631414B2 (en) | 2019-10-22 | 2023-04-18 | Samsung Electronics Co., Ltd. | Speech recognition method and speech recognition apparatus |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018051841A1 (ja) * | 2016-09-16 | 2018-03-22 | 日本電信電話株式会社 | モデル学習装置、その方法、及びプログラム |
WO2018062265A1 (ja) * | 2016-09-30 | 2018-04-05 | 日本電信電話株式会社 | 音響モデル学習装置、その方法、及びプログラム |
US10170110B2 (en) * | 2016-11-17 | 2019-01-01 | Robert Bosch Gmbh | System and method for ranking of hybrid speech recognition results with neural networks |
JP6744633B2 (ja) * | 2017-06-26 | 2020-08-19 | 株式会社Rutilea | 物品判定装置、システム、学習方法及びプログラム |
CN108288468B (zh) * | 2017-06-29 | 2019-07-19 | 腾讯科技(深圳)有限公司 | 语音识别方法及装置 |
CN108335694B (zh) | 2018-02-01 | 2021-10-15 | 北京百度网讯科技有限公司 | 远场环境噪声处理方法、装置、设备和存储介质 |
AU2019270168B2 (en) * | 2018-05-18 | 2024-01-04 | Genesys Cloud Services Holdings II, LLC | System and method for a multiclass approach for confidence modeling in automatic speech recognition systems |
JP6965846B2 (ja) * | 2018-08-17 | 2021-11-10 | 日本電信電話株式会社 | 言語モデルスコア算出装置、学習装置、言語モデルスコア算出方法、学習方法及びプログラム |
US11011156B2 (en) | 2019-04-11 | 2021-05-18 | International Business Machines Corporation | Training data modification for training model |
CN112163636B (zh) * | 2020-10-15 | 2023-09-26 | 电子科技大学 | 基于孪生神经网络的电磁信号辐射源的未知模式识别方法 |
US11574639B2 (en) * | 2020-12-18 | 2023-02-07 | Microsoft Technology Licensing, Llc | Hypothesis stitcher for speech recognition of long-form audio |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6490555B1 (en) * | 1997-03-14 | 2002-12-03 | Scansoft, Inc. | Discriminatively trained mixture models in continuous speech recognition |
WO2004049305A2 (en) * | 2002-11-21 | 2004-06-10 | Scansoft, Inc. | Discriminative training of hidden markov models for continuous speech recognition |
EP1450350A1 (en) * | 2003-02-20 | 2004-08-25 | Sony International (Europe) GmbH | Method for Recognizing Speech with attributes |
JP2008026721A (ja) * | 2006-07-24 | 2008-02-07 | Nec Corp | 音声認識装置、音声認識方法、および音声認識用プログラム |
US20080243503A1 (en) * | 2007-03-30 | 2008-10-02 | Microsoft Corporation | Minimum divergence based discriminative training for pattern recognition |
JP2013125144A (ja) * | 2011-12-14 | 2013-06-24 | Nippon Hoso Kyokai <Nhk> | 音声認識装置およびそのプログラム |
US8775177B1 (en) * | 2012-03-08 | 2014-07-08 | Google Inc. | Speech recognition process |
US9286897B2 (en) * | 2013-09-27 | 2016-03-15 | Amazon Technologies, Inc. | Speech recognizer with multi-directional decoding |
-
2015
- 2015-04-16 JP JP2017507782A patent/JP6461308B2/ja active Active
- 2015-04-16 WO PCT/US2015/026217 patent/WO2016167779A1/en active Application Filing
- 2015-09-04 TW TW104129304A patent/TW201638931A/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11631414B2 (en) | 2019-10-22 | 2023-04-18 | Samsung Electronics Co., Ltd. | Speech recognition method and speech recognition apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2016167779A1 (en) | 2016-10-20 |
JP2017527846A (ja) | 2017-09-21 |
TW201638931A (zh) | 2016-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6461308B2 (ja) | 音声認識装置およびリスコアリング装置 | |
Ogawa et al. | Error detection and accuracy estimation in automatic speech recognition using deep bidirectional recurrent neural networks | |
US11900915B2 (en) | Multi-dialect and multilingual speech recognition | |
JP6222821B2 (ja) | 誤り修正モデル学習装置、及びプログラム | |
Shannon | Optimizing expected word error rate via sampling for speech recognition | |
Lou et al. | Disfluency detection using auto-correlational neural networks | |
JP2019159654A (ja) | 時系列情報の学習システム、方法およびニューラルネットワークモデル | |
JP7418991B2 (ja) | 音声認識方法及び装置 | |
CN116127952A (zh) | 一种多粒度中文文本纠错方法和装置 | |
Ogawa et al. | ASR error detection and recognition rate estimation using deep bidirectional recurrent neural networks | |
Wu et al. | Encoding linear models as weighted finite-state transducers. | |
CN116127953B (zh) | 一种基于对比学习的中文拼写纠错方法、装置和介质 | |
US11620992B2 (en) | Automated speech recognition confidence classifier | |
US20230104228A1 (en) | Joint Unsupervised and Supervised Training for Multilingual ASR | |
Audhkhasi et al. | Theoretical analysis of diversity in an ensemble of automatic speech recognition systems | |
CN112767921A (zh) | 一种基于缓存语言模型的语音识别自适应方法和系统 | |
CN114020887B (zh) | 用于确定响应语句的方法、设备、装置和介质 | |
Saraçlar | Pronunciation modeling for conversational speech recognition | |
Andrew et al. | Sequential deep belief networks | |
Jeon et al. | On modeling ASR word confidence | |
Granell et al. | Multimodal output combination for transcribing historical handwritten documents | |
Heigold et al. | On the equivalence of Gaussian HMM and Gaussian HMM-like hidden conditional random fields. | |
Fosler-Lussier et al. | Crandem systems: Conditional random field acoustic models for hidden Markov models | |
JP2024512579A (ja) | ルックアップテーブルリカレント言語モデル | |
Shinozaki et al. | Semi-Supervised Learning of a Pronunciation Dictionary from Disjoint Phonemic Transcripts and Text. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180424 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6461308 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |