JP6818941B2 - 多言語音声認識ネットワークをトレーニングする方法、音声認識システム及び多言語音声認識システム - Google Patents
多言語音声認識ネットワークをトレーニングする方法、音声認識システム及び多言語音声認識システム Download PDFInfo
- Publication number
- JP6818941B2 JP6818941B2 JP2020518836A JP2020518836A JP6818941B2 JP 6818941 B2 JP6818941 B2 JP 6818941B2 JP 2020518836 A JP2020518836 A JP 2020518836A JP 2020518836 A JP2020518836 A JP 2020518836A JP 6818941 B2 JP6818941 B2 JP 6818941B2
- Authority
- JP
- Japan
- Prior art keywords
- language
- network
- label
- speech recognition
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 29
- 230000009471 action Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 description 84
- 238000013528 artificial neural network Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 20
- 230000001419 dependent effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 241001672694 Citrus reticulata Species 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000020411 cell activation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003121 nonmonotonic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
- G10L15/197—Probabilistic grammars, e.g. word n-grams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/005—Language recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Machine Translation (AREA)
Description
(1)初期ネットワーク構築モジュール115が、様々な言語の音声コーパス110を用いて、書記素集合及び言語IDの和集合として得られたユニバーサルラベル集合を用いて初期ネットワークパラメータ116を作成(生成)する。
(2)言語ID挿入モジュール112が、言語IDラベルを、様々な言語の音声コーパス110内の各発話のトランスクリプトに挿入する。
(3)発話連結モジュール113が、様々な言語の音声コーパス110から1つ以上の発話を選択し、これをランダムな順序で連結することによって発話を生成する。ここで、対応するトランスクリプトも、連結された発話と同じ順序で連結される。
(4)エンドツーエンドネットワークトレーニングモジュール117が、生成された発話及びトランスクリプトを用いて初期ネットワークパラメータ116を最適化し、トレーニングされたネットワークパラメータ118を出力する。
エンドツーエンド音声認識は、入力音響特徴系列Xが与えられたときの最も確からしいラベル系列
によって識別される。例えば、
言語非依存エンドツーエンドシステムの主要な着想は、全てのターゲット言語に現れる文字集合の和集合を含む拡張文字集合を出力ラベルの集合とみなすことである。すなわち、Uunion=UEN∪UJP∪...,であり、ここで、UEN/JP/...は、特定の言語の文字集合である。この拡張文字集合を用いることによって、別個の言語識別モジュールを必要とすることなく、任意の言語について文字系列の尤度を計算することができる。ネットワークは、各発話のターゲット言語のための正しい文字系列を自動的に予測するようにトレーニングされる。和集合の使用は、言語ごとに一意の文字集合を用いることと対照的に、複数の言語において生じる出力シンボルの複製を排除し、低減された計算コストで、よりコンパクトなモデル表現をもたらす。言語非依存システムは、連続した多言語音声を与えられると、言語ID及び音声認識の予測を繰り返す。
言語混合発話を予測するために、ハイブリッド注意/CTCネットワークが、そのような言語混合コーパスの集合を用いてトレーニングされる必要がある。しかしながら、同じ発話内に複数の言語が現れるそのような音声コーパスを十分な量収集することは非常に困難である。実際には、そのような発話を収集及びトランスクリプションすることは非常にコストが高く、時間がかかる。本発明の実施形態では、そのようなコーパスは、既に存在する言語依存コーパスの集合から人工的に生成される。
エンドツーエンドネットワークトレーニングモジュール117において、損失関数
ラベル系列探索モジュール206は、組み合わされたラベル系列確率に従って、以下のように最も確からしいラベル系列
図4は、本発明のいくつかの実施形態による、多言語エンドツーエンド音声認識システム400のブロック図を示す。エンドツーエンド音声認識システム400は、キーボード411及びポインティングデバイス/媒体412と接続可能なヒューマンマシンインターフェース(HMI)410と、1つ以上のプロセッサ420と、記憶デバイス430と、メモリ440と、ローカルエリアネットワーク及びインターネットネットワークを含むネットワーク490と接続可能なネットワークインターフェースコントローラー450(NIC)と、ディスプレイインターフェース460と、マイクロフォンデバイス475と接続可能なオーディオインターフェース470と、印刷デバイス485と接続可能なプリンターインターフェース480とを含む。メモリ440は1つ以上のメモリユニットとすることができる。エンドツーエンド音声認識システム400は、NIC450に接続されるネットワーク490を介して電気的なオーディオ波形/スペクトルデータ495を受信することができる。記憶デバイス430は、言語ID挿入モジュール112と、発話連結モジュール113と、初期ネットワーク構築モジュール115と、エンドツーエンドネットワークトレーニングモジュール117と、エンドツーエンド音声認識モジュール200と、エンコーダネットワークモジュール202と、注意デコーダネットワークモジュール204と、CTCモジュール208と、音響特徴抽出モジュール434とを備える。いくつかの場合、モジュール112、113、115、117、202、204及び208は、システム設計に依拠して、記憶装置430、メモリ440又は外部の取付け可能メモリ(図示せず)に独立して配置することができる。
元のコーパスは、WSJ、CSJ(Maekawa他、2000)、HKUST(Liu他、2006)及びVoxforge(ドイツ語、スペイン語、フランス語、イタリア語、オランダ語、ポルトガル語、ロシア語)(「VoxForge」n.d.)に基づく。
図7は、言語切り替えを含む多言語評価セットにおけるトレーニングされた言語依存エンドツーエンドASRシステム及び言語非依存エンドツーエンドASRシステムの文字誤り率(CER)を示す。CERは、10言語にわたって平均を取られ、各発話における言語数に依拠して別個に示される。
Claims (11)
- 多言語音声認識ネットワークをトレーニングする方法であって、
所定の言語に対応する発話データセットを提供することと、
言語識別(ID)ラベルを前記発話データセットに挿入することであって、前記発話データセットの各々は、前記言語IDラベルの各々によってラベル付けされ、言語IDラベルが、様々な言語の音声コーパスにおける各発話データセットのトランスクリプトに挿入されることと、
前記ラベル付けされた発話データセットをランダムな順序で連結することであって、対応するトランスクリプトも、前記連結された発話データセットと同じ順序で連結されることと、
前記発話データセットから初期ネットワークパラメータを生成することであって、前記初期ネットワークパラメータは、書記素集合及び言語IDの和集合として得られたユニバーサルラベル集合を用いて生成されることと、
ネットワークパラメータの集合の各要素が収束するまで、一連の前記初期ネットワークパラメータ及び前記連結されたラベル付けされた発話データセットを用いてエンドツーエンドネットワークを反復的にトレーニングすることであって、前記エンドツーエンドネットワークをトレーニングすることは、前記連結された発話データセット及び前記トランスクリプトを用いて前記初期ネットワークパラメータを最適化することを含むことと、
を含む、方法。 - 前記エンドツーエンドネットワークは言語非依存モデルである、請求項1に記載の方法。
- 前記言語非依存モデルは、ディープBLSTMエンコーダネットワークを用いる、請求項2に記載の方法。
- 前記ディープBLSTMエンコーダネットワークにおける層の数は7以上である、請求項3に記載の方法。
- 前記ネットワークパラメータの集合の各要素が収束すると、トレーニングすることで最適化されたネットワークパラメータを出力することを更に含む、請求項1に記載の方法。
- 前記エンドツーエンドネットワークは、所定の方法に基づいて、前記一連の初期ネットワークパラメータと、前記連結されたラベル付けされた発話データセットとを同時に最適化する、請求項1に記載の方法。
- 多言語音声認識のために、トレーニングされたネットワークパラメータを生成する多言語音声認識システムであって、
1つ以上のプロセッサと、
パラメータ、及び前記1つ以上のプロセッサによって実行可能な命令を含むプログラムモジュールを記憶する1つ以上の記憶デバイスであって、前記命令は、実行されると、前記1つ以上のプロセッサに、
所定の言語に対応する発話データセットを提供する動作と、
言語識別(ID)ラベルを前記発話データセットに挿入する動作であって、前記発話データセットの各々は、前記言語IDラベルの各々によってラベル付けされ、言語IDラベルが、様々な言語の音声コーパスにおける各発話データセットのトランスクリプトに挿入される、動作と、
前記ラベル付けされた発話データセットをランダムな順序で連結する動作であって、前記対応するトランスクリプトも、前記連結された発話データセットと同じ順序で連結される、動作と、
前記発話データセットから初期ネットワークパラメータを生成する動作であって、前記初期ネットワークパラメータは、書記素集合及び言語IDの和集合として得られたユニバーサルラベル集合を用いて生成される、動作と、
所定の系列に従って前記初期ネットワークパラメータを選択する動作と、
ネットワークパラメータの集合の各要素が収束するまで、一連の前記選択された初期ネットワークパラメータ及び前記連結されたラベル付けされた発話データセットを用いてエンドツーエンドネットワークを反復的にトレーニングする動作であって、前記エンドツーエンドネットワークをトレーニングすることは、前記連結された発話データセット及び前記トランスクリプトを用いて前記初期ネットワークパラメータを最適化することを含む、動作と、
を実行させる、1つ以上の記憶デバイスと、
を備える、システム。 - 前記エンドツーエンドネットワークは言語非依存モデルである、請求項7に記載のシステム。
- 前記言語非依存モデルは、ディープBLSTMエンコーダネットワークを用いる、請求項8に記載のシステム。
- 前記ディープBLSTMエンコーダネットワークにおける層の数は7以上である、請求項9に記載のシステム。
- 前記1つ以上のプロセッサによって実行可能な前記命令は、実行されると、前記1つ以上のプロセッサに、
前記ネットワークパラメータの集合の各要素が収束すると、トレーニングすることで最適化されたネットワークパラメータを出力する動作を更に実行させる、請求項7に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/843,047 | 2017-12-15 | ||
US15/843,047 US10593321B2 (en) | 2017-12-15 | 2017-12-15 | Method and apparatus for multi-lingual end-to-end speech recognition |
PCT/JP2018/021790 WO2019116606A1 (en) | 2017-12-15 | 2018-05-31 | Method and system for training a multi-language speech recognition network, and speech recognition system for performing multi-language speech recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020537765A JP2020537765A (ja) | 2020-12-24 |
JP6818941B2 true JP6818941B2 (ja) | 2021-01-27 |
Family
ID=62842174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020518836A Active JP6818941B2 (ja) | 2017-12-15 | 2018-05-31 | 多言語音声認識ネットワークをトレーニングする方法、音声認識システム及び多言語音声認識システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10593321B2 (ja) |
EP (1) | EP3516650B1 (ja) |
JP (1) | JP6818941B2 (ja) |
CN (1) | CN111557029B (ja) |
WO (1) | WO2019116606A1 (ja) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10629193B2 (en) * | 2018-03-09 | 2020-04-21 | Microsoft Technology Licensing, Llc | Advancing word-based speech recognition processing |
CN112740631B (zh) * | 2018-07-20 | 2024-09-20 | 诺基亚技术有限公司 | 通过接收算法中的参数的更新来在通信系统中学习 |
US10720151B2 (en) * | 2018-07-27 | 2020-07-21 | Deepgram, Inc. | End-to-end neural networks for speech recognition and classification |
CN109327614B (zh) * | 2018-10-17 | 2021-01-26 | 永德利硅橡胶科技(深圳)有限公司 | 全球同声传译手机及方法 |
US10891951B2 (en) * | 2018-10-17 | 2021-01-12 | Ford Global Technologies, Llc | Vehicle language processing |
KR20200056001A (ko) * | 2018-11-14 | 2020-05-22 | 삼성전자주식회사 | 인공신경망에서의 디코딩 방법 및 그 장치 |
US11238845B2 (en) * | 2018-11-21 | 2022-02-01 | Google Llc | Multi-dialect and multilingual speech recognition |
US10740571B1 (en) * | 2019-01-23 | 2020-08-11 | Google Llc | Generating neural network outputs using insertion operations |
US10964309B2 (en) * | 2019-04-16 | 2021-03-30 | Microsoft Technology Licensing, Llc | Code-switching speech recognition with end-to-end connectionist temporal classification model |
US11468244B2 (en) * | 2019-05-28 | 2022-10-11 | Google Llc | Large-scale multilingual speech recognition with a streaming end-to-end model |
CN110399912B (zh) * | 2019-07-12 | 2023-04-07 | 广东浪潮大数据研究有限公司 | 一种字符识别的方法、系统、设备及计算机可读存储介质 |
CN112242959B (zh) * | 2019-07-16 | 2022-10-14 | 中国移动通信集团浙江有限公司 | 微服务限流控制方法、装置、设备及计算机存储介质 |
CN112364658B (zh) | 2019-07-24 | 2024-07-26 | 阿里巴巴集团控股有限公司 | 翻译以及语音识别方法、装置、设备 |
CN112489622B (zh) * | 2019-08-23 | 2024-03-19 | 中国科学院声学研究所 | 一种多语言连续语音流语音内容识别方法及系统 |
JP7385900B2 (ja) * | 2019-09-09 | 2023-11-24 | 国立研究開発法人情報通信研究機構 | 推論器、推論プログラムおよび学習方法 |
CN110751941B (zh) * | 2019-09-18 | 2023-05-26 | 平安科技(深圳)有限公司 | 语音合成模型的生成方法、装置、设备及存储介质 |
CN110534115B (zh) * | 2019-10-14 | 2021-11-26 | 上海企创信息科技有限公司 | 多方言混合语音的识别方法、装置、系统和存储介质 |
CN110808034A (zh) * | 2019-10-31 | 2020-02-18 | 北京大米科技有限公司 | 语音转换方法、装置、存储介质及电子设备 |
CN110675865B (zh) * | 2019-11-06 | 2021-09-28 | 百度在线网络技术(北京)有限公司 | 用于训练混合语言识别模型的方法和装置 |
CN110838286B (zh) * | 2019-11-19 | 2024-05-03 | 腾讯科技(深圳)有限公司 | 一种模型训练的方法、语种识别的方法、装置及设备 |
CN110930980B (zh) * | 2019-12-12 | 2022-08-05 | 思必驰科技股份有限公司 | 一种中英文混合语音的声学识别方法及系统 |
US11373639B2 (en) * | 2019-12-12 | 2022-06-28 | Mitsubishi Electric Research Laboratories, Inc. | System and method for streaming end-to-end speech recognition with asynchronous decoders pruning prefixes using a joint label and frame information in transcribing technique |
US11594212B2 (en) * | 2020-01-22 | 2023-02-28 | Google Llc | Attention-based joint acoustic and text on-device end-to-end model |
EP4361897A3 (en) * | 2020-01-28 | 2024-07-17 | Google Llc | Language-agnostic multilingual modeling using effective script normalization |
CN113539238B (zh) * | 2020-03-31 | 2023-12-08 | 中国科学院声学研究所 | 一种基于空洞卷积神经网络的端到端语种识别分类方法 |
CN111540344B (zh) * | 2020-04-21 | 2022-01-21 | 北京字节跳动网络技术有限公司 | 声学网络模型训练方法、装置及电子设备 |
CN111582449B (zh) * | 2020-05-07 | 2023-08-04 | 广州视源电子科技股份有限公司 | 一种目标域检测网络的训练方法、装置、设备及存储介质 |
CN111382568B (zh) * | 2020-05-29 | 2020-09-11 | 腾讯科技(深圳)有限公司 | 分词模型的训练方法和装置、存储介质和电子设备 |
CN111914710B (zh) * | 2020-07-24 | 2024-02-13 | 合肥工业大学 | 一种铁路机务段场景描述方法及系统 |
US11798534B2 (en) * | 2020-10-02 | 2023-10-24 | Salesforce.Com, Inc. | Systems and methods for a multilingual speech recognition framework |
US11568858B2 (en) * | 2020-10-17 | 2023-01-31 | International Business Machines Corporation | Transliteration based data augmentation for training multilingual ASR acoustic models in low resource settings |
US11900922B2 (en) * | 2020-11-10 | 2024-02-13 | International Business Machines Corporation | Multilingual intent recognition |
CN112509563B (zh) * | 2020-12-17 | 2024-05-17 | 中国科学技术大学 | 模型训练方法、装置及电子设备 |
CN113782005B (zh) * | 2021-01-18 | 2024-03-01 | 北京沃东天骏信息技术有限公司 | 语音识别方法及装置、存储介质及电子设备 |
CN113035178B (zh) * | 2021-03-16 | 2024-01-05 | 华南理工大学 | 基于transformer的语音识别解码加速方法 |
CN113127622B (zh) * | 2021-04-29 | 2023-06-09 | 西北师范大学 | 一种从语音到图像的生成方法及系统 |
CN113436616B (zh) * | 2021-05-28 | 2022-08-02 | 中国科学院声学研究所 | 一种多领域自适应的端到端语音识别方法、系统及电子装置 |
CN113345466B (zh) * | 2021-06-01 | 2024-03-01 | 平安科技(深圳)有限公司 | 基于多麦克风场景的主说话人语音检测方法、装置及设备 |
CN113345418B (zh) * | 2021-06-09 | 2024-08-09 | 中国科学技术大学 | 基于跨语种自训练的多语种模型训练方法 |
CN113436620B (zh) * | 2021-06-30 | 2022-08-30 | 北京有竹居网络技术有限公司 | 语音识别模型的训练方法、语音识别方法、装置、介质及设备 |
CN113327600B (zh) * | 2021-06-30 | 2024-07-23 | 北京有竹居网络技术有限公司 | 一种语音识别模型的训练方法、装置及设备 |
CN113327631B (zh) * | 2021-07-15 | 2023-03-21 | 广州虎牙科技有限公司 | 一种情感识别模型的训练方法、情感识别方法及装置 |
CN113380227A (zh) * | 2021-07-23 | 2021-09-10 | 上海才历网络有限公司 | 一种基于神经网络的语种识别方法、装置及电子设备 |
CN114596839B (zh) * | 2022-03-03 | 2024-06-07 | 网络通信与安全紫金山实验室 | 一种端到端语音识别方法、系统及存储介质 |
US12106753B2 (en) | 2022-03-08 | 2024-10-01 | Microsoft Technology Licensing, Llc | Code-mixed speech recognition using attention and language-specific joint analysis |
CN114596841B (zh) * | 2022-03-15 | 2024-10-18 | 腾讯科技(深圳)有限公司 | 实时语音识别方法、模型训练方法、装置及设备 |
CN115019782B (zh) * | 2022-06-02 | 2024-07-16 | 北京工业大学 | 一种基于ctc多层损失的语音识别方法 |
US20230401392A1 (en) * | 2022-06-09 | 2023-12-14 | Microsoft Technology Licensing, Llc | Automatic Speech Recognition Systems and Processes |
CN114783446B (zh) * | 2022-06-15 | 2022-09-06 | 北京信工博特智能科技有限公司 | 一种基于对比预测编码的语音识别方法及系统 |
CN117292696B (zh) * | 2023-10-08 | 2024-03-12 | 合肥工业大学 | 端到端音频隐写方法、系统、存储介质及电子设备 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8849648B1 (en) * | 2002-12-24 | 2014-09-30 | At&T Intellectual Property Ii, L.P. | System and method of extracting clauses for spoken language understanding |
ATE385024T1 (de) * | 2005-02-21 | 2008-02-15 | Harman Becker Automotive Sys | Multilinguale spracherkennung |
US7840399B2 (en) * | 2005-04-07 | 2010-11-23 | Nokia Corporation | Method, device, and computer program product for multi-lingual speech recognition |
EP1975923B1 (en) * | 2007-03-28 | 2016-04-27 | Nuance Communications, Inc. | Multilingual non-native speech recognition |
US10540957B2 (en) * | 2014-12-15 | 2020-01-21 | Baidu Usa Llc | Systems and methods for speech transcription |
US10332509B2 (en) * | 2015-11-25 | 2019-06-25 | Baidu USA, LLC | End-to-end speech recognition |
US9799327B1 (en) * | 2016-02-26 | 2017-10-24 | Google Inc. | Speech recognition with attention-based recurrent neural networks |
CN106126507B (zh) * | 2016-06-22 | 2019-08-09 | 哈尔滨工业大学深圳研究生院 | 一种基于字符编码的深度神经翻译方法及系统 |
US10059410B2 (en) * | 2016-06-29 | 2018-08-28 | Pelican International Inc. | Fishing kayak |
US20180018973A1 (en) * | 2016-07-15 | 2018-01-18 | Google Inc. | Speaker verification |
CN106328122A (zh) * | 2016-08-19 | 2017-01-11 | 深圳市唯特视科技有限公司 | 一种利用长短期记忆模型递归神经网络的语音识别方法 |
CN106504266B (zh) * | 2016-09-29 | 2019-06-14 | 北京市商汤科技开发有限公司 | 行走行为的预测方法和装置、数据处理装置和电子设备 |
-
2017
- 2017-12-15 US US15/843,047 patent/US10593321B2/en active Active
-
2018
- 2018-05-31 CN CN201880077778.9A patent/CN111557029B/zh active Active
- 2018-05-31 WO PCT/JP2018/021790 patent/WO2019116606A1/en unknown
- 2018-05-31 JP JP2020518836A patent/JP6818941B2/ja active Active
- 2018-05-31 EP EP18738010.0A patent/EP3516650B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN111557029A (zh) | 2020-08-18 |
EP3516650B1 (en) | 2020-05-13 |
WO2019116606A1 (en) | 2019-06-20 |
US20190189111A1 (en) | 2019-06-20 |
CN111557029B (zh) | 2021-06-04 |
US10593321B2 (en) | 2020-03-17 |
EP3516650A1 (en) | 2019-07-31 |
JP2020537765A (ja) | 2020-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6818941B2 (ja) | 多言語音声認識ネットワークをトレーニングする方法、音声認識システム及び多言語音声認識システム | |
JP6929466B2 (ja) | 音声認識システム | |
JP6827548B2 (ja) | 音声認識システム及び音声認識の方法 | |
US11238845B2 (en) | Multi-dialect and multilingual speech recognition | |
CN107870902B (zh) | 神经机器翻译系统 | |
JP7368479B2 (ja) | モデルをトレーニングするためのトレーニング・データ修正 | |
Ahmed et al. | End-to-end lexicon free arabic speech recognition using recurrent neural networks | |
Karita et al. | Sequence training of encoder-decoder model using policy gradient for end-to-end speech recognition | |
CN113591462A (zh) | 弹幕回复生成方法、装置及电子设备 | |
Sokolov et al. | Neural machine translation for multilingual grapheme-to-phoneme conversion | |
Mimura et al. | Forward-Backward Attention Decoder. | |
Showrav | An automatic speech recognition system for bengali language based on wav2vec2 and transfer learning | |
CN115270771B (zh) | 细粒度自适应字音预测任务辅助的中文拼写纠错方法 | |
JPH11143493A (ja) | 音声言語理解装置及び音声言語理解システム | |
US20240153508A1 (en) | End-to-End Speech Recognition Adapted for Multi-Speaker Applications | |
JP2000075885A (ja) | 音声認識装置 | |
JP4631076B2 (ja) | 音素単位セットを最適化する方法及びシステム | |
Zenkel | Character Based Language Modeling and Applications in Speech Recognition | |
CN115985297A (zh) | 语音识别方法、装置、电子设备及存储介质 | |
CN115114933A (zh) | 用于文本处理的方法、装置、设备和存储介质 | |
CN114118108A (zh) | 建立转译模型的方法、转译方法和对应装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200401 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200401 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200401 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6818941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |