JP7336537B2 - 組み合わせで行うエンドポイント決定と自動音声認識 - Google Patents
組み合わせで行うエンドポイント決定と自動音声認識 Download PDFInfo
- Publication number
- JP7336537B2 JP7336537B2 JP2021562016A JP2021562016A JP7336537B2 JP 7336537 B2 JP7336537 B2 JP 7336537B2 JP 2021562016 A JP2021562016 A JP 2021562016A JP 2021562016 A JP2021562016 A JP 2021562016A JP 7336537 B2 JP7336537 B2 JP 7336537B2
- Authority
- JP
- Japan
- Prior art keywords
- endpoint
- utterance
- speech recognition
- speech
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 81
- 238000000034 method Methods 0.000 claims description 77
- 230000015654 memory Effects 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 39
- 230000004044 response Effects 0.000 claims description 26
- 238000013518 transcription Methods 0.000 claims description 24
- 230000035897 transcription Effects 0.000 claims description 24
- 230000036961 partial effect Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 9
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 description 29
- 238000001514 detection method Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000945 filler Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 244000141353 Prunus domestica Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/87—Detection of discrete points within a voice signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/221—Announcement of recognition results
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Signal Processing (AREA)
- Machine Translation (AREA)
- Telephonic Communication Services (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
汎用自動音声認識(ASR)システムは、フレーズ、文、質問、または要求の終わりなど、行われた発話の終了を認識するように構成され得る。発話が終了したことを迅速かつ正確に判定することは、ローレイテンシで正確な結果を提供するためにしばしば重要である。例えば、ASRシステムのオーディオのキャプチャと処理の終了が早すぎると、ユーザの発話の終了が含まれなくなり、得られる転写が不完全になる可能性がある。一方、発話が終了した後もASRシステムが追加のオーディオ待ち続けると、システムはユーザへの応答の提供を不必要に遅らせる可能性がある。
Claims (24)
- データ処理ハードウェア(111)において、ユーザデバイス(110)のユーザによって話された発話(120)のオーディオデータ(125)を受信することと、
前記データ処理ハードウェア(111)によって、前記オーディオデータ(125)を処理して、発話の音声デコードおよびエンドポイント決定を組み合わせで実行するように構成された単一の音声認識モデル(140)からの出力として、複数の出力ラベルからなるデコードされたシーケンスと、前記複数の出力ラベルからなるデコードされた前記シーケンスに含まれる1つ以上の言語単位に基づいた前記発話(120)の部分的な音声認識結果と、エンドポイント標示(175)であって、前記エンドポイント標示(175)に対応する発話エンドポイント記号が、前記複数の出力ラベルからなるデコードされた前記シーケンスに含まれていると判定することにより前記発話(120)がいつ終了したかを示す前記エンドポイント標示(175)と、を取得することと、
前記音声認識モデル(140)から出力された前記エンドポイント標示(175)応じて、前記オーディオデータ(125)の処理中に、前記データ処理ハードウェア(111)によって、前記発話(120)の前記終了を検出することと、
前記発話(120)の前記終了を検出することに応じて、前記データ処理ハードウェア(111)によって、前記発話(120)の前記終了が検出された後に受信された後続のオーディオデータ(125)の前記処理を終結することと、
を含み、
前記音声認識モデル(140)は、出力として、前記オーディオデータ(125)の音響特性を示す複数のオーディオ特徴(135)からなるシーケンスにおけるオーディオ特徴(135)毎の複数の出力ラベル(265)のセットに係る確率分布を生成するように構成されたニューラルネットワークを含み、前記複数の出力ラベル(265)は、前記言語単位および前記発話エンドポイント記号を含む
方法(800)。 - 前記発話(120)の前記終了を検出することに応じて、前記データ処理ハードウェア(111)によって、前記発話(120)の転写(165)を検索エンジンまたはデジタル会話アシスタントシステムに送信することであって、前記転写(165)は、前記オーディオデータ(125)の処理中に前記音声認識モデル(140)によって出力された前記部分的な音声認識結果に基づくことをさらに含む
請求項1に記載の方法(800)。 - 前記音声認識モデル(140)は、前記エンドポイント標示(175)が前記発話(120)がいつ終了したかを示す前に、前記発話(120)の前記部分的な音声認識結果を出すように構成されているストリーミング音声認識モデル(140)を含む
請求項1または2に記載の方法(800)。 - 前記発話(120)の前記終了を検出する前に、前記データ処理ハードウェア(111)によって、前記データ処理ハードウェア(111)と通信する画面上に表示するために、音声認識オーディオによって出される部分的な音声認識結果を提供することをさらに含む
請求項3に記載の方法(800)。 - 前記音声認識モデル(140)は、リカレントニューラルネットワークトランスデューサ(RNN-T)を含む
請求項3または4に記載の方法(800)。 - 前記データ処理ハードウェア(111)は、前記ユーザの前記ユーザデバイス(110)上に常駐し、前記音声認識モデル(140)を実行する
請求項1~5のいずれか一項に記載の方法(800)。 - 前記発話(120)の前記終了を検出することに応じて、前記データ処理ハードウェア(111)によって、前記ユーザによって話された前記発話(120)をキャプチャした1つまたは複数のマイクロフォン(105)のアレイを非アクティブ化することをさらに含む
請求項1~6のいずれか一項に記載の方法(800)。 - 前記オーディオデータ(125)を処理して前記エンドポイント標示(175)を取得することは、前記発話エンドポイント記号を含む前記出力ラベルが、閾値スコアを満たす確率スコアに関連付けられている場合において、前記音声認識モデル(140)が前記エンドポイント標示(175)を出力したと判定することを含む
請求項1~7のいずれか一項に記載の方法(800)。 - 前記言語単位は、書記素、ワードピース、または単語を含む
請求項1~8のいずれか一項に記載の方法(800)。 - 前記複数の出力ラベル(265)は、発話(120)の開始を示す発話開始記号と、句読要素を示す句読記号と、スペース文字を示すスペース記号と、正書法要素に対応しない空白記号とのうちの少なくとも1つをさらに含む
請求項1~9のいずれか一項に記載の方法(800)。 - 前記エンドポイント標示(175)に対応する前記発話エンドポイント記号が、前記音声認識モデル(140)によって出力された複数の出力ラベルからなる前記デコードされたシーケンスに含まれると判定することは、前記発話エンドポイント記号に関連付けられている確率スコアが閾値スコアを満たすと決定することを含む
請求項1~10のいずれか一項に記載の方法(800)。 - 前記オーディオデータ(125)を処理して、前記発話(120)の前記終了を示す前記エンドポイント標示(175)を取得することは、前記音声認識モデル(140)の複数の出力にわたるビームサーチ処理(145)中、前記エンドポイント標示(175)に対応する発話エンドポイント記号が、前記ビームサーチ処理(145)における1つまたは複数のビームに含まれるかどうかを判定することを含む
請求項1~11のいずれか一項に記載の方法(800)。 - データ処理ハードウェア(111)と、
前記データ処理ハードウェア(111)と通信するメモリハードウェア(113)と、を備え、前記メモリハードウェア(113)は命令を記憶し、前記命令は、前記データ処理ハードウェア(111)上で実行されるとき、前記データ処理ハードウェア(111)に、
ユーザデバイス(110)のユーザによって話された発話(120)のオーディオデータ(125)を受信することと、
前記オーディオデータ(125)を処理して、発話の音声デコードおよびエンドポイント決定を組み合わせで実行するように構成された単一の音声認識モデル(140)からの出力として、複数の出力ラベルからなるデコードされたシーケンスと、前記複数の出力ラベルからなるデコードされた前記シーケンスに含まれる1つ以上の言語単位に基づいた前記発話(120)の部分的な音声認識結果と、エンドポイント標示(175)であって、前記エンドポイント標示(175)に対応する発話エンドポイント記号が、前記複数の出力ラベルからなるデコードされた前記シーケンスに含まれていると判定することにより前記発話(120)がいつ終了したかを示す前記エンドポイント標示(175)と、を取得することと、
前記音声認識モデル(140)から出力された前記エンドポイント標示(175)応じて、前記オーディオデータ(125)の処理中に、前記発話(120)の前記終了を検出することと、
前記発話(120)の前記終了を検出することに応じて、前記発話(120)の前記終了が検出された後に受信された後続のオーディオデータ(125)の前記処理を終結することと、を含む動作を実行させ、
前記音声認識モデル(140)は、出力として、前記オーディオデータ(125)の音響特性を示す複数のオーディオ特徴(135)からなるシーケンスにおけるオーディオ特徴(135)毎の複数の出力ラベル(265)のセットに係る確率分布を生成するように構成されたニューラルネットワークを含み、前記複数の出力ラベル(265)は、前記言語単位および前記発話エンドポイント記号を含む
システム(100)。 - 前記動作は、前記発話(120)の前記終了を検出することに応じて、前記発話(120)の転写(165)を検索エンジンまたはデジタル会話アシスタントシステムに送信することであって、前記転写(165)は、前記オーディオデータ(125)の処理中に前記音声認識モデル(140)によって出力された前記部分的な音声認識結果に基づくことをさらに含む
請求項13に記載のシステム(100)。 - 前記音声認識モデル(140)は、前記エンドポイント標示(175)が前記発話(120)がいつ終了したかを示す前に、前記発話(120)の前記部分的な音声認識結果を出すように構成されているストリーミング音声認識モデル(140)を含む
請求項13または14に記載のシステム(100)。 - 前記動作は、前記発話(120)の前記終了を検出する前に、前記データ処理ハードウェア(111)と通信する画面上に表示するために、音声認識オーディオによって出される部分的な音声認識結果を提供することをさらに含む
請求項15に記載のシステム(100)。 - 前記音声認識モデル(140)は、リカレントニューラルネットワークトランスデューサ(RNN-T)を含む
請求項15または16に記載のシステム(100)。 - 前記データ処理ハードウェア(111)は、前記ユーザの前記ユーザデバイス(110)上に常駐し、前記音声認識モデル(140)を実行する
請求項13~17のいずれか一項に記載のシステム(100)。 - 前記動作は、前記発話(120)の前記終了を検出することに応じて、前記ユーザによって話された前記発話(120)をキャプチャした1つまたは複数のマイクロフォン(105)のアレイを非アクティブ化することをさらに含む
請求項13~18のいずれか一項に記載のシステム(100)。 - 前記オーディオデータ(125)を処理して前記エンドポイント標示(175)を取得することは、前記発話エンドポイント記号を含む前記出力ラベルが、閾値スコアを満たす確率スコアに関連付けられている場合において、前記音声認識モデル(140)が前記エンドポイント標示(175)を出力したと判定することを含む
請求項13~19のいずれか一項に記載のシステム(100)。 - 前記言語単位は、書記素、ワードピース、または単語を含む
請求項13~20のいずれか一項に記載のシステム(100)。 - 前記複数の出力ラベル(265)は、発話(120)の開始を示す発話開始記号と、句読要素を示す句読記号と、スペース文字を示すスペース記号と、正書法要素に対応しない空白記号とのうちの少なくとも1つをさらに含む
請求項13~21のいずれか一項に記載のシステム(100)。 - 前記エンドポイント標示(175)に対応する前記発話エンドポイント記号が、前記音声認識モデル(140)によって出力された複数の出力ラベルからなる前記デコードされたシーケンスに含まれると判定することは、前記発話エンドポイント記号に関連付けられている確率スコアが閾値スコアを満たすと決定することを含む
請求項13~22のいずれか一項に記載のシステム(100)。 - 前記オーディオデータ(125)を処理して、前記発話(120)の前記終了を示す前記エンドポイント標示(175)を取得することは、前記音声認識モデル(140)の複数の出力にわたるビームサーチ処理(145)中、前記エンドポイント標示に対応する発話エンドポイント記号が、前記ビームサーチ処理における1つまたは複数のビームに含まれるかどうかを判定することを含む
請求項13~23のいずれか一項に記載のシステム(100)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962834482P | 2019-04-16 | 2019-04-16 | |
US62/834,482 | 2019-04-16 | ||
PCT/US2020/021025 WO2020214269A1 (en) | 2019-04-16 | 2020-03-04 | Joint endpointing and automatic speech recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022529691A JP2022529691A (ja) | 2022-06-23 |
JP7336537B2 true JP7336537B2 (ja) | 2023-08-31 |
Family
ID=70285817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021562016A Active JP7336537B2 (ja) | 2019-04-16 | 2020-03-04 | 組み合わせで行うエンドポイント決定と自動音声認識 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11475880B2 (ja) |
EP (1) | EP3948854B1 (ja) |
JP (1) | JP7336537B2 (ja) |
KR (1) | KR20210151889A (ja) |
CN (1) | CN113841195B (ja) |
WO (1) | WO2020214269A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020153736A1 (en) * | 2019-01-23 | 2020-07-30 | Samsung Electronics Co., Ltd. | Method and device for speech recognition |
EP3948854B1 (en) * | 2019-04-16 | 2024-01-31 | Google LLC | Joint endpointing and automatic speech recognition |
US20210358490A1 (en) * | 2020-05-18 | 2021-11-18 | Nvidia Corporation | End of speech detection using one or more neural networks |
CN112530424A (zh) * | 2020-11-23 | 2021-03-19 | 北京小米移动软件有限公司 | 语音处理方法及装置、电子设备、存储介质 |
US11676594B2 (en) | 2020-12-03 | 2023-06-13 | Google Llc | Decaying automated speech recognition processing results |
US11688392B2 (en) * | 2020-12-08 | 2023-06-27 | Google Llc | Freeze words |
CN115240716A (zh) * | 2021-04-23 | 2022-10-25 | 华为技术有限公司 | 语音检测方法、装置和存储介质 |
CN113241071A (zh) * | 2021-05-10 | 2021-08-10 | 湖北亿咖通科技有限公司 | 一种语音处理方法、电子设备及存储介质 |
KR20240070678A (ko) * | 2021-10-06 | 2024-05-21 | 구글 엘엘씨 | 자연 대화 음성 시스템들에 대한 비유창성 검출 모델들 |
CN114267339A (zh) * | 2021-12-14 | 2022-04-01 | 上海流利说信息技术有限公司 | 语音识别处理方法及系统、设备以及存储介质 |
WO2023205367A1 (en) * | 2022-04-21 | 2023-10-26 | Google Llc | Joint segmenting and automatic speech recognition |
CN115174534B (zh) * | 2022-07-19 | 2024-02-13 | 科大讯飞股份有限公司 | 语音交流中话语权分配方法、装置、设备及存储介质 |
WO2024019858A1 (en) * | 2022-07-21 | 2024-01-25 | Google Llc | Unified end-to-end speech recognition and endpointing using a switch connection |
US20240038221A1 (en) * | 2022-07-28 | 2024-02-01 | International Business Machines Corporation | Voice activity detection integration to improve automatic speech detection |
WO2024150422A1 (ja) * | 2023-01-13 | 2024-07-18 | 日本電信電話株式会社 | 音声認識装置、音声認識方法、プログラム |
WO2024150423A1 (ja) * | 2023-01-13 | 2024-07-18 | 日本電信電話株式会社 | 言語モデル学習装置、言語モデル学習方法、プログラム |
US20240290320A1 (en) * | 2023-02-28 | 2024-08-29 | Google Llc | Semantic Segmentation With Language Models For Long-Form Automatic Speech Recognition |
CN116364062B (zh) * | 2023-05-30 | 2023-08-25 | 广州小鹏汽车科技有限公司 | 语音识别方法、装置及车辆 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018043138A1 (ja) | 2016-08-31 | 2018-03-08 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
JP2018513398A (ja) | 2015-11-25 | 2018-05-24 | バイドゥ ユーエスエー エルエルシーBaidu USA LLC | 配置されたエンドツーエンド音声認識 |
JP2018523156A (ja) | 2015-06-29 | 2018-08-16 | アマゾン テクノロジーズ インコーポレイテッド | 言語モデルスピーチエンドポインティング |
JP2019035936A (ja) | 2017-08-14 | 2019-03-07 | 三星電子株式会社Samsung Electronics Co.,Ltd. | ニューラルネットワークを用いた認識方法及び装置並びにトレーニング方法及び電子装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7668718B2 (en) * | 2001-07-17 | 2010-02-23 | Custom Speech Usa, Inc. | Synchronized pattern recognition source data processed by manual or automatic means for creation of shared speaker-dependent speech user profile |
JP4906379B2 (ja) * | 2006-03-22 | 2012-03-28 | 富士通株式会社 | 音声認識装置、音声認識方法、及びコンピュータプログラム |
JP5718084B2 (ja) * | 2010-02-16 | 2015-05-13 | 岐阜サービス株式会社 | 音声認識用文法作成支援プログラム |
CN102148030A (zh) * | 2011-03-23 | 2011-08-10 | 同济大学 | 一种语音识别的端点检测方法 |
US8914288B2 (en) * | 2011-09-01 | 2014-12-16 | At&T Intellectual Property I, L.P. | System and method for advanced turn-taking for interactive spoken dialog systems |
US9892115B2 (en) * | 2013-06-11 | 2018-02-13 | Facebook, Inc. | Translation training with cross-lingual multi-media support |
US9437186B1 (en) * | 2013-06-19 | 2016-09-06 | Amazon Technologies, Inc. | Enhanced endpoint detection for speech recognition |
US9607613B2 (en) * | 2014-04-23 | 2017-03-28 | Google Inc. | Speech endpointing based on word comparisons |
US9953661B2 (en) * | 2014-09-26 | 2018-04-24 | Cirrus Logic Inc. | Neural network voice activity detection employing running range normalization |
CN105118502B (zh) * | 2015-07-14 | 2017-05-10 | 百度在线网络技术(北京)有限公司 | 语音识别系统的端点检测方法及系统 |
CN105489222B (zh) * | 2015-12-11 | 2018-03-09 | 百度在线网络技术(北京)有限公司 | 语音识别方法和装置 |
KR101861006B1 (ko) * | 2016-08-18 | 2018-05-28 | 주식회사 하이퍼커넥트 | 통역 장치 및 방법 |
US9972308B1 (en) * | 2016-11-08 | 2018-05-15 | International Business Machines Corporation | Splitting utterances for quick responses |
US10706840B2 (en) * | 2017-08-18 | 2020-07-07 | Google Llc | Encoder-decoder models for sequence to sequence mapping |
US10657952B2 (en) * | 2018-02-09 | 2020-05-19 | Intel IP Corporation | Score trend analysis for reduced latency automatic speech recognition |
US11004454B1 (en) * | 2018-11-06 | 2021-05-11 | Amazon Technologies, Inc. | Voice profile updating |
EP3948854B1 (en) * | 2019-04-16 | 2024-01-31 | Google LLC | Joint endpointing and automatic speech recognition |
-
2020
- 2020-03-04 EP EP20718867.3A patent/EP3948854B1/en active Active
- 2020-03-04 US US16/809,403 patent/US11475880B2/en active Active
- 2020-03-04 WO PCT/US2020/021025 patent/WO2020214269A1/en unknown
- 2020-03-04 JP JP2021562016A patent/JP7336537B2/ja active Active
- 2020-03-04 KR KR1020217036468A patent/KR20210151889A/ko not_active Application Discontinuation
- 2020-03-04 CN CN202080036368.7A patent/CN113841195B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018523156A (ja) | 2015-06-29 | 2018-08-16 | アマゾン テクノロジーズ インコーポレイテッド | 言語モデルスピーチエンドポインティング |
JP2018513398A (ja) | 2015-11-25 | 2018-05-24 | バイドゥ ユーエスエー エルエルシーBaidu USA LLC | 配置されたエンドツーエンド音声認識 |
WO2018043138A1 (ja) | 2016-08-31 | 2018-03-08 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
JP2019035936A (ja) | 2017-08-14 | 2019-03-07 | 三星電子株式会社Samsung Electronics Co.,Ltd. | ニューラルネットワークを用いた認識方法及び装置並びにトレーニング方法及び電子装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20210151889A (ko) | 2021-12-14 |
WO2020214269A1 (en) | 2020-10-22 |
US11475880B2 (en) | 2022-10-18 |
JP2022529691A (ja) | 2022-06-23 |
EP3948854A1 (en) | 2022-02-09 |
CN113841195B (zh) | 2023-12-22 |
US20200335091A1 (en) | 2020-10-22 |
EP3948854B1 (en) | 2024-01-31 |
CN113841195A (zh) | 2021-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7336537B2 (ja) | 組み合わせで行うエンドポイント決定と自動音声認識 | |
US10643614B2 (en) | Promoting voice actions to hotwords | |
US10269346B2 (en) | Multiple speech locale-specific hotword classifiers for selection of a speech locale | |
US11817094B2 (en) | Automatic speech recognition with filler model processing | |
JP6772198B2 (ja) | 言語モデルスピーチエンドポインティング | |
KR102205371B1 (ko) | 개별화된 핫워드 검출 모델들 | |
US9437186B1 (en) | Enhanced endpoint detection for speech recognition | |
JP2023062147A (ja) | 音声認識のためのコンテキストバイアス | |
US11676625B2 (en) | Unified endpointer using multitask and multidomain learning | |
US20120221330A1 (en) | Leveraging speech recognizer feedback for voice activity detection | |
CN114270434A (zh) | 两遍端到端语音识别 | |
EP3739583B1 (en) | Dialog device, dialog method, and dialog computer program | |
US12087305B2 (en) | Speech processing | |
US11862149B2 (en) | Learning how to rewrite user-specific input for natural language understanding | |
US11544504B1 (en) | Dialog management system | |
US11646035B1 (en) | Dialog management system | |
US20240013784A1 (en) | Speaker recognition adaptation | |
US11626106B1 (en) | Error attribution in natural language processing systems | |
US11900921B1 (en) | Multi-device speech processing | |
US11955122B1 (en) | Detecting machine-outputted audio | |
CN118116387A (zh) | 多人交叉场景的单通道语音识别方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230222 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230705 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7336537 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |