JP7427723B2 - ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 - Google Patents
ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 Download PDFInfo
- Publication number
- JP7427723B2 JP7427723B2 JP2022112158A JP2022112158A JP7427723B2 JP 7427723 B2 JP7427723 B2 JP 7427723B2 JP 2022112158 A JP2022112158 A JP 2022112158A JP 2022112158 A JP2022112158 A JP 2022112158A JP 7427723 B2 JP7427723 B2 JP 7427723B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- spectrogram
- neural network
- speech
- phonemes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 93
- 230000015572 biosynthetic process Effects 0.000 title description 22
- 238000003786 synthesis reaction Methods 0.000 title description 22
- 239000013598 vector Substances 0.000 claims description 84
- 238000012549 training Methods 0.000 claims description 45
- 230000015654 memory Effects 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 17
- 238000012795 verification Methods 0.000 description 24
- 238000003860 storage Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000013518 transcription Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000035897 transcription Effects 0.000 description 5
- 230000006403 short-term memory Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001459693 Dipterocarpus zeylanicus Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L2013/021—Overlap-add techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephonic Communication Services (AREA)
- Machine Translation (AREA)
Description
図1は、ターゲット話者の声で音声を合成できる例示的な音声システム100を示すブロック図である。音声合成システム100は、1つまたは複数の場所にある1つまたは複数のコンピュータ上のコンピュータプログラムとして実装することができる。音声合成システム100は、ターゲット話者のオーディオ表現とともに入力テキストを受信し、一連のニューラルネットワークを介して入力を処理し、ターゲット話者の声で入力テキストに対応する音声を生成する。例えば、音声合成システム100が、「こんにちは、私の名前はジョン・ドゥであり、テスト目的でこの音声のサンプルを提供している」と言っているジョン・ドゥの5秒間のオーディオとともに本のページのテキストを入力として受信した場合、これらの入力を処理して、ジョン・ドゥの声で当該ページの口述のナレーションを生成できる。別の例では、音声合成システム100が、別の本からナレーションするジェーン・ドゥ(Jane Doe)の6秒間のオーディオとともに本のページのテキストを入力として受信した場合、これらの入力を処理して、ジェーン・ドゥの声でページの口述のナレーションを生成できる。
システムは、話者を互いに区別するようにトレーニングされた話者検証ニューラルネットワークにオーディオ表現を提供することによって話者埋め込みベクトルを生成する(415)。例えば、話者検証ニューラルネットワークはLSTMニューラルネットワークにすることができ、話者埋め込みベクトルはLSTMニューラルネットワークの隠れ層の出力にすることができる。
一部の実装形態では、スペクトログラム生成ニューラルネットワークは、話者検証ニューラルネットワークとは別にトレーニングされてよい。
一部の実装形態では、システムは、ターゲット話者の声で話された入力テキストのオーディオ表現をボコーダに提供して、ターゲット話者の声で話された入力テキストの時間領域表現を生成する。システムは、再生用の時間領域表現をユーザに提供できる。
Claims (18)
- データ処理ハードウェアによる実行時に、
ターゲット話者の発話に対応する音声スペクトログラムを取得することと、
音声に合成されるべき音素の入力シーケンスを取得することと、
話者エンコーダネットワークを用いて、前記音声スペクトログラムから前記ターゲット話者の話者埋め込みベクトルを抽出することと、
音素の前記入力シーケンスと前記話者埋め込みベクトルとを入力として受信するように構成されたシンセサイザを用いて、前記ターゲット話者の声での音素の前記入力シーケンスのメルスペクトログラム表現を生成することと、
前記ターゲット話者の前記声での音素の前記入力シーケンスの前記メルスペクトログラム表現を出力のために提供することと、
を含む動作を前記データ処理ハードウェアに実行させ、
前記話者エンコーダネットワークは、同じ話者の発話に対応する音声スペクトログラムから、埋め込み空間内で互いに近接している話者埋め込みベクトルを抽出するようにトレーニングされている、コンピュータ実装方法。 - データ処理ハードウェアによる実行時に、
ターゲット話者の発話に対応する音声スペクトログラムを取得することと、
音声に合成されるべき音素の入力シーケンスを取得することと、
話者エンコーダネットワークを用いて、前記音声スペクトログラムから前記ターゲット話者の話者埋め込みベクトルを抽出することと、
音素の前記入力シーケンスと前記話者埋め込みベクトルとを入力として受信するように構成されたシンセサイザを用いて、前記ターゲット話者の声での音素の前記入力シーケンスのメルスペクトログラム表現を生成することと、
前記ターゲット話者の前記声での音素の前記入力シーケンスの前記メルスペクトログラム表現を出力のために提供することと、
を含む動作を前記データ処理ハードウェアに実行させ、
前記話者エンコーダネットワークは、互いに異なる話者の発話に対応する音声スペクトログラムから、互いに離れた話者埋め込みベクトルを抽出するようにトレーニングされている、コンピュータ実装方法。 - 前記ターゲット話者の前記発話に対応する前記音声スペクトログラムは、任意の長さのメルスペクトログラムを含む、請求項1または2に記載の方法。
- 前記話者エンコーダネットワークは、前記シンセサイザとは別にトレーニングされる、請求項1または2に記載の方法。
- 前記シンセサイザのトレーニング中に、前記話者エンコーダネットワークのパラメータが固定されている、請求項4に記載の方法。
- 前記シンセサイザは、音素入力のシーケンスからメルスペクトログラムを予測するようにトレーニングされたスペクトログラム生成ニューラルネットワークを含む、請求項1または2に記載の方法。
- 前記スペクトログラム生成ニューラルネットワークは、シーケンスツーシーケンスアテンションニューラルネットワークを含む、請求項6に記載の方法。
- 前記スペクトログラム生成ニューラルネットワークは、エンコーダニューラルネットワークおよびデコーダニューラルネットワークを含む、請求項6に記載の方法。
- 前記スペクトログラム生成ニューラルネットワークは、アテンション層をさらに含む、請求項8に記載の方法。
- データ処理ハードウェアと、
前記データ処理ハードウェアと通信するとともに命令を記憶したメモリハードウェアと、を備えるシステムであって、前記命令は、前記データ処理ハードウェアによる実行時に、
ターゲット話者の発話に対応する音声スペクトログラムを取得することと、
音声に合成されるべき音素の入力シーケンスを取得することと、
話者エンコーダネットワークを用いて、前記音声スペクトログラムから前記ターゲット話者の話者埋め込みベクトルを抽出することと、
音素の前記入力シーケンスと前記話者埋め込みベクトルとを入力として受信するように構成されたシンセサイザを用いて、前記ターゲット話者の声での音素の前記入力シーケンスのメルスペクトログラム表現を生成することと、
前記ターゲット話者の前記声での音素の前記入力シーケンスの前記メルスペクトログラム表現を出力のために提供することと、
を含む動作を前記データ処理ハードウェアに実行させ、
前記話者エンコーダネットワークは、同じ話者の発話に対応する音声スペクトログラムから、埋め込み空間内で互いに近接している話者埋め込みベクトルを抽出するようにトレーニングされている、システム。 - データ処理ハードウェアと、
前記データ処理ハードウェアと通信するとともに命令を記憶したメモリハードウェアと、を備えるシステムであって、前記命令は、前記データ処理ハードウェアによる実行時に、
ターゲット話者の発話に対応する音声スペクトログラムを取得することと、
音声に合成されるべき音素の入力シーケンスを取得することと、
話者エンコーダネットワークを用いて、前記音声スペクトログラムから前記ターゲット話者の話者埋め込みベクトルを抽出することと、
音素の前記入力シーケンスと前記話者埋め込みベクトルとを入力として受信するように構成されたシンセサイザを用いて、前記ターゲット話者の声での音素の前記入力シーケンスのメルスペクトログラム表現を生成することと、
前記ターゲット話者の前記声での音素の前記入力シーケンスの前記メルスペクトログラム表現を出力のために提供することと、
を含む動作を前記データ処理ハードウェアに実行させ、
前記話者エンコーダネットワークは、互いに異なる話者の発話に対応する音声スペクトログラムから、互いに離れた話者埋め込みベクトルを抽出するようにトレーニングされている、システム。 - 前記ターゲット話者の前記発話に対応する前記音声スペクトログラムは、任意の長さのメルスペクトログラムを含む、請求項10または11に記載のシステム。
- 前記話者エンコーダネットワークは、前記シンセサイザとは別にトレーニングされる、請求項10または11に記載のシステム。
- 前記シンセサイザのトレーニング中に、前記話者エンコーダネットワークのパラメータが固定されている、請求項13に記載のシステム。
- 前記シンセサイザは、音素入力のシーケンスからメルスペクトログラムを予測するようにトレーニングされたスペクトログラム生成ニューラルネットワークを含む、請求項10または11に記載のシステム。
- 前記スペクトログラム生成ニューラルネットワークは、シーケンスツーシーケンスアテンションニューラルネットワークを含む、請求項15に記載のシステム。
- 前記スペクトログラム生成ニューラルネットワークは、エンコーダニューラルネットワークおよびデコーダニューラルネットワークを含む、請求項15に記載のシステム。
- 前記スペクトログラム生成ニューラルネットワークは、アテンション層をさらに含む、請求項17に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024008676A JP2024038474A (ja) | 2018-05-17 | 2024-01-24 | ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862672835P | 2018-05-17 | 2018-05-17 | |
US62/672,835 | 2018-05-17 | ||
PCT/US2019/032815 WO2019222591A1 (en) | 2018-05-17 | 2019-05-17 | Synthesis of speech from text in a voice of a target speaker using neural networks |
JP2020564447A JP7106680B2 (ja) | 2018-05-17 | 2019-05-17 | ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020564447A Division JP7106680B2 (ja) | 2018-05-17 | 2019-05-17 | ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024008676A Division JP2024038474A (ja) | 2018-05-17 | 2024-01-24 | ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022137201A JP2022137201A (ja) | 2022-09-21 |
JP7427723B2 true JP7427723B2 (ja) | 2024-02-05 |
Family
ID=66770584
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020564447A Active JP7106680B2 (ja) | 2018-05-17 | 2019-05-17 | ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 |
JP2022112158A Active JP7427723B2 (ja) | 2018-05-17 | 2022-07-13 | ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 |
JP2024008676A Pending JP2024038474A (ja) | 2018-05-17 | 2024-01-24 | ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020564447A Active JP7106680B2 (ja) | 2018-05-17 | 2019-05-17 | ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024008676A Pending JP2024038474A (ja) | 2018-05-17 | 2024-01-24 | ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 |
Country Status (6)
Country | Link |
---|---|
US (3) | US11488575B2 (ja) |
EP (1) | EP3776530A1 (ja) |
JP (3) | JP7106680B2 (ja) |
KR (2) | KR102514990B1 (ja) |
CN (1) | CN112689871A (ja) |
WO (1) | WO2019222591A1 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3948848B1 (en) * | 2019-03-29 | 2023-07-19 | Microsoft Technology Licensing, LLC | Speaker diarization with early-stop clustering |
JP7108147B2 (ja) * | 2019-05-23 | 2022-07-27 | グーグル エルエルシー | 表現用エンドツーエンド音声合成における変分埋め込み容量 |
US11501787B2 (en) * | 2019-08-22 | 2022-11-15 | Google Llc | Self-supervised audio representation learning for mobile devices |
GB2590509B (en) * | 2019-12-20 | 2022-06-15 | Sonantic Ltd | A text-to-speech synthesis method and system, and a method of training a text-to-speech synthesis system |
US11430431B2 (en) * | 2020-02-06 | 2022-08-30 | Tencent America LLC | Learning singing from speech |
CN113470615B (zh) * | 2020-03-13 | 2024-03-12 | 微软技术许可有限责任公司 | 跨讲话者风格转移语音合成 |
CN111369968B (zh) * | 2020-03-19 | 2023-10-13 | 北京字节跳动网络技术有限公司 | 语音合成方法、装置、可读介质及电子设备 |
CN111583903B (zh) * | 2020-04-28 | 2021-11-05 | 北京字节跳动网络技术有限公司 | 语音合成方法、声码器训练方法、装置、介质及电子设备 |
CN111951778B (zh) * | 2020-07-15 | 2023-10-17 | 天津大学 | 一种低资源下利用迁移学习进行情感语音合成的方法 |
CN111862934B (zh) * | 2020-07-24 | 2022-09-27 | 思必驰科技股份有限公司 | 语音合成模型的改进方法和语音合成方法及装置 |
WO2022078634A1 (en) * | 2020-10-15 | 2022-04-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio generator and methods for generating an audio signal and training an audio generator |
WO2022094740A1 (en) * | 2020-11-03 | 2022-05-12 | Microsoft Technology Licensing, Llc | Controlled training and use of text-to-speech models and personalized model generated voices |
CN112489620B (zh) * | 2020-11-20 | 2022-09-09 | 北京有竹居网络技术有限公司 | 语音合成方法、装置、可读介质及电子设备 |
US20220165247A1 (en) * | 2020-11-24 | 2022-05-26 | Xinapse Co., Ltd. | Method for generating synthetic speech and speech synthesis system |
CN112614479B (zh) * | 2020-11-26 | 2022-03-25 | 北京百度网讯科技有限公司 | 训练数据的处理方法、装置及电子设备 |
JP7254114B2 (ja) * | 2020-12-18 | 2023-04-07 | ハイパーコネクト リミテッド ライアビリティ カンパニー | 音声合成装置およびその方法 |
CN112802448B (zh) * | 2021-01-05 | 2022-10-11 | 杭州一知智能科技有限公司 | 一种新音色生成的语音合成方法和系统 |
CN112908293B (zh) * | 2021-03-11 | 2022-08-02 | 浙江工业大学 | 一种基于语义注意力机制的多音字发音纠错方法及装置 |
CN113450773A (zh) * | 2021-05-11 | 2021-09-28 | 多益网络有限公司 | 视频记录文稿生成方法、装置、存储介质以及电子设备 |
US20220383850A1 (en) * | 2021-05-31 | 2022-12-01 | Brock Daily | System and method for posthumous dynamic speech synthesis using neural networks and deep learning |
CN113409765B (zh) * | 2021-06-11 | 2024-04-26 | 北京搜狗科技发展有限公司 | 一种语音合成方法、装置和用于语音合成的装置 |
CN113808572B (zh) * | 2021-08-18 | 2022-06-17 | 北京百度网讯科技有限公司 | 语音合成方法、装置、电子设备和存储介质 |
CN113488057B (zh) * | 2021-08-18 | 2023-11-14 | 山东新一代信息产业技术研究院有限公司 | 面向康养的对话实现方法及系统 |
CN113724684A (zh) * | 2021-10-19 | 2021-11-30 | 南京航空航天大学 | 一种空中交通管制指令的语音合成方法及系统 |
WO2023089634A1 (en) * | 2021-11-16 | 2023-05-25 | Gan Studio Inc | Seamless multimedia integration |
US11908454B2 (en) | 2021-12-01 | 2024-02-20 | International Business Machines Corporation | Integrating text inputs for training and adapting neural network transducer ASR models |
WO2023209762A1 (ja) * | 2022-04-25 | 2023-11-02 | 日本電信電話株式会社 | 学習装置、変換装置、方法及びプログラム |
CN115220608B (zh) * | 2022-09-20 | 2022-12-20 | 深圳市人马互动科技有限公司 | 互动小说中多媒体数据的处理方法及装置 |
WO2024069726A1 (ja) * | 2022-09-27 | 2024-04-04 | 日本電信電話株式会社 | 学習装置、変換装置、学習方法、変換方法及びプログラム |
CN116564276A (zh) * | 2023-04-23 | 2023-08-08 | 内蒙古工业大学 | 一种基于双判别器生成对抗网络的蒙古语语音识别方法 |
CN116312466B (zh) * | 2023-05-23 | 2023-08-15 | 澳克多普有限公司 | 基于少量样本的说话人适应方法、语音翻译方法和系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6988066B2 (en) * | 2001-10-04 | 2006-01-17 | At&T Corp. | Method of bandwidth extension for narrow-band speech |
US8380503B2 (en) * | 2008-06-23 | 2013-02-19 | John Nicholas and Kristin Gross Trust | System and method for generating challenge items for CAPTCHAs |
WO2014199450A1 (ja) * | 2013-06-11 | 2014-12-18 | 株式会社東芝 | 電子透かし埋め込み装置、電子透かし埋め込み方法、及び電子透かし埋め込みプログラム |
JP6622505B2 (ja) * | 2015-08-04 | 2019-12-18 | 日本電信電話株式会社 | 音響モデル学習装置、音声合成装置、音響モデル学習方法、音声合成方法、プログラム |
CN107016999B (zh) | 2015-10-16 | 2022-06-14 | 谷歌有限责任公司 | 热词识别 |
US10607601B2 (en) * | 2017-05-11 | 2020-03-31 | International Business Machines Corporation | Speech recognition by selecting and refining hot words |
US10354656B2 (en) * | 2017-06-23 | 2019-07-16 | Microsoft Technology Licensing, Llc | Speaker recognition |
US10872596B2 (en) * | 2017-10-19 | 2020-12-22 | Baidu Usa Llc | Systems and methods for parallel wave generation in end-to-end text-to-speech |
-
2019
- 2019-05-17 JP JP2020564447A patent/JP7106680B2/ja active Active
- 2019-05-17 US US17/055,951 patent/US11488575B2/en active Active
- 2019-05-17 CN CN201980033235.1A patent/CN112689871A/zh active Pending
- 2019-05-17 EP EP19728819.4A patent/EP3776530A1/en not_active Withdrawn
- 2019-05-17 WO PCT/US2019/032815 patent/WO2019222591A1/en unknown
- 2019-05-17 KR KR1020207035508A patent/KR102514990B1/ko active IP Right Grant
- 2019-05-17 KR KR1020237009867A patent/KR20230043250A/ko not_active Application Discontinuation
-
2022
- 2022-07-13 JP JP2022112158A patent/JP7427723B2/ja active Active
- 2022-07-19 US US17/813,361 patent/US11848002B2/en active Active
-
2023
- 2023-11-30 US US18/525,475 patent/US20240112667A1/en active Pending
-
2024
- 2024-01-24 JP JP2024008676A patent/JP2024038474A/ja active Pending
Non-Patent Citations (4)
Title |
---|
Ehsan VARIANI, et al.,Deep neural networks for small footprint text-dependent speaker verification,ICASSP 2014,IEEE,2014年05月,pp.4052-4056 |
Quan WANG, et al.,Speaker Diarization with LSTM,ICASSP 2018,IEEE,2018年04月,pp.5239-5243 |
Rama DODDIPATLA, et al.,Speaker adaptation in DNN-based speech synthesis using d-vectors,INTERSPEECH 2017,ISCA,2017年08月,pp.3404-3408 |
Wei PING, et al.,Deep Voice 3: Scaling Text-to-Speech with Convolutional Sequence Learning,ICLR 2018,2018年02月,pp.1-16 |
Also Published As
Publication number | Publication date |
---|---|
JP7106680B2 (ja) | 2022-07-26 |
CN112689871A (zh) | 2021-04-20 |
US20210217404A1 (en) | 2021-07-15 |
US11488575B2 (en) | 2022-11-01 |
US11848002B2 (en) | 2023-12-19 |
KR20210008510A (ko) | 2021-01-22 |
JP2021524063A (ja) | 2021-09-09 |
EP3776530A1 (en) | 2021-02-17 |
US20220351713A1 (en) | 2022-11-03 |
JP2024038474A (ja) | 2024-03-19 |
JP2022137201A (ja) | 2022-09-21 |
KR20230043250A (ko) | 2023-03-30 |
US20240112667A1 (en) | 2024-04-04 |
WO2019222591A1 (en) | 2019-11-21 |
KR102514990B1 (ko) | 2023-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7427723B2 (ja) | ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 | |
CN108573693B (zh) | 文本到语音系统和方法以及其存储介质 | |
JP7034339B2 (ja) | オーディオ信号処理システム、及び入力オーディオ信号を変換する方法 | |
WO2020215666A1 (zh) | 语音合成方法、装置、计算机设备及存储介质 | |
CN111048064B (zh) | 基于单说话人语音合成数据集的声音克隆方法及装置 | |
US11741942B2 (en) | Text-to-speech synthesis system and method | |
CN111489734A (zh) | 基于多说话人的模型训练方法以及装置 | |
CN112786007A (zh) | 语音合成方法、装置、可读介质及电子设备 | |
CN112786008A (zh) | 语音合成方法、装置、可读介质及电子设备 | |
WO2023030235A1 (zh) | 目标音频的输出方法及系统、可读存储介质、电子装置 | |
JP2024505076A (ja) | 多様で自然なテキスト読み上げサンプルを生成する | |
Sheng et al. | High-quality speech synthesis using super-resolution mel-spectrogram | |
Mandel et al. | Audio super-resolution using concatenative resynthesis | |
JP2021157145A (ja) | 推論器および推論器の学習方法 | |
US11335321B2 (en) | Building a text-to-speech system from a small amount of speech data | |
CN114822492B (zh) | 语音合成方法及装置、电子设备、计算机可读存储介质 | |
KR102584481B1 (ko) | 인공 신경망을 이용한 다화자 음성 합성 방법 및 장치 | |
WO2023102932A1 (zh) | 音频转换方法、电子设备、程序产品及存储介质 | |
KR20230141251A (ko) | 성도 및 여기 신호 정보를 이용한 자동 음성 인식 방법 및 장치 | |
Iglesias et al. | Voice personalization and speaker de-identification in speech processing systems | |
CN117597728A (zh) | 使用未完全训练的文本到语音模型的个性化和动态的文本到语音声音克隆 | |
CN117953851A (zh) | 文本转语音的方法、设备和计算机程序产品 | |
CN112820267A (zh) | 波形生成方法以及相关模型的训练方法和相关设备、装置 | |
Chomwihoke et al. | Comparative study of text-to-speech synthesis techniques for mobile linguistic translation process |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220713 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7427723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |