JP7040258B2 - 発音変換装置、その方法、およびプログラム - Google Patents
発音変換装置、その方法、およびプログラム Download PDFInfo
- Publication number
- JP7040258B2 JP7040258B2 JP2018084381A JP2018084381A JP7040258B2 JP 7040258 B2 JP7040258 B2 JP 7040258B2 JP 2018084381 A JP2018084381 A JP 2018084381A JP 2018084381 A JP2018084381 A JP 2018084381A JP 7040258 B2 JP7040258 B2 JP 7040258B2
- Authority
- JP
- Japan
- Prior art keywords
- pronunciation
- feature amount
- language
- audio signal
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 20
- 230000005236 sound signal Effects 0.000 claims description 57
- 238000006243 chemical reaction Methods 0.000 claims description 47
- 238000000605 extraction Methods 0.000 claims description 30
- 238000004458 analytical method Methods 0.000 claims description 25
- 238000001228 spectrum Methods 0.000 claims description 21
- 230000001755 vocal effect Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 210000004704 glottis Anatomy 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005311 autocorrelation function Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
- G10L13/0335—Pitch control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
本実施形態は、ある言語(例えば日本語)を母語とする話者が他の言語(例えば英語)を発話したときに、他の言語(例えば”had”などの英単語)の母音を他言語の正しい発音に直してリアルタイムにフィードバックすると、話者は無意識のうちに正しい発音に引きずられ発音が上手くなるという自然法則の発見に基づく。ここで、リアルタイムとは、話者に発音の変換による時間ずれに気づかれない範囲内で処理を行うことを意味し、20ミリ秒以下で処理を完了することが望ましいとされる。
図1は第一実施形態に係る学習システムの機能ブロック図を、図2はその処理フローを示す。
特徴量抽出部110は、原音声信号s(t)を入力とし、原音声信号s(t)から、特徴量を抽出し(S110)、出力する。ここで抽出する特徴量は、原音声信号s(t)と目標(お手本)とする発音の音声信号(以下、目標音声信号ともいう)との発音の違いを表現可能な特徴量であり、例えば、フォルマント周波数若しくはフォルマント周波数のバンド幅である。
(参考文献1):Oohashi, H., Hiroya, S., and Mochida, T., "Real-time robust formant estimation system using a phase equalization-based autoregressive exogenous model", Acoustical Science and Technology, vol. 36, no. 6, pp. 478-488, 2015.
変換部120は、特徴量抽出部110で抽出した特徴量と、目標音声信号の特徴量とに基づいて、原音声信号s(t)を変換した変換後音声信号y(t)を求める。変換後音声信号y(t)は、再生装置92で学習者が知覚可能な形(聴こえる形)で再生される。
(特徴量としてフォルマント周波数を用いる場合)
特徴量抽出部110で抽出したフォルマント周波数に対応する声道スペクトルA(z)と、目標音声信号のフォルマント周波数に対応する声道スペクトルA’(z)とを用いて、変換後音声信号y(t)を求め、出力する。ただし、zは線形予測係数により得られる予測多項式の根である。
例えば、声道スペクトルA(z)及び声道スペクトルA'(z)は以下のように表される。
特徴量抽出部110で抽出したフォルマント周波数のバンド幅に対応する声道スペクトルA(z)と、目標音声信号のフォルマント周波数のバンド幅に対応する声道スペクトルA’(z)とを用いて、変換後音声信号y(t)を求める。式(3),(4),(5)については特徴量としてフォルマント周波数を用いる場合と同様である。
特徴量抽出部110で抽出したフォルマント周波数とそのバンド幅に対応する声道スペクトルA(z)と、目標音声信号のフォルマント周波数とそのバンド幅に対応する声道スペクトルA’(z)とを用いて、変換後音声信号y(t)を求める。式(3),(4),(5)については特徴量としてフォルマント周波数を用いる場合と同様である。
(参考文献4)Villacorta, V.M., Perkell, J.S., and Guenther, F.H., "Sensorimotor adaptation to feedback perturbations of vowel acoustics and its relation to perception", J. Acoust. Soc. Am., 2007, pp.2306--2319, 2007.
以上の構成により、変換後音声信号y(t)が再生装置92で再生され、学習者に提示される。再生音を聴きながら、学習者は無意識のうちに正しい発音に引きずられ発音が上手くなり、学習者は直感的に発音を改善しやすくなる。
変換部120では、特徴量抽出部110で抽出した特徴量と、目標音声信号の特徴量とに基づいて、原音声信号s(t)を変換したが、常に同じフォルマント周波数に変換されると不自然と感じることがある。
第一実施形態と異なる部分を中心に説明する。
(参考文献2)特開2016-133522号公報
ただし、利用の便を考えた場合、EGG等の装置を用いず、PEARにより、入力音声信号(原音声信号)のみから精度よくピッチマーク、そしてフォルマント周波数を抽出できるほうが好ましい。背景技術に記載した非特許文献1の技術においてもフォルマント分析が用いられているが、このフォルマント分析のためには、第一実施形態と同じくEGG等の装置が必要であり、簡便に利用することができないという問題がある。
まず、音声区間検出部111は、原音声信号s(t)を受け取り、入力された原音声信号s(t)の音声区間を検出し、出力する(S111)。例えば、原音声信号s(t)のパワーを求め、そのパワーが所定の閾値よりも大きい場合に、音声区間として検出し、音声区間を表す情報(以下「音声区間情報」ともいう)を出力する。例えば、音声区間情報をu(t)とし、音声信号s(t)が音声区間であればu(t)=1とし、音声区間でなければu(t)=0とする。また、音声区間の開始時刻及び終了時刻(および/または、音声区間でない区間の開始時刻及び終了時刻)を音声区間情報として出力してもよい。音声区間として検出された音声信号s(t)を、そのまま音声区間情報として出力してもよい。要は、以下の処理において、音声区間が分かればよいので、どのような方法により、音声区間を検出し、音声区間情報を出力してもよい。以下の処理において、音声区間に対してのみ処理を行うことで、処理量を軽減することができる。なお、本実施形態では音声区間情報をu(t)とする。
LPC分析部112は、原音声信号s(t)とその音声区間情報u(t)とを受け取り、LPC分析により音声区間の原音声信号s(t)から得られるLPC係数aと、音声区間の原音声信号s(t)とを用いて、LPC残差信号e(t)を求め(S112)、LPC分析の過程で得られる自己相関関数RSSと、LPC残差信号e(t)とを出力する。
(参考文献3)古井、「ディジタル音声処理」、東海大学出版会、1985年、pp.60-65.
sp(t)=s(t)-αs(t-1) (12)
αは例えば0.98を用いる。なお、プリエンファシス(pre-emphasis)とは、伝送路固有の高周波数における減衰特性に応じて伝送信号の高域側を増幅して送信側から送出し、受信側で受ける信号の周波数特性を改善する変調技術である。
ピッチマーク分析部113は、原音声信号s(t)を受け取り、原音声信号s(t)を用いて、EGG声門閉鎖時刻{ti E}に対応する時刻において1を、それ以外の時刻において0を持つインパルス列δ(t,{ti E})を算出し(S113)、出力する。例えば、参考文献4のP997のSEDREAMSというアルゴリズムで音声信号から参考文献4の図3(b)のようなmean-based signal x(t)を作成する。なお、mean-based signal x(t)は次式により、求まる。
(参考文献4)T. Drugman, M. Thomas, J. Gudnason, P. Naylor, and T. Dutoit, “Detection of Glottal Closure Instants from Speech Signals: A Quantitative Review,” IEEE Transactions on Audio, Speech, and Language Processing, vol. 20, no. 3, pp. 994-1006, Mar. 2012.
相互相関推定部114は、LPC残差信号e(t)とインパルス列δ(t,{ti E})とを受け取り、次式により、LPC残差信号e(t)とインパルス列δ(t,{ti E})との相互相関を推定することで(S114)、EGG声門閉鎖時刻に対するLPC残差信号e(t)の遅延τを推定し、出力する。
ピッチマーク時刻推定部115は、相互相関推定部114で求めた遅延τと、ピッチマーク分析部113で求めたインパルス列δ(t,{ti E})と、LPC残差信号e(t)とに基づき、ピッチマーク時刻ti Sを推定して(S115)出力する。
特徴量抽出部110の抽出部116では、このようにして求めたピッチマーク時刻ti Sと原音声信号s(t)、LPC残差信号e(t)、自己相関関数Rssから特徴量(例えば、フォルマント周波数とフォルマント周波数のバンド幅との少なくとも何れか)を抽出し(S116、参考文献1参照)、出力する。
このような構成により、本実施形態ではEGG等の装置を用いずに、第一実施形態と同様の効果を得ることができる。
上述の第一実施形態、第二実施形態では、フォルマント抽出のためにPEARを用いたが、線形予測符号化(Linear Predictive Coding: LPC)を用いても良い。
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
Claims (7)
- ある言語を母語とする第一話者が他の言語を発話した際に得られる第一音声信号に対応する第一特徴量を、前記他の言語を母語とする第二話者が前記他の言語を発話した際に得られる第二音声信号に対応する第二特徴量に近づくように変換する変換部を含み、
前記第一特徴量及び前記第二特徴量は、発音の違いを表現可能な特徴量であり、
前記第二特徴量は、前記他の言語を母語とする一般的な話者の発音に基づく特徴量であり、
変換後の前記第一特徴量から得られる音声信号は、前記第一話者に対して提示される、
発音変換装置。 - 請求項1の発音変換装置であって、
前記第一音声信号の音声区間を検出する音声区間検出部と、
前記第一音声信号と前記音声区間とを用いて、LPC分析により前記音声区間の前記第一
音声信号から得られるLPC係数aと、前記音声区間の前記第一音声信号とを用いて、LPC残
差信号を求めるLPC分析部と、
前記第一音声信号を用いて、EGG声門閉鎖時刻に対応するインパルス列を算出するピッ
チマーク分析部と、
前記LPC残差信号と前記インパルス列との相互相関を推定することで、前記EGG声門閉鎖時刻に対する前記LPC残差信号の遅延を推定する相互相関推定部と、
前記遅延と前記インパルス列と前記LPC残差信号とに基づき、ピッチマーク時刻を推定
するピッチマーク時刻推定部と、
前記ピッチマーク時刻と前記第一音声信号から前記第一特徴量を抽出する抽出部とを、有する、
発音変換装置。 - 請求項1から請求項4の何れかの発音変換装置であって、
前記変換部は、前記第二特徴量に乱数を与えて、前記第一特徴量を、乱数を与えた前記第二特徴量に近づくように変換する、
発音変換装置。 - 変換部が、ある言語を母語とする第一話者が他の言語を発話した際に得られる第一音声信号に対応する第一特徴量を、前記他の言語を母語とする第二話者が前記他の言語を発話した際に得られる第二音声信号に対応する第二特徴量に近づくように変換する変換ステップを含み、
前記第一特徴量及び前記第二特徴量は、発音の違いを表現可能な特徴量であり、
前記第二特徴量は、前記他の言語を母語とする一般的な話者の発音に基づく特徴量であり、
変換後の前記第一特徴量から得られる音声信号は、前記第一話者に対して提示される、
発音変換方法。 - 請求項1から請求項5の何れかの発音変換装置としてコンピュータを機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084381A JP7040258B2 (ja) | 2018-04-25 | 2018-04-25 | 発音変換装置、その方法、およびプログラム |
PCT/JP2019/015418 WO2019208193A1 (ja) | 2018-04-25 | 2019-04-09 | 発音変換装置、ピッチマーク時刻抽出装置、それらの方法、およびプログラム |
US17/049,554 US11557287B2 (en) | 2018-04-25 | 2019-04-09 | Pronunciation conversion apparatus, pitch mark timing extraction apparatus, methods and programs for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084381A JP7040258B2 (ja) | 2018-04-25 | 2018-04-25 | 発音変換装置、その方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019191378A JP2019191378A (ja) | 2019-10-31 |
JP7040258B2 true JP7040258B2 (ja) | 2022-03-23 |
Family
ID=68295366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018084381A Active JP7040258B2 (ja) | 2018-04-25 | 2018-04-25 | 発音変換装置、その方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11557287B2 (ja) |
JP (1) | JP7040258B2 (ja) |
WO (1) | WO2019208193A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11410656B2 (en) * | 2019-07-31 | 2022-08-09 | Rovi Guides, Inc. | Systems and methods for managing voice queries using pronunciation information |
US11494434B2 (en) | 2019-07-31 | 2022-11-08 | Rovi Guides, Inc. | Systems and methods for managing voice queries using pronunciation information |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013238819A (ja) | 2012-05-17 | 2013-11-28 | Nippon Telegr & Teleph Corp <Ntt> | 音声変換関数学習装置、音声変換装置、音声変換関数学習方法、音声変換方法、およびプログラム |
JP2016040571A (ja) | 2014-08-12 | 2016-03-24 | 日本電信電話株式会社 | Lpc分析装置、音声分析変換合成装置、それらの方法及びプログラム |
JP2016133522A (ja) | 2015-01-15 | 2016-07-25 | 日本電信電話株式会社 | 声門閉鎖時刻推定装置、ピッチマーク時刻推定装置、ピッチ波形接続点推定装置、その方法及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7502731B2 (en) * | 2003-08-11 | 2009-03-10 | Sony Corporation | System and method for performing speech recognition by utilizing a multi-language dictionary |
CN101399044B (zh) * | 2007-09-29 | 2013-09-04 | 纽奥斯通讯有限公司 | 语音转换方法和系统 |
JP5038995B2 (ja) * | 2008-08-25 | 2012-10-03 | 株式会社東芝 | 声質変換装置及び方法、音声合成装置及び方法 |
JP5665780B2 (ja) * | 2012-02-21 | 2015-02-04 | 株式会社東芝 | 音声合成装置、方法およびプログラム |
US9177549B2 (en) * | 2013-11-01 | 2015-11-03 | Google Inc. | Method and system for cross-lingual voice conversion |
-
2018
- 2018-04-25 JP JP2018084381A patent/JP7040258B2/ja active Active
-
2019
- 2019-04-09 US US17/049,554 patent/US11557287B2/en active Active
- 2019-04-09 WO PCT/JP2019/015418 patent/WO2019208193A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013238819A (ja) | 2012-05-17 | 2013-11-28 | Nippon Telegr & Teleph Corp <Ntt> | 音声変換関数学習装置、音声変換装置、音声変換関数学習方法、音声変換方法、およびプログラム |
JP2016040571A (ja) | 2014-08-12 | 2016-03-24 | 日本電信電話株式会社 | Lpc分析装置、音声分析変換合成装置、それらの方法及びプログラム |
JP2016133522A (ja) | 2015-01-15 | 2016-07-25 | 日本電信電話株式会社 | 声門閉鎖時刻推定装置、ピッチマーク時刻推定装置、ピッチ波形接続点推定装置、その方法及びプログラム |
Non-Patent Citations (2)
Title |
---|
DRUGMAN, Thomas, DUTOIT, Thierry,Glottal Closure and Opening Instant Detection from Speech Signals,Proc. INTERSPEECH 2009,ISCA,2009年09月,pp. 2891-2894 |
FELPS, Daniel, et al.,Foreign accent conversino in computer assisted pronunciation training,Speech Communication,Vol. 51,EURASIP and ISCA,2009年01月,pp. 920-932 |
Also Published As
Publication number | Publication date |
---|---|
JP2019191378A (ja) | 2019-10-31 |
WO2019208193A1 (ja) | 2019-10-31 |
US11557287B2 (en) | 2023-01-17 |
US20210241754A1 (en) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11322155B2 (en) | Method and apparatus for establishing voiceprint model, computer device, and storage medium | |
CN104081453A (zh) | 用于声学变换的系统和方法 | |
CN102426834B (zh) | 测试英文口语韵律水平的方法 | |
Ismail et al. | Mfcc-vq approach for qalqalahtajweed rule checking | |
KR20230056741A (ko) | 목소리 변환 및 스피치 인식 모델을 사용한 합성 데이터 증강 | |
US20230343319A1 (en) | speech processing system and a method of processing a speech signal | |
JP7040258B2 (ja) | 発音変換装置、その方法、およびプログラム | |
GB2603776A (en) | Methods and systems for modifying speech generated by a text-to-speech synthesiser | |
JP7192882B2 (ja) | 発話リズム変換装置、モデル学習装置、それらの方法、およびプログラム | |
JP5807921B2 (ja) | 定量的f0パターン生成装置及び方法、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム | |
US10446133B2 (en) | Multi-stream spectral representation for statistical parametric speech synthesis | |
EP3113180B1 (en) | Method for performing audio inpainting on a speech signal and apparatus for performing audio inpainting on a speech signal | |
JP5200080B2 (ja) | 音声認識装置、音声認識方法、およびそのプログラム | |
JP5375612B2 (ja) | 周波数軸伸縮係数推定装置とシステム方法並びにプログラム | |
JP6285823B2 (ja) | Lpc分析装置、音声分析変換合成装置、それらの方法及びプログラム | |
JP5245962B2 (ja) | 音声合成装置、音声合成方法、プログラム及び記録媒体 | |
CN115312029B (zh) | 一种基于语音深度表征映射的语音翻译方法及系统 | |
JP7173339B2 (ja) | 発話評価装置、発話評価方法、およびプログラム | |
JP7368779B2 (ja) | 音声信号変換モデル学習装置、音声信号変換装置、音声信号変換モデル学習方法及びプログラム | |
Hagelborn et al. | Interpolation of perceived gender in speech signals | |
Frikha et al. | Hidden Markov models (HMMs) isolated word recognizer with the optimization of acoustical analysis and modeling techniques | |
Alonso et al. | Speaker adaptation using only vocalic segments via frequency warping. | |
CN117496946A (zh) | 语音合成方法、装置、设备及计算机可读介质 | |
JP6371531B2 (ja) | 音声信号処理装置及びプログラム | |
CN117219049A (zh) | 语音数据处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7040258 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |