JP6179094B2 - 発話特性付与装置、発話特性付与方法、音声合成装置および音声合成方法 - Google Patents
発話特性付与装置、発話特性付与方法、音声合成装置および音声合成方法 Download PDFInfo
- Publication number
- JP6179094B2 JP6179094B2 JP2012270954A JP2012270954A JP6179094B2 JP 6179094 B2 JP6179094 B2 JP 6179094B2 JP 2012270954 A JP2012270954 A JP 2012270954A JP 2012270954 A JP2012270954 A JP 2012270954A JP 6179094 B2 JP6179094 B2 JP 6179094B2
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- characteristic
- information
- control
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000001308 synthesis method Methods 0.000 title claims description 3
- 230000015572 biosynthetic process Effects 0.000 title description 9
- 238000003786 synthesis reaction Methods 0.000 title description 8
- 230000000694 effects Effects 0.000 description 23
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000008451 emotion Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- MQJKPEGWNLWLTK-UHFFFAOYSA-N Dapsone Chemical compound C1=CC(N)=CC=C1S(=O)(=O)C1=CC=C(N)C=C1 MQJKPEGWNLWLTK-UHFFFAOYSA-N 0.000 description 1
- 241001122315 Polites Species 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000009982 effect on human Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Description
特許文献1においては、テキスト解析から得られる言語情報及び指定された発話特性を基に、標準的な発話特性を有する韻律パラメータを求めるとともに、標準的な発話特性を有する韻律パラメータを補正し、指定された発話特性を表すための韻律パラメータを求め、それらを重畳して、指定された発話特性を有する韻律パラメータを生成することについて記載されている。
しかし、音響パラメータ等の変換・補正を行う場合、発声全体に対し、固定的に変換・補正を行うと、発話特性の付与(変換・補正)の必要がない(付与(変換・補正)しない方が良い)位置に対しても、変換・補正をしてしまうことで、発話特性の表現が劣化してしまう場合があるという課題がある。
また、特許文献1のように、発声全体に対し、固定的ではない変換・補正を行うためには、大量の制御用パラメータデータベースの作成やメモリを必要とする、あるいは音声合成を行う際に制御用パラメータの計算コストが大きくなるという課題がある。
この発明は上記のような問題点を解決するためになされたもので、コストを抑え、効果的に発話特性を表現する合成音声を生成することができる発話特性付与装置、発話特性付与方法、音声合成装置および音声合成方法を得ることを目的とする。
図1は、この発明の実施の形態1における発話特性付与装置とその発話特性付与装置で生成される発話特性制御パラメータ情報を用いて合成音声を生成する音声合成装置1の構成を示すブロック図である。
なお、音声データ2は、上記の形式以外にも符号化されたデータなど、人間の発話を表す音声データ形式であれば良い。また、人間の発話を表す音声データそのものでなくても、音声合成において合成音声を生成するために必要な各種パラメータ情報であっても良い。
また、韻律情報5は、上記パラメータ以外にも、上記パラメータの変化幅など、発声の韻律に関わる情報であれば良い。
図2は、この発明の実施の形態1による音声合成装置1および発話特性付与装置11の動作を示すフローチャートである。
音声データ取得部3については、生成される合成音声の元となる合成音声元情報を受け付けるものであれば良い。例えば、GUI(グラフィカルユーザインタフェース)にてユーザー発声の入力を受けつける構成としても良いし、予め収録した音声データを用意して入力しても良い。また、ストリームデータから入力しても良く、音声データが得られれば良い。また、前述のとおり、音声合成において合成音声を生成するために必要な各種パラメータ情報を音声データ2として入力としても良く、それらのパラメータは、他の音声合成装置に基づく結果であっても良い。
また、音声データ取得部3で入力された音声データ2が声質情報および韻律情報そのものであっても良く、その場合には、声質・韻律取得部6は不要となるため、音声データ取得部3、発話特性情報取得部8、発話特性付与部11、波形生成部13で構成すれば良い。
無音区間の検出には、例えば、韻律情報の中でも強弱(エネルギー)を利用し、一定の閾値以下の音声の強さの位置を無音区間としても良い。また、韻律情報の継続時間情報も利用し、一定時間以上音声の強さが閾値以下の区間を無音区間としても良い。また、声質情報の波形データを利用し、振幅値などから無音区間を検出しても良く、出力合成音声における無音区間が検出できれば良い。声質情報4か韻律情報5のいずれか一方の情報から検出しても良いし、その他の公知の技術を利用して無音区間を検出しても良い。
無音区間の中でも、文中の呼気に相当する部分、文末(文間)部分、発声中の閉鎖音に相当する部分など、種別を詳細化した情報を無音区間情報9として出力しても良く、詳細化した情報の一部を無音区間情報9として出力しても良い。
発話特性情報取得部8については、GUIにてユーザーからの入力を受け付ける構成としても良いし、予め付与する発話特性の種別を指定しておいても良く、付与する発話特性の種別が得られれば良い。
図3に例示の発話特性用パラメータ制御部112に入力される声質情報、韻律情報は、「地震です。押さず、喋らず、駆けないように、落下物や、他の人に注意して、落ち着いて非難しなさい。」というテキスト内容を発声した音声データ2から分析して得られたものである。
ここでは、無音区間を文間のポーズと文中のポーズとに区別し、継続時間長(話速)、抑揚の大きさなどの韻律情報に対する処理内容を記述している。
図3の例では、発話特性の種別が「緊迫感」である場合に、制御内容として「文中のポーズの前を短く発声する」という処理内容が発話特性制御辞書に記述されており、文中のポーズと判定された区間の直前の一定時間長の話速を速くする処理を行い、波形生成を経て出力される合成音声では、文中のポーズの前を部分的に速く発声させた合成音声を得る。
また、発話特性制御辞書14を用いず、その他の公知の発話特性の制御を行う手法を用いても良く、制御対象となる対象区間に対し発話特性を付与できれば良い。
また、無音区間と判定された区間の直前の一定時間長に対し、処理を行ったが、無音区間直後の一定時間長に対し処理を行っても良い。
また、無音区間と判定された区間の直前の一定時間長に対して制御するのではなく、音響的特徴が大きく変化する箇所(有声音と無声音の境界や、ケプストラム等の音響特徴量の変化点など)までの区間に対して制御するとしても良い。
ここまでが、図3のステップST5での発話特性用パラメータ制御処理(声質情報・韻律情報に発話特性を付与する処理)の説明である。
なお、波形生成部13における音声波形12の波形生成処理は、「Diphone synthesis using an overlap−add technique for speech waveforms concatenation」(F.J.Charpentier and M.G.Stella、ICASSP86、pp.2015−2018、Tokyo、1986)にあげるPSOLA(Pitch Synchronous OverLap Add)形式の規則合成音声方式等の公知の技術を用いればよく、詳細な説明を省略する。
以上の実施の形態1は、音声データを入力として発話特性を付与した合成音声を出力するようにしたものであるが、次にテキスト文を入力とする実施の形態を示す。
音声合成装置1は、テキスト文取得部15、言語辞書16、言語解析部17、声質・韻律取得部6、発話特性取得部8、発話特性付与部11、波形生成部13を備えている。
言語辞書16は、単語の読み方、品詞などの情報が格納されている。
なお、言語解析情報19には、上記の情報以外の言語解析に基づく情報を含めても良く、また、前記の情報の一部のみを利用しても良く、テキスト文18と同時に付帯情報を入力された場合には、それらを情報として含めても良い。
また、言語解析情報19相当の情報がテキスト文18として入力された場合には、言語解析部17は、言語解析を行わず、テキスト文18を言語解析情報19として出力する構成としても良い。
その他の構成に関しては、前述の実施の形態1と同様であるので、同一符号を付して示し、説明を省略する。
図5は、この発明の実施の形態2における音声合成装置1および発話特性付与装置11のの動作を示すフローチャートである。
テキスト文取得部15については、GUIにてユーザーからの入力を受け付ける構成としても良く、予め合成音声を生成する対象となるテキスト文を蓄えたデータを用意して入力としても良く、また、ストリームデータから入力しても良く、テキスト文が得られれば良い。
なお、テキスト文18が前記言語解析結果である場合には、言語辞書16および言語解析部17は不要となるため、テキスト文取得部15、声質・韻律制御部6、発話特性情報取得部8、発話特性付与部11、波形生成部13で構成すればよい。
なお、声質・韻律制御部6における声質情報4の生成および韻律情報5の生成は、公知の技術を用いればよく、詳細な説明を省略する。
ステップST3以降は、実施の形態1の図2のフローチャートと同じ動作である。
以上の実施の形態は、音声データまたはテキスト文を入力として、出力合成音声における無音区間を判定し、無音区間付近の合成音声に対し発話特性を付与するようにしたものであるが、次に発話特性を付与(制御)する位置の判定処理を追加し、判定結果に基づき発話特性を付与する実施の形態を示す。
音声合成装置1は、テキスト文取得部15、言語辞書16、言語解析部17、声質・韻律取得部6、発話特性取得部8、発話特性付与部11、波形生成部13を備えている。
図7は、この発明の実施の形態3における音声合成装置1および発話特性付与装置11のの動作を示すフローチャートである。
ステップST7からステップST4までは、実施の形態2の図5のフローチャートと同じ動作であり、説明を省略する。
図8に例示の付与位置判定部113に入力される言語解析情報19は、「地震です。押さず、喋らず、駆けないように、落下物や、他の人に注意して、落ち着いて非難しなさい。」というテキスト内容の係り受け構造を解析した結果であり、(1)「押さず、」と「喋らず、」と「駆けないように、」が並列句の関係であり、(2)「落下物や、」と「他の人に」が並列句の関係であるという係り受け構造の言語解析情報が得られたことを示している。
また、図8に例示の発話特性用パラメータ制御部113に入力される発話特性情報7は、発話特性情報取得部8にて「緊迫感」という発話特性を付与するよう入力されたことを示している。
ここでは、発話特性情報7を利用して付与位置判定辞書21を参照し、指定された発話特性の種別に対応づけられた付与区間の設定規則を取得する。そして、付与区間の設定規則に基づいて、言語解析情報19から、発話特性の付与位置情報である発話特性付与位置情報20を生成する。
例えば、並列句において緊迫感の付与を行うようなN-gramモデルを学習したとする。名詞句の連鎖は並列句であることが多く、名詞句が連続する場合に「緊迫感」の付与が行われやすくなるN-gramモデルが学習され、付与位置判定処理において名詞句間の無音区間が「緊迫感」の付与位置という判定結果が得られる。
なお、統計モデルの学習および識別判定する際の特徴量は前記以外の言語解析情報を利用しても良い。
ステップST6は、実施の形態2の図5のフローチャートと同じ動作である。
また、長文などにおいて全ての無音区間に発話特性を付与すると、聞き手に単調さを感じさせるのに対し、付与位置を細かく制御することで聞き手に単調さを感じさせることがなく、発話特性付与の効果を向上できるという効果がある。
Claims (9)
- 生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成する無音区間判定部と、
発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書と、
指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定部で生成された無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成する発話特性制御パラメータ制御部と
を備えたことを特徴とする発話特性付与装置。 - 上記指定された発話特性の種別に基づいて、上記合成音声元情報の特性に応じた制御対象となる無音区間を示す発話特性付与位置情報を生成する付与位置判定部を備え、
上記発話特性制御パラメータ制御部は、上記付与位置判定部で生成された発話特性付与位置情報に基づいて、上記無音区間付近の音響パラメータに対する制御内容を、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成することを特徴とする請求項1に記載の発話特性付与装置。 - 発話特性の種別と、音響パラメータに対する制御を適用する対象となる無音区間の設定規則とが対応付けられて格納された付与位置判定辞書を備え、
上記付与位置判定部は、上記指定された発話特性の種別に対応づけられた設定規則を上記付与位置判定辞書から取得し、上記合成音声元情報の特性に応じた制御対象となる無音区間を示す発話特性付与位置情報を生成することを特徴とする請求項2に記載の発話特性付与装置。 - 上記付与位置判定部は、上記合成音声元情報の特性と上記発話特性とを特徴量としたN−gramモデルを用いて、上記合成音声元情報の特性に応じた制御対象となる無音区間を示す発話特性付与位置情報を生成することを特徴とする請求項2に記載の発話特性付与装置。
- 上記無音区間判定部は、上記合成音声元情報に含まれる音声の特性を示す入力音響パラメータから上記合成音声における無音区間の位置を示す無音区間情報を生成することを特徴とする請求項1に記載の発話特性付与装置。
- 上記無音区間判定部は、上記合成音声元情報に含まれる言語の特性を示す言語解析情報から上記合成音声における無音区間の位置を示す無音区間情報を生成することを特徴とする請求項1に記載の発話特性付与装置。
- 生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成する無音区間判定ステップと、
発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書を用いて、
指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定ステップで生成された無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成する発話特性制御パラメータ制御ステップと
を有することを特徴とする発話特性付与方法。 - 生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成する無音区間判定部と、
発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書と、
指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定部で生成された無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成する発話特性制御パラメータ制御部と、
上記発話特性制御パラメータ制御部で生成された発話特性制御パラメータを用いて音声波形を生成する波形生成部と
を備えたことを特徴とする音声合成装置。 - 生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成する無音区間判定ステップと、
発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書を用いて、
指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定ステップで生成された無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成する発話特性制御パラメータ制御ステップと、
上記発話特性制御パラメータ制御ステップで生成された発話特性制御パラメータを用いて音声波形を生成する波形生成ステップと
を有することを特徴とする音声合成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012270954A JP6179094B2 (ja) | 2012-12-12 | 2012-12-12 | 発話特性付与装置、発話特性付与方法、音声合成装置および音声合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012270954A JP6179094B2 (ja) | 2012-12-12 | 2012-12-12 | 発話特性付与装置、発話特性付与方法、音声合成装置および音声合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014115547A JP2014115547A (ja) | 2014-06-26 |
JP6179094B2 true JP6179094B2 (ja) | 2017-08-16 |
Family
ID=51171574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012270954A Active JP6179094B2 (ja) | 2012-12-12 | 2012-12-12 | 発話特性付与装置、発話特性付与方法、音声合成装置および音声合成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6179094B2 (ja) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003337592A (ja) * | 2002-05-21 | 2003-11-28 | Toshiba Corp | 音声合成方法及び音声合成装置及び音声合成プログラム |
-
2012
- 2012-12-12 JP JP2012270954A patent/JP6179094B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014115547A (ja) | 2014-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10140973B1 (en) | Text-to-speech processing using previously speech processed data | |
US6751592B1 (en) | Speech synthesizing apparatus, and recording medium that stores text-to-speech conversion program and can be read mechanically | |
US6725199B2 (en) | Speech synthesis apparatus and selection method | |
US7062439B2 (en) | Speech synthesis apparatus and method | |
US7062440B2 (en) | Monitoring text to speech output to effect control of barge-in | |
US7191132B2 (en) | Speech synthesis apparatus and method | |
KR102646229B1 (ko) | 주의 기반 클록워크 계층적 변이형 인코더 | |
US9978359B1 (en) | Iterative text-to-speech with user feedback | |
US9508338B1 (en) | Inserting breath sounds into text-to-speech output | |
JPH086591A (ja) | 音声出力装置 | |
JP4704254B2 (ja) | 読み修正装置 | |
JP2006227589A (ja) | 音声合成装置および音声合成方法 | |
Dua et al. | Spectral warping and data augmentation for low resource language ASR system under mismatched conditions | |
US9484014B1 (en) | Hybrid unit selection / parametric TTS system | |
Mary et al. | Automatic syllabification of speech signal using short time energy and vowel onset points | |
Abdelmalek et al. | High quality Arabic text-to-speech synthesis using unit selection | |
Rawoof et al. | ARM based implementation of Text-To-Speech (TTS) for real time Embedded System | |
KR20240035548A (ko) | 합성 트레이닝 데이터를 사용하는 2-레벨 텍스트-스피치 변환 시스템 | |
JP6179094B2 (ja) | 発話特性付与装置、発話特性付与方法、音声合成装置および音声合成方法 | |
JPH0580791A (ja) | 音声規則合成装置および方法 | |
Deng et al. | Speech Synthesis | |
IMRAN | ADMAS UNIVERSITY SCHOOL OF POST GRADUATE STUDIES DEPARTMENT OF COMPUTER SCIENCE | |
Evans et al. | An approach to producing new languages for talking applications for use by blind people | |
Zou et al. | Integration of Intonation in F0 Trajectory prediction using MSD-HMMs | |
JPH06214585A (ja) | 音声合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20140327 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170703 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6179094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |