JPH09146576A - 原文対音声の人工的神経回路網にもとづく韻律の合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 中国語の原文についての音声に関連して、原
文対音声（ＴＴＳ）システムにおいて自然な音声を合成
するために、人工的神経回路網にもとづく韻律合成装置
を得ようとする。 【解決手段】 韻律合成装置は２つのかくれた層をもつ
４層の回帰神経回路網（ＲＮＮ）を用いる。第１の部分
は韻律モデルであって、韻律発生に対する高レベルの言
語特徴からの影響のすべてを評価し、ワードについてク
ロック同期式に作動し、高レベルの言語特徴例えばワー
ドの音声の一部（ＰＯＳ）および句読法の記号を受理す
るものである。第２の部分は韻律パラメータ発生装置で
あって、音節とクロック同期して作動し、第１の部分で
発生する韻律状態の助けをかりて低レベルの言語特徴の
幾つかの追加入力を用いて所望の韻律パラメータのすべ
てを発生させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は原文（テクスト）か
ら音声（スピーチ）への変換用の人工的な神経回路網に
もとづく韻律情報の合成装置に関する。

【０００２】

【従来の技術】連続状の音声（スピーチ）は、話される
実際のワードのほかに、超分節的な（スープラセグメン
タル）情報、例えば、強勢、タイミング構造、基本周波
数（ＦＯ）のコンタ（輪郭）のパターン等、を包含す
る。これらの情報は一般的に音声の韻律と称され、これ
は文章形式、文章論的構造、意味論、話者の感情的状
態、等の影響を受ける。話者は通常、音声のリズム、語
句の強調、呼吸のための休止、等を伝えるために韻律を
用いる。韻律がないと、音声は平坦な音調を有するよう
になり、退屈に、不愉快に、またはほとんど判断できな
いようにひびくものになるであらう。したがって、適切
な韻律の情報を発生させることは、原文対音声（テクス
ト ツウ スピーチ、ＴＴＳ）のシステムにおいて自然
の音声を合成するためには、最も重要な問題である。

【０００３】

【発明が解決しようとする課題】一般的なＴＴＳシステ
ムについて、発生が必要な韻律情報は、基本周波数（Ｆ
Ｏ）の輪郭、エネルギレベル、ワードの継続時間、およ
びワード間の休止期間、を包含する。これらの韻律情報
は一般的には入力される原文から抽出される言語特徴に
従って発生させられる。基本的には、言語特徴の相異な
るレベルであって、低レベルの語いの（ｌｅｘｉｃａ
ｌ）特徴、例えばワードの音声的構造から高レベルの語
いの特徴、例えば文章論の境界、までにわたるもの、が
用いられることができる。

【０００４】種々の言語のＴＴＳについて、過去におい
て韻律発生に対する多くの研究法が提案されたが（Ｃａ
ｒｌｓｏｎ Ｒ，Ｇｒａｎｓｔｒｏｍ Ｂ（１９７９）
による「規則に完全にもとづく、原文対音声のシステ
ム」Ｐｒｏｃ．ＩＣＡＳＳＰ，ｐｐ６８６−６８８，１
９７６；Ｌ．Ｓ．Ｌｅｅ，Ｃ．Ｙ．Ｔｓｅｎｇ，Ｍ．Ｏ
ｕｈ−Ｙｏｕｎｇ「中国の原文対音声のシステムにおけ
る合成の規則」ＩＥＥＥＴｒａｎｓ．ＡＳＡＰ．Ｖｏ
ｌ．３７，ｐｐ．１３０９−１３２０；Ｔ．Ｊ．Ｓｅｎ
ｏｗｓｋｉ，Ｃ．Ｒ．Ｒｏｓｅｎｂｅｒｇ「ＮＥＴａｌ
ｋ、声を出して読むことを学習する並列の回路網」Ｊｏ
ｈｎ Ｈｏｐｋｉｎｓ Ｕｎｉｖｅｒｓｉｔｙ ＥＥＣ
Ｓ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，１９８６）。
韻律の発生において高レベルの言語特徴を優雅に祈って
音声の高レベルの韻律構造を探究することは、一般的
に、依然として困難である。

【０００５】したがって、結果として得られる合成され
た韻律情報は自然で流暢な音声を発生させるには充分に
は良好ではない。これは特にＦＯ合成について真実であ
り、その理由はこれが合成された音声の自然さに影響を
及ぼす最も重要な韻律パラメータであるからである。従
来の規則準拠のＦＯ合成の研究法は、幾つかの単純な抑
揚（イントネーション）のパターンを、高レベルの言語
特徴からの影響を評価するための、高レベルの韻律構造
であると考える。それは最初に文章論的な分析に依存
し、入力された原文から或る文章論的な境界を検出し、
次いで、種々の文章論的な成分からの影響を個別に考慮
することにより、ＦＯ輪郭を決定するための種々の規則
を用いる。

【０００６】文章レベルの韻律構造をモデル化するため
に、わずかに幾つかの予め定められた抑揚パターンが用
いられる。例えば、よく知られた偏位作用（ｄｅｃｌｉ
ｎａｔｉｏｎ ｅｆｆｅｃｔ）が宣言的文章用の下降状
ＦＯ輪郭を用いることを示唆する。明らかなことである
が、この研究法は、高性能のＴＴＳシステムには充分に
良好なものではない。

【０００７】標準中国語のＴＴＳについて、韻律情報の
合成において、同様な状況に遭遇させられる。標準中国
語は音調的な言語である。各文字は音節として発音され
る。わずかに約１３００の音韻論的に許容される音節が
存在するのみであり、これらの音節は４１１の基本音節
と５つの音調の適法なあらゆる組合せのセットである。
各基礎音節は選択的な子音の最初部分と母音の最終部分
で構成される。語（ワード）は、文章論的に意味をもつ
最小の単位であるが、１つまたは複数の音節からなる。

【０００８】音節は標準中国語音声における基本的発音
単位であるという事実により、標準中国語ＴＴＳにおい
ても基本的合成単位として普通に選択される。したがっ
て、合成されることが必要である韻律情報は、ピッチ
（またはＦＯ）コンタ（輪郭）、エネルギレベル、音節
の最終の継続時間、および音節間の休止期間を包含す
る。過去において、これらの韻律パラメータの幾つかま
たはすべてを合成するために幾つかの研究法が提案され
た。

【０００９】これらは、規則準拠の研究法（Ｊ．Ｚｈａ
ｎｇ“中国語用の原文対音声のシステムの音響パラメー
タおよび音韻論的規則”Ｐｒｏｃ．ＩＣＡＳＳＰ．ｐ
ｐ．２０２３−２０２６，１９８６）、統計的方法
（Ｓ．Ｈ．Ｃｈｅｎ，Ｓ．Ｇ．Ｃｈａｎｇ，Ｓ．Ｍ．Ｌ
ｅｅ”標準中国語の音声用の統計的モデル準拠の基本周
波数合成装置”Ｊ．Ａｃｃｏｕｓｔ．Ｓｏｃ．Ａｍ．９
２（１），ｐｐ．１１４−１２０，Ｊｕｌｙ １９９
２）、線形回帰法（Ｓ．Ｈ．Ｈｗａｎｇ，Ｓ．Ｈ．Ｃｈ
ｅｎ“標準中国語の原文対音声のシステム用の神経回路
網準拠のＦＯ合成装置”ＩＥＥ Ｐｒｏｃ．Ｖｉｓ．Ｉ
ｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ．Ｖｏｌ．１
４１ Ｎｏ．６，Ｄｅｃ．１９９４）、多重層知覚子
（ＭＬＰ）準拠の研究法（Ｙ．Ｒ．Ｗａｎｇ．Ｓ．Ｈ．
Ｃｈｅｎ“韻律情報に援助される連続的な標準中国語の
音声の音調認識”Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ．Ｖ
ｏｌ．９６，Ｎｏ．５，Ｐｔｌ，ｐｐ２６３７−２６４
５，Ｎｏｖ，１９９４）、等を包含する。

【００１０】幾らかの改良は達成されたにせよ、これら
の研究法は、任意の原文について自然な音声を合成する
ため適切な韻律情報を発生させる目標に到達することか
らは依然として遠く離れている。これらの研究法の主要
な欠点は、韻律情報の合成に向っての高レベルの言語特
徴を優雅に祈ることができないことにある。

【００１１】

【課題を解決するための手段】本発明においては、人間
言語の原文対音声の変換用の人工的神経回路網にもとづ
く韻律情報の合成装置であって、該装置は、韻律モデル
であって、該人間言語の高レベルの言語特徴を受理し、
該人間言語のワードとクロック同期に従って作動し該ワ
ードの韻律構造の韻律状態をあらわす出力を供給するも
の、および、韻律パラメータの発生装置であって、該人
間言語の低レベルの言語特徴および該韻律モデルから供
給される該韻律状態の出力を受理し、音節とのクロック
同期に従って作動し、韻律パラメータを供給するもの、
を具備することを特徴とする韻律情報の合成装置、が提
供される。

【００１２】好適には、本発明による人工的神経回路網
にもとづく韻律情報の合成装置における該韻律モデル
は、（ａ）該高レベルの言語特徴を記憶し該高レベルの
言語特徴の正規化された入力値を発生させる複数の記憶
ユニットを包含する入力層の第１の部分、および、
（ｂ）複数の記憶ユニットを包含する第１のかくれた層
であって、該入力層の第１の部分から該正規化された高
レベルの言語特徴の入力値を受理し、該韻律状態の出力
を供給するものであり、その場合に、該入力層の第１の
部分の各記憶ユニットは記憶ユニットからなる人工的神
経回路網ファイバを有する第１のかくれた層の各記憶ユ
ニットに接続されているもの、を具備し、該韻律パラメ
ータの発生装置は、（ｃ）複数の記憶ユニットを包含す
る第２のかくれた層であって、該入力層の第２の部分か
ら該低レベルの言語特徴を、該第１のかくれた層から韻
律状態の出力を受理し、出力を供給するものであり、そ
の場合に、該入力層の第２の部分の各記憶ユニットおよ
び第１のかくれた層の各記憶ユニットは記憶ユニットか
らなる人工的神経回路網ファイバを有する第２のかくれ
た層の各記憶ユニットに接続されているもの、および、
（ｄ）第２のかくれた層から該出力を受理し、該韻律パ
ラメータを供給する出力層であって、複数の記憶ユニッ
トを包含し、第２のかくれた層の各記憶ユニットが記憶
ユニットからなる人工的神経回路網ファイバを有する出
力層の各記憶ユニットに接続されているもの、を具備す
る。

【００１３】好適には、該韻律モデルにおいては、該第
１のかくれた層におけると同じ数の記憶ユニットを包含
する第１の反復式の層がさらに設けられ、該第１の反復
式の層の各記憶ユニットは、記憶ユニットからなる人工
的神経回路網ファイバを有する第１のかくれた層の各記
憶ユニットに接続され、該第１のかくれた層により非線
形の変換により発生する出力のすべては、該第１の反復
式の層を通る入力として、それ自身に返還供給されるよ
うになっている。

【００１４】好適には該韻律パラメータ発生装置におい
ては、該第２のかくれた層におけると同じ数の記憶ユニ
ットを包含する第２の反復式の層がさらに設けられ、該
第２の反復式の層の各記憶ユニットは記憶ユニットから
なる人工的神経回路網のファイバを有する第２のかくれ
た層の各記憶ユニットに接続され、該第２のかくれた層
により非線形の変換により発生する出力のすべては、該
第２の反復式の層を通る入力として、それ自身に返還供
給されるようになっている。

【００１５】好適には該韻律パラメータ発生装置におい
ては、複数の記憶ユニットを包含する第３の反復式の層
がさらに設けられ、第２のかくれた層の各記憶ユニット
は記憶ユニットからなる人工的神経回路網のファイバを
有する該第３の反復式の層の各記憶ユニットに接続さ
れ、該出力層により発生させられる出力の一部は非線形
に変換され、該変換された信号は該第３の反復式の層を
通る入力としてそれ自身に返還供給されるようになって
いる。

【００１６】好適には、該入力層の第１の部分の各記憶
ユニットを第１のかくれた層の各記憶ユニットに接続す
る該人工的な神経回路網のファイバと、第１の反復式の
層の各記憶ユニットを第１のかくれた層の各記憶ユニッ
トに接続する該人工的な神経回路網のファイバは、単純
な反復式の神経回路網を構成するようになっている。

【００１７】

【発明の実施の形態】本発明においては、高レベルの言
語特徴からの影響を適切に考慮するための、ＴＴＳ用の
韻律の発生についての新規な研究法が提案される。基本
的な構想は、人工的な神経回路網（ＡＮＮ）を用いて人
間の韻律発音の機構を模擬し、次いでそれを訓練して、
実際の音声から、人間の言語の韻律構造をモデルするこ
とである。入力としての訓練用原文から抽出された幾つ
かのワードレベルの特徴をとり、これらの訓練用原文に
関連する音声から抽出された韻律パラメータを出力目標
として設定することにより、われわれはＡＮＮを訓練し
て、音声の韻律構造と関連する原文の言語特徴のシーケ
ンスの間の関係を自動的に学習することができる。した
がって、よく訓練されたＡＮＮは、与えられた入力の原
文について適切な韻律情報を発生させるための韻律合成
装置であると考えることができる。

【００１８】図１は人間の頭脳における韻律発音の過程
の概念的モデルを示す。入力された原文はまず、モデル
において、原文の分析により予行的に処理されて、幾ら
かの言語特徴が抽出される。次いで、これらの言語特徴
は韻律発音機構により解釈されて適切な韻律情報が発生
する。基本的には、低レベルの語彙の特徴、例えば音節
の音調から、高レベルの特徴、例えば文章論的境界、ま
でにわたる多様な言語特徴が、韻律の発生に影響を及ぼ
すために発音機構により用いられることができる。

【００１９】高レベルの言語特徴からの影響がより広範
囲にわたるものであるという事実により、われわれは、
図２に示されるように２つの部分に分割することにより
モデルを精密化することを提案したい。第１の部分は韻
律のモデルであって、人間の音声の高レベルの言語特徴
からの影響を考慮するものである。これは韻律状態と称
される音韻論的状態を探究し、この音韻論的状態は音韻
発生の広範囲の動向を制御する。第２の部分は実際の音
韻パラメータ発生装置である。これは或る低レベルの語
彙の特徴を用い、音韻のモデルの助けをかりて音韻情報
を発生させる。

【００２０】人間の発音機構の前記の精密化されたモデ
ルを模擬するために、本発明においては多層の回帰式の
神経回路網（ＲＮＮ）の音韻合成装置が採用される。図
３はＲＮＮのブロック線図をあらわす。図３に示される
ように、ＲＮＮは４層の回路網であって１つの入力層、
２つのかくれた層、および１つの出力層からなる。これ
の詳細な構築は図４に示される。これは２つの部分に機
能的に分割されることができる。

【００２１】第１の部分は、入力層の第１の部分と第１
のかくれた層からなり、出力はすべてそれ自身の入力へ
帰還する。これは、入力された原文の或るワードレベル
の言語特徴のみを用いることにより、人間の言語の音声
の高レベルのワードレベルの韻律構造を探究するため
の、韻律モデルであると判断される。これは、ワードと
クロック同期して作動し、現在のワードの韻律構造の韻
律状態をあらわす或る出力を発生する。

【００２２】入力の特徴は、現在のワードをＷ_i 、後続
のワードをＷ_i+1 について、発声の一部（詞類）である
ＰＯＳ（Ｗ_i ）およびＰＯＳ（Ｗ_i+1 ）、長さであるＬ
_en（Ｗ_i ）およびＬ_en（Ｗ_i+1 ）、および、２つのワー
ド間に存在する句読法記号（ＰＭ）の形式を示す指示子
であるＰＭ（Ｗ_i ，Ｗ_i+1 ）を包含する。標準中国語に
ついて、われわれは、実験において、ＰＯＳの４２の形
式およびＰＭの４つの形式を用いた。それらは表１およ
び表２にそれぞれ示される。

【表１】

【表２】

【００２３】韻律モデルを実現するために或るワードレ
ベルの言語特徴をもつこの形式の回帰神経回路網を用い
る理由は下記のとおりである。第１に、自然な中国語の
非限定の入力原文について高レベルの文章論特徴を正確
に得ることが一般には容易でなく、また標準中国語の音
声は韻律構造と同形ではないという事実のために、韻律
モデルを実現しようとして高レベルの文章論特徴を入力
特徴として直接用いることは、実際上、不適切である。
第２に、ワードは発音の最小の有意味の単位であるか
ら、ワードはまた、標準中国語音声の韻律構造の基本構
築要素であるべきである。第３に、標準中国語の音声の
韻律構造は成分ワードの関係を叙述するモデルであると
判断されることができる。

【００２４】第４に、この研究で用いられるＲＮＮの最
初の部分は、単純なＲＮＮであり、この単純なＲＮＮ
は、有限状態の機械を模擬するために、研究（Ｒ．Ｐ．
Ｌｉｐｐｍａｎｎ“神経回路網を用いる計算の序論”Ｉ
ＥＥＥ ＡＳＳＰ Ｍａｇ．ｐｐ．４−２２，１９８
７）において用いられている。したがってこれは、標準
中国語の音声におけるワードの関係を叙述するためにモ
デルとして用いられるに適切な動的なシステムである。
以上に述べられた見解から、われわれは、或るワードレ
ベルの言語特徴をもつＲＮＮの最初の部分を韻律モデル
を実現するために用いることができることを信ずる。

【００２５】ＲＮＮの第２の部分は、入力層の第２部
分、第２のかくれた層、および出力層からなる。これは
実際の韻律パラメータ発生装置である。これは、第２の
かくれた層へ直接に供給される或る低レベルの言語特徴
および韻律モデルから発生する韻律状態を用いることに
より、標準中国語ＴＴＳシステムで必要とされる韻律パ
ラメータのすべてを発生させるために音節にクロック同
期して作動する。第２のかくれた層の出力はすべてそれ
自身の入力へ返還供給される。それに加えて、ピッチ平
均とエネルギレベルの２つの出力韻律パラメータは出力
層の入力へ返還供給される。この配置により、韻律パラ
メータ発生装置は、動的なシステムになり、実際の発声
におけるこれらの時間的に変化する韻律パラメータを予
言することができる。

【００２６】標準中国語について、本発明で用いられる
入力低レベル言語特徴は、音調Ｔ（Ｓ_j ）、初期部の形
式Ｉ（Ｓ_j ）、処理しつつある音節Ｓ_j の最終部Ｆ（Ｓ
_j ）の形式、および処理しつつある音節が現行のワード
Ｗ_i の最初の、最後の、または中間の音節のいずれであ
るかを示す指示子Ｌ（Ｓ_j ／Ｗ_i ）を包含する。われわ
れの経験によれば、子音の発音の態様にもとづき決定さ
れる初期部分の６つの幅の広い形式と成分母音と鼻音に
より最終的に分類される１７の形式が用いられる。表３
および表４はこれらの初期および最終の形式を表にした
ものである。

【００２７】出力韻律パラメータは、ピッチ輪郭、エネ
ルギレベル（すなわち最大のログエネルギ）、および処
理しつつある音節の最終の継続時間の４つの低次の直交
変換された係数を包含する。ここで、エネルギレベルと
最終の継続時間は処理しつつある音節の最終形式用に正
規化される。これらのパラメータの正規化は、語いの言
語特徴により生ずるこれらの韻律パラメータの変動可能
性からもたらされるシステムの複雑性を低減させるため
に行われる。ピッチ輪郭を直交変換するために用いられ
る基本的関数は下記で与えられる。

【数１】

【数２】

【数３】

【数４】

【００２８】したがって、ピッチ輪郭の該４つの低次の
直交変換された係数の、最初のおよび他の３つの係数
は、処理しつつある音節のピッチ輪郭の平均および形状
をそれぞれあらわす。

【表３】

【表４】

【００２９】ＲＮＮ韻律合成装置は、実際の音声の発声
の大規模のセットを用いて誤り後方伝播（ＥＢＰ）のア
ルゴリズムにより訓練することができる。入力原文から
抽出された言語特徴を入力として供給し対応する発声か
ら抽出された韻律パラメータを所望の出力の目標として
設定することにより、ＲＮＮは発声の韻律構造と入力原
文のワードレベルの言語特徴の間の関係を自動的に学習
することができる。適切に訓練を行った後に、われわれ
はＲＮＮを標準中国語のＴＴＳ用の韻律合成装置である
と判断することができる。本発明において開示されるＲ
ＮＮ準拠の韻律合成装置が標準中国語に加えて、或る人
間の言語にも適していることは、当業者は容易に理解す
ることができる。

【００３０】標準中国語用の韻律情報の合成の本発明に
おける新しい解決策の特性は、模擬（シミュレーショ
ン）により点検された。電気通信研究所により提供され
る連続的標準中国語の音声のデータベースであるＭＯＴ
Ｃ，ＲＯＣが用いられた。データベースは、６５５の、
文章の、およびパラグラフの発声を包含する。発声はす
べて唯一人の男性の話者により行われた。発声はすべて
１秒につき３．５ないし４．５の音節の割合の速度で自
然に行われた。データベースは２つの部分、訓練用セッ
トと外部試験セット、に分割された。これらの２つのセ
ットはそれぞれ、２８１９１音節および７０５１音節か
らなる。

【００３１】音声信号はすべて２０kHz のサンプリング
速度でデジタル式に記録された。次いでそれは１０msの
フレームに分割され、波形、エネルギ、零通過割合、Ｌ
ＰＣ係数、ケプストラム（Ｃｅｐｓｔｒｕｍ）、および
デルタケプストラム（ｄｅｌｔａ−ｃｅｐｓｔｒｕｍ）
を包含する幾つかの音響特徴にもとづいて、静寂、無
声、および有声の部分に手動で区分される。次いで、下
降的にサンプリングされた１０kHz の音声信号から、合
成に対する韻律パラメータが抽出された。韻律パラメー
タは、ピッチ輪郭の４つの直交変換された係数、正規化
された最大の言語エネルギ、および各音節の正規化され
た最終の継続時間を包含する。

【００３２】ここで、ピッチ期間は、手動による誤り補
正をともなうＳＩＦＴアルゴリズム（Ｊ．Ｄ．Ｍａｒｋ
ｅｌ“基本周波数推算用のＳＩＦＴアルゴリズム”ＩＥ
ＥＥＴｒａｎｓ．ｏｎ Ａｕｄｉｏ ａｎｄ Ｅｌｅｃ
ｔｒｏａｃｏｕｓｔｉｃｓＶｏｌ．ＡＵ−２０，Ｎｏ．
５，ｐｐ．３６７−３７７，Ｄｅｃ．１９７２）により
検出される。ピッチ検出のフレーム長さは、１０msのフ
レーム偏位をともない４０msである。言語エネルギ分析
用のフレーム長さは、１０msのフレーム偏位をともない
２０msである。

【００３３】次いで、約８００００語を包含する中国語
の辞書を用いることにより、音声データベースにおける
発声に関連する原文のすべてを語いのワードのシーケン
スへ復号化するために、自動的な原文分析が用いられ
る。辞書における語いのワードの各個は１つないし５つ
の音節を包含する。適切なワードシーケンスのすべてを
得たのち、全部のワードのＰＯＳは手動で決定された。
模擬において、表１にあらわされるＰＯＳの４２の形式
のセットが用いられた。次いで、用いられた高レベルの
言語特徴のすべてが抽出された。

【００３４】表５は合成された韻律パラメータの平均二
乗の誤差をあらわす。この表から内側試験、外側試験の
それぞれにおけるピッチ輪郭合成について０．８２ms／
フレーム、1.08ms／フレームのＲＭＳＥが達成されたこ
とを見出すことができる。ピッチ平均の合成の代表的な
例が図５に示される。この図において、合成されたピッ
チ平均の軌跡が、音節の大半についての原軌跡の対応部
分に極めて良好に符合していることをみることができ
る。エネルギレベルの合成について、内側の試験、外側
の試験それぞれにおいて、3.１２dB、4.８８dBのＲＭＳ
Ｅが得られた。図６は図５において用いられたと同じ入
力原文についてのエネルギレベル合成の結果を示す。こ
の図に示されるように、合成されたエネルギレベルの軌
跡が音節の大半についての原軌跡の対応部分に依然とし
て符合している。

【００３５】最終の継続時間の合成について、内側試験
と外側試験において２８．７ms、３８．２msのＲＭＳＥ
が得られた。図７は前に用いられたと同じ入力原文につ
いての音節の合成された最終の継続時間をあらわす。こ
の図において、われわれは再び、合成された最終の継続
時間の軌跡が音節の大半についての原軌跡の対応部分に
極めて良好に符合していることを見出す。

【００３６】ピッチ輪郭合成の２つの代表的な例が図１
３、図１４にそれぞれ示される。これらの２つの図から
われわれは、音節の合成されたピッチ輪郭の大半が、形
状とレベルの両方において、原の輪郭の対応部分に類似
することを見出す。図１３において第４から第７までの
音節、ここにその語いの音調性はすべて音調３である
が、についての合成されたピッチ輪郭の形状が音調２、
音調３、音調２、および音調３の標準の形状と同様にみ
えることは、注意する価値がある。同様に、図１４にお
いて、最後の２つの音節、ここにその語いの音調性はす
べて音調３であるが、についての合成されたピッチ輪郭
の形状は、音調２および音調３の標準のパターンと同様
にみえる。このことは、音調２が音調３に続くとき音調
３を音調２へ変化させるという有名な連声規則がここで
正確に実現していることを示す。

【００３７】データベースにおける３−３の音調対およ
び３−３−３の音調系列をもつ音節系列のすべてについ
ての原のピッチ輪郭と合成されたピッチ間隔の両方を注
意深く聴き取り点検することにより、われわれは、発音
された真正の音調性に標識を付し、音調変化の数を計算
した。表６および表７は実験結果をあらわす。表に示さ
れるように、正確な合成の割合は、３−３の音調につい
ては８６％であり、３−３−３の音調系列については７
７．４％である。

【００３８】さらに誤差分析を行うことにより、われわ
れは誤差の大半は音調２または音調３として、発音され
ることが許容される音節において発生したことを見出し
た。したがって、音調３の迷惑な誤り発音は感知されな
かった。このことは、音調３の変化についての連声規則
がＲＮＮ韻律合成装置により自動的に学習され暗黙的に
記憶されたことを確認するものである。したがって、以
上に述べられた見解にもとづき、われわれは、提案され
たＲＮＮ韻律合成装置は極めて良好に作用すると結論づ
けることができる。

【表５】

【表６】

【表７】

【００３９】音調モデルの特性をさらに点検することに
より、われわれは、ＲＮＮ韻律合成装置の最初の部分の
出力を８つのクラスにベクトル量子化し、各クラスに８
状態の有限状態機械（ＦＳＭ）からの状態を割当てた。
このＦＳＭは、入力される原文のワードにクロック同期
して作動する。表８〜表１１は、状態転移の確率、文章
およびパラグラフの原文の開始および終了のワードの分
布、ＰＭの前および後におけるワードの分布、および種
々の長さをもつワードの分布を包含するＦＳＭの或る統
計をあらわす。図１５はＦＳＭのトポロジーを図示する
が、この場合にわれわれは幾つかの最も重要な状態転移
のみを図示した。

【００４０】表９および表１０から、状態１と状態２は
１つの文章または１つのパラグラフの終了状態であるこ
とがわかる。状態４は１つの文章の開始状態である。表
１１からわれわれは、状態７は非終了の単音節のワード
に関連することを見出す。状態０は３より大であるかま
たはそれに等しい長さをもつ複数音節のワードに関連す
る。代名詞はたいてい状態０にも関連する。幾つかの３
音節のワードは状態６に関連する。図１５から、状態５
と状態７が高い確率をもって状態４に続くことを見出す
こともできる。したがって、それらは文章の開始部分に
極めてひんぱんにあらわれる。状態４は、通常ＰＭを間
にはさんで、状態１と状態２に続く。状態７は常に状態
３に続き、形容句を形成する。

【００４１】より多くの原文（および音声）とそれに対
応する符号化された状態の系列を用いて、状態と文章論
的構造（および韻律構造）の関係をさらに探究すること
により、ＦＳＭのより多くの解釈を行うことが可能であ
る。以上に述べた見解にもとづき、ＦＳＭは言語的に意
味深いことが確認される。したがって、提案される韻律
モデルはワードレベルの言語特徴の入力のみを用いるも
のであるが、これは中国語の高レベルの言語特徴の韻律
情報発生に及ぼす影響を評価するのに有効なモデルであ
る。したがって、これは韻律情報の合成を援助するため
には極めて有用である。

【表８】

【表９】

【表１０】

【表１１】

【００４２】最後に、標準中国語のＴＴＳシステムにも
とづくピッチ同期式重複加算（ＰＳＯＬＡ）は、現在の
ＲＮＮ準拠の韻律合成装置を主観的に試験するためにま
た、実行される。これは訓練用のデータのセットから抽
出された４１１の音節の波形のセットを、基本的な合成
単位として用いる。音節のピッチ輪郭、エネルギレベ
ル、および最終継続時間を包含する３つの韻律パラメー
タが現在のＲＮＮ準拠の韻律合成装置により発生させら
れる。その他の韻律パラメータ、すなわち音節間の休止
期間、は幾つかの簡単な規則により設定される。台湾居
住の固有の中国人の多数による非公式の聴き取り試験に
より、合成された音声はすべて極めて自然に発音される
ことが確認された。したがって、この試験にもとづき、
われわれは、現在のＲＮＮ準拠の韻律合成装置は極めて
良好に作用すると結論づけることができる。

【図面の簡単な説明】

【図１】人間の頭脳における韻律発音の過程の概念的モ
デルを示すブロック線図である。

【図２】図１の概念的モデルのより精密化されたものを
示すブロック線図である。

【図３】本発明におけるＲＮＮ韻律合成装置を示すブロ
ック線図である。

【図４】図３に示される、本発明におけるＲＮＮ韻律合
成装置の詳細な構築を示すブロック線図である。

【図５】合成シーケンスの一例として、ピッチ期間をあ
らわす図である。点線は合成シーケンスを、実線は原の
シーケンスをあらわす。

【図６】合成シーケンスの一例として、エネルギレベル
をあらわす図である。

【図７】合成シーケンスの一例として、音節の最終の継
続時間をあらわす図である。

【図８】図５、図６、および図７の結合をあらわす図で
ある。

【図９】合成シーケンスの一例として、ピッチ期間を示
す図である。点線は合成シーケンスを、実線は原のシー
ケンスをあらわす。

【図１０】合成シーケンスの一例として、エネルギレベ
ルをあらわす図である。

【図１１】合成シーケンスの一例として、音節の最終継
続時間をあらわす図である。

【図１２】図９、図１０、および図１１の結合をあらわ
す図である。

【図１３】音声の波形、音節の合成されたピッチの輪
郭、および原のピッチの輪郭をあらわす図である。点線
は合成されたピッチの輪郭を、実線は原のピッチの輪郭
をあらわす。

【図１４】音声の波形、音節の合成されたピッチの輪
郭、および原のピッチの輪郭をあらわす図１１と同様な
図である。

【図１５】韻律モデルのＦＳＭのトポロジイを示す図で
ある。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 人間言語の原文対音声の変換用の人工的
   神経回路網にもとづく韻律情報の合成装置であって、該
   装置は、 韻律モデルであって、該人間言語の高レベルの言語特徴
   を受理し、該人間言語のワードとクロック同期に従って
   作動し該ワードの韻律構造の韻律状態をあらわす出力を
   供給するもの、および、 韻律パラメータの発生装置であって、該人間言語の低レ
   ベルの言語特徴および該韻律モデルから供給される該韻
   律状態の出力を受理し、音節とのクロック同期に従って
   作動し、韻律パラメータを供給するもの、を具備するこ
   とを特徴とする韻律情報の合成装置。
2. 【請求項２】 該韻律モデルは、（ａ）該高レベルの言
   語特徴を記憶し該高レベルの言語特徴の正規化された入
   力値を発生させる複数の記憶ユニットを包含する入力層
   の第１の部分、および、（ｂ）複数の記憶ユニットを包
   含する第１のかくれた層であって、該入力層の第１の部
   分から該正規化された高レベルの言語特徴の入力値を受
   理し、該韻律状態の出力を供給するものであり、その場
   合に、該入力層の第１の部分の各記憶ユニットは記憶ユ
   ニットからなる人工的神経回路網ファイバを有する第１
   のかくれた層の各記憶ユニットに接続されているもの、
   を具備し、該韻律パラメータの発生装置は、（ｃ）複数
   の記憶ユニットを包含する第２のかくれた層であって、
   該入力層の第２の部分から該低レベルの言語特徴を、該
   第１のかくれた層から韻律状態の出力を受理し、出力を
   供給するものであり、その場合に、該入力層の第２の部
   分の各記憶ユニットおよび第１のかくれた層の各記憶ユ
   ニットは記憶ユニットからなる人工的神経回路網ファイ
   バを有する第２のかくれた層の各記憶ユニットに接続さ
   れているもの、および、（ｄ）第２のかくれた層から該
   出力を受理し、該韻律パラメータを供給する出力層であ
   って、複数の記憶ユニットを包含し、第２のかくれた層
   の各記憶ユニットが記憶ユニットからなる人工的神経回
   路網ファイバを有する出力層の各記憶ユニットに接続さ
   れているもの、を具備する、請求項１記載の韻律情報の
   合成装置。
3. 【請求項３】 該第１のかくれた層におけると同じ数の
   記憶ユニットを包含する第１の反復式の層がさらに設け
   られ、該第１の反復式の層の各記憶ユニットは、記憶ユ
   ニットからなる人工的神経回路網ファイバを有する第１
   のかくれた層の各記憶ユニットに接続され、該第１のか
   くれた層により非線形の変換により発生する出力のすべ
   ては、該第１の反復式の層を通る入力として、それ自身
   に返還供給されるようになっている、請求項２記載の韻
   律情報の合成装置。
4. 【請求項４】 該第２のかくれた層におけると同じ数の
   記憶ユニットを包含する第２の反復式の層がさらに設け
   られ、該第２の反復式の層の各記憶ユニットは記憶ユニ
   ットからなる人工的神経回路網のファイバを有する第２
   のかくれた層の各記憶ユニットに接続され、該第２のか
   くれた層により非線形の変換により発生する出力のすべ
   ては、該第２の反復式の層を通る入力として、それ自身
   に返還供給されるようになっている、請求項２記載の韻
   律情報の合成装置。
5. 【請求項５】 複数の記憶ユニットを包含する第３の反
   復式の層がさらに設けられ、第２のかくれた層の各記憶
   ユニットは記憶ユニットからなる人工的神経回路網のフ
   ァイバを有する該第３の反復式の層の各記憶ユニットに
   接続され、該出力層により発生させられる出力の一部は
   非線形に変換され、該変換された信号は該第３の反復式
   の層を通る入力としてそれ自身に返還供給されるように
   なっている、請求項２記載の韻律情報の合成装置。
6. 【請求項６】 該入力層の第１の部分の各記憶ユニット
   を第１のかくれた層の各記憶ユニットに接続する該人工
   的な神経回路網のファイバと、第１の反復式の層の各記
   憶ユニットを第１のかくれた層の各記憶ユニットに接続
   する該人工的な神経回路網のファイバは、単純な反復式
   の神経回路網を構成するようになっている、請求項３記
   載の韻律情報の合成装置。