JPH11161297A - 音声合成方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】調音器官の物理的な制約を考慮して音韻継続時
間長を決定することで、合成音声をより人間らしい自然
なものにする。 【解決手段】音声合成の対象となる漢字かな混じり文を
言語処理部１０１内に入力して読み情報とアクセント情
報を生成し、その情報から音韻記号系列とアクセント情
報が記述された音声記号列を生成する。音声合成部１０
２内の音韻継続時間長計算処理部１０７では、音声記号
列中の音韻記号系列に含まれる個々の音韻とその音韻環
境から異音レベルの音韻記号系列を変換・生成し、その
異音レベルの音韻記号系列に含まれる各音韻に従って、
その音韻に割り当てられる各調音器官の調音モデルパラ
メータをメモリ１０７ａまたは１０７ａ′から取り出し
て利用することで、当該調音モデルの状態を上記各音韻
に基づいて時間軸方向に変化させ、当該調音モデルの状
態変化をもとに各音韻の継続時間長を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声合成の対象と
なる音韻情報に基づいて、当該音韻情報に含まれる個々
の音韻の継続時間長を決定すると共に音声素片を選択
し、決定した音韻の継続時間長に基づいて選択した音声
素片を接続することによって音声を合成する音声合成方
法及び音声合成装置に関する。

【０００２】

【従来の技術】この種の音声合成装置の代表的なもの
に、音声を細分化して蓄積し、その組み合わせによって
任意の音声を合成可能な規則合成装置があることが知ら
れている。以下では、この規則合成装置の従来技術の例
を図を参照しながら説明していく。

【０００３】図１３は従来の規則合成装置の構成を示す
ブロック図である。図１３の規則合成装置は入力される
テキストデータ（以下、単にテキストと称する）を音韻
と韻律からなる記号列に変換し、その記号列から音声を
生成する文音声変換（Text-to-speech conversion ：以
下、ＴＴＳと称する）処理を行う。

【０００４】この図１３の規則合成装置におけるＴＴＳ
処理機構は、大きく分けて言語処理部１２と音声合成部
１３の２つの処理部からなり、日本語の規則合成を例に
とると次のように行われるのが一般的である。

【０００５】まず言語処理部１２では、テキストファイ
ル１１から入力されるテキスト（漢字かな混じり文）に
対して形態素解析、構文解析等の言語処理を行い、形態
素への分解、係り受け関係の推定等の処理を行うと同時
に、各形態素に読みとアクセント型を与える。その後言
語処理部１２では、アクセントに関しては複合語等のア
クセント移動規則を用いて、読み上げの際の区切りとな
る句（以下、アクセント句と称する）毎のアクセント型
を決定する。通常ＴＴＳの言語処理部１２では、こうし
て得られるアクセント句毎の読みとアクセント型を記号
列（以下、音声記号列と称する）として出力できるよう
になっている。

【０００６】次に音声合成部１３内では、得られた読み
に含まれる各音韻の継続時間長を音韻継続時間長決定処
理部１４にて決定する。音韻の継続時間長は、日本語の
音節の等時性に基づき、図１４に示されるように、各音
節の基準点（ここでは、子音から母音へのわたり部であ
り、図において記号△で示される位置）の間隔が一定に
なるように決定するのが一般的である。最も簡単な方法
としては、子音の継続時間長は子音の種類により一定と
し、母音の継続時間長で基準点間隔を一定に保つ方法が
とられる。

【０００７】続いて上記のようにして得られる「読み」
に従って、音韻パラメータ生成処理部１６が音声素片メ
モリ１５から必要な音声素片を読み出し、読み出した音
声素片を「音韻の継続時間長」に従って時間軸方向に伸
縮させながら接続して、合成すべき音声の特徴パラメー
タ系列を生成する。

【０００８】ここで音声素片メモリ１５には、予め作成
された多数の音声素片が格納されている。音声素片は、
アナウンサ等が発声した音声を分析して所定の音声の特
徴パラメータを得た後、所定の合成単位例えば日本語の
音節（子音十母音：以下、ＣＶと称する）単位で、日本
語の音声に含まれる全ての音節を上記特徴パラメータか
ら切り出すことにより作成される。

【０００９】ここではパラメータとして低次ケプストラ
ム係数を利用している。低次ケプストラム係数は次のよ
うにして求めることができる。まず、アナウンサ等が発
声した音声データに、一定幅、一定周期で窓関数（ここ
ではハニング窓）をかけ、各窓内の音声波形に対してフ
ーリエ変換を行い音声の短時間スペクトルを計算する。
次に、得られた短時間スペクトルのパワーを対数化して
対数パワースペクトルを得た後、対数パワースペクトル
を逆フーリエ変換する。こうして計算されるのがケプス
トラム係数である。そして一般に、高次のケプストラム
係数は音声の基本周波数情報を、低次のケプストラム係
数は音声のスペクトル包絡情報を保持していることが知
られている。

【００１０】音声合成部１３では更に、ピッチパターン
生成処理部１７が上記アクセント型をもとにピッチの高
低変化が生じる時点にて点ピッチを設定し、複数設定さ
れた点ピッチ間を直線補間してピッチのアクセント成分
を生成し、これにイントネーション成分（通常は周波数
−時間軸上での単調減少直線）を重畳してピッチパター
ンを生成する。そして有声区間ではピッチパターンに基
づいた周期パルスを、無声区間ではランダムノイズをそ
れぞれ音源として、一方音声の特徴パラメー夕系列から
フィルタ係数を算出し、合成フィルタ処理部１８に与え
て所望の音声を合成する。ここでは、合成フィルタ処理
部１８に、ケプストラム係数を直接フィルタ係数とする
ＬＭＡ（Log Magnitude Approximation ）フィルタ（対
数振幅近似フィルタ）を合成フィルタとして用いてい
る。

【００１１】ここまでの処理はディジタル処理によって
行われるのが一般的で、したがって合成された音声は離
散信号であるから、音声合成部１３では最後に、この離
散波形をＤ／Ａ（ディジタル／アナログ）変換器１９に
供給し、離散信号を電気的なアナログ信号に変換する。
こうして得られたアナログ信号でスピーカー等を駆動す
ることにより聴覚で知覚できる音声が合成できる。

【００１２】

【発明が解決しようとする課題】上記した規則合成装置
に代表される従来の音声合成装置では、その音声合成装
置で生成される音声には次のような問題があった。ま
ず、従来の音声合成装置では、音声合成部において、読
みに含まれる各音韻の継続時間長を決定する際、上述し
たように、日本語の音節の等時性に基づき、各音節の基
準点の間隔を一定になるように決定している。しかしな
がら、人間が音声を発声するときには、言葉の発音（調
音）を司る顎、唇、舌などの調音器官の物理的な制約に
よって、等時性を維持するのは難しい。そのため、実際
には、音韻の種類やその前後の音韻の影響を受けて、等
時性は乱されてしまうが、逆にそれが音声に人間らしさ
や発声者の個性を与えている。

【００１３】したがって、従来の音声合成装置における
日本語の音節の等時性のみに基づく音韻継続時間長の決
定手法では、このような調音器官の物理的な制約が考慮
されていないがために、音節の時間的な配置が一定間隔
になり過ぎてしまい、合成音声の人間らしさが損なわれ
てしまうという欠点があった。

【００１４】本発明は上記事情を考慮してなされたもの
でその目的は、調音器官の物理的な制約を考慮して音韻
継続時間長を決定することで、合成音声をより人間らし
い自然なものにし、聞き取りやすく長時間聞いていても
疲れない音声を合成可能な音声合成装置及び音声合成方
法を提供することにある。

【００１５】本発明の他の目的は、音声合成時に、合成
音声に合わせて滑らかに口が動く動画像を合成すること
ができ、簡単にアニメーションなどを作成することが可
能な音声合成装置及び音声合成方法を提供することにあ
る。

【００１６】

【課題を解決するための手段】本発明は、音声合成の対
象となる第１の音韻情報に含まれる個々の音韻とその音
韻環境から異音レベルの第２の音韻情報を変換・生成
し、この第２の音韻情報に基づいて、調音器官の動きを
モデル化した調音モデルの状態を時間軸方向に変化さ
せ、上記調音モデルの状態変化をもとに上記第２の音韻
情報に含まれる個々の音韻の継続時間長を決定すると共
に、上記第１または第２の音韻情報に基づいて音声素片
を選択し、上記決定した音韻の継続時間長に基づいて上
記選択した音声素片を接続することによって音声を合成
することを特徴とする。

【００１７】本発明においては、調音モデルを用い、当
該調音モデルの制御結果に基づいて音韻の継続時間長を
求めることで、人間が音声を発声した際の調音器官の物
理的な制約を音韻継続時間長に反映することができるの
で、より人間らしく自然で、聞き取りやすい音声を合成
することが可能となる。特に本発明においては、異音レ
ベルの音韻情報（第２の音韻情報）に基づいて調音モデ
ルの状態を時間軸方向に変化させることから、当該調音
モデルの動きがより人間の調音器官に近いものとなるの
で、より一層人間らしく、聞き取りやすく音声を合成で
きる。

【００１８】また本発明は、実音声をもとに作成された
調音モデルを制御するための音韻別の調音モデルパラメ
ータからなる調音モデルパラメータセットを保持してお
き、音声合成の際には、上記調音モデルパラメータに基
づいて調音モデルを制御することを特徴とする。

【００１９】本発明においては、人が実際に発声した音
声（実音声）をもとに作成された調音モデルパラメータ
を用いて、調音モデルが制御されるため、より人間らし
い合成音声とすることができ、更に当該パラメータの作
成に用いられた音声を発声した話者の口調を真似ること
が可能となる。

【００２０】ここで、異なる話者の音声をもとに作成さ
れた複数の調音モデルパラメータセットを保持し、音声
合成の際、上記複数セットの調音モデルパラメータの中
から１つの調音モデルパラメータのセットを選択し、こ
の選択した調音モデルパラメータのセットに基づいて調
音モデルを制御するならば、合成音声の口調を種々変え
ることができる。

【００２１】また、上記調音モデルパラメータとして、
実音声をもとに取得される音韻情報と音韻境界の情報が
格納された音声データベースを用いて最適化されたもの
を適用するならば、より一層人間らしい合成音声とする
ことができる。ここで、調音モデルパラメータを最適化
するには、音声データベースから音韻情報と音韻境界の
情報を取り出して、両情報をもとに隣り合う音韻境界位
置（時間）の差分をとることによって、各音韻の実音声
における継続時間長を求めると共に、音声データベース
内の音韻情報をもとに、上記した継続時間長の決定手法
を適用して、その時点において求められている調音モデ
ルパラメータを用いて調音モデルを制御することで、個
々の音韻の継続時間長を推定し、実音声の音韻継続時間
長と、推定した音韻継続時間長とを比較して、継続時間
長の推定誤差を計算し、その推定誤差が小さくなるよう
に、音韻別の調音モデルパラメータの値を変更するフィ
ードバック制御を繰り返し実行すればよい。

【００２２】また本発明は、音声を合成すると同時に、
調音モデルの時間的変化に基づいて口の動画像を合成す
ることを特徴とする。本発明においては、調音モデルの
各調音器官の動きをもとに口の動画像が合成されること
から、音声合成時に、合成音声に合わせて滑らかに口が
動く動画像を合成することができ、簡単にアニメーショ
ンなどを作成することが可能となる。

【００２３】また本発明は、上記調音モデルに、顎、
唇、及び舌の各調音器官の動きをモデル化した調音モデ
ルを適用するようにしたことを特徴とする。ここで、調
音モデルで示される調音器官の動きを、臨界制動２次線
形系のステップ応答関数で表すとよい。

【００２４】このような調音モデルでは、モデルが簡素
化されるため演算量が少なくて済む。また、調音モデル
パラメータとして、音韻別に、その音韻が発声されてい
ると認められる調音器官の状態である許容範囲を割り当
て、この許容範囲をもとに、音韻間の境界を決定して音
韻の継続時間長を求めるならば、人間が通常に発声する
際の顎、唇、及び舌の各調音器官の比較的あいまいな動
きが反映されるので、より一層人間らしく自然で、聞き
取りやすく長時間聞いていても疲れない音声を合成する
ことが可能となる。許容範囲に基づく音韻間の境界の決
定方法としては、例えば、いずれかの調音器官の状態が
最初に音韻（当該音韻）の対応する許容範囲を抜けた時
点（ｔout ）と全ての調音器官の状態が後の音韻（後続
音韻）の対応する許容範囲に入った時点とで挟まれた区
間の中間時点とする方法が適用可能（当該音韻と後続音
韻が共に母音の場合）である。この他、いずれかの調音
器官の状態が最初に当該音韻の対応する許容範囲を抜け
た時点（ｔout ）を音韻間の境界とするとか（当該音韻
が子音の場合）、全ての調音器官の状態が後続音韻の対
応する許容範囲に入った時点（ｔin）を音韻間の境界と
する（当該音韻が母音で後続音韻が子音の場合）ことも
可能である。

【００２５】

【発明の実施の形態】以下、本発明の実施の形態につき
図面を参照して説明する。図１は本発明の一実施形態に
係る音声の規則合成装置の概略構成を示すブロック図で
ある。この音声規則合成装置（以下、音声合成装置と称
する）は、例えばパーソナルコンピュータ等の情報処理
装置上で、ＣＤ−ＲＯＭ、フロッピーディスク、メモリ
カード等の記録媒体、或いはネットワーク等の通信媒体
により供給される専用のソフトウェア（文音声変換ソフ
トウェア）を実行することにより実現されるもので、文
音声変換（ＴＴＳ）処理機能、即ちテキストから音声を
生成する文音声変換処理（文音声合成処理）機能を有し
ており、その機能構成は、大別して言語処理部１０１、
音声合成部１０２とに分けられる。

【００２６】言語処理部１０１は、入力文、例えば漢字
かな混じり文を解析して読み情報とアクセント情報を生
成する処理と、これら情報に基づき音韻記号系列及びア
クセント情報が記述された音声記号列を生成する処理を
司る。

【００２７】音声合成部１０２は、言語処理部１０１の
出力である音声記号列をもとに音声を生成する処理を司
る。さて、図１の音声合成装置において、文音声変換
（読み上げ）の対象となるテキスト（ここでは日本語文
書）はテキストファイル１０３として保存されている。
本装置では、文音声変換ソフトウェアに従い、当該ファ
イル１０３から漢字かな混じり文をｌ文ずつ読み出し
て、言語処理部１０１及び音声合成部１０２により以下
に述べる文音声変換処理を行い、音声を合成する。

【００２８】まず、テキストファイル１０３から読み出
された漢字かな混じり文（入力文）は、言語処理部１０
１内の言語解析処理部１０４に入力される。言語解析処
理部１０４は、入力される漢字かな混じり文に対して形
態素解析を行い、読み情報とアクセント情報を生成す
る。形態素解析とは、与えられた文の中で、どの文字列
が語句を構成しているか、そしてその語の構造がどのよ
うなものかを解析する作業である。

【００２９】そのために、言語解析処理部１０４は、文
の最小構成要素である「形態素」を見出し語に持つ形態
素辞書１０５と形態素間の接続規則が登録されている接
続規則ファイル１０６を利用する。即ち言語解析処理部
１０４は、入力文と形態素辞書１０５とを照合すること
で得られる全ての形態素系列候補を求め、その中から、
接続規則ファイル１０６を参照して文法的に前後に接続
できる組み合わせを出力する。形態素辞書１０５には、
解析時に用いられる文法情報と共に、形態素の読み並び
にアクセントの型が登録されている。このため、形態素
解析により形態素が定まれば、同時に読みとアクセント
型も与えることができる。

【００３０】例えば、「公園へ行って本を読みます」と
いう文に対して形態素解析を行うと、 ／公園／へ／行って／本／を／読み／ます／。 と形態素に分割される。

【００３１】各形態素に読みとアクセント型が与えら
れ、 ／コウエン／エ／イッテ／ホ＾ン／ヲ／ヨミ／マ＾ス／ となる。ここで「＾」の入っている形態素は、その直前
の音節でピッチが高く、その直後の音節ではピッチが落
ちるアクセントであることを意床する。また「＾」がな
い場合は、平板型のアクセントであることを意味する。

【００３２】ところで、人間が文章を読むときには、こ
のような形態素単位でアクセントを付けて読むことはせ
ず、幾つかの形態素をひとまとめにして、そのまとまり
毎にアクセントを付けて読んでいる。

【００３３】そこで、このようなことを考慮して、言語
解析処理部１０４では更に、１つのアクセント句（アク
セントを与える単位）で形態素をまとめると同時に、ま
とめたことによるアクセントの移動も推定する。これに
加えて言語解析処理部１０４は、母音の無声化や読み上
げの際のポーズ（息継ぎ）等の情報も付加する。これに
より、上記の例では、最終的に次のような音声記号列が
生成される。

【００３４】 ／コーエンエ／イッテ．／ホ＾ンオ／ヨミマ＾（ス）／ ここで、ピリオド「．」はポーズを、「（ ）」は母音
が無声化した音節であることを表わす。

【００３５】さて、上記のようにして言語処理部１０１
内の言語解析処理部１０４により音声記号列が生成され
ると、音声合成部１０２内の音韻継続時間長計算処理部
１０７が起動される。

【００３６】音韻継続時間長計算処理部１０７は、言語
解析処理部１０４で生成した音声記号列中の音韻情報に
従って、入力文に含まれる各音節の子音部並びに母音部
の継続時間長（単位は例えばms）を決定する。この音韻
継続時間長処理部１０７での継続時間長の決定処理の概
略は以下の通りである。

【００３７】既に述べたように、人間の音声の生成過程
において、調音器官の動きの物理的制約が音韻継続時間
に影響を及ぼす。日本語音声においては、この調音器官
の制約が、拍の等時性という日本語特有の時間構造の特
徴を乱す原因となっている。しかしながら、実際には等
時性は乱されているが、逆にそれが音声に人間らしさを
与えているのである。

【００３８】そこで、複数の調音器官の状態をパラメー
タとして１つの調音モデルを考え、合成すべき音韻列に
従ってモデルを制御し、その制御結果に基づいて音韻継
続時間長を決定する。

【００３９】調音モデルに関しては、古くは藤村−Coke
r の調音モデルなど、様々なモデルが提案されている。
しかし、近年のこれらのモデルの多くは、調音器官の動
きと音声の音響的な性質との関連付けを目的としてお
り、調音器官の制御機構をシミュレートし、声道の音響
特性を近似するために、モデルの構造や制御が複雑であ
る。

【００４０】音韻継続時間長を決定するために必要とな
るモデルは、調音器官の物理的制約による音韻継続時間
長への影響が表現できればよいから、単純なモデルで十
分である。

【００４１】そこで本実施形態では、実際の発話におい
てその動きに物理的制約を受けやすいと思われる４つの
調音器官を選択し、これらによって音韻継続時間制御の
ための調音モデルを構成する。選択した調音器官は、図
３に示した顎の開き（Ｊ）、唇の丸め（Ｌ）、前舌の位
置（ＦＴ）、後舌の位置（ＢＴ）である。

【００４２】調音器官の動きを模擬するために、異なる
調音様式で発音される音韻、即ち異音は全て区別する。
例えば、撥音「ん」には、図４に示すように、後続する
音韻によって幾つかの異なる調音様式を持つ。

【００４３】そこで、図４に示したような音韻の細分化
を行い、日本語音声に関しては、母音については無声化
母音、鼻母音までを、子音は口蓋化子音までの分類を行
う。前述の「公園へ行って本を読みます」という文の入
力例に従えば、言語処理部１０１内の言語解析処理部１
０４から入力される音声記号列に含まれる音韻系列のそ
れぞれの音韻は、まず図５（ａ）に示すような系列（第
１の音韻情報）で表される。この図５（ａ）において、
／：／は調音を、／Ｎ／は撥音、／Ｑ／は促音を表す。

【００４４】更に、それぞれの音韻は、その音韻環境か
ら、音韻継続時間長計算処理部１０７（内の調音モデル
時間変化決定処理部１０７ｂ）により、上記した詳細分
類の音韻系列、つまり異音レベルの音韻系列（第２の音
韻情報）に図５（ｂ）のように変換される。なお、この
異音レベルの音韻系列への変換は、音韻継続時間長計算
処理部１０７側でなく、言語処理部１０１側（例えば言
語解析処理部１０４）で行われるものであっても構わな
い。

【００４５】本実施形態において、個々の音韻ｐｈに
は、各調音器官ｋ（ｋは、Ｊ，Ｌ，ＦＴ，ＢＴ）毎の固
有状態Ａinh(ｋ，ｐｈ) と調音器官ｋの範囲（以下、許
容範囲と称する）の上限Ａmax(ｋ，ｐｈ) 及び下限Ａmi
n(ｋ，ｐｈ) との３×４（＝１２）個と、その音韻ｐｈ
の最小継続時間長Ｄmin(ｐｈ) の計１３個の調音モデル
のパラメータが割り当てられる。

【００４６】１つの音韻ｐｈを考えた場合、その音韻を
発声するのに代表的な調音モデルの各調音器官ｋの状態
が固有状態Ａinh(ｋ，ｐｈ) である。一方、この音韻が
発声されていると認められる調音器官の状態は、固有状
態における１点ではなく、ある程度の許容範囲がある。
そこで、各調音器官ｋのその音韻の調音として許容でき
る範囲を、上記のようにＡmax(ｋ，ｐｈ) 及びＡmin
(ｋ，ｐｈ) で表す。なお本実施形態では、Ａinh(ｋ，
ｐｈ) ，Ａmax(ｋ，ｐｈ) ，Ａmin(ｋ，ｐｈ) は、調音
器官の可動範囲を０〜１として正規化されている。例え
ば、音韻［ｉ］に対するパラメータ値は図６のようにな
っている。

【００４７】個々の調音器官ｋの動きを表す時系列Ｍ
（ｋ，ｔ）は、合成すべき音韻系列をもとに次式（１）
によって計算される。 Ｍ（ｋ，ｔ）＝Ａinh(ｋ，ｐｈ1) ＋ΣＲi(ｋ，ｔ) ……（１） ここで、ΣＲi(ｋ，ｔ) は、音韻系列の音韻数をｉ＝１
〜ｉ＝ＮのＮ個であるとすると、Ｒi(ｋ，ｔ) のｉ＝１
〜ｉ＝Ｎ−１までの総和である。

【００４８】またＲi(ｋ，ｔ) は、モデルをｉ番目の当
該音韻ｐｈi から後続音韻ｐｈi+1（ｉ＋１番目の音
韻）へ移行させる開始時点をｔi とすると、ｔ＜ｔi の
範囲では Ｒi(ｋ，ｔ) ＝０ で表され、ｔ≧ｔi の範囲では Ｒi(ｋ，ｔ) ＝｛Ａinh(ｋ，ｐｈi+1)−Ａinh(ｋ，ｐｈ
i)｝Ｓ（ｔ−ｔi ） で表される。

【００４９】また、Ｓ（ｔ）には、臨界制動２次線形系
のステップ応答、即ち Ｓ（ｔ）＝１−（１＋ａｔ）ｅ^-at ……（２） を用い近似する。ここで、ａは調音器官ｋの固有角周波
数αk を表す。固有角周波数は調音器官によって異な
り、動きの速い調音器官ほど大きな値をとる。

【００５０】上記ｔi は、日本語の音声合成において
は、次のようにして決まる。まず、先行するｉ−１番目
の音韻ｐｈi-1 から上記式に基づいて各調音器官を動か
すことにより調音モデルをｉ番目の当該音韻ｐｈi へ移
行させる際、全ての調音器官（Ｊ，Ｌ，ＦＴ，ＢＴ）が
当該音韻ｐｈi のそれぞれの許容範囲（調音許容範囲）
に入る時点を求め、更に、当該音韻ｐｈi の最小継続時
間長Ｄmin(ｐｈi)だけ進めた（加算した）時点を求め
る。当該音韻ｐｈi が子音の場合には、この時点を後続
音韻ｐｈi+1 へのモデルの移行開始時点ｔi とし、当該
音韻ｐｈi が母音の場合には、この時点と次に述べる拍
同期時点とを比較し大きい方をｔi とする。拍同期時点
は、日本語の等時性に基づいて与えられる時間軸上の等
間隔の点である。この拍同期時点の間隔Ｔを調節するこ
とで、合成音声の発話速度を変化させることができる。
この規則に基づいて制御された各調音器官Ｊ，Ｌ，Ｆ
Ｔ，ＢＴ（の動きをモデル化した調音モデルの状態）の
時間変化の例を図７に示す。このように、調音器官の動
きが時間軸に対する連続量として表わされる。

【００５１】こうして音韻継続時間長計算処理部１０７
で計算された各調音器官の時系列パターンから、当該音
韻継続時間長計算処理部１０７は音韻継続時間長を決定
する。調音モデルが当該音韻から後続音韻へ遷移する場
合、初めの状態では、全ての調音器官は当該音韻の調音
許容範囲内にあるが、調音モデルの状態が変化すると、
調音器官のうちの１つが時点ｔout にてその許容範囲を
抜け出る。そしてモデルの状態遷移が進むと、ある時点
ｔinにおいて全ての調音器官が後続音韻の調音許容範囲
に入る。これは、ｔ＜ｔout では全ての調音器官は当該
音韻の調音許容範囲にあり、ｔ≧ｔinでは全ての調音器
官は後続音韻の調音許容範囲内にあることを意味する。

【００５２】ここでは、当該音韻が子音の場合、つまり
当該音韻が子音で後続音韻が母音の場合には、ｔout を
当該音韻と後続音韻の境界（子音−母音間の音韻境界）
とし、当該音韻が母音で後続音韻が子音の場合には、ｔ
inを当該音韻と後続音韻の境界（母音−子音間の音韻境
界）とする。また、当該音韻及び後続音韻が共に母音の
場合には、（ｔout ＋ｔin）／２なる時点を当該音韻と
後続音韻の境界（母音−母音間の音韻境界）とする。つ
まり、子音−母音間の境界は、いずれかの調音器官が最
初に子音（当該音韻）の調音許容範囲を抜け出た時点と
し、母音−子音間の境界は、全ての調音器官が子音（後
続音韻）の調音許容範囲に入った時点とする。また、母
音−母音間の境界は、いずれかの調音器官が最初に当該
音韻の調音許容範囲を抜け出た時点と、全ての調音器官
が後続音韻の許容範囲に入った時点とで挟まれた区間の
中間時点とする。

【００５３】以上の手順で全ての音韻境界を決定し、隣
り合う境界の時間差から、それぞれの音韻の長さ（音韻
継続時間長）を決定する。このようにして、与えられた
音韻系列に含まれる全ての音韻の時間的な長さ、即ち音
韻継続時間長が決定される。

【００５４】ところで、上記のようにして調音モデルを
制御するためには、音韻ｐｈ毎に割り当てられた各調音
器官ｋの固有状態Ａinh(ｋ，ｐｈ) 、その許容範囲Ａma
x(ｋ，ｐｈ) 及びＡmin(ｋ，ｐｈ) と、最小継続時間長
Ｄmin(ｐｈ) と、上記（２）式の調音器官ｋ毎に決まる
固有角周波数ａ（＝αk ）を適切に設定する必要があ
る。そのため本実施形態では、実際に人間が発生した大
量の音量データを用いて最適化（学習）することによ
り、予めこれらの値を設定するようにしている。

【００５５】この個々の音韻の調音モデルの各パラメー
タ値を大量の音声データを用いて最適化する方法につい
て、図８を参照して説明する。図８において、音声デー
タベース１３０には、人間が発声した音声をディジタル
化してファイルにしたもので、音声の内容を示す（音韻
情報としての）音韻ラベルと音韻境界の情報が一緒に収
められている。

【００５６】実音声音韻継続時間計算処理部１３１は、
音声データベース１３０より音韻ラベルと音韻境界位置
（時点）の情報を取り出し、隣り合う音韻境界位置（時
点）の差分をとることによって、各音韻の実音声におけ
る継続時間長を計算する。

【００５７】音韻継続時間長推定処理部１３２は前記し
た図１中の音韻継続時間長計算処理部１０７で適用する
手法と同一手法による処理を行うもので、音声データベ
ース１３０に含まれる音韻ラベル系列を入力として、音
韻の継続時間長を推定する。

【００５８】時間長比較部１３３は、実音声音韻継続時
間計算処理部１３１により求められた実音声の音韻継続
時間長と、音韻継続時間長推定処理部１３２により推定
された音韻継続時間長とを比較して、継続時間長の推定
誤差を計算する。本実施形態では、この推定誤差とし
て、音声データベース１３０に含まれる全音韻の２乗誤
差の和を全音韻数で割った平均２乗誤差を採用してい
る。

【００５９】パラメータ変更部１３４は、時間長比較部
１３３により求められた継続時間長の推定誤差が小さく
なるように、音韻別調音モデルパラメータメモリ１３５
の内容である、各音韻毎の調音モデルパラメータの値を
変更する。

【００６０】このようなフィードバック制御を繰り返す
ことにより、継続時間長の推定誤差を最小化する音韻別
の調音モデルパラメータセットを、音韻別調音モデルパ
ラメータメモリ１３５内に得ることができる。

【００６１】以上のようにして、音韻別調音モデルパラ
メータメモリ１３５内に、調音モデル制御のためのパラ
メータ値を得ると、合成される音声は、音声データベー
ス１３０に収録された話者の口調に非常に近いものとな
ることがわかる。

【００６２】本実施形態では、異なる話者の音声より作
成した２種類の音声データファイルから、上記の手法に
より、２セットの調音モデル制御のためのパラメータを
求めるようにしている。即ち、音声データベース１３０
に収録される（音韻ラベルと音韻境界の情報を含む）音
声データファイルとして、第１の話者の音声により作成
した第１の音声データファイルと、第２の話者の音声に
より作成した第２の音声データファイルの２種類用意
し、当該音声データファイルを切り替えて上記の手法を
適用することで、その都度音韻別調音モデルパラメータ
メモリ１３５に、その話者の口調に対応した調音モデル
パラメータセットを求めるようにしている。

【００６３】このようにして求められた第１及び第２の
話者にそれぞれ対応した調音モデルパラメータセットの
一方は図１中の音韻別調音モデルパラメータメモリ１０
７ａに、他方は同じく図１中のもう一つの音韻別調音モ
デルパラメータメモリ１０７ａ′に格納されて使用され
る。本実施形態では、このメモリ１０７ａ，１０７′の
いずれか一方を、ユーザ指定等によって決定されるシス
テムの内部状態に基づいて切り替え使用することで、合
成音声の口調を切り替えることができるようになってい
る。

【００６４】次に、音韻継続時間長計算処理部１０７で
の動作の詳細を、図９乃至図１１のフローチャートを参
照して説明する。まず音韻継続時間長計算処理部１０７
は、上記した音韻別調音モデルパラメータメモリ１０７
ａ，１０７ａ′の他に、調音モデル時間変化決定処理を
行う調音モデル時間変化決定処理部１０７ｂと、当該処
理部１０７ｂの処理結果をもとに音韻境界決定処理を行
う音韻境界決定処理部１０７ｃとから構成される。

【００６５】本実施形態では、上記の手法で求められた
異なる話者に対応する２種類の音韻別調音モデルパラメ
ータファイル（図示せず）、つまり音韻別に割り当てら
れる各調音器官Ｊ，Ｌ，ＦＴ，ＢＴの調音モデルのパラ
メータが蓄積された２種類の音韻別調音モデルパラメー
タファイルが用意されており、文音声ソフトウェアに従
う文音声変換処理の開始時に、一方のファイルの内容が
上記音韻別調音モデルパラメータメモリ１０７ａに、他
方のファイルの内容が音韻別調音モデルパラメータメモ
リ１０７ａ′に読み込まれるようになっている。このメ
モリ１０７ａ，１０７ａ′は、例えばメインメモリ（図
示せず）に確保された特定領域である。

【００６６】言語処理部１０１内の言語解析処理部１０
４により読み情報が生成されて、音声合成部１０２内の
音韻継続時間長計算処理部１０７が起動されると、当該
処理部１０７内の調音モデル時間変化決定処理部１０７
ｂは、読み情報に含まれている合成すべき音韻列（音韻
数をＮとする）中の音韻位置を示す変数ｉを先頭の音韻
を示す１に、時点ｔを０に、拍同期時点を示す変数ｔsy
ncを（例えばユーザの指定する発話速度で決まる値）Ｔ
に、全ての調音器官Ｊ，Ｌ，ＦＴ，ＢＴがｉ番目の音韻
のそれぞれの調音許容範囲に入る時点を示す変数ｔin
(i) （＝ｔin(1)）を０に初期設定する（ステップＳ
１）。

【００６７】次に調音モデル時間変化決定処理部１０７
ｂは、時点ｔをｉ番目の音韻の最小継続時間長（Ｄmin
(ｐｈi)）だけ進めた値に更新する（ステップＳ２）。
この最小継続時間長（Ｄmin(ｐｈi)）は、ｉ番目の音韻
を用いて音韻別調音モデルパラメータメモリ１０７ａま
たは１０７ａ′を参照することで取得できる。

【００６８】次に調音モデル時間変化決定処理部１０７
ｂは、ｉ番目の音韻が子音であるか否かをチェックし
（ステップＳ３）、母音であれば、時点ｔと拍同期時点
ｔsyncとを比較する（ステップＳ４）。

【００６９】もし、時点ｔが拍同期時点ｔsyncを越えて
いないならば、時点ｔを拍同期時点ｔsyncに更新した後
（ステップＳ５）、拍同期時点ｔsyncをＴだけ進める
（ステップＳ６）。これに対し、時点ｔが拍同期時点ｔ
syncを越えているならば、時点ｔを更新することなくス
テップＳ６に進み、拍同期時点ｔsyncをＴだけ進める。
そして調音モデル時間変化決定処理部１０７ｂは、ステ
ップＳ６の後、現在の時点ｔの値を前記移行開始時点ｔ
i （即ち、モデルをｉ番目の音韻から後続音韻へ移行さ
せる開始時点）として決定する（ステップＳ７）。

【００７０】一方、ｉ番目の音韻が子音であるならば、
そのままステップＳ７に進んで、現在の時点ｔの値を移
行開始時点ｔi として決定する。調音モデル時間変化決
定処理部１０７ｂはステップＳ７を実行すると、時点ｔ
における各調音器官Ｊ，Ｌ，ＦＴ，ＢＴの位置（動き）
を表すＭJ （＝Ｍ（Ｊ，ｔ）），ＭL （＝Ｍ（Ｌ，
ｔ）），ＭFT（＝Ｍ（ＦＴ，ｔ）），ＭBT（＝Ｍ（Ｂ
Ｔ，ｔ））を、上記（１）式により算出する（ステップ
Ｓ８）。

【００７１】次に調音モデル時間変化決定処理部１０７
ｂは、時点ｔにおける調音器官Ｊ，Ｌ，ＦＴ，ＢＴの位
置（ＭJ ，ＭL ，ＭFT，ＭBT）がｉ番目の音韻のそれぞ
れの調音許容範囲、即ちＡmin(Ｊ，ｐｈi)〜Ａmax(Ｊ，
ｐｈi)、Ａmin(Ｌ，ｐｈi)〜Ａmax(Ｌ，ｐｈi)、Ａmin
(ＦＴ，ｐｈi)〜Ａmax(ＦＴ，ｐｈi)、Ａmin(ＢＴ，ｐ
ｈi)〜Ａmax(ＢＴ，ｐｈi)に全て入っているか否かをチ
ェックする（ステップＳ９）。

【００７２】もし、時点ｔにおける調音器官Ｊ，Ｌ，Ｆ
Ｔ，ＢＴの位置（ＭJ ，ＭL ，ＭFT，ＭBT）がｉ番目の
音韻のそれぞれの調音許容範囲に全て収まっているなら
ば、調音モデル時間変化決定処理部１０７ｂは、時点ｔ
を所定の微小時間δ（例えば５ms）だけ進めた後（ステ
ップ１０）、ステップＳ８に戻って、その新たな時点ｔ
での各調音器官Ｊ，Ｌ，ＦＴ，ＢＴの位置ＭJ ，ＭL ，
ＭFT，ＭBTを算出し、再びステップＳ９の判定を行う。

【００７３】調音モデル時間変化決定処理部１０７ｂ
は、以上の動作を、調音器官Ｊ，Ｌ，ＦＴ，ＢＴの位置
の少なくとも１つが、ｉ番目の音韻の対応する調音許容
範囲から外れるのを検出するまで繰り返す。

【００７４】このようにして、時点ｔにおける調音器官
Ｊ，Ｌ，ＦＴ，ＢＴの位置のいずれかがｉ番目の音韻の
対応する調音許容範囲から外れたならば、調音モデル時
間変化決定処理部１０７ｂは、その時点ｔを、調音器官
Ｊ，Ｌ，ＦＴ，ＢＴの位置の少なくとも１つがｉ番目の
音韻の調音許容範囲から出る時点ｔout(i)であると決定
し、図示せぬメモリに保持する（ステップＳ１１）。

【００７５】次に時間変化決定処理部１０７ｂは、時点
ｔにおけるステップＳ８と同じ処理を行う（ステップＳ
１２）。但し、この例のようにステップＳ１１が行われ
た直後では、各調音器官Ｊ，Ｌ，ＦＴ，ＢＴの位置を表
すＭJ ，ＭL ，ＭFT，ＭBTの値は、当該ステップＳ１１
の直前に行われたステップＳ８でのＭJ ，ＭL ，ＭFT，
ＭBTの算出結果と一致することから、当該ステップＳ１
１が行われた直後の上記ステップＳ１２はスルーしても
構わない。

【００７６】次に時間変化決定処理部１０７ｂは、時点
ｔにおける調音器官Ｊ，Ｌ，ＦＴ，ＢＴの位置が次のｉ
＋１番目の音韻のそれぞれの調音許容範囲、即ちＡmin
(Ｊ，ｐｈi+1)〜Ａmax(Ｊ，ｐｈi+1)、Ａmin(Ｌ，ｐｈi
+1)〜Ａmax(Ｌ，ｐｈi+1)、Ａmin(ＦＴ，ｐｈi+1)〜Ａm
ax(ＦＴ，ｐｈi+1)、Ａmin(ＢＴ，ｐｈi+1)〜Ａmax(Ｂ
Ｔ，ｐｈi+1)に全て入っているか否かをチェックする
（ステップＳ１３）。

【００７７】もし、時点ｔにおける調音器官Ｊ，Ｌ，Ｆ
Ｔ，ＢＴの位置のいずれか１つでもｉ＋１番目の音韻の
対応する調音許容範囲から外れているならば、調音モデ
ル時間変化決定処理部１０７ｂは、時点ｔを所定の微小
時間δだけ進めた後（ステップＳ１４）、ステップＳ１
２に戻って、その新たな時点ｔでの各調音器官Ｊ，Ｌ，
ＦＴ，ＢＴの位置を表すＭJ ，ＭL ，ＭFT，ＭBTを算出
し、再びステップＳ１３の判定を行う。

【００７８】調音モデル時間変化決定処理部１０７ｂ
は、以上の動作を、全ての調音器官Ｊ，Ｌ，ＦＴ，ＢＴ
の位置が、ｉ＋１番目の音韻の対応する調音許容範囲に
入るのを検出するまで繰り返す。

【００７９】このようにして、時点ｔにおける調音器官
Ｊ，Ｌ，ＦＴ，ＢＴの位置の全てがｉ＋１番目の音韻の
対応する調音許容範囲に入ったならば、調音モデル時間
変化決定処理部１０７ｂは、その時点ｔを、全ての調音
器官Ｊ，Ｌ，ＦＴ，ＢＴの位置がｉ＋１番目の音韻（次
の音韻）の調音許容範囲に入る（移行する）時点ｔin(i
+1) であると決定し、図示せぬメモリに保持する（ステ
ップＳ１５）。

【００８０】次に調音モデル時間変化決定処理部１０７
ｂは、Ｎ−１番目の音韻（Ｎ個の音韻からなる音韻列中
の最後から２番目の音韻）まで処理が進んだか否かを、
現在のｉの値がＮ−１であるか否かによりチェックする
（ステップＳ１６）。

【００８１】もし、現在のｉの値がＮ−１でないなら
ば、調音モデル時間変化決定処理部１０７ｂはｉの値を
インクリメント（＋１）した後（ステップＳ１７）、即
ちｉの値を音韻列中の次の音韻を指すように更新した
後、上記ステップＳ２に戻る。

【００８２】このようにして調音モデル時間変化決定処
理部１０７ｂは、ステップＳ２以降の処理をｉ＝１〜ｉ
＝Ｎ−１まで繰り返し、ｔin(i) の列（ｉ＝１，２，
３，…，Ｎ）、即ちｔin(1) ，ｔin(2) ，ｔin(3) ，
…，ｔin(N) と、ｔout(i) の列（ｉ＝１，２，３，
…，Ｎ−１）、即ちｔout(1)，ｔout(2)，ｔout(3)，
…，ｔout(N-1)とを求める。

【００８３】すると、調音モデル時間変化決定処理部１
０７ｂから同じ音韻継続時間長計算処理部１０７内の音
韻境界決定処理部１０７ｃに制御が渡される。音韻境界
決定処理部１０７ｃはまず、合成すべき音韻列中の音韻
位置を示す変数ｉを先頭の音韻を示す１に、ｉ番目の音
韻の先行音韻との音韻境界を示す変数Ｂi 、即ちＢ1
を、ｔin(i) 、即ちｔin(1) に初期設定する（ステップ
Ｓ２１）。

【００８４】次に音韻境界決定処理部１０７ｃは、ｉ番
目の音韻が子音であるか或いは母音であるかをチェック
し（ステップＳ２２）、母音であれば、次のｉ＋１番目
の音韻が子音であるか否かをチェックする（ステップＳ
２３）。

【００８５】もし、ｉ番目の音韻が母音で、次のｉ＋１
番目の音韻が子音であるならば、音韻境界決定処理部１
０７ｃは、ｉ＋１番目の音韻の先行音韻との音韻境界を
示す変数Ｂi+1 にｔin(i+1) を設定し（ステップＳ２
４）、ｉ番目の音韻が母音で、次のｉ＋１番目の音韻も
母音であるならば、音韻境界決定処理部１０７ｃは、ｔ
out(i)とｔin(i+1) の中間時点（ｔout(i)＋ｔin(i+1)
）／２をＢi+1 に設定する（ステップＳ２５）。

【００８６】これに対し、ｉ番目の音韻が子音であるな
らば（この場合、子音−子音の組み合わせは存在しない
から、次のｉ＋１番目の音韻は母音となる）、音韻境界
決定処理部１０７ｃはｔout(i)をＢi+1 に設定する（ス
テップＳ２６）。

【００８７】音韻境界決定処理部１０７ｃは、上記ステ
ップＳ２４，Ｓ２５またはＳ２６によりＢi+1 の値を決
定すると、Ｂi+1 とＢi との差、即ちｉ＋１番目の音韻
の先行音韻（ｉ番目の音韻）との音韻境界Ｂi+1 と、ｉ
番目の音韻の先行音韻（ｉ−１番目の音韻）との音韻境
界Ｂi との時間差を求めて、ｉ番目の音韻の継続時間長
Ｄi を決定する（ステップＳ２７）。１回目のステップ
Ｓ２７では、１番目の音韻の継続時間長Ｄ1 がＢ2 −Ｂ
1 の演算により求められる。

【００８８】次に音韻境界決定処理部１０７ｃは、Ｎ−
１番目の音韻まで処理が進んだか否かを、現在のｉの値
がＮ−１であるか否かによりチェックする（ステップＳ
２８）。

【００８９】もし、現在のｉの値がＮ−１でないなら
ば、音韻境界決定処理部１０７ｃはｉの値をインクリメ
ント（＋１）した後（ステップＳ２９）、上記ステップ
Ｓ２２に戻る。

【００９０】このようにして音韻境界決定処理部１０７
ｃは、ステップＳ２２以降の処理をｉ＝１〜ｉ＝Ｎ−１
まで繰り返し、Ｄi の列（ｉ＝１，２，３，…，Ｎ−
１）、即ちＤ1 ，Ｄ2 ，Ｄ3 ，…，ＤN-1 を求める。

【００９１】次に音韻境界決定処理部１０７ｃは、Ｎ番
目の音韻、即ち音韻系列中の最後の音韻（＝母音）の継
続時間長ＤN を次の演算 ＤN ＝ｔin(i+1) −Ｂi+1 ＋ＤFO ……（３） により求める（ステップＳ３０）。ここでＤFOは、母音
のフェードアウト時間である。

【００９２】これにより音韻境界決定処理部１０７ｃ
（を備えた音韻継続時間長計算処理部１０７）は、音韻
系列に含まれるＮ個の音韻の継続時間長Ｄ1 ，Ｄ2 ，Ｄ
3 ，…，ＤN を求めたことになる。

【００９３】さて、以上のようにして音声合成部１０２
内の音韻継続時間長計算処理部１０７により入力文（入
力テキスト）に含まれる各音節の（子音部並びに母音部
の）継続時間長が決定されると、同じ音声合成部１０２
内のピッチパターン生成処理部１０９が起動される。

【００９４】ピッチパターン生成処理部１０９は音韻継
続時間長計算処理部１０７により決定された継続時間長
（の系列）と、言語解析処理部１０４により決定された
アクセント情報に基づいて、まず点ピッチ位置を設定す
る。次に、設定された複数の点ピッチを直線で補間して
例えば１０ms毎のピッチパターンを得る。

【００９５】一方、音声合成部１０２内の音韻パラメー
タ生成処理部１１０は、音声記号列の音韻情報をもとに
音韻パラメータを生成する処理を、例えぱピッチパター
ン生成処理部１０９によるピッチパターン生成処理と並
行して次のように行う。

【００９６】まず本実施形態では、サンプリング周波数
１１０２５Ｈｚで標本化した実音声を改良ケプストラム
法により窓長２０ms、フレーム周期１０msで分析して得
た０次から２５次のケプストラム係数を子音＋母音（Ｃ
Ｖ）の単位で日本語音声の合成に必要な全音節を切り出
した計１３７個の音声素片が蓄積された音声素片ファイ
ル（図示せず）が用意されている。この音声素片ファイ
ルの内容は、文音声変換ソフトウェアに従う文音声変換
処理の開始時に、例えばメインメモリ（図示せず）に確
保された音声素片領域（以下、音声素片メモリと称す
る）１１１に読み込まれているものとする。

【００９７】音韻パラメータ生成処理部１１０は、言語
解析処理部１０４から渡される音声記号列中の音韻情報
（ここでは第１の音韻情報であるが、第２の音韻情報で
も構わない）に従って、上記したＣＶ単位の音声素片を
音声素片メモリ１１１から順次読み出し、読み出した音
声素片を接続することにより合成すべき音声の音韻パラ
メータ（特徴パラメータ）を生成する。

【００９８】ピッチパターン生成処理部１０９によりピ
ッチパターンが生成され、音韻パラメータ生成処理部１
１０により音韻パラメータが生成されると、音声合成部
１０２内の合成フィルタ処理部１１２が起動される。こ
の合成フィルタ処理部１１２は、図２に示すように、ホ
ワイトノイズ発生部１１８、インパルス発生部１１９、
駆動音源切り替え部１２０、及びＬＭＡフィルタ１２１
から構成されており、上記生成されたピッチパターンと
音韻パラメータから、次のようにして音声を合成する。

【００９９】まず、音声の有声部（Ｖ）では、駆動音源
切り替え部１２０によりインパルス発生部１１９側に切
り替えられる。インパルス発生部１１９は、ピッチパタ
ーン生成処理部１０９により生成されたピッチパターン
に応じた間隔のインパルスを発生し、このインパルスを
音源としてＬＭＡフィルタ１２１を駆動する。一方、音
声の無声部（Ｕ）では、駆動音源切り替え部１２０によ
りホワイトノイズ発生部１１８側に切り替えられる。ホ
ワイトノイズ発生部１１８はホワイトノイズを発生し、
このホワイトノイズを音源としてＬＭＡフィルタ１２１
を駆動する。

【０１００】ＬＭＡフィルタ１２１は音声のケプストラ
ムを直接フィルタ係数とするものである。本実施形態に
おいて音韻パラメータ生成処理部１１０により生成され
た音韻パラメータは前記したようにケプストラムである
ことから、この音韻パラメータがＬＭＡフィルタ１２１
のフィルタ係数となり、駆動音源切り替え部１２０によ
り切り替えられる音源によって駆動されることで、合成
音声を出力する。

【０１０１】合成フィルタ処理部１１２（内のＬＭＡフ
ィルタ１２１）により合成された音声は離散音声信号で
あり、Ｄ／Ａ変換器１１３によりアナログ信号に変換
し、アンプ１１４を通してスピーカ１１５に出力するこ
とで、初めて音として聞くことができる。

【０１０２】さて本実施形態では、以上に述べた音声の
合成だけでなく、顔画像（動画）の合成も行うようにな
っている。以下、顔画像の合成について説明する。ま
ず、図１中の調音モデル時間変化決定処理部１０７ｂは
調音モデルを制御する際、各調音器官の状態（位置）を
示す情報（ＭJ ，ＭL ，ＭFT，ＭBT）を顔画像合成処理
部１１６に渡す。

【０１０３】顔画像合成処理部１１６は、調音モデル時
間変化決定処理部１０７ｂから受け取った各調音器官、
即ち顎（Ｊ）、唇（Ｌ）、前舌（ＦＴ）、後舌（ＢＴ）
の位置（ＭJ ，ＭL ，ＭFT，ＭBT）を、図１２に示すよ
うに、顔画像（図１２（ａ））中の口の縦の開き（図１
２（ｂ））、唇の丸め具合（図１２（ｃ））、前舌の高
さ（図１２（ｄ））、後舌の高さ（図１２（ｅ））にそ
れぞれ対応させ、口の部分の画像を合成し、ディスプレ
イ１１７に描画する。

【０１０４】ここでは、調音モデル時間変化決定処理部
１０７ｂから顔画像合成処理部１１６には、１／３０se
c 周期で各調音器官の位置情報が送られ、顔画像合成処
理部１１６では、この送られた位置情報に基づいて図１
２（ａ）に示す顔画像を合成する。そして、音声と同期
をとって、１／３０sec 周期でディスプレイ１１７に顔
画像を描画すれば、合成音声に合わせて滑らかに口が動
く顔画像を合成することができ、あたかも画像に写し出
された人の顔やアニメーションの顔が喋っているように
みせることができる。

【０１０５】以上本発明の一実施施形態について説明し
てきたが、本発明は前記実施形態に限定されるものでは
ない。例えば、前記実施形態では、音声の特徴パラメー
タとしてケプストラムを使用しているが、ＬＰＣやＰＡ
ＲＣＯＲ、フォルマントなど他のパラメータであって
も、本発明は適用可能であり同様な効果が得られる。言
語処理部に関しても形態素解析以外に構文解析等が挿入
されても全＜問題なく、ピッチ生成に関しても、点ピッ
チによる方法でなくともよく、例えば藤崎モデルを利用
した場合でも本発明は適用可能である。

【０１０６】また、前記実施形態では、調音モデルパラ
メータの切り替えにより２種類の口調が合成可能である
場合について説明したが、更に様々な人の声からパラメ
ータを作成して３種類以上のパラメータを用意し、それ
らを切り替えて使用しても構わない。要するに本発明は
その要旨に逸脱しない範囲で種々変形して実施すること
ができる。

【０１０７】

【発明の効果】以上詳述したように本発明によれば、異
音レベルの音韻情報に基づいて調音モデルの状態を時間
軸方向に変化させることにより、当該調音モデルの動き
をより人間の調音器官に近いものとすることができ、し
かも当該調音モデルの状態変化をもとに上記異音レベル
の音韻情報に含まれる個々の音韻の継続時間長を決定す
ることにより、人間が音声を発声した際の調音器官の物
理的な制約を音韻継続時間長に反映することができるた
め、より人間らしく、聞き取りやすい音声を合成でき
る。

【０１０８】また、本発明によれば、音声を合成すると
同時に、調音モデルの各調音器官の動きをもとに口の動
画像を合成することにより、合成音声に合わせて滑らか
に口が動く動画像を合成することができ、簡単にアニメ
ーションなどを作成することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る音声の規則合成装置
の概略構成を示すブロック図。

【図２】図１中の合成フィルタ処理部１１２の構成を示
すブロック図。

【図３】同実施形態で適用される調音モデルを構成する
４つの調音器官を示す図。

【図４】音韻の細分化について、後続する音韻によって
（つまり音韻環境によって）幾つかの異なる調音様式を
持つ撥音「ん」の場合を例に示す図。

【図５】「公園へ行って本を読みます」という文を言語
処理することで生成される音声記号列に含まれる音韻系
列の例を、音韻環境を考慮する前と後について示す図。

【図６】音韻［ｉ］に対する調音モデルのパラメータの
一例を示す図。

【図７】４つの調音器官の動きをモデル化した調音モデ
ルの状態の時間変化の例を示す図。

【図８】個々の音韻の調音モデルの各パラメータ値を大
量の音声データを用いて最適化する方法を説明するため
の図。

【図９】音韻継続時間長計算処理部１０７内の調音モデ
ル時間変化決定処理部１０７ｂによる調音モデル時間変
化決定処理を説明するためのフローチャートの一部を示
す図。

【図１０】音韻継続時間長計算処理部１０７内の調音モ
デル時間変化決定処理部１０７ｂによる調音モデル時間
変化決定処理を説明するためのフローチャートの残りを
示す図。

【図１１】音韻継続時間長計算処理部１０７内の音韻境
界決定処理部１０７ｃによる音韻境界と音韻の継続時間
長の決定処理を説明するためのフローチャート。

【図１２】調音モデルの各調音器官の動きに基づく口の
動画像の合成を説明するための図。

【図１３】従来の規則合成装置の構成を示すブロック
図。

【図１４】図１３の規則合成装置における従来の音韻の
継続時間長決定方法を説明するための図。

【符号の説明】

１０１…言語処理部 １０２…音声合成部 １０４…言語解析処理部 １０７…音韻継続時間長計算処理部（音韻継続時間長決
定手段） １０７ａ，１０７ａ′，１３５…音韻列調音モデルパラ
メータメモリ（調音モデルパラメータ蓄積手段） １０７ｂ…調音モデル時間変化決定処理部 １０７ｃ…音韻境界決定処理部 １０９…ピッチパターン生成処理部 １１０…音韻パラメータ生成処理部 １１２…合成フィルタ処理部 １１６…顔画像合成処理部（口画像合成手段） １３０…音声データベース １３１…実音声音韻継続時間計算処理部 １３２…音韻継続時間長推定処理部 １３３…時間長比較部 １３４…パラメータ変更部

Claims (17)

【特許請求の範囲】
1. 【請求項１】 音声合成の対象となる第１の音韻情報に
   含まれる個々の音韻とその音韻環境から異音レベルの第
   ２の音韻情報を変換・生成し、 前記第２の音韻情報に基づいて、調音器官の動きをモデ
   ル化した調音モデルの状態を時間軸方向に変化させ、前
   記調音モデルの状態変化をもとに前記第２の音韻情報に
   含まれる個々の音韻の継続時間長を決定すると共に、前
   記第１または第２の音韻情報に基づいて音声素片を選択
   し、 前記決定した音韻の継続時間長に基づいて前記選択した
   音声素片を接続することによって音声を合成することを
   特徴とする音声合成方法。
2. 【請求項２】 音声合成の対象となる第１の音韻情報に
   含まれる個々の音韻とその音韻環境から異音レベルの第
   ２の音韻情報を変換・生成する音韻情報変換手段と、 前記第２の音韻情報に基づいて、調音器官の動きをモデ
   ル化した調音モデルの状態を時間軸方向に変化させ、前
   記調音モデルの状態変化をもとに前記第２の音韻情報に
   含まれる個々の音韻の継続時間長を決定する音韻継続時
   間長決定手段と、 前記第１または第２の音韻情報に基づいて音声素片を選
   択し、この選択した音声素片を、前記音韻継続時間長決
   定手段により決定された音韻の継続時間長に基づいて接
   続することにより音声を生成する音声生成処理手段とを
   具備することを特徴とする音声合成装置。
3. 【請求項３】 音声合成の対象となる第１の音韻情報に
   含まれる個々の音韻とその音韻環境から異音レベルの第
   ２の音韻情報を変換・生成させるステップと、 前記第２の音韻情報に基づいて、調音器官の動きをモデ
   ル化した調音モデルの状態を時間軸方向に変化させ、前
   記調音モデルの状態変化をもとに前記第２の音韻情報に
   含まれる個々の音韻の継続時間長を決定させると共に、
   前記第１または第２の音韻情報に基づいて音声素片を選
   択させるステップと、 前記決定した音韻の継続時間長に基づいて前記選択した
   音声素片を接続することによって音声を合成させるステ
   ップとを、 コンピュータに実行させるプログラムを記録したコンピ
   ュータ読み取り可能な記録媒体。
4. 【請求項４】 実音声をもとに作成された前記調音モデ
   ルを制御するための音韻別の調音モデルパラメータから
   なる調音モデルパラメータセットを保持しておき、 音声合成の際、前記調音モデルパラメータに基づいて前
   記調音モデルを制御することを特徴とする請求項１記載
   の音声合成方法。
5. 【請求項５】 実音声をもとに作成された前記調音モデ
   ルを制御するための音韻別の調音モデルパラメータから
   なる調音モデルパラメータセットを保持する調音モデル
   パラメータ蓄積手段を更に具備し、 前記音韻継続時間長決定手段は、前記調音モデルパラメ
   ータ蓄積手段から前記調音モデルパラメータを読み出
   し、当該読み出したパラメータに基づいて前記調音モデ
   ルを制御することを特徴とする請求項２記載の音声合成
   装置。
6. 【請求項６】 前記調音モデルを制御するための音韻別
   の調音モデルパラメータからなり、それぞれ異なる話者
   の音声をもとに作成された複数の調音モデルパラメータ
   セットを保持しておき、 音声合成の際、前記複数セットの調音モデルパラメータ
   の中から１つの調音モデルパラメータのセットを選択
   し、この選択した調音モデルパラメータのセットに基づ
   いて前記調音モデルを制御することを特徴とする請求項
   １記載の音声合成方法。
7. 【請求項７】 前記調音モデルを制御するための音韻別
   の調音モデルパラメータからなり、それぞれ異なる話者
   の音声をもとに作成された調音モデルパラメータセット
   を保持する複数の調音モデルパラメータ蓄積手段を更に
   具備し、 前記音韻継続時間長決定手段は、前記複数の調音モデル
   パラメータ蓄積手段の１つを選択し、その選択した前記
   調音モデルパラメータ蓄積手段から前記調音モデルパラ
   メータを読み出し、当該読み出したパラメータに基づい
   て前記調音モデルを制御することを特徴とする請求項２
   記載の音声合成装置。
8. 【請求項８】 前記調音モデルパラメータは、実音声を
   もとに取得される音韻情報と音韻境界の情報が格納され
   た音声データベースを用いて最適化されたものである請
   求項４または請求項６記載の音声合成方法。
9. 【請求項９】 前記調音モデルパラメータは、実音声を
   もとに取得される音韻情報と音韻境界の情報が格納され
   た音声データベースを用いて最適化されたものである請
   求項５または請求項７記載の音声合成装置。
10. 【請求項１０】 音声合成の対象となる音韻情報に基づ
    いて、調音器官の動きをモデル化した調音モデルの状態
    を時間軸方向に変化させ、前記調音モデルの状態変化を
    もとに前記音韻情報に含まれる個々の音韻の継続時間長
    を決定すると共に、前記音韻情報に基づいて音声素片を
    選択し、 前記決定した音韻の継続時間長に基づいて前記選択した
    音声素片を接続することによって音声を合成すると同時
    に、 前記調音モデルの時間的変化に基づいて口の動画像を合
    成することを特徴とする音声合成方法。
11. 【請求項１１】 音声合成の対象となる音韻情報に基づ
    いて、調音器官の動きをモデル化した調音モデルの状態
    を時間軸方向に変化させ、前記調音モデルの状態変化を
    もとに前記音韻情報に含まれる個々の音韻の継続時間長
    を決定する音韻継続時間長決定手段と、 前記音韻情報に基づいて音声素片を選択し、この選択し
    た音声素片を、前記音韻継続時間長決定手段により決定
    された音韻の継続時間長に基づいて接続することにより
    音声を生成する音声生成処理手段と、 前記調音モデルの時間的変化に基づいて口の動画像を合
    成する口画像合成手段とを具備することを特徴とする音
    声合成装置。
12. 【請求項１２】 前記音声を合成すると同時に、前記調
    音モデルの時間的変化に基づいて口の動画像を合成する
    ことを特徴とする請求項１、請求項４、請求項６または
    請求項８のいずれかに記載の音声合成方法。
13. 【請求項１３】 前記調音モデルの時間的変化に基づい
    て口の動画像を合成する口画像合成手段を更に具備する
    ことを特徴とする請求項２、請求項５、請求項７または
    請求項９のいずれかに記載の音声合成装置。
14. 【請求項１４】 前記調音モデルに、顎、唇、及び舌の
    各調音器官の動きをモデル化した調音モデルを用いるこ
    とを特徴とする請求項１、請求項４、請求項６、請求項
    ８、請求項１０または請求項１２に記載の音声合成方
    法。
15. 【請求項１５】 前記音韻継続時間長決定手段は、顎、
    唇、及び舌の各調音器官の動きをモデル化した調音モデ
    ルを用いることを特徴とする請求項２、請求項５、請求
    項７、請求項９、請求項１１または請求項１３のいずれ
    かに記載の音声合成装置。
16. 【請求項１６】 前記調音モデルで示される調音器官の
    動きを、臨界制動２次線形系のステップ応答関数で表す
    ことを特徴とする請求項１、請求項４、請求項６、請求
    項８、請求項１０、請求項１２または請求項１４のいず
    れかに記載の音声合成方法。
17. 【請求項１７】 前記音韻継続時間長決定手段は、前記
    調音モデルで示される調音器官の動きを、臨界制動２次
    線形系のステップ応答関数で計算することを特徴とする
    請求項２、請求項５、請求項７、請求項９、請求項１
    １、請求項１３または請求項１５のいずれかに記載の音
    声合成装置。