JPH11202884A - 合成音声メッセージ編集作成方法、その装置及びその方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザが容易に所望の韻律特性の音声メッセ
ージを編集作成可能な方法、それを実施する装置及び方
法を記録した記録媒体を提供する。 【解決手段】 言語外情報の意味を表す単語で表された
制御コマンドをセマンティック層（Ｓ層）の韻律制御コ
マンドとし、Ｓ層の韻律制御コマンドを解釈し、音声の
韻律パラメータの制御を指定する制御コマンドをインタ
ープリテーション層（Ｉ層）の韻律制御コマンドとし、
Ｉ層の韻律制御コマンドの制御対象となる韻律パラメー
タをパラメータ層の韻律パラメータとする３階層の韻律
制御記述法に基づいて、テキスト中の言語外情報を与え
るべき文字、又は文字列の位置に韻律制御コマンドを挿
入する。テキストを規則による合成により韻律パラメー
タ列に変換し、修正すべき文字又は文字列に対応する韻
律パラメータを韻律制御コマンドにより修正し、修正さ
れた韻律パラメータを含むパラメータ列に基づいて音声
を合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は合成音声メッセー
ジ編集、作成方法、及びその方法を実施する装置とその
方法を記録した記録媒体に関し、特に、所望の韻律特性
を有する音声メッセージを容易に、かつ短時間に合成す
る編集、作成方法に関する。

【０００２】

【従来の技術】会話における発声者の音声からは、話さ
れた言葉の言語上の意味だけでなく、発声者の感情、意
志、等が感じられる。音声に含まれる言語上の意味以外
のこのような情報を言語外情報と呼ぶ。聞き手はこれら
の言語外情報を、発声される音声の抑揚、アクセント、
継続時間長などから感じ取ることができる。従来、ＴＴ
Ｓ(Text-To-Speech)と呼ばれるテキストからの音声メッ
セージ合成方法としては、テキストを音声に変換する
「規則による音声合成方法」が研究開発されている。こ
の方法は、録音された音声を編集、合成する場合とは異
なり、出力音声に制限がないことや、後でメッセージの
一部を変更する場合に、原発声者の声質と同じにするた
め、変更する部分について原発声者の音声を必要とする
という問題は解決される。しかしながら、韻律生成規則
が朗読調音声の韻律特性を基準としているため、合成音
声が朗読調で単調な音声になってしまう。実際の会話に
おいては、会話音声の韻律特性は話者の感情、意志によ
り大きく変化する場合が多い。

【０００３】

【発明が解決しようとする課題】そこで、規則による合
成音声を、より自然な音声に近づけるため、韻律特性を
編集することが試みられているが、そのような編集を自
動化することが難しく、利用者が経験と知識に基づいて
編集を行う必要がある。その編集においては、イントネ
ーション、合成しようする単位音声の基本周波数（ピッ
チ）、振幅値（パワー）、継続時間長、その他の韻律パ
ラメータを任意に修正する構成を取り入れることが難し
く、合成された音声中の単調な朗読調に聞こえる箇所の
韻律パラメータを任意に修正して所望の韻律特性を有す
る音声メッセージを得ることが困難であった。

【０００４】また、韻律パラメータの修正を容易にする
ため、合成により得られた韻律パラメータをディスプレ
イ上に図形の形に表示し、マウス、その他のポインティ
ングツールにより視覚的に修正変更作業を行い、合成音
声の出力による確認を行いながら、所望の言語外情報を
有した音声メッセージを合成するというＧＵＩ（グラフ
ィックユーザインタフェース）を使った方法も提案され
ている。しかしながら、この方法は韻律パラメータに視
覚的に修正を加えるというものであるため、実際の修正
作業に経験と音声学的な知見とが必要とされ、通常のオ
ペレータには困難な作業である。

【０００５】米国特許4,907,279、日本国特許出願公開5
-307396、3-189697及び5-19780にはいずれも、テキスト
中にアクセント、ポーズなどの韻律制御コードを挿入
し、それに基づいて合成音声の編集を行うことが示され
ているが、言語外情報と韻律制御による効果の関係の知
識を有しない者にも容易に、かつ自由に言語外情報の編
集ができるようにすることは困難である。

【０００６】この発明の第１の目的は、音声メッセージ
を合成するオペレータが、所望の韻律パラメータを有す
る音声メッセージを容易に合成することができる合成音
声メッセージ作成、編集方法、及びその方法を実施する
装置を提供することである。この発明の第２の目的は、
感情、態度、理解の度合いなどの言語情報には含まれな
い情報（言語外情報）を多様に表現できる合成音声メッ
セージ作成、編集方法、及びその方法を実施する装置を
提供することである。

【０００７】この発明の第３の目的は、合成音声メッセ
ージの言語外情報を編集する際に、韻律パラメータの制
御による効果が視覚的に把握し易い合成音声メッセージ
作成、編集方法、及びその方法を実施する装置を提供す
ることである。

【０００８】

【課題を解決するための手段】この発明の第１の観点に
よれば、テキストに対応して規則により合成された音声
メッセージの言語外情報を編集する方法は、以下のステ
ップを含む： (a) 入力テキスト中の、言語外情報を与えるべき文字又
は文字列の位置に、上記言語外情報に対応する韻律制御
のために、セマンティック層（Ｓ層と呼ぶ）とインター
プリテーション層（Ｉ層と呼ぶ）とパラメータ層（Ｐ層
と呼ぶ）とからなる階層形記述言語による上記Ｓ層及び
／又はＩ層の韻律制御コマンドを挿入し、上記Ｐ層は少
なくともピッチ及びパワーを含む制御可能な韻律パラメ
ータのグループであり、上記Ｉ層は上記Ｐ層の韻律パラ
メータに対する制御の詳細を指定する韻律制御コマンド
のグループであり、上記Ｓ層は言語外情報をそれらの意
味を表す語句又は単語で表し、上記Ｉ層のそれぞれ少な
くとも１つの韻律制御コマンドからなるコマンドのセッ
トを実行させる韻律制御コマンドのグループであり、上
記Ｓ層の各韻律制御コマンドに対応する上記Ｉ層のセッ
トの韻律制御コマンドの関係と、上記Ｉ層の韻律制御コ
マンドの、上記Ｐ層の韻律パラメータに対する制御の詳
細を表す韻律制御規則が予め韻律特性規則データベース
に格納されており、(b) 上記テキストから規則による合
成音声の韻律パラメータ列を求め、(c) 上記韻律パラメ
ータ列中の上記言語外情報を与えるべき文字又は文字列
に対応する韻律パラメータを上記韻律制御コマンドによ
り上記韻律特性規則データベースの韻律制御規則を参照
して制御し、(d) 上記制御された韻律パラメータを含む
上記韻律パラメータ列から音声を合成し、合成音声メッ
セージを出力する。

【０００９】この発明の第１の観点による合成音声メッ
セージの編集装置は、入力されたテキスト中に挿入する
韻律制御コマンドを、セマンティック層とインタープリ
テーション層とパラメータ層とからなる階層形記述言語
により記述して入力するテキスト・韻律制御コマンド入
力部と、上記Ｐ層は少なくともピッチ及びパワーを含む
制御可能な韻律パラメータのグループであり、上記Ｉ層
は上記Ｐ層の韻律パラメータに対する制御の詳細を指定
する韻律制御コマンドのグループであり、上記Ｓ層は言
語外情報をそれらの意味を表す語句又は単語で表し、上
記Ｉ層のそれぞれ少なくとも１つの韻律制御コマンドか
らなるコマンドのセットを実行させる韻律制御コマンド
のグループであり、上記テキストから上記韻律制御コマ
ンドを分離するテキスト・韻律制御コマンド分離部と、
分離された上記テキストから「規則による合成」方法に
基づいて韻律パラメータ列を生成する音声合成情報変換
部と、分離された上記韻律制御コマンドからその韻律制
御コマンドのテキスト中における位置情報を抽出する韻
律制御コマンド解析部と、上記テキスト中の位置情報お
よび分離された上記韻律制御コマンドに基づいて韻律パ
ラメータ列を制御修正する韻律特性制御部と、上記韻律
特性制御部からの修正された上記韻律パラメータ列に基
づいて合成音声を生成する音声合成部、とを含む。

【００１０】この発明の第２の観点によれば、テキスト
に対応して規則により合成された音声メッセージの言語
外情報を編集する方法は、以下のステップを含む： (a) 上記テキストから規則による合成音声の韻律パラメ
ータ列を求め、(b) 複数の予め決めた言語外情報を特徴
付ける韻律特性をそれぞれ基本韻律制御規則とし、上記
韻律パラメータ列中の、言語外情報を与えるべき文字又
は文字列に対応する韻律パラメータを上記基本韻律制御
規則の少なくとも１つにより修正し、(c) 上記修正され
た韻律パラメータを含む上記韻律パラメータ列から音声
を合成し、合成音声メッセージを出力する。

【００１１】この発明の第２の観点による合成音声メッ
セージの編集装置は：上記テキストから規則による合成
音声の韻律パラメータ列を求める構文解析手段と、複数
の予め決めた言語外情報を特徴付ける韻律特性をそれぞ
れ基本韻律制御規則とし、上記韻律パラメータ列中の、
言語外情報を与えるべき文字又は文字列に対応する韻律
パラメータを上記基本韻律制御規則の少なくとも１つに
より修正する韻律特性制御手段と、上記修正された韻律
パラメータを含む上記韻律パラメータ列から音声を合成
し、合成音声メッセージを出力する合成音声生成手段、
とを含む。

【００１２】この発明の第３の観点によれば、入力され
たテキストに対応し、規則により合成される音声の言語
外情報を編集する方法は、以下のステップを含む： (a) テキストを分析し、規則による音声合成に基づいて
韻律パラメータ列を得て、(b) 上記韻律パラメータ列中
の、言語外情報を与えるべき文字又は文字列に対応する
韻律パラメータを、上記言語外情報の特徴的な韻律パラ
メータによる変形情報により修正し、(c) 上記修正され
た韻律パラメータにより音声を合成し、(d) 上記韻律パ
ラメータの変形情報を、上記テキストの文字の位置、大
きさ、書体、表示色などの文字変換情報に変換し、(e)
上記文字変換情報にもとづき、上記テキストの文字を変
換して表示する。

【００１３】この発明の第３の観点による合成音声の編
集装置は、合成音声制御記述言語情報を入力する入力手
段と、上記入力された合成音声制御記述言語情報を、テ
キストと、韻律制御コマンドに分離する分離手段と、上
記分離された韻律制御コマンドの内容と、そのテキスト
上の位置情報とを解析するコマンド解析手段と、音声の
合成規則が格納された第１データベースと、上記テキス
トに対し、上記第１データベースを参照して音声を規則
合成するための韻律パラメータを生成する構文解析手段
と、上記韻律制御コマンドの韻律特性規則が格納された
第２データベースと、上記第２データベースを参照して
上記解析された韻律制御コマンド及び位置情報にもとづ
き、上記韻律パラメータを変形する韻律特性制御手段
と、上記変形された韻律パラメータにもとづき、上記テ
キストを音声合成する合成音声生成手段と、上記韻律パ
ラメータと文字変換特性規則を格納した第３データベー
スと、上記変形された韻律パラメータを、上記第３デー
タベースを参照して、文字の位置、大きさ、書体、表示
色などの文字変換情報に変換する文字変換情報生成手段
と、上記文字変換情報により上記テキストの文字を変換
する文字変換手段と、上記変換されたテキストを表示す
る表示器と、を含む。

【００１４】上記第３の観点による編集装置において、
上記第３データベースに上記韻律制御コマンドと文字変
換特性規則を格納し、上記文字変換情報生成手段によ
り、上記韻律制御コマンドに基づき上記第３データベー
スを参照して上記テキストを文字変換情報に変換しても
よい。上記第１、第２お呼びだ３の観点による編集方法
を実施する手順を記録した記録媒体もそれぞれこの発明
に含まれる。

【００１５】

【発明の実施の形態】第１実施例 実音声による対話において、話者は感情、態度、理解な
ど言語情報に含まれてない様々な情報、ニュアンスを表
現するため、発声する言語音声に強さ、速度、ピッチの
変化を与え、それにより会話の表現力を高めており、そ
れが自然な会話音声であると認識される。そこで、テキ
ストからの規則による音声合成においても、所望の言語
外情報を付加することが試みられている。それらはいず
れも特定な種類の音韻情報を制御するコマンドをテキス
ト中に挿入するため、ユーザは言語情報に付いての知識
を要求される。

【００１６】日常対話の有する情報或はニュアンスをテ
キスト音声合成装置を使用して伝えようとする場合、合
成音声の韻律パラメータを詳細に制御することが必要と
なる。一方において、音声合成或はテキスト音声合成装
置に関する知識を有しないユーザにとっては、ピッチ或
は持続時間というものが音声の情報或はニュアンスの伝
達にどの様に影響するのか見当がつかない。そこで、ユ
ーザの使い勝手を考慮したこの発明による階層型音声合
成制御記述言語ＭＳＣＬ（Multi-layered Speech/Sound
Synthesis Control Language）をまず説明する。

【００１７】先のユーザの使い勝手とは大きく分けて二
つある。一つは、テキスト音声合成装置に入力されるテ
キストを簡単に記述することができ、専門的知識がなく
ても利用目的だけを考慮して記述することができるとい
う初心者向けの使い易さである。インターネットにおい
て文字の大きさと位置関係を規定するＨＴＭＬにおいて
は、例えばタグと呼ばれる＜Ｈ１＞と＜／Ｈ１＞でテキ
ストの文字列を囲むことにより、章立ての大きさで文字
を表示することができ、誰にでも同じホームページを作
成することができる。この様なデフォルトのルールは初
心者に好都合であるばかりではなく、記述作業量の軽減
にもつながる。もう一つのユーザの使い勝手とは、詳細
な制御の記述をすることができるという熟練者向けの使
い易さである。先に述べた方法は文字の形状の変更及び
向きを変えたりすることはできない。より目立つホーム
ページを作成したい場合、文字列一つについてみても、
様々な変化をつけたいというニーズが生ずる。専門の知
識が必要であっても、より完成度の高いものの実現が望
まれる場合がある。

【００１８】この発明の第１実施例では、音声の言語外
情報を制御するという立場に立ち、使い勝手の前者を実
現するものとして、様々な言語外情報をそれぞれ直接的
に表す単語又は語句が意味的な韻律制御コマンドとして
集められたSemantic層（以下、Ｓ層と称す）を設け、使
い勝手の後者を実現するものとしてＳ層の各韻律制御コ
マンドを解釈し、音声の韻律パラメータに対する直接的
な制御を規定するための韻律制御コマンドの集合である
Interpretation層（以下、Ｉ層と称す）を設ける。更
に、Ｉ層の各制御コマンドによる制御の対象となる韻律
パラメータの集合を Parameter層（以下、Ｐ層と称す）
とする。この第１実施例は、図１に示すように、これら
３層を階層構造として有する韻律制御記述体系を使用し
て、テキストに韻律制御コマンドを挿入する。

【００１９】Ｐ層は主として次に述べるＩ層の韻律制御
コマンドにより選択、制御される韻律パラメータの集ま
りであり、これらの韻律パラメータは、音声合成システ
ムで用いられる音韻毎のピッチ、パワー、継続時間、音
韻情報などの制御対象となる韻律特性のパラメータであ
る。韻律パラメータはＭＳＣＬによる韻律制御の最終的
制御対象であり、このパラメータを基に合成音声を制御
する。Ｐ層の韻律パラメータは音声の基本的パラメータ
であり、同様の韻律パラメータを使用する他の様々な音
声合成システムや音声符号化システムにこの発明の合成
音声編集技法を適用可能にするインタフェース的性格を
有している。Ｐ層の韻律パラメータは既存の音声合成装
置を使用しているところから、その音声合成装置のスペ
ックに依存している。

【００２０】Ｉ層はＰ層の韻律パラメータに対し、各パ
ラメータの値やパラメータの時間変化パターン（韻律特
性）、アクセントなどの制御を行うコマンドで構成され
る。Ｉ層のコマンドにより音韻レベルにおける韻律パラ
メータの詳細な物理量の制御を行って、図１のＩ層コマ
ンドグループ内に示すような、例えば「ビブラート」、
「鼻濁音化」、「ダイナミックレンジ大」、「ゆっく
り」、「ピッチを高く」などのコマンドを実現すること
ができる。それらを実現するために、Ｐ層の対応する韻
律パラメータのパターンを制御する記号による記述をＩ
層の韻律制御コマンドとして使用する。Ｉ層の韻律制御
コマンドからＰ層の韻律パラメータへのマッピングは、
それぞれ予め決めたデフォルトの制御規則によって行わ
れる。Ｉ層は次に述べるＳ層の韻律制御コマンドを解釈
してＰ層に制御方法を送る層でもある。即ち、Ｉ層のコ
マンドはＰ層における制御対象となる各韻律パラメータ
（１つ又は複数）に対する制御を指定する記号をセット
として有する。また、各韻律の時間変化パターンの指
定、その補間方法の指定もすることができる。Ｓ層にあ
る各コマンドは全てＩ層のコマンドのセットに変換さ
れ、更に詳細な韻律制御をすることができるに到る。Ｉ
層のコマンド例とその制御対象としている韻律パラメー
タ及びその制御内容を表１に示す。

【００２１】

【表１】 選択されたＳ層の１つの韻律制御コマンドに対応するＩ
層の韻律制御コマンドは１つとは限らず、同時に複数あ
ってもよい。ここで使用されているＩ層のコマンドを記
述する記号に付いては後述するが、｛｝内のXXXXは制御
対象であるテキストの文字又は文字列を表す。

【００２２】Ｉ層の韻律制御コマンドの英語テキストへ
の適用例を次ぎに示す。 Will you do [F0d](2.0)｛me｝ a [〜/]｛favor｝ コマンド[F0d] はピッチのダイナミックレンジを次ぎに
続く(2.0) で指定される２倍に設定する。このコマンド
の制御対象はすぐ後に続く｛me｝である。次のコマンド
［〜/］は最終母音のピッチパターンを上昇させるコマ
ンドであり、制御対象はすぐ後に続く｛favor｝であ
る。

【００２３】Ｓ層は意味的に韻律制御を行う。Ｓ層は、
感情、気分、意志、性格、性別、老若など、表現しよう
とする言語外情報を具体的に表す言葉、例えば図１のＳ
層に示す "怒り"、"喜び"、"弱い"、"泣き"、"Itemiz
e"、"疑い"などの集合である。これらの単語の先頭にマ
ーク"@" が着けられて、Ｓ層の韻律制御コマンドとして
使用され、これらのコマンドの後に続く｛｝内の文字列
に対する韻律制御を指定する。例えば、 "怒り" の発声
を担うコマンドはピッチ、パワーのダイナミックレンジ
を大きくとり、 "泣き" の発声を担うコマンドは各音韻
毎のピッチパターンを揺らし、特徴的な文末ピッチパタ
ーンを持たせる。"Itemize" は箇条項目の読み上げ調を
指定するコマンドであり、疑問文であっても文末のピッ
チパターンを降下させる。コマンド "弱い" はピッチ、
パワーのダイナミックレンジを小さくし、コマンド "疑
い" は語尾のピッチを上昇させる。これらの制御例はこ
れらのコマンドが日本語音声の編集に適用される場合の
例である。この様に、Ｓ層のそれぞれのコマンドはＩ層
の１つ又は複数の韻律制御コマンドを予め決めたパター
ンに従って実行させる。Ｓ層は韻律その他の音声学的な
知識を必要とせずに感情、文章構造という様な直観に依
存する制御記述をすることができる。また、ＨＴＭＬ、
ＬａＴｅＸその他のコマンドと対応することもできる。
表２はＳ層の韻律制御コマンドの用例を示す。

【００２４】

【表２】 上述のＭＳＣＬを使った音声合成の実施例を図２のフロ
ーチャートと図３の合成音声編集装置を参照して次に説
明する。ただし、ここでは、挿入する制御コマンドがＳ
層の韻律制御コマンドである場合に付いて説明する。 Ｓ１：合成編集しようとする音声メッセージに対応する
日本語テキストをキーボードその他の入力装置を介して
入力する。

【００２５】Ｓ２：韻律特性の修正を行う文字あるいは
文字列に対し、それらを指定して韻律制御コマンドを入
力し、テキスト中に挿入する。 Ｓ３：テキストと韻律制御コマンドを一括してテキスト
・韻律制御コマンド分離部１２に入力し、テキストと韻
律制御コマンドを分離する。その時、テキスト中におけ
る韻律制御コマンドの位置情報も得る。

【００２６】Ｓ４：分離された韻律制御コマンドから韻
律制御コマンド解析部１５において韻律制御コマンドの
制御手順を抽出をする。 Ｓ５：構文解析部１３において音声合成規則データベー
ス１４を参照してテキスト文字列を意味のある単語列に
分解する。次いで、それらの各単語における文字列に対
する韻律パラメータを得る。 Ｓ６：韻律特性制御部１７は韻律制御コマンド、位置情
報及び制御手順を参照し、制御対象となっている文字列
に対応する韻律パラメータ列を、韻律特性規則データベ
ース１６に規定されている個別に指定されたＩ層の韻律
制御コマンドに対応する韻律制御規則あるいはＳ層の韻
律制御コマンドで指定されたＩ層の韻律制御コマンドの
セットに対応する韻律制御規則に従って韻律パラメータ
を制御する。

【００２７】Ｓ７：合成音声生成部１８は制御された韻
律パラメータをもとに合成音声を生成する。 次に、図３を参照して編集装置の実施例を具体的に説明
する。テキスト・韻律制御コマンド入力部１１に対し
て、キーボードその他のエディタを介して、テキスト中
に韻律制御コマンドを含む日本語テキストが入力され
る。例えば、「わたしのなまえはナカジマです。」とい
う日本語テキストについてはＭＳＣＬのＩ層とＳ層によ
る記述法により次の如き記述がなされる。 ここで、[L] は継続時間長を表し、対応する中括弧｛｝
内のフレーズの発声時間を指定する。[>] はピッチのフ
レーズ成分（あるいは指定）を表し、｛｝内の文字列の
発声基本周波数を150Hz から80Hzに変化させることを指
定する。［／−＼］はピッチの局所変化を示している。
／、−、＼は、それぞれ基本周波数の時間変化を上昇、
平坦、下降に指定する。これによりパラメータの時間変
化が記述できる。ところで、｛わたしのなまえは｝につ
いては、基本周波数を150Hz から80Hzに変化させること
を指定する[>](150, 80)という韻律制御コマンドの中
に、更に、ピッチを局所変化させる［／−＼］(120) と
いう韻律制御コマンドが挿入されていて、韻律制御コマ
ンドが入れ子の状態になっている。[#] は合成音声に無
音区間を挿入することを指定する。この場合の無音区間
は１moraである。 "mora" は平均的１音節の長さを単位
とする。[@Onegai] はＳ層の韻律制御コマンドであり、
ここでは「祈願」する様な場合の音声の韻律パラメータ
として韻律制御コマンドを組み合わせたものをもってい
ることになる。

【００２８】以上の入力情報は、テキスト・韻律制御コ
マンド分離部１２に入力され、ここにおいてテキストと
韻律制御コマンド情報とに分離され、構文解析部１３と
韻律制御コマンド解析部１５に送り込まれる。構文解析
部１３に送り込まれたテキストは音声合成規則データベ
ース１４を参照して周知の「規則による合成」方法に基
づいて文節の区切り情報、発音列情報、アクセント情報
に変換され、韻律パラメータに変換される。韻律制御コ
マンド解析部１５に送り込まれた韻律制御コマンド情報
から韻律制御コマンドとテキストの位置情報が抽出され
る。韻律制御コマンド及び位置情報は、韻律特性制御部
１７に与えられる。韻律特性制御部１７は韻律特性規則
データベース１６を参照し、与えられたＩ層及び／又は
Ｓ層のコマンドの規則により、制御対象としているテキ
スト中のどの韻律パラメータをどの様に制御するかの指
定を得て、それに従って韻律パラメータを変化、修正す
る。この規則による制御は、音声の振幅値、基本周波
数、継続時間長、その他の韻律パラメータの値を指定
し、あるいはこれに加えて韻律パラメータの時間変化パ
ターン（韻律パターン）の形状も指定する。韻律パラメ
ータの値の指定は、テキストから「規則による合成」に
より得られる韻律パラメータ列に変化の割合又は差分を
与える相対制御と、パラメータのとるべき絶対的な値を
指定する絶対制御の二通りがある。例えば前述のピッチ
レンジを２倍にするコマンド[F0d](2.0)は前者の例であ
り、ピッチを150Hz から80Hzに変化させるコマンド[>]
(150, 80)は後者の例である。

【００２９】韻律特性規則データベース１６には、各韻
律制御コマンドに対応して韻律パラメータをどのように
変化、修正するかを決めた規則が格納されている。韻律
特性制御部１７で制御されたテキストの韻律パラメータ
は合成音声生成部１８に与えられて合成音声信号とさ
れ、スピーカ１９に与えられる。予め、Ｓ層の韻律制御
コマンドで表される様々な言語外情報を含む音声、即
ち、Ｓ層の韻律制御コマンドに対応する恐れ、怒り、否
定、等様々な表情を含む音声を入力音声分析部２２で分
析し、それによって得られるそれぞれの種類毎に共通な
韻律特性の組み合わせ（ピッチ、パワー、継続時間長の
パターンの組み合わせであり、その組み合わせを韻律制
御規則あるいは韻律特性規則と呼ぶ）が韻律特性／制御
コマンド変換部２３により、各Ｓ層のコマンドに対応す
るＩ層の韻律制御コマンドのセットとして得られてお
り、それらＳ層のコマンドとそれぞれ対応するＩ層のコ
マンドセットが韻律特性規則として韻律特性規則データ
ベース１６に蓄積されている。

【００３０】更に、一旦、韻律特性規則データベース１
６に蓄積された韻律特性パターンは、表示形合成音声編
集部２１により必要に応じてＳ層のコマンドを指定する
ことにより選択して韻律特性／制御コマンド変換部２３
に読みだし、その韻律特性パターンを表示形合成音声編
集部２１に表示し、その表示画面上でＧＵＩにより韻律
パラメータに対し修正を加え、韻律特性制御コマンド変
換部２３から韻律特性規則データベース１６に書き込む
ことにより対応する韻律特性パターンを更新することも
できる。韻律特性／韻律制御コマンド変換部２３により
得られた韻律制御コマンドを韻律特性規則データベース
１６に蓄積する場合、この発明の合成音声編集装置の利
用者はＩ層の頻繁に使われる韻律制御コマンドの組み合
わせを、Ｓ層の１つの新しいコマンドとして所望の名称
を付けて登録してもよい。この登録機能は、ユーザが、
既に登録されているＳ層の韻律制御コマンドでは得られ
ないある言語外情報を必要とする毎に、Ｉ層の多くの韻
律制御コマンドを駆使してその言語外情報を含む合成音
声を得たりする無駄をなくしてくれる。

【００３１】上述したこの発明による階層形音声合成制
御記述言語による合成音声に対する言語外情報の付与
は、どの様な種類の母国語による音声でも有している基
本的な韻律パラメータを制御することにより実現してお
り、また、どの様な言語においても話者の感情や意志な
どがその人の音声の韻律特性に変化を与えることは共通
の事実である。従って、この発明による階層形音声合成
制御記述言語をどの様な種類の言語における合成音声の
編集にも適用できることは明かである。

【００３２】この様に、Semantic層、Interitation層、
及びParameter層による階層形音声合成制御記述言語を
使用してテキストに韻律制御コマンドを書き込むので、
一般のオペレータもＳ層の韻律制御コマンドの記述によ
り容易に合成音声の言語外情報の編集を行うことがで
き、一方、高度な知識を有するオペレータは、Ｓ層とＩ
層の韻律制御コマンドを使って記述することにより、よ
り詳細な編集を行うことができる。

【００３３】上述のＭＳＣＬで扱う声質には、男女声の
性別の音声の他に、ピッチの高い声から低い声までのい
くつかの声質を指定できるようになっている。これは、
単純にピッチ周波数の高低を変えるだけでなく、高い声
質あるいは低い声質の周波数スペクトルに合わせてスペ
クトル全体を変化させることであり、この機能により複
数の話者を実現できる。また、ＭＳＣＬでは音楽、環境
雑音、肉声などの音データファイルの入力が可能であ
る。より効果的なコンテンツ作成には、音声の他に音楽
や肉声などの音情報が不可欠であるためである。ＭＳＣ
Ｌにおいて、これら音情報のデータは合成音声の付加情
報として扱う。

【００３４】図２で説明したこの第１実施例による合成
音声編集方法は、その処理手順をプログラム（ソフトウ
エア）として構築し、音声合成装置や韻律編集装置のコ
ンピュータに接続されるディスク装置や、フロッピーデ
ィスクやＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、合成
音声編集作成を行う際にインストールする事により、容
易に言語外情報を合成音声に付与する編集が可能であ
る。

【００３５】上述では、実施例を主に日本語を例に説明
し、幾つかの英語への適用例を示したが、一般に日本語
の場合、テキストを仮名で表記すると、ほとんどの文字
は１音節となるので、テキストにおける文字位置と音節
の対応が比較的簡単に決められる。従って、韻律制御対
象の音節の位置と対応する文字の位置から判定するのは
比較的容易である。しかしながら、英語の場合のよう
に、日本語以外の言語においては単語内の音節の位置が
その単語の文字列内の位置と単純に対応しない場合が多
くある。そのような言語にこの発明を適用するには、そ
の言語によるテキスト中の各単語に対し、発音が記載さ
れたその言語による辞書を参照して、その単語の文字列
に対する音韻位置を検出すればよい。 第２実施例 第２実施例による合成音声編集方法を実施する装置とし
ては図３に示すものを使用することができるので、以下
の第２実施例の説明は図３を参照して説明する。前述の
ように、図３の韻律特性規則データベース１６には、Ｉ
層の韻律制御コマンドに対応した韻律パラメータに対す
る制御規則のみならず、Ｓ層の各韻律制御コマンドに対
応してそれらを解釈したＩ層の韻律制御コマンドの組が
格納されている。ここで、Ｉ層のコマンドによる韻律パ
ラメータの制御として、単語音声に関するピッチパター
ン及び継続時間長に関するいくつかの制御例を述べ、各
制御による合成音声の心的な傾向を調べることでＳ層の
コマンドの作成を行う例を説明する。

【００３６】まず、ピッチパターンの制御方法は、アク
セントの変化などの聴覚的な違和感がない範囲を制御の
基準として、パターンを図４に示すように、単語音声の
韻律パターンの始端（第１音節の母音の始端）からピッ
チのピークまでの区間T1と、ピークから最終母音の開始
までの区間T2と、最終母音区間T3の３つに分割し、以下
に示すような６種類の変形操作(a)〜(f)をすることが可
能であり、それらを図中に破線のパターンａ，ｂ，ｃ，
ｄ，ｅ，ｆで示す。実線は変形しない原ピッチパターン
（例えば構文解析により音声合成規則データベース１４
から得られた標準ピッチパターン）を示す。

【００３７】(a) ピッチパターンのダイナミックレンジ
を大きくする。 (b) ピッチパターンのダイナミックレンジを小さくす
る。 (c) 語尾の母音のパターンを単調に下降するパターンに
する。 (d) 語尾の母音のパターンを単調に上昇するパターンに
する。 (e) 第１音節の母音の始端からパターンのピークまでを
上に凸のパターンにする。

【００３８】(f) 第１音節の母音の始端からパターンの
ピークまでを下に凸のパターンにする。 継続時間長の制御方法は、(g) 各音素を均一に縮める
か、あるいは (h)伸ばす場合の２種類の操作が可能であ
る。各制御方法による心的な影響を調べた結果を以下に
述べる。日本語単語音声に上記の制御方法(a)〜(f)によ
りピッチパターンの変形操作を行い、各合成音声を聴取
して感じ取られる心情（言語外情報）は以下のようであ
る。

【００３９】(1) 強さや積極的な姿勢が感じられる。 (2) 弱々しさや消極的な姿勢が感じられる。 (3) 了解を示している状態が感じられる。 (4) 疑問を示している状態が感じられる。 (5) 安心感や穏やかさが感じられる。

【００４０】(6) 不安感や嫌々感が感じられる。 被験者７名に日本語単語音声 "仕方ない" のピッチパタ
ーンを前述の方法(a)〜(f) により変形操作を行った場
合の合成音声を聴取し、それぞれ感じ取られた上記心情
(1)〜(6)に対する回答率を図５に示す。この実験結果か
ら、図４に示したピッチパターンに対する６種類の変形
(a)〜(f)は、かなり高い割合で上記心情(1)〜(6)と認識
されていることがわかる。そこで、この第２実施例で
は、これらのピッチパターンの変形をそれぞれの心情
(1)〜(6)に対応するものと決め、基本韻律制御規則とし
て使用する。

【００４１】同様に、単語音声に継続時間長の伸縮操作
を行い、各合成音声を聴取し、合成音声から感じる発声
者の心情は以下のようである。 (g) 伸ばす：(7) はっきり話そうと感じられる。 (8) 何か含みを持って話そうと感じられる。 (h) 縮める：(9) あわてている。

【００４２】 (10)せかしている。 被験者７名に日本語単語音声 "青い" の韻律パターンに
対する継続時間長のg)伸長、(h) 短縮変形操作を行い、
合成音声に対し感じ取られた上記心情(7)〜10)の回答率
を図６に示す。この実験結果も、継続時間長を伸ばすこ
とは、はっきり話そうとする意志が感じられ、縮めるこ
とは、あわてて話していると感じられることを示してい
る。従って、継続時間長の伸縮もこれらの心情に対応し
た基本韻律制御規則として使用する。

【００４３】以上の結果に基づいて、ピッチパターンの
変形操作と継続時間長の伸縮操作を組み合わせることに
より、感じる発声者の心情を調べた。前述の日本語単語
音声"仕方ない"を用いて被験者７名に聴取させ、連想す
る心情を自由に表記させた。その結果を図７に示す。こ
の結果から、基本韻律制御規則の組み合わせによって様
々な心情を表現でき、かつ、回答率からこれらの心情
は、高い共通性を持って感じられることがわかった。ま
た、これらの心情は、韻律特性パターンの持つ言語外情
報の影響の相互作用によってなされる結果であるといえ
る。

【００４４】以上のように、ピッチパターンの変形（ダ
イナミックレンジの変形及びエンベロープの変形）と継
続時間長の伸縮を組み合わせることで多種多様な言語外
情報を合成音声に付与できることがわかる。基本操作の
心的な影響を考慮し、組み合わせ操作を行うことで、所
望の言語外情報を容易に生成できる可能性もあり、これ
をそれぞれの心情に対応する韻律特性規則として図３の
韻律特性規則データベース１６に蓄積することが可能で
ある。これらの韻律特性規則はＧＵＩを用いた韻律編集
装置のための操作基準としても有効であると考えられ
る。また、韻律特性パターンとしてピッチパターンと継
続時間長のみならず、振幅パターン（パワーパターン）
の変形も基本韻律制御規則として組み合わせることによ
り、更に多様な表情を合成音声に付加することができ
る。

【００４５】そこで、この発明の第２の実施例において
は、図３において、予め表現可能なそれぞれの心情に対
応する基本韻律制御規則であるピッチパターンの変形
と、パワーパターンの変形と、継続時間の伸縮の少なく
とも１つ以上の組み合わせを韻律特性規則として予め韻
律特性規則データベース１６に蓄積しておく。テキスト
から音声を合成する際に、テキスト中の単語音声毎に、
表現しようとする心情に対応する韻律特性規則（即ち、
ピッチパターンの変形と、パワーパターンの変形と、継
続時間長の伸縮との組み合わせ）を韻律特性規則データ
ベース１６から読みだし、韻律特性制御部１７でテキス
ト音声単語の韻律パターンに適用することにより、合成
音声に所望の表情（言語外情報）を付加することができ
る。

【００４６】上述の第２実施例の説明から明らかなよう
に、第２実施例では、テキストに対する韻律制御のコマ
ンド記述法としてＩ層レベルだけでの記述でもよいが、
勿論、第２実施例で示した多様な表現が可能なそれぞれ
の心情を実現する韻律特性規則をＭＳＣＬ記述法のＳ層
における韻律制御コマンドとして規定し、第１実施例と
同様にＭＳＣＬ記述に基づいて図３の装置により音声合
成を実施してもよい。その場合の記述例を次の表３に示
す。

【００４７】

【表３】 表３はこの第２実施例の実験結果により作成したＳ層の
５つのコマンド例と、それらに対するＩ層のコマンドで
の解釈を示す。｛｝内の "ほんと" はコマンドの制御対
象の語句例である。表３中、[L] は、継続時間長の指定
を行い、その数値は、伸縮の倍率を示している。[F0d]
は、ピッチパターンのダイナミックレンジの指定を行
い、その数値は、レンジの倍率を示している。［／Ｖ］
は、始端からピークまでのピッチパターンを下に凸に変
形する指定を行い、その数値は変形の度合いを示してい
る。

【００４８】以上説明したように、この発明の第２実施
例では、入力されるテキスト中に韻律パラメータを修正
する韻律制御コマンドを記述し、そのコマンドに対応す
る韻律特性規則が指定する韻律特性パターンの変形組み
合わせによりテキストの韻律パラメータを修正する。韻
律特性規則は、音声のパワーパターン変化、ピッチパタ
ーン変化、継続時間長変化の組み合わせを指定し、或は
これに加えて韻律パラメータの時間変化パターンの形状
をも指定する。

【００４９】韻律パラメータの値の指定の仕方として、
「規則による合成」により得られた韻律パラメータに基
づいてパラメータに変化修正を与える相対制御と、パラ
メータの絶対的な修正を行なう絶対制御の２種類を有す
る。また、頻繁に使われる韻律制御コマンドの組み合わ
せ集約は韻律制御コマンドを韻律特性規則データベース
１６に蓄積するに際して実施され、新しい韻律制御コマ
ンドとして韻律パラメータの指定に使用する。更に、集
約した韻律制御コマンドの組み合わせを合成音声の韻律
パラメータの修正に使用する。例えば、ＭＳＣＬにおけ
るＳ層の各韻律制御コマンドに対応して基本制御規則の
組合せを決め、予め韻律特性規則データベース１６に格
納しておく。あるいは、韻律特性規則データベース１６
には基本韻律制御規則のみを格納しておき、Ｓ層の各韻
律制御コマンドに対応するＩ層の１つ又は複数の韻律制
御コマンドにより基本韻律制御規則の組合せを指定し、
データベース１６から読み出しても良い。上述の第２実
施例では、テキストに対する韻律制御の記述方としてＭ
ＳＣＬ記述方を使用する場合で説明したが、他の記述方
を使用しても良い。

【００５０】上述した第２実施例は特定な韻律特性の組
み合わせを韻律特性規則とみなすことに基づいており、
日本語以外の様々な母国語における韻律パラメータの制
御にもこの第２実施例を適用することができることは明
かである。上述したこの第２実施例による合成音声編集
方法は、その処理手順をプログラム（ソフトウエア）と
して構築し、音声合成装置や韻律編集装置のコンピュー
タに接続されるディスク装置や、フロッピーディスクや
ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、合成音声編集
作成を行う際にインストールする事により、容易に言語
外情報を合成音声に付与する編集が可能である。第３実
施例ところで、図３のテキスト・韻律制御コマンド入力
部１１により、この発明のＭＳＣＬ記法を使ってテキス
トに韻律制御コマンドを挿入した場合に、それぞれのコ
マンドによりテキストの合成音声の継続時間長、ピッチ
パターン、振幅パターンなどがどのように制御されるか
を視覚的に確認できると都合がよい。ここでは、コマン
ドで制御されたテキストの韻律特性パターンの表示例
と、その表示を実現するための構成について以下に説明
する。

【００５１】まず、継続時間長の韻律特性に関して調べ
た実験結果について示す。この継続時間長を操作した場
合、時間長が長い場合はゆっくりとした音声に、また短
い場合には早口の音声に聞こえる。実験として、日本語
単語 "うらやましい" の表記文字列の間隔を変えること
により長さを変えた同じ単語を複数並べて表記し、上記
単語の合成音を、その継続時間長を普通、長い、短いの
３種類に変化させて生成し、１４人の被験者に聞かせ、
表記されたどの長さの単語にマッチするかを投票させた
結果、次のようなほぼ予測された結果が得られた。

【００５２】 継続時間長が短い：文字間隔が狭い(86%) 継続時間長が長い：文字間隔が広い(100%) 次に、基本周波数（ピッチ）及び振幅値（パワー）の韻
律特性に関して調べた実験結果について示す。前記と同
じ単語音声 "うらやましい" に対し、その合成音声のピ
ッチ及びパワーを以下のように設定した９つの合成音声
を生成し、それぞれの合成音声に対し、図８に示す９種
類の表記(a)〜(i)のうちどの表記がマッチするか、アン
ケート用紙を用いて１４人の被験者に投票させた（複数
投票可）。その結果を次表４に示す。

【００５３】

【表４】 次に、抑揚の強弱について調べた実験結果を示す。抑揚
とはピッチの単語内での変化の大きさ（ダイナミックレ
ンジ）を示し、抑揚が大きければ「強め、積極性」を感
じ、小さければ「弱め、消極性」を感じる。単語音声 "
うらやましい" に対し、その合成音声の抑揚を普通、
強、弱の３種類に変化させ、図９に示す単語表記のどれ
にマッチするか評価実験を行った結果、次のように結論
できた。

【００５４】抑揚が強→ピッチパターン（変化時系列）
に合わせて文字位置を変化させ、更に傾きを加える（７
１％） 抑揚が弱→語頭及び語尾の文字位置を高くする（４３
％） 次に、合成音声を生成するために入力する日本語文章
と、その入力テキストに対し、ＭＳＣＬ記法による韻律
制御コマンドを挿入した混合記述と、その挿入した韻律
制御コマンドに対し上述の実験結果を適用した場合の表
示例をそれぞれ図１０Ａ，１０Ｂ，１０Ｃに示す。

【００５５】図１０Ｂ中の［Ｌ］は、音声の継続時間長
の制御コマンドであり、次の時間は8500msで全文章を終
了させるという指示を与える。［／−｜＼］はピッチパ
ターンを制御するコマンドであり、各記号は順にピッチ
パターンの上昇（／）、平坦（−）、アンカー（｜）、
下降（＼）を示している。次の数値(20)は１音韻当り20
Hzの変化率で周波数を変化させることを示し、アンカー
"｜" によって最後の文字の音節のピッチパターンを降
下させることを示している。［＃］はポーズを挿入する
コマンドであり、１モーラ程度の無音区間を挿入する。
［Ａ］は振幅値を制御するコマンドであり、振幅値をこ
れまでより、つまり "この鳥" に対しては1.8 倍にす
る。以上はＩ層のコマンドである。また、［@naki］
は、嘆きの感情をもつ音声を生成するためのＳ層のコマ
ンドである。

【００５６】この記述例に対し、この実験に基づく記述
法を適用した表示例を図１０Ｃを参照して説明する。入
力した日本語の文字列が横方向に配列されるが、その各
行の始めに表示される "−" なる表示１は、編集操作以
前の合成結果のピッチ周波数の位置を示す。つまり、ピ
ッチ周波数に関する編集操作を行なわない場合、各行の
文字列は［−］の位置を各文字の中心の高さとして一列
に並ぶ。ピッチ周波数の変更を行った場合は、その周波
数の高低に従い各文字中心の表示の高さが"−"に対して
変わる。

【００５７】各行の文章の下部にこれに沿って記されて
いる参照番号２で示す点 "．" は、その間隔によって各
文字の平均的な継続時間長Ｔ_m （日本語の場合１音節
長、即ち１mora）を示す。継続時間長の操作が行われな
い場合、表示される文字列の各文字はその文字の有する
音節数と同じmora数が与えられる。継続時間長の変更を
行った場合は、その時間伸縮に合せて文字列の文字の表
示間隔が変化する。各行の終りに記されている参照番号
３で示す記号 "。" は、各行の終点を示している。その
位置まで音韻が継続していることを示す。

【００５８】図１０Ｃ中の最初の行の参照番号４で示す
３つの文字が参照番号１で示す記号"−"の位置から線形
に上昇している。これは、入力されたＭＳＣＬのコマン
ドの「20Hz毎のピッチパターンの上昇」に基づいている
ことを示している。同様に参照番号５で示す４つの文字
は平坦のピッチパターンを、参照番号６で示す２つの文
字は降下のピッチパターンを示している。

【００５９】参照番号７で示す記号 "＃" はポーズの挿
入されている事を示す。参照番号８で示す３つの文字は
その前後の文字と比べてサイズの大きな文字になってい
る。これは振幅値が増大していることを示している。第
２行目の参照番号９で示す２モーラの空白は、継続時間
長を制御するコマンドに従い、その直前の文字がT₁（3
mora=3T_m）だけ継続することを示している。

【００６０】最終行の参照番号１０で示す５つの文字は
フォントが他のものと比べ異なっている。この例では文
字列１０以外はゴシック体であるが文字列１０は線の細
いフォントとしている。このフォントはＳ層のコマンド
を導入していることを示している。文字の高さは、Ｓ層
のコマンドに従って変化した結果を示している。以上の
全体の処理手順の例を図１１に示す。まず音声合成すべ
き日本語テキスト、例えば図１０Ａに示した文章を入力
し（Ｓ１）、この文章を表示器に表示し、これを見なが
ら、通常（従来）の規則合成により得られる韻律特性の
修正を行なう文字に対し、その修正を行うべき韻律制御
コマンドを入力し、例えば図１０Ｂに示す情報、つまり
合成音声制御記述言語情報にする（Ｓ２）。

【００６１】この情報、つまり日本語テキストに韻律制
御コマンドを組込んだ情報を、この発明が適用された装
置に入力する（Ｓ３）。この入力された情報に対し、分
離手段により日本語テキストと、韻律制御コマンドとを
分離する（Ｓ４）。この分離は、ＭＳＣＬ記述の記述手
法と、字句解析手法とから、各コードが韻律制御コマン
ドに属するか日本語テキストに属するかを判別して行
う。

【００６２】分離された韻律制御コマンドを解析して、
その韻律制御コマンドがどのようなものであって、日本
語テキスト上のどの位置（文字乃至文字部分）に対する
ものかの参照位置情報、更に韻律制御コマンドの実行順
序を抽出する（Ｓ５）。なお、得られた順にコマンドを
実行する場合は、韻律制御コマンドの実行順序の抽出は
不用である。またステップＳ４で分離された日本語テキ
ストを日本語構文解析などを行い従来の規則合成法にも
とづき、韻律パラメータを求める（Ｓ６）。

【００６３】この韻律パラメータを、ステップＳ５で求
めた韻律制御コマンドとその参照位置情報を用いて文字
の位置、大きさなどの情報に変換し（Ｓ７）、その変換
された位置、大きさなどの情報をもとにステップＳ４で
分離された日本語テキストの対応文字などを変換し（Ｓ
８）、表示器へ表示し、例えば図１０Ｃに示した日本語
文章表示（発音表記を除く）を得る（Ｓ９）。

【００６４】またステップＳ５で得た韻律制御コマンド
及び位置情報を参照して、ステップＳ６で得た韻律パラ
メータを制御し（Ｓ１０）、その制御された韻律パラメ
ータにもとづき、ステップＳ４で分離された日本語テキ
ストに対する音声合成信号を生成し（Ｓ１１）、その音
声合成信号を音声として放音する（Ｓ１２）。ステップ
Ｓ９で表示されている状態を見ながら、ステップＳ１２
で放音された音声を聴いて、目的とする表現が、つまり
ＭＳＣＬ記述が正しく行われたかを確認することができ
る。

【００６５】この装置の機能構成は図１２に示すよう
に、テキスト・コマンド入力部１１により、例えば図１
０Ｂに示したＭＳＣＬ記述されたデータが入力され、こ
れはテキスト・コマンド分離部１２により、日本語テキ
ストと、韻律制御コマンドとに分離される。この日本語
テキストは語構文解析部１３で音声合成規則データベー
ス１４を参照して韻律パラメータが作られる。一方、韻
律制御コマンド解析部１５により、分離された韻律制御
コマンドの内容と、その文字列（テキスト）上の位置情
報を抽出し、これら韻律制御コマンドとその参照位置情
報とにより、ＭＳＣＬの韻律特性規則データベース１６
を参照して、構文解析部１３よりの韻律パラメータに対
する変更が韻律特性制御部１７により行われる。この変
更された韻律パラメータを用いて前記分離された日本語
テキストに対する合成音声信号の生成が、合成音声生成
部１８により行われ、この合成音声信号がスピーカ１９
により音声として放音される。

【００６６】一方、韻律特性制御部１７で変更された韻
律パラメータと、日本語テキストの各文字の位置、大き
さなどの文字変換情報への変換規則がデータベース２４
に格納されており、このデータベースを参照して、文字
変換情報生成部２５により、韻律特性制御部１７よりの
変更された韻律パラメータが、文字の位置、大きさなど
文字変換情報に変換され、この文字変換情報により文字
変換部２６において、日本語テキストの各文字に対する
変換がなされ、その変換された日本語テキストが表示器
２７に表示される。

【００６７】ここに示したＭＳＣＬの制御コマンドの文
字情報への変換規則は、使用者によって変更可能であ
る。文字の高さの変化率や文字の大きさ、表示色は使用
者によって設定でき、ピッチ周波数の変化を文字の大き
さで表現したり "．" や "−"といった記号は、利用者
の要求によって変更可能である。図１２に示した構成に
おいて、破線で示すように、構文解析部１３よりの日本
語テキストと、韻律制御コマンド解析部１５で得られた
解析結果とを文字変換情報生成部２５に入力し、データ
ベース２４には韻律パラメータ文字変換特性規則の代わ
りに韻律制御コマンド文字変換特性規則を格納してお
き、例えば韻律制御コマンドがピッチを変化させるもの
であれば、それに応じた文字高さの変更情報を、日本語
テキストの対応する文字に与え、韻律制御コマンドが振
幅値を増大する場合は、日本語テキストの対応する部分
に文字を大きくする情報を与える。なお、日本語テキス
トを文字変換部２６にそのまま与えると表示器２７には
例えば図１０Ａに示すように表示される。

【００６８】前述した表示文字の大きさとそれに関連付
けて感じ取られる音声の大きさの関係、及び文字の表記
位置の高さとそれに関連付けられて感じ取られる音声ピ
ッチの高さの関係は、日本語に限らず、様々な母国語に
普遍的に当てはまるものと考えられる。従って、第３実
施例は、日本語以外の様々な母国語に適用できることは
明かである。この様な文字の大きさ、配置などによる韻
律パラメータの制御の表現をそれぞれの母国語に適用す
る場合、第３実施例で示した表記方法を、更にその母国
語の文字の特徴に合った表記方法と組み合わせて使用し
てもよい。

【００６９】図１１で説明したこの発明による第３実施
例の合成音声編集方法は、その処理手順をプログラム
（ソフトウエア）として構築し、音声合成装置や韻律編
集装置のコンピュータに接続されるディスク装置や、フ
ロッピーディスクやＣＤ−ＲＯＭ等の可搬記憶媒体に格
納し、合成音声編集作成を行う際にインストールする事
により、容易に言語外情報を合成音声に付与する編集が
可能である。

【００７０】なお、上記第３実施例では、合成音声に言
語外情報を付与する方法として、ＭＳＣＬによる方法を
示したが、この例に限らず、ＧＵＩによる編集装置によ
り韻律特性を変更する、音声合成手段から出力される韻
律パラメータを直接操作するなどの方法も可能である。 発明の効果 この発明の第１の実施例の合成音声メッセージ編集、作
成方法及び装置によれば、「規則による合成」の発する
合成音声が不自然であったり、或は朗読調であるところ
からユーザに単調な印象を与える場合、オペレータはＭ
ＳＣＬ記述によりテキスト中に韻律制御コマンドを挿入
することにより韻律の修正の必要な文字列に対して所望
の韻律パラメータを容易に付与することができる。

【００７１】また、相対的な制御手法により全ての合成
音声を修正する必要はなく、「規則による合成」の結果
について必要な箇所を必要なだけ修正するものであるの
で、音声メッセージ合成に必要とされる労力を大幅に軽
減することができる。更に、実際の音声或は表示型合成
音声編集装置から得られた韻律パラメータに基づいて生
成した韻律制御コマンドを蓄積、利用することにより、
格別の音声学的専門知識を必要とせずに、一般のユーザ
によっても容易に所望の音声メッセージを合成すること
ができる。

【００７２】この発明の第２実施例による合成音声メッ
セージ編集作成方法、装置によれば、複数種類の韻律パ
ターン変化の組み合わせによる制御コマンドのセットを
韻律特性規則としてそれぞれの種類の言語外情報と対応
させてデータベースに蓄積してあるので、入力テキスト
に対し、様々な言語外情報を簡単に付加することができ
る。

【００７３】この発明の第３実施例による合成音声メッ
セージ編集作成方法、装置によれば、韻律特性の操作
（編集）を施した文字の並び方によって、視覚的に操作
（編集）内容を確認でき、より効率的な修正作業を行え
る。長い文章を編集する場合は、確認の全ての音声を聞
く事なく、修正の必要な文字列を容易に見いだすことが
できる。

【００７４】また、文字を印字する方法と同等であるた
め、格別の表示および印刷方法を必要としない。合成音
声編集システムが極めて簡易なものとなるという利点も
有している。表示機構にポインティングデバイスなどを
受け付ける機能を付し、文字位置などの情報を変更する
機構を備えることで、使用者がＧＵＩを用いた編集と同
様の効果を得られるという利点もある。

【００７５】更にこの発明は従来の韻律特性の詳細な表
示からも容易に変換できるため、詳細な制御の必要な場
合にも対応できる。この発明により、一般のユーザによ
っても効率的に所望の音声メッセージを作成することが
できる。この発明を日本語以外の言語、例えばドイツ
語、フランス語、イタリア語、スペイン語、韓国語、そ
の他に適用可能なことは明かである。

【図面の簡単な説明】

【図１】この発明の第１実施例におけるＭＳＣＬ記述法
を説明するための図。

【図２】第１実施例における合成音声の編集処理手順を
示すフロー図。

【図３】第１実施例の合成音声編集装置を示すブロック
図。

【図４】第２実施例におけるピッチパターンの変形を説
明するための図。

【図５】第２実施例におけるピッチパターンの変形によ
る聴取結果を示す表。

【図６】第２実施例における継続時間長伸縮操作による
聴取結果を示す表。

【図７】第２実施例におけるピッチパターン変形と継続
時間長伸縮の組み合わせによる聴取結果を示す図。

【図８】第３実施例においてピッチとパワーの韻律特性
に関する聴取実験に使用したコマンド表記例。

【図９】第３実施例においてピッチのダイナミックレン
ジに関する聴取実験に使用したコマンド表記例。

【図１０】Ａは第３実施例における入力日本語文章例を
示す図、ＢはそのＭＳＣＬ記述例を示す図、Ｃは第３実
施例によるコマンドの効果の表示例を示す図。

【図１１】第３実施例による編集と表示の処理手順を示
すフロー図。

【図１２】第３実施例による合成音声編集装置を示すブ
ロック図。

Claims (30)

【特許請求の範囲】
1. 【請求項１】 テキストに対応して規則により合成され
   た音声メッセージの言語外情報を編集する方法であり、
   以下のステップを含む： (a) 入力テキスト中の、言語外情報を与えるべき文字又
   は文字列の位置に、上記言語外情報に対応する韻律制御
   のためにセマンティック層（Ｓ層と呼ぶ）とインタープ
   リテーション層（Ｉ層と呼ぶ）とパラメータ層（Ｐ層と
   呼ぶ）とからなる階層形記述言語による上記Ｓ層及び／
   又はＩ層の韻律制御コマンドを挿入し、上記Ｐ層は少な
   くともピッチ及びパワーを含む制御可能な韻律パラメー
   タのグループであり、上記Ｉ層は上記Ｐ層の韻律パラメ
   ータに対する制御の詳細を指定する韻律制御コマンドの
   グループであり、上記Ｓ層は言語外情報をそれらの意味
   を表す語句又は単語で表し、上記Ｉ層のそれぞれ少なく
   とも１つの韻律制御コマンドからなるコマンドのセット
   を実行させる韻律制御コマンドのグループであり、上記
   Ｓ層の各韻律制御コマンドと上記Ｉ層の韻律制御コマン
   ドのセットとの関係と、上記Ｉ層の韻律制御コマンド
   の、上記Ｐ層の韻律パラメータに対する制御の詳細を表
   す韻律制御規則が予め韻律特性規則データベースに格納
   されており、 (b) 上記テキストから規則による合成音声の韻律パラメ
   ータ列を求め、 (c) 上記韻律パラメータ列中の上記言語外情報を与える
   べき文字又は文字列に対応する韻律パラメータを上記韻
   律制御コマンドにより制御し、 (d) 上記制御された韻律パラメータを含む上記韻律パラ
   メータ列から音声を合成し、合成音声メッセージを出力
   する。
2. 【請求項２】 請求項１記載の編集方法において、上記
   ステップ(c) における韻律パラメータの制御は、上記ス
   テップ(b) で得られた上記韻律パラメータ列に対し、パ
   ラメータの値を相対的に変化させる制御である。
3. 【請求項３】 請求項１記載の編集方法において、上記
   ステップ(c) における韻律パラメータの制御は、上記ス
   テップ(b) で得られた上記韻律パラメータ列に対し、パ
   ラメータの絶対的値を指定して変化させる制御である。
4. 【請求項４】 請求項１乃至３の何れか記載の編集方法
   において、上記ステップ(c) における韻律パラメータの
   制御は、振幅値、基本周波数、継続時間長の少なくとも
   １つの韻律パラメータの値を指定することと、韻律パラ
   メータの時間変化パターンの形状を指定することの少な
   くとも一方を実行する制御である。
5. 【請求項５】 請求項１乃至３の何れか記載の編集方法
   において、各言語外情報に対応し、上記Ｐ層の韻律パラ
   メータの物理量の制御を規定する上記Ｉ層の韻律制御コ
   マンドのセットをその言語外情報に対応する意味を表す
   上記Ｓ層の一つの韻律制御コマンドとして使用する。
6. 【請求項６】 請求項１乃至３のいずれか記載の編集方
   法において、上記ステップ(c) は上記テキストの言語の
   発音を有する辞書を参照して上記文字又は文字列に対応
   する音韻及び音節の位置を検出し、上記韻律制御コマン
   ドで処理する。
7. 【請求項７】 請求項１乃至３のいずれか記載の編集方
   法において、上記Ｐ層は制御の対象となる韻律パラメー
   タの集合であり、上記Ｓ層の韻律制御コマンドは、様々
   な言語外情報の意味を表す単語又は語句の集合であり、
   上記Ｉ層の韻律制御コマンドは、上記Ｓ層の各韻律制御
   コマンドを解釈して制御すべき上記Ｐ層の韻律パラメー
   タとその制御内容を規定するコマンドである。
8. 【請求項８】 入力されたテキスト中に挿入する韻律制
   御コマンドを、セマンティック層とインタープリテーシ
   ョン層とパラメータ層とからなる階層形記述言語により
   記述して入力するテキスト・韻律制御コマンド入力部
   と、上記Ｐ層は少なくともピッチ及びパワーを含む制御
   可能な韻律パラメータのグループであり、上記Ｉ層は上
   記Ｐ層の韻律パラメータに対する制御の詳細を指定する
   韻律制御コマンドのグループであり、上記Ｓ層は言語外
   情報をそれらの意味を表す語句又は単語で表し、上記Ｉ
   層のそれぞれ少なくとも１つの韻律制御コマンドからな
   るコマンドのセットを実行させる韻律制御コマンドのグ
   ループであり、 上記テキストから上記韻律制御コマンドを分離するテキ
   スト・韻律制御コマンド分離部と、 分離された上記テキストから「規則による合成」方法に
   基づいて韻律パラメータ列を生成する音声合成情報変換
   部と、 分離された上記韻律制御コマンドからその韻律制御コマ
   ンドのテキスト中における位置情報を抽出する韻律制御
   コマンド解析部と、 上記テキスト中の位置情報および分離された上記韻律制
   御コマンドに基づいて韻律パラメータ列を制御修正する
   韻律特性制御部と、 上記韻律特性制御部からの修正された上記韻律パラメー
   タ列に基づいて合成音声を生成する音声合成部、とを含
   む合成音声メッセージ編集作成装置。
9. 【請求項９】 請求項８記載の編集作成装置において、 言語外情報を含む入力音声を分析して韻律パラメータを
   得る入力音声分析部と、 上記入力音声の韻律パラメータを韻律制御コマンドのセ
   ットに変換する韻律特性／韻律制御コマンド変換部と、 その変換された韻律制御コマンドのセットを上記言語外
   情報と対応して格納する韻律特性データベースと、を更
   に含む。
10. 【請求項１０】 請求項９記載の作成編集装置におい
    て、更に表示画面とＧＵＩ手段を有する表示型合成音声
    編集部が設けられ、上記表示型合成音声編集部は、上記
    韻律特性データベースから所望の言語外情報に対応する
    韻律制御コマンドのセットを上記韻律特性／韻律制御コ
    マンド変換部に読みだし、上記表示画面に表示し、上記
    ＧＵＩ手段により上記韻律制御コマンドのセットを修正
    し、上記韻律特性データベースの対応する韻律制御コマ
    ンドセットを更新する。
11. 【請求項１１】 規則による合成音声メッセージの言語
    外情報を編集作成する方法の処理手順が記録された記録
    媒体で有り、上記処理手順は： (a) 入力テキスト中の、言語外情報を与えるべき文字又
    は文字列の位置に、上記言語外情報に対応する韻律制御
    コマンドをセマンティック層（Ｓ層と呼ぶ）とインター
    プリテーション層（Ｉ層と呼ぶ）とパラメータ層（Ｐ層
    と呼ぶ）とからなる階層形記述言語により記述するプロ
    セスと、 (b) 上記テキストから規則による合成音声の韻律パラメ
    ータ列を求めるプロセスと、 (c) 上記韻律パラメータ列中の上記言語外情報を与える
    べき文字又は文字列に対応する韻律パラメータを上記韻
    律制御コマンドにより制御するプロセスと、 (d) 上記制御された韻律パラメータを含む上記韻律パラ
    メータ列から音声を合成し、合成音声メッセージを出力
    するプロセス、とを含む。
12. 【請求項１２】 テキストに対応して規則により合成さ
    れた音声メッセージの言語外情報を編集する方法であ
    り、以下のステップを含む： (a) 上記テキストから規則による合成音声の韻律パラメ
    ータ列を求め、 (b) 複数の予め決めた言語外情報を特徴付ける韻律特性
    をそれぞれ基本韻律制御規則とし、上記韻律パラメータ
    列中の、言語外情報を与えるべき文字又は文字列に対応
    する韻律パラメータを上記基本韻律制御規則の少なくと
    も１つにより修正し、 (c) 上記修正された韻律パラメータを含む上記韻律パラ
    メータ列から音声を合成し、合成音声メッセージを出力
    する。
13. 【請求項１３】 請求項１２記載の編集方法において、
    上記ステップ(b) は上記基本韻律制御規則の組合せによ
    り上記韻律パラメータを修正する。
14. 【請求項１４】 請求項１２又は１３記載の編集方法に
    おいて、上記基本韻律制御規則はピッチパターンの複数
    の変形を含む。
15. 【請求項１５】 請求項１４記載の編集方法において、
    上記基本韻律制御規則は更に継続時間長の伸縮を含む。
16. 【請求項１６】 請求項１４記載の編集方法において、
    上記ピッチパターンの変形はピッチのダイナミックレン
    ジの大小の変形を含む。
17. 【請求項１７】 請求項１４記載の編集方法において、
    上記ピッチパターンの変形はピッチパターンの第１母音
    の始端から最大ピッチまでの形状を上に凸及び下に凸の
    変形を含む。
18. 【請求項１８】 請求項１４記載の編集方法において、
    上記ピッチパターンの変形はピッチパターンの最終母音
    からパターンの終端までの形状を単調上昇及び単調下降
    する変形を含む。
19. 【請求項１９】 請求項１２又は１４記載の編集方法に
    おいて、予め決めた言語外情報を、それらの意味の単語
    又は語句で表す韻律制御コマンドをセマンチック層の韻
    律制御コマンドとし、上記Ｓ層の韻律制御コマンドの韻
    律パラメータに対する制御の物理的意味を規定する韻律
    制御コマンドをインタープリテーション層の韻律制御コ
    マンドとし、制御対象の韻律パラメータの集合をパラメ
    ータ層の韻律パラメータとする階層型記述言語を規定
    し、上記編集方法は、 テキスト中の、言語外情報を与えるべき上記文字又は文
    字列の位置に、上記言語外情報に対応する韻律制御コマ
    ンドを、上記階層形記述言語により記述するステップを
    含む。
20. 【請求項２０】 請求項１２又は１４記載の編集方法に
    おいて、言語外情報を含む入力音声を分析して韻律パラ
    メータ列を求め、それぞれの言語外情報が表す特徴的な
    韻律パラメータのパターンを上記基本韻律特性規則とし
    て蓄積するステップを含む。
21. 【請求項２１】 テキストに対応して規則により合成さ
    れた音声メッセージの言語外情報を編集する方法の処理
    手順が記録された記録媒体であり、上記処理手順は以下
    のプロセスを含む： (a) 上記テキストから規則による合成音声の韻律パラメ
    ータ列を求め、 (b) 複数の予め決めた言語外情報を特徴付ける韻律特性
    をそれぞれ基本韻律制御規則とし、上記韻律パラメータ
    列中の、言語外情報を与えるべき文字又は文字列に対応
    する韻律パラメータを上記基本韻律制御規則の少なくと
    も１つにより修正し、 (c) 上記修正された韻律パラメータを含む上記韻律パラ
    メータ列から音声を合成し、合成音声メッセージを出力
    する。
22. 【請求項２２】 テキストに対応して規則により合成さ
    れた音声メッセージの言語外情報を編集する装置であ
    り：上記テキストから規則による合成音声の韻律パラメ
    ータ列を求める構文解析手段と、 複数の予め決めた言語外情報を特徴付ける韻律特性をそ
    れぞれ基本韻律制御規則とし、上記韻律パラメータ列中
    の、言語外情報を与えるべき文字又は文字列に対応する
    韻律パラメータを上記基本韻律制御規則の少なくとも１
    つにより修正する韻律特性制御手段と、 上記修正された韻律パラメータを含む上記韻律パラメー
    タ列から音声を合成し、合成音声メッセージを出力する
    合成音声生成手段、とを含む。
23. 【請求項２３】 請求項２２記載の編集装置において、
    上記上記韻律特性制御手段は、言語外情報にそれぞれ対
    応する上記基本韻律制御規則が予め格納された韻律特性
    規則データベースを含む。
24. 【請求項２４】 請求項２２記載の編集装置において、
    上記韻律特性制御手段は、各言語外情報に対応する上記
    基本韻律制御規則の組合せが予め格納された韻律特性規
    則データベースを含む。
25. 【請求項２５】 入力されたテキストに対応し、規則に
    より合成される音声の言語外情報を編集する方法であ
    り、以下のステップを含む： (a) テキストを分析し、規則による音声合成に基づいて
    韻律パラメータ列を得て、 (b) 上記韻律パラメータ列中の、言語外情報を与えるべ
    き文字又は文字列に対応する韻律パラメータを、上記言
    語外情報の特徴的な韻律パラメータによる変形情報によ
    り修正し、 (c) 上記修正された韻律パラメータにより音声を合成
    し、 (d) 上記韻律パラメータの変形情報を、上記テキストの
    文字の位置、大きさ、書体、表示色などの文字変換情報
    に変換し、 (e) 上記文字変換情報にもとづき、上記テキストの文字
    を変換して表示する。
26. 【請求項２６】 請求項２５記載の編集方法において、
    上記ステップ(b) は、上記言語外情報を与えるべき文字
    又は文字列に対して上記テキスト中に記述された韻律制
    御コマンドに従って実行される。
27. 【請求項２７】 請求項２６記載の編集方法において、
    予め決めた言語外情報を、それらの意味の単語又は語句
    で表す韻律制御コマンドをセマンチック層の韻律制御コ
    マンドとし、上記Ｓ層の韻律制御コマンドの韻律パラメ
    ータに対する制御の物理的意味を規定する韻律制御コマ
    ンドをインタープリテーション層の韻律制御コマンドと
    し、制御対象の韻律パラメータの集合をパラメータ層の
    韻律パラメータとする階層型記述言語を規定し、上記編
    集方法は、 テキスト中の、言語外情報を与えるべき上記文字又は文
    字列の位置に、上記言語外情報に対応する韻律制御コマ
    ンドを、上記階層形記述言語により記述するステップを
    含む。
28. 【請求項２８】 テキストに対応して規則により合成さ
    れた音声メッセージの言語外情報を編集する方法の処理
    手順が記録された記録媒体であり、上記処理手順は以下
    のプロセスを含む： (a) テキストを分析し、規則による音声合成に基づいて
    韻律パラメータ列を得て、 (b) 上記韻律パラメータ列中の、言語外情報を与えるべ
    き文字又は文字列に対応する韻律パラメータを、上記言
    語外情報の特徴的な韻律パラメータによる変形情報によ
    り修正し、 (c) 上記修正された韻律パラメータにより音声を合成
    し、 (d) 上記韻律パラメータの変形情報を、上記テキストの
    文字の位置、大きさ、書体、表示色などの文字変換情報
    に変換し、 (e) 上記文字変換情報にもとづき、上記テキストの文字
    を変換して表示する。
29. 【請求項２９】 テキストに対応して規則により合成さ
    れた音声メッセージの言語外情報を編集する装置であ
    り：合成音声制御記述言語情報を入力する入力手段と、 上記入力された合成音声制御記述言語情報を、テキスト
    と、韻律制御コマンドに分離する分離手段と、 上記分離された韻律制御コマンドの内容と、そのテキス
    ト上の位置情報とを解析するコマンド解析手段と、 音声の合成規則が格納された第１データベースと、 上記テキストに対し、上記第１データベースを参照して
    音声を規則合成するための韻律パラメータを生成する構
    文解析手段と、 上記韻律制御コマンドの韻律特性規則が格納された第２
    データベースと、 上記第２データベースを参照して上記解析された韻律制
    御コマンド及び位置情報にもとづき、上記韻律パラメー
    タを変形する韻律特性制御手段と、 上記変形された韻律パラメータにもとづき、上記テキス
    トを音声合成する合成音声生成手段と、 上記韻律パラメータと文字変換特性規則を格納した第３
    データベースと、 上記変形された韻律パラメータを、上記第３データベー
    スを参照して、文字の位置、大きさ、書体、表示色など
    の文字変換情報に変換する文字変換情報生成手段と、 上記文字変換情報により上記テキストの文字を変換する
    文字変換手段と、 上記変換されたテキストを表示する表示器と、を含む。
30. 【請求項３０】 テキストに対応して規則により合成さ
    れた音声メッセージの言語外情報を編集する装置であ
    り：合成音声制御記述言語情報を入力する入力手段と、 上記入力された合成音声制御記述言語情報を、テキスト
    と、韻律制御コマンドに分離する分離手段と、 上記分離された韻律制御コマンドの内容と、そのテキス
    ト上の位置情報とを解析するコマンド解析手段と、 音声の合成規則が格納された第１データベースと、 上記テキストに対し、上記第１データベースを参照して
    音声を規則合成するための韻律パラメータを生成する構
    文解析手段と、 上記韻律制御コマンドの韻律特性規則が格納された第２
    データベースと、 上記第２データベースを参照して上記解析された韻律制
    御コマンド及び位置情報にもとづき、上記韻律パラメー
    タを変形する韻律特性制御手段と、 上記変形された韻律パラメータにもとづき、上記テキス
    トを音声合成する合成音声生成手段と、 上記韻律制御コマンドと文字変換特性規則を格納した第
    ３データベースと、 上記テキストを上記韻律制御コマンドに基づき上記第３
    データベースを参照して、文字の位置、大きさ、書体、
    表示色などの文字変換情報に変換する文字変換情報生成
    手段と、 上記文字変換情報により上記テキストの文字を変換する
    文字変換手段と、 上記変換されたテキストを表示する表示器と、を含む。