JP4344658B2 - 音声合成機 - Google Patents

音声合成機 Download PDF

Info

Publication number
JP4344658B2
JP4344658B2 JP2004198918A JP2004198918A JP4344658B2 JP 4344658 B2 JP4344658 B2 JP 4344658B2 JP 2004198918 A JP2004198918 A JP 2004198918A JP 2004198918 A JP2004198918 A JP 2004198918A JP 4344658 B2 JP4344658 B2 JP 4344658B2
Authority
JP
Japan
Prior art keywords
information
phoneme
text
processing unit
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004198918A
Other languages
English (en)
Other versions
JP2004361965A (ja
Inventor
政哲 李
敏洙 韓
恒燮 李
在宇 梁
永稷 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2004361965A publication Critical patent/JP2004361965A/ja
Application granted granted Critical
Publication of JP4344658B2 publication Critical patent/JP4344658B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information
    • G10L2021/105Synthesis of the lips movements from speech, e.g. for talking heads

Description

本発明は、多重媒体(マルチメディア)との連動するためのテキスト/音声変換器(text-to-speech conversion system:TTS)及びその入力データ構造化方法に関し、特に、テキスト以外の付加的韻律情報、多重媒体との連動に必要な情報、および、これら情報とTTSとの間のインターフェースを定義して、TTSでの合成音生成に使用することにより、合成音の自然性向上と、多重媒体情報及びTTS間の同期化とを図ることができる多重媒体情報との連動のためのテキスト/音声変換器及びその入力データ構造化方法に関する。
一般的に、音声合成器の機能は、コンピュータが使用者である人間に多様な形態の情報を音声で提供することにある。このためには、音声合成器は、使用者によって与えられたテキストから高品質の音声合成サービスを提供できなければならない。同時に、動映像やアニメーション等の多重媒体環境において製作されたデータベース、あるいは、対話相手から提供される多様なメデイアと連動するためには、これらと同期化するように合成音の生成がされなければならない。特に、多重媒体情報及びTTS間の同期化は、使用者に高品質のサービスを提供する上で必須的である。
既存のTTSは、一般的に、図1に図示すように、入力されたテキストから合成音を生成するまでに、3段階の過程を経ることになる。
1段階の言語処理部1においては、入力されたテキストを音素列に変換し、これから韻律情報を推定してシンボル化する。韻律情報の推定は、構文構造分析結果を利用した句・節境界、単語内アクセント位置、文型等に基づいて行う。
2段階の韻律処理部2は、シンボル化された韻律情報から、規則及びテーブルを利用して、韻律制御パラメータの値を計算する。韻律制御パラメータには、音素の持続時間、ピッチ形態(contour)、エネルギ形態(contour)、休み区間情報がある。
3段階の信号処理部3は、合成単位データベース4と韻律制御パラメータとを利用して合成音を生成する。即ち、既存の合成器は、自然性、発声速度に関連する情報を単に入力テキストだけで推定しなければならないことを意味する。
さらに、既存のTTSは、文章単位で入力されたデータを合成音として出力する単純な機能を持っている。したがって、ファイル内に貯蔵された文章、あるいは通信網を通じて入力された文章を、連続した合成音として出力するためには、入力データから文章を読み出してTTSの入力に伝達する主制御プログラムが必要である。このような主制御プログラムには、入力されたデータからテキストを分離して単に初めから終わりまで1回合成音を出力する方法や、テキスト編集器に連動して合成音を生成する方法、あるいはグラフィックインターフェースを利用して文章を検索し合成音を生成する方法等があるが、その対象はテキストに限定されている。
現在、TTSに対する研究が、多くの国で自国語を対象として行われている。一部では、商用化されているものもある。しかし、いまだに入力されたテキストから音声を合成する用途としてのみ考慮されているのが現状である。TTSを利用して動映像をダビングしようとする場合、あるいはアニメーションのような多重媒体と合成音との間の自然な連動を具現する場合に、必要な同期化情報を単にテキストから推定することは不可能である。このため、従来の構造では、これらの機能を具現する方法はない。さらに、合成音の自然性向上のための付加データの使用や、これらデータの構造化に対する研究は、ほとんどされていないのが実状である。
そこで、本発明の目的は、TTSにおいてテキスト以外の付加的韻律情報、多重媒体情報との連動に必要な情報、およびこれらの情報とTTSとの間のインターフェースを定義し、これらを合成音生成に使用することにより、合成音の自然性向上と多重媒体及びTTS間の同期化とを図ることができる多重媒体との連動のためのテキスト/音声変換器、および入力データ構造化方法を提供することにある。
上記目的を達成するために、本発明の、多重媒体との連動のためのテキスト/音声変換器は、
テキスト、韻律、多重媒体、および多重媒体とテキスト/音声変換との同期化に必要な時間情報、唇形情報、個人性情報などの同期化情報を構造化させた多重媒体情報を入力する多重媒体情報入力部と、
前記多重媒体情報入力部に入力された多重媒体情報を媒体別情報に分離する媒体別データ分配器と、
前記媒体別データ分配器から分配されたテキストを音素別に変換し、韻律情報を推定して、これをシンボル化する言語処理部と、
前記シンボル化された韻律情報から規則及びテーブルを利用して韻律制御パラメータの値を計算する韻律処理部と、
前記媒体別データ分配器から分配された同期化情報を利用して音素の持続時間を調節する同期調整部と、
前記韻律制御パラメータと合成単位データベース内のデータを利用して合成音を生成する信号処理部と、
前記媒体別データ分配器から分配された多重媒体を画面に出力する映像出力部と、
により構成されることを特徴とする。
ここで、多重媒体(マルチメディア)とは、動画像、アニメーション、音響信号などを意味する。また、構造化とは、エンコーディング(encoding)/デコーディング(decoding)の観点から、テキスト、韻律、多重媒体および同期化情報を順序化、体系化することを意味している。
また、韻律制御パラメータは、発話での区切り読み位置、音素持続時間の長短、音の高低(抑揚)、音の強さ(エネルギコンツア(energy contour))の4種の形態がある。ここで、シンボル化された韻律情報から規則及びテーブルを利用して韻律制御パラメータの値を計算するとは、具体的には、以下の(1)〜(4)の処理により行われる。
(1)区切り読み位置の推定:
言語処理結果(シンボル化された韻律情報)を受けて、節境界、相関度が低い句の境界、および一息で発話できる自然な音節数を考慮する段階と、作成された区切り読み規則を用いて文章内の区切り読み位置と長さとを推定する段階、そして、この結果を言語処理結果に追加して音素別持統時間モジュールに送る段階と、からなる。
(2)音素別持続時間の調整:
区切り読み位置の推定結果を受けて、音素の固有持続時間テーブル、周辺音韻環境、構文構造、品詞情報、文章内の位置を考慮して作成した音素の持続時間計算規則を用いて音素別持続時間を推定し、この結果を区切り読みの推定結果に追加してピッチコンツア生成モジュールに送る段階からなる。
(3)ピッチコンツアの生成:
単語間修飾構造、単語を構成する音素列の調音特性と持続時間、文章内の単語位置、および単語間区切り読み情報を用いて文章のピッチコンツアを合成し、計算されたデータを音素別持続時間推定結果に追加してエネルギ値モジュールに送る段階からなる。
(4)エネルギ値の推定:
文章内の単語位置、単語を構成する音素列の資質、音節内の音素間調音結合特性、対象単語と左右単語の平均ピッチ値、および対象単語の前後に位置する区切り読み長さ情報を基準として作成したエネルギ値計算規則を用いて、音素単位のエネルギコンツアを作成する段階からなる。
ところで、合成音を生成するため一般に用いられる方法には、Dectalkのformat合成器のように、合成に必要な各音素別励起信号および声道関連情報をテーブルと規則とを用いて生成する方法と、実際の音声から抽出したphoneme,diphone,demisyllable,triphone,syllableのような基本音片を編集して合成する方法とがある。
本発明の合成単位データべースは、前者の場合、音素別励起信号および声道関連情報を貯蔵しているテーブルと規則とを意味し、後者の場合は、基本音片を貯蔵した音声データべースを意味する。信号処理部では、韻律制御パラメータ、すなわち音素の持続時間、ピッチ、エネルギ情報を用いて、既存の音片あるいは励起信号/声道情報の持続時間を伸縮させ、音の高低と強さとを目標値に合わせた後、音片を接合させることにより所望する合成音を生成する。
また、本発明の、多重媒体との連動のためのテキスト/音声変換器の入力データ構造化方法は、
多重媒体情報入力部により、合成音の自然性向上と、多重媒体及びテキスト/音声変換器間の同期化具現とのために構造化された多重媒体入力情報の構成を、テキスト、韻律、動画像との同期化情報、唇形、および個人性情報とに区分する段階と、
前記多重媒体情報入力部にて区分された情報各々を、媒体別データ分配器により分配する段階と、
前記媒体別データ分配器にて分配されたテキストを、言語処理部により、音素列に変換して韻律情報を推定し、これをシンボル化する段階と、
韻律処理部において、前記韻律情報から、多重媒体情報に包含されている韻律制御パラメータ以外の韻律制御パラメータの値を計算する段階と、
同期調整器において、前記韻律処理部の処理結果と同期化情報の入力とにより、映像信号との同期を合わせるため音素別持続時間を調整する段階と、
信号処理部において、音声単位データベースを利用して、前記媒体別データ分配器からの韻律情報及び前記同期調整器の処理結果から、合成音を生成する段階と、
前記媒体別データ分配器から分配された映像情報を映像出力装置により画面に出力する段階と、
によりなることを特徴とする。
上述したように、本発明は、実際の音声データを分析して推定された個人性、韻律情報をテキスト情報と一緒に多段階情報に構成し、合成音生成に直接利用することにより、合成音の個人性を具現するとともに自然性を向上させることができる。
また、実際音声データと動映像の唇形とを分析して推定された唇形情報とテキスト情報とを合成音生成に直接利用する方式を通じて、合成音と動映像との同期化を具現することにより、外画等に韓国語ダビングを可能にし、多重媒体環境において映像情報とTTSとの同期化を可能にすることができる。
これにより、通信サービス、事務自動化、教育等の各分野に応用できる卓越した効果がある。
以下、添付した図面を参照して本発明の一実施形態を詳細に説明する。
図2は、本発明の一実施形態が適用されるハードウエアの構成図である。
多重データ入力装置5、中央処理装置6、合成データベース7、デジタル/アナログ(D/A)変換装置8、および映像出力装置9により構成される。
多重データ入力装置5は、映像やテキスト等の多重媒体により構成されたデータ(多重データ)の入力を受け付け、それを中央処理装置6に出力する。
中央処理装置6は、入力された多重データを分配して同期を調整し合成音を生成するアルゴリズムを遂行する。
合成データベース7は、合成音生成のためのアルゴリズムに使用される合成データベースとして、記憶装置に貯蔵されており、中央処理装置6に必要なデータを伝送する。
D/A変換装置8は、合成を終えたデジタルデータをアナログ信号に変換して外部に出力する。
映像出力装置(9)は入力された映像情報を画面に出力する。
表1及び表2は、本実施形態に適用される構造化された多重媒体入力情報のデータ構造を示している。テキスト、韻律、多重媒体(動画像やアニメーションなど)、多重媒体との同期化情報(時間情報、唇形情報、個人性情報など)からなる。この多重媒体入力情報は、データ入力装置5に入力され、TTSが多重媒体と連動して動作することに必要な情報を提供する。なお、表1および表2では、C言語で表記している。
Figure 0004344658
ここで、TTS_Sequence_Start_Codeは、Hexadecimal XXXXXで表示されたbit stringであり、TTSデータ列の初めを意味する。
TTS_Sentence_IDは、10−bit IDであり各TTSデー
タ列の固有番号を表す。
Language_Codeは、韓国語、英語、ドイツ語、日本語、フランス語等のように合成しようとする対象言語を表す。
Prosody_Enableは、1−bit flagであり原音の韻律データが多重媒体入力情報に包含されると1の値を有する。
Video_Enableは、1−bit flagでありTTSが動映像と
連動されるとき1の値を有する。
Lip_Shape_Enableは、1−bit flagであり唇形データが多重媒体入力情報に包含されると1の値を有する。
Trick_Mode_Enableは、1−bit flagでありsto
p,restart,forward,backwardのようなtrick
modeを支援するようにデータが構造化されると1の値を有する。
Figure 0004344658
ここで、TTS_Sentence_Start_Codeは、HexadecimalXXXXXで表示されたbit stringであり、TTS文章の
初めを意味し、10−bit IDであり、各TTSデータ列の固有番号を表す
TTS_Sentence_IDは、10−bit IDであり、TTS列内
の各TTS文章の固有番号を表す。
Silenceは、1−bit flagであり、現在の入力フレ−ムが無音
区間のとき1になる。
Silence_Durationは、現無音区間の持続時間をmillisecondsで表す。
Genderは、1−bitであり男女性別を区分する。
Ageは、合成音の年を幼児、青少年、中年、老年に区分する。
Speech_Rateは、合成音の発声速度を表す。
Length_of_Textは入力テキストの文章の長さをbyteで表す。
TTS_Textは、任意の長さの文章テキストを表す。
Dur_Enableは、1−bit flagであり、各音素の持続時間情報が多重媒体入力情報に包含されるとき1になる。
FO_Contour_Enableは、1−bit flagであり、各音
素のピッチ情報が多重媒体入力情報に包含されるとき1になる。
Enery_Contour_Enableは、1−bit flagであり
、各音素のエネルギ情報が多重媒体入力情報に包含されるとき1になる。
Number_of_Phonemesは文章の合成に必要な音素の数を表す。
Symbol_each_phonemeは、IPAのような各音素を表すシンボルを表示する。
Dur_each_phonemeは、音素の持続時間を表示する。
FO_Contour_each_phonemeは、音素のピッチパターンであり、音素の始点、中間、終点におけるピッチ値を表す。
Energy_contour_each_phonemeは、音素のエネルギパターンを表すものであり、音素の始点、中間、終点におけるエネルギ値をdBで表示する。
Sentence_Durationは、文章に対する合成音の全体持続時間を表す。
Position_in_Sentenceは、現在のフレ−ムの文章内位置を表す。
Offsetは、動映像と連動する場合、GOP(Group of Pictures)内に文章の始点がある場合GOP始点から文章の始点までの遅延時間を表す。
Number_of_Lip_Eventは、文章内唇形変化点の個数を表す。
Lip_in_Sentenceは、文章内唇形変化点の位置を表す。
Lip_shapeは、文章内唇形変化点において唇形を表す。
テキスト情報は、使用言語に対する分類コ−ド、文章テキストを包含する。韻律情報には、文章内音素の数、音素列情報、音素別持続時間、音素のピッチパターン、音素のエネルギパターン等があり、合成音の自然性を向上させるため使用される。動画像と合成音の同期化情報は、ダビングの概念からみて、3通りの方法により具現される。
1番目の方法は、文章単位で動画像と合成音とを同期化させる方法である。文章の始点、持続時間、始点遅延時間情報を利用して、合成音の持続時間を調節する。各文章の始点は、動映像内において、各文章に対する合成音の出力が始まる場面の位置を表し、文章の持続時間は、各文章に対する合成音が持続される場面の数を表す。さらに、グル−プ映像(Group of Picture:GOP)概念が利用されるMPEG−2やMPEG−4などの映像圧縮方式の動画像は、再生時に任意の場面から始まることができないため、必ずグル−プ映像内の始点から再生されるようになっている。このため、始点の遅延時間は、グル−プ映像とTTSとが同期を合わせるための必要な情報であり、グル−プ映像内の始まる場面と発声の始点との間の遅延時間を現す。この方法は、具現が容易であり付加的努力が最小化されるという長所があるが、自然な同期化にはいまだに程遠い。
2番目の方法は、動映像において、音声信号に関連する区間では音素毎に始点、終点情報と音素情報とを表記して、これらの情報を合成音生成に利用する方法である。この方法は、音素単位に動画像と合成音との同期を合わせることができるため、正確度が高いという長所がある。しかし、動画像の音声区間において、音素単位に持続時間情報を検出して記録するための付加的努力が非常に大きくなるという短所がある。
3番目の方法は、音声の始点、終点、唇形、唇形の変化時点を基準として、同期化情報を記録する方法である。唇形は、唇上下間の距離(開き程度)、唇左右終点間の距離(開き程度)、および唇の突き出し程度を数値化する。そして、弁別的特性が高いパターンを、音素の調音位置、調音方法によって唇形が定量化、定期化されたパターンに定義する。この方法は、同期化のための情報製作の付加的努力を最小化しながら同期化効率を高める方法である。
本実施形態に適用される構造化された多重媒体入力情報は、以上の3種の同期化方式を情報提供者が任意に選択して具現することができるようにする。さらに、唇アニメーションを具現する方法にも、構造化された入力情報を利用する。入力されたテキストからTTSにおいて作成した音素列と音素別持続時間、あるいは入力情報において分配された音素列と音素別持続時間を利用して唇アニメーションの具現を可能にし、また入力情報に包含された情報を利用してアニメーションを具現することもできる。
個人性情報は、合成音の性別、年齢、合成音発声速度の変化等を可能とする。性別は男、女、年齢別は6−7才、18才、40才、65才程度の4種に分類する。発声速度の変化は、標準速度の0.7倍から1.6倍の10段階の変化を与える。このような情報を利用して合成音の音質を多様化する。
図3は、本実施形態によるテキスト/音声変換器の機能構成図である。
多重媒体情報入力部10、媒体別データ分配器11、標準化された言語処理部12、韻律処理部13、同期調整器14、信号処理部15、合成単位データベース16及び映像出力装置17とからなる。
なお、図3において、多重媒体情報入力部10は図2のデータ入力装置5に対応し、媒体別データ分配器11、標準化された言語処理部12、韻律処理部13、同期調整器14、および信号処理部15は図2の中央処理装置6に対応し、合成単位データベース16は図2の合成データベース7に対応し、映像出力装置17は映像出力装置9に対応する。
多重媒体情報入力部10は、表1及び表2の形式で構成されテキスト、動像、韻律情報、動画像との同期化情報唇形情報個人情報等)が入力される。このうち必須の情報はテキストであり、その他の情報は個人性、自然性向上、および多重媒体とTTSとの同期化のための選択仕様である。情報提供者が選択的に提供することができ、必要に応じてTTS使用者が文字入力装置、あるいはマウスを利用して修正が可能である。これら情報は、多重媒体分配器11に伝達される。
多重媒体分配器11は、多重媒体情報の伝達を受ける。そして、この情報を媒体別に分離し、映像情報は映像出力装置17に、テキストは言語処理部12に、さらに同期化情報は同期調整器14に、各々使用可能なデータ構造に変換して伝達する。また、入力された多重媒体情報内に韻律情報があれば、使用できるデータ構造に変換して、韻律処理部13および同期調整器14に伝達する。個人性情報があれば、使用できるデータ構造に変換して、合成単位データベース16、韻律処理部13に伝達する。
言語処理部12は、受け付けたテキストを音素別に変換し、韻律情報を推定してこれをシンボル化する。その後、韻律処理部13に伝送する。韻律情報のシンボルは、構文構造分析結果を利用した句・節境界、単語内アクセント位置、文型等から推定される。
韻律処理部13は、言語処理部12の処理結果を受けて、多重媒体情報に包含されている韻律制御パラメータ以外の韻律制御パラメータの値を計算する。韻律制御パラメータには、音素の持続時間、ピッチ形態(contour)、エネルギ(contour)、休み位置、および長さがある。計算された結果は、同期調整器15に伝達される。
同期調整器14は、韻律処理部13の処理結果を受けて、合成音を映像信号(例えば、動画像)との同期に合わせるため音素別持続時間を調整する。音素別持続時間の調整は、媒体別データ分配器11から分配された同期化情報を利用する。先ず、各音素別調音場所、調音方法により唇形を各音素に割り当て、これを基に同期化情報にある唇形と比較して音素列を同期化情報に記録されている唇形個数だけ小グループに分離する。次に、小グループ内の音素持続時間は、同期化情報に包含されている唇形の持続時間情報を利用して再び計算する。調整された持続時間情報を韻律処理部の結果に包含させて信号処理部15に伝達する。

信号処理部15は、媒体別データ分配器11から韻律情報を受けるか、あるいは同期調整器14の処理結果を受けて、合成単位データベース16を利用して合成音を生成して出力する。
合成単位データベース16は、媒体別データ分配器11から個人性情報を受けて、性、年齢に適合する合成単位を選定する。その後、信号処理部15の要求を受けて、合成に必要なデータを信号処理部15に伝送する。
従来のテキスト/音声変換器の構成図である。 本発明の一実施形態が適用されたテキスト/音声変換器のハ−ドウエア構成図。 図2に示すテキスト/音声変換器の機能構成図である。
符号の説明
1 言語処理部
2 韻律処理部
3 信号処理部
4 合成単位データベース
5 データ入力装置
6 中央処理装置
7 合成データベース
8 D/A変換装置
9 映像出力装置
10 多重媒体入力情報
11 媒体別データ分配器
12 言語処理部
13 韻律処理部
14 同期調整器
15 信号処理部
16 合成単位データベース
17 映像出力装置

Claims (2)

  1. テキストを用いて合成音を生成する音声合成機において、
    前記合成音を出力する出力手段と、
    前記合成音に連動して動作する動映像を出力する映像出力手段と、
    前記合成音を生成すべきテキストに関するテキスト情報と、前記テキストの唇形変化点情報および各唇形変化点の位置での唇形情報を含む、前記動映像との同期化情報と、を外部から入力するための入力手段と、
    前記テキストを音素列に変換し、前記音素列から韻律情報を推定する言語処理部と、
    既に定義された規則を用いて、前記韻律情報から韻律制御パラメータを計算する韻律処理部と、
    前記韻律制御パラメータと、合成データベースに保存されている合成音の生成に必要な合成データと、を用いて合成音を生成する信号処理部と、
    前記信号処理部が前記合成音を生成する際に、前記同期化情報に含まれる前記唇形変化点情報および前記唇形情報に基づいて、前記音素列に含まれる各音素の持続時間を調整する同期調整部と、
    を備える音声合成手段と、を有すること
    を特徴とする音声合成機。
  2. 前記同期化情報は、唇形の持続時間情報をさらに含み、
    前記同期調整部は、
    前記音素列の各音素を、前記同期化情報に含まれる唇形に対応するグループに分ける処理と、
    前記グループに含まれる各音素の持続時間を、前記唇形の持続時間情報から計算して調整する処理と、を実行すること、
    を特徴とする請求項1に記載の音声合成機。
JP2004198918A 1997-05-08 2004-07-06 音声合成機 Expired - Lifetime JP4344658B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970017615A KR100240637B1 (ko) 1997-05-08 1997-05-08 다중매체와의 연동을 위한 텍스트/음성변환 구현방법 및 그 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP35042797A Division JP3599549B2 (ja) 1997-05-08 1997-12-19 動映像と合成音を同期化するテキスト/音声変換器、および、動映像と合成音を同期化する方法

Publications (2)

Publication Number Publication Date
JP2004361965A JP2004361965A (ja) 2004-12-24
JP4344658B2 true JP4344658B2 (ja) 2009-10-14

Family

ID=19505142

Family Applications (2)

Application Number Title Priority Date Filing Date
JP35042797A Expired - Fee Related JP3599549B2 (ja) 1997-05-08 1997-12-19 動映像と合成音を同期化するテキスト/音声変換器、および、動映像と合成音を同期化する方法
JP2004198918A Expired - Lifetime JP4344658B2 (ja) 1997-05-08 2004-07-06 音声合成機

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP35042797A Expired - Fee Related JP3599549B2 (ja) 1997-05-08 1997-12-19 動映像と合成音を同期化するテキスト/音声変換器、および、動映像と合成音を同期化する方法

Country Status (4)

Country Link
US (2) US6088673A (ja)
JP (2) JP3599549B2 (ja)
KR (1) KR100240637B1 (ja)
DE (1) DE19753454C2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076426B1 (en) * 1998-01-30 2006-07-11 At&T Corp. Advance TTS for facial animation
KR100395491B1 (ko) * 1999-08-16 2003-08-25 한국전자통신연구원 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법
JP4320487B2 (ja) * 1999-09-03 2009-08-26 ソニー株式会社 情報処理装置および方法、並びにプログラム格納媒体
US6557026B1 (en) * 1999-09-29 2003-04-29 Morphism, L.L.C. System and apparatus for dynamically generating audible notices from an information network
USRE42904E1 (en) * 1999-09-29 2011-11-08 Frederick Monocacy Llc System and apparatus for dynamically generating audible notices from an information network
JP4465768B2 (ja) * 1999-12-28 2010-05-19 ソニー株式会社 音声合成装置および方法、並びに記録媒体
JP4032273B2 (ja) * 1999-12-28 2008-01-16 ソニー株式会社 同期制御装置および方法、並びに記録媒体
US6529586B1 (en) 2000-08-31 2003-03-04 Oracle Cable, Inc. System and method for gathering, personalized rendering, and secure telephonic transmission of audio data
US6975988B1 (en) * 2000-11-10 2005-12-13 Adam Roth Electronic mail method and system using associated audio and visual techniques
KR100379995B1 (ko) * 2000-12-08 2003-04-11 야무솔루션스(주) 텍스트/음성 변환 기능을 갖는 멀티코덱 플레이어
US20030009342A1 (en) * 2001-07-06 2003-01-09 Haley Mark R. Software that converts text-to-speech in any language and shows related multimedia
US7487092B2 (en) * 2003-10-17 2009-02-03 International Business Machines Corporation Interactive debugging and tuning method for CTTS voice building
CA2545873C (en) 2003-12-16 2012-07-24 Loquendo S.P.A. Text-to-speech method and system, computer program product therefor
US20050187772A1 (en) * 2004-02-25 2005-08-25 Fuji Xerox Co., Ltd. Systems and methods for synthesizing speech using discourse function level prosodic features
US20060136215A1 (en) * 2004-12-21 2006-06-22 Jong Jin Kim Method of speaking rate conversion in text-to-speech system
WO2006070566A1 (ja) * 2004-12-28 2006-07-06 Matsushita Electric Industrial Co., Ltd. 音声合成方法および情報提供装置
KR100710600B1 (ko) * 2005-01-25 2007-04-24 우종식 음성합성기를 이용한 영상, 텍스트, 입술 모양의 자동동기 생성/재생 방법 및 그 장치
US9087049B2 (en) * 2005-10-26 2015-07-21 Cortica, Ltd. System and method for context translation of natural language
TWI341956B (en) * 2007-05-30 2011-05-11 Delta Electronics Inc Projection apparatus with function of speech indication and control method thereof for use in the apparatus
US8374873B2 (en) 2008-08-12 2013-02-12 Morphism, Llc Training and applying prosody models
US8731931B2 (en) 2010-06-18 2014-05-20 At&T Intellectual Property I, L.P. System and method for unit selection text-to-speech using a modified Viterbi approach
WO2012071630A1 (en) 2010-12-02 2012-06-07 Accessible Publishing Systems Pty Ltd Text conversion and representation system
JP2012150363A (ja) * 2011-01-20 2012-08-09 Kddi Corp メッセージ映像編集プログラムおよびメッセージ映像編集装置
KR101358999B1 (ko) * 2011-11-21 2014-02-07 (주) 퓨처로봇 캐릭터의 다국어 발화 시스템 및 방법
WO2014141054A1 (en) * 2013-03-11 2014-09-18 Video Dubber Ltd. Method, apparatus and system for regenerating voice intonation in automatically dubbed videos
EP3921770A4 (en) * 2019-02-05 2022-11-09 Igentify Ltd. SYSTEM AND METHOD FOR MODULATION OF DYNAMIC GAPS IN SPEECH
KR20220147276A (ko) * 2021-04-27 2022-11-03 삼성전자주식회사 전자 장치 및 전자 장치의 프로소디 제어를 위한 tts 모델 생성 방법
WO2023166527A1 (en) * 2022-03-01 2023-09-07 Gan Studio Inc. Voiced-over multimedia track generation

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT72083B (de) 1912-12-18 1916-07-10 S J Arnheim Befestigung für leicht auswechselbare Schlösser.
US4260229A (en) * 1978-01-23 1981-04-07 Bloomstein Richard W Creating visual images of lip movements
US4305131A (en) * 1979-02-05 1981-12-08 Best Robert M Dialog between TV movies and human viewers
US4692941A (en) * 1984-04-10 1987-09-08 First Byte Real-time text-to-speech conversion system
GB8528143D0 (en) * 1985-11-14 1985-12-18 British Telecomm Image encoding & synthesis
JP2518683B2 (ja) 1989-03-08 1996-07-24 国際電信電話株式会社 画像合成方法及びその装置
DE69028940T2 (de) * 1989-03-28 1997-02-20 Matsushita Electric Ind Co Ltd Gerät und Verfahren zur Datenaufbereitung
US5111409A (en) * 1989-07-21 1992-05-05 Elon Gasper Authoring and use systems for sound synchronized animation
JPH03241399A (ja) 1990-02-20 1991-10-28 Canon Inc 音声送受信装置
DE4101022A1 (de) * 1991-01-16 1992-07-23 Medav Digitale Signalverarbeit Verfahren zur geschwindigkeitsvariablen wiedergabe von audiosignalen ohne spektrale veraenderung der signale
US5689618A (en) 1991-02-19 1997-11-18 Bright Star Technology, Inc. Advanced tools for speech synchronized animation
JPH04285769A (ja) 1991-03-14 1992-10-09 Nec Home Electron Ltd マルチメディアデータの編集方法
JP3070136B2 (ja) 1991-06-06 2000-07-24 ソニー株式会社 音声信号に基づく画像の変形方法
US5313522A (en) * 1991-08-23 1994-05-17 Slager Robert P Apparatus for generating from an audio signal a moving visual lip image from which a speech content of the signal can be comprehended by a lipreader
JP3135308B2 (ja) 1991-09-03 2001-02-13 株式会社日立製作所 ディジタルビデオ・オーディオ信号伝送方法及びディジタルオーディオ信号再生方法
JPH05188985A (ja) 1992-01-13 1993-07-30 Hitachi Ltd 音声圧縮方式、及び通信方式、並びに無線通信装置
JPH05313686A (ja) 1992-04-02 1993-11-26 Sony Corp 表示制御装置
JP3083640B2 (ja) * 1992-05-28 2000-09-04 株式会社東芝 音声合成方法および装置
JP2973726B2 (ja) * 1992-08-31 1999-11-08 株式会社日立製作所 情報処理装置
US5636325A (en) * 1992-11-13 1997-06-03 International Business Machines Corporation Speech synthesis and analysis of dialects
US5500919A (en) * 1992-11-18 1996-03-19 Canon Information Systems, Inc. Graphics user interface for controlling text-to-speech conversion
CA2119397C (en) * 1993-03-19 2007-10-02 Kim E.A. Silverman Improved automated voice synthesis employing enhanced prosodic treatment of text, spelling of text and rate of annunciation
JP2734335B2 (ja) 1993-05-12 1998-03-30 松下電器産業株式会社 データ伝送方法
US5860064A (en) * 1993-05-13 1999-01-12 Apple Computer, Inc. Method and apparatus for automatic generation of vocal emotion in a synthetic text-to-speech system
JP3059022B2 (ja) 1993-06-07 2000-07-04 シャープ株式会社 動画像表示装置
JP3364281B2 (ja) 1993-07-16 2003-01-08 パイオニア株式会社 時分割ビデオ及びオーディオ信号の同期方式
US5608839A (en) * 1994-03-18 1997-03-04 Lucent Technologies Inc. Sound-synchronized video system
JP2611728B2 (ja) * 1993-11-02 1997-05-21 日本電気株式会社 動画像符号化復号化方式
JPH07306692A (ja) 1994-05-13 1995-11-21 Matsushita Electric Ind Co Ltd 音声認識装置及び音声入力装置
US5657426A (en) * 1994-06-10 1997-08-12 Digital Equipment Corporation Method and apparatus for producing audio-visual synthetic speech
GB2291571A (en) 1994-07-19 1996-01-24 Ibm Text to speech system; acoustic processor requests linguistic processor output
IT1266943B1 (it) 1994-09-29 1997-01-21 Cselt Centro Studi Lab Telecom Procedimento di sintesi vocale mediante concatenazione e parziale sovrapposizione di forme d'onda.
US5677739A (en) 1995-03-02 1997-10-14 National Captioning Institute System and method for providing described television services
JP3507176B2 (ja) * 1995-03-20 2004-03-15 富士通株式会社 マルチメディアシステム動的連動方式
US5729694A (en) * 1996-02-06 1998-03-17 The Regents Of The University Of California Speech coding, reconstruction and recognition using acoustics and electromagnetic waves
US5850629A (en) * 1996-09-09 1998-12-15 Matsushita Electric Industrial Co., Ltd. User interface controller for text-to-speech synthesizer
KR100236974B1 (ko) * 1996-12-13 2000-02-01 정선종 동화상과 텍스트/음성변환기 간의 동기화 시스템
JP4359299B2 (ja) 2006-09-13 2009-11-04 Tdk株式会社 積層型セラミック電子部品の製造方法

Also Published As

Publication number Publication date
US6088673A (en) 2000-07-11
KR19980082608A (ko) 1998-12-05
DE19753454A1 (de) 1998-11-12
DE19753454C2 (de) 2003-06-18
JP2004361965A (ja) 2004-12-24
USRE42647E1 (en) 2011-08-23
JPH10320170A (ja) 1998-12-04
JP3599549B2 (ja) 2004-12-08
KR100240637B1 (ko) 2000-01-15

Similar Documents

Publication Publication Date Title
JP4344658B2 (ja) 音声合成機
JP4539537B2 (ja) 音声合成装置,音声合成方法,およびコンピュータプログラム
KR100236974B1 (ko) 동화상과 텍스트/음성변환기 간의 동기화 시스템
US20080275700A1 (en) Method of and System for Modifying Messages
JP2003530654A (ja) キャラクタのアニメ化
JPH10260692A (ja) 音声の認識合成符号化/復号化方法及び音声符号化/復号化システム
JP2000508845A (ja) ビデオ画像シーケンスの新たなサウンドトラックに対する自動同期
JP2011250100A (ja) 画像処理装置および方法、並びにプログラム
JPH02234285A (ja) 画像合成方法及びその装置
JP2017021125A (ja) 音声対話装置
US6839672B1 (en) Integration of talking heads and text-to-speech synthesizers for visual TTS
JP2011186143A (ja) ユーザ挙動を学習する音声合成装置、音声合成方法およびそのためのプログラム
KR100710600B1 (ko) 음성합성기를 이용한 영상, 텍스트, 입술 모양의 자동동기 생성/재생 방법 및 그 장치
JP2007178686A (ja) 音声変換装置
JP7069386B1 (ja) 音声変換装置、音声変換方法、プログラム、および記録媒体
JP2005215888A (ja) テキスト文の表示装置
JP2007299300A (ja) アニメーション作成装置
JP2982697B2 (ja) テロップ表示装置
JP6044490B2 (ja) 情報処理装置、話速データ生成方法、及びプログラム
JP6486582B2 (ja) 電子機器、音声制御方法、およびプログラム
JP4563418B2 (ja) 音声処理装置、音声処理方法、ならびに、プログラム
JP6163454B2 (ja) 音声合成装置、その方法及びプログラム
JP3766534B2 (ja) 視覚的に聴覚を補助するシステムおよび方法並びに視覚的に聴覚を補助するための制御プログラムを記録した記録媒体
JP3426957B2 (ja) 映像中への音声録音支援表示方法及び装置及びこの方法を記録した記録媒体
JP2004071013A (ja) 映像付帯音声データ記録方法、映像付帯音声データ記録装置および映像付帯音声データ記録プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071003

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090713

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term