JP3599549B2 - 動映像と合成音を同期化するテキスト／音声変換器、および、動映像と合成音を同期化する方法 - Google Patents
動映像と合成音を同期化するテキスト／音声変換器、および、動映像と合成音を同期化する方法 Download PDFInfo
- Publication number
- JP3599549B2 JP3599549B2 JP35042797A JP35042797A JP3599549B2 JP 3599549 B2 JP3599549 B2 JP 3599549B2 JP 35042797 A JP35042797 A JP 35042797A JP 35042797 A JP35042797 A JP 35042797A JP 3599549 B2 JP3599549 B2 JP 3599549B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- text
- phoneme
- lip
- synthesized sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 53
- 230000015572 biosynthetic process Effects 0.000 claims description 25
- 238000003786 synthesis reaction Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 23
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- MQJKPEGWNLWLTK-UHFFFAOYSA-N Dapsone Chemical compound C1=CC(N)=CC=C1S(=O)(=O)C1=CC=C(N)C=C1 MQJKPEGWNLWLTK-UHFFFAOYSA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Machine Translation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動映像と合成音を同期化するためのテキスト／音声変換器（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ ｃｏｎｖｅｒｓｉｏｎ ｓｙｓｔｅｍ：ＴＴＳ）及びその入力データ構造化方法に関し、特に、テキスト以外の付加的韻律情報、多重媒体との連動に必要な情報、および、これら情報とＴＴＳとの間のインターフェースを定義して、ＴＴＳでの合成音生成に使用することにより、合成音の自然性向上と、多重媒体情報及びＴＴＳ間の同期化とを図ることができる動映像と合成音を同期化するためのテキスト／音声変換器及びその入力データ構造化方法に関する。
【０００２】
【従来の技術】
一般的に、音声合成器の機能は、コンピュータが使用者である人間に多様な形態の情報を音声で提供することにある。このためには、音声合成器は、使用者によって与えられたテキストから高品質の音声合成サービスを提供できなければならない。同時に、動映像やアニメーション等の多重媒体環境において製作されたデータベース、あるいは、対話相手から提供される多様なメデイアと連動するためには、これらと同期化するように合成音の生成がされなければならない。特に、多重媒体情報及びＴＴＳ間の同期化は、使用者に高品質のサービスを提供する上で必須的である。
【０００３】
既存のＴＴＳは、一般的に、図１に図示すように、入力されたテキストから合成音を生成するまでに、３段階の過程を経ることになる。
【０００４】
１段階の言語処理部１においては、入力されたテキストを音素列に変換し、これから韻律情報を推定してシンボル化する。韻律情報の推定は、構文構造分析結果を利用した句・節境界、単語内アクセント位置、文型等に基づいて行う。
【０００５】
２段階の韻律処理部２は、シンボル化された韻律情報から、規則及びテーブルを利用して、韻律制御パラメータの値を計算する。韻律制御パラメータには、音素の持続時間、ピッチ形態（ｃｏｎｔｏｕｒ）、エネルギ形態（ｃｏｎｔｏｕｒ）、休み区間情報がある。
【０００６】
３段階の信号処理部３は、合成単位データベース４と韻律制御パラメータとを利用して合成音を生成する。即ち、既存の合成器は、自然性、発声速度に関連する情報を単に入力テキストだけで推定しなければならないことを意味する。
【０００７】
さらに、既存のＴＴＳは、文章単位で入力されたデータを合成音として出力する単純な機能を持っている。したがって、ファイル内に貯蔵された文章、あるいは通信網を通じて入力された文章を、連続した合成音として出力するためには、入力データから文章を読み出してＴＴＳの入力に伝達する主制御プログラムが必要である。このような主制御プログラムには、入力されたデータからテキストを分離して単に初めから終わりまで１回合成音を出力する方法や、テキスト編集器に連動して合成音を生成する方法、あるいはグラフィックインターフェースを利用して文章を検索し合成音を生成する方法等があるが、その対象はテキストに限定されている。
【０００８】
【発明が解決しようとする課題】
現在、ＴＴＳに対する研究が、多くの国で自国語を対象として行われている。一部では、商用化されているものもある。しかし、いまだに入力されたテキストから音声を合成する用途としてのみ考慮されているのが現状である。ＴＴＳを利用して動映像をダビングしようとする場合、あるいはアニメーションのような多重媒体と合成音との間の自然な連動を具現する場合に、必要な同期化情報を単にテキストから推定することは不可能である。このため、従来の構造では、これらの機能を具現する方法はない。さらに、合成音の自然性向上のための付加データの使用や、これらデータの構造化に対する研究は、ほとんどされていないのが実状である。
【０００９】
そこで、本発明の目的は、ＴＴＳにおいてテキスト以外の付加的韻律情報、多重媒体情報との連動に必要な情報、およびこれらの情報とＴＴＳとの間のインターフェースを定義し、これらを合成音生成に使用することにより、合成音の自然性向上と多重媒体及びＴＴＳ間の同期化とを図ることができる動映像と合成音を 同期化するためのテキスト／音声変換器、および入力データ構造化方法を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の、動映像と合成音を同期化するためのテキスト／音声変換器は、
テキスト、韻律、多重媒体、および多重媒体とテキスト／音声変換との同期化に必要な時間情報、唇形情報、個人性情報などの同期化情報を構造化させた多重媒体情報を入力する多重媒体情報入力部と、
前記多重媒体情報入力部に入力された多重媒体情報を媒体別情報に分離する媒体別データ分配器と、
前記媒体別データ分配器から分配されたテキストを音素別に変換し、韻律情報を推定して、これをシンボル化する言語処理部と、
前記シンボル化された韻律情報から規則及びテーブルを利用して韻律制御パラメータの値を計算する韻律処理部と、
前記媒体別データ分配器から分配された同期化情報を利用して音素の持続時間を調節する同期調整部と、
前記韻律制御パラメータと合成単位データベース内のデータを利用して合成音を生成する信号処理部と、
前記媒体別データ分配器から分配された多重媒体を画面に出力する映像出力部と、
により構成されることを特徴とする。
【００１１】
ここで、多重媒体（マルチメディア）とは、動画像、アニメーション、音響信号などを意味する。また、構造化とは、エンコーディング（ｅｎｃｏｄｉｎｇ）／デコーディング（ｄｅｃｏｄｉｎｇ）の観点から、テキスト、韻律、多重媒体および同期化情報を順序化、体系化することを意味している。
【００１２】
また、韻律制御パラメータは、発話での区切り読み位置、音素持続時間の長短、音の高低（抑揚）、音の強さ（エネルギコンツア（ｅｎｅｒｇｙ ｃｏｎｔｏｕｒ））の４種の形態がある。ここで、シンボル化された韻律情報から規則及びテーブルを利用して韻律制御パラメータの値を計算するとは、具体的には、以下の（１）〜（４）の処理により行われる。
【００１３】
（１）区切り読み位置の推定：
言語処理結果（シンボル化された韻律情報）を受けて、節境界、相関度が低い句の境界、および一息で発話できる自然な音節数を考慮する段階と、作成された区切り読み規則を用いて文章内の区切り読み位置と長さとを推定する段階、そして、この結果を言語処理結果に追加して音素別持統時間モジュールに送る段階と、からなる。
【００１４】
（２）音素別持続時間の調整：
区切り読み位置の推定結果を受けて、音素の固有持続時間テーブル、周辺音韻環境、構文構造、品詞情報、文章内の位置を考慮して作成した音素の持続時間計算規則を用いて音素別持続時間を推定し、この結果を区切り読みの推定結果に追加してピッチコンツア生成モジュールに送る段階からなる。
【００１５】
（３）ピッチコンツアの生成：
単語間修飾構造、単語を構成する音素列の調音特性と持続時間、文章内の単語位置、および単語間区切り読み情報を用いて文章のピッチコンツアを合成し、計算されたデータを音素別持続時間推定結果に追加してエネルギ値モジュールに送る段階からなる。
【００１６】
（４）エネルギ値の推定：
文章内の単語位置、単語を構成する音素列の資質、音節内の音素間調音結合特性、対象単語と左右単語の平均ピッチ値、および対象単語の前後に位置する区切り読み長さ情報を基準として作成したエネルギ値計算規則を用いて、音素単位のエネルギコンツアを作成する段階からなる。
【００１７】
ところで、合成音を生成するため一般に用いられる方法には、Ｄｅｃｔａｌｋのｆｏｒｍａｔ合成器のように、合成に必要な各音素別励起信号および声道関連情報をテーブルと規則とを用いて生成する方法と、実際の音声から抽出したｐｈｏｎｅｍｅ，ｄｉｐｈｏｎｅ，ｄｅｍｉｓｙｌｌａｂｌｅ，ｔｒｉｐｈｏｎｅ，ｓｙｌｌａｂｌｅのような基本音片を編集して合成する方法とがある。
【００１８】
本発明の合成単位データべースは、前者の場合、音素別励起信号および声道関連情報を貯蔵しているテーブルと規則とを意味し、後者の場合は、基本音片を貯蔵した音声データべースを意味する。信号処理部では、韻律制御パラメータ、すなわち音素の持続時間、ピッチ、エネルギ情報を用いて、既存の音片あるいは励起信号／声道情報の持続時間を伸縮させ、音の高低と強さとを目標値に合わせた後、音片を接合させることにより所望する合成音を生成する。
【００１９】
また、本発明の、多重媒体との連動のためのテキスト／音声変換器の入力データ構造化方法は、
多重媒体情報入力部により、合成音の自然性向上と、多重媒体及びテキスト／音声変換器間の同期化具現とのために構造化された多重媒体入力情報の構成を、テキスト、韻律、動画像との同期化情報、唇形、および個人性情報とに区分する段階と、
前記多重媒体情報入力部にて区分された情報各々を、媒体別データ分配器により分配する段階と、
前記媒体別データ分配器にて分配されたテキストを、言語処理部により、音素列に変換して韻律情報を推定し、これをシンボル化する段階と、
韻律処理部において、前記韻律情報から、多重媒体情報に包含されている韻律制御パラメータ以外の韻律制御パラメータの値を計算する段階と、
同期調整器において、前記韻律処理部の処理結果と同期化情報の入力とにより、映像信号との同期を合わせるため音素別持続時間を調整する段階と、
信号処理部において、音声単位データベースを利用して、前記媒体別データ分配器からの韻律情報及び前記同期調整器の処理結果から、合成音を生成する段階と、
前記媒体別データ分配器から分配された映像情報を映像出力装置により画面に出力する段階と、
によりなることを特徴とする。
【００２０】
【発明の実施の形態】
以下、添付した図面を参照して本発明の一実施形態を詳細に説明する。
【００２１】
図２は、本発明の一実施形態が適用されるハードウエアの構成図である。
【００２２】
多重データ入力装置５、中央処理装置６、合成データベース７、デジタル／アナログ（Ｄ／Ａ）変換装置８、および映像出力装置９により構成される。
【００２３】
多重データ入力装置５は、映像やテキスト等の多重媒体により構成されたデータ（多重データ）の入力を受け付け、それを中央処理装置６に出力する。
【００２４】
中央処理装置６は、入力された多重データを分配して同期を調整し合成音を生成するアルゴリズムを遂行する。
【００２５】
合成データベース７は、合成音生成のためのアルゴリズムに使用される合成データベースとして、記憶装置に貯蔵されており、中央処理装置６に必要なデータを伝送する。
【００２６】
Ｄ／Ａ変換装置８は、合成を終えたデジタルデータをアナログ信号に変換して外部に出力する。
【００２７】
映像出力装置（９）は入力された映像情報を画面に出力する。
【００２８】
表１及び表２は、本実施形態に適用される構造化された多重媒体入力情報のデータ構造を示している。テキスト、韻律情報、多重媒体（動画像やアニメーションなど）、多重媒体との同期化情報（時間情報等、唇形情報）、個人性情報からなる。この多重媒体入力情報は、データ入力装置５に入力され、ＴＴＳが多重媒体と連動して動作することに必要な情報を提供する。なお、表１および表２では、Ｃ言語で表記している。
【００２９】
【表１】
【００３０】
ここで、ＴＴＳ＿Ｓｅｑｕｅｎｃｅ＿Ｓｔａｒｔ＿Ｃｏｄｅは、Ｈｅｘａｄｅｃｉｍａｌ ＸＸＸＸＸで表示されたｂｉｔ ｓｔｒｉｎｇであり、ＴＴＳデータ列の初めを意味する。
【００３１】
ＴＴＳ＿Ｓｅｎｔｅｎｃｅ＿ＩＤは、１０−ｂｉｔ ＩＤであり各ＴＴＳデータ列の固有番号を表す。
【００３２】
Ｌａｎｇｕａｇｅ＿Ｃｏｄｅは、韓国語、英語、ドイツ語、日本語、フランス語等のように合成しようとする対象言語を表す。
【００３３】
Ｐｒｏｓｏｄｙ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇであり原音の韻律データが多重媒体入力情報に包含されると１の値を有する。
【００３４】
Ｖｉｄｅｏ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇでありＴＴＳが動映像と連動されるとき１の値を有する。
【００３５】
Ｌｉｐ＿Ｓｈａｐｅ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇであり唇形データが多重媒体入力情報に包含されると１の値を有する。
【００３６】
Ｔｒｉｃｋ＿Ｍｏｄｅ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇでありｓｔｏｐ，ｒｅｓｔａｒｔ，ｆｏｒｗａｒｄ，ｂａｃｋｗａｒｄのようなｔｒｉｃｋ ｍｏｄｅを支援するようにデータが構造化されると１の値を有する。
【００３７】
【表２】
【００３８】
ここで、ＴＴＳ＿Ｓｅｎｔｅｎｃｅ＿Ｓｔａｒｔ＿Ｃｏｄｅは、ＨｅｘａｄｅｃｉｍａｌＸＸＸＸＸで表示されたｂｉｔ ｓｔｒｉｎｇであり、ＴＴＳ文章の初めを意味し、１０−ｂｉｔ ＩＤであり、各ＴＴＳデータ列の固有番号を表す。
【００３９】
ＴＴＳ＿Ｓｅｎｔｅｎｃｅ＿ＩＤは、１０−ｂｉｔ ＩＤであり、ＴＴＳ列内の各ＴＴＳ文章の固有番号を表す。
【００４０】
Ｓｉｌｅｎｃｅは、１−ｂｉｔ ｆｌａｇであり、現在の入力フレ−ムが無音区間のとき１になる。
【００４１】
Ｓｉｌｅｎｃｅ＿Ｄｕｒａｔｉｏｎは、現無音区間の持続時間をｍｉｌｌｉｓｅｃｏｎｄｓで表す。
【００４２】
Ｇｅｎｄｅｒは、１−ｂｉｔであり男女性別を区分する。
【００４３】
Ａｇｅは、合成音の年を幼児、青少年、中年、老年に区分する。
【００４４】
Ｓｐｅｅｃｈ＿Ｒａｔｅは、合成音の発声速度を表す。
【００４５】
Ｌｅｎｇｔｈ＿ｏｆ＿Ｔｅｘｔは入力テキストの文章の長さをｂｙｔｅで表す。
【００４６】
ＴＴＳ＿Ｔｅｘｔは、任意の長さの文章テキストを表す。
【００４７】
Ｄｕｒ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇであり、各音素の持続時間情報が多重媒体入力情報に包含されるとき１になる。
【００４８】
ＦＯ＿Ｃｏｎｔｏｕｒ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇであり、各音
素のピッチ情報が多重媒体入力情報に包含されるとき１になる。
【００４９】
Ｅｎｅｒｙ＿Ｃｏｎｔｏｕｒ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇであり
、各音素のエネルギ情報が多重媒体入力情報に包含されるとき１になる。
【００５０】
Ｎｕｍｂｅｒ＿ｏｆ＿Ｐｈｏｎｅｍｅｓは文章の合成に必要な音素の数を表す。
【００５１】
Ｓｙｍｂｏｌ＿ｅａｃｈ＿ｐｈｏｎｅｍｅは、ＩＰＡのような各音素を表すシンボルを表示する。
【００５２】
Ｄｕｒ＿ｅａｃｈ＿ｐｈｏｎｅｍｅは、音素の持続時間を表示する。
【００５３】
ＦＯ＿Ｃｏｎｔｏｕｒ＿ｅａｃｈ＿ｐｈｏｎｅｍｅは、音素のピッチパターンであり、音素の始点、中間、終点におけるピッチ値を表す。
【００５４】
Ｅｎｅｒｇｙ＿ｃｏｎｔｏｕｒ＿ｅａｃｈ＿ｐｈｏｎｅｍｅは、音素のエネルギパターンを表すものであり、音素の始点、中間、終点におけるエネルギ値をｄＢで表示する。
【００５５】
Ｓｅｎｔｅｎｃｅ＿Ｄｕｒａｔｉｏｎは、文章に対する合成音の全体持続時間を表す。
【００５６】
Ｐｏｓｉｔｉｏｎ＿ｉｎ＿Ｓｅｎｔｅｎｃｅは、現在のフレ−ムの文章内位置を表す。
【００５７】
Ｏｆｆｓｅｔは、動映像と連動する場合、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）内に文章の始点がある場合ＧＯＰ始点から文章の始点までの遅延時間を表す。
【００５８】
Ｎｕｍｂｅｒ＿ｏｆ＿Ｌｉｐ＿Ｅｖｅｎｔは、文章内唇形変化点の個数を表す。
【００５９】
Ｌｉｐ＿ｉｎ＿Ｓｅｎｔｅｎｃｅは、文章内唇形変化点の位置を表す。
【００６０】
Ｌｉｐ＿ｓｈａｐｅは、文章内唇形変化点において唇形を表す。
【００６１】
テキスト情報は、使用言語に対する分類コ−ド、文章テキストを包含する。韻律情報には、文章内音素の数、音素列情報、音素別持続時間、音素のピッチパターン、音素のエネルギパターン等があり、合成音の自然性を向上させるため使用される。動画像と合成音の同期化情報は、ダビングの概念からみて、３通りの方法により具現される。
【００６２】
１番目の方法は、文章単位で動画像と合成音とを同期化させる方法である。文章の始点、持続時間、始点遅延時間情報を利用して、合成音の持続時間を調節する。各文章の始点は、動映像内において、各文章に対する合成音の出力が始まる場面の位置を表し、文章の持続時間は、各文章に対する合成音が持続される場面の数を表す。さらに、グル−プ映像（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ：ＧＯＰ）概念が利用されるＭＰＥＧ−２やＭＰＥＧ−４などの映像圧縮方式の動画像は、再生時に任意の場面から始まることができないため、必ずグル−プ映像内の始点から再生されるようになっている。このため、始点の遅延時間は、グル−プ映像とＴＴＳとが同期を合わせるための必要な情報であり、グル−プ映像内の始まる場面と発声の始点との間の遅延時間を現す。この方法は、具現が容易であり付加的努力が最小化されるという長所があるが、自然な同期化にはいまだに程遠い。
【００６３】
２番目の方法は、動映像において、音声信号に関連する区間では音素毎に始点、終点情報と音素情報とを表記して、これらの情報を合成音生成に利用する方法である。この方法は、音素単位に動画像と合成音との同期を合わせることができるため、正確度が高いという長所がある。しかし、動画像の音声区間において、音素単位に持続時間情報を検出して記録するための付加的努力が非常に大きくなるるという短所がある。
【００６４】
３番目の方法は、音声の始点、終点、唇形、唇形の変化時点を基準として、同期化情報を記録する方法である。唇形は、唇上下間の距離（開き程度）、唇左右終点間の距離（開き程度）、および唇の突き出し程度を数値化する。そして、弁別的特性が高いパターンを、音素の調音位置、調音方法によって唇形が定量化、定期化されたパターンに定義する。この方法は、同期化のための情報製作の付加的努力を最小化しながら同期化効率を高める方法である。
【００６５】
本実施形態に適用される構造化された多重媒体入力情報は、以上の３種の同期化方式を情報提供者が任意に選択して具現することができるようにする。さらに、唇アニメーションを具現する方法にも、構造化された入力情報を利用する。入力されたテキストからＴＴＳにおいて作成した音素列と音素別持続時間、あるいは入力情報において分配された音素列と音素別持続時間を利用して唇アニメーションの具現を可能にし、また入力情報に包含された情報を利用してアニメーションを具現することもできる。
【００６６】
個人性情報は、合成音の性別、年齢、合成音発声速度の変化等を可能とする。性別は男、女、年齢別は６−７才、１８才、４０才、６５才程度の４種に分類する。発声速度の変化は、標準速度の０．７倍から１．６倍の１０段階の変化を与える。このような情報を利用して合成音の音質を多様化する。
【００６７】
図３は、本実施形態によるテキスト／音声変換器の機能構成図である。
【００６８】
多重媒体情報入力部１０、媒体別データ分配器１１、標準化された言語処理部１２、韻律処理部１３、同期調整器１４、信号処理部１５、合成単位データベース１６及び映像出力装置１７とからなる。
【００６９】
なお、図３において、多重媒体情報入力部１０は図２のデータ入力装置５に対応し、媒体別データ分配器１１、標準化された言語処理部１２、韻律処理部１３、同期調整器１４、および信号処理部１５は図２の中央処理装置６に対応し、合成単位データベース１６は図２の合成データベース７に対応し、映像出力装置１７は映像出力装置９に対応する。
【００７０】
多重媒体情報入力部１０は、表１及び表２の形式で構成されテキスト、動画像、韻律情報、動画像との同期化情報（唇形情報等）、個人情報が入力される。このうち必須の情報はテキストであり、その他の情報は個人性、自然性向上、および多重媒体とＴＴＳとの同期化のための選択仕様である。情報提供者が選択的に提供することができ、必要に応じてＴＴＳ使用者が文字入力装置、あるいはマウスを利用して修正が可能である。これら情報は、多重媒体分配器１１に伝達される。
【００７１】
多重媒体分配器１１は、多重媒体情報の伝達を受ける。そして、この情報を媒体別に分離し、映像情報は映像出力装置１７に、テキストは言語処理部１２に、さらに同期化情報は同期調整器１４に、各々使用可能なデータ構造に変換して伝達する。また、入力された多重媒体情報内に韻律情報があれば、使用できるデータ構造に変換して、韻律処理部１３に伝達する。個人性情報があれば、使用できるデータ構造に変換して、合成単位データベース１６に伝達する。
【００７２】
言語処理部１２は、受け付けたテキストを音素別に変換し、韻律情報を推定してこれをシンボル化する。その後、韻律処理部１３に伝送する。韻律情報は、構文構造分析結果を利用した句・節境界、単語内アクセント位置、文型等から推定される。
【００７３】
韻律処理部１３は、言語処理部１２の処理結果を受けて、多重媒体情報に包含されている韻律制御パラメータ以外の韻律制御パラメータの値を計算する。韻律制御パラメータには、音素の持続時間、ピッチ形態（ｃｏｎｔｏｕｒ）、エネルギ（ｃｏｎｔｏｕｒ）、休み位置、および長さがある。計算された結果は、同期調整器１５に伝達される。
【００７４】
同期調整器１４は、韻律処理部１３の処理結果を受けて、合成音を映像信号（例えば動画像）との同期に合わせるため音素別持続時間を調整する。音素別持続時間の調整は、媒体別データ分配器１１から分配された同期化情報を利用する。先ず、各音素別調音場所、調音方法により唇形を各音素に割り当て、これを基に同期化情報にある唇形と比較して音素列を同期化情報に記録されている唇形個数だけ小グループに分離する。次に、小グループ内の音素持続時間は、同期化情報に包含されている唇形の持続時間情報を利用して再び計算する。調整された持続時間情報を韻律処理部の結果に包含させて信号処理部１５に伝達する。
【００７５】
信号処理部１５は、媒体別データ分配器１１から韻律情報を受けるか、あるいは同期調整器１４の処理結果を受けて、合成単位データベース１６を利用して合成音を生成して出力する。
【００７６】
合成単位データベース１６は、媒体別データ分配器１１から個人性情報を受けて、性、年齢に適合する合成単位を選定する。その後、信号処理部１５の要求を受けて、合成に必要なデータを信号処理部１５に伝送する。
【００７７】
【発明の効果】
上述したように、本発明は、実際の音声データを分析して推定された個人性、韻律情報をテキスト情報と一緒に多段階情報に構成し、合成音生成に直接利用することにより、合成音の個人性を具現するとともに自然性を向上させることができる。
【００７８】
また、実際音声データと動映像の唇形とを分析して推定された唇形情報とテキスト情報とを合成音生成に直接利用する方式を通じて、合成音と動映像との同期化を具現することにより、外画等に韓国語ダビングを可能にし、多重媒体環境において映像情報とＴＴＳとの同期化を可能にすることができる。
【００７９】
これにより、通信サービス、事務自動化、教育等の各分野に応用できる卓越した効果がある。
【図面の簡単な説明】
【図１】従来のテキスト／音声変換器の構成図である。
【図２】本発明の一実施形態が適用されたテキスト／音声変換器のハ−ドウエア構成図。
【図３】図２に示すテキスト／音声変換器の機能構成図である。
【符号の説明】
１ 言語処理部
２ 韻律処理部
３ 信号処理部
４ 合成単位データベース
５ データ入力装置
６ 中央処理装置
７ 合成データベース
８ Ｄ／Ａ変換装置
９ 映像出力装置
１０ 多重媒体入力情報
１１ 媒体別データ分配器
１２ 言語処理部
１３ 韻律処理部
１４ 同期調整器
１５ 信号処理部
１６ 合成単位データベース
１７ 映像出力装置
【発明の属する技術分野】
本発明は、動映像と合成音を同期化するためのテキスト／音声変換器（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ ｃｏｎｖｅｒｓｉｏｎ ｓｙｓｔｅｍ：ＴＴＳ）及びその入力データ構造化方法に関し、特に、テキスト以外の付加的韻律情報、多重媒体との連動に必要な情報、および、これら情報とＴＴＳとの間のインターフェースを定義して、ＴＴＳでの合成音生成に使用することにより、合成音の自然性向上と、多重媒体情報及びＴＴＳ間の同期化とを図ることができる動映像と合成音を同期化するためのテキスト／音声変換器及びその入力データ構造化方法に関する。
【０００２】
【従来の技術】
一般的に、音声合成器の機能は、コンピュータが使用者である人間に多様な形態の情報を音声で提供することにある。このためには、音声合成器は、使用者によって与えられたテキストから高品質の音声合成サービスを提供できなければならない。同時に、動映像やアニメーション等の多重媒体環境において製作されたデータベース、あるいは、対話相手から提供される多様なメデイアと連動するためには、これらと同期化するように合成音の生成がされなければならない。特に、多重媒体情報及びＴＴＳ間の同期化は、使用者に高品質のサービスを提供する上で必須的である。
【０００３】
既存のＴＴＳは、一般的に、図１に図示すように、入力されたテキストから合成音を生成するまでに、３段階の過程を経ることになる。
【０００４】
１段階の言語処理部１においては、入力されたテキストを音素列に変換し、これから韻律情報を推定してシンボル化する。韻律情報の推定は、構文構造分析結果を利用した句・節境界、単語内アクセント位置、文型等に基づいて行う。
【０００５】
２段階の韻律処理部２は、シンボル化された韻律情報から、規則及びテーブルを利用して、韻律制御パラメータの値を計算する。韻律制御パラメータには、音素の持続時間、ピッチ形態（ｃｏｎｔｏｕｒ）、エネルギ形態（ｃｏｎｔｏｕｒ）、休み区間情報がある。
【０００６】
３段階の信号処理部３は、合成単位データベース４と韻律制御パラメータとを利用して合成音を生成する。即ち、既存の合成器は、自然性、発声速度に関連する情報を単に入力テキストだけで推定しなければならないことを意味する。
【０００７】
さらに、既存のＴＴＳは、文章単位で入力されたデータを合成音として出力する単純な機能を持っている。したがって、ファイル内に貯蔵された文章、あるいは通信網を通じて入力された文章を、連続した合成音として出力するためには、入力データから文章を読み出してＴＴＳの入力に伝達する主制御プログラムが必要である。このような主制御プログラムには、入力されたデータからテキストを分離して単に初めから終わりまで１回合成音を出力する方法や、テキスト編集器に連動して合成音を生成する方法、あるいはグラフィックインターフェースを利用して文章を検索し合成音を生成する方法等があるが、その対象はテキストに限定されている。
【０００８】
【発明が解決しようとする課題】
現在、ＴＴＳに対する研究が、多くの国で自国語を対象として行われている。一部では、商用化されているものもある。しかし、いまだに入力されたテキストから音声を合成する用途としてのみ考慮されているのが現状である。ＴＴＳを利用して動映像をダビングしようとする場合、あるいはアニメーションのような多重媒体と合成音との間の自然な連動を具現する場合に、必要な同期化情報を単にテキストから推定することは不可能である。このため、従来の構造では、これらの機能を具現する方法はない。さらに、合成音の自然性向上のための付加データの使用や、これらデータの構造化に対する研究は、ほとんどされていないのが実状である。
【０００９】
そこで、本発明の目的は、ＴＴＳにおいてテキスト以外の付加的韻律情報、多重媒体情報との連動に必要な情報、およびこれらの情報とＴＴＳとの間のインターフェースを定義し、これらを合成音生成に使用することにより、合成音の自然性向上と多重媒体及びＴＴＳ間の同期化とを図ることができる動映像と合成音を 同期化するためのテキスト／音声変換器、および入力データ構造化方法を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の、動映像と合成音を同期化するためのテキスト／音声変換器は、
テキスト、韻律、多重媒体、および多重媒体とテキスト／音声変換との同期化に必要な時間情報、唇形情報、個人性情報などの同期化情報を構造化させた多重媒体情報を入力する多重媒体情報入力部と、
前記多重媒体情報入力部に入力された多重媒体情報を媒体別情報に分離する媒体別データ分配器と、
前記媒体別データ分配器から分配されたテキストを音素別に変換し、韻律情報を推定して、これをシンボル化する言語処理部と、
前記シンボル化された韻律情報から規則及びテーブルを利用して韻律制御パラメータの値を計算する韻律処理部と、
前記媒体別データ分配器から分配された同期化情報を利用して音素の持続時間を調節する同期調整部と、
前記韻律制御パラメータと合成単位データベース内のデータを利用して合成音を生成する信号処理部と、
前記媒体別データ分配器から分配された多重媒体を画面に出力する映像出力部と、
により構成されることを特徴とする。
【００１１】
ここで、多重媒体（マルチメディア）とは、動画像、アニメーション、音響信号などを意味する。また、構造化とは、エンコーディング（ｅｎｃｏｄｉｎｇ）／デコーディング（ｄｅｃｏｄｉｎｇ）の観点から、テキスト、韻律、多重媒体および同期化情報を順序化、体系化することを意味している。
【００１２】
また、韻律制御パラメータは、発話での区切り読み位置、音素持続時間の長短、音の高低（抑揚）、音の強さ（エネルギコンツア（ｅｎｅｒｇｙ ｃｏｎｔｏｕｒ））の４種の形態がある。ここで、シンボル化された韻律情報から規則及びテーブルを利用して韻律制御パラメータの値を計算するとは、具体的には、以下の（１）〜（４）の処理により行われる。
【００１３】
（１）区切り読み位置の推定：
言語処理結果（シンボル化された韻律情報）を受けて、節境界、相関度が低い句の境界、および一息で発話できる自然な音節数を考慮する段階と、作成された区切り読み規則を用いて文章内の区切り読み位置と長さとを推定する段階、そして、この結果を言語処理結果に追加して音素別持統時間モジュールに送る段階と、からなる。
【００１４】
（２）音素別持続時間の調整：
区切り読み位置の推定結果を受けて、音素の固有持続時間テーブル、周辺音韻環境、構文構造、品詞情報、文章内の位置を考慮して作成した音素の持続時間計算規則を用いて音素別持続時間を推定し、この結果を区切り読みの推定結果に追加してピッチコンツア生成モジュールに送る段階からなる。
【００１５】
（３）ピッチコンツアの生成：
単語間修飾構造、単語を構成する音素列の調音特性と持続時間、文章内の単語位置、および単語間区切り読み情報を用いて文章のピッチコンツアを合成し、計算されたデータを音素別持続時間推定結果に追加してエネルギ値モジュールに送る段階からなる。
【００１６】
（４）エネルギ値の推定：
文章内の単語位置、単語を構成する音素列の資質、音節内の音素間調音結合特性、対象単語と左右単語の平均ピッチ値、および対象単語の前後に位置する区切り読み長さ情報を基準として作成したエネルギ値計算規則を用いて、音素単位のエネルギコンツアを作成する段階からなる。
【００１７】
ところで、合成音を生成するため一般に用いられる方法には、Ｄｅｃｔａｌｋのｆｏｒｍａｔ合成器のように、合成に必要な各音素別励起信号および声道関連情報をテーブルと規則とを用いて生成する方法と、実際の音声から抽出したｐｈｏｎｅｍｅ，ｄｉｐｈｏｎｅ，ｄｅｍｉｓｙｌｌａｂｌｅ，ｔｒｉｐｈｏｎｅ，ｓｙｌｌａｂｌｅのような基本音片を編集して合成する方法とがある。
【００１８】
本発明の合成単位データべースは、前者の場合、音素別励起信号および声道関連情報を貯蔵しているテーブルと規則とを意味し、後者の場合は、基本音片を貯蔵した音声データべースを意味する。信号処理部では、韻律制御パラメータ、すなわち音素の持続時間、ピッチ、エネルギ情報を用いて、既存の音片あるいは励起信号／声道情報の持続時間を伸縮させ、音の高低と強さとを目標値に合わせた後、音片を接合させることにより所望する合成音を生成する。
【００１９】
また、本発明の、多重媒体との連動のためのテキスト／音声変換器の入力データ構造化方法は、
多重媒体情報入力部により、合成音の自然性向上と、多重媒体及びテキスト／音声変換器間の同期化具現とのために構造化された多重媒体入力情報の構成を、テキスト、韻律、動画像との同期化情報、唇形、および個人性情報とに区分する段階と、
前記多重媒体情報入力部にて区分された情報各々を、媒体別データ分配器により分配する段階と、
前記媒体別データ分配器にて分配されたテキストを、言語処理部により、音素列に変換して韻律情報を推定し、これをシンボル化する段階と、
韻律処理部において、前記韻律情報から、多重媒体情報に包含されている韻律制御パラメータ以外の韻律制御パラメータの値を計算する段階と、
同期調整器において、前記韻律処理部の処理結果と同期化情報の入力とにより、映像信号との同期を合わせるため音素別持続時間を調整する段階と、
信号処理部において、音声単位データベースを利用して、前記媒体別データ分配器からの韻律情報及び前記同期調整器の処理結果から、合成音を生成する段階と、
前記媒体別データ分配器から分配された映像情報を映像出力装置により画面に出力する段階と、
によりなることを特徴とする。
【００２０】
【発明の実施の形態】
以下、添付した図面を参照して本発明の一実施形態を詳細に説明する。
【００２１】
図２は、本発明の一実施形態が適用されるハードウエアの構成図である。
【００２２】
多重データ入力装置５、中央処理装置６、合成データベース７、デジタル／アナログ（Ｄ／Ａ）変換装置８、および映像出力装置９により構成される。
【００２３】
多重データ入力装置５は、映像やテキスト等の多重媒体により構成されたデータ（多重データ）の入力を受け付け、それを中央処理装置６に出力する。
【００２４】
中央処理装置６は、入力された多重データを分配して同期を調整し合成音を生成するアルゴリズムを遂行する。
【００２５】
合成データベース７は、合成音生成のためのアルゴリズムに使用される合成データベースとして、記憶装置に貯蔵されており、中央処理装置６に必要なデータを伝送する。
【００２６】
Ｄ／Ａ変換装置８は、合成を終えたデジタルデータをアナログ信号に変換して外部に出力する。
【００２７】
映像出力装置（９）は入力された映像情報を画面に出力する。
【００２８】
表１及び表２は、本実施形態に適用される構造化された多重媒体入力情報のデータ構造を示している。テキスト、韻律情報、多重媒体（動画像やアニメーションなど）、多重媒体との同期化情報（時間情報等、唇形情報）、個人性情報からなる。この多重媒体入力情報は、データ入力装置５に入力され、ＴＴＳが多重媒体と連動して動作することに必要な情報を提供する。なお、表１および表２では、Ｃ言語で表記している。
【００２９】
【表１】
ここで、ＴＴＳ＿Ｓｅｑｕｅｎｃｅ＿Ｓｔａｒｔ＿Ｃｏｄｅは、Ｈｅｘａｄｅｃｉｍａｌ ＸＸＸＸＸで表示されたｂｉｔ ｓｔｒｉｎｇであり、ＴＴＳデータ列の初めを意味する。
【００３１】
ＴＴＳ＿Ｓｅｎｔｅｎｃｅ＿ＩＤは、１０−ｂｉｔ ＩＤであり各ＴＴＳデータ列の固有番号を表す。
【００３２】
Ｌａｎｇｕａｇｅ＿Ｃｏｄｅは、韓国語、英語、ドイツ語、日本語、フランス語等のように合成しようとする対象言語を表す。
【００３３】
Ｐｒｏｓｏｄｙ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇであり原音の韻律データが多重媒体入力情報に包含されると１の値を有する。
【００３４】
Ｖｉｄｅｏ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇでありＴＴＳが動映像と連動されるとき１の値を有する。
【００３５】
Ｌｉｐ＿Ｓｈａｐｅ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇであり唇形データが多重媒体入力情報に包含されると１の値を有する。
【００３６】
Ｔｒｉｃｋ＿Ｍｏｄｅ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇでありｓｔｏｐ，ｒｅｓｔａｒｔ，ｆｏｒｗａｒｄ，ｂａｃｋｗａｒｄのようなｔｒｉｃｋ ｍｏｄｅを支援するようにデータが構造化されると１の値を有する。
【００３７】
【表２】
ここで、ＴＴＳ＿Ｓｅｎｔｅｎｃｅ＿Ｓｔａｒｔ＿Ｃｏｄｅは、ＨｅｘａｄｅｃｉｍａｌＸＸＸＸＸで表示されたｂｉｔ ｓｔｒｉｎｇであり、ＴＴＳ文章の初めを意味し、１０−ｂｉｔ ＩＤであり、各ＴＴＳデータ列の固有番号を表す。
【００３９】
ＴＴＳ＿Ｓｅｎｔｅｎｃｅ＿ＩＤは、１０−ｂｉｔ ＩＤであり、ＴＴＳ列内の各ＴＴＳ文章の固有番号を表す。
【００４０】
Ｓｉｌｅｎｃｅは、１−ｂｉｔ ｆｌａｇであり、現在の入力フレ−ムが無音区間のとき１になる。
【００４１】
Ｓｉｌｅｎｃｅ＿Ｄｕｒａｔｉｏｎは、現無音区間の持続時間をｍｉｌｌｉｓｅｃｏｎｄｓで表す。
【００４２】
Ｇｅｎｄｅｒは、１−ｂｉｔであり男女性別を区分する。
【００４３】
Ａｇｅは、合成音の年を幼児、青少年、中年、老年に区分する。
【００４４】
Ｓｐｅｅｃｈ＿Ｒａｔｅは、合成音の発声速度を表す。
【００４５】
Ｌｅｎｇｔｈ＿ｏｆ＿Ｔｅｘｔは入力テキストの文章の長さをｂｙｔｅで表す。
【００４６】
ＴＴＳ＿Ｔｅｘｔは、任意の長さの文章テキストを表す。
【００４７】
Ｄｕｒ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇであり、各音素の持続時間情報が多重媒体入力情報に包含されるとき１になる。
【００４８】
ＦＯ＿Ｃｏｎｔｏｕｒ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇであり、各音
素のピッチ情報が多重媒体入力情報に包含されるとき１になる。
【００４９】
Ｅｎｅｒｙ＿Ｃｏｎｔｏｕｒ＿Ｅｎａｂｌｅは、１−ｂｉｔ ｆｌａｇであり
、各音素のエネルギ情報が多重媒体入力情報に包含されるとき１になる。
【００５０】
Ｎｕｍｂｅｒ＿ｏｆ＿Ｐｈｏｎｅｍｅｓは文章の合成に必要な音素の数を表す。
【００５１】
Ｓｙｍｂｏｌ＿ｅａｃｈ＿ｐｈｏｎｅｍｅは、ＩＰＡのような各音素を表すシンボルを表示する。
【００５２】
Ｄｕｒ＿ｅａｃｈ＿ｐｈｏｎｅｍｅは、音素の持続時間を表示する。
【００５３】
ＦＯ＿Ｃｏｎｔｏｕｒ＿ｅａｃｈ＿ｐｈｏｎｅｍｅは、音素のピッチパターンであり、音素の始点、中間、終点におけるピッチ値を表す。
【００５４】
Ｅｎｅｒｇｙ＿ｃｏｎｔｏｕｒ＿ｅａｃｈ＿ｐｈｏｎｅｍｅは、音素のエネルギパターンを表すものであり、音素の始点、中間、終点におけるエネルギ値をｄＢで表示する。
【００５５】
Ｓｅｎｔｅｎｃｅ＿Ｄｕｒａｔｉｏｎは、文章に対する合成音の全体持続時間を表す。
【００５６】
Ｐｏｓｉｔｉｏｎ＿ｉｎ＿Ｓｅｎｔｅｎｃｅは、現在のフレ−ムの文章内位置を表す。
【００５７】
Ｏｆｆｓｅｔは、動映像と連動する場合、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）内に文章の始点がある場合ＧＯＰ始点から文章の始点までの遅延時間を表す。
【００５８】
Ｎｕｍｂｅｒ＿ｏｆ＿Ｌｉｐ＿Ｅｖｅｎｔは、文章内唇形変化点の個数を表す。
【００５９】
Ｌｉｐ＿ｉｎ＿Ｓｅｎｔｅｎｃｅは、文章内唇形変化点の位置を表す。
【００６０】
Ｌｉｐ＿ｓｈａｐｅは、文章内唇形変化点において唇形を表す。
【００６１】
テキスト情報は、使用言語に対する分類コ−ド、文章テキストを包含する。韻律情報には、文章内音素の数、音素列情報、音素別持続時間、音素のピッチパターン、音素のエネルギパターン等があり、合成音の自然性を向上させるため使用される。動画像と合成音の同期化情報は、ダビングの概念からみて、３通りの方法により具現される。
【００６２】
１番目の方法は、文章単位で動画像と合成音とを同期化させる方法である。文章の始点、持続時間、始点遅延時間情報を利用して、合成音の持続時間を調節する。各文章の始点は、動映像内において、各文章に対する合成音の出力が始まる場面の位置を表し、文章の持続時間は、各文章に対する合成音が持続される場面の数を表す。さらに、グル−プ映像（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ：ＧＯＰ）概念が利用されるＭＰＥＧ−２やＭＰＥＧ−４などの映像圧縮方式の動画像は、再生時に任意の場面から始まることができないため、必ずグル−プ映像内の始点から再生されるようになっている。このため、始点の遅延時間は、グル−プ映像とＴＴＳとが同期を合わせるための必要な情報であり、グル−プ映像内の始まる場面と発声の始点との間の遅延時間を現す。この方法は、具現が容易であり付加的努力が最小化されるという長所があるが、自然な同期化にはいまだに程遠い。
【００６３】
２番目の方法は、動映像において、音声信号に関連する区間では音素毎に始点、終点情報と音素情報とを表記して、これらの情報を合成音生成に利用する方法である。この方法は、音素単位に動画像と合成音との同期を合わせることができるため、正確度が高いという長所がある。しかし、動画像の音声区間において、音素単位に持続時間情報を検出して記録するための付加的努力が非常に大きくなるるという短所がある。
【００６４】
３番目の方法は、音声の始点、終点、唇形、唇形の変化時点を基準として、同期化情報を記録する方法である。唇形は、唇上下間の距離（開き程度）、唇左右終点間の距離（開き程度）、および唇の突き出し程度を数値化する。そして、弁別的特性が高いパターンを、音素の調音位置、調音方法によって唇形が定量化、定期化されたパターンに定義する。この方法は、同期化のための情報製作の付加的努力を最小化しながら同期化効率を高める方法である。
【００６５】
本実施形態に適用される構造化された多重媒体入力情報は、以上の３種の同期化方式を情報提供者が任意に選択して具現することができるようにする。さらに、唇アニメーションを具現する方法にも、構造化された入力情報を利用する。入力されたテキストからＴＴＳにおいて作成した音素列と音素別持続時間、あるいは入力情報において分配された音素列と音素別持続時間を利用して唇アニメーションの具現を可能にし、また入力情報に包含された情報を利用してアニメーションを具現することもできる。
【００６６】
個人性情報は、合成音の性別、年齢、合成音発声速度の変化等を可能とする。性別は男、女、年齢別は６−７才、１８才、４０才、６５才程度の４種に分類する。発声速度の変化は、標準速度の０．７倍から１．６倍の１０段階の変化を与える。このような情報を利用して合成音の音質を多様化する。
【００６７】
図３は、本実施形態によるテキスト／音声変換器の機能構成図である。
【００６８】
多重媒体情報入力部１０、媒体別データ分配器１１、標準化された言語処理部１２、韻律処理部１３、同期調整器１４、信号処理部１５、合成単位データベース１６及び映像出力装置１７とからなる。
【００６９】
なお、図３において、多重媒体情報入力部１０は図２のデータ入力装置５に対応し、媒体別データ分配器１１、標準化された言語処理部１２、韻律処理部１３、同期調整器１４、および信号処理部１５は図２の中央処理装置６に対応し、合成単位データベース１６は図２の合成データベース７に対応し、映像出力装置１７は映像出力装置９に対応する。
【００７０】
多重媒体情報入力部１０は、表１及び表２の形式で構成されテキスト、動画像、韻律情報、動画像との同期化情報（唇形情報等）、個人情報が入力される。このうち必須の情報はテキストであり、その他の情報は個人性、自然性向上、および多重媒体とＴＴＳとの同期化のための選択仕様である。情報提供者が選択的に提供することができ、必要に応じてＴＴＳ使用者が文字入力装置、あるいはマウスを利用して修正が可能である。これら情報は、多重媒体分配器１１に伝達される。
【００７１】
多重媒体分配器１１は、多重媒体情報の伝達を受ける。そして、この情報を媒体別に分離し、映像情報は映像出力装置１７に、テキストは言語処理部１２に、さらに同期化情報は同期調整器１４に、各々使用可能なデータ構造に変換して伝達する。また、入力された多重媒体情報内に韻律情報があれば、使用できるデータ構造に変換して、韻律処理部１３に伝達する。個人性情報があれば、使用できるデータ構造に変換して、合成単位データベース１６に伝達する。
【００７２】
言語処理部１２は、受け付けたテキストを音素別に変換し、韻律情報を推定してこれをシンボル化する。その後、韻律処理部１３に伝送する。韻律情報は、構文構造分析結果を利用した句・節境界、単語内アクセント位置、文型等から推定される。
【００７３】
韻律処理部１３は、言語処理部１２の処理結果を受けて、多重媒体情報に包含されている韻律制御パラメータ以外の韻律制御パラメータの値を計算する。韻律制御パラメータには、音素の持続時間、ピッチ形態（ｃｏｎｔｏｕｒ）、エネルギ（ｃｏｎｔｏｕｒ）、休み位置、および長さがある。計算された結果は、同期調整器１５に伝達される。
【００７４】
同期調整器１４は、韻律処理部１３の処理結果を受けて、合成音を映像信号（例えば動画像）との同期に合わせるため音素別持続時間を調整する。音素別持続時間の調整は、媒体別データ分配器１１から分配された同期化情報を利用する。先ず、各音素別調音場所、調音方法により唇形を各音素に割り当て、これを基に同期化情報にある唇形と比較して音素列を同期化情報に記録されている唇形個数だけ小グループに分離する。次に、小グループ内の音素持続時間は、同期化情報に包含されている唇形の持続時間情報を利用して再び計算する。調整された持続時間情報を韻律処理部の結果に包含させて信号処理部１５に伝達する。
【００７５】
信号処理部１５は、媒体別データ分配器１１から韻律情報を受けるか、あるいは同期調整器１４の処理結果を受けて、合成単位データベース１６を利用して合成音を生成して出力する。
【００７６】
合成単位データベース１６は、媒体別データ分配器１１から個人性情報を受けて、性、年齢に適合する合成単位を選定する。その後、信号処理部１５の要求を受けて、合成に必要なデータを信号処理部１５に伝送する。
【００７７】
【発明の効果】
上述したように、本発明は、実際の音声データを分析して推定された個人性、韻律情報をテキスト情報と一緒に多段階情報に構成し、合成音生成に直接利用することにより、合成音の個人性を具現するとともに自然性を向上させることができる。
【００７８】
また、実際音声データと動映像の唇形とを分析して推定された唇形情報とテキスト情報とを合成音生成に直接利用する方式を通じて、合成音と動映像との同期化を具現することにより、外画等に韓国語ダビングを可能にし、多重媒体環境において映像情報とＴＴＳとの同期化を可能にすることができる。
【００７９】
これにより、通信サービス、事務自動化、教育等の各分野に応用できる卓越した効果がある。
【図面の簡単な説明】
【図１】従来のテキスト／音声変換器の構成図である。
【図２】本発明の一実施形態が適用されたテキスト／音声変換器のハ−ドウエア構成図。
【図３】図２に示すテキスト／音声変換器の機能構成図である。
【符号の説明】
１ 言語処理部
２ 韻律処理部
３ 信号処理部
４ 合成単位データベース
５ データ入力装置
６ 中央処理装置
７ 合成データベース
８ Ｄ／Ａ変換装置
９ 映像出力装置
１０ 多重媒体入力情報
１１ 媒体別データ分配器
１２ 言語処理部
１３ 韻律処理部
１４ 同期調整器
１５ 信号処理部
１６ 合成単位データベース
１７ 映像出力装置
Claims (18)
- テキストを音素列に変換し、前記音素列から韻律情報を推定する言語処理部と、既に定義された規則を用いて前記韻律情報から前記音素列の各音素の持続時間を含む韻律制御パラメータを計算する韻律処理部と、合成音の生成に必要な合成データが保存された合成単位データベースと、前記韻律制御パラメータおよび前記合成データを用いて合成音を生成する信号処理部とを備え、映像出力装置に出力する動映像と前記合成音とを同期化するテキスト／音声変換器において、
動映像と、テキストと、前記動映像および前記テキストから生成される合成音間の同期化を図るための、前記テキストの唇形変化点情報および唇形変化点での唇形の情報を含む同期化情報と、を含む多重媒体情報を入力する多重媒体情報入力部と、
前記動映像と前記合成音との同期化のために、前記同期化情報に含まれている前記テキストの唇形変化点情報および唇形変化点での唇形の情報を用いて、前記韻律制御パラメータに含まれている前記音素列の各音素の持続時間を調節する同期調整部と、
前記多重媒体情報を前記動映像、前記テキストおよび前記同期化情報に分類し、それぞれ、前記映像出力装置、前記言語処理部および前記同期調整部に出力するデータ分配器と、を有すること
を特徴とするテキスト／音声変換器。 - 前記唇形変化点情報は、前記テキストでの唇形変化点の個数および各唇形変化点の位置を含むことを特徴とする請求項１記載のテキスト／音声変換器。
- 前記多重媒体情報は、合成音の性別、年齢の情報を含む個人性情報をさらに含むことを特徴とする請求項１記載のテキスト／音声変換器。
- 前記韻律処理部は、前記多重媒体情報に包含されている韻律制御パラメータ以外の韻律制御パラメータ値を計算することを特徴とする請求項１記載のテキスト／音声変換器。
- 前記韻律制御パラメータは、前記音素列の各音素の数、持続時間、ピッチパターンおよびエネルギパターンの情報を含むことを特徴とする請求項４記載のテキスト／音声変換器。
- 前記各音素のピッチパターンは、各音素の始点、中間、終点におけるピッチ値で表されていることを特徴とする請求項５記載のテキスト／音声変換器。
- 前記各音素のエネルギパターンは、各音素の始点、中間、終点におけるエネルギ値をｄＢで表されていることを特徴とする請求項５記載ののテキスト／音声変換器。
- ＴＴＳ（Text-To-Speech conversion system）で生成される合成音と前記ＴＴＳに接続された映像出力装置に出力される動映像とを同期化する方法において、
動映像と、テキストと、前記動映像および前記テキストから生成される合成音間の同期化を図るための、前記テキストの唇形変化点情報および唇形変化点での唇形の情報を含む同期化情報と、を含む多重媒体情報を受信するステップと、
受信した前記多重媒体情報を前記動映像、前記テキストおよび前記同期化情報に分類するステップと、
分類された前記テキストを音素列に変換し、前記音素列から韻律情報を推定するステップと、
推定された前記韻律情報から前記音素列の各音素の持続時間を含む韻律制御パラメータを計算するステップと、
合成音と分類された前記動映像との同期化のために、分類された前記同期化情報に含ま れている前記テキストの唇形変化点情報および唇形変化点での唇形の情報を用いて、計算された前記韻律制御パラメータに含まれている前記音素列の各音素の持続時間を調節するステップと、
合成単位データベースに保存されている合成音の生成に必要な合成データと、調節された前記韻律制御パラメータとを用いて、合成音を生成して出力するステップと、を有すること
を特徴とする動映像と合成音を同期化する方法。 - 前記韻律制御パラメータは、前記音素列の各音素の数、持続時間、ピッチパターンおよびエネルギパターンの情報を含むことを特徴とする請求項８記載の動映像と合成音を同期化する方法。
- 前記各音素のピッチパターンは、各音素の始点、中間、終点におけるピッチ値で表されていることを特徴とする請求項９記載の動映像と合成音を同期化する方法。
- 前記各音素のエネルギパターンは、各音素の始点、中間、終点におけるエネルギ値をｄＢで表されていることを特徴とする請求項９記載の動映像と合成音を同期化する方法。
- 前記唇形変化点情報は、前記テキストでの唇形変化点の個数および各唇形変化点の位置を含むことを特徴とする請求項８記載の動映像と合成音を同期化する方法。
- 受信された前記多重媒体情報は、合成音の性別、年齢の情報を含む個人性情報をさらに含むことを特徴とする請求項８記載の動映像と合成音を同期化する方法。
- ＴＴＳ（Text-To-Speech conversion system）で生成される合成音と前記ＴＴＳに接続された映像出力装置に出力される動映像とを同期化する方法において、
動映像と、テキストが表す音素列の各音素の持続時間を含む韻律制御パラメータと、前記動映像および前記テキストから生成される合成音間の同期化を図るための、前記テキストの唇形変化点情報および唇形変化点での唇形の情報を含む同期化情報と、を含む多重媒体情報を受信するステップと、
受信した前記多重媒体情報を前記動映像、前記韻律制御パラメータおよび前記同期化情報に分類するステップと、
合成音と分類された前記動映像との同期化のために、分類された前記同期化情報に含まれている前記テキストの唇形変化点情報および唇形変化点での唇形の情報を用いて、分類された前記韻律制御パラメータに含まれている前記音素列の各音素の持続時間を調節するステップと、
合成単位データベースに保存されている合成音の生成に必要な合成データと、調節された前記韻律制御パラメータとを用いて、合成音を生成して出力するステップと、を有すること
を特徴とする動映像と合成音を同期化する方法。 - 関連する動映像と同期化した合成音を生成する方法において、
動映像と、テキストと、前記動映像および前記テキストから生成される合成音間の同期化を図るための、前記テキストの唇形変化点情報および唇形変化点での唇形の情報を含む同期化情報とを含む多重媒体情報を受信するステップと、
受信した多重媒体情報に含まれている前記テキストおよび前記同期化情報を用いて、受信した多重媒体情報に含まれている動映像と同期化した音声を合成するステップと、を有すること
を特徴とする動映像と同期化した合成音を生成する方法。 - ＴＴＳ（Text-To-Speech conversion system）で生成される合成音と前記ＴＴＳに接続された映像出力装置に出力される動映像とを同期化する音声合成器において、
音素列の各音素の持続時間を含む韻律制御パラメータと、動映像と、前記動映像および前記テキストから生成される合成音間の同期化を図るための、前記テキストの唇形変化点情報および唇形変化点での唇形の情報を含む同期化情報とを受信する手段と、
受信した前記同期化情報に含まれている前記テキストの唇形変化点情報および唇形変化点での唇形の情報を用いて、受信した前記韻律制御パラメータに含まれている音素列の各音素の持続時間を調節する手段と、
合成単位データベースに保存されている合成音の生成に必要な合成データと、調節された前記韻律制御パラメータとを用いて、前記動映像に同期化した合成音を生成する手段と、を有すること
を特徴とする音声合成器。 - 前記唇形の情報は、唇上下間の距離、唇左右終点間の距離および唇突出程度の数値を含むことを特徴とする請求項１記載のテキスト／音声変換器。
- 前記唇形の情報は、唇上下間の距離、唇左右終点間の距離および唇突出程度の数値を含むことを特徴とする請求項８記載の動映像と合成音を同期化する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019970017615A KR100240637B1 (ko) | 1997-05-08 | 1997-05-08 | 다중매체와의 연동을 위한 텍스트/음성변환 구현방법 및 그 장치 |
| KR97-17615 | 1997-05-08 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004198918A Division JP4344658B2 (ja) | 1997-05-08 | 2004-07-06 | 音声合成機 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10320170A JPH10320170A (ja) | 1998-12-04 |
| JP3599549B2 true JP3599549B2 (ja) | 2004-12-08 |
Family
ID=19505142
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35042797A Expired - Fee Related JP3599549B2 (ja) | 1997-05-08 | 1997-12-19 | 動映像と合成音を同期化するテキスト／音声変換器、および、動映像と合成音を同期化する方法 |
| JP2004198918A Expired - Lifetime JP4344658B2 (ja) | 1997-05-08 | 2004-07-06 | 音声合成機 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004198918A Expired - Lifetime JP4344658B2 (ja) | 1997-05-08 | 2004-07-06 | 音声合成機 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US6088673A (ja) |
| JP (2) | JP3599549B2 (ja) |
| KR (1) | KR100240637B1 (ja) |
| DE (1) | DE19753454C2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023166527A1 (en) * | 2022-03-01 | 2023-09-07 | Gan Studio Inc. | Voiced-over multimedia track generation |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7076426B1 (en) * | 1998-01-30 | 2006-07-11 | At&T Corp. | Advance TTS for facial animation |
| KR100395491B1 (ko) * | 1999-08-16 | 2003-08-25 | 한국전자통신연구원 | 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 |
| JP4320487B2 (ja) * | 1999-09-03 | 2009-08-26 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム格納媒体 |
| USRE42904E1 (en) * | 1999-09-29 | 2011-11-08 | Frederick Monocacy Llc | System and apparatus for dynamically generating audible notices from an information network |
| US6557026B1 (en) * | 1999-09-29 | 2003-04-29 | Morphism, L.L.C. | System and apparatus for dynamically generating audible notices from an information network |
| JP4465768B2 (ja) * | 1999-12-28 | 2010-05-19 | ソニー株式会社 | 音声合成装置および方法、並びに記録媒体 |
| JP4032273B2 (ja) * | 1999-12-28 | 2008-01-16 | ソニー株式会社 | 同期制御装置および方法、並びに記録媒体 |
| US6529586B1 (en) | 2000-08-31 | 2003-03-04 | Oracle Cable, Inc. | System and method for gathering, personalized rendering, and secure telephonic transmission of audio data |
| US6975988B1 (en) * | 2000-11-10 | 2005-12-13 | Adam Roth | Electronic mail method and system using associated audio and visual techniques |
| KR100379995B1 (ko) * | 2000-12-08 | 2003-04-11 | 야무솔루션스(주) | 텍스트/음성 변환 기능을 갖는 멀티코덱 플레이어 |
| US20030009342A1 (en) * | 2001-07-06 | 2003-01-09 | Haley Mark R. | Software that converts text-to-speech in any language and shows related multimedia |
| US7487092B2 (en) * | 2003-10-17 | 2009-02-03 | International Business Machines Corporation | Interactive debugging and tuning method for CTTS voice building |
| EP1721311B1 (en) | 2003-12-16 | 2008-08-13 | LOQUENDO SpA | Text-to-speech method and system, computer program product therefor |
| US20050187772A1 (en) * | 2004-02-25 | 2005-08-25 | Fuji Xerox Co., Ltd. | Systems and methods for synthesizing speech using discourse function level prosodic features |
| US20060136215A1 (en) * | 2004-12-21 | 2006-06-22 | Jong Jin Kim | Method of speaking rate conversion in text-to-speech system |
| JP3955881B2 (ja) * | 2004-12-28 | 2007-08-08 | 松下電器産業株式会社 | 音声合成方法および情報提供装置 |
| KR100710600B1 (ko) * | 2005-01-25 | 2007-04-24 | 우종식 | 음성합성기를 이용한 영상, 텍스트, 입술 모양의 자동동기 생성/재생 방법 및 그 장치 |
| US9087049B2 (en) * | 2005-10-26 | 2015-07-21 | Cortica, Ltd. | System and method for context translation of natural language |
| TWI341956B (en) * | 2007-05-30 | 2011-05-11 | Delta Electronics Inc | Projection apparatus with function of speech indication and control method thereof for use in the apparatus |
| US8374873B2 (en) | 2008-08-12 | 2013-02-12 | Morphism, Llc | Training and applying prosody models |
| US8731931B2 (en) * | 2010-06-18 | 2014-05-20 | At&T Intellectual Property I, L.P. | System and method for unit selection text-to-speech using a modified Viterbi approach |
| US10521511B2 (en) * | 2010-12-02 | 2019-12-31 | Accessible Publishing Systems Pty Ltd | Text conversion and representation system |
| JP2012150363A (ja) * | 2011-01-20 | 2012-08-09 | Kddi Corp | メッセージ映像編集プログラムおよびメッセージ映像編集装置 |
| KR101358999B1 (ko) * | 2011-11-21 | 2014-02-07 | (주) 퓨처로봇 | 캐릭터의 다국어 발화 시스템 및 방법 |
| US9552807B2 (en) * | 2013-03-11 | 2017-01-24 | Video Dubber Ltd. | Method, apparatus and system for regenerating voice intonation in automatically dubbed videos |
| EP3921770A4 (en) * | 2019-02-05 | 2022-11-09 | Igentify Ltd. | SYSTEM AND METHOD FOR MODULATION OF DYNAMIC GAPS IN SPEECH |
| WO2021101500A1 (en) * | 2019-11-18 | 2021-05-27 | Google Llc | Rescoring automatic speech recognition hypotheses using audio-visual matching |
| KR20220147276A (ko) * | 2021-04-27 | 2022-11-03 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 프로소디 제어를 위한 tts 모델 생성 방법 |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AT72083B (de) | 1912-12-18 | 1916-07-10 | S J Arnheim | Befestigung für leicht auswechselbare Schlösser. |
| US4260229A (en) * | 1978-01-23 | 1981-04-07 | Bloomstein Richard W | Creating visual images of lip movements |
| US4305131A (en) * | 1979-02-05 | 1981-12-08 | Best Robert M | Dialog between TV movies and human viewers |
| US4692941A (en) * | 1984-04-10 | 1987-09-08 | First Byte | Real-time text-to-speech conversion system |
| GB8528143D0 (en) * | 1985-11-14 | 1985-12-18 | British Telecomm | Image encoding & synthesis |
| JP2518683B2 (ja) | 1989-03-08 | 1996-07-24 | 国際電信電話株式会社 | 画像合成方法及びその装置 |
| DE69028940T2 (de) * | 1989-03-28 | 1997-02-20 | Matsushita Electric Ind Co Ltd | Gerät und Verfahren zur Datenaufbereitung |
| US5111409A (en) * | 1989-07-21 | 1992-05-05 | Elon Gasper | Authoring and use systems for sound synchronized animation |
| JPH03241399A (ja) | 1990-02-20 | 1991-10-28 | Canon Inc | 音声送受信装置 |
| DE4101022A1 (de) * | 1991-01-16 | 1992-07-23 | Medav Digitale Signalverarbeit | Verfahren zur geschwindigkeitsvariablen wiedergabe von audiosignalen ohne spektrale veraenderung der signale |
| US5613056A (en) | 1991-02-19 | 1997-03-18 | Bright Star Technology, Inc. | Advanced tools for speech synchronized animation |
| JPH04285769A (ja) | 1991-03-14 | 1992-10-09 | Nec Home Electron Ltd | マルチメディアデータの編集方法 |
| JP3070136B2 (ja) | 1991-06-06 | 2000-07-24 | ソニー株式会社 | 音声信号に基づく画像の変形方法 |
| US5313522A (en) * | 1991-08-23 | 1994-05-17 | Slager Robert P | Apparatus for generating from an audio signal a moving visual lip image from which a speech content of the signal can be comprehended by a lipreader |
| JP3135308B2 (ja) | 1991-09-03 | 2001-02-13 | 株式会社日立製作所 | ディジタルビデオ・オーディオ信号伝送方法及びディジタルオーディオ信号再生方法 |
| JPH05188985A (ja) | 1992-01-13 | 1993-07-30 | Hitachi Ltd | 音声圧縮方式、及び通信方式、並びに無線通信装置 |
| JPH05313686A (ja) | 1992-04-02 | 1993-11-26 | Sony Corp | 表示制御装置 |
| JP3083640B2 (ja) * | 1992-05-28 | 2000-09-04 | 株式会社東芝 | 音声合成方法および装置 |
| JP2973726B2 (ja) * | 1992-08-31 | 1999-11-08 | 株式会社日立製作所 | 情報処理装置 |
| US5636325A (en) * | 1992-11-13 | 1997-06-03 | International Business Machines Corporation | Speech synthesis and analysis of dialects |
| US5500919A (en) * | 1992-11-18 | 1996-03-19 | Canon Information Systems, Inc. | Graphics user interface for controlling text-to-speech conversion |
| CA2119397C (en) * | 1993-03-19 | 2007-10-02 | Kim E.A. Silverman | Improved automated voice synthesis employing enhanced prosodic treatment of text, spelling of text and rate of annunciation |
| JP2734335B2 (ja) | 1993-05-12 | 1998-03-30 | 松下電器産業株式会社 | データ伝送方法 |
| US5860064A (en) * | 1993-05-13 | 1999-01-12 | Apple Computer, Inc. | Method and apparatus for automatic generation of vocal emotion in a synthetic text-to-speech system |
| JP3059022B2 (ja) | 1993-06-07 | 2000-07-04 | シャープ株式会社 | 動画像表示装置 |
| JP3364281B2 (ja) | 1993-07-16 | 2003-01-08 | パイオニア株式会社 | 時分割ビデオ及びオーディオ信号の同期方式 |
| US5608839A (en) * | 1994-03-18 | 1997-03-04 | Lucent Technologies Inc. | Sound-synchronized video system |
| JP2611728B2 (ja) * | 1993-11-02 | 1997-05-21 | 日本電気株式会社 | 動画像符号化復号化方式 |
| JPH07306692A (ja) | 1994-05-13 | 1995-11-21 | Matsushita Electric Ind Co Ltd | 音声認識装置及び音声入力装置 |
| US5657426A (en) * | 1994-06-10 | 1997-08-12 | Digital Equipment Corporation | Method and apparatus for producing audio-visual synthetic speech |
| GB2291571A (en) | 1994-07-19 | 1996-01-24 | Ibm | Text to speech system; acoustic processor requests linguistic processor output |
| IT1266943B1 (it) | 1994-09-29 | 1997-01-21 | Cselt Centro Studi Lab Telecom | Procedimento di sintesi vocale mediante concatenazione e parziale sovrapposizione di forme d'onda. |
| US5677739A (en) | 1995-03-02 | 1997-10-14 | National Captioning Institute | System and method for providing described television services |
| JP3507176B2 (ja) * | 1995-03-20 | 2004-03-15 | 富士通株式会社 | マルチメディアシステム動的連動方式 |
| US5729694A (en) * | 1996-02-06 | 1998-03-17 | The Regents Of The University Of California | Speech coding, reconstruction and recognition using acoustics and electromagnetic waves |
| US5850629A (en) * | 1996-09-09 | 1998-12-15 | Matsushita Electric Industrial Co., Ltd. | User interface controller for text-to-speech synthesizer |
| KR100236974B1 (ko) * | 1996-12-13 | 2000-02-01 | 정선종 | 동화상과 텍스트/음성변환기 간의 동기화 시스템 |
| JP4359299B2 (ja) | 2006-09-13 | 2009-11-04 | Ｔｄｋ株式会社 | 積層型セラミック電子部品の製造方法 |
-
1997
- 1997-05-08 KR KR1019970017615A patent/KR100240637B1/ko not_active IP Right Cessation
- 1997-12-02 DE DE19753454A patent/DE19753454C2/de not_active Expired - Fee Related
- 1997-12-19 JP JP35042797A patent/JP3599549B2/ja not_active Expired - Fee Related
-
1998
- 1998-02-09 US US09/020,712 patent/US6088673A/en not_active Ceased
-
2002
- 2002-09-30 US US10/193,594 patent/USRE42647E1/en not_active Expired - Lifetime
-
2004
- 2004-07-06 JP JP2004198918A patent/JP4344658B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023166527A1 (en) * | 2022-03-01 | 2023-09-07 | Gan Studio Inc. | Voiced-over multimedia track generation |
Also Published As
| Publication number | Publication date |
|---|---|
| DE19753454A1 (de) | 1998-11-12 |
| JP4344658B2 (ja) | 2009-10-14 |
| USRE42647E1 (en) | 2011-08-23 |
| DE19753454C2 (de) | 2003-06-18 |
| US6088673A (en) | 2000-07-11 |
| JPH10320170A (ja) | 1998-12-04 |
| KR19980082608A (ko) | 1998-12-05 |
| KR100240637B1 (ko) | 2000-01-15 |
| JP2004361965A (ja) | 2004-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3599549B2 (ja) | 動映像と合成音を同期化するテキスト／音声変換器、および、動映像と合成音を同期化する方法 | |
| US9318100B2 (en) | Supplementing audio recorded in a media file | |
| JP3599538B2 (ja) | 動画像とテキスト／音声変換器間の同期化システム | |
| JP4539537B2 (ja) | 音声合成装置，音声合成方法，およびコンピュータプログラム | |
| JP2008500573A (ja) | メッセージを変更するための方法及びシステム | |
| JP2003530654A (ja) | キャラクタのアニメ化 | |
| WO2005093713A1 (ja) | 音声合成装置 | |
| JP2011186143A (ja) | ユーザ挙動を学習する音声合成装置、音声合成方法およびそのためのプログラム | |
| JPH11109991A (ja) | マンマシンインターフェースシステム | |
| KR100710600B1 (ko) | 음성합성기를 이용한 영상, 텍스트, 입술 모양의 자동동기 생성/재생 방법 및 그 장치 | |
| WO2023276539A1 (ja) | 音声変換装置、音声変換方法、プログラム、および記録媒体 | |
| JP2005215888A (ja) | テキスト文の表示装置 | |
| JP4409279B2 (ja) | 音声合成装置及び音声合成プログラム | |
| JPH08335096A (ja) | テキスト音声合成装置 | |
| JP6044490B2 (ja) | 情報処理装置、話速データ生成方法、及びプログラム | |
| CN112992116A (zh) | 一种视频内容自动生成方法和系统 | |
| JP4052561B2 (ja) | 映像付帯音声データ記録方法、映像付帯音声データ記録装置および映像付帯音声データ記録プログラム | |
| JP3426957B2 (ja) | 映像中への音声録音支援表示方法及び装置及びこの方法を記録した記録媒体 | |
| JP2001013982A (ja) | 音声合成装置 | |
| JP4563418B2 (ja) | 音声処理装置、音声処理方法、ならびに、プログラム | |
| JP2577372B2 (ja) | 音声合成装置および方法 | |
| JP2000231396A (ja) | セリフデータ作成装置、セリフ再生装置、音声分析合成装置及び音声情報転送装置 | |
| JP2000358202A (ja) | 映像音声記録再生装置および同装置の副音声データ生成記録方法 | |
| JP2002215533A (ja) | コミック自動生成装置 | |
| KR20240100869A (ko) | 상대 음성 및 대화 발화 정보 기반 대화형 감성 음성합성 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040406 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040525 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040914 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |