JP5982942B2 - 音声合成装置 - Google Patents

Description

本発明は、複数の音声素片の接続により音声を合成する技術に関する。

複数の音声素片を相互に接続することで所望の音声を合成する素片接続型の音声合成技術が従来から提案されている。例えば特許文献１には、音素間の遷移（音素連鎖）を表現する音声素片（ダイフォン）を使用して合成音を生成する構成が開示されている。具体的には、「さ［sa］」と発音した合成音を生成する場合、無音から音素/ｓ/に発音が遷移する遷移部［＃-ｓ］（記号“＃”は無音を意味する）の音声素片と、音素/ｓ/から音素/ａ/に発音が遷移する遷移部（音素連鎖）［ｓ-ａ］の音声素片と、音素/ａ/から無音に発音が遷移する遷移部［ａ-＃］とを使用して合成音を生成する。各音声素片は、事前に収録された音声（以下「素材音声」という）から抽出されて記憶装置に格納される。

特許第４２６５５０１号公報

ところで、素材音声の各音素の音響特性（波形）は、素材音声のうち時間的に持続可能な音素（例えば母音等）の持続時間に応じて変動する。例えば、前掲の遷移部［ｓ-ａ］の音声素片に着目すると、後続の音素/ａ/が充分な時間にわたり持続された素材音声から抽出された音声素片と、音素/ａ/が充分に持続されない素材音声から抽出された音声素片とでは音響特性が相違する。したがって、合成音に指定された継続長に関わらず共通の音声素片を使用する構成では、聴感的に自然な合成音を生成することが困難である。例えば、音素/ａ/が充分な時間にわたり持続された素材音声から抽出された音声素片を使用した場合には短時間の合成音が聴感的に不自然な印象となり、音素/ａ/が充分に持続されない素材音声から抽出された音声素片を使用した場合、長時間の合成音が聴感的に不自然な印象となる。以上の事情を考慮して、本発明は、合成音の継続長に関わらず聴感的に自然な合成音を生成することを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の第１態様に係る音声合成装置は、第１素材音声（例えば素材音声Ｍ1）のうち先行音素から対象音素に対する遷移部に対応する第１音声素片（例えば音声素片ＰA1）と、対象音素の持続時間が第１素材音声と比較して長い第２素材音声（例えば素材音声Ｍ2）のうち先行音素から対象音素に対する遷移部に対応する第２音声素片（例えば音声素片ＰA2）と、対象音素が定常的に持続する持続部に対応する持続素片（例えば持続素片ＰC）とを含む複数の音声素片を利用して合成音を生成する音声合成手段であって、第１音声素片を使用して合成音を生成する第１合成動作と、第２音声素片に持続素片を後続させて合成音を生成する第２合成動作とを実行可能な音声合成手段（例えば音声合成部２４）とを具備する。以上の構成では、第１素材音声から抽出された第１音声素片を使用する第１合成動作と、第１素材音声と比較して対象音素の持続時間が長い第２素材音声から抽出された第２音声素片を使用する第２合成動作とが実行されるから、合成音に指定される継続長の長短に関わらず聴感的に自然な合成音を生成することが可能である。

第１態様に係る音声合成装置の好適例において、音声合成手段は、対象音素の持続時間が第２素材音声と比較して長い第３素材音声（例えば素材音声Ｍ3）のうち先行音素から対象音素に対する遷移部に対応する第３音声素片（例えば音声素片ＰA3）と、第３素材音声のうち第３音声素片に対応する遷移部と対象音素が定常的に持続する持続部との間の中間遷移部に対応する第４音声素片（例えば音声素片ＰA4）とを利用可能であり、第１合成動作および第２合成動作と、第３音声素片に第４音声素片を後続させるとともに第４音声素片に持続素片を後続させて合成音を生成する第３合成動作とを実行可能である。以上の態様では、第１合成動作および第２合成動作に加えて、第１素材音声や第２素材音声と比較して対象音素の持続時間が長い第３素材音声から抽出された第３音声素片および第４音声素片を使用する第３合成動作が実行されるから、合成音に指定される継続長の長短に関わらず聴感的に自然な合成音を生成できるという効果は格別に顕著である。

本発明の第２態様に係る音声合成装置は、第１素材音声（例えば素材音声Ｍ1）のうち対象音素から後行音素に対する遷移部に対応する第１音声素片（例えば音声素片ＰB1）と、対象音素の持続時間が第１素材音声と比較して長い第２素材音声（例えば素材音声Ｍ2）のうち対象音素から後行音素に対する遷移部に対応する第２音声素片（例えば音声素片ＰB2）と、対象音素が定常的に持続する持続部に対応する持続素片（例えば持続素片ＰC）とを含む複数の音声素片を利用して合成音を生成する音声合成手段であって、第１音声素片を使用して合成音を生成する第１合成動作と、持続素片に第２音声素片を後続させて合成音を生成する第２合成動作とを実行可能な音声合成手段（例えば音声合成部２４）とを具備する。以上の構成では、第１素材音声から抽出された第１音声素片を使用する第１合成動作と、第１素材音声と比較して対象音素の持続時間が長い第２素材音声から抽出された第２音声素片を使用する第２合成動作とが実行されるから、合成音に指定される継続長の長短に関わらず聴感的に自然な合成音を生成することが可能である。

第２態様に係る音声合成装置の好適例において、音声合成手段は、対象音素の持続時間が第２素材音声と比較して長い第３素材音声（例えば素材音声Ｍ3）のうち対象音素から後行音素に対する遷移部に対応する第３音声素片（例えば音声素片ＰB3）と、第３素材音声のうち対象音素が定常的に持続する持続部と第３音声素片に対応する遷移部との間の中間遷移部に対応する第４音声素片（例えば音声素片ＰB4）とを利用可能であり、第１合成動作および第２合成動作と、持続素片に第４音声素片を後続させるとともに第４音声素片に第３音声素片を後続させて合成音を生成する第３合成動作とを実行可能である。以上の態様では、第１合成動作および第２合成動作に加えて、第１素材音声や第２素材音声と比較して対象音素の持続時間が長い第３素材音声から抽出された第３音声素片および第４音声素片を使用する第３合成動作が実行されるから、合成音に指定される継続長の長短に関わらず聴感的に自然な合成音を生成できるという効果は格別に顕著である。

第１態様および第２態様に係る音声合成装置の好適例において、音声合成手段は、合成音に指定された継続長が短い場合（例えば所定値を下回る場合）に第１合成動作を実行し、合成音に指定された継続長が長い場合（例えば所定値を上回る場合）に第２合成動作を実行する。以上の態様では、合成音に指定される継続長に応じて音声合成手段の動作が選択されるから、合成音に指定される継続長の長短に関わらず聴感的に自然な合成音を生成できる。ただし、例えば利用者からの指示に応じて第１合成動作と第２合成動作とを選択することも可能である。

以上の各態様に係る音声合成装置は、合成音の生成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）で実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働でも実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

第１態様に係るプログラムは、第１素材音声のうち先行音素から対象音素に対する遷移部に対応する第１音声素片と、対象音素の持続時間が第１素材音声と比較して長い第２素材音声のうち先行音素から対象音素に対する遷移部に対応する第２音声素片と、対象音素が定常的に持続する持続部に対応する持続素片とを含む複数の音声素片を利用して合成音を生成する音声合成手段であって、第１音声素片を使用して合成音を生成する第１合成動作と、第２音声素片に持続素片を後続させて合成音を生成する第２合成動作とを実行する音声合成手段としてコンピュータを機能させる。以上のプログラムによれば、本発明の第１態様に係る音声合成装置と同様の作用および効果が実現される。

第２態様に係るプログラムは、第１素材音声のうち対象音素から後行音素に対する遷移部に対応する第１音声素片と、対象音素の持続時間が第１素材音声と比較して長い第２素材音声のうち対象音素から後行音素に対する遷移部に対応する第２音声素片と、対象音素が定常的に持続する持続部に対応する持続素片とを含む複数の音声素片を利用して合成音を生成する音声合成手段であって、第１音声素片を使用して合成音を生成する第１合成動作と、持続素片に第２音声素片を後続させて合成音を生成する第２合成動作とを実行可能な音声合成手段としてコンピュータを機能させる。以上のプログラムによれば、本発明の第２態様に係る音声合成装置と同様の作用および効果が実現される。

本発明の第１実施形態に係る音声合成装置のブロック図である。 音声素片の説明図である。 合成情報の模式図である。 音声合成の説明図である。 第２実施形態における音声素片の説明図である。 第２実施形態における音声合成の説明図である。 変形例における音声合成の説明図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音声合成装置１００のブロック図である。音声合成装置１００は、素片接続型の音声合成で歌唱音の音声信号Ｓを生成する信号処理装置であり、図１に示すように、演算処理装置１２と記憶装置１４と放音装置１６とを具備するコンピュータシステムで実現される。例えば据置型の情報処理装置（パーソナルコンピュータ）や携帯型の情報処理装置（携帯電話機や携帯情報端末）で音声合成装置１００が実現される。

演算処理装置１２は、記憶装置１４に記憶されたプログラムＰGMを実行することで、音声信号Ｓを生成するための複数の機能（情報取得部２２，音声合成部２４）を実現する。なお、演算処理装置１２の機能を複数の装置に分散した構成や、演算処理装置１２の機能の一部を専用の電子回路（ＤＳＰ）が実現する構成も採用され得る。放音装置１６（例えばヘッドホンやスピーカ）は、演算処理装置１２が生成した音声信号Ｓに応じた音響を放音する。

記憶装置１４は、演算処理装置１２が実行するプログラムＰGMや演算処理装置１２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に採用される。第１実施形態の記憶装置１４は、音声素片群ＤAと合成情報ＤBとを記憶する。

音声素片群ＤAは、音声合成の素材として使用される複数種の音声素片Ｐを含む音声合成ライブラリである。各音声素片Ｐは、例えば時間領域での音声素片Ｐの波形のサンプル系列や周波数領域での音声素片Ｐのスペクトルを規定するデータで表現される。各音声素片Ｐは、言語的な観点から音声を区分した最小単位である音素（例えば母音や子音）の単体（モノフォン）、または、複数の音素を連結した音素連鎖（例えばダイフォンやトライフォン）である。記憶装置１４に記憶される各音声素片Ｐは、例えば事前に収録された音声（素材音声）から抽出される。なお、以下の説明では、ＳＡＭＰＡ（Speech Assessment Methods Phonetic Alphabet）に準拠した記号で各音素を表記する。なお、Ｘ-ＳＡＭＰＡ（eXtended - SAMPA）でも同様の表記である。また、無音を便宜的に１個の音素として記号/＃/で表記する。

図２は、素材音声と各音声素片Ｐとの関係を示す模式図である。特定の発声者が英単語“fun”を発音した素材音声Ｍ1と素材音声Ｍ2とが図２には例示されている。素材音声Ｍ2のうち母音の音素/Ｖ/の持続時間は、素材音声Ｍ1のうちその音素/Ｖ/の持続時間と比較して長い。すなわち、発音内容は素材音声Ｍ1と素材音声Ｍ2とで共通するが、素材音声Ｍ2は素材音声Ｍ1と比較して音素/Ｖ/を伸長して発音した音声である。以下の説明では、素材音声のうち発音が時間的に持続され得る任意の１個の音素（以下「対象音素」という）に便宜的に着目し、対象音素の直前の音素を「先行音素」と表記するとともに対象音素の直後の音素を「後行音素」と表記する。例えば、図２に例示された単語“fun”のうち母音の音素/Ｖ/を対象音素とした場合には、音素/ｆ/が先行音素に該当し、音素/ｎ/が後行音素に該当する。

図２に示すように、音声素片ＰE1と音声素片ＰA1と音声素片ＰB1と音声素片ＰE2とが素材音声Ｍ1から抽出されて記憶装置１４に記憶される。音声素片ＰE1は、素材音声Ｍ1のうち無音の音素/＃/から音素/ｆ/に発音が遷移する遷移部（音素連鎖）［＃-ｆ］に対応する。音声素片ＰA1は、素材音声Ｍ1のうち先行音素/ｆ/から対象音素/Ｖ/に対する遷移部［ｆ-Ｖ］に対応し、音声素片ＰB1は、素材音声Ｍ1のうち対象音素/Ｖ/から後行音素/ｎ/に対する遷移部［Ｖ-ｎ］に対応する。また、音声素片ＰE2は、素材音声Ｍ1のうち音素/ｎ/から無音の音素/＃/に対する遷移部［ｎ-＃］に対応する。

他方、素材音声Ｍ2からは、音声素片ＰE1と音声素片ＰA2と音声素片ＰCと音声素片ＰB2と音声素片ＰE2とが抽出されて記憶装置１４に記憶される。音声素片ＰE1および音声素片ＰE2の音響特性は素材音声Ｍ1と素材音声Ｍ2とで略同等である。

図２の音声素片ＰCは、素材音声Ｍ2のうち対象音素/Ｖ/が時間的に定常に持続された持続部［Ｖ］に対応する音声素片Ｐ（以下では特に「持続素片」という場合がある）である。すなわち、持続素片ＰC内では対象音素/Ｖ/の音響特性が安定的に維持されて経時的な変動が充分に少ない。以上の説明から理解されるように、素材音声Ｍ2は持続部［Ｖ］を包含するのに対し、素材音声Ｍ1は持続部［Ｖ］を包含しない（あるいは充分に短い）という相違がある。

音声素片ＰA2は、素材音声Ｍ2のうち先行音素/ｆ/から対象音素/Ｖ/に対する遷移部［ｆ-Ｖ］に対応し、音声素片ＰB2は、素材音声Ｍ2のうち対象音素/Ｖ/から後行音素/ｎ/に対する遷移部［Ｖ-ｎ］に対応する。持続部［Ｖ］を含まない素材音声Ｍ1から抽出された音声素片ＰA1と持続部［Ｖ］を含む素材音声Ｍ2から抽出された音声素片ＰA2とは、各々を構成する音素の種類（受聴者が知覚する発音内容）は共通するが音響特性（波形）は相違する。同様に、素材音声Ｍ1から抽出された音声素片ＰB1と素材音声Ｍ2から抽出された音声素片ＰB2とは、音素の種類は共通するが音響特性が相違する。

図２の例示のように各素材音声（Ｍ1，Ｍ2）から抽出された音声素片Ｐ（ＰE1，ＰE2，ＰA1，ＰA2，ＰB1，ＰB2，ＰC）が記憶装置１４に記憶される。すなわち、先行音素/ｆ/から対象音素/Ｖ/に遷移する遷移部［ｆ-Ｖ］については、素材音声Ｍ1から抽出された音声素片ＰA1と素材音声Ｍ2から抽出された音声素片ＰA2との双方が記憶装置１４に記憶される。同様に、対象音素/Ｖ/から後行音素/ｎ/に対する遷移部［Ｖ-ｎ］については、素材音声Ｍ1から抽出された音声素片ＰB1と素材音声Ｍ2から抽出された音声素片ＰB2との双方が記憶装置１４に記憶される。なお、以上の例示では音素/Ｖ/を対象音素とした場合を例示したが、時間的に持続可能な他の音素についても同様に、伸長の度合が相違する素材音声Ｍ1および素材音声Ｍ2の各々から抽出された音声素片Ｐが記憶装置１４に記憶される。

図１の記憶装置１４に記憶された合成情報ＤBは、音声合成の単位となる単位音（音符）を時系列に指定するデータ（スコアデータ）であり、図３に示すように、相異なる単位音に対応する複数の単位情報Ｕを含んで構成される。各単位情報Ｕは、音高情報ＸAと時間情報ＸBと発音情報ＸCとを指定する。ただし、以上に例示した要素以外の情報（例えば音量やビブラート等の各単位音の音楽的な表情を制御するための変数）を単位情報Ｕに含ませることも可能である。図１の情報取得部２２は、例えば利用者からの指示に応じて合成情報ＤBを生成および編集する。

図３の音高情報ＸAは、単位音の音高（各音高に対応するノートナンバ）を指定する。なお、単位音の音高に対応する周波数を音高情報ＸAで指定することも可能である。時間情報ＸBは、時間軸上での単位音の発音期間を指定する。例えば時間情報ＸBは、図３に示すように、単位音の発音が開始する時刻を意味する発音時点ＸB1と、単位音の発音が継続する時間長（音価）を意味する継続長ＸB2とを指定する。なお、各単位音の発音時点ＸB1と消音時点とで継続長ＸB2を指定することも可能である。発音情報ＸCは、単位音の発音内容（音韻）を指定する。具体的には、発音情報ＸCは、各単位音の発音内容を表現する発音文字（書記素）や発音内容に対応する音素記号を指定する。例えば１音節分の発音文字が１個の単位音に指定される。なお、発音情報ＸCによる発音文字の指定は各単位音の合成に必須の要素ではなく省略することも可能である。

図１の音声合成部２４は、合成情報ＤBが時系列に指定する各単位音の発音情報ＸCに対応する複数の音声素片Ｐを時間軸上で相互に接続することで合成音の音声信号Ｓを生成する。具体的には、音声合成部２４は、第１に、各単位音の発音情報ＸC（発音内容の各音素）および継続長ＸB2（音価）に対応した音声素片Ｐを記憶装置１４の音声素片群ＤAから順次に選択し、第２に、各音声素片Ｐを、単位情報Ｕの音高情報ＸAが指定する音高と時間情報ＸBの継続長ＸB2が指定する時間長とに調整する。第３に、音声合成部２４は、音高および時間長が調整された各音声素片Ｐを、時間情報ＸBの発音時点ＸB1が指定する時刻に配置して相互に連結することで音声信号Ｓを生成する。音声合成部２４が生成した音声信号Ｓが放音装置１６に供給されて音波として放音される。

音声素片Ｐの選択に着目して音声合成部２４の動作を以下に詳述する。音声合成部２４は、第１合成動作と第２合成動作とを単位音毎に選択的に実行する。具体的には、単位音の継続長ＸB2が所定の基準長ＸREF1を下回る場合（ＸB2＜ＸREF1）には第１合成動作が実行され、継続長ＸB2が基準長ＸREF1を上回る場合（ＸB2≧ＸREF1）には第２合成動作が実行される。なお、以下の説明では、図２に例示した単語“fun”が発音情報ＸCとして指定された単位音を合成する場合を例示する。

第１合成動作は、図４の部分(A)に示すように、素材音声Ｍ1から抽出された音声素片ＰA1および音声素片ＰB1を使用して合成音を生成する動作である。具体的には、音声合成部２４は、音声素片ＰE1（遷移部［＃-ｆ］）と音声素片ＰA1（遷移部［ｆ-Ｖ］）と音声素片ＰB1（遷移部［Ｖ-ｎ］）と音声素片ＰE2（遷移部［ｎ-＃］）とを以上の順番で相互に連結することで継続長ＸB2の単位音の音声信号Ｓを生成する。

他方、第２合成動作は、図４の部分(B)に示すように、素材音声Ｍ2から抽出された音声素片ＰA2と音声素片ＰB2と持続素片ＰCとを使用して合成音を生成する動作である。具体的には、音声合成部２４は、音声素片ＰE1（遷移部［＃-ｆ］）と音声素片ＰA2（遷移部［ｆ-Ｖ］）と持続素片ＰC（持続部［Ｖ］）と音声素片ＰB2（遷移部［Ｖ-ｎ］）と音声素片ＰE2（遷移部［ｎ-＃］）とを以上の順番で相互に連結することで単位音の音声信号Ｓを生成する。すなわち、音声合成部２４は、音声素片ＰA2に持続素片ＰCを後続させ、持続素片ＰCに音声素片ＰB2を後続させる。持続素片ＰCを継続長ＸB2に応じて伸縮することで継続長ＸB2の単位音が合成される。持続素片ＰCの伸縮には公知の技術が任意に採用される。

以上に説明したように、第１実施形態では、素材音声Ｍ1から抽出された音声素片Ｐ（ＰA1，ＰB1）を使用する第１合成動作と、素材音声Ｍ1と比較して対象音素（/Ｖ/）の持続時間が長い素材音声Ｍ2から抽出された音声素片Ｐ（ＰA2，ＰB2）を使用する第２合成動作とが選択的に実行される。具体的には、単位音の継続長ＸB2が短い場合には、対象音素の持続時間が短い素材音声Ｍ1の音声素片Ｐ（ＰA1，ＰB1）が使用され、単位音の継続長ＸB2が長い場合には、対象音素の持続時間が長い素材音声Ｍ2の音声素片Ｐ（ＰA2，ＰB2）が使用される。したがって、継続長ＸB2が長い場合および継続長ＸB2が短い場合の双方について聴感的に自然な合成音を生成することが可能である。

＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

図５は、第２実施形態における素材音声と各音声素片Ｐとの関係を示す模式図である。特定の発声者が単語“fun”を発音した素材音声Ｍ3が、第１実施形態（図２）と同様の素材音声Ｍ1および素材音声Ｍ2とともに図５に例示されている。素材音声Ｍ3のうち母音の音素/Ｖ/の持続時間は、素材音声Ｍ1内の音素/Ｖ/や素材音声Ｍ2内の音素/Ｖ/の持続時間と比較して長い。すなわち、素材音声Ｍ3は、発音内容は素材音声Ｍ1や素材音声Ｍ2と共通するが、素材音声Ｍ1および素材音声Ｍ2と比較して音素（対象音素）/Ｖ/を伸長して発音した音声である。

素材音声Ｍ1および素材音声Ｍ2から抽出される音声素片Ｐは第１実施形態と同様である。他方、素材音声Ｍ3からは、図５に示すように、音声素片ＰE1と音声素片ＰA3と音声素片ＰA4と持続素片ＰCと音声素片ＰB4と音声素片ＰB3と音声素片ＰE2とが抽出される。音声素片ＰE1および音声素片ＰE2は、素材音声Ｍ1と素材音声Ｍ2と素材音声Ｍ3とで共通する。持続素片ＰCは、素材音声Ｍ3のうち対象音素/Ｖ/が時間的に定常に維持された持続部［Ｖ］に対応する。第２実施形態では、持続素片ＰCが素材音声Ｍ2と素材音声Ｍ3とで共通する場合を例示するが、素材音声Ｍ2の持続素片ＰCと素材音声Ｍ3の持続素片ＰCとを区別することも可能である。

音声素片ＰA3は、素材音声Ｍ3のうち先行音素/ｆ/から対象音素/Ｖ/に対する遷移部［ｆ-Ｖ］に対応する。他方、音声素片ＰA4は、素材音声Ｍ3のうち音声素片ＰA3に対応する遷移部［ｆ-Ｖ］と持続素片ＰCに対応する持続部［Ｖ］との間に位置する中間遷移部［Ｖ-Ｖ］に対応する。中間遷移部は、発声者が発音する音素は変化しないが発音の状態（発声者の口の形状等）が経時的に変化する区間である。具体的には、素材音声Ｍ3のうち先行音素/ｆ/の発音から対象音素/Ｖ/の発音に遷移した直後までの区間が音声素片ＰA3として抽出され、対象音素/Ｖ/の発音に遷移した直後の非定常な状態から持続部［Ｖ］の定常的な状態に遷移するまでの区間が音声素片ＰA4として抽出される。例えば、発声者が先行音素/ｆ/の発音から口を開いて対象音素/Ｖ/の発音を開始した直後までの区間が音声素片ＰA3に対応し、発声者が口を開き始めた直後から完全に口を開き切るまで（持続部［Ｖ］が開始するまで）の区間が音声素片ＰA4に対応する。

他方、音声素片ＰB3は、素材音声Ｍ3のうち対象音素/Ｖ/から後行音素/ｎ/に対する遷移部［Ｖ-ｎ］に対応し、音声素片ＰB4は、素材音声Ｍ3のうち持続素片ＰCに対応する持続部［Ｖ］と音声素片ＰB3に対応する遷移部［Ｖ-ｎ］との間に位置する中間遷移部［Ｖ-Ｖ］に対応する。具体的には、素材音声Ｍ3のうち対象音素/Ｖ/の持続部［Ｖ］内の定常的な状態が終了して後行音素/ｎ/の発音に遷移する直前までの区間が音声素片ＰB4として抽出され、後行音素/ｎ/の発音が開始される直前から後行音素/ｎ/の発音に遷移した直後までの区間が音声素片ＰA4として抽出される。例えば、発声者が対象音素/Ｖ/の発音から経時的に口を閉じて完全に閉じ切る直前までの区間が音声素片ＰB4に対応し、発声者が口を完全に閉じ切る直前から後行音素/ｎ/の発音に遷移するまでの区間が音声素片ＰB3に対応する。

対象音素/Ｖ/の持続時間が長い素材音声Ｍ3から抽出された音声素片ＰA3と、対象音素/Ｖ/の持続時間が短い素材音声Ｍ2から抽出された音声素片ＰA2や対象音素/Ｖ/の持続部［Ｖ］が存在しない素材音声Ｍ1から抽出された音声素片ＰA1とは、各々を構成する音素の種類（受聴者が知覚する発音内容）は共通するが音響特性は相違する。同様に、素材音声Ｍ3から抽出された音声素片ＰB3と、素材音声Ｍ2から抽出された音声素片ＰB2や素材音声Ｍ1から抽出された音声素片ＰB1とは、音素の種類は共通するが音響特性は相違する。

第２実施形態の音声合成部２４は、図６に示すように、第１実施形態と同様の第１合成動作および第２合成動作と、素材音声Ｍ3から抽出された音声素片Ｐ（ＰA3，ＰA4，ＰB3，ＰB4）を使用して合成音を生成する第３合成動作とを選択的に実行する。具体的には、音声合成部２４は、各単位音に指定された継続長ＸB2を基準長ＸREF1および基準長ＸREF2（ＸREF1＜ＸREF2）と比較し、継続長ＸB2が基準長ＸREF1を下回る場合（ＸB2＜ＸREF1）には第１合成動作を実行し、基準長ＸB2が基準長ＸREF1と基準長ＸREF2との間の数値である場合（ＸREF1≦ＸB2＜ＸREF2）には第２合成動作を実行し、基準長ＸB2が基準長ＸREF2を上回る場合（ＸB2≧ＸREF2）には第３合成動作を実行する。

図６に示すように、第３合成動作では、音声素片ＰE1（遷移部［＃-ｆ］）と音声素片ＰA3（遷移部［ｆ-Ｖ］）と音声素片ＰA4（中間遷移部［Ｖ-Ｖ］）と持続素片ＰCと音声素片ＰB4（中間遷移部［Ｖ-Ｖ］）と音声素片ＰB3（遷移部［Ｖ-ｎ］）と音声素片ＰE2（遷移部［ｎ-＃］）とを以上の順番で相互に連結することで単位音の音声信号Ｓを生成する。すなわち、音声合成部２４は、音声素片ＰA3に音声素片ＰA4を後続させるとともに音声素片ＰA4に持続素片ＰCを後続させ、持続素片ＰCに音声素片ＰB4を後続させるとともに音声素片ＰB4に音声素片ＰB3を後続させる。持続素片ＰCを継続長ＸB2に応じて伸縮する動作は第１実施形態と同様である。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、第１実施形態と同様の第１合成動作および第２合成動作に加えて、素材音声Ｍ1や素材音声Ｍ2と比較して対象音素の持続時間が長い素材音声Ｍ3から抽出された音声素片Ｐ（ＰA3，ＰA4，ＰB3，ＰB4）を使用する第３合成動作が実行される。具体的には、単位音の継続長ＸB2が短い場合には、対象音素の持続時間が短い素材音声Ｍ1の音声素片Ｐ（ＰA1，ＰB1）が使用され、継続長ＸB2が中程度の場合には、対象音素の持続時間が中程度の素材音声Ｍ2の音声素片Ｐ（ＰA2，ＰB2）が使用され、継続長ＸB2が長い場合には、対象音素の持続時間が長い素材音声Ｍ3の音声素片Ｐ（ＰA3，ＰA4，ＰB3，ＰB4）が使用される。したがって、継続長ＸB2の長短に関わらず聴感的に自然な合成音を生成できるという効果は格別に顕著である。

＜変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。

（１）前述の各形態では、時間的に持続可能な１個の対象音素に着目したが、複数の対象音素を含む発音内容が指定された単位音も前述の各形態と同様に合成される。例えば、単語“fun”を構成する複数の音素のうち母音の音素/Ｖ/と子音（鼻音）の音素/ｎ/とを対象音素とした場合には図７のように合成音が生成される。

図７に示すように、音素/Ｖ/を対象音素とした動作と音素/ｎ/を対象音素とした動作とが前述の各形態と同様に実行される。例えば第２合成動作では、素材音声Ｍ2のうち対象音素/ｎ/から後行音素/＃/に対する遷移部［ｎ-＃］の音声素片ＰB2が対象音素/ｎ/の持続素片ＰCに連結される。また、第３合成動作では、素材音声Ｍ3のうち対象音素/ｎ/の前方の中間遷移部［ｎ-ｎ］に対応する音声素片ＰA4が対象音素/ｎ/の持続素片ＰCの直前に配置され、素材音声Ｍ3のうち対象音素/ｎ/の持続部［ｎ］の後方に位置する中間遷移部［ｎ-ｎ］の音声素片ＰB4と、素材音声Ｍ3のうち対象音素/ｎ/から後方音素/＃/に対する遷移部［ｎ-＃］の音声素片ＰB3とが対象音素/ｎ/の持続素片ＰCの直後に配置される。

（２）前述の各形態では、単位音に指定された継続長ＸB2に応じて音声合成部２４の動作（第１合成動作／第２合成動作／第３合成動作）を選択したが、音声合成部２４の動作を選択する条件は任意に変更される。例えば、入力装置（図示略）に対する利用者からの指示（合成動作の指定）に応じて各単位音の合成動作を選択することも可能である。また、各単位音に指定された継続長ＸB2以外の変数に応じて音声合成部２４の動作を選択することも可能である。具体的には、単位音に指定された速度（強度に相当するベロシティ）に応じて音声合成部２４の動作を制御する構成が採用される。例えば、単位音に指定された速度が高い場合（速度が所定値を上回る場合）に第１合成動作を実行し、単位音に指定された速度が低い場合（速度が所定値を下回る場合）に第２合成動作を実行する構成（更に速度が低い場合に第３合成動作を実行する構成）が好適である。

（３）前述の各形態では、英語を発音した合成音を生成する場合を例示したが、合成音の言語は任意である。例えば、日本語，スペイン語，中国語，韓国語等の各種の言語の合成音も前述の各形態と同様に生成される。

（４）前述の各形態では、情報取得部２２が合成情報ＤBを生成および編集する構成を例示したが、情報取得部２２が例えば通信網を介して外部装置から合成情報ＤBを取得する構成や、情報取得部２２が可搬型の記録媒体から合成情報ＤBを取得する構成も採用され得る。合成情報ＤBが記憶装置１４に事前に記憶された構成では情報取得部２２を省略することも可能である。また、音声合成装置１００とは独立した外部装置（例えばサーバ装置）が音声素片群ＤAを保持する構成も採用される。音声合成装置１００の音声合成部２４は、例えば通信網を介して外部装置から音声素片Ｐを取得して合成音の音声信号Ｓを生成する。以上の説明から理解されるように、音声素片群ＤAを記憶する要素（記憶装置１４）は音声合成装置１００の必須の要件ではない。

１００……音声合成装置、１２……演算処理装置、１４……記憶装置、１６……放音装置、２２……情報取得部、２４……音声合成部。

Claims (5)

1. 第１素材音声のうち先行音素から対象音素に対する遷移部に対応する第１音声素片と、前記対象音素の持続時間が前記第１素材音声と比較して長い第２素材音声のうち前記先行音素から前記対象音素に対する遷移部に対応する第２音声素片と、前記対象音素が定常的に持続する持続部に対応する持続素片とを含む複数の音声素片を利用して合成音を生成する音声合成手段であって、前記第１音声素片を使用して合成音を生成する第１合成動作と、前記第２音声素片に前記持続素片を後続させて合成音を生成する第２合成動作とを実行可能な音声合成手段
   を具備する音声合成装置。
2. 前記音声合成手段は、対象音素の持続時間が前記第２素材音声と比較して長い第３素材音声のうち前記先行音素から前記対象音素に対する遷移部に対応する第３音声素片と、前記第３素材音声のうち前記第３音声素片に対応する遷移部と前記対象音素が定常的に持続する持続部との間の中間遷移部に対応する第４音声素片とを利用可能であり、前記第１合成動作および前記第２合成動作と、前記第３音声素片に前記第４音声素片を後続させるとともに前記第４音声素片に前記持続素片を後続させて合成音を生成する第３合成動作とを実行可能である
   請求項１の音声合成装置。
3. 第１素材音声のうち対象音素から後行音素に対する遷移部に対応する第１音声素片と、前記対象音素の持続時間が前記第１素材音声と比較して長い第２素材音声のうち前記対象音素から前記後行音素に対する遷移部に対応する第２音声素片と、前記対象音素が定常的に持続する持続部に対応する持続素片とを含む複数の音声素片を利用して合成音を生成する音声合成手段であって、前記第１音声素片を使用して合成音を生成する第１合成動作と、前記持続素片に前記第２音声素片を後続させて合成音を生成する第２合成動作とを実行可能な音声合成手段
   を具備する音声合成装置。
4. 前記音声合成手段は、前記対象音素の持続時間が前記第２素材音声と比較して長い第３素材音声のうち前記対象音素から前記後行音素に対する遷移部に対応する第３音声素片と、前記第３素材音声のうち前記対象音素が定常的に持続する持続部と前記第３音声素片に対応する遷移部との間の中間遷移部に対応する第４音声素片とを利用可能であり、前記第１合成動作および前記第２合成動作と、前記持続素片に前記第４音声素片を後続させるとともに前記第４音声素片に前記第３音声素片を後続させて合成音を生成する第３合成動作とを実行可能である
   請求項３の音声合成装置。
5. 前記音声合成手段は、合成音に指定された継続長が短い場合に前記第１合成動作を実行し、合成音に指定された継続長が長い場合に前記第２合成動作を実行する
   請求項１から請求項４の何れかの音声合成装置。

Images