JP6047922B2 - 音声合成装置および音声合成方法 - Google Patents

Description

本発明は、複数の音声素片の連結で発話音や歌唱音等の音声を合成する技術に関する。

複数の音声素片を相互に連結することで所望の音声を合成する素片接続型の音声合成技術では、音声素片を目標の時間長に伸縮する必要がある。特許文献１には、複数種の音声素片を定常部と過渡部とに分類し、音声素片の時間長を定常部と過渡部とで個別に調整する構成が開示されている。例えば過渡部と比較して定常部を大きく伸縮させる。

特開平７−１２９１９３号公報

特許文献１の技術では、定常部または過渡部に分類された１個の音声素片の範囲内では一定の伸縮率で時間長が調整される。しかし、実際の発音では、１個の音声素片（音素）の範囲内でも区間毎に伸長の度合が相違するという傾向がある。したがって、特許文献１の技術では、音声素片を伸長した場合に聴感的に不自然な音声（すなわち現実の発声音から乖離した音声）が合成される可能性がある。以上の事情を考慮して、本発明は、音声素片を伸長した場合でも聴感的に自然な音声を合成することを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の第１態様に係る音声合成装置は、相異なる音素に対応する複数の音素区間（例えば音素区間Ｓ1および音素区間Ｓ2）を含む音声素片を各々が示す複数の音声素片データを利用して音声信号を生成する装置であって、第１音声素片（例えば音声素片Ｖ1）のうち子音の音素に対応する末尾の音素区間と第２音声素片（例えば音声素片Ｖ2）のうち子音の音素に対応する先頭の音素区間とを相互に連結した対象区間（例えば対象区間ＷA）のうち中央部の伸長率が当該対象区間内の先頭部および末尾部の各々の伸長率と比較して高くなるように対象区間を伸長する伸長処理を実行することで、目標の時間長にわたる調整区間（例えば調整区間ＷB）の合成素片データ（例えば合成素片データＤB）を生成する素片調整手段（例えば素片調整部２６）と、素片調整手段が生成した合成素片データから音声信号を生成する音声合成手段（例えば音声合成部２８）とを具備する。以上の構成では、１個の子音の音素に対応する対象区間の内部で伸長率が変化するから、１個の音声素片の範囲内で伸縮率が一定値に維持される特許文献１の技術と比較して聴感的に自然な音声を合成できるという利点がある。

本発明の好適な態様において、音声素片データは、時間軸上の各フレームに対応する複数の単位データを含み、素片調整手段は、対象区間の先頭部（例えば先頭部σ1）に対応する複数の単位データの時系列と、対象区間の中点（例えば時点ｔAc）に対応する単位データを反復した複数の単位データの時系列と、対象区間の末尾部（例えば末尾部σ2）に対応する複数の単位データの時系列とを配列した合成素片データを生成する。以上の態様では、対象区間の先頭部に対応する複数の単位データの時系列と対象区間の末尾部に対応する複数の単位データの時系列とが調整区間の各フレームの単位データとして適用されるから、例えば先頭部や末尾部も伸長される構成と比較して伸長処理が簡素化されるという利点がある。以上の態様に係る対象区間の伸長は、対象区間が有声子音の音素に対応する場合に特に好適である。

本発明の好適な態様において、有声子音のフレームの単位データは、音声のスペクトルの包絡線における形状の特徴を指定する包絡形状データと、音声のスペクトルを示すスペクトルデータとを含み、素片調整手段は、対象区間が有声子音の音素に対応する場合に、対象区間の中点の前後の単位データの包絡形状データを補間した包絡形状データと、中点の直前または直後の単位データのスペクトルデータとを含む単位データを、対象区間の中点に対応する単位データとして生成する。以上の態様では、対象区間の中点の前後の単位データの包絡形状データの補間で生成された包絡形状データが伸長後の単位データに含まれるから、対象区間の中点の音声成分を適切に伸長した自然な音声を合成できるという利点がある。

本発明の好適な態様において、音声素片データは、時間軸上の各フレームに対応する複数の単位データを含み、素片調整手段は、対象区間の各フレームの単位データを調整区間の各フレームの単位データとして順次に選択することで合成素片データを生成し、調整区間内の各フレームに対応する対象区間内のフレームが調整区間内での時間経過に対して推移する速度（例えば進行速度ν）は、調整区間の中点（例えば中点ｔBc）に前方から接近するほど低下し、かつ、調整区間の中点から後方に離間するほど上昇する。以上の態様に係る対象区間の伸長は、対象区間が無声子音の音素に対応する場合に特に好適である。

本発明の好適な態様において、無声音のフレームの単位データは、音声のスペクトルを示すスペクトルデータを含み、素片調整手段は、対象区間が無声子音の音素に対応する場合に、対象区間内のフレームの単位データのスペクトルデータが示すスペクトルの包絡線（例えば包絡線ＥNV）に応じて所定の雑音成分（例えば雑音成分μ）を調整したスペクトルのスペクトルデータを含む単位データを調整区間内の単位データとして生成する。例えば、素片調整手段が、対象区間内の各フレームの単位データを順次に選択し、選択した各単位データのスペクトルデータが示すスペクトルの包絡線に応じて雑音成分を調整することで調整区間内の単位データを生成する構成（例えば第２実施形態）や、素片調整手段が、対象区間内の特定のフレーム（例えば対象区間の中点に対応する１個のフレーム）に対応する単位データのスペクトルデータが示すスペクトルの包絡線に応じて雑音成分を調整することで調整区間内の各単位データを生成する構成（例えば第３実施形態）が好適である。以上の態様では、対象区間の単位データが示すスペクトルの包絡線に応じて雑音成分（典型的には白色雑音）を調整したスペクトルの単位データが生成されるから、対象区間内の１個のフレームが調整区間内の複数のフレームにわたって反復される場合でも、音響特性がフレーム毎に変化する自然な音声を合成することが可能である。

ところで、実際に発声された音素の伸長の態様は音素の種別に応じて区々である。しかし、特許文献１の技術では、定常部と過渡部との間で伸長率を相違させるに過ぎないから、音素の種別によっては自然な音声を合成できない可能性がある。以上の事情を考慮して、本発明の第２態様に係る音声合成装置は、相異なる音素に対応する複数の音声素片データを利用して音声信号を生成する装置であって、音声素片データが示す音素を伸長する素片調整手段とを具備し、素片調整手段は、音声素片データが示す音素の種別に応じて伸長の方法を相違させる。以上の態様では、伸長対象となる音素の種別に応じて伸長の方法が選定されるから、特許文献１の技術と比較して自然な音声を合成することが可能である。

例えば、第１態様と第２態様とを併合した構成の好適例において、音声素片の末尾に位置するとともに声道の一時的な変形により発音される第１種別（例えば種別Ｃ1aや種別Ｃ1b）の子音の音素に対応する音素区間（例えば音素区間Ｓ2）は、声道の変形の直前の準備過程（例えば準備過程ｐA1や準備過程ｐB1）を含み、音声素片の先頭に位置するとともに第１種別の子音の音素に対応する音素区間（例えば音素区間Ｓ1）は、声道の一時的な変形で当該音素が発音される発音過程（例えば発音過程ｐA2や発音過程ｐB2）を含み、音声素片の末尾に位置するとともに定常的に持続可能な第２種別（例えば第２種別Ｃ2）の子音の音素に対応する音素区間は、当該音素の発音が開始する過程（例えば前方部ｐC1）を含み、音声素片の先頭に位置するとともに第２種別の子音の音素に対応する音素区間は、当該音素の発音が終了する過程（例えば後方部ｐC2）を含み、素片調整手段は、対象区間に対応する音素が第１種別に属する子音の音素である場合、第１音声素片の末尾の音素区間と第２音声素片の先頭の音素区間との間に中間区間を挿入することで調整区間の合成素片データを生成し、対象区間に対応する音素が第２種別に属する子音の音素である場合、伸長処理の実行で合成素片データを生成する。以上の態様では、第１態様と同様の効果が実現されるほか、声道の一時的な変形により発音される第１種別の音素を適切に伸長することが可能である。

例えば、素片調整手段は、対象区間に対応する子音の音素が、第１種別の音素のうち準備過程（例えば準備過程ｐA1）にて気流が停止する音素（例えば破裂音や破擦音）である場合、無音区間を中間区間として挿入する。また、素片調整手段は、対象区間に対応する子音の音素が、第１種別の音素のうち準備過程（例えば準備過程ｐB1）にて通気により発音が維持される音素（例えば流音や鼻音）である場合、第１音声素片または第２音声素片の特定の区間を複数回にわたって反復した区間を中間区間として挿入する。具体的には、第１音声素片の末尾の区間を複数回にわたって反復した区間を中間区間として挿入する構成や、第２音声素片の先頭の区間を複数回にわたって反復した区間を中間区間として挿入する構成が好適である。

以上の各態様に係る音声合成装置は、音声合成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）で実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働でも実現される。本発明のプログラム（例えばプログラムＰGM）は、相異なる音素に対応する複数の音素区間を含む音声素片を各々が示す複数の音声素片データを利用して音声信号を生成するために、コンピュータに、第１音声素片のうち子音の音素に対応する末尾の音素区間と第２音声素片のうち子音の音素に対応する先頭の音素区間とを相互に連結した対象区間のうち中央部の伸長率が先頭部および末尾部の各々の伸長率と比較して高くなるように対象区間を伸長する伸長処理を実行することで、目標の時間長にわたる調整区間の合成素片データを生成する素片調整処理と、素片調整処理で生成した合成素片データから音声信号を生成する音声合成処理とを実行させる。以上のプログラムによれば、本発明の音声合成装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

本発明の第１実施形態に係る音声合成装置のブロック図である。 記憶装置に格納された素片群の模式図である。 音素の種別を示す図表である。 破裂音や破擦音の時間波形と音声素片各音素区間との関係を示す模式図である。 流音や鼻音の時間波形と音声素片の各音素区間との関係を示す模式図である。 摩擦音や半母音の時間波形と音声素片各音素区間との関係を示す模式図である。 音声素片の選択および合成時間長の設定の説明図である。 対象区間の伸長の説明図である。 素片調整部が子音の音素を伸長する動作のフローチャートである。 第１挿入処理の説明図である。 第２挿入処理の説明図である。 伸長処理の説明図である。 伸長処理の内容を示すフローチャートである。 有声音の音素に対する伸長処理の説明図である。 有声音の音素に対する伸長処理の説明図である。 無声音の音素に対する伸長処理の説明図である。 第２実施形態における無声音の音素に対する伸長処理の説明図である。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音声合成装置１００のブロック図である。音声合成装置１００は、発話音や歌唱音等の音声を素片接続型の音声合成処理で生成する信号処理装置であり、図１に示すように、演算処理装置１２と記憶装置１４と放音装置１６とを具備するコンピュータシステムで実現される。

演算処理装置１２（ＣＰＵ）は、記憶装置１４に格納されたプログラムＰGMの実行で、合成音の波形を表す音声信号ＶOUTを生成するための複数の機能（素片選択部２２，音素長設定部２４，素片調整部２６，音声合成部２８）を実現する。なお、演算処理装置１２の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が一部の機能を実現する構成も採用され得る。放音装置１６（例えばヘッドホンやスピーカ）は、演算処理装置１２が生成した音声信号ＶOUTに応じた音波を放射する。

記憶装置１４は、演算処理装置１２が実行するプログラムＰGMや演算処理装置１２が使用する各種のデータ（素片群ＧA，合成情報ＧB）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として採用される。

記憶装置１４に格納される素片群ＧAは、図２に示すように、相異なる音声素片Ｖに対応する複数の音声素片データＤAの集合（音声合成ライブラリ）である。図２に示すように、第１実施形態における１個の音声素片Ｖは、相異なる音素に対応する２個の音素区間Ｓ（Ｓ1，Ｓ2）を連結したダイフォン（音素連鎖）である。音素区間Ｓ1は、音声素片Ｖの始点を含む区間である。音素区間Ｓ2は、音声素片Ｖの終点を含む区間であり、音素区間Ｓ1に後続する。なお、以下では便宜的に無音を１個の音素として説明する。

図２に示すように、各音声素片データＤAは、分類情報ＤCと複数の単位データＵAの時系列とを含んで構成される。分類情報ＤCは、音声素片Ｖのうち音素区間Ｓ1および音素区間Ｓ2の各々に対応する音素の分類（以下「音素分類」という）を指定する。例えば図３に示すように、母音（/ａ/，/ｉ/，/ｕ/），破裂音（/ｔ/，/ｋ/，/ｐ/），破擦音（/ｔｓ/），鼻音（/ｍ/，/ｎ/），流音（/ｒ/），摩擦音（/ｓ/，/ｆ/），半母音（/ｗ/，/ｙ/）等の音素分類が分類情報ＤCで指定される。１個の音声素片Ｖの音声素片データＤAに含まれる複数の単位データＵAの各々は、その音声素片Ｖ（音素区間Ｓ1および音素区間Ｓ2）を時間軸上で区分した各フレームの音声のスペクトルを規定する。有声音の音素（母音または有声子音）に対応する単位データＵAと無声音（無声子音）に対応する単位データＵAとは、以下に詳述するように内容が相違する。

有声音の音素に対応する１個の単位データＵAは、図２に示すように、包絡形状データＲとスペクトルデータＱとを含んで構成される。包絡形状データＲは、音声のスペクトルの包絡線（音色）の形状的な特徴を示す複数の変数で構成される。第１実施形態の包絡形状データＲは、例えば励起波形エンベロープｒ1と胸部レゾナンスｒ2と声道レゾナンスｒ3と差分スペクトルｒ4とを含むＥｐＲ（Excitation plus Resonance）パラメータであり、公知のＳＭＳ（Spectral Modeling Synthesis）分析で生成される。なお、ＥｐＲパラメータやＳＭＳ分析については、例えば特許第３７１１８８０号公報や特開２００７−２２６１７４号公報にも開示されている。

励起波形エンベロープ（Excitation Curve）ｒ1は、声帯振動のスペクトルの包絡線を近似する変数である。胸部レゾナンス（Chest Resonance）ｒ2は、胸部共鳴特性を近似する所定個のレゾナンス（帯域通過フィルタ）の帯域幅と中心周波数と振幅値とを指定する。声道レゾナンス（Vocal Tract Resonance）ｒ3は、声道共鳴特性を近似する複数のレゾナンスの各々について帯域幅と中心周波数と振幅値とを指定する。差分スペクトルｒ4は、励起波形エンベロープｒ1と胸部レゾナンスｒ2と声道レゾナンスｒ3とで近似されるスペクトルと音声のスペクトルとの差分（誤差）を意味する。

無声音の音素に対応する１個の単位データＵAはスペクトルデータＱを含んで構成される。無声音の単位データＵAに包絡形状データＲは含まれない。有声音および無声音の双方の単位データＵAに含まれるスペクトルデータＱは、音声のスペクトルを示すデータであり、具体的には、周波数軸上の複数の周波数の各々における強度（パワー，振幅値）の系列で構成される。

図３に示すように、各音素分類に属する子音の音素は、調音方法に応じて第１種別Ｃ1（Ｃ1a，Ｃ1b）と第２種別Ｃ2とに区分される。第１種別Ｃ1の音素は、所定の準備状態から声道を一時的に変形させることで発音される。第１種別Ｃ1は、種別Ｃ1aと種別Ｃ1bとに区分される。種別Ｃ1aの音素は、発音前の準備状態で口腔および鼻腔の双方の通気が完全に停止する音素である。具体的には破裂音（/ｔ/，/ｋ/，/ｐ/）や破擦音（/ｔｓ/）が種別Ｃ1aに属する。種別Ｃ1bの音素は、準備状態で通気は制約されるが口腔の一部や鼻腔を介した通気により準備状態でも発音が維持される音素である。具体的には、鼻音（/ｍ/，/ｎ/）や流音（/ｒ/）が種別Ｃ1bに属する。他方、第２種別Ｃ2の音素は、定常的な発音が持続され得る音素である。具体的には摩擦音（/ｓ/，/ｆ/）や半母音（/ｗ/，/ｙ/）が第２種別Ｃ2に属する。

図４から図６の各々の部分(A)には、各種別（Ｃ1a，Ｃ1b，Ｃ2）の音素の時間波形が例示されている。種別Ｃ1aの音素（例えば破裂音/ｔ/）は、図４の部分(A)に示すように、時間軸上で準備過程ｐA1と発音過程ｐA2とに区分される。準備過程ｐA1は、音素の発音に備えて声道を閉鎖する過程である。声道の閉鎖で通気が停止するから、準備過程ｐA1では略無音の状態となる。他方、発音過程ｐA2は、準備過程ｐA1から声道を一時的かつ急速に変形させて気流を解放することで音素が実際に発音される過程である。具体的には、準備過程ｐA1で声道の上流側に圧縮された空気が、発音過程ｐA2では、例えば舌先で上顎を弾く動作により一気に解放される。

図４の部分(B)に示すように、音声素片Ｖの末尾の音素区間Ｓ2が種別Ｃ1aの音素に対応する場合、その音素区間Ｓ2は音素の準備過程ｐA1を含む。また、図４の部分(C)に示すように、音声素片Ｖのうち種別Ｃ1aの音素に対応する先頭の音素区間Ｓ1はその音素の発音過程ｐA2を含む。すなわち、図４の部分(B)の音素区間Ｓ2に図４の部分(C)の音素区間Ｓ1を後続させることで種別Ｃ1aの音素（破裂音/ｔ/）が合成される。

図５の部分(A)に示す通り、種別Ｃ1bの音素（例えば鼻音/ｎ/）は、時間軸上で準備過程ｐB1と発音過程ｐB2とに区分される。準備過程ｐB1は、音素の発音に備えて声道の通気を制限する過程である。種別Ｃ1bの音素の準備過程ｐB1は、声門からの通気は制約されるものの口腔の一部や鼻腔を介した通気により発音が維持される点で、通気の停止により略無音に維持される種別Ｃ1aの音素の準備過程ｐA1とは相違する。他方、発音過程ｐB2は、発音過程ｐA2と同様に、準備過程ｐB1から声道を一時的かつ急速に変形させることで音素を実際に発音する過程である。図５の部分(B)に示すように、種別Ｃ1bの音素の準備過程ｐB1は音声素片Ｖの末尾の音素区間Ｓ2に含まれ、種別Ｃ1bの音素の発音過程ｐB2は音声素片Ｖの先頭の音素区間Ｓ1に含まれる。

第２種別Ｃ2の音素（例えば摩擦音/ｓ/）は、図６の部分(A)に示すように、時間軸上で前方部ｐC1と後方部ｐC2とに区分される。前方部ｐC1は、その音素の発音が開始して定常的な持続状態に遷移する過程であり、後方部ｐC2は、定常的な持続状態からその音素の発音が終了する過程である。図６の部分(B)に示すように、前方部ｐC1は音声素片Ｖの末尾の音素区間Ｓ2に含まれ、後方部ｐC2は音声素片Ｖの先頭の音素区間Ｓ1に含まれる。特定の発声者の音声から以上の条件を満たすように各音声素片Ｖが抽出されて各音素区間Ｓが画定されたうえで音声素片Ｖ毎の音声素片データＤAが作成される。

図１に示すように、記憶装置１４には、合成音を時系列に指定する合成情報（スコアデータ）ＧBが記憶される。合成情報ＧBは、合成音の発音文字Ｘ1と発音期間Ｘ2とピッチＸ3とを例えば音符毎に時系列に指定する。発音文字Ｘ1は、例えば歌唱音を合成する場合の歌詞の文字列であり、発音期間Ｘ2は、例えば発音の開始時刻と継続長とで指定される。合成情報ＧBは、例えば各種の入力機器に対する利用者からの指示に応じて生成されて記憶装置１４に格納される。なお、他の通信端末から通信網を介して受信された合成情報ＧBや可搬型の記録媒体から転送された合成情報ＧBを音声信号ＶOUTの生成に使用することも可能である。

図１の素片選択部２２は、合成情報ＧBが時系列に指定する各発音文字Ｘ1に対応した音声素片Ｖを素片群ＧAから順次に選択する。例えば図７に示すように、「go straight」という文字列が合成情報ＧBの発音文字Ｘ1として指定された場合、素片選択部２２は、［Sil-gh］，［gh-@U］，［@U-s］，［s-t］，［t-r］，［r-eI］，［eI-t］，［t-Sil］という８個の音声素片Ｖを選択する。なお、各音素の記号は、SAMPA（Speech Assessment Methods Phonetic Alphabet）に準拠している。なお、X-SAMPA（eXtended - SAMPA）でも同様の表記である。なお、図７の記号「Sil」は無音（Silence）を意味する。

図１の音素長設定部２４は、素片選択部２２が順次に選択する音声素片Ｖの各音素区間Ｓ（Ｓ1，Ｓ2）について、音声信号ＶOUTの合成に適用されるときの時間長（以下「合成時間長」という）Ｔを可変に設定する。各音素区間Ｓの合成時間長Ｔは、合成情報ＧBが時系列に指定する発音期間Ｘ2に応じて選定される。具体的には、音素長設定部２４は、図７に示すように、発音文字Ｘ1を構成する主要な母音の音素（図７の斜体字の音素）の始点がその発音文字Ｘ1の発音期間Ｘ2の始点に合致し、かつ、相前後する音素区間Ｓが時間軸上に隙間なく配列するように、各音素区間Ｓの合成時間長Ｔ（Ｔ(Sil)，Ｔ(gh)，Ｔ(@U)，……）を設定する。

図１の素片調整部２６は、素片選択部２２が選択した音声素片Ｖの各音素区間Ｓを、その音素区間Ｓについて音素長設定部２４が設定した合成時間長Ｔに応じて伸縮する。例えば図８に示すように、素片選択部２２が音声素片Ｖ1と音声素片Ｖ2とを選択した場合、素片調整部２６は、音声素片Ｖ1のうち１個の音素に対応する末尾の音素区間Ｓ2と、音声素片Ｖ2のうちその音素に対応する先頭の音素区間Ｓ1とを連結した時間長ＬAの区間（以下「対象区間」という）ＷAを目標の時間長ＬBにわたる区間（以下「調整区間」という）ＷBに伸縮し、伸縮後の調整区間ＷBの音声を示す合成素片データＤBを生成する。なお、図８では対象区間ＷAを伸長する場合（ＬA＜ＬB）が例示されている。調整区間ＷBの時間長ＬBは、音声素片Ｖ1の音素区間Ｓ2の合成時間長Ｔと音声素片Ｖ2の音素区間Ｓ1の合成時間長Ｔとの合計である。図８に示すように、素片調整部２６が生成する合成素片データＤBは、調整区間ＷBの時間長ＬBに応じた個数（Ｎ個）の単位データＵBの時系列である。図７および図８に示す通り、音声素片Ｖ1の音素区間Ｓ2と直後の音声素片Ｖ2の音素区間Ｓ1との組毎（すなわち音素毎）に１個の合成素片データＤBが生成される。

図１の音声合成部２８は、素片調整部２６が音素毎に生成する合成素片データＤBを利用して音声信号ＶOUTを生成する。具体的には、音声合成部２８は、各合成素片データＤBを構成する各単位データＵBが示すスペクトルを時間波形に変換したうえで相互に連結し、合成情報ＧBのピッチＸ3に応じて音高を調整することで音声信号ＶOUTを生成する。

図９は、素片調整部２６が子音の音素を伸長して合成素片データＤBを生成する処理のフローチャートである。図９の処理は、１個の子音の音素（以下「対象音素」という）について素片選択部２２による音声素片Ｖの選択と音素長設定部２４による合成時間長Ｔの設定とが実行されるたびに開始される。図８の例示のように、音声素片Ｖ1のうち対象音素に対応する音素区間Ｓ2と音声素片Ｖ2のうち対象音素に対応する音素区間Ｓ1とで構成される時間長ＬAの対象区間ＷAを時間長ＬBの調整区間ＷBに伸長することで合成素片データＤB（調整区間ＷBの各フレームに対応するＮ個の単位データＵBの時系列）を生成する場合を以下では想定する。

図９の処理を開始すると、素片調整部２６は、対象音素が種別Ｃ1aに属するか否かを判定する（ＳA1）。具体的には、音声素片Ｖ1の音声素片データＤAの分類情報ＤCが対象音素の音素区間Ｓ2について示す音素分類が、種別Ｃ1aに属する所定の分類（破裂音や破擦音）に該当するか否かに応じて素片調整部２６は処理ＳA1の判定を実行する。対象音素が種別Ｃ1aに属する場合（ＳA1：YES）、素片調整部２６は、第１挿入処理の実行で調整区間ＷBの合成素片データＤBを生成する（ＳA2）。

第１挿入処理は、図１０に示すように、音声素片Ｖ1の末尾の音素区間Ｓ2と直後の音声素片Ｖ2の先頭の音素区間Ｓ1との間に中間区間ＭAを挿入することで対象区間ＷAを時間長ＬBの調整区間ＷBに伸長する処理である。図４を参照して説明した通り、種別Ｃ1aの音素に対応する音素区間Ｓ2には略無音の準備過程ｐA1が含まれる。そこで、素片調整部２６は、処理ＳA2の第１挿入処理において、無音を示す複数の単位データＵAの時系列を中間区間ＭAとして挿入する。すなわち、処理ＳA2の第１挿入処理で生成される合成素片データＤBは、図１０に示すように、音声素片Ｖ1の音素区間Ｓ2の各単位データＵAと中間区間（無音区間）ＭAの各単位データＵAと音声素片Ｖ2の音素区間Ｓ1の各単位データＵAとを順番に配列したＮ個の単位データＵBの時系列で構成される。

対象音素が種別Ｃ1aに属さない場合（ＳA1：NO）、素片調整部２６は、対象音素が種別Ｃ1b（流音，鼻音）に属するか否かを判定する（ＳA3）。処理ＳA3の判定の方法は処理ＳA1と同様である。対象音素が種別Ｃ1bに属する場合（ＳA3：YES）、素片調整部２６は、第２挿入処理の実行で調整区間ＷBの合成素片データＤBを生成する（ＳA4）。

第２挿入処理は、図１１に示すように、音声素片Ｖ1の末尾の音素区間Ｓ2と直後の音声素片Ｖ2の先頭の音素区間Ｓ1との間に中間区間ＭBを挿入することで対象区間ＷAを時間長ＬBの調整区間ＷBに伸長する処理である。図５を参照して説明した通り、種別Ｃ1bの音素に対応する音素区間Ｓ2には、口腔の一部や鼻腔を介した発音を維持する準備過程ｐB1が含まれる。そこで、素片調整部２６は、処理ＳA4の第２挿入処理において、音声素片Ｖ1の最後尾のフレームの単位データＵA（図１１の斜線部）を反復的に配列した複数の単位データＵAの時系列を中間区間ＭBとして挿入する。したがって、処理ＳA4の第２挿入処理で生成される合成素片データＤBは、音声素片Ｖ1の音素区間Ｓ2の各単位データＵAとその音素区間Ｓ2の最後尾の単位データＵAの複数個と音声素片Ｖ2の音素区間Ｓ1の各単位データＵAとを順番に配列したＮ個の単位データＵBの時系列で構成される。

以上に説明した通り、対象音素が第１種別Ｃ1（Ｃ1a，Ｃ1b）に属する場合、素片調整部２６は、音声素片Ｖ1の末尾の音素区間Ｓ2と音声素片Ｖ2の先頭の音素区間Ｓ1との間に中間区間Ｍ（ＭA，ＭB）を挿入することで調整区間ＷBの合成素片データＤBを生成する。なお、種別Ｃ1aに属する音素のうち準備過程ｐA1（音声素片Ｖ1の音素区間Ｓ2）の最後尾のフレームは略無音であるから、対象音素が種別Ｃ1aに属する場合に、処理ＳA4と同様に、音素区間Ｓ2の最後尾のフレームの単位データＵAの時系列を中間区間ＭBとして挿入する第２挿入処理を実行することも可能である。

対象音素が第２種別Ｃ2に属する場合（ＳA1：NO，ＳA3：NO）、素片調整部２６は、対象音素の対象区間ＷAのうち時間軸方向における中央部の伸長率が対象区間ＷAの先頭部および末尾部の各々の伸長率と比較して高くなる（より伸長する）ように対象区間ＷAを伸長する伸長処理を実行することで時間長ＬBの調整区間ＷBの合成素片データＤBを生成する（ＳA5）。

図１２は、処理ＳA5の伸長処理による伸長後の調整区間ＷB（横軸）と伸長前の対象区間ＷA（縦軸）との時間的な対応関係を示すグラフである。調整区間ＷB内の各フレームに対応する対象区間ＷA内の各時点が黒点で表記されている。図１２に軌跡ｚ1（破線）および軌跡ｚ2（実線）として図示される通り、調整区間ＷB内の各フレームは対象区間ＷA内の１個の時点に対応する。具体的には、調整区間ＷBの始点ｔBsのフレームは対象区間ＷAの始点ｔAsのフレームに対応し、調整区間ＷBの終点ｔBeのフレームは対象区間ＷAの終点ｔAeのフレームに対応する。また、調整区間ＷBの中点ｔBcのフレームは対象区間ＷAの中点ｔAcのフレームに対応する。調整区間ＷB内の各フレームに対応する単位データＵAは、対象区間ＷA内でそのフレームに対応する時点の単位データＵAに応じて生成される。

調整区間ＷB内での所定の単位時間に対応する対象区間ＷA内の時間長（時間軸上の距離）を以下では進行速度νと表記する。すなわち、進行速度νは、調整区間ＷB内の各フレームに対応する対象区間ＷA内のフレームが調整区間ＷB内での時間経過に対して推移する速度である。したがって、進行速度νが１である区間（例えば調整区間ＷBの先頭部や末尾部）では対象区間ＷA内の各フレームと調整区間ＷB内の各フレームとが１対１に対応し、進行速度νが０である区間（例えば調整区間ＷB内の中央部）では調整区間ＷB内の複数のフレームが対象区間ＷA内の１個のフレームに対応する（すなわち調整区間ＷB内での時間経過に対して対象区間ＷA内のフレームが推移しない）。

図１２には、調整区間ＷB内における進行速度νの時間的な変化を示すグラフが併記されている。図１２に示すように、素片調整部２６は、調整区間ＷBの始点ｔBsから中点ｔBcにかけて進行速度νが１から０に減少し、かつ、中点ｔBcから調整区間ＷBの終点ｔBeにかけて進行速度νが０から１に増加するように、調整区間ＷB内の各フレームと対象区間ＷA内の各フレームとを対応させる。

具体的には、進行速度νは、調整区間ＷBの始点ｔBsから途中の時点ｔB1まで１に維持され、時点ｔB1から経時的に減少して調整区間ＷBの中点ｔBcで０に到達する。中点ｔBc以降は、始点ｔBsから中点ｔBcまでの区間を中点ｔBcに関して時間軸方向に線対称に反転した軌跡で進行速度νは変化する。進行速度νが以上のように増減する結果、前述の通り、対象音素の対象区間ＷAのうち時間軸方向における中央部の伸長率が対象区間ＷAの先頭部および末尾部の各々の伸長率と比較して高くなるように対象区間ＷAが伸長される。

図１２に示すように、進行速度νの変化率（傾き）は、時点ｔB1と中点ｔBcとの途中の時点ｔB2で変化（低下）する。時点ｔB2は、始点ｔBsから対象区間ＷAの半分の時間長（ＬA/２）が経過する時点に相当する。時点ｔB1は、時点ｔB2から時間長α・(ＬA/２)だけ手前の時点である。変数αは、０以上かつ１以下の範囲内で選定される。調整区間ＷBの中点ｔBcと対象区間ＷAの中点ｔAcとを相互に対応させるためには、図１２の三角形γ1と三角形γ2とが同面積となる必要がある。時点ｔB1での進行速度νREFは、以上の条件を充足するように変数αに応じて選定される。

図１２から理解される通り、変数αが１に近付くほど、調整区間ＷB内で進行速度νが低下し始める時点ｔB1が始点ｔBsに近付く。すなわち、変数αを１に設定した場合には調整区間ＷBの始点ｔBsから進行速度νが低下し、変数αを０に設定した場合（ｔB1＝ｔB2）には、時点ｔB2にて進行速度νが１から０に不連続に変化する。すなわち、変数αは、対象区間ＷAのうち伸長の対象となる区間の広狭を決定する数値（例えば変数αが１に近いほど対象区間ＷAの全体が均等に伸長される）である。図１２に破線で図示された軌跡ｚ1は、変数αを０に設定した場合における調整区間ＷBと対象区間ＷAとの対応であり、実線で図示された軌跡ｚ2は、変数αを０と１との間の数値（例えば０.７５）に設定した場合における調整区間ＷBと対象区間ＷAとの対応である。

図１３は、図９の処理ＳA5で実行される伸長処理のフローチャートである。伸長処理を開始すると、素片調整部２６は、対象音素が有声音であるか否か（図９の処理が子音を対象として実行されることを考慮すると、対象音素が有声子音であるか否か）を判定する（ＳB1）。対象音素が有声音である場合（ＳB1：YES）、素片調整部２６は、調整区間ＷBと対象区間ＷAとが軌跡ｚ1の関係を満たすように対象区間ＷAを伸長することで調整区間ＷBの合成素片データＤBを生成する（ＳB2）。処理ＳB2の具体例を以下に詳述する。

まず、図１４に示す通り、対象区間ＷAが奇数個（(2K+1)個）のフレームＦA[1]〜ＦA[2K+1]で構成される場合を想定する。図１４では、対象区間ＷAが７個のフレームＦA[1]〜ＦA[7]で構成された場合（Ｋ＝３）が例示されている。対象区間ＷAは、中点の時点ｔAcに対応する１個のフレームＦA[K+1]と、時点ｔAcの前方のＫ個のフレームＦA[1]〜ＦA[K]で構成される先頭部σ1と、時点ｔAcの後方のＫ個のフレームＦA[K+2]〜ＦA[2K+1]で構成される末尾部σ2とに区分される。素片調整部２６は、対象素片の(2K+1)個の単位データＵAのうち先頭部σ1のＫ個のフレームＦA[1]〜ＦA[K]の単位データＵAの時系列と、中点ｔAcに対応するフレームＦA[K+1]の単位データＵAを複数回にわたり反復した時系列と、末尾部σ2のＫ個のフレームＦA[K+2]〜ＦA[2K+1]の単位データＵAの時系列とを順番に配列したＮ個の単位データＵBの時系列（フレームＦB[1]〜ＦB[N]）を合成素片データＤBとして生成する。

次に、図１５に示すように、対象区間ＷAが偶数個（２Ｋ個）のフレームＦA[1]〜ＦA[2K]で構成される場合を想定する。図１５では、対象区間ＷAが６個のフレームＦA[1]〜ＦA[6]で構成された場合（Ｋ＝３）が例示されている。偶数個のフレームＦAで構成される対象区間ＷAは、Ｋ個のフレームＦA[1]〜ＦA[K]で構成される先頭部σ1とＫ個のフレームＦA[K+1]〜ＦA[2K]で構成される末尾部σ2とに区分され、対象区間ＷAの中点ｔAcに対応するフレームＦA[K+0.5]は存在しない。そこで、素片調整部２６は、中点ｔAcの直前のフレームＦA[K]の単位データＵAと直後のフレームＦA[K+1]の単位データＵAとを利用して、対象区間ＷAの中点ｔAcのフレームＦA[K+0.5]に対応する単位データＵAを生成する。

前述の通り、有声音の単位データＵAは、包絡形状データＲとスペクトルデータＱとを含んで構成される。包絡形状データＲについてはフレーム間で変数（ｒ1〜ｒ4）毎の補間が可能である。他方、スペクトルデータＱが示すスペクトルはフレーム毎に刻々と変化するから、スペクトルデータＱをフレーム間で補間した場合には補間前のスペクトルから特性が乖離したスペクトルが算定される可能性がある。すなわち、スペクトルデータＱについては適切な補間が困難である。

以上の事情を考慮して、第１実施形態の素片調整部２６は、対象区間ＷAの中点ｔAcのフレームＦA[K+0.5]における単位データＵAの包絡形状データＲを、直前のフレームＦA[K]と直後のフレームＦA[K+1]との間で包絡形状データＲの各変数（ｒ1〜ｒ4）を補間することで算定する。例えば図１５の例示では、フレームＦA[3.5]の単位データＵAの包絡形状データＲは、フレームＦA[3]の包絡形状データＲとフレームＦA[4]の包絡形状データとの補間により生成される。包絡形状データＲの補間には例えば直線補間等の各種の補間処理が任意に採用される。

また、素片調整部２６は、対象区間ＷAの中点ｔAcの直後のフレームＦA[K+1]の単位データＵAのスペクトルデータＱ（または直前のフレームＦA[K]のスペクトルデータＱ）を、対象区間ＷAの中点ｔAcに対応するフレームＦA[K+0.5]における単位データＵAのスペクトルデータＱとして流用する。例えば図１５の例示では、フレームＦA[4]（またはフレームＦA[3]）の単位データＵAのスペクトルデータＱがフレームＦA[3.5]のスペクトルデータＱとして選択される。以上の説明から理解されるように、素片調整部２６が生成する合成素片データＤBは、対象素片の２Ｋ個の単位データＵAのうち先頭部σ1のＫ個のフレームＦA[1]〜ＦA[K]の単位データＵAの時系列と、補間により生成されたフレームＦA[K+0.5]の単位データＵAを複数回にわたり反復した時系列と、末尾部σ2のＫ個のフレームＦA[K+1]〜ＦA[2K]の単位データＵAの時系列とを順番に配列したＮ個の単位データＵB（フレームＦB[1]〜ＦB[N]）で構成される。

他方、対象音素が無声音である場合（ＳB1：NO）、素片調整部２６は、調整区間ＷBと対象区間ＷAとが軌跡ｚ2の関係を満たすように対象区間ＷAを伸長することで調整区間ＷBの合成素片データＤBを生成する（ＳB3）。前述の通り、無声音の単位データＵAは、スペクトルデータＱを含んで構成されて包絡形状データＲを含まない。素片調整部２６は、対象区間ＷAを構成する複数のフレームのうち調整区間ＷB内の各フレームに対して軌跡ｚ2に最も近い関係にあるフレームの単位データＵAを調整区間ＷBのＮ個のフレームの各々の単位データＵBとして選択することで、Ｎ個の単位データＵBで構成される合成素片データＤBを生成する。

図１６には、調整区間ＷBの任意の１個のフレームＦB[n]に対応する対象区間ＷA内の時点ｔAnが図示されている。調整区間ＷBのフレームＦB[n]に対して軌跡ｚ2の関係を満たす時点ｔAnのフレームが対象区間ＷA内に存在しない場合、素片調整部２６は、単位データＵAの補間を実行せずに、対象区間ＷA内の時点ｔAnに最も近いフレームＦAの単位データＵAを、調整区間ＷBのフレームＦB[n]の単位データＵBとして選択する。すなわち、対象区間ＷA内で時点ｔAnの直前のフレームＦA[m]および直後のフレームＦA[m+1]のうち時点ｔAnに近いフレームＦAの単位データＵAが合成素片データＤBのフレームＦB[n]の単位データＵBとして選択される。したがって、調整区間ＷB内の各フレームと対象区間ＷA内の各フレームとの対応関係は、軌跡ｚ2に沿う折線で表現される軌跡ｚ2aの関係となる。

以上に説明した通り、第１実施形態では、１個の子音の音素に対応する対象区間ＷAの内部で伸長率が変化するから、１個の音声素片の範囲内では伸縮率が一定値に維持される特許文献１の構成と比較して聴感的に自然な音声を合成することが可能である。

また、第１実施形態では、子音の音素の種別（Ｃ1a，Ｃ1b，Ｃ2）に応じて伸長の方法が変更されるから、音素毎の特徴（特に受聴者が音素を識別するうえで重要な区間）を過度に変化させることなく各音素を伸長できるという利点がある。

例えば、種別Ｃ1aの音素（破裂音や破擦音）については準備過程ｐA1と発音過程ｐA2との間に無音の中間区間ＭAが挿入されるから、受聴者が音素を識別するうえで特に重要な発音過程ｐA2の特性を殆ど変化させずに対象区間ＷAを伸長できるという利点がある。同様に、種別Ｃ1bの音素（流音や鼻音）については準備過程ｐB1の最後のフレームを反復した中間区間ＭBが準備過程ｐB1と発音過程ｐB2との間に挿入されるから、音素の識別にとって特に重要な発音過程ｐB2の特性を殆ど変化させずに対象区間ＷAを伸長できるという利点がある。第２種別Ｃ2の音素（摩擦音や半母音）については、対象区間ＷAの中央部の伸長率が先頭部や末尾部の伸長率と比較して高くなるように対象区間ＷAが伸長されるから、受聴者が音素を識別するうえで特に重要な先頭部や末尾部の特性を過度に変化させずに対象区間ＷAを伸長することが可能である。

また、第２種別Ｃ2の音素の伸長処理では、補間演算が困難なスペクトルデータＱについては音声素片データＤA内の単位データＵAのスペクトルデータＱが合成素片データＤBに適用される一方、包絡形状データＲについては対象区間ＷA内の中点ｔAcの前後のフレームを対象とした補間で算定された包絡形状データＲが合成素片データＤBの単位データＵBに含められる。したがって、包絡形状データＲの補間を実行しない構成と比較して聴感的に自然な音声を合成できるという利点がある。

なお、有声子音の音素を伸長する方法としては、例えば調整区間ＷB内の各フレームの包絡形状データＲについては軌跡ｚ1に沿うように補間により算定し、スペクトルデータＱについては軌跡ｚ2に沿うように音声素片データＤから選択するという方法（以下「対比例」という）も想定され得る。しかし、対比例の方法では、包絡形状データＲとスペクトルデータＱとで特性が乖離し、合成音が聴感的に不自然な特性となる可能性がある。第１実施形態では、包絡形状データＲおよびスペクトルデータＱの双方が軌跡ｚ2に沿うように合成素片データＤBの各単位データが生成されるから、対比例と比較して聴感的に自然な音声を合成できるという利点がある。ただし、対比例を本発明の範囲から除外する趣旨ではない。

＜Ｂ：第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

第１実施形態では、対象音素が無声音である場合に、対象区間ＷAを構成する複数のフレームのうち調整区間ＷB内の各フレームに対して軌跡ｚ2aの関係を満たすフレームの単位データＵAを選択した。第１実施形態の構成では、対象区間ＷA内の１個のフレームの単位データＵAが調整区間ＷB内の複数のフレーム（図１６の反復区間τ）にわたって反復的に選択され得る。しかし、１個の単位データＵAが反復された合成素片データＤBで生成される合成音は、人工的で不自然な音声となる可能性がある。第２実施形態は、１個の単位データＵAの反復に起因した合成音の不自然さを低減するための形態である。

図１７は、第２実施形態における素片調整部２６の動作の説明図である。対象音素が無声音である場合（ＳB1：NO）、素片調整部２６は、調整区間ＷB内のＮ個のフレームの各々（ＦB[n]）の各々について以下の処理を実行することで、各フレームに対応するＮ個の単位データＵBを生成する。

まず、素片調整部２６は、対象区間ＷAの複数のフレームＦAのうち調整区間ＷB内の１個のフレームＦB[n]に対応する時点ｔAnに最も近いフレームＦAを第１実施形態と同様に選択し、図１７に示すように、選択したフレームＦAの単位データＵAのスペクトルデータＱが示すスペクトルの包絡線ＥNVを算定する。そして、素片調整部２６は、時間軸上で乱数的に刻々と変化する所定の雑音成分μを包絡線ＥNVに応じて調整した音声成分のスペクトルｑを算定する。周波数軸上の広範囲にわたって強度が略均一に維持された白色雑音が雑音成分μとして好適である。スペクトルｑは、例えば、雑音成分μのスペクトルに包絡線ＥNVを乗算することで算定される。素片調整部２６は、スペクトルｑを示すスペクトルデータＱを含む単位データＵAを、調整区間ＷB内のフレームＦB[n]の単位データＵBとして生成する。

以上に説明した通り、第２実施形態では、対象音素が無声子音である場合に、対象区間ＷAの単位データＵAで規定されるスペクトルの周波数特性（包絡線ＥNV）を雑音成分μに付加することで合成素片データＤBの単位データＵBが生成される。雑音成分μの各周波数での強度は時間軸上で乱数的に刻々と変化するから、対象区間ＷA内の１個の単位データＵAが調整区間ＷB内の複数のフレームにわたって反復的に選択された場合でも、合成音の特性は経時的（フレーム毎）に刻々と変化する。したがって、第２実施形態によれば、第１実施形態と同様の効果に加えて、１個の単位データＵAの反復に起因した合成音の不自然さを第１実施形態と比較して低減できるという利点がある。

＜Ｃ：第３実施形態＞
第２実施形態でも説明した通り、無声子音については対象区間ＷA内の１個の単位データＵAが調整区間ＷB内の複数のフレームにわたって反復され得る。他方、無声子音の各フレームは基本的には無声音であるが、有声音のフレームが混在する可能性もある。そして、無声子音の音素の合成音において有声音のフレームが反復された場合には、非常に耳障りな周期性の雑音（ビー音）が発音されるという問題がある。第３実施形態は、以上の問題を解決するための形態である。

第３実施形態の素片調整部２６は、調整区間ＷBのうち軌跡ｚ2にて対象区間ＷA内の１個のフレームに連続して対応する反復区間τ内の各フレームについて、対象区間ＷA内の中点ｔAcに対応するフレームの単位データＵAを選択する。そして、素片調整部２６は、対象区間ＷAの中点ｔAcに対応する１個の単位データＵAのスペクトルデータＱが示すスペクトルの包絡線ＥNVを算定し、所定の雑音成分μを包絡線ＥNVに応じて調整したスペクトルのスペクトルデータＱを含む単位データＵAを、調整区間ＷBのうち反復区間τ内の各フレームの単位データＵBとして生成する。すなわち、反復区間τ内の複数のフレームについてスペクトルの包絡線ＥNVは共通する。なお、対象区間ＷAの中点ｔAcに対応する単位データＵAを包絡線ＥNVの算定元として選定したのは、対象区間ＷAの中点ｔAcの近傍で無声子音の発音が安定し易い（無声音である可能性が高い）という傾向があるからである。

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、対象区間ＷA内の１個の単位データＵA（特に中点ｔAcに対応する単位データＵA）から特定される包絡線ＥNVを利用して反復区間τ内の各フレームの単位データＵBが生成されるから、無声子音の音素の合成音において有声音のフレームが反復される可能性が低減される。したがって、有声音のフレームの反復に起因した周期性の雑音の発生を抑制できるという利点がある。

＜Ｄ：変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。

（１）前述の各実施形態では、子音の音素の種別（Ｃ1a，Ｃ1b，Ｃ2）に応じて対象区間ＷAの伸長の方法を相違させたが、各種別の音素の対象区間ＷAを共通の方法で伸長することも可能である。例えば、対象区間ＷAの中央部の伸長率が先頭部および末尾部の伸長率と比較して高くなるように対象区間ＷAを伸長する伸長処理（図９の処理ＳA5）を、種別Ｃ1aや種別Ｃ1bの音素の対象区間ＷAの伸長に適用することも可能である。

（２）図９の処理ＳA5で実行される伸長処理の方法は適宜に変更される。例えば、対象音素が有声音である場合（ＳB1：YES）に、調整区間ＷBの各フレームと対象区間ＷAの各フレームとが軌跡ｚ2の関係を満たすように対象区間ＷAを伸長することも可能である。調整区間ＷB内の各フレームの単位データＵBのうち包絡形状データＲは、対象区間ＷA内の各単位データＵAをフレーム間で補間することにより生成され、単位データＵB内のスペクトルデータＱとしては、対象区間ＷA内の単位データＵAのスペクトルデータＱが選択される。また、対象音素が無声音である場合（ＳB1：NO）に、調整区間ＷBの各フレームと対象区間ＷAの各フレームとが軌跡ｚ1の関係を満たすように対象区間ＷAを伸長することも可能である。

（３）前述の各形態の第２挿入処理では、音声素片Ｖ1の最後尾のフレームの単位データＵA（図１１の斜線部）を反復的に配列することで中間区間ＭBを生成したが、第２挿入処理で中間区間ＭBの生成に使用される単位データＵAの時間軸上の位置（フレーム）は適宜に変更される。例えば、音声素片Ｖ2の先頭のフレームの単位データＵAを反復的に配列することで中間区間ＭBを生成することも可能である。以上の例示から理解されるように、第２挿入処理は、音声素片Ｖ1または音声素片Ｖ2の特定の区間（音声素片Ｖ1の最後尾のフレームや音声素片Ｖ2の先頭のフレーム）を複数回にわたって反復した区間を中間区間として挿入する処理として包括される。

（４）第２実施形態では、対象区間ＷA内から選択した１個の単位データＵが示すスペクトルの包絡線ＥNVを雑音成分μの調整に適用したが、フレーム間の補間で算定された包絡線ＥNVに応じて雑音成分μを調整することも可能である。例えば、図１６を参照して説明したように、調整区間ＷBのフレームＦB[n]に対して軌跡ｚ1の関係を満たす時点ｔAnのフレームが対象区間ＷA内に存在しない場合に、時点ｔAnの直前のフレームＦA[m]の単位データＵAが示すスペクトルの包絡線ＥNV[m]と、直後のフレームＦA[m+1]の単位データＵAが示すスペクトルの包絡線ＥNV[m+1]とを補間することで時点ｔAnの包絡線ＥNVを生成し、補間後の包絡線ＥNVに応じて第２実施形態と同様に雑音成分μを調整する。

（５）音声素片データＤAや合成素片データＤBの形式は任意である。例えば、前述の各実施形態では、音声素片Ｖの各フレームのスペクトルを示す単位データＵの時系列を音声素片データＤAとして使用したが、例えば音声素片Ｖの時間軸上のサンプル系列を音声素片データＤAとして使用することも可能である。

（６）前述の各形態では、素片群ＧAを記憶する記憶装置１４が音声合成装置１００に搭載された構成を例示したが、音声合成装置１００とは独立した外部装置（例えばサーバ装置）が素片群ＧAを保持する構成も採用される。音声合成装置１００（素片選択部２２）は、例えば通信網を介して外部装置から音声素片Ｖ（音声素片データＤA）を取得して音声信号ＶOUTを生成する。同様に、音声合成装置１００から独立した外部装置に合成情報ＧBを保持することも可能である。以上の説明から理解されるように、音声素片データＤAや合成情報ＧBを記憶する要素（前述の各形態における記憶装置１４）は音声合成装置１００の必須の要素ではない。

１００……音声合成装置、１２……演算処理装置、１４……記憶装置、１６……放音装置、２２……素片選択部、２４……音素長設定部、２６……素片調整部、２８……音声合成部。

Claims (7)

1. 相異なる音素に対応する複数の音素区間を含む音声素片を各々が示す複数の音声素片データを利用して音声信号を生成する装置であって、
   第１音声素片のうち子音の音素に対応する末尾の音素区間と第２音声素片のうち前記子音の音素に対応する先頭の音素区間とを相互に連結した対象区間のうち中央部の伸長率が当該対象区間内の先頭部および末尾部の各々の伸長率と比較して高くなるように前記対象区間を伸長する伸長処理を実行することで、目標の時間長にわたる調整区間の合成素片データを生成する素片調整手段と、
   前記素片調整手段が生成した合成素片データから音声信号を生成する音声合成手段とを具備し、
   前記音声素片データは、時間軸上の各フレームに対応する複数の単位データを含み、
   前記素片調整手段は、前記対象区間が有声子音の音素に対応する場合に、前記対象区間の前記先頭部に対応する複数の単位データの時系列と、前記対象区間の中点に対応する単位データを反復した複数の単位データの時系列と、前記対象区間の前記末尾部に対応する複数の単位データの時系列とを配列した前記合成素片データを生成する
   音声合成装置。
2. 前記有声子音のフレームの単位データは、音声のスペクトルの包絡線における形状の特徴を指定する包絡形状データと、音声のスペクトルを示すスペクトルデータとを含み、
   前記素片調整手段は、前記対象区間が有声子音の音素に対応する場合に、前記対象区間の中点の前後の単位データの前記包絡形状データを補間した包絡形状データと、前記中点の直前または直後の単位データのスペクトルデータとを含む単位データを、前記対象区間の前記中点に対応する単位データとして生成する
   請求項１の音声合成装置。
3. 前記素片調整手段は、前記対象区間が無声子音の音素に対応する場合に、前記対象区間の各フレームの単位データを前記調整区間の各フレームの単位データとして順次に選択することで前記合成素片データを生成し、
   前記調整区間内の各フレームに対応する前記対象区間内のフレームが前記調整区間内での時間経過に対して推移する速度は、前記調整区間の中点に前方から接近するほど低下し、かつ、前記調整区間の中点から後方に離間するほど上昇する
   請求項１または請求項２の音声合成装置。
4. 相異なる音素に対応する複数の音素区間を含む音声素片を各々が示す複数の音声素片データを利用して音声信号を生成する装置であって、
   第１音声素片のうち子音の音素に対応する末尾の音素区間と第２音声素片のうち前記子音の音素に対応する先頭の音素区間とを相互に連結した対象区間のうち中央部の伸長率が当該対象区間内の先頭部および末尾部の各々の伸長率と比較して高くなるように前記対象区間を伸長する伸長処理を実行することで、目標の時間長にわたる調整区間の合成素片データを生成する素片調整手段と、
   前記素片調整手段が生成した合成素片データから音声信号を生成する音声合成手段とを具備し、
   前記音声素片データは、時間軸上の各フレームに対応する複数の単位データを含み、
   前記素片調整手段は、前記対象区間が無声子音の音素に対応する場合に、前記対象区間の各フレームの単位データを前記調整区間の各フレームの単位データとして順次に選択することで前記合成素片データを生成し、
   前記調整区間内の各フレームに対応する前記対象区間内のフレームが前記調整区間内での時間経過に対して推移する速度は、前記調整区間の中点に前方から接近するほど低下し、かつ、前記調整区間の中点から後方に離間するほど上昇する
   音声合成装置。
5. 無声音のフレームの単位データは、音声のスペクトルを示すスペクトルデータを含み、
   前記素片調整手段は、前記対象区間が無声子音の音素に対応する場合に、前記対象区間内のフレームの単位データのスペクトルデータが示すスペクトルの包絡線に応じて所定の雑音成分を調整したスペクトルのスペクトルデータを含む単位データを前記調整区間内の単位データとして生成する
   請求項３または請求項４の音声合成装置。
6. 相異なる音素に対応する複数の音素区間を含む音声素片を各々が示す複数の音声素片データを利用して音声信号を生成するために、コンピュータが、
   第１音声素片のうち子音の音素に対応する末尾の音素区間と第２音声素片のうち前記子音の音素に対応する先頭の音素区間とを相互に連結した対象区間のうち中央部の伸長率が当該対象区間内の先頭部および末尾部の各々の伸長率と比較して高くなるように前記対象区間を伸長する伸長処理を実行することで、目標の時間長にわたる調整区間の合成素片データを生成し、
   前記生成した合成素片データから音声信号を生成する方法であって、
   前記音声素片データは、時間軸上の各フレームに対応する複数の単位データを含み、
   前記合成素片データの生成では、前記対象区間が有声子音の音素に対応する場合に、前記対象区間の前記先頭部に対応する複数の単位データの時系列と、前記対象区間の中点に対応する単位データを反復した複数の単位データの時系列と、前記対象区間の前記末尾部に対応する複数の単位データの時系列とを配列した前記合成素片データを生成する
   音声合成方法。
7. 相異なる音素に対応する複数の音素区間を含む音声素片を各々が示す複数の音声素片データを利用して音声信号を生成するために、コンピュータが、
   第１音声素片のうち子音の音素に対応する末尾の音素区間と第２音声素片のうち前記子音の音素に対応する先頭の音素区間とを相互に連結した対象区間のうち中央部の伸長率が当該対象区間内の先頭部および末尾部の各々の伸長率と比較して高くなるように前記対象区間を伸長する伸長処理を実行することで、目標の時間長にわたる調整区間の合成素片データを生成し、
   前記生成した合成素片データから音声信号を生成する方法であって、
   前記音声素片データは、時間軸上の各フレームに対応する複数の単位データを含み、
   前記合成素片データの生成では、前記対象区間が無声子音の音素に対応する場合に、前記対象区間の各フレームの単位データを前記調整区間の各フレームの単位データとして順次に選択することで前記合成素片データを生成し、
   前記調整区間内の各フレームに対応する前記対象区間内のフレームが前記調整区間内での時間経過に対して推移する速度は、前記調整区間の中点に前方から接近するほど低下し、かつ、前記調整区間の中点から後方に離間するほど上昇する
   音声合成方法。

Images