JP5176981B2 - 音声合成装置、およびプログラム - Google Patents

Description

本発明は、音声を合成する技術に関し、特に、複数の音声素片を接続して音声を合成する素片接続方式の音声合成技術に関する。

この種の音声合成技術の一例としては、素片接続方式の歌唱合成が挙げられる。素片接続方式の歌唱合成では、単一の音素や音素から音素への遷移部分など歌唱音声の素材となる各種の音声素片の波形を定義した音声素片データを予めデータベースに格納しておくことが一般的である。そして、ある歌詞をあるメロディに合わせて歌唱する歌唱音声を合成する際には、歌詞を構成する音声素片の音声素片データをデータベースから読み出し、各々のピッチをメロディに合わせるためのピッチ変換を施した後に連結して、歌唱音声の波形を示すデータを合成する（特許文献１〜３参照）。

特開２００７−２４０５６４号公報 特開２００６−１７９４６号公報 特開２０００−３２００号公報

素片接続方式の音声合成で自然な音声を合成するためには、できるだけ多くの音声素片をデータベースに格納しておく必要がある。音韻の種類（有声、無声、母音の欠落など）、前後の音韻の組み合わせや、声質、情感などを考慮すると、データベース化しておくべき音声素片の数は膨大なものになる。このため、携帯型ゲーム機やＰＤＡ（Personal Digital Assistants）、携帯電話などの携帯端末に音声合成を実行させようとすると、データベース化しておく音声素片の数が大きな問題となる。これら携帯端末は大容量の記憶装置を有しておらず、格納可能なデータサイズに制限があるからである。
本発明は上記課題に鑑みて為されたものであり、素片接続方式の音声合成において、データベース化する音声素片の数を従来より少なくしても自然な音声を合成できるようにする技術を提供することを目的とする。

上記課題を解決するため、本発明は、各種の音声素片の波形を示す波形データを含む音声素片データが格納されている音声素片データベースと、音声合成の対象言語の母音の全部または一部について、無声発音の波形を表す無声化テンプレートが母音毎に格納されている記憶手段と、音声の合成に用いる音声素片に対応する音声素片データを前記音声素片データベースから選択する手段であって、無声化された母音を含む音声素片が音声合成に用いられる場合には、当該母音を有声化した音声素片の音声素片データを前記音声素片データベースから選択する素片選択手段と、前記素片選択手段により選択される音声素片データが無声化された母音を含む音声素片に対して選択されたものである場合には、何れかの無声化テンプレートが示す波形を当該音声素片データの示す波形のスペクトルエンベロープと同様なスペクトルエンベロープを有する波形に加工し、当該音声素片データを当該加工後の波形を示す音声素片データに変換して出力する一方、他の音声素片に対して選択されたものである場合には、そのまま出力する無声化変換手段と、前記無声化変換手段から出力される各音声素片データに含まれる波形データを調整しつつ連結して出力する素片連結手段とを有することを特徴とする音声合成装置、を提供する。

このような音声合成装置によれば、無声化母音を含む音声素片の音声素片データが音声素片データベースに格納されていなくても、当該母音を有声発音した場合の音声素片の波形のスペクトルエンベロープと無声化テンプレートの示す波形のスペクトルとから当該無声化母音を含む音声素片の音声素片データが生成され音声合成に使用される。つまり、この音声合成装置によれば、無声化母音の音声素片をデータベース化の対象から除外しても、従来技術と同様に自然な音声の合成を行うことができる。なお、本発明の別の態様においては、コンピュータ装置を素片選択手段、無声化変換手段および素片連結手段として機能させるプログラムを提供する態様であっても良い。

より好ましい態様においては、上記音声合成装置の無声化変換手段は、無声化母音を含む音声素片と無声化母音を含まない音声素片とが連続して音声合成に用いられる場合には、当該無声化母音を含む音声素片において、前記素片選択手段により選択される音声素片データの示す波形と前記加工後の波形とがクロスフェードするように当該音声素片データを変換することを特徴とする。このような態様によれば無声化母音を含む音声素片と無声化母音を含まない音声素片のつなぎ目が不自然になることを回避することが可能になる。

さらに好ましい態様においては、上記音声合成装置の無声化変換手段は、前記素片選択手段により選択される音声素片データの示す波形と前記加工後の波形とがクロスフェードするように変換した音声素片データに、そのクロスフェードにおけるミキシング比率に応じた気息音を付与して出力することを特徴とする。このように気息音などの所謂非調和成分の音を上記ミキシング比率に応じて付与することによって、より自然な感じの音声を合成することが可能になる。

また、本発明の別の態様においては、各種の音声素片の波形を示す波形データを含む音声素片データが格納されている音声素片データベースと、音声合成の対象言語の母音の全部または一部について、有声発音の波形を示す有声化テンプレートが母音毎に格納されている記憶手段と、音声の合成に用いる音声素片に対応する音声素片データを前記音声素片データベースから選択する手段であって、有声発音される母音を含む音声素片が音声合成に用いられる場合には、当該母音を無声化した音声素片の音声素片データを前記音声素片データベースから選択する素片選択手段と、前記素片選択手段により選択される音声素片データが有声発音される母音を含む音声素片に対して選択されたものである場合には、何れかの有声化テンプレートが示す波形を当該音声素片データの示す波形のスペクトルエンベロープと同様なスペクトルエンベロープを有する波形に加工し、当該音声素片データを当該加工後の波形を示す音声素片データに変換して出力する一方、他の音声素片に対して選択されたものである場合には、そのまま出力する有声化変換手段と、前記有声化変換手段から出力される各音声素片データに含まれる波形データを調整しつつ連結して出力する素片連結手段とを有することを特徴とする音声合成装置、またはコンピュータ装置を上記素片選択手段、有声化変換手段および素片連結手段として機能させることを特徴とするプログラム、を提供する。

このような音声合成装置やプログラムによれば、有声発音された母音を含む音声素片の音声素片データが音声素片データベースに格納されていなくとも、当該母音を無声発音した音声素片の波形のスペクトルエンベロープと有声化テンプレートの示す波形のスペクトルとから、有声発音された当該母音を含む音声素片の音声素片データが生成され、音声合成に使用される。ここで、無声化母音を含む音声素片と有声母音を含む音声素片の何れをデータベース化の対象から除外するのかについては、音声合成の対象言語との関係で定めるようにすれば良い。例えば、前者（無声化母音を含む音声素片）のほうが後者（有声母音を含む音声素片）に比較して出現頻度が高い言語については前者をデータベース化の対象にすれば良く、その逆の場合は後者をデータベース化の対象とすれば良い。

この発明の一実施形態である歌唱合成装置の構成例を示す図である。 発音内容（歌詞）の入力態様の一例を示す図である。 有声発音される母音を含む音声の素片構成および無声発音される母音を含む音声の素片構成の一例を説明するための図である。 同歌唱合成装置のフラッシュメモリ６に格納されている音声合成プログラム６５の構成を説明するための図である。 無声化変換手段６５４が実行する処理を説明するための図面である。 合成フレームのスペクトルエンベロープ、無声化ＥＱ特性、無性化変換でのイコライジング特性、無声化テンプレートの振幅スペクトル、同イコライジング特性で無声化変換が施された音声素片の振幅スペクトルの一例を示す図面である。

以下、図面を参照しつつ本発明の一実施形態について説明する。
図１は、本発明に係る音声合成装置の一実施形態である歌唱合成装置の構成を示すブロック図である。この歌唱合成装置は、例えば携帯電話機や携帯型ゲーム機など音声を出力する機能を備えた携帯端末に音声合成プログラムをインストールしたものである。図１において、ＣＰＵ（Central Processing Unit）１は、この歌唱合成装置の各部を制御する制御中枢である。ＲＯＭ（Read Only Memory）２は、ローダなど、この歌唱合成装置の基本的な動作を制御するための制御プログラムを記憶した読み出し専用メモリである。表示部３は、例えば液晶ディスプレイとその駆動回路であり、装置の動作状態や入力データ、利用者に対するメッセージなどを表示する。操作部４は、利用者に各種情報を入力させるための手段であり、複数の操作子（例えば、携帯型ゲーム機であればスタートボタンやカーソルキー、携帯電話であればテンキーなど）やタッチパネルなどで構成されている。インタフェース群５は、ネットワークを介して他の装置との間でデータ通信を行うためのネットワークインタフェースや、ＵＭＤ（Universal Media Disc）やＣＤ−ＲＯＭ（Compact Disk-Read
Only Memory）などの外部記録媒体との間でデータの授受を行うためのドライバなどである。フラッシュメモリ６は、各種のプログラムやデータベースなどの情報を記憶するための不揮発性記憶装置（記憶手段）である。ＲＡＭ７は、ＣＰＵ１によってワークエリアとして利用される揮発性メモリである。ＣＰＵ１は、操作部４を介して与えられる指令にしたがいフラッシュメモリ６内のプログラムをＲＡＭ７に読み出し実行する。サウンドシステム８は、この歌唱合成装置において合成される音声を出力する手段である。このサウンドシステム８は、合成音声の波形を示すデジタル音声信号（例えば、合成音声の波形を示すサンプリングデータ）をアナログ音声信号に変換するＤ／Ａ変換器と、このアナログ音声信号を増幅するアンプと、このアンプの出力信号を音として出力するスピーカ等を含んでいる。

フラッシュメモリ６に記憶されている情報としては、曲編集プログラム６１、曲データ６２、無声化テンプレート６３、音声素片データベース６４、および音声合成プログラム６５が挙げられる。曲データ６２は、曲を構成する一連の音符を表す音符データと、音符に合わせて発音する歌詞を表す歌詞データと、曲に音楽的表情を与えるためのダイナミックス情報等のその他の情報とを含んでいる。この曲データ６２は、曲毎に作成されフラッシュメモリ６に格納される。

曲編集プログラム６１は、曲データ６２を編集するためにＣＰＵ１によって実行されるプログラムである。好ましい態様において、この曲編集プログラム６１は、ピアノの鍵盤の画像からなるＧＵＩ（Graphical User Interface）を表示部３に表示させる。ユーザは、表示部３に表示される鍵盤における所望の鍵の画像に対する操作部４の操作により音符を指定し、その音符に合わせて発音する歌詞を操作部４の操作により入力することができる。ここで、歌詞の入力は、図２（Ａ）に示すように、仮名入力で行っても良く、また、図２（Ｂ）に示すように音声記号入力で行っても良い。また、音声記号入力で歌詞を入力する態様においては、図２（Ｃ）に示すように、母音の無声化を指示する音声記号（“＿０”）を付与することで素片単位で母音の無声化を指示することができる。曲編集プログラム６１は、音符とその音符に合わせて発音される歌詞に関する情報を操作部４から受け取り、音符毎に音符データと歌詞データとを対応付け、曲データ６２としてフラッシュメモリ６内に格納する。さらに、ユーザは操作部４の操作によりダイナミックス情報等を曲データ６２に追加することができる。なお、このように曲データ６２の全てを操作部４の操作により入力させるのではなく、歌唱合成装置に鍵盤を接続し、ユーザによる鍵盤の操作を検知することにより音符データを生成し、この音符データに対応させる歌詞を操作部４の操作により入力させるようにしても良い。また、他の装置で作成した曲データ６２をインタフェース群５を介してこの歌唱合成装置へ入力し、フラッシュメモリ６に格納させる態様でも良く、この態様においては曲編集プログラム６１をフラッシュメモリ６に格納しておく必要はない。

１個の音符に対応した音符データは、音符の発生時刻、音高、音符の長さを示す各情報を含んでいる。歌詞データは、音符に合わせて発音するべき歌詞を音符毎に定義したデータである。曲データ６２は、曲の開始からの発生順序に合わせて、個々の音符に対応した音符データと歌詞データとを時系列的に並べたものであり、曲データ６２内においては音符データと歌詞データとは音符単位で対応付けられている。

音声合成プログラム６５は、曲データ６２にしたがって音声（本実施形態では、歌唱音声）を合成する処理を、ＣＰＵ１に実行させるプログラムである。好ましい態様において、音声合成プログラム６５と曲編集プログラム６１は、例えばインターネット内のサイトからインタフェース群５の中の適当なものを介してダウンロードされ、フラッシュメモリ６にインストールされる。また、他の態様において、音声合成プログラム６５等は、ＣＤ−ＲＯＭやＵＭＤ等のコンピュータ装置読取可能な記録媒体に記録された状態で取引される。この態様では、インタフェース群５の中の適当なものを介して記録媒体から音声合成プログラム６５等が読み出され、フラッシュメモリ６にインストールされる。

音声素片データベース６４は、子音から母音への遷移部分、母音から他の母音への遷移部分など音素から音素への遷移部分や、母音の伸ばし音など、歌声の素材となる各種の音声素片を示す音声素片データの集合体である。これらの音声素片データは、実際に人間が発した音声波形から抽出された音声素片に基づいて作成されたデータである。音声素片データベース６４では、男性歌手、女性歌手、澄んだ声の歌手、ハスキーな声の歌手など、声質の異なった歌手毎に、各歌手の歌唱音声波形から得られる音声素片データのグループが用意されている。音声合成プログラム６５による歌唱合成の際、ユーザは、操作部４の操作により、以上のような各種の音声素片データのグループの中から歌唱合成に使用する音声素片データのグループを選択することができる。

前述したように、音声素片データベース６４には、できるだけ多くの音声素片データが格納されていることが好ましい。しかし、本実施形態では、音声素片データベース６４は、フラッシュメモリ６に格納されるので、音声素片データベース６４に格納する音声素片データの数を最小限に絞り込む必要がある。何故ならば、フラッシュメモリの記憶容量はハードディス等に比較して小さいことが一般的だからである。そこで、本実施形態では、全ての母音（例えば、日本語（標準語）であれば、“ａ”，“ｉ”，“ｕ”，“ｅ”および“ｏ”の５つ）について、無声発音されたもの（以下、無声化母音）を含む音声素片の音声素片データを格納対象から除外することで、上記絞込みが実現されている。ここで、無声化母音を含む音声素片の一例としては、単一の音素（無声化母音）のみからなるものだけでなく、子音から無声化母音への遷移部分、無声化母音から無音への遷移部分などが挙げられる。

特許文献１等に示す従来の素片接続方式の歌唱合成技術では、無声化母音を含む音声素片についても、その波形等を示す音声素片データが音声素片データベースに格納されている。何故ならば、これらの音声素片を欠く状態では音声合成に支障が生じるからである。図３（Ａ）は、母音が無声化されていない（すなわち、母音が有声発音された）「す」の発音の素片構成を示す図であり、図３（Ｂ）は、母音が無声化された「す」の発音の素片構成を示す図である。図３において、音声記号［ｕ］は有声発音された母音（う）を表し、音声記号［ｕ＿０］は無声化された母音（う）を表す。

図３（Ｂ）を参照すれば明らかなように、母音（う）が無声化された「す」の発音を合成するには、子音［ｓ］から無声化母音［ｕ＿０］への遷移部分、無声化母音［ｕ＿０］、および無声化母音［ｕ＿０］から無音［ｓｉｌ］への遷移部分の各素片が必要である。したがって、本実施形態のように、これら素片の音声素片データが音声素片データベース６４に格納されていない状況下では、従来の素片接続方式の音声合成で、母音が無声化された「す」の発音を合成することはできない。しかしながら、本実施形態では、子音［ｓ］から無声化されていない母音［ｕ］への遷移部分、同母音［ｕ］、および同母音［ｕ］から無音への遷移部分の各音声素片データと無声化テンプレート６３とから、子音［ｓ］から無声化母音［ｕ＿０］への遷移部分、同無声化母音［ｕ＿０］、および同無声化母音［ｕ＿０］から無音［ｓｉｌ］への遷移部分の音声素片データを合成することで上記のような不具合の発生を回避している。ここで、無声化テンプレート６３は、対象言語の母音のうちの任意の１つ（例えば、対象言語が日本語であれば、“ａ”）を無声発音した音の波形を示すデータ（同波形のサンプリングデータや、周波数スペクトルや位相スペクトルを表すデータ）である。この無声化テンプレート６３を利用した合成処理については後に詳細に説明する。

音声素片データベース６４に格納されている各音声素片データは、音声素片の波形を示す波形データを含んでいる。この波形データは、音声素片の波形を所定のサンプリングレートでサンプリングしたサンプル列であっても良いし、音声素片の波形のサンプル列を一定時間長のフレームに分割し、ＦＦＴ（高速フーリエ変換）を行うことにより得られたフレーム毎のスペクトル（振幅スペクトルおよび位相スペクトル）を示すデータであっても良い。また、各音声素片データは、音声素片を構成する音素の種類と各音素の開始時刻を示すセグメンテーションデータを含む。

本実施形態では、音声素片データに含まれる波形データにピッチ変換を施して利用することにより、任意のメロディに対応した歌唱音声を合成する。このピッチ変換については、例えば特許文献１に開示されている手法を採用すれば良い。ピッチ変換を行うためには、その対象である波形データのピッチに関する情報が必要である。そこで、ある好ましい態様では、歌唱合成の際のピッチ変換の便宜のため、音声素片のピッチがフレーム毎に算出され、各フレームにおけるピッチを示す素片ピッチデータが音声素片データの一部として音声素片データベース６４に格納される。また、他の好ましい態様では、歌唱合成の際の演算処理の便宜のため、上記素片ピッチデータに加えて、音声素片の振幅スペクトルの包絡線がフレーム毎に求められ、各フレームにおけるスペクトル包絡を示すスペクトル包絡データが音声素片データの一部として音声素片データベース６４に格納されている。

次いで、音声合成プログラム６５の構成について説明する。
図４は、音声合成プログラム６５の構成を説明するための図である。この音声合成プログラム６５は、所謂素片接続方式の音声合成（本実施形態では、歌唱合成）処理をＣＰＵ１に実行させるプログラムであり、図４に示すように、音声合成指示生成手段６５１、素片選択手段６５２、ピッチ変換手段６５３、無声化変換手段６５４および素片連結手段６５５を含んでいる。なお、本実施形態では、ＣＰＵ１が音声合成指示生成手段６５１等に相当するプログラムを実行することにより歌唱音声の合成を行うが、これらの各プログラムを複数のプロセッサが分担して並列実行するように構成しても良い。また、音声合成指示生成手段６５１等の各プログラムの一部を電子回路により構成しても良い。

音声合成指示生成手段６５１は、操作部４の操作により指定された曲データ６２から音声合成指示６６０を生成するプログラムである。この音声合成指示６６０は、所謂歌唱合成スコアであり、音韻データトラック６６１、ピッチデータトラック６６２、無声化係数トラック６６３、およびその他のデータトラック６６４を含んでいる。これら各データトラックは時間軸を共通にするものである。音韻データトラック６６１は、１曲分の歌唱音声を合成するのに使用する複数の音声素片と、それらの各音声素片の時間軸上における位置（具体的には、音声素片の開始タイミングおよび継続時間）を示すデータトラックである。ピッチデータトラック６６２は、合成するべき歌唱音声のピッチを示すデータトラックである。無声化係数トラック６６３は、音韻データトラック６６１の示す各音声素片について母音の無声化を行うか否かを示す無声化係数ｗが書き込まれたデータトラックである。この無声化係数トラック６６３の生成態様としては種々の態様が考えられる。

第１に、音符と対応付けて曲データ６２に格納されている歌詞にて母音の無声化が指示されている音声素片に対しては、その音声素片に含まれる母音を無声化することを示す値（例えば、１）をセットし、母音の無声化を指示されていない音声素片に対しては、母音の無声化を行わないことを示す値（例えば、０）をセットする態様である。この態様では、無声化係数トラック６６３の生成が容易といった利点がある一方、無声化母音を含む音声素片と母音を無声化しない音声素片とが隣接する場合、両素片のつなぎ目で無声化係数ｗが０から１、あるいは１から０に不連続に変化し、この不連続性に起因してノイズが発生し易いといった不具合がある。

これに対して第２の態様では、無声化係数ｗを音声素片を構成するフレーム単位でセットする態様であり、無声化母音を含む音声素片と母音を無声化しない音声素片とが隣接する場合、無声化母音を含む音声素片については、その音声素片内で無声化係数が０から１、或いは１から０に緩やかに変化するように各フレームの無声化係数ｗを０から１までの小数値でセットする態様である。この態様では、フレーム単位で小数値の無声化係数ｗをセットするため、上記第１の態様に比較して無声化係数トラック６６３の生成には手間がかかるものの、無声化母音を含む音声素片と母音を無声化しない音声素片とが隣接する場合に両素片のつなぎ目でノイズが発生するといった不具合が回避されるといった利点がある。本実施形態では、ノイズの発生を回避してより自然な音声合成を行うため、上記第２の態様で無声化係数トラック６６３が生成される。

音声合成指示生成手段６５１は、基本的には音符データに従い、また、ビブラートやポルタメント、レガートの指示がある場合にはそれに従い、ピッチデータトラック６６２を生成する。ただし、ピッチデータトラックを音符データ通りのものにすると、ピッチの変化が階段状になり、不自然な歌唱音になるので、本実施形態では、ピッチの切り換り区間においてピッチが自然な動きとなるように、ピッチデータトラック６６２が示すピッチに変化を与える。その他のデータトラック６６４は、曲データ６２に含まれるダイナミックス情報等に基づいて作成される。

素片選択手段６５２、ピッチ変換手段６５３、無声化変換手段６５４および素片連結手段６５５は、音声合成指示６６０に従って歌唱音声の波形を示す波形データである歌唱音声データを生成する役割を担っている。ここで、音声合成指示６６０から歌唱音声データを生成する処理は、１曲分の音声合成指示６６０の生成が完了した後に開始するようにしても良く、音声合成指示６６０の生成開始から少し遅れて開始するようにしても良い。

素片選択手段６５２は、音声合成指示６６０の音韻データトラック６６１において指定されている音声素片の音声素片データを音声素片データベース６４から読み出し、その音声素片データをピッチ変換手段６５３に出力するプログラムである。ただし、本実施形態では、無声化母音を含む音声素片の音声素片データは音声素片データベース６４に格納されていない。そこで、音韻データトラック６６１にて指定されている音声素片が無声化母音を含むものである場合、素片選択手段６５２は、当該無声化母音を有声発音に置き換えた音声素片の音声素片データを音声素片データベース６４から読み出し、その音声素片データをピッチ変換手段６５３へ出力する。例えば、音韻データトラック６６１にて指定されている音声素片が［ｓ−ｕ＿０］である場合には、素片選択手段６５２は、［ｓ−ｕ］の音声素片データを音声素片データベース６４から読み出しピッチ変換手段６５３へ出力する。同様に、音韻データトラック６６１にて［ｕ＿０］が指定されている場合には［ｕ］の音声素片データが、［ｕ＿０−ｓｉｌ］が指定されている場合には［ｕ−ｓｉｌ］の音声素片データが音声素片データベース６４から読み出される。加えて、素片選択手段６５２は、音声素片データをピッチ変換手段６５３に引渡す際に、その継続時間長を音声合成指示６６０において指定された音声素片の継続時間長に合わせる機能を備えている。

ピッチ変換手段６５３は、ピッチデータトラック６６２において指定されたピッチに対応した波形データとなるように、素片選択手段６５２から出力される音声素片データに含まれる波形データにピッチ変換を施すプログラムである。さらに詳述すると、例えば上記波形データが音声素片の波形を所定のサンプリングレートでサンプリングしたサンプル列である場合、ピッチ変換手段６５３は、所定サンプル数からなるフレーム単位でサンプル列のＦＦＴ（高速フーリエ変換）を行い、音声素片の振幅スペクトルおよび位相スペクトルをフレーム毎に求める。そして、ピッチデータトラック６６２において指定されたピッチに対応するように、各フレームにおける振幅スペクトルを周波数軸方向に伸張または圧縮する。その際、基音および倍音に相当する周波数の近傍は、元のスペクトルの概形が保たれるように、非線形な伸張または圧縮を行い、ピッチ変換後の振幅スペクトルとする。また、ピッチ変換後においても、ピッチ変換前のスペクトル包絡が維持されるように、非線形な圧縮または伸張を経た振幅スペクトルのレベル調整を行う。位相スペクトルに関しては、元の位相スペクトルをそのままピッチ変換後の位相スペクトルとしても良いが、振幅スペクトルの周波数軸方向の圧縮または伸張に合わせて補正を行ったものをピッチ変換後の位相スペクトルとする方が好ましい。なお、素片選択手段６５２から出力される音声素片データに含まれる波形データが音声素片を構成する各フレームの振幅スペクトルおよび位相スペクトルを表すデータである場合には、上記ＦＦＴを行うことなく周波数軸方向の圧縮または伸張を行えば良いことは言うまでもない。

無声化変換手段６５４は、ピッチ変換手段６５３から引渡される音声素片データに含まれる波形データに対して、無声化係数トラック６６３に書き込まれている無声化係数ｗの値に応じた無声化変換処理を施して素片連結手段６５５へ出力する。以下、母音［ｕ］の無声化を行う場合を例にとって、この無声化変換処理の内容を説明する。

図５は、無声化変換手段６５４が実行する無声化変換処理の流れを示すフロー図である。この無声化変換処理は、ピッチ変換手段６５３から音声素片データが引渡される度に実行される。図５に示すように、この無声化変換処理では、まず、ピッチ変換手段６５３から引き渡される音声素片データをＲＡＭ７内の所定領域へ書き込み記憶する処理（ステップＳＡ０１０）が実行される。前述したように、ピッチ変換手段６５３によるピッチ変換処理を経た音声素片データに含まれる波形データは、音声素片を構成するフレーム毎にその音声素片のスペクトル（振幅スペクトルおよび位相スペクトル）を表すデータである。以下では、各フレームのスペクトルを表すデータのことをフレームデータと呼ぶ。

次いで、無声化変換手段６５４は、ステップＳＡ０１０にてＲＡＭ７に書き込んだ音声素片データの各フレームについて、無声化係数ｗが０であるか否かを判定し（ステップＳＡ０２０）、その判定結果が“Ｙｅｓ”である場合には、ステップＳＡ０６０の処理を実行する。逆に、ステップＳＡ０２０の判定結果が“Ｎｏである場合には、無声化変換手段６５４は、その無声化係数ｗに対応するフレームデータの表すフレーム（以下、処理対象フレーム）の波形のスペクトルエンベロープと無声化テンプレート６３の示す波形のスペクトルとから、母音を無声化した波形（以下、無声化波形）を生成する処理を以下の数１および数２にしたがって実行する（ステップＳＡ０３０）。

数１は、処理対象フレームの振幅スペクトルのスペクトルエンベロープに対して施すイコライジングのＥＱ特性を示す式であり、この数１に示すＥＱ特性（周波数ωと振幅Ｅの関数関係）のスペクトルエンベロープは、図６（Ａ）にて点線で示すグラフにより表される。この数１において、Ｅ_０、Ｅ_１、ｆ_０、ｆ_１およびｆ_２は上記ＥＱ特性を規定するパラメータであり、実験等により好適な値を定めるようにすれば良い。ここで、処理対象フレームの振幅スペクトルのスペクトルエンベロープに対して上記イコライジングを施すのは、無声化テンプレート６３の示す振幅スペクトルとの馴染みを良くするためである。一方、数２において、Ｓ（ω）は処理対象フレームの振幅スペクトルのスペクトルエンベロープであり、Ｔ（ω）は無声化テンプレート６３の示す波形の振幅スペクトル、Ｅ（ω）はＥＱ特性の振幅スペクトル（数１参照）のスペクトルエンベロープである。この数２に従って算出されるＷ（ω）が上記無声化波形の振幅スペクトルを表すのである。この数２を参照すれば明らかなように、無声化波形は、無声化テンプレート６３の示す波形を、無声化対象の音声素片データの示す波形のスペクトルエンベロープと同様なスペクトルエンベロープを有する波形に加工することで生成される。

図６（Ｂ）では、無声化テンプレート６３の振幅スペクトルＴ（ω）が太線で描画されており、無声化波形の振幅スペクトルＷ（ω）が細線で描画されている。なお、図６（Ｂ）において点線は、無声化変換後の対象フレームの振幅スペクトルＷ（ω）のスペクトルエンベロープ（すなわち、Ｅ（ω）＋Ｓ（ω））である。一般に、音の音色はその音の振幅スペクトルのスペクトルエンベロープで定まり、その音が有声音であるのか無声音であるのかはその音の振幅スペクトルのスペクトル構造で定まる。数２に従って演算される振幅スペクトルＷ（ω）は、そのスペクトルエンベロープは［ｕ］の音のスペクトルエンベロープ（Ｓ（ω））に近似し、そのスペクトル構造は無声化テンプレート６３の示すスペクトル構造（Ｔ（ω）のスペクトル構造）に略等しい。したがって、振幅スペクトルＷ（ω）は、無声化された母音［ｕ＿０］の音を表すのである。

次いで、ＣＰＵ１は、ステップＳＡ０３０の処理により得られた振幅スペクトルＷ（ω）と、処理対象フレームの元々の振幅スペクトルＰ（ω）とを、数３にしたがってミキシングし（ステップＳＡ０４０）、ＲＡＭ７に格納されている音声素片データに含まれるフレームデータのうち、この処理対象フレームに該当するものを、数３の演算結果Ｍ（ω）を示すフレームデータで置き換える（ステップＳＡ０５０）。このようなミキシングを行うのは、無声化母音を含む音声素片と無声化母音を含まない音声素片のつなぎ目で不連続が生じないようにするためである。

以降、ＣＰＵ１は、ＲＡＭ７に格納されている音声素片データに含まれる全てのフレームデータについて処理を完了したか否かを判定し（ステップＳＡ０６０）、その判定結果が“Ｎｏ”である場合には、ステップＳＡ０２０以降の処理を繰り返し実行する。逆に、ステップＳＡ０６０の判定結果が“Ｙｅｓ”である場合は、ＣＰＵ１は、ＲＡＭ７に格納されている音声素片データを素片連結手段６５５に出力し（ステップＳＡ０７０）、この音声素片データに対応する音声素片についての無声化変換処理を終了する。

そして、素片連結手段６５５は、最終的に得られる歌唱音声が一連の音声素片が滑らかに繋がったものとなるように、無声化変換手段６５４の処理を経た音声素片データに含まれている波形データの調整を行い、この調整後の波形データをＩＦＦＴ（逆高速フーリエ変換）により時間領域のデジタル音声信号に変換してサウンドシステム８に出力する。

以上説明したように本実施形態に係る歌唱合成装置によれば、無声化母音を含む音声素片の音声素片データが音声素片データベース６４に格納されていなくても、特許文献１等に開示された従来の素片接続方式の歌唱合成と同様に自然な歌唱音声を合成することができる。つまり、本実施形態によれば、無声化母音を含む音声素片の分だけデータベース化する音声素片の数を削減しつつ、自然な歌唱音声の合成を行うことが可能になる。

以上、本発明の一実施形態について説明したが、この実施形態を以下のように変形しても勿論良い。
（１）上述した実施形態では、音声合成の対象言語の母音のうちの何れか１つについて無音化テンプレート６３をフラッシュメモリ６に格納しておいたが、対象言語の全ての母音についての無音化テンプレートをフラッシュメモリ６に格納しておいても良く、また、それら母音のうちから任意に選択した複数のものについての無音化テンプレートをフラッシュメモリ６に格納しておいても良い。つまり、音声合成の対象言語の母音の一部または全てについて無音化テンプレートがフラッシュメモリ６に格納されていれば良い。このように、音声合成の対象言語の母音の一部または全てについて無音化テンプレートがフラッシュメモリ６に格納されている態様においては、以下の要領でより自然な音声合成を行うことが可能になる。すなわち、無音化変換するべき音声素片に含まれている母音について、該当する無音化テンプレートがフラッシュメモリ６に格納されている場合には、その無音化テンプレートを用いて無音化変換を行い、該当するものがない場合には、フラッシュメモリ６に格納されている無音化テンプレートのうち、音響的な特徴がその無音化対象の母音に最も近い母音のものを用いて無音化変換処理を行うのである。例えば、フラッシュメモリ６に、母音［ａ］、［ｉ］および［ｕ］についての無音化テンプレートが格納されている場合には、これら３つの母音については各々に対応する無音化テンプレートを用いて無音化変換を行い、母音［ｅ］および［ｏ］については、これら３つの無音化テンプレートのうち音響的な特徴が最も近いものを用いて無音化変換を行えば良い。

（２）上述した実施形態では、無声化母音を含む音声素片の音声素片データを無声化変換手段６５４による無声化変換処理で合成することで、当該音声素片のデータベース化を不要にした。しかし、無声化母音を含む音声素片をデータベース化の対象とし、有声発音される同母音を含む音声素片をデータベース化の対象から除外しても良い。このように、無声化母音を含む音声素片をデータベース化の対象とする態様においては、ある母音（例えば、“ａ”）を有声発音した場合の波形を示すデータである有声化テンプレートを無声化テンプレート６３に換えてフラッシュメモリ６に格納しておき、この有声化テンプレートの示す波形と無声化母音を含む音声素片の波形の振幅スペクトルのスペクトルエンベロープとから、当該有声発音される母音を含む音声素片の波形を示す音声素片データを生成するようにすれば良い。具体的には、無声化変換手段６５４に代えて、有声化テンプレートの示す波形を無声化母音を含む音声素片の波形のスペクトルエンベロープと同様なスペクトルエンベロープを有する波形に加工し、当該無声化母音を含む音声素片の音声素片データを当該加工後の波形を示す音声素片データに変換して出力する有声化変換手段を設けて歌唱合成装置を構成すれば良い。なお、無声化母音を含む音声素片と、有声発音された同母音を含む音声素片の何れをデータベース化の対象とするのかについては、音声合成の対象言語との関係で定めれば良い。有声発音された同母音を含む音声素片の出現頻度が高い言語の場合には、同音声素片を音声素片データベースの格納対象にするほうが好ましく、逆に、無声化母音を含む音声素片の出現頻度が高い言語の場合には、同音声素片を格納対象とするほうが好ましい。

（３）上述した実施形態では、無声化母音を含む音声素片と母音を無声化しない音声素片とが隣接する場合、無声化係数トラックにフレーム単位で０から１までの何れかの無声化係数をセットして、無声化変換を施した音と無声化変換を施さない音とをクロスフェードさせたが、有声から無声への切り換り或いは無声から有声への切り換りの音の立ち上がりを明瞭にするため、上記クロスフェードを行う期間の長さに最大値を設定しても良い。ここで、ユーザが操作部４等の操作により無声化係数トラックを入力する態様においては、ユーザが入力した無声化係数トラックにて指定されているクロスフェード期間が上記最大値よりも長いといった事態が起こり得る。このようにユーザにより指定されたクロスフェード期間が上記最大値よりも長い場合には、クロスフェードの開始時刻は変えず、クロスフェードの終了時刻が早まるように、クロスフェード期間を切り詰めるようにすれば良い。また、ユーザに無声化係数トラックを入力させる態様においては、クロスフェード期間の長さに最小値を予め定めておき、その最小値よりも短いクロスフェード期間が指定された場合には、そのクロスフェード期間が上記最小値になるように、その開始時刻または終了時刻の何れか一方を調整するようにすれば良い。これはクロスフェード期間が短すぎると、無声化母音を含む音声素片と母音を無声化しない音声素片のつなぎ目でノイズが発生する虞があるからである。

（４）ピッチデータトラック６６２については、上記実施形態に挙げたもの以外の方法により音符の切り換り部分のピッチに動きを与えても良い。例えばユーザが操作部４の操作によりピッチに動きを与える構成でも良い。

（５）上述した実施形態では、仮名入力と音声記号入力の何れによっても歌詞の入力ができるようにしたが、例えば、仮名入力で歌詞が入力された場合には、常に母音の無声化を行わない態様で歌唱合成を行い、音声記号入力で歌詞が入力された場合には、その入力内容に応じて母音の無声化の有無を制御するようにしても良い。また、仮名入力の場合も音声記号入力の場合と同様に、制御文字（＿０）を付与してその旨を指示するようにしても良い。例えば、母音を無声化した「す」の音声を合成する場合には、「す＿０」と入力するようにすれば良い。

（６）素片連結手段６５５は、周波数領域の情報である波形データ（振幅スペクトル、位相スペクトル）を時間領域の情報であるデジタル音声信号に変換した後、このデジタル音声信号を対象としてスムージング処理を行うようにしても良い。例えば、先行音声素片の最後のｎ個の波形データと後続音声素片の最初のｎ個の波形データからＩＦＦＴにより得られた時間領域のデジタル音声信号を対象としてクロスフェードを行い、最終的なデジタル音声信号としても良い。

（７）上述した実施形態では、ステップＳＡ０３０の処理により得られた振幅スペクトルＷ（ω）と元々の振幅スペクトルＰ（ω）とを無声化係数ｗの値に応じて数３にしたがってミキシングしたが、さらに、無声化係数ｗの値に応じて気息音などの非調和成分の音を付与するようにしても良い。具体的には、気息音をどの程度付与するのかを示す気息音係数ｂ（０から１の小数値）に代えて、以下の数４にしたがって算出される値ｂ´を気息音係数として用いるようにすれば良い。

（８）音声合成指示は、音声合成パラメータの時系列情報であれば良く、１曲分に限らず、曲の１部分についての時系列情報でも良い。

（９）上述した実施形態では、音声合成の素材となる各音声素片の音声素片データの集合からなる音声素片データベース６４が歌唱合成装置のフラッシュメモリ６に格納されていた。しかし、上記音声素片データベース６４をＳＤメモリやＵＭＤなどのコンピュータ装置読取可能な記録媒体に書き込んで流通させ、これら記録媒体に格納されている音声素片データベース６４へのインタフェース群５経由でのアクセスにより、音声合成指示６６０にて指定された音声素片に対応する音声素片データを読み出す処理をＣＰＵ１に実行させても良い。このような態様においては、歌唱合成装置が備える記憶装置の記憶容量の大小が問題となることはない。しかし、一般にＵＭＤやＳＤメモリの記憶容量はハードディスク等に比較して小さいため、上記実施形態にて説明した手法により、データベース化する音声素片の数を削減することには十分な意義がある。

（１０）上述した実施形態では、歌唱音声（すなわち、曲に合わせて歌唱する音声）の合成に本発明を適用したが、発話音声など歌唱音声以外の音声の合成に本発明を適用しても勿論良い。発話音声の合成の場合においても、音声の合成に用いる複数の音声素片を指定する情報を時系列化した音声合成指示を生成する処理を音声合成指示生成手段６５１に実行させ、素片選択手段６５２から出力される各音声素片データに対してピッチ変換手段６５３によるピッチ変換を施し、ピッチ変換後の音声素片データに対して無声化変換手段６５４による無声化変換処理を施した後に、各音声素片データに含まれる波形データを調整しつつ連結して出力する処理を素片連結手段６５５に実行させるようにすれば良い。

（１１）上述した実施形態では、音声合成プログラム６５にしたがってＣＰＵ１を作動させることにより、そのＣＰＵ１を、音声合成指示生成手段６５１、素片選択手段６５２、ピッチ変換手段６５３、無声化変換手段６５４および素片連結手段６５５として機能させた。しかしながら、インタフェース群５のうちの適当なものを介して他の装置から音声合成指示６６０が与えられる態様においては、ＣＰＵ１を音声合成指示生成手段６５１として機能させる必要はない。また、合成音声を構成する音声素片毎にピッチの指定を行わない態様においては、ＣＰＵ１をピッチ変換手段６５３として機能させる必要はない。つまり、本発明に特徴的な音声合成を実現するには、音声合成指示生成手段６５１およびピッチ変換手段６５３は必ずしも必須ではなく、素片選択手段６５２、無声化変換手段６５４および素片連結手段６５５としてＣＰＵ１を機能させることができれば良い。

１…ＣＰＵ、２…ＲＯＭ、３…表示部、４…操作部、５…インタフェース群、６…フラッシュメモリ、６１…曲編集プログラム、６２…曲データ、６３…無声化テンプレート、６４…音声素片データベース、６５…音声合成プログラム、６５１…音声合成指示生成手段、６５２…素片選択手段、６５３…ピッチ変換手段、６５４…無声化変換手段、６５５…素片連結手段、７…ＲＡＭ。

Claims (6)

1. 各種の音声素片の波形を示す波形データを含む音声素片データが格納されている音声素片データベースと、
   音声合成の対象言語の母音の全部または一部について、無声発音の波形を表す無声化テンプレートが母音毎に格納されている記憶手段と、
   音声の合成に用いる音声素片に対応する音声素片データを前記音声素片データベースから選択する手段であって、無声化された母音を含む音声素片が音声合成に用いられる場合には、当該母音を有声化した音声素片の音声素片データを前記音声素片データベースから選択する素片選択手段と、
   前記素片選択手段により選択される音声素片データが無声化された母音を含む音声素片に対して選択されたものである場合には、何れかの無声化テンプレートが示す波形を当該音声素片データの示す波形のスペクトルエンベロープと同様なスペクトルエンベロープを有する波形に加工し、当該音声素片データを当該加工後の波形を示す音声素片データに変換して出力する一方、他の音声素片に対して選択されたものである場合には、そのまま出力する無声化変換手段と、
   前記無声化変換手段から出力される各音声素片データに含まれる波形データを調整しつつ連結して出力する素片連結手段と
   を有することを特徴とする音声合成装置。
2. 前記無声化変換手段は、無声化母音を含む音声素片と無声化母音を含まない音声素片とが連続して音声合成に用いられる場合には、当該無声化母音を含む音声素片において、前記素片選択手段により選択される音声素片データの示す波形と前記加工後の波形とがクロスフェードするように当該音声素片データを変換することを特徴とする請求項１に記載の音声合成装置。
3. 前記無声化変換手段は、前記素片選択手段により選択される音声素片データの示す波形と前記加工後の波形とがクロスフェードするように変換した音声素片データに、そのクロスフェードにおけるミキシング比率に応じた気息音を付与して出力することを特徴とする請求項２に記載の音声合成装置。
4. 各種の音声素片の波形を示す波形データを含む音声素片データが格納されている音声素片データベースと、
   音声合成の対象言語の母音の全部または一部について、有声発音の波形を示す有声化テンプレートが母音毎に格納されている記憶手段と、
   音声の合成に用いる音声素片に対応する音声素片データを前記音声素片データベースから選択する手段であって、有声発音される母音を含む音声素片が音声合成に用いられる場合には、当該母音を無声化した音声素片の音声素片データを前記音声素片データベースから選択する素片選択手段と、
   前記素片選択手段により選択される音声素片データが有声発音される母音を含む音声素片に対して選択されたものである場合には、何れかの有声化テンプレートが示す波形を当該音声素片データの示す波形のスペクトルエンベロープと同様なスペクトルエンベロープを有する波形に加工し、当該音声素片データを当該加工後の波形を示す音声素片データに変換して出力する一方、他の音声素片に対して選択されたものである場合には、そのまま出力する有声化変換手段と、
   前記有声化変換手段から出力される各音声素片データに含まれる波形データを調整しつつ連結して出力する素片連結手段と
   を有することを特徴とする音声合成装置。
5. コンピュータ装置を、
   各種の音声素片の波形を示す波形データを含む音声素片データが格納されている音声素片データベースから、音声の合成に用いる音声素片に対応する音声素片データを選択する手段であって、無声化された母音を含む音声素片が音声合成に用いられる場合には、当該母音を有声化した音声素片の音声素片データを前記音声素片データベースから選択する素片選択手段と、
   前記素片選択手段により選択される音声素片データが無声化された母音を含む音声素片に対して選択されたものである場合には、音声合成の対象言語の母音のうちの何れかの無声発音の波形を当該音声素片データの示す波形のスペクトルエンベロープと同様なスペクトルエンベロープを有する波形に加工し、当該音声素片データを当該加工後の波形を示す音声素片データに変換して出力する一方、他の音声素片に対して選択されたものである場合には、そのまま出力する無声化変換手段と、
   前記無声化変換手段から出力される各音声素片データに含まれる波形データを調整しつつ連結して出力する素片連結手段と
   として機能させることを特徴とするプログラム。
6. コンピュータ装置を、
   各種の音声素片の波形を示す波形データを含む音声素片データが格納されている音声素片データベースから、音声の合成に用いる音声素片に対応する音声素片データを選択する手段であって、有声発音される母音を含む音声素片が音声合成に用いられる場合には、当該母音を無声化した音声素片の音声素片データを前記音声素片データベースから選択する素片選択手段と、
   前記素片選択手段により選択される音声素片データが有声発音される母音を含む音声素片に対して選択されたものである場合には、音声合成の対象言語の母音のうちの何れかの有声発音の波形を当該音声素片データの示す波形のスペクトルエンベロープと同様なスペクトルエンベロープを有する波形に加工し、当該音声素片データを当該加工後の波形を示す音声素片データに変換して出力する一方、他の音声素片に対して選択されたものである場合には、そのまま出力する有声化変換手段と、
   前記有声化変換手段から出力される各音声素片データに含まれる波形データを調整しつつ連結して出力する素片連結手段
   として機能させることを特徴とするプログラム。
   

Images