JP5641266B2 - 音声合成装置、音声合成方法およびプログラム - Google Patents

Description

本発明は、音声を合成する技術に関する。

所望の音声を合成する技術が従来から提案されている。例えば特許文献１には、音声合成の対象として指定された各音符（以下「指定音」という）に所望の歌詞を割当てる技術が開示されている。母音を各々が含む複数の音節の歌詞が１個の指定音に割当てられた場合には、その指定音は音節毎（母音毎）に分割され、各音節の時間長の比率が利用者からの指示（移動ツマミの操作）に応じて可変に設定される。例えば、「きみ（君）」という歌詞が１個の指定音に割当てられた場合、その指定音を分割した音節「き（ki）」および音節「み（mi）」の時間長の比率が調整される。

特開２００４−２５８５６２号公報

しかし、特許文献１の技術では１個の指定音が音節毎（母音毎）に分割されるから、利用者が意図する微妙な表情の合成音を生成することが困難であるという問題がある。以上の事情を考慮して、本発明は、利用者の意図を精緻に反映した合成音を生成することを目的とする。

以上の課題を解決するために、本発明に係る音声合成装置は、音高および発音文字が指示された各指定音の発音期間と、前記各指定音の発音文字に対応する複数の音素の各々の音素記号および発音期間の始点とを、相異なる領域に、共通の時間軸のもとで表示装置に時系列に表示させ、母音および子音を含む各音素の発音期間の始点を利用者からの指示に応じて時間軸上で移動させる表示制御手段と、発音期間にわたる各音素の合成音を生成する音声合成手段とを具備する。

本発明の第１態様に係る音声合成装置は、複数の音素の各々について発音期間と音素記号とを表示装置に時系列に表示させ、利用者からの指示に応じて音素記号を移動させる表示制御手段と、音声素片毎に素片データを記憶する記憶手段と、発音期間にわたる各音素の合成音を各素片データから生成する音声合成手段とを具備し、音声合成手段は、第１素片データが示す音声素片の第１区間（例えば図３から図５の区間ＳA）と第２素片データが示す音声素片の第２区間（例えば図３から図５の区間ＳB）とを利用して一の音素の合成音を生成する場合に、第１区間と第２区間との時間長の比率を一の音素の音素記号の位置に応じた比率に設定する。以上の構成においては、第１素片データが示す音声素片の第１区間と第２素片データが示す音声素片の第２区間との時間長の比率が可変に設定されるから、音節毎に時間長を制御する特許文献１の構成と比較して、利用者の意図を精緻に反映した合成音を生成することが可能である。しかも、利用者から指示された音素記号の位置に応じて第１区間と第２区間との時間長の比率が制御されるから、第１区間と第２区間との時間長の比率を利用者が直感的に把握し易いという利点もある。例えば、音声合成手段は、第１区間に対応する子音の音素が母音の音素に後続する音素連鎖の第１素片データと、第２区間に対応する子音の音素に母音の音素が後続する音素連鎖の第２素片データとを利用して、一の音素の合成音を生成する。

第１態様に係る音声合成装置の好適例において、表示制御手段は、音高が指示された複数の指定音の各々に対応する音指示子を表示装置に時系列に表示させ、各音素の発音期間と音素記号とを音指示子に重ねて表示させる。以上の態様においては、各音素の発音期間と音素記号との表示に各指定音の音指示子が流用されるから、各音素の発音期間と音素記号とが音指示子とは別個に表示される構成と比較して、各指定音と各音素との時間軸上の関係を利用者が容易に把握できるという利点がある。

第１態様に係る音声合成装置の好適例において、表示制御手段は、連続的な発音が指示された各指定音の音指示子を相互に連結する連結部を表示装置に表示させ、連結部に沿うように利用者からの指示に応じて音素記号を移動させる。以上の態様においては、各指定音を連結する連結部に沿って音素記号が移動するから、連続的な発音（レガート）が指示された部分についても、第１区間と第２区間との時間長の比率を利用者が直感的に調整できるという利点がある。

本発明の第２の態様に係る音声合成装置は、音高が指示された複数の指定音の各々に対応して時系列に配置されて当該指定音の発音期間に応じて長さが選定された音指示子と、各指定音の発音を構成する各音素に対応して時系列に配置されて当該音素の発音期間に応じて長さが選定された音素指示子とを、各指定音の音指示子の始点と当該指定音の発音を構成する母音の音素の音素指示子の始点とが時間軸上で合致するように共通の時間軸のもとで表示装置に表示させる表示制御手段と、音声素片毎に素片データを記憶する記憶手段と、発音期間にわたる各音素の合成音を各素片データから生成する音声合成手段とを具備し、表示制御手段は、子音の音素の音素指示子の始点を利用者からの指示に応じて移動させ、母音の音素の音素指示子の始点の移動が利用者から指示された場合に、当該母音の音素の音素指示子の始点と当該母音の音素に対応する指定音の音指示子の始点とを連動して移動させる。以上の態様においては、各指定音の音素を単位として発音期間が調整されるから、音節を単位として発音期間が調整される特許文献１の技術と比較して、利用者の意図を精緻に反映した合成音を生成することが可能である。また、母音の音素の音素指示子の始点とその音素に対応する指定音の音指示子の始点とが連動するから、指定音の発音期間の始点から母音の発音を開始させるという関係が各音素の発音期間に関わらず維持されるという利点がある。

以上の各態様に係る音楽情報処理装置は、音楽情報の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、複数の音素の各々について音素記号と発音期間の始点とを表示装置に時系列に表示させ、母音および子音を含む各音素の発音期間の始点を利用者からの指示に応じて時間軸上で移動させる表示制御処理と、発音期間にわたる各音素の合成音を生成する音声合成処理とをコンピュータに実行させる。

本発明の第１態様に係るプログラムは、音声素片毎に素片データを記憶する記憶手段を具備するコンピュータに、複数の音素の各々について発音期間と音素記号とを表示装置に時系列に表示させ、利用者からの指示に応じて音素記号を移動させる表示制御処理と、発音期間にわたる各音素の合成音を各素片データから生成する音声合成処理であって、第１素片データが示す音声素片の第１区間と第２素片データが示す音声素片の第２区間とを利用して一の音素の合成音を生成する場合に、第１区間と第２区間との時間長の比率を一の音素の音素記号の位置に応じた比率に設定する音声合成処理とを実行させる。本発明の第２態様に係るプログラムは、音声素片毎に素片データを記憶する記憶手段を具備するコンピュータに、発音期間にわたる各音素の合成音を各素片データから生成する音声合成処理と、音高が指示された複数の指定音の各々に対応して時系列に配置されて当該指定音の発音期間に応じて長さが選定された音指示子と、各指定音の発音を構成する各音素に対応して時系列に配置されて当該音素の発音期間に応じて長さが選定された音素指示子とを、各指定音の音指示子の始点と当該指定音の発音を構成する母音の音素の音素指示子の始点とが時間軸上で合致するように共通の時間軸のもとで表示装置に表示させる表示制御処理であって、子音の音素の音素指示子の始点を利用者からの指示に応じて移動させ、母音の音素の音素指示子の始点の移動が利用者から指示された場合に、当該母音の音素の音素指示子の始点と当該母音の音素に対応する指定音の音指示子の始点とを連動して移動させる表示制御処理とを実行させる。

以上の各態様のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

第１実施形態に係る音声合成装置のブロック図である。 編集画像の模式図である。 音指示子および音素指示子と素片データとの関係を示す模式図である。 音素記号の移動時の音指示子と音素指示子と素片データとの関係を示す模式図である。 音素記号の移動時の音指示子と音素指示子と素片データとの関係を示す模式図である。 音声合成部のブロック図である。 第２実施形態における音指示子と音素指示子との関係を示す模式図である。 第３実施形態における音指示子の模式図である。 第４実施形態における音指示子の模式図である。 変形例における素片データ（ＶＣＶ型）の模式図である。 変形例における素片データの伸長について説明するための模式図である。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音声合成装置１００のブロック図である。音声合成装置１００は、歌唱音などの様々な音声（以下「合成音」という）を合成する装置であり、図１に示すように、制御装置１０と記憶装置１２と入力装置１４と表示装置１６と放音装置１８とを具備するコンピュータシステムで実現される。音声合成装置１００を楽曲の歌唱音の合成に利用する場合を以下では想定する。

制御装置（ＣＰＵ）１０は、記憶装置１２に記憶されたプログラムＰGの実行で、音声信号ＳOUTの生成に必要な複数の機能（表示制御部２２，情報生成部２４，音声合成部２６）を実現する。音声信号ＳOUTは、合成音の波形を表す信号である。なお、制御装置１０の各機能を専用の電子回路（ＤＳＰ）で実現した構成や、制御装置１０の各機能を複数の集積回路に分散した構成も採用され得る。

入力装置１４は、利用者からの指示を受付ける機器（例えばマウスやキーボード）である。表示装置１６（例えば液晶表示装置）は、制御装置１０から指示された画像を表示する。放音装置１８（例えばスピーカやヘッドホン）は、制御装置１０が生成する音声信号ＳOUTに応じた音波を放射する。

記憶装置１２は、制御装置１０が実行するプログラムＰGや制御装置１０が使用する各種のデータ（素片情報ＤV，音楽情報ＤS）を記憶する。半導体記録媒体や磁気記録媒体などの公知の記録媒体や複数種の記録媒体の組合せが記憶装置１２として任意に採用される。なお、プログラムＰGや各データ（ＤV，ＤS）を複数の記録媒体に分散して記憶した構成も採用され得る。

素片情報ＤVは、合成音の素材として利用されるデータ群であり、図１に示すように、相異なる音声素片（［ａ_ｓ］，［ｓ_ａ］，［ａ］，……）に対応する複数の素片データＰを含んで構成される。音声素片は、音声を聴覚的に区別し得る最小の単位に相当する１個の音素（母音や子音）、または複数（典型的には２個または３個）の音素を連結した音素連鎖である。例えば、音声素片の時間波形のサンプル系列が、その音声素片の素片データＰとして利用される。

音楽情報ＤSは、楽曲を構成する各指定音の時系列を示す情報（スコアデータ）である。具体的には、音楽情報ＤSは、指定音の音高（ノートナンバ）と発音期間と発音文字とを楽曲内の指定音毎に指定する。発音期間は、例えば発音が開始する時刻と発音が継続される時間長とで規定される。発音文字は、音節を単位として発音の内容を示す文字（音節文字）である。１個の指定音には１個以上の発音文字が指示され得る。

図１の表示制御部２２は、音楽情報ＤSの生成および編集のために利用者が視認する図２の編集画像４０を表示装置１６に表示させる。図２に示すように、編集画像４０は、指定音の時系列を表示する楽譜領域４２と、各指定音の発音文字を構成する各音素の時系列を表示する音素領域４４とを含んで構成される。

楽譜領域４２は、音高に対応する縦軸（音高軸）と時間に対応する横軸（時間軸）とが設定されたピアノロール型の画像領域である。利用者は、楽譜領域４２を視認しながら入力装置１４を適宜に操作することで各指定音の音高と発音期間とを指示する。表示制御部２２は、利用者から指示された指定音を表す画像（以下「音指示子」という）５１を楽譜領域４２に時系列に配置する。音高軸の方向における音指示子５１の位置は利用者が指示した音高に応じて決定される。また、時間軸の方向における音指示子５１の各端点（始点および終点）は、利用者が指示した発音期間の始点および終点に相当する。したがって、時間軸の方向における音指示子５１の長さは指定音の発音期間の時間長を意味する。

また、利用者は、入力装置１４を適宜に操作することで各指定音の発音文字（歌詞）を指示し得る。表示制御部２２は、図２に示すように、利用者から指示された発音文字５３を、指定音の音指示子５１とともに（例えば図２の例示のように音指示子５１に重ねて）表示装置１６に表示させる。

図１の情報生成部２４は、楽譜領域４２に対して利用者から指示された各指定音の音高と発音期間と発音文字とを対応させて記憶装置１２の音楽情報ＤSに格納する。以上の処理が反復されることで、利用者から指示された指定音の時系列を示す音楽情報ＤSが記憶装置１２に生成され、各指定音の音指示子５１の時系列が図２の例示のように楽譜領域４２に表示される。

表示制御部２２は、各指定音に指示された発音文字を構成する音素を表す画像（以下「音素指示子」という）６１を音素領域４４に時系列に配置する。表示制御部２２は、楽譜領域４２内の各音指示子５１の時系列と音素領域４４内の各音素指示子６１の時系列とを共通の時間軸のもとで表示装置１６に表示させる。

図２に示すように、音素指示子６１は、指定音の発音文字（音節）を構成する音素毎に設定される。時間軸の方向における音素指示子６１の各端点（始点および終点）は、その音素指示子６１に対応する音素の発音期間の始点および終点を意味する。したがって、時間軸の方向における音素指示子６１の長さは音素の発音期間の時間長に相当する。また、表示制御部２２は、音素を表す記号（以下「音素記号」という）６３を音素指示子６１に重ねて（すなわち、音素指示子６１の輪郭線の内側に）配置する。図２に示すように、母音の音素（［ａ］，［ｉ］）の音素指示子６１と子音の音素（［ｓ］，［ｎ］）の音素指示子６１とは相異なる態様（色彩や模様）で表示装置１６に表示される。

図３は、楽譜領域４２および音素領域４４を拡大した模式図である。図３では、「あさ（朝）」という単語を構成する発音文字「あ（ａ）」および発音文字「さ（ｓａ）」が別個の指定音（Ｎ1，Ｎ2）に指示された場合が想定されている。図３に示すように、表示制御部２２は、発音文字「あ」（音素単体）の音素［ａ］に対応する音素指示子６１と、発音文字「さ（ｓａ）」（音素連鎖）のうち前方の子音の音素［ｓ］に対応する音素指示子６１と、発音文字「さ（ｓａ）」のうち後方の母音の音素［ａ］に対応する音素指示子６１とを、音素領域４４内に時系列に配列する。

図３の例示の通り、各指定音の発音文字を構成する母音の音素の発音期間の始点（音素指示子６１の始点）が、その指定音の発音期間の始点（音指示子５１の始点）に時間軸上で合致するように、表示制御部２２は各音素指示子６１の各端点を選定する。すなわち、母音の音素の発音は指定音の発音期間の始点から開始する。例えば、図３の例示のように、子音の音素［ｓ］と母音の音素［ａ］とを連結した発音文字「さ（ｓａ）」が指定音Ｎ2に指示された場合、後方の音素［ａ］の音素指示子６１の始点が、指定音Ｎ2の音指示子５１の始点に合致する。

他方、各指定音の発音文字を構成する子音の音素（例えば音素［ｓ］）については、子音の音素の発音期間の終点（音素指示子６１の終点）が、その指定音の発音期間の始点（子音の直後の母音の始点）に合致するように、表示制御部２２は各音素指示子６１の各端点を選定する。例えば、指定音Ｎ2に指示された発音文字「さ（ｓａ）」を構成する子音の音素［ｓ］の音素指示子６１の終点は、直後の母音の音素［ａ］の音素指示子６１の始点（指定音Ｎ2の音指示子５１の始点）に合致する。すなわち、指定音Ｎ2の発音期間の開始に先立って音素［ｓ］の発音が開始される。以上に説明した規則で子音および母音の音素の始点を設定するのは、母音の始点と音符（指定音）の始点とが合致する場合に歌唱のタイミングが適切であると聴取者に認識されるという傾向があるからである。

表示制御部２２は、音素指示子６１に配置された音素記号６３を、その音素指示子６１の端点間の範囲内で、入力装置１４に対する利用者からの指示に応じて時間軸の方向（左右）に移動させる。図４では、音素［ｓ］の音素記号６３を時間軸上の後方（時間が経過する方向）に移動した場合が想定され、図５では、音素［ｓ］の音素記号６３を時間軸上の前方（時間が遡及する方向）に移動した場合が想定されている。第１実施形態では、時間軸上における各音素記号６３の位置に応じて、その音素の合成に適用される各素片データＰの境界の位置（時点）が可変に制御される（詳細は後述する）。

図１の音声合成部２６は、記憶装置１２に格納された音楽情報ＤSが示す各指定音を合成して音声信号ＳOUTを生成する。図６に示すように、音声合成部２６は、素片選択部２６２と素片調整部２６４と合成処理部２６６とを含んで構成される。素片選択部２６２は、音楽情報ＤSにて各指定音に指示された発音文字に対応する各音声素片の素片データＰを記憶装置１２の素片情報ＤVから選択する。例えば、前述の例示のように「あさ（朝）」が発音文字として指示された場合、素片選択部２６２は、図３に示すように、音声素片［＃_ａ］（「＃」は無音を意味する），［ａ］，［ａ_ｓ］，［ｓ_ａ］，［ａ］および［ａ_＃］の各々に対応する素片データＰを記憶装置１２から取得する。

図６の素片調整部２６４は、素片選択部２６２が選択した各素片データＰの音高や時間長を調整する。合成処理部２６６は、素片調整部２６４による調整後の各素片データＰを相互に連結することで音声信号ＳOUTを生成する。素片データＰを利用した音声信号ＳOUTの生成には公知の技術が任意に採用される。

素片調整部２６４による具体的な処理を以下に説明する。素片調整部２６４は、音高調整処理と時間調整処理（伸縮処理）とを実行する。音高調整処理は、各素片データＰの音声素片の音高を、音楽情報ＤSが各指定音について示す音高に調整する処理である。素片データＰの音高の調整には公知の技術が任意に採用される。

時間調整処理は、各素片データＰの音声素片の時間長を、音楽情報ＤSが各指定音について示す発音期間（音素領域４４内の音素指示子６１が示す各音素の発音期間）に応じて調整する処理である。すなわち、素片調整部２６４は、音楽情報ＤSにて指定音に指示された各発音文字を構成する音素が、音素領域４４内の当該音素の音素指示子６１が示す発音期間にて発音されるように、各素片データＰを時間軸上で伸縮する。

例えば、図３の例示のように、音声素片［ａ_ｓ］の素片データＰAと音声素片［ｓ_ａ］の素片データＰBとを利用して素片［ｓ］を合成する場合を想定する。素片調整部２６４は、素片データＰAが示す音声素片［ａ_ｓ］のうち後方の子音の音素［ｓ］に相当する区間ＳAの始点（音素［ａ］に相当する区間の終点）ｔAが、音素領域４４内の音素［ｓ］の発音期間（音素指示子６１）の始点ｐAに合致し、かつ、素片データＰBが示す音声素片［ｓ_ａ］のうち前方の子音の音素［ｓ］に相当する区間ＳBの終点（音素［ａ］に相当する区間の始点）ｔBが、音素領域４４内の音素［ｓ］の発音期間（音素指示子６１）の終点ｐBに合致するように、素片データＰAおよび素片データＰBを伸縮する。素片データＰの伸縮には公知の技術（時間軸圧伸技術）が任意に採用される。

さらに、素片調整部２６４は、各音素の合成に利用される２個の素片データＰ（音声素片）の境界の位置を、音素領域４４におけるその音素の音素記号６３の位置に応じて可変に設定する。前述の例示のように音声素片［ａ_ｓ］の素片データＰAと音声素片［ｓ_ａ］の素片データＰBとを素片［ｓ］の合成に利用する場合に着目して、各素片データＰの境界の制御について以下に詳述する。

音素領域４４のうち音素［ｓ］に対応する音素指示子６１の音素記号６３が初期的な位置から移動していない場合、素片調整部２６４は、図３に示すように、音声素片［ａ_ｓ］の素片データＰAと音声素片［ｓ_ａ］の素片データＰBとの境界（素片データＰAの区間ＳAと素片データＰBの区間ＳBとの境界）を、音素指示子６１の始点ｐAから終点ｐBまでの区間内の所定の位置（以下「基準位置」という）ｔCに設定する。

図４の例示のように、利用者からの指示に応じて表示制御部２２が音素［ｓ］の音素記号６３を右方（時間が経過する方向）に移動した場合、素片調整部２６４は、素片データＰAの区間ＳAと素片データＰBの区間ＳBとの境界が基準位置ｔCに対して右方の位置ｔC_1となるように素片データＰAおよび素片データＰBを伸縮する。区間ＳAの始点ｔAは音素［ｓ］の発音期間の始点ｐAに維持され、区間ＳBの終点ｔBは音素［ｓ］の発音期間の終点ｐBに維持される。すなわち、素片調整部２６４は、区間ＳAと区間ＳBとの時間長の合計を音素［ｓ］の発音期間の時間長に維持したまま、区間ＳAを伸長するとともに区間ＳBを短縮する。区間ＳAと区間ＳBとの境界の変化量（基準位置ｔCと位置ｔC_1との間隔）は、音素記号６３の移動量に応じて可変に（例えば音素記号６３の移動量に比例するように）設定される。

他方、図５の例示のように、表示制御部２２が音素［ｓ］の音素記号６３を左方（時間が遡及する方向）に移動した場合、素片調整部２６４は、区間ＳAと区間ＳBとの境界が基準位置ｔCに対して左方の位置ｔC_2に移動するように素片データＰAおよび素片データＰBを伸縮する。すなわち、素片調整部２６４は、区間ＳAと区間ＳBとの時間長の合計を音素［ｓ］の発音期間の時間長に維持したまま、区間ＳAを短縮するとともに区間ＳBを伸長する。前述の説明と同様に、音素記号６３の移動量に応じて区間ＳAと区間ＳBとの境界の変化量は可変に設定される。

合成処理部２６６は、以上の手順で調整された各素片データＰを利用して音声信号ＳOUTを生成する。素片データＰAの区間ＳAと素片データＰBの区間ＳBとは、発音の内容（音素［ｓ］）は共通するが、各音素に隣接する音素（母音）の種類や先後に応じて音楽的な特性（スペクトルや強度の時間変化）は相違する。したがって、音声信号ＳOUTが示す音素［ｓ］の特性は、区間ＳAと区間ＳBとの時間長の比率（両区間の境界の位置）に応じて変化する。すなわち、第１実施形態によれば、利用者の意図を精緻に反映した微妙な表情の合成音を生成できるという利点がある。しかも、相前後する素片データＰの境界の位置が音素領域４４内の音素記号６３の操作で可変に制御されるから、利用者が各素片データＰの境界を直感的に調整できるという格別の効果も実現される。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態を説明する。なお、以下の各例示において作用や機能が第１実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。

第１実施形態と同様に、表示制御部２２は、図７の部分(A)の例示の通り、母音の音素の音素指示子６１の始点ｐVが、その音素に対応する指定音の音指示子５１の始点ｐ0と合致するように、指定音毎の音指示子５１の時系列と音素毎の音素指示子６１の時系列とを、共通の時間軸のもとで表示装置１６に表示させる。表示制御部２２は、各音素指示子６１の始点（ｐC，ｐV）を表す直線（相前後する音素指示子６１の境界線）を、母音の音素の音素指示子６１と子音の音素の音素指示子６１とについて相異なる態様で表示する。具体的には、子音の音素指示子６１の始点ｐCは二重線で表示され、母音の音素指示子６１の始点ｐVは１本の直線で表示される。

利用者は、所望の音素指示子６１の始点の移動を入力装置１４に指示することが可能である。子音の音素指示子６１の始点ｐCの移動が利用者から指示された場合、表示制御部２２は、図７の部分(B)に矢印Ｍ1で示すように、利用者からの指示に応じて時間軸の方向にその始点ｐCを移動させる。音指示子５１の始点ｐ0や母音の音素指示子６１の始点ｐVは、子音の音素指示子６１の始点ｐCの移動に関わらず維持される。

他方、母音の音素指示子６１の始点ｐVの移動が利用者から指示された場合、表示制御部２２は、母音の音素指示子６１の始点ｐVを、図７の部分(C)に矢印Ｍ2で示すように、利用者からの指示に応じて時間軸の方向に移動させるとともに、その母音に対応する指定音の音指示子５１の始点ｐ0を、矢印ｍで示すように、音素指示子６１の始点ｐVに連動して移動させる。すなわち、母音の音素指示子６１の始点ｐVと指定音の音指示子５１の始点ｐ0との合致は、母音の音素指示子６１の始点ｐVの移動の前後にわたって維持される。

音声合成部２６は、以上の手順で調整された各音素指示子６１の長さに応じた時間長（発音期間）にわたって各音素が発音されるように、第１実施形態と同様に各素片データＰを伸縮して音声信号ＳOUTを生成する。以上の形態においては、各指定音の音素を単位として発音期間が調整されるから、音節を単位として発音期間が調整される特許文献１の技術と比較して、利用者の意図を精緻に反映した微妙な表情の合成音を生成できるという利点がある。

なお、以上の例示では第１実施形態を基礎として第２実施形態を説明したが、相前後する素片データＰの時間長の比率を音素記号６３の位置に応じて可変に制御する第１実施形態の構成は、第２実施形態では省略され得る。また、以上の例示では、音素指示子６１の始点ｐVの移動が指示された場合に音指示子５１の始点ｐ0を連動させたが、音指示子５１の始点ｐ0の移動が利用者から指示された場合に、この始点ｐ0に連動して音素指示子６１の始点ｐVを移動させる構成も好適である。

＜Ｃ：第３実施形態＞
次に、本発明の第３実施形態を説明する。第１実施形態や第２実施形態では、楽譜領域４２から独立した音素領域４４の音素指示子６１を利用して各音素の発音期間や音素記号６３を表示した。他方、第３実施形態では、各音素の発音期間や音素記号６３の表示に楽譜領域４２内の各音指示子５１を流用する。したがって、第１実施形態の音素領域４４を省略した内容の編集画像４０が第３実施形態では表示装置１６に表示される。

図８は、第３実施形態における楽譜領域４２の模式図である。図８に示すように、利用者から指示された指定音に対応する音指示子５１が楽譜領域４２内に時系列に配置される。第１実施形態と同様に、音高軸の方向における音指示子５１の位置は指定音の音高に応じて決定され、時間軸の方向における音指示子５１の長さは指定音の発音期間に応じて決定される。発音文字５３は音指示子５１の外側に配置される。

表示制御部２２は、各指定音に指示された発音文字を構成する各音素の発音期間と音素記号６３とを音指示子５１に重ねて表示する。図８に示すように、音指示子５１は、時間軸上で音素毎の区間（以下「音素区間」という）５５に区分される。各音素に対応する音素区間５５の長さは、その音素の発音期間に応じて可変に選定される。また、各音素の音素区間５５と重なるようにその音素の音素記号６３が配置される。１個の指定音に１個の音素のみが対応する場合（例えば図８の後方の指定音）には１個の音指示子５１の全体が音素区間５５に相当する。表示制御部２２は、音素区間５５の範囲内で利用者からの指示に応じて音素記号６３を移動させる。第１実施形態と同様に、相前後する素片データＰの時間長の比率は音素記号６３の位置に応じて可変に制御される。

以上の形態においては、指定音の音高や発音期間を示す音指示子５１が各音素の発音期間や音素記号６３の表示に流用される。したがって、楽譜領域４２と音素領域４４とが個別に表示される第１実施形態と比較して編集画像４０の内容が簡素化されて利用者による確認が容易化されるという利点がある。例えば、第３実施形態によれば、各指定音の音高と各音素の発音期間との関係を利用者が容易に確認することが可能である。

＜Ｄ：第４実施形態＞
次に、本発明の第４実施形態について説明する。利用者は、複数の指定音のうち相前後する各指定音の間のレガートの付加を入力装置１４の操作で制御装置１０に指示することが可能である。レガートは、音高が相違する２個の指定音を滑らかに連続して発音させる音楽的な表現である。

図９は、第４実施形態における楽譜領域４２の模式図である。図９に示すように、表示制御部２２は、レガートが指示された各指定音（先行音および後続音）の音指示子５１を相互に連結する形状の連結部５７を、各音指示子５１とともに楽譜領域４２内に配置する。連結部５７は、先行音の音指示子５１の端部（後端）と後続音の音指示子５１の端部（前端）とを曲線状に連結する画像である。

表示制御部２２は、第３実施形態と同様に、各指定音の音指示子５１を音素毎の音素区間５５に区分することで各音素の発音期間および音素記号６３を楽譜領域４２に表示させる。また、各指定音にレガートが付加される場合、表示制御部２２は、各音指示子５１と連結部５７とを含む帯状の領域を、各音素の発音期間に応じた時間長の音素区間５５に区分するとともに音素記号６３を付加する。図９では、連結部５７が音素［ｓ］の音素区間５５に相当する場合が例示されている。

また、表示制御部２２は、第３実施形態と同様に、音素区間５５の範囲内で利用者からの指示に応じて音素記号６３を移動させる。音素記号６３が連結部５７に重なる場合、表示制御部２２は、連結部５７に沿うように音素記号６３を移動させる。例えば、音素記号６３の中心が連結部５７の中心線（曲線）Ｌの線上に位置するように、表示制御部２２は音素記号６３を移動させる。音素記号６３の時間軸上の位置に応じて各素片データＰの時間長の比率を可変に制御する構成は第１実施形態と同様である。

以上の形態においては、レガートが指示された各指定音の音指示子５１を連結するように連結部５７が表示されるから、利用者は、連続的に発音される各指定音を楽譜領域４２から直感的に把握することが可能である。また、音素記号６３が連結部５７に重なる場合には連結部５７に沿うように音素記号６３が移動するから、レガートが付加された指定音についても、利用者が各素片データＰの境界を直感的に調整できるという利点がある。

＜Ｅ：変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）変形例１
第１実施形態では子音の音素［ｓ］を例示したが、各素片データＰの時間長の比率が制御される音素の種類は任意である。すなわち、音素［ｓ］以外の摩擦音の音素や摩擦音以外の音素（例えば破裂音の音素や母音の音素）についても同様に、素片データＰの時間長の比率を制御する第１実施形態の構成が適用される。

（２）変形例２
第１実施形態においては、素片データＰの表す音声素片が１個または２個の音素で構成される場合を例示したが、３個以上の音素で構成される音声素片（音素連鎖）の素片データＰを利用する場合にも以上の各形態が同様に適用される。

例えば、図１０の例示のように子音の音素ｃが２個の母音の音素（ｖ1，ｖ2）に挟まれた音素連鎖（ＶＣＶ型）の素片データＰを音声合成に利用する構成では、中央の音素（図１０では子音の音素ｃ）を素片データＰAと素片データＰBとに区分することで以上の各形態を同様に適用できる。素片データＰAは、子音の音素ｃの前半の区間に相当し、素片データＰBは、子音の音素ｃの後半の区間に相当する。第１実施形態と同様に、子音の音素ｃの音素記号６３の位置に応じて素片データＰAと素片データＰBとの時間長の比率が可変に制御される。

（３）変形例３
以上の各形態においては、素片データＰAと素片データＰBとの境界を音素記号６３の位置に応じて変化させたが、素片データＰAと素片データＰBとの時間長の比率を変化させる方法は以上の例示に限定されない。例えば、図１１に示すように、素片データＰAと素片データＰBとの重複の程度を音素記号６３の位置に応じて変化させる構成も採用され得る。すなわち、音素［ｓ］の音素記号６３が右方に移動すると、素片調整部２６４は、図１１に示すように、素片データＰBのうち音素［ｓ］の区間ＳBを維持したまま素片データＰAの区間ＳAを伸長する（すなわち両者の時間長の比率を変化させる）。したがって、区間ＳAと区間ＳBとは部分的に重複する。音声合成部２６は、素片データＰAと素片データＰBとが重複する部分については両者を加算（例えば加重和）することで音声信号ＳOUTを生成する。

（４）変形例４
第２実施形態においては音指示子５１の始点と音素指示子６１の始点とを連動させたが、音指示子５１と音素指示子６１とを連動させるか否かを（例えば利用者からの指示に応じて）切替える構成も採用され得る。例えば、特定の操作子を押下しながら利用者が音指示子５１および音素指示子６１の一方の始点を移動させた場合、表示制御部２２は他方の始点を連動して移動させ、利用者がその操作子を押下せずに音指示子５１および音素指示子６１の一方の始点を移動させた場合、表示制御部２２は他方の始点を連動させない。

（５）変形例５
各素片データＰの時間長の比率を可変に制御する構成にとって、音指示子５１を時系列に表示する機能は必須ではない。例えば、第１実施形態では編集画像４０から楽譜領域４２が省略され得る。すなわち、表示制御部２２は、各音素の発音期間と音素記号６３とを表示装置１６に時系列に表示させる要素として包括される。音指示子５１の時系列とは別個の音素指示子６１が音素の発音期間や音素記号６３の表示に利用されるか（第１実施形態，第２実施形態）、音指示子５１の時系列（音素区間５５）が音素の発音期間や音素記号６３の表示に利用されるか（第３実施形態，第４実施形態）は本発明において不問である。また、音楽情報ＤSを利用者が編集する構成（情報生成部２４）も省略され得る。

１００……音声合成装置、１０……制御装置、１２……記憶装置、１４……入力装置、１６……表示装置、１８……放音装置、２２……表示制御部、２４……情報生成部、２６……音声合成部、２６２……素片選択部、２６４……素片調整部、２６６……合成処理部、４０……編集画像、４２……楽譜領域、４４……音素領域、５１……音指示子、５３……発音文字、５５……音素区間、５７……連結部、６１……音素指示子、６３……音素記号。

Claims (4)

1. 音高および発音文字が指示された各指定音の発音期間と、前記各指定音の発音文字に対応する複数の音素の各々の音素記号および発音期間の始点とを、相異なる領域に、共通の時間軸のもとで表示装置に時系列に表示させ、母音および子音を含む前記各音素の発音期間の始点を利用者からの指示に応じて時間軸上で移動させる表示制御手段と、
   前記発音期間にわたる各音素の合成音を生成する音声合成手段と
   を具備する音声合成装置。
2. 前記表示制御手段は、
   前記各音素で構成された発音文字が指示される複数の指定音の各々に対応して時系列に配列されて当該指定音の発音期間に応じて長さが選定された複数の音指示子を前記表示装置に表示させ、
   子音の音素の発音期間の始点を利用者からの指示に応じて移動させる一方、母音の音素の発音期間の始点の移動が利用者から指示された場合に、当該母音の音素の発音期間の始点に連動して、当該母音の音素に対応する指定音の音指示子の始点を移動させる
   請求項１の音声合成装置。
3. 音高および発音文字が指示された各指定音の発音期間と、前記各指定音の発音文字に対応する複数の音素の各々の音素記号および発音期間の始点とを、相異なる領域に、共通の時間軸のもとで表示装置に時系列に表示させ、母音および子音を含む前記各音素の発音期間の始点を利用者からの指示に応じて時間軸上で移動させる表示制御処理と、
   前記発音期間にわたる各音素の合成音を生成する音声合成処理と
   をコンピュータに実行させるプログラム。
4. 音高および発音文字が指示された各指定音の発音期間と、前記各指定音の発音文字に対応する複数の音素の各々の音素記号および発音期間の始点とを、相異なる領域に、共通の時間軸のもとで表示装置に時系列に表示させる一方、母音および子音を含む前記各音素の発音期間の始点を利用者からの指示に応じて時間軸上で移動させ、
   前記発音期間にわたる各音素の合成音を生成する
   音声合成方法。

Images