JP6149373B2 - 音声合成データ編集装置および音声合成データ編集方法 - Google Patents

Description

本発明は、音声合成に使用される音声合成データを編集する技術に関する。

合成対象として指定された音声（以下「合成対象音」という）に対応する複数の音声素片を相互に連結することで音声信号を生成する素片接続型の音声合成技術が従来から提案されている。特許文献１に開示されるように、合成対象音の音符の時系列は、例えばピアノロール型の編集画面に表示され、利用者からの指示に応じて編集される。

特開２００８−１６５１３０号公報

しかし、特許文献１の技術で実行可能な編集処理は、編集用のプログラムで用意された既定の編集処理に制限される。したがって、利用者が希望する編集処理が実行できない可能性や利用者の作業負担を充分に軽減できない可能性がある。以上の事情を考慮して、本発明は、音声合成データに対して実行可能な編集処理を多様化することを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の音声合成データ編集装置は、合成対象音を指定する音声合成データを編集プログラムにより生成および編集する編集処理手段（例えば編集処理部３４）と、編集処理手段が生成した音声合成データを編集プログラムに対応する拡張プログラムにより編集する拡張編集手段（例えば拡張編集部３６）とを具備する。本発明では、編集プログラムによる編集に加えて拡張プログラムによる編集も実行される。すなわち、拡張プログラムを利用できない構成と比較して音声合成データに対する編集処理が多様化されるという利点がある。なお、拡張プログラムが編集プログラムに「対応する」とは、編集プログラムにより編集された音声合成データを編集可能な形式で拡張プログラムが記述されていることを意味する。

本発明の好適な態様の音声合成データ編集装置は、相異なる編集処理に対応する複数の拡張プログラムのうち利用者からの指示に応じた拡張プログラムを選択する処理選択手段（例えば選択処理部３２）を具備し、拡張編集手段は、処理選択手段が選択した拡張プログラムにより音声合成データを編集する。以上の態様では、複数の拡張プログラムのうち利用者からの指示に応じた拡張プログラムにより音声合成データが編集されるから、特定の拡張プログラムが固定的に適用される構成と比較して、利用者毎の意図を反映した編集処理を音声合成データに実行できるという利点がある。

本発明の好適な態様の音声合成データ編集装置は、編集処理手段が生成した音声合成データが指定する合成対象音の処理対象範囲を利用者からの指示に応じて選択する対象選択手段（例えば選択処理部３２）を具備し、拡張編集手段は、音声合成データのうち対象選択手段が選択した処理対象範囲を拡張プログラムにより編集する。以上の態様では、音声合成データのうち拡張プログラムによる編集処理の対象となる処理対象範囲が利用者からの指示に応じて選択されるから、例えば拡張プログラムによる編集処理が音声合成データの全体のみに一律に適用される構成と比較して、利用者の意図を精緻に反映した音声を合成可能な音声合成データを生成できるという利点がある。

本発明の好適な態様において、拡張編集手段は、処理対象範囲の直前の音符を最初の特定音符として選択してから処理対象範囲内の音符数と同じ回数にわたり単位処理（例えば単位処理ＳU）を反復し、各単位処理は、処理対象範囲の音符のうち当該単位処理の開始時の特定音符の直後の音符を新規な特定音符として選択する選択処理（例えば選択処理ＳU1）と、選択処理で選択した特定音符に対する編集処理（例えば編集処理ＳU2）とを含む。以上の態様では、処理対象範囲の直前の音符を最初の特定音符として選択してから単位処理が実行されるから、処理対象範囲内の最初の音符を最初の特定音符として選択する場合と比較して拡張プログラムの内容が簡素化されるという利点がある。

本発明の好適な態様において、拡張編集手段は、処理対象範囲内の各音符の音響特性に関する変数データ（例えば変数データＸC）を所定値（例えば所定値α0）に変更し、処理対象範囲の前方に位置する第１区間（例えば区間ｂ1）内の各音符の変数データを、第１区間の始点から終点にかけて所定値に変化するように調整するとともに、処理対象範囲の後方に位置する第２区間（例えば区間ｂ2）内の各音符の変数データを、第２区間の始点から終点にかけて所定値から変化するように調整する。以上の態様では、処理対象範囲内の各音符に加えて処理対象範囲の前方の第１区間および後方の第２区間の各々の音符についても変数データが調整されるから、処理対象範囲の始点や終点における変数データの不連続な変化を抑制できるという利点がある。変数データの典型例は音量であるが、音声合成に適用される他の特性値（制御変数）も変数データの概念に包含される。なお、以上の態様の具体例は例えば第２実施形態として後述される。

本発明の好適な態様において、拡張編集手段は、記憶手段（例えば記憶装置１４）の第１記憶領域（例えば領域Ａ1）から第２記憶領域（例えば領域Ａ2）に複製された音声合成データを拡張プログラムにより編集し、編集処理手段は、拡張編集手段による編集が正常終了した場合に、第１記憶領域の音声合成データを、第２記憶領域に記憶された編集後の音声合成データに更新する。以上の態様では、第２記憶領域に複製された音声合成データについて拡張プログラムによる編集処理が実行され、編集処理が正常終了した場合に第１記憶領域の音声合成データが編集後の音声合成データに更新される。したがって、拡張プログラムによる編集が異常終了した場合でも、第１領域に記憶された編集前の音声合成データを利用できるという利点がある。

本発明の好適な態様の音声合成データ編集装置は、第２領域に記憶された編集後の音声合成データが指定する合成対象音を利用者に報知する報知手段を具備し、編集処理手段は、拡張編集手段による編集が正常終了し、かつ、報知手段による報知後に編集内容の確定が利用者から指示された場合に、第１記憶領域の音声合成データを、第２記憶領域に記憶された編集後の音声合成データに更新する。以上の態様では、編集後の音声合成データが指定する合成対象音の報知後に利用者が編集内容の確定を指示した場合に第１記憶領域の音声合成データが編集後の音声合成データに更新されるから、利用者の意図しない編集が音声合成データに実行される可能性を低減できるという利点がある。報知手段は、例えば、第２領域に記憶された編集後の音声合成データが指定する合成対象音の確認画面を表示装置に表示させる表示制御手段を含み、編集処理手段は、拡張編集手段による編集が正常終了し、かつ、確認画面の表示後に編集内容の確定が利用者から指示された場合に、第１記憶領域の音声合成データを、第２記憶領域に記憶された編集後の音声合成データに更新する。第１領域に記憶された音声合成データが指定する合成対象音の編集画面と、第２領域に記憶された編集後の音声合成データが指定する合成対象音の確認画面とを、表示制御手段が対比可能に表示装置に表示させる構成も好適である。

以上の各態様に係る音声合成装置は、音声合成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）で実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働でも実現される。本発明のプログラムは、合成対象音を指定する音声合成データを生成および編集する編集プログラムに対応する拡張プログラムであって、編集プログラムの実行で生成された音声合成データを編集する拡張編集手段としてコンピュータを機能させる。以上のプログラムによれば、本発明の音声合成データ編集装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

本発明の第１実施形態に係る音声合成装置のブロック図である。 音声合成データの模式図である。 編集画面の模式図である。 処理選択画面の模式図である。 拡張プログラムの実行時の動作のフローチャートである。 第２実施形態の動作の説明図である。 第３実施形態の動作の説明図である。 変形例に係る編集画面の模式図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音声合成装置１００のブロック図である。音声合成装置１００は、発話音や歌唱音等の音声を素片接続型の音声合成で生成する信号処理装置であり、図１に示すように、演算処理装置１２と記憶装置１４と通信装置２２と表示装置２４と入力装置２６と放音装置２８とを具備するコンピュータシステムで実現される。例えば、音声合成装置１００は、据置型の情報処理装置（パーソナルコンピュータ）で実現されるほか、携帯電話機や携帯情報端末等の携帯型の情報処理装置でも実現される。

演算処理装置１２は、記憶装置１４に記憶されたプログラムを実行することで、合成対象音の波形を示す音声信号Ｖを生成するための複数の機能（表示制御部３０，選択処理部３２，編集処理部３４，拡張編集部３６，音声合成部３８）を実現する。なお、演算処理装置１２の各機能を複数の集積回路に分散した構成や、専用の電子回路（例えばＤＳＰ）が一部の機能を実現する構成も採用され得る。

記憶装置１４は、音声合成に使用される各種のデータ（音声素片群ＤA，音声合成データＤB）やプログラム（編集プログラムＰA，音声合成プログラムＰB、拡張プログラムＱ）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に利用される。音声素片群ＤAと音声合成データＤBとを別個の記録媒体に格納した構成や、音声素片群ＤAまたは音声合成データＤBと各プログラム（ＰA，ＰB，Ｑ）とを別個の記録媒体に格納した構成も採用され得る。

音声素片群ＤAは、相異なる音声素片に対応する複数の素片データ（例えば音声素片の波形のサンプル系列）で構成されて音声合成の素材として使用される音声合成用ライブラリである。音声素片は、言語的な意味の区別の最小単位（例えば母音や子音）である音素、または複数の音素を連結した音素連鎖（例えばダイフォンやトライフォン）である。

記憶装置１４は、合成対象音（複数の音符の時系列）を指定する音声合成データＤBを記憶する。図２に示すように、音声合成データＤBは、合成対象音の各音符に対応する単位データＵを時系列に配列した時系列データ（スコアデータ）である。各単位データＵは、音符データＸAと発音データＸBと変数データＸCとを含んで構成される。

音符データＸAは、各音符の音高と発音時刻と継続長とを指定する。発音データＸBは、各音符で発声する発音文字（歌詞）とその発音文字に対応する発音記号とを指定する。発音記号は例えばSAMPA（Speech Assessment Methods Phonetic Alphabet）に準拠した形式で記述される。変数データＸCは、各音符の音響特性に関する変数を指定する。例えば変数データＸCは、各音符の音量（ベロシティ）を指定する。また、音声（特に歌唱音）の音楽的な表情を制御する表情パラメータを変数データＸCで指定することも可能である。例えばビブラートの時間長や種類，明瞭度（発声時の開口の度合），音高の揺らぎ（ピッチベンド）の深さおよび時間長，ポルタメントの有無等の表情パラメータが変数データＸCとして指定される。

図１に示すように、記憶装置１４は、編集プログラムＰAと音声合成プログラムＰBと複数の拡張プログラムＱとを記憶する。編集プログラムＰAは、利用者からの指示に応じて音声合成データＤBを生成および編集するためのソフトウェア（スコアエディタ）であり、音声合成プログラムＰBは、音声素片群ＤAを利用して音声合成データＤBが指定する合成対象音の音声信号Ｖを生成するソフトウェア（音声合成エンジン）である。各拡張プログラムＱは、編集プログラムＰAに組込まれて編集プログラムＰAの機能を拡張または追加するプラグインソフトウェアであり、編集プログラムＰAでは実行できない音声合成データＤBの編集処理を演算処理装置１２に実行させる。編集処理の種類毎に拡張プログラムＱが用意されて記憶装置１４に格納される。

図１の通信装置２２は、通信網（例えばインターネット）を介して他の通信機器と通信する。例えば、配信サーバ装置から配信された拡張プログラムＱが通信装置２２により受信されたうえで記憶装置１４に格納される。表示装置２４（例えば液晶表示装置）は、演算処理装置１２から指示された画像を表示する。入力装置２６は、利用者からの指示を受付ける機器（例えばマウス等のポインティングデバイスやキーボード）である。図１の選択処理部３２は、入力装置２６に対する利用者からの指示を受付ける。放音装置２８（例えばヘッドホンやスピーカ）は、演算処理装置１２が生成した音声信号Ｖに応じた音波を放射する。

演算処理装置１２が編集プログラムＰAを実行することで表示制御部３０と選択処理部３２と編集処理部３４とが実現される。表示制御部３０は、音声合成データＤBの生成および編集のために利用者が視認する図３の編集画面５０を表示装置２４に表示させる。編集画面５０のうち時間軸（横軸）と音高軸（縦軸）とが設定されたピアノロール型の領域内には、合成対象音の各音符を表現する音指示子（ノートバー）５２が入力装置２６に対する利用者からの指示に応じて配置される。音指示子５２の位置やサイズは利用者からの指示に応じて変更される。また、利用者は、入力装置２６を適宜に操作することで音指示子５２毎に発音文字を指定することが可能である。利用者が指定した発音文字とその発音文字に対応する発音記号とが各音指示子５２に付加される。図３の再生点５４は、音声合成の開始点を意味し、入力装置２６に対する利用者からの指示に応じて時間軸の方向に移動する。

編集処理部３４は、編集画面５０に対する利用者からの指示に応じて音声合成データＤBを生成および編集する。具体的には、編集処理部３４は、利用者が設定した音指示子５２毎に単位データＵを生成する。単位データＵのうち音符データＸAが指定する音高は音指示子５２の音高軸上の位置に応じて設定される。また、単位データＵのうち音符データＸAが指定する発音時刻は音指示子５２の時間軸上の位置に応じて設定され、音符データＸAが指定する継続長は音指示子５２の時間軸上のサイズに応じて設定される。単位データＵの発音データＸBは、利用者が音指示子５２に付加した発音文字とその発音文字に対応する発音記号とを指定する。変数データＸCの各変数も同様に、入力装置２６に対する利用者からの指示に応じて可変に設定される。

利用者は、入力装置２６を適宜に操作することで、１個以上の音指示子５２を含む所望の領域（以下「選択領域」という）５６を編集画面５０内で指定することが可能である。図１の選択処理部３２は、利用者が指定した選択領域５６に応じて音声合成データＤBの処理対象範囲Ｂを選択する。音声合成データＤBのうち処理対象範囲Ｂ内の単位データＵが拡張プログラムＱによる編集処理の対象となる。すなわち、音声合成データＤBの複数の単位データＵのうち選択領域５６内の音指示子５２に対応する各音符の単位データＵが処理対象範囲Ｂ内の単位データＵとして選択される。選択領域５６が指定された状態で利用者が入力装置２６に所定の操作を付与すると、表示制御部３０は図４の処理選択画面６０を表示装置２４に表示させる。

処理選択画面６０は、処理対象範囲Ｂ内の単位データＵに対する編集処理を利用者が選択するための画像であり、第１領域６１と第２領域６２とを含んで構成される。第１領域６１には、処理対象範囲Ｂの始点および終点の時刻と再生点５４の時刻とが表示される。

第２領域６２には、記憶装置１４に記憶された各拡張プログラムＱに対応する複数の行領域６４を配列した画像（すなわち拡張プログラムＱのリスト）が表示される。各行領域６４には、拡張プログラムＱの名称，作者，バージョンおよびパス（記憶装置１４内の保存位置）と、拡張プログラムＱで実現される編集処理の概要（処理概要）とが表示される。図４に例示されるように、各拡張プログラムＱで提供される編集処理には、処理対象範囲Ｂ内の音符の時系列にビブラートを付加する処理（ビブラート）や、各音符の継続長を所定長に短縮する処理（スタッカート），処理対象範囲Ｂ内の音量を所定値に変更する処理（ゲイン），処理対象範囲Ｂ内の音符を削除する処理（削除），発音文字を所定の文字（例えば「ら」）に変更する処理（ららら）等がある。

利用者は、入力装置２６を適宜に操作することで、処理選択画面６０の第２領域６２に表示された複数の拡張プログラムＱのうち所望の拡張プログラムＱ（編集処理）を選択することが可能である。選択処理部３２は、記憶装置１４が記憶する複数の拡張プログラムＱのうち利用者が選択した拡張プログラム（以下「選択プログラム」という）Ｑを特定する。以上に説明したように、選択処理部３２は、複数の拡張プログラムＱのうち利用者からの指示に応じた１個の拡張プログラムＱを選択する要素（処理選択手段）および音声合成データＤBの処理対象範囲Ｂを利用者からの指示に応じて選択する要素（対象選択手段）として機能する。

記憶装置１４に記憶された複数の拡張プログラムＱのうち選択処理部３２が選択した選択プログラムＱを演算処理装置１２が実行することで図１の拡張編集部３６が実現される。図５は、選択プログラムＱが選択された場合の編集処理部３４および拡張編集部３６の動作（選択プログラムＱを実行する演算処理装置１２の動作）のフローチャートである。

図５の処理を開始すると、編集処理部３４は、記憶装置１４の領域Ａ1に記憶された音声合成データＤBを領域Ａ2に複製する（ＳA11）。領域Ａ2は領域Ａ1とは別個の記憶領域である。例えば記憶装置１４が主記憶回路とキャッシュメモリとを含む構成では、主記憶回路内に領域Ａ1が設定されるとともにキャッシュメモリ内に領域Ａ2が設定される。ただし、記憶装置１４を構成する単一の記憶回路内に領域Ａ1と領域Ａ2とを設定することも可能である。

拡張編集部３６は、処理対象範囲Ｂ内の先頭（最先）の音符の直前に位置する仮想的な音符（すなわち処理対象範囲Ｂの始点前に仮定される音符）を最初の特定音符として選択する（ＳA12）。そして、拡張編集部３６は、領域Ａ2に複製された音声合成データＤBについて、処理対象範囲Ｂ内の音符の総数に相当する回数（Ｎ回）にわたり単位処理ＳUを反復する。

単位処理ＳUは、選択処理ＳU1と編集処理ＳU2とを含んで構成される。選択処理ＳU1は、現時点の特定音符の直後の音符を新規な特定音符として選択する処理である。第１回目の単位処理ＳUの直前には処理対象範囲Ｂの直前の音符が特定音符として指定されているから、第１回目の単位処理ＳUの選択処理ＳU1では処理対象範囲Ｂ内の先頭の音符が特定音符として選択される。また、第Ｎ回目の単位処理ＳUの選択処理ＳU1では処理対象範囲Ｂ内の最後の音符が特定音符として選択される。すなわち、処理対象範囲Ｂ内のＮ個の音符が単位処理ＳU毎に１個ずつ時系列の順番で特定音符として順次に選択される。

拡張編集部３６は、領域Ａ2に記憶された音声合成データＤBのうち直前の選択処理ＳU1で新規に選択した特定音符について、選択プログラムＱで規定された編集処理ＳU2を実行する。例えば、選択プログラムＱが図４の「ビブラート」の編集処理に対応する場合、拡張編集部３６は、処理対象範囲Ｂ内で各音符の音高が経時的に増減するように変数データＸCが指定するビブラートを調整する。選択プログラムＱが図４の「スタッカート」の編集処理に対応する場合、拡張編集部３６は、処理対象範囲Ｂ内の各音符の音符データＸAが指定する継続長を所定長（スタッカートと知覚される程度の短時間）に短縮する。選択プログラムＱが「ゲイン」の編集処理に対応する場合、拡張編集部３６は、処理対象範囲Ｂ内の各音符の変数データＸCが指定する音量を所定値に変更する。選択プログラムＱが「削除」の編集処理に対応する場合、拡張編集部３６は、音声合成データＤBのうち処理対象範囲Ｂ内の単位データＵを削除する。単位データＵの削除後に処理対象範囲Ｂ以降の各音符を削除分だけ前方に移動させる（すなわち各音符の音符データＸAが指定する発音時刻を処理対象範囲Ｂの時間長だけ早める）プログラムＱや、処理対象範囲Ｂ以降の各音符の発音時刻を削除前と同様に維持する（すなわち各音符の音符データＸAが指定する発音時刻を変更せずに処理対象範囲Ｂを空白とする）プログラムＱが作成されて利用者が選択的に取得する。処理対象範囲Ｂ以降の各音符を削除分だけ前方に移動させるか削除前と同様に維持するかを利用者に選択させる構成も好適である。また、選択プログラムＱが図４の「ららら」の編集処理に対応する場合、拡張編集部３６は、処理対象範囲Ｂ内の各音符の発音データＸBが指定する発音文字および発音記号を「ら」に対応する数値に変更する。

処理対象範囲Ｂ内のＮ個の音符の各々について単位処理ＳUが順次に実行される。拡張編集部３６が単位処理ＳUをＮ回にわたり反復すると、編集処理部３４は、Ｎ回の単位処理ＳUが正常終了したか否かを判定する（ＳA21）。Ｎ回の単位処理ＳUが正常終了した場合（ＳA21：YES）、編集処理部３４は、領域Ａ1に記憶された音声合成データＤBを、領域Ａ2に記憶された編集後の音声合成データＤBに更新する（ＳA22）。すなわち、領域Ａ1の音声合成データＤBが編集後の音声合成データＤBに置換される。他方、単位処理ＳUが異常終了した場合（例えば選択プログラムＱが暴走した場合（ＳA21：NO））、表示制御部３０は、異常終了（エラー）を利用者に報知するメッセージを表示装置２４に表示する（ＳA23）。なお、選択プログラムＱによる編集処理の中断を利用者が指示するための操作子（例えば「処理中断」ボタン）を編集処理の実行中に表示装置２４に表示させる構成も好適である。例えば選択プログラムＱの実行時間が長過ぎる（不具合の発生の可能性が高い）と感じた利用者が操作子を操作すると、編集処理が中断（強制終了）されて異常終了のメッセージが表示装置２４に表示される。また、選択プログラムＱの実行の許容時間を設定し、選択プログラムＱの実行時間が許容時間に到達した場合に、編集処理を中断して異常終了のメッセージを表示させることも可能である。以上が選択プログラムＱを利用した音声合成データＤBの編集の手順である。

演算処理装置１２は、記憶装置１４に記憶された音声合成プログラムＰBを実行することで図１の音声合成部３８として機能する。音声合成部３８は、記憶装置１４の領域Ａ1に記憶された音声合成データＤBで指定される合成対象音の音声信号Ｖを生成する。具体的には、音声合成部３８は、第１に、音声合成データＤB内の各単位データＵの発音データＸBが指定する発音記号に対応する音声素片の素片データを記憶装置１４の音声素片群ＤAから順次に取得する。第２に、音声合成部３８は、音声素片群ＤAから取得した各素片データを、各単位データＵの音符データＸAが指定する音高および継続長に調整するとともに変数データＸCが指定する変数に応じて調整する。第３に、音声合成部３８は、調整後の素片データを音符データＸAが指定する発音時刻に配置して相互に連結することで音声信号Ｖを生成する。音声合成部３８が生成した音声信号Ｖが放音装置２８に供給されて音波として再生される。

以上に説明した第１実施形態では、基本的な編集プログラムＰAによる編集処理に加えて拡張プログラムＱによる編集処理も実行される。すなわち、拡張プログラムＱを利用できない構成と比較して、音声合成データＤBに対する編集処理が多様化される。したがって、利用者が希望する編集処理や利用者の作業負担を軽減可能な編集処理を追加することが可能である。第１実施形態では特に、複数の拡張プログラムＱから利用者の指示に応じた選択プログラムＱが選択されて音声合成データＤBの編集に適用されるから、利用者毎の意図を反映した編集処理を音声合成データＤBに対して実行できるという利点もある。

また、第１実施形態では、音声合成データＤBのうち選択プログラムＱによる編集処理の対象となる処理対象範囲Ｂが利用者からの指示に応じて選択されるから、例えば選択プログラムＱによる編集処理が音声合成データＤBの全体のみに適用される構成と比較して、利用者の意図を精緻に反映した合成音を生成できるという利点がある。

ところで、図５のステップＳA12において処理対象範囲Ｂ内の最初の音符を特定音符として選択した場合、処理対象範囲Ｂ内の最初の音符に対する編集処理ＳU2の実行後に(Ｎ−１)回の単位処理ＳUが実行されるように拡張プログラムＱを記述する必要がある。すなわち、処理対象範囲Ｂ内の第１個目の音符と第２個目以降の各音符とで処理を個別に規定する必要がある。第１実施形態では、処理対象範囲Ｂの直前の音符を仮想的な特定音符としてステップＳA12で選択してから単位処理ＳUが開始されるため、処理対象範囲Ｂ内のＮ個の音符について共通の単位処理ＳUを実行することが可能である。したがって、拡張プログラムＱの内容が簡素化されるという利点がある。

なお、領域Ａ1内の音声合成データＤBについて拡張プログラムＱによる編集処理を直接的に実行する構成では、Ｎ回の単位処理ＳUが途中で異常終了した場合に編集前の音声合成データＤBを回復できない可能性がある。第１実施形態では、領域Ａ1から領域Ａ2に複製された音声合成データＤBについて拡張プログラムＱによる編集処理が実行され、編集処理（Ｎ回の単位処理ＳU）が正常終了した場合だけ領域Ａ1の音声合成データＤBが編集後の音声合成データＤBに置換される。したがって、Ｎ回の単位処理ＳUが仮に異常終了した場合でも、領域Ａ1に記憶された編集前の音声合成データＤBを利用して引続き編集を実行することが可能である。

＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

図６は、処理対象範囲Ｂ内の各音符の音量を所定値に設定する図４の「ゲイン」の編集処理の拡張プログラムＱが選択プログラムＱとして選択された場合の拡張編集部３６の動作の説明図である。図６に示すように、拡張編集部３６は、Ｎ回にわたる単位処理ＳUで処理対象範囲Ｂ内の各音符の音量を所定値α0に変更すると、処理対象範囲Ｂの直前の区間ｂ1と処理対象範囲Ｂの直後の区間ｂ2とについて各音符の音量を調整する。区間ｂ1および区間ｂ2の各々は所定長（例えば１小節分）に設定される。

具体的には、拡張編集部３６は、区間ｂ1内の各音符の音量が区間ｂ1の始点から終点（処理対象範囲Ｂの始点）にかけて指定値α1から処理対象範囲Ｂ内の所定値α0に経時的（直線的または曲線的）に変化するように、区間ｂ1内の各変数データＸCが指定する音量を調整する。指定値α1は、例えば区間ｂ1の最初の音符に指定された音量である。同様に、拡張編集部３６は、区間ｂ2内の各音符の音量が区間ｂ2の始点から終点にかけて処理対象範囲Ｂ内の所定値α0から指定値α2に経時的に変化するように、区間ｂ2内の各変数データＸCが指定する音量を調整する。指定値α2は、例えば区間ｂ2の最後の音符に指定された音量である。

処理対象範囲Ｂ内の各音符の音量を所定値α0に変更するだけでは、区間ｂ1と処理対象範囲Ｂとの境界点や処理対象範囲Ｂと区間ｂ2との境界点にて合成音の音量が不連続に変化して不自然な印象となる。第２実施形態では、処理対象範囲Ｂ内の音量に加えて前方の区間ｂ1および後方の区間ｂ2内の音量も調整されるから、区間ｂ1と処理対象範囲Ｂとの境界点や処理対象範囲Ｂと区間ｂ2との境界点で音量が連続的に変化する自然な合成音を生成できるという利点がある。なお、以上の説明では音量を例示したが、明瞭度（発声時の開口の度合）や音高の揺らぎの深さおよび時間長，ビブラートの時間長や種類等の他の変数データＸC（表情パラメータ）の数値についても第２実施形態と同様に調整することが可能である。

＜第３実施形態＞
図７は、第３実施形態における演算処理装置１２の動作のフローチャートである。ステップＳA20までの処理は第１実施形態と同様である。第１実施形態と同様に、単位処理ＳUをＮ回にわたり反復すると、編集処理部３４は、Ｎ回の単位処理ＳUが正常終了したか否かを判定する（ＳA21）。Ｎ回の単位処理ＳUが正常終了した場合（ＳA21：YES）、表示制御部３０は、選択プログラムＱによる編集内容の確認画面を表示装置２４に表示させる（ＳA31）。確認画面は、領域Ａ2に記憶された編集後の音声合成データＤBを編集画面５０と同様の形式で表示する画像である。すなわち、確認画面では、編集後の音声合成データＤBの各単位データＵを表現する音指示子５２が音高軸および時間軸のもとで配置される。利用者は、確認画面を視認することで選択プログラムＱによる編集内容を確認することが可能である。領域Ａ1内の音声合成データＤBを表示する図３の編集画面５０と対比できるように確認画面を表示する構成が好適である。

利用者は、入力装置２６を適宜に操作する（例えば確認画面の「適用」ボタンまたは「取消」ボタンを操作する）ことで編集内容の確定／破棄を指示することが可能である（ＳA32）。編集内容の確定が指示された場合（ＳA32：YES）、編集処理部３４は、第１実施形態と同様に、領域Ａ1の音声合成データＤBを編集後の音声合成データＤBに置換する。他方、編集内容の破棄が指示された場合（ＳA32：NO）、編集処理部３４は、領域Ａ2の音声合成データＤBを消去する（ＳA33）。すなわち、選択プログラムＱによる編集処理が取消されて領域Ａ1の音声合成データＤBは編集前の内容に維持される。

第３実施形態では、選択プログラムＱを適用した編集後の合成対象音の確認画面が表示装置２４に表示され、利用者が編集内容の確定を指示した場合に領域Ａ1の音声合成データＤBが編集後の内容に更新される。したがって、利用者の意図しない編集が音声合成データＤBに実行される可能性を低減できるという利点がある。

なお、以上の説明では、編集後の音声合成データＤBの確認画面を表示したが、確認画面の表示とともに（または確認画面の表示に代えて）、編集後の音声合成データＤBを適用して生成される音声信号Ｖを放音装置２８から再生することも可能である。すなわち、第３実施形態の演算処理装置１２は、編集後の音声合成データＤAを利用者に報知する要素（報知手段）として機能し、確認画面を表示装置２４に表示させる表示制御部３０は、報知手段の例示である。また、以上の説明から理解されるように、編集前後の音声合成データＤAを対比できる構成の有無は本発明において不問である。

＜変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。

（１）拡張プログラムＱによる編集処理の内容は以上の例示に限定されない。例えば、処理対象範囲Ｂ内で相前後する各音符の間に所定長の休符を挿入する編集処理や、処理対象範囲Ｂ内の各音符の音高を変化させる（例えば１オクターブだけ上下させる）編集処理を拡張プログラムＱにより実現することも可能である。

（２）前述の各形態では、選択領域５６内の音指示子５２に対応する複数の単位データＵを処理対象範囲Ｂ内の単位データＵとして選択したが、処理対象範囲Ｂ内の複数の単位データＵが時間軸上で相互に隣合う必要はない。すなわち、処理対象範囲Ｂ内の各単位データＵが複数の単位データＵから散発的（飛び飛び）に選択される構成も好適である。例えば、所定の操作子（例えばコントロールキー）を操作しながら任意の音指示子５２を順次に指示（例えばクリック）することで、利用者は、各音指示子５２に対応する単位データＵを処理対象範囲Ｂ内の単位データＵとして散発的に選択することが可能である。具体的には、選択状態／非選択状態を示す選択データ（フラグ）が各単位データＵに追加され、図５のステップＳA11では、複数の単位データＵのうち選択データが選択状態に設定された単位データＵが領域Ａ1から領域Ａ2に複製される。また、図５の選択処理ＳU1では、単位データＵの選択データが選択状態に設定された音符のうち特定音符の直後の音符が選択される。なお、例えば複数の音指示子５２が散発的に選択された場合、処理選択画面６０の第１領域６１における処理対象範囲Ｂの始点および終点の表示は無効状態（例えばグレーアウト）に維持される。

（３）前述の各形態では、時間軸と音高軸とが設定されたピアノロール型の編集画面５０を例示したが、処理対象範囲Ｂを選択するための画像は図３の編集画面５０（ピアノロール画面）に限定されない。例えば図８の編集画面７０を表示装置２４に表示させることも可能である。編集画面７０は、単位領域７２を含んで構成される。図８では１個の単位領域７２のみが図示されているが、楽曲のパート毎（トラック）毎に単位領域７２が並列に配置される。単位領域７２には、図３の編集画面５０を縮小した音指示子７４の時系列が配置されるが、利用者は各音指示子７２を直接的に操作することはできない。単位領域７２のうち特定の区間がピアノロール型の編集画面５０として表示されて利用者により操作される。なお、編集画面５０と編集画面７０とを並列（同時）に表示する構成や、利用者からの指示（例えば編集画面７０のダブルクリック）を契機として編集画面５０を表示する構成が採用され得る。

利用者は、入力装置２６を適宜に操作することで単位領域７２内に所望の選択領域７６を指定することが可能である。図８に示すように、時間軸上で相互に離間する複数の選択領域７６を選択することもできる。選択処理部３２は、利用者が指定した選択領域７６内の各音符に対応する単位データＵを処理対象範囲Ｂ内の単位データＵとして選択する。

（４）前述の各形態では、編集プログラムＰAによる編集機能を拡張プログラムＱにより拡張または追加する構成（すなわち拡張プログラムＱが存在しない状態でも編集プログラムＰAによる編集処理は可能な構成）を例示したが、編集プログラムＰAによる編集処理を省略することも可能である。例えば、楽曲の演奏音を指定する音楽ファイルを再生する音響再生装置では、音楽ファイルが指定する各音符の時系列を編集画面５０と同様の形態で表示する構成が採用される。拡張プログラムＱが導入されていない段階では音楽ファイルを編集することはできないが、拡張プログラムＱの導入後には、前述の各形態と同様に、拡張プログラムＱによる編集処理を音楽ファイルに対して実行することが可能となる。

（５）前述の各形態では、音声素片群ＤAと音声合成データＤBとを記憶する記憶装置１４を音声合成装置１００に搭載したが、音声合成装置１００とは独立した外部装置（例えばサーバ装置）が音声素片群ＤAおよび音声合成データＤBの一方または双方を記憶する構成も採用され得る。音声合成装置１００は、例えば通信網を介して音声素片群ＤAまたは音声合成データＤBを取得して、編集画面５０（編集画面７０）または処理選択画面６０の表示や音声合成データＤBの編集や音声信号Ｖの合成を実行する。以上の説明から理解されるように、音声素片群ＤAや音声合成データＤBを記憶する要素（前述の各形態における記憶装置１４）は音声合成装置１００の必須の要素ではない。

（６）前述の各形態では、日本語の音声の合成を例示したが、合成対象となる音声の言語は任意であり、日本語には限定されない。例えば、英語，スペイン語，中国後，韓国語等の任意の言語の音声を生成する場合にも以上の各形態を同様に適用することが可能である。

（７）前述の各形態では、音声合成部３８を含む音声合成装置１００を例示したが、音声合成データＤBを編集するための装置（音声合成データ生成装置）としても本発明は実現される。音声合成データ生成装置は、例えば図１の音声合成装置１００から音声合成プログラムＰB（音声合成部３８）を省略した構成である。音声合成データ生成装置に音声合成部３８を追加することで音声合成装置１００が実現されると換言することも可能である。

１００……音声合成装置、１２……演算処理装置、１４……記憶装置、２２……通信装置、２４……表示装置、２６……入力装置、２８……放音装置、３０……表示制御部、３２……選択処理部、３４……編集処理部、３６……拡張編集部、３８……音声合成部。

Claims (4)

1. 合成対象音を指定する音声合成データを編集プログラムにより生成および編集する編集処理手段と、
   前記編集処理手段が生成した音声合成データが指定する合成対象音の処理対象範囲を利用者からの指示に応じて選択する対象選択手段と、
   前記編集プログラムとは別個に配信されて通信装置が受信した複数の拡張プログラムのうち利用者からの指示に応じた拡張プログラムを選択する処理選択手段と、
   前記編集処理手段が生成した音声合成データのうち前記対象選択手段が選択した処理対象範囲を、前記処理選択手段が選択した拡張プログラムにより編集する拡張編集手段と
   を具備する音声合成データ編集装置。
2. 前記複数の拡張プログラムの何れかを利用者が選択するための処理選択画面を表示装置に表示させる表示制御手段を具備し、
   前記処理選択画面は、前記複数の拡張プログラムの各々について、当該拡張プログラムの名称と、当該拡張プログラムで実現される編集処理の概要とを含む
   請求項１の音声合成データ編集装置。
3. コンピュータシステムが、
   合成対象音を指定する音声合成データを編集プログラムにより生成および編集し、
   前記生成した音声合成データが指定する合成対象音の処理対象範囲を利用者からの指示に応じて選択し、
   前記編集プログラムとは別個に配信されて通信装置が受信した複数の拡張プログラムのうち利用者からの指示に応じた拡張プログラムを選択し、
   前記音声合成データのうちの前記処理対象範囲を、前記選択した拡張プログラムにより編集する拡張編集手段と
   を具備する音声合成データ編集方法。
4. 前記複数の拡張プログラムの何れかを利用者が選択するための処理選択画面を表示装置に表示させ、
   前記処理選択画面は、前記複数の拡張プログラムの各々について、当該拡張プログラムの名称と、当該拡張プログラムで実現される編集処理の概要とを含む
   請求項３の音声合成データ編集方法。

Images