JP6507579B2

JP6507579B2 - 音声合成方法

Info

Publication number: JP6507579B2
Application number: JP2014227773A
Authority: JP
Inventors: 基小笠原
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2014-11-10
Filing date: 2014-11-10
Publication date: 2019-05-08
Anticipated expiration: 2034-11-10
Also published as: US9711123B2; JP2016090916A; US20160133246A1

Description

本発明は、歌唱音声等の音声を合成する技術に関する。

任意の発音文字を発音した音声の音声信号を合成する音声合成技術が従来から提案されている。破擦音や摩擦音等の子音に母音が後続する発音文字を目標の発音期間にて発音した音声を合成する場合に、発音期間の始点から子音の発音を開始させると、発音期間の始点から子音の継続長だけ遅延した時点で母音の発音が開始されるから、目標の発音期間の始点から遅延した時点で当該発音文字の発音が開始されたように受聴者には知覚される。そこで、目標の発音期間の始点前に子音の発音を開始するとともに当該発音期間の始点で母音の発音が開始されるように音声信号を生成する技術が提案されている（例えば特許文献１）。

特開２００２−２２１９７８号公報

しかし、例えばMIDI（Musical Instrument Digital Interface）楽器等の入力装置に対する利用者からの指示に並行して実時間的に音声信号を合成する状況（リアルタイム音声合成）では、利用者からの指示を契機として子音の発音が開始され、当該子音の終了後に母音の発音が開始される。したがって、利用者による指示の時点から当該指示に応じた音声（母音）が知覚されるまでの遅延量が大きいという問題がある。以上の事情を考慮して、本発明は、合成音声の遅延の低減を目的とする。

以上の課題を解決するために、本発明の好適な態様に係る音声合成装置は、発音文字を指定する音声合成情報を利用して当該発音文字の発声音の音声信号を生成する第１合成処理と、音声合成情報で指定される少なくとも一部の発音文字を当該発音文字とは相違する代替発音文字に置換した発声音の音声信号を生成する第２合成処理とを選択的に実行する音声合成手段を具備する。以上の構成において、第１合成処理では、音声合成情報で指定される各発音文字の発声音の音声信号が生成され、第２合成処理では、音声合成情報で指定される各発音文字の少なくとも一部を代替発音文字に置換した発声音の音声信号が生成される。したがって、第１合成処理では任意の発音文字の発声音の音声信号を生成できる一方、第２合成処理では、発音の開始から母音の発音が開始されるまでの遅延を低減した音声信号を生成することが可能である。

本発明の好適な態様において、音声合成手段は、第２合成処理において、音声合成情報で指定される複数の発音文字のうち、子音の発音から直後の母音の発音までの遅延量が大きい第１種別の発音文字を代替発音文字に置換し、第１種別とは相違する第２種別の発音文字については置換しない。以上の態様の第２合成処理では、子音の発音から直後の母音の発音までの遅延量が大きい第１種別の発音文字は代替発音文字に置換され、第１種別とは相違する第２種別の発音文字については代替発音文字への置換が実行されない。したがって、音声合成情報で指定される発音文字を適度に維持しながら、第１種別の音素については母音の発音の開始までの遅延を効果的に低減した音声信号を生成できるという利点がある。なお、以上の態様の具体例は例えば第２実施形態として後述される。

本発明の好適な態様の音声合成装置は、所定の発音文字を指定する単位情報を入力装置に対する利用者からの指示に応じて順次に生成して音声合成情報に追加する情報編集手段を具備し、音声合成手段は、第２合成処理において、入力装置に対する指示に並行して実時間的に、単位情報で指定される所定の発音文字とは相違する代替発音文字の発声音の音声信号を生成する。利用者からの指示に並行して実時間的に音声信号を生成する構成では、当該音符の母音が発音されるまでの遅延が利用者に知覚され易いという事情があるから、母音の発音までの遅延を低減できる本発明は格別の好適である。なお、以上の態様の具体例は例えば第３実施形態または第４実施形態として後述される。

本発明の好適な態様において、音声合成手段は、第１合成処理では、音声合成情報の単位情報が指定する第１制御変数に応じて音声信号における子音の継続長を制御し、単位情報が指定する第２制御変数に応じて音声信号の音量を制御する一方、第２合成処理では、入力装置に対する操作に応じた第１制御変数に応じて音声信号の音量を制御し、情報編集手段は、第２合成処理で指定された第１制御変数の数値を、単位情報が指定する第２制御変数の数値として設定する。以上の態様では、第１合成処理で音声信号の音量の制御に適用される第２制御変数が、第２動作モードで同様に音量の制御に適用される第１制御変数と同等の数値に設定されるから、第１制御変数の意義（制御対象）が第１合成処理と第２合成処理とで相違する構成にも関わらず、第２合成処理での利用者の意図（入力装置に対する操作）を反映した音声信号を第１合成処理でも生成できるという利点がある。なお、以上の態様の具体例は、例えば第４実施形態として後述される。

本発明の好適な態様において、音声合成情報は、発音文字と音高と発音期間とを音符毎に指定し、音声合成情報が指定する各音符を表象する音符図像を時間軸と音高軸とが設定された楽譜領域内に配置した編集画像を表示装置に表示させる手段であって、第１合成処理の実行時と第２合成処理の実行時とで音符図像の表示態様を相違させる表示制御手段を具備する。以上の態様では、第１合成処理の実行時と第２合成処理の実行時とで音符図像の表示態様が相違するから、第１合成処理および第２合成処理の何れが実行される状況かを利用者が視覚的および直観的に把握できるという利点がある。なお、表示態様とは、利用者が視覚的に弁別可能な画像の性状を意味し、例えば明度（階調）や彩度や色相が表示態様の典型例である。

本発明の好適な態様において、代替発音文字は、複数の候補から利用者が選択した発音文字である。以上の態様では、利用者の嗜好や意図に適合した発音文字が代替発音文字として第２合成処理で利用されるから、個々の利用者にとって聴感的な違和感の少ない音声信号を生成できるという利点がある。

以上の各態様に係る楽曲処理装置は、DSP（Digital Signal Processor）等のハードウェア（電子回路）によって実現されるほか、CPU（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、CD-ROM等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。本発明のプログラムは、例えば通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。また、本発明は、以上に説明した各態様に係る音声合成装置の動作方法（音声合成方法）としても特定される。

第１実施形態における音声合成装置の構成図である。音声合成情報の模式図である。第１動作モードにおける編集画像の模式図である。第２動作モードにおける編集画像の模式図である。音声合成部の動作のフローチャートである。選択画面の模式図である。音素種別情報の模式図である。第２実施形態における第２合成処理のフローチャートである。第４実施形態における音声合成情報の模式図である。ートである。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音声合成装置１００の構成図である。第１実施形態の音声合成装置１００は、合成音声の音声信号Ｖを生成する信号処理装置（歌唱合成装置）であり、演算処理装置１０と記憶装置１２と表示装置１４と入力装置１６と放音装置１８とを具備するコンピュータシステム（例えば携帯電話機やパーソナルコンピュータ等の情報処理装置）で実現される。第１実施形態では、歌唱曲の歌唱音声の音声信号Ｖを生成する場合を想定する。

表示装置１４（例えば液晶表示パネル）は、演算処理装置１０から指示された画像を表示する。入力装置１６は、音声合成装置１００に対する様々な指示のために利用者が操作する操作機器であり、例えば利用者が操作する複数の操作子を含んで構成される。表示装置１４と一体に構成されたタッチパネルを入力装置１６として採用することも可能である。放音装置１８（例えばスピーカやヘッドホン）は、音声信号Ｖに応じた音響を放射する。なお、音声信号Ｖをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。

記憶装置１２は、演算処理装置１０が実行するプログラムや演算処理装置１０が使用する各種のデータを記憶する。第１実施形態の記憶装置１２は、主記憶装置（例えば半導体記録媒体等の１次記憶装置）と補助記憶装置（例えば磁気記録媒体等の２次記憶装置）とを包含する。主記憶装置は補助記憶装置と比較して高速な読出および書込が可能であり、補助記憶装置は主記憶装置と比較して大容量である。図１に例示される通り、第１実施形態の記憶装置１２（典型的には補助記憶装置）は、音声素片群Ｌと音声合成情報Ｓとを記憶する。

音声素片群Ｌは、特定の発声者の音声から事前に収録された複数の音声素片の集合（音声合成用ライブラリ）である。各音声素片は、言語的な意味の最小単位である音素単体（例えば母音や子音）、または複数の音素を連結した音素連鎖（例えばダイフォンやトライフォン）である。音声素片は、周波数領域のスペクトルまたは時間領域の波形を示すデータの形態で記憶装置１２に記憶される。

音声合成情報Ｓは、合成対象となる歌唱音声を指定する時系列データ（例えばＶＳＱファイル）であり、図２に例示される通り、歌唱音声の音符毎に単位情報Ｕを包含する。任意の１個の音符の単位情報Ｕは、当該音符の発音文字Ｘと音高Ｐと発音期間Ｔとを指定する。発音文字Ｘは、歌唱音声の音符の発音内容（すなわち歌詞）を表現する符号である。具体的には、例えば母音単体または子音と母音との組合せで構成される音節（モーラ）を表現する符号が発音文字Ｘとして指定される。音高Ｐは、例えばMIDI（Musical Instrument Digital Interface）規格に準拠したノートナンバーである。発音期間Ｔは、歌唱音声において音符の発音が継続される期間であり、例えば音符の発音時点と消音時点または継続長とで指定される。

図１の演算処理装置１０は、記憶装置１２に記憶されたプログラムを実行することで、音声合成情報Ｓの編集や音声信号Ｖの合成のための複数の機能（表示制御部２２，情報編集部２４，音声合成部２６）を実現する。なお、演算処理装置１０の各機能を複数の装置に分散した構成や、音声処理専用の電子回路が演算処理装置１０の機能の一部を実現する構成も採用され得る。

表示制御部２２は、各種の画像を表示装置１４に表示させる。第１実施形態の表示制御部２２は、音声合成情報Ｓが指定する歌唱音声の内容を利用者が確認および編集するための図３の編集画像４０を表示装置１４に表示させる。編集画像４０は、相互に交差する時間軸および音高軸が設定された楽譜領域４２に、音声合成情報Ｓで指定される各音符を表象する図形（以下「音符図像」という）４４を配置したピアノロール型の画像である。具体的には、音高軸の方向における音符図像４４の位置は当該音符の音高Ｐに応じて設定され、時間軸の方向における音符図像４４の位置および表示長は当該音符の発音期間Ｔに応じて設定される。また、図３に例示される通り、各音符の発音文字Ｘが音符図像４４に付加される。

図１の情報編集部２４は、音声合成情報Ｓを管理する。具体的には、情報編集部２４は、入力装置１６に対する利用者からの指示に応じて音声合成情報Ｓを生成および編集する。例えば、情報編集部２４は、楽譜領域４２に対する音符図像４４の追加の指示に応じて音声合成情報Ｓに単位情報Ｕを追加し、任意の音符図像４４の移動や時間軸上の伸縮の指示に応じて単位情報Ｕの音高Ｐや発音期間Ｔを変更する。また、情報編集部２４は、音符図像４４が新規に追加された段階（利用者が発音文字Ｘを指定していない段階）では、当該音符の単位情報Ｕの発音文字Ｘを例えば「あ」等の初期的な発音文字に設定し、発音文字Ｘの変更が利用者から指示された場合に単位情報Ｕの発音文字Ｘを変更する。

図１の音声合成部２６は、記憶装置１２に記憶された音声素片群Ｌと音声合成情報Ｓとを利用した音声合成処理で音声信号Ｖを生成する。第１実施形態の音声合成部２６は、第１動作モードおよび第２動作モードの何れかの動作モードで動作する。例えば、入力装置１６に対する利用者からの指示に応じて音声合成部２６の動作モードが第１動作モードおよび第２動作モードの一方から他方に変更される。音声合成部２６は、第１動作モードでは第１合成処理を実行し、第２動作モードでは第２合成処理を実行する。すなわち、第１実施形態の音声合成部２６は、第１合成処理と第２合成処理とを選択的に実行する。第１合成処理は、音声合成情報Ｓが指定する発音文字Ｘを発音した歌唱音声の音声信号Ｖを生成する音声合成処理（すなわち通常の音声合成処理）であり、第２合成処理は、音声合成情報Ｓが指定する各音符の発音文字Ｘを他の発音文字（以下「代替発音文字」という）に置換した歌唱音声の音声信号Ｖを生成する音声合成処理である。なお、第１動作モードおよび第２動作モード以外の動作モードを選択可能な構成も採用され得る。

表示制御部２２は、第１動作モードと第２動作モードとで編集画像４０の表示態様（色彩や模様等の視覚的に知覚可能な性状）を相違させる。前掲の図３は、第１動作モードの選択時に表示される編集画像４０の模式図であり、図４は、第２動作モードの選択時に表示される編集画像４０の模式図である。図３および図４から理解される通り、第１実施形態の表示制御部２２は、編集画像４０の楽譜領域４２に配置される各音符図像４４の色彩や模様を第１動作モードと第２動作モードとで相違させる。したがって、音声合成装置１００の現在の動作モード（第１動作モード／第２動作モード）を利用者が視覚的および直観的に把握できるという利点がある。

図５は、音声合成部２６が音声信号Ｖを生成する動作のフローチャートである。入力装置１６に対する操作で音声合成の開始が指示された場合に図５の処理が開始される。図５の処理を開始すると、音声合成部２６は、第１動作モードおよび第２動作モードの何れが選択されているかを判定する（Ｓ0）。

第１動作モードが選択されている場合、音声合成部２６は第１合成処理を実行する（ＳA1，ＳA2）。具体的には、音声合成部２６は、記憶装置１２に記憶された音声合成情報Ｓが音符毎に指定する発音文字Ｘに対応する音声素片を音声素片群Ｌから順次に選択し（ＳA1）、音声合成情報Ｓが指定する音高Ｐおよび発音期間Ｔに各音声素片を調整したうえで相互に連結することで音声信号Ｖを生成する（ＳA2）。第１合成処理では、発音文字Ｘが子音と母音とで構成される場合に、発音期間Ｔの始点に先行して子音の発音が開始され、発音期間Ｔの始点では母音の発音が開始されるように、各音声素片を構成する音素の時間軸上の位置が調整される。

他方、第２動作モードが選択されている場合、音声合成部２６は第２合成処理を実行する（ＳB1，ＳB2）。具体的には、音声合成部２６は、記憶装置１２のうち補助記憶装置に記憶された音声素片群Ｌから代替発音文字の音声素片を主記憶装置に読込み（ＳB1）、音声合成情報Ｓが指定する各音符の音高Ｐおよび発音期間Ｔに当該音声素片を調整したうえで相互に連結することで音声信号Ｖを生成する（ＳB2）。第２合成処理では、発音期間Ｔの始点で各音符の発音が開始されるように、音声素片を構成する各音素の時間軸上の位置が調整される。以上に例示した通り、第１動作モード（第１合成処理）では、音符毎の発音文字Ｘに対応する様々な音声素片が音声素片群Ｌから順次に選択されるのに対し、第２動作モード（第２合成処理）では、代替発音文字に対応する音声素片が主記憶装置に固定的に保持されて複数の音符にわたる歌唱音声の合成に反復的に流用される。したがって、第２合成処理では第１合成処理と比較して処理負荷（ひいては処理遅延）が低減される。

第２動作モードで利用される代替発音文字は、入力装置１６に対する操作で利用者が複数の候補から事前に選択した発音文字である。図６は、利用者が代替発音文字を選択するための選択画像４６の模式図である。表示制御部２２は、入力装置１６に対する所定の操作（代替発音文字の選択指示）を契機として図６の選択画像４６を表示装置１４に表示させる。

図６に例示される通り、第１実施形態の選択画像４６では、利用者による選択の候補となる複数の発音文字（以下「候補文字」という）が配列される。具体的には、発音文字の発音の開始から当該発音文字の母音の開始までの遅延量（以下「母音開始遅延量」という）が相対的に短い発音文字が候補文字として利用者に提示される。母音開始遅延量は、母音の直前に位置する子音の継続長とも換言され得る。例えば、図６では、母音開始遅延量が０である母音自体（あ[a]，い[i]，う[M]，え[e]，お[o]）と、母音開始遅延量が他の種別の子音と比較して相対的に短い子音である流音（ら[4a]，り[4'i]，る[4M]，れ[4e]，ろ[4o]）とを候補文字とした場合が例示されている（[ ]内はX-SAMPAに準拠した音素表記）。利用者は、入力装置１６を適宜に操作することで、選択画像４６内の複数の候補文字から所望の代替発音文字を選択することが可能である。

以上の通り、第２動作モードでは、音声合成情報Ｓで指定される各音符の発音文字Ｘが、母音開始遅延量が相対的に短い代替発音文字に置換される。すなわち、第２動作モードは、子音の発音の開始から母音の発音が開始されるまでの遅延を低減するための動作モード（低遅延モード）である。

以上に例示した通り、第１実施形態においては、第１動作モード（第１合成処理）では、音声合成情報Ｓで指定される各発音文字Ｘの発声音の音声信号Ｖが生成され、第２動作モード（第２合成処理）では、音声合成情報Ｓで指定される各発音文字Ｘを代替発音文字に置換した発声音の音声信号Ｖが生成される。したがって、第１実施形態によれば、第１動作モードでは任意の発音文字Ｘの発声音の音声信号Ｖを生成できる一方、第２動作モードでは、発音期間Ｔの始点から母音の発音が開始されるまでの遅延を低減した音声信号Ｖを生成することが可能である。

＜第２実施形態＞
本発明の第２実施形態を以下に例示する。以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

第２実施形態の記憶装置１２は、第１実施形態と同様の情報（音声素片群Ｌ，音声合成情報Ｓ）に加えて図７の音素種別情報Ｑを記憶する。図７に例示される通り、音素種別情報Ｑは、歌唱音声に包含され得る各音素の種別を指定する。具体的には、第２実施形態の音素種別情報Ｑは、音声合成処理に適用される音声素片を構成する各音素を第１種別ｑ1と第２種別ｑ2とに区別する。第１種別ｑ1は、母音開始遅延量が相対的に大きい音素（例えば母音開始遅延量が所定の閾値を上回る音素）の種別であり、第２種別ｑ2は、母音開始遅延量が第１種別ｑ1の音素と比較して相対的に小さい音素（例えば母音開始遅延量が閾値を下回る音素）の種別である。例えば、半母音（/w/,/y/），鼻音（/m/,/n/），破擦音（/ts/），摩擦音（/s/,/f/），拗音（/kja/,/kju/,/kjo/）等の子音は第１種別ｑ1に分類され、母音（/a/,/i/,/u/），流音（/r/,/l/），破裂音（/t/,/k/,/p/）等の音素は第２種別ｑ2に分類される。なお、例えば２個の母音を連続させた２重母音については、後方の母音にアクセントがある場合には第１種別ｑ1に分類し、前方の母音にアクセントがある場合には第２種別ｑ2に分類するという取扱いが好適である。

図８は、第２実施形態において第２動作モードの選択時に音声合成部２６が実行する第２合成処理のフローチャートである。第２実施形態では、前掲の図５の処理ＳB2が図８の処理ＳB21からＳB25に置換される。具体的には、音声合成部２６は、記憶装置１２に記憶された音素種別情報Ｑを参照することで、音声合成情報Ｓで指定される１個の音符の発音文字Ｘ（複数の音素で構成される場合は最初の音素）が第１種別ｑ1および第２種別ｑ2の何れに該当するかを判定する（ＳB21）。

発音文字Ｘが第１種別ｑ1に該当する場合、音声合成部２６は、当該発音文字Ｘを代替発音文字に置換し（ＳB22）、代替発音文字の音声素片を各音符の音高Ｐおよび発音期間Ｔに調整したうえで相互に連結することで音声信号Ｖを生成する（ＳB23）。他方、発音文字Ｘが第２種別ｑ2に該当する場合には発音文字Ｘの置換（代替発音文字への変更）は実行されない。すなわち、音声合成部２６は、当該発音文字Ｘに対応する音声素片を音声素片群Ｌから選択するとともに音高Ｐおよび発音期間Ｔに調整して相互に連結することで音声信号Ｖを生成する（ＳB24）。音声合成情報Ｓが指定する全部の音符について以上の処理が順次に反復される（ＳB25：NO）。

以上の説明から理解される通り、第２実施形態の音声合成部２６は、音声合成情報Ｓで指定される複数の発音文字Ｘのうち母音開始遅延量が大きい第１種別ｑ1の発音文字Ｘを代替発音文字に置換する一方、母音開始遅延量が小さい第２種別ｑ2の発音文字Ｘについては代替発音文字に対する置換を実行しない。なお、第１動作モードで実行される第１合成処理の内容や、編集画像４０の各音符図像４４の表示態様を第１動作モードと第２動作モードとで相違させる動作は第１実施形態と同様である。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態の第２動作モードでは、音声合成情報Ｓで指定される複数の発音文字Ｘのうち第１種別ｑ1の発音文字Ｘは代替発音文字に置換される一方、第２種別ｑ2の発音文字Ｘは音声合成情報Ｓでの指定内容に維持される。したがって、音声合成情報Ｓの発音文字Ｘを適度に維持しながら、第１種別ｑ1の音素については母音の発音の開始までの遅延を効果的に低減した音声信号Ｖを生成できるという利点がある。

＜第３実施形態＞
本発明の第３実施形態では、例えばMIDI楽器等の電子楽器が入力装置１６として利用される。第２動作モードにおいて、利用者は、入力装置１６を適宜に操作することで所望の音高Ｐと発音期間Ｔとを音符毎に順次に指示することが可能である。例えば鍵盤楽器型の入力装置１６を利用した場合には利用者による押鍵毎に音高Ｐと発音期間Ｔとが順次に指定される。情報編集部２４は、利用者による音符の指示毎に単位情報Ｕを生成して記憶装置１２の音声合成情報Ｓに追加する。各音符の単位情報Ｕは、利用者が指示した音高Ｐおよび発音期間Ｔを指定するとともに、「あ」等の初期的な発音文字（以下「初期発音文字」という）を発音文字Ｘとして指定する。利用者による指示毎に生成される単位情報Ｕの時系列が音声合成情報Ｓとして記憶装置１２に記憶される。

他方、表示制御部２２は、第２動作モードで利用者からの指示に応じて情報編集部２４が生成する単位情報Ｕの音符を表象する音符図像４４を利用者による音符の指示毎に編集画像４０に順次に追加する。第２動作モードでの音符の暫定的な入力が完了すると、利用者は、音声合成装置１００の動作モードを第１動作モードに変更する。第１動作モードにおいて、情報編集部２４は、第２動作モードで生成した音声合成情報Ｓを入力装置１６に対する利用者からの指示に応じて第１実施形態と同様に編集する。編集画像４０の各音符図像４４の表示態様を第１動作モードと第２動作モードとで相違させる動作は第１実施形態と同様である。

第３実施形態の音声合成部２６は、第２動作モードにおいて、利用者による音符の指示に並行して実時間的に単位情報Ｕを処理することで音声信号Ｖを生成する（リアルタイム音声合成）。すなわち、音声合成部２６は、情報編集部２４が順次に生成する単位情報Ｕの発音文字Ｘ（初期発音文字）を代替発音文字に置換した発声音の音声信号Ｖを生成する。具体的には、音声合成部２６は、記憶装置１２の主記憶装置に読込まれた代替発音文字の音声素片を利用者が指示した音高Ｐおよび発音期間Ｔに調整し、相前後する音符間で調整後の音声素片を連結することで音声信号Ｖを生成する。なお、第１動作モードで実行される第１合成処理の内容は第１実施形態と同様である。

第３実施形態においても第１実施形態と同様の効果が実現される。なお、利用者による音符の指示に並行して実時間的に音声信号Ｖを生成する構成では、音符の指示の時点から、当該音符の母音が発音されるまでの遅延が受聴者に知覚され易いという事情がある。したがって、母音の発音までの遅延を低減できる本発明は、第３実施形態のように利用者による音符の指示に並行して実時間的に音声信号Ｖを生成する構成にとって格別に好適である。

＜第４実施形態＞
図９は、第４実施形態における音声合成情報Ｓの模式図である。図９に例示される通り、第４実施形態の音声合成情報Ｓの各単位情報Ｕは、第１実施形態と同様の情報（発音文字Ｘ,音高Ｐ，発音期間Ｔ）に加えて制御変数Ｃ1と制御変数Ｃ2とを包含する。制御変数Ｃ1および制御変数Ｃ2は、歌唱音声の音楽的な表情（音声信号Ｖの音響特性）を音符毎に制御するためのパラメータである。具体的には、図９に例示される通り、制御変数Ｃ1（第１制御変数）は例えばMIDI規格におけるベロシティであり、制御変数Ｃ2（第２制御変数）はダイナミクス（音量）である。

第１動作モードの第１合成処理において、音声合成部２６は、制御変数Ｃ1および制御変数Ｃ2に応じて音声信号Ｖの特性を制御する。具体的には、音声合成部２６は、制御変数Ｃ1に応じて各音符の発音文字Ｘにおける先頭の子音の継続長（発音直後の音声の立上がり速度）を制御する。例えば、制御変数Ｃ1の数値（ベロシティ）が大きいほど発音文字Ｘの子音の継続長が短い時間に設定される。また、音声合成部２６は、制御変数Ｃ2に応じて音声信号Ｖの各音符の音量を制御する。例えば、制御変数Ｃ2の数値（ダイナミクス）が大きいほど音量は大きい数値に設定される。

他方、第２動作モードでは、第３実施形態と同様に、利用者からの音符の指示に並行して実時間的に音声信号Ｖが生成される。第４実施形態では、入力装置１６に対する操作で利用者が指示した音高Ｐおよび発音期間Ｔとともに制御変数Ｃ1が入力装置１６から供給される。制御変数Ｃ1は、MIDI規格のベロシティに相当し、入力装置１６に対する操作強度（押鍵の強度または速度）に応じた数値に設定される。

利用者は、合成音声の音量を変化させる意図で入力装置１６に対する操作強度を調整する傾向がある。以上の傾向を考慮して、第４実施形態の音声合成部２６は、第２動作モードの第２合成処理において、入力装置１６から供給される制御変数Ｃ1（すなわち利用者による操作強度）に応じて音声信号Ｖの各音符の音量を制御する。

以上に例示した通り、第１動作モードでは、制御変数Ｃ1が子音の継続長の制御に適用されるとともに制御変数Ｃ2が音量の制御に適用され、第２動作モードでは、制御変数Ｃ1が音量の制御に適用される。すなわち、制御変数Ｃ1の意義が第１動作モード（子音の継続長の制御）と第２動作モード（音量の制御）とでは相違し、第１動作モードでの制御変数Ｃ2と第２動作モードでの制御変数Ｃ1とは意義（音量の制御）が共通する。

以上の事情を考慮して、第４実施形態の情報編集部２４は、第２動作モードで指定された制御変数Ｃ1の数値を、音声合成情報Ｓの単位情報Ｕが指定する制御変数Ｃ2の数値として設定する。具体的には、情報編集部２４は、図９に例示される通り、音高Ｐと発音期間Ｔと制御変数Ｃ1とが音符毎に入力装置１６から供給されるたびに、入力装置１６から供給される音高Ｐおよび発音期間Ｔと、初期発音文字に設定された発音文字Ｘと、入力装置１６から供給される制御変数Ｃ1と同等の数値に設定された制御変数Ｃ2と、所定の初期値に設定された制御変数Ｃ1とを含む単位情報Ｕを音声合成情報Ｓに追加する。以上の説明から理解される通り、第１動作モードでは、第２動作モードでの入力装置１６に対する操作（操作強度）に応じた音量の音声信号Ｖが生成される。他方、第２動作モードでの制御変数Ｃ1は、第１動作モードでの制御変数Ｃ1（子音の継続長）には反映されない。

第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態では、第１動作モードで音量の制御に適用される制御変数Ｃ2が、第２動作モードで同様に音量の制御に適用される制御変数Ｃ1と同等の数値に設定されるから、制御変数Ｃ1の意義が第１動作モード（子音の継続長の制御）と第２動作モード（音量の制御）とで相違する構成にも関わらず、第２動作モードでの利用者の意図（音符毎の押鍵強度）を反映した音声信号Ｖを第１動作モードでも生成できるという利点がある。

＜変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）前述の各形態では、事前に用意された複数の候補文字のうち利用者が選択した候補文字を代替発音文字として利用したが、代替発音文字の設定の方法は以上の例示に限定されない。例えば、発音文字Ｘの音素の種別毎に代替発音文字を事前に用意し、第２動作モードでは、各音符の発音文字Ｘを、当該発音文字Ｘの音素の種別に対応する代替発音文字に置換することも可能である。

また、前述の各形態では、１個の発音文字Ｘの全体を代替発音文字に置換したが、１個の発音文字Ｘの一部の音素（典型的には母音）を維持することも可能である。例えば、母音が子音に後続する発音文字Ｘを、第２動作モードでは、子音を省略した母音の音素で構成される代替発音文字に置換することも可能である。また、母音が子音に後続する発音文字Ｘを、第２動作モードでは、子音のみを他の音素（例えば母音開始遅延量が小さい子音）に変更して母音は維持した代替発音文字に置換する構成も採用される。

（２）前述の各形態では、第２合成処理で各発音文字Ｘが代替発音文字に置換される第２動作モードにおいて、表示装置１４の各音符図像４４に付加される発音文字Ｘについては音声合成情報Ｓの内容を維持したが（図４）、第２動作モードにおいて、編集画像４０に配置される音符図像４４の発音文字Ｘを代替発音文字に置換することも可能である。第２動作モードから第１動作モードに動作モードが変更された場合には、各音符図像４４の代替発音文字が、音声合成情報Ｓが音符毎に指定する発音文字Ｘに変更される。

（３）第３実施形態や第４実施形態のように第２動作モードにおいて利用者による音符の指示に並行して実時間的に音声信号Ｖを生成する構成では、利用者による音符の指示（入力装置１６に対する操作）から実際に当該音符の合成音声が再生されるまでの遅延量を低減することが特に要求される。以上の事情を考慮すると、第１合成処理で実行される処理の一部を第２動作モードの第２合成処理では変更（典型的には簡略化）または省略する構成も好適である。例えば、相異なる音高に対応する複数の音声素片を合成（モーフィング）することで目標の音高Ｐの音声素片を生成する処理を第１合成処理では実行し、第２合成処理では１個の音声素片を音高Ｐに調整する処理を実行する（複数の音声素片の合成は省略する）ことが可能である。以上のように第２合成処理の処理量を第１合成処理と比較して低減した構成によれば、利用者による音符の指示から実際に当該音符の合成音声が再生されるまでの遅延量を低減することが可能である。

（４）第１動作モードでは、発音期間Ｔの始点に先行する時点で子音の発音が開始されるから、合成対象の複数の音符の時系列のうち最初の音符の発音期間の始点に対して特定の時間長（以下「準備時間」という）だけ手前の時点から音声合成を開始する必要がある。ただし、子音の種別毎に継続長は相違し得るから、音声合成情報Ｓが指定する複数の音符の発音文字Ｘの子音のうち継続長が最長の子音を探索し、準備時間を、当該子音の継続長と比較して所定長だけ長い時間長（すなわち再生対象のなかで最長の子音の継続長に応じた可変の時間長）に設定した構成が好適である。以上の構成によれば、音声合成の開始の時点を、最初の音符の始点から必要以上に手前の時点まで遡及させる必要がないという利点がある。なお、音声合成のテンポに応じて準備時間を可変に制御することも可能である。

（５）第３実施形態および第４実施形態では、利用者による音符の指示毎に情報編集部２４が生成する単位情報Ｕの発音文字Ｘを所定の初期発音文字（例えば「あ」）に設定したが、例えば入力装置１６に対する利用者からの指示に応じて事前に複数の発音文字Ｘの時系列（すなわち楽曲の歌詞）を生成し、利用者による音符の指示毎に各単位情報Ｕの発音文字Ｘに先頭から順番に割当てることも可能である（いわゆる歌詞の流し込み）。

（６）第４実施形態では、第２動作モードにおいて利用者が入力装置１６に対する操作で音符を指示するたびに制御変数Ｃ1と同等の数値に設定された制御変数Ｃ2を含む単位情報Ｕを音声合成情報Ｓに追加したが、第２動作モードでの入力装置１６に対する操作に応じた制御変数Ｃ1を第１動作モードで利用される制御変数Ｃ2に反映させる時期は以上の例示（音符の指示毎）に限定されない。例えば、第２動作モードで利用者が順次に指定した制御変数Ｃ1の時系列を記憶装置１２に保持し、第２動作モードから第１動作モードへの変更が利用者から指示された場合に、音声合成情報Ｓの各単位情報Ｕにおける制御変数Ｃ2を一括的に第２動作モードでの制御変数Ｃ1と同等の数値に設定することも可能である。また、第２動作モードから第１動作モードへの変更が利用者から指示された場合に、第２動作モードでの制御変数Ｃ1を音声合成情報Ｓの制御変数Ｃ2に複製するか否かを利用者に選択させ（例えば「VelocityをDynamicsに置き換えても良いですか？」等のメッセージを表示装置１４に表示し）、利用者が複製を許可した場合に各単位情報Ｕの制御変数Ｃ2を第２動作モードでの制御変数Ｃ1の数値に設定することも可能である。

（７）前述の各形態では、日本語の発音文字Ｘを例示したが、発音文字Ｘの言語（合成対象となる音声の言語）は任意である。例えば、英語，スペイン語，中国語，韓国語等の任意の言語の音声を生成する場合にも本発明を適用することが可能である。

（８）前述の各形態では、複数の音声素片を相互に接続する素片接続型の音声合成を例示したが、音声合成部２６が実行する音声合成（第１合成処理，第２合成処理）の方式は以上の例示に限定されない。例えば、HMM（Hidden Markov Model）に代表される確率モデルを利用して推定された音高の遷移（ピッチカーブ）に対して発音文字Ｘに応じたフィルタ処理を実行する確率モデル型の音声合成で音声信号Ｖを生成することも可能である。

（９）移動通信網やインターネット等の通信網を介して端末装置と通信するサーバ装置で音声合成装置１００を実現することも可能である。具体的には、音声合成装置１００は、端末装置から通信網を介して受信した音声合成情報Ｓについて前述の各形態で例示した処理を実行することで音声信号Ｖを生成して端末装置に送信する。

１００……音声合成装置、１０……演算処理装置、１２……記憶装置、１４……表示装置、１６……入力装置、１８……放音装置、２２……表示制御部、２４……情報編集部、２６……音声合成部。

Claims

音声合成情報で指定される発音文字が、子音の発音から直後の母音の発音までの遅延量が大きい第１種別であるか、または、前記第１種別よりも前記遅延量が小さい第２種別であるかを判定し、
前記発音文字が前記第１種別であると判定された場合、当該発音文字とは相違する代替発音文字に当該発音文字を置換した発声音の音声信号を生成し、前記発音文字が前記第２種別であると判定された場合、当該発音文字を前記代替発音文字に置換せずに発声音の音声信号を生成する
コンピュータにより実現される音声合成方法。
前記発音文字の種別に関わらず、当該発音文字を前記代替発音文字に置換しない第１動作モードと、
前記発音文字が前記第１種別であると判定された場合、前記代替発音文字に当該発音文字を置換した発声音の音声信号を生成し、前記発音文字が前記第２種別であると判定された場合、当該発音文字を前記代替発音文字に置換せずに発声音の音声信号を生成する第２動作モードと、の何れかで動作する
請求項１の音声合成方法。
利用者からの指示に応じて、前記第１動作モードと前記第２動作モードとの何れかで動作し、
前記音声合成情報は、発音文字と音高と発音期間とを音符毎に指定し、
前記音声合成情報が指定する各音符を表象する音符図像を時間軸と音高軸とが設定された楽譜領域内に配置した編集画像を表示装置に表示させ、前記第１動作モードと前記第２動作モードとで前記音符図像の表示態様を相違させる
請求項２の音声合成方法。
前記第２動作モードでは、鍵盤楽器型の入力装置に対する利用者からの押鍵毎に、音高と発音期間とが順次に指定される
請求項２または請求項３の音声合成方法。