JP6171393B2 - 音響合成装置および音響合成方法 - Google Patents

Description

本発明は、音声（例えば歌唱音）や楽音を合成する技術に関する。

所望の楽曲の歌唱音や演奏音を合成する技術（音声合成技術，楽音合成技術）が従来から提案されている。例えば特許文献１には、楽曲の歌詞データが時系列に指定する各歌詞の歌唱時点を、利用者による電子楽器の演奏内容を示す演奏データに応じて制御する技術が開示されている。特許文献１の技術によれば、電子楽器の演奏に同期した歌唱音声が実時間的に生成される。

特開２００８−１７０５９２号公報

特許文献１の技術によれば、演奏データで指定される音高および発音期間の歌唱音声を正確に合成することは可能であるが、演奏者に固有の音楽的な傾向を反映した聴感的に自然な合成音を生成することは実際には容易ではない。以上の事情を考慮して、本発明は、演奏の傾向を反映した合成音を生成することを目的とする。

以上の課題を解決するために、本発明の第１態様に係る音響合成装置は、演奏音の各拍点を演奏拍点として順次に特定する拍解析手段と、楽曲の各基準拍点と拍解析手段が特定した各演奏拍点との時間差に応じた拍位置情報（例えば拍位置情報Ｘ[n]）を拍点毎（例えば楽曲の特定の区間内の各拍点に付与された拍番号毎）に生成する情報生成手段と、音響合成に適用される合成情報が時系列に指定する各音響の発音点の時間軸上の位置（例えば発音時刻Ｑ3）を、当該音響に対応する拍点の拍位置情報に応じて可変に制御する合成制御手段と、合成制御手段による制御後の合成情報に応じて音響信号を生成する音響合成手段とを具備する。以上の構成では、楽曲の各基準拍点と演奏音の各演奏拍点との時間差に応じた拍位置情報が拍点毎に生成され、合成情報が指定する各音響の発音点の位置が、当該音響に対応する拍点の拍位置情報に応じて可変に制御される。したがって、拍点毎の傾向（基準拍点に対する演奏拍点の先後の傾向）を反映した音響信号を生成することが可能である。

第１態様に係る音響合成装置の好適例において、情報生成手段は、楽曲の複数の小節にわたる基準拍点と演奏拍点との時間差の分布（例えば確率分布νX[n]）を示す拍位置情報を拍点毎に生成し、合成制御手段は、合成情報が時系列に指定する各音響の発音点の時間軸上の位置を、当該音響に対応する拍点の拍位置情報が示す分布に従う乱数（例えば乱数ＲX）に応じて制御する。以上の態様では、楽曲の複数の小節にわたる基準拍点と演奏拍点との時間差の分布を示す拍位置情報が拍点毎に生成され、各音響に対応する拍点の拍位置情報で規定される分布に従う乱数に応じて当該音響の発音点の位置が制御される。したがって、演奏音の演奏拍点の概略的な傾向が反映された聴感的に自然な音響信号を生成できるという利点がある。

本発明の第２態様に係る音響合成装置は、演奏音の拍点毎の強度を順次に特定する拍解析手段と、拍解析手段が特定した拍点毎の強度に応じた拍強度情報（例えば拍強度情報Ｙ[n]）を拍点毎に生成する情報生成手段と、音響合成に適用される合成情報が時系列に指定する各音響の強度（例えば音量Ｑ2）を、当該音響に対応する拍点の拍強度情報に応じて可変に制御する合成制御手段と、合成制御手段による制御後の合成情報に応じて音響信号を生成する音響合成手段とを具備する。以上の構成では、演奏音の拍点毎の強度に応じた拍強度情報が拍点毎に生成され、合成情報が指定する各音響の強度が、当該音響に対応する拍点の拍強度情報に応じて可変に制御される。したがって、拍点毎の演奏強度の傾向を反映した音響信号を生成することが可能である。

第２態様に係る音響合成装置の好適例において、情報生成手段は、楽曲の複数の小節にわたる演奏音の強度の分布（例えば確率分布νY[n]）を示す拍強度情報を拍点毎に生成し、合成制御手段は、合成情報が時系列に指定する各音響の強度を、当該音響に対応する拍点の拍強度情報が示す分布に従う乱数（例えば乱数ＲY）に応じて制御する。以上の態様では、楽曲の複数の小節にわたる演奏音の強度の分布を示す拍強度情報が拍点毎に生成され、各音響に対応する拍点の拍強度情報で規定される分布に従う乱数に応じて当該音響の強度が制御される。したがって、演奏音の演奏強度の概略的な傾向が反映された聴感的に自然な音響信号を生成できるという利点がある。

第２態様に係る音響合成装置の好適例において、合成制御手段は、合成情報が時系列に指定する各音響の音色に関する音色情報（例えば気息度ＤBや明瞭度ＤC）を、拍強度情報に応じた制御後の当該音響の音量に応じて可変に制御する。以上の態様では、各音響の音量に応じて音色情報が制御されるから、多様な音色の音響信号を生成することが可能である。

以上の各態様に係る音響合成装置は、音響信号の生成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。

第１実施形態の音響合成装置のブロック図である。 拍情報を生成する処理の説明図である。 拍位置情報の説明図である。 拍強度情報の説明図である。 拍位置情報を利用した発音時刻の制御の説明図である。 第２実施形態における音量と気息度との関係の説明図である。 第２実施形態における音量と明瞭度との関係の説明図である。 第３実施形態の音響合成装置のブロック図である。 演奏拍点が基準拍点に対して遅延した場合の動作の説明図である。 演奏拍点が基準拍点に対して先行した場合の動作の説明図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響合成装置１００Aのブロック図である。第１実施形態の音響合成装置１００Aには、演奏装置１２と再生装置１４とが接続される。演奏装置１２は、利用者による演奏動作に応じた演奏信号Ｐを生成する電子楽器である。演奏信号Ｐは、演奏音（楽音）の波形を示す音響信号である。音響合成装置１００Aは、楽曲の歌唱音の波形を示す音響信号Ｖを生成する。具体的には、演奏信号Ｐから抽出される音楽的な傾向を反映した音響信号Ｖが生成される。再生装置１４は、音響合成装置１００Aが生成した音響信号Ｖに応じた音響を放射する放音機器（例えばスピーカやヘッドホン）を含んで構成される。第１実施形態の再生装置１４は、演奏装置１２が生成した演奏信号Ｐと音響合成装置１００Aが生成した音響信号Ｖとの混合音を再生する。利用者は、再生装置１４による音響信号Ｖの再生音を聴取しながら再生音に同期するように演奏装置１２で楽曲の伴奏音を演奏する。演奏信号Ｐから抽出される音楽的な傾向（音響信号Ｖの再生音の受聴者が知覚する音楽的な特徴）としては、例えば、演奏者に特有のグルーブ（groove）感や演奏上の癖等の演奏動作の音楽的な特徴が例示され得る。

図１に示すように、音響合成装置１００Aは、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムＰGMや演算処理装置２２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置２４として任意に採用される。

第１実施形態の記憶装置２４は、音声素片群Ｌと合成情報Ｓとを記憶する。音声素片群Ｌは、音響信号Ｖの合成用素材として利用される複数の音声素片の集合（音声合成ライブラリ）である。音声素片は、言語的な意味の区別の最小単位である音素（例えば母音や子音）の単体や複数の音素を連結した音素連鎖（例えばダイフォンやトライフォン）である。

合成情報Ｓは、楽曲の内容を指定する時系列データであり、楽曲毎に事前に作成されて記憶装置２４に記憶される。図１に示すように、合成情報Ｓは、音楽情報Ｓ1と音符列情報Ｓ2とを含んで構成される。音楽情報Ｓ1は、楽曲の拍子（４/４拍子等）やテンポ等の音楽的な属性情報を指定する。他方、音符列情報Ｓ2は、楽曲を構成する複数の音符の各々について音高Ｑ1と音量Ｑ2と発音時刻Ｑ3と継続長Ｑ4と発音符号Ｑ5とを指定する。音高Ｑ1は、音符の音高を意味する数値（各音高のノートナンバ）であり、音量Ｑ2は、音符の強度である。発音時刻Ｑ3は、音符の発音点の時刻であり、継続長Ｑ4は、音符の発音が継続される時間長（音価）である。すなわち、発音時刻Ｑ3から継続長Ｑ4が経過した時点が音符の消音点（終点）に相当する。発音符号Ｑ5は、音符の発音とともに発声すべき発音内容（楽曲の歌詞）を示す符号である。合成情報Ｓを利用した音声合成で楽曲の歌唱音の音響信号Ｖが生成される。

演算処理装置２２は、記憶装置２４に記憶されたプログラムＰGMを実行することで、音響信号Ｖを生成するための複数の機能（拍解析部３２，情報生成部３４，合成制御部３６，音響合成部３８）を実現する。なお、演算処理装置２２の各機能を複数の集積回路に分散した構成や、専用の電子回路（例えばＤＳＰ）が演算処理装置２２の一部の機能を担当する構成も採用され得る。

拍解析部３２は、演奏装置１２から供給される演奏信号Ｐを解析する。具体的には、拍解析部３２は、図２に示すように、演奏信号Ｐの各拍点（以下「演奏拍点」という）Ｂpを特定するとともに演奏信号Ｐの演奏拍点Ｂp毎に解析情報Ｆを順次に生成する。各演奏拍点Ｂpの特定（拍点検出）には公知の技術が任意に採用される。例えば、拍解析部３２は、時間軸上で演奏信号Ｐの音量が極大となる略等間隔の時点を演奏拍点Ｂpとして特定する。また、例えば２００９−２６５４９３号公報に開示された技術により各演奏拍点Ｂpを検出することも可能である。

各演奏拍点Ｂpの解析情報Ｆは時間差Ｆaと強度Ｆbとを含んで構成される。時間差Ｆaは、図２に示すように、楽曲の各拍点（以下「基準拍点」という）Ｂrefと演奏信号Ｐから特定された各演奏拍点Ｂpとの時間差である。基準拍点Ｂrefは、合成情報Ｓの音楽情報Ｓ1が指定する拍子およびテンポに応じた間隔で時間軸上に規定された時点（すなわち楽曲の正規の拍点）である。楽曲の歌唱音を示す音響信号Ｖの再生音に同期するように利用者は演奏装置１２を演奏するから、各基準拍点Ｂrefと各演奏拍点Ｂpとで時間軸上の位置は略一致するが、実際には各基準拍点Ｂrefと各演奏拍点Ｂpとの間には利用者による演奏の特徴を反映した時間差Ｆaが発生する。他方、強度Ｆbは、演奏拍点Ｂp毎の演奏信号Ｐの強度である。例えば、各演奏拍点Ｂpでの演奏信号Ｐの音量（パワー）を強度Ｆbとして算定する構成や、相前後する２個の演奏拍点Ｂpの間の音量の平均値を一方の演奏拍点Ｂpの強度Ｆbとして算定する構成が好適である。

図１の情報生成部３４は、拍解析部３２による演奏信号Ｐの解析結果（解析情報Ｆの時系列）に応じた拍情報ＺXおよび拍情報ＺYを生成する。拍情報ＺXおよび拍情報ＺYは、楽曲を時間軸上で区分した単位期間毎に順次に生成される。１個の単位期間は、楽曲のＭ個（Ｍは２以上の自然数）の小節で構成される。単位期間内の小節数Ｍは、例えば音響合成装置１００Aに対する利用者からの指示に応じて可変に設定される。

図２に示すように、楽曲の各小節内にはＮ個（図２の例示では４個）の基準拍点Ｂrefが存在する。図２に示すように、情報生成部３４が生成する拍情報ＺXは、楽曲の各小節のＮ個の基準拍点Ｂrefに対応するＮ個の拍位置情報Ｘ[1]〜Ｘ[N]を含んで構成される。また、拍情報ＺYは、楽曲の各小節のＮ個の基準拍点Ｂrefに対応するＮ個の拍強度情報Ｙ[1]〜Ｙ[N]を含んで構成される。拍数Ｎは、楽曲の拍子に応じて規定される。例えば、４/４拍子の楽曲の拍数Ｎは４（Ｎ＝４）である。情報生成部３４は、合成情報Ｓの音楽情報Ｓ1が指定する拍子を参照することで拍数Ｎを特定し、各拍番号ｎ（ｎ＝１〜Ｎ）の拍位置情報Ｘ[n]および拍強度情報Ｙ[n]を拍点毎に生成する。

拍情報ＺXのうち第ｎ拍に対応する拍位置情報Ｘ[n]は、単位期間内のＭ個の小節にわたる第ｎ拍の基準拍点Ｂrefと演奏拍点Ｂpとの時間差Ｆaに応じて生成される。具体的には、拍位置情報Ｘ[n]は、単位期間内のＭ個の小節の各々における第ｎ拍の基準拍点Ｂrefと演奏拍点Ｂpとの時間差Ｆaの度数分布（確率分布）を指定する。例えば、拍位置情報Ｘ[n]は、図３に示すように、Ｍ個の小節にわたる第ｎ拍の時間差Ｆaの度数分布を近似する確率分布（確率密度関数）νX[n]の平均値ｘA[n]および散布度ｘB[n]を含んで構成される。確率分布νX[n]の典型例は正規分布である。また、散布度ｘB[n]は、Ｍ個の小節にわたる第ｎ拍の時間差Ｆaの散らばりの度合を示す統計量であり、典型的には標準偏差である。以上の説明から理解される通り、拍情報ＺX（各拍位置情報Ｘ[n]）は、楽曲の基準拍点Ｂrefに対する演奏拍点Ｂpの時間差の傾向（例えば各小節の１拍目が遅延し易いといった個々の演奏者に特有の演奏の傾向）を小節内の拍点毎（拍番号ｎ毎）に示す情報である。

拍情報ＺYのうち第ｎ拍に対応する拍強度情報Ｙ[n]は、単位期間内のＭ個の小節にわたる第ｎ拍の演奏拍点Ｂpの強度Ｆbに応じて生成される。具体的には、拍強度情報Ｙ[n]は、単位期間内のＭ個の小節の各々における第ｎ拍の演奏拍点Ｂpの強度Ｆbの度数分布（確率分布）を指定する。例えば、拍強度情報Ｙ[n]は、図４に示すように、Ｍ個の小節にわたる第ｎ拍の強度Ｆbの度数分布を近似する確率分布νY[n]の平均値ｙA[n]および散布度ｙB[n]を含んで構成される。確率分布νY[n]の典型例は正規分布である。また、散布度ｙB[n]は、Ｍ個の小節にわたる第ｎ拍の強度Ｆbの散らばりの度合を示す統計量であり、典型的には標準偏差である。以上の説明から理解される通り、拍情報ＺY（各拍強度情報Ｙ[n]）は、楽曲の演奏拍点Ｂpでの演奏強度の傾向（例えば各小節の２拍目で音量が増加し易いといった個々の演奏者に特有の演奏の傾向）を小節内の拍番号ｎ毎に示す情報である。

楽曲の基準拍点Ｂrefに対する演奏拍点Ｂpの時間差の傾向や演奏拍点Ｂpでの演奏強度の傾向は拍番号ｎ毎に相違し、拍番号ｎ毎の演奏の傾向には演奏者に固有に特徴が観察される。そして、拍番号ｎ毎の演奏の傾向が演奏者に固有の音楽的な傾向（例えばグルーブ感や演奏上の癖）として受聴者に知覚される。すなわち、情報生成部３４が生成する拍情報ＺXおよび拍情報ＺYは、演奏装置１２を演奏する利用者に固有の傾向を示す情報として利用され得る。図１の合成制御部３６は、情報生成部３４が生成した拍情報ＺX（Ｘ[1]〜Ｘ[N]）および拍情報ＺY（Ｙ[1]〜Ｙ[N]）が示す演奏傾向を合成情報Ｓに反映させる。

第１実施形態の合成制御部３６は、楽曲の合成情報Ｓが時系列に指定する各音符の発音時刻（発音点の時間軸上の位置）Ｑ3を、拍情報ＺXのうち当該音符に対応する拍番号ｎの拍位置情報Ｘ[n]に応じて可変に制御する。具体的には、合成制御部３６は、合成情報Ｓが指定する各音符の発音時刻Ｑ3を、当該音符に対応する拍番号ｎの拍位置情報Ｘ[n]が示す確率分布νX[n]に従う乱数ＲXに応じて制御する。例えば、図５から理解される通り、合成制御部３６は、確率分布νX[n]に従う乱数ＲXを生成するとともに発音時刻Ｑ3に乱数ＲXを加算することで第ｎ拍の音符の発音点を時間軸上で前後させる。なお、１個の音符ｂの発音時刻Ｑ3を終点（消音点）とする音符ａが存在する場合（すなわち、音符ａと音符ｂとが時間軸上で間隔をあけずに連続する場合）、合成制御部３６は、拍位置情報Ｘ[n]に応じた音符ｂの発音時刻Ｑ3の変動に対応するように音符ａの終点（継続長Ｑ4）を制御することで、音符ｂの発音時刻Ｑ3の制御後にも音符ａと音符ｂとを時間軸上で連続させる。

また、合成制御部３６は、楽曲の合成情報Ｓが時系列に指定する各音符の音量Ｑ2を、拍情報ＺYのうち当該音符に対応する拍番号ｎの拍強度情報Ｙ[n]に応じて可変に制御する。具体的には、合成制御部３６は、合成情報Ｓが指定する各音符の音量Ｑ2を、当該音符に対応する拍番号ｎの拍位置情報Ｘ[n]が示す確率分布νY[n]に従う乱数ＲYに応じて制御する。例えば、合成制御部３６は、確率分布νY[n]に従う乱数ＲYを生成するとともに音量Ｑ2に乱数ＲYを加算することで第ｎ拍の音符の音量Ｑ2を増減させる。以上の説明から理解される通り、情報生成部３４が生成した拍情報ＺX（Ｘ[1]〜Ｘ[N]）および拍情報ＺY（Ｙ[1]〜Ｙ[N]）が合成情報Ｓに反映される。

図１の音響合成部３８は、合成制御部３６による制御後の合成情報Ｓを利用して歌唱音の音響信号Ｖを生成する。第１実施形態では、記憶装置２４に記憶された音声素片群Ｌの各音声素片を相互に接続する素片接続型の音声合成により音響信号Ｖを生成する。具体的には、音響合成部３８は、各音符の発音符号Ｑ5に対応する音声素片を音声素片群Ｌから順次に選択し、各音声素片を音高Ｑ1および音量Ｑ2に調整するとともに継続長Ｑ3に伸縮し、調整後の各音声素片を時間軸上の発音時刻Ｑ3に配置して相互に連結することで音響信号Ｖを生成する。音響合成部３８が生成した音響信号Ｖが演奏信号Ｐと混合されたうえで再生装置１４に供給される。したがって、演奏装置１２の演奏音を伴奏とした楽曲の歌唱音が再生される。

以上の説明から理解される通り、第１実施形態では、拍番号ｎ毎の演奏拍点Ｂpのタイミングの傾向や拍番号ｎ毎の演奏強度の傾向が合成情報Ｓに反映される。したがって、演奏装置１２に対する演奏の傾向（例えば演奏者に固有のグルーブ感や演奏上の癖）が付与された聴感的に自然な音響信号Ｖを生成できるという利点がある。なお、拍情報ＺXに応じた発音時刻Ｑ3の制御と拍情報ＺYに応じた音量Ｑ2の制御との一方のみを実行することも可能である。

＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

第２実施形態では、音響合成部３８による音響信号Ｖの生成（音声合成）に音色情報が適用される。音色情報は、合成情報Ｓが指定する各音符の音色を指示する変数である。以下の説明では、気息度（breathiness）ＤBと明瞭度（clearness）ＤCとを音色情報として例示する。気息度ＤBは、音声の気息性の度合（例えば音声の全体に対する気息性成分の強度比率）を示す変数であり、例えば音声の調波成分に対する非調波成分（気息成分）の強度の制御に適用される。また、明瞭度ＤCは、音声の明瞭性（いわゆる音声の張り）の度合を示す変数であり、例えば音声の低域成分に対する高域成分（明瞭と知覚される成分）の強度の制御に適用される。

第２実施形態の合成制御部３６は、第１実施形態と同様に各音符の発音時刻Ｑ3を拍情報ＺXに応じて調整するとともに各音符の音量Ｑ2を拍情報ＺYに応じて調整するほか、調整後の各音符の音量Ｑ2に応じて当該音符の音色情報（気息度ＤBおよび明瞭度ＤC）を可変に制御する。音色情報は、拍情報ＺYの更新毎（すなわち単位期間毎）に、更新後の拍情報ＺYで調整された音量Ｑ2に応じて変更される。

音声の音量が増加するほど音声における気息性の度合は低下するという傾向がある。以上の傾向を考慮して、第２実施形態の合成制御部３６は、概略的には、拍情報ＺYを適用した調整後の音量Ｑ2が増加するほど気息度ＤBを減少させる。具体的には、合成制御部３６は、音量Ｑ2に対して図６の関係が成立するように気息度ＤBを音量Ｑ2に応じて可変に設定する。すなわち、音量Ｑ2が閾値ＴB1を下回る場合（Ｑ2＜ＴB1）には気息度ＤBが最大値ＤBmax（例えばＤBmax＝１２７）に設定され、音量Ｑ2が閾値ＴB1と閾値ＴB2との間の数値である場合（ＴB1≦Ｑ2≦ＴB2）には音量Ｑ2の増加に対して減少するように気息度ＤBが制御され、音量Ｑ2が閾値ＴB2を上回る場合（Ｑ2＞ＴB2）には気息度ＤBが最小値ＤBmin（例えばＤBmin＝０）に設定される。閾値ＴB1および閾値ＴB2は、例えば音響合成装置１００Aに対する利用者からの指示に応じて可変に設定される。

また、音声の音量が増加するほど明瞭度は上昇するというという傾向がある。以上の傾向を考慮して、第２実施形態の合成制御部３６は、概略的には、拍情報ＺYを適用した調整後の音量Ｑ2が増加するほど明瞭度ＤCを増加させる。具体的には、合成制御部３６は、音量Ｑ2に対して図７の関係が成立するように明瞭度ＤCを音量Ｑ2に応じて可変に設定する。すなわち、音量Ｑ2が閾値ＴC1を下回る場合（Ｑ2＜ＴC1）には明瞭度ＤCが最小値ＤCmin（例えばＤCmin＝０）に設定され、音量Ｑ2が閾値ＴC1と閾値ＴC2との間の数値である場合（ＴC1≦Ｑ2≦ＴC2）には音量Ｑ2の増加に連動して増加するように明瞭度ＤCが制御され、音量Ｑ2が閾値ＴC2を上回る場合（Ｑ2＞ＴC2）には明瞭度ＤCが最大値ＤCmax（例えばＤmax＝１２７）に設定される。閾値ＴC1および閾値ＴC2は、例えば音響合成装置１００Aに対する利用者からの指示に応じて可変に設定される。

音響合成部３８は、合成制御部３６による調整後の合成情報Ｓと合成制御部３６が設定した音色情報（気息度ＤBおよび明瞭度ＤC）とに応じた音響信号Ｖを生成する。具体的には、合成制御部３６は、合成制御部３６が設定した気息度ＤBが高いほど音響信号Ｖの非調波成分の強度を増加させて気息性の度合を増加させ、明瞭度ＤCが高いほど音響信号Ｖの高域成分の強度を増加させて明瞭性を増加させる。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、調整後の音量Ｑ2に応じて各音符の音色（気息性や明瞭性）が制御されるから、実際の音声の音量と音色との関係を加味した聴感的に自然な音響信号Ｖを生成できるという利点がある。

＜第３実施形態＞
図８は、第３実施形態の音響合成装置１００Bのブロック図である。第３実施形態の音響合成装置１００Bの演算処理装置２２は、拍解析部３２と合成制御部３６と音響合成部３８として機能する。第１実施形態と同様に、利用者は、再生装置１４による音響信号Ｖの再生音を聴取しながら再生音に同期するように演奏装置１２で楽曲の伴奏音を演奏する。図８の拍解析部３２は、演奏装置１２から供給される演奏信号Ｐの各演奏拍点Ｂpを特定する。

第３実施形態の合成制御部３６は、記憶装置２４に記憶された合成情報Ｓが音符毎に指定する発音時刻Ｑ3を、拍解析部３２が特定した各演奏拍点Ｂpと楽曲の基準拍点Ｂrefとの先後に応じて調整する。具体的には、演奏拍点Ｂpが基準拍点Ｂrefに対して遅延した場合には、合成情報Ｓが指定する各音符の発音時刻Ｑ3を遅延させ、演奏拍点Ｂpが基準拍点Ｂrefに対して先行する場合には、合成情報Ｓが指定する各音符の発音時刻Ｑ3を先行させる。音響合成部３８は、第１実施形態と同様に、合成制御部３６による制御後の合成情報Ｓに応じた音響信号Ｖを生成する。

図９には、楽曲の基準拍点Ｂref（Ｂref[1]，Ｂref[2]，……）と、基準拍点Ｂrefに同期して「はながさいた［ha-na-ga-sa-i-ta］」と歌唱した模範的な歌唱音（基準歌唱）とが図示されている。演奏信号Ｐの演奏拍点Ｂpが基準拍点Ｂrefに合致する場合（または時間差が充分に小さい場合）、合成制御部３６は合成情報Ｓの各音符の発音時刻Ｑ3を変更しない。したがって、図９に例示された基準歌唱の音響信号Ｖが音響合成部３８により生成されて再生装置１４から再生される。

図９では、演奏拍点Ｂpが基準拍点Ｂref[5]に対して時間δだけ遅延した場合が想定されている。以上のように演奏拍点Ｂpが遅延した場合、合成制御部３６は、遅延後の演奏拍点Ｂpを起点として等間隔に配列する基準拍点Ｂrefを再設定し、再設定後の各基準拍点Ｂrefに同期するように合成情報Ｓの各音符の発音時刻Ｑ3を調整する。したがって、演奏拍点Ｂpが遅延している最中の歌詞「さ」は調整前の基準拍点Ｂref[5]にて発音が開始される一方、演奏拍点Ｂpの遅延の検出後の歌詞「い」は調整後の基準拍点Ｂref[6]にて発音が開始される。具体的には、歌詞「さ」に対応する音声素片[ａ]が伸長されるとともに歌詞「い」に対応する音声素片［ａ-ｉ］の音素［ｉ］の開始点が更新後の基準拍点Ｂref[6]に調整される。

図１０には、図９と同様に、楽曲の基準拍点Ｂref（Ｂref[1]，Ｂref[2]，……）と、基準拍点Ｂrefに同期して「（はな）がさい（た）［(ha-na-)ga-sa-i(-ta)］」と歌唱した基準歌唱とが図示されている。図１０では、演奏拍点Ｂpが基準拍点Ｂref[2]に対して時間δだけ先行した場合が想定されている。以上のように演奏拍点Ｂpが先行した場合、合成制御部３６は、基準拍点Ｂrefに先行する演奏拍点Ｂpを起点として等間隔に配列する基準拍点Ｂrefを再設定し、再設定後の各基準拍点Ｂrefに同期するように合成情報Ｓの各音符の発音時刻Ｑ3を調整する。したがって、基準拍点Ｂref[2]に先行する演奏拍点Ｂp（更新後の基準拍点Ｂref[2]）の直後から歌詞「さ」の発音が開始されるとともに以後の歌詞については再設定後の基準拍点Ｂrefに同期する。具体的には、歌詞「さ」に対応する音声素片［ｓ-ａ］が収縮される。

第２実施形態においては、基準拍点Ｂrefに対する演奏拍点Ｂpの先後（先行／遅延）に応じて合成情報Ｓの各音符の発音時刻Ｑ3が調整されるから、演奏信号Ｐの各演奏拍点Ｂpの間隔が変動する場合（例えば利用者が演奏装置１２の演奏に習熟していない場合）でも、演奏装置１２の演奏に整合した歌唱音の音響信号Ｖを生成できるという利点がある。

＜変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。

（１）演奏音の演奏拍点Ｂpを特定する方法は以上の例示に限定されない。例えば、前述の各形態では、演奏音の波形を示す演奏信号Ｐから演奏拍点Ｂpを特定したが、ＭＩＤＩ（Musical Instrument Digital Interface）楽器を演奏装置１２として利用した構成では、演奏装置１２から音響合成装置１００（１００A，１００B）に演奏信号Ｐとして供給されるＭＩＤＩデータを参照して拍解析部３２が演奏拍点Ｂpを特定する。

また、記憶装置２４に記憶された合成情報Ｓを演奏信号Ｐの演奏拍点Ｂpの検出に利用することも可能である。例えば、演奏信号Ｐのうち合成情報Ｓが規定する基準拍点Ｂrefを含む所定の範囲内で強度が極大となる地点を演奏拍点Ｂpとして特定することが可能である。演奏拍点Ｂpの特定に合成情報Ｓを利用する構成によれば、演奏信号Ｐのみから演奏拍点Ｂpを特定する構成と比較して高精度に各演奏拍点Ｂpを特定できるという利点がある。

（２）第３実施形態では、基準拍点Ｂrefに対する演奏拍点Ｂpの先後を演奏拍点Ｂpの発生後に判定したが、演奏拍点Ｂpの時間軸上の位置を過去の演奏拍点Ｂpの位置から予測することも可能である。例えば、第ｋ番目の演奏拍点Ｂp[k]と直後の演奏拍点Ｂp[k+1]との間隔（以下「拍間隔」という）β[k]を以下の数式(1)の演算で予測することが可能である。

数式(1)から理解される通り、過去の相前後する拍間隔（β[k-i]，β[k-i-1]）の相対比のγ組分（γは２以上の自然数）にわたる平均値を直前の拍間隔β[k-1]に乗算することで第ｋ番目の演奏拍点Ｂp[k]の拍間隔β[k]が算定される。以上の構成によれば、各演奏拍点Ｂpの拍間隔β[k]が事前に予測されるから、基準拍点Ｂrefに対する演奏拍点Ｂpの遅延や先行に対して各音符の発音時刻Ｑ3を迅速に調整することが可能である。また、過去の各拍間隔β[k-i]を利用するから、例えば、演奏装置１２の演奏のテンポが上昇する場合（accelerando）や演奏のテンポが低下する場合（ritardando）にも拍間隔β[k]を高精度に推定できるという利点がある。

（３）第２実施形態では、基準拍点Ｂrefに対する演奏拍点Ｂpの遅延／先行に応じて各音符の発音時刻Ｑ3を制御したが、演奏拍点Ｂpの遅延／先行に応じた制御対象は発音時刻Ｑ3に限定されない。例えば、基準拍点Ｂrefに対して演奏拍点Ｂpが遅延した場合に音量Ｑ2を低下させる構成や、演奏拍点Ｂpが遅延した場合に音色情報を変化させる構成（例えば音響信号Ｖの明瞭性を低下させる）構成も採用される。また、演奏装置１２の演奏のテンポが上昇した場合（各演奏拍点Ｂpの間隔が減少した場合）に音響信号Ｖのピッチを上昇させることも可能である。また、演奏拍点Ｂpの遅延／先行に応じた音声（例えば「ちょっと早い」といった音声）を生成することも可能である。

（４）演奏拍点Ｂpが長時間にわたり遅延した場合に、演奏拍点Ｂpの発生が再開するまでの期間（以下「保留期間」という）にて直前の発音符号Ｑ5の音響を反復的に発生させることも可能である。例えば、「さいた」という歌詞の「た」に対応する演奏拍点Ｂpが検出されない場合に、最後の「た」に対応する母音「あ」を「さいた」の直後に反復的に発生させた「さいたあああ……」という歌唱の音響信号Ｖを生成する構成や、「さいた」の最後の「た」を「さいた」の直後に反復的に発生させた「さいたたた……」という歌唱の音響信号Ｖを生成する構成が採用される。音響合成部３８は、保留期間内では音響信号Ｖの音量を所定の周期（例えば直前のテンポに対応する４分音符の時間長毎）で変動させる。

また、保留期間の時間長が所定値を上回る場合に、合成情報Ｓで指定される発音符号Ｑ5の歌唱音の生成を停止し、事前に用意された歌詞（以下「演奏開始用歌詞」という）の歌唱音を生成することも可能である。演奏開始用歌詞は、利用者による演奏の再開を促進するための歌詞であり、例えば「せーの」「いちにーさんしー」「ワンツースリー」等の文字列が好例である。音響合成部３８は、例えば基準拍点Ｂrefに同期した間隔で演奏開始用歌詞の各文字の音響を生成する。また、合成情報Ｓのうち保留期間の開始前に生成された音声の直後の所定長にわたる音符の発音符号Ｑ5や音高Ｑ1の音名を演奏開始用歌詞として音声を生成する構成も採用される。また、演奏開始用歌詞の音声に代えて、利用者に拍点を指示する音響（例えばメトロノーム音）を生成することも可能である。

（５）第２実施形態では、合成情報Ｓが指定する歌唱音を演奏拍点Ｂpに追随させたが、例えば演奏拍点Ｂpの間隔が過度に短い場合には歌唱音が不自然な音声となる可能性がある。したがって、例えば演奏拍点Ｂpの間隔が過度に短い場合に、合成情報Ｓのうち現在の処理対象の音符からみて後方の音符まで処理をスキップする（例えば楽曲内の間奏のように歌唱音が存在しない区間をスキップする）ことも可能である。

（６）前述の各形態では、楽曲の１個の小節内の各拍点の拍番号ｎに着目したが、複数個の小節を単位として各拍点に拍番号ｎを付与することも可能である。例えば、２個の小節を単位とする場合を想定すると、第１番目の小節の各拍点には１から４の各拍番号ｎが順番に付与され、第２番目の小節の各拍点には５から８の各拍番号ｎが順番に付与される。また、楽曲内の特定の区間（例えば特定のフレーズや歌唱曲の第１番と第２番等）を単位として各拍点に拍番号を付与することも可能である。また、楽曲の全部の拍点について拍位置情報Ｘ[n]および拍強度情報Ｙ[n]を生成する構成は必須ではない。例えば、楽曲の特定の拍点のみについて拍位置情報Ｘ[n]や拍強度情報Ｙ[n]を生成することも可能である。

（７）前述の各形態では、歌唱音を合成する音響合成装置１００（音声合成装置）を例示したが、楽器の演奏音を合成する音響合成装置１００（楽音合成装置）にも本発明は適用され得る。すなわち、本発明の音響合成装置は、音声合成装置および楽音合成装置の双方を包含する。また、合成情報Ｓを加工する合成情報加工装置としても本発明は適用され得る。合成情報加工装置は、拍解析部３２と情報生成部３４と合成制御部３６とを含んで構成され、音響合成部３８の有無は不問である。

１００A，１００B……音響合成装置、１２……演奏装置、１４……再生装置、２２……演算処理装置、２４……記憶装置、３２……拍解析部、３４……情報生成部、３６……合成制御部、３８……音響合成部。

Claims (3)

1. 演奏音の各拍点を演奏拍点として順次に特定する拍解析手段と、
   楽曲の各基準拍点と前記拍解析手段が特定した各演奏拍点との時間差に応じた拍位置情報と、楽曲の複数の小節にわたる演奏音の強度の分布を示す拍強度情報とを拍点毎に生成する情報生成手段と、
   音響合成に適用される合成情報が時系列に指定する各音響について、当該音響に対応する拍点の拍位置情報に応じて発音点の時間軸上の位置を可変に制御し、当該音響に対応する拍点の拍強度情報が示す分布に従う乱数に応じて強度を制御する合成制御手段と、
   前記合成制御手段による制御後の合成情報に応じて音響信号を生成する音響合成手段と
   を具備する音響合成装置。
2. 前記合成制御手段は、前記合成情報が時系列に指定する各音響の音色に関する音色情報を、前記拍強度情報に応じた制御後の当該音響の音量に応じて可変に制御する
   請求項１の音響合成装置。
3. 演奏音の各拍点を演奏拍点として順次に特定する拍解析ステップと、
   楽曲の各基準拍点と前記拍解析ステップで特定した各演奏拍点との時間差に応じた拍位置情報と、楽曲の複数の小節にわたる演奏音の強度の分布を示す拍強度情報とを拍点毎に生成する情報生成ステップと、
   音響合成に適用される合成情報が時系列に指定する各音響について、当該音響に対応する拍点の拍位置情報に応じて発音点の時間軸上の位置を可変に制御し、当該音響に対応する拍点の拍強度情報が示す分布に従う乱数に応じて強度を制御する合成制御ステップと、
   前記合成制御ステップによる制御後の合成情報に応じて音響信号を生成する音響合成ステップと
   を含む音響合成方法。

Images