JP4229064B2 - 音声合成装置および音声合成プログラム - Google Patents

Description

本発明は音声合成装置およびプログラムに関し、特に複数トラックの音声を同時に再生することができる音声合成装置および音声合成プログラムに関する。

近年、人間の歌唱音声を合成する音声合成装置が実用化されている。

代表的な音声波形の合成手法は以下のとおりである。

（１）目的となる音声のピッチ、音の強さ、および音韻等の情報を基に、まず時間軸波形を生成する。

（２）その後高速フーリエ変換（ＦＦＴ）等を用いて周波数領域の情報に変換する。

（３）周波数領域の情報に変換した後、種々のデータベース（抑揚、胸部共鳴、および声道共鳴等）を基にしてこの波形に周波数特性（フォルマント）を付与し、逆高速フーリエ変換（ＩＦＦＴ）して時間軸波形を生成する。

上記のような処理は、楽音（楽器）の波形合成処理に比べて演算量が非常に多い。したがってパーソナルコンピュータを用いたソフトウェア音源で音声を合成した場合、高速のＣＰＵを用いても２トラックを同時に合成するのが限界である。したがって、３トラック以上の多トラックを同時に合成しながら再生するとＣＰＵの処理が追いつかずに音切れ等が発生する。

そこで、３トラック以上のマルチトラックシーケンスデータの演奏を行うために、一旦すべてのトラックの音声波形を合成して記憶し、再生時には記憶した合成波形を読み出すようにするという方法が提案されている。
藤本 健、大坪 知樹："Ｃｕｂａｓｅ ＳＸ／ＳＬ ｆｏｒ Ｗｉｎｄｏｗｓ（登録商標） ２０００／ＸＰ"、リットーミュージック（２００３，３）

しかしながら、非特許文献１に記載のプログラムは、バッファモード指定（フリーズモード）を行うと全てのトラックについて波形合成して記憶するので、ユーザは合成が終わるまで待たなければならず、上述のように波形合成処理は演算量が多いために、全てのトラックの合成が完了するには長時間かかっていた。

一部のトラックを作成、編集した場合であっても、再生し直すと全てのトラックについて波形を合成し直すので、ユーザはその都度、長時間待たなければならないという問題点があった。

本発明は、上記の事情に鑑み、演算量の増大を防止しながら、再生時に長時間待たずに複数のトラックを同時に再生することができる音声合成装置および音声合成プログラムを提供することを目的とする。

請求項１に記載の発明は、楽曲を演奏するシーケンスデータの各トラックについて、シーケンスデータに基づいて音声波形を合成する音声合成手段と、前記音声合成手段が合成した音声波形を所定の演奏区間分記憶する事前合成波形記憶手段と、演奏前に事前合成波形記憶手段に音声波形を記憶するＰＡＳモードで演奏するか、音声波形を合成しながら演奏するＰＷＳモードで演奏するかを選択する選択手段と、を備え、かつ、ユーザが演奏開始を指示したとき、ＰＡＳモードが選択されたトラックの音声波形を記憶した後に、ＰＡＳモードが選択されたトラックは前記事前合成波形記憶手段に記憶した音声波形を読み出し、ＰＷＳモードが選択されたトラックは音声合成手段から音声波形を読み出すように前記選択手段に設定して、それぞれのトラックの音声波形を同期して演奏を実行する制御手段、を備えたことを特徴とする。

この発明では、外部シーケンサで作成、編集したシーケンスデータから音声波形を合成する合成エンジンを備えている。合成した音声波形は、バッファ手段である事前合成波形記憶手段に記憶することができる。ユーザは、多トラックの自動演奏を行う場合に、各トラックについて、音声波形をあらかじめ合成して記憶しておくＰＡＳモードと、演奏しながら合成するＰＷＳモードを選択することができる。ユーザがＰＡＳモードを選択したトラックは合成波形を事前合成波形記憶手段に一時記憶し、演奏時には記憶した合成波形を読み出す。ＰＷＳモードを選択したトラックは合成エンジンが合成した音声波形をリアルタイムに出力する。各トラックの音声波形はミキシングして外部出力する。これにより、一部トラックを作成、編集した場合にはそのトラックだけを合成し直すことが可能となる。

請求項２に記載の発明は、上記発明において、前記事前合成波形記憶手段は、ＰＡＳモードが選択されたトラックの音声波形を演奏終了後も保存し、前記合成手段は、ＰＡＳモードが選択されたトラックの音声波形を次回演奏時に再合成しないことを特徴とする。

この発明では、ＰＡＳモードを選択したトラックは、演奏した後も事前合成波形記憶手段に音声波形が記憶され、次回演奏時には再合成しない。これにより待ち時間なく演奏をスタートすることができる。

請求項３に記載の発明では、上記発明において、前記制御手段は、ＰＡＳモードが選択されたトラックの音声波形を、ユーザが演奏開始を指示する前にあらかじめ事前合成波形記憶手段に保存することを特徴とする。

この発明では、演奏スタートする以前にあらかじめ音声波形を合成して事前合成波形記憶手段に記憶しておく。これより、ユーザが演奏開始を指示したときに待ち時間なく演奏をスタートすることができる。

請求項４に記載の発明は、コンピュータに、楽曲を演奏するシーケンスデータの各トラックについて、シーケンスデータに基づいて音声波形を合成する合成手順、合成した音声波形を所定の演奏区間分記憶する事前合成波形記憶手順、演奏前に所定の演奏区間分音声波形を記憶するＰＡＳモードで演奏するか、音声波形を合成しながら演奏するＰＷＳモードで演奏するかを選択する選択手順、を実行させ、さらに、ＰＡＳモードが選択されたトラックの音声波形を記憶した後に、ＰＡＳモードが選択されたトラックは記憶した音声波形を読み出し、ＰＷＳモードが選択されたトラックは音声合成手段から音声波形を読み出して、それぞれのトラックの音声波形を同期して演奏する演奏手順、を実行させることを特徴とする。

この発明では、他のシーケンサソフトで作成、編集したシーケンスデータから音声波形を合成する。合成した音声波形は、バッファ（メモリ等）に事前に記憶することができる。ユーザは、多トラックの自動演奏を行う場合に、トラック毎に音声波形をあらかじめ合成して記憶しておくＰＡＳモードと、演奏時に合成するＰＷＳモードを選択することができる。ユーザがＰＡＳモードを選択したトラックは合成波形をあらかじめ記憶し、演奏時には記憶した合成波形を読み出す。ＰＷＳモードを選択したトラックは合成エンジンが音声波形を合成しながら出力する。各トラックの音声波形はミキシングして外部出力する。これにより、一部トラックを作成、編集した場合にはそのトラックだけを合成し直すことが可能となる。

以上のように、この発明によれば、音声波形をあらかじめ合成して記憶手段に記憶した後に再生するか、音声波形を合成しながら再生するかを各トラック毎に選択できるようにしたことで、一部のトラックのみを作成、編集した場合にはそのトラックだけを合成し直すので演算量が増大することを防止できる。また、他のトラックについてはあらかじめ合成して記憶手段に記憶された音声波形を読み出すようにするので、ユーザは演奏開始指示をしたときに長時間待たずに再生することが可能となる。

したがって、多トラックの同時演奏を待ち時間なくスタートすることが可能となる。

以下、本発明の実施形態の音声合成装置について図を用いて詳細に説明する。

図１は本発明の実施形態に係る音声合成装置のブロック図である。同図に示すように、この音声合成装置１００は、最大１６トラックの音声波形を出力する機能部であり、合成部１、バッファ２、およびセレクタ３からなる各楽音合成トラック（以下、単にトラックと呼ぶ）Ｔｒ１〜Ｔｒ１６と、各トラックに接続されるミキサ４、および制御部５を備えている。合成部１は、バッファ２およびセレクタ３に接続され、合成部１が合成した音声波形はバッファ２に記憶されるか、またはセレクタ３から出力される。音声合成装置１００にはシーケンサ２００が接続されている。

シーケンサ２００は、ユーザがシーケンスデータを作成、編集し、そのデータを自動演奏させるための機能部であり、Ｔｒ１〜Ｔｒ１６まで１６種類のトラックのデータを個別に作成、編集することが可能である。シーケンスデータは例えばＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）データ等である。

なお、音声合成装置１００およびシーケンサ２００は、専用の装置として実現することもでき、パーソナルコンピュータ上のソフトウェアで実現することもできる。

合成部１は、合成エンジンであり、シーケンサ２００から入力されたシーケンスデータに基づいて、音声波形を演算により合成する。音声波形の合成手法は以下のとおりである。

（１）目的となる音声のピッチ、音の強さ、および音韻等の情報を基に、まず時間軸波形を生成する。

（２）その後高速フーリエ変換（ＦＦＴ）等を用いて周波数領域の情報に変換する。

（３）周波数領域の情報に変換した後、種々のデータベース（抑揚、胸部共鳴、および声道共鳴等）を基にしてこの波形に周波数特性（フォルマント）を付与し、逆高速フーリエ変換（ＩＦＦＴ）して時間軸波形を生成する。

このような音声合成処理は、楽音（楽器）の波形合成処理に比べて演算量が非常に多いものである。

バッファ２は、合成部１で合成した音声波形を記憶しておくメモリであり、本発明の事前合成波形記憶手段に該当する。ここではシーケンスデータ１曲分の音声波形を蓄積できる記憶容量を備えたメモリを用いるが、蓄積する音声波形は１曲分またはユーザが指定した演奏区間分である。なお、メモリはハードディスク等であってもよく、データを記憶するものであればどのようなものであってもよい。

セレクタ３は、合成部１で合成する音声波形と、バッファ２に記憶している音声波形のいずれかを選択的に読み出してミキサ４に出力する。

ミキサ４は、各トラックＴｒ１〜Ｔｒ１６が出力した音声波形をミキシングしてマスタトラックの音声波形データを生成し、このマスタトラックの音声波形を外部出力する。出力した音声波形は外部接続された再生装置等でＤ／Ａ変換されてアナログ音声信号として再生処理される。

制御部５は、音声合成装置１００全体の動作を制御するものであり、特に各トラック毎に音声波形合成を指示し、バッファ２に一時記憶するか否かを指示する。また、セレクタ３の動作を制御する。制御部５は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実現される。

本実施形態では、シーケンスデータを読み出して音声波形を再生（演奏）する時に、音声波形をリアルタイムに合成しながら再生するＰＷＳ（Ｐｌａｙ Ｗｉｔｈ Ｓｙｎｔｈｅｓｉｓ）モードと、音声波形をあらかじめ合成してバッファ２に記憶した後再生をスタートさせるＰＡＳ（Ｐｌａｙ Ａｆｔｅｒ Ｓｙｎｔｈｅｓｉｓ）モードとを各トラック毎にユーザが自由に選択することができるものである。

なお、トラック数は本実施形態のように１６に限らず、どのような数であってもよい。また、この音声合成装置を動作させるために、１６のトラック全てのシーケンスデータを作成する必要はなく、一部のトラックのシーケンスデータで演奏動作を行うことが可能である。また、シーケンスデータの作成途中で作成済みのトラックのみ音声波形を合成して試聴を行うことも可能である。

図２は、波形合成の設定ウィンドウを模式的に示した図である。このウィンドウ６は、音声合成装置１００に備えたユーザ確認用ディスプレイ（図示せず）や、音声合成装置１００の構成をパーソナルコンピュータ等のソフトウェア上で実現した場合には、パーソナルコンピュータ用ディスプレイ上に表示されるものである。同図に示すようにウィンドウ６内にはＴｒ（Ｔｒａｃｋ）１〜Ｔｒ１６について、それぞれトラック名（Ｔｒａｃｋ Ｎａｍｅ）の表示窓、演奏モード（Ｐｌａｙ Ｍｏｄｅ）選択ボタン（ラジオボタン）、合成状況（Ｓｙｎｔｈｅｓｉｚｅｄ）を示す表示窓、および合成（Ｓｙｎｔｈｅｓｉｚｅ）ボタンが表示されている。トラック名（Ｔｒａｃｋ Ｎａｍｅ）には、シーケンサ２００から読み出すべきシーケンスデータの名前が表示されている。

演奏モード（Ｐｌａｙ Ｍｏｄｅ）選択ボタンは、それぞれＰＷＳ（Ｐｌａｙ Ｗｉｔｈ Ｓｙｎｔｈｅｓｉｓ）、ＰＡＳ（Ｐｌａｙ Ａｆｔｅｒ Ｓｙｎｔｈｅｓｉｓ）、Ｄｉｓａｂｌｅｄの３つからなり、ユーザはこれらのうちいずれかを択一的に選択することができる。

ＰＷＳは、演奏しながら波形合成する演奏モードであり、これをユーザが選択すると、制御部５は、合成部１で合成する音声波形をバッファ２に一時記憶せず、再生時にリアルタイムに合成しながら出力するように指示し、セレクタ３に合成部１から直接音声波形を読み出して出力するように指示する。

ＰＡＳは、波形合成後に演奏する演奏モードであり、これをユーザが選択すると、制御部５は、合成部１で合成した音声波形をバッファ２にあらかじめ記憶するように指示し、再生時には、セレクタ３にバッファ２から音声波形を読み出して出力するように指示する。

Ｄｉｓａｂｌｅｄは、非発音トラックの選択肢であり、これをユーザが選択すると、制御部５は、そのトラックから音声波形を出力しないように制御する。ただし、Ｄｉｓａｂｌｅｄをユーザが選択しても、一旦バッファ２に保存された音声波形は消去されずに保存されており、次回演奏時にＰＡＳモードを選択すれば再びバッファ２から音声波形を読み出して音声波形を再合成せずに出力することができる。Ｄｉｓａｂｌｅｄを選択することで、次の演奏時についてはそのトラックを演奏しなくなり、ユーザは他の一部のトラックを試聴したいとき等に用いる。

なお、トラック名（Ｔｒａｃｋ Ｎａｍｅ）に何も表示されていないトラックも非発音トラックとみなし、このトラックについてユーザはＰＷＳ、ＰＡＳ、およびＤｉｓａｂｌｅｄの選択をする必要はない。

合成状況（Ｓｙｎｔｈｅｓｉｚｅｄ）の表示窓は、そのトラックの音声波形の合成状況を表示する。この表示窓にはＣｏｍｐｌｅｔｅまたはＳｙｎｔｈｅｓｉｓが表示され、Ｃｏｍｐｌｅｔｅはそのトラックの読み出すシーケンスデータを基にして音声波形が１曲分合成済みであることを示している。Ｓｙｎｔｈｅｓｉｓは現在音声波形を合成中であることを示している。ＰＷＳモードを選択したトラックは、波形合成しながら再生するのでここには何も表示されない。また、Ｄｉｓａｂｌｅｄを選択したトラック、およびトラック名（Ｔｒａｃｋ Ｎａｍｅ）に何も表示されていないトラックについても波形合成することがないので何も表示されない。なお、ユーザがＣｏｍｐｌｅｔｅが表示されている合成状況表示窓を選択してその表示を消去すると、制御部５はＣｏｍｐｌｅｔｅを解除してバッファ２に記憶されている音声波形を消去するようにしてもよい。

合成（Ｓｙｎｔｈｅｓｉｚｅ）ボタンは、これをユーザが選択すると、そのトラックの読み出すシーケンスデータを基にして音声波形の合成を開始する。なお、このボタンを選択しなくても、再生を指示したときにＰＡＳが選択されているトラックは再生前に音声波形を合成するように動作する。このボタンを押すことでユーザは、再生前に意図的に合成を指示して音声波形をバッファ２に記憶させておくことが可能となる。

なお、ＰＷＳモードを選択したトラックであっても、最初に演奏する時に合成した音声波形をバッファ２に記憶するようにしてもよい。

以下、音声合成装置の動作について詳細に説明する。

図３は、音声合成装置１００の動作を示したフローチャートである。同図に示すように、ユーザが作成、編集したシーケンスデータの再生を指示すると（ｓ１）、制御部５は、ＰＡＳモードが選択されているトラックを調べ、その中で音声波形の合成が完了していないトラックが有るか否かを判断する（ｓ２）。ＰＡＳモードが選択されているトラックのうち、音声波形の合成が完了していないトラックが有ればそのトラックのシーケンスデータを読み出して合成部１で音声波形を合成し、バッファ２に記憶する（ｓ３）。また、ユーザがそのトラックを編集して変更した場合に、過去の音声波形をバッファ２に記憶している場合のときも新たにシーケンスデータを読み出して再度音声波形を合成し、バッファ２に記憶する。

その後、ユーザからの停止命令があるか、または曲の再生が末尾に達したか否かを判断し（ｓ４）、停止命令があるか、曲の再生が末尾に達するまでｓ５以下の動作を実行する。ユーザからの停止命令があるか、または曲の再生が末尾に達した場合は動作を停止する（ｓ４→ＥＮＤ）。

ユーザからの停止命令がなく、かつ曲の再生が末尾に達していない場合は、トラック１を指定し（ｓ５）、そのトラックが非発音トラックであるか否かを判断する（ｓ６）。非発音トラックでなければＰＡＳモードが選択されたトラックであるか否かを判断する（ｓ７）。ＰＡＳモードが選択されたトラックであれば、バッファ２に記憶している音声波形を読み出してミキサ４に出力し、ミキサ４でマスタトラックに加算する（ｓ８）。ＰＡＳモードが選択されたトラックでなければＰＷＳモードが選択されたトラックであるので、合成部１が合成している音声波形を直接読み出してミキサ４に出力し、ミキサ４でマスタトラックに加算する（ｓ９）。この処理は、フレーム単位で行われる。フレームは、例えば５．８ｍｓｅｃの長さである。これによりミキサ４では全てのトラックを同期してマスタトラックとして出力することができる。

その後、全トラックについて音声波形を出力したか否かを判断する（ｓ１０）。ここで、選択中のトラックが非発音トラックであった場合には、上記の処理（ｓ７〜ｓ９）は行わず、マスタトラックには何も加算せずに全トラックについて音声波形を出力したか否かを判断する（ｓ６→ｓ１０）。

全トラックについて音声波形を出力していなければ次トラックを指定し（ｓ１１）、そのトラックが非発音トラックで有るか否かの判断から処理を繰り返す（ｓ１０→ｓ１１→ｓ６）。全トラックについて音声波形を出力していれば、同期したマスタトラックを外部に出力する（ｓ１２）。ここで、外部接続された再生装置等は音声波形をＤ／Ａ変換して音声を発音する。その後、ユーザからの停止命令があるか、または曲の再生が末尾に達したか否かの判断から処理を繰り返す（ｓ１２→ｓ４）。

また、演奏区間を指定して、その区間分のシーケンスデータのみ再生を行うこともできる。この場合、ユーザは事前に演奏区間を指定して、その区間のシーケンスデータの再生を指示する。ＰＡＳモードが選択されているトラックについて、指定された演奏区間分の音声波形を合成し、記憶すればよい。

以上のように、本発明の音声合成装置および音声合成プログラムは、各トラック毎に、音声波形を合成しながら再生するか、音声波形を合成してバッファに記憶した後にバッファから音声波形を読み出して再生するかを選択できるようし、再生時には各トラックをミキシングして外部出力する。

これにより、作成、編集中のトラックのみ音声波形を合成しながら再生するようにし、他のトラックについては既に合成してバッファに記憶した音声波形を読み出して再生することが可能となる。したがって、一部のトラックのみを作成、編集した場合には、そのトラックだけを合成し直すので演算量が増大することを防止でき、他のトラックについてはあらかじめ合成してバッファに記憶された音声波形を読み出すようにするので、ユーザは演奏開始指示をしたときに長時間待たずに再生することが可能となる。これにより多トラックの同時演奏を、待ち時間なくスタートすることができる。

例えば、シーケンスデータを作成、編集するトラックについてはＰＷＳモードにしておき、他の作成、編集済みトラックについてはＰＡＳモードにしておくことで、複数のトラックを同時に聴きながら曲制作が可能となる。また、使用しないトラックは合成処理をしないように指示することも可能であるので、一部のトラックだけを試聴することもでき、余分な演算をすることなく安定して動作することが可能となる。

本発明の音声合成装置のブロック図 波形合成の設定ウィンドウを模式的に示した図 本発明の音声合成装置の動作を示すフローチャート

符号の説明

１−合成部
２−バッファ
３−セレクタ
４−ミキサ
５−制御部
６−設定ウィンドウ
Ｔｒ−トラック
１００−音声合成装置
２００−シーケンサ

Claims (4)

1. 楽曲を演奏するシーケンスデータの各トラックについて、シーケンスデータに基づいて音声波形を合成する音声合成手段と、
   前記音声合成手段が合成した音声波形を所定の演奏区間分記憶する事前合成波形記憶手段と、
   演奏前に事前合成波形記憶手段に音声波形を記憶するＰＡＳモードで演奏するか、音声波形を合成しながら演奏するＰＷＳモードで演奏するかを選択する選択手段と、を備え、かつ、
   ユーザが演奏開始を指示したとき、ＰＡＳモードが選択されたトラックの音声波形を記憶した後に、ＰＡＳモードが選択されたトラックは前記事前合成波形記憶手段に記憶した音声波形を読み出し、ＰＷＳモードが選択されたトラックは音声合成手段から音声波形を読み出すように前記選択手段に設定して、それぞれのトラックの音声波形を同期して演奏を実行する制御手段、
   を備えたことを特徴とする音声合成装置。
2. 前記事前合成波形記憶手段は、ＰＡＳモードが選択されたトラックの音声波形を演奏終了後も保存し、
   前記合成手段は、ＰＡＳモードが選択されたトラックの音声波形を次回演奏時に再合成しないことを特徴とする請求項１に記載の音声合成装置。
3. 前記制御手段は、ＰＡＳモードが選択されたトラックの音声波形を、ユーザが演奏開始を指示する前にあらかじめ事前合成波形記憶手段に保存することを特徴とする請求項１または請求項２に音声合成装置。
4. コンピュータに、
   楽曲を演奏するシーケンスデータの各トラックについて、
   シーケンスデータに基づいて音声波形を合成する合成手順、
   合成した音声波形を所定の演奏区間分記憶する事前合成波形記憶手順、
   演奏前に所定の演奏区間分音声波形を記憶するＰＡＳモードで演奏するか、音声波形を合成しながら演奏するＰＷＳモードで演奏するかを選択する選択手順、を実行させ、さらに、
   ＰＡＳモードが選択されたトラックの音声波形を記憶した後に、ＰＡＳモードが選択されたトラックは記憶した音声波形を読み出し、ＰＷＳモードが選択されたトラックは音声合成手段から音声波形を読み出して、それぞれのトラックの音声波形を同期して演奏する演奏手順、
   を実行させる音声合成プログラム。

Images