JP4654616B2 - 音声効果付与装置及び音声効果付与プログラム - Google Patents

Description

本発明は、入力音声に効果を付与する音声効果付与装置及び音声効果付与プログラムに関する。

入力音声に効果を付与して音声変換を行う方法として、ＳＭＳ（スペクトルモデリング合成）技術の応用で、残差成分の大きさをコントロールすることにより、音声のざらざら感をコントロールすることができることは知られている。ＳＭＳ技術については、特許文献１を参照されたい。
例えば、入力する制御パラメータに基づき、合成対象音声の調和成分・非調和成分の大きさをそれぞれ制御し、気息性の大きさを制御することが提案されている（特許文献２）。

一方、周波数スペクトル上で検出した局所的ピークを含むスペクトル分布領域を指定し、入力音符ピッチに応じてこの領域を移動し、この移動に対応して位相スペクトルも修正して、合成音声に変換する方式（フェーズボコーダ方式）が知られている（特許文献３）。
特開平０７−３２５５８３号公報 特開２００３−２８８０９５号公報 特開２００３−２５５９９８号公報

上述のように、ＳＭＳ技術を応用して、残差成分の大きさをコントロールすることにより、音声のざらざら感をコントロールすることは可能であるが、これをその他様々な種類の音声変換に対応させることは難しい。
また、正弦波成分と残差成分に分離するため両者の一体感を保ったままの音声変換は困難である。
そこで本発明は、様々な音声変換を行うことができる音声効果付与装置及び音声効果付与プログラムを提供することを目的としている。

上記目的を達成するために、本発明の音声効果付与装置は、入力音声信号を周波数分析して、その周波数スペクトルの局所的ピークを検出し、各局所的ピークごとに局所的ピークとその前後の周波数のスペクトルを含む周波数の区間であるスペクトル分布領域を決定する手段と、各スペクトル分布領域におけるスペクトル強度の変更の内容を規定するスペクトル強度変更テーブル又は関数を、入力音声に付与する効果の種類に対応して複数記憶する記憶手段と、前記記憶手段に記憶されているスペクトル強度変更テーブル又は関数の選択、及び、該選択されたスペクトル強度変更テーブル又は関数による処理によりスペクトル強度が変更される周波数の幅やスペクトル強度の変更量を示すパラメータの指定を行うパラメータ指定手段と、各スペクトル分布領域のスペクトルに対して、前記選択されたスペクトル強度変更テーブル又は関数と前記指定されたパラメータに基づいて、そのスペクトル強度を変更する演算を実行するスペクトル変形手段と、前記スペクトル変形手段によりスペクトル強度が変更されたスペクトルを時間領域の信号に変換して出力する手段とを有するものである。
また、前記パラメータを前記スペクトル分布領域のピーク周波数又はピーク強度に応じて変更する手段を有するものである。
さらに、本発明の音声効果付与プログラムは、コンピュータに、入力音声信号を周波数分析して、その周波数スペクトルの局所的ピークを検出し、各局所的ピークごとに局所的ピークとその前後の周波数のスペクトルを含む周波数の区間であるスペクトル分布領域を決定するステップと、各スペクトル分布領域におけるスペクトル強度の変更の内容を規定するスペクトル強度変更テーブル又は関数を、入力音声に付与する効果の種類に対応して複数記憶する記憶手段から、スペクトル強度変更テーブル又は関数を選択し、該選択したスペクトル強度変更テーブル又は関数による処理によりスペクトル強度が変更される周波数の幅やスペクトル強度の変更量を示すパラメータの指定を行うパラメータ指定ステップと、各スペクトル分布領域のスペクトルに対して、前記選択されたスペクトル強度変更テーブル又は関数と前記指定されたパラメータに基づいて、そのスペクトル強度を変更する演算を実行するスペクトル変形ステップと、前記スペクトル変形ステップによりスペクトル強度が変更されたスペクトルを時間領域の信号に変換して出力するステップとを実行させるものである。

このような本発明の音声効果付与装置及び音声効果付与プログラムによれば、入力信号をスペクトル分布領域に分割する方式（フェーズボコーダ方式）において、各スペクトル分布領域のスペクトルに適用するテーブル又は関数を変更することにより、同一の構成で様々な効果を付与することが可能となる。
また、正弦波成分と残差成分を分離したりせずに、両者を同時に扱うため、変換後の不自然さ（分離したための一体感のなさ）が少なくなる。

図１は、本発明の音声効果付与装置の一実施の形態の構成を示す機能ブロック図である。
この図において、１は音声信号を入力する入力部、２は該入力音声を各フレームごとにＦＦＴ（高速フーリエ変換）して周波数スペクトルを得るフーリエ変換部、３は該フーリエ変換部２から出力される周波数スペクトルの局所的ピークを検出し、各局所的ピークごとに該局所的ピークとその前後の周波数のスペクトルを含む周波数の区間である複数のスペクトル分布領域を決定するピーク検出及びスペクトル分布領域指定部である。
また、４は各スペクトル分布領域のスペクトルを変形するスペクトル変形処理部、５は変換の種類に応じて用意された各種テーブルである。この各種テーブル５については後述するが、スペクトル強度変更の内容を規定するスペクトル強度変更テーブルやピーク周波数や入力のピッチなどの情報に応じてそのスペクトル強度変更テーブルに応じたパラメータを変更するための周波数−パラメータテーブルなどが含まれている。
６は前記各種テーブル５に含まれているテーブルの選択や各々のテーブルに応じたパラメータを与えるパラメータ指定部、７は前記スペクトル変形処理部４から出力される変換後の新しいスペクトルを時間領域に変換して１フレームの時間波形に変換する逆フーリエ変換部、８は前記逆フーリエ変換部７から出力される各フレームの時間波形をオーバラップ及び加算処理により連続波形とするオーバラップ加算再合成処理部、９は該オーバラップ加算再合成処理部８からの連続波形を出力する出力部である。
なお、これらの構成要素は、それぞれ個別の処理部として実現することもできるが、コンピュータにおけるプログラム処理により実現することもできる。

このように、本発明の音声効果付与装置においては、周波数領域において入力音声のスペクトルを変形することにより音声変換を行うようにしている。
そして、前記各種テーブル５にそれぞれ付与する効果に対応して格納されているスペクトル強度変更テーブルを選択し、該選択されたテーブルに基づいて各スペクトル分布領域のスペクトルを変形することにより、所望の音声変換を行う。
なお、上記においては各種テーブル５にそれぞれの効果に対応するスペクトル強度変更テーブルを記憶するようにしていたが、テーブルに代えて、各スペクトル強度変更内容を規定する関数を記憶しておき、前記スペクトル変形部４で付与したい効果に対応する関数を用いてスペクトルの変形を行うようにしてもよい。

次に、前記各種テーブル５に格納されているテーブル又は関数の例について説明する。
図２は、前記各種テーブル５に格納されているテーブルの第１の例を説明するための図である。この図において、（ａ）は入力信号のスペクトルであり、図示するように、それぞれ局所的ピークを含む複数のスペクトル分布領域に分けられている。（ｂ）は、そのうちの一つのスペクトル分布領域（ｉ）を拡大して示す図であり、実線は、入力信号のスペクトル強度を示している。（ｃ）は、この例において適用されるスペクトル強度変更テーブルの特性を示す図であり、図示するように、入力スペクトルの強度を局所的ピークの近傍で所定量だけ減衰させるものである。前記スペクトル変形部４においてこのスペクトル強度変更テーブルを対応する周波数のＦＦＴビン（bin）と乗算してスペクトルを変形すると、図２の（ｂ）の破線のように局所的ピークの近傍のスペクトル強度が低下される。
また、他のスペクトル分布領域についても、同様に、（ｃ）に示すテーブルに従ってスペクトル強度を変更する。
これにより、各スペクトル分布領域のメインローブの強度が抑えられることとなり、ノイズ成分が相対的に大きくなるため、入力音声が息っぽい（Breathyな）音声に変換されることとなる。

ここで、図２の（ｃ）に示す縦方向と横方向の矢印は、このスペクトル強度変更テーブルによる処理におけるパラメータを示しており、スペクトル強度が減少させられる周波数の幅を規定するＦＦＴビン（bin）の個数、及び、スペクトル強度の減衰量を示す強度をパラメータとして前記パラメータ指定部６から指定することができる。このパラメータの値を制御することにより、効果を調整することができる。

図３は、前記スペクトル強度変更テーブルの他の例について示す図であり、（ａ）は一つのスペクトル分布領域における入力スペクトル（実線）と変形された後のスペクトル（破線）を示し、（ｂ）はこの例のスペクトル強度変更テーブルの内容を示している。
図示するように、この例では、ピーク周波数では減衰せず、ピーク周波数から離れるにしたがって減衰量が大きくなるようにスペクトルを変形させている。
この場合には、メインローブ以外のスペクトル（ノイズ成分と考えられる。）が小さくなることにより、入力成分のノイズ成分が減少し、クリアな音声とする効果を付与することができる。
このスペクトル強度変更テーブルの場合には、図中に矢印で示す傾きが前記パラメータ指定部６により指定されるパラメータであり、これを制御することによりその効果の効き具合を調整することができる。
なお、（ｂ）とは逆に、ピーク周波数から離れるに従って強度を大きくする特性の場合には、ノイズ成分が大きくなり、入力音声をざらざらした声質に変換することができる。

このように、入力音声に付与したい効果に対応したスペクトル強度変更テーブル又は関数を選択することにより、入力音声に対して、同一の構成で様々な効果を付与することができる。
また、それぞれのスペクトル強度変更テーブルに応じて対応するパラメータを制御することにより、その効果の効き具合を調整することができる。
なお、前記パラメータ指定部６により、前記スペクトル強度変更テーブルの指定と前記パラメータの指定の両方を行うようにしてもよいし、あるいは、前記スペクトル強度変更テーブルの指定は、別の手段により行うようにしてもよい。

さて、上述した各例においては、全てのスペクトル分布領域について、同様にスペクトル強度を変更するものとしていたが、これに限られることはなく、スペクトル分布領域のうちの一部（例えば、所定の周波数以下）のスペクトル分布領域についてのみ、上述したスペクトル変形処理を行うようにしてもよい。

また、前記パラメータについても、入力音声のピッチや振幅、おのおののスペクトル分布領域のピーク周波数やピーク強度に応じて、各々のパラメータを変更するようにしてもよい。
図４は、スペクトル分布領域のピーク周波数に応じてパラメータを変更するための、周波数−パラメータテーブルの一例を示す図である。このテーブルも、前述した各種テーブル５内に記憶されている。
この例においては、縦軸は、前記図３に示した例における傾きの大きさを示しており、ピーク周波数がｆ1であるスペクトル分布領域については、前記図３（ｂ）に示したスペクトル強度変更テーブルの傾きが最も大きくなるようになされている。
このようにスペクトル分布領域のピーク周波数に応じてパラメータの大きさを制御することにより、より効果的に音声変換をすることが可能となる。
この周波数−パラメータテーブルも前記各種テーブル５内に複数記憶しておき、外部からどのテーブルを使用するかを選択することができるようにすることにより、よりよい効果を得ることができる。

さらにまた、入力音声のピッチや振幅、各スペクトル分布領域のピーク周波数やピーク強度に応じて、パラメータではなく、使用するスペクトル強度変更テーブルそのものを変更するようにしてもよい。この場合には、ピーク周波数などとスペクトル強度変更テーブルの対応表を記憶しておき、これに基づいて使用するスペクトル強度変更テーブルを選択するようにすればよい。
また、パラメータの選択はスペクトル分布領域のピーク周波数などに限るものではなく、領域の最小周波数や最高周波数などの特定の周波数によるものとしてもよい。

本発明の音声効果付与装置の一実施の形態の構成を示す機能ブロック図である。 スペクトル強度変更テーブルの一例について説明するための図であり、（ａ）は入力スペクトル、（ｂ）は入力スペクトルと変更されたスペクトルの拡大図、（ｃ）は強度変更テーブルの内容を示す図である。 スペクトル強度変更テーブルの他の例について説明するための図であり、（ａ）は入力スペクトルと変更されたスペクトルの拡大図、（ｂ）は強度変更テーブルの内容を示す図である。 周波数−パラメータテーブルの内容の一例を示す図である。

符号の説明

１：入力部、２：フーリエ変換部、３：ピーク検出及びスペクトル分布領域指定部、４：スペクトル変形部、５：各種テーブル、６：パラメータ指定部、７：逆フーリエ変換部、８：オーバラップ加算再合成部、９：出力部

Claims (3)

1. 入力音声信号を周波数分析して、その周波数スペクトルの局所的ピークを検出し、各局所的ピークごとに局所的ピークとその前後の周波数のスペクトルを含む周波数の区間であるスペクトル分布領域を決定する手段と、
   各スペクトル分布領域におけるスペクトル強度の変更の内容を規定するスペクトル強度変更テーブル又は関数を、入力音声に付与する効果の種類に対応して複数記憶する記憶手段と、
   前記記憶手段に記憶されているスペクトル強度変更テーブル又は関数の選択、及び、該選択されたスペクトル強度変更テーブル又は関数による処理によりスペクトル強度が変更される周波数の幅やスペクトル強度の変更量を示すパラメータの指定を行うパラメータ指定手段と、
   各スペクトル分布領域のスペクトルに対して、前記選択されたスペクトル強度変更テーブル又は関数と前記指定されたパラメータに基づいて、そのスペクトル強度を変更する演算を実行するスペクトル変形手段と、
   前記スペクトル変形手段によりスペクトル強度が変更されたスペクトルを時間領域の信号に変換して出力する手段と
   を有することを特徴とする音声効果付与装置。
2. 前記パラメータを前記スペクトル分布領域のピーク周波数又はピーク強度に応じて変更する手段を有することを特徴とする請求項１記載の音声効果付与装置。
3. コンピュータに、
   入力音声信号を周波数分析して、その周波数スペクトルの局所的ピークを検出し、各局所的ピークごとに局所的ピークとその前後の周波数のスペクトルを含む周波数の区間であるスペクトル分布領域を決定するステップと、
   各スペクトル分布領域におけるスペクトル強度の変更の内容を規定するスペクトル強度変更テーブル又は関数を、入力音声に付与する効果の種類に対応して複数記憶する記憶手段から、スペクトル強度変更テーブル又は関数を選択し、該選択したスペクトル強度変更テーブル又は関数による処理によりスペクトル強度が変更される周波数の幅やスペクトル強度の変更量を示すパラメータの指定を行うパラメータ指定ステップと、
   各スペクトル分布領域のスペクトルに対して、前記選択されたスペクトル強度変更テーブル又は関数と前記指定されたパラメータに基づいて、そのスペクトル強度を変更する演算を実行するスペクトル変形ステップと、
   前記スペクトル変形ステップによりスペクトル強度が変更されたスペクトルを時間領域の信号に変換して出力するステップと
   を実行させることを特徴とする音声効果付与プログラム。

Images