JP3502268B2 - 音声信号処理装置及び音声信号処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、入力音声を他の
音声に変換して出力したり、合成音声を生成する音声信
号処理装置及び音声信号処理方法に係り、特に男声→女
声変換の機能を有するカラオケ装置に用いるのに好適な
音声信号処理装置及び音声信号処理方法に関する。

【０００２】

【従来の技術】入力された音声の周波数特性などを変え
て出力する音声変換装置は種々開発されており、例え
ば、カラオケ装置の中には、歌い手の歌った歌声のピッ
チを変換して、男性の声を女性の声に変換させるものが
ある（例えば、特表平８−５０８５８１号）。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
音声変換装置においては、単に歌声のピッチを変換して
いるだけであるため、男声→女声変換を行っても聴感上
自然な女性の音声が得られないという問題点があった。
そこで、本発明の目的は、男声→女声の音声変換を行う
に際し、聴感上自然な女性の変換音声を容易に得ること
が可能な音声信号処理装置及び音声信号処理方法を提供
することにある。

【０００４】

【課題を解決するための手段】上述した課題を解決する
ために、請求項１記載の発明は、入力音声信号またはタ
ーゲット音声信号のスペクトラル・シェイプを周波数軸
に沿って高域側にシフトして変形スペクトラル・シェイ
プを生成する変形スペクトラル・シェイプ生成手段と、
前記変形スペクトラル・シェイプに基づいて変換音声信
号を生成する変換音声信号生成手段と、前記変換音声信
号生成手段によって生成された変換音声信号に対し、気
息性雑音成分信号を加算する気息性雑音加算手段とを備
え、前記気息性雑音加算手段は、前記変形スペクトラル
・シェイプに基づいてフォルマント周波数を検出するフ
ォルマント周波数検出手段と、前記フォルマント周波数
に対応する周波数帯域を有する前記気息性雑音成分信号
を生成する気息性雑音生成手段と、前記気息性雑音成分
信号を前記変換音声信号に重畳する重畳手段とを備えた
ことを特徴としている。

【０００５】 請求項２記載の発明は、請求項１記載の
構成において、前記気息性雑音生成手段は、ホワイトノ
イズ信号を生成し出力するホワイトノイズ発生手段と、
前記フォルマント周波数検出手段の検出結果に基づい
て、前記ホワイトノイズ信号のうち、前記変換音声信号
の第３フォルマントに対応する所定の周波数帯域成分の
みを通過させ元気息性雑音成分信号として出力するバン
ドパスフィルタ手段と、前記変換音声信号に基づいて、
前記元気息性雑音成分信号の信号レベルを制御して前記
気息性雑音成分信号として出力する信号レベル制御手段
とを備えたことを特徴としている。

【０００６】 請求項３記載の発明は、音声を合成また
は変換して得られる合成音声信号を出力する際に該合成
音声信号に気息性雑音成分信号を加算して変換音声信号
として出力する気息性雑音加算手段を備えた音声信号処
理装置であって、前記気息性雑音加算手段は、前記合成
音声信号のフォルマント周波数を検出するフォルマント
周波数検出手段と、前記フォルマント周波数検出手段が
検出したフォルマント周波数に対応する周波数帯域を有
する気息性雑音成分信号を生成する気息性雑音生成手段
と、前記気息性雑音成分信号を前記合成音声信号に重畳
して前記変換音声信号として出力する重畳手段とを備え
たことを特徴としている。

【０００７】 請求項４記載の発明は、請求項３記載の
構成において、前記気息性雑音生成手段は、ホワイトノ
イズ信号を生成し出力するホワイトノイズ発生手段と、
前記フォルマント周波数検出手段の検出結果に基づい
て、前記ホワイトノイズ信号のうち、前記合成音声信号
の第３フォルマントに対応する所定の周波数帯域成分の
みを通過させ元気息性雑音成分信号として出力するバン
ドパスフィルタ手段と、前記合成音声信号に基づいて、
前記元気息性雑音成分信号の信号レベルを制御して前記
気息性雑音成分信号として出力する信号レベル制御手段
とを備えたことを特徴としている。

【０００８】 請求項５記載の発明は、入力音声信号ま
たはターゲット音声信号のスペクトラル・シェイプを周
波数軸に沿って高域側にシフトして変形スペクトラル・
シェイプを生成する第１生成ステップと、前記変形スペ
クトラル・シェイプに基づいて変換音声信号を生成する
第２生成ステップと、生成された前記変換音声信号に対
し、気息性雑音成分信号を加算する加算ステップとを有
し、前記加算ステップにおいては、前記変形スペクトラ
ル・シェイプに基づいてフォルマント周波数を検出する
検出ステップと、前記フォルマント周波数に対応する周
波数帯域を有する前記気息性雑音成分信号を生成する第
３生成ステップと、前記気息性雑音成分信号を前記変換
音声信号に重畳する重畳ステップとが実行されることを
特徴としている。

【０００９】 請求項６記載の発明は、音声を合成また
は変換して得られる合成音声信号を出力するステップ
と、前記合成音声信号のフォルマント周波数を検出する
ステップと、検出した前記フォルマント周波数に対応す
る周波数帯域を有する気息性雑音成分信号を生成するス
テップと、前記気息性雑音成分信号を前記合成音声信号
に重畳して前記変換音声信号として出力するステップと
を有することを特徴としている。

【００１０】

【００１１】

【００１２】

【発明の実施の形態】次に図面を参照して本発明の好適
な実施形態について説明する。 ［１］ 実施形態の原理構成 始めに、実施形態の原理について図１５の原理説明図を
参照して説明する。［１．１］ 実施形態の原理構成 音声信号処理装置１００は、マイク１０１から入力され
た男声／女声変換して元変換音声信号として出力する男
声／女声変換部１０２と、元変換音声信号のフォルマン
ト周波数の検出を行うフォルマント周波数検出部１０３
と、検出された第３フォルマントの周波数に基づいて、
後述するバンドパスフィルタの通過帯域制御を行うバン
ドパスフィルタ特性制御部１０４と、ホワイトノイズを
発生しホワイトノイズ信号として出力するホワイトノイ
ズ発生部１０５と、バンドパスフィルタ特性制御部１０
４の制御下で、第３フォルマントに対応する所定の周波
数帯域の周波数を有するホワイトノイズ信号のみを元気
息性ノイズ信号として通過させるバンドパスフィルタ部
１０６と、元変換音声信号の周波数−アンプ軸上におけ
るアンプの大きさを検出するアンプ・エンベロープ検出
部１０７と、検出したアンプの大きさに基づいて元気息
性ノイズ信号の信号レベルを制御する信号レベル制御信
号を出力する気息性雑音レベル制御部１０８と、信号レ
ベル制御信号に基づいて元気息性ノイズ信号の信号レベ
ルを変化させ、気息性ノイズ信号として出力するアンプ
部１０９と、元変換音声信号に気息性ノイズ信号を加算
して変換音声信号として出力するミキサ部１１０と、変
換音声信号に基づいて電気／音響変換を行い音響信号と
して出力するスピーカ部１１１と、を備えて構成されて
いる。

【００１３】［１．２］ 実施形態の原理動作 次に原理動作を説明する。マイク１０１から入力された
男声は、男声／女声変換部１０２により、男声→女声変
換がなされて元変換音声信号としてフォルマント周波数
検出部１０３及びアンプ・エンベロープ検出部１０７に
出力される。フォルマント周波数検出部１０３は、元変
換音声信号のフォルマント周波数（特に第３フォルマン
ト）の検出を行う。バンドパスフィルタ特性制御部１０
４は、フォルマント周波数検出部１０３により検出され
た第３フォルマントの周波数に基づいて、バンドパスフ
ィルタの通過帯域制御を行う。

【００１４】これにより、バンドパスフィルタ部１０６
は、バンドパスフィルタ特性制御部１０４の制御下で、
ホワイトノイズ発生部１０５により出力されたホワイト
ノイズ信号のうち、第３フォルマントに対応する所定の
周波数帯域の周波数を有するホワイトノイズ信号のみを
元気息性ノイズ信号として通過させ、アンプ部１０９に
出力する。一方、気息性雑音レベル制御部１０８は、ア
ンプ・エンベロープ検出部１０７が検出した元変換音声
信号の周波数−アンプ軸上におけるアンプの大きさに基
づいて元気息性ノイズ信号の信号レベルを制御する信号
レベル制御信号をアンプ部１０９に出力する。

【００１５】アンプ部１０９は、信号レベル制御信号に
基づいて元気息性ノイズ信号の信号レベルを変化させ、
気息性ノイズ信号としてミキサ部１１０に出力し、ミキ
サ部１１０は、元変換音声信号に気息性ノイズ信号を加
算して変換音声信号としてスピーカ部１１１に出力す
る。そしてスピーカ部１１１は、変換音声信号に基づい
て電気／音響変換を行い音響信号として出力することと
なる。

【００１６】［１．３］ まとめ これらの処理において、得られる変換音声信号信号によ
れば、再生される音響信号（音声）は、元歌唱者の歌声
（男声）が、あたかも、女性歌唱者が歌った自然な女性
の歌声のようになる。

【００１７】［２］ 実施形態の詳細構成 図１及び図２に、実施形態の詳細構成図を示す。なお、
本実施形態は、本発明による音声変換装置（音声変換方
法）をカラオケ装置に適用し、より自然な音声変換を行
うことができるカラオケ装置として構成した場合の例で
ある。図１において、マイク１は、元歌唱者（me）の声
を収集し、入力音声信号Ｓｖとして入力音声信号切出部
３に出力する。これと並行して、分析窓生成部２は、前
回のフレームで検出したピッチの周期の固定倍（例え
ば、３．５倍など）の周期を有する分析窓（例えば、ハ
ミング窓）ＡＷを生成し、入力音声信号切出部３に出力
する。なお、初期状態あるいは前回のフレームが無声音
（含む無音）の場合には、予め設定した固定周期の分析
窓を分析窓ＡＷとして入力音声信号切出部３に出力す
る。

【００１８】これらにより入力音声信号切出部３は、入
力された分析窓ＡＷと入力音声信号Ｓvとを掛け合わ
せ、入力音声信号Ｓvをフレーム単位で切り出し、フレ
ーム音声信号ＦＳvとして高速フーリエ変換部４に出力
される。より具体的には、入力音声信号Ｓｖとフレーム
との関係は、図３に示すようになっており、各フレーム
ＦＬは、前のフレームＦＬと一部重なるように設定され
ている。そして、高速フーリエ変換部４においてフレー
ム音声信号ＦＳvは、解析処理されるとともに、図４に
示すように、高速フーリエ変換部４の出力である周波数
スペクトルからピーク検出部５によりローカルピークが
検出される。

【００１９】より具体的には、図４に示すような周波数
スペクトルに対して、×印を付けたローカルピークを検
出する。このローカルピークは、周波数値とアンプ（振
幅）値の組み合わせとして表される。すなわち、図４に
示すように、（Ｆ０、Ａ０）、（Ｆ１、A１）、（Ｆ
２、Ａ２）、……、（ＦＮ、ＡＮ）というように各フレ
ームについてローカルピークが検出され、表されること
となる。そして、図３に模式的に示すように、各フレー
ム毎に一組（以下、ローカルピーク組という。）として
無声／有声検出部６及びピーク連携部８に出力される。
無声／有声検出部６は、入力されたフレーム毎のローカ
ルピークに基づいて、高周波成分の大きさに応じて無声
であることを検出（‘ｔ’、‘ｋ’等）し、無声／有声
検出信号Ｕ／Ｖmeをピッチ検出部７、イージーシンクロ
ナイゼーション処理部２２及びクロスフェーダ部３０に
出力する。あるいは、時間軸上で単位時間あたりの零ク
ロス数に応じて無声であることを検出（‘ｓ’等）し、
元無声／有声検出信号Ｕ／Ｖmeをピッチ検出部７、イー
ジーシンクロナイゼーション処理部２２及びクロスフェ
ーダ部３０に出力する。

【００２０】さらに無声／有声検出部６は、入力された
フレームが無声であると検出されなかった場合には、入
力されたローカルピーク組をそのまま、ピッチ検出部７
に出力する。ピッチ検出部７は、入力されたローカルピ
ーク組に基づいて、当該ローカルピーク組が対応するフ
レームのピッチＰmeを検出する。より具体的なフレーム
のピッチＰmeの検出方法としては、例えば、Maher,R.C.
andJ.W.Beauchamp:"Fundamental Frequency Estimation
of Musical Signal using a two-way Mismatch Proced
ure"（Journal of Acounstical Society of America95
(4):2254-2263）に開示されているような方法で行う。

【００２１】次に、ピーク検出部５から出力されたロー
カルピーク組は、ピーク連携部８において、前後のフレ
ームについて連携が判断され、連携すると認められるロ
ーカルピークについては、一連のデータ列となるように
ローカルピークをつなげる連携処理がなされる。ここ
で、この連携処理について、図５を参照して説明する。
今、図５（Ａ）に示すようなローカルピークが前回のフ
レームにおいて検出され、図５（Ｂ）に示すようなロー
カルピークが今回のフレームにおいて検出されたとす
る。

【００２２】この場合、ピーク連携部８は、前回のフレ
ームで検出された各ローカルピーク（Ｆ０、Ａ０）、
（Ｆ１、A１）、（Ｆ２、Ａ２）、……、（ＦＮ、Ａ
Ｎ）に対応するローカルピークが今回のフレームでも検
出されたか否かを調べる。対応するローカルピークがあ
るか否かの判断は、前回のフレームで検出されたローカ
ルピークの周波数を中心にした所定範囲内に今回のフレ
ームのローカルピークが検出されるか否かによって行わ
れる。より具体的には、図５の例では、ローカルピーク
（Ｆ０、Ａ０）、（Ｆ１、A１）、（Ｆ２、Ａ２）……
については、対応するローカルピークが検出されている
が、ローカルピーク（ＦＫ、ＡＫ）については（図５
（Ａ）参照）、対応するローカルピーク（図５（Ｂ）参
照）は検出されていない。

【００２３】ピーク連携部８は、対応するローカルピー
クを検出した場合は、それらを時系列順に繋げて一組の
データ列として出力する。なお、対応するローカルピー
クが検出されない場合は、当該フレームについての対応
ローカルピークは無しということを示すデータに置き換
える。ここで、図６は、複数のフレームにわたるローカ
ルピークの周波数Ｆ０及び周波数Ｆ１の変化の一例を示
している。このような変化は、アンプ（振幅）Ａ０、Ａ
１、Ａ２、……についても同様に認められる。この場
合、ピーク連携部８から出力されるデータ列は、フレー
ムの間隔おきに出力される離散的な値である。

【００２４】なお、ピーク連携部８から出力されるピー
ク値を、以後において、確定成分という。これは、元の
信号（すなわち、音声信号Ｓｖ）のうち正弦波の要素と
して確定的に置き換えられる成分という意味である。ま
た、置き換えられた各正弦波（厳密には、正弦波のパラ
メータである周波数及びアンプ（振幅））の各々につい
ては、正弦波成分と呼ぶことにする。

【００２５】次に、補間合成部９は、ピーク連携部８か
ら出力される確定成分について補間処理を行い、補間後
の確定成分に基づいていわゆるオシレータ方式で波形合
成を行う。この場合の補間の間隔は、後述する出力部３
４が出力する最終出力信号のサンプリングレート（例え
ば、４４．１ＫＨｚ）に対応した間隔で行われる。前述
した図６に示す実線は、正弦波成分の周波数Ｆ０、Ｆ１
について補間処理が行われた場合のイメージを示してい
る。

【００２６】［２．１］ 補間合成部の構成 ここで、補間合成部９の構成を図８に示す。補間合成部
９は、複数の部分波形発生部９ａを備えて構成されてお
り、各部分波形発生部９ａは、指定された正弦波成分の
周波数（Ｆ０、Ｆ１、…）およびアンプ（振幅）に応じ
た正弦波を発生する。ただし、本第１実施形態における
正弦波成分（Ｆ０、Ａ０）、（Ｆ１、Ａ１）、（Ｆ２、
Ａ２）、……は、各々補間の間隔に従って時事刻々変化
していくものであるから、各部分波形発生部９ａから出
力される波形は、その変化に従った波形になる。すなわ
ち、ピーク連携部８からは正弦波成分（Ｆ０、Ａ０）、
（Ｆ１、Ａ１）、（Ｆ２、Ａ２）、……が順次出力さ
れ、各正弦波成分の各々について補間処理が行われるか
ら、各部分波形発生部９ａは、所定の周波数領域内で周
波数と振幅が変動する波形を出力する。そして、各部分
波形発生部９ａから出力された波形は、加算部９ｂにお
いて加算合成される。したがって、補間合成部９の出力
信号は、入力音声信号Ｓｖから確定成分を抽出した正弦
波成分合成信号ＳSSになる。

【００２７】［２．２］ 残差成分検出部の動作 次に、残差成分検出部１０は、補間合成部９から出力さ
れた正弦波成分合成信号ＳSSと入力音声信号Ｓｖとの偏
差である残差成分信号ＳRD（時間波形）を生成する。こ
の残差成分信号ＳRDは、音声に含まれる無声成分を多く
含む。一方、前述の正弦波成分合成信号ＳSSは有声成分
に対応するものである。ところで、目標（Target）とな
る歌唱者の声に似せるには、有声音についてだけ処理を
行えば、無声音については処理を施す必要はあまりな
い。そこで、本実施形態においては、有声成分に対応す
る確定成分について音声変換処理を行うようにしてい
る。より具体的には、残差成分信号ＳRDについては、高
速フーリエ変換部１１で、周波数波形に変換し、得られ
た残差成分信号（周波数波形）をＲme(f)として残差成
分保持部１２に保持しておく。

【００２８】［２．３］ 平均アンプ演算部の動作 一方、図７（Ａ）に示すように、ピーク検出部５からピ
ーク連携部８を介して出力された正弦波成分（Ｆ０、Ａ
０）、（Ｆ１、Ａ１）、（Ｆ２、Ａ２）、……、（Ｆ(N
-1)、Ａ(N-1)）のＮ個の正弦波成分（以下、これらをま
とめてＦｎ、Ａｎと表記する。ｎ＝０〜（Ｎ−１）。）
は、正弦波成分保持部１３に保持されるとともに、アン
プＡｎは平均アンプ演算部１４に入力され、各フレーム
毎に次式により平均アンプＡmeが算出される。 Ａme＝Σ（Ａｎ）／Ｎ

【００２９】［２．４］ アンプ正規化部の動作 次にアンプ正規化部１５において、次式により各アンプ
Ａｎを平均アンプＡmeで正規化し、正規化アンプＡ’ｎ
を求める。 Ａ’ｎ＝Ａｎ／Ａme ［２．５］ スペクトラル・シェイプ演算部の動作 そして、スペクトラル・シェイプ演算部１６において、
図８（Ｂ）に示すように、周波数Ｆｎ及び正規化アンプ
Ａ’ｎにより得られる正弦波成分（Ｆｎ、Ａ’ｎ）をブ
レークポイントとするエンベロープ（包絡線）をスペク
トラル・シェイプＳme(f)として生成する。この場合に
おいて、二つのブレークポイント間の周波数におけるア
ンプの値は、当該二つのブレークポイントを、例えば、
直線補間することにより算出する。なお、補間の方法は
直線補間に限られるものではない。

【００３０】［２．６］ ピッチ正規化部の動作 続いてピッチ正規化部１７においては、各周波数Ｆｎを
ピッチ検出部７において検出したピッチＰmeで正規化
し、正規化周波数Ｆ’ｎを求める。 Ｆ’ｎ＝Ｆｎ／Ｐme これらの結果、元フレーム情報保持部１８は、入力音声
信号Ｓvに含まれる正弦波成分に対応する元属性データ
である平均アンプＡme、ピッチＰme、スペクトラル・シ
ェイプＳme(f)、正規化周波数Ｆ’ｎを保持することと
なる。なお、この場合において、正規化周波数Ｆ’ｎ
は、倍音列の周波数の相対値を表しており、もし、フレ
ームの倍音構造を完全倍音構造であるとして取り扱うな
らば、保持する必要はない。

【００３１】この場合において、男声／女声変換を行お
うとしている場合には、この段階において、男声→女声
変換を行う場合には、ピッチをオクターブ上げ、女声→
男声変換を行う場合にはピッチをオクターブ下げる男声
／女声ピッチ制御処理を行うようにするのが好ましい。
つづいて、元フレーム情報保持部１８に保持している元
属性データのうち、平均アンプＡmeおよびピッチＰmeに
ついては、さらに静的変化／ビブラート的変化分離部１
９により、フィルタリング処理などを行って、静的変化
成分とビブラート変化的成分とに分離して保持する。な
お、さらにビブラート変化的成分からより高周波変化成
分であるジッタ変化的成分を分離するように構成するこ
とも可能である。

【００３２】より具体的には、平均アンプＡmeを平均ア
ンプ静的成分Ａme-sta及び平均アンプビブラート的成分
Ａme-vibとに分離して保持する。また、ピッチＰmeをピ
ッチ静的成分Ｐme-sta及びピッチビブラート的成分Ｐme
-vibとに分離して保持する。これらの結果、対応するフ
レームの元フレーム情報データＩＮＦmeは、図８（Ｃ）
に示すように、入力音声信号Ｓvの正弦波成分に対応す
る元属性データである平均アンプ静的成分Ａme-sta、平
均アンプビブラート的成分Ａme-vib、ピッチ静的成分Ｐ
me-sta、ピッチビブラート的成分Ｐme-vib、スペクトラ
ル・シェイプＳme(f)、正規化周波数Ｆ’ｎ及び残差成
分Ｒme（ｆ）の形で保持されることとなる。

【００３３】一方、ものまねの対象（target）となる歌
唱者に対応するターゲット属性データから構成されるタ
ーゲットフレーム情報データＩＮＦtarは、予め分析さ
れてターゲットフレーム情報保持部２０を構成するハー
ドディスクなどに予め保持されている。この場合におい
て、ターゲットフレーム情報データＩＮＦtarのうち、
正弦波成分に対応するターゲット属性データとしては、
平均アンプ静的成分Ａtar-sta、平均アンプビブラート
的成分Ａtar-vib、ピッチ静的成分Ｐtar-sta、ピッチビ
ブラート的成分Ｐtar-vib、スペクトラル・シェイプＳt
ar(f)がある。また、ターゲットフレーム情報データＩ
ＮＦtarのうち、残差成分に対応するターゲット属性デ
ータとしては、残差成分Ｒtar(f)がある。

【００３４】［２．７］ キーコントロール／テンポチ
ェンジ部の動作 次にキーコントロール／テンポチェンジ部２１は、シー
ケンサ３１からの同期信号ＳSYNCに基づいて、ターゲッ
トフレーム情報保持部２０から同期信号ＳSYNCに対応す
るフレームのターゲットフレーム情報ＩＮＦtarの読出
処理及び読み出したターゲットフレーム情報データＩＮ
Ｆtarを構成するターゲット属性データの補正処理を行
うとともに、読み出したターゲットフレーム情報ＩＮＦ
tarおよび当該フレームが無声であるか有声であるかを
表すターゲット無声／有声検出信号Ｕ／Ｖtarを出力す
る。より具体的には、キーコントロール／テンポチェン
ジ部２１の図示しないキーコントロールユニットは、カ
ラオケ装置のキーを基準より上げ下げした場合、ターゲ
ット属性データであるピッチ静的成分Ｐtar-sta及びピ
ッチビブラート的成分Ｐtar-vibについても、同じだけ
上げ下げする補正処理を行う。例えば、５０［cent］だ
けキーを上げた場合には、ピッチ静的成分Ｐtar-sta及
びピッチビブラート的成分Ｐtar-vibについても５０［c
ent］だけ上げなければならない。

【００３５】また、キーコントロール／テンポチェンジ
部２１の図示しないテンポチェンジユニットは、カラオ
ケ装置のテンポを上げ下げした場合には、変更後のテン
ポに相当するタイミングで、ターゲットフレーム情報デ
ータＩＮＦtarの読み出し処理を行う必要がある。この
場合において、必要なフレームに対応するタイミングに
相当するターゲットフレーム情報データＩＮＦtarが存
在しない場合には、当該必要なフレームのタイミングの
前後のタイミングに存在する二つのフレームのターゲッ
トフレーム情報データＩＮＦtarを読み出し、これら二
つのターゲットフレーム情報データＩＮＦtarにより補
間処理を行い、当該必要なタイミングにおけるフレーム
のターゲットフレーム情報データＩＮＦtar、ひいて
は、ターゲット属性データを生成する。この場合におい
て、ビブラート的成分（平均アンプビブラート的成分Ａ
tar-vib及びピッチビブラート的成分Ｐtar-vib）に関し
ては、そのままでは、ビブラートの周期自体が変化して
しまい、不適当であるので、周期が変動しないような補
間処理を行う必要がある。又は、ターゲット属性データ
として、ビブラートの軌跡そのものを表すデータではな
く、ビブラート周期及びビブラート深さのパラメータを
保持し、実際の軌跡を演算により求めるようにすれば、
この不具合を回避することができる。

【００３６】［２．８］ イージーシンクロナイゼーシ
ョン処理部の動作 次にイージーシンクロナイゼーション処理部２２は、も
のまねをしようとする歌唱者のフレーム（以下、元フレ
ームという。）に元フレーム情報データＩＮＦmeが存在
するにもかかわらず、対応するものまねの対象となる歌
唱者のフレーム（以下、ターゲットフレームという。）
にターゲットフレーム情報データＩＮＦtarが存在しな
い場合には、当該ターゲットフレームの前後方向に存在
するフレームのターゲットフレーム情報データＩＮＦta
rを当該ターゲットフレームのターゲットフレーム情報
データＩＮＦtarとするイージーシンクロナイゼーショ
ン処理を行う。

【００３７】そして、イージーシンクロナイゼーション
処理部２２は、後述する置換済ターゲットフレーム情報
データＩＮＦtar-syncに含まれるターゲット属性データ
のうち正弦波成分に関するターゲット属性データ（平均
アンプ静的成分Ａtar-sync-sta、平均アンプビブラート
的成分Ａtar-sync-vib、ピッチ静的成分Ｐtar-sync-st
a、ピッチビブラート的成分Ｐtar-sync-vib及びスペク
トラル・シェイプＳtar-sync(f)）を変形スペクトラル
・シェイプ生成部２３に出力する。また、イージーシン
クロナイゼーション処理部２２は、後述する置換済ター
ゲットフレーム情報データＩＮＦtar-syncに含まれるタ
ーゲット属性データのうち残差成分に関するターゲット
属性データ（残差成分Ｒtar-sync(f)）を残差成分選択
部２５に出力する。

【００３８】このイージーシンクロナイゼーション部２
２における処理においても、ビブラート的成分（平均ア
ンプビブラート的成分Ａtar-vib及びピッチビブラート
的成分Ｐtar-vib）に関しては、そのままでは、ビブラ
ートの周期自体が変化してしまい、不適当であるので、
周期が変動しないような補間処理を行う必要がある。又
は、ターゲット属性データとして、ビブラートの軌跡そ
のものを表すデータではなく、ビブラート周期及びビブ
ラート深さのパラメータを保持し、実際の軌跡を演算に
より求めるようにすれば、この不具合を回避することが
できる。

【００３９】［２．８．１］ イージーシンクロナイゼ
ーション処理の詳細 ここで、図９及び図１０を参照してイージーシンクロナ
イゼーション処理について詳細に説明する。図９は、イ
ージーシンクロナイゼーション処理のタイミングチャー
トであり、図１０はイージーシンクロナイゼーション処
理フローチャートである。まず、イージーシンクロナイ
ゼーション部２２は、シンクロナイゼーション処理の処
理方法を表すシンクロナイゼーションモード＝“０”と
する（ステップＳ１１）。このシンクロナイゼーション
モード＝“０”は、元フレームに対応するターゲットフ
レームにターゲットフレーム情報データＩＮＦtarが存
在する通常処理の場合に相当する。そしてあるタイミン
グｔにおける元無声／有声検出信号Ｕ／Ｖme(t)が無声
（Ｕ）から有声（Ｖ）に変化したか否かを判別する（ス
テップＳ１２）。

【００４０】例えば、図９に示すように、タイミングｔ
＝ｔ1においては、元無声／有声検出信号Ｕ／Ｖme(t)が
無声（Ｕ）から有声（Ｖ）に変化している。ステップＳ
１２の判別において、元無声／有声検出信号Ｕ／Ｖme
(t)が無声（Ｕ）から有声（Ｖ）に変化している場合に
は（ステップＳ１２；Ｙｅｓ）、タイミングｔの前回の
タイミングｔ-1における元無声／有声検出信号Ｕ／Ｖme
(t-1)が無声（Ｕ）かつターゲット無声／有声検出信号
Ｕ／Ｖtar(t-1)が無声（Ｕ）であるか否かを判別する
（ステップＳ１８）。例えば、図９に示すように、タイ
ミングｔ＝ｔ0（＝ｔ1-1）においては、元無声／有声検
出信号Ｕ／Ｖme(t-1)が無声（Ｕ）かつターゲット無声
／有声検出信号Ｕ／Ｖtar(t-1)が無声（Ｕ）となってい
る。ステップＳ１８の判別において、元無声／有声検出
信号Ｕ／Ｖme(t-1)が無声（Ｕ）かつターゲット無声／
有声検出信号Ｕ／Ｖtar(t-1)が無声（Ｕ）となっている
場合には（ステップＳ１８；Ｙｅｓ）、当該ターゲット
フレームには、ターゲットフレーム情報データＩＮＦta
rが存在しないので、シンクロナイゼーションモード＝
“１”とし、置換用のターゲットフレーム情報データＩ
ＮＦholdを当該ターゲットフレームの後方向（Backwar
d）に存在するフレームのターゲットフレーム情報とす
る。

【００４１】例えば、図９に示すように、タイミングｔ
＝ｔ1〜ｔ2のターゲットフレームには、ターゲットフレ
ーム情報データＩＮＦtarが存在しないので、シンクロ
ナイゼーションモード＝“１”とし、置換用ターゲット
フレーム情報データＩＮＦholdを当該ターゲットフレー
ムの後方向に存在するフレーム（すなわち、タイミング
ｔ＝ｔ2〜ｔ3に存在するフレーム）のターゲットフレー
ム情報データbackwardとする。そして、処理をステップ
Ｓ１５に移行し、シンクロナイゼーションモード＝
“０”であるか否かを判別する（ステップＳ１５）。ス
テップＳ１５の判別において、シンクロナイゼーション
モード＝“０”である場合には、タイミングｔにおける
元フレームに対応するターゲットフレームにターゲット
フレーム情報データＩＮＦtar(t)が存在する場合、すな
わち、通常処理であるので、置換済ターゲットフレーム
情報データＩＮＦtar-syncをターゲットフレーム情報デ
ータＩＮＦtar(t)とする。 ＩＮＦtar-sync＝ＩＮＦtar(t)

【００４２】例えば、図９に示すようにタイミングｔ＝
ｔ2〜ｔ3のターゲットフレームには、ターゲットフレー
ム情報データＩＮＦtarが存在するので、 ＩＮＦtar-sync＝ＩＮＦtar(t) とする。この場合において、以降の処理に用いられる置
換済ターゲットフレーム情報データＩＮＦtar-syncに含
まれるターゲット属性データ（平均アンプ静的成分Ａta
r-sync-sta、平均アンプビブラート的成分Ａtar-sync-v
ib、ピッチ静的成分Ｐtar-sync-sta、ピッチビブラート
的成分Ｐtar-sync-vib、スペクトラル・シェイプＳtar-
sync(f)及び残差成分Ｒtar-sync(f)）は実質的には、以
下の内容となる（ステップＳ１６）。 Ａtar-sync-sta＝Ａtar-sta Ａtar-sync-vib＝Ａtar-vib Ｐtar-sync-sta＝Ｐtar-sta Ｐtar-sync-vib＝Ｐtar-vib Ｓtar-sync(f)＝Ｓtar(f) Ｒtar-sync(f)＝Ｒtar(f)

【００４３】ステップＳ１５の判別において、シンクロ
ナイゼーションモード＝“１”である場合には、タイミ
ングｔにおける元フレームに対応するターゲットフレー
ムにターゲットフレーム情報データＩＮＦtar(t)が存在
しない場合であるので、置換済ターゲットフレーム情報
データＩＮＦtar-syncを置換用ターゲットフレーム情報
データＩＮＦholdとする。 ＩＮＦtar-sync＝ＩＮＦhold 例えば、図９に示すように、タイミングｔ＝ｔ1〜ｔ2の
ターゲットフレームには、ターゲットフレーム情報デー
タＩＮＦtarが存在せず、シンクロナイゼーションモー
ド＝“１”となるが、タイミングｔ＝ｔ2〜ｔ3のターゲ
ットフレームには、ターゲットフレーム情報データＩＮ
Ｆtarが存在するので、置換済ターゲットフレーム情報
データＩＮＦtar-syncをタイミングｔ＝ｔ2〜ｔ3のター
ゲットフレームのターゲットフレーム情報データである
置換用ターゲットフレーム情報データＩＮＦholdとする
処理Ｐ１を行い、以降の処理に用いられる置換済ターゲ
ットフレーム情報データＩＮＦtar-syncに含まれるター
ゲット属性データは、平均アンプ静的成分Ａtar-sync-s
ta、平均アンプビブラート的成分Ａtar-sync-vib、ピッ
チ静的成分Ｐtar-sync-sta、ピッチビブラート的成分Ｐ
tar-sync-vib、スペクトラル・シェイプＳtar-sync(f)
及び残差成分Ｒtar-sync(f)となる（ステップＳ１
６）。

【００４４】また、図９に示すように、タイミングｔ＝
ｔ3〜ｔ4のターゲットフレームには、ターゲットフレー
ム情報データＩＮＦtarが存在せず、シンクロナイゼー
ションモード＝“２”となるが、タイミングｔ＝ｔ2〜
ｔ3のターゲットフレームには、ターゲットフレーム情
報データＩＮＦtarが存在するので、置換済ターゲット
フレーム情報データＩＮＦtar-syncをタイミングｔ＝ｔ
2〜ｔ3のターゲットフレームのターゲットフレーム情報
データである置換用ターゲットフレーム情報データＩＮ
Ｆholdとする処理Ｐ２を行い、以降の処理に用いられる
置換済ターゲットフレーム情報データＩＮＦtar-syncに
含まれるターゲット属性データは、平均アンプ静的成分
Ａtar-sync-sta、平均アンプビブラート的成分Ａtar-sy
nc-vib、ピッチ静的成分Ｐtar-sync-sta、ピッチビブラ
ート的成分Ｐtar-sync-vib、スペクトラル・シェイプＳ
tar-sync(f)及び残差成分Ｒtar-sync(f)となる（ステッ
プＳ１６）。ステップＳ１２の判別において、元無声／
有声検出信号Ｕ／Ｖme(t)が無声（Ｕ）から有声（Ｖ）
に変化していない場合には（ステップＳ１２；Ｎｏ）、
ターゲット無声／有声検出信号Ｕ／Ｖtar(t)が有声
（Ｖ）から無声（Ｕ）に変化しているか否かを判別する
（ステップＳ１３）。

【００４５】ステップＳ１３の判別において、ターゲッ
ト無声／有声検出信号Ｕ／Ｖtar(t)が有声（Ｖ）から無
声（Ｕ）に変化している場合には（ステップＳ１３；Ｙ
ｅｓ）、タイミングｔの前回のタイミングｔ-1における
元無声／有声検出信号Ｕ／Ｖme(t-1)が有声（Ｖ）かつ
ターゲット無声／有声検出信号Ｕ／Ｖtar(t-1)が有声
（Ｖ）であるか否かを判別する（ステップＳ１９）。例
えば、図９に示すように、タイミングｔ3においてター
ゲット無声／有声検出信号Ｕ／Ｖtar(t)が有声（Ｖ）か
ら無声（Ｕ）に変化し、タイミングｔ-1＝ｔ2〜ｔ3にお
いては、元無声／有声検出信号Ｕ／Ｖme(t-1)が有声
（Ｖ）かつターゲット無声／有声検出信号Ｕ／Ｖtar(t-
1)が有声（Ｖ）となっている。

【００４６】ステップＳ１９の判別において、元無声／
有声検出信号Ｕ／Ｖme(t-1)が有声（Ｖ）かつターゲッ
ト無声／有声検出信号Ｕ／Ｖtar(t-1)が有声（Ｖ）とな
っている場合には（ステップＳ１９；Ｙｅｓ）、当該タ
ーゲットフレームには、ターゲットフレーム情報データ
ＩＮＦtarが存在しないので、シンクロナイゼーション
モード＝“２”とし、置換用のターゲットフレーム情報
データＩＮＦholdを当該ターゲットフレームの前方向
（forward）に存在するフレームのターゲットフレーム
情報とする。例えば、図９に示すように、タイミングｔ
＝ｔ3〜ｔ4のターゲットフレームには、ターゲットフレ
ーム情報データＩＮＦtarが存在しないので、シンクロ
ナイゼーションモード＝“２”とし、置換用ターゲット
フレーム情報データＩＮＦholdを当該ターゲットフレー
ムの前方向に存在するフレーム（すなわち、タイミング
ｔ＝ｔ2〜ｔ3に存在するフレーム）のターゲットフレー
ム情報データforwardとする。

【００４７】そして、処理をステップＳ１５に移行し、
シンクロナイゼーションモード＝“０”であるか否かを
判別して（ステップＳ１５）、以下、同様の処理を行
う。ステップＳ１３の判別において、ターゲット無声／
有声検出信号Ｕ／Ｖtar(t)が有声（Ｖ）から無声（Ｕ）
に変化していない場合には（ステップＳ１３；Ｎｏ）、
タイミングｔにおける元無声／有声検出信号Ｕ／Ｖme
(t)が有声（Ｖ）から無声（Ｕ）に変化し、あるいは、
ターゲット無声／有声検出信号Ｕ／Ｖtar(t)が無声
（Ｕ）から有声（Ｖ）に変化しているか否かを判別する
（ステップＳ１４）。

【００４８】ステップＳ１４の判別において、タイミン
グｔにおける元無声／有声検出信号Ｕ／Ｖme(t)が有声
（Ｖ）から無声（Ｕ）に変化し、あるいは、ターゲット
無声／有声検出信号Ｕ／Ｖtar(t)が無声（Ｕ）から有声
（Ｖ）に変化している場合には（ステップＳ１４；Ｙｅ
ｓ）、シンクロナイゼーションモード＝“０”とし、置
換用ターゲットフレーム情報データＩＮＦholdを初期化
（clear）し、処理をステップＳ１５に移行して、以
下、同様の処理を行う。ステップＳ１４の判別におい
て、タイミングｔにおける元無声／有声検出信号Ｕ／Ｖ
me(t)が有声（Ｖ）から無声（Ｕ）に変化せず、かつ、
ターゲット無声／有声検出信号Ｕ／Ｖtar(t)が無声
（Ｕ）から有声（Ｖ）に変化していない場合には（ステ
ップＳ１４；Ｎｏ）、そのまま処理をステップＳ１５に
移行し、以下同様の処理を行う。

【００４９】［２．９］ 変形スペクトラルシェイプ生
成部の動作 続いて、変形スペクトラルシェイプ生成部２３は、静的
変化／ビブラート的変化分離部１９から入力された入力
音声信号Ｓvの正弦波成分に対応する元属性データであ
る平均アンプ静的成分Ａme-sta、平均アンプビブラート
的成分Ａme-vib、ピッチ静的成分Ｐme-sta、ピッチビブ
ラート的成分Ｐme-vib、スペクトラル・シェイプＳme
(f)、正規化周波数Ｆ’ｎ、イージーシンクロナイゼー
ション部２２から入力された置換済ターゲットフレーム
情報データＩＮＦtar-syncに含まれるターゲット属性デ
ータのうち正弦波成分に関するターゲット属性データ
（平均アンプ静的成分Ａtar-sync-sta、平均アンプビブ
ラート的成分Ａtar-sync-vib、ピッチ静的成分Ｐtar-sy
nc-sta、ピッチビブラート的成分Ｐtar-sync-vib及びス
ペクトラル・シェイプＳtar-sync(f)）及びコントロー
ラ２９から入力される変形スペクトラル・シェイプ生成
情報に基づいて、新しいスペクトラル・シェイプである
変形スペクトラル・シェイプＳnew(f)を生成する。

【００５０】変形スペクトラルシェイプの生成は、元歌
唱者に対応するスペクトラル・シェイプ（あるいは、タ
ーゲット歌唱者に対応するターゲットスペクトラル・シ
ェイプ）を周波数軸方向に定数α（０＜α≦２）でシフ
トすることにより行う。ここで、より具体的に、変形ス
ペクトラルシェイプＳnew(f)の生成について説明する。

【００５１】［２．９．１］ 変形スペクトラルシェイ
プＳnew(f)の具体的生成方法 図１１にターゲット歌唱者である女性のスペクトラル・
シェイプを示す。図１１に示すように、ターゲット歌唱
者の正弦波成分に含まれる周波数成分は、ｆf0〜ｆfnで
表されている。図１２に元歌唱者である男性のスペクト
ラル・シェイプを示す。図１２に示すように、元歌唱者
の正弦波成分に含まれる周波数成分は、ｆm0〜ｆmnで表
されている。また、各周波数成分ｆm0〜ｆmnに対応する
アンプは、Ａfm0〜Ａfmnで表されている。

【００５２】この場合において、元歌唱者のアンプＡ
（ｆm）＝Ａfm0、Ａfm1、…、Ａfmnは元のままで、周波
数成分ｆm0〜ｆmnのみをα倍（１≦α≦２）して、すな
わち、αの値に相当するだけスペクトラル・シェイプを
周波数軸に沿って高域側にシフトすることにより変形ス
ペクトラル・シェイプＳnew(f)を生成する。すなわち、
変形スペクトラル・シェイプに対応する周波数成分をｆ
h0〜ｆhnと表すとすると、 ｆh0＝α・ｆm0 ｆh1＝α・ｆm1 ｆh2＝α・ｆm2 …… ｆhn＝α・ｆmn とし、図１３及び以下に示す変形正弦波成分群（＝周波
数成分及びアンプで表される正弦波成分の一群）により
特定される変形スペクトラルシェイプＳnew(f)を得る。 （ｆh0、Ａfm0） （ｆh1、Ａfm1） （ｆh2、Ａfm2） …… （ｆh0、Ａfm0）

【００５３】ところで、一般的にアンプ成分が大きい場
合には、高域まで伸びた抜けの良い音となり、アンプ成
分が小さい場合には、逆にこもった音になる。そこで、
新規スペクトラル・シェイプＳnew(f)に関しては、この
ような状態をシミュレートすべく、図１５に示すよう
に、スペクトラル・シェイプの高域成分、すなわち、高
域成分部分のスペクトラル・シェイプの傾きを新規アン
プ成分Ａnewの大きさに応じて補償するスペクトラルチ
ルト補償（spectral tilt correction）を行って、コン
トロールすることにより、よりリアルな音声を再生する
ことができる。続いて、生成された変形スペクトラル・
シェイプＳnew(f)について、必要に応じてコントローラ
２９から入力される変形スペクトラル・シェイプ加工情
報に基づいて、変形スペクトラル・シェイプ加工部２４
によりさらなる波形の加工を行う。例えば、変形スペク
トラル・シェイプＳnew(f)を全体的に間延びさせる等の
波形加工を行う。そして、変形スペクトラル・シェイプ
加工部２４は得られた変形スペクトラル・シェイプＳne
w(f)に基づいて第３フォルマントを検出する。

【００５４】［２．１０］ 第３フォルマントＦＴ3の
検出 次に、第３フォルマントＦＴ3の検出方法を、隣り合う
二つの正弦波成分に対応する正規化アンプＡ’ｆK、
Ａ’ｆK-1の差ΔＡ’（ｆK−ｆK-1）の変化に基づいて
行う場合について説明する。変形スペクトラル・シェイ
プの第３フォルマントＦＴ3近傍及び第２フォルマント
ＦＴ2終端部分の状態を図１６に示す。第３フォルマン
トＦＴ3の周波数の範囲は、通常１．５［ｋＨｚ］以上
４［ｋＨｚ］以下であるため、 ｆK≒１．５［ｋＨｚ］ を満たすＫを定め、その値をＫＳとする。また、 ｆK≒４［ｋＨｚ］ を満たすＫを定め、その値をＫＥとする。

【００５５】次に、ｆK（K＝KS、…、KE）のKの値を増
加させる。そして、ΔＡ’（ｆK−ｆK-1）の値を観察
し、 ΔＡ’（ｆK−ｆK-1）＜０ の状態から ΔＡ’（ｆK−ｆK-1）≧０ に変化したときのKの値をｐとする。これをＫ＝ＫＥま
で繰り返し行って、第３フォルマントＦＴ3の平均周波
数に最も近い周波数ｆpを第３フォルマントＦＴ3とする
ことで検出することができる。なお、第３フォルマント
ＦＴ3の検出は、上記方法に限られるものではなく、例
えば、線形予測法を利用して求めることも可能である。
そして、この検出した第３フォルマントＦＴ3は、バン
ドパスフィルタ特性制御部４２に出力される。また、こ
の第３フォルマントＦＴ3の出力と並行して、第３フォ
ルマントＦＴ3の周波数におけるアンプＡFT3が検出さ
れ、レベル制御部４３に出力される。

【００５６】［２．１１］ 残差成分選択部の動作 一方、残差成分選択部２５は、イージーシンクロナイゼ
ーション部２２から入力された置換済ターゲットフレー
ム情報データＩＮＦtar-syncに含まれるターゲット属性
データのうち残差成分に関するターゲット属性データ
（残差成分Ｒtar-sync(f)）、残差成分保持部１２に保
持されている残差成分信号（周波数波形）Ｒme(f)及び
コントローラ２９から入力される残差成分属性データ選
択情報に基づいて新しい残差成分属性データである新規
残差成分Ｒnew(f)を生成する。すなわち、新規残差成分
Ｒnew(f)については、次式により生成する。 Ｒnew(f)＝Ｒ*(f)（ただし、*は、me又はtar-sync） この場合においては、me又はtar-syncのいずれを選択す
るかは、新規スペクトラル・シェイプＳnew(f)と同一の
ものを選択するのがより好ましい。

【００５７】さらに、新規残差成分Ｒnew(f)に関して
も、新規スペクトラル・シェイプと同様な状態をシミュ
レートすべく、図１４に示したように、残差成分の高域
成分、すなわち、高域成分部分の残差成分の傾きを新規
アンプ成分Ａnewの大きさに応じて補償するスペクトラ
ルチルト補償（spectral tilt correction）を行って、
コントロールすることにより、よりリアルな音声を再生
することができる。

【００５８】［２．１２］ 正弦波成分生成部の動作 続いて、正弦波成分生成部２６は、変形スペクトラル・
シェイプ加工部２４から出力された波形加工を伴わな
い、あるいは、波形加工を伴う変形スペクトラル・シェ
イプＳnew(f)に基づいて、当該フレームにおける新たな
正弦波成分（Ｆ”０、Ａ”０）、（Ｆ”１、Ａ”１）、
（Ｆ”２、Ａ”２）、……、（Ｆ”(N-1)、Ａ”(N-1)）
のＮ個の正弦波成分（以下、これらをまとめてＦ”ｎ、
Ａ”ｎと表記する。ｎ＝０〜（Ｎ−１）。）を求める。
より具体的には、周波数成分Ｘにおける変形スペクトラ
ル・シェイプＳnew(f)のアンプをＡ（Ｘ）と表すとする
と、各正弦波成分（Ｆ”０、Ａ”０）、（Ｆ”１、Ａ”
１）、（Ｆ”２、Ａ”２）、……、（Ｆ”(N-1)、Ａ”
(N-1)）は以下のように表すことができる。 （Ｆ”０、Ａ”０）＝（ｆf0、Ａ（ｆf0）） （Ｆ”１、Ａ”１）＝（ｆf1、Ａ（ｆf1）） （Ｆ”２、Ａ”２）＝（ｆf2、Ａ（ｆf2）） …… （Ｆ”(N-1)、Ａ”(N-1)）＝（ｆfn、Ａ（ｆfn））

【００５９】［２．１３］ 正弦波成分変形部の動作 さらに、求めた新規周波数Ｆ”ｎおよび新規アンプＡ”
ｎについて、必要に応じてコントローラ２９から入力さ
れる正弦波成分変形情報に基づいて、正弦波成分変形部
２７によりさらなる変形を行う。例えば、偶数倍音成分
の新規アンプＡ”ｎ（＝Ａ”０、Ａ”２、Ａ”４、…
…）だけを大きく（例えば、２倍する）等の変形を行
う。これによって得られる変換音声にさらにバラエティ
ーを持たせることが可能となる。

【００６０】［２．１４］ 逆高速フーリエ変換部の動
作 次に逆高速フーリエ変換部２８は、求めた新規周波数
Ｆ”ｎおよび新規アンプＡ”ｎ（＝新規正弦波成分）並
びに新規残差成分Ｒnew(f)をＦＦＴバッファに格納し、
順次逆ＦＦＴを行い、さらに得られた時間軸信号を一部
重複するようにオーバーラップ処理し、それらを加算す
る加算処理を行うことにより新しい有声音の時間軸信号
である変換音声信号を生成する。このとき、コントロー
ラ２９から入力される正弦波成分／残差成分バランス制
御信号に基づいて、正弦波成分及び残差成分の混合比率
を制御し、よりリアルな有声信号を得る。この場合にお
いて、一般的には、残差成分の混合比率を大きくすると
ざらついた声が得られる。

【００６１】この場合において、ＦＦＴバッファに新規
周波数Ｆ”ｎおよび新規アンプＡ”ｎ（＝新規正弦波成
分）並びに新規残差成分Ｒnew(f)を格納するに際し、異
なるピッチ、かつ、適当なピッチで変換された正弦波成
分をさらに加えることにより変換音声信号としてハーモ
ニーを得ることができる。さらにシーケンサ３１により
伴奏音に適合したハーモニーピッチを与えることによ
り、伴奏に適合した音楽的ハーモニーを得ることができ
る。

【００６２】［２．１５］ クロスフェーダの動作 次にクロスフェーダ３０は、元無声／有声検出信号Ｕ／
Ｖme(t)に基づいて、入力音声信号Ｓvが無声（Ｕ）であ
る場合には、入力音声信号Ｓvをそのままミキサ３３に
出力する。また、入力音声信号Ｓvが有声（Ｖ）である
場合には、逆ＦＦＴ変換部２８が出力した変換音声信号
をミキサ３３に出力する。この場合において、切替スイ
ッチとしてクロスフェーダ３０を用いているのは、クロ
スフェード動作を行わせることによりスイッチ切替時の
クリック音の発生を防止するためである。

【００６３】［２．１６］ シーケンサ及び音源部の動
作 一方、シーケンサ３１は、カラオケの伴奏音を発生する
ための音源制御情報を例えば、ＭＩＤＩ（Musical Inst
rument Digital Interface）データなどとして音源部３
２に出力する。これにより音源部３２は、音源制御情報
に基づいて伴奏信号を生成し、ミキサ３３に出力する。 ［２．１７］ バンドパスフィルタ特性制御部、ホワイ
トノイズ発生部及びバンドパスフィルタの動作 バンドパスフィルタ特性制御部４２は、変形スペクトラ
ル・シェイプ加工部２４から出力された第３フォルマン
トＦＴ3に基づいて、バンドパスフィルタ（ＢＰＦ）４
１の通過帯域を第３フォルマントＦＴ3の近傍の周波数
帯域とすべく、特性制御信号ＳBCをバンドパスフィルタ
４１に出力する。

【００６４】一方、ホワイトノイズ発生部４０は、ホワ
イトノイズ信号ＳWNを生成し、バンドパスフィルタ４１
に出力する。バンドパスフィルタ４１は、バンドパスフ
ィルタ特性制御部４２の制御下で、ホワイトノイズ信号
ＳWNのうち、第３フォルマントＦＴ3に対応する所定の
周波数帯域の周波数を有するホワイトノイズ信号ＳWNの
みを元気息性ノイズ信号ＳBWNとして通過させ、アンプ
部４４に出力する。

【００６５】［２．１８］ レベル制御部及びアンプ部
の動作 一方、レベル制御部４３は、変形スペクトラル・シェイ
プ加工部２４から出力されたアンプＡFT3に基づいて、
元気息性ノイズ信号ＳBWNの信号レベルを制御するため
の信号レベル制御信号ＳLCをアンプ部４４に出力する。
アンプ部４４は、信号レベル制御信号ＳLCに基づいて元
気息性ノイズ信号ＳBWNの信号レベルを変化させ、気息
性ノイズ信号ＳABWNとしてミキサ３３に出力することと
なる。 ［２．１９］、ミキサ及び出力部 ミキサ３３は、入力音声信号Ｓvあるいは変換音声信号
のいずれか一方、気息性ノイズ信号ＳABWN及び伴奏信号
を混合し、混合信号を出力部３４に出力する。出力部３
４は、図示しない増幅器を有し混合信号を増幅して音響
信号として出力することとなる。

【００６６】［３］ 実施形態の変形例 ［３．１］ 第１変形例 上記第１実施形態（特に図１５）においては、男性の音
声を女性の音声に変換する音声信号処理装置について説
明したが、女性の音声を合成することが可能な女声合成
装置についても適用が可能である。この場合において、
第１実施形態の場合には、第３フォルマントの周波数を
検出していたが、合成後に第３フォルマントの周波数を
検出する構成に限らず、予め第３フォルマントの周波数
を設定し、これらの情報を記憶しておくように構成する
ことも可能である。

【００６７】［３．２］ 第２変形例 上記実施形態の説明においては、元歌唱者のスペクトラ
ル・シェイプに基づいて生成した変形スペクトラル・シ
ェイプ及びターゲット歌唱者のターゲット音声信号の正
弦波成分に含まれる周波数成分に基づいて正弦波成分群
を算出し、変換音声を得る構成としていたが、ターゲッ
ト歌唱者のスペクトラル・シェイプに基づいて生成した
変形スペクトラル・シェイプ及び元歌唱者の入力音声信
号の正弦波成分に含まれる周波数成分に基づいて正弦波
成分群を算出し、変換音声を得る構成とすることも可能
である。

【００６８】［３．３］ 第３変形例 正弦波成分の抽出は、この実施形態で用いた方法に限ら
ない。要は、音声信号に含まれる正弦波成分を抽出でき
ればよい。

【００６９】［３．４］ 第４変形例 本実施形態においては、ターゲットの正弦波成分及び残
差成分を記憶したが、これに換えて、ターゲットの音声
そのものを記憶し、それを読み出してリアルタイム処理
によって正弦波成分と残差成分とを抽出してもよい。す
なわち、本実施形態でものまねをしようとする歌唱者の
音声に対して行った処理と同様の処理をターゲットの歌
唱者の音声に対して行ってもよい。

【００７０】［４］ 実施形態の効果 以上の結果、カラオケの伴奏とともに、元歌唱者である
男性歌唱者の歌が変換されて出力されることとなるが、
得られる変換音声は、聴感上自然な女性の音声ものとな
る。

【００７１】

【発明の効果】以上説明したように、この発明によれ
ば、男声→女声変換を行うに際し、聴感上自然な女性の
変換音声を容易に得ることが可能となる。

【図面の簡単な説明】

【図１】 本発明の一実施形態の構成を示すブロック図
（その１）である。

【図２】 本発明の一実施形態の構成を示すブロック図
（その２）である。

【図３】 実施形態におけるフレームの状態を示す図で
ある。

【図４】 実施形態における周波数スペクトルのピーク
検出を説明するための説明図である。

【図５】 実施形態におけるフレーム毎のピーク値の連
携を示す図である。

【図６】 実施形態における周波数値の変化状態を示す
図である。

【図７】 実施形態における処理過程における確定成分
の変化状態を示す図である。

【図８】 実施形態における信号処理の説明図である。

【図９】 イージーシンクロナイゼーション処理のタイ
ミングチャートである。

【図１０】 イージーシンクロナイゼーション処理フロ
ーチャートである。

【図１１】 女性のスペクトラル・シェイプを説明する
図である。

【図１２】 男性のスペクトラル・シェイプを説明する
図である。

【図１３】 男声→女声変換の処理説明図である。

【図１４】 スペクトラル・シェイプのスペクトラルチ
ルト補償について説明する図である。

【図１５】 実施形態の原理説明図である。

【図１６】 第３フォルマントの検出方法の説明図であ
る。

【符号の説明】

１…マイク、２…分析窓生成部、３…入力音声信号切出
部、４…高速フーリエ変換部、５…ピーク検出部、６…
無声／有声検出部、７…ピッチ抽出部、８…ピーク連携
部、９…補間合成部、１０…残差成分検出部、１１…高
速フーリエ変換部、１２…残差成分保持部、１３…正弦
波成分保持部、１４…平均アンプ演算部、１５…アンプ
正規化部、１６…スペクトラル・シェイプ演算部、１７
…ピッチ正規化部、１８…元フレーム情報保持部、１９
…静的変化／ビブラート的変化分離部、２０…ターゲッ
トフレーム情報保持部、２１…キーコントロール／テン
ポチェンジ部、２２…イージーシンクロナイゼーション
処理部、２３…変形スペクトラル・シェイプ生成部、２
４…変形スペクトラル・シェイプ加工部、２５…残差成
分選択部、２６…正弦波成分生成部、２７…正弦波成分
変形部、２８…逆高速フーリエ変換部、２９…コントロ
ーラ、３０…クロスフェーダ部、３１…シーケンサ、３
２…音源部、３３…ミキサ、３４…出力部、４０…ホワ
イトノイズ発生部、４１…バンドパスフィルタ（ＢＰ
Ｆ）、４２…バンドパスフィルタ特性制御部、４３…レ
ベル制御部、４４…アンプ部、ＡFT3…、第３フォルマ
ントアンプ、ＦＴ3…第３フォルマント（周波数）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ザビエル セラ スペイン バルセロナ カルデデュー 08440 ２−２ ビスカイア19 (56)参考文献 特開 平５−108097（ＪＰ，Ａ) 特開 平５−313693（ＪＰ，Ａ) 実開 昭60−84997（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 21/04

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 入力音声信号またはターゲット音声信号
   のスペクトラル・シェイプを周波数軸に沿って高域側に
   シフトして変形スペクトラル・シェイプを生成する変形
   スペクトラル・シェイプ生成手段と、 前記変形スペクトラル・シェイプに基づいて変換音声信
   号を生成する変換音声信号生成手段と、 前記変換音声信号生成手段によって生成された変換音声
   信号に対し、気息性雑音成分信号を加算する気息性雑音
   加算手段とを備え、 前記気息性雑音加算手段は、前記変形スペクトラル・シ
   ェイプに基づいてフォルマント周波数を検出するフォル
   マント周波数検出手段と、 前記フォルマント周波数に対応する周波数帯域を有する
   前記気息性雑音成分信号を生成する気息性雑音生成手段
   と、 前記気息性雑音成分信号を前記変換音声信号に重畳する
   重畳手段と を備えたことを特徴とする音声信号処理装
   置。
2. 【請求項２】 前記気息性雑音生成手段は、ホワイトノ
   イズ信号を生成し出力するホワイトノイズ発生手段と、 前記フォルマント周波数検出手段の検出結果に基づい
   て、前記ホワイトノイズ信号のうち、前記変換音声信号
   の第３フォルマントに対応する所定の周波数帯域成分の
   みを通過させ元気息性雑音成分信号として出力するバン
   ドパスフィルタ手段と、 前記変換音声信号に基づいて、前記元気息性雑音成分信
   号の信号レベルを制御して前記気息性雑音成分信号とし
   て出力する信号レベル制御手段とを備えたことを特徴と
   する請求項１記載の音声信号処理装置。
3. 【請求項３】 音声を合成または変換して得られる合成
   音声信号を出力する際に該合成音声信号に気息性雑音成
   分信号を加算して変換音声信号として出力する気息性雑
   音加算手段を備えた音声信号処理装置であって、 前記気息性雑音加算手段は、 前記合成音声信号のフォルマント周波数を検出するフォ
   ルマント周波数検出手段と、 前記フォルマント周波数検出手段が検出したフォルマン
   ト周波数に対応する周波数帯域を有する気息性雑音成分
   信号を生成する気息性雑音生成手段と、 前記気息性雑音成分信号を前記合成音声信号に重畳して
   前記変換音声信号として出力する重畳手段とを備えたこ
   とを特徴とする音声信号処理装置。
4. 【請求項４】 前記気息性雑音生成手段は、 ホワイトノイズ信号を生成し出力するホワイトノイズ発
   生手段と、 前記フォルマント周波数検出手段の検出結果に基づい
   て、前記ホワイトノイズ信号のうち、前記合成音声信号
   の第３フォルマントに対応する所定の周波数帯域成分の
   みを通過させ元気息性雑音成分信号として出力するバン
   ドパスフィルタ手段と、 前記合成音声信号に基づいて、前記元気息性雑音成分信
   号の信号レベルを制御して前記気息性雑音成分信号とし
   て出力する信号レベル制御手段とを備えたことを特徴と
   する請求項３記載の音声信号処理装置。
5. 【請求項５】 入力音声信号またはターゲット音声信号
   のスペクトラル・シェイプを周波数軸に沿って高域側に
   シフトして変形スペクトラル・シェイプを生成する第１
   生成ステップと、 前記変形スペクトラル・シェイプに基づいて変換音声信
   号を生成する第２生成ステップと、 生成された前記変換音声信号に対し、気息性雑音成分信
   号を加算する加算ステップとを有し、 前記加算ステップにおいては、 前記変形スペクトラル・シェイプに基づいてフォルマン
   ト周波数を検出する検出ステップと、 前記フォルマント周波数に対応する周波数帯域を有する
   前記気息性雑音成分信号を生成 する第３生成ステップ
   と、 前記気息性雑音成分信号を前記変換音声信号に重畳する
   重畳ステップとを実行することを特徴とする音声信号処
   理方法。
6. 【請求項６】 音声を合成または変換して得られる合成
   音声信号を出力するステップと、 前記合成音声信号のフォルマント周波数を検出するステ
   ップと、 検出した前記フォルマント周波数に対応する周波数帯域
   を有する気息性雑音成分信号を生成するステップと、 前記気息性雑音成分信号を前記合成音声信号に重畳して
   前記変換音声信号として出力するステップとを有するこ
   とを特徴とする音声信号処理方法。