JPWO2011004579A1 - 声質変換装置、音高変換装置および声質変換方法 - Google Patents

Abstract

境界周波数以下の周波数帯域において、入力音源スペクトルおよび目標音源スペクトルを用いて、基本波を含む高調波の次数ごとに入力音源波形の高調波のレベルと目標音源波形の高調波のレベルとを所定の変換比率で混合することにより得られる、変換後の基本周波数を基本周波数とする高調波のレベルを有する低域の音源スペクトルを算出する低域高調波レベル算出部（２０２ａ、２０２ｂ）および高調波レベル混合部（２０３）と、境界周波数よりも大きい周波数帯域において、入力音源スペクトルおよび目標音源スペクトルを、所定の変換比率で混合することにより、高域の音源スペクトルを算出する高域スペクトル包絡混合部（２０４）と、低域の音源スペクトルと高域の音源スペクトルとを、境界周波数において結合することにより、全域の音源スペクトルを生成するスペクトル結合部（２０５）とを備える。

Description

本発明は、入力音声の声質を変換する声質変換装置および入力音声の音の高さを変換する音高変換装置に関する。

近年、音声合成技術の発達により、非常に高音質な合成音を作成することが可能となってきた。

しかしながら、従来の合成音の用途はニュース文をアナウンサー調で読み上げる等の画一的な用途が中心であった。

一方で、携帯電話のサービスなどでは、着信音の代わりに有名人の音声メッセージを用いるといったサービスが提供されるなど、特徴のある音声（個人再現性の高い合成音や、女子高校生風や関西弁風などの特徴的な韻律・声質を持つ合成音）が一つのコンテンツとして流通しはじめている。このように、個人間のコミュニケーションにおける楽しみを増やすために、特徴的な音声を作って相手に聞かせることに対する要求が高まることが考えられる。

従来の音声合成方法として、音声を分析し、分析したパラメータを元に音声を合成する分析合成型音声合成方法が知られている。分析合成型音声合成方法では、音声の生成原理に基づいて音声を分析することにより、音声信号を、声道情報を示すパラメータ（以下、適宜「声道情報」という。）と音源情報を示すパラメータ（以下、適宜「音源情報」という。）とに分離する。また、分析合成型音声合成方法では、分離されたパラメータをそれぞれ変形することにより、合成音の声質を変換することが可能である。この音声の分析には、音源・声道モデルと呼ばれるモデルが使用される。

このような分析合成型音声合成方法では、入力された文章に対し、目標の声質を持つ少量の音声（例えば母音音声）を用いて入力音声の話者特徴のみを変換することが可能である。入力された音声は、一般に自然な時間的動きを保持しているが、目標声質の少量音声（孤立母音発声など）は時間的動きをあまり持たない。この２種類の音声を用いて声質変換する場合、入力音声が持つ時間的動き（動的特徴）を保持しながら、目標声質音声が持つ話者特徴（静的特徴）への変換が必要である。これを解決するために特許文献１では、声道情報に関して、入力音声と目標声質音声との間でモーフィングを行なうことにより、入力音声の動的な特徴を保持しながら、目標声質音声の静的な特徴を再現することを行なっている。このような変換を音源情報の変換においても実施できれば、より目標声質に近い音声を得ることができる。

また、音声合成技術において、音源情報を示す音源波形を生成する方法として、音源モデルを用いるものがある。例えば、Ｒｏｓｅｎｂｅｒｇ Ｋｌａｔｔモデル（ＲＫモデル）という音源モデルが知られている（例えば、非特許文献１参照。）。

この方法は、音源波形を時間領域でモデル化し、モデルパラメータに基づいて音源波形を生成するものである。ＲＫモデルを用いれば、モデルパラメータを変形することにより、柔軟に音源特徴を変換することができる。

ＲＫモデルにより時間領域でモデル化された音源波形（ｒ）を式１に示す。

ここで、ｔは連続時間を、Ｔ_ｓは標本化周期を、ｎはＴ_ｓごとの離散時間をそれぞれ表す。また、ＡＶ（Ａｍｐｌｉｔｕｄｅ ｏｆ Ｖｏｉｃｅ）は有声音源振幅を、ｔ_０は基本周期を、ＯＱ（Ｏｐｅｎ Ｑｕａｎｔｉｔｙ）は基本周期に対する声門が開いている時間の割合をそれぞれ表す。ηはそれらの集合を表す。

特許第４２４６７９２号公報

"Ａｎａｌｙｓｉｓ，ｓｙｎｔｈｅｓｉｓ，ａｎｄ ｐｅｒｃｅｐｔｉｏｎ ｏｆ ｖｏｉｃｅ ｑｕａｌｉｔｙ ｖａｒｉａｔｉｏｎｓ ａｍｏｎｇ ｆｅｍａｌｅ ａｎｄ ｍａｌｅ ｔａｌｋｅｒｓ"，Ｊａｒｎａｌ ｏｆ Ａｃｏｓｔｉｃｓ Ｓｏｃｉｅｔｙ Ａｍｅｒｉｃａ， ８７（２），Ｆｅｂｒｕａｒｙ １９９０，ｐｐ．８２０−８５７

本来、微細な構造を持つ音源波形をＲＫモデルでは比較的単純なモデルで表現しているため、モデルパラメータを変形することにより声質を柔軟に変更できるという利点がある。しかしながら、その反面、モデルの表現能力不足により、実際の音源波形のスペクトルである音源スペクトルの微細な構造を十分に再現することができない。結果として合成音の音質は肉声感が不足したいわゆる合成音的なものになるという課題がある。

本発明は、上述の課題を解決するためになされたものであり、音源スペクトルの形状の変換または音源波形の基本周波数の変換を行ったとしても、不自然な音質変化を起こさない声質変換装置および音高変換装置を提供することを目的とする。

本発明のある局面に係る声質変換装置は、入力音声の声質を変換する声質変換装置であって、入力音声波形の音源情報を示す入力音源波形の基本周波数と、目標音声波形の音源情報を示す目標音源波形の基本周波数との、所定の変換比率に従った重み付け和を、変換後の基本周波数として算出する基本周波数変換部と、前記基本周波数変換部で算出される前記変換後の基本周波数に対応する境界周波数以下の周波数帯域において、入力音声の音源スペクトルである入力音源スペクトルおよび目標音声の音源スペクトルである目標音源スペクトルを用いて、基本波を含む高調波の次数ごとに前記入力音源波形の高調波のレベルと前記目標音源波形の高調波のレベルとを前記所定の変換比率で混合することにより得られる、前記変換後の基本周波数を基本周波数とする高調波のレベルを有する低域の音源スペクトルを算出する低域スペクトル算出部と、前記境界周波数よりも大きい周波数帯域において、前記入力音源スペクトルおよび前記目標音源スペクトルを、前記所定の変換比率で混合することにより、高域の音源スペクトルを算出する高域スペクトル算出部と、前記低域の音源スペクトルと前記高域の音源スペクトルとを、前記境界周波数において結合することにより、全域の音源スペクトルを生成するスペクトル結合部と、前記全域の音源スペクトルを用いて、変換後の音声の波形を合成する合成部とを備える。

かかる構成によれば、境界周波数以下の周波数帯域においては、声質を特徴付ける高調波のレベルを個々に制御して入力音源スペクトルを変換することができる。また、境界周波数よりも大きい周波数帯域においては、声質を特徴付けるスペクトル包絡の形状の変換を行うことにより入力音源スペクトルを変換することができる。このため、不自然な音質変化を起こすことなく、入力音声の声質を変換した音声を合成することができる。

好ましくは、前記入力音声波形および前記目標音声波形は、同一の音素の音声波形である。

さらに好ましくは、前記入力音声波形および前記目標音声波形は、同一の音素の音源波形であり、かつ前記同一の音素内の同一の時間的な位置における音声波形である。

このように目標音源波形を選択することにより、入力音源波形の変換時に不自然な変換を起こすことがない。このため、不自然な音質変化を起こすことなく入力音声の声質を変換することができる。

本発明の他の局面に係る音高変換装置は、入力音声の音高を変換する音高変換装置であって、入力音声の音源情報を示す入力音源波形に基づいて、入力音声の音源スペクトルである入力音源スペクトルを算出する音源スペクトル算出部と、前記入力音源波形に基づいて、前記入力音源波形の基本周波数を算出する基本周波数算出部と、所定の目標基本周波数に対応する境界周波数以下の周波数帯域において、前記入力音源波形の基本周波数が前記所定の目標基本周波数に一致し、かつ変換の前後において基本波を含む高調波のレベルが等しくなるように前記入力音源スペクトルを変換することにより低域の音源スペクトルを算出する低域スペクトル算出部と、前記低域の音源スペクトルと、前記境界周波数よりも大きい周波数帯域における前記入力音源スペクトルとを、前記境界周波数において結合することにより、全域の音源スペクトルを生成するスペクトル結合部と、前記全域の音源スペクトルを用いて、変換後の音声の波形を合成する合成部とを備える。

かかる構成によれば、音源波形の周波数帯域を分割し、低域の高調波レベルを目標基本周波数の高調波の位置に再配置する。これにより、音源波形が持つ自然性を保持しながら、当該音源波形が持つ音源の特徴である声門開放率およびスペクトル傾斜を保持することができる。よって、音源の特徴を変えずに、基本周波数を変換することが可能となる。

本発明のさらに他の局面に係る音高変換装置は、入力音声の声質を変換する声質変換装置であって、入力音声の音源情報を示す入力音源波形に基づいて、入力音声の音源スペクトルである入力音源スペクトルを算出する音源スペクトル算出部と、前記入力音源波形に基づいて、前記入力音源波形の基本周波数を算出する基本周波数算出部と、声門開放率と、第１高調波のレベルと第２高調波のレベルとの比との関係を示すデータを参照し、所定の声門開放率に対応する第１高調波のレベルと第２高調波のレベルとの比を決定するレベル比決定部と、前記入力音源波形の基本周波数に基づいて定められる前記入力音源波形の第１高調波のレベルと第２高調波のレベルとの比が、前記レベル比決定部で決定された前記比に一致するように、前記入力音源波形の第１高調波のレベルを変換することにより、変換後の音声の音源スペクトルを生成するスペクトル生成部と、前記スペクトル生成部が生成した前記音源スペクトルを用いて、前記変換後の音声の波形を合成する合成部とを備える。

かかる構成によれば、所定の声門開放率に基づいて、第１高調波（基本波）のレベルを制御することにより、音源波形が保持する自然性を保持しながら、音源の特徴である声門開放率を自在に変更することが可能となる。

なお、本発明は、このような特徴的な処理部を備える声質変換装置または音高変換装置として実現することができるだけでなく、声質変換装置または音高変換装置に含まれる特徴的な処理部をステップとする声質変換方法または音高変換方法として実現することができる。また、声質変換方法または音高変換方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明によると、音源スペクトルの形状の変換または音源波形の基本周波数の変換を行ったとしても、不自然な音質変化を起こさない声質変換装置および音高変換装置を提供することができる。

図１は、声帯の状態による、音源波形、微分音源波形および音源スペクトルの違いを示す図である。 図２は、本発明の実施の形態１における声質変換装置の機能的な構成を示すブロック図である。 図３は、音源情報変形部の詳細な機能的な構成を示すブロック図である。 図４は、本発明の実施の形態１における音声波形から音源スペクトル包絡を得る処理のフローチャートである。 図５は、ピッチマークを付与した音源波形の一例を示す図である。 図６は、波形切出部により切り出された音源波形およびフーリエ変換部により変換された音源スペクトルの例を示す図である。 図７は、本発明の実施の形態１における入力音源スペクトルおよび目標音源スペクトルを用いて、入力音声波形を変換する処理のフローチャートである。 図８は、周波数ごとの臨界帯域幅を示す図である。 図９は、周波数による臨界帯域幅の違いを説明するための図である。 図１０は、臨界帯域幅における音源スペクトルの結合について説明するための図である。 図１１は、本発明の実施の形態１における低域混合処理（図７のＳ２０１）の流れを示すフローチャートである。 図１２は、高調波レベル混合部の動作例を示す図である。 図１３は、高調波レベル混合部による音源スペクトルの補間例を示す図である。 図１４は、高調波レベル混合部による音源スペクトルの補間例を示す図である。 図１５は、本発明の実施の形態１における周波数伸縮による低域混合処理（図７のＳ２０１）の流れを示すフローチャートである。 図１６は、本発明の実施の形態１における高域混合処理の流れを示すフローチャートである。 図１７は、高域スペクトル包絡混合部の動作例を示す図である。 図１８は、本発明の実施の形態１における高域のスペクトル包絡を混合する処理のフローチャートである。 図１９は、ＰＳＯＬＡ法による基本周波数変換法の概念図である。 図２０は、ＰＳＯＬＡ法により基本周波数を変更した場合の高調波レベルの変化を表す図である。 図２１は、本発明の実施の形態２における音高変換装置の機能的な構成を示すブロック図である。 図２２は、本発明の実施の形態２における基本周波数変換部の機能的な構成を示すブロック図である。 図２３は、本発明の実施の形態２における音高変換装置の動作を示すフローチャートである。 図２４は、ＰＳＯＬＡ法と実施の形態２による音高変換方法とを比較するための図である。 図２５は、本発明の実施の形態３における声質変換装置の機能的な構成を示すブロック図である。 図２６は、本発明の実施の形態３における声門開放率変換部の機能的な構成を示すブロック図である。 図２７は、本発明の実施の形態３における声質変換装置の動作を示すフローチャートである。 図２８は、声門開放率と音源スペクトルの第１高調波の対数値と第２高調波の対数値のレベル差を表す図である。 図２９は、実施の形態３による変換前後の音源スペクトルの一例を示す図である。 図３０は、声質変換装置または音高変換装置の外観図である。 図３１は、声質変換装置または音高変換装置のハードウェア構成を示すブロック図である。

個人間のコミュニケーションにおける楽しみを増やすために、特徴的な音声の生成を声質を変えることにより実現する場合、男性から女性へ、あるいは女性から男性へといった性別を跨ぐ音声の変換を行ないたい場合がある。また、音声における緊張度合いを変換したい場合もある。

音声の生成原理に基づけば、音声における音源波形は声帯の開閉により生成される。このため、声帯の生理的な状態に応じて声質が異なる。例えば、声帯の緊張度合いを高める場合、声帯が強く閉じられることとなる。このため、図１（ａ）に示すように音源波形を微分した微分音源波形のピークが鋭くなり、微分音源波形がインパルスに近づく。つまり、声門開放区間３０が短くなる。一方、声帯の緊張度合いを低くした場合には、声帯が完全に閉じなくなり、微分音源波形のピークは緩やかになり、図１（ｃ）に示すように、微分音源波形が正弦波に近づくことが知られている。つまり、声門開放区間３０が長くなる。図１（ｂ）は、図１（ａ）と図１（ｃ）の中間の緊張度合いにおける音源波形、微分音源波形および音源スペクトルを示している。

上述のＲＫモデルを用いると、声門開放率（ＯＱ）を小さくすれば図１（ａ）に示すような音源波形を生成することができ、ＯＱを大きくすれば図１（ｃ）に示すような音源波形を生成することができる。また、ＯＱを中程度（例えば０．６）にすれば図１（ｂ）に示すような音源波形を生成することができる。

このように、音源波形をモデル化し、パラメータ表現すれば、そのパラメータを変化させることにより、声質を変えることができる。例えば、ＯＱパラメータを大きくすることにより、声帯の緊張度が低い状態を表現することができる。また、ＯＱパラメータを小さくすることにより声帯の緊張度が高い状態を表現することができる。しかし、ＲＫモデルはモデルが単純なため、本来音源が持っている微細なスペクトル構造を表現することができない。

以下では、音源が持つ微細構造を保持しながら、音源特徴を変更することにより、柔軟で高音質な声質変換を行うことができる声質変換装置について、図面を参照しながら説明する。

（実施の形態１）
図２は、本発明の実施の形態１における声質変換装置の機能的な構成を示すブロック図である。

（全体構成）
声質変換装置は、入力音声の声質を目標音声の声質に所定の変換比率で変換する装置であって、声道音源分離部１０１ａと、波形切出部１０２ａと、基本周波数算出部２０１ａと、フーリエ変換部１０３ａと、目標音源情報記憶部１０４と、声道音源分離部１０１ｂと、波形切出部１０２ｂと、基本周波数算出部２０１ｂと、フーリエ変換部１０３ｂとを含む。また、声質変換装置は、目標音源情報取得部１０５と、音源情報変形部１０６と、逆フーリエ変換部１０７と、音源波形生成部１０８と、合成部１０９とを含む。

声道音源分離部１０１ａは、目標音声の音声波形である目標音声波形を分析して、目標音声波形を声道情報と音源情報とに分離する。

波形切出部１０２ａは、声道音源分離部１０１ａにより分離された音源情報である音源波形から、波形を切り出す。波形の切り出し方については後述する。

基本周波数算出部２０１ａは、波形切出部１０２ａにより切り出された音源波形の基本周波数を算出する。基本周波数算出部２０１ａは、請求の範囲の基本周波数算出部に対応する。

フーリエ変換部１０３ａは、波形切出部１０２ａにより切り出された音源波形をフーリエ変換することにより、目標音声の音源スペクトル（以下、「目標音源スペクトル」という。）を生成する。フーリエ変換部１０３ａは、請求の範囲の音源スペクトル算出部に対応する。なお、周波数変換方法はフーリエ変換に限定されるものではなく、離散コサイン変換、ウェーブレット変換等の他の周波数変換方法であっても良い。

目標音源情報記憶部１０４は、フーリエ変換部１０３ａにより生成された目標音源スペクトルを保持する記憶装置であり、具体的にはハードディスク装置になどにより構成される。なお、目標音源情報記憶部１０４は、基本周波数算出部２０１ａで算出された音源波形の基本周波数も目標音源スペクトルと合わせて保持する。

声道音源分離部１０１ｂは、入力音声の音声波形である入力音声波形を分析して、入力音声波形を声道情報と音源情報とに分離する。

波形切出部１０２ｂは、声道音源分離部１０１ｂにより分離された音源情報である音源波形から、波形を切り出す。波形の切り出し方については後述する。

基本周波数算出部２０１ｂは、波形切出部１０２ｂにより切り出された音源波形の基本周波数を算出する。基本周波数算出部２０１ｂは、請求の範囲の基本周波数算出部に対応する。

フーリエ変換部１０３ｂは、波形切出部１０２ｂにより切り出された音源波形をフーリエ変換することにより、入力音声の音源スペクトル（以下、「入力音源スペクトル」という。）を生成する。フーリエ変換部１０３ｂは、請求の範囲の音源スペクトル算出部に対応する。なお、周波数変換方法はフーリエ変換に限定されるものではなく、離散コサイン変換、ウェーブレット変換等の他の周波数変換方法であっても良い。

目標音源情報取得部１０５は、波形切出部１０２ｂにより切り出された入力音声の音源波形（以下、「入力音源波形」という。）に対応する目標音源スペクトルを目標音源情報記憶部１０４から取得する。例えば、目標音源情報取得部１０５は、入力音源波形と同じ音素の目標音声の音源波形（以下、「目標音源波形」という。）から生成された目標音源スペクトルを取得する。より好ましくは、目標音源情報取得部１０５は、入力音源波形と同じ音素でかつ音素内の時間的な位置が同じである目標音源波形から生成された目標音源スペクトルを取得する。また、目標音源情報取得部１０５は、目標音源スペクトルと共に、当該目標音源スペクトルに対応する目標音源波形の基本周波数を取得する。このように目標音源波形を選択することにより、入力音源波形の変換時に不自然な変換を起こすことが無く、不自然な音質変化を起こすことなく入力音声の声質を変換することができる。

音源情報変形部１０６は、入力音源スペクトルを、目標音源情報取得部１０５が取得した目標音源スペクトルに、所定の変換比率で変形する。

逆フーリエ変換部１０７は、音源情報変形部１０６による変形後の音源スペクトルを逆フーリエ変換することにより、１周期分の時間領域における波形（以下、「時間波形」という。）を生成する。なお、逆変換の方法は、逆フーリエ変換に限定されるものではなく、逆離散コサイン変換、逆ウェーブレット変換等の他の変換方法であっても良い。

音源波形生成部１０８は、逆フーリエ変換部１０７により生成された時間波形を、基本周波数に基づいた位置に配置することにより、音源波形を生成する。音源波形生成部１０８は、この処理を基本周期ごとに繰り返すことにより、変換後の音源波形を生成する。

合成部１０９は、声道音源分離部１０１ｂにより分離された声道情報と、音源波形生成部１０８により生成された変換後の音源波形とを用いて変換後の音声の波形を合成する。逆フーリエ変換部１０７、音源波形生成部１０８および合成部１０９は、請求の範囲の合成部に対応する。

（詳細構成）
図３は、音源情報変形部１０６の詳細な機能的構成を示すブロック図である。

図３において、図２と同じ構成については、説明を省略する。

音源情報変形部１０６は、低域高調波レベル算出部２０２ａと、低域高調波レベル算出部２０２ｂと、高調波レベル混合部２０３と、高域スペクトル包絡混合部２０４と、スペクトル結合部２０５とを含む。

低域高調波レベル算出部２０２ａは、入力音源波形の基本周波数と入力音源スペクトルから、入力音源波形の高調波レベルを算出する。ここで、高調波レベルとは、音源スペクトルにおける、基本周波数の整数倍の周波数におけるスペクトル強度のことである。なお、本明細書および請求の範囲において、高調波には基本波が含まれるものとする。

低域高調波レベル算出部２０２ｂは、目標音源情報取得部１０５が取得した目標音源波形の基本周波数と目標音源スペクトルから、目標音源波形の高調波レベルを算出する。

高調波レベル混合部２０３は、後述する境界周波数以下の周波数帯域において、低域高調波レベル算出部２０２ｂにより算出された入力音源波形の高調波レベルと低域高調波レベル算出部２０２ａにより算出された目標音源波形の高調波レベルとを、外部から入力された変換比率ｒで混合することにより、変換後の高調波レベルを作成する。また、高調波レベル混合部２０３は、入力音声波形の基本周波数と目標音源波形の基本周波数とを変換比率ｒで混合することにより、変換後の基本周波数を作成する。さらに、高調波レベル混合部２０３は、変換後の基本周波数から算出される高調波の周波数に、変換後の高調波レベルを配置することにより、変換後の音源スペクトルを算出する。高調波レベル混合部２０３は、請求の範囲の基本周波数変換部および低域スペクトル算出部に対応する。

高域スペクトル包絡混合部２０４は、境界周波数よりも大きい周波数帯域において、入力音源スペクトルと目標音源スペクトルとを、変換比率ｒで混合することにより、変換後の音源スペクトルを算出する。高域スペクトル包絡混合部２０４は、請求の範囲の高域スペクトル算出部に対応する。

スペクトル結合部２０５は、高調波レベル混合部２０３により算出された境界周波数以下の周波数帯域における音源スペクトルと、高域スペクトル包絡混合部２０４により算出された境界周波数よりも大きい周波数帯域における音源スペクトルとを、境界周波数において結合することにより、全域の音源スペクトルを生成する。スペクトル結合部２０５は、請求の範囲のスペクトル結合部に対応する。

以上のように、低域部と高域部とで、それぞれ音源スペクトルを混合することにより、音源の声質特徴が変換比率ｒで混合された音源スペクトルを得ることができる。

（動作の説明）
次に、本発明の実施の形態１に係る声質変換装置の具体的な動作について、フローチャートを用いて説明する。

声質変換装置が実行する処理は、音声波形から音源スペクトルを得る処理と、音源スペクトルを変換することにより入力音声波形を変換する処理とに分かれる。まず、前者の処理について説明し、その後、後者の処理について説明する。

図４は、音声波形から音源スペクトル包絡を得る処理のフローチャートである。

声道音源分離部１０１ａは、目標音声波形から、声道情報と音源情報とを分離する。また、声道音源分離部１０１ｂは、入力音声波形から、声道情報と音源情報とを分離する（ステップＳ１０１）。分離の方法は特に限定するものではないが、例えば、音源モデルを仮定し、声道情報と音源情報を同時に推定可能なＡＲＸ分析（Ａｕｔｏｒｅｇｒｅｓｓｉｖｅ ｗｉｔｈ ｅｘｏｇｅｎｏｕｓ ｉｎｐｕｔ）を用いて、声道情報を分析する。さらに、分析された声道情報から声道の逆特性を持つフィルタを構成して、入力された音声信号から逆フィルタ音源波形を取り出し、音源情報として用いればよい（非特許文献：「音源パルス列を考慮した頑健なＡＲＸ音声分析法」日本音響学会誌５８巻７号（２００２年），ｐｐ．３８６−３９７）。なお、ＡＲＸ分析の代わりにＬＰＣ分析（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ）を用いてもよい。また、その他の分析により声道情報と音源情報を分離するようにしても良い。

波形切出部１０２ａは、ステップＳ１０１で分離された目標音声波形の音源情報を示す目標音源波形に対して、ピッチマークを付与する。また、波形切出部１０２ｂは、ステップＳ１０１で分離された入力音声波形の音源情報を示す入力音源波形に対して、ピッチマークを付与する（ステップＳ１０２）。具体的には、音源波形（目標音源波形または入力音源波形）に対して、基本周期ごとに特徴点を付与する。例えば、特徴点として、声門閉鎖点（ＧＣＩ：Ｇｌｏｔｔａｌ Ｃｌｏｓｕｒｅ Ｉｎｓｔａｎｔ）を用いる。ただし、特徴点はこれに限定されるものでなく、基本周期間隔で繰り返し出現する点であれば良い。図５は、ＧＣＩを用いてピッチマークを付与した音源波形のグラフである。横軸は時間を示し、縦軸は振幅を示す。また、破線の箇所がピッチマークの位置を示す。音源波形のグラフにおいて、振幅の極小点が声門閉鎖点と一致する。なお、特徴点としては、音声波形の振幅のピーク位置（極大点）であっても良い。

基本周波数算出部２０１ａは、目標音源波形の基本周波数を算出する。また、基本周波数算出部２０１ｂは、入力音源波形の基本周波数を算出する（ステップＳ１０３）。基本周波数の算出方法は特に限定しないが、例えば、ステップＳ１０２で付与されたピッチマーク同士の間隔から算出するようにすれば良い。ピッチマーク同士の間隔が基本周期に相当するため、その逆数を算出することにより基本周波数を算出することができる。または、自己相関法などの基本周波数算出方法を用いて、入力音源波形または目標音源波形から基本周波数を算出しても良い。

波形切出部１０２ａは、目標音源波形より２周期分の目標音源波形を切り出す。また、波形切出部１０２ｂは、入力音源波形より２周期分の入力音源波形を切り出す（ステップＳ１０４）。具体的には、着目しているピッチマークを中心として、前後に基本周波数算出部２０１ａで算出した基本周波数に対応する基本周期分の音源波形を切り出す。つまり、図５に示すグラフにおいて、区間Ｓ１内の音源波形が切り出される。

フーリエ変換部１０３ａは、ステップＳ１０４で切り出された目標音源波形をフーリエ変換することにより目標音源スペクトルを生成する。また、フーリエ変換部１０３ｂは、ステップＳ１０４で切り出された入力音源波形をフーリエ変換することにより入力音源スペクトルを生成する（ステップＳ１０５）。このとき、切り出された音源波形に基本周期の２倍の長さのハニング窓を掛けた上で、フーリエ変換することにより、高調波成分の谷が埋められ、音源スペクトルのスペクトル包絡を得ることができる。これにより、基本周波数の影響を除去することができる。図６（ａ）は、ハニング窓を掛けない場合の音源波形（時間領域）およびその音源スペクトル（周波数領域）の一例を示す図である。図６（ｂ）は、ハニング窓を掛けた場合の音源波形（時間領域）およびその音源スペクトル（周波数領域）の一例を示す図である。このように、ハニング窓を掛けることにより、音源スペクトルのスペクトル包絡が得られることがわかる。なお、窓関数は、ハニング窓に限定されるものではなく、ハミング窓、ガウス窓などの他の窓関数であっても良い。

以上説明したステップＳ１０１からステップＳ１０５の処理により、入力音声波形および目標音声波形から入力音源スペクトルおよび目標音源波形をそれぞれ算出することができる。

次に、入力音声波形の変換処理について説明する。

図７は、入力音源スペクトルおよび目標音源スペクトルを用いて、入力音声波形を変換する処理のフローチャートである。

低域高調波レベル算出部２０２ａ、低域高調波レベル算出部２０２ｂおよび高調波レベル混合部２０３は、後述する境界周波数（Ｆｂ：Ｂｏｕｎｄａｌｙ Ｆｒｅｑｕｅｎｃｙ）以下の周波数帯域において、入力音源スペクトルおよび目標音源スペクトルを混合することにより、変換後音声波形の低域の音源スペクトルを生成する（ステップＳ２０１）。混合方法については後述する。

高域スペクトル包絡混合部２０４は、境界周波数（Ｆｂ）よりも大きい周波数帯域において、入力音源スペクトルおよび目標音源スペクトルを混合することにより、変換後音声波形の高域の音源スペクトルを生成する（ステップＳ２０２）。混合方法については後述する。

スペクトル結合部２０５は、ステップＳ２０１で生成された低域の音源スペクトルと、ステップＳ２０２で生成された高域の音源スペクトルとを結合することにより、変換後音声の全域の音源スペクトルを生成する（ステップＳ２０３）。具体的には、全域の音源スペクトルにおいて、境界周波数（Ｆｂ）以下の周波数帯域ではステップＳ２０１で生成された低域の音源スペクトルを用い、境界周波数（Ｆｂ）よりも大きい周波数帯域ではステップＳ２０２で生成された高域の音源スペクトルを用いる。

ここで、境界周波数（Ｆｂ）は、後述する変換後の基本周波数に基づいて、例えば以下の方法で決定される。

図８は、人間の聴覚特性の一つである臨界帯域幅を示すグラフである。横軸は周波数を表し、縦軸は臨界帯域幅を表している。

臨界帯域幅とは、その周波数の純音に対するマスキングに寄与する周波数の範囲である。すなわち、ある周波数における臨界帯域幅内に含まれる二つの音（周波数の差の絶対値が臨界帯域幅以下の二つの音）は互いに加算され、音の大きさ（ｌｏｕｄｎｅｓｓ）が大きくなったと知覚される。これに対して、臨界帯域幅よりも遠い間隔に位置する二つの音（周波数の差の絶対値が臨界帯域幅よりも大きい二つの音）はそれぞれ別の音として知覚され、音の大きさ（ｌｏｕｄｎｅｓｓ）が大きくなったとは知覚されない。例えば、１００Ｈｚの純音に対しては、臨界帯域幅は１００Ｈｚである。このため、その純音から１００Ｈｚ以内で離れた音（例えば１５０Ｈｚの音）が、純音に付加された場合、１００Ｈｚの純音が大きくなったように知覚される。

図９に上記のことを模式的に示す。横軸は周波数、縦軸は音源スペクトルのスペクトル強度を示す。また、上向きの矢印は高調波を示し、破線は音源スペクトルのスペクトル包絡を表している。そして、横に並んだ長方形が各周波数帯域での臨界帯域幅を意味する。同図中の区間Ｂｃが、ある周波数帯域での臨界帯域幅を表している。この図で５００Ｈｚよりも大きい周波数帯域では、一つの長方形の領域中に複数の高調波が存在する。ところが５００Ｈｚ以下の周波数帯域では、一つの長方形の中に高調波がたかだか一つしか存在しない。

一つの長方形の中にある複数の高調波は、互いに音量が加算される関係にあり、それらは固まりとして知覚される。一方、一つ一つの高調波が別々の長方形に配置される領域では、個々の高調波は別の音として知覚されるという性質を帯びる。このように、ある周波数よりも大きい周波数帯域では高調波が固まりとして知覚され、ある周波数以下の周波数帯域では個々の高調波が別々に知覚されることになる。

個々の高調波が別々に知覚されない周波数帯域ではスペクトル包絡が再現できていれば音質が維持できることになる。このため、この周波数帯域ではスペクトル包絡の形状が声質を特徴付けると考えることができる。一方、個々の高調波が別々に知覚される周波数帯域では個々の高調波のレベルを制御する必要がある。このため、この周波数帯域では個々の高調波のレベルが声質を特徴付けると考えることができる。高調波の周波数間隔は基本周波数の値と等しい。このため、個々の高調波が別々に知覚されない周波数帯域と、個々の高調波が別々に知覚される周波数帯域との境界の周波数は、変換後の基本周波数の大きさと臨界帯域幅の大きさとが一致するときの、当該臨界帯域幅に対応する周波数（図８のグラフより導き出される周波数）である。

このように聴覚特性を用いることにより、変換後の基本周波数の大きさと臨界帯域幅の大きさとが一致するときの、臨界帯域幅に対応する周波数が境界周波数（Ｆｂ）と決定される。つまり、基本周波数と境界周波数とを対応付けることができる。スペクトル結合部２０５は、高調波レベル混合部２０３により生成された低域の音源スペクトルと、高域スペクトル包絡混合部２０４により生成された高域の音源スペクトルスペクトルとを、境界周波数（Ｆｂ）において結合することができる。

例えば、高調波レベル混合部２０３は、予め図８に示すような臨界帯域幅の特性をデータテーブルとして保持し、基本周波数に基づいて、境界周波数（Ｆｂ）を決定するようにすれば良い。また、高調波レベル混合部２０３は、決定した境界周波数（Ｆｂ）を高域スペクトル包絡混合部２０４およびスペクトル結合部２０５に出力するようにすれば良い。

なお、基本周波数から境界周波数を決定するための規則データは、図８に示したような周波数と臨界帯域幅との関係を示すデータテーブルに限定されるものではなく、例えば、周波数と臨界帯域幅との関係を示す関数であってもよい。また、基本周波数と臨界帯域幅との関係を示すデータテーブルまたは関数であってもよい。

なお、スペクトル結合部２０５は、境界周波数（Ｆｂ）付近では、低域の音源スペクトルと高域の音源スペクトルとを混合して結合するようにしても良い。結合後の全域の音源スペクトルの例を図１０に示す。実線は、結合して生成された全域の音源スペクトルのスペクトル包絡を示す。また、音源波形生成部１０８によって結果的に生成される高調波を上向きの破線の矢印で表し、重ね合わせて描いてある。図１０に示すように、スペクトル包絡は境界周波数（Ｆｂ）より高い周波数帯域ではなめらかな形状をしている。しかし、境界周波数（Ｆｂ）以下の周波数帯域では高調波のレベルが制御できればよいので、図１０のように階段状のスペクトル包絡としておけば十分である。もちろん、高調波のレベルが結果的に正しく制御できるのであれば、包絡として生成するべき形状はどのようなものでも構わない。

再度図７を参照して、逆フーリエ変換部１０７は、ステップＳ２０３により結合された後の音源スペクトルを逆フーリエ変換することにより時間領域の表現に変換し、１周期分の時間波形を生成する（ステップＳ２０４）。

音源波形生成部１０８は、ステップＳ２０４で生成された１周期分の時間波形を、変換後の基本周波数により算出される基本周期の位置に配置する。この配置処理により１周期分の音源波形が生成される。この配置処理を基本周期ごとに繰り返すことにより、入力音声波形に対する変換後の音源波形を生成することができる（ステップＳ２０５）。

合成部１０９は、音源波形生成部１０８により生成された変換後の音源波形と、声道音源分離部１０１ｂにより分離された声道情報とに基づいて、音声合成を行ない、変換後の音声波形を生成する（ステップＳ２０６）。合成の方法は特に限定されるものではないが、声道情報としてＰＡＲＣＯＲ（Ｐａｒｔｉａｌ Ａｕｔｏ Ｃｏｒｒｅｌａｔｉｏｎ）係数を用いている場合には、ＰＡＲＣＯＲ合成を用いればよい。また、ＰＡＲＣＯＲ係数と数学的に等価なＬＰＣ係数に変換した後に、ＬＰＣ合成により合成するようにしてもよいし、ＬＰＣ係数からフォルマントを抽出し、フォルマント合成するようにしてもよい。さらには、ＬＰＣ係数からＬＳＰ（Ｌｉｎｅ Ｓｐｅｃｔｒｕｍ Ｐａｉｒｓ）係数を算出し、ＬＳＰ合成するようにしてもよい。

（低域の混合処理について）
次に、低域混合処理（図７のステップＳ２０１）について詳しく説明する。図１１は、低域混合処理の流れを示すフローチャートである。

低域高調波レベル算出部２０２ａは、目標音源波形の高調波のレベルを算出する。また、低域高調波レベル算出部２０２ｂは、入力音源波形の高調波のレベルを算出する（ステップＳ３０１）。具体的には、低域高調波レベル算出部２０２ａは、ステップＳ１０３で算出された目標音源波形の基本周波数と、ステップＳ１０５で生成された目標音源スペクトルとを用いて、高調波レベルを算出する。高調波は基本周波数の整数倍の周波数に発生するので、低域高調波レベル算出部２０２ａは、基本周波数のｎ倍（ｎは自然数）の位置の目標音源スペクトルの値を算出する。目標音源スペクトルをＦ（ｆ）、基本周波数をＦ０とした場合、第ｎ高調波レベルＨ（ｎ）は、式２で算出される。低域高調波レベル算出部２０２ｂは、低域高調波レベル算出部２０２ａと同様の方法で高調波レベルを算出する。図１２に示す入力音源スペクトルにおいて、第１高調波レベル１１、第２高調波レベル１２および第３高調波レベル１３は、入力音源波形の基本周波数（同図ではＦ０_A）を用いて算出される。同様に、目標音源スペクトルにおいて、第１高調波レベル２１、第２高調波レベル２２および第３高調波レベル２３は、目標音源波形の基本周波数（同図ではＦ０_B）を用いて算出される。

高調波レベル混合部２０３は、ステップＳ３０１で算出された、入力音声の高調波レベルと目標音声の高調波レベルとを、高調波ごとに（次数ごとに）混合する（ステップＳ３０２）。入力音声の高調波レベルをＨ^s、目標音声の高調波レベルをＨ^t、変換比率をｒとすると、混合後の高調波レベルＨは、式３により算出できる。

図１２において、第１高調波レベル３１、第２高調波レベル３２および第３高調波レベル３３は、入力音源スペクトルの第１高調波レベル１１、第２高調波レベル１２および第３高調波レベル１３と、目標音源スペクトルの第１高調波レベル２１、第２高調波レベル２２および第３高調波レベル２３とを、それぞれ変換比率ｒで混合したものである。

高調波レベル混合部２０３は、ステップＳ３０２で算出された高調波レベルを、変換後の基本周波数に基づいて周波数軸上に配置する（ステップＳ３０３）。ここで、変換後の基本周波数Ｆ０’は、入力音源波形の基本周波数Ｆ０^sと、目標音源波形の基本周波数Ｆ０^tと、変換比率ｒとを用いて式４により算出される。

また、高調波レベル混合部２０３は、算出されたＦ０’を用いて、式５により変換後の音源スペクトルＦ’を算出する。

これにより、境界周波数以下の周波数帯域において、変換後の音源スペクトルを生成することができる。

なお、高調波位置以外のスペクトル強度は、補間により算出すればよい。補間の方法は特に限定するものではないが、例えば、式６に示すように、高調波レベル混合部２０３は、着目する周波数ｆに隣接するｋ番目の高調波レベルと（ｋ＋１）番目の高調波レベルとを用いて、スペクトル強度を線形に補間するようにすればよい。線形補間されたスペクトル強度の一例を、図１３に示す。

また、図１４に示すように、高調波レベル混合部２０３は、式７に従い、最も近い高調波の高調波レベルを用いて、スペクトル強度を補間するようにしても良い。これにより、スペクトル強度は、階段状に変化する。

以上の処理により、低域の高調波レベルの混合が可能である。なお、高調波レベル混合部２０３は、周波数の伸縮を行うことにより、低域の音源スペクトルを生成するようにしてもよい。図１５は、周波数伸縮による低域混合処理（図７のＳ２０１）の流れを示すフローチャートである。

高調波レベル混合部２０３は、入力音源スペクトルＦ_ｓを、入力音源波形の基本周波数Ｆ０^sと変換後の基本周波数Ｆ０’との比率（Ｆ０’／Ｆ０^s）に基づき伸縮する。また、高調波レベル混合部２０３は、目標音源スペクトルＦ_ｔを、目標音源波形の基本周波数Ｆ０^tと変換後の基本周波数Ｆ０’との比率（Ｆ０’／Ｆ０^t）に基づき伸縮する（ステップＳ４０１）。具体的には伸縮後の入力音源スペクトルＦ_ｓ’および目的音源スペクトルＦ_ｔ’は式８により算出される。

高調波レベル混合部２０３は、伸縮後の入力音源スペクトルＦ_ｓ’および目標音源スペクトルＦ_ｔ’を、変換比率ｒにより混合し、変換後の音源スペクトルＦ’を得る（ステップＳ４０２）。具体的には、２つの音源スペクトルは式９により混合される。

以上のように、高調波レベルを混合することにより、低域の音源スペクトルによってもたらされる声質特徴を、目標音声と入力音声の間でモーフィングを行なうことができる。

（高域の混合処理について）
次に、高域の入力音源スペクトルと目標音源スペクトルの混合処理（図７のステップＳ２０２）について説明する。

図１６は、高域混合処理の流れを示すフローチャートである。

高域スペクトル包絡混合部２０４は、入力音源スペクトルＦ_ｓと目標音源スペクトルＦ_ｔとを変換比率ｒにより混合する（ステップＳ５０１）。具体的には式１０を用いてスペクトルを混合する。

これにより、高域のスペクトル包絡を混合することができる。図１７は、スペクトル包絡の混合の具体例を示した図である。横軸は周波数を示し、縦軸はスペクトル強度を示す。なお、縦軸は対数表現されている。入力音源スペクトル４１と目標音源スペクトル４２とを変換比率０．８で混合することにより、変換後の音源スペクトル４３が得られる。図１７に示す変換後の音源スペクトル４３から分かるように、１ｋＨｚから５ｋＨｚにわたり、微細構造を保持したまま音源スペクトルを変換可能であることがわかる。

（スペクトル傾斜の利用）
なお、高域のスペクトル包絡の混合方法として、入力音源スペクトルのスペクトル傾斜を目標音源スペクトルのスペクトル傾斜を変換比率ｒに基づいて変形することにより、入力音源スペクトルと目標音源スペクトルとを混合するようにしても良い。スペクトル傾斜とは、個人特徴の一つであり、音源スペクトルの周波数軸方向に対する傾斜（傾き）を示す。例えば、前述の境界周波数（Ｆｂ）と３ｋＨｚのスペクトル強度の差によりスペクトル傾斜を表現することができる。スペクトル傾斜が小さいほど、高周波成分が多く含まれ、スペクトル傾斜が大きいほど高周波成分が少なくなる。

図１８は、入力音源スペクトルのスペクトル傾斜を目標音源スペクトルのスペクトル傾斜に変換することにより、高域のスペクトル包絡を混合する処理のフローチャートである。

高域スペクトル包絡混合部２０４は、入力音源スペクトルのスペクトル傾斜および目標音源スペクトルのスペクトル傾斜の差であるスペクトル傾斜差を算出する（ステップＳ６０１）。スペクトル傾斜差の算出方法は特に限定するものではないが、例えば、境界周波数（Ｆｂ）と３ｋＨｚのスペクトル強度の差によりスペクトル傾斜を算出するようにすれば良い。

高域スペクトル包絡混合部２０４は、ステップＳ６０１で算出されたスペクトル傾斜差を用いて、入力音源スペクトルのスペクトル傾斜を補正する（ステップＳ６０２）。補正の方法は特に限定するものではないが、例えば、入力音源スペクトルＵ（ｚ）を式１１に示すようなＩＩＲ（無限インパルス応答）フィルタＤ（ｚ）を通過させる。これにより、スペクトル傾斜が補正された入力音源スペクトルＵ’（ｚ）を得ることができる。

ただし、Ｕ’（ｚ）は補正後の音源波形、Ｕ（ｚ）は音源波形、Ｄ（ｚ）はスペクトルの傾斜を補正するフィルタ、Ｔは入力音源スペクトルの傾斜と目標音源スペクトルの傾斜とのレベル差（スペクトル傾斜差）、Ｆｓはサンプリング周波数を表す。

なお、スペクトル傾斜の補間法として、ＦＦＴスペクトル上で直接、スペクトルを変換するようにしても良い。例えば、入力音源スペクトルＦ_ｓ（ｎ）から、境界周波数以上のスペクトルに対して回帰直線を算出する。算出した回帰直線（ａ_s、ｂ_s）の係数を用いるとＦ_ｓ（ｎ）は式１２により表現できる。

ただし、ｅ_s（ｎ）は入力音源スペクトルと回帰直線との誤差である。

同様に目標音源スペクトルＦ_t（ｎ）は式１３により表現できる。

入力音源スペクトルと目標音源スペクトルの回帰直線の各係数を式１４に示すように変換比率ｒにより補間する。

以上のようにして算出した回帰直線を用いて、入力音源スペクトルを式１５により変換することにより、音源スペクトルのスペクトル傾斜を変換し、変換後のスペクトルＦ’（ｎ）を算出するようにしても良い。

（効果）
かかる構成によれば、境界周波数以下の周波数帯域においては、声質を特徴付ける高調波のレベルを個々に制御して入力音源スペクトルを変換することができる。また、境界周波数よりも大きい周波数帯域においては、声質を特徴付けるスペクトル包絡の形状の変換を行うことにより入力音源スペクトルを変換することができる。このため、不自然な音質変化を起こすことなく、入力音声の声質を変換した音声を合成することができる。

（実施の形態２）
一般にテキスト音声合成システムにおいては、以下のようにして合成音が生成される。つまり、入力されたテキストを解析し、テキストに合致した基本周波数パターンなどの目標の韻律情報が生成される。また、生成された目標の韻律情報に合致する音声素片が選択され、選択された音声素片を目標情報に変形されて、接続される。これにより、目標の韻律情報を持つ合成音を生成する。

音声の音の高さを変化させるためには、選択された音声素片の基本周波数を目標の基本周波数に変換する必要がある。この時、基本周波数以外の音源特徴を変換させることなく、基本周波数のみを変換することにより、音質の劣化を抑制することが可能になる。本発明の実施の形態２では、このように、基本周波数以外の音源特徴を変化させることなく、基本周波数のみを変化させることにより、声質の変化や音質の劣化を防止する装置について説明する。

音声波形を編集して、基本周波数を変換する方法として、ＰＳＯＬＡ（ｐｉｔｃｈ ｓｙｎｃｈｒｏｎｏｕｓ ｏｖｅｒｌａｐ ａｄｄ）法が知られている（非特許文献：“Ｄｉｐｈｏｎｅ Ｓｙｎｔｈｅｓｉｓ ｕｓｉｎｇ ａｎ Ｏｖｅｒｌａｐ−Ａｄｄ ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｓｐｅｅｃｈ Ｗａｖｅｆｏｒｍｓ Ｃｏｎｃａｔｅｎａｔｉｏｎ”，Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ． Ａｃｏｕｓｔ．， Ｓｐｅｅｃｈ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ． １９９７， ｐｐ．２０１５−２０１８）。

ＰＳＯＬＡ法は、図１９に示すように音声波形を１周期ごとに切り出し、切り出した音声波形を、所望の基本周期（Ｔ０’）間隔で並べ替えることにより、音声の基本周波数を変換するものである。ＰＳＯＬＡ法は、基本周波数の変更量が小さい場合には、良好な変換結果を得ることが知られている。

このＰＳＯＬＡ法を音源情報の変換に応用し、基本周波数を変更することを考える。図２０（ａ）は、基本周波数を変更する前の音源スペクトルである。ここで、実線は音源スペクトルのスペクトル包絡を表し、破線は切り出された単一のピッチ波形のスペクトルを表している。このように、単一ピッチ波形のスペクトルは、音源スペクトルのスペクトル包絡を構成する。ＰＳＯＬＡ法を用いて基本周波数に変更を加えると、図２０（ｂ）の実線で表す音源スペクトルのスペクトル包絡が得られる。基本周波数を変更しているため、図２０（ｂ）の音源スペクトルでは、元の周波数とは異なる位置に高調波が存在することになる。ここで、基本周波数の変換前後ではスペクトル包絡は変化しないため、第１高調波（基本波）や第２高調波のレベルは、基本周波数を変更する前とは異なったものとなる。このため、第１高調波レベルと第２高調波レベルとの間で大小関係の逆転現象が生じる場合がある。例えば、図２０（ａ）に示す基本周波数変更前の音源スペクトルにおいては、第１高調波レベル（周波数Ｆ０でのレベル）の方が第２高調波レベル（周波数２Ｆ０でのレベル）よりも大きくなっている。しかし、図２０（ｂ）に示す基本周波数変更後の音源スペクトルにおいては、第２高調波レベル（周波数２Ｆ０’のレベル）の方が第１高調波レベル（周波数Ｆ０’のレベル）よりも大きくなっている。

以上のように、ＰＳＯＬＡ法を用いた場合、音源波形のスペクトルの微細構造を再現することができるため、合成音の音質が優れているという利点がある。しかし、その一方で、基本周波数を大きく変更すると、第１高調波レベルと第２高調波レベルとのレベル差に変化が生じてしまうため、個々の高調波が別個に知覚される低周波数帯域においては、声質に変化が生じてしまうという課題がある。

本実施の形態に係る音高変換装置では、声質の変化を生じさせること無く、音の高さのみを変更することができる。

（全体構成）
図２１は、本発明の実施の形態２における音高変換装置の機能的な構成を示すブロック図である。図２１において、図２と同じ構成要素については同じ参照符号を付し、その詳細な説明は適宜省略する。

音高変換装置は、声道音源分離部１０１ｂと、波形切出部１０２ｂと、基本周波数算出部２０１ｂと、フーリエ変換部１０３ｂと、基本周波数変換部３０１と、逆フーリエ変換部１０７と、音源波形生成部１０８と、合成部１０９とを含む。

声道音源分離部１０１ｂは、入力音声の音声波形である入力音声波形を分析して、入力音声波形を声道情報と音源情報とに分離する。分離の方法は実施の形態１と同じである。

波形切出部１０２ｂは、声道音源分離部１０１ｂにより分離された音源情報である音源波形から、波形を切り出す。

基本周波数算出部２０１ｂは、波形切出部１０２ｂにより切り出された音源波形の基本周波数を算出する。基本周波数算出部２０１ｂは、請求の範囲の基本周波数算出部に対応する。

フーリエ変換部１０３ｂは、波形切出部１０２ｂにより切り出された音源波形をフーリエ変換することにより、入力音源スペクトルを生成する。フーリエ変換部１０３ｂは、請求の範囲の音源スペクトル算出部に対応する。

基本周波数変換部３０１は、声道音源分離部１０１ｂにより分離された音源情報である入力音源波形の基本周波数を、外部から入力される目標基本周波数に変換することにより、入力音源スペクトルを生成する。基本周波数の変換方法については後述する。

逆フーリエ変換部１０７は、基本周波数変換部３０１により生成された入力音源スペクトルを逆フーリエ変換することにより、１周期分の時間波形を生成する。

音源波形生成部１０８は、逆フーリエ変換部１０７により生成された１周期分の時間波形を、基本周波数に基づいた位置に配置することにより、音源波形を生成する。音源波形生成部１０８は、この処理を基本周期ごとに繰り返すことにより、変換後の音源波形を生成する。

合成部１０９は、声道音源分離部１０１ｂにより分離された声道情報と、音源波形生成部１０８により生成された変換後の音源波形とを用いて変換後の音声の波形を合成する。逆フーリエ変換部１０７、音源波形生成部１０８および合成部１０９は、請求の範囲の合成部に対応する。

本発明の実施の形態２は、入力音声の音源の基本周波数以外の特徴（スペクトル傾斜やＯＱなど）を変えずに基本周波数のみを変換する点が実施の形態１と異なる。

（詳細構成）
図２２は、基本周波数変換部３０１の詳細な機能的構成を示すブロック図である。

基本周波数変換部３０１は、低域高調波レベル算出部２０２ｂと、高調波成分生成部３０２と、スペクトル結合部２０５とを含む。

低域高調波レベル算出部２０２ｂは、基本周波数算出部２０１ｂにより算出された基本周波数と、フーリエ変換部１０３ｂにより算出された入力音源スペクトルから、入力音源波形の高調波レベルを算出する。

高調波成分生成部３０２は、実施の形態１で説明した境界周波数（Ｆｂ）以下の周波数帯域において、低域高調波レベル算出部２０２ｂにより算出された入力音源波形の高調波レベルを、外部より入力される目標基本周波数から算出される高調波の位置に配置することにより、変換後の音源スペクトルを算出する。低域高調波レベル算出部２０２ｂおよび高調波成分生成部３０２は、請求の範囲の低域スペクトル算出部に対応する。

スペクトル結合部２０５は、高調波成分生成部３０２により生成された境界周波数（Ｆｂ）以下の周波数帯域における音源スペクトルと、フーリエ変換部１０３ｂにより得られた入力音源スペクトルのうち境界周波数（Ｆｂ）よりも大きい周波数帯域の入力音源スペクトルとを、境界周波数（Ｆｂ）において結合することにより、全域の音源スペクトルを生成する。

（動作の説明）
次に、本発明の実施の形態２に係る音高変換装置の具体的な動作について、フローチャートを用いて説明する。

音高変換装置が実行する処理は、入力音声波形から入力音源スペクトルを得る処理と、入力音源スペクトルを変換することにより入力音声波形を変換する処理とに分けられる。

前者の処理については、実施の形態１において図４を参照して説明した処理（ステップＳ１０１〜ステップＳ１０５）と同様である。このため、その詳細な説明はここでは繰り返さない。以下では、後者の処理について説明する。

図２３は、実施の形態２に係る音高変換装置の動作を示すフローチャートである。

低域高調波レベル算出部２０２ｂは、入力音源波形の高調波のレベルを算出する（ステップＳ７０１）。具体的には、低域高調波レベル算出部２０２ｂは、ステップＳ１０３で算出された入力音源波形の基本周波数と、ステップＳ１０５で算出された入力音源スペクトルとを用いて、高調波レベルを算出する。高調波は基本周波数の整数倍の位置に発生するので、低域高調波レベル算出部２０２ｂは、入力音源波形の基本周波数のｎ倍（ｎは自然数）の位置の入力音源スペクトルの強度を算出する。入力音源スペクトルをＦ（ｆ）、入力音源波形の基本周波数をＦ０とした場合、第ｎ高調波レベルＨ（ｎ）は、式２で算出される。

高調波成分生成部３０２は、ステップＳ７０１において算出された高調波レベルＨ（ｎ）を、入力された目標基本周波数Ｆ０’に基づき算出される高調波の位置に再配置する（ステップＳ７０２）。具体的には式５により高調波レベルを算出する。また、高調波位置以外のスペクトル強度は、実施の形態１と同様に補間処理により求められる。これにより、入力音源波形の基本周波数が目標基本周波数に変換された音源スペクトルが生成される。

スペクトル結合部２０５は、ステップＳ７０２において生成された音源スペクトルと、ステップＳ１０５において算出された入力音源スペクトルとを境界周波数（Ｆｂ）において結合する（ステップＳ７０３）。具体的には、境界周波数（Ｆｂ）以下の周波数帯域では、ステップＳ７０２において算出されたスペクトルを用いる。また、境界周波数（Ｆｂ）よりも大きい周波数帯域ではステップＳ１０５において算出された入力音源スペクトルのうち、境界周波数（Ｆｂ）よりも大きい周波数帯域の入力音源スペクトルを用いる。なお、境界周波数（Ｆｂ）は実施の形態１と同様の方法で決定できる。また、結合の方法も実施の形態１と同様の方法で結合すればよい。

逆フーリエ変換部１０７は、ステップＳ７０３において結合された後の音源スペクトルを逆フーリエ変換することにより時間領域に変換し、１周期分の時間波形を生成する（ステップＳ７０４）。

音源波形生成部１０８は、ステップＳ７０４で生成された１周期分の時間波形を、目標基本周波数により算出される基本周期の位置に配置する。この配置処理により１周期分の音源波形が生成される。この配置処理を基本周期ごとに繰り返すことにより、入力音声波形の基本周波数を変換した変換後の音源波形を生成することができる（ステップＳ７０５）。

合成部１０９は、音源波形生成部１０８により生成された変換後の音源波形と、声道音源分離部１０１ｂにより分離された声道情報とに基づいて、音声合成を行ない、変換後の音声波形を生成する（ステップＳ７０６）。音声合成の方法は実施の形態１と同様である。

（効果）
かかる構成によれば、音源波形の周波数帯域を分割し、低域の高調波レベルを目標基本周波数の高調波の位置に再配置することにより、音源波形が持つ自然性を保持しながら、かつ、当該音源波形が持つ音源の特徴である声門開放率およびスペクトル傾斜を保持することで音源の特徴を変えずに、基本周波数を変換することが可能となる。

図２４は、ＰＳＯＬＡ法と本実施の形態に係る音高変換方法とを比較するための図である。同図に示すように、図２４（ａ）は、入力音源スペクトルのスペクトル包絡を示すグラフである。図２４（ｂ）は、ＰＳＯＬＡ法による基本周波数変換後の音源スペクトルを示すグラフである。図２４（ｃ）は、本実施の形態による方法による変換後の音源スペクトルを示すグラフである。各グラフの横軸は周波数を表しており、縦軸はスペクトル強度を表している。また、上向き矢印が、高調波の位置を示している。変換前の基本周波数はＦ０であり、変換後の基本周波数はＦ０’である。図２４（ｂ）に示すＰＳＯＬＡ法による変換後の音源スペクトルは、図２４（ａ）に示す変換前の音源スペクトルと同様のスペクトル包絡形状を有している。しかし、第１高調波と第２高調波とのレベル差が変換前（ｇ１２＿ａ）と変換後（ｇ１２＿ｂ）とでは大きく異なっている。これに対して、図２４（ｃ）に示す本実施の形態による変換後の音源スペクトルと、図２４（ａ）に示す返還前の音源スペクトルとを比較すると、低域においては第１高調波と第２高調波とのレベル差が変換前（ｇ１２＿ａ）と変換後（ｇ１２＿ｃ）とでは同じである。このため、変換前の声門開放率を保持した声質変換を行うことができる。また、広域においては、変換前後の音源スペクトルのスペクトル包絡の形状は等しくなる。このため、スペクトル傾斜を保持した声質変換を行うことができる。

（実施の形態３）
例えば、既に収録された音声が緊張などのために力んでおり、音声の利用時には、もう少しリラックスした音声を用いたいと言う場合がある。通常このような場合は、音声を収録し直す必要がある。

本発明の実施の形態３では、このような場合に、音声を収録しなおすことなく、既に収録された音声の基本周波数を変更せずに声門開放率のみを変更することにより、声のやわらかさの印象を変えることができる。

（全体構成）
図２５は、本発明の実施の形態３における声質変換装置の機能的な構成を示すブロック図である。図２５において、図２と同じ構成要素については同じ参照符号を付し、その詳細な説明は適宜省略する。

声質変換装置は、声道音源分離部１０１ｂと、波形切出部１０２ｂと、基本周波数算出部２０１ｂと、フーリエ変換部１０３ｂと、声門開放率変換部４０１と、逆フーリエ変換部１０７と、音源波形生成部１０８と、合成部１０９とを含む。

声道音源分離部１０１ｂは、入力音声の音声波形である入力音声波形を分析して、入力音声波形を声道情報と音源情報とに分離する。分離の方法は実施の形態１と同じである。

波形切出部１０２ｂは、声道音源分離部１０１ｂにより分離された音源情報である音源波形から、波形を切り出す。

基本周波数算出部２０１ｂは、波形切出部１０２ｂにより切り出された音源波形の基本周波数を算出する。基本周波数算出部２０１ｂは、請求の範囲の基本周波数算出部に対応する。

フーリエ変換部１０３ｂは、波形切出部１０２ｂにより切り出された音源波形をフーリエ変換することにより、入力音源スペクトルを生成する。フーリエ変換部１０３ｂは、請求の範囲の音源スペクトル算出部に対応する。

声門開放率変換部４０１は、声道音源分離部１０１ｂにより分離された音源情報である入力音源波形の声門開放率を、外部から入力される目標声門開放率に変換することにより、入力音源スペクトルを生成する。声門開放率の変換方法については後述する。

逆フーリエ変換部１０７は、声門開放率変換部４０１により生成された入力音源スペクトルを逆フーリエ変換することにより、１周期分の時間波形を生成する。

音源波形生成部１０８は、逆フーリエ変換部１０７により生成された１周期分の時間波形を、基本周波数に基づいた位置に配置することにより、音源波形を生成する。音源波形生成部１０８は、この処理を基本周期ごとに繰り返すことにより、変換後の音源波形を生成する。

合成部１０９は、声道音源分離部１０１ｂにより分離された声道情報と、音源波形生成部１０８により生成された変換後の音源波形とを用いて変換後の音声の波形を合成する。逆フーリエ変換部１０７、音源波形生成部１０８および合成部１０９は、請求の範囲の合成部に対応する。

本発明の実施の形態３は、入力音源波形の基本周波数を変えずに、声門開放率（ＯＱ）のみを変換する点が実施の形態１と異なる。

（詳細構成）
図２６は、声門開放率変換部４０１の詳細な機能的構成を示すブロック図である。

声門開放率変換部４０１は、低域高調波レベル算出部２０２ｂと、高調波成分生成部４０２と、スペクトル結合部２０５とを含む。

低域高調波レベル算出部２０２ｂは、基本周波数算出部２０１ｂにより算出された基本周波数と、フーリエ変換部１０３ｂにより算出された入力音源スペクトルから、入力音源波形の高調波レベルを算出する。

高調波成分生成部４０２は、実施の形態１で説明した境界周波数（Ｆｂ）以下の周波数帯域において、外部より入力される目標声門開放率に従い決定される第１高調波レベルと第２高調波レベルとの比に等しくなるように、低域高調波レベル算出部２０２ｂにより算出された入力音源波形の高調波レベルのうち、第１高調波レベルまたは第２高調波レベルを変換することにより、変換後の音源スペクトルを生成する。

スペクトル結合部２０５は、高調波成分生成部４０２により生成された境界周波数（Ｆｂ）以下の周波数帯域における音源スペクトルと、フーリエ変換部１０３ｂにより得られた入力音源スペクトルのうち境界周波数（Ｆｂ）よりも大きい周波数帯域の入力音源スペクトルとを、境界周波数（Ｆｂ）において結合することにより、全域の音源スペクトルを生成する。

（動作の説明）
次に、本発明の実施の形態３に係る声質変換装置の具体的な動作について、フローチャートを用いて説明する。

声質変換装置が実行する処理は、入力音声波形から入力音源スペクトルを得る処理を、入力音源スペクトルを変換することにより入力音源波形を変換する処理とに分けられる。

前者の処理については、実施の形態１において図４を参照して説明した処理（ステップＳ１０１〜ステップＳ１０５）と同様である。このため、その詳細な説明はここでは繰り返さない。以下では、後者の処理について説明する。

図２７は、実施の形態３に係る声質変換装置の動作を示すフローチャートである。

低域高調波レベル算出部２０２ｂは、入力音源波形の高調波のレベルを算出する（ステップＳ８０１）。具体的には、低域高調波レベル算出部２０２ｂは、ステップＳ１０３で算出された入力音源波形の基本周波数と、ステップＳ１０５で算出された入力音源スペクトルとを用いて、高調波レベルを算出する。高調波は基本周波数の整数倍の位置に発生するので、低域高調波レベル算出部２０２ｂは、入力音源波形の基本周波数のｎ倍（ｎは自然数）の位置の入力音源スペクトルの強度を算出する。入力音源スペクトルをＦ（ｆ）、入力音源波形の基本周波数をＦ０とした場合、第ｎ高調波レベルＨ（ｎ）は、式２で算出される。

高調波成分生成部４０２は、ステップＳ８０１において算出された高調波レベルＨ（ｎ）を、入力された目標声門開放率に基づいて変換する（ステップＳ８０２）。変換の方法を以下に説明する。図１を用いて説明したように、声門開放率（ＯＱ）を小さくすれば声帯の緊張度合いを高めることができ、声門開放率（ＯＱ）を大きくすれば声帯の緊張度合いを低くすることができる。この時の、声門開放率（ＯＱ）と第２高調波レベルに対する第２高調波レベルの比との関係を、図２８に示すことができる。縦軸は、声門開放率を示し、横軸は、第１高調波レベルと第２高調波レベルとの比を示している。なお、図２８では、横軸を対数表現しているため、第１高調波レベルの対数値から第２高調波レベルの対数値を引いた値を示している。目標声門開放率に対応する第１高調波レベルの対数値から第２高調波レベルの対数値を引いた値をＧ（ＯＱ）とすると、変換後の第１高調波レベルＦ（Ｆ０）は式１２で表される。つまり、高調波成分生成部４０２は、式１６に従い第１高調波レベルＦ（Ｆ０）を変換する。

なお、実施の形態１と同様に高調波間のスペクトル強度は、補間により算出することができる。

スペクトル結合部２０５は、ステップＳ８０２において生成された音源スペクトルと、ステップＳ１０５において算出された入力音源スペクトルとを境界周波数（Ｆｂ）において結合する（ステップＳ８０３）。具体的には、境界周波数（Ｆｂ）以下の周波数帯域では、ステップＳ８０２において算出されたスペクトルを用いる。また、境界周波数（Ｆｂ）よりも大きい周波数帯域ではステップＳ１０５により算出された入力音源スペクトルのうち、境界周波数（Ｆｂ）よりも大きい周波数帯域の入力音源スペクトルを用いる。なお、境界周波数（Ｆｂ）は実施の形態１と同様の方法で決定できる。また、結合の方法も実施の形態１と同様の方法で結合すればよい。

逆フーリエ変換部１０７は、ステップＳ８０３において結合された後の音源スペクトルを逆フーリエ変換することにより時間領域に変換し、１周期分の時間波形を生成する（ステップＳ８０４）。

音源波形生成部１０８は、ステップＳ８０４で生成された１周期分の時間波形を、目標基本周波数により算出される基本周期の位置に配置する。この配置処理により１周期分の音源波形が生成される。この配置処理を基本周期ごとに繰り返すことにより、入力音声波形の基本周波数を変換した変換後の音源波形を生成することができる（ステップＳ８０５）。

合成部１０９は、音源波形生成部１０８により生成された変換後の音源波形と、声道音源分離部１０１ｂにより分離された声道情報とに基づいて、音声合成を行ない、変換後の音声波形を生成する（ステップＳ８０６）。音声合成の方法は実施の形態１と同様である。

（効果）
かかる構成によれば、入力された目標声門開放率に基づいて、第１高調波レベルを制御することにより、音源波形が保持する自然性を保持しながら、音源の特徴である声門開放率を自在に変更することが可能となる。

図２９は、本実施の形態による変換前後の音源スペクトルの一例を示す図である。図２９（ａ）は、入力音源スペクトルのスペクトル包絡を示すグラフである。図２９（ｂ）は、本実施の形態による変換後の音源スペクトルのスペクトル包絡を示すグラフである。各グラフの横軸は周波数を表しており、縦軸はスペクトル強度を表している。また、上向き矢印が、高調波の位置を示している。また、基本周波数はＦ０である。

変換前後で基本周波数Ｆ０および高域のスペクトル包絡を変えることなく、第１高調波と第２高調波のレベル差（ｇ１２＿ａ、ｇ１２＿ｂ）を変更することができている。このため、声門開放率を自在に変更することができ、声帯の緊張度のみを変更することができる。

以上、本発明に係る声質変換装置または音高変換装置について、実施の形態に従い説明したが、本発明は、これらの実施の形態に限定されるものではない。

例えば、実施の形態１〜３で説明した各装置は、コンピュータにより実現することが可能である。

図３０は、上記各装置の外観図である。各装置は、コンピュータ３４と、コンピュータ３４に指示を与えるためのキーボード３６およびマウス３８と、コンピュータ３４の演算結果等の情報を提示するためのディスプレイ３７と、コンピュータ３４で実行されるコンピュータプログラムを読み取るためのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）装置４０および通信モデム（図示せず）とを含む。

声質を変換するためのコンピュータプログラムまたは音高を変換するためのコンピュータプログラムは、コンピュータで読取可能な媒体であるＣＤ−ＲＯＭ４２に記憶され、ＣＤ−ＲＯＭ装置４０で読み取られる。または、コンピュータネットワーク２６を通じて通信モデムで読み取られる。

図３１は、各装置のハードウェア構成を示すブロック図である。コンピュータ３４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４４と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４６と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４８と、ハードディスク５０と、通信モデム５２と、バス５４とを含む。

ＣＰＵ４４は、ＣＤ−ＲＯＭ装置４０または通信モデム５２を介して読み取られたコンピュータプログラムを実行する。ＲＯＭ４６は、コンピュータ３４の動作に必要なコンピュータプログラムやデータを記憶する。ＲＡＭ４８は、コンピュータプログラム実行時のパラメータなどのデータを記憶する。ハードディスク５０は、コンピュータプログラムやデータなどを記憶する。通信モデム５２は、コンピュータネットワーク２６を介して他のコンピュータとの通信を行なう。バス５４は、ＣＰＵ４４、ＲＯＭ４６、ＲＡＭ４８、ハードディスク５０、通信モデム５２、ディスプレイ３７、キーボード３６、マウス３８およびＣＤ−ＲＯＭ装置４０を相互に接続する。

ＲＡＭ４８またはハードディスク５０には、コンピュータプログラムが記憶されている。ＣＰＵ４４が、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、ＲＡＭ４８またはハードディスク５０には、コンピュータプログラム実行時の中間データ等の各種データが記憶される。

さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。

また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている上記デジタル信号であるとしても良い。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしても良い。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明に係る音声分析合成装置および声質変換装置は、音源の特徴を変形することにより、高品質に声質を変換する機能を有し、種々の声質を必要とするユーザインタフェース装置や、エンターテイメント装置等として有用である。また、携帯電話などによる音声通信におけるボイスチェンジャー等の用途にも応用できる。

１０１ａ、１０１ｂ 声道音源分離部
１０２ａ、１０２ｂ 波形切出部
１０３ａ、１０３ｂ フーリエ変換部
１０４ 目標音源情報記憶部
１０５ 目標音源情報取得部
１０６ 音源情報変形部
１０７ 逆フーリエ変換部
１０８ 音源波形生成部
１０９ 合成部
２０１ａ、２０１ｂ 基本周波数算出部
２０２ａ、２０２ｂ 低域高調波レベル算出部
２０３ 高調波レベル混合部
２０４ 高域スペクトル包絡混合部
２０５ スペクトル結合部
３０１ 声道情報変換部
３０２、４０２ 高調波成分生成部
４０１ 声門開放度変換部

本発明は、入力音声の声質を変換する声質変換装置および入力音声の音の高さを変換する音高変換装置に関する。

近年、音声合成技術の発達により、非常に高音質な合成音を作成することが可能となってきた。

しかしながら、従来の合成音の用途はニュース文をアナウンサー調で読み上げる等の画一的な用途が中心であった。

一方で、携帯電話のサービスなどでは、着信音の代わりに有名人の音声メッセージを用いるといったサービスが提供されるなど、特徴のある音声（個人再現性の高い合成音や、女子高校生風や関西弁風などの特徴的な韻律・声質を持つ合成音）が一つのコンテンツとして流通しはじめている。このように、個人間のコミュニケーションにおける楽しみを増やすために、特徴的な音声を作って相手に聞かせることに対する要求が高まることが考えられる。

従来の音声合成方法として、音声を分析し、分析したパラメータを元に音声を合成する分析合成型音声合成方法が知られている。分析合成型音声合成方法では、音声の生成原理に基づいて音声を分析することにより、音声信号を、声道情報を示すパラメータ（以下、適宜「声道情報」という。）と音源情報を示すパラメータ（以下、適宜「音源情報」という。）とに分離する。また、分析合成型音声合成方法では、分離されたパラメータをそれぞれ変形することにより、合成音の声質を変換することが可能である。この音声の分析には、音源・声道モデルと呼ばれるモデルが使用される。

このような分析合成型音声合成方法では、入力された文章に対し、目標の声質を持つ少量の音声（例えば母音音声）を用いて入力音声の話者特徴のみを変換することが可能である。入力された音声は、一般に自然な時間的動きを保持しているが、目標声質の少量音声（孤立母音発声など）は時間的動きをあまり持たない。この２種類の音声を用いて声質変換する場合、入力音声が持つ時間的動き（動的特徴）を保持しながら、目標声質音声が持つ話者特徴（静的特徴）への変換が必要である。これを解決するために特許文献１では、声道情報に関して、入力音声と目標声質音声との間でモーフィングを行なうことにより、入力音声の動的な特徴を保持しながら、目標声質音声の静的な特徴を再現することを行なっている。このような変換を音源情報の変換においても実施できれば、より目標声質に近い音声を得ることができる。

また、音声合成技術において、音源情報を示す音源波形を生成する方法として、音源モデルを用いるものがある。例えば、Ｒｏｓｅｎｂｅｒｇ Ｋｌａｔｔモデル（ＲＫモデル）という音源モデルが知られている（例えば、非特許文献１参照。）。

この方法は、音源波形を時間領域でモデル化し、モデルパラメータに基づいて音源波形を生成するものである。ＲＫモデルを用いれば、モデルパラメータを変形することにより、柔軟に音源特徴を変換することができる。

ＲＫモデルにより時間領域でモデル化された音源波形（ｒ）を式１に示す。

ここで、ｔは連続時間を、Ｔ_ｓは標本化周期を、ｎはＴ_ｓごとの離散時間をそれぞれ表す。また、ＡＶ（Ａｍｐｌｉｔｕｄｅ ｏｆ Ｖｏｉｃｅ）は有声音源振幅を、ｔ_０は基本周期を、ＯＱ（Ｏｐｅｎ Ｑｕａｎｔｉｔｙ）は基本周期に対する声門が開いている時間の割合をそれぞれ表す。ηはそれらの集合を表す。

特許第４２４６７９２号公報

"Ａｎａｌｙｓｉｓ，ｓｙｎｔｈｅｓｉｓ，ａｎｄ ｐｅｒｃｅｐｔｉｏｎ ｏｆ ｖｏｉｃｅ ｑｕａｌｉｔｙ ｖａｒｉａｔｉｏｎｓ ａｍｏｎｇ ｆｅｍａｌｅ ａｎｄ ｍａｌｅ ｔａｌｋｅｒｓ"，Ｊａｒｎａｌ ｏｆ Ａｃｏｓｔｉｃｓ Ｓｏｃｉｅｔｙ Ａｍｅｒｉｃａ， ８７（２），Ｆｅｂｒｕａｒｙ １９９０，ｐｐ．８２０−８５７

本来、微細な構造を持つ音源波形をＲＫモデルでは比較的単純なモデルで表現しているため、モデルパラメータを変形することにより声質を柔軟に変更できるという利点がある。しかしながら、その反面、モデルの表現能力不足により、実際の音源波形のスペクトルである音源スペクトルの微細な構造を十分に再現することができない。結果として合成音の音質は肉声感が不足したいわゆる合成音的なものになるという課題がある。

本発明は、上述の課題を解決するためになされたものであり、音源スペクトルの形状の変換または音源波形の基本周波数の変換を行ったとしても、不自然な音質変化を起こさない声質変換装置および音高変換装置を提供することを目的とする。

本発明のある局面に係る声質変換装置は、入力音声の声質を変換する声質変換装置であって、入力音声波形の音源情報を示す入力音源波形の基本周波数と、目標音声波形の音源情報を示す目標音源波形の基本周波数との、所定の変換比率に従った重み付け和を、変換後の基本周波数として算出する基本周波数変換部と、前記基本周波数変換部で算出される前記変換後の基本周波数に対応する境界周波数以下の周波数帯域において、入力音声の音源スペクトルである入力音源スペクトルおよび目標音声の音源スペクトルである目標音源スペクトルを用いて、基本波を含む高調波の次数ごとに前記入力音源波形の高調波のレベルと前記目標音源波形の高調波のレベルとを前記所定の変換比率で混合することにより得られる、前記変換後の基本周波数を基本周波数とする高調波のレベルを有する低域の音源スペクトルを算出する低域スペクトル算出部と、前記境界周波数よりも大きい周波数帯域において、前記入力音源スペクトルおよび前記目標音源スペクトルを、前記所定の変換比率で混合することにより、高域の音源スペクトルを算出する高域スペクトル算出部と、前記低域の音源スペクトルと前記高域の音源スペクトルとを、前記境界周波数において結合することにより、全域の音源スペクトルを生成するスペクトル結合部と、前記全域の音源スペクトルを用いて、変換後の音声の波形を合成する合成部とを備える。

かかる構成によれば、境界周波数以下の周波数帯域においては、声質を特徴付ける高調波のレベルを個々に制御して入力音源スペクトルを変換することができる。また、境界周波数よりも大きい周波数帯域においては、声質を特徴付けるスペクトル包絡の形状の変換を行うことにより入力音源スペクトルを変換することができる。このため、不自然な音質変化を起こすことなく、入力音声の声質を変換した音声を合成することができる。

好ましくは、前記入力音声波形および前記目標音声波形は、同一の音素の音声波形である。

さらに好ましくは、前記入力音声波形および前記目標音声波形は、同一の音素の音源波形であり、かつ前記同一の音素内の同一の時間的な位置における音声波形である。

このように目標音源波形を選択することにより、入力音源波形の変換時に不自然な変換を起こすことがない。このため、不自然な音質変化を起こすことなく入力音声の声質を変換することができる。

本発明の他の局面に係る音高変換装置は、入力音声の音高を変換する音高変換装置であって、入力音声の音源情報を示す入力音源波形に基づいて、入力音声の音源スペクトルである入力音源スペクトルを算出する音源スペクトル算出部と、前記入力音源波形に基づいて、前記入力音源波形の基本周波数を算出する基本周波数算出部と、所定の目標基本周波数に対応する境界周波数以下の周波数帯域において、前記入力音源波形の基本周波数が前記所定の目標基本周波数に一致し、かつ変換の前後において基本波を含む高調波のレベルが等しくなるように前記入力音源スペクトルを変換することにより低域の音源スペクトルを算出する低域スペクトル算出部と、前記低域の音源スペクトルと、前記境界周波数よりも大きい周波数帯域における前記入力音源スペクトルとを、前記境界周波数において結合することにより、全域の音源スペクトルを生成するスペクトル結合部と、前記全域の音源スペクトルを用いて、変換後の音声の波形を合成する合成部とを備える。

かかる構成によれば、音源波形の周波数帯域を分割し、低域の高調波レベルを目標基本周波数の高調波の位置に再配置する。これにより、音源波形が持つ自然性を保持しながら、当該音源波形が持つ音源の特徴である声門開放率およびスペクトル傾斜を保持することができる。よって、音源の特徴を変えずに、基本周波数を変換することが可能となる。

本発明のさらに他の局面に係る音高変換装置は、入力音声の声質を変換する声質変換装置であって、入力音声の音源情報を示す入力音源波形に基づいて、入力音声の音源スペクトルである入力音源スペクトルを算出する音源スペクトル算出部と、前記入力音源波形に基づいて、前記入力音源波形の基本周波数と、目標音声波形の音源情報を示す目標音源波形の基本周波数との、所定の変換比率に従った重み付け和を、変換後の基本周波数として算出する基本周波数算出部と、声門開放率と、第１高調波のレベルと第２高調波のレベルとの比との関係を示すデータを参照し、所定の声門開放率に対応する第１高調波のレベルと第２高調波のレベルとの比を決定するレベル比決定部と、前記基本周波数変換部で算出される前記変換後の基本周波数に対応する境界周波数以下の周波数帯域において、前記入力音源波形の基本周波数に基づいて定められる前記入力音源波形の第１高調波のレベルと第２高調波のレベルとの比が、前記レベル比決定部で決定された前記比に一致するように、前記入力音源波形の第１高調波のレベルを変換することにより、変換後の音声の音源スペクトルを生成する低域スペクトル生成部と、前記低域スペクトル生成部が生成した前記音源スペクトルと、前記境界周波数よりも大きい周波数帯域における前記入力音源スペクトルとを、前記境界周波数において結合したスペクトルを用いて、変換後の音声の波形を合成する合成部とを備える。

かかる構成によれば、所定の声門開放率に基づいて、第１高調波（基本波）のレベルを制御することにより、音源波形が保持する自然性を保持しながら、音源の特徴である声門開放率を自在に変更することが可能となる。

なお、本発明は、このような特徴的な処理部を備える声質変換装置または音高変換装置として実現することができるだけでなく、声質変換装置または音高変換装置に含まれる特徴的な処理部をステップとする声質変換方法または音高変換方法として実現することができる。また、声質変換方法または音高変換方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明によると、音源スペクトルの形状の変換または音源波形の基本周波数の変換を行ったとしても、不自然な音質変化を起こさない声質変換装置および音高変換装置を提供することができる。

図１は、声帯の状態による、音源波形、微分音源波形および音源スペクトルの違いを示す図である。 図２は、本発明の実施の形態１における声質変換装置の機能的な構成を示すブロック図である。 図３は、音源情報変形部の詳細な機能的な構成を示すブロック図である。 図４は、本発明の実施の形態１における音声波形から音源スペクトル包絡を得る処理のフローチャートである。 図５は、ピッチマークを付与した音源波形の一例を示す図である。 図６は、波形切出部により切り出された音源波形およびフーリエ変換部により変換された音源スペクトルの例を示す図である。 図７は、本発明の実施の形態１における入力音源スペクトルおよび目標音源スペクトルを用いて、入力音声波形を変換する処理のフローチャートである。 図８は、周波数ごとの臨界帯域幅を示す図である。 図９は、周波数による臨界帯域幅の違いを説明するための図である。 図１０は、臨界帯域幅における音源スペクトルの結合について説明するための図である。 図１１は、本発明の実施の形態１における低域混合処理（図７のＳ２０１）の流れを示すフローチャートである。 図１２は、高調波レベル混合部の動作例を示す図である。 図１３は、高調波レベル混合部による音源スペクトルの補間例を示す図である。 図１４は、高調波レベル混合部による音源スペクトルの補間例を示す図である。 図１５は、本発明の実施の形態１における周波数伸縮による低域混合処理（図７のＳ２０１）の流れを示すフローチャートである。 図１６は、本発明の実施の形態１における高域混合処理の流れを示すフローチャートである。 図１７は、高域スペクトル包絡混合部の動作例を示す図である。 図１８は、本発明の実施の形態１における高域のスペクトル包絡を混合する処理のフローチャートである。 図１９は、ＰＳＯＬＡ法による基本周波数変換法の概念図である。 図２０は、ＰＳＯＬＡ法により基本周波数を変更した場合の高調波レベルの変化を表す図である。 図２１は、本発明の実施の形態２における音高変換装置の機能的な構成を示すブロック図である。 図２２は、本発明の実施の形態２における基本周波数変換部の機能的な構成を示すブロック図である。 図２３は、本発明の実施の形態２における音高変換装置の動作を示すフローチャートである。 図２４は、ＰＳＯＬＡ法と実施の形態２による音高変換方法とを比較するための図である。 図２５は、本発明の実施の形態３における声質変換装置の機能的な構成を示すブロック図である。 図２６は、本発明の実施の形態３における声門開放率変換部の機能的な構成を示すブロック図である。 図２７は、本発明の実施の形態３における声質変換装置の動作を示すフローチャートである。 図２８は、声門開放率と音源スペクトルの第１高調波の対数値と第２高調波の対数値のレベル差を表す図である。 図２９は、実施の形態３による変換前後の音源スペクトルの一例を示す図である。 図３０は、声質変換装置または音高変換装置の外観図である。 図３１は、声質変換装置または音高変換装置のハードウェア構成を示すブロック図である。

個人間のコミュニケーションにおける楽しみを増やすために、特徴的な音声の生成を声質を変えることにより実現する場合、男性から女性へ、あるいは女性から男性へといった性別を跨ぐ音声の変換を行ないたい場合がある。また、音声における緊張度合いを変換したい場合もある。

音声の生成原理に基づけば、音声における音源波形は声帯の開閉により生成される。このため、声帯の生理的な状態に応じて声質が異なる。例えば、声帯の緊張度合いを高める場合、声帯が強く閉じられることとなる。このため、図１（ａ）に示すように音源波形を微分した微分音源波形のピークが鋭くなり、微分音源波形がインパルスに近づく。つまり、声門開放区間３０が短くなる。一方、声帯の緊張度合いを低くした場合には、声帯が完全に閉じなくなり、微分音源波形のピークは緩やかになり、図１（ｃ）に示すように、微分音源波形が正弦波に近づくことが知られている。つまり、声門開放区間３０が長くなる。図１（ｂ）は、図１（ａ）と図１（ｃ）の中間の緊張度合いにおける音源波形、微分音源波形および音源スペクトルを示している。

上述のＲＫモデルを用いると、声門開放率（ＯＱ）を小さくすれば図１（ａ）に示すような音源波形を生成することができ、ＯＱを大きくすれば図１（ｃ）に示すような音源波形を生成することができる。また、ＯＱを中程度（例えば０．６）にすれば図１（ｂ）に示すような音源波形を生成することができる。

このように、音源波形をモデル化し、パラメータ表現すれば、そのパラメータを変化させることにより、声質を変えることができる。例えば、ＯＱパラメータを大きくすることにより、声帯の緊張度が低い状態を表現することができる。また、ＯＱパラメータを小さくすることにより声帯の緊張度が高い状態を表現することができる。しかし、ＲＫモデルはモデルが単純なため、本来音源が持っている微細なスペクトル構造を表現することができない。

以下では、音源が持つ微細構造を保持しながら、音源特徴を変更することにより、柔軟で高音質な声質変換を行うことができる声質変換装置について、図面を参照しながら説明する。

（実施の形態１）
図２は、本発明の実施の形態１における声質変換装置の機能的な構成を示すブロック図である。

（全体構成）
声質変換装置は、入力音声の声質を目標音声の声質に所定の変換比率で変換する装置であって、声道音源分離部１０１ａと、波形切出部１０２ａと、基本周波数算出部２０１ａと、フーリエ変換部１０３ａと、目標音源情報記憶部１０４と、声道音源分離部１０１ｂと、波形切出部１０２ｂと、基本周波数算出部２０１ｂと、フーリエ変換部１０３ｂとを含む。また、声質変換装置は、目標音源情報取得部１０５と、音源情報変形部１０６と、逆フーリエ変換部１０７と、音源波形生成部１０８と、合成部１０９とを含む。

声道音源分離部１０１ａは、目標音声の音声波形である目標音声波形を分析して、目標音声波形を声道情報と音源情報とに分離する。

波形切出部１０２ａは、声道音源分離部１０１ａにより分離された音源情報である音源波形から、波形を切り出す。波形の切り出し方については後述する。

基本周波数算出部２０１ａは、波形切出部１０２ａにより切り出された音源波形の基本周波数を算出する。基本周波数算出部２０１ａは、請求の範囲の基本周波数算出部に対応する。

フーリエ変換部１０３ａは、波形切出部１０２ａにより切り出された音源波形をフーリエ変換することにより、目標音声の音源スペクトル（以下、「目標音源スペクトル」という。）を生成する。フーリエ変換部１０３ａは、請求の範囲の音源スペクトル算出部に対応する。なお、周波数変換方法はフーリエ変換に限定されるものではなく、離散コサイン変換、ウェーブレット変換等の他の周波数変換方法であっても良い。

目標音源情報記憶部１０４は、フーリエ変換部１０３ａにより生成された目標音源スペクトルを保持する記憶装置であり、具体的にはハードディスク装置になどにより構成される。なお、目標音源情報記憶部１０４は、基本周波数算出部２０１ａで算出された音源波形の基本周波数も目標音源スペクトルと合わせて保持する。

声道音源分離部１０１ｂは、入力音声の音声波形である入力音声波形を分析して、入力音声波形を声道情報と音源情報とに分離する。

波形切出部１０２ｂは、声道音源分離部１０１ｂにより分離された音源情報である音源波形から、波形を切り出す。波形の切り出し方については後述する。

基本周波数算出部２０１ｂは、波形切出部１０２ｂにより切り出された音源波形の基本周波数を算出する。基本周波数算出部２０１ｂは、請求の範囲の基本周波数算出部に対応する。

フーリエ変換部１０３ｂは、波形切出部１０２ｂにより切り出された音源波形をフーリエ変換することにより、入力音声の音源スペクトル（以下、「入力音源スペクトル」という。）を生成する。フーリエ変換部１０３ｂは、請求の範囲の音源スペクトル算出部に対応する。なお、周波数変換方法はフーリエ変換に限定されるものではなく、離散コサイン変換、ウェーブレット変換等の他の周波数変換方法であっても良い。

目標音源情報取得部１０５は、波形切出部１０２ｂにより切り出された入力音声の音源波形（以下、「入力音源波形」という。）に対応する目標音源スペクトルを目標音源情報記憶部１０４から取得する。例えば、目標音源情報取得部１０５は、入力音源波形と同じ音素の目標音声の音源波形（以下、「目標音源波形」という。）から生成された目標音源スペクトルを取得する。より好ましくは、目標音源情報取得部１０５は、入力音源波形と同じ音素でかつ音素内の時間的な位置が同じである目標音源波形から生成された目標音源スペクトルを取得する。また、目標音源情報取得部１０５は、目標音源スペクトルと共に、当該目標音源スペクトルに対応する目標音源波形の基本周波数を取得する。このように目標音源波形を選択することにより、入力音源波形の変換時に不自然な変換を起こすことが無く、不自然な音質変化を起こすことなく入力音声の声質を変換することができる。

音源情報変形部１０６は、入力音源スペクトルを、目標音源情報取得部１０５が取得した目標音源スペクトルに、所定の変換比率で変形する。

逆フーリエ変換部１０７は、音源情報変形部１０６による変形後の音源スペクトルを逆フーリエ変換することにより、１周期分の時間領域における波形（以下、「時間波形」という。）を生成する。なお、逆変換の方法は、逆フーリエ変換に限定されるものではなく、逆離散コサイン変換、逆ウェーブレット変換等の他の変換方法であっても良い。

音源波形生成部１０８は、逆フーリエ変換部１０７により生成された時間波形を、基本周波数に基づいた位置に配置することにより、音源波形を生成する。音源波形生成部１０８は、この処理を基本周期ごとに繰り返すことにより、変換後の音源波形を生成する。

合成部１０９は、声道音源分離部１０１ｂにより分離された声道情報と、音源波形生成部１０８により生成された変換後の音源波形とを用いて変換後の音声の波形を合成する。逆フーリエ変換部１０７、音源波形生成部１０８および合成部１０９は、請求の範囲の合成部に対応する。

（詳細構成）
図３は、音源情報変形部１０６の詳細な機能的構成を示すブロック図である。

図３において、図２と同じ構成については、説明を省略する。

音源情報変形部１０６は、低域高調波レベル算出部２０２ａと、低域高調波レベル算出部２０２ｂと、高調波レベル混合部２０３と、高域スペクトル包絡混合部２０４と、スペクトル結合部２０５とを含む。

低域高調波レベル算出部２０２ａは、入力音源波形の基本周波数と入力音源スペクトルから、入力音源波形の高調波レベルを算出する。ここで、高調波レベルとは、音源スペクトルにおける、基本周波数の整数倍の周波数におけるスペクトル強度のことである。なお、本明細書および請求の範囲において、高調波には基本波が含まれるものとする。

低域高調波レベル算出部２０２ｂは、目標音源情報取得部１０５が取得した目標音源波形の基本周波数と目標音源スペクトルから、目標音源波形の高調波レベルを算出する。

高調波レベル混合部２０３は、後述する境界周波数以下の周波数帯域において、低域高調波レベル算出部２０２ｂにより算出された入力音源波形の高調波レベルと低域高調波レベル算出部２０２ａにより算出された目標音源波形の高調波レベルとを、外部から入力された変換比率ｒで混合することにより、変換後の高調波レベルを作成する。また、高調波レベル混合部２０３は、入力音声波形の基本周波数と目標音源波形の基本周波数とを変換比率ｒで混合することにより、変換後の基本周波数を作成する。さらに、高調波レベル混合部２０３は、変換後の基本周波数から算出される高調波の周波数に、変換後の高調波レベルを配置することにより、変換後の音源スペクトルを算出する。高調波レベル混合部２０３は、請求の範囲の基本周波数変換部および低域スペクトル算出部に対応する。

高域スペクトル包絡混合部２０４は、境界周波数よりも大きい周波数帯域において、入力音源スペクトルと目標音源スペクトルとを、変換比率ｒで混合することにより、変換後の音源スペクトルを算出する。高域スペクトル包絡混合部２０４は、請求の範囲の高域スペクトル算出部に対応する。

スペクトル結合部２０５は、高調波レベル混合部２０３により算出された境界周波数以下の周波数帯域における音源スペクトルと、高域スペクトル包絡混合部２０４により算出された境界周波数よりも大きい周波数帯域における音源スペクトルとを、境界周波数において結合することにより、全域の音源スペクトルを生成する。スペクトル結合部２０５は、請求の範囲のスペクトル結合部に対応する。

以上のように、低域部と高域部とで、それぞれ音源スペクトルを混合することにより、音源の声質特徴が変換比率ｒで混合された音源スペクトルを得ることができる。

（動作の説明）
次に、本発明の実施の形態１に係る声質変換装置の具体的な動作について、フローチャートを用いて説明する。

声質変換装置が実行する処理は、音声波形から音源スペクトルを得る処理と、音源スペクトルを変換することにより入力音声波形を変換する処理とに分かれる。まず、前者の処理について説明し、その後、後者の処理について説明する。

図４は、音声波形から音源スペクトル包絡を得る処理のフローチャートである。

声道音源分離部１０１ａは、目標音声波形から、声道情報と音源情報とを分離する。また、声道音源分離部１０１ｂは、入力音声波形から、声道情報と音源情報とを分離する（ステップＳ１０１）。分離の方法は特に限定するものではないが、例えば、音源モデルを仮定し、声道情報と音源情報を同時に推定可能なＡＲＸ分析（Ａｕｔｏｒｅｇｒｅｓｓｉｖｅ ｗｉｔｈ ｅｘｏｇｅｎｏｕｓ ｉｎｐｕｔ）を用いて、声道情報を分析する。さらに、分析された声道情報から声道の逆特性を持つフィルタを構成して、入力された音声信号から逆フィルタ音源波形を取り出し、音源情報として用いればよい（非特許文献：「音源パルス列を考慮した頑健なＡＲＸ音声分析法」日本音響学会誌５８巻７号（２００２年），ｐｐ．３８６−３９７）。なお、ＡＲＸ分析の代わりにＬＰＣ分析（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ）を用いてもよい。また、その他の分析により声道情報と音源情報を分離するようにしても良い。

波形切出部１０２ａは、ステップＳ１０１で分離された目標音声波形の音源情報を示す目標音源波形に対して、ピッチマークを付与する。また、波形切出部１０２ｂは、ステップＳ１０１で分離された入力音声波形の音源情報を示す入力音源波形に対して、ピッチマークを付与する（ステップＳ１０２）。具体的には、音源波形（目標音源波形または入力音源波形）に対して、基本周期ごとに特徴点を付与する。例えば、特徴点として、声門閉鎖点（ＧＣＩ：Ｇｌｏｔｔａｌ Ｃｌｏｓｕｒｅ Ｉｎｓｔａｎｔ）を用いる。ただし、特徴点はこれに限定されるものでなく、基本周期間隔で繰り返し出現する点であれば良い。図５は、ＧＣＩを用いてピッチマークを付与した音源波形のグラフである。横軸は時間を示し、縦軸は振幅を示す。また、破線の箇所がピッチマークの位置を示す。音源波形のグラフにおいて、振幅の極小点が声門閉鎖点と一致する。なお、特徴点としては、音声波形の振幅のピーク位置（極大点）であっても良い。

基本周波数算出部２０１ａは、目標音源波形の基本周波数を算出する。また、基本周波数算出部２０１ｂは、入力音源波形の基本周波数を算出する（ステップＳ１０３）。基本周波数の算出方法は特に限定しないが、例えば、ステップＳ１０２で付与されたピッチマーク同士の間隔から算出するようにすれば良い。ピッチマーク同士の間隔が基本周期に相当するため、その逆数を算出することにより基本周波数を算出することができる。または、自己相関法などの基本周波数算出方法を用いて、入力音源波形または目標音源波形から基本周波数を算出しても良い。

波形切出部１０２ａは、目標音源波形より２周期分の目標音源波形を切り出す。また、波形切出部１０２ｂは、入力音源波形より２周期分の入力音源波形を切り出す（ステップＳ１０４）。具体的には、着目しているピッチマークを中心として、前後に基本周波数算出部２０１ａで算出した基本周波数に対応する基本周期分の音源波形を切り出す。つまり、図５に示すグラフにおいて、区間Ｓ１内の音源波形が切り出される。

フーリエ変換部１０３ａは、ステップＳ１０４で切り出された目標音源波形をフーリエ変換することにより目標音源スペクトルを生成する。また、フーリエ変換部１０３ｂは、ステップＳ１０４で切り出された入力音源波形をフーリエ変換することにより入力音源スペクトルを生成する（ステップＳ１０５）。このとき、切り出された音源波形に基本周期の２倍の長さのハニング窓を掛けた上で、フーリエ変換することにより、高調波成分の谷が埋められ、音源スペクトルのスペクトル包絡を得ることができる。これにより、基本周波数の影響を除去することができる。図６（ａ）は、ハニング窓を掛けない場合の音源波形（時間領域）およびその音源スペクトル（周波数領域）の一例を示す図である。図６（ｂ）は、ハニング窓を掛けた場合の音源波形（時間領域）およびその音源スペクトル（周波数領域）の一例を示す図である。このように、ハニング窓を掛けることにより、音源スペクトルのスペクトル包絡が得られることがわかる。なお、窓関数は、ハニング窓に限定されるものではなく、ハミング窓、ガウス窓などの他の窓関数であっても良い。

以上説明したステップＳ１０１からステップＳ１０５の処理により、入力音声波形および目標音声波形から入力音源スペクトルおよび目標音源波形をそれぞれ算出することができる。

次に、入力音声波形の変換処理について説明する。

図７は、入力音源スペクトルおよび目標音源スペクトルを用いて、入力音声波形を変換する処理のフローチャートである。

低域高調波レベル算出部２０２ａ、低域高調波レベル算出部２０２ｂおよび高調波レベル混合部２０３は、後述する境界周波数（Ｆｂ：Ｂｏｕｎｄａｌｙ Ｆｒｅｑｕｅｎｃｙ）以下の周波数帯域において、入力音源スペクトルおよび目標音源スペクトルを混合することにより、変換後音声波形の低域の音源スペクトルを生成する（ステップＳ２０１）。混合方法については後述する。

高域スペクトル包絡混合部２０４は、境界周波数（Ｆｂ）よりも大きい周波数帯域において、入力音源スペクトルおよび目標音源スペクトルを混合することにより、変換後音声波形の高域の音源スペクトルを生成する（ステップＳ２０２）。混合方法については後述する。

スペクトル結合部２０５は、ステップＳ２０１で生成された低域の音源スペクトルと、ステップＳ２０２で生成された高域の音源スペクトルとを結合することにより、変換後音声の全域の音源スペクトルを生成する（ステップＳ２０３）。具体的には、全域の音源スペクトルにおいて、境界周波数（Ｆｂ）以下の周波数帯域ではステップＳ２０１で生成された低域の音源スペクトルを用い、境界周波数（Ｆｂ）よりも大きい周波数帯域ではステップＳ２０２で生成された高域の音源スペクトルを用いる。

ここで、境界周波数（Ｆｂ）は、後述する変換後の基本周波数に基づいて、例えば以下の方法で決定される。

図８は、人間の聴覚特性の一つである臨界帯域幅を示すグラフである。横軸は周波数を表し、縦軸は臨界帯域幅を表している。

臨界帯域幅とは、その周波数の純音に対するマスキングに寄与する周波数の範囲である。すなわち、ある周波数における臨界帯域幅内に含まれる二つの音（周波数の差の絶対値が臨界帯域幅以下の二つの音）は互いに加算され、音の大きさ（ｌｏｕｄｎｅｓｓ）が大きくなったと知覚される。これに対して、臨界帯域幅よりも遠い間隔に位置する二つの音（周波数の差の絶対値が臨界帯域幅よりも大きい二つの音）はそれぞれ別の音として知覚され、音の大きさ（ｌｏｕｄｎｅｓｓ）が大きくなったとは知覚されない。例えば、１００Ｈｚの純音に対しては、臨界帯域幅は１００Ｈｚである。このため、その純音から１００Ｈｚ以内で離れた音（例えば１５０Ｈｚの音）が、純音に付加された場合、１００Ｈｚの純音が大きくなったように知覚される。

図９に上記のことを模式的に示す。横軸は周波数、縦軸は音源スペクトルのスペクトル強度を示す。また、上向きの矢印は高調波を示し、破線は音源スペクトルのスペクトル包絡を表している。そして、横に並んだ長方形が各周波数帯域での臨界帯域幅を意味する。同図中の区間Ｂｃが、ある周波数帯域での臨界帯域幅を表している。この図で５００Ｈｚよりも大きい周波数帯域では、一つの長方形の領域中に複数の高調波が存在する。ところが５００Ｈｚ以下の周波数帯域では、一つの長方形の中に高調波がたかだか一つしか存在しない。

一つの長方形の中にある複数の高調波は、互いに音量が加算される関係にあり、それらは固まりとして知覚される。一方、一つ一つの高調波が別々の長方形に配置される領域では、個々の高調波は別の音として知覚されるという性質を帯びる。このように、ある周波数よりも大きい周波数帯域では高調波が固まりとして知覚され、ある周波数以下の周波数帯域では個々の高調波が別々に知覚されることになる。

個々の高調波が別々に知覚されない周波数帯域ではスペクトル包絡が再現できていれば音質が維持できることになる。このため、この周波数帯域ではスペクトル包絡の形状が声質を特徴付けると考えることができる。一方、個々の高調波が別々に知覚される周波数帯域では個々の高調波のレベルを制御する必要がある。このため、この周波数帯域では個々の高調波のレベルが声質を特徴付けると考えることができる。高調波の周波数間隔は基本周波数の値と等しい。このため、個々の高調波が別々に知覚されない周波数帯域と、個々の高調波が別々に知覚される周波数帯域との境界の周波数は、変換後の基本周波数の大きさと臨界帯域幅の大きさとが一致するときの、当該臨界帯域幅に対応する周波数（図８のグラフより導き出される周波数）である。

このように聴覚特性を用いることにより、変換後の基本周波数の大きさと臨界帯域幅の大きさとが一致するときの、臨界帯域幅に対応する周波数が境界周波数（Ｆｂ）と決定される。つまり、基本周波数と境界周波数とを対応付けることができる。スペクトル結合部２０５は、高調波レベル混合部２０３により生成された低域の音源スペクトルと、高域スペクトル包絡混合部２０４により生成された高域の音源スペクトルスペクトルとを、境界周波数（Ｆｂ）において結合することができる。

例えば、高調波レベル混合部２０３は、予め図８に示すような臨界帯域幅の特性をデータテーブルとして保持し、基本周波数に基づいて、境界周波数（Ｆｂ）を決定するようにすれば良い。また、高調波レベル混合部２０３は、決定した境界周波数（Ｆｂ）を高域スペクトル包絡混合部２０４およびスペクトル結合部２０５に出力するようにすれば良い。

なお、基本周波数から境界周波数を決定するための規則データは、図８に示したような周波数と臨界帯域幅との関係を示すデータテーブルに限定されるものではなく、例えば、周波数と臨界帯域幅との関係を示す関数であってもよい。また、基本周波数と臨界帯域幅との関係を示すデータテーブルまたは関数であってもよい。

なお、スペクトル結合部２０５は、境界周波数（Ｆｂ）付近では、低域の音源スペクトルと高域の音源スペクトルとを混合して結合するようにしても良い。結合後の全域の音源スペクトルの例を図１０に示す。実線は、結合して生成された全域の音源スペクトルのスペクトル包絡を示す。また、音源波形生成部１０８によって結果的に生成される高調波を上向きの破線の矢印で表し、重ね合わせて描いてある。図１０に示すように、スペクトル包絡は境界周波数（Ｆｂ）より高い周波数帯域ではなめらかな形状をしている。しかし、境界周波数（Ｆｂ）以下の周波数帯域では高調波のレベルが制御できればよいので、図１０のように階段状のスペクトル包絡としておけば十分である。もちろん、高調波のレベルが結果的に正しく制御できるのであれば、包絡として生成するべき形状はどのようなものでも構わない。

再度図７を参照して、逆フーリエ変換部１０７は、ステップＳ２０３により結合された後の音源スペクトルを逆フーリエ変換することにより時間領域の表現に変換し、１周期分の時間波形を生成する（ステップＳ２０４）。

音源波形生成部１０８は、ステップＳ２０４で生成された１周期分の時間波形を、変換後の基本周波数により算出される基本周期の位置に配置する。この配置処理により１周期分の音源波形が生成される。この配置処理を基本周期ごとに繰り返すことにより、入力音声波形に対する変換後の音源波形を生成することができる（ステップＳ２０５）。

合成部１０９は、音源波形生成部１０８により生成された変換後の音源波形と、声道音源分離部１０１ｂにより分離された声道情報とに基づいて、音声合成を行ない、変換後の音声波形を生成する（ステップＳ２０６）。合成の方法は特に限定されるものではないが、声道情報としてＰＡＲＣＯＲ（Ｐａｒｔｉａｌ Ａｕｔｏ Ｃｏｒｒｅｌａｔｉｏｎ）係数を用いている場合には、ＰＡＲＣＯＲ合成を用いればよい。また、ＰＡＲＣＯＲ係数と数学的に等価なＬＰＣ係数に変換した後に、ＬＰＣ合成により合成するようにしてもよいし、ＬＰＣ係数からフォルマントを抽出し、フォルマント合成するようにしてもよい。さらには、ＬＰＣ係数からＬＳＰ（Ｌｉｎｅ Ｓｐｅｃｔｒｕｍ Ｐａｉｒｓ）係数を算出し、ＬＳＰ合成するようにしてもよい。

（低域の混合処理について）
次に、低域混合処理（図７のステップＳ２０１）について詳しく説明する。図１１は、低域混合処理の流れを示すフローチャートである。

低域高調波レベル算出部２０２ａは、目標音源波形の高調波のレベルを算出する。また、低域高調波レベル算出部２０２ｂは、入力音源波形の高調波のレベルを算出する（ステップＳ３０１）。具体的には、低域高調波レベル算出部２０２ａは、ステップＳ１０３で算出された目標音源波形の基本周波数と、ステップＳ１０５で生成された目標音源スペクトルとを用いて、高調波レベルを算出する。高調波は基本周波数の整数倍の周波数に発生するので、低域高調波レベル算出部２０２ａは、基本周波数のｎ倍（ｎは自然数）の位置の目標音源スペクトルの値を算出する。目標音源スペクトルをＦ（ｆ）、基本周波数をＦ０とした場合、第ｎ高調波レベルＨ（ｎ）は、式２で算出される。低域高調波レベル算出部２０２ｂは、低域高調波レベル算出部２０２ａと同様の方法で高調波レベルを算出する。図１２に示す入力音源スペクトルにおいて、第１高調波レベル１１、第２高調波レベル１２および第３高調波レベル１３は、入力音源波形の基本周波数（同図ではＦ０_A）を用いて算出される。同様に、目標音源スペクトルにおいて、第１高調波レベル２１、第２高調波レベル２２および第３高調波レベル２３は、目標音源波形の基本周波数（同図ではＦ０_B）を用いて算出される。

高調波レベル混合部２０３は、ステップＳ３０１で算出された、入力音声の高調波レベルと目標音声の高調波レベルとを、高調波ごとに（次数ごとに）混合する（ステップＳ３０２）。入力音声の高調波レベルをＨ^s、目標音声の高調波レベルをＨ^t、変換比率をｒとすると、混合後の高調波レベルＨは、式３により算出できる。

図１２において、第１高調波レベル３１、第２高調波レベル３２および第３高調波レベル３３は、入力音源スペクトルの第１高調波レベル１１、第２高調波レベル１２および第３高調波レベル１３と、目標音源スペクトルの第１高調波レベル２１、第２高調波レベル２２および第３高調波レベル２３とを、それぞれ変換比率ｒで混合したものである。

高調波レベル混合部２０３は、ステップＳ３０２で算出された高調波レベルを、変換後の基本周波数に基づいて周波数軸上に配置する（ステップＳ３０３）。ここで、変換後の基本周波数Ｆ０’は、入力音源波形の基本周波数Ｆ０^sと、目標音源波形の基本周波数Ｆ０^tと、変換比率ｒとを用いて式４により算出される。

また、高調波レベル混合部２０３は、算出されたＦ０’を用いて、式５により変換後の音源スペクトルＦ’を算出する。

これにより、境界周波数以下の周波数帯域において、変換後の音源スペクトルを生成することができる。

なお、高調波位置以外のスペクトル強度は、補間により算出すればよい。補間の方法は特に限定するものではないが、例えば、式６に示すように、高調波レベル混合部２０３は、着目する周波数ｆに隣接するｋ番目の高調波レベルと（ｋ＋１）番目の高調波レベルとを用いて、スペクトル強度を線形に補間するようにすればよい。線形補間されたスペクトル強度の一例を、図１３に示す。

また、図１４に示すように、高調波レベル混合部２０３は、式７に従い、最も近い高調波の高調波レベルを用いて、スペクトル強度を補間するようにしても良い。これにより、スペクトル強度は、階段状に変化する。

以上の処理により、低域の高調波レベルの混合が可能である。なお、高調波レベル混合部２０３は、周波数の伸縮を行うことにより、低域の音源スペクトルを生成するようにしてもよい。図１５は、周波数伸縮による低域混合処理（図７のＳ２０１）の流れを示すフローチャートである。

高調波レベル混合部２０３は、入力音源スペクトルＦ_ｓを、入力音源波形の基本周波数Ｆ０^sと変換後の基本周波数Ｆ０’との比率（Ｆ０’／Ｆ０^s）に基づき伸縮する。また、高調波レベル混合部２０３は、目標音源スペクトルＦ_ｔを、目標音源波形の基本周波数Ｆ０^tと変換後の基本周波数Ｆ０’との比率（Ｆ０’／Ｆ０^t）に基づき伸縮する（ステップＳ４０１）。具体的には伸縮後の入力音源スペクトルＦ_ｓ’および目的音源スペクトルＦ_ｔ’は式８により算出される。

高調波レベル混合部２０３は、伸縮後の入力音源スペクトルＦ_ｓ’および目標音源スペクトルＦ_ｔ’を、変換比率ｒにより混合し、変換後の音源スペクトルＦ’を得る（ステップＳ４０２）。具体的には、２つの音源スペクトルは式９により混合される。

以上のように、高調波レベルを混合することにより、低域の音源スペクトルによってもたらされる声質特徴を、目標音声と入力音声の間でモーフィングを行なうことができる。

（高域の混合処理について）
次に、高域の入力音源スペクトルと目標音源スペクトルの混合処理（図７のステップＳ２０２）について説明する。

図１６は、高域混合処理の流れを示すフローチャートである。

高域スペクトル包絡混合部２０４は、入力音源スペクトルＦ_ｓと目標音源スペクトルＦ_ｔとを変換比率ｒにより混合する（ステップＳ５０１）。具体的には式１０を用いてスペクトルを混合する。

これにより、高域のスペクトル包絡を混合することができる。図１７は、スペクトル包絡の混合の具体例を示した図である。横軸は周波数を示し、縦軸はスペクトル強度を示す。なお、縦軸は対数表現されている。入力音源スペクトル４１と目標音源スペクトル４２とを変換比率０．８で混合することにより、変換後の音源スペクトル４３が得られる。図１７に示す変換後の音源スペクトル４３から分かるように、１ｋＨｚから５ｋＨｚにわたり、微細構造を保持したまま音源スペクトルを変換可能であることがわかる。

（スペクトル傾斜の利用）
なお、高域のスペクトル包絡の混合方法として、入力音源スペクトルのスペクトル傾斜を目標音源スペクトルのスペクトル傾斜を変換比率ｒに基づいて変形することにより、入力音源スペクトルと目標音源スペクトルとを混合するようにしても良い。スペクトル傾斜とは、個人特徴の一つであり、音源スペクトルの周波数軸方向に対する傾斜（傾き）を示す。例えば、前述の境界周波数（Ｆｂ）と３ｋＨｚのスペクトル強度の差によりスペクトル傾斜を表現することができる。スペクトル傾斜が小さいほど、高周波成分が多く含まれ、スペクトル傾斜が大きいほど高周波成分が少なくなる。

図１８は、入力音源スペクトルのスペクトル傾斜を目標音源スペクトルのスペクトル傾斜に変換することにより、高域のスペクトル包絡を混合する処理のフローチャートである。

高域スペクトル包絡混合部２０４は、入力音源スペクトルのスペクトル傾斜および目標音源スペクトルのスペクトル傾斜の差であるスペクトル傾斜差を算出する（ステップＳ６０１）。スペクトル傾斜差の算出方法は特に限定するものではないが、例えば、境界周波数（Ｆｂ）と３ｋＨｚのスペクトル強度の差によりスペクトル傾斜を算出するようにすれば良い。

高域スペクトル包絡混合部２０４は、ステップＳ６０１で算出されたスペクトル傾斜差を用いて、入力音源スペクトルのスペクトル傾斜を補正する（ステップＳ６０２）。補正の方法は特に限定するものではないが、例えば、入力音源スペクトルＵ（ｚ）を式１１に示すようなＩＩＲ（無限インパルス応答）フィルタＤ（ｚ）を通過させる。これにより、スペクトル傾斜が補正された入力音源スペクトルＵ’（ｚ）を得ることができる。

ただし、Ｕ’（ｚ）は補正後の音源波形、Ｕ（ｚ）は音源波形、Ｄ（ｚ）はスペクトルの傾斜を補正するフィルタ、Ｔは入力音源スペクトルの傾斜と目標音源スペクトルの傾斜とのレベル差（スペクトル傾斜差）、Ｆｓはサンプリング周波数を表す。

なお、スペクトル傾斜の補間法として、ＦＦＴスペクトル上で直接、スペクトルを変換するようにしても良い。例えば、入力音源スペクトルＦ_ｓ（ｎ）から、境界周波数以上のスペクトルに対して回帰直線を算出する。算出した回帰直線（ａ_s、ｂ_s）の係数を用いるとＦ_ｓ（ｎ）は式１２により表現できる。

ただし、ｅ_s（ｎ）は入力音源スペクトルと回帰直線との誤差である。

同様に目標音源スペクトルＦ_t（ｎ）は式１３により表現できる。

入力音源スペクトルと目標音源スペクトルの回帰直線の各係数を式１４に示すように変換比率ｒにより補間する。

以上のようにして算出した回帰直線を用いて、入力音源スペクトルを式１５により変換することにより、音源スペクトルのスペクトル傾斜を変換し、変換後のスペクトルＦ’（ｎ）を算出するようにしても良い。

（効果）
かかる構成によれば、境界周波数以下の周波数帯域においては、声質を特徴付ける高調波のレベルを個々に制御して入力音源スペクトルを変換することができる。また、境界周波数よりも大きい周波数帯域においては、声質を特徴付けるスペクトル包絡の形状の変換を行うことにより入力音源スペクトルを変換することができる。このため、不自然な音質変化を起こすことなく、入力音声の声質を変換した音声を合成することができる。

（実施の形態２）
一般にテキスト音声合成システムにおいては、以下のようにして合成音が生成される。つまり、入力されたテキストを解析し、テキストに合致した基本周波数パターンなどの目標の韻律情報が生成される。また、生成された目標の韻律情報に合致する音声素片が選択され、選択された音声素片を目標情報に変形されて、接続される。これにより、目標の韻律情報を持つ合成音を生成する。

音声の音の高さを変化させるためには、選択された音声素片の基本周波数を目標の基本周波数に変換する必要がある。この時、基本周波数以外の音源特徴を変換させることなく、基本周波数のみを変換することにより、音質の劣化を抑制することが可能になる。本発明の実施の形態２では、このように、基本周波数以外の音源特徴を変化させることなく、基本周波数のみを変化させることにより、声質の変化や音質の劣化を防止する装置について説明する。

音声波形を編集して、基本周波数を変換する方法として、ＰＳＯＬＡ（ｐｉｔｃｈ ｓｙｎｃｈｒｏｎｏｕｓ ｏｖｅｒｌａｐ ａｄｄ）法が知られている（非特許文献：“Ｄｉｐｈｏｎｅ Ｓｙｎｔｈｅｓｉｓ ｕｓｉｎｇ ａｎ Ｏｖｅｒｌａｐ−Ａｄｄ ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｓｐｅｅｃｈ Ｗａｖｅｆｏｒｍｓ Ｃｏｎｃａｔｅｎａｔｉｏｎ”，Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ． Ａｃｏｕｓｔ．， Ｓｐｅｅｃｈ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ． １９９７， ｐｐ．２０１５−２０１８）。

ＰＳＯＬＡ法は、図１９に示すように音声波形を１周期ごとに切り出し、切り出した音声波形を、所望の基本周期（Ｔ０’）間隔で並べ替えることにより、音声の基本周波数を変換するものである。ＰＳＯＬＡ法は、基本周波数の変更量が小さい場合には、良好な変換結果を得ることが知られている。

このＰＳＯＬＡ法を音源情報の変換に応用し、基本周波数を変更することを考える。図２０（ａ）は、基本周波数を変更する前の音源スペクトルである。ここで、実線は音源スペクトルのスペクトル包絡を表し、破線は切り出された単一のピッチ波形のスペクトルを表している。このように、単一ピッチ波形のスペクトルは、音源スペクトルのスペクトル包絡を構成する。ＰＳＯＬＡ法を用いて基本周波数に変更を加えると、図２０（ｂ）の実線で表す音源スペクトルのスペクトル包絡が得られる。基本周波数を変更しているため、図２０（ｂ）の音源スペクトルでは、元の周波数とは異なる位置に高調波が存在することになる。ここで、基本周波数の変換前後ではスペクトル包絡は変化しないため、第１高調波（基本波）や第２高調波のレベルは、基本周波数を変更する前とは異なったものとなる。このため、第１高調波レベルと第２高調波レベルとの間で大小関係の逆転現象が生じる場合がある。例えば、図２０（ａ）に示す基本周波数変更前の音源スペクトルにおいては、第１高調波レベル（周波数Ｆ０でのレベル）の方が第２高調波レベル（周波数２Ｆ０でのレベル）よりも大きくなっている。しかし、図２０（ｂ）に示す基本周波数変更後の音源スペクトルにおいては、第２高調波レベル（周波数２Ｆ０’のレベル）の方が第１高調波レベル（周波数Ｆ０’のレベル）よりも大きくなっている。

以上のように、ＰＳＯＬＡ法を用いた場合、音源波形のスペクトルの微細構造を再現することができるため、合成音の音質が優れているという利点がある。しかし、その一方で、基本周波数を大きく変更すると、第１高調波レベルと第２高調波レベルとのレベル差に変化が生じてしまうため、個々の高調波が別個に知覚される低周波数帯域においては、声質に変化が生じてしまうという課題がある。

本実施の形態に係る音高変換装置では、声質の変化を生じさせること無く、音の高さのみを変更することができる。

（全体構成）
図２１は、本発明の実施の形態２における音高変換装置の機能的な構成を示すブロック図である。図２１において、図２と同じ構成要素については同じ参照符号を付し、その詳細な説明は適宜省略する。

音高変換装置は、声道音源分離部１０１ｂと、波形切出部１０２ｂと、基本周波数算出部２０１ｂと、フーリエ変換部１０３ｂと、基本周波数変換部３０１と、逆フーリエ変換部１０７と、音源波形生成部１０８と、合成部１０９とを含む。

声道音源分離部１０１ｂは、入力音声の音声波形である入力音声波形を分析して、入力音声波形を声道情報と音源情報とに分離する。分離の方法は実施の形態１と同じである。

波形切出部１０２ｂは、声道音源分離部１０１ｂにより分離された音源情報である音源波形から、波形を切り出す。

基本周波数算出部２０１ｂは、波形切出部１０２ｂにより切り出された音源波形の基本周波数を算出する。基本周波数算出部２０１ｂは、請求の範囲の基本周波数算出部に対応する。

フーリエ変換部１０３ｂは、波形切出部１０２ｂにより切り出された音源波形をフーリエ変換することにより、入力音源スペクトルを生成する。フーリエ変換部１０３ｂは、請求の範囲の音源スペクトル算出部に対応する。

基本周波数変換部３０１は、声道音源分離部１０１ｂにより分離された音源情報である入力音源波形の基本周波数を、外部から入力される目標基本周波数に変換することにより、入力音源スペクトルを生成する。基本周波数の変換方法については後述する。

逆フーリエ変換部１０７は、基本周波数変換部３０１により生成された入力音源スペクトルを逆フーリエ変換することにより、１周期分の時間波形を生成する。

音源波形生成部１０８は、逆フーリエ変換部１０７により生成された１周期分の時間波形を、基本周波数に基づいた位置に配置することにより、音源波形を生成する。音源波形生成部１０８は、この処理を基本周期ごとに繰り返すことにより、変換後の音源波形を生成する。

合成部１０９は、声道音源分離部１０１ｂにより分離された声道情報と、音源波形生成部１０８により生成された変換後の音源波形とを用いて変換後の音声の波形を合成する。逆フーリエ変換部１０７、音源波形生成部１０８および合成部１０９は、請求の範囲の合成部に対応する。

本発明の実施の形態２は、入力音声の音源の基本周波数以外の特徴（スペクトル傾斜やＯＱなど）を変えずに基本周波数のみを変換する点が実施の形態１と異なる。

（詳細構成）
図２２は、基本周波数変換部３０１の詳細な機能的構成を示すブロック図である。

基本周波数変換部３０１は、低域高調波レベル算出部２０２ｂと、高調波成分生成部３０２と、スペクトル結合部２０５とを含む。

低域高調波レベル算出部２０２ｂは、基本周波数算出部２０１ｂにより算出された基本周波数と、フーリエ変換部１０３ｂにより算出された入力音源スペクトルから、入力音源波形の高調波レベルを算出する。

高調波成分生成部３０２は、実施の形態１で説明した境界周波数（Ｆｂ）以下の周波数帯域において、低域高調波レベル算出部２０２ｂにより算出された入力音源波形の高調波レベルを、外部より入力される目標基本周波数から算出される高調波の位置に配置することにより、変換後の音源スペクトルを算出する。低域高調波レベル算出部２０２ｂおよび高調波成分生成部３０２は、請求の範囲の低域スペクトル算出部に対応する。

スペクトル結合部２０５は、高調波成分生成部３０２により生成された境界周波数（Ｆｂ）以下の周波数帯域における音源スペクトルと、フーリエ変換部１０３ｂにより得られた入力音源スペクトルのうち境界周波数（Ｆｂ）よりも大きい周波数帯域の入力音源スペクトルとを、境界周波数（Ｆｂ）において結合することにより、全域の音源スペクトルを生成する。

（動作の説明）
次に、本発明の実施の形態２に係る音高変換装置の具体的な動作について、フローチャートを用いて説明する。

音高変換装置が実行する処理は、入力音声波形から入力音源スペクトルを得る処理と、入力音源スペクトルを変換することにより入力音声波形を変換する処理とに分けられる。

前者の処理については、実施の形態１において図４を参照して説明した処理（ステップＳ１０１〜ステップＳ１０５）と同様である。このため、その詳細な説明はここでは繰り返さない。以下では、後者の処理について説明する。

図２３は、実施の形態２に係る音高変換装置の動作を示すフローチャートである。

低域高調波レベル算出部２０２ｂは、入力音源波形の高調波のレベルを算出する（ステップＳ７０１）。具体的には、低域高調波レベル算出部２０２ｂは、ステップＳ１０３で算出された入力音源波形の基本周波数と、ステップＳ１０５で算出された入力音源スペクトルとを用いて、高調波レベルを算出する。高調波は基本周波数の整数倍の位置に発生するので、低域高調波レベル算出部２０２ｂは、入力音源波形の基本周波数のｎ倍（ｎは自然数）の位置の入力音源スペクトルの強度を算出する。入力音源スペクトルをＦ（ｆ）、入力音源波形の基本周波数をＦ０とした場合、第ｎ高調波レベルＨ（ｎ）は、式２で算出される。

高調波成分生成部３０２は、ステップＳ７０１において算出された高調波レベルＨ（ｎ）を、入力された目標基本周波数Ｆ０’に基づき算出される高調波の位置に再配置する（ステップＳ７０２）。具体的には式５により高調波レベルを算出する。また、高調波位置以外のスペクトル強度は、実施の形態１と同様に補間処理により求められる。これにより、入力音源波形の基本周波数が目標基本周波数に変換された音源スペクトルが生成される。

スペクトル結合部２０５は、ステップＳ７０２において生成された音源スペクトルと、ステップＳ１０５において算出された入力音源スペクトルとを境界周波数（Ｆｂ）において結合する（ステップＳ７０３）。具体的には、境界周波数（Ｆｂ）以下の周波数帯域では、ステップＳ７０２において算出されたスペクトルを用いる。また、境界周波数（Ｆｂ）よりも大きい周波数帯域ではステップＳ１０５において算出された入力音源スペクトルのうち、境界周波数（Ｆｂ）よりも大きい周波数帯域の入力音源スペクトルを用いる。なお、境界周波数（Ｆｂ）は実施の形態１と同様の方法で決定できる。また、結合の方法も実施の形態１と同様の方法で結合すればよい。

逆フーリエ変換部１０７は、ステップＳ７０３において結合された後の音源スペクトルを逆フーリエ変換することにより時間領域に変換し、１周期分の時間波形を生成する（ステップＳ７０４）。

音源波形生成部１０８は、ステップＳ７０４で生成された１周期分の時間波形を、目標基本周波数により算出される基本周期の位置に配置する。この配置処理により１周期分の音源波形が生成される。この配置処理を基本周期ごとに繰り返すことにより、入力音声波形の基本周波数を変換した変換後の音源波形を生成することができる（ステップＳ７０５）。

合成部１０９は、音源波形生成部１０８により生成された変換後の音源波形と、声道音源分離部１０１ｂにより分離された声道情報とに基づいて、音声合成を行ない、変換後の音声波形を生成する（ステップＳ７０６）。音声合成の方法は実施の形態１と同様である。

（効果）
かかる構成によれば、音源波形の周波数帯域を分割し、低域の高調波レベルを目標基本周波数の高調波の位置に再配置することにより、音源波形が持つ自然性を保持しながら、かつ、当該音源波形が持つ音源の特徴である声門開放率およびスペクトル傾斜を保持することで音源の特徴を変えずに、基本周波数を変換することが可能となる。

図２４は、ＰＳＯＬＡ法と本実施の形態に係る音高変換方法とを比較するための図である。同図に示すように、図２４（ａ）は、入力音源スペクトルのスペクトル包絡を示すグラフである。図２４（ｂ）は、ＰＳＯＬＡ法による基本周波数変換後の音源スペクトルを示すグラフである。図２４（ｃ）は、本実施の形態による方法による変換後の音源スペクトルを示すグラフである。各グラフの横軸は周波数を表しており、縦軸はスペクトル強度を表している。また、上向き矢印が、高調波の位置を示している。変換前の基本周波数はＦ０であり、変換後の基本周波数はＦ０’である。図２４（ｂ）に示すＰＳＯＬＡ法による変換後の音源スペクトルは、図２４（ａ）に示す変換前の音源スペクトルと同様のスペクトル包絡形状を有している。しかし、第１高調波と第２高調波とのレベル差が変換前（ｇ１２＿ａ）と変換後（ｇ１２＿ｂ）とでは大きく異なっている。これに対して、図２４（ｃ）に示す本実施の形態による変換後の音源スペクトルと、図２４（ａ）に示す返還前の音源スペクトルとを比較すると、低域においては第１高調波と第２高調波とのレベル差が変換前（ｇ１２＿ａ）と変換後（ｇ１２＿ｃ）とでは同じである。このため、変換前の声門開放率を保持した声質変換を行うことができる。また、広域においては、変換前後の音源スペクトルのスペクトル包絡の形状は等しくなる。このため、スペクトル傾斜を保持した声質変換を行うことができる。

（実施の形態３）
例えば、既に収録された音声が緊張などのために力んでおり、音声の利用時には、もう少しリラックスした音声を用いたいと言う場合がある。通常このような場合は、音声を収録し直す必要がある。

本発明の実施の形態３では、このような場合に、音声を収録しなおすことなく、既に収録された音声の基本周波数を変更せずに声門開放率のみを変更することにより、声のやわらかさの印象を変えることができる。

（全体構成）
図２５は、本発明の実施の形態３における声質変換装置の機能的な構成を示すブロック図である。図２５において、図２と同じ構成要素については同じ参照符号を付し、その詳細な説明は適宜省略する。

声質変換装置は、声道音源分離部１０１ｂと、波形切出部１０２ｂと、基本周波数算出部２０１ｂと、フーリエ変換部１０３ｂと、声門開放率変換部４０１と、逆フーリエ変換部１０７と、音源波形生成部１０８と、合成部１０９とを含む。

声道音源分離部１０１ｂは、入力音声の音声波形である入力音声波形を分析して、入力音声波形を声道情報と音源情報とに分離する。分離の方法は実施の形態１と同じである。

波形切出部１０２ｂは、声道音源分離部１０１ｂにより分離された音源情報である音源波形から、波形を切り出す。

基本周波数算出部２０１ｂは、波形切出部１０２ｂにより切り出された音源波形の基本周波数を算出する。基本周波数算出部２０１ｂは、請求の範囲の基本周波数算出部に対応する。

フーリエ変換部１０３ｂは、波形切出部１０２ｂにより切り出された音源波形をフーリエ変換することにより、入力音源スペクトルを生成する。フーリエ変換部１０３ｂは、請求の範囲の音源スペクトル算出部に対応する。

声門開放率変換部４０１は、声道音源分離部１０１ｂにより分離された音源情報である入力音源波形の声門開放率を、外部から入力される目標声門開放率に変換することにより、入力音源スペクトルを生成する。声門開放率の変換方法については後述する。

逆フーリエ変換部１０７は、声門開放率変換部４０１により生成された入力音源スペクトルを逆フーリエ変換することにより、１周期分の時間波形を生成する。

音源波形生成部１０８は、逆フーリエ変換部１０７により生成された１周期分の時間波形を、基本周波数に基づいた位置に配置することにより、音源波形を生成する。音源波形生成部１０８は、この処理を基本周期ごとに繰り返すことにより、変換後の音源波形を生成する。

合成部１０９は、声道音源分離部１０１ｂにより分離された声道情報と、音源波形生成部１０８により生成された変換後の音源波形とを用いて変換後の音声の波形を合成する。逆フーリエ変換部１０７、音源波形生成部１０８および合成部１０９は、請求の範囲の合成部に対応する。

本発明の実施の形態３は、入力音源波形の基本周波数を変えずに、声門開放率（ＯＱ）のみを変換する点が実施の形態１と異なる。

（詳細構成）
図２６は、声門開放率変換部４０１の詳細な機能的構成を示すブロック図である。

声門開放率変換部４０１は、低域高調波レベル算出部２０２ｂと、高調波成分生成部４０２と、スペクトル結合部２０５とを含む。

低域高調波レベル算出部２０２ｂは、基本周波数算出部２０１ｂにより算出された基本周波数と、フーリエ変換部１０３ｂにより算出された入力音源スペクトルから、入力音源波形の高調波レベルを算出する。

高調波成分生成部４０２は、実施の形態１で説明した境界周波数（Ｆｂ）以下の周波数帯域において、外部より入力される目標声門開放率に従い決定される第１高調波レベルと第２高調波レベルとの比に等しくなるように、低域高調波レベル算出部２０２ｂにより算出された入力音源波形の高調波レベルのうち、第１高調波レベルまたは第２高調波レベルを変換することにより、変換後の音源スペクトルを生成する。

スペクトル結合部２０５は、高調波成分生成部４０２により生成された境界周波数（Ｆｂ）以下の周波数帯域における音源スペクトルと、フーリエ変換部１０３ｂにより得られた入力音源スペクトルのうち境界周波数（Ｆｂ）よりも大きい周波数帯域の入力音源スペクトルとを、境界周波数（Ｆｂ）において結合することにより、全域の音源スペクトルを生成する。

（動作の説明）
次に、本発明の実施の形態３に係る声質変換装置の具体的な動作について、フローチャートを用いて説明する。

声質変換装置が実行する処理は、入力音声波形から入力音源スペクトルを得る処理を、入力音源スペクトルを変換することにより入力音源波形を変換する処理とに分けられる。

前者の処理については、実施の形態１において図４を参照して説明した処理（ステップＳ１０１〜ステップＳ１０５）と同様である。このため、その詳細な説明はここでは繰り返さない。以下では、後者の処理について説明する。

図２７は、実施の形態３に係る声質変換装置の動作を示すフローチャートである。

低域高調波レベル算出部２０２ｂは、入力音源波形の高調波のレベルを算出する（ステップＳ８０１）。具体的には、低域高調波レベル算出部２０２ｂは、ステップＳ１０３で算出された入力音源波形の基本周波数と、ステップＳ１０５で算出された入力音源スペクトルとを用いて、高調波レベルを算出する。高調波は基本周波数の整数倍の位置に発生するので、低域高調波レベル算出部２０２ｂは、入力音源波形の基本周波数のｎ倍（ｎは自然数）の位置の入力音源スペクトルの強度を算出する。入力音源スペクトルをＦ（ｆ）、入力音源波形の基本周波数をＦ０とした場合、第ｎ高調波レベルＨ（ｎ）は、式２で算出される。

高調波成分生成部４０２は、ステップＳ８０１において算出された高調波レベルＨ（ｎ）を、入力された目標声門開放率に基づいて変換する（ステップＳ８０２）。変換の方法を以下に説明する。図１を用いて説明したように、声門開放率（ＯＱ）を小さくすれば声帯の緊張度合いを高めることができ、声門開放率（ＯＱ）を大きくすれば声帯の緊張度合いを低くすることができる。この時の、声門開放率（ＯＱ）と第２高調波レベルに対する第２高調波レベルの比との関係を、図２８に示すことができる。縦軸は、声門開放率を示し、横軸は、第１高調波レベルと第２高調波レベルとの比を示している。なお、図２８では、横軸を対数表現しているため、第１高調波レベルの対数値から第２高調波レベルの対数値を引いた値を示している。目標声門開放率に対応する第１高調波レベルの対数値から第２高調波レベルの対数値を引いた値をＧ（ＯＱ）とすると、変換後の第１高調波レベルＦ（Ｆ０）は式１２で表される。つまり、高調波成分生成部４０２は、式１６に従い第１高調波レベルＦ（Ｆ０）を変換する。

なお、実施の形態１と同様に高調波間のスペクトル強度は、補間により算出することができる。

スペクトル結合部２０５は、ステップＳ８０２において生成された音源スペクトルと、ステップＳ１０５において算出された入力音源スペクトルとを境界周波数（Ｆｂ）において結合する（ステップＳ８０３）。具体的には、境界周波数（Ｆｂ）以下の周波数帯域では、ステップＳ８０２において算出されたスペクトルを用いる。また、境界周波数（Ｆｂ）よりも大きい周波数帯域ではステップＳ１０５により算出された入力音源スペクトルのうち、境界周波数（Ｆｂ）よりも大きい周波数帯域の入力音源スペクトルを用いる。なお、境界周波数（Ｆｂ）は実施の形態１と同様の方法で決定できる。また、結合の方法も実施の形態１と同様の方法で結合すればよい。

逆フーリエ変換部１０７は、ステップＳ８０３において結合された後の音源スペクトルを逆フーリエ変換することにより時間領域に変換し、１周期分の時間波形を生成する（ステップＳ８０４）。

音源波形生成部１０８は、ステップＳ８０４で生成された１周期分の時間波形を、目標基本周波数により算出される基本周期の位置に配置する。この配置処理により１周期分の音源波形が生成される。この配置処理を基本周期ごとに繰り返すことにより、入力音声波形の基本周波数を変換した変換後の音源波形を生成することができる（ステップＳ８０５）。

合成部１０９は、音源波形生成部１０８により生成された変換後の音源波形と、声道音源分離部１０１ｂにより分離された声道情報とに基づいて、音声合成を行ない、変換後の音声波形を生成する（ステップＳ８０６）。音声合成の方法は実施の形態１と同様である。

（効果）
かかる構成によれば、入力された目標声門開放率に基づいて、第１高調波レベルを制御することにより、音源波形が保持する自然性を保持しながら、音源の特徴である声門開放率を自在に変更することが可能となる。

図２９は、本実施の形態による変換前後の音源スペクトルの一例を示す図である。図２９（ａ）は、入力音源スペクトルのスペクトル包絡を示すグラフである。図２９（ｂ）は、本実施の形態による変換後の音源スペクトルのスペクトル包絡を示すグラフである。各グラフの横軸は周波数を表しており、縦軸はスペクトル強度を表している。また、上向き矢印が、高調波の位置を示している。また、基本周波数はＦ０である。

変換前後で第２高調波２Ｆ０および高域のスペクトル包絡を変えることなく、第１高調波と第２高調波のレベル差（ｇ１２＿ａ、ｇ１２＿ｂ）を変更することができている。このため、声門開放率を自在に変更することができ、声帯の緊張度のみを変更することができる。

以上、本発明に係る声質変換装置または音高変換装置について、実施の形態に従い説明したが、本発明は、これらの実施の形態に限定されるものではない。

例えば、実施の形態１〜３で説明した各装置は、コンピュータにより実現することが可能である。

図３０は、上記各装置の外観図である。各装置は、コンピュータ３４と、コンピュータ３４に指示を与えるためのキーボード３６およびマウス３８と、コンピュータ３４の演算結果等の情報を提示するためのディスプレイ３７と、コンピュータ３４で実行されるコンピュータプログラムを読み取るためのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）装置４０および通信モデム（図示せず）とを含む。

声質を変換するためのコンピュータプログラムまたは音高を変換するためのコンピュータプログラムは、コンピュータで読取可能な媒体であるＣＤ−ＲＯＭ４２に記憶され、ＣＤ−ＲＯＭ装置４０で読み取られる。または、コンピュータネットワーク２６を通じて通信モデムで読み取られる。

図３１は、各装置のハードウェア構成を示すブロック図である。コンピュータ３４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４４と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４６と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４８と、ハードディスク５０と、通信モデム５２と、バス５４とを含む。

ＣＰＵ４４は、ＣＤ−ＲＯＭ装置４０または通信モデム５２を介して読み取られたコンピュータプログラムを実行する。ＲＯＭ４６は、コンピュータ３４の動作に必要なコンピュータプログラムやデータを記憶する。ＲＡＭ４８は、コンピュータプログラム実行時のパラメータなどのデータを記憶する。ハードディスク５０は、コンピュータプログラムやデータなどを記憶する。通信モデム５２は、コンピュータネットワーク２６を介して他のコンピュータとの通信を行なう。バス５４は、ＣＰＵ４４、ＲＯＭ４６、ＲＡＭ４８、ハードディスク５０、通信モデム５２、ディスプレイ３７、キーボード３６、マウス３８およびＣＤ−ＲＯＭ装置４０を相互に接続する。

ＲＡＭ４８またはハードディスク５０には、コンピュータプログラムが記憶されている。ＣＰＵ４４が、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、ＲＡＭ４８またはハードディスク５０には、コンピュータプログラム実行時の中間データ等の各種データが記憶される。

さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。

また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている上記デジタル信号であるとしても良い。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしても良い。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明に係る音声分析合成装置および声質変換装置は、音源の特徴を変形することにより、高品質に声質を変換する機能を有し、種々の声質を必要とするユーザインタフェース装置や、エンターテイメント装置等として有用である。また、携帯電話などによる音声通信におけるボイスチェンジャー等の用途にも応用できる。

１０１ａ、１０１ｂ 声道音源分離部
１０２ａ、１０２ｂ 波形切出部
１０３ａ、１０３ｂ フーリエ変換部
１０４ 目標音源情報記憶部
１０５ 目標音源情報取得部
１０６ 音源情報変形部
１０７ 逆フーリエ変換部
１０８ 音源波形生成部
１０９ 合成部
２０１ａ、２０１ｂ 基本周波数算出部
２０２ａ、２０２ｂ 低域高調波レベル算出部
２０３ 高調波レベル混合部
２０４ 高域スペクトル包絡混合部
２０５ スペクトル結合部
３０１ 声道情報変換部
３０２、４０２ 高調波成分生成部
４０１ 声門開放度変換部

Claims (20)

1. 入力音声の声質を変換する声質変換装置であって、
   入力音声波形の音源情報を示す入力音源波形の基本周波数と、目標音声波形の音源情報を示す目標音源波形の基本周波数との、所定の変換比率に従った重み付け和を、変換後の基本周波数として算出する基本周波数変換部と、
   前記基本周波数変換部で算出される前記変換後の基本周波数に対応する境界周波数以下の周波数帯域において、入力音声の音源スペクトルである入力音源スペクトルおよび目標音声の音源スペクトルである目標音源スペクトルを用いて、基本波を含む高調波の次数ごとに前記入力音源波形の高調波のレベルと前記目標音源波形の高調波のレベルとを前記所定の変換比率で混合することにより得られる、前記変換後の基本周波数を基本周波数とする高調波のレベルを有する低域の音源スペクトルを算出する低域スペクトル算出部と、
   前記境界周波数よりも大きい周波数帯域において、前記入力音源スペクトルおよび前記目標音源スペクトルを、前記所定の変換比率で混合することにより、高域の音源スペクトルを算出する高域スペクトル算出部と、
   前記低域の音源スペクトルと前記高域の音源スペクトルとを、前記境界周波数において結合することにより、全域の音源スペクトルを生成するスペクトル結合部と、
   前記全域の音源スペクトルを用いて、変換後の音声の波形を合成する合成部と
   を備える声質変換装置。
2. 前記境界周波数は、前記変換後の基本周波数が高いほど高く設定される
   請求項１記載の声質変換装置。
3. 前記境界周波数は、（１）周波数に依存する周波数帯域幅であり、かつ同一の周波数帯域幅内に存在する周波数が互いに異なる２つの音が、人間の耳には当該２つの音の強さが加算された１つの音として知覚される周波数帯域幅である臨界帯域幅の大きさと、（２）前記変換後の基本周波数の大きさとが一致するときの、当該臨界帯域幅に対応する前記周波数である
   請求項２記載の声質変換装置。
4. 前記低域スペクトル算出部は、さらに、基本周波数から境界周波数を決定するための規則データを保持しており、当該規則データに基づいて、前記基本周波数変換部で算出される前記変換後の基本周波数に対応する前記境界周波数を決定する
   請求項１〜３のいずれか１項に記載の声質変換装置。
5. 前記規則データは、周波数と臨界帯域幅との関係を示しており、
   前記低域スペクトル算出部は、前記規則データに基づいて、前記基本周波数変換部で算出される前記変換後の基本周波数の大きさと前記臨界帯域幅との大きさとが一致するときの、前記臨界帯域幅に対応する周波数を、前記境界周波数として決定する
   請求項４記載の声質変換装置。
6. 前記低域スペクトル算出部は、前記境界周波数以下の周波数帯域において、基本波を含む高調波の次数ごとに、前記入力音源波形の高調波のレベルと前記目標音源波形の高調波のレベルとを前記所定の変換比率で混合することにより、高調波のレベルを算出し、算出した高調波のレベルで、前記変換後の基本周波数に基づき算出される高調波の周波数位置における前記低域の音源スペクトルの高調波のレベルを代表させることにより、前記低域の音源スペクトルを算出する
   請求項１〜５のいずれか１項に記載の声質変換装置。
7. 前記低域スペクトル算出部は、さらに、前記境界周波数以下の周波数帯域において、前記変換後の基本周波数に基づき算出される高調波の周波数位置以外の周波数位置における前記低域の音源スペクトルのレベルを、隣接する高調波の周波数位置における前記低域の音源スペクトルの高調波のレベルを用いて補間することにより、前記低域の音源スペクトルを算出する
   請求項６記載の声質変換装置。
8. 前記低域スペクトル算出部は、前記境界周波数以下の周波数帯域において、前記入力音源波形および前記目標音源波形の各々の基本周波数が前記変換後の基本周波数に一致するように前記入力音源スペクトルおよび前記目標音源スペクトルを変換し、変換後の入力音源スペクトルおよび変換後の出力音源スペクトルを前記所定の変換比率で混合することにより、前記低域の音源スペクトルを算出する
   請求項１〜５のいずれか１項に記載の声質変換装置。
9. 前記高域スペクトル算出部は、前記境界周波数よりも大きい周波数帯域において、前記入力音源スペクトルのスペクトル包絡と前記目標音源スペクトルのスペクトル包絡との、前記所定の変換比率に基づいた重み付け和を算出することにより、前記高域の音源スペクトルを算出する
   請求項１〜８のいずれか１項に記載の声質変換装置。
10. さらに、前記入力音源波形に第１窓関数を掛け合わせた波形および前記目標音源波形に第２窓関数を掛け合わせた波形から、前記入力音源スペクトルおよび前記目標音源スペクトルをそれぞれ算出し、算出した前記入力音源スペクトルおよび前記目標音源スペクトルから、前記入力音源スペクトルおよび前記目標音源スペクトルのスペクトル包絡をそれぞれ算出する音源スペクトル算出部を備える
    請求項９記載の声質変換装置。
11. 前記第１窓関数は、前記入力音源波形の基本周波数の２倍の長さの窓関数であり、
    前記第２窓関数は、前記目標音源波形の基本周波数の２倍の長さの窓関数である
    請求項１０記載の声質変換装置。
12. 前記高域スペクトル算出部は、前記境界周波数よりも大きい周波数帯域において、前記入力音源スペクトルのスペクトル傾斜と前記目標音源スペクトルのスペクトル傾斜との差を算出し、算出した当該差に基づいて、前記入力音源スペクトルを変換することにより、前記高域の音源スペクトルを算出する
    請求項１〜８のいずれか１項に記載の声質変換装置。
13. 前記入力音声波形および前記目標音声波形は、同一の音素の音声波形である
    請求項１〜１２のいずれか１項に記載の声質変換装置。
14. 前記入力音声波形および前記目標音声波形は、同一の音素の音源波形であり、かつ前記同一の音素内の同一の時間的な位置における音声波形である
    請求項１３記載の声質変換装置。
15. さらに、前記入力音源波形および前記目標音源波形の各々について、音源波形の基本周期間隔で繰り返し出現する特徴点を抽出し、抽出した特徴点の時間的な間隔から前記入力音源波形および前記目標音源波形の基本周波数をそれぞれ算出する基本周波数算出部を備える
    請求項１〜１４のいずれか１項に記載の声質変換装置。
16. 前記特徴点は、声門閉鎖点である
    請求項１５記載の声質変換装置。
17. 入力音声の音高を変換する音高変換装置であって、
    入力音声の音源情報を示す入力音源波形に基づいて、入力音声の音源スペクトルである入力音源スペクトルを算出する音源スペクトル算出部と、
    前記入力音源波形に基づいて、前記入力音源波形の基本周波数を算出する基本周波数算出部と、
    所定の目標基本周波数に対応する境界周波数以下の周波数帯域において、前記入力音源波形の基本周波数が前記所定の目標基本周波数に一致し、かつ変換の前後において基本波を含む高調波のレベルが等しくなるように前記入力音源スペクトルを変換することにより低域の音源スペクトルを算出する低域スペクトル算出部と、
    前記低域の音源スペクトルと、前記境界周波数よりも大きい周波数帯域における前記入力音源スペクトルとを、前記境界周波数において結合することにより、全域の音源スペクトルを生成するスペクトル結合部と、
    前記全域の音源スペクトルを用いて、変換後の音声の波形を合成する合成部と
    を備える音高変換装置。
18. 入力音声の声質を変換する声質変換装置であって、
    入力音声の音源情報を示す入力音源波形に基づいて、入力音声の音源スペクトルである入力音源スペクトルを算出する音源スペクトル算出部と、
    前記入力音源波形に基づいて、前記入力音源波形の基本周波数を算出する基本周波数算出部と、
    声門開放率と、第１高調波のレベルと第２高調波のレベルとの比との関係を示すデータを参照し、所定の声門開放率に対応する第１高調波のレベルと第２高調波のレベルとの比を決定するレベル比決定部と、
    前記入力音源波形の基本周波数に基づいて定められる前記入力音源波形の第１高調波のレベルと第２高調波のレベルとの比が、前記レベル比決定部で決定された前記比に一致するように、前記入力音源波形の第１高調波のレベルを変換することにより、変換後の音声の音源スペクトルを生成するスペクトル生成部と、
    前記スペクトル生成部が生成した前記音源スペクトルを用いて、前記変換後の音声の波形を合成する合成部と
    を備える声質変換装置。
19. 入力音声の声質を変換する声質変換方法であって、
    入力音声波形の音源情報を示す入力音源波形の基本周波数と、目標音声波形の音源情報を示す目標音源波形の基本周波数との、所定の変換比率に従った重み付け和を、変換後の基本周波数として算出する基本周波数変換ステップと、
    前記基本周波数変換ステップにおいて算出される前記変換後の基本周波数に対応する境界周波数以下の周波数帯域において、入力音声の音源スペクトルである入力音源スペクトルおよび目標音声の音源スペクトルである目標音源スペクトルを用いて、基本波を含む高調波の次数ごとに前記入力音源波形の高調波のレベルと前記目標音源波形の高調波のレベルとを前記所定の変換比率で混合することにより得られる、前記変換後の基本周波数を基本周波数とする高調波のレベルを有する低域の音源スペクトルを算出する低域スペクトル算出ステップと、
    前記境界周波数よりも大きい周波数帯域において、前記入力音源スペクトルおよび前記目標音源スペクトルを、前記所定の変換比率で混合することにより、高域の音源スペクトルを算出する高域スペクトル算出ステップと、
    前記低域の音源スペクトルと前記高域の音源スペクトルとを、前記境界周波数において結合することにより、全域の音源スペクトルを生成するスペクトル結合ステップと、
    前記全域の音源スペクトルを用いて、変換後の音声の波形を合成する合成ステップと
    を含む声質変換方法。
20. 入力音声の声質を変換するプログラムであって、
    入力音声波形の音源情報を示す入力音源波形の基本周波数と、目標音声波形の音源情報を示す目標音源波形の基本周波数との、所定の変換比率に従った重み付け和を、変換後の基本周波数として算出する基本周波数変換ステップと、
    前記基本周波数変換ステップにおいて算出される前記変換後の基本周波数に対応する境界周波数以下の周波数帯域において、入力音声の音源スペクトルである入力音源スペクトルおよび目標音声の音源スペクトルである目標音源スペクトルを用いて、基本波を含む高調波の次数ごとに前記入力音源波形の高調波のレベルと前記目標音源波形の高調波のレベルとを前記所定の変換比率で混合することにより得られる、前記変換後の基本周波数を基本周波数とする高調波のレベルを有する低域の音源スペクトルを算出する低域スペクトル算出ステップと、
    前記境界周波数よりも大きい周波数帯域において、前記入力音源スペクトルおよび前記目標音源スペクトルを、前記所定の変換比率で混合することにより、高域の音源スペクトルを算出する高域スペクトル算出ステップと、
    前記低域の音源スペクトルと前記高域の音源スペクトルとを、前記境界周波数において結合することにより、全域の音源スペクトルを生成するスペクトル結合ステップと、
    前記全域の音源スペクトルを用いて、変換後の音声の波形を合成する合成ステップと
    をコンピュータに実行させるプログラム。

Images