JP3189598B2 - 信号合成方法および信号合成装置 - Google Patents
信号合成方法および信号合成装置Info
- Publication number
- JP3189598B2 JP3189598B2 JP26532494A JP26532494A JP3189598B2 JP 3189598 B2 JP3189598 B2 JP 3189598B2 JP 26532494 A JP26532494 A JP 26532494A JP 26532494 A JP26532494 A JP 26532494A JP 3189598 B2 JP3189598 B2 JP 3189598B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- signal
- narrowband
- spectrum
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】
【産業上の利用分野】本発明は、ある周波数帯域に帯域
制限された入力信号を、入力信号の持つ周波数帯域を包
含するような広い周波数帯域を有する広帯域信号に変換
することで高音質な信号を合成する信号合成方法および
装置に関する。
制限された入力信号を、入力信号の持つ周波数帯域を包
含するような広い周波数帯域を有する広帯域信号に変換
することで高音質な信号を合成する信号合成方法および
装置に関する。
【０００２】
【従来の技術】アナログ電話による通信の大部分は、Ｎ
ＴＴの管轄する公衆回線網を通して行われているが、回
線の物理的な制約により３００Ｈｚから３.４ｋＨｚに
帯域制限されており、３００Ｈｚ以下の低域部分と３.
４ｋＨｚ以上の高域部分が失われることによる音質劣化
が起こる。そこで回線はそのままで、アナログ電話音声
のみを高品質化する技術が切望されており、最近この問
題に関する研究が最近始まりつつある。
ＴＴの管轄する公衆回線網を通して行われているが、回
線の物理的な制約により３００Ｈｚから３.４ｋＨｚに
帯域制限されており、３００Ｈｚ以下の低域部分と３.
４ｋＨｚ以上の高域部分が失われることによる音質劣化
が起こる。そこで回線はそのままで、アナログ電話音声
のみを高品質化する技術が切望されており、最近この問
題に関する研究が最近始まりつつある。
【０００３】例えば、Y.Cheng、D.O'Shaughnessy、P.Me
rmelctein："Statical Recovery ofWide-band Speech f
rom Narrowband Speech",Proc. ICSLP,pp.1577-1580,
（1992）.による方法である。この方法は、狭帯域音声
のスペクトルから広帯域な音声スペクトルを直接的に推
定する方法であるが、処理量が多いため実用化は困難で
あると考えられる。
rmelctein："Statical Recovery ofWide-band Speech f
rom Narrowband Speech",Proc. ICSLP,pp.1577-1580,
（1992）.による方法である。この方法は、狭帯域音声
のスペクトルから広帯域な音声スペクトルを直接的に推
定する方法であるが、処理量が多いため実用化は困難で
あると考えられる。
【０００４】また、吉田、阿部：“コードブックマッピ
ングによる狭帯域音声から広帯域音声の復元法”,音響
学会講演論文集,１−８−１８,pp.179-180,（1993.3）.
がある。この方法は狭帯域音声と広帯域音声のコードブ
ックの対応付けを基本にしており、ＶＱして得られた電
話音声のコードに対する広帯域コードを広帯域コードブ
ックから引き出すことで間接的に広帯域スペクトルを求
め、さらにピッチでＬＰＣ合成することにより広帯域音
声を得ているため、ベクトル量子化歪による合成音の劣
化が大きく、また処理量も比較的多い。
ングによる狭帯域音声から広帯域音声の復元法”,音響
学会講演論文集,１−８−１８,pp.179-180,（1993.3）.
がある。この方法は狭帯域音声と広帯域音声のコードブ
ックの対応付けを基本にしており、ＶＱして得られた電
話音声のコードに対する広帯域コードを広帯域コードブ
ックから引き出すことで間接的に広帯域スペクトルを求
め、さらにピッチでＬＰＣ合成することにより広帯域音
声を得ているため、ベクトル量子化歪による合成音の劣
化が大きく、また処理量も比較的多い。
【０００５】
【発明が解決しようとする課題】上記したように、上述
した高品質化技術のうち、前者の方法では、処理量が大
きいため実用化は困難であると考えられる。また、後者
の方法では、ベクトル量子化歪による合成音の劣化が大
きく、また処理量も比較的多い。
した高品質化技術のうち、前者の方法では、処理量が大
きいため実用化は困難であると考えられる。また、後者
の方法では、ベクトル量子化歪による合成音の劣化が大
きく、また処理量も比較的多い。
【０００６】本発明は、上記の課題を解決するもので、
ある周波数帯域に帯域制限された入力信号を、入力信号
の持つ周波数帯域を包含するような広い周波数帯域を有
する広帯域信号に変換し、合成することにより、通信回
線により帯域制限されたアナログ電話や帯域制限された
携帯電話の帯域を広げ、通話品質を向上させることを可
能にする信号合成方法および装置を提供することを目的
とする。
ある周波数帯域に帯域制限された入力信号を、入力信号
の持つ周波数帯域を包含するような広い周波数帯域を有
する広帯域信号に変換し、合成することにより、通信回
線により帯域制限されたアナログ電話や帯域制限された
携帯電話の帯域を広げ、通話品質を向上させることを可
能にする信号合成方法および装置を提供することを目的
とする。
【０００７】また、本発明は、あらかじめ多量の学習用
データから狭帯域スペクトル情報を広帯域スペクトル情
報に変換する写像関数を推定しておき、これにより入力
音声のスペクトル包絡情報を広帯域化スペクトル情報へ
と直接的に変換することにより、高音質な信号が得られ
る、高性能でしかも簡単な構成による信号合成方法およ
び装置を提供することを目的とする。
データから狭帯域スペクトル情報を広帯域スペクトル情
報に変換する写像関数を推定しておき、これにより入力
音声のスペクトル包絡情報を広帯域化スペクトル情報へ
と直接的に変換することにより、高音質な信号が得られ
る、高性能でしかも簡単な構成による信号合成方法およ
び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】上記目的を達成するため
に、本発明の信号合成方法は、特定の周波数帯域に帯域
制限された入力信号を、フレーム毎に音響分析すること
により入力スペクトル情報を抽出し、前記入力スペクト
ル情報を基に写像関数によって広帯域化した広帯域化ス
ペクトル情報を算出し、前記広帯域化スペクトル情報か
ら前記入力信号の周波数帯域を包含する広帯域な周波数
帯域を有する出力信号に変換する信号合成方法であっ
て、あらかじめ多量の学習用データから前記入力信号と
同じ周波数帯域の狭帯域信号を作成し、前記狭帯域信号
を音響分析により狭帯域スペクトル情報を抽出すると共
に、前記多量の学習用データから前記入力信号の周波数
帯域を包含する広い周波数帯域を有する広帯域信号を作
成し、前記広帯域信号を音響分析により理想的なスペク
トル特性を持つ目標広帯域スペクトル情報を抽出し、前
記目標広帯域スペクトル情報と、前記狭帯域スペクトル
情報を基に前記写像関数によって算出した広帯域化スペ
クトル情報との二乗誤差を最小とするように、前記写像
関数を推定することによって、前記入力スペクトル情報
と前記広帯域化スペクトル情報が一対一に対応している
ことを特徴とするものである。
に、本発明の信号合成方法は、特定の周波数帯域に帯域
制限された入力信号を、フレーム毎に音響分析すること
により入力スペクトル情報を抽出し、前記入力スペクト
ル情報を基に写像関数によって広帯域化した広帯域化ス
ペクトル情報を算出し、前記広帯域化スペクトル情報か
ら前記入力信号の周波数帯域を包含する広帯域な周波数
帯域を有する出力信号に変換する信号合成方法であっ
て、あらかじめ多量の学習用データから前記入力信号と
同じ周波数帯域の狭帯域信号を作成し、前記狭帯域信号
を音響分析により狭帯域スペクトル情報を抽出すると共
に、前記多量の学習用データから前記入力信号の周波数
帯域を包含する広い周波数帯域を有する広帯域信号を作
成し、前記広帯域信号を音響分析により理想的なスペク
トル特性を持つ目標広帯域スペクトル情報を抽出し、前
記目標広帯域スペクトル情報と、前記狭帯域スペクトル
情報を基に前記写像関数によって算出した広帯域化スペ
クトル情報との二乗誤差を最小とするように、前記写像
関数を推定することによって、前記入力スペクトル情報
と前記広帯域化スペクトル情報が一対一に対応している
ことを特徴とするものである。
【０００９】また、上記目的を達成するために、本発明
の信号合成装置は、特定の周波数帯域に帯域制限された
入力信号を、入力信号の持つ周波数帯域を包含する広い
周波数帯域を有する出力信号に変換する信号合成装置で
あって、特定の周波数帯域に帯域制限された入力信号
を、フレーム毎に音響分析することにより入力スペクト
ル情報を抽出する音響分析器と、あらかじめ多量の学習
用データから前記入力信号と同じ周波数帯域の狭帯域ス
ペクトル情報を抽出する狭帯域データ処理器と、前記多
量の学習用データから前記入力信号の周波数帯域を包含
する広い周波数帯域を有する広帯域信号を作成し、理想
的なスペクトル特性を持つ目標広帯域スペクトル情報を
抽出する広帯域データ処理器と、前記狭帯域スペクトル
情報と前記目標広帯域スペクトル情報との関係を、一対
一に対応する写像関数として推定する写像関数推定器
と、前記入力信号から抽出した入力スペクトル情報に基
づき、前記写像関数によって広帯域化した広帯域化スペ
クトル情報を算出する広帯域化器と、前記広帯域化スペ
クトル情報を、前記入力信号の周波数帯域を包含する広
帯域な周波数帯域を有する出力信号に変換する信号合成
器とを備え、前記写像関数推定器は、前記目標広帯域ス
ペクトル情報と、前記狭帯域スペクトル情報を基に前記
写像関数によって算出した広帯域化スペクトル情報との
二乗誤差を最小とするように、前記写像関数を推定する
ことを特徴とするものである。
の信号合成装置は、特定の周波数帯域に帯域制限された
入力信号を、入力信号の持つ周波数帯域を包含する広い
周波数帯域を有する出力信号に変換する信号合成装置で
あって、特定の周波数帯域に帯域制限された入力信号
を、フレーム毎に音響分析することにより入力スペクト
ル情報を抽出する音響分析器と、あらかじめ多量の学習
用データから前記入力信号と同じ周波数帯域の狭帯域ス
ペクトル情報を抽出する狭帯域データ処理器と、前記多
量の学習用データから前記入力信号の周波数帯域を包含
する広い周波数帯域を有する広帯域信号を作成し、理想
的なスペクトル特性を持つ目標広帯域スペクトル情報を
抽出する広帯域データ処理器と、前記狭帯域スペクトル
情報と前記目標広帯域スペクトル情報との関係を、一対
一に対応する写像関数として推定する写像関数推定器
と、前記入力信号から抽出した入力スペクトル情報に基
づき、前記写像関数によって広帯域化した広帯域化スペ
クトル情報を算出する広帯域化器と、前記広帯域化スペ
クトル情報を、前記入力信号の周波数帯域を包含する広
帯域な周波数帯域を有する出力信号に変換する信号合成
器とを備え、前記写像関数推定器は、前記目標広帯域ス
ペクトル情報と、前記狭帯域スペクトル情報を基に前記
写像関数によって算出した広帯域化スペクトル情報との
二乗誤差を最小とするように、前記写像関数を推定する
ことを特徴とするものである。
【００１０】
【作用】本発明は、上記した構成により、ある周波数帯
域に帯域制限された入力信号を、入力信号の持つ周波数
帯域を包含する広い周波数帯域を有する広帯域信号に変
換するため、あらかじめ多量の学習用データから狭帯域
スペクトル情報を広帯域スペクトル情報へと変換する写
像関数を推定しておき、これにより入力音声のスペクト
ル包絡情報を広帯域化スペクトル情報へと変換している
ので、高音質な信号が得られ、しかも高性能で簡単な構
成による帯域制限された信号の広帯域化が可能となる。
域に帯域制限された入力信号を、入力信号の持つ周波数
帯域を包含する広い周波数帯域を有する広帯域信号に変
換するため、あらかじめ多量の学習用データから狭帯域
スペクトル情報を広帯域スペクトル情報へと変換する写
像関数を推定しておき、これにより入力音声のスペクト
ル包絡情報を広帯域化スペクトル情報へと変換している
ので、高音質な信号が得られ、しかも高性能で簡単な構
成による帯域制限された信号の広帯域化が可能となる。
【００１１】
【実施例】携帯電話をはじめとする通信端末の高度化が
進み、その際通話品質の議論が盛んになされている。電
話は多くの人にとって、なくてはならない重要な通信手
段であり、その品質を向上させることは非常に重要な研
究課題である。
進み、その際通話品質の議論が盛んになされている。電
話は多くの人にとって、なくてはならない重要な通信手
段であり、その品質を向上させることは非常に重要な研
究課題である。
【００１２】本発明の信号合成方法および装置は、回線
特性のため劣化したアナログ電話音声を広帯域化するこ
とによる高音質化のみならず、ビットレートの制限のた
めに帯域制限されたディジタル信号の広帯域化をも実現
する信号合成方法および信号合成装置である。たとえ
ば、携帯電話をはじめとするディジタル無線電話では、
アナログ電話に比較して０.３〜３.４ｋＨｚの電話帯域
音声の品質はある程度保持できるものの、ビットレート
の制限のため３.４ｋＨｚ以上の高域部分は伝達されな
いという原理的な制約がある。本発明は、この帯域制限
された信号をもとの広帯域な信号に戻すための方法と装
置を提供するものである。以下、帯域制限された音声を
広帯域化する本発明の第１の実施例について説明する。
特性のため劣化したアナログ電話音声を広帯域化するこ
とによる高音質化のみならず、ビットレートの制限のた
めに帯域制限されたディジタル信号の広帯域化をも実現
する信号合成方法および信号合成装置である。たとえ
ば、携帯電話をはじめとするディジタル無線電話では、
アナログ電話に比較して０.３〜３.４ｋＨｚの電話帯域
音声の品質はある程度保持できるものの、ビットレート
の制限のため３.４ｋＨｚ以上の高域部分は伝達されな
いという原理的な制約がある。本発明は、この帯域制限
された信号をもとの広帯域な信号に戻すための方法と装
置を提供するものである。以下、帯域制限された音声を
広帯域化する本発明の第１の実施例について説明する。
【００１３】図１は本発明の第１の実施例の全体構成を
示すブロック構成図である。図１において、１０１は信
号をフレーム毎に音響分析してスペクトル情報を抽出す
る音響分析器で、例えばフレーム毎にＰＳＥ分析して得
られるケプストラム係数を算出する。また、フレーム毎
にケプストラム分析して得られるケプストラム係数や、
或いはフレーム毎にウェーブレット変換して得られる係
数などを用いても、信号の周波数軸上の特性を表現して
いる特徴量であることには代わりないので、使用しても
何等差し支えない。また、これらの係数を求める方法は
すでに公知であり、例えば、ＰＳＥ分析に関しては、中
島、鈴木：“パワースペクトル包絡（ＰＳＥ）音声分析
・合成系”,日本音響学会誌,４４巻、１１号,pp.824-83
2,（1988）に詳しく記載されており、またケプストラム
分析に関しては、L.R.RabinerとR.W.Schaferの共著、鈴
木久喜訳の、”音声のディジタル信号処理（上）
（下）”、コロナ社、に記載されている。ウェーブレッ
ト変換に関しては、河原：“ウェーブレット解析の聴覚
研究への応用”,日本音響学会誌,４７巻、６号,pp.424-
429,（1991）、に記載されている。
示すブロック構成図である。図１において、１０１は信
号をフレーム毎に音響分析してスペクトル情報を抽出す
る音響分析器で、例えばフレーム毎にＰＳＥ分析して得
られるケプストラム係数を算出する。また、フレーム毎
にケプストラム分析して得られるケプストラム係数や、
或いはフレーム毎にウェーブレット変換して得られる係
数などを用いても、信号の周波数軸上の特性を表現して
いる特徴量であることには代わりないので、使用しても
何等差し支えない。また、これらの係数を求める方法は
すでに公知であり、例えば、ＰＳＥ分析に関しては、中
島、鈴木：“パワースペクトル包絡（ＰＳＥ）音声分析
・合成系”,日本音響学会誌,４４巻、１１号,pp.824-83
2,（1988）に詳しく記載されており、またケプストラム
分析に関しては、L.R.RabinerとR.W.Schaferの共著、鈴
木久喜訳の、”音声のディジタル信号処理（上）
（下）”、コロナ社、に記載されている。ウェーブレッ
ト変換に関しては、河原：“ウェーブレット解析の聴覚
研究への応用”,日本音響学会誌,４７巻、６号,pp.424-
429,（1991）、に記載されている。
【００１４】１０２は、あらかじめ多量の学習用データ
からフィルタ処理により狭帯域信号を作成し、音響分析
器１０１により狭帯域スペクトル情報を抽出する狭帯域
データ処理器である。ここで言うフィルタ処理とは、広
帯域化しようとしている入力音声が何らかの帯域制限を
受けた際の伝送特性やフィルタ等に相当するフィルタ特
性を学習データに与えるための処理のことである。
からフィルタ処理により狭帯域信号を作成し、音響分析
器１０１により狭帯域スペクトル情報を抽出する狭帯域
データ処理器である。ここで言うフィルタ処理とは、広
帯域化しようとしている入力音声が何らかの帯域制限を
受けた際の伝送特性やフィルタ等に相当するフィルタ特
性を学習データに与えるための処理のことである。
【００１５】１０３は、学習用データから理想的なスペ
クトル特性を持つ広帯域スペクトル情報を抽出するため
の広帯域データ処理器である。学習用データとしては例
えば、ある標準話者１名の様々に発声した音声を用いて
もよいし、さらに、複数の話者のデータを用いること
で、話者の発声の変動に強い写像関数を作成する時に有
用である。
クトル特性を持つ広帯域スペクトル情報を抽出するため
の広帯域データ処理器である。学習用データとしては例
えば、ある標準話者１名の様々に発声した音声を用いて
もよいし、さらに、複数の話者のデータを用いること
で、話者の発声の変動に強い写像関数を作成する時に有
用である。
【００１６】１０４は、狭帯域スペクトル情報と広帯域
スペクトル情報との関係を写像関数として推定する写像
関数推定器であり、推定する写像関数として、本実施例
では線形写像によるスペクトル変換を行う。さらに、線
形写像以外に２次変換や、ニューラルネットワークなど
の非線形変換を用いても、狭帯域スペクトルから広帯域
スペクトルを直接的に変換している点では同じなので何
等差し支えない。２次変換に関しては、F.Class、A.Kal
tenmeier、P.Regel、and K.Trottler："Fast speaker a
daptation for speech recognition systems",Proc. IE
EE ICASSP,pp.133-136,（Apr.1990）に記載されてお
り、またニューラルネットワークによる変換は、磯、麻
生、吉田、渡辺：”ニューラルネットワークによる話者
適応”、音響学会講演論文集,１−６−１６,（1989.3）
に記載されている。
スペクトル情報との関係を写像関数として推定する写像
関数推定器であり、推定する写像関数として、本実施例
では線形写像によるスペクトル変換を行う。さらに、線
形写像以外に２次変換や、ニューラルネットワークなど
の非線形変換を用いても、狭帯域スペクトルから広帯域
スペクトルを直接的に変換している点では同じなので何
等差し支えない。２次変換に関しては、F.Class、A.Kal
tenmeier、P.Regel、and K.Trottler："Fast speaker a
daptation for speech recognition systems",Proc. IE
EE ICASSP,pp.133-136,（Apr.1990）に記載されてお
り、またニューラルネットワークによる変換は、磯、麻
生、吉田、渡辺：”ニューラルネットワークによる話者
適応”、音響学会講演論文集,１−６−１６,（1989.3）
に記載されている。
【００１７】次に１０５は、入力信号のスペクトル情報
を音響分析器１０１により抽出し、このスペクトル情報
を写像関数で直接的に広帯域化して広帯域化スペクトル
情報に変換する広帯域化器であり、さらに１０６はこの
広帯域化スペクトル情報から入力信号の周波数帯域を包
含する広い周波数帯域を有する広帯域信号を合成する信
号合成器である。
を音響分析器１０１により抽出し、このスペクトル情報
を写像関数で直接的に広帯域化して広帯域化スペクトル
情報に変換する広帯域化器であり、さらに１０６はこの
広帯域化スペクトル情報から入力信号の周波数帯域を包
含する広い周波数帯域を有する広帯域信号を合成する信
号合成器である。
【００１８】以下、本発明の第１の実施例について、図
１のブロック構成図を参照しながら詳細に説明する。こ
こでは音響信号として、音声データを用いる。勿論、音
声以外の音響信号、たとえば音楽や画像信号なども使用
できる。まず、音声が電話回線やあるいは帯域制限フィ
ルタなどを通ってから音響分析器１０１に入力される
と、音響分析器１０１ではフレームｉでのＭ次のＰＳＥ
ケプストラム係数Ｃi(M)が抽出される。一定の時間間隔
は、ここでは例えばサンプリング周波数を８ＫＨｚ（帯
域幅４ＫＨｚ）としたとき、１６０点（２０ｍｓ）であ
り、この時間単位をフレームと呼ぶ。一方、広帯域化後
の広帯域信号では、サンプリング周波数を１６ＫＨｚ
（帯域幅８ＫＨｚ）として、３２０点（２０ｍｓ）とす
れば良い。
１のブロック構成図を参照しながら詳細に説明する。こ
こでは音響信号として、音声データを用いる。勿論、音
声以外の音響信号、たとえば音楽や画像信号なども使用
できる。まず、音声が電話回線やあるいは帯域制限フィ
ルタなどを通ってから音響分析器１０１に入力される
と、音響分析器１０１ではフレームｉでのＭ次のＰＳＥ
ケプストラム係数Ｃi(M)が抽出される。一定の時間間隔
は、ここでは例えばサンプリング周波数を８ＫＨｚ（帯
域幅４ＫＨｚ）としたとき、１６０点（２０ｍｓ）であ
り、この時間単位をフレームと呼ぶ。一方、広帯域化後
の広帯域信号では、サンプリング周波数を１６ＫＨｚ
（帯域幅８ＫＨｚ）として、３２０点（２０ｍｓ）とす
れば良い。
【００１９】一方、狭帯域データ処理器１０２では、あ
らかじめ用意した多数の学習用音声データをフィルタ処
理して狭帯域信号を作成する。フィルタとしては、たと
えば電話回線の特性を模擬したものや、ディジタル化の
際に使用する低域通過フィルタ等を模擬したものを使用
する。この処理により、入力音声と学習用音声を同じ環
境で得た共通のデータとして扱うことが可能になる。さ
らにこの狭帯域信号から前述の音響分析器１０１により
狭帯域スペクトル情報を抽出する。また、広帯域データ
処理器１０３は前述の多数の学習用データをフィルタ処
理しないで、最も理想的な信号すなわち広帯域信号を作
成し、この広帯域信号から音響分析器１０１により広帯
域スペクトル情報を抽出する部分である。以上の処理手
順を図２に示す。
らかじめ用意した多数の学習用音声データをフィルタ処
理して狭帯域信号を作成する。フィルタとしては、たと
えば電話回線の特性を模擬したものや、ディジタル化の
際に使用する低域通過フィルタ等を模擬したものを使用
する。この処理により、入力音声と学習用音声を同じ環
境で得た共通のデータとして扱うことが可能になる。さ
らにこの狭帯域信号から前述の音響分析器１０１により
狭帯域スペクトル情報を抽出する。また、広帯域データ
処理器１０３は前述の多数の学習用データをフィルタ処
理しないで、最も理想的な信号すなわち広帯域信号を作
成し、この広帯域信号から音響分析器１０１により広帯
域スペクトル情報を抽出する部分である。以上の処理手
順を図２に示す。
【００２０】次に、写像関数推定器１０４では、狭帯域
スペクトル情報と広帯域スペクトル情報との関係を写像
関数として推定する。本実施例では写像関数として線形
写像を用い、狭帯域スペクトル情報から広帯域スペクト
ル情報へスペクトル変換を行う。具体的には、写像関数
{Ａ} の推定には、入力されたスペクトル情報ｘiの変換
後の広帯域化スペクトル情報ｚiと目標となる広帯域ス
ペクトル情報ｙiとの間の二乗誤差を最小化することで
推定する。すなわち、全学習データの全フレームにおけ
る（数１）で与えられる目的関数を最小化することで求
められる。
スペクトル情報と広帯域スペクトル情報との関係を写像
関数として推定する。本実施例では写像関数として線形
写像を用い、狭帯域スペクトル情報から広帯域スペクト
ル情報へスペクトル変換を行う。具体的には、写像関数
{Ａ} の推定には、入力されたスペクトル情報ｘiの変換
後の広帯域化スペクトル情報ｚiと目標となる広帯域ス
ペクトル情報ｙiとの間の二乗誤差を最小化することで
推定する。すなわち、全学習データの全フレームにおけ
る（数１）で与えられる目的関数を最小化することで求
められる。
【００２１】
【数１】
【００２２】ただし、{Ａ} はＭ×Ｍ次元のマトリック
スであり、ｙiとｚiはＭ次元のベクトルである。
スであり、ｙiとｚiはＭ次元のベクトルである。
【００２３】この推定で用いる広帯域スペクトル情報と
狭帯域スペクトル情報は同じ学習音声データから求めて
いるので、フレーム毎に完全に一対一に対応づけするこ
とができ、いわゆる話者適応などで用いられる教師あり
の学習よりもさらに強力な対応付けといえる。
狭帯域スペクトル情報は同じ学習音声データから求めて
いるので、フレーム毎に完全に一対一に対応づけするこ
とができ、いわゆる話者適応などで用いられる教師あり
の学習よりもさらに強力な対応付けといえる。
【００２４】次に１０５は、ｉフレーム目の入力信号の
スペクトル情報ｘi を音響分析器１０１により抽出し、
写像関数{Ａ}で広帯域化スペクトル情報ｚi に変換する
広帯域化器である。具体的には、（数２）により変換を
行う。
スペクトル情報ｘi を音響分析器１０１により抽出し、
写像関数{Ａ}で広帯域化スペクトル情報ｚi に変換する
広帯域化器である。具体的には、（数２）により変換を
行う。
【００２５】
【数２】
【００２６】最後に、音声合成器１０６において、広帯
域化スペクトル情報から広帯域信号をＰＳＥ合成により
音声合成する。
域化スペクトル情報から広帯域信号をＰＳＥ合成により
音声合成する。
【００２７】以上のように、本実施例の構成によれば、
比較的簡単な構成で、帯域制限された入力信号を、広い
周波数帯域を有する広帯域信号に正確に変換することが
できる信号合成装置を提供することができる。
比較的簡単な構成で、帯域制限された入力信号を、広い
周波数帯域を有する広帯域信号に正確に変換することが
できる信号合成装置を提供することができる。
【００２８】次に、本発明の第２の実施例について説明
する。図３は本実施例の全体構成を示すブロック構成図
である。本実施例は、第１の実施例よりさらに高性能な
装置例である。本実施例が第１の実施例と大きく異なる
部分、すなわち本実施例において最も重要な部分は、入
力信号のスペクトル情報をいくつかの部分空間に選別
し、それぞれ区分化した複数の部分空間毎に直接的に写
像を行う部分であり、より精密なスペクトル写像が実現
できることにある。ここでも写像関数としては、線形写
像、２時変換、あるいはニューラルネットワークなどの
非線形変換のいずれを用いても差し支えない。また、他
のスペクトルの変換方法として、クラスタリング処理に
よりいくつかのコードに離散化された符号帳を用いて、
狭帯域コードから広帯域コードへと写像する方法があ
り、コードの頻度とスペクトルとの重ね合わせを用いる
ことでより正確なスペクトル変換が可能となる方法も考
えられる。本実施例においては、写像関数として線形写
像を用いることにする。
する。図３は本実施例の全体構成を示すブロック構成図
である。本実施例は、第１の実施例よりさらに高性能な
装置例である。本実施例が第１の実施例と大きく異なる
部分、すなわち本実施例において最も重要な部分は、入
力信号のスペクトル情報をいくつかの部分空間に選別
し、それぞれ区分化した複数の部分空間毎に直接的に写
像を行う部分であり、より精密なスペクトル写像が実現
できることにある。ここでも写像関数としては、線形写
像、２時変換、あるいはニューラルネットワークなどの
非線形変換のいずれを用いても差し支えない。また、他
のスペクトルの変換方法として、クラスタリング処理に
よりいくつかのコードに離散化された符号帳を用いて、
狭帯域コードから広帯域コードへと写像する方法があ
り、コードの頻度とスペクトルとの重ね合わせを用いる
ことでより正確なスペクトル変換が可能となる方法も考
えられる。本実施例においては、写像関数として線形写
像を用いることにする。
【００２９】以下、本発明の第２の実施例について、図
３のブロック構成図を参照しながら詳細に説明する。図
３において、２０１は信号をフレーム毎に、例えばＰＳ
Ｅ分析等をして得られるスペクトル情報を抽出する音響
分析器である。狭帯域データ処理器２０２および広帯域
データ処理器２０３の構成は第１の実施例と同様であ
る。２０４は、狭帯域データ処理器２０２で得られた狭
帯域スペクトル情報を類似したスペクトルのグループに
クラスタリングし、各グループを代表的に表現するいく
つかの代表コードを持つ狭帯域符号帳を作成する狭帯域
符号帳作成器である。この代表コードにより、スペクト
ル情報をコード数個の部分空間に区分化する。クラスタ
リング方法としては、代表的なものとしてベクトル量子
化法があり、多量のデータ（母集団）の特徴を少ないデ
ータで効率的に表現することが可能となる。
３のブロック構成図を参照しながら詳細に説明する。図
３において、２０１は信号をフレーム毎に、例えばＰＳ
Ｅ分析等をして得られるスペクトル情報を抽出する音響
分析器である。狭帯域データ処理器２０２および広帯域
データ処理器２０３の構成は第１の実施例と同様であ
る。２０４は、狭帯域データ処理器２０２で得られた狭
帯域スペクトル情報を類似したスペクトルのグループに
クラスタリングし、各グループを代表的に表現するいく
つかの代表コードを持つ狭帯域符号帳を作成する狭帯域
符号帳作成器である。この代表コードにより、スペクト
ル情報をコード数個の部分空間に区分化する。クラスタ
リング方法としては、代表的なものとしてベクトル量子
化法があり、多量のデータ（母集団）の特徴を少ないデ
ータで効率的に表現することが可能となる。
【００３０】以下、本実施例ではクラスタリングのアル
ゴリズムとしてベクトル量子化法を用いることとする。
また符号帳を作成する方法としては、ＬｉｎｄｅらのＬ
ＢＧアルゴリズム （Y.Linde, A.buzo and R.M.Gray :"
An algorithm for vector quantizer design",IEEE Tra
ns.Commun.,COM-28,1,pp.84-95(Jan.1980)）が代表的な
手法としてある。また別のクラスタリング方法として
は、音声をいくつかの音韻毎にグループ分けして、各音
韻毎のスペクトル情報の平均値と標準偏差を求めてお
き、各音韻に対応する写像関数により広帯域化すること
も可能である。この時グループ分けの際に用いる距離尺
度としては、音韻毎の平均値と標準偏差を用いた統計的
距離、たとえばマハラノビス距離や対数尤度などが有効
である。そして、広帯域化の際には、音韻毎の写像関数
により変換を行うことで、各音韻のスペクトル特徴に基
づいた変換が可能となる。このように、音声データ中の
話者の特徴空間（スペクトル空間）を効率的に表現して
いる方法であれば、いかなる手法を用いても差し支えな
い。
ゴリズムとしてベクトル量子化法を用いることとする。
また符号帳を作成する方法としては、ＬｉｎｄｅらのＬ
ＢＧアルゴリズム （Y.Linde, A.buzo and R.M.Gray :"
An algorithm for vector quantizer design",IEEE Tra
ns.Commun.,COM-28,1,pp.84-95(Jan.1980)）が代表的な
手法としてある。また別のクラスタリング方法として
は、音声をいくつかの音韻毎にグループ分けして、各音
韻毎のスペクトル情報の平均値と標準偏差を求めてお
き、各音韻に対応する写像関数により広帯域化すること
も可能である。この時グループ分けの際に用いる距離尺
度としては、音韻毎の平均値と標準偏差を用いた統計的
距離、たとえばマハラノビス距離や対数尤度などが有効
である。そして、広帯域化の際には、音韻毎の写像関数
により変換を行うことで、各音韻のスペクトル特徴に基
づいた変換が可能となる。このように、音声データ中の
話者の特徴空間（スペクトル空間）を効率的に表現して
いる方法であれば、いかなる手法を用いても差し支えな
い。
【００３１】２０５は、狭帯域データ処理器２０２で得
られた狭帯域スペクトル情報が狭帯域符号帳中のどの代
表コードに最も近い距離にあるかを判定し、最も近い距
離にある狭帯域スペクトル情報をその代表コードに対す
る狭帯域スペクトル情報とし、これを全学習用データに
亘って行うことで狭帯域スペクトル情報群を作成する狭
帯域データ蓄積器である。実際に、ベクトル量子化によ
り狭帯域スペクトル情報群を作成する際には、まずｊフ
レーム目の狭帯域スペクトル情報ｘjに対するｋ番目の
コードＶk（コード数Ｌ）に対する量子化歪 Ｄjkは、
（数３）で計算される。
られた狭帯域スペクトル情報が狭帯域符号帳中のどの代
表コードに最も近い距離にあるかを判定し、最も近い距
離にある狭帯域スペクトル情報をその代表コードに対す
る狭帯域スペクトル情報とし、これを全学習用データに
亘って行うことで狭帯域スペクトル情報群を作成する狭
帯域データ蓄積器である。実際に、ベクトル量子化によ
り狭帯域スペクトル情報群を作成する際には、まずｊフ
レーム目の狭帯域スペクトル情報ｘjに対するｋ番目の
コードＶk（コード数Ｌ）に対する量子化歪 Ｄjkは、
（数３）で計算される。
【００３２】
【数３】
【００３３】ただし、ｘj、ＶkはＭ次元のベクトル（Ｍ
次元の特徴量）である。そして、この歪が最も小さいコ
ードがｊフレーム目の狭帯域スペクトル情報に対するコ
ードになる。この狭帯域スペクトル情報とコードとの対
応関係を全ての学習データについて調べ、各コード毎の
狭帯域スペクトル情報群を作成する。さらに２０６は、
すでに明かな狭帯域スペクトル情報と広帯域スペクトル
情報との時間対応関係から、この狭帯域スペクトル情報
とコードとの対応関係を全ての学習データについて調
べ、各コード毎の広帯域スペクトル情報群を作成する広
帯域データ蓄積器である。
次元の特徴量）である。そして、この歪が最も小さいコ
ードがｊフレーム目の狭帯域スペクトル情報に対するコ
ードになる。この狭帯域スペクトル情報とコードとの対
応関係を全ての学習データについて調べ、各コード毎の
狭帯域スペクトル情報群を作成する。さらに２０６は、
すでに明かな狭帯域スペクトル情報と広帯域スペクトル
情報との時間対応関係から、この狭帯域スペクトル情報
とコードとの対応関係を全ての学習データについて調
べ、各コード毎の広帯域スペクトル情報群を作成する広
帯域データ蓄積器である。
【００３４】２０７は、この狭帯域スペクトル情報群と
広帯域スペクトル情報群とを用いて写像関数を推定する
写像関数推定器である。図４に、写像関数として線形写
像を用いた場合の、写像関数の推定方法を示す。以下、
その具体的な手順を［ステップ１］〜［ステップ５］に
示す。 ［ステップ１］学習用音声データから得られた広帯域信
号と狭帯域信号から、それぞれのスペクトル情報を音響
分析器により抽出する。 ［ステップ２］ＬＢＧアルゴリズムにより、［ステップ
１］で求めた狭帯域スペクトルから狭帯域符号帳を作成
する。ここでは距離尺度としてユークリッド距離を用い
るが、絶対値距離や他の歪尺度など種々考えられ、入力
信号の特徴量が狭帯域符号帳中のどのコードに対応する
かを決定する意味ではどのような距離尺度を用いても差
し支えない。 ［ステップ３］狭帯域スペクトル情報を狭帯域符号帳に
よりベクトル量子化して対応するコードを検索し、各コ
ード（各部分空間の代表点）に対応する狭帯域スペクト
ル情報を蓄積し、部分空間毎の狭帯域スペクトル情報群
（クラスタ）を作成する。 ［ステップ４］狭帯域スペクトル情報と広帯域スペクト
ル情報の時間対応をとることにより、各コードに対応す
る広帯域スペクトル情報を蓄積し、広帯域スペクトル情
報群を求める。 ［ステップ５］各クラスタ毎（部分空間毎）の広帯域ス
ペクトル情報と狭帯域スペクトル情報との組を教師デー
タとして、写像関数を推定する。
広帯域スペクトル情報群とを用いて写像関数を推定する
写像関数推定器である。図４に、写像関数として線形写
像を用いた場合の、写像関数の推定方法を示す。以下、
その具体的な手順を［ステップ１］〜［ステップ５］に
示す。 ［ステップ１］学習用音声データから得られた広帯域信
号と狭帯域信号から、それぞれのスペクトル情報を音響
分析器により抽出する。 ［ステップ２］ＬＢＧアルゴリズムにより、［ステップ
１］で求めた狭帯域スペクトルから狭帯域符号帳を作成
する。ここでは距離尺度としてユークリッド距離を用い
るが、絶対値距離や他の歪尺度など種々考えられ、入力
信号の特徴量が狭帯域符号帳中のどのコードに対応する
かを決定する意味ではどのような距離尺度を用いても差
し支えない。 ［ステップ３］狭帯域スペクトル情報を狭帯域符号帳に
よりベクトル量子化して対応するコードを検索し、各コ
ード（各部分空間の代表点）に対応する狭帯域スペクト
ル情報を蓄積し、部分空間毎の狭帯域スペクトル情報群
（クラスタ）を作成する。 ［ステップ４］狭帯域スペクトル情報と広帯域スペクト
ル情報の時間対応をとることにより、各コードに対応す
る広帯域スペクトル情報を蓄積し、広帯域スペクトル情
報群を求める。 ［ステップ５］各クラスタ毎（部分空間毎）の広帯域ス
ペクトル情報と狭帯域スペクトル情報との組を教師デー
タとして、写像関数を推定する。
【００３５】具体的には、例えばｋ番目のコードに対応
する写像関数{Ａk} の推定は、入力信号のスペクトル情
報の変換後のスペクトル情報、すなわち広帯域化スペク
トル情報ｚiと目標となる広帯域スペクトル情報ｙiとの
間の差の二乗誤差を最小化することにより推定される。
具体的には、全学習データの全フレームに関する目的関
数、（数４）により求められる。
する写像関数{Ａk} の推定は、入力信号のスペクトル情
報の変換後のスペクトル情報、すなわち広帯域化スペク
トル情報ｚiと目標となる広帯域スペクトル情報ｙiとの
間の差の二乗誤差を最小化することにより推定される。
具体的には、全学習データの全フレームに関する目的関
数、（数４）により求められる。
【００３６】
【数４】
【００３７】ただし、{Ａk} はＭ×Ｍ次元のマトリック
スであり、{ｙi}と{ｚi}はＭ次元のベクトルである。
スであり、{ｙi}と{ｚi}はＭ次元のベクトルである。
【００３８】この推定で用いる広帯域スペクトル情報と
狭帯域スペクトル情報は同じ学習音声データから求めて
いるので、フレーム毎に完全に一対一に対応づけするこ
とができる。この推定方法は、いわゆる話者適応などで
用いられる教師ありの学習よりもさらに強力な対応付け
といえる。この（数４）を解くと写像関数{Ａk} は（数
５）のように与えられる。
狭帯域スペクトル情報は同じ学習音声データから求めて
いるので、フレーム毎に完全に一対一に対応づけするこ
とができる。この推定方法は、いわゆる話者適応などで
用いられる教師ありの学習よりもさらに強力な対応付け
といえる。この（数４）を解くと写像関数{Ａk} は（数
５）のように与えられる。
【００３９】
【数５】
【００４０】ただし、Ｒのs行t列の小行列をＲstとする
と、ＲstとＢmはそれぞれ（数６）、（数７）で与えら
れる。
と、ＲstとＢmはそれぞれ（数６）、（数７）で与えら
れる。
【００４１】
【数６】
【００４２】
【数７】
【００４３】次に２０８は、入力信号のスペクトル情報
を音響分析器２０１により抽出し、このスペクトル情報
が狭帯域符号帳中のどの代表コードに最も近い距離にあ
るかを判定するコード判定器である。具体的な処理は、
狭帯域データ蓄積器２０５の中で行っている、狭帯域ス
ペクトル情報に最も近い狭帯域符号帳中の代表コードを
判定する手続きと同様である。そして２０９は、コード
判定器２０８で得られたコードに対応する写像関数で、
入力信号のスペクトル情報を広帯域化する広帯域化器で
ある。具体的には、狭帯域スペクトルｘi を広帯域スペ
クトルｚi へと変換する方法として、スペクトル空間を
Ｍ個の部分空間{Ωk} に分割し、各部分空間毎にあらか
じめ推定しておいた変換行列Ａk により線形写像を行
い、更にそれらを（数９）のような重み係数ｗikで補間
した（数８）により広帯域化を行う。
を音響分析器２０１により抽出し、このスペクトル情報
が狭帯域符号帳中のどの代表コードに最も近い距離にあ
るかを判定するコード判定器である。具体的な処理は、
狭帯域データ蓄積器２０５の中で行っている、狭帯域ス
ペクトル情報に最も近い狭帯域符号帳中の代表コードを
判定する手続きと同様である。そして２０９は、コード
判定器２０８で得られたコードに対応する写像関数で、
入力信号のスペクトル情報を広帯域化する広帯域化器で
ある。具体的には、狭帯域スペクトルｘi を広帯域スペ
クトルｚi へと変換する方法として、スペクトル空間を
Ｍ個の部分空間{Ωk} に分割し、各部分空間毎にあらか
じめ推定しておいた変換行列Ａk により線形写像を行
い、更にそれらを（数９）のような重み係数ｗikで補間
した（数８）により広帯域化を行う。
【００４４】
【数８】
【００４５】
【数９】
【００４６】ここで、部分空間{Ωk}はベクトル量子化
符号帳の代表点{Ｖk} との最小距離で分類され、またｐ
は内挿の平滑度を制御するパラメータである。また、上
記の説明でスペクトル空間をＭ個の代表点でファジィ区
分化したと考えれば、内挿パラメータｐはファジネスと
（数１０）の関係がある。
符号帳の代表点{Ｖk} との最小距離で分類され、またｐ
は内挿の平滑度を制御するパラメータである。また、上
記の説明でスペクトル空間をＭ個の代表点でファジィ区
分化したと考えれば、内挿パラメータｐはファジネスと
（数１０）の関係がある。
【００４７】
【数１０】
【００４８】このように、各部分空間毎の線形写像で変
換したスペクトル情報を重み係数で補間すなわち内挿す
ることで、より精密な変換あるいは広帯域化が行える。
ここで、重み係数で補間せずに、入力信号のスペクトル
情報を最も近い部分空間の写像関数で変換してもよい。
さらに部分空間数が１の場合には、第１の実施例の場合
と全く同じになる。
換したスペクトル情報を重み係数で補間すなわち内挿す
ることで、より精密な変換あるいは広帯域化が行える。
ここで、重み係数で補間せずに、入力信号のスペクトル
情報を最も近い部分空間の写像関数で変換してもよい。
さらに部分空間数が１の場合には、第１の実施例の場合
と全く同じになる。
【００４９】２１０は、この広帯域化スペクトル情報を
用いて入力信号の周波数帯域を包含する広い周波数帯域
を有する広帯域信号をＰＳＥ合成により合成する音声合
成器である。
用いて入力信号の周波数帯域を包含する広い周波数帯域
を有する広帯域信号をＰＳＥ合成により合成する音声合
成器である。
【００５０】このように、帯域制限された信号のスペク
トル情報（狭帯域スペクトル）から元の信号のスペクト
ル情報（広帯域スペクトル）を推定することを考えると
き、音声ならば音韻や個人差などに相当する個々のスペ
クトルの持つ特徴を踏まえて、いくつかのグループ毎に
スペクトル変換を施せば、誤差の少ない正確な変換が可
能になると考えられる。
トル情報（狭帯域スペクトル）から元の信号のスペクト
ル情報（広帯域スペクトル）を推定することを考えると
き、音声ならば音韻や個人差などに相当する個々のスペ
クトルの持つ特徴を踏まえて、いくつかのグループ毎に
スペクトル変換を施せば、誤差の少ない正確な変換が可
能になると考えられる。
【００５１】ここで以下に、本方式におけるスペクトル
情報の広帯域化の手順を示す。 ［ステップ１］帯域制限された信号（狭帯域信号）を音
響分析し、スペクトル情報を抽出する。 ［ステップ２］入力のスペクトル情報を、あらかじめ求
めておいた狭帯域符号帳によりベクトル量子化し、どの
空間に属すスペクトル情報であるか（対応コード）を求
める。 ［ステップ３］学習用音声を用いてあらかじめ作成して
おいた写像関数の中で、［ステップ２］で得られた対応
コードに対応する写像関数により入力スペクトル情報を
変換し、広帯域化スペクトル情報を求める。 ［ステップ４］広帯域化スペクトル包絡から合成により
広帯域信号を得る。
情報の広帯域化の手順を示す。 ［ステップ１］帯域制限された信号（狭帯域信号）を音
響分析し、スペクトル情報を抽出する。 ［ステップ２］入力のスペクトル情報を、あらかじめ求
めておいた狭帯域符号帳によりベクトル量子化し、どの
空間に属すスペクトル情報であるか（対応コード）を求
める。 ［ステップ３］学習用音声を用いてあらかじめ作成して
おいた写像関数の中で、［ステップ２］で得られた対応
コードに対応する写像関数により入力スペクトル情報を
変換し、広帯域化スペクトル情報を求める。 ［ステップ４］広帯域化スペクトル包絡から合成により
広帯域信号を得る。
【００５２】以下に、実際に本実施例によりコンピュー
タシミュレーション実験した結果を示す。写像関数とし
ては、線形写像を用いて実験している。音声データは、
東北大−松下音声データベース中の男性１０名と女性１
０名が発声した２１２単語の単語音声であり、同一話者
内の１０〜１００番目の１００単語を推定に用い、それ
以外の１０１〜１３０番目の３０単語を評価に用いるこ
ととする。収録条件としては、防音室で１インチマイク
ロフォンで収録後、８０Ｈｚの遮断周波数を持つハイパ
スフィルタと９ｋＨｚの遮断周波数を持つローパスフィ
ルターに通した後、サンプリング周波数２４ｋＨｚでＡ
／Ｄ変換され、１２ｂｉｔに量子化されている。本実験
では、元の音声データベース（２４ｋＨｚサンプリン
グ）をフィルタリング処理して狭帯域音声（帯域幅０.
３〜３.４ｋＨｚ、８ｋＨｚサンプリング）および広帯
域音声（帯域幅０.０５〜７.４ｋＨｚ、１６ｋＨｚサン
プリング）をそれぞれ作成して実験に使用している。ま
た、スペクトル情報としては線形予測分析により得られ
る１５次のＬＰＣケプストラム係数を用いた。この係数
は、スペクトルの包絡情報を表現している。音声の分析
条件は１−０.９８ｚ-1の固定プリエンファシスを施
し、２０ｍｓのハミング窓にて１０ｍｓのフレーム周期
で係数を抽出している。本報告では、分析窓、分析周期
等の条件は狭帯域・広帯域音声とも共通とし、分析次数
等が異なることによる影響をできるだけ排除した。また
入力スペクトル情報が、どの部分空間に属しているかを
判定するために用いる狭帯域符号帳は、ＬＢＧアルゴリ
ズムにより求めた。
タシミュレーション実験した結果を示す。写像関数とし
ては、線形写像を用いて実験している。音声データは、
東北大−松下音声データベース中の男性１０名と女性１
０名が発声した２１２単語の単語音声であり、同一話者
内の１０〜１００番目の１００単語を推定に用い、それ
以外の１０１〜１３０番目の３０単語を評価に用いるこ
ととする。収録条件としては、防音室で１インチマイク
ロフォンで収録後、８０Ｈｚの遮断周波数を持つハイパ
スフィルタと９ｋＨｚの遮断周波数を持つローパスフィ
ルターに通した後、サンプリング周波数２４ｋＨｚでＡ
／Ｄ変換され、１２ｂｉｔに量子化されている。本実験
では、元の音声データベース（２４ｋＨｚサンプリン
グ）をフィルタリング処理して狭帯域音声（帯域幅０.
３〜３.４ｋＨｚ、８ｋＨｚサンプリング）および広帯
域音声（帯域幅０.０５〜７.４ｋＨｚ、１６ｋＨｚサン
プリング）をそれぞれ作成して実験に使用している。ま
た、スペクトル情報としては線形予測分析により得られ
る１５次のＬＰＣケプストラム係数を用いた。この係数
は、スペクトルの包絡情報を表現している。音声の分析
条件は１−０.９８ｚ-1の固定プリエンファシスを施
し、２０ｍｓのハミング窓にて１０ｍｓのフレーム周期
で係数を抽出している。本報告では、分析窓、分析周期
等の条件は狭帯域・広帯域音声とも共通とし、分析次数
等が異なることによる影響をできるだけ排除した。また
入力スペクトル情報が、どの部分空間に属しているかを
判定するために用いる狭帯域符号帳は、ＬＢＧアルゴリ
ズムにより求めた。
【００５３】最初に、内挿パラメータの値をｐ＝∞、す
なわち内挿を行わないとき（最小距離分類による空間分
割）の部分空間数Ｍとスペクトル距離との関係を、学習
単語数Ｎをいろいろ変えて調べた。図５が男性１０名の
場合、図６が女性１０名の場合の平均スペクトル距離で
あり、それぞれ学習単語数が１０、３０、５０、１００
単語の場合を示している。それぞれの図において、横軸
は部分空間数を表し、縦軸は平均スペクトル距離［ｄ
Ｂ］を示している。この結果、男女とも同じような傾向
を示しており、部分空間数を増加させるにしたがってス
ペクトル歪は減少し、ある部分空間数において最小値を
取ることが伺える。学習単語数毎の最適な部分空間数
は、Ｎ＝１０、３０、５０、１００のとき、それぞれＭ
＝２、８、８、１６となり、本手法の有効性が確認でき
た。結局、Ｎ＝１００、Ｍ＝１６の場合の平均スペクト
ル距離は、男性平均で３.８１ｄＢ、女性平均で３.５９
ｄＢとなり、空間分割しない場合（Ｍ＝１）と比較して
それぞれ０.６２ｄＢ、０.４７ｄＢ向上している。
なわち内挿を行わないとき（最小距離分類による空間分
割）の部分空間数Ｍとスペクトル距離との関係を、学習
単語数Ｎをいろいろ変えて調べた。図５が男性１０名の
場合、図６が女性１０名の場合の平均スペクトル距離で
あり、それぞれ学習単語数が１０、３０、５０、１００
単語の場合を示している。それぞれの図において、横軸
は部分空間数を表し、縦軸は平均スペクトル距離［ｄ
Ｂ］を示している。この結果、男女とも同じような傾向
を示しており、部分空間数を増加させるにしたがってス
ペクトル歪は減少し、ある部分空間数において最小値を
取ることが伺える。学習単語数毎の最適な部分空間数
は、Ｎ＝１０、３０、５０、１００のとき、それぞれＭ
＝２、８、８、１６となり、本手法の有効性が確認でき
た。結局、Ｎ＝１００、Ｍ＝１６の場合の平均スペクト
ル距離は、男性平均で３.８１ｄＢ、女性平均で３.５９
ｄＢとなり、空間分割しない場合（Ｍ＝１）と比較して
それぞれ０.６２ｄＢ、０.４７ｄＢ向上している。
【００５４】次に、学習単語数をＮ＝１００として、部
分空間数を固定したときの内挿パラメータの効果を調べ
た。図７は男性１０名の、また図８は女性１０名の内挿
パラメータと平均スペクトル距離との関係を示したもの
である。それぞれの図において、横軸が内挿パラメータ
の値を、縦軸が平均スペクトル距離を示している。その
結果、各部分空間毎の内挿パラメータの最適値が存在
し、Ｍ＝２、４、８、１６、３２のときはそれぞれｐ＝
２.０、２.０、２.０、０.２、０.５となり、内挿しな
い場合（Ｉｎｆ）に比較して約０.１ｄＢ程度向上して
いる。結局、Ｎ＝１００、Ｍ＝１６、ｐ＝０.２ の場合
に平均スペクトル距離が最小となり、男性平均で３.７
２ｄＢ、女性平均で３.４９ｄＢとなり、内挿しないと
きと比較してそれぞれ０.０９ｄＢ、０.１０ｄＢ向上し
ている。よってスペクトル距離を最小にする条件は、
（Ｎ、Ｍ、ｐ）＝（１００、１６、０.２） の場合とな
る。
分空間数を固定したときの内挿パラメータの効果を調べ
た。図７は男性１０名の、また図８は女性１０名の内挿
パラメータと平均スペクトル距離との関係を示したもの
である。それぞれの図において、横軸が内挿パラメータ
の値を、縦軸が平均スペクトル距離を示している。その
結果、各部分空間毎の内挿パラメータの最適値が存在
し、Ｍ＝２、４、８、１６、３２のときはそれぞれｐ＝
２.０、２.０、２.０、０.２、０.５となり、内挿しな
い場合（Ｉｎｆ）に比較して約０.１ｄＢ程度向上して
いる。結局、Ｎ＝１００、Ｍ＝１６、ｐ＝０.２ の場合
に平均スペクトル距離が最小となり、男性平均で３.７
２ｄＢ、女性平均で３.４９ｄＢとなり、内挿しないと
きと比較してそれぞれ０.０９ｄＢ、０.１０ｄＢ向上し
ている。よってスペクトル距離を最小にする条件は、
（Ｎ、Ｍ、ｐ）＝（１００、１６、０.２） の場合とな
る。
【００５５】以上のように、本実施例の構成によれば、
帯域制限された入力信号を広い周波数帯域を有する広帯
域信号に正確に変換することができる信号合成装置を提
供することができる。
帯域制限された入力信号を広い周波数帯域を有する広帯
域信号に正確に変換することができる信号合成装置を提
供することができる。
【００５６】次に、本発明の第３の実施例について説明
する。図９は本実施例の全体構成を示すブロック構成図
である。本実施例には、第１の実施例、第２の実施例と
共通する部分は多いが、本実施例が第１、第２の実施例
と大きく異なる部分は、入力信号のスペクトル情報とし
て、ＬＰＣ分析（線形予測分析）により得られる情報、
すなわちスペクトル包絡情報と音源情報であり、これら
を別々に広帯域化するところにある。ここでスペクトル
包絡情報としては、例えば線形予測係数、ＰＡＲＣＯＲ
係数、反射係数、ＬＳＰ係数、ＬＰＣケプストラム係
数、ＬＰＣメルケプストラム係数等が考えられる。例え
ば線形予測係数、ＰＡＲＣＯＲ係数、反射係数、ＬＰＣ
ケプストラム係数、ＬＰＣメルケプストラム係数などの
特徴量に関しては、L.R.RabinerとR.W.Schaferの共著、
鈴木久喜訳の、”音声のディジタル信号処理（上）
（下）”、コロナ社、に詳しく記載されている。またＬ
ＳＰ係数に関しては、F.K.Soong,B.H.Juang："Line Spe
ctrum Pair(LSP) and Speech Data Compression",Proc.
ICASSP,84,pp.1.10.1-1.10.4、に記載されている。これ
らは全て音声のスペクトル上の特徴を表現しているの
で、いずれの係数を用いても差し支えない。本実施例で
は、線形予測係数を使用することにする。また音源情報
の表現の方法としては、ピッチやマルチパルス列、音源
符号帳を用いる方法等、種々考えられるが、これらはす
べて音声のＬＰＣ分析後に得られる残差波形を非線形表
現したものに相当するので、いずれの情報を用いても差
し支えない。ピッチやマルチパルス列に関しては、古
井：”音響・音声工学”、近代科学社に詳しく記載され
ている。また音源符号帳に関しては、小野：“音声符号
化技術の最近の進展”,日本音響学会誌,４８巻、１号,p
p.52-59,（1992）に記載されている。本実施例では以
下、音源情報として音源符号帳を用いる方法を使用する
ことにする。
する。図９は本実施例の全体構成を示すブロック構成図
である。本実施例には、第１の実施例、第２の実施例と
共通する部分は多いが、本実施例が第１、第２の実施例
と大きく異なる部分は、入力信号のスペクトル情報とし
て、ＬＰＣ分析（線形予測分析）により得られる情報、
すなわちスペクトル包絡情報と音源情報であり、これら
を別々に広帯域化するところにある。ここでスペクトル
包絡情報としては、例えば線形予測係数、ＰＡＲＣＯＲ
係数、反射係数、ＬＳＰ係数、ＬＰＣケプストラム係
数、ＬＰＣメルケプストラム係数等が考えられる。例え
ば線形予測係数、ＰＡＲＣＯＲ係数、反射係数、ＬＰＣ
ケプストラム係数、ＬＰＣメルケプストラム係数などの
特徴量に関しては、L.R.RabinerとR.W.Schaferの共著、
鈴木久喜訳の、”音声のディジタル信号処理（上）
（下）”、コロナ社、に詳しく記載されている。またＬ
ＳＰ係数に関しては、F.K.Soong,B.H.Juang："Line Spe
ctrum Pair(LSP) and Speech Data Compression",Proc.
ICASSP,84,pp.1.10.1-1.10.4、に記載されている。これ
らは全て音声のスペクトル上の特徴を表現しているの
で、いずれの係数を用いても差し支えない。本実施例で
は、線形予測係数を使用することにする。また音源情報
の表現の方法としては、ピッチやマルチパルス列、音源
符号帳を用いる方法等、種々考えられるが、これらはす
べて音声のＬＰＣ分析後に得られる残差波形を非線形表
現したものに相当するので、いずれの情報を用いても差
し支えない。ピッチやマルチパルス列に関しては、古
井：”音響・音声工学”、近代科学社に詳しく記載され
ている。また音源符号帳に関しては、小野：“音声符号
化技術の最近の進展”,日本音響学会誌,４８巻、１号,p
p.52-59,（1992）に記載されている。本実施例では以
下、音源情報として音源符号帳を用いる方法を使用する
ことにする。
【００５７】以下、本発明の第３の実施例について、図
９のブロック構成図を参照しながら詳細に説明する。図
９において、３０１は信号をフレーム毎に音声分析して
スペクトル情報として線形予測係数と音源コードを抽出
する音声分析器である。具体的には、伝送路やフィルタ
によって帯域制限された音響信号が入力されると、フレ
ームｉにおけるＭ次の線形予測係数Ａi(M)が線形予測分
析により求められる。また音源符号帳は、乱数から発生
させた白色雑音を用いて容易に作成することができる。
９のブロック構成図を参照しながら詳細に説明する。図
９において、３０１は信号をフレーム毎に音声分析して
スペクトル情報として線形予測係数と音源コードを抽出
する音声分析器である。具体的には、伝送路やフィルタ
によって帯域制限された音響信号が入力されると、フレ
ームｉにおけるＭ次の線形予測係数Ａi(M)が線形予測分
析により求められる。また音源符号帳は、乱数から発生
させた白色雑音を用いて容易に作成することができる。
【００５８】次に、第２の実施例と同様に学習用データ
から音声分析器３０１を用いて狭帯域スペクトル包絡情
報と狭帯域音源符号帳を抽出し、同様に学習用データか
ら音声分析器３０１により広帯域スペクトル包絡情報と
広帯域音源符号帳を抽出する。そして、狭帯域スペクト
ル包絡情報から狭帯域包絡符号帳を作成すると同時に、
この狭帯域スペクトル包絡情報と広帯域スペクトル包絡
情報とから包絡写像関数を第２の実施例と同様に推定す
る。本実施例では、狭帯域音源符号帳と広帯域音源符号
帳とから、さらに音源写像関数を推定する。すなわち、
それぞれの符号帳内のコードの時間軸を合わせ込んでお
き、各符号帳内のコードの対応関係をあらかじめ音源写
像関数として求めておくことで、狭帯域音源情報から広
帯域音源情報に変換することが可能になる。
から音声分析器３０１を用いて狭帯域スペクトル包絡情
報と狭帯域音源符号帳を抽出し、同様に学習用データか
ら音声分析器３０１により広帯域スペクトル包絡情報と
広帯域音源符号帳を抽出する。そして、狭帯域スペクト
ル包絡情報から狭帯域包絡符号帳を作成すると同時に、
この狭帯域スペクトル包絡情報と広帯域スペクトル包絡
情報とから包絡写像関数を第２の実施例と同様に推定す
る。本実施例では、狭帯域音源符号帳と広帯域音源符号
帳とから、さらに音源写像関数を推定する。すなわち、
それぞれの符号帳内のコードの時間軸を合わせ込んでお
き、各符号帳内のコードの対応関係をあらかじめ音源写
像関数として求めておくことで、狭帯域音源情報から広
帯域音源情報に変換することが可能になる。
【００５９】３０２は、まず入力信号の音声分析器３０
１により得られたスペクトル包絡情報を狭帯域包絡符号
帳でコード化し、どの部分空間に属しているかを判定す
る包絡符号判定器であり、３０３は、得られたスペクト
ル包絡情報を包絡写像関数を使って広帯域化して広帯域
化スペクトル情報に変換する包絡広帯域化器である。３
０２は第２の実施例のコード判定器と、また３０３は第
２の実施例の広帯域化器と同じ働きをする。
１により得られたスペクトル包絡情報を狭帯域包絡符号
帳でコード化し、どの部分空間に属しているかを判定す
る包絡符号判定器であり、３０３は、得られたスペクト
ル包絡情報を包絡写像関数を使って広帯域化して広帯域
化スペクトル情報に変換する包絡広帯域化器である。３
０２は第２の実施例のコード判定器と、また３０３は第
２の実施例の広帯域化器と同じ働きをする。
【００６０】３０４は、入力信号の音声分析器３０１に
より得られた音源情報を狭帯域音源符号帳で符号化する
音源符号判定器であり、３０５はこのとき得られた狭帯
域音源コードに対応する広帯域音源コードを探索し、こ
のコードから広帯域化音源情報に変換する音源広帯域化
器である。音源コードの探索は、たとえばあらかじめ作
成しておいた狭帯域音源符号帳中の音源コードｊと、前
述したＭ次の線形予測係数を用いて合成したｉフレーム
における合成音声をｓj(ｉ)とすると、元の音声ｓ(ｉ)
との（数１１）のような差の二乗誤差を最小化する音源
コードｋを見つけることで、実現できる。
より得られた音源情報を狭帯域音源符号帳で符号化する
音源符号判定器であり、３０５はこのとき得られた狭帯
域音源コードに対応する広帯域音源コードを探索し、こ
のコードから広帯域化音源情報に変換する音源広帯域化
器である。音源コードの探索は、たとえばあらかじめ作
成しておいた狭帯域音源符号帳中の音源コードｊと、前
述したＭ次の線形予測係数を用いて合成したｉフレーム
における合成音声をｓj(ｉ)とすると、元の音声ｓ(ｉ)
との（数１１）のような差の二乗誤差を最小化する音源
コードｋを見つけることで、実現できる。
【００６１】
【数１１】
【００６２】そして、この狭帯域音源コードと時間的に
対応する広帯域音源コードを広帯域音源符号帳中から見
つけだすことで、音源の広帯域化が可能になる。
対応する広帯域音源コードを広帯域音源符号帳中から見
つけだすことで、音源の広帯域化が可能になる。
【００６３】３０６は、求めた広帯域化スペクトル包絡
情報と広帯域化音源情報とを用いてＬＰＣ合成により、
入力信号の周波数帯域を包含する広い周波数帯域を有す
る広帯域信号を合成する音声合成器である。
情報と広帯域化音源情報とを用いてＬＰＣ合成により、
入力信号の周波数帯域を包含する広い周波数帯域を有す
る広帯域信号を合成する音声合成器である。
【００６４】以上のように、本実施例によれば、上記の
構成により帯域制限された入力信号を広い周波数帯域を
有する広帯域信号に正確に変換することができる信号合
成装置を提供することができる。
構成により帯域制限された入力信号を広い周波数帯域を
有する広帯域信号に正確に変換することができる信号合
成装置を提供することができる。
【００６５】次に、本発明の第４の実施例について説明
する。図１０は本実施例の全体構成を示すブロック構成
図である。本実施例には、第２の実施例と共通する部分
が多く、共通する部分については、詳しい説明は割愛す
る。本実施例が第２の実施例と大きく異なる部分は、第
２の実施例では線形写像により広帯域化スペクトル情報
を求めていたのに対し、本実施例では広帯域コードの重
みづけ加算により広帯域化スペクトル情報求めている部
分である。具体的には、本実施例では入力信号のスペク
トル情報を狭帯域符号帳を用いてベクトル量子化して狭
帯域コードを求め、このコードに対応する広帯域コード
をあらかじめ作成しておいた頻度テーブルから頻度の大
きい順に検索し、この広帯域コードと頻度との重みづけ
加算を行うことで広帯域化スペクトル包絡情報に変換し
ている。
する。図１０は本実施例の全体構成を示すブロック構成
図である。本実施例には、第２の実施例と共通する部分
が多く、共通する部分については、詳しい説明は割愛す
る。本実施例が第２の実施例と大きく異なる部分は、第
２の実施例では線形写像により広帯域化スペクトル情報
を求めていたのに対し、本実施例では広帯域コードの重
みづけ加算により広帯域化スペクトル情報求めている部
分である。具体的には、本実施例では入力信号のスペク
トル情報を狭帯域符号帳を用いてベクトル量子化して狭
帯域コードを求め、このコードに対応する広帯域コード
をあらかじめ作成しておいた頻度テーブルから頻度の大
きい順に検索し、この広帯域コードと頻度との重みづけ
加算を行うことで広帯域化スペクトル包絡情報に変換し
ている。
【００６６】以下、本発明の第４の実施例について、図
１０のブロック構成図を参照しながら詳細に説明する。
図１０において、４０１は信号をフレーム毎に音響分析
して得られるスペクトル情報を抽出する音声分析器であ
る。４０２の狭帯域データ処理器および４０３の広帯域
データ処理器の構成は第２の実施例と同様である。４０
４は、狭帯域データ処理器４０２で得られた狭帯域スペ
クトル情報を類似したスペクトルのグループにクラスタ
リングし、各グループを代表的に表現するいくつかの代
表コードを持つ狭帯域符号帳を作成する狭帯域符号帳作
成器である。
１０のブロック構成図を参照しながら詳細に説明する。
図１０において、４０１は信号をフレーム毎に音響分析
して得られるスペクトル情報を抽出する音声分析器であ
る。４０２の狭帯域データ処理器および４０３の広帯域
データ処理器の構成は第２の実施例と同様である。４０
４は、狭帯域データ処理器４０２で得られた狭帯域スペ
クトル情報を類似したスペクトルのグループにクラスタ
リングし、各グループを代表的に表現するいくつかの代
表コードを持つ狭帯域符号帳を作成する狭帯域符号帳作
成器である。
【００６７】４０５は、狭帯域データ処理器４０２で得
られた狭帯域スペクトル情報が狭帯域符号帳中のどの代
表コードに最も近い距離にあるかを判定し、最も近い距
離にある狭帯域スペクトル情報をその代表コードに対す
る狭帯域スペクトル情報とし、これを全学習用データに
亘って行うことで各コード毎の狭帯域スペクトル情報の
集合すなわち狭帯域スペクトル情報群を作成する狭帯域
データ蓄積器である。さらに４０６は、この狭帯域スペ
クトル情報とコードとの対応関係を用いて、すでに明か
な狭帯域スペクトル情報と広帯域スペクトル情報との時
間対応関係から、広帯域スペクトル情報とコードとの対
応関係を全ての学習データについて調べ、各コード毎の
広帯域スペクトル情報の集合すなわち広帯域スペクトル
情報群を作成する広帯域データ蓄積器である。いずれ
も、第２の実施例と同様である。
られた狭帯域スペクトル情報が狭帯域符号帳中のどの代
表コードに最も近い距離にあるかを判定し、最も近い距
離にある狭帯域スペクトル情報をその代表コードに対す
る狭帯域スペクトル情報とし、これを全学習用データに
亘って行うことで各コード毎の狭帯域スペクトル情報の
集合すなわち狭帯域スペクトル情報群を作成する狭帯域
データ蓄積器である。さらに４０６は、この狭帯域スペ
クトル情報とコードとの対応関係を用いて、すでに明か
な狭帯域スペクトル情報と広帯域スペクトル情報との時
間対応関係から、広帯域スペクトル情報とコードとの対
応関係を全ての学習データについて調べ、各コード毎の
広帯域スペクトル情報の集合すなわち広帯域スペクトル
情報群を作成する広帯域データ蓄積器である。いずれ
も、第２の実施例と同様である。
【００６８】４０７は、広帯域スペクトル情報群を用い
て各コード毎の平均広帯域スペクトル情報を算出して広
帯域符号帳を作成し、さらに特定の狭帯域コードに対応
した広帯域コードの数を頻度として算出し、これを全て
の狭帯域コードに対して行い頻度テーブルを作成する頻
度テーブル作成器である。ここで用いる広帯域スペクト
ル情報と狭帯域スペクトル情報は同じ学習音声データか
ら求めているので、フレーム毎に完全に一対一に対応づ
けすることができる。
て各コード毎の平均広帯域スペクトル情報を算出して広
帯域符号帳を作成し、さらに特定の狭帯域コードに対応
した広帯域コードの数を頻度として算出し、これを全て
の狭帯域コードに対して行い頻度テーブルを作成する頻
度テーブル作成器である。ここで用いる広帯域スペクト
ル情報と狭帯域スペクトル情報は同じ学習音声データか
ら求めているので、フレーム毎に完全に一対一に対応づ
けすることができる。
【００６９】４０８は、入力信号のスペクトル情報を音
声分析器４０１により抽出し、このスペクトル情報が狭
帯域符号帳中のどのコードに最も近い距離にあるかを判
定するコード判定器である。具体的な処理は、第２の実
施例の狭帯域データ蓄積器２０５の中で行っている手続
きと同様である。そして４０９は、コード判定器４０８
で得られた狭帯域コードに対応する広帯域コードにより
入力信号のスペクトル情報を広帯域化する広帯域化器で
ある。具体的には、ｉフレームにおける入力信号のスペ
クトル情報ｘiを狭帯域符号帳｛Ｘk｝でベクトル量子化
したときの狭帯域コード番号をｍとすると、コード番号
ｍに対する各広帯域コード毎の頻度Ｈ(m,l)、但し（ｌ
＝１〜Ｌ）を変換テーブルの中から求め、この頻度と広
帯域符号帳｛Ｙl｝中の各広帯域コードとの重み付け加
算を（数１２）のように行うことで広帯域化スペクトル
ｚiへと変換する。
声分析器４０１により抽出し、このスペクトル情報が狭
帯域符号帳中のどのコードに最も近い距離にあるかを判
定するコード判定器である。具体的な処理は、第２の実
施例の狭帯域データ蓄積器２０５の中で行っている手続
きと同様である。そして４０９は、コード判定器４０８
で得られた狭帯域コードに対応する広帯域コードにより
入力信号のスペクトル情報を広帯域化する広帯域化器で
ある。具体的には、ｉフレームにおける入力信号のスペ
クトル情報ｘiを狭帯域符号帳｛Ｘk｝でベクトル量子化
したときの狭帯域コード番号をｍとすると、コード番号
ｍに対する各広帯域コード毎の頻度Ｈ(m,l)、但し（ｌ
＝１〜Ｌ）を変換テーブルの中から求め、この頻度と広
帯域符号帳｛Ｙl｝中の各広帯域コードとの重み付け加
算を（数１２）のように行うことで広帯域化スペクトル
ｚiへと変換する。
【００７０】
【数１２】
【００７１】ここで、（数１２）において復元時のコー
ド数を符号帳中の全コード数Ｌ以下に制限することによ
って、計算量を削減し、必要以上のスペクトルの平滑化
を防ぐことができる。
ド数を符号帳中の全コード数Ｌ以下に制限することによ
って、計算量を削減し、必要以上のスペクトルの平滑化
を防ぐことができる。
【００７２】４１０は、求めた広帯域化スペクトル情報
を用いて入力信号の周波数帯域を包含する広い周波数帯
域を有する広帯域信号を合成する音声合成器である。
を用いて入力信号の周波数帯域を包含する広い周波数帯
域を有する広帯域信号を合成する音声合成器である。
【００７３】以上のように、本実施例によれば、上記の
構成により帯域制限された入力信号を広い周波数帯域を
有する広帯域信号に正確に変換することができる信号合
成装置を提供することができる。
構成により帯域制限された入力信号を広い周波数帯域を
有する広帯域信号に正確に変換することができる信号合
成装置を提供することができる。
【００７４】
【発明の効果】以上の実施例から明らかなように、本発
明によれば、ある特定の周波数帯域に制限された入力信
号を一定フレーム毎に音響分析することによりスペクト
ル情報を抽出し、あらかじめ多量の学習用データから前
記入力信号と同じ周波数帯域の狭帯域信号を作成し、前
記狭帯域信号を音響分析により狭帯域スペクトル情報を
抽出し、また前記多量の学習用データから前記入力信号
の周波数帯域を包含する広い周波数帯域を有する広帯域
信号を作成し、前記広帯域信号を音響分析により広帯域
スペクトル情報を抽出し、前記狭帯域スペクトル情報と
前記広帯域スペクトル情報との関係を写像関数として推
定しておき、前記入力信号のスペクトル情報を前記写像
関数により広帯域化した広帯域化スペクトル情報を算出
し、前記算出後の広帯域化スペクトル情報から前記入力
信号の周波数帯域を包含する広い周波数帯域を有する広
帯域信号を合成するするように構成しているので、比較
的簡単な構成で、帯域制限された入力信号を入力信号の
持つ周波数帯域を包含するような広い周波数帯域を有す
る広帯域信号に正確に変換することができる信号合成方
法および装置を提供することができる。
明によれば、ある特定の周波数帯域に制限された入力信
号を一定フレーム毎に音響分析することによりスペクト
ル情報を抽出し、あらかじめ多量の学習用データから前
記入力信号と同じ周波数帯域の狭帯域信号を作成し、前
記狭帯域信号を音響分析により狭帯域スペクトル情報を
抽出し、また前記多量の学習用データから前記入力信号
の周波数帯域を包含する広い周波数帯域を有する広帯域
信号を作成し、前記広帯域信号を音響分析により広帯域
スペクトル情報を抽出し、前記狭帯域スペクトル情報と
前記広帯域スペクトル情報との関係を写像関数として推
定しておき、前記入力信号のスペクトル情報を前記写像
関数により広帯域化した広帯域化スペクトル情報を算出
し、前記算出後の広帯域化スペクトル情報から前記入力
信号の周波数帯域を包含する広い周波数帯域を有する広
帯域信号を合成するするように構成しているので、比較
的簡単な構成で、帯域制限された入力信号を入力信号の
持つ周波数帯域を包含するような広い周波数帯域を有す
る広帯域信号に正確に変換することができる信号合成方
法および装置を提供することができる。
【図１】本発明の第１の実施例における信号合成装置の
全体構成を示すブロック図
全体構成を示すブロック図
【図２】本発明の第１の実施例における信号合成装置の
狭帯域データ処理器、広帯域データ処理器による処理手
順を説明するための図
狭帯域データ処理器、広帯域データ処理器による処理手
順を説明するための図
【図３】本発明の第２の実施例における信号合成装置の
全体構成を示すブロック図
全体構成を示すブロック図
【図４】本発明の第２の実施例における信号合成装置の
写像関数として線形写像を用いた場合の写像関数の推定
方法を説明するための図
写像関数として線形写像を用いた場合の写像関数の推定
方法を説明するための図
【図５】本発明の実施例において、内挿を行わないとき
の部分空間数Ｍとスペクトル距離との関係（男性１０
名）を示した図
の部分空間数Ｍとスペクトル距離との関係（男性１０
名）を示した図
【図６】本発明の実施例において、内挿を行わないとき
の部分空間数Ｍとスペクトル距離との関係（女性１０
名）を示した図
の部分空間数Ｍとスペクトル距離との関係（女性１０
名）を示した図
【図７】本発明の実施例において、学習単語数をＮ＝１
００として、部分空間数を固定したときの内挿パラメー
タと平均スペクトル距離との関係（男性１０名）を示し
た図
００として、部分空間数を固定したときの内挿パラメー
タと平均スペクトル距離との関係（男性１０名）を示し
た図
【図８】本発明の実施例において、学習単語数をＮ＝１
００として、部分空間数を固定したときの内挿パラメー
タと平均スペクトル距離との関係（女性１０名）を示し
た図
００として、部分空間数を固定したときの内挿パラメー
タと平均スペクトル距離との関係（女性１０名）を示し
た図
【図９】本発明の第３の実施例における信号合成装置の
全体構成を示すブロック図
全体構成を示すブロック図
【図１０】本発明の第４の実施例における信号合成装置
の全体構成を示すブロック図
の全体構成を示すブロック図
１０１ 音響分析器 １０２ 狭帯域データ処理器 １０３ 広帯域データ処理器 １０４ 写像関数推定器 １０５ 広帯域化器 １０６ 信号合成器
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−118995（ＪＰ，Ａ) 特開 平８−123495（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 13/00,19/00 H04B 14/04
Claims (6)
- 【請求項１】 特定の周波数帯域に帯域制限された入力
信号を、フレーム毎に音響分析することにより入力スペ
クトル情報を抽出し、前記入力スペクトル情報を基に写
像関数によって広帯域化した広帯域化スペクトル情報を
算出し、前記広帯域化スペクトル情報から前記入力信号
の周波数帯域を包含する広帯域な周波数帯域を有する出
力信号に変換する信号合成方法であって、 あらかじめ多量の学習用データから前記入力信号と同じ
周波数帯域の狭帯域信号を作成し、前記狭帯域信号を音
響分析により狭帯域スペクトル情報を抽出すると共に、 前記 多量の学習用データから前記入力信号の周波数帯域
を包含する広い周波数帯域を有する広帯域信号を作成
し、前記広帯域信号を音響分析により理想的なスペクト
ル特性を持つ目標広帯域スペクトル情報を抽出し、 前記目標広帯域スペクトル情報と、前記狭帯域スペクト
ル情報を基に前記写像関数によって算出した広帯域化ス
ペクトル情報との二乗誤差を最小とするように、前記写
像関数を推定することによって、 前記入力スペクトル情報と前記広帯域化スペクトル情報
が一対一に対応している ことを特徴とする信号合成方
法。 - 【請求項２】 特定の周波数帯域に帯域制限された入力
信号を、フレーム毎に音響分析することにより入力スペ
クトル情報を抽出し、前記入力スペクトル情報を基に写
像関数によって広帯域化した広帯域化スペクトル情報を
算出し、前記広帯域化スペクトル情報から前記入力信号
の周波数帯域を包含する広帯域な周波数帯域を有する出
力信号に変換する信号合成方法であって、 あらかじめ多量の学習用データから前記入力信号と同じ
周波数帯域の狭帯域信号を作成し、前記狭帯域信号から
音響分析により抽出した狭帯域スペクトル情報で示され
るスペクトル空間を、類似したスペクトル毎にクラスタ
リングにより部分空間に分割して、前記狭帯域スペクト
ル情報の前記各部分空間を代表的に表現するいくつかの
代表コードを持つ狭帯域符号帳を作成し、 前記狭帯域スペクトル情報が前記狭帯域符号帳中のどの
代表コードに最も近い距離にあるかを判定し、最も近い
距離にある狭帯域スペクトル情報をその代表コードに対
する狭帯域スペクトル情報とし、これを前記全学習用デ
ータに亘って行い、狭帯域スペクトル情報群として蓄積
し、一方、前記多量の学習用データから前記入力信号の周波
数帯域を包含する広い周波数帯域を有する広帯域信号を
作成し、前記広帯域信号を音響分析により理想的なスペ
クトル特性を持つ目標広帯域スペクトル情報を抽出し、 前記 狭帯域スペクトル情報と時間的に対応づけされる前
記目標広帯域スペクトル情報を前記代表コード毎に選別
し、これを前記全学習用データに亘って行い、広帯域ス
ペクトル情報群として蓄積し、前記各代表コードによって特定される前記部分空間毎
に、前記目標広帯域スペクトル情報と、前記狭帯域スペ
クトル情報を基に前記写像関数によって算出した広帯域
化スペクトル情報との二乗誤差を最小とするように、前
記写像関数をそれぞれ推定することによって、前記入力
スペクトル情報と前記広帯域化スペクトル情報が一対一
に対応するようにし、 前記入力信号から得られた 入力スペクトル情報が前記狭
帯域符号帳中のどの代表コードに最も近い距離にあるか
を判定し、前記写像関数の中から前記代表コードに対応
する写像関数を用いて、前記入力スペクトル情報を広帯
域化した広帯域化スペクトル情報を算出することを特徴
とする信号合成方法。 - 【請求項３】 特定の周波数帯域に帯域制限された入力
信号を、フレーム毎に音響分析することにより入力スペ
クトル情報を抽出し、前記入力スペクトル情報を基に写
像関数によって広帯域化した広帯域化スペクトル情報を
算出し、前記広帯域化スペクトル情報から前記入力信号
の周波数帯域を包含する広帯域な周波数帯域を有する出
力信号に変換する信号合成方法であって、 あらかじめ多量の学習用データから前記入力信号と同じ
周波数帯域の狭帯域信号を作成し、前記狭帯域信号から
音響分析により抽出した狭帯域スペクトル情報で示され
るスペクトル空間を、類似したスペクトル毎にクラスタ
リングにより部分空間に分割して、前記狭帯域スペクト
ル情報の前記各部分空間を代表的に表現するいくつかの
代表コードを持つ狭帯域符号帳を作成し、 前記狭帯域スペクトル情報が前記狭帯域符号帳中のどの
代表コードに最も近い距離にあるかを判定し、最も近い
距離にある狭帯域スペクトル情報をその代表コードに対
する狭帯域スペクトル情報とし、これを前記全学習用デ
ータに亘って行い、狭帯域スペクトル情報群として蓄積
し、一方、前記多量の学習用データから前記入力信号の周波
数帯域を包含する広い周波数帯域を有する広帯域信号を
作成し、前記広帯域信号を音響分析により目標広帯域ス
ペクトル情報を抽出し、 前記 狭帯域スペクトル情報と時間的に対応づけされる前
記目標広帯域スペクトル情報を前記代表コード毎に選別
し、これを前記全学習用データに亘って行い、広帯域ス
ペクトル情報群として蓄積し、前記各代表コードによって特定される前記部分空間毎
に、前記目標広帯域スペクトル情報と、前記狭帯域スペ
クトル情報を基に前記写像関数によって算出した広帯域
化スペクトル情報との二乗誤差を最小とするように、前
記写像関数をそれぞれ推定することによって、前記入力
スペクトル情報と前記広帯域化スペクトル情報が一対一
に対応するようにし、 前記入力スペクトル情報と前記狭帯域符号帳中の各代表
コードとの重み係数を算出し、前記各部分空間毎の写像
関数を用いて前記入力スペクトル情報を各部分空間毎の
広帯域化スペクトル情報に変換し、前記各部分空間毎の
広帯域化スペクトル情報を前記重み係数で補間すること
によって、前記広帯域化スペクトル情報を算出すること
を特徴とする信号合成方法。 - 【請求項４】 特定の周波数帯域に帯域制限された入力
信号を、前記入力信号の持つ周波数帯域を包含する広い
周波数帯域を有する出力信号に変換する信号合成装置で
あって、 特定の周波数帯域に帯域制限された入力信号を、フレー
ム毎に音響分析することにより入力スペクトル情報を抽
出する音響分析器と、 あらかじめ多量の学習用データから前記入力信号と同じ
周波数帯域の狭帯域スペクトル情報を抽出する狭帯域デ
ータ処理器と、前記 多量の学習用データから前記入力信号の周波数帯域
を包含する広い周波数帯域を有する広帯域信号を作成
し、理想的なスペクトル特性を持つ目標広帯域スペクト
ル情報を抽出する広帯域データ処理器と、 前記狭帯域スペクトル情報と前記目標広帯域スペクトル
情報との関係を、一対 一に対応する写像関数として推定
する写像関数推定器と、 前記入力信号から抽出した入力スペクトル情報に基づ
き、前記写像関数によって広帯域化した広帯域化スペク
トル情報を算出する広帯域化器と、前記 広帯域化スペクトル情報を、前記入力信号の周波数
帯域を包含する広帯域な周波数帯域を有する出力信号に
変換する信号合成器とを備え、 前記写像関数推定器は、前記目標広帯域スペクトル情報
と、前記狭帯域スペクトル情報を基に前記写像関数によ
って算出した広帯域化スペクトル情報との二乗誤差を最
小とするように、前記写像関数を推定する ことを特徴と
する信号合成装置。 - 【請求項５】 特定の周波数帯域に帯域制限された入力
信号を、前記入力信号の持つ周波数帯域を包含する広い
周波数帯域を有する出力信号に変換する信号合成装置で
あって、 特定の周波数帯域に帯域制限された入力信号を、フレー
ム毎に音響分析することにより入力スペクトル情報を抽
出する音響分析器と、 あらかじめ多量の学習用データから前記入力信号と同じ
周波数帯域の狭帯域スペクトル情報を抽出する狭帯域デ
ータ処理器と、 前記多量の学習用データから前記入力信号の周波数帯域
を包含する広い周波数帯域を有する広帯域信号を作成
し、理想的なスペクトル特性を持つ目標広帯域スペクト
ル情報を抽出する広帯域データ処理器と、 前記狭帯域スペクトル情報で示されるスペクトル空間
を、類似したスペクトル毎にクラスタリングにより部分
空間に分割し、前記狭帯域スペクトル情報の前記各部分
空間を代表的に表現するいくつかの代表コードを持つ狭
帯域符号帳を作成する狭帯域符号帳作成器と、 前記狭帯域スペクトル情報が前記狭帯域符号帳中のどの
代表コードに最も近い距離にあるかを判定し、最も近い
距離にある狭帯域スペクトル情報をその代表コードに対
する狭帯域スペクトル情報とし、これを前記全学習用デ
ータに亘って行い、狭帯域スペクトル情報群として蓄積
する狭帯域データ蓄積器と、 前記狭帯域スペクトル情報と時間的に対応づけされる目
標広帯域スペクトル情報を前記代表コード毎に選別し、
これを前記全学習用データに亘って行い、広帯 域スペク
トル情報群として蓄積する広帯域データ蓄積器と、 前記各代表コードによって特定される前記部分空間毎
に、前記狭帯域スペクトル情報群と前記広帯域スペクト
ル情報群との関係を、一対一に対応する写像関数として
推定する写像関数推定器と、 前記入力信号から抽出した入力スペクトル情報が、前記
狭帯域符号帳中のどの代表コードに最も近い距離にある
かを判定するコード判定器と、 前記入力スペクトル情報を、前記コード判定器で算出さ
れた代表コードによって特定される部分空間に対応する
写像関数によって、広帯域化した広帯域化スペクトル情
報を算出する広帯域化器と、 前記広帯域化スペクトル情報を、前記入力信号の周波数
帯域を包含する広い周波数帯域を有する出力信号に変換
する信号合成器とを備え、 前記写像関数推定器は、前記各代表コードによって特定
される前記部分空間毎に、前記目標広帯域スペクトル情
報と、前記狭帯域スペクトル情報を基に前記写像関数に
よって算出した広帯域化スペクトル情報との二乗誤差を
最小とするように、前記写像関数を推定することを特徴
とする信号合成装置。 - 【請求項６】 特定の周波数帯域に帯域制限された入力
信号を、前記入力信号の持つ周波数帯域を包含する広い
周波数帯域を有する広帯域信号に変換する信号合成装置
であって、 特定の周波数帯域に帯域制限された入力信号を、フレー
ム毎に音響分析することにより入力スペクトル情報を抽
出する音響分析器と、 あらかじめ多量の学習用データから前記入力信号と同じ
周波数帯域の狭帯域スペクトル情報を抽出する狭帯域デ
ータ処理器と、 前記多量の学習用データから前記入力信号の周波数帯域
を包含する広い周波数帯域を有する広帯域信号を作成
し、理想的なスペクトル特性を持つ目標広帯域スペクト
ル情報を抽出する広帯域データ処理器と、 前記狭帯域スペクトル情報で示されるスペクトル空間
を、類似したスペクトル毎にクラスタリングにより部分
空間に分割し、前記狭帯域スペクトル情報の前記各部分
空間を代表的に表現するいくつかの代表コードを持つ狭
帯域符号帳を作成する狭帯域符号帳作成器と、 前記狭帯域スペクトル情報が前記狭帯域符号帳中のどの
代表コードに最も近い距離にあるかを判定し、最も近い
距離にある狭帯域スペクトル情報をその代表コードに対
する狭帯域スペクトル情報とし、これを前記全学習用デ
ータに亘って行い、狭帯域スペクトル情報群として蓄積
する狭帯域データ蓄積器と、 前記狭帯域スペクトル情報と時間的に対応づけされる目
標広帯域スペクトル情報を前記代表コード毎に選別し、
これを前記全学習用データに亘って行い、広帯域スペク
トル情報群として蓄積する広帯域データ蓄積器と、 前記各代表コードによって特定される前記部分空間毎
に、前記狭帯域スペクトル情報群と前記広帯域スペクト
ル情報群との関係を、一対一に対応する写像関数として
推定する写像関数推定器と、 前記入力信号から抽出した入力スペクトル情報と前記狭
帯域符号帳中の各代表コードとの重み係数を算出するコ
ード判定器と、 前記入力スペクトル情報を基に、各部分空間毎の写像関
数によって各部分空間毎の広帯域化スペクトル情報をそ
れぞれ算出し、前記各部分空間毎の広帯域化スペクトル
情報を前記重み係数で補間することによって、広帯域な
周波数帯域を有する広帯域化スペクトルを算出する広帯
域化器と、 前記広帯域化スペクトル情報を、前記入力信号の周波数
帯域を包含する広い周波数帯域を有する出力信号に変換
する信号合成器とを備え、 前記写像関数推定器は、前記各代表コードによって特定
される前記部分空間毎に、前記目標広帯域スペクトル情
報と、前記狭帯域スペクトル情報を基に前記写像関数に
よって算出した広帯域化スペクトル情報との二乗誤差を
最小とするように、前記写像関数を推定することを特徴
とする信号合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26532494A JP3189598B2 (ja) | 1994-10-28 | 1994-10-28 | 信号合成方法および信号合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26532494A JP3189598B2 (ja) | 1994-10-28 | 1994-10-28 | 信号合成方法および信号合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08123484A JPH08123484A (ja) | 1996-05-17 |
| JP3189598B2 true JP3189598B2 (ja) | 2001-07-16 |
Family
ID=17415612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26532494A Expired - Lifetime JP3189598B2 (ja) | 1994-10-28 | 1994-10-28 | 信号合成方法および信号合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3189598B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4132154B2 (ja) * | 1997-10-23 | 2008-08-13 | ソニー株式会社 | 音声合成方法及び装置、並びに帯域幅拡張方法及び装置 |
| EP0945852A1 (en) * | 1998-03-25 | 1999-09-29 | BRITISH TELECOMMUNICATIONS public limited company | Speech synthesis |
| JP4505701B2 (ja) * | 2000-10-31 | 2010-07-21 | ソニー株式会社 | 情報処理装置および情報処理方法、プログラム記録媒体 |
| JP2004513399A (ja) * | 2000-11-09 | 2004-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 知覚品質を高める電話スピーチの広帯域拡張 |
| JP3879922B2 (ja) * | 2002-09-12 | 2007-02-14 | ソニー株式会社 | 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム |
| US7574008B2 (en) * | 2004-09-17 | 2009-08-11 | Microsoft Corporation | Method and apparatus for multi-sensory speech enhancement |
| JP4766559B2 (ja) * | 2006-06-09 | 2011-09-07 | Ｋｄｄｉ株式会社 | 音楽信号の帯域拡張方式 |
| JP2010079275A (ja) * | 2008-08-29 | 2010-04-08 | Sony Corp | 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム |
| JP5754899B2 (ja) | 2009-10-07 | 2015-07-29 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
| US8706497B2 (en) | 2009-12-28 | 2014-04-22 | Mitsubishi Electric Corporation | Speech signal restoration device and speech signal restoration method |
| JP6103324B2 (ja) * | 2010-04-13 | 2017-03-29 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP5850216B2 (ja) | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5707842B2 (ja) * | 2010-10-15 | 2015-04-30 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| JP2014026138A (ja) | 2012-07-27 | 2014-02-06 | Sony Corp | 周波数帯域拡大装置および方法、並びにプログラム |
| CN105531762B (zh) | 2013-09-19 | 2019-10-01 | 索尼公司 | 编码装置和方法、解码装置和方法以及程序 |
| KR101468560B1 (ko) * | 2013-12-16 | 2014-12-04 | 국방과학연구소 | 마할라노비스 거리 기반 레이더 신호에 대한 이상치 펄스 탐지 방법 |
| KR20230042410A (ko) | 2013-12-27 | 2023-03-28 | 소니그룹주식회사 | 복호화 장치 및 방법, 및 프로그램 |
| JP2019008206A (ja) * | 2017-06-27 | 2019-01-17 | 日本放送協会 | 音声帯域拡張装置、音声帯域拡張統計モデル学習装置およびそれらのプログラム |
| WO2021090465A1 (ja) * | 2019-11-08 | 2021-05-14 | 日本電信電話株式会社 | 帯域拡張装置、帯域拡張方法、およびプログラム |
-
1994
- 1994-10-28 JP JP26532494A patent/JP3189598B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08123484A (ja) | 1996-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3189598B2 (ja) | 信号合成方法および信号合成装置 | |
| EP0718820B1 (en) | Speech coding apparatus, linear prediction coefficient analyzing apparatus and noise reducing apparatus | |
| Kleijn et al. | Wavenet based low rate speech coding | |
| JP2956548B2 (ja) | 音声帯域拡大装置 | |
| CN108900725B (zh) | 一种声纹识别方法、装置、终端设备及存储介质 | |
| US6681202B1 (en) | Wide band synthesis through extension matrix | |
| JP4218982B2 (ja) | 音声処理 | |
| US6418412B1 (en) | Quantization using frequency and mean compensated frequency input data for robust speech recognition | |
| EP1995723B1 (en) | Neuroevolution training system | |
| JPH07271394A (ja) | 確実な電話音声認識のための信号バイアスの除去 | |
| US5943647A (en) | Speech recognition based on HMMs | |
| JP2898568B2 (ja) | 声質変換音声合成装置 | |
| JP4696418B2 (ja) | 情報検出装置及び方法 | |
| JP2013109274A (ja) | 目標話者学習方法、その装置及びプログラム | |
| JPH10254473A (ja) | 音声変換方法及び音声変換装置 | |
| Nakatoh et al. | Generation of broadband speech from narrowband speech based on linear mapping | |
| Sivaraman et al. | Speech Bandwidth Expansion For Speaker Recognition On Telephony Audio. | |
| Chadha et al. | A comparison of Multi-Layer Perceptron and Radial Basis Function neural network in the voice conversion framework | |
| JP4603727B2 (ja) | 音響信号分析方法及び装置 | |
| KR20010036358A (ko) | 전화음성을 이용한 문장독립형 화자식별방법 | |
| KR100701253B1 (ko) | 이동통신 환경 하에서의 서버 기반 음성 인식을 위한음성부호화 방법 및 장치 | |
| JP3700310B2 (ja) | ベクトル量子化装置及びベクトル量子化方法 | |
| JPH10149190A (ja) | 音声認識方法及び音声認識装置 | |
| JPH08171400A (ja) | 音声符号化装置 | |
| Ram et al. | Speech Coding & Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090518 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100518 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term |