JP3251555B2

JP3251555B2 - 信号分析装置

Info

Publication number: JP3251555B2
Application number: JP35094998A
Authority: JP
Inventors: 英紀河原
Original assignee: Japan Science and Technology Corp
Current assignee: Japan Science and Technology Agency
Priority date: 1998-12-10
Filing date: 1998-12-10
Publication date: 2002-01-28
Anticipated expiration: 2018-12-10
Also published as: JP2000181472A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、信号分析装置に関
するものである。

【０００２】

【従来の技術】信号の代表例として音について述べる。
これまでの音の分析においては、音色の主要な要因であ
るスペクトルの全体的な形と、有声音などの周期的な音
の高さを決めるスペクトルの微細構造とを別のものとし
て、それぞれ専用に開発された方法を用いてパラメータ
が抽出されてきた。

【０００３】そのための手段としては、まずスペクトル
の全体的な形に関しては、人間の聴覚にならったほぼ対
数周波数軸上で等間隔に分布する周波数を有する帯域フ
ィルタ群を用いる方法や、スペクトルの概形を有理スペ
クトルと仮定して、モデルのパラメータを統計的に推定
する手法であるＡＲモデルによる方法、対数スペクトル
のフーリエ変換を介して微細構造成分と概形の成分の分
離を図るＣｅｐｓｔｒｕｍ法および、それらを対象とす
る問題に応じて改良した様々な方法が用いられてきた。

【０００４】また、スペクトルの微細構造に関しては、
上記のそれぞれの方法で求められたスペクトルの概形を
用いて元のパワースペクトルを正規化し、逆フーリエ変
換することにより求められる基本周期成分を強調した自
己相関関数を用いて基本周波数を求める方法や、遅延さ
せた波形との距離を最小にする遅延量として基本周期を
求める方法、基本波成分の瞬時周波数として基本周波数
を求める方法が用いられている。

【０００５】

【発明が解決しようとする課題】しかしながら、上記し
たいずれの方法においても、もともと単一のものである
スペクトルをスペクトルの概形と微細構造という二重の
構造に天下りに分けようとするため、いずれも近似的な
分析にならざるを得ず、求められたそれぞれのパラメー
タの間に複雑な相関が残留し、高品質な処理や高精度の
分析が困難であるという問題があった。

【０００６】更に、瞬時周波数は、特性が時間的に変動
する音声のような信号を適切に表現する方法として、正
弦波モデル（ＲｏｂｅｒｔＪ．ＭｃＡｕｌａｙａｎ
ｄＴｈｏｍａｓＦ．Ｑｕａｔｉｅｒｉ“Ｓｐｅｅｃｈ
ａｎａｌｙｓｉｓ／ｓｙｎｔｈｅｓｉｓｂａｓｅｄ
ｏｎａｓｉｎｕｓｏｉｄａｌｒｅｐｒｅｓｅｎ
ｔａｔｉｏｎ”ＩＥＥＥＴｒａｎｓ．ＡＳＳＰ，Ｖｏ
ｌ．３４，ｐｐ．７４４−７５４，１９８６）や基本周
波数の抽出方法やＴＥＭＰＯ法（河原英紀，Ａｌａｉｎ
ｄｅＣｈｅｖｅｉｇｎｅ．“原理的に抽出誤りの存
在しないピッチ抽出方法とその評価について”信学技
報，Ｖｏｌ．ＳＰ９６−９６，ｐｐ．９−１８，１９９
７）等に用いられている。

【０００７】瞬時周波数の計算法は、様々なものが提案
されており、Ｆｌａｎａｇａｎによる方法（Ｊ．Ｌ．Ｆ
ｌａｎａｇａｎａｎｄＲ．Ｍ．Ｇｏｌｄｅｎ．“Ｐ
ｈａｓｅｖｏｃｏｄｅｒ” ＢｅｌｌＳｙｓｔｅｍ
ＴｅｃｈｎｉｃａｌＪｏｕｒｎａｌ，Ｖｏｌ．４
５，ｐｐ．１４３９−１５０９，１９６６）や、その阿
部の方法（Ｔ．ＡｂｅＴ．Ｋｏｂａｙａｓｈｉ，ａｎ
ｄＳ．Ｉｍａｉ．“Ｈａｒｍｏｎｉｃｓｅｓｔｉｍ
ａｔｉｏｎｂａｓｅｄｏｎｉｎｓｔａｎｅｏｕｓ
ｆｒｅｑｕｅｎｃｙａｎｄｉｔｓａｐｐｌｉｃ
ａｔｉｏｎｔｏｐｉｔｃｈｄｅｔｅｒｍｉｎａｔｉ
ｏｎ”．ＩＥＩＣＥＴｒａｎｓａｃｔｉｏｎＩｎｆ
ｏｒｍａｔｉｏｎａｎｄＳｙｓｔｅｍｓ，Ｖｏｌ．
Ｅ７８−Ｄ，Ｎｏ．９，ｐｐ．１１８８−１１９４，１
９９５及びＴ．ＡｂｅＴ．Ｋｏｂａｙａｓｈｉ，ａｎ
ｄＳ．Ｉｍａｉ．“Ｒｏｂｕｓｔｐｉｔｃｈｅｓ
ｔｉｍａｔｉｏｎｗｉｔｈｈａｒｍｏｎｉｃｓｅ
ｎｈａｎｃｅｍｅｎｔｉｎｎｏｉｓｙｅｎｖｉｒ
ｏｎｍｅｎｔｓｂａｓｅｄｏｎｉｎｓｔａｎｔａ
ｎｅｏｕｓｆｒｅｑｕｅｎｃｙ”．Ｐｒｏｃｅｅｄｉ
ｎｇｏｆＩｎｔｅｒｎａｔｉｏｎａｌＳｐｏｋｅ
ｎＬａｎｇｕａｇｅＰｒｏｃｅｅｄｉｎｇｓ１９
９６（ＩＣＳＬＰ９６），ｐｐ．１２７７−１２８
０，Ｐｈｉｌａｄｅｌｐｈｉａ，１９９０．）による変
形は、位相を直接計算することを避け、また、逆三角関
数を用いずに瞬時周波数を計算することのできる優れた
計算方法である。

【０００８】しかしながら、それらの方法では、スペク
トルの時間微分を求めたり、別に微分時間窓を用いるこ
とが必要であった。

【０００９】本発明は、上記問題点を除去し、瞬時周波
数特性を周波数から周波数への写像とみなし、写像の不
動点（以下の説明では写像を繰り返した時の周囲の点の
安定性に注目するので、平衡点と呼ぶことにする）の性
質に基づいて、信号の構造ならびに、最小分散推定の意
味で最適な基本周波数及び、それぞれの周波数領域にお
ける周期性／雑音性／駆動エネルギーの集中度を併せて
求めることにより、信号の的確な分析を行うことができ
る信号分析装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明は、上記目的を達
成するために、〔１〕信号分析装置において、各周波数における瞬時周
波数を周波数から周波数への写像と見なして安定な平衡
点を求める装置と、この安定な平衡点を求める装置によ
り求めた安定な平衡点の周辺の変動に基づいた加重を設
定する装置と、この加重を設定する装置を通じて前記平
衡点の周波数に関する情報を統合して基本周波数を求め
る装置とを具備するようにしたものである。

【００１１】〔２〕上記〔１〕記載の信号分析装置にお
いて、時間窓の分解能を基本周波数及び基本周期の近似
値と同程度に設定し、基本周波数及び調波成分の瞬時周
波数を求めて基本周波数を高精度に求めるようにしたも
のである。

【００１２】〔３〕上記〔２〕記載の信号分析装置にお
いて、前記時間窓の分解能を基本周波数及び基本周期の
近似値と同程度に設定し、基本周期の近似値に適応的に
定められる周期成分抑圧用平滑化関数と畳み込んで作成
される窓を用いることにより、基本周波数及び調波成分
の瞬時周波数を求めて基本周波数を高精度に求めるよう
にしたものである。

【００１３】〔４〕上記〔１〕記載の信号分析装置にお
いて、対数周波数軸上でほぼ等間隔あるいは、直線周波
数軸上でほぼ等間隔、あるいは、特定の時間サイズに密
に配置する等の不等間隔になるように設計された複数の
時間長の時間窓の組を用いることにより信号の階層構造
を分析するようにしたものである。

【００１４】〔５〕上記〔１〕記載の信号分析装置にお
いて、画像の走査により得られる信号を入力信号として
用いることにより画像の構造を解析するようにしたもの
である。

【００１５】

【発明の実施の形態】以下、本発明の実施の形態につい
て詳細に説明する。

【００１６】図１は本発明の第１実施例を示す信号分析
装置の基本周波数抽出装置のブロック図である。

【００１７】この図に示すように、この基本周波数抽出
装置は、入力回路１、窓作成手段２、サンプル遅延手段
３、ＦＦＴ（短時間フーリエ変換）手段４，５、振幅正
規化手段６，７、差分抽出手段８、絶対値計算手段９、
瞬時周波数変換手段１０、変動計算手段１１、基本周波
数計算手段１２から構成されている。なお、Ｘ（ｔ）は
入力信号、Ｘout は出力信号である。

【００１８】以下、この信号分析装置の基本周波数抽出
装置の各部分を詳細に説明する。

【００１９】入力回路１は、分析の対象とする音声信号
あるいは、画像を走査して得られた信号のような時系列
として扱うことのできるアナログ信号あるいはディジタ
ル信号を、内部処理のための時間的に等間隔に標本化さ
れたディジタル信号に変換する。

【００２０】窓作成手段２は、予め知られている信号の
基本周波数の分布等の事前の知識に基づいて、ガウス窓
と、２次のｃａｒｄｉｎａｌＢ−ｓｐｌｉｎｅ関数を
求め、それらを畳み込むことによって、ＦＦＴ手段４及
び５で用いる時間窓を作成する。この時間窓は、性能の
劣化を許容すれば、上述したガウス窓とｃａｒｄｉｎａ
ｌＢ−ｓｐｌｉｎｅ関数の畳み込みによる窓以外の窓
を用いることもできる。

【００２１】サンプル遅延手段３では、例えば１段のＦ
ＩＦＯ（ｆｉｒｓｔｉｎｆｉｒｓｔｏｕｔ）メモ
リ等の方法により、入力回路１で変換されたディジタル
信号を１サンプル時点だけ遅延させた信号を作成する。

【００２２】ＦＦＴ手段４は、窓作成手段２で作成され
た窓により入力回路１で変換されたディジタル信号のあ
る時間的区間を取り出して、高速フーリエ変換により信
号の短時間フーリエ変換を計算する。

【００２３】ＦＦＴ手段５は、窓作成手段２で作成され
た窓により入力回路１で変換されたディジタル信号をサ
ンプル遅延手段３で１サンプル時点だけ遅延させた信号
からある時間的区間を取り出して、高速フーリエ変換に
より遅延された信号の短時間フーリエ変換を計算する。

【００２４】振幅正規化手段６は、ＦＦＴ手段４で求め
られた信号の短時間フーリエ変換を、その絶対値で除算
することにより、絶対値が１で信号の位相情報のみを保
持する振幅正規化複素スペクトルを計算する。

【００２５】振幅正規化手段７は、ＦＦＴ手段５で求め
られた遅延された信号の短時間フーリエ変換を、その絶
対値で除算することにより、絶対値が１で遅延された信
号の位相情報のみを保持する振幅正規化複素スペクトル
を計算する。

【００２６】差分抽出手段８は、絶対値が１で信号の位
相情報のみを保持する振幅正規化複素スペクトルと絶対
値が１で遅延された信号の位相情報のみを保持する振幅
正規化複素スペクトルとの差分を計算する。

【００２７】絶対値計算手段９は、差分抽出手段８で求
められた差分の絶対値を計算する。

【００２８】瞬時周波数変換手段１０は、逆三角関数を
用いて絶対値計算手段９で求められた絶対値を各周波数
における瞬時周波数に変換する。また、周波数と瞬時周
波数の対応関係から安定平衡点を求める。

【００２９】変動計算手段１１は、瞬時周波数変換手段
１０により求められた安定平衡点について、安定平衡点
の周波数の周囲の周波数における瞬時周波数と、瞬時周
波数の時間変化に基づいて瞬時周波数の分散の推定値で
ある変動を計算する。

【００３０】基本周波数計算手段１２は、瞬時周波数変
換手段１０により求められたそれぞれの安定平衡点にお
ける瞬時周波数の情報を変動計算手段１１により求めら
れた変動の値に基づき、最小分散推定となるように統合
して、基本周波数の推定値Ｘout を得る。

【００３１】図２は本発明の第２実施例を示す信号分析
装置の構造解析及び基本周波数抽出装置のブロック図で
ある。

【００３２】この図に示すように、この構造解析及び基
本周波数抽出装置は、入力回路２１、窓作成手段２２、
サンプル遅延手段２３、ＦＦＴ（短時間フーリエ変換）
手段２４，２５、振幅正規化手段２６，２７、差分抽出
手段２８、絶対値計算手段２９、瞬時周波数変換手段３
０、変動計算手段３１、信号構造マップ作成手段３２、
調波性マップ作成手段３３、最適窓選択手段３４、基本
周波数計算手段３５から構成されている。なお、Ｘ
（ｔ）は入力信号、Ｘout は出力信号である。

【００３３】以下、この信号分析装置の構造解析及び基
本周波数抽出装置の各部分を詳細に説明する。

【００３４】入力回路２１は、分析の対象とする音声信
号あるいは、画像を走査して得られた信号のような時系
列として扱うことのできるアナログ信号あるいはディジ
タル信号を、内部処理のための時間的に等間隔に標本化
されたディジタル信号に変換する。

【００３５】窓作成手段２２は、予め知られている信号
の基本周波数の分布等の事前の知識に基づいて、幾つか
の基本周波数の候補を設定し、その各々についてガウス
窓と、２次のｃａｒｄｉｎａｌＢ−ｓｐｌｉｎｅ関数
を求め、それらを畳み込むことによって、ＦＦＴ手段２
４及び２５と信号構造マップ作成手段３２で用いる時間
窓を作成する。この時間窓は、性能の劣化を許容すれ
ば、上で説明したガウス窓とｃａｒｄｉｎａｌＢ−ｓ
ｐｌｉｎｅ関数の畳み込みによる窓以外の窓を用いるこ
ともできる。

【００３６】サンプル遅延手段２３では、例えば１段の
ＦＩＦＯ（ｆｉｒｓｔｉｎｆｉｒｓｔｏｕｔ）メ
モリ等の方法により、入力回路１で変換されたディジタ
ル信号を１サンプル時点だけ遅延させた信号を作成す
る。

【００３７】ＦＦＴ手段２４は、窓作成手段２２で作成
された複数の窓により入力回路２１で変換されたディジ
タル信号のある時間的区間を取り出して、高速フーリエ
変換により信号の短時間フーリエ変換を複数個計算す
る。

【００３８】ＦＦＴ手段２５は、窓作成手段２２で作成
された複数の窓により入力回路２１で変換されたディジ
タル信号をサンプル遅延手段２３で１サンプル時点だけ
遅延させた信号からある時間的区間を取り出して、高速
フーリエ変換により遅延された信号の短時間フーリエ変
換を複数個計算する。

【００３９】振幅正規化手段２６は、ＦＦＴ手段２４で
求められた信号の複数個の短時間フーリエ変換を、それ
ぞれの絶対値で除算することにより、絶対値が１で信号
の位相情報のみを保持する振幅正規化複素スペクトルを
複数個計算する。

【００４０】振幅正規化手段２７は、ＦＦＴ手段２５で
求められた遅延された信号の複数個の短時間フーリエ変
換を、その絶対値で除算することにより、絶対値が１で
遅延された信号の位相情報のみを保持する振幅正規化複
素スペクトルを複数個計算する。

【００４１】差分抽出手段２８は、絶対値が１で信号の
位相情報のみを保持する複数個の振幅正規化複素スペク
トルと絶対値が１で遅延された信号の位相情報のみを保
持する複数個の振幅正規化複素スペクトルとの各々の差
分を複数個計算する。

【００４２】絶対値計算手段２９は、差分抽出手段２８
で求められた複数個の差分のそれぞれの絶対値を複数個
計算する。

【００４３】瞬時周波数変換手段３０は、逆三角関数を
用いて絶対値計算手段２９で求められたそれぞれの時間
窓に対応する絶対値を各周波数における瞬時周波数に変
換する。また、周波数と瞬時周波数の対応関係からそれ
ぞれの時間窓に対応する安定平衡点を求める。

【００４４】変動計算手段３１は、瞬時周波数変換手段
３０により求められたそれぞれの時間窓に対応する安定
平衡点について、安定平衡点の周波数の周囲の周波数に
おける瞬時周波数と、瞬時周波数の時間変化に基づいて
瞬時周波数の分散の推定値である変動を計算する。

【００４５】信号構造マップ作成手段３２では、瞬時周
波数変換手段３０により求められたそれぞれの時間窓に
対応する安定平衡点を用いて、時間窓の窓長と安定平衡
点の瞬時周波数をそれぞれの軸とする平面にそれぞれの
時間窓について求められた安定平衡点を配置し、変動計
算手段３１により求められた変動の値を付与することに
より、信号構造マップを作成する。

【００４６】調波性マップ作成手段３３では、安定平衡
点の瞬時周波数から求められる自己相関の次元を持つ余
弦関数を、それぞれの安定平衡点に付与された変動の値
から計算される加重を掛けて総和を計算することによ
り、それぞれの時間窓長についての正規化された相関関
数を求め、時間窓の窓長と時間差をそれぞれの軸とする
平面上のマップとして調波性マップを作成する。

【００４７】最適窓選択手段３４は、それぞれの時間窓
長について求められた相関関数により調波性マップ作成
手段３３により作成されたマップを時間窓方向に統合す
ることにより、基本周波数のおおよその値を求め、それ
に近い窓長を有する時間窓を最適な時間窓として選択す
る。

【００４８】基本周波数計算手段３５は、信号構造マッ
プ作成手段３２により求められたマップから最適窓選択
手段３４により求められた最適な時間窓に相当する安定
平衡点の情報を選択抽出し、それぞれの安定平衡点にお
ける瞬時周波数の情報を変動計算手段３１により求めら
れた変動の値に基づき、最小分散推定となるように統合
して基本周波数の推定値Ｘout を得る。

【００４９】図３は本発明の第３実施例を示す信号分析
装置の高精度音源情報抽出装置のブロック図である。

【００５０】この図に示すように、この高精度音源情報
抽出装置は、入力回路４１、窓作成手段４２、瞬時周波
数抽出（低域情報）手段４３、安定平衡点抽出手段４
４、瞬時周波数時間微分抽出手段４５、変動計算手段４
６、基本周波数計算（低域情報）手段４７、瞬時周波数
抽出〔チャープ（Ｃｈｉｒｐ）基底〕手段４８、安定平
衡点抽出手段４９、瞬時周波数時間微分抽出手段５０、
変動計算手段５１、基本周波数計算（チャープ基底）手
段５２、周期性指標計算手段５３、逆フィルタ５４、駆
動力局所性指標計算手段５５から構成されている。な
お、Ｘ（ｔ）は入力信号、Ｘout １〜Ｘout ３は出力信
号である。ここで、チャープ（Ｃｈｉｒｐ）とは、搬送
波の周波数が一定の方向に変化するような信号を意味す
る。

【００５１】本実施例は、音声分析合成システムに用い
るための音源情報を、本発明に基づいて抽出する装置に
関するものである。

【００５２】以下、この信号分析装置の高精度音源情報
抽出装置の各部分を詳細に説明する。

【００５３】入力回路４１は、分析の対象とする音声信
号を表すアナログ信号あるいはディジタル信号を、内部
処理のための時間的に等間隔に標本化されたディジタル
信号に変換する。

【００５４】窓作成手段４２は、予め知られている信号
の基本周波数の分布等の事前の知識に基づいて、ガウス
窓と、２次のｃａｒｄｉｎａｌＢ−ｓｐｌｉｎｅ関数
を求め、それらを畳み込むことによって、瞬時周波数抽
出手段４３で用いる時間窓を作成する。この時間窓は、
性能の劣化を許容すれば、上述したガウス窓とｃａｒｄ
ｉｎａｌＢ−ｓｐｌｉｎｅ関数の畳み込みによる窓以
外の窓を用いることもできる。

【００５５】瞬時周波数抽出（低域情報）手段４３は、
３次ないし、４次までの調波成分を含む周波数帯域につ
いて、入力回路４１で変換されたディジタル信号と窓作
成手段４２で作成された時間窓を用いて、第１実施例あ
るいは第２実施例に示した方法あるいはそれらと数学的
に等価である方法によって周波数毎の瞬時周波数を計算
する。

【００５６】安定平衡点抽出手段４４は、瞬時周波数抽
出（低域情報）手段４３により求められた瞬時周波数に
基づいて、周波数から瞬時周波数への写像の安定な平衡
点を抽出する。

【００５７】瞬時周波数時間微分抽出手段４５は、瞬時
周波数抽出（低域情報）手段４３で求められた瞬時周波
数の値および１サンプル過去の瞬時周波数の値との差に
基づいて瞬時周波数時間微分を求める。

【００５８】変動計算手段４６は、安定平衡点抽出手段
４４で求められた安定平衡点の周辺での瞬時周波数と、
瞬時周波数時間微分抽出手段４５で求められる瞬時周波
数時間微分の同じく安定平衡点の周辺での値に基づい
て、瞬時周波数の推定値の分散に相当する変動量を計算
する。

【００５９】基本周波数計算（低域情報）手段４７は、
安定平衡点抽出手段４４で求められたそれぞれの安定平
衡点における瞬時周波数の情報を変動計算手段４６によ
り求められた変動の値に基づき、最小分散推定となるよ
うに統合して基本周波数の低域情報に基づく推定値を計
算する。

【００６０】瞬時周波数抽出（チャープ基底）手段４８
は、瞬時周波数時間微分抽出手段４５で求められた瞬時
周波数の時間微分に基づいて、瞬時周波数の時間変化を
直線近似することで見かけの周波数が一定となるような
新しい時間軸の上で短時間フーリエ変換を行い、第１実
施例あるいは第２実施例に示した方法あるいはそれらと
数学的に等価である方法によって、周波数毎の瞬時周波
数を計算する。

【００６１】安定平衡点抽出手段４９は、瞬時周波数抽
出（チャープ基底）手段４８により求められた瞬時周波
数に基づいて、周波数から瞬時周波数への写像のチャー
プ基底における安定な平衡点を抽出する。

【００６２】瞬時周波数時間微分抽出手段５０は、瞬時
周波数抽出（チャープ基底）手段４８で求められた瞬時
周波数の値および１サンプル過去の瞬時周波数の値との
差に基づいてチャープ基底における瞬時周波数時間微分
を求める。

【００６３】変動計算手段５１は、安定平衡点抽出手段
４９で求められたチャープ基底における安定平衡点の周
辺での瞬時周波数と、瞬時周波数時間微分抽出手段５０
で求められるチャープ基底における瞬時周波数時間微分
の同じく安定平衡点の周辺での値に基づいて、瞬時周波
数の推定値の分散に相当する変動量を計算する。

【００６４】基本周波数計算（チャープ基底）手段５２
は、安定平衡点抽出手段４９で求められたチャープ基底
におけるそれぞれの安定平衡点における瞬時周波数の情
報を変動計算手段５１により求められたチャープ基底に
おける変動の値に基づき、最小分散推定となるように統
合して基本周波数のチャープ基底に基づく推定値を計算
し、Ｘout ２とする。

【００６５】周期性指標計算手段５３は、安定平衡点抽
出手段４９で求められたチャープ基底における安定平衡
点のそれぞれについて、変動計算手段５１で求められた
チャープ基底における変動の値に基づき、安定平衡点の
周波数の付近での信号成分がどの程度周期的であるかを
表す指標を求め、Ｘout １とする。因みに、変動の値が
ほぼ０であれば、当該の周波数の付近の信号成分は、ほ
ぼ完全に周期的であるとみなされ、指標の値として１が
与えられる。また、逆に変動の値が大きく、白色雑音を
分析したときの変動の期待値程度の大きさである場合に
は、当該の周波数の付近の信号成分は、ほぼ完全に非周
期的であるとみなされ、指標の値として０が与えられ
る。

【００６６】逆フィルタ５４と駆動力局所性指標計算手
段５５は、本発明の請求項目に関わるものではないが、
音声分析合成用の信号分析装置として完結したものとす
るために記載するものである。

【００６７】逆フィルタ５４は、信号のスペクトルの概
形に起因する信号に内在する時間依存性を除去して冗長
性の無い残差信号を計算する。この逆フィルタには、線
形予測分析を用いても、ケプストラムに基づく方法を用
いても構わない。

【００６８】駆動力局所性指標計算手段５５は、ある時
間区間の中で残差信号の振幅の分布がどの程度偏ってい
るかを表す指標である。この指標としては、例えば、あ
る時間範囲内での振幅の標準偏差と振幅の絶対値の最大
値との比や統計量の一つである尖度を用いることができ
る。

【００６９】本発明によれば、瞬時周波数の周波数特性
を周波数から周波数への写像ととらえ、その写像の安定
な平衡（不動）点が調波に対応するという着想と、調波
成分の統計的な性質を安定な平衡点の近傍の時間周波数
の形状から求めることができるという発見にある。ま
た、これを有効に生かすために、性質の良い時間窓の設
定を行う点が重要な点である。

【００７０】更に、各調波成分の推定値に含まれる分散
を、調波成分に対応する安定な平衡点の近傍の形状から
求め、最小分散推定となるようにそれらの情報を統合し
て基本周波数を推定する。

【００７１】調波成分の正弦波らしさについては、調波
成分の分散の推定値と、ガウス型の白色雑音で生ずる安
定平衡点の周波数の分散に基づいて決定する。

【００７２】また、逆フィルタを用いて、残差信号を求
めることにより、信号への駆動の時間的不均一性を表現
する指標を得る。

【００７３】なお、基本周波数が時間的に変化する場合
の問題点を、分析の時間軸を瞬時周波数の時間微分に基
づいて時間軸を非線形に伸縮することにより解消するよ
うにしている。

【００７４】以下、本発明に係る音源情報抽出について
説明する。

【００７５】図４は本発明に係る母音「ア」の振幅スペ
クトル（低周波部分）を示す図である。この図におい
て、横軸は周波数（Ｈｚ）、縦軸はレベル（ｄＢ）であ
る。ここでは、窓の伸長係数＝１である。

【００７６】この図に示すように、特に、窓の伸長係数
＝１とした母音「ア」の振幅スペクトルの低周波部分が
表されている。

【００７７】図５は本発明に係る母音「ア」の振幅スペ
クトルにより正規化した隣接する時点での複素スペクト
ルの差の絶対値から求められた瞬時周波数（低周波部
分）を示す図である。

【００７８】この図において、横軸は参照周波数（Ｈ
ｚ）、縦軸は瞬時周波数（Ｈｚ）が示され、破線は、瞬
時周波数がフィルタの中心周波数と同じ場合を示し、窓
の伸長係数＝１、破線を実線が左から右に横切る部分が
安定な平衡点を示している。

【００７９】図６は本発明に係る母音「ア」の各周波数
における「単一正弦波らしさ」を示す図である。

【００８０】この図において、横軸は参照周波数（Ｈ
ｚ）、縦軸は平均標準誤差（Ｈｚ）であり、標準誤差で
表しているため、値が小さい程、単一正弦波らしい。横
軸の周波数は、フィルタの中心周波数。窓の伸長係数＝
１である。

【００８１】図７は本発明に係る母音「ア」の選択され
た平衡点における瞬時周波数を基本周波数に換算した値
を示す図である。ここで、縦軸は評価基底周波数（Ｈ
ｚ）、横軸はフィルタの中心周波数（Ｈｚ）、窓の伸長
係数＝１である。

【００８２】図８は本発明に係る母音「ア」の平衡点に
ついて表示されているフィルタの中心周波数までの基本
周波数情報を統合したときの標準誤差を示す図である。

【００８３】ここで、横軸は参照周波数（Ｈｚ）、縦軸
はトータル標準誤差（Ｈｚ）、窓の伸長係数＝１であ
る。

【００８４】図９は本発明に係る母音「ア」の平衡点に
ついて表示されているフィルタの中心周波数までの基本
周波数情報を統合したときの基本周波数の推定値を示す
図である。

【００８５】この図において、横軸は参照周波数（Ｈ
ｚ）、縦軸は評価基底周波数（Ｈｚ）であり、ここで、
窓の伸長係数＝１である。

【００８６】図１０は本発明に係る持続発声された母音
「ア」の基本周波数の推定値を示す図である。

【００８７】この図において、横軸は時間（ｍｓ）、縦
軸は評価基底周波数（Ｈｚ）であり、実線は１１番目の
調波成分までの値から最小分散推定した結果を示し、＋
印は基本波のみを使用して基本周波数を推定した結果を
示しており、窓の伸長係数＝１である。

【００８８】図１１は本発明に係る持続発声された母音
「ア」からの正弦波成分の抽出を示す図である。

【００８９】この図においては、抽出された平衡点の位
置を点により表しており、縦軸は窓の伸長係数、横軸は
抽出された成分の瞬時周波数（Ｈｚ）である。

【００９０】図１２は本発明に係る持続発声された母音
「ア」から抽出された正弦波成分の変動（その１）を示
す図である。

【００９１】この図において、横軸は窓の伸長係数、縦
軸は抽出された成分の相対的変動量を示している。

【００９２】図１３は本発明に係る持続発声された母音
「ア」から抽出された正弦波成分の変動（その２）を示
す図である。この図において、横軸は抽出された成分の
周波数（Ｈｚ）、縦軸は抽出された成分の相対的変動量
を示している。

【００９３】図１４は本発明に係る持続発声された母音
「ア」からの事前情報無しの場合の基本周波数抽出マッ
プを示す図である。

【００９４】この図において、横軸は対数周波数指標、
縦軸は伸長指標を示している。図１４における濃度は、
補正された自己相関に相当する値を表している。

【００９５】図１５は本発明に係る持続発声された母音
「ア」からの事前情報無しの場合の基本周波数抽出マッ
プの一断面を示す図である。

【００９６】この図において、横軸は候補基底周波数
（Ｈｚ）、縦軸は補正された自己相関を示している。

【００９７】図１６は本発明に係る白色雑音の混入した
４００Ｈｚ正弦波を示す図である。この図において、横
軸は時間（ｍｓ）であり、２００００Ｈｚサンプリング
で、Ｓ／Ｎ＝０ｄＢである。

【００９８】図１７は本発明に係る各フィルタ周波数に
対する出力瞬時周波数を示す図である。

【００９９】この図において、横軸は参照周波数（Ｈ
ｚ）、縦軸は瞬時周波数（Ｈｚ）であり、信号は白色雑
音の混入した４００Ｈｚ正弦波である。

【０１００】図１８は本発明に係る抽出された基準とな
る周波数から瞬時周波数への写像の安定な平衡点を示す
図である。

【０１０１】この図において、横軸は時間（ｍｓ）、縦
軸は周波数（Ｈｚ）であり、信号は白色雑音の混入した
４００Ｈｚ正弦波（Ｓ／Ｎ＝０ｄＢ）、伸長係数＝１で
ある。

【０１０２】図１９は本発明に係る抽出された平衡点の
相対的標準誤差を示す図である。

【０１０３】この図において、横軸は周波数（Ｈｚ）、
縦軸は相対的標準誤差であり、信号は白色雑音の混入し
た４００Ｈｚ正弦波（Ｓ／Ｎ＝０ｄＢ）、伸長係数＝１
である。

【０１０４】図２０は本発明に係る抽出された基準とな
る周波数から瞬時周波数への写像の安定な平衡点を示す
図である。

【０１０５】この図において、横軸は時間（ｍｓ）、縦
軸は周波数（Ｈｚ）であり、信号は白色雑音の混入した
４００Ｈｚ正弦波（Ｓ／Ｎ＝０ｄＢ）、伸長係数＝４で
ある。

【０１０６】図２１は本発明に係る抽出された平衡点の
相対的標準誤差を示す図である。

【０１０７】この図において、横軸は周波数（Ｈｚ）、
縦軸は相対的標準誤差を示し、信号は白色雑音の混入し
た４００Ｈｚ正弦波（Ｓ／Ｎ＝０ｄＢ）、伸長係数＝４
である。

【０１０８】図２２は本発明に係る抽出された基準とな
る周波数から瞬時周波数への写像の安定な平衡点を示す
図である。

【０１０９】この図において、横軸は時間（ｍｓ）、縦
軸は周波数（Ｈｚ）であり、信号は周期が増加するパル
ス列、伸長係数＝１である。

【０１１０】図２３は本発明に係る抽出された平衡点周
辺の傾きを示す図である。

【０１１１】この図において、横軸は周波数（Ｈｚ）、
縦軸は勾配であり、ここで、伸長係数＝１である。

【０１１２】図２４は本発明に係る音声波形「あいうえ
お」を示す図である。

【０１１３】この図において、横軸は時間（ｍｓ）であ
り、ここで、標本化周波数は４４１００Ｈｚである。

【０１１４】図２５は本発明に係る抽出された基準とな
る周波数から瞬時周波数への写像の安定な平衡点を示す
図である。

【０１１５】この図において、横軸は時間（ｍｓ）、縦
軸は周波数（Ｈｚ）であり、信号は男性の発声した「あ
いうえお」、伸長係数＝１、ピッチ適応窓である。

【０１１６】図２６は本発明に係わる音声波形「あいう
えお」についてチャープ基底を用いて求めた、基準とな
る周波数から瞬時周波数への写像の安定な平衡点を示す
図である。

【０１１７】図２７は本発明に係る周期を１個だけ変更
したパルス列について求めた、基準となる周波数から瞬
時周波数への写像の安定な平衡点を示す図である。

【０１１８】この図において、横軸は時間（ｍｓ）、縦
軸は周波数（Ｈｚ）であり、ここで、周期５ｍｓ、１個
だけ５．０５ｍｓである。

【０１１９】図２８は本発明に係る周期を１個だけ変更
したパルス列について求めた、基準となる周波数から瞬
時周波数への写像の安定な平衡点のうち、第一次調波成
分に対応する平衡点を示す図である。

【０１２０】この図において、横軸は時間（ｍｓ）、縦
軸は周波数（Ｈｚ）であり、ここで、周期５ｍｓ、１個
だけ５．０５ｍｓ、基本波成分だけの拡大表示を行って
いる。

【０１２１】まず、瞬時周波数の計算方法について説明
する（図１〜図３参照）。

【０１２２】ある信号Ｘ（ｔ）があったとき、瞬時周波
数は、その信号のヒルベルト（Ｈｉｌｂｅｒｔ）変換Ｈ
［Ｘ（ｔ）］を用いて次のように定義される。

【０１２３】

【数１】

【０１２４】

【数２】

【０１２５】ここで、ｊ＝√−１は、虚数単位を表す。
この定義では、位相の時間微分として瞬時周波数を求め
ているため、履歴依存性のあるｕｎｗｒａｐの処理が必
要である。これは、以下のような演算により、履歴依存
性の無い処理に置き換えることができる。

【０１２６】ここで、上で得られて、導入された複素数
として表される信号ｓ（ｔ）を次式のように表すことと
する。

【０１２７】

【数３】

【０１２８】この分解は、位相の２πの不定性を除けば
一意的に定まる。ここで用いられている位相φ（ｔ）
と、瞬時周波数ω（ｔ）との間には、次の関係がある。

【０１２９】

【数４】

【０１３０】ここでφ（ｔ₀）は位相の初期値を表す。

【０１３１】ここで、信号を瞬時振幅ａ（ｔ）で正規化
したものを時間微分した信号をｙ（ｔ）とする。する
と、ｙ（ｔ）は次のように表される。

【０１３２】

【数５】

【０１３３】従って、ｙ（ｔ）の瞬時振幅を求めれば、
瞬時周波数となる。

【０１３４】実際には、離散時間系であるので、差分信
号を扱う必要がある。差分信号を、ｙ_d（ｔ）とする。
また、サンプリング周期をΔｔとする。

【０１３５】

【数６】

【０１３６】ここで、先に挙げた位相と瞬時角周波数ω
（ｔ）の関係についての定義を参照する。角瞬時周波数
ω（ｔ）の変化速度がゆっくりとしておりサンプリング
周期の間では一定であると近似できるものとする。する
と、ｙ_d（ｔ）は、次のように書き換えることができ
る。

【０１３７】

【数７】

【０１３８】これを用いれば、瞬時角周波数は次式で求
められる。

【０１３９】

【数８】

【０１４０】瞬時周波数ｆ（ｔ）＝ω（ｔ）／（２π）
は、離散時間系の標本化周波数ｆ_sを用いて次のように
表される。

【０１４１】

【数９】

【０１４２】ここで、短時間フーリエ変換（ＦＦＴ）の
定義を参照する。

【０１４３】

【数１０】

【０１４４】ここで、ｗ（ｔ）は、目的とする信号を部
分的に切り出すための時間窓である。すると、各周波数
に対応する成分は、ｗ（ｔ−ｒ）ｅ^jwtという複素数の
インパルス応答を有するフィルタの出力と解釈すること
ができる。ｗ（ｔ）のスペクトルが負の領域にもれを持
たなければ、この信号の実部と虚部はヒルベルト変換の
関係にあるから、上で行った議論を利用して、二つの引
き続く標本化時刻におけるフィルタ出力をそれぞれの振
幅で正規化した信号の差の絶対値から瞬時周波数を求め
ることができる。

【０１４５】上記の演算は、短時間フーリエ変換の各成
分に同時に適用することができる。したがって、以下の
演算により、各周波数における瞬時周波数ｆ（λ，ｔ）
を一括して求めることができる。

【０１４６】

【数１１】

【０１４７】

【数１２】

【０１４８】以上をまとめると、フーリエ変換を計算す
る装置と、逆正弦関数を計算する装置（逆関数表）があ
れば、簡単な積和演算により各周波数における瞬時周波
数が求められる。

【０１４９】以上の方法は、内容が直感的に理解しやす
い。しかし、毎回、逆三角関数を計算することは、実装
上では不経済である。そこで、テイラー（Ｔａｙｌｏ
ｒ）展開の１次の項までを考慮し、それ以上の項を無視
することにより、毎回逆三角関数を計算する手間を以下
のようにして省くことができる。

【０１５０】

【数１３】

【０１５１】ここで、ｓｉｎの項とｃｏｓの項は注目す
る周波数だけの関数であるから、最初に表を作成してお
けば、毎回計算する必要は無い。この方法によれば、フ
ーリエ変換さえできれば、簡単な積和演算により、一挙
に各周波数における瞬時周波数が求められる。

【０１５２】Ｆｌａｎａｇａｎや阿部の方法に基づき、
微分を差分と位相調整で近似した計算法についても、以
下に記す。

【０１５３】

【数１４】

【０１５４】

【数１５】

【０１５５】ただし、１サンプルの移動では｜Ｘ（λ、
ｔ）｜がほとんど変化しないと仮定して、次に示すよう
な簡単化を試みると、低い周波数領域でかつ平衡点の周
辺では、比較的良い近似を示すものの、平衡点と平衡点
の中間や高い周波数領域では誤差が大きくなり、実用に
耐えない。

【０１５６】

【数１６】

【０１５７】次に、時間窓の設計について説明する。

【０１５８】瞬時周波数を抽出する時間窓に要求される
性能は、ピークの時間方向の変動が小さいことと、時間
周波数の不確定性が小さいことである。目的を調波複合
音の中の成分である単一正弦波の抽出とすれば、時間方
向の変動の主要な要因は、隣接する調波成分からの干渉
である。そこで、時間周波数の不確定性の小さな窓を最
初に用意し、隣接する調波成分からの干渉を抑圧するよ
うな変形を加えて、目的とする窓を作ることとする。

【０１５９】対象とする信号が音声ではなく、楽器や信
号音のように周波数が比較的安定しているものの場合に
は、時間方向の時間分解能を低下させることで、周波数
方向の分解能を向上させることができる。その場合に
は、以下で説明するようなｃａｒｄｉｎａｌＢ−ｓｐ
ｌｉｎｅによるゼロの付加は必須ではない。しかし、音
声の場合は、常に基本周波数が変動しているため、窓の
長さを長くしていくと、測定値の信頼性が急速に低下す
る。

【０１６０】まず、時間周波数の不確定性が最小である
次のようなガウス（Ｇａｕｓｓ）関数から出発する。

【０１６１】

【数１７】

【０１６２】

【数１８】

【０１６３】ここでＷ（ω）は、時間窓ｗ（ｔ）のフー
リエ変換であり、ω₀＝２πｆ₀は、時間と周波数分解
能が等方的になる角周波数及び周波数を表すものとす
る。

【０１６４】この時間窓をそのまま使用することは、不
適切である。なぜなら、負の周波数側への漏れが多く、
また、ｗａｖｅｌｅｔの許容条件を満たしていないから
である。

【０１６５】等方的になる周波数が対象とする信号の基
本周波数（すなわち、隣接調波成分との間隔）であると
解釈すると、この時間窓と、基本周波数で定まる基本周
期の間隔を節点間隔とする２次のｃａｒｄｉｎａｌＢ
−ｓｐｌｉｎｅを畳み込めば、基本波以外の調波の周波
数における応答がゼロでありかつ（ゼロが２次のゼロで
あるから、基本周波数の）誤差に鈍感になるようにでき
る。また、そうして作成された窓関数は、ｗａｖｅｌｅ
ｔの許容条件を実用的な意味において満たす。

【０１６６】

【数１９】

【０１６７】ここで、◎は、畳み込みを表している。

【０１６８】次に、線スペクトル成分、スィープ成分の
抽出について説明する。

【０１６９】ｗ（ｔ−ｒ）ｅ^(jλτ⁾が規定するフィル
タの通過帯域内に単一の周波数成分のみが存在する場合
には、フィルタ出力は、強制振動解であるから入力であ
る単一周波数成分の周波数が瞬時周波数として得られ
る。すなわち、瞬時周波数ω（λ，ｔ）を注目する周波
数λに沿って見ていくと、雑音のみが存在する部分で
は、ωは、λの周辺を変動しながらλに追従して変化し
ていく。

【０１７０】しかし、一旦、ｗ（ｔ−τ）ｅ^(jλτ⁾の
規定するフィルタの通過帯域内に単一の周波数成分が入
ってくると、ωは、急速にその単一周波数成分の周波数
ω_cに接近し、再度単一周波数成分が通過域から外れる
λの位置を超えるまで、ωは一定値ω_cを維持する。こ
の一定値がλと交差する位置を求めれば、そこがフィル
タの中心周波数と一致することが分かる。

【０１７１】ここで、表記の混乱を避けるため、ωが求
められた瞬時周波数を表し、λがフーリエ変換の周波数
軸を表すものとする。λはフーリエ変換を直線周波数軸
上で等間隔に並んだ複素帯域フィルタ群とみなした時
の、各フィルタの中心周波数とみなすこともできる。ω
とλは、両方とも周波数の次元を有しているので、ω
（λ）を周波数から周波数への写像と考えることもでき
る。

【０１７２】その場合、上記したことから明らかなよう
に、正弦波成分が存在する場合には、その正弦波の周波
数は、この写像の平衡点でかつ安定な平衡点となること
が分かる。安定な平衡点でないものは、いずれにせよ、
レベルが低いか、誤差が大きいかであり、注目する必要
の無い成分である。

【０１７３】したがって、この写像から安定平衡点を選
択することで、重要な線スペクトル成分は、全て拾い出
すことができる。

【０１７４】したがって、安定な平衡点（平衡点）を中
心として、フィルタの通過帯域内の瞬時周波数の一定値
ω_cからのずれを指標（例えば、誤差の自乗和）とする
ことで、単一周波数成分の確からしさを表すことができ
る。

【０１７５】ＴＥＭＰＯで導入した「基本波らしさ」に
ならえば、「正弦波らしさ」と言えよう。

【０１７６】ここで、とりあえず、成分の変動量υ（λ
_n，ｔ）の計算方法を示しておく。以下の式を用いる。

【０１７７】

【数２０】

【０１７８】ここで、ｇ( ) は、周波数の窓関数であ
る。この窓関数は、フィルタの通過帯域内部の情報を極
度な偏りなく拾い出すことができて、両端が滑らかに０
になるような関数であればよい。これは、時間窓ｗ
（ｔ）に連動して決められるべきものである。また、平
衡点の周波数（ただし、フィルタ中心周波数軸上の値）
λ_nは、次の条件を満たす周波数である。

【０１７９】

【数２１】

【０１８０】

【数２２】

【０１８１】ここで、εは適当な小さな定数である。実
際には、これはｆ（λ_n，ｔ）の性質により決まるもの
であるから、λ_n（ｔ）と書かなければならない。むし
ろ扱いとしては、集合を規定した方がすっきりする。

【０１８２】

【数２３】

【０１８３】この平衡点に対応する瞬時周波数に含まれ
る誤差に起因する変動量は、窓関数ｗの時間領域の表現
であるＷの幅に依存した相対的な量になりそうである。
数式と数値シミュレーションにより確認することが必要
である。論理は、「同じ２次モーメントを持っていて
も、幅が広い方が、大きく離れた帯域内の他の周波数成
分からの影響を受ける。その影響の大きさは、Ｗの幅に
比例する。」である。ここでは、簡単な数式による検討
を行う。

【０１８４】微少成分の影響注目している帯域内に目的
とする成分ｅ^jwtの他に、僅かに周波数が違い、微少な
大きさの成分εｅ^j(ω⁺δ^)tが存在すると仮定する。こ
こで、εとδは、適当な小さな定数である。この信号を
単一の成分がＡＭ変調とＦＭ変調を受けているものとし
て表現すると、以下のように近似できる。

【０１８５】

【数２４】

【０１８６】提案した分析は、単一正弦波を仮定してい
るので、ここで求めたＡＭ成分とＦＭ成分が検出される
こととなる。この表現は、微少成分の周波数が主要な正
弦波の周波数からの差に比例して、周波数に対する誤差
が増加することを示している。また、最終的な近似式
は、εが微少な場合には、微少成分による影響は、線形
加算により近似できることを示している。

【０１８７】したがって、同じ大きさの微少成分（雑
音）の影響を２次のモーメントで評価することは妥当で
あるし、その２次のモーメントを分散と解釈して、抽出
された瞬時周波数の誤差を議論しても構わない。その結
果、同じ２次のモーメントが得られた場合であっても瞬
時周波数の抽出誤差は、窓関数の等価帯域幅に比例して
増加する。

【０１８８】周波数が一定方向に移動するようなスィー
プ信号の場合には、通過域の中に成分が入った場合に
は、傾いた直線状になる（傾きは、スィープ速度の２次
関数で近似される）。周波数が一定で、振幅が一様に増
加あるいは減少するような場合には、偶関数成分として
表れる。

【０１８９】スィープ成分までを許容とすれば、２次以
上の成分を変動成分として扱うことになる。複数の周波
数成分を統合する場合に、最小分散推定を導き出すこと
ができる。なお、瞬時周波数の解析で無視した２次の変
動成分は、対応する成分の瞬時振幅の変化の１次成分と
して、瞬時周波数を求めるために用いた二つの短時間フ
ーリエ変換から簡単に求めることができる。

【０１９０】変動成分の計算は、瞬時周波数の時間微分
抽出手段４５，５０を入れることにより、非常に性質の
良いものとなった。この計算はヒルベルト変換を用いた
包絡の計算を近似するものでもある。

【０１９１】次に、基本周波数の抽出について説明す
る。

【０１９２】まず、基本周波数のおおよそ（精度±２０
％程度）の値が分かっており、精密な基本周波数を求め
たい場合について説明する。この精度で基本周波数が分
かっていれば、窓関数のパラメータτ₀をこの基本周波
数に対応する値に設定し、分析を行う。すると、平衡点
として、調波成分に対応するもののみが抽出されてく
る。

【０１９３】もし、調波成分だけが抽出されているな
ら、それらを統合して基本周波数の推定値を求めるため
の漸化式は次のようになる。

【０１９４】

【数２５】

【０１９５】ここで、Ｖ_n（ｔ；τ_c）は、ｎ番目の調
波成分の誤差の分散を基本周波数に対応するものに換算
した値である。Ｖ⁽ⁿ⁾（ｔ；τ_c）は、ｎ番目までの調
波成分を考慮した最小分散推定による分散の値である。
また、ｆ_n（ｔ；τ_c）は、ｎ番目の調波成分の瞬時周
波数を基本周波数に対応するものに換算した値である。
ｆ₀ ⁽ⁿ⁾（ｔ；τ_c）は、ｎ番目までの調波成分を考慮
した最小分散推定による基本周波数の推定値である。τ
_cは、時刻である。

【０１９６】次に、基本周波数の抽出、特に、音源特性
制御への応用について説明する。

【０１９７】分析情報に基づいて合成音源を作成する場
合、これまでは、有声／無声の判定は困難な問題とし
て、様々な工夫が行われてきた。各周波数における自己
相関やスペクトルの形状を利用して周波数帯域毎に有声
／無声を判定するＭＢＥは、比較的品質の良い方法とし
て利用されてきた。また、非常に高品質の音声分析変換
合成法であるＳＴＲＡＩＧＨＴ（河原英紀，増田郁代，
“時間周波数領域での補間を用いた音声の変換につい
て”信学技報，Ｖｏｌ．ＥＡ９６−２８，Ａｕｇｕｓｔ
１９９６．８及びＨｉｄｅｋｉＫａｗａｈａｒａ．
“Ｓｐｅｅｃｈｒｅｐｒｅｓｅｎｔａｔｉｏｎａｎ
ｄｔｒａｎｓｆｏｒｍａｔｉｏｎｕｓｉｎｇａｄ
ａｐｔｉｖｅｉｎｔｅｒｐｏｌａｔｉｏｎｏｆｗ
ｅｉｇｈｔｅｄｓｐｅｃｔｒｕｍ：Ｖｏｃｏｄｅｒ
ｒｅｖｉｓｉｔｅｄ”．ｉｎＰｒｏｃｅｅｄｉｎｇｓ
ｏｆＩＥＥＥｉｎｔ，Ｃｏｎｆ．Ａｃｏｕｓ
ｔ．，ＳｐｅｅｃｈａｎｄＳｉｇｎａｌＰｒｏｃ
ｅｅｄｉｎｇ，Ｖｏｌ．２，ｐｐ．１３０３−１３０
６．Ｍｕｎｉｃｈ，１９９７．）においても、ＭＢＥ
〔ＤａｎｉｅｌＷ．ＧｒｉｆｆｉｎａｎｄＪａｅ
Ｓ．Ｌｉｍ．“Ｍｕｌｔｉｈａｕｄｅｘｃｉｔａｔ
ｉｏｎＶｏｃｏｄｅｒ”．ＩＥＥＥＴｒａｎｓ．ｏ
ｎＡｃｏｕｓｔｉｃｓ，ＳｐｅｅｃｈａｎｄＳｉｇ
ｎａｌＰｒｏｃｅｅｄｉｎｇ，３６（８）：１２２３
−１２３５，１９８８〕と類似のアイデアによる合成音
源の分析と制御が用いられていた。しかし、これらは、
近似的な発見的工夫を随所に取り入れたものであり、所
期の性能を発揮させるためには、様々な試行錯誤が必要
であった。

【０１９８】一方、本発明で求められる各正弦波成分の
変動Ｖ_n（ｔ；τ_c）〔正確には、ｆ₀Ｖ_n（ｔ；
τ_c）／τ_cという形に正規化する必要がある〕は、音
源の性質そのものを直接表している。この量は、簡単な
変換でそのまま音源特性の制御に用いることができると
いう見通しの良さと性質の良さを併せ持っている。

【０１９９】基本周波数の変化速度が大きな場合には、
規則的な駆動源による信号であっても、このような評価
基準で見たときに「雑音性」の成分があるように見えて
しまうことがある。また、ホルマント等の共振が鋭い場
合のパルス性の駆動の場合にも、たまたま次のパルスに
よる応答が、以前のパルスによる応答の逆相となること
もあり得る。そのような場合も、見かけ上の雑音性は増
加する。

【０２００】このような問題は、時間微分に基づく時間
軸の伸縮で解消された。また、定量的に変換法則を書け
る材料はそろってきた。

【０２０１】次に、正弦波モデルの直接推定について説
明する。

【０２０２】基本周波数よりも周波数分解能の高い窓を
利用して正弦波成分に帰着させることのできる成分の瞬
時周波数を求めることができる。これは、多数の繰り返
し演算を必要とする正弦波モデルを効率良く計算するた
めの別解を与える。

【０２０３】信頼性の高い成分と、エネルギーの大きな
成分を選択することにより、本質的な成分だけを取り出
すことができる。

【０２０４】まず、信号の構造解析について説明する。

【０２０５】Λ（ｔ）の時刻を固定して、時間窓ｗ
（ｔ）の長さを短いものから拡大していくことを考え
る。あるいは、複素ｗａｖｅｌｅｔ変換の二つの隣接す
る時刻を考えても良い。すると、Λは、観測時刻とスケ
ールの関数Λ（ａ、ｔ）となる。ここで、ａはスケール
を表す指標とする。

【０２０６】Λ（ａ、ｔ）は、ａの増加とともに要素数
が増加するので、ある時刻を固定して周波数λとスケー
ルａによって定められる２次元平面上に表示すると、分
岐図となる。それぞれのΛ（ａ、ｔ）には、誤差の分散
と、周波数ならびに振幅方向の変化速度、その位置にお
けるエネルギーが付随しているので、それらをもとにし
て、信号の構造を規定することができる。

【０２０７】音声の場合には、ホルマントに起因する構
造、基本周波数に起因する構造、サブハーモニックな、
声帯の振動に起因する構造が見える。

【０２０８】次に、信号の構造解析、特に、信号の構造
解析を用いた基本周波数の抽出について説明する。

【０２０９】前に説明した基本周波数についての議論
は、予め基本周波数が分からなければ、利用することが
困難である。ここでは、信号の構造解析の結果を統合し
て基本周波数を求める方法を説明するまず、ある長さに
ついて、議論する。各単一正弦波成分をｃｏｓ位相と
し、それぞれの振幅を標準偏差で正規化して合成すれ
ば、調波構造が存在する場合には、基本波の整数倍の部
分にピークが発生する。Ｌは、「周期らしさ」を表すと
言って良い。

【０２１０】

【数２６】

【０２１１】

【数２７】

【０２１２】ここでα_kは、ｋが大きくなるに従って減
少するような正の数である。ただし、実際の音声では、
低い調波成分ほど変動が小さいようなので、用いる最高
の次数だけを決めておけば、α_kは一定の値でも構わな
い。なお、実用的には、Ｖ_kの大きさに下限を設ける
か、ある時間範囲について積分したＶ_kの値を用いて、
統計的な揺らぎによって１／√Ｖ_kが過大な値を取らな
いようにする工夫が必要である。

【０２１３】ここで、軸を対数周波数軸とすれば、整数
比の拾い出しにより生ずるピークの横軸上での間隔は、
基本周波数によらずに一定の系列になる。つまり、調波
構造が存在すれば、その形は、平行移動による変化を除
き、一定になる。対数周波数軸ｕを形式的に表せば以下
のようになる。

【０２１４】

【数２８】

【０２１５】ここで、ｆ₀は周波数である。

【０２１６】このように対数周波数軸を用いてより低い
基本周波数に対応するピークは、それよりも低い基本周
波数に対応するピークに用いられた成分を含んでいるか
ら、それらを差し引くことで、その低い方の基本周波数
のみに帰属させられる変動成分を求めるためには、上記
の一定の系列を利用した、デコンボリューションを行え
ば良い。

【０２１７】例えば、２００Ｈｚを基準として、窓の伸
長係数を、例えば０．２から２あるいは５まで、例え
ば、ｓｑｒｔ２の比で、対数軸上で等間隔に、変化させ
ながらこのようなデコンボリューションを行えば、調波
構造を明瞭にすることのできる伸長係数が、事前情報を
利用せずに求められる。この伸長係数（窓長）を利用し
て、適切な窓長を選択し、そこで窓長が既知の場合の方
法を用いることにより、基本周波数の最小分散推定が可
能になる。

【０２１８】なお、対数周波数軸を用いる直感的な方法
の他に、「周期らしさ」Ｌを計算する部分を修正し、整
数倍の周期への影響を計算の段階で取り除いて、「基本
周期らしさ」という指標Ｍを定義することができる。形
式的には、この操作は、以下のように示すことができ
る。

【０２１９】

【数２９】

【０２２０】

【数３０】

【０２２１】ここでＲ［］は、バイアスのある望ましく
は滑らかな半波整流関数である。バイアスは、考慮すべ
き平衡点の個数をＮとすると、例えば、１／√Ｎと選択
すれば良い。

【０２２２】次に、本発明の第４実施例について説明す
る。

【０２２３】図２９は本発明の第４実施例を示す信号分
析装置の基本周波数抽出装置のブロック図である。

【０２２４】この図に示すように、この基本周波数抽出
装置は、入力回路６１、分析ウェーブレット作成手段６
２、ウェーブレット分析手段６３、瞬時周波数抽出手段
６４、安定平衡点抽出手段６５、瞬時周波数時間微分抽
出手段６６、変動計算手段６７、基本周波数計算手段６
８から構成されている。なお、Ｘ（ｔ）は、入力信号、
Ｘout は出力信号である。

【０２２５】以下、この基本周波数抽出装置の各部分に
ついて詳細に説明する。

【０２２６】入力回路６１は、分析の対象とする音声信
号あるいは画像の走査によって得られるような時系列信
号を表すアナログ信号あるいはディジタル信号を、内部
処理のための時間的に等間隔に標本化されたディジタル
信号に変換する。

【０２２７】分析ウェーブレット作成手段６２は、基本
周波数が出現し得る全周波数範囲をカバーするように搬
送周波数を設定して、その中の一つの搬送周波数に基づ
いて、ガウス窓と、２次のｃａｒｄｉｎａｌＢ−ｓｐ
ｌｉｎｅ関数を求め、それらを畳み込んだものに、更に
搬送周波数の複素指数関数を掛けることによって、ウェ
ーブレット分析手段６３で用いる分析ウェーブレットを
作成する。この分析ウェーブレットは、性能の劣化を許
容すれば、上述したガウス窓とｃａｒｄｉｎａｌＢ−
ｓｐｌｉｎｅ関数の畳み込みによるもの以外を用いるこ
ともできる。

【０２２８】ウェーブレット分析手段６３は、分析ウェ
ーブレット作成手段６２で求められた分析ウェーブレッ
トを対数周波数軸上で等間隔になるように伸縮して複数
の信号を作成し、それらをもとの信号と畳み込むことに
より複素ウェーブレット分析を計算する。

【０２２９】瞬時周波数抽出手段６４は、それぞれの分
析ウェーブレットが対応する搬送周波数における瞬時周
波数を、第１実施例あるいは第２実施例に示した方法あ
るいはそれらと数学的に等価である方法によって計算す
る。

【０２３０】安定平衡点抽出手段６５は、瞬時周波数抽
出手段６４により求められた瞬時周波数に基づいて、周
波数から瞬時周波数への写像の安定な平衡点を抽出す
る。

【０２３１】瞬時周波数時間微分抽出手段６６は、瞬時
周波数抽出手段６４で求められた瞬時周波数の値および
１サンプル過去の瞬時周波数の値との差に基づいて瞬時
周波数時間微分を求める。

【０２３２】変動計算手段６７は、安定平衡点抽出手段
６５で求められた安定平衡点の周辺での瞬時周波数と、
瞬時周波数時間微分抽出手段６６で求められる瞬時周波
数時間微分の同じく安定平衡点の周辺での値に基づい
て、瞬時周波数の推定値の分散に相当する変動量を計算
する。

【０２３３】基本周波数計算手段６８は、安定平衡点抽
出手段６７で求められたそれぞれの安定平衡点につい
て、変動計算手段６７により求められた変動の値の時間
方向での累積値が最小になるような安定平衡点の系列を
選択することにより、基本周波数を求める。なお、音声
の開始や終了のような基本周波数成分が非常に弱い特殊
な場合以外であれば、単純にそれぞれの時刻において最
も変動が少ない安定平衡点を選択するだけで、基本周波
数が求められる。

【０２３４】この実施例の基本周波数抽出装置によれ
ば、第１実施例や第３実施例で必要であったある程度の
精度を有する基本周波数の近似値を必要としない基本周
波数の抽出を可能とする。また、本装置を、例えば第３
実施例の基本周波数計算（低域情報）手段までの部分と
置き換えて用いることもできる。

【０２３５】図３０には、本発明の第４実施例に係わる
ウェーブレット分析を用いた安定平衡点の時間−スケー
ル平面における散布図が示されている。ここで用いた分
析ウェーブレットは、絶対値の形状を伸長係数μ＝１を
用いて決定した。図中の最も滑らかな軌跡は、基本波成
分に対応する安定平衡点から構成されている。平均的に
は、この軌跡上での変動が最小となる。

【０２３６】なお、本発明は上記実施例に限定されるも
のではなく、本発明の趣旨に基づいて種々の変形が可能
であり、これらを本発明の範囲から排除するものではな
い。

【０２３７】

【発明の効果】以上、詳細に説明したように、本発明に
よれば、次のような効果を奏することができる。

【０２３８】（Ａ）瞬時周波数特性を周波数から周波数
への写像とみなし、写像の安定な平衡点の性質に基づい
て、信号の構造ならびに、最小分散推定の意味で最適な
基本周波数及び、それぞれの周波数領域における周期性
／雑音性／駆動エネルギーの集中度を併せて求めること
により、信号の的確な分析を行うことができる。

【０２３９】（Ｂ）信号に対する仮定の少ない安定で高
精度の分析を行うことができる。

【０２４０】したがって、この信号分析装置では、単独
で、高精度の計測装置として利用できる他、音声認識
や、音声合成・変換、音響現象を用いた機械の診断、電
子楽器等の高品質化、高精度化のためにこれらの装置の
一部として組み込んで利用することができる。

【０２４１】（Ｃ）音声などの信号の基本周波数やそれ
ぞれの調波成分の正弦波らしさを精密に定量的に分析・
表示することができる。

【０２４２】（Ｄ）音声を特徴付ける声道の共振特性や
楽器を特徴付ける様々な共鳴腔の特性、振動物体の特徴
的な共振周波数や声の高さ（ピッチ）等を、安定に高速
に求めることができる。

【図面の簡単な説明】

【図１】本発明の第１実施例を示す信号分析装置の基本
周波数抽出装置のブロック図である。

【図２】本発明の第２実施例を示す信号分析装置の構造
解析及び基本周波数抽出装置のブロック図である。

【図３】本発明の第３実施例を示す信号分析装置の高精
度音源情報抽出装置のブロック図である。

【図４】母音「ア」の振幅スペクトル（低周波部分）を
示す図（窓の伸長係数＝１）である。

【図５】母音「ア」の振幅スペクトルにより正規化した
隣接する時点での複素スペクトルの差の絶対値から求め
られた瞬時周波数（低周波部分）を示す図（窓の伸長係
数＝１）である。

【図６】母音「ア」の各周波数における「単一正弦波ら
しさ」を示す図（窓の伸長係数＝１）である。

【図７】母音「ア」の選択された平衡点における瞬時周
波数を基本周波数に換算した値を示す図（窓の伸長係数
＝１）である。

【図８】母音「ア」の平衡点について、表示されている
フィルタの中心周波数までの基本周波数情報を統合した
ときの標準誤差を示す図（窓の伸長係数＝１）である。

【図９】母音「ア」の平衡点について、表示されている
フィルタの中心周波数までの基本周波数情報を統合した
ときの基本周波数の推定値を示す図（窓の伸長係数＝
１）である。

【図１０】持続発声された母音「ア」の基本周波数の推
定値を示す図（窓の伸長係数＝１）である。

【図１１】持続発声された母音「ア」からの正弦波成分
の抽出を示す図である。

【図１２】持続発声された母音「ア」から抽出された正
弦波成分の変動（その１）を示す図である。

【図１３】持続発声された母音「ア」から抽出された正
弦波成分の変動（その２）を示す図である。

【図１４】持続発声された母音「ア」からの事前情報無
しの場合の基本周波数抽出マップを示す図である。

【図１５】持続発声された母音「ア」からの事前情報無
しの場合の基本周波数抽出マップの一断面を示す図であ
る。

【図１６】白色雑音の混入した４００Ｈｚ正弦波を示す
図である。

【図１７】各フィルタ周波数に対する出力瞬時周波数を
示す図である。

【図１８】抽出された基準となる周波数から瞬時周波数
への写像の安定な平衡点を示す図である。

【図１９】抽出された平衡点の相対的標準誤差を示す図
（伸長係数＝１）である。

【図２０】抽出された基準となる周波数から瞬時周波数
への写像の安定な平衡点を示す図である。

【図２１】抽出された平衡点の相対的標準誤差を示す図
（伸長係数＝４）である。

【図２２】抽出された基準となる周波数から瞬時周波数
への写像の安定な平衡点を示す図である。

【図２３】抽出された平衡点周辺の傾きを示す図（伸長
係数＝１）である。

【図２４】音声波形「あいうえお」を示す図である。

【図２５】抽出された基準となる周波数から瞬時周波数
への写像の安定な平衡点を示す図である。

【図２６】本発明に係わる音声波形「あいうえお」につ
いてチャープ基底を用いて求めた、基準となる周波数か
ら瞬時周波数への写像の安定な平衡点を示す図である。

【図２７】周期を１個だけ変更したパルス列を示す図
（その１）である。

【図２８】周期を１個だけ変更したパルス列を示す図
（その２）である。

【図２９】本発明の第４実施例を示す信号分析装置の基
本周波数抽出装置のブロック図である。

【図３０】本発明の第４実施例に係わるウェーブレット
分析を用いた安定平衡点の時間−スケール平面における
散布図である。

【符号の説明】

１，２１，４１，６１入力回路２，２２，４２窓作成手段３，２３サンプル遅延手段４，５，２４，２５ＦＦＴ（短時間フーリエ変換）
手段６，７，２６，２７振幅正規化手段８，２８差分抽出手段９，２９絶対値計算手段１０，３０瞬時周波数変換手段１１，３１，４６，５１，６７変動計算手段１２，３５，６８基本周波数計算手段３２信号構造マップ作成手段３３調波性マップ作成手段３４最適窓選択手段４３，６４瞬時周波数抽出（低域情報）手段４４，６５安定平衡点抽出手段４５，５０，６６瞬時周波数時間微分抽出手段４７基本周波数計算（低域情報）手段４８瞬時周波数抽出〔チャープ（Ｃｈｉｒｐ）基
底〕手段４９安定平衡点抽出手段５２基本周波数計算（チャープ基底）手段５３周期性指標計算手段５４逆フィルタ５５駆動力局所性指標計算手段６２分析ウェーブレット作成手段６３ウェーブレット分析手段

Claims

(57)【特許請求の範囲】

【請求項１】（ａ）各周波数における瞬時周波数を周波
数から周波数への写像と見なして安定な平衡点を求める
装置と、（ｂ）該安定な平衡点を求める装置により求めた安定な
平衡点の周辺の変動に基づいた加重を設定する装置と、（ｃ）該加重を設定する装置を通じて前記平衡点の周波
数に関する情報を統合して基本周波数を求める装置とを
具備することを特徴とする信号分析装置。
【請求項２】請求項１記載の信号分析装置において、
時間窓の分解能を基本周波数及び基本周期の近似値と同
程度に設定し、基本周波数及び調波成分の瞬時周波数を
求めて基本周波数を高精度に求めることを特徴とする信
号分析装置。
【請求項３】請求項２記載の信号分析装置において、
前記時間窓の分解能を基本周波数及び基本周期の近似値
と同程度に設定し、基本周期の近似値に適応的に定めら
れる周期成分抑圧用平滑化関数と畳み込んで作成される
窓を用いることにより、基本周波数及び調波成分の瞬時
周波数を求めて基本周波数を高精度に求めることを特徴
とする信号分析装置。
【請求項４】請求項１記載の信号分析装置において、
対数周波数軸上でほぼ等間隔あるいは、直線周波数軸上
でほぼ等間隔、あるいは、特定の時間サイズに密に配置
する等の不等間隔になるように設計された複数の時間長
の時間窓の組を用いることにより信号の階層構造を分析
することを特徴とする信号分析装置。
【請求項５】請求項１記載の信号分析装置において、
画像の走査により得られる信号を入力信号として用いる
ことにより画像の構造を解析することを特徴とする信号
分析装置。