JPS6088327A - 音響解析装置の主スペクトル抽出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （１）発明の技術分野 本発明は音の分析、抽出９合成を行なうため、分析装置
、主スペクトル抽出装置１舎成装置を具え、とくに非調
和性の音に対し高速に解析できる音響解析装置における
主スペクトル抽出装置の改良に関するものである。

（２）従来技術と問題点 一般に自然音に対しては、解析は余シなされていないが
、音声波形はそのスペクトルエンベロープ（声道の周波
数特性）と音源に分離して考え、情報成分としてのスペ
クトルエンベロープを帯域フィルタ詳によって分析抽出
し、エネルギー成分としての音源をパルス系列とランダ
ム雑音に分離する。この２つの情報すなわちスペクトル
情報と音源情報を記録しまたは伝送する。合成側では音
源情報から音源をパルス系列とランダム雑音で近似し、
その各周波数成分をスペクトル情報によって振幅変調し
、それを分析に対応した帯域フィルタ群を通して加え合
せて音声波形を再生する。

このようなボコーダ方式や、ターミナルアナ四グ。

声道アナログ方式等のアナログ方式や、ＰＡ几００ｒｔ
等のデジタル方式がすでに提案または実用されている。

しかし、これらは全て音声という調和性の音。

すなわち倍音関係が整数倍となる音に限られており、ま
たそれに対する解析方法として開発されてきたものであ
る。ここで前述の方式をトランペットやトロンポン等調
和性の高い音の解析に適用した場合には有効であると考
えられる。しかし、ピアノやチャイムで代表されるよう
な非調和性の音に対する解析には適しないし、また非常
に困難なことである。このため、自然音全体に対しとく
に非調和性の音に対して解析可能な方式が望まれている
。この場合、従来の調和性の音と同程度に情報量を減少
させることも重要であシかつ高速処理が望まれる。

これに対し、本出願人は別提案により、詳しくは後述す
るような音響解析装置を提案した。その概略を述べると
、要部は分析装置と主スペクトル抽出装置と合成装置よ
シ成シ、分析装置では音響信号のデジタルサンプル値を
所定の時間窓で切取υ、これをずらしながら時系列的に
スペクトルを算出し、主スペクトル抽出装置ではこの算
出された周波数スペクトルからスペクトルエンベロープ
をめ、これにより最も近似するＮ個以内の正弦波成分を
表わす主スペクトル成分の周波数値と振幅値と位相値を
時系列的に抽出し、次に合成装置ではこれらの主スペク
トル成分値に基づき、Ｎ個分のデジタル正弦波発生器に
よシ周波数１位相。

振幅を設定し音響波形を合成するものである。この提案
発明により、非調和性の音に対しても調和性の音の場合
と同様に少ない情−粗景で高速処理することができるよ
うになった。しかし、ここで提案された主スペクトル抽
出装置では、そのスペクトル抽出方法としてたとえばピ
ーク順に行なった場合には周波数データが極端に変化す
る場合が起り、これを合成装置で合成した場合ノイズ発
生の原因となる。そこでＮ個分の主スペクトル成分値の
抽出順序を周波数データの極端な変化を避けるようにす
ることが望ましい。

（３）発明の目的 木登ＢＢの８削１）１′白伏嵜仝仕シ？に兆鯛嘩口袢の
音に対し分析、抽出１合成を高速に行なうことのできる
音響解析装置において、Ｎ個分の主スペクトル成分値の
抽出７１％序を周波数の極端な変化を避けるようにした
主スペクトル抽出装置を提供することである。

（４）発明の構成 前記目的を達成するため、本発明の音響解析装置の主ス
ペクトル抽出装置は音響信号のディジタルサンプル値を
所定の時間窓で切取り、これをずらして周波数スペクト
ルを算出する分析装置と、該周波数スペクトルのエンベ
四−プより音響信号に近似する正弦波成分を表わすＮ個
ずつの周波数。

位相、振幅データよυ成る主スペクトル成分値を抽出す
る主スペクトル抽出装置と、該主スペクトル成分値に基
づきＮ個分の正弦波発生器によシ音響波形を合成する合
成装置より成る音響解析装置において、前記主スペクト
ル抽出装置がスペクトルエンベローフテータを記憶スる
スペクトルエンベロープメモリと、基準となるＮ個の周
波数を記憶する基準周波数メモリと、該メモリの示す周
波数に対し前記スペクトルエンベロープデータのうち最
も近い周波数のピークレベルを検出するサイドピークレ
ベル検出手段と、該手段に応じて順々にＮ個の振幅デー
タを抽出する振幅抽出手段と、周波数データを抽出する
周波数抽出手段と、位相データを抽出する位相抽出手段
とを具え、前記周波数抽出手段によシ抽出された周波数
データを前記基準周波数メモリに一時記憶して次回の抽
出の基準周波数とし、さらに初期状態において所定の基
準周波数を前記基準周波数メモリにセットする初期化手
段を具え、該初期化に基づき基準周波数に追従したＮ個
の主スペクトルを順次抽出することを特徴とするもので
ある。

（５）発ツ」の実施例 第１図は本発明の基本となる別提案の音響解析装置全体
の概略説明図である。音響信号は分析装＋ｇｔｉｏｏに
入力し、ここで入力信号の周波数スペクトル成分が算出
される。入力信号はディジタル変換された後一定時間窓
のサンプル区間を１ブロツクとして分析される。続いて
、数サンプルずつずらして次々分析を行なう。これによ
り、時系列的な周波数スペクトルが得られる。この分析
結果は、いくつもの山（フォルマント）を持つスペクト
ルエンベロープで表わされる。この山は、分析区間に対
し波形周期が非整数倍であることやフーリエ変換で用い
られる窓関数による影響で生じるものである。このため
、山のピークに相当するスペクトル成分を抽出し、さら
に有効な数のスペクトラムにデータ圧縮を行なう。

ここで、まとめてこの明細１で用いる主要な波形用語を
第２図（α）〜（ｃ）によシ説明をしておく。同図（α
）は横軸の周波数に対し縦軸に音響１ｇ号のデジタルサ
ンプル値をとったいわゆる周波数スペクトルを示す。単
に１−スペクトル」というときは個々の周波数スペクト
ルと同意の各線スペクトルを指している。これに対し、
「周波数スペクトル」というときは、このスペクトルの
集合した状態を示し、この周波数スペクトルには周波数
、振幅２位相の各情報を含んでいる。次に「スペクトル
エンベロープ」は同図（ｂ）に示すように周波数スペク
トルの包絡線を指すものである。さらに、以下に示す「
主スペクトル」は本発明では新用語として用いるもので
、同図（Ｃ）に示すように、前記スペクトルエンベロー
プよシ抽出した線スペクトルであシ、Ｎ個以内の最も近
似した周波数の正弦波成分に対応し、合成するだめの周
波数１位相、振幅データを表わす線スペクトルを示すも
のである。

主スペクトル抽出装置２００は、分析装置１００より出
力されるスペクトルエンベロープを表わすデータのその
データ数より相当に少ない数Ｎ個の主スペクトルを抽出
する。Ｎ個の主スペクトルは周波数、振幅２位相データ
よシ成り、合成装置５００に転送される。谷成装＠３０
０は周波数振幅２位相を任意に制御できるＮ個の正弦波
発振器を有し、前述のＮ個の抽出された主スペクトルデ
ータがＮ個の発振器にそれぞれ割当てられ、分析と同様
の時間間隔で音色の変化する波形を時々刻々合成し、次
にサウンドシステム４００で音響が再生される。

このように音響解析装置において、分析から合成までの
過程はフーリエ変換した音響信号の周波数スペクトルの
中から、重要でかつ相当に少ない数Ｎ個の主スペクトル
を限定的に抽出し、これを合成再生することによりなさ
れる。

たとえば、１回の分析区間を１０２４サンプルとすると
、分析結果の周波数スペクトラムは最大５１２個算出さ
れる。

Ｘｋ＝Σ　ｒ、、　ｗ　−’　（ｗ＝　ｅｘｐ　（ｊ２
π／Ｍ　）　）６ 上記Ｘ＆で示されるスペクトルエンベロープ（周波数ス
ペクトラムの全体の包絡曲線）よ＃）Ｎ個のたとえば６
２個の主スペクトルを抽出する。この時、主スペクトル
の値は補間されたスペクトルエンベロープやその形状か
ら推理する方法によって算出した値でもよい。続いて抽
出した周波数１位相、振幅を含む主スペクトルは、６２
個の独立した正弦波発振器にそれぞれ割当てられ、ｘ（
ｔ）＝ΣｃＬ、　ｓ＋ｎ　（ωｑｔ＋０ｑ）（ａｙ賑幅
、ω９：周波数、θｑ：位相）によシ示される波形ｘ（
ｔ）が合成される。また、３２個一組のαＱ　＋ｔｉ）
Ｑ　ｌ　’Ｑは所定の時間間隔たとえば１０ｍ５（イ）
毎に、分析結果に応じて変化してゆく。

このようにして、単に６２倍音の調和性倍音の合成のみ
ならず、非調和性音の合成や有効なデータのみを利用す
るため、たとえば方形波においては偶数倍音を含まない
ため、実質的には６２個の合成において、６４倍音まで
再生可能となシ高品質な合成が行なえる。

第３図は分析装置１００の実施例の詳細説明図である。

音響入力信号はＡＤＯｌｏｌでアナログ−ディジタル変
換された後一旦波形メモリ１０２に記憶される。波形メ
モリ１０２はたとえばサンプリング周波数５１２ＫＨｚ
で５秒間記憶できるものであれば２５６にワードの波形
メモリである。記憶された波形は時間窓の１ブロツクと
してたとえば１０２４サンプルずつ高速フーリエ変換（
Ｆａｓｔ　Ｆｗｒｉｅｒ　’Ｊ’ｒａｎｓｆｏｒｍ　）
するＦＦＴ　ｆｉＡ３に入力し、周波数スペクトルが算
出される。このブロックを順次数ワードずつずらして同
様に演η、することによシ、時間的に変化するいくつも
のスペクトルエンベロープが算出される。

このスペクトルデータは主スペクトル抽出装置２００に
転送される。

第４図は主スペクトル抽出装置２００の実施例の詳細説
明図である。分析装置１００によシ算出されたスペクト
ルデータは、各時刻毎に１組のスペクトルエンベロープ
をスペクトルエンベロープメモリ２０１に転送する。

次にｎ次ピークレベル検出回路２０２にょシ、スペクト
ルエンベロープメモリニするスペクトルエンベロープの
山のピーク値を検出し、最大のものから順にＮ個たとえ
ば３２個のピークレベルが検出される。これによシ、そ
の検出される３２個の点での掘幅値と周波数値と位相値
がそれぞれ振幅抽出回路２０６１周波数抽出回路２ｏ４
１位相抽出回路２０５により抽出される。

ここで６２個の主スペクトル成分は、その波形を最も良
く代表する成分が選択される。

次に抽出されたＮ個の主スペクトルデータは合成装＠３
００にあるＮ個たとえば６２個の正弦波発振器に割当て
られる。

第５図はスペクトルエンベロープよシ８個の主スペクト
ルを抽出する方法を示す波形図である。

多数のポイント（たとえば５１２ポイント）で示される
。

なめらかなスペクトルエンベロープよシ山ノ最大レベル
を示す点が■〜■にその順位で示される。

ここで、抽出周波数範囲をｆ６までにすると、７番目の
スペクトルは不要となシ、かわシに９番目の１９が抽出
される。

このように抽出周波数帯域を制限することによって、小
さなレベルのスペクトルも抽出できるようになシ利用可
能性が向上する。このようにレベル類で検出された周波
数に基づいて、位相、振幅も同時に抽出される。取シこ
ほされたスペクトルは相当にレベルの低いものであり、
全体の音の特徴にはそれ程３ｊ要なものではない。この
ため少ないスペクトルで合成しても十分な再現性を得る
ことができる。

第６図は合成装置３００の実施例の詳細説明図である。

主スペクトル抽出装置２００により各時刻毎に抽出され
た主スペクトルデータ（振幅１位相。

周波数）は全て抽出データメモリ６０１に一旦記憶され
る。これは各時刻毎の分析および抽出が実時間で行なわ
れずその時間間隔には間に合わず次の処理にはいシ込む
だめである。また、何度もｐＪ生するために、全抽出デ
ータは一時記憶しておくことが必要となる。

このため、メモリ容景はたとえば５秒間の音響信号を１
０１１Ｌ！ｌｃｃ間隔で分析し、６２個ずつの周波数。

位相、振幅の主スペクトルデータを抽出した場合、（５
０００／１０）Ｘ３２Ｘ３＝４８０００ワードのメモリ
となる。

次にアドレス制御回路５０２は合成に用いる速度とは無
関係な速度で、所定の時刻の周波数２位相。

」辰幅より成る６２飼の生スペクトルデータを各時刻毎
に周波数メモ’）　５０５．位相メモリ３０４．振幅メ
そす６０３にそれぞれ転送し、分析における速度と同じ
速度で音響の再合成が可能となるように、一時各データ
が各メモリにストアされる。

次に周波数メモリ６０５には、角速度を決定するＮ個（
以下３２個を例に取る）の周波数データωｑ（ｑ＝ｉ　
、　２　、・・・・・・３２）がストアされ、所定の時
ｒ＃ＩＪ間隔で更新される。このデータは、所定のクロ
ック（たとえば分析装置におけるザンプリングクロツク
）Ｅｌ波数でまた３２０時分割で常に周波数累算器５０
６によりＭＷされ、時刻ｔにおける位相角ωｑｔが算出
される。次に、この出力Ｗ９ｔは、位相加算器３０７に
入力し、もう一方の入力である位ａメモリ３０４よシ出
力される位相データ０ｑ（ｑ＝１．２．・・・３２）と
加算され、（ω９ｔ＋０９）が算出される。次に位相加
ｒ）、器３０７０出力によシー周期の正弦波をディジタ
ル的に記憶する正弦波テーブル３０８より正弦波値ＳＩ
Ｎ（ｗｑｔ＋０９）なる値を読み出し、この出力に振幅
メモリ３０３よシ出力される振幅データ　α９（ｑ＝１
．２．・３２　）と乗算器６０９で乗算され、ｃＬｑ８
１ｎ　（ＤＪｑ’ｌ　−１−θｑ）なる合成スペクトル
が出力される。次に乗算器３０９より出力される３２個
の時分割された合成スペクトル波形データをスペクトル
累算器６１０で累算し、ｘ（ｔ’ｌ＝Σ〜ｓｉｎ　（ω
９ｔ＋θｑ）なるディジタル合−１ 成波形を算出し、さらにＤＡＯ３１１によシデイジタル
ーアナログ変換された後、サウンドシステム４００から
音響出力される。

このように、合成装置６００は３２個の主スペクトル成
分を時分割で合成再生可能で、さらに各スペクトル毎に
任意の周波数１位相、振幅を設定できる装置である。

さらに、抽出データメモリ３０１とアドレス制御回路３
０２は合成の速度とは無関係な速度でデータ転送が行な
われるため、装置６０６〜６１１を複数系列でもつこと
によシ容易に複音化するととも可能である。

以上は別提案の音響解析装置のオｌり成と動作を説明し
たものであり、これによシ従来解析や合成が困難であっ
た非調和性の音を含む自然音全体の音の解析を比較的少
ないＮ個の情報量を用いて冒速処理が可能となるもので
ある。

ここで用いた第６図による主スペクトル抽出装置は、ピ
ーク類に並べて見た場合、各時刻において常にその周波
数の関係が一定していない。つまシ、スペクトルエンベ
ロープの形状に従って１，２゜３、・・・倍音の順で抽
出されるような場合や、３，１，２゜・・・倍音の植で
抽出される場合とさまざまなパターンとなシノイズ発生
の原因となる。そこで合成装置の各チャンネルに振り分
は合成する場合、不連続なデータの極端な変化を避ける
ような抽出方法をとることによシ、ノイズの発生も抑え
ることが可能となる。本発明では上述の点に主眼をおり
てなされたものであり、前の回に抽出した周波数を基準
とし、次回においてはこれに追従するような近い周波数
に設定しＮ個の主スペクトル成分を抽出するようにした
ものである。

第７図は本発明の要部である主スペクトル抽出装置ｉ　
２００’の実施例説明図である。分析装置１００により
算出されたスペクトルデータは各時刻毎に１組のスペク
トルエンベロープをスペクトルエンベロープメモリ２０
１に転送される。まず、初期設定を行なうため適凸な部
分の波形を分析し、一旦そのスペクトルがスペクトルエ
ンベロープメモリ２０１エンベロープメモｖｒｉｃｈる
スペクトルエンベロープの山のピーク値を検出し最大の
ものから願にＮ個、たとえば３２個のピークレベルが検
出される。

これによりその検出される３２個の点での振幅値と周波
数値と１位相値がそれぞれ振幅抽出回路２Ｑ３１周波数
抽出回路２０４９位相抽出回路２０５によυ抽出される
。

ここで、抽出された周波数値は−Ｈ基準周波数メモリ２
１０に記憶される。次にこの基準周波数をもとにして、
本来の主スペクトル抽出が行なわれる。

スペクトルエンベロープメモリ２０１の内容と基準周波
数メモリ２１０の内容を１〜Ｎ個順に比較し、基準周波
数に最も近いスペクトルエンベロープの山のピーク値を
検出するのがサイドピークレベル検出回路２１１であシ
、これによシ基準周波数のパターンに最も近い周波数パ
ターンの主スペクトルが抽出される。さらに今回の抽出
された周波数値は次回の基準周波数として基準ＭＪ波数
メモリ２１Ｄに記憶される。この様にして１１１次側ず
つの主スペクトルデータが以前の周波数に追従するよう
にして抽出されてｂく。

（６）発明の効果 以上説ツＪしたように、本発明によれば、前記提案によ
る分析装置と、主スペクトル抽出装置と、合成装置とよ
シ成る音ｌ＃解析装置において、前記主スペクトル抽出
装置の主スペクトル成分を抽出する方法が前の回に抽出
した周波数を基準とし、次回においてこれに最も近い周
波数を設定するようにして周波数の極端な変化を避ける
ようにしたものである。これによりノイズの発生を有効
に抑えることができる。

【図面の簡単な説明】

第１図は本発明の基本となる提案側概略説明図、第２図
は波形に関する用語の説明図、第６図、第４図、第６図
はそれぞれ第１図の要部の詳細構成説ツｊ図、第５図は
第６図に関連する動作波形図、第７図は本発明の要部の
詳細説明図を示し、図中１００は分析装置、１０１はＡ
ＤＣ！、　１０２は波形メモリ、１０３はＦＦＴ演η演
目４回路００　、２００’は主スペクトル抽出装置、２
０１はスペクトルエンベロープメモリ、２０２はｎ次ピ
ークレベル検主回路、２０３は振幅抽出回路、２０４は
周波数抽出回路、２０５は位相抽出回路、２１０は基準
周波数メモリ、２１１はサイドピークレベル検出回路、
６００は合成装置、６０１は抽出データメモリ、６０２
はアドレス制御回路、６０６は振幅メモ１，１．３０４
は位相メモリ、５０５は周波数メモＩＪ、３０６は周波
数累算器、３０７は位相加算ＭＳ、６０８は正弦波テー
ブル、６０９は乗算器、３１０はスペクトル累算器、５
１１はＤＡＯ，４００はサウンドシステムを示す。 特許出願人　株式会社　河合楽器製作所代理人　弁理士
　１）坂　善　重 第電図 第２図 （ａ） 振 １戸　（ｂ） 時限 □周波数 （Ｃ） 上スペクトル番号 第３図 第４図

Claims (2)

【特許請求の範囲】
1. （１）音響信ぢのディジタルサンプル値を所定の時間窓
   で切取り、これをずらして周波数スペクトルを算出する
   分析装置と、該周波数スペクトルのエンペローブよシ音
   管信号に近似する正弦波成分台を表わすＮ個ずつの周波
   数１位相、振幅データより成る主スペクトル成分値を抽
   出する主スペクトル抽出装置と、該主スペクトル成分値
   に基づきＮ個分の正弦波発生器により音響波形を合成す
   る合成装置よシ成る音響解析装置において、前記主スペ
   クトル抽出装置がスペクトルエンベロープデータを記憶
   するスペクトルエンベロープメモリと、基準となるＮ　
   １１ωの周波数を記憶する基準周波数メモリと、該メモ
   リの示す周波数に対し前記スペクトルエンベロープデー
   タのうち最も近い周波数のピークレベルを検出するサイ
   ドピークレベル検出手段と、該手段に応じて順々にＮ個
   の振幅データを抽出する振幅抽出手段と、周波数データ
   を抽出する周波数抽出手段と、位相データを抽出する位
   相抽出手段とを具え、前記周波数抽出手段により抽出さ
   れた周波数データを前記基準周波数メモリに一時記憶し
   て次回の抽出の基準周波数とし、さらに初期状態におい
   て所定の基準周波数を前記基準周波数メモリにセットす
   る初期化手段を具え、該初期化に基づいて基準周波数に
   追従したＮ個の主スペクトルを順次抽出することを特徴
   とする音響解析装置の主スペクトル抽出装置。
2. （２）　前記初期化手段が前記スペクトルエンベロープ
   の示すｎ番目のピークレベルを検出する１次ピークレベ
   ル検出手段であシ、これによｐＮ個の初期の基準周波数
   を抽出し前記基準周波数メモリに記憶しておくことを特
   徴とする特許請求の範囲第１項記載の音響解析装置の主
   スペクトル抽出装置。