JP3304709B2 - 楽音信号分析方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、楽音信号の周波
数成分を抽出し、再合成のために記憶する楽音信号分析
方法に関し、特に、その音質の低下を招かないデータ量
の削減方法に関する。

【０００２】

【従来の技術】本出願人は、波形メモリ方式の音源装置
と同様の音質（自然楽器の再現性）を備え、且つ、基本
波合成方式の音源装置（ＦＭ音源）と同様の加工性の良
さを兼ね備えた音源として分析合成方式の音源装置を提
案している（特開平５−１０８０７７号公報，特開平５
−１２７６７６号公報）。分析合成方式の音源装置と
は、もとになる自然楽器の楽音信号の周波数スペクトル
からピーク周波数成分データを抽出して、これを分析デ
ータとして記憶し、楽音信号の合成時には、この記憶さ
れているピーク周波数成分データに基づいて楽音信号を
再合成する音源装置である。

【０００３】自然楽器の楽音波形は複雑であるため、周
波数のピークは極めて多数存在する。ＦＦＴ分析などで
ピーク周波数を抽出すると、これらが殆ど抽出されるた
め周波数成分データのデータ量は非常に大きなものとな
る。しかし、楽音信号の再合成時にはこれらを全て用い
ることができないため、また、データの記憶容量にも限
りがあるため、このなかから所定数（たとえば１２８
個）の周波数成分データを選択して分析データとして記
憶するようにしている。

【０００４】

【発明が解決しようとする課題】たとえば、高い音であ
れば、基本波から順に１２８個のピーク周波数成分を選
択してゆけば、有意な周波数成分を殆ど抽出することが
できるが、低い音であれば、可聴周波数の範囲に１２８
個を超えるピーク周波数成分が存在するため、単純に下
から（基本波から順に）１２８個選択したのでは、高い
周波数でも有意な周波数成分（たとえば、整数倍の倍音
周波数成分）を抽出できない場合があり、音質が低下し
てしまうことがあった。といって、低い周波数の場合に
抽出する周波数成分数を増やすことは音源装置の構成上
困難なことであった。

【０００５】この発明は、抽出された周波数成分からそ
れほど必要でないものを省くことにより、記憶容量を減
らし、且つ、合成を容易にした楽音信号分析処理方法お
よび楽音信号形成方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】この出願の請求項１の発
明は、楽音信号の周波数成分を抽出し、この周波数成分
のうち高次周波数のものをグループ化し、各グループの
なかから最も有意な周波数成分を選択し、グループ化さ
れなかった低次周波数の周波数成分と各グループ毎に選
択された最も有意な周波数成分とを組み合わせることに
よって前記楽音信号の分析データを作成することを特徴
とする。

【０００７】最も有意な周波数成分は、たとえば、平均
強度が最も大きいものを選択すればよい。たとえば、基
本波の整数倍音の場合には他のピーク周波数成分に比し
て強度が大きいため、この基準で最も有意なものを選択
することができる。

【０００８】この出願の請求項２の発明は、楽音信号の
周波数成分を周波数データと強度データの組み合わせと
して抽出し、この周波数成分のうち高次周波数のものを
グループ化し、各グループの全周波数成分の強度データ
加算して該グループの代表周波数成分の強度データと
し、グループ化されなかった低次周波数の周波数成分と
各グループの代表周波数成分とを組み合わせることによ
って前記楽音信号の分析データを作成することを特徴と
する。

【０００９】代表周波数成分としては、そのグループの
最も周波数の低いものを選択する方式や請求項１の発明
を用いて最も有意なものを選択する方式がある。この発
明を用いれば、グループ化された高い周波数成分の強度
を低下させることなく成分数を削減することができる。

【００１０】この出願の請求項３の発明は、周波数成分
を周波数データと強度データの組み合わせとして抽出
し、この周波数成分のうち高次周波数のものをグループ
化し、各グループにおいて、所定の時間区間毎に最も有
意な周波数成分を選択して選択された周波数成分の強度
データを該グループの代表周波数成分の強度データと
し、グループ化されなかった低次周波数の周波数成分と
各グループの代表周波数成分とを組み合わせることによ
って前記楽音信号の分析データを作成することを特徴と
する。

【００１１】この発明では、楽音信号を時間区間毎に区
切って各区間毎に最も有意な周波数成分を選択する。た
だし、この周波数成分をそのまま用いるのではなく、各
区間毎の最も有意な周波数成分の強度データを、代表周
波数成分の強度データとする。これにより、各区間毎の
最も有意な強度データが全て代表周波数成分の強度デー
タとなるため、この代表周波数成分を分析データとする
ことによって、成分数が削減されても音質の低下を招か
ない。

【００１２】

【発明の実施の形態】まず、図１〜図３を参照してこの
発明の適用例である３種類の楽音信号分析方法について
説明する。

【００１３】この楽音信号分析方法では、まず、楽音信
号をスペクトル分解してそのピークの周波数成分を抽出
する。このピーク周波数成分の抽出は、以下のいずれの
方式を採用してもよい。

【００１４】 スペクトル上に現れた全てのピークを
抽出する方式 スペクトル上に現れたピークを低いほうから一定数
抽出する方式 一定間隔（たとえば、１２５Ｈｚ間隔）に設定され
たチャンネル毎に１つのピークを抽出する方式 分析時においては、上記の方式を採用するものとす
る。抽出されたピーク周波数成分（以下、単に周波数成
分という。）のうち低次のものは全て採用し、ある周波
数（次数）以上のものは所定個数ずつグループ化し、各
グループにつき１つの周波数成分のみ採用する。これに
よってグループ内で不採用となった周波数成分だけデー
タ量を削減することができる。

【００１５】グループ化された状態を図１〜図３に示
す。この図では、第ｋグループ，第ｋ＋１グループが示
され、それぞれ３つの周波数成分（同図ではチャンネル
と表現する）で構成されている。なお、楽音波形は全体
として１つのデータとされるのではなく、たとえば、ア
タック，サスティン，ディケイなどのように複数のセク
ション毎に分析・記憶される。この図では、これら各セ
クションをボイス（Ｖｏｉｃｅ）と表示し、１つの楽音
波形がボイスＡ，ボイスＢ，ボイスＣで構成されるもの
としている。

【００１６】図１の楽音信号分析方法は、グループ内の
周波数成分のなかから最も有意なものを判定し、そのグ
ループの代表の周波数成分として選択する。この図で
は、強度の平均値が最も大きいものを最も有意であると
判定している。これ以外にも強度のピーク値の大きさな
どに基づいて判定する方法を採用することができる。

【００１７】図２では、グループ内で１つの周波数成分
を代表値として選択し、その周波数成分の強度値をグル
ープ内の全ての周波数成分の強度値の合計値としてい
る。どの周波数成分をとめるようにしている。どの周波
数成分を代表値として選択するかは、単純にグループ内
で一番若い次数のものを選択する方式、図１に示す方法
を適用して最も有意なものを選択する方式など、種々の
方式を採用することができる。これにより、周波数成分
の数を削減しても全体の強度を維持することができる。
また、この方式であれば、成分数が削減されても高次倍
音成分を強調することができる。

【００１８】さらに、図３の楽音分析方法は、グループ
内で最も有意な周波数成分を各ボイス毎に判定し、各ボ
イスで最も有意な周波数成分の強度値を一つの代表周波
数成分の強度値としてまとめる方式である。有意なボイ
スの判定は、図１の楽音分析方法と同様に強度の平均値
やピーク値が最も大きいものを最有意と判定すればよ
い。また、強度データをまとめる代表周波数成分の選択
は、楽音信号全体（ボイスＡ，Ｂ，Ｃ全体）として最も
有意なものを選択するか、それとも、単純にグループ内
で一番若い次数ものものを選択するようにしてもよい。

【００１９】グループ内で一番若い次数ものを選択する
ようにすれば、リアルタイムにボイスのデータが入力さ
れても、このデータがそれまでのボイスの選択に影響を
及ぼさないためリアルタイム処理が可能になる。

【００２０】なお、上記方法で既に分析され、所定個数
（たとえば、１２８）の周波数成分にまとめられている
分析データについて、楽音信号を形成する時点でさらに
成分数を削減することもできる。このような処理は楽音
合成部の処理能力に制約があるとき行われる。この場合
には、演奏操作に合わせてボイスが読み出されるが、読
み出されたボイスの周波数成分数と、この周波数成分の
成分波形を生成可能なチャンネル（成分波発振器）数と
を比較し、チャンネルが不足する分だけ周波数成分の数
を削減する処理を施す。この場合に、たとえば、３つの
周波数成分を１グループにまとめるとすれば、不足する
チャンネル数／２の数のグループを高次の周波数成分か
ら順にグループ化してゆけばよい。グループ化された周
波数成分を上記の楽音信号分析方法を成分数削減方法と
して用いて周波数成分数を削減する。これによって、既
に記憶されている分析データの周波数成分数を更に削減
して楽音信号を再合成することができる。

【００２１】以下具体的な装置において、上記方法の実
施態様を説明する。

【００２２】図４は、この発明が適用される分析合成系
の音源装置を示す図である。この音源装置は、分析部
１，記憶部２，補間部３，シフト部４，合成部５からな
っている。分析部１は、上述したように、ディジタル化
された楽音信号を入力し、所定の成分数の分析データに
変換する機能部である。記憶部２は該分析データを記憶
する。以上の分析部１，記憶部２が入力された楽音信号
を分析する部分であり、以下の補間部３，シフト部４，
合成部５が記憶された分析データに基づいて楽音信号を
再合成する部分である。補間部３は、前記分析データは
６４サンプリングクロック毎のフレームデータで構成さ
れているため、これを１サンプリングクロック毎のデー
タに補間する機能部である。シフト部４は分析された楽
音信号の周波数と再合成される楽音の周波数との比に応
じて周波数成分の周波数値をシフトする機能部である。
合成部５はこれらの処理を施された周波数成分を含む楽
音信号を形成する機能部である。合成部５は成分波を生
成するチャンネル数が不足するときには、上述した成分
数削減の処理を行う。

【００２３】分析部１はディジタル化された楽音信号を
入力してこの楽音信号の周波数成分を抽出する。周波数
成分は、６４サンプリングクロック毎の周波数データと
強度データであるフレームデータとして抽出される。

【００２４】ここで、図５を参照してフレームデータに
ついて説明する。１フレームのデータは２０４８サンプ
ルのデータをＦＦＴ分析にかけて抽出された全周波数成
分のデータからなっている。各周波数成分のデータは(F
req(d,f),Mag(d,f))で表される。ここで、Freq(d,f) は
周波数データであり、Mag(d,f)は強度データである。d
はこの周波数成分の次数（最低音の周波数成分から順に
付された番号）であり、f はフレーム番号である。上述
したようにフレームデータは、６４サンプリングクロッ
ク毎に分析・抽出されるデータであり、１つのフレーム
データの分析・抽出には２０４８サンプルのディジタル
化された楽音信号のデータを用いるため、各フレームデ
ータのもとになる楽音信号のデータは、６４サンプルず
つのずれでオーバーラップしている。

【００２５】このようにして、抽出されたフレームデー
タに対して上記図１〜図３の楽音信号分析方法が適用さ
れ、所定個数の周波数成分にまとめられる。この音源装
置では、周波数成分数を１２８個としている。

【００２６】記憶部２は、図６に示すように各周波数成
分の周波数データ，強度データ(Freq(d,f),Mag(d,f))を
各フレーム毎にテーブル化して記憶している。１つの楽
音信号の分析データは、アタック部，サスティン部，デ
ィケイ部などの複数のセクション（ボイスＡ，Ｂ，Ｃ）
に分割され、ボイス毎に記憶される。

【００２７】以下の補間部３，シフト部４，合成部５
は、以上のようにして分析・記憶された分析データを、
演奏操作等に基づいて読み出し、楽音信号を再合成する
機能部である。

【００２８】補間部３は、分析データを読み出して楽音
信号を再合成するとき各サンプリングクロックのデータ
を形成する機能部である。すなわち、分析データは６４
サンプリングクロック毎のフレームデータで構成されて
いるが、楽音信号の波形値は各サンプリングクロック毎
に演算されるため、フレームデータ間の６３サンプリン
グタイミングにおける周波数データ，強度データをその
前後のフレームデータから直線補間して算出する。補間
は各周波数成分の周波数データ，強度データ毎に行われ
る。補間によって算出された各サンプリングクロック毎
のデータはシフト部４に入力される。

【００２９】シフト部４は演奏操作等で指定された音高
（周波数）の楽音を発音するために、フレームデータの
周波数データをシフトする機能部である。シフト量は、
分析部１に入力されたディジタル化された楽音信号の周
波数と上記演奏操作等で指定された周波数に基づいて決
定される。

【００３０】合成部５は、サンプリングタイミング毎に
各周波数成分の周波数データ，強度データに基づいて成
分波の波形値を算出し、これらを合成することによって
楽音信号を再合成する機能部である。上記合成動作は逆
ＦＦＴ合成を用いてもよく、成分波発振器を複数チャン
ネル分設け、成分波発振器が発生した成分波を加算合成
することによって生成してもよい。

【００３１】なお、この合成部５は、同時発音する楽音
数などの都合により、分析データに含まれる全ての周波
数成分を合成できない場合がある。このとき、図１〜図
３に示した楽音分析方法を分析データに対して再度適用
して周波数成分数を削減する。これにより、そのときの
合成部５の能力に合わせた成分数で楽音信号を合成する
ことができる。

【００３２】図７〜図１１は前記分析部１がディジタル
化された楽音信号を分析する分析処理動作を示すフロー
チャートである。

【００３３】図７は分析処理のメイン動作である。ま
ず、入力されたディジタル化された楽音信号からフィル
タバンクまたはＦＦＴ分析により周波数成分を抽出する
（ｓ１）。抽出された周波数成分はデータ群Ｄall とし
てバッファされる。ここで、 Ｄall ＝(Freq(0,f),Mag(0,f)),(Freq(1,f),Mag(1,f)),
‥‥,(Freq(n,f),Mag(n,f)) である。ｓ１で抽出された周波数成分のうち、高次のも
のをグルーピングする高次成分グルーピング処理を行う
（ｓ２）。この処理の詳細は図９で説明する。この高次
成分グルーピング処理では、高次成分の成分数を削減す
ることによって全体の成分数を所定数に制限する。この
ようにして制限された周波数成分を低い順にならべて分
析データＤを編集する。編集された分析データは、 Ｄ＝(Freq(0,f),Mag(0,f)),(Freq(1,f),Mag(1,f)),‥,
(Freq(m,f),Mag(m,f)) 但し、ｍ＜ｎ である。編集された分析データＤを記憶部２に記憶する
（ｓ４）。

【００３４】図８は、高次グルーピング処理を示すフロ
ーチャートである。まず、データ群Ｄall のうち高次の
データをグルーピングする（ｓ５）。グルーピングは、
抽出された周波数成分の数と、分析データとして記憶す
ることができる周波数成分数とを比較し、どれだけの周
波数成分を削減する必要があるかによってそのグループ
数やグループ内の成分数が決定される。すなわち、上記
条件に基づいて、ｘ以上の次数の成分をａ個の成分ずつ
グルーピングしてｐ個のグループを作成すると決定され
る。この決定に基づいて作成されたグループＤg1〜Ｄgp
は以下のようになる。

【００３５】 Ｄg1＝(Freq(x,f),Mag(x,f)),(Freq(x+1,f),Mag(x+1,f)),‥‥ ,(Freq(x+a-1,f),Mag(x+a-1,f)) Ｄg2＝(Freq(x+a,f),Mag(x+a,f)),(Freq(x+a+1,f),Mag(x+a+1,f)),‥‥ ,(Freq(x+a+2,f),Mag(x+a+2,f)) ： ： ： Ｄgk＝(Freq(x+(k-1)a,f),Mag(x+(k-1)a,f)),(Freq(x+(k-1)a+1,f), Mag(x+(k-1)a+1,f)),‥‥,(Freq(x+ka-1,f),Mag(x+ka-1,f)) ： ： ： Ｄgp＝(Freq(x+(p-1)a,f),Mag(x+(p-1)a,f)),(Freq(x+(p-1)a+1,f), Mag(x+(p-1)a+1,f)),‥‥,(Freq(x+pa-1,f),Mag(x+pa-1,f)) ＝(Freq(x+m-a+1,f),Mag(x+m-a+1,f)),(Freq(x+m-a+2,f), Mag(x+m-a+2,f)), ‥‥,(Freq(x+m,f),Mag(x+m,f)) 以上のようにグループ化された各グループから、図１〜
図３に示した方式を用いて１つの周波数成分を選択また
は作成する（ｓ６）。ｓ６のグループ内処理は、図９〜
図１１で説明する。

【００３６】図９は前記図１の楽音分析方法に対応する
グループ内処理動作を示すフローチャートである。ま
ず、グループ番号を示すポインタｉに１をセットする。
つぎにｉで指定されているグループＤgiに含まれる周波
数成分のうち最も有意な成分、すなわち、強度情報の平
均レベルが一番大きい周波数成分を抽出し、それをＣＨ
maxmag(i) として記憶する（ｓ１１）。この処理をグル
ープ１からグループｐまで繰り返す（ｓ１２，ｓ１
３）。全てのグループについて上記処理が終了したの
ち、Ｄall のうちｆ＝０〜（ｘ−１）の成分とＣＨmaxm
ag(i) （ｉ＝１〜ｐ）として記憶された周波数成分とを
結合して記憶用の分析データＤを作成する（ｓ１４）。

【００３７】図１０は上記図２の楽音分析方法に対応す
るグループ内処理動作を示すフローチャートである。ま
ず、グループ番号を示すポインタｉに１をセットする。
そして、ｉで指定されているグループＤgiに含まれてい
る周波数成分の強度データを加算する（ｓ２１）。

【００３８】 Ｓmagi＝Σ（Ｍａｇ(x+(i-1)a+j):(j=0,1,2,…,m-1) この処理をグループ１からグループｐまで繰り返す（ｓ
２２，ｓ２３）。全てのグループについて上記処理が終
了したのち、各グループから１つ選んだ代表周波数成分
の周波数情報Ｆreqi(i=1,2, …,p) とＳmagi(i=1,2,
…,p) とを組み合わせて高次成分分析データＤhighを作
成する（ｓ２４）。こののち、Ｄall のうちｆ＝０〜
（ｘ−１）の成分とＤhighとを結合して記憶用の分析デ
ータＤを作成する（ｓ２５）。なお代表周波数成分の選
択方式は、チャンネルグループ中最低（最高，中央）の
ものや図９の動作で検出される最有意なものを用いるこ
とができる。

【００３９】図１１は上記図３の楽音分析方法に対応す
るグループ内処理動作を示すフローチャートである。ま
ず、グループ番号を示すポインタｉに１をセットする
（ｓ３０）。そして、ｉで指定されているグループＤgi
に含まれている周波数成分のうち強度（平均強度または
ピーク強度）が最大のものをセクション（アタック部，
サスティン部，ディケイ部など：図３ではボイスと表現
している）毎に抽出し、セクション順にこれをならべる
（ｓ３１）。このデータをＭagmaxiとして記憶する。こ
の処理をグループ１からグループｐまで繰り返す（ｓ３
２，ｓ３３）。全てのグループについて上記処理が終了
したのち、各グループから１つ選んだ代表周波数成分の
周波数情報Ｆreqi(i=1,2, …,p) とＭagmaxi(i=1,2,
…,p) とを組み合わせて高次成分分析データＤhighを作
成する（ｓ３４）。こののち、Ｄallのうちｆ＝０〜
（ｘ−１）の成分とＤhighとを結合して記憶用の分析デ
ータＤを作成する（ｓ３５）。なお代表周波数成分の選
択方式は、チャンネルグループ中最低（最高，中央）の
ものや図９の動作で検出される最有意なものを用いるこ
とができる。

【００４０】なお、図４の分析合成系の音源装置は、ハ
ードウェアまたはＭＰＵ，ＤＳＰとソフトウェアのいず
れでも実現することができる。

【００４１】

【発明の効果】以上のようにこの発明によれば、多くの
周波数成分を含む楽音信号であっても、基本波から離れ
ている高次の周波数成分をグループ化してそのなかか
ら、有意なものだけを抽出したり、有意なデータを組み
合わせて一つの周波数成分データを作成したりすること
により、データ量を少なくすることができる。

【００４２】特に、請求項１の発明では、有意なデータ
を選択することにより、整数倍音成分などを選択して記
憶することができ、少ない成分数でも原音に近い音を再
合成することがでる。

【００４３】また、請求項２の発明では、グループ内で
強度データを加算して１つの周波数成分データを作成す
るようにしたことにより、成分数を削減される高次倍音
の強度が低下しない。

【００４４】さらに、請求項３の発明では、時間区間毎
に最も有意な成分を選択するようにしたことにより、よ
り、精度の高い周波数成分の選択が可能になる。また、
短い時間区間で処理ができるためリアルタイム処理も可
能になる。

【図面の簡単な説明】

【図１】この発明の楽音分析方法を説明する図

【図２】この発明の楽音分析方法を説明する図

【図３】この発明の楽音分析方法を説明する図

【図４】この発明が適用される分析合成系の音源装置の
ブロック図

【図５】同分析合成系音源装置のフレームデータを説明
する図

【図６】同分析合成系音源装置の記憶部の記憶内容を示
す図

【図７】同分析合成系音源装置の分析部の動作を示すフ
ローチャート

【図８】同分析合成系音源装置の分析部の動作を示すフ
ローチャート

【図９】同分析合成系音源装置の分析部の動作を示すフ
ローチャート

【図１０】同分析合成系音源装置の分析部の動作を示す
フローチャート

【図１１】同分析合成系音源装置の分析部の動作を示す
フローチャート

【符号の説明】

１−分析部

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10H 7/00 - 7/12

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 楽音信号の周波数成分を抽出し、 この周波数成分のうち、高次周波数のものをグループ化
   し、 各グループのなかから最も有意な周波数成分を選択し、 グループ化されなかった低次周波数の周波数成分と各グ
   ループ毎に選択された最も有意な周波数成分とを組み合
   わせることによって前記楽音信号の分析データを作成す
   ることを特徴とする楽音信号分析方法。
2. 【請求項２】 楽音信号の周波数成分を周波数データと
   強度データの組み合わせとして抽出し、 この周波数成分のうち、高次周波数のものをグループ化
   して、各グループに属する複数の周波数成分のうちのい
   ずれか１つの周波数成分を代表周波数成分とし、 各グループの全周波数成分の強度データ加算して、該グ
   ループの代表周波数成分の強度データとし、 グループ化されなかった低次周波数の周波数成分と各グ
   ループの代表周波数成分とを組み合わせることによって
   前記楽音信号の分析データを作成することを特徴とする
   楽音信号分析方法。
3. 【請求項３】 周波数成分を周波数データと強度データ
   の組み合わせとして抽出し、 この周波数成分のうち、高次周波数のものをグループ化
   して、各グループに属する複数の周波数成分のうちのい
   ずれか１つの周波数成分を代表周波数成分とし、 各グループにおいて、所定の時間区間毎に、最も有意な
   周波数成分を選択し、選択された周波数成分の強度デー
   タを該グループの代表周波数成分の強度データとし、 グループ化されなかった低次周波数の周波数成分と各グ
   ループの代表周波数成分とを組み合わせることによって
   前記楽音信号の分析データを作成することを特徴とする
   楽音信号分析方法。