JP3609323B2

JP3609323B2 - 楽音符号化方法および楽音復号化方法、符号生成方法およびこれらの方法を実行するプログラムを記録した記録媒体

Info

Publication number: JP3609323B2
Application number: JP2000134625A
Authority: JP
Inventors: 和明千喜良; 直樹岩上
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2000-05-08
Filing date: 2000-05-08
Publication date: 2005-01-12
Anticipated expiration: 2020-05-08
Also published as: JP2001318684A

Description

【０００１】
【発明の属する技術分野】
音響信号をディジタル信号として、編集加工、早送り再生、任意グループ再生等符号化出力を復号化するに際し、各種データ処理を容易にし、かつ利用し易い形式として表現する符号化および復号化方法に係る。
【０００２】
【従来の技術】
ディジタル化された音響信号を、聴感上のひずみを抑えつつ、その信号を表現するビット数を削減するのが従来の主な符号化技術であった。その代表的な例としてＴｗｉｎＶＱ、ＡＡＣ、ＡＴＲＡＣ等が挙げられる。一方、このような周波数帯域の圧縮を目的とした符号化方式とは異なり、符号としての構造に価値を持たせるこを目的とした方式も普及している。これは音楽を構成する楽器音それぞれについて、ノートオン、ノートオフの時刻や音の高さ、強弱を符号として保持する方式であり、そのパラメータを変更することで容易に音楽の編集加工をすることができることが最大の利点である。具体的にはＭＩＤＩ（ＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）やＳｔｒｕｃｔｕｒｅｄＡｕｄｉｏなどの方式が挙げられるが、これらの方式の欠点はディジタルおよびアナログ録音された音響信号から符号系列への変換が自動的にできないことであり、人が音を聴きとってパラメータヘと変換しているのが現状である。そこで一般の音響信号からＭＩＤＩ形式の符号へと自動変換する技術も研究されているが、この技術では音響信号が復号されたときに原音に近い音を再生することが困難である。
【０００３】
編集加工の一例として早送りが挙げられるが、音響信号を、上述のような構造化された符号に変換せず、直接編集し早送りを実現する技術が存在する。ここで早送りとは、基本的にピッチを変えることなくテンポ（速さ）のみを早くすることを意味するものである。この技術は質の高い早送りを行うことができるが、従来の符号化技術と組み合せて利用するためには一旦すべての音響信号を復号する必要があり、伝送経路を考慮に入れた場合、Ｎ倍の早送りをするためにはＮ倍の伝送容量が必要となる。また、この操作を実行する装置にかかる負荷は大きいことが問題となる。例えばＴｗｉｎＶＱやＣＤによる方式ではフレームを飛ばして符号を伝送することによってこの問題を回避している。しかしながら早送りの質に問題があり、質と伝送効率を同時に満たす技術が求められている。
【０００４】
【発明が解決しようとする課題】
従来技術のように音響信号を圧縮する場合、復号された音響信号をそのまま再生するだけでなく、再び編集加工を施したり、楽音検索の対象として利用する場合等が考えられる。従来の方式では、そういった操作をする前に音響信号を伝送し復号しなければならず、伝送効率や計算量の面で無駄が生じる。本発明は、符号の形式のまま編集加工が可能であり、符号化系列そのものが直接編集が可能なように構造化されており、意味をもつような符号化方法を提供することを課題としている。また上記のような構造化された符号系列を、入力音に近い音を再生できることを保証した上で、入力された音響信号から目的とする信号を自動的に生成する符号化および復号化方法およびこれら方法を実現する装置を提供することを課題とする。
【０００５】
【課題を解決するための手段】
上記課題を達成するために、本発明においては入力音を伝送再生するためのデジタル信号系列を保持すると同時に、それに加えて編集加工その他各種処理を行うための情報を符号系列に付加する。この情報は入力音をオブジェクトという塊に分離するための情報であり、この塊を単位として編集加工を可能とする。またこの情報は、後の編集加工の度に同様な操作を繰り返さないで済むように、符号化を行う段階で生成しておき、状況に応じて、必要な情報と信号系列とを符号系列から抽出し伝送する構成としている。すなわち、本発明請求項１においては、入力された音響信号を予め定められた複数の周波数帯域に分割し、該分割された各周波数帯域毎に予め定められた複数の直交変換における窓長のうちの１つの窓長を選択して、該窓長による直交変換処理を実施し、該直交変換処理をする際に選択された窓長を前記各周波数帯域毎の変換情報とし、該直交変換処理により得られた信号系列を前記各周波数帯域毎の周波数領域における信号系列とする第１段階と、該第１段階で得られた前記各周波数帯域毎の周波数領域における信号系列の係数群を、予め定められた閾値との大小によって少なくとも２つのグループに分類して、次いで、該分類された各信号系列の各係数がどちらのグループに属するかを示す情報を前記各周波数帯域毎の各係数毎の周波数分離情報として得る第２の段階と、前記各周波数帯域毎の各グループの係数群を時間領域に変換し、前記複数の周波数帯域に分割された信号を再び単一の広帯域信号に復元する処理を行って、各グループ毎の時間領域信号系列を得て、次いで、前記得られた各グループ毎の時間領域信号系列を時間軸方向で信号を切り分けるための予め定められた規則による時刻毎に区切って、該区切りの時刻の情報を前記各グループ毎の時間分離情報とする第３の段階と、前記各周波数帯域の周波数領域における信号系列と、前記各周波数帯域毎の変換情報と、前記各周波数帯域毎の周波数分離情報と、前記各グループ毎の時間分離情報とを符号系列として出力する第４の段階とを有する楽音符号化方法について開示している。
【０００６】
請求項２においては、請求項１に記載の楽音符号化方法において、前記第３の段階で用いる規則による時刻は、前記各グループ毎の時間領域の信号系列のエネルギーに急激な変化がある時刻、あるいは或る周波数成分が発生または消滅の何れかとなる時刻である楽音符号化方法について規定している。
【０００７】
請求項３においては、請求項１に記載の楽音符号化方法により得られた符号系列が入力され、前記各周波数帯域毎の周波数分離情報を用いて、前記各周波数帯域毎の周波数領域における信号系列からそれぞれのグループに属する各周波数帯域毎の周波数領域における信号を抽出することにより前記各グループの各周波数帯域毎の周波数領域における信号系列を得て、前記各グループの各周波数帯域毎の周波数領域における信号系列に、前記各周波数帯域毎の変換情報により決まる直交変換における窓長による直交変換処理を実施して前記各グループの各周波数帯域毎の時間領域における信号系列を得て、前記各グループの各周波数帯域毎の時間領域における信号系列をそれぞれのグループ毎に合成して前記各グループの時間領域における信号系列を得て、前記各グループの時間領域における信号系列に対して、時間分離情報を用いて信号の一部削除を行い、残りの信号を順次時刻順につなぎ合わせて合成して復号音響信号を得る楽音復号化方法について規定している。
【０００８】
請求項４においては、請求項１に記載の楽音符号化方法により得られた符号系列が入力され、前記各周波数帯域毎の周波数領域における信号系列を、前記各周波数帯域毎の変換情報により決まる直交変換における窓長による直交変換処理を実施して前記各周波数帯域毎の時間領域における信号系列を得て、前記各周波数帯域毎の時間領域における信号系列を合成して復号音響信号を得る楽音復号方法において、前記少なくとも２つのグループのうちの１つのグループのみを再生するように指定された場合に、前記１つの指定されたグループに属する周波数領域における係数群のみを前記各周波数帯域毎の周波数領域における信号系列として復号化を行う楽音復号化方法について規定している。
【０００９】
請求項５においては、請求項１に記載の楽音符号化方法により得られた符号系列が入力され、前記各周波数帯域毎の周波数領域における信号系列と前記各周波数帯域毎の各係数毎の周波数分離情報とから、前記各周波数帯域について１つのグループに属する係数のみを抜き出して前記各周波数帯域毎の周波数領域における信号系列とし、前記抜き出した各周波数帯域毎の周波数領域における信号系列と、前記各周波数帯域毎の変換情報と、前記各周波数帯域毎の各係数毎の周波数分離情報と、前記各周波数帯域毎の各グループ毎の時間分離情報とを符号系列として出力する符号生成方法について規定している。
【００１０】
請求項６においては、請求項１または請求項２に記載の楽音符号化方法を実行するプログラムを記録した記録媒体について規定している。
【００１１】
請求項７においては、請求項３または請求項４に記載の楽音復号化方法を実行するプログラムを記録した記録媒体について規定している。
【００１２】
請求項８においては、請求項５に記載の符号生成方法を実行するプログラムを記録した記録媒体について規定している。
【００１５】
【発明の実施の形態】
以下に、この発明の実施の形態を図により説明する。
図１は、本発明における符号化方法の構成例を示したものである。また、図２は本発明における復号化方法の構成例を示したものである。まず図１の符号化方法について説明する。
エンコーダＡは変換部分１、グルーピング（分離）部分２、符号化部分１ｇの３つのモジュールから構成される。変換部分１のモジュールでは入力信号のａｎａｌｙｓｉｓ（分解）用としてＱＭＦ（ＱｕａｄｒａｔｕｒｅＭｉｒｒｏｒＦｉｌｔｅｒ）１ｋが用いられている。このＱＭＦは入力信号の帯域を２等分してサブバンドに分解するもので、本実施の形態においては、これを２段組み合わせることによって、入力された音響信号１ｐをフレームごとに、先ず第１段階で高域／低域に分解し、更に第２段階で低高域／低低域に分解し、これにより高域１ｌ、低高域１ｍ、低低域１ｎの３帯域に分割し、それぞれの信号が後続のＭＤＣＴ（ＭｏｄｉｆｉｅｄＤｅｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ；離散コサイン変換）により処理される。ここで、入力信号の処理単位をフレームと定義し、１フレーム＝２０４８サンプルとする。なお、ＭＤＣＴは時間領域の信号を或るサンプル数単位で周波数領域に変換する手法で、このサンプル数単位をこの変換における窓長と称している。
【００１６】
高域では時間変化の大きい信号が主であるため、短い窓長で信号を切り出すＭＤＣＴが適切である場合が多いが、一般に低域では時間変化が比較的少ないためその逆となる。本方式では、ＭＤＣＴを行う前にＱＭＦ１ｋで帯域分割することにより、このような窓長の問題を解決し、よりフレキシブルな変換を行なう。これにより得られた上記の各帯域に対応する３つの信号系列１ｌ、１ｍ、１ｎそれぞれに対して、ＭＤＣＴ１ｊの処理を行う。ここで、ＭＤＣＴ１ｊの窓長は可変であり、時間的変化の大きい信号に対しては短い窓長を使用し、比較的定常で時間的変化の少ない信号に対しては長い窓長を使用する。これによってＭＤＣＴ処理後の信号のエネルギー分布を少ない係数の範囲に集中させ、その結果効率的に信号を符号化することが可能となる。ここで係数とは、例えば時間周波数領域において時間軸方向と周波数軸方向とで囲まれたデータ系列の単位領域を示すもので、この単位領域の集合を窓関数と呼んでいる。具体的には、予め用意された複数個の窓関数（例えば本実施の形態における実験では３２個、１２８個、５１２個の３種類用意した。）を利用して後に記述するグルーピングの操作までを行い、グループ間での音の偏りの度合いが高い窓長を選択する。この窓長選択基準となる音の偏りの度合いとは、あるグループに属する係数（上記単位領域）の数に対するそのグループに含まれる音響信号のエネルギの比で求められる。すなわち、
（グループ０のエネルギ）／（グループ０に属する係数の数）
が最大となる窓関数を選択する。ここで、グループ０は、絶対値の大きい係数群からなるグループである。このことは係数群の絶対値の大小によって複数のグループに分配し得ることを示している。窓長は、それぞれの周波数帯域で独立に決定する。図１に示すように、このようにして得られた各周波数領域ごとの信号系列１ｉは符号化部分となるモジュール１ｇに入力される。また、使用する窓長の情報を、変換情報１ｈとしてこの符号化部分のモジュール１ｇへと入力する。
【００１７】
グルーピング部分のモジュール２においては、変換部分のモジュール１から入力された各周波数ごとの信号系列１ｉを、周波数領域と時間領域とにグルーピングし、幾つかの信号の塊とするためのグルーピング情報としてＦ-分類情報１ａおよびＴ−分類情報１ｆを生成する。これら２つの情報１ａおよび１ｆを符号化部分のモジュール１ｇヘと入力する。上記のグルーピングは、まず周波数領域で行い、つぎに時間領域で行う。周波数領域でのグルーピングは、図１においてＦ−Ｇｒｏｕｐｉｎｇ１ｄで示される部分で実行され、変換部分のモジュール１の出力した信号系列１ｉの係数をそれぞれの属するグループヘ振り分ける操作である。振り分けは、ある閾値を設定し、信号系列１ｉの係数がその閾値よりも大きければ、ｆｏｒｅｇｒｏｕｎｄ１ｂのグループ、小さければｂａｃｋｇｒｏｕｎｄ１ｃのグループヘ、という方法で行う。具体的には、信号系列１ｉ｛ｆ_０、ｆ_１、ｆ_２、… ｆ_Ｎ−１｝（Ｎは１フレームあたりのサンプル数）から、グルーピング情報｛ｇ_０、ｇ_１、ｇ_２、… ｇ_Ｎ−１｝を得ることである。ただし、
【数１】

とし、Ｃは閾値である。ここで、０と１はグループ個有の値であり、この構成例は、２つのグループを持つ時の例であり、ｆｏｒｅｇｒｏｕｎｄを１、ｂａｃｋｇｒｏｕｎｄのグループを０としている。
【００１８】
つぎに、得られた複数のグループの信号系列それぞれのグループ（１ｂ、１ｃ）に対して、図２で示されているのと同じＩＭＤＣＴ（ＩｎｖｅｒｓｅＭＤＣＴ）２ｃとｓｙｎｔｈｅｓｉｓ（合成）ＱＭＦ２ｄを適用し、周波数領域信号１ｂおよび１ｃを単一の時間信号に逆変換する。ここで、ＩＭＤＣＴ２ｃは前記ＤＣＴの逆変換を行うもので、周波数領域に変換されていたデータを時間領域のデータに復元するものであり、ｓｙｎｔｈｅｓｉｓＱＭＦ２ｄはサブバンドに分解されていた信号を再び単一の広帯域信号に復元する処理を行うものである。この逆変換処理を行うために時間領域でのグルーピングをＴ-ｇｒｏｕｐｉｎｇ
１ｅにおいて行う。たとえば、周波数領域のｆｏｒｅｇｒｏｕｎｄ成分１ｂにおいて伝送される時間信号系列｛ｂ_ｉ｝は、周波数領域での系列
【数２】

を時間領域に変換したものである。
【００１９】
Ｔ−ｇｒｏｕｐｉｎｇ１ｅにおける時間領域でのグルーピングは、時間軸方向で信号を切り分ける操作であり、具体的には、時間信号のエネルギに急峻な変化のある時刻、あるいは「或る周波数成分」が発生および消滅した時刻を抽出することである。ここでのグルーピングは、人間が音を聴いたとき、音の区切りと判断する単位で音を塊とすることを目的としているので、上述の２種類の時刻をその判断基準として利用することによって、この目的に適した時刻を抽出する。この手順の一例を以下に示す。
【００２０】
（操作１）
Ｔ−ｇｒｏｕｐｉｎｇの入力信号に対してＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）を行ない周波数領域でのピークを抽出する。このピークは聴感上で周波数弁別が可能となる最小の帯域幅に対応したバークスケールバンドごとに検索し、その条件は
１．（該当バークスケールバンド全体のエネルギー）／５以上のエネルギーを有していること、
２．ひとつ隣りのバークスケールバンドの周波数成分よりも大きいエネルギーを有していること、
３．（ふたつ隣りの周波数成分）×１．４よりも大きいエネルギーを有していること、
の３条件であり、これらの条件を満すピークの周波数と周波数成分をすべて保持するものである。また、この操作１の入力信号として、各フレームごとの時間信号２０４８サンプルを、１２８サンプルずつ時間軸上を左にシフトさせ、シフト後の右側の空き領域には後続のサンプルを移動して埋め、これにより現在のフレームからＦＦＴにより抽出されたピークそれぞれについて、ひとつ前の（操作１）で抽出されたピークと一致する周波数がないかどうか調べる。もし一致するピークがあるならば、周波数成分の増加分を変数ｄｉｆｆに加える。こうして得られた変数ｄｉｆｆが閾値であるＯｎｓｅｔレベルよりも大きければ、新たな音が出現したとして、この時刻を記録する。また、変数ｄｉｆｆの値が閾値であるＯｆｆｓｅｔレベルよりも小さくなった場合は、音が消えたとしてこの時刻を記録する。時刻はフレームと、そのフレーム内での時間軸上での上記シフト量で表現するが、以下ではそれらを単純に｛Ｔ_ｉ｝と表わしている。
【００２１】
符号化部分のモジュール１ｇでは、上述の３つの情報、すなわち変換情報１ｈ、周波数分離情報１ａおよび時間分離情報１ｆに加えて、変換部分が出力する信号の周波数領域での系列１ｉを、ビットストリーム１ｏに変換し符号化された信号とする。この例では一切のデータ圧縮を行っていないが、ヘッダにフレーム総数Ｎやフレーム長、またデータの圧縮方式などを記録することによって、さらなる可逆圧縮を施すことも可能である。以上述べた処理のアルゴリズムにしたがったプログラムを予め記録媒体に記録しておき、この記録媒体を用いて上記一連の処理の制御を実行させることにより、以上の符号化処理を容易に行うことが出来る。
【００２２】
ここで、図２に示す復号系における復号化方法について説明する。本発明による符号化法では、符号化の時点で付加情報を抽出しているので、それらを利用して幾つかの機能を実現することが可能である。この実施の形態では、従来通りの信号復元、早送り再生および任意のグループのみを再生の３例について説明する。従来通りのデコーダとしての機能は、信号の周波数領域での信号系列２ｅと変換情報２ｆとだけを利用し、逆変換をすることによって実現する。これは、図１における符号化方法との逆の手順である。グループ選択、編集加工部２ｂにおいて、２つの分離情報すなわちＴ−分類情報２ｇとＦ−分類情報２ｈを使用せず、周波数領域での信号系列２ｅを該当する３つの帯域成分２ｉ、２ｊ、２ｋにわけて３つのＩＭＤＣＴ２ｃにそれぞれ入力する。このＩＭＤＣＴ２ｃではＭＤＣＴの逆の処理を行い、それらの結果をＱＭＦ（ｓｙｎｔｈｅｓｉｓ）２ｄで合成する。これによって、ほぼ原信号通りの信号を再生をすることが可能となる。
【００２３】
また、周波数分離情報（Ｆ−分類情報）２ｈと時間分離情報（Ｔ−分類情報）２ｇとを利用して、音響信号の早送り再生を簡単に行うことができる。たとえば、１サンプル係数ごとに時間信号を破棄するといった方法で２倍の早送りをしようとすると、音の周波数成分に変化が生じ、自然な早送りとはならない。そこで、従来の早送りの技術では音の構成単位となっている楽器音の発生から消滅までを一つの塊として、その後半を削除して再生していた。この場合、主旋律となっている楽器音の発生と消滅に合わせて時間信号の削除を行っているため、背景に主旋律と異なるリズムの旋律がある場合に、それらが不自然な早送りになってしまう。しかし、本発明では主旋律と背景音を分離してから時間軸上の音響信号の一部削除を行い、残りの音響信号を順次つなぎ合わせることにより自然な早送りとなる。具体的な手法は以下のとおりである。
【００２４】
まずグループ選択、編集加工部２ｂにおいて周波数分離情報（Ｆ−分類情報）２ｈをもとに、信号を複数の音響信号に分離する。それぞれの音響信号に対して、時間分離情報（Ｔ−分類情報）２ｇを用いて音響信号の一部削除を行い、残りの音響信号を順次つなぎ合わせる。たとえば、上述の音響信号の系列｛ｂ_ｉ｝に対して時刻の系列｛Ｔ_ｉ｝が得られたとき、Ｎ倍速で再生するためには
【数３】

の範囲を満足する時間の範囲ｋの中の音響信号を削除する。この削除した部分を詰め、残りの部分を順次つなぎ合わせることにより時間軸上の圧縮を行い、実質的に再生速度の向上、すなわち早送り、を行う。伝送系を含めて考えた場合、破棄の操作は伝送前に実行しておくことが効率的である。
【００２５】
ここで、実際に伝送される係数は時間領域信号系列｛ｂ_ｉ｝ではなく、周波数領域系列｛ａ_ｉ｝なので周波数領域系列｛ａ_ｉ｝において上述の（数３）式におけるｋに相当する範囲（今後これをｍとする）を削除して伝送する。換言すれば、上記（数３）式における時間領域（周波数分解能は有していない。）での範囲ｋはＱＭＦを用いたＭＤＣＴで関係付けられている。時間周波数領域における、このｋに等価な範囲をｍとして、このｍに相当する範囲を破棄して伝送することである。この｛ａ_ｉ｝は周波数領域での信号系列を示すものであるが、ＭＤＣＴの窓長と同じ時間分解能を持つので、時刻の系列｛Ｔ_ｉ｝を求めるとき、その値を該当フレームにおける時間分解能の単位で決定すれば周波数領域における時間長ｍが求められる。伝送後は従来通りのデコードを行うが、上記削除の処理により無音状態となった時間を詰めて再生する。
【００２６】
次に、任意のグループのみ再生する方法について説明する。たとえばｆｏｒｇｒｏｕｎｄのグループを再生する場合、必要となる情報はグルーピング情報｛ｇ_ｉ｝とｇ_ｉ＝１となるときの信号ｆ_ｉだけである。伝送系を含めて本発明を実施する場合には無駄な伝送を避けるために、この情報だけを伝送する。上記の２つの情報から上述の周波数領域での信号系列｛ａ_ｉ｝を生成し通常の復号手順を適用することで、ｆｏｒｅｇｒｏｕｎｄのグループ（例えば主旋律）を再生する。以上述べた再生過程においても、上記復号の処理アルゴリズムにしたがったプログラムを予め記録媒体に記録しておき、この記録媒体を使用して上記の復号化処理を行うことにより、上記の復号・再生処理を容易に実行することが出来る。
【００２７】
【発明の効果】
本発明によれば、入力された音響信号から編集加工等が容易な符号系列を生成することができ、符号系列から原音に近い音を再現することができる。
【００２８】
また、構造化された符号形態を利用することによって、音響信号の早送り再生や、データ削減された音響信号の一部を再生することが容易にできるだけでなく、伝送経路を含めての利用を考慮した場合、効率的な伝送を行うことができる。
【図面の簡単な説明】
【図１】本発明における符号化処理系の構成図。
【図２】本発明における復号化処理系の構成図。
【符号の説明】
１：変換部分２：グルーピング部
１ａ：Ｆ−分類情報１ｂ：ｆｏｒｅｇｒｏｕｎｄ
１ｃ：ｂａｃｋｇｒｏｕｎｄ１ｄ：Ｆ−Ｇｒｏｕｐｉｎｇ
１ｅ：Ｔ−Ｇｒｏｕｐｉｎｇ１ｇ：符号化モジュール
１ｈ：変換情報１ｉ：周波数領域での信号系列
１ｊ：ＭＤＣＴ１ｋ：ＱＭＦ（ａｎａｌｙｓｉｓ）
１ｐ：入力音響信号１ｏ：符号化出力ビットストリーム
２ａ：ビットストリーム分解２ｂ：グループ選択、編集加工
２ｃ：ＩＭＤＣＴ２ｄ：ＱＭＦ（ｓｙｎｔｈｅｓｉｓ）
２ｅ：周波数領域での信号系列２ｆ：ＭＤＣＴ変換情報
２ｇ：Ｔ−分類情報２ｈ：Ｆ−分類情報
２ｏ：複合化出力信号ｄｉｆｆ：変数

Claims

入力された音響信号を予め定められた複数の周波数帯域に分割し、
該分割された各周波数帯域毎に予め定められた複数の直交変換における窓長のうちの１つの窓長を選択して、
該窓長による直交変換処理を実施し、
該直交変換処理をする際に選択された窓長を前記各周波数帯域毎の変換情報とし、
該直交変換処理により得られた信号系列を前記各周波数帯域毎の周波数領域における信号系列とする第１段階と、
該第１段階で得られた前記各周波数帯域毎の周波数領域における信号系列の係数群を、予め定められた閾値との大小によって少なくとも２つのグループに分類して、
次いで、該分類された各信号系列の各係数がどちらのグループに属するかを示す情報を前記各周波数帯域毎の各係数毎の周波数分離情報として得る第２の段階と、
前記各周波数帯域毎の各グループの係数群を時間領域に変換し、前記複数の周波数帯域に分割された信号を再び単一の広帯域信号に復元する処理を行って、各グループ毎の時間領域信号系列を得て、
次いで、前記得られた各グループ毎の時間領域信号系列を時間軸方向で信号を切り分けるための予め定められた規則による時刻毎に区切って、該区切りの時刻の情報を前記各グループ毎の時間分離情報とする第３の段階と、
前記各周波数帯域の周波数領域における信号系列と、前記各周波数帯域毎の変換情報と、前記各周波数帯域毎の周波数分離情報と、前記各グループ毎の時間分離情報とを符号系列として出力する第４の段階とを有する
ことを特徴とする楽音符号化方法。
請求項１に記載の楽音符号化方法において、
前記第３の段階で用いる規則による時刻は、前記各グループ毎の時間領域の信号系列のエネルギーに急激な変化がある時刻、あるいは或る周波数成分が発生または消滅の何れかとなる時刻である
ことを特徴とする楽音符号化方法。
請求項１に記載の楽音符号化方法により得られた符号系列が入力され、
前記各周波数帯域毎の周波数分離情報を用いて、前記各周波数帯域毎の周波数領域における信号系列からそれぞれのグループに属する各周波数帯域毎の周波数領域における信号を抽出することにより前記各グループの各周波数帯域毎の周波数領域における信号系列を得て、
前記各グループの各周波数帯域毎の周波数領域における信号系列に、前記各周波数帯域毎の変換情報により決まる直交変換における窓長による直交変換処理を実施して前記各グループの各周波数帯域毎の時間領域における信号系列を得て、
前記各グループの各周波数帯域毎の時間領域における信号系列をそれぞれのグループ毎に合成して前記各グループの時間領域における信号系列を得て、
前記各グループの時間領域における信号系列に対して、時間分離情報を用いて信号の一部削除を行い、残りの信号を順次時刻順につなぎ合わせて合成して復号音響信号を得ること
を特徴とする楽音復号化方法。
請求項１に記載の楽音符号化方法により得られた符号系列が入力され、
前記各周波数帯域毎の周波数領域における信号系列を、前記各周波数帯域毎の変換情報により決まる直交変換における窓長による直交変換処理を実施して前記各周波数帯域毎の時間領域における信号系列を得て、
前記各周波数帯域毎の時間領域における信号系列を合成して復号音響信号を得る楽音復号方法において、
前記少なくとも２つのグループのうちの１つのグループのみを再生するように指定された場合に、
前記１つの指定されたグループに属する周波数領域における係数群のみを前記各周波数帯域毎の周波数領域における信号系列として復号化を行う
ことを特徴とする楽音復号化方法。
請求項１に記載の楽音符号化方法により得られた符号系列が入力され、
前記各周波数帯域毎の周波数領域における信号系列と前記各周波数帯域毎の各係数毎の周波数分離情報とから、前記各周波数帯域について１つのグループに属する係数のみを抜き出して前記各周波数帯域毎の周波数領域における信号系列とし、
前記抜き出した各周波数帯域毎の周波数領域における信号系列と、前記各周波数帯域毎の変換情報と、前記各周波数帯域毎の各係数毎の周波数分離情報と、前記各周波数帯域毎の各グループ毎の時間分離情報とを符号系列として出力する
ことを特徴とする符号生成方法。
請求項１または請求項２に記載の楽音符号化方法を実行するプログラムを記録したことを特徴とする記録媒体。
請求項３または請求項４に記載の楽音復号化方法を実行するプログラムを記録したことを特徴とする記録媒体。
請求項５に記載の符号生成方法を実行するプログラムを記録したことを特徴とする記録媒体。