JP4548444B2 - 符号化装置および方法、復号装置および方法、並びに記録媒体 - Google Patents

Description

本発明は、符号化装置および方法、復号装置および方法、並びに記録媒体に関し、プリエコーおよびポストエコーの発生を抑圧することができる符号化装置および方法、復号装置および方法、並びに記録媒体に関する。

図１は、従来の符号化装置１および復号装置２の構成例を示している。

符号化装置１に供給された音響時系列信号SSは、振幅操作部１１に入力される。

振幅操作部１１は、入力された音響時系列信号SSを、符号化の単位であるブロック（固定長）毎に区分するとともに、そのブロックを複数に分割してサブブロックを生成し、そのサブブロック毎に、音響時系列信号SSの振幅を分析する。振幅操作部１１は、その振幅分析結果に基づいて、ブロック内の振幅をほぼ一定にするための振幅操作において利用される振幅操作情報Gを生成する。例えば、ブロック内の音響時系列信号SSが、図２Ａに示すような、局所的に発生している高周波数成分を含んでいる場合、振幅操作部１１は、時刻ｔ₀において、振幅H₁から振幅H₂に、時刻ｔ₁において、振幅Ｈ₂から振幅H₁に大きく変化したことを認知し、その旨を示す振幅操作情報Gを生成する。

振幅操作部１１は、生成した振幅操作情報Gを符号列生成部１４に出力するとともに、その振幅操作情報Gに基づいて、音響時系列信号SSの振幅を各サブブロック毎に操作する。すなわち、振幅操作部１１は、ブロック内の振幅がほぼ一定になった時系列信号GSを生成し、それを、スペクトル変換部１２に出力する。

図２の例の場合、操作部１１は、図２Ａに示すブロック内の音響時系列信号SSに対して、時刻ｔ₀までの振幅H₁、および時刻ｔ₁からの振幅H₁を、振幅H₂に増幅する振幅操作を行い、その結果得られた、図２Ｂに示すような、ブロック内の振幅がほぼ一定になった時系列信号GSを、スペクトル変換部１２に出力する。

スペクトル変換部１２は、MDCT（変形離散コサイン変換）等に従い、振幅操作部１１からの時系列信号GSを、周波数成分であるスペクトルFに分解し、このスペクトルFを正規化／量子化部１３に出力する。

正規化／量子化部１３は、スペクトル変換部１２からのスペクトルFを分析し、正規化情報Nを生成する。正規化／量子化部１３は、生成した正規化情報Nを符号列生成部１４に出力するとともに、その正規化情報Nに基づいて、スペクトルFを正規化する。

正規化／量子化部１３はまた、所定の量子化情報Qを、符号列生成部１４に出力するとともに、その量子化情報Qに基づいて、正規化されたスペクトルFを量子化し、その結果得られたスペクトル情報QFを符号列生成部１４に出力する。

符号列生成部１４は、振幅操作部１１からの振幅操作情報G、並びに正規化／量子化部１３からの正規化情報N、量子化情報Q、およびスペクトル情報QFを符号化して、符号列CDを生成する。生成された符号列CDは、復号装置２に供給される。

復号装置２に供給された符号列CDは、符号列分解部２１に入力される。

符号列分解部２１は、入力された符号列CDを、スペクトル情報QF、量子化情報Q、正規化情報N、および振幅操作情報Gに分解するとともに、スペクトル情報QF、量子化情報Ｑ、および正規化情報Ｎを、逆量子化／逆正規化部２１に、振幅操作情報Gを、逆振幅操作部２４に出力する。

逆量子化／逆正規化部２２は、符号列分解部２１から入力された、スペクトル情報QFを、量子化情報Qに基づいて逆量子化し、さらに、正規化情報Nに基づいて逆正規化するとともに、その結果得られた、符号化装置１（スペクトル変換部１２）で生成されたスペクトルＦに対応するスペクトルF'を、逆スペクトル変換部２３に出力する。

逆スペクトル変換部２３は、IMDCT(Inverse MDCT：逆変形離散コサイン変換)等に従って、逆量子化／逆正規化部２２からのスペクトルF'を時系列信号に逆スペクトル変換し、その結果得られた、符号化装置１（振幅操作部１１）で生成された時系列信号GSに対応する時系列信号GS'を、逆振幅操作部２４に出力する。

例えば、図２Ｂに示した時系列信号GSに対応した時系列信号GS'が生成され、逆振幅操作部２４に出力される。

逆振幅操作部２４は、逆スペクトル変換部２３からの時系列信号GS'に対し、符号列分解部２１からの振幅操作情報Gに基づく振幅操作、すなわち、符号化装置１（振幅操作部１１）で行われた振幅操作の場合とは逆に振幅が操作される振幅操作を行い、その結果得られた、符号化装置１に入力された音響時系列信号SSに対応する音響時系列信号SS'を外部に出力する。

例えば、図２Ａに示した音響時系列信号SSに対応した音響時系列信号SS'が生成され、外部に出力される。

このように、符号化装置１において、音響時系列信号SSの小振幅部分（例えば、図２Ａの音響時系列信号SSにおける振幅Ｈ₁の部分）を増幅して、ブロック内の振幅をほぼ一定にする振幅操作（例えば、図２Ｂ）を行って符号化し、復号装置２において、増幅された部分を元に戻すような振幅操作を行うようにして、符号列を復号するようにしたので、量子化雑音が小振幅の信号にマスクされないで聞こえるプリエコーおよびポストエコーの発生が抑制される。

しかしながら、例えば、ブロック内の音響時系列信号SSが、図３Ｂに示すような、局所的時間に発生する高周波数成分を含む、図３Ａに示すような、大きな振幅Ｈ₁₁の低周波数成分時系列信号である場合、符号化装置１（振幅操作部１１）は、その音響時系列信号SSに対する振幅分析により、ブロック内の振幅は、振幅H₁₁で一定であると検出する。

すなわち、符号化装置１では、小振幅部分を増幅する振幅操作が行われず、音響時系列信号SS（図３Ａおよび図３Ｃ）と同様の時系列信号GSが生成されて、それがスペクトル変換、正規化、量子化、そして符号化されるので、また復号装置２でも、振幅を元に戻す振幅操作が行われず、符号列が復号されるので、結局、図３Ｄに示すような拡散された高周波数成分の量子化雑音を含む、図３Ｃに示すような音響時系列信号SS'が生成され、例えば、図３Ｃ中、点線で囲まれている部分で、マスキングされずにプリエコーおよびポストエコーが聞こえてしまう。

以上のように、従来の符号化装置１および復号装置２では、プリエコーおよびポストエコーの抑圧が適切に行われない課題があった。

本発明はこのような状況に鑑みてなされたものであり、プリエコーおよびポストエコーの抑圧が適切に行われるように、音響時系列信号SSを符号化し、それを復号することができるようにするものである。

本発明の第１の符号化装置は、入力時系列信号を、所定の長さのブロックに区分する区分手段と、ブロック内の入力時系列信号に対して所定の周波数分析を行い、その分析結果に基づいて波形情報を生成する波形情報生成手段と、ブロック内の入力時系列信号から、波形情報に基づく信号を除去して、残差信号を生成する残差信号生成手段と、残差信号の振幅を分析し、その分析結果に基づく所定の振幅操作情報に従い、残差信号に対して所定の振幅操作を行って、量子化対象信号を生成する振幅操作手段と、量子化対象信号を量子化して、量子化信号を生成する量子化手段と、波形情報、振幅操作情報、および量子化信号を符号化して符号列を生成する符号列生成手段とを備えることを特徴とする。

本発明の第２の符号化装置は、入力時系列信号を、所定の長さのブロックに区分する区分手段と、ブロック内の入力時系列信号に対して所定の周波数分析を行い、その分析結果に基づいて波形情報を生成する波形情報生成手段と、ブロック内の入力時系列信号から、波形情報に基づく信号を除去して、残差信号を生成する残差信号生成手段と、残差信号を周波数成分に変換して量子化し、量子化信号を生成する量子化手段と、波形情報および量子化信号を符号化して符号列を生成する符号列生成手段とを備えることを特徴とする。

本発明の符号化方法は、入力時系列信号を、所定の長さのブロックに区分する区分ステップと、ブロック内の入力時系列信号に対して所定の周波数分析を行い、その分析結果に基づいて波形情報を生成する波形情報生成ステップと、ブロック内の入力時系列信号から、波形情報に基づく信号を除去して、残差信号を生成する残差信号生成ステップと、残差信号の振幅を分析し、その分析結果に基づく所定の振幅操作情報に従い、残差信号に対して所定の振幅操作を行って、量子化対象信号を生成する振幅操作ステップと、量子化対象信号を量子化して、量子化信号を生成する量子化ステップと、波形情報、振幅操作情報、および量子化信号を符号化して符号列を生成する符号列生成ステップとを含むことを特徴とする。

本発明の記録媒体の第１のプログラムは、入力時系列信号を、所定の長さのブロックに区分する区分ステップと、ブロック内の入力時系列信号に対して所定の周波数分析を行い、その分析結果に基づいて波形情報を生成する波形信号生成ステップと、ブロック内の入力時系列信号から、波形情報に基づく信号を除去して、残差信号を生成する残差信号生成ステップと、残差信号の振幅を分析し、その分析結果に基づく所定の振幅操作情報に従い、残差信号に対して所定の振幅操作を行って、量子化対象信号を生成する振幅操作ステップと、量子化対象信号を量子化して、量子化信号を生成する量子化ステップと、波形情報、振幅操作情報、および量子化信号を符号化して符号列を生成する符号列生成ステップとを含むことを特徴とする。

本発明の第１の符号化装置および符号化方法、並びに第１のプログラムにおいては、入力時系列信号が、所定の長さのブロックに区分され、ブロック内の入力時系列信号に対して所定の周波数分析が行われ、その分析結果に基づいて波形情報が生成され、ブロック内の入力時系列信号から、波形情報に基づく信号が除去されて、残差信号が生成され、残差信号の振幅を分析し、その分析結果に基づく所定の振幅操作情報に従い、残差信号に対して所定の振幅操作を行って、量子化対象信号が生成され、量子化対象信号を量子化して、量子化信号が生成され、波形情報、振幅操作情報、および量子化信号を符号化して符号列が生成される。

本発明の第１の復号装置は、符号列を、波形情報、振幅操作情報、および量子化信号に分解する分解手段と、量子化信号を、逆量子化する逆量子化手段と、逆量子化された信号に対して、振幅操作情報に従い、符号化時とは逆の振幅操作を行って、振幅操作された信号を生成する逆振幅操作手段と、波形情報に従って生成された信号と振幅操作された信号とに基づいて、時系列信号を生成する時系列信号生成手段とを備えることを特徴とする。

本発明の第２の復号装置は、符号列を、波形情報および量子化信号に分解する分解手段と、量子化信号を、逆量子化して逆周波数変換を施す逆周波数変換手段と、波形情報に従って生成された信号と逆周波数変換された信号とに基づいて、時系列信号を生成する時系列信号生成手段とを備えることを特徴とする。

本発明の復号方法は、符号列を、波形情報、振幅操作情報、および量子化信号に分解する分解ステップと、量子化信号を、逆量子化する逆量子化ステップと、逆量子化された信号に対して、振幅操作情報に従い、符号化時とは逆の振幅操作を行って、振幅操作された信号を生成する逆振幅操作ステップと、波形情報に従って生成された信号と振幅操作された信号とに基づいて、時系列信号を生成する時系列信号生成ステップとを含むことを特徴とする。

本発明の第２の記録媒体のプログラムは、符号列を、波形情報、振幅操作情報、および量子化信号に分解する分解ステップと、量子化信号を、逆量子化する逆量子化ステップと、逆量子化された信号に対して、振幅操作情報に従い、符号化時とは逆の振幅操作を行って、振幅操作された信号を生成する逆振幅操作ステップと、波形情報に従って生成された信号と振幅操作された信号とに基づいて、符号化された時系列信号に対応する時系列信号を生成する時系列信号生成ステップとを含むことを特徴とする。

本発明の第１の復号装置および復号方法、並びに第２の記録媒体のプログラムにおいては、符号列が、波形情報、振幅操作情報、および量子化信号に分解され、量子化信号が、逆量子化され、逆量子化された信号に対して、振幅操作情報に従い、符号化時とは逆の振幅操作を行って、振幅操作された信号が生成され、波形情報に従って生成された信号と振幅操作された信号とに基づいて、符号化された時系列信号に対応する時系列信号が生成される。

本発明によれば、プリエコーおよびポストエコーの発生を抑圧することができる。

図４は、本発明を適用した符号化装置３１の構成例を表している。この符号化装置３１は、図１の符号化装置１の振幅操作部１１の前段に、残差時系列信号生成部３２が設けられている。その他の構成は、図１における場合と同様であり、以下では、その説明を適宜省略する。

残差時系列信号生成部（以下、生成部と略称する）３２は、入力された音響時系列信号SSを、符号化の単位であるブロック毎に分割するとともに、そのブロック毎に所定の周波数分析を行い、その分析結果に基づいて波形情報Eを生成する。

生成部３２は、生成した波形情報Eを、符号列生成部１４に出力するとともに、それに基づいて生成した低周波数成分時系列信号ESを、音響時系列信号SSから差し引いて（除去して）、残差時系列信号RSを生成し、それを、振幅操作部１１に出力する。すなわち、音響時系列信号SSの低周波数成分が除去されて、残差時系列信号RSとして、振幅操作部１１に供給される。

振幅操作部１１は、生成部３２からの残差時系列信号RSの振幅を、サブブロック毎に分析し、その分析結果に基づいて、ブロック内の振幅をほぼ一定に保つための振幅操作情報Gを生成する。

振幅操作部１１は、生成した振幅操作情報Gを符号列生成部１４に出力するとともに、それに基づいて、残差時系列信号RSの振幅を各サブブロック毎に操作し、その結果得られた、ブロック内の振幅がほぼ一定になった時系列信号GSを、スペクトル変換部１２に出力する。

符号列生成部１４には、生成部３２からの波形情報E、振幅操作部１１からの振幅操作情報G、並びに正規化／量子化部１３からの正規化情報N、量子化情報Q、およびスペクトル情報QFが供給され、符号化生成部１４は、それらの情報を符号化して、符号列CDを生成する。生成された符号化CDは、後述する復号装置５１（図１１）に供給される。

図５は、生成部３２の構成例を示している。音響時系列信号SSは、周波数分析部４１および減算器４３に入力される。

周波数分析部４１は、図示せぬ区分部によりブロックに区分された音響時系列信号SSに対して周波数分析を行い、その分析結果に基づいて、低周波数成分時系列信号ESを生成するための波形情報Eを生成し、低周波数成分時系列信号生成部４２および符号列生成部１４（図４）に出力する。

低周波数成分時系列信号生成部（以下、生成部と略称する）４２は、周波数分析部４１からの波形情報Eに基づいて、低周波数成分時系列信号ESを生成し、減算器４３に出力する。

減算器４３は、入力された音響時系列信号SSから、生成部４２からの低周波数成分時系列信号ESを、時間軸上で差し引き、その結果得られた残差時系列信号RSを、振幅操作部１１に出力する。

次に、生成部３２の動作を、図６のフローチャートを参照して説明する。ステップＳ１において、周波数分析部４１は、ブロック内の音響時系列信号SSに対してFFT分析を行い、ステップＳ２において、その分析結果に基づいて、波形情報Eの生成に利用する周波数の範囲を決定する。

例えば、図７Ａに示すような、大きな振幅の音響時系列信号SSに対して、FFT分析がなされると、図７Ｂに示すような分布が得られる。このとき、周波数分析部４１は、その分析結果として、２つのピークが存在し、最初（第１番目）のピークと第２番目のピークの間の極小値を示す周波数がｆ_mである分布が得られたことを検出する。周波数分析部４１は、その検出結果から、０乃至周波数ｆ_m（図７Ｂ中、左右の矢印で示される範囲）を、波形情報Eの生成に利用する周波数の範囲として決定する。

ステップＳ３において、周波数分析部４１は、式（１）を演算して、ステップＳ２で決定した周波数の範囲内の処理対象周波数ｆ_pの純音波形Ｑ(t)を算出するとともに、ブロック内の音響時系列信号SSを、処理対象時系列信号ｘ(t)として式（２）を演算し、残差成分RS(t)を算出する。

Ｑ(t)＝Ｓsin（2π×ｆ_p×ｔ）−Ｃcos（2π×ｆ_p×ｔ）…（１）
RS(t)＝ｘ(t)−Ｑ(t)…（２）

式（１）中、ｆ_pは、処理対象周波数であり、純音波形のsin項の振幅であるＳは、式（３）で求められる値であり、純音波形のcos項の振幅であるＣは、式（４）で求められる値であり、Ｌは、ブロックの長さである。

次に、ステップＳ４において、周波数分析部４１は、式（５）を演算し、ステップＳ３で算出した残差成分RS(t)のエネルギー（以下、残差エネルギーと称する）Rを算出する。

ステップＳ５において、周波数分析部４１は、ステップＳ３で算出した残差成分RS(t)、そのとき利用した処理対象周波数ｆ_p、振幅Ｓ、および振幅Ｃ、並びにステップＳ４で算出した残差エネルギーRをそれぞれ対応付けて記憶する。

次に、ステップＳ６において、周波数分析部４１は、すべての処理対象周波数ｆ_pの純音波形について、処理対象時系列信号ｘ(t)に対する残差エネルギーRが算出されたか否かを判定し、すべての処理対象周波数ｆ_pの純音波形について算出されていないと判定した場合、ステップＳ３に戻り、次の処理対象周波数ｆ_pの純音波形についてステップＳ３乃至ステップＳ５の処理を実行する。

ステップＳ６で、すべての処理対象周波数ｆ_pの純音波形について、残差エネルギーRが算出されたと判定された場合、ステップＳ７に進み、周波数分析部４１は、ステップＳ４で算出した（ステップＳ５で記憶した）残差エネルギーRのうちの最小値（以下、残差エネルギーR_minと称する）を検出し、ｆ_min、Ｓ_min、およびＣ_minを記憶する。ここでｆ_minは、残差エネルギーR_minが算出されたときの処理対象周波数ｆ_pであり、Ｓ_minは、式（６）で求められる値であり、Ｃ_minは、式（７）で求められる値である。式（６）および式（７）中のｘ(t)は、” 現在のｘ(t)”である。

次に、ステップＳ８において、周波数分析部４１は、ステップＳ７で検出した残差エネルギーR_minが、所定の閾値Ｗより小さいか否かを判定し、小さくないと判定した場合、ステップＳ９に進み、式（８）を演算し、次の処理対象時系列信号ｘ(t)を算出する。

次のｘ(t)＝現在のｘ(t)−Ｓ_minsin（2π×ｆ_min×ｔ）−Ｃ_minsin（2π×ｆ_min×ｔ）
…（８）

その後、ステップＳ３に戻り、周波数分析部４１は、それ以降の処理を実行する。

ステップＳ８で、残差エネルギーR_minが、閾値Ｗより小さいと判定された場合、ステップＳ１０に進み、周波数分析部４１は、ステップＳ７で記憶した図８に示すようなデータ、すなわち、処理対象周波数ｆ_n、振幅Ｓ_n、および振幅Ｃ_nを、波形情報Eとして、生成部４２に出力する。

なお、周波数分析部４１が行うステップＳ１乃至ステップＳ１０の処理は、Wienerが提案した一般調和解析法に従ったものである。一般調和解析法は、N.Weiner, "The Fourier integral and certain of its applications", Dover Publications, Inc., (1958)に述べられている。

次に、ステップＳ１１において、生成部４２は、周波数分析部４１からの波形情報Eを利用して、式（９）を演算し、低周波数成分時系列信号ES(t)を生成するとともに、それを、減算器４３に出力する。

例えば、ブロック内の音響時系列信号SSが、図７Ａに示すような低周波数成分からなる信号である場合、周波数分析部４１によりステップＳ１乃至ステップＳ１１が実行された結果得られた波形情報Eに従えば、図９Ａに示すような低周波数成分時系列信号ES(t)が生成される。

ステップＳ１２において、減算器４３は、入力された音響時系列信号SSから、生成部４２からの低周波数成分時系列信号ES(t)を、時間軸上で差し引いて、残差時系列信号RS(t)を生成し、振幅操作部１１に出力する。すなわち、例えば、図７Ａに示す音響時系列信号SSから、図９Ａに示す低周波数成分時系列信号ESを差し引き、その結果得られた、図９Ｂに示すような、残差時系列信号RS(t)が、操作振幅部１１に出力される。

このように高周波数成分のみからなる残差時系列信号RSが振幅操作部１１に供給されるので、振幅操作部１１においては、残差時系列信号RSに対して、残差時系列信号RSの小振幅部分を増幅し、ブロック内の振幅がほぼ一定になるような振幅操作が行われ、その結果、図９Ｃに示すような、ブロック内の振幅がほぼ一定になった時系列信号GSが生成される。

なお、周波数分析部４１は、ステップＳ５で、ステップＳ３乃至ステップＳ６の処理の繰り返し毎にデータを蓄積するが、ステップＳ６でYESの判断がなされ、ステップＳ９を経由してステップＳ５での処理を再び実行する場合、それまで記憶していたデータを一度消去した後、データを記憶するようになされている。

また、以上においては、処理対象周波数ｆ_n、振幅Ｓ_n、および振幅Ｃ_nが波形情報Eとして生成部４２に出力されたが、式（１０）および式（１１）を演算して、振幅Ａおよび位相Ｐを算出し、図１０に示すように、処理対象周波数ｆ_n、振幅Ａ_n、および位相Ｐ_nを波形情報Eとして生成部４２に供給することもできる。なお、この場合、ステップＳ１２において、生成部４２は、式（９）に代えて、式（１２）を演算し、低周波数成分時系列信号ES(t)を算出する。

また、以上においては、ステップＳ８で、残差エネルギーR_minが閾値Ｗより小さいと判定された場合、ステップＳ１０に進むようにしたが、すなわち、周波数分析を終了するようにしたが、残差エネルギーR_minが閾値Ｗより小さくならなくても、例えば、残差エネルギーR_minの計算を所定の回数繰り返した場合に、周波数分析を終了するようにすることもできる。

図１１は、本発明を適用した、すなわち図４の符号化装置３１により生成された符号列CDを復号する復号装置５１の構成例を示している。この復号装置５１には、図１の復号装置２の逆振幅操作部２４の後段に、音響時系列信号生成部（以下、生成部と略称する）５２がさらに設けられている。その他の構成は、図１における場合と同様である。

復号装置５１に供給された、符号化装置３１で生成された符号列CDは、符号列分解部２１に供給される。

符号列分解部２１は、入力された符号列CDを、スペクトル情報QF、量子化情報Q、正規化情報N、振幅操作情報G、および波形情報Eに分解するとともに、スペクトル情報QF、量子化情報Ｑ、および正規化情報Ｎを、逆量子化／逆正規化部２２に、振幅操作情報Gを、逆振幅操作部２４に、そして波形情報Eを、生成部５２にそれぞれ供給する。すなわち、例えば、符号化装置３１（生成部３２の周波数分析部４１（図５））で生成された、図９Ａに示した低周波数成分時系列信号ESを生成するための波形情報Eが生成部５２に供給される。

逆量子化／逆正規化部２２は、符号列分解部２１から入力された、スペクトル情報QFを、量子化情報Qに基づいて逆量子化し、さらに、正規化情報Nに基づいて逆正規化し、その結果得られたスペクトルF'を逆スペクトル変換部２３に出力する。

逆スペクトル変換部２３は、逆量子化／逆正規化部２２からのスペクトルF'を時系列信号に逆スペクトル変換する。すなわち、その結果、例えば、符号化装置３１（振幅操作部１１）で生成された、図９Ｃに示した時系列信号GSに対応する時系列信号GS'が生成される。

逆スペクトル変換部２３は、生成した時系列信号GS'を逆振幅操作部２４に出力する。

逆振幅操作部２４は、逆スペクトル変換部２３からの時系列信号GS'に対し、符号列分解部２１からの振幅操作情報Gに基づく振幅操作、すなわち、符号化装置３１（振幅操作部１１）で行われた振幅操作の場合とは逆に振幅が操作される振幅操作を行う。その結果、例えば、符号化装置３１（生成部３２）で生成された、図９Ｂに示した残差時系列信号RSに対応する残差時系列信号RS'が生成される。

逆振幅操作部２４は、生成した残差時系列信号RS'を、生成部５２に出力する。

生成部５２は、例えば、図１２に示すように構成され、符号列分解部２１からの波形情報Eは、低周波数成分時系列信号生成部（以下、生成部と略称する）６１に入力され、逆振幅操作部２４からの残差時系列信号RS'は、加算器６２に供給される。

生成部６１は、入力された波形情報Eに基づいて、符号化装置３１（生成部３２の生成部４２（図５））で生成された低周波数成分時系列信号ESに対応する低周波数成分時系列信号ES'を生成し、加算器６２に出力する。

加算器６２は、生成部６１からの低周波数成分時系列信号ES'と、逆振幅操作部２４からの残差時系列信号RS'を加算する。すなわち、その結果、例えば、符号化装置３１に入力された、図７Ａに示した音響時系列信号SSに対応する音響時系列信号SS'が生成される。

加算器６２は、生成した音響時系列信号SS'を、外部の装置に出力する。

ところで、上述した、符号化装置３１（図４）では、波形情報Eが、符号列生成部１４において符号化されていたが、波形情報Eを、正規化および量子化して、符号化することもできる。しかしながら、波形情報Eを、正規化、量子化して符号化すると、量子化誤差を含む、量子化された波形情報（以下、波形情報QEと称する）が復号装置５１（図１１）に供給されることになる。すなわち、復号装置５１で、波形情報QEに基づいて低周波数成分時系列信号ES'が生成されるので、その低周波数成分時系列信号ES'は、波形情報QEに含まれた量子化誤差により、符号化装置３１で生成された低周波数成分時系列信号ESと異なるようになる。すなわち、この場合、音響時系列信号SSと同等の音響時系列信号SS'を復号することができず、聴感上の問題が発生してしまうことがある。

そこで、符号化装置３１を、例えば、図１３に示すように、そして復号装置５１を、例えば、図１５に示すように構成することで、波形情報Eを量子化して符号化しても、適切な音響時系列信号SS'が生成されるようにすることができる。

図１３の符号化装置３１には、図４の符号化装置３１の生成部３２に代えて、残差時系列信号生成部（以下、生成部と略称する）７１が設けられている。その他の構成は、図４における場合と同様である。

生成部７１は、例えば、図１４に示すように構成されている。すなわち、図５の生成部３２の周波数分析部４１と生成部４２の間に、正規化／量子化部８１と逆量子化／逆正規化部８２が設けられている。

正規化／量子化部８１は、周波数分析部４１からの波形情報Eを正規化するとともに、量子化し、その結果得られた波形情報QEを、逆量子化／逆正規化部８２および符号列生成部１４に出力する。

逆量子化／逆正規化部８２は、正規化／量子化部８１からの波形情報QEを、逆量子化するとともに、逆正規化し、その結果得られた、周波数分析部４１で生成された波形情報Eに対応する波形情報E'を、生成部４２に出力する。波形情報E'には、量子化誤差が含まれる。

生成部４２は、逆量子化／逆正規化部８２からの波形情報E'に基づいて、低周波数成分時系列信号ESを生成し、減算器４３に出力する。

減算器４３は、入力された音響時系列信号SSから、生成部４２からの低周波数成分時系列信号ES（量子化誤差を間接的に含む）を差し引き、残差時系列信号RSを生成し、振幅操作部１１に出力する。

この残差時系列信号RSが振幅操作、スペクトル変換、正規化、そして量子化され、スペクトル情報QFが生成される。生成されたスペクトル情報QFは、波形情報QE等とともに符号化され、復号装置５１に供給される。

図１５は、図１３の符号化装置３１により生成された符号列CDを復号する復号装置５１の構成例を示している。この復号装置５１には、図１１の復号装置５１の生成部５２に代えて、音響時系列信号生成部（以下、生成部と略称する）９１が設けられている。その他の部分は、図１１における場合と同様である。

符号列分解部２１は、入力された、図１３の符号化装置３１から供給された符号列ＣＤを、スペクトル情報QF、量子化情報Q、正規化情報N、振幅操作情報G、および波形情報QEに分解するとともに、スペクトル情報QF、量子化情報Ｑ、および正規化情報Ｎを、逆量子化／逆正規化部２２に、振幅操作情報Gを、逆振幅操作部２４に、そして波形情報QEを、生成部９１にそれぞれ供給する。

符号列分解部２１により、符号列CDから分離されたスペクトル情報QFが、逆量子化、逆正規化、逆スペクトル変換、そして逆振幅操作されて残差時系列信号RS'が得られる。

生成部９１は、符号列分解部２１からの波形情報QEを逆量子化するとともに、逆量子化して、波形情報E'を復号する。そして生成部９１は、この波形情報E'に基づいて低周波数成分時系列信号ES'を生成するとともに、それを残差時系列信号RS'に加算して、音響時系列信号SS'を生成する。

ここで生成される低周波数成分時系列信号ES'は、符号化装置３１における波形情報E'に基づいて生成されるので、低周波数成分時系列信号ES'を、符号化装置と同じものとすることができる。

すなわち、符号化装置と復号装置で同じ低周波成分時系列信号を用いることができるので、適切な音響時系列信号SS'が生成される。

図１６は、生成部９１の構成例を示している。この生成部９１には、図１２の生成部５２の生成部６１の前段に、逆量子化／逆正規化部１０１が設けられている。

逆量子化／逆正規化部１０１は、符号列分解部２１からの波形情報QEを逆量子化、逆正規化し、その結果得られた、符号化装置３１で生成された波形情報Eに対応する波形情報E'を生成部６１に出力する。

生成部６１は、逆量子化／逆正規化部１０１からの波形情報E'に基づいて、低周波数成分時系列信号ES'を生成する。

また、上述した、図４の符号化装置３１では、図１７Ａに示すような音響時系列信号SSが入力された場合、生成部３２は、例えば、図１７Ｂに示すように、時刻ｔ₁から時間Ｔの間（時刻ｔ₁から時刻ｔ₂まで）に入力された音響時系列信号SSを１つのブロック（ブロックＡ）として区分し、そして図１７Ｃに示すように、時刻ｔ₂から時刻Ｔの間（時刻ｔ₂から時刻ｔ₃まで）に入力された音響時系列信号SSを１つのブロック（ブロックＢ）として区分するようになされていた。つまり、音響時系列信号SSは、重複しないように、区分されている。

しかしながら、上述したように、低周波数成分時系列信号ESの生成に利用する処理対象周波数ｆ_pは有限数、すなわち、その純音波形も有限数であることから、上述のように重複しないように区分された音響時系列信号SSに対する周波数分析結果によって、隣接するブロック間で不連続な低周波数成分時系列信号ESが生成される場合がある。すなわち、復号装置５１で、適切な音響時系列信号SS'が生成されない場合がある。

そこで、符号化装置３１を、例えば、図１８に示すように、そして復号装置５１を、図２１に示すように構成することで、より適切な音響時系列信号SS'が生成されるようにすることができる。

図１８の符号化装置３１には、図４の符号化装置３１の生成部３２に代えて、音響時系列信号生成部（以下、生成部と略称する）１１１が設けられている。

生成部１１１は、例えば、図１９に示すように構成されている。すなわち、この生成部１１１には、図５の生成部３２の周波数分析部４１および生成部４２の間に、波形情報保持部１２１が設けられている。

この場合、図示せぬ区分部により、音響時系列信号SSが、音響時系列信号SSの一部が重複するように、ブロックに区分される。

例えば、図２０Ａに示すような音響時系列信号SSについて、時刻ｔ₁₁から時間Ｔの間（時刻ｔ₁₁から時刻ｔ₁₃まで）に入力された音響時系列信号SSでは、ブロックAに区分され、時刻ｔ₁₁と時刻ｔ₁₃の中間の時刻である時刻ｔ₁₂から時間Ｔの間（時間ｔ₁₂から時間ｔ₁₄まで）に入力された音響時系列信号SSは、ブロックＢに区分され、また時刻ｔ₁₂と時刻ｔ₁₄の中間の時刻である時刻ｔ₁₃から時間Ｔの間（時間ｔ₁₃から時間ｔ₁₅まで）に入力された音響時系列信号SSは、ブロックＣに区分される。

周波数分析部４１は、このように、一部が重複するように区分されたブロック内の音響時系列信号SSに対して周波数分析を行い、その分析結果に基づいて波形情報Ｅをそれぞれ生成し、波形情報保持部１２１に順次出力する。

波形情報保持部１２１は、周波数分析部４１からの波形情報Eを、３ブロック分記憶し、それをまとめて生成部４２に出力する。

具体的には、波形情報保持部１２１は、１ブロック分の波形情報Eが、周波数分析部４１から入力されたとき、そのときまでに記憶していた３ブロック分の波形情報E（以下、波形情報保持部１２１に記憶されている３つの波形情報Eのうち、最も先に記憶された波形情報Eを、波形情報E₁と、その次に記憶された波形情報Eを、波形情報E₂と、そして最も後に記憶された波形情報Eを、波形情報E₃と称する）のそれぞれを、生成部４２に出力する。

そして波形情報保持部１２１は、保持していた波形情報E₁を削除するとともに、波形情報E₂として記憶していた波形情報を、波形情報E₁として、波形情報E₃として記憶していた波形情報Eを、波形情報E₂として、そして周波数分析部４１から入力された波形情報を、波形情報E₃としてそれぞれ記憶する。

波形情報保持部１２１は、周波数分析部４１から、波形情報Eが入力される度に、同様の動作を繰り返す。すなわち、生成部４２には、それぞれ一部分が重複する音響時系列信号SSから生成された波形情報E₁乃至E₃が供給される。

生成部４２は、はじめに、波形情報E₁乃至E₃のそれぞれに基づいて、例えば、図２０Ｂ乃至図２０Ｄに示す低周波数成分時系列信号ES₁乃至ES₃を生成する。

そして生成部４２は、生成した低周波数成分時系列信号ES₂（図２０Ｃ）に、低周波数時系列信号ES₂と時間軸上において重なる、低周波数成分時系列信号ES₁の部分（図２０Ｂで、実線で示されている部分）と、低周波数時系列信号ES₂と時間軸上において重なる、低周波数成分時系列信号ES₃の部分（図２０Ｄで、実線で示されている部分）を足し合わせて合成し、その合成結果に、式（１３）に示す窓関数Ｗ（ｔ）をかけることで、図２０Ｅの実線で示すような、低周波数時系列信号ESを生成し減算器４３に出力する。

Ｗ(t)＝０．５×（１―cos（２πｔ／Ｌ））…（１３）

このようにして生成された低周波数成分時系列信号ESは、ブロック間で不連続にならない。

図２１は、図１８の符号化装置３１で生成された符号列CDを復号する復号装５１の構成例を示している。

この復号装置には、図１１の復号装置５１の生成部５２に代えて、音響時系列信号生成部（以下、生成部と略称する）１３１が設けられている。その他の部分は、図１１における場合と同様であるので、その説明は省略する。

生成部１３１は、例えば、図２２に示すように構成されている。すなわち、生成部１３１には、図１２の生成部６１の前段に、波形情報保持部１４１が設けられている。

波形情報保持部１４１は、符号化装置３１の生成部１１１の波形情報保持部１２１と同様に動作し、３ブロック分の波形情報E₁乃至E₃を保持するとともに、それらを生成部６１に出力する。

生成部６１は、符号化装置３１の生成部１１１の生成部４２と同様に動作し、波形情報保持部１４１から得られた３つの波形情報E₁乃至E₃に基づいて、低周波数成分時系列信号ES₁乃至ES₃をそれぞれ生成するとともに、生成した低周波数成分時系列信号ES₁乃至ES₃を、図２０を参照して説明したように合成し、式（１３）に示す窓関数Ｗ(t)をかけ、その結果得られた最終的な低周波数成分時系列信号ESを、加算器６２に出力する。

また、上述した、図４の符号化装置３１では、音響時系列信号SSを帯域分割することなく符号化していたが、帯域分割することで、符号化効率をより高めることができる。

そこで、符号化装置３１を、例えば、図２３に示すように、そして復号装置５１を、例えば、図２４に示すように構成することで、音響時系列信号SSを帯域分割して符号化することができる。

図２３の符号化装置３１は、残差時系列生成部３２、振幅操作部１１−１乃至１１−４、スペクトル変換部１２−１乃至１２−４、正規化／量子化部１３―１乃至１３−４、および符号列生成部１４、並びに生成部３２の前段に設けられた帯域分割フィルタ１５１から構成されている。

帯域分割フィルタ１５１は、入力された音響時系列信号SSをたとえばＰＱＦ（Polyphase Quadrature Filter）やＱＭＦ（Quadrature Mirror Filter）を用いて４つの帯域に分割して、帯域信号FS₁乃至FS₄を生成し、帯域信号FS₁を、生成部３２に、帯域信号FS₂を、振幅操作部１１−２に、帯域信号FS₃を、振幅操作部１１−３に、そして帯域信号FS₄を、振幅操作部１１−４にそれぞれ出力する。

生成部３２、振幅操作部１１−１乃至１１−４、スペクトル変換部１２−１乃至１２−４、正規化／量子化部１３−１乃至１３−４、および符号列生成部１４は、図４における場合と同様に動作するので、その詳細な説明は省略するが、振幅操作部１１−１は、生成部３２からの残差時系列信号RSに対して振幅操作を行い、振幅操作部１１−２乃至１１−４は、帯域信号FS₂乃至FS₄に対して振幅操作を行う。

符号列生成部１４には、生成部３２からの波形情報E、振幅操作部１１−１乃至１１−４からの振幅操作情報G₁乃至Ｇ₄、並びに正規化／量子化部１３−１乃至１３−４からのスペクトル情報QF₁乃至QF₄、量子化情報Q₁乃至Q₄、および正規化情報N₁乃至Ｎ₄がそれぞれ供給され、符号列生成部１４は、それらを順次符号化して、符号列を生成する。

図２４の復号装置５１は、図１１の復号装置５１の、１個の符号列分解部２１、４個の逆量子化／逆正規化部２２−１乃至２２−４、４個の逆スペクトル変換部２３−１乃至２３−４、４個の逆振幅操作部２４−１乃至２４−４、および１個の生成部５２、並びに１個の帯域合成フィルタ１６１により構成されている。

符号列分解部２１は、入力された符号列CDを、４個のスペクトル情報QF₁乃至QF₄、４個の量子化情報Q₁乃至Q₄、４個の正規化情報N₁乃至Ｎ₄、および振幅操作情報G₁乃至Ｇ₄、そして１個の波形情報Eに分解し、スペクトル情報QF₁乃至QF₄、量子化情報Q₁乃至Q₄、および正規化情報N₁乃至N₄を、逆量子化／逆正規化部２２−１乃至２２−４に、４個の振幅操作情報G₁乃至G₄を、逆振幅操作部２４−１乃至２４−４に、そして波形情報Eを、生成部５２に、それぞれ出力する。

逆量子化／逆正規化部２２−１乃至２２−４、逆スペクトル変換部２３−１乃至２３−４、逆振幅操作部２４−１乃至２４−４、および生成部５２は、図１１における場合と同様に動作するので、その詳細な説明は省略するが、生成部５２は、音響時系列信号SS'を、逆振幅操作部２４−２乃至２４−４は、時系列信号GS₂'乃至GS₄'（それぞれ符号化装置３１における帯域信号FS₂乃至FS₄に類似する信号）を、それぞれ帯域合成フィルタ１６１に出力する。

帯域合成フィルタ１６１は、例えばＩＰＱＦ(Inverse Polyphase Quadrature Filter)やＩＱＭＦ（Inverse Quadrature Filter）を用いて合成し、最終的な音響時系列信号SS'を生成して、外部の装置に出力する。

以上のように、特定の帯域信号（例えば、上述の実施例では帯域信号FS₁）に対して、符号化装置３１の生成部３２での処理を施して、振幅操作が行われるようにし、他の帯域信号（例えば、帯域信号FS₂乃至FS₄）に対しては、従来のように符号化することができ、効率的に音響時系列信号SSを符号化することができる。

なお、本発明は、音声記録再生装置に適用できる。

上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した符号化装置３１および復号装置５１が機能的に実現される。

図２５は、上述のような符号化装置３１および復号装置５１として機能するコンピュータ５０１の一実施の形態の構成を示すブロック図である。CPU（Central Processing Unit）５１１にはバス５１５を介して入出力インタフェース５１６が接続されており、CPU５１１は、入出力インタフェース５１６を介して、ユーザから、キーボード、マウスなどよりなる入力部５１８から指令が入力されると、例えば、ROM（Read Only Memory）５１２、ハードディスク５１４、またはドライブ５２０に装着される磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３、若しくは半導体メモリ５３４などの記録媒体に格納されているプログラムを、RAM（Random Access Memory）５１３にロードして実行する。これにより、上述した各種の処理が行われる。さらに、CPU５１１は、その処理結果を、例えば、入出力インタフェース５１６を介して、LCD（Liquid Crystal Display）などよりなる表示部５１７に必要に応じて出力する。なお、プログラムは、ハードディスク５１４やROM５１２に予め記憶しておき、コンピュータ５０１と一体的にユーザに提供したり、磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３，半導体メモリ５３４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部５１９を介してハードディスク５１４に提供することができる。

なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

従来の符号化装置及び復号装置の構成例を示すブロック図である。 振幅操作を説明する図である。 従来の符号化装置および復号装置の動作を説明する図である。 本発明を適用した符号化装置の構成例を示すブロック図である。 図４の低周波数成分時系列信号生成部の構成例を示すブロック図である。 図４の低周波数成分時系列信号生成部の動作を説明するフローチャートである。 図６のステップＳ２の処理を説明する図である。 波形情報Eの例を示す図である。 本発明を適用した符号化装置の動作を説明する図である。 波形情報Eの他の例を示す図である。 本発明を適用した復号装置の構成例を示すブロック図である。 図１１の音響時系列信号生成部の構成例を示すブロック図である。 本発明を適用した符号化装置の他の構成例を示すブロック図である。 図１３の残差時系列信号生成部の構成例を示すブロック図である。 本発明を適用した復号装置の他の構成例を示すブロック図である。 図１５の音響時系列信号生成部の構成例を示すブロック図である。 図４の符号化装置の動作を説明する図である。 本発明を適用した符号化装置の他の構成例を示すブロック図である。 図１８の残差時系列信号生成部の構成例を示すブロック図である。 図１８の符号化装置の動作を説明する図である。 本発明を適用した復号装置の他の構成例を示すブロック図である。 図２１の音響時系列信号生成部の構成例を示すブロック図である。 本発明を適用した符号化装置の他の構成例を示すブロック図である。 本発明を適用した復号装置の他の構成例を示すブロック図である。 コンピュータの構成例を示すブロック図である。

符号の説明

１１ 振幅操作部， １２ スペクトル変換部， １３ 正規化／量子化部， １４ 符号列生成部， ２１ 符号列分解部， ２２ 逆量子化／逆正規化部， ２３ 逆スペクトル変換部， ２４ 逆振幅操作部， ３１ 符号化装置， ３２ 残差時系列信号生成部， ４１ 周波数分析部， ４２ 低周波数成分時系列信号生成部， ４３ 減算器， ５１ 復号装置， ５２ 音響時系列信号生成部， ６１ 低周波数成分時系列信号生成部， ６２ 加算器， ７１ 残差時系列信号生成部， ８１ 正規化／量子化部， ８２ 逆量子化／逆正規化部， ９１ 音響時系列信号生成部， １０１ 逆量子化／逆正規化部， １１１ 残差時系列信号生成部， １２１ 波形情報保持部， １３１ 音響時系列信号生成部， １４１ 波形情報保持部， １５１ 帯域分割フィルタ， １６１ 帯域合成フィルタ

Claims (8)

1. 入力時系列信号を、所定の長さのブロックに区分する区分手段と、
   前記ブロック内の前記入力時系列信号に対して所定の周波数分析を行い、その分析結果に基づいて波形情報を生成する波形情報生成手段と、
   前記ブロック内の前記入力時系列信号から、前記波形情報に基づく信号を除去して、残差信号を生成する残差信号生成手段と、
   前記残差信号の振幅を分析し、その分析結果に基づく所定の振幅操作情報に従い、前記残差信号に対して所定の振幅操作を行って、量子化対象信号を生成する振幅操作手段と、
   前記量子化対象信号を量子化して、量子化信号を生成する量子化手段と、
   前記波形情報、前記振幅操作情報、および前記量子化信号を符号化して符号列を生成する符号列生成手段と
   を備えることを特徴とする符号化装置。
2. 入力時系列信号を、所定の長さのブロックに区分する区分手段と、
   前記ブロック内の前記入力時系列信号に対して所定の周波数分析を行い、その分析結果に基づいて波形情報を生成する波形情報生成手段と、
   前記ブロック内の前記入力時系列信号から、前記波形情報に基づく信号を除去して、残差信号を生成する残差信号生成手段と、
   前記残差信号を周波数成分に変換して量子化し、量子化信号を生成する量子化手段と、
   前記波形情報および前記量子化信号を符号化して符号列を生成する符号列生成手段と
   を備えることを特徴とする符号化装置。
3. 入力時系列信号を、所定の長さのブロックに区分する区分ステップと、
   前記ブロック内の前記入力時系列信号に対して所定の周波数分析を行い、その分析結果に基づいて波形情報を生成する波形情報生成ステップと、
   前記ブロック内の前記入力時系列信号から、前記波形情報に基づく信号を除去して、残差信号を生成する残差信号生成ステップと、
   前記残差信号の振幅を分析し、その分析結果に基づく所定の振幅操作情報に従い、前記残差信号に対して所定の振幅操作を行って、量子化対象信号を生成する振幅操作ステップと、
   前記量子化対象信号を量子化して、量子化信号を生成する量子化ステップと、
   前記波形情報、前記振幅操作情報、および前記量子化信号を符号化して符号列を生成する符号列生成ステップと
   を含むことを特徴とする符号化方法。
4. 入力時系列信号を、所定の長さのブロックに区分する区分ステップと、
   前記ブロック内の前記入力時系列信号に対して所定の周波数分析を行い、その分析結果に基づいて波形情報を生成する波形信号生成ステップと、
   前記ブロック内の前記入力時系列信号から、前記波形情報に基づく信号を除去して、残差信号を生成する残差信号生成ステップと、
   前記残差信号の振幅を分析し、その分析結果に基づく所定の振幅操作情報に従い、前記残差信号に対して所定の振幅操作を行って、量子化対象信号を生成する振幅操作ステップと、
   前記量子化対象信号を量子化して、量子化信号を生成する量子化ステップと、
   前記波形情報、前記振幅操作情報、および前記量子化信号を符号化して符号列を生成する符号列生成ステップと
   を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
5. 時系列信号をブロック毎に符号化して生成した符号列を受け取って復号する復号装置において、
   前記符号列を、波形情報、振幅操作情報、および量子化信号に分解する分解手段と、
   前記量子化信号を、逆量子化する逆量子化手段と、
   前記逆量子化された信号に対して、前記振幅操作情報に従い、符号化時とは逆の振幅操作を行って、振幅操作された信号を生成する逆振幅操作手段と、
   前記波形情報に従って生成された信号と前記振幅操作された信号とに基づいて、時系列信号を生成する時系列信号生成手段と
   を備えることを特徴とする復号装置。
6. 時系列信号を符号化して生成した符号列を受け取って復号する復号装置において、
   前記符号列を、波形情報および量子化信号に分解する分解手段と、
   前記量子化信号を、逆量子化して逆周波数変換を施す逆周波数変換手段と、
   前記波形情報に従って生成された信号と前記逆周波数変換された信号とに基づいて、時系列信号を生成する時系列信号生成手段と
   を備えることを特徴とする復号装置。
7. 時系列信号をブロック毎に符号化して生成した符号列を受け取って復号する復号方法において、
   前記符号列を、波形情報、振幅操作情報、および量子化信号に分解する分解ステップと、
   前記量子化信号を、逆量子化する逆量子化ステップと、
   前記逆量子化された信号に対して、前記振幅操作情報に従い、符号化時とは逆の振幅操作を行って、振幅操作された信号を生成する逆振幅操作ステップと、
   前記波形情報に従って生成された信号と前記振幅操作された信号とに基づいて、時系列信号を生成する時系列信号生成ステップと
   を含むことを特徴とする復号方法。
8. 時系列信号をブロック毎に符号化して生成した符号列を受け取って復号する復号装置を制御するコンピュータに、
   前記符号列を、波形情報、振幅操作情報、および量子化信号に分解する分解ステップと、
   前記量子化信号を、逆量子化する逆量子化ステップと、
   前記逆量子化された信号に対して、前記振幅操作情報に従い、符号化時とは逆の振幅操作を行って、振幅操作された信号を生成する逆振幅操作ステップと、
   前記波形情報に従って生成された信号と前記振幅操作された信号とに基づいて、符号化された時系列信号に対応する時系列信号を生成する時系列信号生成ステップと
   を含む処理を実行させるプログラムが記録されている記録媒体。

Images