JP4354561B2 - オーディオ信号符号化装置及び復号化装置 - Google Patents

オーディオ信号符号化装置及び復号化装置 Download PDF

Info

Publication number
JP4354561B2
JP4354561B2 JP00329999A JP329999A JP4354561B2 JP 4354561 B2 JP4354561 B2 JP 4354561B2 JP 00329999 A JP00329999 A JP 00329999A JP 329999 A JP329999 A JP 329999A JP 4354561 B2 JP4354561 B2 JP 4354561B2
Authority
JP
Japan
Prior art keywords
spectrum
frequency
envelope
band
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00329999A
Other languages
English (en)
Other versions
JP2000206989A5 (ja
JP2000206989A (ja
Inventor
峰生 津島
武志 則松
智一 石川
慶昭 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP00329999A priority Critical patent/JP4354561B2/ja
Publication of JP2000206989A publication Critical patent/JP2000206989A/ja
Publication of JP2000206989A5 publication Critical patent/JP2000206989A5/ja
Application granted granted Critical
Publication of JP4354561B2 publication Critical patent/JP4354561B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、オーディオ信号符号化装置及び復号化装置に関し、特に、少ない符号化列で効率的に符号化を行う符号化装置と、少ない情報量から高音質なオーディオ信号を生成する復号化装置に関するものである。
【0002】
【従来の技術】
従来より、オーディオ信号を効率的に符号化、および復号化する方式には、様々な方式が提案されており、このなかで、音楽信号など20kHz 以上の周波数帯域を有するオーディオ信号に対する符号化、および復号化方式には、近年ではMPEGオーディオ方式などがある。
【0003】
上記MPEG方式に代表される符号化方式は、時間軸のディジタルオーディオ信号を、コサイン変換などの直交変換を用いて周波数軸上のデータに変換し、その周波数軸上の情報を、人間の聴覚的な感度特性を利用して聴覚的に重要な情報から符号化を行い、聴覚的に重要でない情報や冗長な情報の符号化を行わない方式である。このMPEGオーディオに関することは、ISO/IEC 標準IS-11172-3などに記載されている。
【0004】
また、源ディジタル信号の情報量に対して、かなり少ない情報量で表現しようとする場合、ベクトル量子化の手法を用いたTC−WVQなどの符号化方式があり、このTC−WVQに関することは、T.Moriya,H.Suga:An 8 Kbits transform coder for noisy channels, Proc.ICASSP 89,pp196-199 などに記載されている。
【0005】
図6は、従来のオーディオ符号化装置700を示すブロック図である。
符号化装置700は、LPC係数またはLSP係数などの抽出を行うスペクトル推定手段701と、上記LPC係数またはLSP係数の量子化を行う量子化手段702と、量子化された上記LPC係数またはLSP係数を用いて、スペクトル包絡の合成を行うスペクトル合成手段703と、入力された周波数スペクトルを上記合成されたスペクトル包絡で正規化を行うスペクトル正規化手段704と、スペクトル情報の量子化を行うスペクトル量子化手段705とを備える。
【0006】
次に動作について説明する。
スペクトル推定手段701へ周波数スペクトルが入力される。
スペクトル推定手段701では、入力された周波数スペクトルからLPC係数またはLSP係数などの抽出を行い量子化手段702へ出力する。
スペクトル量子化手段702では、上記スペクトル推定手段701で抽出されたLPC係数またはLSP係数の量子化を行いスペクトル合成手段703へ出力する。
スペクトル合成手段703では、量子化されたLPC係数またはLSP係数を用いてスペクトル包絡を合成し、スペクトル正規化手段704へ出力する。
スペクトル正規化手段704では、入力周波数スペクトルを上記合成スペクトル包絡で正規化を行い、正規化したスペクトルをスペクトル量子化手段704へ出力する。
スペクトル量子化手段705では、上記スペクトル正規化手段704が出力した正規化したスペクトルに対してスペクトル情報の量子化を行う。
【0007】
【発明が解決しようとする課題】
上記のオーディオ信号符号化装置700は、1つの入力スペクトル列に対して、1つのスペクトル概形を推定して量子化するように構成されているため、一度の計算でスペクトル包絡を求めることができ、計算速度は速い。しかしその反面、周波数を選択し、周波数によって量子化の精度を変えることができない。
【0008】
具体的には、広帯域な周波数特性をもつ入力スペクトルの量子化を行う場合、この構成では、1つのスペクトル概形しか求めないので、推定したスペクトル包絡は大まかなものとなり、量子化効率の向上が図れない。また狭帯域な周波数特性をもつ入力スペクトルの量子化を行う場合において、高ビットレ−トな低域の周波数分析が細やかに行われないため、推定した低域のスペクトル概形は大まかなものとなってしまい、量子化効率の向上が図れない。さらに、入力スペクトルが低ビットレートである場合においても、情報量が少ないため、1つの入力スペクトル列に対して1つのスペクトル概形を推定するという上記の構成では量子化効率の向上は図れない。
【0009】
また、上記の構成で、スペクトル量子化手段を何段も設けると、前段のスペクトル量子化手段での量子化誤差を、後段のスペクトル量子化手段が量子化を行うので量子化効率は向上する。また、全帯域のスペクトル包絡を合成するときに消費する情報量は約25ビットレ−ト程度であるのに対し、量子化時に消費する情報量は約1500ビットレ−ト程度であり、量子化時に消費する情報量はかなり大きい。また、スペクトル量子化手段は比較的計算量が多いのでスペクトル量子化手段を多く設けるに従い、計算量も莫大なものとなってしまう。
【0010】
本発明は、上記のような問題点を解決するためになされたもので、これまでの構成と比べて計算量はほとんど増やすことなく、周波数帯域によって量子化の精度を容易に変化させることが可能な、量子化効率の高い、また符号化信号を少ない符号列で表現することが可能なオーディオ信号符号化装置、及び少ない情報量から高音質なオ−ディオ信号に生成可能な復号化装置を提供するものである。
【0011】
【課題を解決するための手段】
本発明の請求項1に記載の発明に係るオーディオ信号符号化装置は、入力された周波数スペクトル情報を、2つ以上の周波数帯域に分割するスペクトル分割手段と、記分割された各周波数帯域の周波数スペクトル情報から、前記周波数帯域毎にスペクトル概形を推定し、複数のパラメタを算出する複数のスペクトル推定手段と、記複数のパラメタに基づいて、前記周波数帯域毎のスペクトル包絡を合成する複数のスペクトル包絡合成手段と、記複数の周波数帯域毎のスペクトル包絡を重畳して全帯域の合成スペクトル包絡を作成するスペクトル重畳手段と、記複数のパラメタの量子化を行う複数のスペクトル帯域量子化手段と、記入力された周波数スペクトル情報を、記スペクトル重畳手段からの全帯域の合成スペクトル包絡で除算し、除算した値を量子化するスペクトル量子化手段とを備え、前記スペクトル分割手段は、前記入力された周波数スペクトル情報から抽出した聴覚的なエントロピーに基づいて、周波数スペクトル情報の分割方法を決定するものであることを特徴とするものである。
【0017】
また、請求項に記載の発明に係るオーディオ信号符号化装置は、入力された周波数スペクトル情報を、2つ以上の周波数帯域に分割するスペクトル分割手段と、前記分割された各周波数帯域の周波数スペクトル情報から、前記周波数帯域毎にスペクトル概形を推定し、複数のパラメタを算出する複数のスペクトル推定手段と、前記複数のパラメタに基づいて、前記周波数帯域毎のスペクトル包絡を合成する複数のスペクトル包絡合成手段と、前記複数の周波数帯域毎のスペクトル包絡を重畳して全帯域の合成スペクトル包絡を作成するスペクトル重畳手段と、前記複数のパラメタの量子化を行う複数のスペクトル帯域量子化手段と、前記入力された周波数スペクトル情報を、前記スペクトル重畳手段からの全帯域の合成スペクトル包絡で除算し、除算した値を量子化するスペクトル量子化手段とを備え、前記スペクトル分割手段は、記入力された周波数スペクトル情報から判定した音声非音声の判定結果に基づいて、周波数スペクトル情報の分割方法を決定するものであることを特徴とするものである。
また、請求項3に記載の発明に係るオーディオ信号符号化装置は、請求項1または請求項2に記載のオーディオ信号符号化装置において、前記スペクトル分割手段と、前記スペクトル推定手段、前記スペクトル包絡合成手段、前記スペクトル重畳手段、前記スペクトル帯域量子化手段、及び前記スペクトル量子化手段を有する符号化手段を2段以上設け、前段の符号化手段の量子化による量子化誤差を、後段の符号化手段が量子化する構成であることを特徴とするものである。
【0019】
また、請求項に記載の発明に係るオーディオ信号復号化装置は、入力された符号を復号化して周波数スペクトル情報を生成するオーディオ信号復号化装置であって、前記符号を用いて逆量子化を行い、スペクトル情報を出力するスペクトル逆量子化手段と、前記符号を用いて逆量子化を行い、複数のパラメタを出力する複数のスペクトル帯域逆量子化手段と、前記複数のパラメタを用いて周波数帯域毎のスペクトル包絡を合成する複数のスペクトル包絡合成手段と、記複数の周波数帯域毎のスペクトル包絡を重畳して全帯域の合成スペクトル包絡を作成するスペクトル重畳手段と、前記スペクトル情報と、前記複数のパラメタとを乗算して、オーディオ信号の周波数スペクトル情報の生成を行うスペクトル生成手段とを備え、前記複数の周波数帯域は、周波数スペクトル情報から抽出された聴覚的なエントロピーに基づいて、周波数スペクトル情報を分割する方法により分割されたことを特徴とするものである。
【0025】
また、請求項に記載の発明に係るオーディオ信号復号化装置は、入力された符号を復号化して周波数スペクトル情報を生成するオーディオ信号復号化装置であって、前記符号を用いて逆量子化を行い、スペクトル情報を出力するスペクトル逆量子化手段と、前記符号を用いて逆量子化を行い、複数のパラメタを出力する複数のスペクトル帯域逆量子化手段と、前記複数のパラメタを用いて周波数帯域毎のスペクトル包絡を合成する複数のスペクトル包絡合成手段と、前記複数の周波数帯域毎のスペクトル包絡を重畳して全帯域の合成スペクトル包絡を作成するスペクトル重畳手段と、前記スペクトル情報と、前記複数のパラメタとを乗算して、オーディオ信号の周波数スペクトル情報の生成を行うスペクトル生成手段とを備え、前記複数の周波数帯域は、周波数スペクトル情報から判定された音声非音声の判定結果に基づいて、周波数スペクトル情報を分割する方法により分割されたことを特徴とするものである。
また、請求項6に記載の発明に係るオーディオ信号復号化装置は、請求項4または請求項5に記載のオーディオ信号復号化装置において、前記スペクトル帯域逆量子化手段と、前記スペクトル包絡合成手段、前記スペクトル重畳手段、前記スペクトル逆量子化手段、及び前記スペクトル生成手段を有する復号化手段を2段以上設け、また、複数の周波数スペクトル情報を、1つのオーディオ信号の周波数スペクトル情報に合成するスペクトル合成器を備えたことを特徴とするものである。
【0027】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
(実施の形態1)
一般に観測されるオーディオ時系列信号は、MDCT(Modified Discrete Cosine Transform)などの直交変換を用いて、オーディオ信号を、時間軸上の情報から周波数軸上の情報に変換を行ったものである。
本実施の形態では、周波数軸上の情報として、MDCT係数が得られた場合について説明する。また、上記周波数軸上の情報として、FFT係数やDCT係数などを用いてもよい。
【0028】
図1は本発明の実施の形態1によるオーディオ信号符号化装置100,及び復号化装置200の全体の構成を示す図である。
オーディオ信号符号化装置100において、101は、入力された周波数スペクトル情報(MDCT係数)を2つの周波数帯域に分割するスペクトル分割手段である。102は、入力された低域成分のMDCT係数に対しスペクトル分析を行うスペクトル1推定手段102である。103は、入力された高域成分のMDCT係数に対しスペクトル分析を行うスペクトル2推定手段である。
【0029】
また104は、上記スペクトル1推定手段102が算出したLPC係数に基づいて、低域のスペクトル包絡を合成するスペクトル包絡1合成手段である。105は、上記スペクトル2推定手段103が算出したLPC係数に基づいて、高域のスペクトル包絡を合成するスペクトル包絡2合成手段である。
【0030】
また106は、上記低域のスペクトル包絡と、上記高域のスペクトル包絡とを重畳し、全帯域の合成スペクトル包絡を作成するスペクトル重畳手段である。107は、入力スペクトルを、上記スペクトル重畳手段106からの全帯域の合成スペクトル包絡を用いて、量子化を行うスペクトル量子化手段である。
【0031】
また108は、上記スペクトル1推定手段102が算出した低域のLPC係数の量子化を行い復号化装置200へ出力するスペクトル帯域1量子化手段である。109は、スペクトル2推定手段103が算出した高域のLPC係数の量子化を行い復号化装置200へ出力するスペクトル帯域2量子化手段である。
【0032】
また、オーディオ信号復号化装置200において、202は、上記スペクトル帯域1量子化手段108が出力した低域のLPC係数を逆量子化するスペクトル帯域1逆量子化手段202である。203は、上記スペクトル帯域2量子化手段109が出力した高域のLPC係数を逆量子化するスペクトル帯域2逆量子化手段203である。
【0033】
また204は、上記スペクトル帯域1逆量子化手段202からの出力に基づいて低域のスペクトル包絡を合成するスペクトル包絡1合成手段である。205は、上記スペクトル帯域2逆量子化手段203からの出力に基づいて高域のスペクトル包絡を合成するスペクトル包絡2合成手段である。206は、上記低域のスペクトル包絡と高域のスペクトル包絡を重畳し、全帯域の合成スペクトル包絡を作成するスペクトル重畳手段である。
【0034】
また207は、スペクトル量子化手段107からの出力を逆量子化するスペクトル逆量子化手段である。208は、上記逆量子化手段207の出力と上記スペクトル重畳手段206の出力とを用いて、オーディオ信号の周波数スペクトルの生成を行うスペクトル生成手段である。
【0035】
また、図2は周波数スペクトルを示す図である。図において、横軸は周波数スペクトルのサンプル値であり、縦軸はスペクトル値である。そして図2は、特に入力周波数スペクトル情報として、1024サンプルからなるMDCT係数を、低域成分と高域成分に512サンプルで均一に分割した場合の例である。
【0036】
また図2(a) は、スペクトル分割手段101に入力された周波数スペクトルを示す。図2(b) は、スペクトル包絡1合成手段104にて合成された低域のスペクトル包絡を示す。図2(c) は、スペクトル包絡2合成手段105にて合成された高域のスペクトル包絡を示す。図2(d) は、スペクトル重畳手段106で合成される全帯域の合成スペクトル包絡を示す。図2(e) は、スペクトル量子化手段107にて、図2(a) の入力スペクトルを、図2(d) の全帯域の合成スペクトル包絡で除算したものである。スペクトル量子化手段107では、さらにこの除算値を量子化して出力する。
【0037】
次に動作について説明する。
スペクトル分割手段101に、周波数スペクトル情報aとして、例えば1024サンプルからなるMDCT係数(図2(a) )が入力される。すると、スペクトル分割手段101では、周波数スペクトル情報aを低域成分b1と高域成分b2とに、予め設定しておいた値で分割し、低域成分のMDCT係数b1をスペクトル1推定手段102へ、高域成分のMDCT係数b2をスペクトル2推定手段103へ、それぞれ出力する。
【0038】
上記スペクトル分割手段101におけるMDCT係数の分割は、1024サンプルからなるMDCT係数を、低域成分512サンプル,高域成分512サンプルと、低域と高域のサンプル数を均一に分割を行ってもよい。また、低域成分を128サンプル,高域成分を896サンプルと、低域と高域のサンプル数を不均一に分割を行ってもよい。
【0039】
また、スペクトル1推定手段102では、上記スペクトル分割手段101より入力された低域のMDCT係数に対してスペクトル分析を行う。スペクトル2推定手段103では、上記スペクトル分割手段101より入力された高域のMDCT係数に対してスペクトル分析を行う。
【0040】
具体的には、スペクトル1推定手段102では、入力された低域のMDCT係数に対して、自己相関を算出し、線形予測係数を算出することによって、LPC係数を取得する。同様にスペクトル2推定手段103では、入力された高域のMDCT係数に対して、自己相関を算出し、線形予測係数を算出することによって、LPC係数を取得する。
LPC係数の算出の一例としては、スペクトル1推定手段102に入力されたMDCT係数を{y(0)〜y(511)}とすると、
【0041】
【数1】
Figure 0004354561
【0042】
を用いて、パワースペクトル{p(0)〜p(511)}に変換する。
次に数1より取得した上記パワースペクトルと、
【0043】
【数2】
Figure 0004354561
【0044】
とを用いて自己相関{r(0)〜r(M)}を得る。ここで、Mは線形予測の次数である。そして、Levison-Durbinなどの方法を用いて、上記自己相関関数{r(0)〜r(M)}からLPC係数{alpha(0)〜alpha(M)}を取得する。尚、上記スペクトル1推定手段102で得られたLPC係数は、そのまま用いてもよいし、LSP係数などの周波数特性を示す係数に近似的に変換してもよい。
このように、スペクトル1推定手段102で算出された上記LPC係数b11は、スペクトル包絡1合成手段104およびスペクトル帯域1量子化手段108へ出力される。
【0045】
また、スペクトル2推定手段103においても、同様の方法で、スペクトル2推定手段103に入力されたMDCT係数からLPC係数を算出し、算出されたLPC係数b21は、スペクトル包絡2合成手段105およびスペクトル帯域2量子化手段109へ出力される。
【0046】
スペクトル帯域1量子化手段108では、スペクトル1推定手段102からの出力b11を量子化し、量子化した符号(b11)' を復号化装置200のスペクトル帯域1逆量子化手段202へ出力する。また、スペクトル帯域2量子化手段109では、スペクトル2 推定手段103からの出力b21を量子化し、量子化した符号(b21)' を復号化装置200のスペクトル帯域2逆量子化手段203へ出力する。
【0047】
一方、上記スペクトル包絡1合成手段104では、スペクトル1推定手段102が出力したLPC係数b11を用いて、低域のスペクトル包絡b12を合成し(図2(b) )、スペクトル重畳手段106へ出力する。同様に、スペクトル包絡2合成手段105では、スペクトル2推定手段103が出力したLPC係数b21を用いて、高域のスペクトル包絡b22を合成し(図2(c) )、スペクトル重畳手段106へ出力する。
具体的に、上記各周波数帯域のスペクトル包絡を算出する方法は、例えばスペクトル包絡1合成手段104への入力が、LPC係数{alpha(0)〜 alpha( M) }の場合において、
【0048】
【数3】
Figure 0004354561
【0049】
のような系列{x(0)〜x(511)}を作成する。そして、該系列{x(0)〜x(511)}にFFTを施すことによって、パワー情報を取得し、スペクトル包絡1合成手段104でのスペクトル包絡が算出される。
【0050】
またこのとき、低域と高域の各周波数帯域のスペクトル包絡(図2(b) ,(c) )は、入力スペクトル(図2(a) )に比べ、スペクトル値は極めて低いことがわかる。つまり、入力周波数スペクトルを低域成分と高域成分の2つに分割し、各周波数帯域毎にスペクトル包絡の算出を行っても、情報量としては極めて少ない線形予測係数(LPC係数またはLSP係数)を用いるため、分割を行わずにスペクトル包絡の算出を行った場合と比べた計算量の増加は微々たるものである。
【0051】
スペクトル重畳手段106では、スペクトル包絡1合成手段104の出力b12である低域のスペクトル包絡と、スペクトル包絡2合成手段105の出力b22である高域のスペクトル包絡を重畳し、上記スペクトル分割手段101に入力された周波数スペクトルに対応する全帯域の合成スペクトル包絡bを作成する(図2(d) )。
【0052】
例えば、スペクトル包絡1合成手段104からの出力を、{sp(0)〜sp(511)}とし、また、スペクトル包絡2合成手段105からの出力を、{sp2(0)〜sp(511)}とすると、スペクトル重畳手段106からの出力のスペクトル包絡{sp(0)〜sp(1023)}は、
【0053】
【数4】
Figure 0004354561
【0054】
で表される。
このように、スペクトル重畳手段106にて合成された、全帯域の合成スペクトル包絡bは、スペクトル量子化手段107へ出力される。
スペクトル量子化手段107では、入力スペクトルaを、上記スペクトル重畳手段106の出力である全帯域の合成スペクトル包絡bで除算し(図2(e) )、次に除算値a/bの量子化を行い、量子化により取得したパラメタ(a/b−k1)' を本発明のオーディオ信号符号化手段100の出力の1つとし、復号化装置200におけるスペクトル逆量子化手段207へ出力する。尚、上記k1は、量子化の際の量子化誤差である。このように、スペクトル量子化手段107が、入力されたMDCT係数を全帯域のスペクトル包絡で除算することにより、図2(a) の入力スペクトルは、図2(e) に示すように、平坦な周波数スペクトルとなる。そしてこれを量子化すると、符号化装置100から出力される符号化信号は、少ない符号列で表現されることとなる。
【0055】
したがって、本実施の形態1のオーディオ信号符号化手段100による符号出力は、スペクトル帯域量子化手段102および103からの、情報量の非常に少ないLPC係数またはLSP係数を量子化した符号(b11)' ,(b21)' と、スペクトル量子化手段107からの入力スペクトルを全帯域の合成スペクトル包絡で除算し、情報量を少なくして量子化した符号(a/b−k1)' である。
【0056】
次にオーディオ信号復号化装置200の動作について説明する。
スペクトル帯域1逆量子化手段202では、スペクトル帯域1量子化手段108の出力(b11)' を逆量子化し、復元したLPC係数b11をスペクトル包絡1合成手段204へ出力する。またスペクトル帯域2逆量子化手段203では、スペクトル帯域2量子化手段109の出力(b21)' を逆量子化し、復元したLPC係数b21をスペクトル包絡2合成手段205へ出力する。
【0057】
スペクトル包絡1合成手段204は、スペクトル帯域1逆量子化手段202より入力されたLPC係数b11を用いて低域のスペクトル包絡b12を合成し、スペクトル重畳手段206へ出力する。またスペクトル包絡2合成手段205は、スペクトル帯域2逆量子化手段203より入力されたLPC係数b21を用いて高域のスペクトル包絡b22を合成し、スペクトル重畳手段206へ出力する。
【0058】
スペクトル重畳手段206では、スペクトル包絡1合成手段204からの低域のスペクトル包絡b12と、スペクトル包絡2合成手段205からの高域のスペクトル包絡b22を重畳し、全帯域の合成スペクトル包絡bを作成して、スペクトル生成手段208へ出力する。
【0059】
一方、スペクトル逆量子化手段207は、スペクトル量子化手段107からの出力(a/b−k1)' を逆量子化し、復元したスペクトル情報(a/b−k1)を、スペクトル生成手段208へ出力する。
スペクトル生成手段208では、スペクトル重畳手段206から出力bと、スペクトル逆量子化手段207からの出力(a/b−k1)とを乗算してオーディオ信号の周波数スペクトル情報a' を復元し、出力する。
そして、スペクトル生成手段208からの周波数スペクトル情報a' (MDCT係数)に、逆MDCT変換などの逆直交変換を行うと、時間軸上のオーディオ信号に復元される。
【0060】
このように本実施の形態1のオ−ディオ信号符号化装置100によれば、入力された周波数スペクトルを低域と高域の2つの周波数帯域に分割し、分割した各周波数帯域から情報量としては非常に少ない線形予測係数(LPC係数またはLSP係数)を抽出して低域と高域のスペクトル包絡をそれぞれ算出するので、分割を行わずに全帯域の合成スペクトル包絡を算出する場合と、計算量はほとんど変わらない量で、しかも分割を行わない場合よりも、細やかな全帯域の合成スペクトル包絡を求めることができる。
【0061】
また、オ−ディオ信号符号化装置100は、周波数スペクトルを低域と高域の2つの帯域に分割する構成であるため、低域と高域の各周波数帯域で量子化の精度を容易に変え、聴覚的に重要な周波数帯域に対し多くの情報量を配分することが可能となり、狭帯域な音声信号であっても低域の量子化の精度を向上させることができる。また、低ビットレートな音声信号であっても、聴覚的に重要な周波数帯域に対し多くの情報量を配分することにより、量子化の精度を向上させることができ、少ない情報量から高音質な音楽サービスを提供することができる。
【0062】
さらに、入力された周波数スペクトルの量子化には、入力された周波数スペクトルを、全帯域の合成スペクトル包絡で除算した値を用いて量子化するので、情報量が大幅に削減され、符号化装置100から出力される符号化信号は、少ない符号列で表現することができ、効率的に符号化を行うことができる。そして、復号化装置200では、入力された周波数スペクトルを、全帯域の合成スペクトル包絡で除算し逆量子化した値に、逆量子化した全帯域の合成スペクトル包絡を乗算し音声信号の生成を行っているので、少ない情報量から、効率的に高音質な音声信号を生成することができる。
【0063】
(実施の形態2)
一般に観測されるオーディオ信号は、MDCTなどの直交変換を用いて、オーディオ信号を時間軸上の情報から周波軸上の情報に変換を行ったものである。
ここでは、周波数軸上の情報として、MDCT係数が得られた場合について説明する。また、周波数軸上の情報として、FFT係数やDCT係数などを用いてもよい。
【0064】
また、実施の形態2に係るオーディオ信号符号化装置100のスペクトル分割手段101では、実施の形態1と同様に、入力された周波数スペクトル情報を2つの周波数帯域に分割するが、このとき実施の形態2のスペクトル分割手段101では、入力された周波数スペクトル情報に基づいて分割する周波数の帯域幅を制御できるように構成されている。その他の構成は、実施の形態1と同様である。
【0065】
次に動作について説明する。
スペクトル分割手段101に、周波数スペクトル情報aとして、例えば1024サンプルからなるMDCT係数が入力される。スペクトル分割手段101では、MDCT係数が入力されると、MDCT係数を2つの周波数帯域に分割する。このとき、スペクトル分割手段101では、入力された周波数スペクトル情報に基づいて、分割する周波数の帯域幅(サンプル数)を制御する。
【0066】
上記MDCT係数の分割方法には、予め設定された4パターンくらいの分割パターンのなかから周波数帯域幅を選択し分割する方法や、入力されたMDCT係数の特徴に基づいて周波数帯域幅を決定し、任意のサンプル数で分割する方法などがある。
【0067】
具体的に、上記予め設定された分割パターンのなかから周波数帯域幅を選択し分割する方法とは、まずスペクトル分割手段101に、低域成分のMDCT係数と高域成分のMDCT係数のサンプル数をそれぞれ、128サンプルと896サンプル、256サンプルと768サンプル、512サンプルと512サンプル、341サンプルと683サンプル、のように複数の分割パターンを設定しておく。そして、スペクトル分割手段101は、上記複数の分割パタ−ンの中から分割パタ−ンを1つ選択し、選択された分割パタ−ンのサンプル数で、入力されたMDCT係数を低域成分と高域成分に分割するという方法である。
【0068】
また、上記MDCT係数の特徴に基づいて周波数帯域幅を決定し、任意のサンプル数で分割する方法とは、入力されたMDCT係数の特徴に基づいて、分割の境界となるサンプル番号Rを決定し、MDCT係数をサンプル番号Rにて低域成分と高域成分とに分割する方法である。そしてこの分割の境界となるサンプル番号Rは、周波数帯域を2つに分割すると、低域のサンプルの総パワーと、高域のサンプルの総パワーとが、等しくなるように境界のサンプル番号Rを決定するか、または周波数帯域を2つに分割すると、低域のサンプルの総パワーと、高域のサンプルの総パワーとの比が、所定の値となるように境界のサンプル番号Rを決定する。
具体的に分割方法を説明すると、まず、入力されたMDCT係数を、{y(0)〜y(1023)}とした場合、
【0069】
【数5】
Figure 0004354561
【0070】
の判定式を用いて、pow1とpow2とが最も近い値となるサンプル番号R、またはpow1とpow2の比が所定の値となるサンプル番号Rを算出する。そして、低域の周波数帯域を、サンプル数で0からRー1に設定し、また高域の周波数帯域をサンプル数で、Rから1023に設定し、MDCT係数を低域成分と高域成分に分割する。
【0071】
または、入力されたMDCT係数を、{y(0)〜y(1023)}とした場合、MPEG1オーディオ符号化方式などに用いられる最小可聴域の値を用いて分割する方法がある。最小可聴域以上の入力スペクトルの値を0とし、数5の判定式を用いて、pow1とpow2が最も近い値となるサンプル番号R、またはpow1とpow2の比が所定の値となるサンプル番号Rを算出する。そして、低域の周波数帯域を、サンプル数で0からRー1に設定し、高域の周波数帯域を、サンプル数でRから1023に設定し、MDCT係数を低域成分と高域成分に分割する。
【0072】
または、入力されたMDCT係数を、{y(0)〜y(1023)}とした場合、入力されたMDCT係数からピッチ成分を抽出し、音声非音声の判定に基づいて、周波数帯域幅を決定し、分割する方法がある。上記音声非音声の判定結果において、音声と判定された場合は、5kHz 以下のMDCT係数の量子化精度が特に向上するように、ピッチ成分で5kHz に相当するMDCT係数のサンプル番号Rを求め、サンプル番号Rを低域成分と高域成分との境界のサンプルとする。そして、低域成分を0Hz〜5kHz 帯域になるように、低域の周波数帯域を、MDCTのサンプル数で0からRー1に設定し、高域成分を5kHz 以上の帯域になるように、高域の周波数帯域を、MDCT係数のサンプル数でRから1023に設定し、MDCT係数を低域成分と高域成分に分割する。
【0073】
このようにしてスペクトル分割手段では、予め設定された分割パターンの中から選択するか、または分割の境界となるサンプル番号Rを算出することにより、スペクトル分割手段に入力されたMDCT係数を、任意の周波数帯域幅にて2つに分割する。そして、2つに分割された周波数帯域のうち、低域成分のMDCT係数b1はスペクトル1推定手段102へ出力する。また、高域成分のMDCT係数b2はスペクトル2推定手段103へ出力する。
【0074】
スペクトル1推定手段102では、上記スペクトル分割手段101より入力された低域成分のMDCT係数b1に対してスペクトル分析を行う。またスペクトル2推定手段103では、上記スペクトル分割手段101より入力された高域成分のMDCT係数b2に対してスペクトル分析を行う。
【0075】
具体的には、スペクトル1推定手段102では、入力された低域のMDCT係数に対して、自己相関を算出し、線形予測係数を算出することによって、LPC係数b11を取得する。同様にスペクトル2推定手段103では、入力された高域のMDCT係数に対して、自己相関を算出し、線形予測係数を算出することによって、LPC係数b21を取得する。
【0076】
LPC係数の算出の一例としては、スペクトル1推定手段102に入力されたMDCT係数を{y(0)〜y(511)}とすると、数1を用いて、パワースペクトル{p(0)〜p(511)}に変換する。
【0077】
次に、数1より取得した上記パワースペクトルと、数2とを用いて自己相関{r(0)〜r(M)}を取得する。ここで、Mは線形予測の次数である。そして、Levison-Durbinなどの方法を用いて、上記自己相関関数{r(0)〜r(M)}から、LPC係数{alpha(0)〜 alpha(M) }を取得する。尚、上記スペクトル1推定手段102で得られたLPC係数は、そのまま用いてもよいし、LSP係数などの周波数特性を示す係数に近似的に変換してもよい。
このように、スペクトル1推定手段102で算出されたLPC係数b11は、スペクトル包絡1合成手段104およびスペクトル帯域1量子化手段108へ出力される。
【0078】
また、スペクトル2推定手段103においても、同様の方法で、スペクトル2推定手段103に入力されたMDCT係数から、LPC係数b22を算出し、スペクトル包絡2合成手段105およびスペクトル帯域2量子化手段109へ出力される。
【0079】
上記スペクトル帯域1量子化手段108では、スペクトル1推定手段102からの出力b11の量子化を行い,量子化した符号(b11)' を復号化装置200のスペクトル帯域1逆量子化手段202へ出力する。また、上記スペクトル帯域2量子化手段109では、スペクトル2推定手段103からの出力b21の量子化を行い,量子化した符号(b21)' を復号化装置200のスペクトル帯域2逆量子化手段203へ出力する。
【0080】
一方、上記スペクトル包絡1合成手段104では、スペクトル1推定手段102が出力した上記LPC係数b11を用いて、低域のスペクトル包絡b12を算出し、スペクトル重畳手段106へ出力する。同様に、スペクトル包絡2合成手段105では、スペクトル2推定手段103が出力した上記LPC係数b21を用いて、高域のスペクトル包絡b22を算出し、スペクトル重畳手段106へ出力する。
【0081】
具体的に、上記各周波数帯域のスペクトル包絡を算出する方法は、例えばスペクトル包絡1合成手段104への入力が、LPC係数{alpha(0)〜 alpha(M) }の場合において、数3のような系列{x(0)〜x(511)}を作成する。そして、該系列{x(0)〜x(511)}にFFTを施すことによって、パワー情報を取得し、スペクトル包絡1合成手段104でのスペクトル包絡が算出される。
【0082】
スペクトル重畳手段106では、スペクトル包絡1合成手段104の出力b12である低域のスペクトル包絡と、スペクトル包絡2合成手段105の出力b22である高域のスペクトル包絡を重畳し、上記スペクトル分割手段101に入力された周波数スペクトルに対応する全帯域の合成スペクトル包絡bを作成する。
【0083】
例えば、スペクトル包絡1合成手段104からの出力を{sp(0)〜sp(511)}とし、またスペクトル包絡2合成手段105からの出力を{sp2(0)〜sp2(511)}とすると、スペクトル重畳手段106からの出力のスペクトル包絡{sp(0)〜sp(1023)}は、数4で表される。
このように、スペクトル重畳手段106にて合成された全帯域のスペクトル包絡bは、スペクトル量子化手段107へ出力される。
【0084】
スペクトル量子化手段107では、入力された周波数スペクトルaを、上記スペクトル重畳手段106の出力である全帯域の合成スペクトル包絡bで除算し、次に除算値a/bの量子化を行い、量子化により取得したパラメタ(a/b−k1)' を、オーディオ信号符号化手段100の出力の1つとし、復号化装置200におけるスペクトル逆量子化手段207へ出力する。尚、上記k1は、量子化の際の量子化誤差である。
【0085】
したがって、本実施の形態2のオーディオ信号符号化手段100による符号出力は、スペクトル帯域量子化手段102および103から出力される、情報量の非常に少ないLPC係数またはLSP係数を量子化した符号(b11)' ,(b21)' と、スペクトル量子化手段107からの入力スペクトルaを全帯域の合成スペクトル包絡bで除算して、情報量を少なくしたものを量子化した符号(a/b−k1)' である。
【0086】
次にオーディオ信号復号化装置200の動作について説明する。
スペクトル帯域1逆量子化手段202では、スペクトル帯域1量子化手段108からの出力(b11)' を逆量子化し、復元したLPC係数b11をスペクトル包絡1合成手段204へ出力する。またスペクトル帯域2逆量子化手段203では、スペクトル帯域2量子化手段109からの出力(b21)' を逆量子化し、復元したLPC係数b21をスペクトル包絡2合成手段205へ出力する。
【0087】
スペクトル包絡1合成手段204は、スペクトル帯域1逆量子化手段202からの出力であるLPC係数b11を用いて低域のスペクトル包絡b12を合成し、スペクトル重畳手段206へ出力する。またスペクトル包絡2合成手段205は、スペクトル帯域2逆量子化手段203からの出力であるLPC係数b21を用いて高域のスペクトル包絡b22を合成し、スペクトル重畳手段206へ出力する。
【0088】
スペクトル重畳手段206では、スペクトル包絡1合成手段204からの低域のスペクトル包絡b12と、スペクトル包絡2合成手段205からの高域のスペクトル包絡b22とを重畳して全帯域の合成スペクトル包絡bを作成し、スペクトル生成手段208へ出力する。
【0089】
一方、スペクトル逆量子化手段207は、スペクトル量子化手段107からの出力(a/b−k1)' を逆量子化し、復元したスペクトル情報(a/b−k1)をスペクトル生成手段208へ出力する。
【0090】
スペクトル生成手段208では、スペクトル重畳手段206からの出力bと、スペクトル逆量子化手段207からの出力(a/b−k1)とを乗算して、オーディオ信号の周波数スペクトル情報a' を復元し、出力する。この周波数スペクトル情報a' に、逆MDCT変換などの逆直交変換を行うと、時間軸上のオーディオ信号に復元される。
【0091】
このように本実施の形態2のオ−ディオ信号符号化装置100によれば、入力された周波数スペクトルに応じて、分割する周波数帯域幅を可変させるので、聴覚的に重要な周波数帯域に対して、多くの情報量を配分することにより、音声信号が低ビットレ−トである場合においても、量子化効率を向上させることができ、少ない情報量から高音質な音楽サ−ビスを提供することができる。
【0092】
また、オ−ディオ信号符号化装置100は、情報量としては非常に少ない、線形予測係数(LPC係数またはLSP係数)を用いて、低域と高域のスペクトル包絡をそれぞれ算出するので、分割を行わずに全帯域の合成スペクトル包絡を算出する場合と、計算量はほとんど変わらない量で、しかも分割を行わない場合よりも、細やかな全帯域の合成スペクトル包絡を求めることができる。
【0093】
さらに、入力された周波数スペクトルの量子化には、入力された周波数スペクトルを、全帯域の合成スペクトル包絡で除算した値を用いて量子化するので、情報量が大幅に削減され、符号化装置100から出力される符号化信号は、少ない符号列で表現することができ、効率的に符号化を行うことができる。そして、復号化装置200では、入力された周波数スペクトルを、全帯域の合成スペクトル包絡で除算し逆量子化した値に、逆量子化した全帯域の合成スペクトルを乗算し音声信号の生成を行っているので、少ない情報量の符号化信号から、効率的に高音質な音声信号を生成することができる。
【0094】
(実施の形態3)
一般に観測されるオーディオ信号は、MDCTなどの直交変換を用いて、オーディオ信号を時間軸上の情報から周波数軸上の情報に変換を行ったものである。ここでは、周波数軸上の情報として、MDCT係数が得られた場合について説明する。また、周波数軸上の情報として、FFT係数やDCT係数などを用いてもよい。
【0095】
図3は、本実施の形態3におけるオーディオ信号符号化装置300,及びオーディオ信号復号化装置400のブロック図である。
本実施の形態3にかかるオーディオ信号符号化装置300では、入力された周波数スペクトル情報を2つ以上の周波数帯域に分割し、分割した周波数帯域毎にスペクトル包絡を算出するよう構成されている。そして、上記スペクトル分割手段301の分割した周波数帯域の数に応じて、スペクトル推定手段302〜304,スペクトル帯域量子化手段310〜312,及びスペクトル包絡合成手段305〜307とを設けている。その他の構成は、実施の形態1及び2におけるオーディオ信号符号化装置100と同様である。
【0096】
またオーディオ信号復号化装置400では、上記スペクトル分割手段301が分割した周波数帯域の数に応じて、スペクトル帯域逆量子化手段402〜404とスペクトル包絡合成手段405〜407とを設けている。その他の構成は、実施の形態1及び2におけるオーディオ信号復号化装置200と同様である。
【0097】
また、図4は周波数スペクトルを示す図である。横軸は、周波数スペクトルのサンプル値であり、縦軸はスペクトル値である。そして図4は、特に周波数スペクトルを低域、中域及び高域の3つの周波数帯域に分割した場合の例である。
また図4(a) は、スペクトル分割手段301に入力された周波数スペクトルを示す。図4(b) は、スペクトル包絡1合成手段305にて合成された低域のスペクトル包絡を示す。図4(c) は、スペクトル包絡2合成手段306にて合成された中域のスペクトル包絡を示す。図4(d) は、スペクトル包絡N合成手段(N=3)304にて合成された高域のスペクトル包絡を示す。図4(e) は、スペクトル重畳手段308で合成される全帯域の合成スペクトル包絡を示す。図4(f) は、スペクトル量子化手段309にて、図4(a) の入力スペクトルを、図4(e) の全帯域の合成スペクトル包絡で除算したものである。スペクトル量子化手段309では、さらにこの除算値を量子化して出力する。
【0098】
次に、動作について説明する。
スペクトル分割手段301へオ−ディオ信号の周波数スペクトル情報c(MDCT係数)が入力される(図4(a) )。
スペクトル分割手段301では、MDCT係数が入力されると、MDCT係数をN個の周波数帯域に分割する。
このときMDCT係数の分割方法には、予め設定しておいたサンプル数ごとに分割する方法と、入力されたMDCT係数の特徴に基づき分割する方法とがあり、以下に入力されたMDCT係数の特徴に基づき分割する方法について具体的に説明する。
例えば、入力されたMDCT係数を{y(0)〜y(1023)}とした場合、初めに
【0099】
【数6】
Figure 0004354561
【0100】
を用いて総エネルギーEall を算出する。
次に、
【0101】
【数7】
Figure 0004354561
【0102】
を用いて、上記数6で算出した総エネルギーを、分割したい数Nで除算する。そして、このときの各総パワ−(Eall /N)がそれぞれ等しくなるような境界のサンプル(k,l,m等)を求め、算出したサンプル数でN個の周波数帯域に分割する。具体的には、
【0103】
【数8】
Figure 0004354561
【0104】
のように、分割数Nを3とすると、このときの各総パワ−(Eall /3)が、それぞれ等しくなるような境界のサンプル(k,l)を求め、算出したサンプル数(k,l)で、3つの周波数帯域に分割する。
または、例えば入力されたMDCT係数を{y(0)〜y(1023)}とした場合、MPEG1オーディオ符号化方式などで用いられる最小可聴域の値を用いて分割する方法がある。最小可聴域以上のMDCT係数の値を0とし、最小可聴域をN個の周波数帯域に分割する。このとき、最小可聴域の総パワ−を求め、数7を用いて、総パワ−を分割数Nで除算し、各総パワー(Eall /N)がそれぞれ等しくなるような境界のサンプル(k,l,m等)を算出する。そして、算出されたサンプル数で、最小可聴域をN個の周波数帯域に分割する。
【0105】
または、例えば入力されたMDCT係数からピッチ成分を抽出し、音声非音声の判定に基づき分割する方法がある。上記音声非音声の判定結果において、音声と判定された場合は、5kHz 以下の周波数情報の量子化精度が特に向上するように、ピッチ成分で低域の0Hz〜5kHz 帯域に相当するMDCT係数を、N個の周波数帯域になるよう分割する。
このように、スペクトル分割手段301に入力されたMDCT係数は、設定されたサンプル数毎に、或いは、入力されたMDCT係数の特徴に基づいて、低域成分から順にN個の周波数帯域(d1〜dn)に分割される。
【0106】
上記スペクトル分割手段301にて、低域成分から順にN個に分割されたMDCT係数は、分割された周波数情報のうち、1番目に分割された最も低い低域成分d1はスペクトル1推定手段302へ入力される。また、低域から2番目に分割されたMDCT係数d2は、スペクトル2推定手段303へ入力される。同様に低域からN番目に分割されたMDCT係数dnは、スペクトルN推定手段304へ入力される。このように、低域成分から順にN個に分割されたMDCT係数は、スペクトル1推定手段302から順にスペクトルN推定手段304へと入力される。
【0107】
スペクトル1推定手段302では、上記スペクトル分割手段301が、1番目に分割した最も低域のMDCT係数d1に対してスペクトル分析を行い、またスペクトル2推定手段303では、上記スペクトル分割手段301が2番目に分割したMDCT係数d2に対してスペクトル分析を行い、同様にスペクトルN推定手段304では、低域からN番目に分割されたMDCT係数dnに対してスペクトル分析を行う。
【0108】
具体的には、スペクトル1推定手段302では、1番目に分割された最も低域のMDCT係数d1に対して、自己相関を算出し、線形予測係数を算出することで、LPC係数d11を取得する。また、スペクトル2推定手段303では、2番目に分割されたMDCT係数d2に対して、自己相関を算出し、線形予測係数を算出することで、LPC係数d21を取得する。同様に、スペクトルN推定手段304では、低域よりN番目に分割されたMDCT係数dnに対して、自己相関を算出し、線形予測係数を算出することで、LPC係数dn1を取得する。
LPC係数の算出の一例としては、スペクトル1推定手段302に入力されたMDCT係数を{y(0)〜y(k)}とすると、
【0109】
【数9】
Figure 0004354561
【0110】
を用いて、パワースペクトル{p(0)〜p(k)}に変換する。
次に、数9より取得した上記パワースペクトルと、
【0111】
【数10】
Figure 0004354561
【0112】
とを用いて、自己相関{r(0)〜r(Q)}を得る。ここで、Qは線形予測の次数である。そして、Levison-Durbinなどの手法を用いて、上記自己相関関数{r(0)〜r(Q)}から、LPC係数{alpha(0)〜 alpha( Q) }を取得する。尚、上記スペクトル1推定手段302で得られたLPC係数は、そのまま用いてもよいし、LSP係数などの周波数特性を示す係数に近似的に変換してもよい。
このように、スペクトル1推定手段302で算出された上記LPC係数d11は、スペクトル包絡1合成手段305およびスペクトル帯域1量子化手段310へ出力される。
【0113】
また、スペクトル2推定手段303においても、同様の方法で、スペクトル2推定手段303に入力されたMDCT係数d2から、LPC係数d21を算出し、スペクトル包絡2合成手段306およびスペクトル帯域2量子化手段311へ出力される。同様に、スペクトルN推定手段304においても、スペクトルN推定手段304に入力されたMDCT係数dnから、上記LPC係数dn1を算出し、スペクトル包絡N合成手段307およびスペクトル帯域N量子化手段312へ出力される。
【0114】
上記スペクトル帯域1量子化手段310では、スペクトル1推定手段302からの出力d11の量子化を行い、量子化した符号(d11)' を復号化装置400のスペクトル帯域1逆量子化手段402へ出力する。また、スペクトル帯域2量子化手段311では、スペクトル2推定手段303からの出力d21を量子化し、量子化した符号(d21)' を復号化装置400のスペクトル帯域2逆量子化手段403へ出力する。同様に、スペクトル帯域N量子化手段312では、スペクトルN推定手段304からの出力dn2の量子化を行い、量子化した符号(dn2)' を復号化装置400のスペクトル帯域N逆量子化手段404へ出力する。
【0115】
一方、上記スペクトル包絡1合成手段305では、スペクトル1推定手段302が出力した上記LPC係数d11を用いて、低域のスペクトル包絡d12を算出し(図4(b) )、スペクトル重畳手段308へ出力する。また、スペクトル包絡2合成手段306では、スペクトル2推定手段303が出力した上記LPC係数d21を用いて、低域から2番目のスペクトル包絡d22を算出し(図4(c) )、スペクトル重畳手段308へ出力する。同様に、スペクトル包絡N合成手段307では、スペクトルN推定手段304が出力した上記LPC係数dn1を用いて、低域からN番目のスペクトル包絡dn2を算出し(図4(d) )、スペクトル重畳手段308へ出力する。
具体的に、上記各周波数帯域のスペクトル包絡を算出する方法は、例えばスペクトル包絡1合成手段305への入力が、LPC係数{alpha(0)〜 alpha( Q) }の場合において、
【0116】
【数11】
Figure 0004354561
【0117】
のような系列{x(0)〜x(k)}を作成する。そして該系列{x(0)〜x(k)}にFFTを施すことによって、パワー情報を取得し、スペクトル包絡1合成手段305でのスペクトル包絡が算出される。
またこのとき、図4を参照すると、各周波数帯域のスペクトル包絡(図4(b) ,(c) ,(d) )は、入力スペクトル(図4(a) )に比べ、スペクトル値としては極めて低いことがわかる。つまり、入力スペクトルをN個の周波数帯域に分割し、各周波数帯域毎にスペクトル包絡の算出を行っても、情報量としては極めて少ない線形予測係数(LPC係数またはLSP係数)を用いるため、分割を行わずにスペクトル包絡の算出を行った場合と比べた計算量の増加は微々たるものである。
【0118】
スペクトル重畳手段308では、スペクトル包絡1合成手段305の出力からスペクトル包絡N合成手段307までの出力(d12〜dn2)を、低域から周波数特性の順に重畳し、上記スペクトル分割手段301に入力されたスペクトルに対応する全帯域の合成スペクトル包絡dを作成する(図4(e) )。
【0119】
例えば、スペクトル包絡1合成手段305からの出力を{sp1(0)〜sp1(k)}とし、またスペクトル包絡2合成手段306からの出力を〔sp2(0)〜sp2{l−(k+1)}〕とし、またスペクトル包絡N合成手段307からの出力を〔spN(0)〜spN{1023−(p+1)}〕とすると、スペクトル重畳手段308からの出力のスペクトル包絡{sp(0)〜sp(1023)}は、
【0120】
【数12】
Figure 0004354561
【0121】
で表される。
このように、スペクトル重畳手段308にて作成された全帯域の合成スペクトル包絡dは、スペクトル量子化手段309へ出力される。
スペクトル量子化手段309では、入力されたMDCT係数cを、上記スペクトル重畳手段308の出力である全帯域の合成スペクトル包絡dで除算する(図4(f) )。そして次に、除算値c/dの量子化を行い、量子化により取得したパラメタ(c/d−k2)' をオーディオ信号符号化装置300の出力の1つとし、復号化装置400におけるスペクトル逆量子化手段409へ出力する。尚、上記k2は、量子化の際の量子化誤差である。このように、スペクトル量子化手段309が、入力されたMDCT係数を全帯域の合成スペクトル包絡で除算すると、図4(a) の入力スペクトルは、図4(f) に示すように、平坦な周波数スペクトルとなる。そしてこれを量子化すると、符号化装置300から出力される符号化信号は、少ない符号列で表現されることとなる。
【0122】
したがって、本実施の形態3のオーディオ信号符号化手段300による符号出力は、スペクトル帯域量子化手段310から312より出力される、情報量の非常に少ないLPC係数またはLSP係数を量子化した符号{(d11)' 〜(dn1)' }と、スペクトル量子化手段309からの、入力MDCT係数を全帯域の合成スペクトル包絡で除算して情報量を少なくしたものを量子化した符号(c/d−k2)' である。
【0123】
次にオーディオ信号復号化装置400の動作について説明する。
スペクトル帯域1逆量子化手段402では、スペクトル帯域1量子化手段310からの出力(d11)' を逆量子化し、復元したLPC係数d11をスペクトル包絡1合成手段405へ出力する。またスペクトル帯域2逆量子化手段403では、スペクトル帯域2量子化手段311からの出力(d21)' を逆量子化し、復元したLPC係数d21をスペクトル包絡2合成手段406へ出力する。同様に、スペクトル帯域N逆量子化手段404では、スペクトル帯域N量子化手段312からの出力(dn1)' を逆量子化し、復元したLPC係数dn1をスペクトル包絡N合成手段407へ出力する。
【0124】
スペクトル包絡1合成手段405は、スペクトル帯域1逆量子化手段402の出力であるLPC係数d11を用いて1番低域のスペクトル包絡d12を合成し、スペクトル重畳手段408へ出力する。またスペクトル包絡2合成手段406は、スペクトル帯域2逆量子化手段403の出力であるLPC係数d21を用いて低域から2番目のスペクトル包絡d22を合成し、スペクトル重畳手段408へ出力する。同様にスペクトル包絡N合成手段407は、スペクトル帯域N逆量子化手段404の出力であるLPC係数dn1を用いて低域からN番目のスペクトル包絡dn2を合成し、スペクトル重畳手段408へ出力する。
【0125】
スペクトル重畳手段408では、入力された低域から高域の各スペクトル包絡{d12〜dn2}を、低域から周波数特性の順に重畳して、全帯域の合成スペクトル包絡dを作成し、スペクトル生成手段410へ出力する。
一方、スペクトル逆量子化手段409は、スペクトル量子化手段309からの出力(c/d−k2)' を逆量子化し、復元したスペクトル情報(c/d−k2)をスペクトル生成手段410へ出力する。
【0126】
スペクトル生成手段410では、スペクトル重畳手段408からの出力dと、スペクトル逆量子化手段409からの出力(c/d−k2)とを乗算して、オーディオ信号の周波数スペクトル情報c' を復元し、出力する。
そして、スペクトル生成手段410からの周波数スペクトル情報c' (MDCT係数)に、逆MDCT変換などの逆直交変換を行うと、時間軸上のオ−ディオ信号に復元される。
【0127】
このように本実施の形態3のオ−ディオ信号符号化装置300では、入力された周波数スペクトルの特徴に基づいて、分割する周波数帯域の数を増やすことによって、広帯域な音声信号の場合であっても、細やかな周波数情報の抽出により、全帯域に渡って細やかなスペクトル包絡を求めることができ、量子化の精度を向上させることができる。また狭帯域な音声信号であっても、高ビットレ−トな低域の周波数を細かく分割し、分析することにより、低域の周波数スペクトル包絡を細やかに求めることが可能となり、量子化の精度を向上させることができる。また低ビットレ−トな音声信号であっても、分割数を増やすことにより、細やかな周波数情報の抽出が可能となるので、量子化の精度を向上させることができ、少ない情報量から高音質な音楽サ−ビスを提供することができる。
【0128】
また、オ−ディオ信号符号化装置300では、情報量としては非常に少ない線形予測係数を用いて、分割した各周波数帯域毎にスペクトル包絡の合成を行っているので、分割を行わずに全帯域の合成スペクトル包絡を算出する場合と計算量はほとんど増やすことなく、分割を行わない場合よりも細やかな全帯域の合成スペクトル包絡を求めることができる。
【0129】
さらに、入力された周波数スペクトルの量子化には、入力された周波数スペクトルを、全帯域の合成スペクトル包絡で除算した値を用いて量子化するので、情報量が大幅に削減され、符号化装置300から出力される符号化信号は、少ない符号列で表現することができ、効率的に符号化を行うことができる。そして、復号化装置400では、入力された周波数スペクトルを、全帯域の合成スペクトル包絡で除算し逆量子化した値に、逆量子化した全帯域の合成スペクトルを乗算し音声信号の生成を行っているので、少ない情報量の符号化信号から、効率的に高音質な音声信号を生成することができる。
【0130】
(実施の形態4)
一般に観測されるオーディオ信号は、MDCTなどの直交変換を用いて、オーディオ信号を時間軸上の情報から周波数軸上の情報に変換を行ったものである。
ここでは、周波数軸上の情報として、MDCT係数が得られた場合について説明する。また、周波数軸上の情報として、FFT係数やDCT係数などを用いてもよい。
【0131】
図5は、本実施の形態4におけるオーディオ信号符号化装置500及びオーディオ信号復号化装置600のブロック図である。
本実施の形態4にかかるオーディオ信号符号化装置は、符号化装置500aおよび500bの2段を設ける。そして、スペクトル量子化手段509は、入力周波数スペクトル情報eの量子化結果を符号化信号(e−k3)' として復号化装置600aへ出力する以外に、2段目の符号化装置500bへ量子化誤差k3を出力し、2段目の符号化装置500bは、1段目の符号化装置500aにおける量子化の際の量子化誤差k3をさらに量子化するように構成されている。
【0132】
また、本実施の形態4にかかるオーディオ信号復号化装置は、上記オーディオ信号符号化装置が500aおよび500bの2段を設けたのに対応させて、復号化装置600aおよび600bの2段を設ける。また、符号化装置500aからの符号(e−k3)' は、復号化装置600a で復号し、符号化装置500bからの量子化誤差k3を量子化した符号は、復号化装置600bで復号する。そしてスペクトル合成器620が、復号化装置600aからの出力(e−k3)と、復号化装置600bからの出力k3' を合成してオ−ディオ信号の周波数スペクトル情報e' を復元するように構成されている。
その他の構成は、実施の形態3における符号化装置300及び復号化装置400と同様である。
【0133】
次に、動作について説明する。
スペクトル分割手段501へオ−ディオ信号の周波数スペクトル情報e(MDCT係数)が入力される。
スペクトル分割手段501では、MDCT係数が入力されると、MDCT係数をN個の周波数帯域に分割する。
このときMDCT係数の分割方法には、予め設定しておいたサンプル数ごとに分割する方法と、入力信号の特徴に基づき分割する方法とがあり、以下に入力信号の特徴に基づき分割する方法を具体的に説明する。
【0134】
例えば、入力されたMDCT係数を{y(0)〜y(1023)}とした場合、初めに数6を用いて総エネルギーEall を算出する。
次に、数7を用いて上記数6で算出した総エネルギーを、分割したい数Nで除算する。そして、このときの各総パワ−(Eall /N)がそれぞれ等しくなるような境界のサンプル(k,l,m等)を求め、算出したサンプル数でN個の周波数帯域に分割する。具体的には、分割数Nを3とすると、数8を用いて、総エネルギ−を3で除算し、このときの各総パワ−(Eall /3)が、それぞれ等しくなるような境界のサンプル(k,l)を求め、算出したサンプル数(k,l)で、3つの周波数帯域に分割する。
【0135】
または、例えば入力されたMDCT係数を{y(0)〜y(1023)}とした場合、MPEG1オーディオ符号化方式などで用いられる最小可聴域の値を用いて分割する方法がある。最小可聴域以上の入力スペクトルの値を0とし、最小可聴域をN個の周波数帯域に分割する。このとき、最小可聴域の総パワ−を求め、数7を用いて、総パワ−を分割数Nで除算する。そして、このときの各総パワー(Eall /N)がそれぞれ等しくなるような境界のサンプル(k,l,m等)を求め、算出されたサンプル数で、最小可聴域をN個の周波数帯域に分割する。
【0136】
または、例えば入力されたMDCT係数からピッチ成分を抽出し、音声非音声の判定に基づく方法がある。上記音声非音声の判定結果において、音声と判定された場合は、ピッチ成分で5kHz 以下の周波数情報の量子化精度が特に向上するように、低域の0Hz〜5kHz 帯域に相当するMDCT係数を、N個の周波数帯域に分割する。
このように、入力されたMDCT係数は、スペクトル分割手段501にて、設定しておいたサンプル数毎か、或いは、入力されたMDCT係数の特徴に基づいて、低域成分から順にN個の周波数帯域{f1〜fn}に分割される。
【0137】
上記スペクトル分割手段501にて、低域成分から順にN個に分割されたMDCT係数は、分割された周波数スペクトルのうち、1番目に分割された最も低い低域成分f1はスペクトル1推定手段502へ入力される。また、低域から2番目に分割されたMDCT係数f2は、スペクトル2推定手段503へ入力される。同様に低域からN番目に分割されたMDCT係数fnは、スペクトルN推定手段504へ入力される。このように、低域成分から順にN個に分割されたMDCT係数は、スペクトル1推定手段502から順にスペクトルN推定手段504へと入力される。
【0138】
スペクトル1推定手段502では、上記スペクトル分割手段501が、1番目に分割した最も低域のMDCT係数f1に対してスペクトル分析を行い、またスペクトル2推定手段503では、上記スペクトル分割手段501が2番目に分割したMDCT係数f2に対してスペクトル分析を行い、同様にスペクトルN推定手段では、低域からN番目に分割されたMDCT係数fnに対してスペクトル分析を行う。
【0139】
具体的には、スペクトル1推定手段502では、1番目に分割された最も低域成分のMDCT係数f1に対して、自己相関を算出し、線形予測係数を算出することで、LPC係数f11を取得する。また、スペクトル2推定手段503では、2番目に分割されたMDCT係数f2に対して、自己相関を算出し、線形予測係数を算出することで、LPC係数f21を取得する。同様に、スペクトルN推定手段504では、低域よりN番目に分割されたMDCT係数fnに対して、自己相関を算出し、線形予測係数を算出することで、LPC係数fn1を取得する。
【0140】
LPC係数の算出の一例としては、スペクトル1推定手段502に入力されたMDCT係数を{y(0)〜y(k)}とすると、数9を用いて、パワースペクトル{p(0)〜p(k)}に変換する。
【0141】
次に、数9より取得した上記パワースペクトルと、数10とを用いて自己相関{r(0)〜r(Q)}を得る。ここで、Qは線形予測の次数である。そして、Levison-Durbinなどの手法を用いて、上記自己相関関数{r(0)〜r(Q)}から、LPC係数{alpha(0)〜 alpha( Q) }を得る。尚、上記スペクトル1推定手段502で得られたLPC係数は、そのまま用いてもよいし、LSP係数などの周波数特性を示す係数に近似的に変換してもよい。
このように、スペクトル1推定手段502で算出された上記LPC係数f11は、スペクトル包絡1合成手段505およびスペクトル帯域1量子化手段510へ出力される。
【0142】
また、スペクトル2推定手段503においても、同様の方法で、スペクトル2推定手段503に入力されたMDCT係数f2から、LPC係数f21を算出し、スペクトル包絡2合成手段506およびスペクトル帯域2量子化手段511へ出力される。同様に、スペクトルN推定手段504においても、スペクトルN推定手段504に入力されたMDCT係数fnから、上記LPC係数fn1を算出し、スペクトル包絡N合成手段507およびスペクトル帯域N量子化手段512へ出力される。
【0143】
上記スペクトル帯域1量子化手段510では、スペクトル1推定手段502からの出力f11を量子化し、量子化した符号(f11)' を復号化装置600aのスペクトル帯域1逆量子化手段602へ出力する。また、上記スペクトル帯域2量子化手段511では、スペクトル2推定手段503からの出力f21を量子化し、量子化した符号(f21)' を復号化装置600aのスペクトル帯域2逆量子化手段603へ出力する。同様に、上記スペクトル帯域N量子化手段512では、スペクトルN推定手段504からの出力fn1を量子化し、量子化した符号(fn1)' を復号化装置600aのスペクトル帯域N逆量子化手段604へ出力する。
【0144】
一方、上記スペクトル包絡1合成手段505では、スペクトル1推定手段502が出力した上記LPC係数を用いて、一番低域のスペクトル包絡f12を算出し、スペクトル重畳手段508へ出力する。また、スペクトル包絡2合成手段506では、スペクトル2推定手段503が出力した上記LPC係数を用いて、低域から2番目のスペクトル包絡f22を算出し、スペクトル重畳手段508へ出力する。同様に、スペクトル包絡N合成手段507では、スペクトルN推定手段504が出力した上記LPC係数を用いて、低域からN番目のスペクトル包絡fn2を算出し、スペクトル重畳手段508へ出力する。
【0145】
具体的に、上記各周波数帯域のスペクトル包絡を算出する方法は、例えばスペクトル包絡1合成手段505への入力が、LPC係数{alpha(0)〜 alpha( Q) }の場合において、数11のような系列{x(0)〜x(k)}を作成する。そして、該系列{x(0)〜x(k)}にFFTを施すことによって、パワー情報を取得し、スペクトル包絡1合成手段505でのスペクトル包絡が算出される。
【0146】
スペクトル重畳手段508では、スペクトル包絡1合成手段505の出力からスペクトル包絡N合成手段507までの出力(f12〜fn2)を、低域から周波数特性の順に重畳し、上記スペクトル分割手段501に入力されたMDCT係数(周波数スペクトル)に対応する全帯域の合成スペクトル包絡fを作成する。
【0147】
例えば、スペクトル包絡1合成手段305からの出力を{sp1(0)〜sp1(k)}とし、またスペクトル包絡2合成手段306からの出力を〔sp2(0)〜sp2{l−(k+1)}〕とし、またスペクトル包絡N合成手段307からの出力を〔spN(0)〜spN{1023−(p+1)}〕とすると、スペクトル重畳手段508からの出力のスペクトル包絡{sp(0)〜sp(1023)}は、数12で表される。
このように、スペクトル重畳手段508にて作成された全帯域の合成スペクトル包絡fは、スペクトル量子化手段509へ出力される。
【0148】
スペクトル量子化手段509では、入力されたMDCT係数eを、上記スペクトル重畳手段508の出力である全帯域の合成スペクトル包絡fで除算して、除算値e/fの量子化を行い、量子化により取得したパラメタ(e/f−k3)' を符号化装置500aの出力の1つとし、復号化装置600aにおけるスペクトル逆量子化手段609へ出力する。また、上記k3は、量子化時に生じる量子化誤差であり、この量子化誤差k3は、符号化装置500bへ出力される。
【0149】
したがって、オーディオ信号符号化手段500aによる符号出力は、スペクトル帯域量子化手段510〜512より出力される、LPC係数またはLSP係数を量子化した符号{(f11)' 〜(fn1)' }と、スペクトル量子化手段509からスペクトル逆量子化手段609へ出力される量子化した符号(e/f−k3)' 、及び量子化の際の量子化誤差k3である。
【0150】
次にオーディオ信号復号化装置600aの動作について説明する。
スペクトル帯域1逆量子化手段602では、スペクトル帯域1量子化手段510からの出力(f11)' を逆量子化し、復元したLPC係数f11をスペクトル包絡1合成手段605へ出力する。またスペクトル帯域2逆量子化手段603では、スペクトル帯域2量子化手段511からの出力(f21)' を逆量子化し、復元したLPC係数f21をスペクトル包絡2合成手段606へ出力する。同様に、スペクトル帯域N逆量子化手段604では、スペクトル帯域N量子化手段512からの出力(fn1)' を逆量子化し、復元したLPC係数fn1をスペクトル包絡N合成手段607へ出力する。
【0151】
スペクトル包絡1合成手段605は、スペクトル帯域1逆量子化手段602の出力であるLPC係数h11を用いて1番低域のスペクトル包絡f12を合成し、スペクトル重畳手段608へ出力する。またスペクトル包絡2合成手段606は、スペクトル帯域2逆量子化手段603の出力であるLPC係数h21を用いて低域から2番目のスペクトル包絡f22を合成し、スペクトル重畳手段608へ出力する。同様にスペクトル包絡N合成手段607は、スペクトル帯域N逆量子化手段604の出力であるLPC係数hn1を用いて低域からN番目のスペクトル包絡fn2を合成し、スペクトル重畳手段608へ出力する。
【0152】
スペクトル重畳手段608では、入力された低域から高域の各スペクトル包絡(f12〜fn2)を、低域から周波数特性の順に重畳して全帯域の合成スペクトル包絡fを作成し、スペクトル生成手段610へ出力する。
一方、スペクトル逆量子化手段609は、スペクトル量子化手段509からの出力(e/f−k3)' を逆量子化し、復元したスペクトル情報(e/f−k3)をスペクトル生成手段610へ出力する。
スペクトル生成手段610では、スペクトル重畳手段608からの出力fと、スペクトル逆量子化手段609からの出力(e/f−k3)を乗算して、復元した周波数スペクトル情報(e−k3)をスペクトル合成器620へ出力する。
【0153】
一方、符号化装置500aのスペクトル量子化手段509から、符号化装置500bのスペクトル分割手段521へ、量子化誤差k3によるMDCT係数が入力される。
すると、スペクトル分割手段521では、1段目のスペクトル分割手段501と同様に、入力されたMDCT係数k3を、予め設定しておいたサンプル数毎か、或いは、入力されたMDCT係数の特徴に基づいて、低域成分から順にN個の周波数帯域に分割し、分割した低域成分から順に、スペクトル1推定手段522からスペクトルN推定手段524へ出力する。
【0154】
具体的には、1番目に分割された最も低い低域成分h1はスペクトル1推定手段522へ入力される。また、低域から2番目に分割されたMDCT係数h2は、スペクトル2推定手段523へ入力される。同様に低域からN番目に分割されたMDCT係数hnは、スペクトルN推定手段524へ入力される。
【0155】
スペクトル1推定手段522では、上記スペクトル分割手段521が、1番目に分割した最も低域のMDCT係数h1に対してスペクトル分析を行い、またスペクトル2推定手段523では、上記スペクトル分割手段521が2番目に分割したMDCT係数h2に対してスペクトル分析を行い、同様にスペクトルN推定手段524では、低域からN番目に分割されたMDCT係数hnに対してスペクトル分析を行う。
【0156】
具体的には、スペクトル1推定手段522では、1番目に分割された最も低域のMDCT係数に対して、自己相関を算出し、線形予測係数を算出することで、LPC係数h11を取得し、スペクトル包絡1合成手段525およびスペクトル帯域1量子化手段530へ出力する。また、スペクトル2推定手段523では、2番目に分割されたMDCT係数に対して、自己相関を算出し、線形予測係数を算出することで、LPC係数h21を取得し、スペクトル包絡2合成手段526およびスペクトル帯域2量子化手段531へ出力する。同様に、スペクトルN推定手段524では、低域よりN番目に分割されたMDCT係数に対して、自己相関を算出し、線形予測係数を算出することで、LPC係数hn1を取得し、スペクトル包絡N合成手段527およびスペクトル帯域N量子化手段532へ出力する。
【0157】
スペクトル帯域1量子化手段530では、スペクトル1推定手段522からの出力h11の量子化を行い、量子化した符号(h11)' を復号化装置600bのスペクトル帯域1逆量子化手段611へ出力する。また、スペクトル帯域2量子化手段531では、スペクトル2推定手段523からの出力h21の量子化を行い、量子化した符号(h21)' を復号化装置600bのスペクトル帯域2逆量子化手段612へ出力する。同様に、スペクトル帯域N量子化手段532では、スペクトルN推定手段524からの出力hn1の量子化を行い、量子化した符号(hn1)' を復号化装置600bのスペクトル帯域N逆量子化手段613へ出力する。
【0158】
一方、上記スペクトル包絡1合成手段525では、スペクトル1推定手段522が出力したLPC係数を用いて、低域のスペクトル包絡h12を算出し、スペクトル重畳手段528へ出力する。また、スペクトル包絡2合成手段526では、スペクトル2推定手段523が出力したLPC係数を用いて、低域から2番目のスペクトル包絡h22を算出し、スペクトル重畳手段528へ出力する。同様に、スペクトル包絡N合成手段527では、スペクトルN推定手段524が出力した上記LPC係数を用いて、低域からN番目のスペクトル包絡hn2を算出し、スペクトル重畳手段528へ出力する。
【0159】
スペクトル重畳手段528では、スペクトル包絡1合成手段525の出力からスペクトル包絡N合成手段527までの出力(h12〜hn2)を、低域から周波数特性の順に重畳し、全帯域のスペクトル包絡hを合成してスペクトル量子化手段529へ出力する。
【0160】
スペクトル量子化手段529では、符号化装置500aからの量子化誤差k3を、上記スペクトル重畳手段528の出力である全帯域の合成スペクトル包絡hで除算する。そして次に、除算値k3/hの量子化を行い、量子化により取得したパラメタ(k3/h−k4)' を、本発明のオーディオ信号符号化装置500bの出力の1つとし、復号化装置600bにおけるスペクトル逆量子化手段618へ出力する。尚、上記k4は、量子化の際の量子化誤差である。このように、符号化装置500bでは、符号化装置500aによる量子化誤差k3の量子化を行う。
【0161】
したがって、オーディオ信号符号化装置500bによる符号出力は、スペクトル帯域量子化手段530〜532より出力される、LPC係数またはLSP係数を量子化した符号{(h11)' 〜(hn1)' }と、スペクトル量子化手段529からの量子化誤差k3を合成スペクトル包絡で除算し量子化した符号(k3/h−k4)' である。
【0162】
次にオーディオ信号復号化装置600bの動作について説明する。
スペクトル帯域1逆量子化手段611では、スペクトル帯域1量子化手段530からの出力(h11)' を逆量子化し、復元したLPC係数h11をスペクトル包絡1合成手段614へ出力する。またスペクトル帯域2逆量子化手段612では、スペクトル帯域2量子化手段531からの出力(h21)' を逆量子化し、復元したLPC係数h21をスペクトル包絡2合成手段615へ出力する。同様に、スペクトル帯域N逆量子化手段613では、スペクトル帯域N量子化手段532からの出力(hn1)' を逆量子化し、復元したLPC係数hn1をスペクトル包絡N合成手段616へ出力する。
【0163】
スペクトル包絡1合成手段614は、スペクトル帯域1逆量子化手段611の出力であるLPC係数h11を用いて1番低域のスペクトル包絡h12を合成し、スペクトル重畳手段617へ出力する。またスペクトル包絡2合成手段615は、スペクトル帯域2逆量子化手段612の出力であるLPC係数h21を用いて低域から2番目のスペクトル包絡h22を合成し、スペクトル重畳手段617へ出力する。同様にスペクトル包絡N合成手段616は、スペクトル帯域N逆量子化手段613の出力であるLPC係数hn1を用いて低域からN番目のスペクトル包絡hn2を合成し、スペクトル重畳手段617へ出力する。
【0164】
スペクトル重畳手段617では、入力された低域から高域までの各スペクトル包絡(h12〜hn2)を、低域から周波数特性の順に重畳して、全帯域の合成スペクトル包絡hを作成し、スペクトル生成手段619へ出力する。
一方、スペクトル逆量子化手段618は、スペクトル量子化手段529からの出力(k3/h−k4)' を逆量子化し、復元したスペクトル情報(k3/h−k4)をスペクトル生成手段619へ出力する。
【0165】
スペクトル生成手段619では、スペクトル重畳手段617からの出力hと、スペクトル逆量子化手段618からの出力(k3/h−k4)とを乗算し、復元した量子化誤差k3' をスペクトル合成器620へ出力する。
スペクトル合成器620では、スペクトル生成手段610からの復元した周波数スペクトル情報(e−k3)と、スペクトル生成手段619からの復元した量子化誤差k3' とを合成して、オーディオ信号の周波数スペクトル情報e' を復元する。
さらに、上記復元された周波数スペクトル情報e' (MDCT係数)に、逆MDCT変換などの逆直交変換を行うと、時間軸上のオ−ディオ信号に復元される。
【0166】
このように本実施の形態4のオ−ディオ信号符号化装置500では、1段目の符号化手段での量子化誤差を、2段目の符号化手段がさらに量子化する構成であり、しかも情報量としては非常に少ない線形予測係数を用いて量子化誤差の量子化を行うので、符号化手段の段数をたくさん設けても、計算量はほとんど増やすことなく量子化の効率をさらに向上させることができる。また、これにより本実施の形態4のオ−ディオ信号復号化装置600では、量子化誤差を差し引いて生成された周波数スペクトルと、量子化誤差の量子化によって生成された周波数スペクトルとを合成して、量子化誤差を加味したオ−ディオ信号の周波数スペクトルを復元することができるので、高音質な音楽サ−ビスを提供することができるという効果を有する。
【0167】
尚、本実施の形態4では、2段の符号化手段を用いる場合について説明したが、段の数は3段以上でも同様に構成できる。したがって、符号化に必要な情報量に応じて符号化手段の段数を設定することで、情報量に見合った音質を提供することができる。つまり、符号化の情報量であるビットレートが高くても許容できる環境では、段数を増やして、音質を上げることができ、ビットレートが低くしかとれない環境では、音質は段数の多い場合よりも悪いが、少ない段数でビットレートを低くして符号化することができる。
【0168】
また、オ−ディオ信号符号化装置500では、入力された周波数スペクトルの特徴に基づいて、分割する周波数帯域の数を決定する構成であるので、広帯域な音声信号であっても、または狭帯域な音声信号であっても、または低ビットレ−トな音声信号であっても、より細やかな周波数情報を抽出し、全帯域に渡って細やかなスペクトル包絡を求めることが可能となり、量子化の精度を向上させ、少ない情報量から高音質な音楽サ−ビスを提供することができる。
【0169】
また、オ−ディオ信号符号化装置500では、情報量としては非常に少ない線形予測係数を用いて、分割した各周波数帯域毎にスペクトル包絡の合成を行っているので、分割を行わずに全帯域のスペクトル包絡を合成する場合と計算量はほとんど増やすことなく、分割を行わない場合よりも細やかな全帯域の合成スペクトル包絡を求めることができる。
【0170】
また、入力された周波数スペクトルの量子化には、入力された周波数スペクトルを、全帯域の合成スペクトル包絡で除算した値を用いて量子化するので、情報量が大幅に削減され、符号化装置500から出力される符号化信号は、少ない符号列で表現することができ、効率的に符号化を行うことができる。そして、復号化装置600では、入力された周波数スペクトルを、全帯域の合成スペクトル包絡で除算し逆量子化した値に、逆量子化した全帯域の合成スペクトル包絡を乗算し音声信号の生成を行っているので、符号列を少なくした符号化信号から、効率的に高音質な音声信号を生成することができる。
【0171】
【発明の効果】
請求項1に記載のオーディオ信号符号化装置によれば、入力された周波数スペクトル情報を、2つ以上の周波数帯域に分割するスペクトル分割手段と、記分割された各周波数帯域の周波数スペクトル情報から、前記周波数帯域毎にスペクトル概形を推定し、複数のパラメタを算出する複数のスペクトル推定手段と、記複数のパラメタに基づいて、前記周波数帯域毎のスペクトル包絡を合成する複数のスペクトル包絡合成手段と、記複数の周波数帯域毎のスペクトル包絡を重畳して全帯域の合成スペクトル包絡を作成するスペクトル重畳手段と、記複数のパラメタの量子化を行う複数のスペクトル帯域量子化手段と、記入力された周波数スペクトル情報を、記スペクトル重畳手段からの全帯域の合成スペクトル包絡で除算し、除算した値を量子化するスペクトル量子化手段とを備え、前記スペクトル分割手段は、前記入力された周波数スペクトル情報から抽出した聴覚的なエントロピーに基づいて、周波数スペクトル情報の分割方法を決定するものであることを特徴とするものとしたので、入力された周波数スペクトル情報の特徴に応じて、周波数スペクトル情報の分割方法を決定し、分割した各周波数帯域毎にスペクトル概形を推定するので、全帯域に渡って細やかなスペクトル包絡を合成することができ、量子化効率を向上させることができるという効果を有する。
【0177】
また、請求項に記載のオーディオ信号符号化装置によれば、入力された周波数スペクトル情報を、2つ以上の周波数帯域に分割するスペクトル分割手段と、前記分割された各周波数帯域の周波数スペクトル情報から、前記周波数帯域毎にスペクトル概形を推定し、複数のパラメタを算出する複数のスペクトル推定手段と、前記複数のパラメタに基づいて、前記周波数帯域毎のスペクトル包絡を合成する複数のスペクトル包絡合成手段と、前記複数の周波数帯域毎のスペクトル包絡を重畳して全帯域の合成スペクトル包絡を作成するスペクトル重畳手段と、前記複数のパラメタの量子化を行う複数のスペクトル帯域量子化手段と、前記入力された周波数スペクトル情報を、前記スペクトル重畳手段からの全帯域の合成スペクトル包絡で除算し、除算した値を量子化するスペクトル量子化手段とを備え、前記スペクトル分割手段は、記入力された周波数スペクトル情報から判定した音声非音声の判定結果に基づいて、周波数スペクトル情報の分割方法を決定するものであることを特徴とするものとしたので、入力された周波数スペクトル情報の特徴に応じて、周波数スペクトル情報の分割方法を決定し、分割した各周波数帯域毎にスペクトル概形を推定するので、全帯域に渡って細やかなスペクトル包絡を合成することができ、量子化効率を向上させることができるという効果を有する。
また、請求項3に記載の発明に係るオーディオ信号符号化装置によれば、請求項1または請求項2に記載のオーディオ信号符号化装置において、前記スペクトル分割手段と、前記スペクトル推定手段、前記スペクトル包絡合成手段、前記スペクトル重畳手段、前記スペクトル帯域量子化手段、及び前記スペクトル量子化手段を有する符号化手段を2段以上設け、前段の符号化手段の量子化による量子化誤差を、後段の符号化手段が量子化する構成であることを特徴とするものとしたので、符号化に必要な情報量に応じて符号化手段の段数を設けることにより、量子化効率を向上させることができ、しかも情報量としては非常に少ない線形予測係数を用いて量子化誤差の量子化を行うので、符号化手段の段数をたくさん設けても、計算量はほとんど増やすことなく、入力されたオ−ディオ信号の情報量に応じて高音質な音楽サ−ビスを提供することができるという効果を有する。
【0179】
また、請求項に記載のオーディオ信号復号化装置によれば、入力された符号を復号化して周波数スペクトル情報を生成するオーディオ信号復号化装置であって、前記符号を用いて逆量子化を行い、スペクトル情報を出力するスペクトル逆量子化手段と、前記符号を用いて逆量子化を行い、複数のパラメタを出力する複数のスペクトル帯域逆量子化手段と、前記複数のパラメタを用いて周波数帯域毎のスペクトル包絡を合成する複数のスペクトル包絡合成手段と、記複数の周波数帯域毎のスペクトル包絡を重畳して全帯域の合成スペクトル包絡を作成するスペクトル重畳手段と、前記スペクトル情報と、前記複数のパラメタとを乗算して、オーディオ信号の周波数スペクトル情報の生成を行うスペクトル生成手段とを備え、前記複数の周波数帯域は、周波数スペクトル情報から抽出された聴覚的なエントロピーに基づいて、周波数スペクトル情報を分割する方法により分割されたことを特徴とするものとしたので、合成されるスペクトル包絡は細やかなものとなり、高音質なオーディオ信号を生成することができるという効果を有する
【0185】
また、請求項に記載の発明に係るオーディオ信号復号化装置によれば、入力された符号を復号化して周波数スペクトル情報を生成するオーディオ信号復号化装置であって、前記符号を用いて逆量子化を行い、スペクトル情報を出力するスペクトル逆量子化手段と、前記符号を用いて逆量子化を行い、複数のパラメタを出力する複数のスペクトル帯域逆量子化手段と、前記複数のパラメタを用いて周波数帯域毎のスペクトル包絡を合成する複数のスペクトル包絡合成手段と、前記複数の周波数帯域毎のスペクトル包絡を重畳して全帯域の合成スペクトル包絡を作成するスペクトル重畳手段と、前記スペクトル情報と、前記複数のパラメタとを乗算して、オーディオ信号の周波数スペクトル情報の生成を行うスペクトル生成手段とを備え、前記複数の周波数帯域は、周波数スペクトル情報から判定された音声非音声の判定結果に基づいて、周波数スペクトル情報を分割する方法により分割されたことを特徴とするものとしたので、合成されるスペクトル包絡は細やかなものとなり、高音質なオーディオ信号を生成することができるという効果を有する。
また、請求項6に記載の発明に係るオーディオ信号復号化装置によれば、請求項4または請求項5に記載のオーディオ信号復号化装置において、前記スペクトル帯域逆量子化手段と、前記スペクトル包絡合成手段、前記スペクトル重畳手段、前記スペクトル逆量子化手段、及び前記スペクトル生成手段を有する復号化手段を2段以上設け、また、複数の周波数スペクトル情報を、1つのオーディオ信号の周波数スペクトル情報に合成するスペクトル合成器を備えたことを特徴とするものとしたので、量子化誤差を差し引いて復元された周波数スペクトル情報と、復元された量子化誤差を合成し、量子化誤差を加味したオ−ディオ信号の周波数スペクトル情報を復元することができ、高音質な音楽サ−ビスを提供することができるという効果を有する。
【図面の簡単な説明】
【図1】本発明の実施の形態1および2におけるオーディオ信号符号化装置と復号化装置の構成を示す図である。
【図2】本発明の実施の形態1における周波数スペクトルを示す図である。
【図3】本発明の実施の形態3におけるオーディオ信号符号化装置と復号化装置の構成を示す図である。
【図4】本発明の実施の形態3における周波数スペクトル示す図であり、特に周波数スペクトルを3つの周波数帯域に分割した場合の例である。
【図5】本発明の実施の形態4におけるオーディオ信号符号化装置と復号化装置の構成を示す図である。
【図6】従来のオーディオ信号符号化装置の構成を示す図である。
【符号の説明】
100 オ−ディオ信号符号化装置
101 スペクトル分割手段
102 スペクトル1推定手段
103 スペクトル2推定手段
104 スペクトル包絡1合成手段
105 スペクトル包絡2合成手段
106 スペクトル重畳手段
107 スペクトル量子化手段
108 スペクトル帯域1量子化手段
109 スペクトル帯域2量子化手段
200 オ−ディオ信号復号化装置
202 スペクトル帯域1逆量子化手段
203 スペクトル帯域2逆量子化手段
204 スペクトル包絡1合成手段
205 スペクトル包絡2合成手段
206 スペクトル重畳手段
207 スペクトル逆量子化手段
208 スペクトル生成手段
300 オ−ディオ信号符号化装置
301 スペクトル分割手段
302 スペクトル1推定手段
303 スペクトル2推定手段
304 スペクトルN推定手段
305 スペクトル包絡1合成手段
306 スペクトル包絡2合成手段
307 スペクトル包絡N合成手段
308 スペクトル重畳手段
309 スペクトル量子化手段
310 スペクトル帯域1量子化手段
311 スペクトル帯域2量子化手段
312 スペクトル帯域N量子化手段
400 オ−ディオ信号復号化装置
402 スペクトル帯域1逆量子化手段
403 スペクトル帯域2逆量子化手段
404 スペクトル帯域N逆量子化手段
405 スペクトル包絡1合成手段
406 スペクトル包絡2合成手段
407 スペクトル包絡N合成手段
408 スペクトル重畳手段
409 スペクトル逆量子化手段
410 スペクトル生成手段
500 オ−ディオ信号符号化装置
501 スペクトル分割手段
502 スペクトル1推定手段
503 スペクトル2推定手段
504 スペクトルN推定手段
505 スペクトル包絡1合成手段
506 スペクトル包絡2合成手段
507 スペクトル包絡N合成手段
508 スペクトル重畳手段
509 スペクトル量子化手段
510 スペクトル帯域1量子化手段
511 スペクトル帯域2量子化手段
512 スペクトル帯域N量子化手段
521 スペクトル分割手段
522 スペクトル1推定手段
523 スペクトル2推定手段
524 スペクトルN推定手段
525 スペクトル包絡1合成手段
526 スペクトル包絡2合成手段
527 スペクトル包絡N合成手段
528 スペクトル重畳手段
529 スペクトル量子化手段
530 スペクトル帯域1量子化手段
531 スペクトル帯域2量子化手段
532 スペクトル帯域N量子化手段
600 オ−ディオ信号復号化装置
602 スペクトル帯域1逆量子化手段
603 スペクトル帯域2逆量子化手段
604 スペクトル帯域N逆量子化手段
605 スペクトル包絡1合成手段
606 スペクトル包絡2合成手段
607 スペクトル包絡N合成手段
608 スペクトル重畳手段
609 スペクトル逆量子化手段
610 スペクトル生成手段
611 スペクトル帯域1逆量子化手段
612 スペクトル帯域2逆量子化手段
613 スペクトル帯域N逆量子化手段
614 スペクトル包絡1合成手段
615 スペクトル包絡2合成手段
616 スペクトル包絡N合成手段
617 スペクトル重畳手段
618 スペクトル逆量子化手段
619 スペクトル生成手段
620 スペクトル合成器
700 オ−ディオ信号符号化装置
701 スペクトル推定手段
702 量子化手段
703 スペクトル合成手段
704 スペクトル正規化手段
705 スペクトル量子化手段

Claims (6)

  1. 入力された周波数スペクトル情報を、2つ以上の周波数帯域に分割するスペクトル分割手段と、
    記分割された各周波数帯域の周波数スペクトル情報から、前記周波数帯域毎にスペクトル概形を推定し、複数のパラメタを算出する複数のスペクトル推定手段と、
    記複数のパラメタに基づいて、前記周波数帯域毎のスペクトル包絡を合成する複数のスペクトル包絡合成手段と、
    記複数の周波数帯域毎のスペクトル包絡を重畳して全帯域の合成スペクトル包絡を作成するスペクトル重畳手段と、
    記複数のパラメタの量子化を行う複数のスペクトル帯域量子化手段と、
    記入力された周波数スペクトル情報を、記スペクトル重畳手段からの全帯域の合成スペクトル包絡で除算し、除算した値を量子化するスペクトル量子化手段とを備え
    前記スペクトル分割手段は、前記入力された周波数スペクトル情報から抽出した聴覚的なエントロピーに基づいて、周波数スペクトル情報の分割方法を決定するものであることを特徴とするオーディオ信号符号化装置。
  2. 入力された周波数スペクトル情報を、2つ以上の周波数帯域に分割するスペクトル分割手段と、
    前記分割された各周波数帯域の周波数スペクトル情報から、前記周波数帯域毎にスペクトル概形を推定し、複数のパラメタを算出する複数のスペクトル推定手段と、
    前記複数のパラメタに基づいて、前記周波数帯域毎のスペクトル包絡を合成する複数のスペクトル包絡合成手段と、
    前記複数の周波数帯域毎のスペクトル包絡を重畳して全帯域の合成スペクトル包絡を作成するスペクトル重畳手段と、
    前記複数のパラメタの量子化を行う複数のスペクトル帯域量子化手段と、
    前記入力された周波数スペクトル情報を、前記スペクトル重畳手段からの全帯域の合成スペクトル包絡で除算し、除算した値を量子化するスペクトル量子化手段とを備え、
    記スペクトル分割手段は、記入力された周波数スペクトル情報から判定した音声非音声の判定結果に基づいて、周波数スペクトル情報の分割方法を決定するものであることを特徴とするオーディオ信号符号化装置。
  3. 請求項1または請求項2に記載のオーディオ信号符号化装置において、
    記スペクトル分割手段と、記スペクトル推定手段、記スペクトル包絡合成手段、記スペクトル重畳手段、記スペクトル帯域量子化手段、及び記スペクトル量子化手段を有する符号化手段を2段以上設け、
    前段の符号化手段の量子化による量子化誤差を、後段の符号化手段が量子化する構成であることを特徴とするオーディオ信号符号化装置。
  4. 入力された符号を復号化して周波数スペクトル情報を生成するオーディオ信号復号化装置であって、
    前記符号を用いて逆量子化を行い、スペクトル情報を出力するスペクトル逆量子化手段と、
    前記符号を用いて逆量子化を行い、複数のパラメタを出力する複数のスペクトル帯域逆量子化手段と、
    前記複数のパラメタを用いて周波数帯域毎のスペクトル包絡を合成する複数のスペクトル包絡合成手段と、
    記複数の周波数帯域毎のスペクトル包絡を重畳して全帯域の合成スペクトル包絡を作成するスペクトル重畳手段と、
    前記スペクトル情報と、前記複数のパラメタとを乗算して、オーディオ信号の周波数スペクトル情報の生成を行うスペクトル生成手段とを備え
    前記複数の周波数帯域は、周波数スペクトル情報から抽出された聴覚的なエントロピーに基づいて、周波数スペクトル情報を分割する方法により分割されたことを特徴とするオーディオ信号復号化装置。
  5. 入力された符号を復号化して周波数スペクトル情報を生成するオーディオ信号復号化装置であって、
    前記符号を用いて逆量子化を行い、スペクトル情報を出力するスペクトル逆量子化手段と、
    前記符号を用いて逆量子化を行い、複数のパラメタを出力する複数のスペクトル帯域逆量子化手段と、
    前記複数のパラメタを用いて周波数帯域毎のスペクトル包絡を合成する複数のスペクトル包絡合成手段と、
    前記複数の周波数帯域毎のスペクトル包絡を重畳して全帯域の合成スペクトル包絡を作成するスペクトル重畳手段と、
    前記スペクトル情報と、前記複数のパラメタとを乗算して、オーディオ信号の周波数スペクトル情報の生成を行うスペクトル生成手段とを備え、
    前記複数の周波数帯域は、周波数スペクトル情報から判定された音声非音声の判定結果に基づいて、周波数スペクトル情報を分割する方法により分割されたことを特徴とするオーディオ信号復号化装置。
  6. 請求項4または請求項5に記載のオーディオ信号復号化装置において、
    記スペクトル帯域逆量子化手段と、記スペクトル包絡合成手段、前記スペクトル重畳手段、前記スペクトル逆量子化手段、及び前記スペクトル生成手段を有する復号化手段を2段以上設け、
    また、複数の周波数スペクトル情報を、1つのオーディオ信号の周波数スペクトル情報に合成するスペクトル合成器を備えたことを特徴とするオーディオ信号復号化装置。
JP00329999A 1999-01-08 1999-01-08 オーディオ信号符号化装置及び復号化装置 Expired - Fee Related JP4354561B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00329999A JP4354561B2 (ja) 1999-01-08 1999-01-08 オーディオ信号符号化装置及び復号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00329999A JP4354561B2 (ja) 1999-01-08 1999-01-08 オーディオ信号符号化装置及び復号化装置

Publications (3)

Publication Number Publication Date
JP2000206989A JP2000206989A (ja) 2000-07-28
JP2000206989A5 JP2000206989A5 (ja) 2007-07-26
JP4354561B2 true JP4354561B2 (ja) 2009-10-28

Family

ID=11553504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00329999A Expired - Fee Related JP4354561B2 (ja) 1999-01-08 1999-01-08 オーディオ信号符号化装置及び復号化装置

Country Status (1)

Country Link
JP (1) JP4354561B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4317355B2 (ja) * 2001-11-30 2009-08-19 パナソニック株式会社 符号化装置、符号化方法、復号化装置、復号化方法および音響データ配信システム
EP3336843B1 (en) * 2004-05-14 2021-06-23 Panasonic Intellectual Property Corporation of America Speech coding method and speech coding apparatus
WO2006107833A1 (en) * 2005-04-01 2006-10-12 Qualcomm Incorporated Method and apparatus for vector quantizing of a spectral envelope representation
US9043214B2 (en) 2005-04-22 2015-05-26 Qualcomm Incorporated Systems, methods, and apparatus for gain factor attenuation

Also Published As

Publication number Publication date
JP2000206989A (ja) 2000-07-28

Similar Documents

Publication Publication Date Title
KR101373004B1 (ko) 고주파수 신호 부호화 및 복호화 장치 및 방법
KR101278546B1 (ko) 대역폭 확장 출력 데이터를 생성하기 위한 장치 및 방법
EP2224432B1 (en) Encoder, decoder, and encoding method
EP2128857B1 (en) Encoding device and encoding method
RU2707931C1 (ru) Декодер речи, кодер речи, способ декодирования речи, способ кодирования речи, программа декодирования речи и программа кодирования речи
KR101120911B1 (ko) 음성신호 복호화 장치 및 음성신호 부호화 장치
EP2235719B1 (en) Audio encoder and decoder
EP2991075B1 (en) Speech coding method and speech coding apparatus
US8639500B2 (en) Method, medium, and apparatus with bandwidth extension encoding and/or decoding
KR101435893B1 (ko) 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치
TWI576832B (zh) 產生帶寬延伸訊號的裝置與方法
KR102055022B1 (ko) 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램
US20100280833A1 (en) Encoding device, decoding device, and method thereof
US20060122828A1 (en) Highband speech coding apparatus and method for wideband speech coding system
JP5809066B2 (ja) 音声符号化装置および音声符号化方法
WO2007037361A1 (ja) 音声符号化装置および音声符号化方法
JP2009524099A (ja) 符号化/復号化装置及び方法
WO2006075563A1 (ja) オーディオ符号化装置、オーディオ符号化方法およびオーディオ符号化プログラム
US8909539B2 (en) Method and device for extending bandwidth of speech signal
KR20080045047A (ko) 대역폭 확장 부호화 및 복호화 방법 및 장치
WO2011086923A1 (ja) 符号化装置、復号装置、スペクトル変動量算出方法及びスペクトル振幅調整方法
WO2009059632A1 (en) An encoder
JP4354561B2 (ja) オーディオ信号符号化装置及び復号化装置
Bartkowiak Low bit rate coding of sparse audio spectra using frequency shift and interleaved MDCT
Ning et al. Wideband audio compression using a combined wavelet and WLPC representation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090707

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090730

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees