JP4399185B2 - 符号化装置および復号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、音声信号や音楽信号などのオーディオ信号に対して、直交変換等の手法を用いて、時間領域から周波数領域に変換した信号を、より少ない符号化列で符号化することにより情報を圧縮する符号化方法と、符号化列を入力として情報を伸長し、オーディオ信号を得る復号化方法に関するものである。
【０００２】
【従来の技術】
オーディオ信号の符号化方法、および、復号化方法は現在までに非常に多くの方式が開発されている。特に昨今では、それらの中でもＩＳＯ／ＩＥＣで国際標準化されたＩＳ１３８１８−７が認知され、高音質で高効率な符号化方法として、評価されている。この符号化方式はＡＡＣ（Advanced Audio Coding）と呼ばれている。近年、前記ＡＡＣがＭＰＥＧ４と呼ばれる標準化にも採用され、前記ＩＳ１３８１８−７に対して、いくつかの拡張機能を具備したＭＰＥＧ４−ＡＡＣと呼ばれる方式が策定されている。その中のINFORMATIVE PARTにその符号化過程の一例が記述されている。
【０００３】
ここで図２１を用いて、従来の符号化方法を用いたオーディオ符号化装置について説明する。図２１は、従来の符号化装置１００の構成を示すブロック図である。この符号化装置１００は、時間‐周波数変換部１０１、スペクトル増幅部１０２、スペクトル量子化部１０３、ハフマン符号化部１０４および符号化列転送部１０５を含んで構成される。アナログオーディオ信号を所定の周波数でサンプリングすることによって得られた時間軸上のデジタルオーディオ信号は、一定時間間隔で一定サンプル数ずつに切り出され、時間‐周波数変換部１０１を経て、周波数軸上のデータに変換された後、符号化装置１００の入力信号としてスペクトル増幅部１０２に与えられる。スペクトル増幅部１０２は、あらかじめ決められた帯域ごとにある１つのゲインをもって、前記帯域に含まれるスペクトルを増幅する。スペクトル量子化部１０３は、前出の増幅されたスペクトルを決められた変換式で量子化を行う。ＡＡＣ方式の場合は、浮動小数で表現されている周波数スペクトル情報を整数値に丸めを行うことで量子化をおこなっている。ハフマン符号化部１０４は、前記量子化されたスペクトル情報を何個かごとにまとめてハフマン符号化した上、スペクトル増幅部１０２における前記所定帯域ごとのゲインおよび量子化の変換式を特定する情報などをハフマン符号化し、その符号を符号化列転送部１０５に送る。ハフマン符号化された符号化列は、符号化列転送部１０５から伝送路または記録媒体などを介して復号化装置に転送され、復号化装置によって時間軸上のオーディオ信号に再生される。従来の符号化装置はこのようにして動作する。
【０００４】
【特許文献１】
米国特許ＷＯ９８／５７４３６
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の符号化装置１００では、情報の圧縮能力がハフマン符号化部１０４などの性能に委ねられており、高い圧縮率で、つまり、少ない情報量で符号化を行う際には、前記スペクトル増幅部１０２で十分にゲインを大きくし、前記スペクトル量子化部１０３で得られる量子化スペクトル列が前記ハフマン符号化部１０４で少ない情報量となるように符号化する必要がある。このような方法に従って、少ない情報量となるように符号化を行うと、再生される音声および音楽の周波数帯域が実効的に狭くなってしまう。このため、聴感上こもった感じが否めず、十分な音質を確保できないという問題が生じる。
【０００６】
また、上記従来の符号化装置１００では、時間‐周波数変換部１０１において、時間軸上で表現された入力信号が予め決められた間隔（サンプル数）ごとに、周波数軸上に表現される周波数スペクトルへと変換される。従って、この後段で符号化のために量子化される信号は周波数軸上のスペクトルである。量子化処理では、周波数スペクトルの小数値を整数値に丸める処理などによって量子化誤差を生じることを避けられないのであるが、周波数軸上の信号に生じた量子化誤差を周波数軸上で評価することは容易である反面、時間軸上で評価することは困難である。このために、時間軸上に反映される量子化誤差を評価して、符号化装置の時間分解能を向上させることは容易ではない。また、符号化に割り当て可能な情報量が十分に多ければ、周波数分解能と時間分解能の両者を容易に向上させることが可能であるが、符号化に割り当てる情報量を小さくした場合には、両者を向上させることは非常に困難である。
【０００７】
本発明は、上記課題に鑑み、符号化装置ではオーディオ信号を高い圧縮率、かつ、高い時間分解能で符号化し、復号化装置では広帯域な周波数スペクトル情報を復号化できる符号化装置および復号化装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の符号化装置は、入力される原信号を時間‐周波数変換して得られる周波数領域の信号を符号化し、出力信号を生成する符号化装置であって、入力原信号の特性に基づいて、周波数スペクトルの一部の帯域を特定する第１の帯域特定手段と、特定された帯域の信号を、周波数−時間変換した信号に変換する時間変換手段と、前記時間変換手段によって得られる信号と、前記周波数スペクトルの少なくとも一部とを符号化し、符号化された前記信号および前記周波数スペクトルから出力信号を生成する符号化手段とを備える。
【０００９】
また、本発明の復号化装置は、時間領域の離散信号を符号化して得られた符号化列を復号化し、周波数スペクトルを出力する復号化装置であって、入力された符号化列に含まれる一部の符号化列を抽出し、抽出された符号化列を復号化する復号化手段と、抽出された符号化列を復号化して得られた信号を、周波数スペクトルに変換する周波数変換手段と、入力された符号化列の他の部分から抽出された符号化列を復号化して得られた周波数スペクトルと、前記周波数変換手段によって得られた周波数スペクトルとを周波数軸上で合成する合成手段とを備える。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態における符号化装置および復号化装置について、図面（図１〜図２０）を用いて説明する。
【００１１】
（実施の形態１）
図１は本発明の実施の形態１における符号化装置２００の構成を示すブロック図である。符号化装置２００は、時間軸上で表されるオーディオ入力信号の時間特性を抽出し、抽出された時間特性に基づいて、周波数スペクトルの一部を時間領域の信号に部分的に変換して符号化する符号化装置であって、時間‐周波数変換部２０１、周波数特性抽出部２０２、時間特性抽出部２０３、時間変換部２０４および符号化列生成部２０５を備える。
【００１２】
時間−周波数変換部２０１は、オーディオ入力信号を、ある時間間隔ごとに時間軸上の離散信号から周波数スペクトル情報に変換する。より具体的には、時間‐周波数変換部２０１は、時間領域のオーディオ信号を、例えば、１フレーム（１０２４サンプル）を単位として一度に変換し、変換結果としては、１０２４サンプルの周波数スペクトル係数などを生成する。時間‐周波数変換としてはＭＤＣＴ変換などが用いられ、変換結果としてはＭＤＣＴ係数などがあげられる。このうち、時間特性抽出部２０３によって特定された帯域の複数の周波数スペクトル係数を時間変換部２０４に出力し、それ以外の帯域の周波数スペクトル係数を周波数特性抽出部２０２に出力する。
【００１３】
周波数特性抽出部２０２は、周波数スペクトルの周波数特性を抽出し、抽出した特性に基づき、周波数領域において量子化および符号化した場合に符号化効率がよくない帯域を選出し、時間‐周波数変換部２０１の出力である周波数スペクトルから切り出して時間変換部２０４に出力する。それ以外の帯域の周波数スペクトルは符号化列生成部２０５に入力される。
【００１４】
時間特性抽出部２０３は、オーディオ入力信号の時間的特性を調べ、符号化列生成部２０５における量子化の際に時間分解能を優先すべきか周波数分解能を優先すべきかを判定し、時間分解能を優先すべきと判定された周波数帯域を特定する。時間変換部２０４は、時間分解能を優先すべきと判定された帯域の周波数スペクトルおよび周波数特性抽出部２０２によって選出された帯域の周波数スペクトルを、完全に可逆な変換式を用いて、周波数スペクトル係数の時間変化として表される時間周波数信号に変換する。
【００１５】
符号化列生成部２０５は、結果的に、時間−周波数変換部２０１から入力される周波数スペクトルと時間変換部２０４から入力される時間周波数信号とを量子化した後、符号化する。さらに、符号化列生成部２０５は、符号化された符号化データにヘッダなどの付加情報を付して所定のフォーマットに従う符号化列を生成し、生成された符号化列を符号化装置２００の外部に出力する。
【００１６】
図２は、図１に示した時間‐周波数変換部２０１による時間周波数変換の一例を示す図である。時間‐周波数変換部２０１は、例えば、図２のように、時間軸上の離散信号を、一定時間ごとに重複を許して切り出し、変換を実行する。図２では、Ｎ番目（Ｎは正の整数）のフレームに対し、２分の１フレームの重複を許して（Ｎ＋１）番目のフレームを切り出し、変換する場合を示している。一般に、時間−周波数変換部２０１は、変形離散余弦変換（Modified Discrete Cosine Transform）いわゆるＭＤＣＴ変換によって変換を行う。しかしながら、時間−周波数変換部２０１による変換方法は、ＭＤＣＴ変換に限定されるものではなく、ポリフェーズフィルターでもよいし、フーリエ変換などでもよい。ＭＤＣＴ変換、ポリフェーズフィルター、フーリエ変換はいずれも当業者には公知であるので説明を省略する。
【００１７】
図３（ａ）は、時間−周波数変換部２０１に入力される時間領域のオーディオ信号の図である。同図において、第Ｎフレームに相当する部分の信号が一度に周波数変換されるとする。図３（ｂ）は、図３（ａ）に示した第Ｎフレームのオーディオ信号を一度に時間‐周波数変換して得られる周波数スペクトルを示す図である。同図は、縦軸に周波数、横軸にその周波数に対する周波数スペクトル係数の値をプロットしたものである。このように、第Ｎフレームに対する時間領域の信号は、周波数領域の信号へと変換される。図３（ｂ）に示される周波数スペクトルは、図３（ａ）に示した１フレーム時間内のオーディオ信号に含まれる周波数成分の特徴を示している。
【００１８】
なお、時間−周波数変換部２０１としてＭＤＣＴ変換を用いる場合、時間領域の信号と、周波数領域の信号との実効的なサンプル数は同じとなる。実効的なサンプル数とは、ＭＤＣＴ変換の場合、図３（ａ）に示される第Ｎフレームのサンプル数が２０４８サンプルの場合、図３（ｂ）で示される独立な周波数係数（ＭＤＣＴ係数）は１０２４サンプルである。しかしながら、ＭＤＣＴ変換は図２で示すように２分の１フレームずつオーバーラップするアルゴリズムであるので、図３（ａ）で新しく入力されるサンプル数は１０２４サンプルとなる。よって、図３（ａ）のサンプル数と図３（ｂ）のサンプル数は情報の数としては同じと考えられ、これをもって実効的なサンプル数を１０２４とする。第Ｎフレームの実効的なサンプル数は、前記のように１０２４でもいいし、１２８などでもよいし、任意の値でよい。この値は、本発明の符号化装置２００と復号化装置との間であらかじめ取り決められる。
【００１９】
一方、オーディオ入力信号は、時間‐周波数変換部２０１以外に時間特性抽出部２０３へも入力される。時間特性抽出部２０３では、与えられたオーディオ入力信号の時間変化を調べ、オーディオ入力信号が量子化される際に、時間分解能が優先されるべきか周波数分解能が優先されるべきかを判定する。すなわち、時間特性抽出部２０３は、オーディオ入力信号を周波数領域で量子化すべきか、時間領域で量子化すべきかを決定する。時間領域で量子化するとは、時間領域の信号によってオーディオ入力信号の時間変化を復号化装置に伝えることを意味する。
【００２０】
さらに、これは、量子化が量子化誤差をともない、その誤差値が、周波数領域で量子化を行った場合には周波数領域の一定値の範囲に留まるが、時間領域ではどのような値の範囲に分布するかを把握が困難であることに基づく。すなわち、周波数領域で量子化を行った場合には周波数分解能が高く、時間領域で量子化を行った場合には時間分解能が高くすることが可能という理由による。
【００２１】
また、一般に、与えられたオーディオ入力信号の１フレームを、複数の時間的なサブフレームに分割した際に、各々のサブフレームに属する信号の平均エネルギーが隣接サブフレームの平均エネルギーと比べて大きく変動した場合は、オーディオ入力信号にアタックなどの急激な音量変化があったと考えられる。このような場合には、時間領域に量子化誤差が拡散することは好ましくない。このため、時間特性抽出部２０３は、このような帯域の量子化において周波数分解能よりも、時間分解能を優先すべきと判定する。時間特性抽出部２０３が平均エネルギーの変動が大きいと判定する閾値（例えば、隣接サブフレーム間の平均エネルギーの差分の閾値）は、符号化装置の実装方法に応じて定められる。
【００２２】
次いで、時間特性抽出部２０３は、オーディオ入力信号において、時間領域で量子化を行うべき帯域を特定する。帯域および帯域幅の選定は、これらに限定されない。帯域の特定方法は、まず、サブフレーム内で、時間領域において最大振幅を与えるサンプルを含む信号（ピーク信号）を特定し、そのピーク信号の周波数を計算する。さらに、時間特性抽出部２０３は、例えば、ピーク信号の大きさに応じて帯域幅を決定し、計算の結果得られた周波数またはそれに近い周波数を含み、決定された帯域幅の帯域を特定する。時間特性抽出部２０３では、時間分解能を優先すべきか周波数分解能を優先すべきかの判定結果と特定された帯域とを示す情報を、時間−周波数変換部２０１および符号化列生成部２０５に出力する。
【００２３】
周波数特性抽出部２０２は、時間‐周波数変換部２０１の出力信号である周波数スペクトルの特性を調べ、時間領域で量子化した方が好ましい帯域を特定する。例えば、符号化列生成部２０５における符号化効率を考慮すると、周波数スペクトルにおいて隣接する周波数スペクトル係数の分散が大きい帯域、または、隣接する周波数スペクトル係数の正負の符号が頻繁に切り替わる帯域などでは符号化効率が向上しない場合が多い。このため、周波数特性抽出部２０２は、入力される周波数スペクトルからこれに該当する帯域を切り出して時間変換部２０４に出力し、該当しない帯域についてはそのまま符号化列生成部２０５に出力する。併せて、時間変換部２０４に出力した帯域を特定するための情報を符号化列生成部２０５に出力する。
【００２４】
符号化列生成部２０５では、周波数特性抽出部２０２の出力信号（周波数スペクトルおよび帯域を特定する情報）と、時間特性抽出部２０３の判定結果およびその帯域を特定する情報と、時間変換部２０４の出力信号（周波数時間信号）とを合成して、符号化列を生成する。
【００２５】
図４（ａ）は、図３（ａ）と同様の時間軸上のオーディオ信号において、第Ｎフレームを前半のサブフレーム１と後半のサブフレーム２とに分割した様子を示す図である。同図では、サブフレーム１とサブフレーム２との長さは同じである場合を示しているが、サブフレーム１とサブフレーム２との長さは同じでなくともよいし、重複を許してもよい。なお、以後は、説明を簡単にするために、図４で図示したものと同様に、サブフレーム１とサブフレーム２との長さが同じ場合について述べる。
【００２６】
図４（ｂ）は、図４（ａ）に示したサブフレーム１の時間領域のオーディオ信号を周波数領域の信号へ変換して得られた周波数スペクトルを示す図である。また、図４（ｃ）は、図４（ａ）に示したサブフレーム２の時間領域のオーディオ信号を周波数領域の信号へ変換して得られた周波数スペクトルを示す図である。時間領域から周波数領域への変換は、各々のサブフレームのオーディオ信号のみを用いて変換し、変換によって得られた周波数領域の信号（周波数スペクトル）は、その逆変換（周波数‐時間変換）を行うことで、元の時間領域の信号へ完全に復元できるものとする。このような周波数変換としては、離散フーリエ変換や離散コサイン変換などがあるが、これらは当業者には公知であるので説明を省略する。また、前述のＭＤＣＴ変換は、時間的なオーバーラップを有するフレームの時間領域の信号に対して、周波数領域の信号に変換するものであるが、時間領域の信号の再構成に遅延を要するので、図４（ｂ）および図４（ｃ）の周波数スペクトルを導出する場合には使用しない。同様に遅延が生じる理由から、ポリフェーズフィルターなども用いない。
【００２７】
図４（ｂ）および図４（ｃ）の周波数スペクトルは、第Ｎフレームを前半と後半とに分割しているのでそれぞれサブフレーム１とサブフレーム２とに含まれるサンプル数は、１フレームの１／２である。図４（ａ）および図４（ｂ）の周波数スペクトルは、それぞれ１フレームの半分のサンプル数で、すなわち、周波数軸方向に２倍のサンプル間隔で、図３（ｂ）に示した帯域と同じ帯域における周波数成分の割合の変化を示している。図３（ｂ）に示したように、１フレームのオーディオ入力信号を一度に時間‐周波数変換すると、１フレームのオーディオ入力信号全体に含まれる周波数成分の割合を示す周波数スペクトルが得られるが、図４（ｂ）および図４（ｃ）に示すように、１フレームのオーディオ入力信号を前半と後半とに分割してそれぞれ時間‐周波数変換すると、オーディオ入力信号の第Ｎフレームにおいて、前半と後半とではそれぞれの部分のオーディオ信号に含まれる周波数成分の割合が異なっていることがわかる。すなわち、図４（ｂ）および図４（ｃ）に示した周波数スペクトルは、第Ｎフレームの前半と後半とにおけるオーディオ信号の周波数成分の割合の時間的変化を表している。
【００２８】
上記図４（ｂ）および図４（ｃ）においては、第Ｎフレームを２つのサブフレームに分割して各サブフレームを時間‐周波数変換した場合の周波数スペクトルの例を示したが、以下では、第Ｎフレームをさらに細かく（Ｍ＋１）個のサブフレームに分割した場合について図５（ａ）および図５（ｂ）を用いて説明する。図５（ａ）は、図３（ａ）と同様の時間領域のオーディオ信号（第Ｎフレーム）を（Ｍ＋１）個のサブフレームに分割した様子を示す図である。
【００２９】
図５（ｂ）は、１フレームのオーディオ入力信号を（Ｍ＋１）個のサブフレームに分割し、サブフレームごとに時間‐周波数変換することによって得られる周波数スペクトルを示す図である。図５（ａ）および図５（ｂ）において、任意番目（たとえばＰ（Ｐは整数）番目）のサブフレームの時間領域の信号SubPは、少なくとも同じかそれ以上のサンプル数からなる周波数スペクトル係数Spect_SubPに変換される。以下では、説明を簡単にするために、同数のサンプル数からなる周波数スペクトルに変換されるものとする。このように、図５（ｂ）に示す（Ｍ＋１）個の周波数スペクトル（周波数スペクトル係数Spect_Sub0〜周波数スペクトル係数Spect_SubM）は、図４（ｂ）および図４（ｃ）に示した周波数スペクトルと比較すると、周波数軸方向にはサンプル間隔がより大きくなるが、時間軸方向にはより細かく第Ｎフレーム内の周波数成分の時間変化を表しているといえる。
【００３０】
次に、図６（ａ）および図６（ｂ）を用いて、１フレームのオーディオ入力信号を時間‐周波数変換することによって得られる周波数スペクトルと、サブフレームごとに時間周波数変換することによって得られる周波数スペクトルとの対応を説明する。図６（ａ）は、１フレームのオーディオ信号を一度に時間‐周波数変換することによって得られる周波数スペクトル上の周波数バンドBandAに含まれるサンプルを示す図である。図６（ａ）の周波数スペクトルは、図３（ｂ）に示した周波数スペクトルと同一である。
【００３１】
また、図６（ｂ）は、１フレームのオーディオ入力信号を（Ｍ＋１）個のサブフレームに分割し、サブフレームごとに時間‐周波数変換することによって得られる周波数スペクトル上の周波数バンドBandBに含まれるサンプルを示す図である。すなわち、図６（ｂ）の周波数スペクトルは、図５（ｂ）に示した周波数スペクトルと同一である。図６（ａ）の周波数スペクトルにおける周波数バンドBandAと、図６（ｂ）の周波数スペクトルにおける周波数バンドBandBとは、同一の周波数帯域を示している。すなわち、１フレーム全体では、周波数バンドBandAに含まれるサンプル数と周波数バンドBandBに含まれるサンプル数とは同数である。このことは図６（ａ）の周波数バンドBandA内の周波数スペクトル係数（図中では黒色ひし形）と、図６（ｂ）の周波数バンドBandB内のすべてのサブフレーム中の周波数スペクトル係数（図中では黒色ひし形）とが、ほぼ等価の情報に相当することを示している。
【００３２】
ここでは、周波数バンドBandA内の周波数スペクトル係数を、変換式を用いて時間変換することによって、周波数バンドBandB内の周波数スペクトル係数と完全に一致する周波数スペクトル係数が得られる必要はなく、周波数バンドBandA内の周波数スペクトル係数が周波数バンドBandB内の周波数スペクトル係数に相当することが重要である。したがって、周波数バンドBandA内の各サンプル（周波数スペクトル係数）を表現することは、周波数バンドBandB内のすべてのサブバンドにあるサンプル（周波数スペクトル係数）を表現することに置き換えて考えることができる。
【００３３】
よって、本発明の実施の形態１の符号化装置２００では、時間分解能を優先すると判定された周波数バンドBandAについては、周波数バンドBandAの周波数スペクトル係数を量子化し符号化する代わりに、周波数バンドBandBの周波数スペクトル係数を量子化し符号化する。すなわち、時間変換部２０４は、時間‐周波数変換部２０１によって得られた周波数スペクトルのうち、時間分解能を優先すると判定された周波数バンドBandAに対して、例えば、ＤＣＴ変換の逆変換（周波数‐時間変換）に相当するような変換式を適用し、図６（ｂ）に示す周波数バンドBandB内の全サンプル（周波数スペクトル係数）に相当する周波数スペクトル係数を出力する。
【００３４】
以下では、時間変換部２０４による時間変換方法をより分かりやすく説明するために、図６（ａ）および図６（ｂ）に示した周波数バンドBandAと周波数バンドBandBとの帯域幅を、図７（ａ）および図７（ｂ）を用いて周波数バンドBandDに属するサンプルが各サブバンドについて１つあるように周波数バンドBandDの幅を選んだ場合について説明する。図７（ａ）は、１フレームのオーディオ信号を一度に時間‐周波数変換することによって得られる周波数スペクトル上の周波数バンドBandC内のサンプルを示す図である。
【００３５】
図７（ｂ）は、１フレームのオーディオ入力信号を（Ｍ＋１）個のサブフレームに分割し、サブフレームごとに時間‐周波数変換することによって得られる周波数スペクトル上の周波数バンドBandD内のサンプルを示す図である。図７（ａ）の周波数スペクトルは、図３（ｂ）に示した周波数スペクトルと同じであり、図７（ｂ）の周波数スペクトルは、図５（ｂ）に示した周波数スペクトルと同じである。また、図７（ａ）の周波数スペクトルにおける周波数バンドBandCと、図７（ｂ）の周波数スペクトルにおける周波数バンドBandDとは、同一の周波数帯域を示している。
【００３６】
図７（ｂ）において、周波数バンドBandDに属するサンプル（周波数スペクトル係数）が（Ｍ＋１）個の各サブバンドについて１つあるように周波数バンドBandDを選ぶとき、図７（ａ）に示した周波数スペクトルにおいて同じ周波数帯域である周波数バンドBandC内のサンプル数は、（Ｍ＋１）個である。図７（ｂ）に示す周波数バンドBandDに属するサンプルは、（Ｍ＋１）個の各サブフレームから１つずつ選出されているので、横軸に時間、縦軸に周波数スペクトル係数をとって前記各サンプルをプロットすれば、それはオーディオ信号１フレームにおいて、周波数バンドBandC内に属する１つの周波数スペクトル係数の時間変化を表しているといえる。
【００３７】
図８（ａ）は、図７（ａ）と同様、１フレームのオーディオ信号を一度に時間‐周波数変換することによって得られる周波数スペクトル上の周波数バンドBandC内のサンプルを示す図である。図８（ｂ）は、横軸を時間、縦軸を周波数スペクトル係数値として、図７（ｂ）に示した各サンプル（周波数スペクトル係数）をプロットし直した図である。すでに説明したように、（Ｍ＋１）個の各サブフレームにおける同一周波数バンドBandDから１サンプルずつ抽出し、図８（ｂ）のようにプロットした信号は、時間変換部２０４によって得られる時間周波数信号に相当し、当該周波数バンドBandDの周波数スペクトル係数の時間変化を表す時間周波数信号である。
【００３８】
このように、図８（ａ）に示された周波数バンドBandC内の各サンプル（周波数スペクトル係数）は、図８（ｂ）の時間周波数信号（周波数バンドBandD）とほぼ同じ情報として扱うことができる。従って、以後の説明では、図８（ａ）の周波数スペクトル係数を量子化することを、「Qfする」と表現し、図８（ｂ）の時間周波数信号を量子化することを、「Qtする」と表現することにする。
【００３９】
本発明の実施の形態１の符号化装置２００において、図１に示した時間変換部２０４では、時間‐周波数変換部２０１によって得られる周波数スペクトルの一部の周波数スペクトル係数、すなわち、図８（ａ）の周波数バンドBandCに含まれる周波数スペクトル係数列を、図８（ｂ）に示される時間領域の時間周波数信号へと変換する。この変換の過程は、前に説明した図７（ａ）の周波数バンドBandCに含まれる周波数スペクトル係数列を、図７（ｂ）の周波数バンドBandDに含まれる周波数スペクトル係数列へ変換することに相当する。または、図６（ａ）の周波数バンドBandAの周波数スペクトル係数列を、図６（ｂ）の周波数バンドBandＢの周波数スペクトル係数列へ変換することに相当する。
【００４０】
図１に示した符号化列生成部２０５では、時間‐周波数変換部２０１からの出力と、上記のように変換された時間変換部２０４からの出力とを、量子化して符号化し、符号化列を出力する。なお、符号化列生成部２０５における量子化および符号化の具体的方法は、ハフマン符号化やベクトル量子化などの公知の技術を用いて行う。
【００４１】
また、符号化列生成部２０５は、例えば、振幅変化の少ない部分における時間周波数信号のサンプルをいくつかずつ組にして、それぞれの平均ゲインなどを量子化し符号化するとしてもよい。図９は、図１に示した符号化列生成部２０５による時間周波数信号の符号化を示す図である。図９に示すように、符号化列生成部２０５は、例えば、周波数スペクトル係数Spec_Sub0から周波数スペクトル係数Spec_Sub2までのサンプルの組と、周波数スペクトル係数Spec_Sub3から周波数スペクトル係数Spec_SubMまでのサンプルの組とのそれぞれについて、平均ゲインGt1と平均ゲインGt2とを求め、周波数スペクトル係数Spec_Sub0から周波数スペクトル係数Spec_SubMまでの時間周波数信号そのものを量子化および符号化する代わりに、前記各サンプルの組を特定する情報と、それぞれの組の平均ゲインとを量子化および符号化する。
【００４２】
この場合、符号化装置２００と、その出力である符号化列を復号化する復号化装置との間であらかじめ、時間周波数信号を、例えば、（サンプルの組の先頭サンプルの番号、サンプルの組の末尾サンプルの番号、サンプルの組の平均ゲイン）で表すと定めておけば、図９に示す時間周波数信号は、（０、２、Gt1）と（３、Ｍ、Gt2）との２つの組の情報で表すことができる。また、この場合、時間周波数信号の各サンプルをもれなく組にする必要はなく、振幅変化の少ない部分だけを組にし、振幅変化の激しい部分は各サンプルの周波数スペクトル係数値そのものを量子化および符号化するとしてもよい。
【００４３】
さらに符号化列生成部２０５では、時間‐周波数変換部２０１の出力のうち、いずれの帯域を時間変換したかを示す情報を符号化列とともに出力する。図１０は、時間‐周波数変換部２０１の出力信号と時間変換部２０４によって時間変換された帯域を示す情報との対応を示す図である。同図において、縦軸は周波数、横軸は縦軸の周波数に対応する周波数スペクトル係数を示している。なお、時間‐周波数変換部２０１においてＭＤＣＴ変換を用いた場合には、同図の周波数スペクトル係数はＭＤＣＴ係数を示している。
【００４４】
また、時間‐周波数変換部２０１の出力信号である周波数スペクトルにおいて、破線部分は、符号化列生成部２０５によって量子化および符号化されないことを示している。代わりに、符号化列生成部２０５では、この帯域に対応する時間周波数信号が量子化および符号化される。同図では、周波数軸方向を５つの帯域に分割し、低域側からQf、Qt、Qf、Qt、Qfの順で量子化を行う場合の例を記載している。このように、符号化列生成部２０５から出力される符号化列には、それぞれの帯域が時間領域で量子化され符号化されたか、周波数領域で量子化され符号化されたかを示す情報と、それぞれの帯域において量子化され符号化された情報が少なくとも含まれる。なお、符号化装置２００における帯域の分割の個数や各帯域の量子化方法（QfであるかQtであるか）などは、固定的なものではなく、この例に限定されない。
【００４５】
図１１は、本発明の実施の形態１における復号化装置１２００の構成を示すブロック図である。この復号化装置１２００は、符号化装置２００によって出力された符号化列を復号化し、時間分解能に優れたオーディオ信号を出力する復号化装置であって、符号化列分離部１２０１、時間周波数信号生成部１２０２、周波数変換部１２０３、周波数スペクトル生成部１２０４および周波数‐時間変換部１２０５を備える。
【００４６】
符号化列分離部１２０１は、入力信号である符号化列から、「Qf」で示される帯域の符号化データと、「Qt」で示される帯域の符号化データとを分離し、「Qf」で示される帯域の符号化データを周波数スペクトル生成部１２０４に出力し、「Qt」で示される帯域の符号化データを時間周波数信号生成部１２０２に出力する。「Qf」で示される帯域の符号化データは、符号化装置２００において周波数領域で量子化および符号化されたデータである。「Qt」で示される帯域の符号化データは、符号化装置２００において時間領域で量子化および符号化されたデータである。
【００４７】
周波数スペクトル生成部１２０４は、入力された符号化データを復号化し、それをさらに逆量子化して、周波数軸上の周波数スペクトルを生成する。一方、時間周波数信号生成部１２０２は、入力された符号化データを復号化し、それを逆量子化して、時間軸上の時間周波数信号を一時的に生成する。一時的に生成された時間周波数信号は、周波数変換部１２０３に入力される。周波数変換部１２０３は、符号化装置２００の時間変換部２０４が用いた変換式の逆変換に相当する変換式を用いて、入力された時間周波数信号を、時間領域の周波数スペクトル係数から周波数領域の周波数スペクトル係数へと１フレームよりも少ないサンプル数を単位として変換する。このように１フレームのうちの部分的な変換結果として得られた周波数スペクトル係数には、時間周波数信号で表されていた時間変化を表す情報が反映されており、この周波数スペクトル係数は、周波数‐時間変換部１２０５に出力される。
【００４８】
周波数‐時間変換部１２０５では、周波数スペクトル生成部１２０４と周波数変換部１２０３とからの出力信号である周波数領域の周波数スペクトルを周波数軸上に合成して、時間軸上のオーディオ信号へと変換する。これによって、時間周波数信号で表された時間成分を周波数スペクトル生成部１２０４からの出力である周波数スペクトルに反映することができ、時間分解能に優れたオーディオ信号を得ることができる。なお、周波数‐時間変換部１２０５では、符号化装置２００でおこなった時間−周波数変換部２０１の逆過程である変換方法を用いる。例えば、符号化装置２００の時間−周波数変換部２０１がＭＤＣＴ変換なら、周波数‐時間変換部１２０５は逆ＭＤＣＴ変換である。このようにして得られた周波数‐時間変換部１２０５の出力は、例えば、電圧の離散的時間変化で表されるオーディオ出力信号となる。
【００４９】
以上のように、本発明の実施の形態１の符号化装置２００および復号化装置１２００によれば、ある時間フレーム内のオーディオ信号を、任意の帯域について、時間領域で符号化するか周波数領域で符号化するかを選択することができる。したがって、周波数領域のみの符号化方法や、時間領域のみの符号化方法よりも、符号化の自由度が高く、かつ、効率的に符号化できる可能性がある。その結果、与えられた情報量の中で多くの情報を符号化することができ、再生されるオーディオ信号の高音質化を図ることができる。
【００５０】
なお、実施の形態１において、時間特性抽出部２０３は、サブフレーム間の平均エネルギーの変化（すなわち、隣接するサブフレーム間の差分）があらかじめ定めた閾値よりも大きい場合に時間分解能を優先すべきと判定したが、時間特性抽出部２０３が時間分解能を優先すべきか周波数分解能を優先すべきかの判定を行う判定規準は上記の方法に限定されない。また、上記実施の形態１では、周波数特性抽出部２０２は、周波数スペクトルにおいて隣接する周波数スペクトル係数の分散が大きい帯域、または、正負の符号が頻繁に切り替わる帯域を、時間領域で量子化すべきと判定したが、この判定においても判定規準は上記の方法に限定されない。
【００５１】
（実施の形態２）
次に本発明の実施の形態２について説明する。実施の形態２は、量子化方法および符号化方法が実施の形態１と異なる。実施の形態１においては、１フレームずつ周波数領域へと変換されたオーディオ入力信号を、１フレームのある帯域はそのまま量子化し、ある帯域は時間領域に再度変換する手法で、その時間領域の信号を量子化したが、本発明の実施の形態２においては、選択された帯域の信号だけで量子化と符号化を行うのではなく、他の帯域の信号を利用して量子化と符号化とを行う。
【００５２】
図１２は、本発明の実施の形態２における符号化装置１３００の構成を示すブロック図である。この符号化装置１３００は、時間‐周波数変換部１３０１、周波数特性抽出部１３０２、時間特性抽出部１３０３、量子化および符号化部１３０４、参照帯域決定部１３０５、時間変換部１３０６、時間合成符号化部１３０７、周波数合成符号化部１３０８および符号化列生成部１３０９を備える。同図において、時間‐周波数変換部１３０１、周波数特性抽出部１３０２、時間特性抽出部１３０３および時間変換部１３０６は、それぞれ図１に示した符号化装置２００の時間−周波数変換部２０１、周波数特性抽出部２０２、時間特性抽出部２０３および時間変換部２０４とほぼ同じものである。
【００５３】
オーディオ入力信号は、ある時間長のフレームごとに、時間‐周波数変換部１３０１および時間特性抽出部１３０３へ入力される。時間‐周波数変換部１３０１は、入力された時間領域の信号を周波数領域の信号へと変換する。時間‐周波数変換部１３０１は、例えば、ＭＤＣＴ変換を用いてＭＤＣＴ係数を得る。
【００５４】
周波数特性抽出部１３０２は、時間‐周波数変換部２０１の出力である、フレームごとに変換された周波数スペクトル係数の周波数特性を調べ、図１に示した周波数特性抽出部２０２と同様にして、時間分解能を優先して量子化した方が好ましい帯域を特定する。
【００５５】
時間特性抽出部１３０３は、フレームごとに入力されたオーディオ信号を、時間分解能を優先して量子化すべきか、周波数分解能を優先して量子化すべきかを、図１に示した時間特性抽出部２０３と同様にして判定する。時間特性抽出部１３０３では、入力された信号のすべての帯域を同じ時間分解能や周波数分解能で量子化し符号化する必要はないので、サブフレームまたは周波数帯域ごとに判定することができる。
【００５６】
量子化および符号化部１３０４は、時間‐周波数変換部１３０１で得られる周波数領域の信号（周波数スペクトル係数）のうち、あらかじめ定めたバンドごとの信号について量子化を行い符号化する。この量子化および符号化部１３０４は、当業者に公知な技術、たとえばベクトル量子化およびハフマン符号化などを用いて量子化および符号化する。量子化および符号化部１３０４は、図示されないメモリを内部に備え、符号化済みの符号化列および符号化前の周波数スペクトルをメモリに保持し、参照帯域決定部１３０５によって決定された帯域の符号化列または符号化前の周波数スペクトルを、参照帯域決定部１３０５に出力する。
【００５７】
参照帯域決定部１３０５は、周波数特性抽出部１３０２および時間特性抽出部１３０３の判定結果に従って、量子化および符号化部１３０４の出力である符号化列のうち、周波数特性抽出部１３０２および時間特性抽出部１３０３によって特定された帯域に参照されるべき帯域を決定する。具体的には、参照帯域決定部１３０５は、時間特性抽出部１３０３によって特定された帯域について、最初に特定された１つの帯域だけを他の帯域を参照しないで時間領域で量子化および符号化し、残りの帯域はその帯域の周波数スペクトルを参照し、時間領域で符号化するものとする。
【００５８】
さらに、参照帯域決定部１３０５は、周波数特性抽出部１３０２によって特定された帯域について、周波数特性抽出部１３０２によって特定された帯域間で、整数倍の信号成分に相当する（倍音関係にある）周波数スペクトル係数が含まれている場合、その周波数スペクトル係数を含む帯域間で、例えば、最も低い周波数の成分（周波数スペクトル係数）を含む帯域のみ周波数領域において量子化および符号化する。例えば、周波数特性抽出部１３０２によって特定された帯域にそれぞれ、8kHz、16kHzおよび24kHzの周波数成分が含まれている場合には、8kHzの周波数成分を含んでいる帯域のみ量子化および符号化する。
【００５９】
それ以外の帯域、例えば、16kHzの周波数成分を含む帯域と24kHzの周波数成分を含む帯域とでは、最も低い周波数（8kHz）の成分（周波数スペクトル係数）を含む帯域を被参照帯域として、それを参照して周波数領域で符号化すると決定する。周波数特性抽出部１３０２によって特定された帯域間で倍音に相当する周波数スペクトル係数が含まれていない場合には、それらの帯域を他の帯域を参照することなく、時間領域で量子化および符号化すると決定する。
【００６０】
次に、図１３から図１５を用いて、参照帯域決定部１３０５の動作を説明する。図１３は、他の帯域を参照して対象帯域の符号化列を生成する方法の一例を示す図である。同図において縦軸は周波数を示し、横軸はその周波数に対する周波数スペクトル係数の値を示している。図１３において、周波数バンドBase1および周波数バンドBase2は、いずれも量子化および符号化部１３０４にてすでにその周波数領域信号（周波数スペクトル）の係数を量子化され、符号化されている帯域の一部である。
【００６１】
一方、「Qt1」および「Qf2」に示された帯域の信号は、それぞれ周波数バンドBase1、周波数バンドBase2の周波数スペクトル係数を用いて量子化し符号化することを意味している。例えば、「Qt1」は、周波数バンドBase1の信号を用いて、時間領域変換での量子化と符号化を行うことを意図しており、「Qf2」なる帯域は、Base2の信号を用いて、周波数領域での量子化と符号化を行うことを意図している。
【００６２】
さらに、「Qt1」をBase1の帯域信号を用いて表現する際のパラメータをパラメータGt1、「Qf2」を周波数バンドBase2の帯域信号を用いて表現する際のパラメータをパラメータGf2としている。つまり、「Qt1」の帯域の信号は、周波数バンドBase1の帯域の信号を時間領域で表現したものと、パラメータGt1で表現されるものとで、量子化し符号化することを意味し、「Qf2」の帯域の信号は、Base２の帯域の信号を周波数領域で表現したもの（すでに周波数領域での表現なので変換は不要）と、パラメータGf2で表現されるものとで、量子化し符号化することを意味する。帯域の分割方法や順序、個数などはこれらに限定されない。
【００６３】
図１４は、他の帯域を参照して対象帯域の符号化列を生成する方法の他の例を示す図である。また、図１４の場合のように、「Qt」の信号は、すでに量子化および符号化部１３０４にて、量子化と符号化をされた周波数バンドBase1と周波数バンドBase2の２つの帯域の両方（時間領域の表現）を用いて、パラメータGt1とパラメータGt2をそれぞれ用いて、その加算和で表現されるとしてもよい。図１５は、他の帯域を参照して対象帯域の符号化列を生成する方法のさらに他の例を示す図である。
【００６４】
また、図１５の場合のように、「Qｆ」の信号は、すでに量子化および符号化部１３０４にて、量子化と符号化をされた周波数バンドBase1と周波数バンドBase2の２つの帯域の両方（周波数領域の表現）を用いて、パラメータGｆ1とパラメータGｆ2とをそれぞれ用いて、その加算和で表現されるとしてもよい。図１４、図１５のいずれの場合も、ある周波数バンドを、すでに量子化および符号化された２つの帯域の信号を用いて、量子化および符号化する場合について図示したが、帯域の数は２つに限定されない。
【００６５】
参照帯域決定部１３０５では、１フレームの周波数スペクトル係数のうち、時間特性抽出部２０３によって特定された、量子化および符号化の対象となる帯域（対象帯域）を、すでに量子化および符号化部１３０４によって量子化および符号化された帯域（被参照帯域）のいずれの帯域を用いて表現し、量子化と符号化を行うかを決定する。
【００６６】
次に、周波数合成符号化部１３０８について図１６を用いて説明する。図１６は、対象領域の周波数スペクトルを、すでに量子化および符号化された被参照帯域の符号化列を用いて周波数領域で合成する方法の一例を示す図である。前述のように、被参照帯域と対象帯域の信号が、参照帯域決定部１３０５で選出されているとする。
【００６７】
図１６において、帯域Aが被参照帯域であり、帯域Bが対象帯域とする。説明を簡単にするために、帯域Aと帯域Bとの信号がそれぞれ同じ要素数からなっており、それぞれベクトルFa、ベクトルFbと表記されるものとする。さらに、ベクトルFaはFa＝（Fa0,Fa1）、ベクトルFbはFb=（Fb0,Fb1）のように２つのベクトルに分割されるものとする。Fa0、Fa1、Fb0、Fb１もベクトルであり、Fa0の要素数とFb0の要素数が同じで、Fa１の要素数とFb1の要素数が同じとする。Fa0とFa1の要素数は同じでも同じでなくてもよい。また、パラメータGb = ( Gb0,Gb1 )を定義する。パラメータGbはベクトルであるが、Gb0,Gb1はスカラー値である。ベクトルFbの近似ベクトルFb'を、ベクトルFaとパラメータGbとを用いて、数式１のように定義する。
【数式１】

【００６８】
このようにして、対象帯域Bに対する周波数領域の信号を、被参照帯域Aの周波数領域の信号と、合成比率の制御を行うパラメータGbとの積によって合成する。さらに、周波数合成符号化部１３０８は、ある対象帯域がどの被参照帯域で表現されるかを示す情報と、被参照帯域に対してゲイン制御に用いられるパラメータGbとを量子化し符号化する。説明を簡単にするために、対象帯域、被参照帯域を２つのベクトルに分割する場合について述べたが、分割は１つでも、３つ以上でもよい。また、帯域の分割も均一でも不均一でもよい。
【００６９】
次に、時間合成符号化部１３０７について、図１７を用いて説明する。図１７は、対象領域の周波数スペクトルを、すでに量子化および符号化された被参照帯域の符号化列を用いて時間領域で合成する方法の一例を示す図である。前述のように、被参照帯域の信号と対象帯域の信号とが、参照帯域決定部１３０５で選出されているとする。図１７において、帯域Aが被参照帯域であり、帯域Bが対象帯域であるとする。また、説明を簡単にするために、帯域Aの信号と帯域Bの信号とがそれぞれ同じ要素数からなっているとする。
【００７０】
時間変換部１３０６は、帯域Aおよび帯域Bの周波数領域の信号を、実施の形態１の時間変換部２０４と同じ方法で、時間領域の信号へ変換（Tt）する。ここで、帯域A、帯域Bの周波数領域の信号を時間領域に変換して得られる信号が、それぞれ、ベクトルTa,ベクトルTbであるとする。さらに、ベクトルTaは、Ta＝（Ta0,Ta1）に、ベクトルTbは、Tb=（Tb0,Tb1）に分割可能とする。Ta0、Ta1、Tb0、Tb１もベクトルであり、Ta0の要素数とTb0の要素数が同じで、かつ、Ta１の要素数とTb1の要素数が同じとする。ただし、Ta0とTa1の要素数は同じでも同じでなくてもよい。
【００７１】
また、ここで、パラメータGb = ( Gb0,Gb1 )を定義する。Gb0,Gb1はそれぞれスカラー値である。図１８（ａ）、図１８（ｂ）および図１８（ｃ）は、帯域Bの時間領域の信号であるベクトルTbを、帯域Aの時間領域の信号であるベクトルTaを用いて近似する方法の一例を示す図である。図１８（ａ）は、被参照帯域である帯域Aの周波数領域の信号を時間領域に変換して得られる信号を表したベクトルTaを示す図である。図１８（ｂ）は、対象帯域である帯域Bの周波数領域の信号を時間領域に変換して得られる信号を表したベクトルTbを示す図である。図１８（ｃ）は、ベクトルTaにゲイン制御を施してベクトルTbに近似するベクトルを表した場合の近似ベクトルTb'を示す図である。図１８（ａ）、図１８（ｂ）および図１８（ｃ）に示すように、パラメータGbの値は、ベクトルTaをGb倍したものがベクトルTbに近似するように決定する。
【００７２】
たとえば、近似ベクトルTb'を、ベクトルTaとパラメータGbを用いて、数式２のように定義する。
【数式２】

【００７３】
このようにして、対象帯域Bに対する時間領域の信号を、被参照帯域Aの時間領域の信号と、ゲイン制御を行うパラメータGbとによって合成する。よって、時間合成符号化部１３０７では、ある対象帯域がどの被参照帯域で表現されるかを示す情報と、被参照帯域に対してゲイン制御に用いられるパラメータGbとが量子化され符号化される。説明を簡単にするために、対象帯域、被参照帯域を２つのベクトルに分割する場合について述べたが、分割数は１つでも、３つ以上でもよい。また、帯域の分割も均一でも不均一でもよい。
【００７４】
符号化列生成部１３０９では、量子化および符号化部１３０４の出力、周波数合成符号化部１３０８の出力、時間合成符号化部１３０７の出力、および周波数特性抽出部１３０２と時間特性抽出部１３０３との出力を、あらかじめ決められたフォーマットにしたがってパッケージングし、符号化列を生成する。よって、符号化装置１３００の出力信号である符号化列には、▲１▼被参照帯域と被参照帯域でも対象帯域でもない帯域との信号を量子化し符号化して得られたデータ、▲２▼被参照帯域と対象帯域との関連を示す情報、▲３▼対象帯域が被参照帯域の信号を用いてどのように量子化し符号化されたかを示す情報、▲４▼被参照帯域、対象帯域およびそのいずれでもない帯域が時間領域か周波数領域かいずれの領域で量子化し符号化されたかを示す情報などが含まれる。また、被参照帯域および対象帯域のサンプル数およびそれぞれの帯域に相当する周波数は、直接的または間接的に符号化列に含まれる。
【００７５】
次に、本実施の形態２における復号化装置２０００について、図１９を用いて説明する。図１９は、実施の形態２における復号化装置２０００の構成を示すブロック図である。この復号化装置２０００は、符号化装置１３００によって作成された符号化列を復号化して、オーディオ出力信号を出力する復号化装置であって、符号化列分離部２００１、参照周波数信号生成部２００２、時間変換部２００３、時間合成部２００４、周波数変換部２００５、周波数合成部２００６および周波数‐時間変換部２００７を備える。
【００７６】
復号化装置２０００の周波数‐時間変換部２００７、時間変換部２００３および周波数変換部２００５は、実施の形態１の周波数‐時間変換部１２０５、時間変換部１３０６および周波数変換部１２０３と、それぞれ同じ構成である。符号化列分離部２００１は、入力された符号化列中のヘッダなどを読み取って、符号化列に含まれている▲１▼被参照帯域と被参照帯域でも対象帯域でもない帯域との信号を量子化し符号化して得られたデータ、▲２▼被参照帯域と対象帯域との関連を示す情報、▲３▼対象帯域が被参照帯域の信号を用いてどのように量子化し符号化されたかを示す情報、▲４▼被参照帯域および対象帯域が時間領域か周波数領域かいずれの領域で量子化し符号化されたかを示す情報などを分離し、対応する各部に出力する。
【００７７】
参照周波数信号生成部２００２は、すでに当業者には公知な復号化の方法を用いて、たとえばハフマン復号化などを用いて、周波数領域の信号を復号化する。このことは、図１３から図１５におけるBase1およびBase2の信号を復号化することを意味する。また図１７、図１６においては、帯域Aの周波数領域での信号を復号化することを意味する。
【００７８】
周波数合成部２００６の動作を、図１６を用いて説明する。図１６に示すように、帯域AのベクトルFaで表される周波数領域の信号（周波数スペクトル）は、符号化列分離部２００１から参照周波数信号生成部２００２に入力された被参照帯域のデータを、参照周波数信号生成部２００２において復号化および逆量子化することによって得られる。一方、帯域BのベクトルFbで表される周波数領域の信号（周波数スペクトル）は、数式１に従って、ベクトルFaと、パラメータGbとを用いて合成される近似ベクトルFb'によって近似される。
【００７９】
ゲイン制御用のパラメータGbは、符号化列分離部２００１において符号化列から分離されることによって得られ、帯域Aが帯域Bの被参照帯域であることを示す情報も、符号化列分離部２００１において符号化列から分離されることによって得られる。このように、周波数合成部２００６では、対象帯域である帯域Bの周波数領域での信号Fbを、近似ベクトルFb'を生成することによって生成する。
【００８０】
次に時間合成部２００４の動作を、図１７を用いて説明する。図１７において、ベクトルTaで表される帯域Aの時間領域の信号（時間周波数信号）は、参照周波数信号生成部２００２で得られたベクトルFaで表される周波数スペクトルに、時間変換部２００３による時間変換（図１７のTfの処理）を施して得られる。また、対象帯域である帯域BにおいてベクトルTbで表される時間領域の信号（時間周波数信号）は、近似ベクトルTb'によって近似される。
【００８１】
この近似ベクトルTb'は、数式２に従って、ベクトルTaと、パラメータGbとを用いて合成される。このように、時間合成部２００４では、対象帯域である帯域Bの時間領域での信号Tbを、近似ベクトルＴb'を生成することによって生成する。ゲイン制御用のパラメータGbと帯域Aが帯域Bの被参照帯域であることを示す情報とは、符号化列分離部２００１から得られる。時間合成部２００４によって得られた近似ベクトルTb'で表される時間領域の信号は、周波数変換部２００５によって周波数領域の信号へと変換される。
【００８２】
周波数‐時間変換部２００７では、参照周波数信号生成部２００２の出力、周波数合成部２００６の出力および周波数変換部２００５の出力を１つの周波数軸上の信号成分として合成する。さらに周波数‐時間変換部２００７は、合成された周波数スペクトルに、符号化装置１３００の時間‐周波数変換部１３０１による時間‐周波数変換の逆変換を施し、時間領域のオーディオ出力信号を得る。周波数‐時間変換部２００７における周波数‐時間変換（たとえば逆ＭＤＣＴ変換など）は、当業者には公知な技術を用いて容易に実施することができる。
【００８３】
図２０（ａ）は、図１に示した符号化列生成部２０５によって生成される符号化列のデータ構成の一例を示す図である。図２０（ｂ）は、図１２に示した符号化列生成部１３０９によって生成される符号化列のデータ構成の一例を示す図である。ただし、図２０（ａ）および図２０（ｂ）に示す各バンドの帯域幅は、一定であってもなくてもよい。実施の形態１の符号化装置２００では、周波数特性抽出部２０２および時間特性抽出部２０３によって特定されたバンド内の周波数スペクトルは、時間変換部２０４によって時間周波数信号にさらに変換された後、量子化され、符号化される。それ以外のバンドでは、周波数スペクトルのまま、量子化され、符号化される。
【００８４】
図２０（ａ）では、例えば、周波数特性抽出部２０２および時間特性抽出部２０３によって特定された帯域が、band１とband４とである場合を示している。図２０（ａ）および図２０（ｂ）に示すように、各バンドの先頭にはヘッダが記述されている。図２０（ａ）では、各ヘッダに、バンド内の符号化列が時間領域と周波数領域とのいずれの領域で量子化され符号化されたかを示すフラグが記述されている。例えば、band1とband4とのヘッダには、band1およびband4内の符号化列 t_quantize が時間領域で量子化され符号化されたことを示すフラグ qm=t がそれぞれ記述されている。
【００８５】
また、band2とband3とのヘッダには、band2およびband3内の符号化列 f_quantize が周波数領域で量子化され符号化されたことを示すフラグ qm=f がそれぞれ記述されている。これにおいて、符号化列 f_quantizeおよび符号化列 t_quantize は、それぞれ、周波数スペクトルを周波数領域および時間領域で量子化し符号化して得られた符号化列である。
【００８６】
また、実施の形態２の符号化装置１３００では、周波数特性抽出部１３０２および時間特性抽出部１３０３によって特定されたバンド内の周波数スペクトルは、
▲１▼他の帯域を参照しないで周波数領域で量子化および符号化する、
▲２▼他の帯域を参照して周波数領域で符号化する
▲３▼他の帯域を参照しないで時間領域で量子化および符号化する
▲４▼他の帯域を参照して時間領域で符号化する
という４通りの符号化方法で符号化される。したがって、符号化列内のバンドごとのヘッダには、そのバンドが他のバンドを参照しているか否かを示すフラグと、参照している場合はどのバンドを参照しているかを示すバンド番号と、参照されるバンドのゲインを制御するためのパラメータなどが記述される。
【００８７】
図２０（ｂ）に示すように、例えば、band1のヘッダには、band1内の符号化列 t_quantize が時間領域で量子化され符号化されたことを示すフラグqm=t が記述されている。band2のヘッダには、band2内の符号化列 f_quantize が周波数領域で量子化され符号化されたことを示すフラグ qm=f が記述されている。さらに、band3には、実際に周波数スペクトルを時間領域で量子化し符号化して得られる符号化列は含まれず、band3が他のバンドを参照して生成されることを示すフラグ qm=ref、band3の被参照帯域がband1であることを示すバンド番号ref=1、および被参照帯域band1のゲインを制御するためのパラメータGain_info などが記述される。
【００８８】
また、band4には、band3と同様、実際に周波数スペクトルを量子化および符号化して得られる符号化列は含まれず、band4が他のバンドを参照して生成されることを示すフラグ qm=ref、band4の被参照帯域がband2であることを示すバンド番号ref=2、および被参照帯域band2のゲインを制御するためのパラメータGain_info などが記述される。
【００８９】
なお、band3では、バンド番号ref=1によって、周波数領域で量子化および符号化されたband1が参照されることが示されているので、band3が周波数領域で符号化されることを間接的に示している。また、band4では、バンド番号ref=2によって、時間領域で量子化および符号化されたband2が参照されることが示されているので、band4が時間領域で符号化されることを間接的に示している。
【００９０】
なお、図２０（ａ）では、符号化列内の各バンドのヘッダに、バンド内の符号化列が時間領域と周波数領域とのいずれの領域で量子化され符号化されたかを示すフラグが記述されているが、どのバンドがいずれの領域で量子化され符号化されるかがあらかじめ決められている場合には、このフラグは不要である。また、図２０（ｂ）では、符号化列内の各バンドのヘッダに、そのバンドが他のバンドを参照しているか否かを示すフラグと、そのバンドに対する被参照帯域を特定するためのバンド番号とが記述されているが、どのバンドがどのバンドを参照するかがあらかじめ決められている場合には、これらの情報は不要である。
【００９１】
なお、本発明の実施の形態２の符号化装置１３００および復号化装置２０００において、さらに、被参照帯域を低域周波数成分の帯域に、対象帯域を被参照帯域より高い周波数成分の帯域に選択し、被参照帯域を既存の符号化方式で符号化し、対象帯域成分の生成のための符号を補助情報として符号化すれば、既存の符号化方式と、データ量の少ない補助情報とを用いて、広帯域な再生音を提供することができる。また、既存のオーディオ符号化方式として、AAC方式を使用する場合、AAC方式のFill_elementに対象帯域成分の生成のための符号化情報を入れておけば、AAC方式と互換の復号化方式でも雑音を生じることなく符号化列を復号化できるし、本発明の実施の形態２の復号化方法を用いれば、より広帯域な再生音を比較的少ない情報から生成することも可能である。
【００９２】
以上のように構成される本発明の符号化装置および復号化装置を用いれば、周波数領域での符号化に加えて、時間領域での符号化が行なえるので、より符号化効率のよい符号化方法を選択することにより、復号化された再生音について、周波数分解能と時間分解能を効率的に高めることができる。また、すでに符号化された帯域の信号を再利用して少ないデータ量でオーディオ符号化列を構成できるので、オーディオ符号化列の低ビットレート化を図ることができる。
【００９３】
また、同じビットレートにした場合に高音質なオーディオ信号を得ることができるオーディオ符号化列を提供することができる。また時間変換部１３０６や、時間変換部２００３、および周波数変換部２００５として、信号の切り出しに時間的オーバーラップの不要な分析合成系の直交変換方式を選択することにより、この符号化装置と復号化装置における追加的な算術遅延を排除できるので、符号化および復号化における遅延に配慮が必要なアプリケーションにおいては、メリットが生じる。
【００９４】
なお、上記実施の形態２では、参照帯域決定部１３０５が周波数特性抽出部１３０２および時間特性抽出部１３０３によって特定された帯域の４通りの符号化方法を決定したが、具体的な決定方法については、上記の方法に限定されない。
【００９５】
なお、本発明に係る符号化装置は、ＢＳおよびＣＳを含む衛星放送の放送局に備えられる音響符号化装置として、またインターネットなどの通信ネットワークを介してコンテンツを配信するコンテンツ配信サーバの音響符号化装置として、さらに、汎用のコンピュータによって実行される音響信号符号化用のプログラムとして有用である。
【００９６】
また、本発明に係る復号化装置は、家庭のＳＴＢに備えられる音響復号化装置としてだけでなく、汎用のコンピュータ、ＰＤＡおよび携帯電話機などによって実行される音響信号復号化用のプログラムとして、またＳＴＢまたは汎用のコンピュータに備えられる音響信号復号化用の専用の回路基板、ＬＳＩなどとして、さらにＳＴＢまたは汎用のコンピュータに挿入されるＩＣカードとして有用である。
【００９７】
【発明の効果】
以上のように本発明の符号化装置および復号化装置によれば、周波数領域での符号化に加えて、時間領域での符号化を追加することにより、符号化効率のより高い領域での符号化を選択することができ、出力符号化列のビット量を低減することができる。さらに、時間領域での符号化を追加することにより、周波数分解能だけでなく、時間分解能の向上を図ることが容易になる。
【００９８】
本発明の復号化装置によれば、オーディオ信号の再生時である復号化の過程では、高域周波数の成分を低域スペクトルの複製に加工を加えたもので生成するため、容易に低ビットレート化を達成することができ、同じレートでの従来の復号化装置と比較して、より広帯域な再生音を得ることができる。
【００９９】
また、本発明の符号化装置および復号化装置によれば、低いビットレートで、広帯域なオーディオ符号化列を提供することが可能となる。低域周波数成分は、その周波数の微細構造をハフマン符号化などの圧縮技術を用いて符号化するが、高域周波数成分は、その微細構造を符号化せず、主に低域スペクトルを高域スペクトルとして代理複製する情報だけを符号化しているもので、高域周波数成分が符号化で消費する情報量を極小化することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における符号化装置の構成を示すブロック図である。
【図２】図１に示した時間‐周波数変換部による時間周波数変換の一例を示す図である。
【図３】（ａ）時間−周波数変換部に入力される時間領域のオーディオ信号の図である。
（ｂ）図３（ａ）に示した第Ｎフレームのオーディオ信号を一度に時間‐周波数変換して得られる周波数スペクトルを示す図である。
【図４】（ａ）図３（ａ）と同様の時間軸上のオーディオ信号において、第Ｎフレームを前半のサブフレーム１と後半のサブフレーム２とに分割した様子を示す図である。
（ｂ）図４（ａ）に示したサブフレーム１の時間領域のオーディオ信号を周波数領域の信号へ変換して得られた周波数スペクトルを示す図である。
（ｃ）図４（ａ）に示したサブフレーム２の時間領域のオーディオ信号を周波数領域の信号へ変換して得られた周波数スペクトルを示す図である。
【図５】（ａ）図３（ａ）と同様の時間領域のオーディオ信号（第Ｎフレーム）を（Ｍ＋１）個のサブフレームに分割した様子を示す図である。
（ｂ）１フレームのオーディオ入力信号を（Ｍ＋１）個のサブフレームに分割し、サブフレームごとに時間‐周波数変換することによって得られる周波数スペクトルを示す図である。
【図６】（ａ）１フレームのオーディオ信号を一度に時間‐周波数変換することによって得られる周波数スペクトル上の周波数バンドBandAに含まれるサンプルを示す図である。
（ｂ）１フレームのオーディオ入力信号を（Ｍ＋１）個のサブフレームに分割し、サブフレームごとに時間‐周波数変換することによって得られる周波数スペクトル上の周波数バンドBandBに含まれるサンプルを示す図である。
【図７】（ａ）１フレームのオーディオ信号を一度に時間‐周波数変換することによって得られる周波数スペクトル上の周波数バンドBandC内のサンプルを示す図である。
（ｂ）１フレームのオーディオ入力信号を（Ｍ＋１）個のサブフレームに分割し、サブフレームごとに時間‐周波数変換することによって得られる周波数スペクトル上の周波数バンドBandD内のサンプルを示す図である。
【図８】（ａ）１フレームのオーディオ信号を一度に時間‐周波数変換することによって得られる周波数スペクトル上の周波数バンドBandC内のサンプルを示す図である。
（ｂ）横軸を時間、縦軸を周波数スペクトル係数値として、図７（ｂ）に示した各サンプル（周波数スペクトル係数）をプロットし直した図である。
【図９】図１に示した符号化列生成部による時間周波数信号の符号化を示す図である。
【図１０】時間‐周波数変換部の出力信号と時間変換部によって時間変換された帯域を示す情報との対応を示す図である。
【図１１】本発明の実施の形態１における復号化装置の構成を示すブロック図である。
【図１２】本発明の実施の形態２における符号化装置の構成を示すブロック図である。
【図１３】他の帯域を参照して対象帯域の符号化列を生成する方法の一例を示す図である。
【図１４】他の帯域を参照して対象帯域の符号化列を生成する方法の他の例を示す図である。
【図１５】他の帯域を参照して対象帯域の符号化列を生成する方法のさらに他の例を示す図である。
【図１６】対象領域の周波数スペクトルを、すでに量子化および符号化された被参照帯域の符号化列を用いて周波数領域で合成する方法の一例を示す図である。
【図１７】対象領域の周波数スペクトルを、すでに量子化および符号化された被参照帯域の符号化列を用いて時間領域で合成する方法の一例を示す図である。
【図１８】（ａ）被参照帯域である帯域Aの周波数領域の信号を時間領域に変換して得られる信号を表したベクトルTaを示す図である。
（ｂ）対象帯域である帯域Bの周波数領域の信号を時間領域に変換して得られる信号を表したベクトルTbを示す図である。
（ｃ）ベクトルTaにゲイン制御を施してベクトルTbに近似するベクトルを表した場合の近似ベクトルTb'を示す図である。
【図１９】実施の形態２における復号化装置の構成を示すブロック図である。
【図２０】（ａ）図１に示した符号化列生成部によって生成される符号化列のデータ構成の一例を示す図である。
（ｂ）図１２に示した符号化列生成部によって生成される符号化列のデータ構成の一例を示す図である。
【図２１】従来の符号化装置の構成を示すブロック図である。
【符号の説明】
２００、１３００ 符号化装置
２０１、１３０１ 時間‐周波数変換部
２０２、１３０２ 周波数特性抽出部
２０３、１３０３ 時間特性抽出部
２０４、１３０６ 時間変換部
２０５、１３０９ 符号化列生成部
１３０４ 量子化および符号化部
１３０５ 参照帯域決定部
１３０７ 時間合成符号化部
１３０８ 周波数合成符号化部
１２００、２０００ 復号化装置
１２０１、２００１ 符号化列分離部
１２０２ 時間周波数信号生成部
１２０３、２００５ 周波数変換部
１２０４ 周波数スペクトル生成部
１２０５、２００７ 周波数‐時間変換部
２００２ 参照周波数信号生成部
２００３ 時間変換部
２００４ 時間合成部
２００６ 周波数合成部

Claims (24)

1. 入力されるオーディオ信号をフレーム時間ごとに時間−周波数変換して得られる周波数領域の信号を符号化し、出力信号を生成する符号化装置であって、
   入力オーディオ信号の特性に基づいて、前記入力オーディオ信号を時間−周波数変換して得られる周波数スペクトルの一部の帯域を特定する第１の帯域特定手段と、
   特定された帯域の周波数スペクトルに含まれる周波数スペクトル係数列を、周波数−時間変換することにより、前記フレーム時間における前記特定された帯域の周波数成分の時間変化を表す信号を生成する時間変換手段と、
   前記時間変換手段によって得られる前記信号と、前記周波数スペクトルの少なくとも一部とを符号化し、符号化された前記信号および前記周波数スペクトルから出力信号を生成する符号化手段とを備える
   ことを特徴とする符号化装置。
2. 前記符号化装置は、さらに、
   前記周波数スペクトルの２以上の帯域を特定し、特定された前記帯域の１つに含まれる周波数成分の時間変化を表す信号を用いて、特定された他の前記帯域の周波数成分の時間変化を表す信号を近似する時間領域近似手段を備え、
   前記符号化手段は、前記時間領域近似手段によって特定された前記帯域につき、前記近似に用いられる前記信号を符号化する
   ことを特徴とする請求項１記載の符号化装置。
3. 前記時間領域近似手段は、前記周波数スペクトルにおいて、前記近似に用いられる帯域と、前記近似される帯域とを特定するための情報を生成する
   ことを特徴とする請求項２記載の符号化装置。
4. 前記時間領域近似手段は、さらに、前記近似に用いられる前記信号の前記近似される前記信号に対するゲインを示す情報を生成する
   ことを特徴とする請求項３記載の符号化装置。
5. 前記符号化手段は、前記近似される前記信号の代わりに、前記時間領域近似手段によって生成された、前記近似に用いられる帯域を特定するための情報と、前記ゲインを示す情報とを符号化する
   ことを特徴とする請求項４記載の符号化装置。
6. 前記第１の帯域特定手段は、入力オーディオ信号において、平均エネルギーの変化が大きい部分の周波数帯域を特定する
   ことを特徴とする請求項１記載の符号化装置。
7. 前記符号化装置は、さらに、
   前記周波数スペクトルの特性に基づいて、当該周波数スペクトルの一部の帯域を特定する第２の帯域特定手段を備え、
   前記時間変換手段は、特定された帯域の周波数スペクトルに含まれる周波数スペクトル係数列を周波数−時間変換した信号に変換する
   ことを特徴とする請求項１記載の符号化装置。
8. 前記符号化装置は、さらに、
   前記周波数スペクトルに含まれる２以上の帯域を特定し、特定されたうちの１つの帯域の周波数スペクトルを用いて、他の帯域の周波数スペクトルを近似する周波数領域近似手段を備え、
   前記符号化手段は、前記周波数領域近似手段によって特定された帯域につき、前記近似に用いられる周波数スペクトル係数列を符号化する
   ことを特徴とする請求項７記載の符号化装置。
9. 前記周波数領域近似手段は、前記周波数スペクトルにおいて、前記近似に用いられる帯域と、前記近似される帯域とを特定するための情報を生成する
   ことを特徴とする請求項８記載の符号化装置。
10. 前記周波数領域近似手段は、さらに、前記近似に用いられる周波数スペクトルの前記近似される周波数スペクトルに対するゲインを示す情報を生成する
    ことを特徴とする請求項９記載の符号化装置。
11. 前記符号化手段は、前記近似される周波数スペクトルの代わりに、前記周波数領域近似手段によって生成された、前記近似に用いられる帯域を特定するための情報と、前記ゲインを示す情報とを符号化する
    ことを特徴とする請求項１０記載の符号化装置。
12. 前記第２の帯域特定手段は、前記周波数スペクトルにおいて、周波数スペクトル係数の分散が大きい帯域を特定する
    ことを特徴とする請求項７記載の符号化装置。
13. 請求項１記載の符号化装置によって生成された出力信号である符号化列を復号化し、周波数スペクトルを出力する復号化装置であって、
    入力された符号化列に含まれる１フレームの一部をなし、周波数成分の時間変化を表す信号の符号化列を抽出し、抽出された符号化列を復号化する復号化手段と、
    抽出された前記符号化列を復号化して得られた、前記周波数成分の時間変化を表す信号を、時間−周波数変換することにより、周波数スペクトル係数列に変換する周波数変換手段と、
    入力された符号化列の同じフレームの他の部分から抽出された符号化列を復号化して得られた周波数スペクトル係数列と、前記周波数変換手段によって得られた周波数スペクトル係数列とを周波数軸上で合成する合成手段とを備える
    ことを特徴とする復号化装置。
14. 前記復号化装置は、さらに、
    抽出された符号化列が表す帯域を、他の帯域の符号化列から復号化された前記周波数成分の時間変化を表す信号で近似する時間近似手段を備え、
    前記周波数変換手段は、近似された周波数成分の時間変化を表す信号を周波数スペクトル係数列に変換する
    ことを特徴とする請求項１３記載の復号化装置。
15. 前記時間近似手段は、抽出された前記符号化列に含まれる情報から、当該符号化列が表す帯域の近似に用いられた前記周波数成分の時間変化を表す信号の帯域を特定し、特定された帯域の前記周波数成分の時間変化を表す信号を用いて近似する
    ことを特徴とする請求項１４記載の復号化装置。
16. 前記時間近似手段は、さらに、抽出された前記符号化列に含まれる情報から、近似に用いられた前記周波数成分の時間変化を表す信号につき、近似される側の前記周波数成分の時間変化を表す信号に対するゲインを読み取り、特定された帯域の前記周波数成分の時間変化を表す信号の振幅を、読み取られたゲインを用いて調整して近似する
    ことを特徴とする請求項１５記載の復号化装置。
17. 前記時間近似手段は、すでに周波数スペクトルに変換されている帯域を特定し、特定された帯域の周波数スペクトルに含まれる周波数スペクトル係数列を周波数成分の時間変化を表す信号に変換し、変換によって得られた前記周波数成分の時間変化を表す信号を用いて、抽出された前記符号化列が表す帯域を近似する
    ことを特徴とする請求項１５記載の復号化装置。
18. 前記復号化装置は、さらに、
    抽出された符号化列が表す帯域を、他の帯域の符号化列から復号化された周波数スペクトルで近似する周波数近似手段を備え、
    前記合成手段は、入力された符号化列の他の部分から抽出された符号化列を復号化して得られた周波数スペクトル係数列と、前記周波数変換手段から得られた周波数スペクトル係数列とに加えて、さらに、前記周波数近似手段によって近似された周波数スペクトル係数列とを周波数軸上で合成する
    ことを特徴とする請求項１４記載の復号化装置。
19. 前記周波数近似手段は、抽出された前記符号化列に含まれる情報から、当該符号化列が表す帯域の近似に用いられた周波数スペクトルの帯域を特定し、特定された帯域の周波数スペクトルを用いて近似する
    ことを特徴とする請求項１８記載の復号化装置。
20. 前記周波数近似手段は、さらに、抽出された前記符号化列に含まれる情報から、近似に用いられた周波数スペクトルにつき、近似される側の周波数スペクトルに対するゲインを読み取り、特定された帯域の周波数スペクトルの振幅を、読み取られたゲインを用いて調整して近似する
    ことを特徴とする請求項１９記載の復号化装置。
21. 入力されるオーディオ信号をフレーム時間ごとに時間−周波数変換して得られる周波数領域の信号を符号化し、出力信号を生成する符号化方法であって、
    入力オーディオ信号の特性に基づいて、前記入力オーディオ信号を時間−周波数変換して得られる周波数スペクトルの一部の帯域を特定する第１の帯域特定ステップと、
    特定された帯域の周波数スペクトルに含まれる周波数スペクトル係数列を、周波数−時間変換することにより、前記フレーム時間における前記特定された帯域の周波数成分の時間変化を表す信号を生成する時間変換ステップと、
    前記時間変換ステップによって得られる前記信号と、前記周波数スペクトルの少なくとも一部とを符号化し、符号化された前記信号および前記周波数スペクトルから出力信号を生成する符号化ステップとを含む
    ことを特徴とする符号化方法。
22. 請求項１記載の符号化装置によって生成された出力信号である符号化列を復号化し、周波数スペクトルを出力する復号化方法であって、
    入力された符号化列に含まれる１フレームの一部をなし、周波数成分の時間変化を表す信号の符号化列を抽出し、抽出された符号化列を復号化する復号化ステップと、
    抽出された前記符号化列を復号化して得られた、前記周波数成分の時間変化を表す信号を、時間−周波数変換することにより、周波数スペクトル係数列に変換する周波数変換ステップと、
    入力された符号化列の同じフレームの他の部分から抽出された符号化列を復号化して得られた周波数スペクトル係数列と、前記周波数変換ステップによって得られた周波数スペクトル係数列とを周波数軸上で合成する合成ステップと
    を含むことを特徴とする復号化方法。
23. コンピュータに、入力されるオーディオ信号をフレーム時間ごとに時間−周波数変換して得られる周波数領域の信号を符号化し、出力信号を生成する符号化方法に含まれる各ステップを実行させるプログラムであって、
    入力オーディオ信号の特性に基づいて、前記入力オーディオ信号を時間−周波数変換して得られる周波数スペクトルの一部の帯域を特定する第１の帯域特定ステップと、
    特定された帯域の周波数スペクトルに含まれる周波数スペクトル係数列を、周波数−時間変換することにより、前記フレーム時間における前記特定された帯域の周波数成分の時間変化を表す信号を生成する時間変換ステップと、
    前記時間変換ステップによって得られる前記信号と、前記周波数スペクトルの少なくとも一部とを符号化し、符号化された前記信号および前記周波数スペクトルから出力信号を生成する符号化ステップと
    を実行させることを特徴とするプログラム。
24. コンピュータに、請求項１記載の符号化装置によって生成された出力信号である符号化列を復号化し、周波数スペクトルを出力する復号化方法に含まれる各ステップを実行させるためのプログラムであって、
    入力された符号化列に含まれる１フレームの一部をなし、周波数成分の時間変化を表す信号の符号化列を抽出し、抽出された符号化列を復号化する復号化ステップと、
    抽出された前記符号化列を復号化して得られた、前記周波数成分の時間変化を表す信号を、時間−周波数変換することにより、周波数スペクトル係数列に変換する周波数変換ステップと、
    入力された符号化列の同じフレームの他の部分から抽出された符号化列を復号化して得られた周波数スペクトル係数列と、前記周波数変換ステップによって得られた周波数スペクトル係数列とを周波数軸上で合成する合成ステップと
    を実行させることを特徴とするプログラム。

Images