JP4308229B2 - 符号化装置および復号化装置 - Google Patents

符号化装置および復号化装置 Download PDF

Info

Publication number
JP4308229B2
JP4308229B2 JP2006191278A JP2006191278A JP4308229B2 JP 4308229 B2 JP4308229 B2 JP 4308229B2 JP 2006191278 A JP2006191278 A JP 2006191278A JP 2006191278 A JP2006191278 A JP 2006191278A JP 4308229 B2 JP4308229 B2 JP 4308229B2
Authority
JP
Japan
Prior art keywords
spectrum
frequency spectrum
frequency
encoding
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006191278A
Other languages
English (en)
Other versions
JP2006293400A (ja
Inventor
峰生 津島
武志 則松
孝祐 西尾
直也 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2006191278A priority Critical patent/JP4308229B2/ja
Publication of JP2006293400A publication Critical patent/JP2006293400A/ja
Application granted granted Critical
Publication of JP4308229B2 publication Critical patent/JP4308229B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、音声信号や音楽信号などのオーディオ信号に対して、直交変換等の手法を用いて、時間領域から周波数領域に変換した信号を、より少ない符号化列で符号化することで情報圧縮する符号化装置と、符号化列を入力として情報を伸長する復号化装置に関する。
オーディオ信号の符号化方法、および、復号化方法は現在までに非常に多くの方式が開発されている。特に昨今では、それらの中でもISO/IECで国際標準化されたIS13818−7が認知され、高音質で高効率な符号化方法として、評価されている。この符号化方式はAACと呼ばれている。近年、前記AACがMPEG4と呼ばれる標準化にも採用され、前記IS13818−7に対して、いくつかの拡張機能を具備したMPEG4−AACと呼ばれる方式が策定されている。符号化過程の一例として、INFORMATIVE PARTにその記述がある。
ここで図13を用いて、従来の符号化方法を用いたオーディオ符号化装置について説明する。図13は、従来の符号化装置100の構成を示すブロック図である。この符号化装置100は、スペクトル増幅部101、スペクトル量子化部102、ハフマン符号化部103、符号化列転送部104を含んで構成される。アナログオーディオ信号を所定の周波数でサンプリングすることによって得られた時間軸上のオーディオ離散信号列は、一定時間間隔で一定サンプル数ずつに切り出され、図示しない時間周波数変換部を経て、周波数軸上のデータに変換された後、符号化装置100の入力信号としてスペクトル増幅部101に与えられる。スペクトル増幅部101は、あらかじめ決められた帯域ごとにある1つのゲインをもって、前記帯域に含まれるスペクトルを増幅する。スペクトル量子化部102は、前出の増幅されたスペクトルを決められた変換式で量子化をおこなう。AAC方式の場合は、浮動小数で表現されている周波数スペクトル情報を整数値に丸めをおこなうことで量子化をおこなっている。ハフマン符号化部103は、前記量子化されたスペクトル情報を何個かずつまとめてハフマン符号化した上、スペクトル増幅部101における前記所定帯域ごとのゲインおよび量子化の変換式を特定する情報などをハフマン符号化し、その符号を符号化転送部104に送る。ハフマン符号化された符号化列は、符号化列転送部104から伝送路または記録媒体などを介して復号化装置に転送され、復号化装置によって時間軸上のオーディオ信号に再生される。従来の符号化装置はこのようにして動作する。
しかしながら、上記従来の符号化装置100では、情報量の圧縮能力がハフマン符号化部103などの性能に委ねられており、高い圧縮率で、つまり、少ない情報量で符号化を行う際には、前記スペクトル増幅部101で十分にゲインを小さくし、前記スペクトル量子化部102で得られる量子化スペクトル列が前記ハフマン符号化部103で少ない情報量となるように符号化する必要がある。このような方法に従って、少ない情報量となるように符号化を行うと、再生される音声および音楽の周波数帯域が狭くなってしまう。このため、聴感上こもった感じが否めず、十分な音質が確保できないという問題が生じる。
本発明は、上記課題に鑑み、符号化装置ではオーディオ信号を高い圧縮率で符号化し、復号化装置では広帯域な周波数スペクトル情報を復号化できる符号化装置および復号化装置を提供することを目的とする。
上記課題を解決するために、本発明の符号化装置は、入力信号を符号化する装置であって、時間軸上の入力信号を周波数スペクトルに変換する時間周波数変換手段と、変換された前記周波数スペクトルに含まれる第1周波数スペクトルを参照することで、当該第1周波数スペクトルよりも高い周波数における第2周波数スペクトルを特定する拡張情報を生成する帯域拡張手段と、前記時間周波数変換手段で得られた第1周波数スペクトルと前記帯域拡張手段で得られた拡張情報とを符号化して出力する符号化手段とを備え、前記帯域拡張手段は、前記時間周波数変換手段で得られた第1周波数スペクトルを構成する複数の部分スペクトルの中から前記第2周波数スペクトルとして複製する元となる部分スペクトルを特定する第1パラメータと、複製後における部分スペクトルのゲインを特定する第2パラメータとを、前記拡張情報として生成することを特徴とする。
また、本発明の復号化装置は、符号化信号を復号化する装置であって、前記符号化信号には、第1周波数スペクトルと、当該第1周波数スペクトルよりも高い周波数における第2周波数スペクトルを特定する第1及び第2パラメータを含む拡張情報とが含まれ、前記復号化装置は、前記符号化信号を復号化することによって前記第1周波数スペクトルと前記拡張情報とを生成する復号化手段と、前記第1周波数スペクトルと前記第1及び第2パラメータとから前記第2周波数スペクトルを生成する帯域拡張手段と、生成された第2周波数スペクトルと前記第1周波数スペクトルとを合成して得られる周波数スペクトルを時間軸上の信号に変換する周波数時間変換手段とを備え、前記帯域拡張手段は、前記第1周波数スペクトルを構成する複数の部分スペクトルのうち前記第1パラメータによって特定される部分スペクトルを複製し、複製後における部分スペクトルのゲインを前記第2パラメータによって決定し、得られた部分スペクトルを前記第2周波数スペクトルとして生成することを特徴とする。
上記課題を解決するために、本発明の符号化装置は、入力信号を符号化する装置であって、時間軸上の入力信号を周波数スペクトルに変換する時間周波数変換手段と、変換された前記周波数スペクトルに含まれる第1周波数スペクトルを参照することで、当該第1周波数スペクトルよりも高い周波数における第2周波数スペクトルを特定する拡張情報を生成する帯域拡張手段と、前記時間周波数変換手段で得られた第1周波数スペクトルと前記帯域拡張手段で得られた拡張情報とを符号化して出力する符号化手段とを備え、前記帯域拡張手段は、前記時間周波数変換手段で得られた第1周波数スペクトルを構成する複数の部分スペクトルの中から前記第2周波数スペクトルとして複製する元となる部分スペクトルを特定する第1パラメータと、複製後における部分スペクトルのゲインを特定する第2パラメータとを、前記拡張情報として生成することを特徴とする。
以上のように、本発明の符号化装置によれば、低いビットレートで、広帯域なオーディオ符号化列を提供することが可能となる。本発明の符号化装置は、低域周波数成分は、その周波数の微細構造をハフマン符号化などの圧縮技術を用いて符号化するが、高域周波数成分は、その微細構造を符号化せず、主に低域スペクトルを高域スペクトルとして代替複製する情報だけを符号化しているので、高域周波数成分を表す符号化列によって消費される情報量を極小化することができるという効果がある。
また、本発明の復号化装置は、符号化信号を復号化する装置であって、前記符号化信号には、第1周波数スペクトルと、当該第1周波数スペクトルよりも高い周波数における第2周波数スペクトルを特定する第1及び第2パラメータを含む拡張情報とが含まれ、前記復号化装置は、前記符号化信号を復号化することによって前記第1周波数スペクトルと前記拡張情報とを生成する復号化手段と、前記第1周波数スペクトルと前記第1及び第2パラメータとから前記第2周波数スペクトルを生成する帯域拡張手段と、生成された第2周波数スペクトルと前記第1周波数スペクトルとを合成して得られる周波数スペクトルを時間軸上の信号に変換する周波数時間変換手段とを備え、前記帯域拡張手段は、前記第1周波数スペクトルを構成する複数の部分スペクトルのうち前記第1パラメータによって特定される部分スペクトルを複製し、複製後における部分スペクトルのゲインを前記第2パラメータによって決定し、得られた部分スペクトルを前記第2周波数スペクトルとして生成することを特徴とする。
従って、本発明の復号化装置によれば、復号化の過程では、高域周波数成分を、低域周波数成分の複製にゲイン調整などの加工を加えて生成するので、データ量の少ない符号化列から広帯域な再生音を得ることができるという効果がある。
また、前記帯域拡張手段は、生成した前記第2周波数スペクトルにノイズスペクトルを加算し、前記周波数時間変換手段は、前記ノイズスペクトルが加算された第2周波数スペクトルと前記第1周波数スペクトルとを合成して得られる周波数スペクトルを時間軸上の信号に変換するとしてもよい。
従って、本発明の復号化装置によれば、前記第2周波数スペクトルにノイズスペクトルを加算して、複製された低域周波数成分にゲイン調整を施すので、前記第2周波数スペクトルのトナリティーを極端に上げることなく、広帯域化を図ることができるという効果がある。
以下、本発明の実施の形態における符号化装置および復号化装置について図面(図1〜図12)を用いて説明する。
(実施の形態1)
まず、符号化装置について説明する。図1は、本発明の実施の形態1における符号化装置200の構成を示すブロック図である。符号化装置200は、低域部スペクトルを一定周波数幅のサブバンドに分割し、高域部に複写されるべきサブバンドを特定するための情報を音響符号化ビットストリームに含めて出力する符号化装置であって、プリプロセス部201、MDCT部202、量子化部203、BWEエンコード部204および符号化列生成部205を備える。
プリプロセス部201は、入力されたオーディオ信号列が、符号化復号化に伴う量子化による量子化歪により音質が変化することを考慮して、時間分解能を優先して2048サンプルよりもさらに細かなフレーム単位(SHORT窓)での量子化を行った方がよいか、2048サンプルサイズ(LONG窓)のまま量子化を行った方がよいかの判定を行う。
MDCT部202は、プリプロセス部201の出力である時間軸上のオーディオ離散信号列を変形離散余弦変換(MDCT変換:Modified Discrete Cosine Transform)して、周波数軸上の周波数スペクトルを出力する。量子化部203は、MDCT部202から出力された周波数スペクトルの低域部を量子化しハフマン符号化して出力する。
BWEエンコード部204は、MDCT部202で得られたMDCT係数を入力とし、入力されたうちの低域部スペクトルを一定周波数幅のサブバンドに区切り、MDCT部202から出力された周波数スペクトルの高域部に基づいて、高域部スペクトルの代わりに高域部に複写されるべき低域部サブバンドを特定する。
BWEエンコード部204は、特定された低域部サブバンドを示す拡張周波数スペクトル情報を高域部サブバンドごとに生成して、必要であれば生成された拡張周波数スペクトル情報を量子化し、ハフマン符号化して拡張オーディオ符号化列を出力する。符号化列生成部205は、量子化部203からの出力である低域部オーディオ符号化列と、BWEエンコード部204からの出力である拡張オーディオ符号化列とを、それぞれ、AACの規格により定められた音響符号化ストリームのオーディオ符号化列部と拡張オーディオ符号化列部とに記録して外部に出力する。
以下では、上記のように構成された符号化装置200の動作について説明する。まず、プリプロセス部201に、例えば、44.1kHzのサンプリング周波数でサンプリングされたオーディオ離散信号列が、フレーム単位で2048サンプルずつ入力される。1フレームのオーディオ信号列は、2048サンプルに限るものではないが、後述の符号化装置の説明を容易にするために、2048サンプルの場合について言及する。プリプロセス部201は、入力されたオーディオ信号列に基づいて、この入力オーディオ信号列をLONG窓で符号化するか、SHORT窓で符号化するかを判定する。以下では、プリプロセス部201において、LONG窓で量子化を行うと判定された場合について述べる。
プリプロセス部201から出力されたオーディオ離散信号列は、MDCT部202の時間周波数変換によって、ある時間間隔毎に時間軸上の離散信号から周波数スペクトル情報に変換され出力される。時間周波数変換としては、MDCT変換が一般的である。時間間隔としては、一般に128、256、512、1024、2048サンプル毎のいずれかが用いられる。MDCT変換の場合は、時間軸上の離散信号と、変換後の周波数スペクトル情報のサンプル数とを同数にして扱うことができる。MDCT変換は当業者には明らかな技術である。ここでは、プリプロセス部201から出力される2048サンプルのオーディオ信号は、MDCT部202に入力され、MDCT変換がなされるものとする。また、MDCT部202は、過去フレーム(2048サンプル)と新たに入力されたフレーム(2048サンプル)とを用いてMDCT変換を行い、2048サンプルのMDCT係数を出力する。MDCT変換は、一般式として(数1)などで与えられる。
Figure 0004308229
一般に符号化の過程では、上記のように得られた周波数スペクトル情報を完全に可逆、もしくは情報圧縮に相当するハフマン符号のような非可逆な符号で表現し、符号化列を生成する。ここでは、量子化部203には、低域成分から高域成分へと周波数の順に並んだ2048サンプルのMDCT係数のうち、低域側半分の0番目から1023番目までの低域部MDCT係数が入力される。量子化部203は、入力されたMDCT係数をAAC方式などの量子化方法を用いて量子化し、低域部オーディオ符号化列を生成する。一般にAAC方式などの量子化方法では、量子化されるべきMDCT係数の数は規定されていない。従って、量子化部203は、入力される低域部MDCT係数(1024係数)の全てを量子化してもよいし、一部のみを量子化してもよい。
ここでは、量子化部203は、MDCT係数のうち、0番目から(maxline−1)番目までの計(maxline)個の係数を量子化し符号化する。ただし、maxline は、従来の符号化装置によって量子化および符号化されるMDCT係数の上限周波数である。一方、BWEエンコード部204には、MDCT部202から出力されたすべてのMDCT係数(2048係数)が入力される。
以下、図1に示したBWEエンコード部204における拡張オーディオ符号化列の生成処理について図2(a)〜図2(c)を用いてさらに詳細に説明する。図2(a)は、MDCT部202によって出力されるMDCT係数列を示す図である。図2(b)は、図2(a)に示したMDCT係数のうち、量子化部203で符号化される0番目から(maxline−1)番目までのMDCT係数を示す図である。図2(c)は、図1に示したBWEエンコード部204における拡張オーディオ符号化列の生成方法の一例を示す図である。
なお、図2(a)〜図2(c)において、横軸は周波数を示し、各MDCT係数の番号が低域から高域へ順に0番目から2047番目まで付されている。縦軸はMDCT係数の値を表している。また、同図において、周波数スペクトルを周波数方向に連続する波形で示しているが、実際には、連続した波形ではない。図2(a)に示すように、MDCT部202から出力される2048個のMDCT係数は、一定時間サンプリングされた原音を、最大帯域幅では、サンプリング周波数の半分の周波数帯域で表すことができる。
一般に従来の符号化装置では、図2(a)に示したMDCT係数のうち、聴覚的に重要な、例えば、maxline までの低域部MDCT係数のみが量子化および符号化されて、復号化装置に伝送される場合が多い。このため、BWEエンコード部204では、maxline 以上の高域部を、図2(a)に示したMDCT係数そのものではなく、高域部MDCT係数に代わって高域部MDCT係数を表す拡張周波数スペクトル情報を生成する。すなわち、BWEエンコード部204では、MDCT係数のうち、0番目から(maxline−1)番目までは、量子化部203で予め符号化されるので、図2(c)に示したように、(maxline)番目から(targetline−1)番目までのMDCT係数を符号化することを目的としている。
まず、BWEエンコード部204は、復号化装置においてオーディオ信号として再生させたい高域部の範囲(具体的には、maxline から targetline までの周波数範囲)を想定し、想定した範囲を一定周波数間隔のサブバンドに区切る。さらに、BWEエンコード部204は、入力されたMDCT係数のうち、0番目から(maxline−1)番目までのMDCT係数からなる低域部の一部または全部を、高域サブバンドと同じ周波数幅の等間隔サブバンドに区切り、(maxline)番目から2047番目までのMDCT係数からなる高域部において、各サブバンドに代替しうる低域部サブバンドを特定する。高域部各サブバンドに対して代替しうる低域部サブバンドとして、例えば、高域部サブバンドと低域部サブバンドとのエネルギー差が最小となる低域部サブバンドが特定される。または、高域部と低域部との各サブバンド内で、絶対値が最大となるMDCT係数の周波数軸上の位置が最も近い低域部サブバンドが特定されるとしてもよい。
図2(c)のBWEエンコード部204の場合、MDCT係数の番号を表すstartline,targetline,endline,sbwの間には、(数2)の関係があるとする。
Figure 0004308229
ここで、shiftlenは予め設定された値でもよいし、入力されるMDCT係数の変化に応じてshiftlenを計算し、その値を示す情報をBWEエンコード部204で符号化してもよい。
図2(c)では、高域部を、MDCT係数sbw個のサンプルからなる周波数幅で、8つのサブバンドMDCT係数列h0〜h7に区分した場合、低域部では、startlineからendlineまでに、sbw個のサンプルからなるサブバンドMDCT係数サブバンドを4つ構成でき、各々をA、B、C、Dとした例を示している。なお、ここでは便宜上、startlineからendlineまでを4つのサブバンドに、maxlineからtargetlineを8つのサブバンドに分けるとしたが、これらの数や1サブバンドあたりのサンプル数は必ずしもこれらの値に限らない。BWEエンコード部204では、周波数幅sbwを有する各高域サブバンドh0〜h7のMDCT係数列を代替する、同じ周波数幅sbwを有する低域サブバンドA、B,C,Dを特定し、特定された低域代替サブバンドを示す拡張周波数スペクトル情報を生成し、符号化する。ここで代替とは、得られるMDCT係数の一部、この場合は低域サブバンドA〜DのMDCT係数を、高域サブバンドh0〜h7のMDCT係数としてコピーすることをいう。また、代替の意味には、さらに前記代替されたMDCT係数に対してゲインを制御することも含むものとする。
上記BWEエンコード204の場合、いずれの低域部サブバンドで高域部サブバンドを代替するかを表現するのに必要な情報量は、高域サブバンドh0〜h7の1つあたり、高々2ビットである。それは、高域サブバンド1つあたり、低域部サブバンドA〜Dの4種類から1つを特定できればよいためである。この様にしてBWEエンコード部204では、高域サブバンドh0〜h7が、低域サブバンドA〜Dのいずれで代替されるかを示す拡張周波数スペクトル情報を符号化し、その符号列をもって拡張オーディオ符号化列を生成する。
さらにBWEエンコード部204では、生成された拡張オーディオ符号化列の振幅調整を行う。 図3(a)は、原音のMDCT係数列を表す波形図である。図3(b)は、BWEエンコード部204による代替によって生成されたMDCT係数列を表す波形図である。図3(c)は、図3(b)に示したMDCT係数列にゲイン制御を施した場合のMDCT係数列を表す波形図である。図3(a)に示すように、BWEエンコード部204はmaxlineからtargetlineまでの高域部MDCT係数を複数の帯域に分割し、帯域毎のゲイン情報を符号化する。ゲイン情報の符号化のためのmaxlineからtargetlineまでの帯域の分割方法は、図2に示した高域部サブバンドh0〜h7と同様の分割方法でもよいし、別の分割方法でもよい。ここでは、図2と同様の分割方法の場合について図3を用いて説明する。
図3(a)に示すように、高域部サブバンドh0に含まれている原音のMDCT係数を、x(0),x(1),...,x(sbw-1)とし、図3(b)の高域部サブバンドh0における代替によるMDCT係数を、r(0),r(1),...,r(sbw-1)とする。また図3(c)におけるサブバンドh0のMDCT係数をy(0),y(1),...,y(sbw-1)とし、配列x,r,yの間で、(数3)となるゲインg0を求め、それを符号化する。
Figure 0004308229
高域サブバンドh1〜h7も同じように、ゲイン情報を算出し符号化する。これらゲイン情報g0〜g7も、拡張オーディオ符号化列に所定のビット数で符号化する。
このように符号化された拡張オーディオ符号化列は、図4に模式的に示すように、符号化装置200の出力である音響符号化ビットストリーム中に記述される。図4(a)は、通常の音響符号化ビットストリームの一例を示す図である。図4(b)は、本実施の形態の符号化装置200によって出力される音響符号化ビットストリームの一例を示す図である。図4(c)は、図4(b)に示した拡張オーディオ符号化列部に記述される拡張オーディオ符号化列の一例を示す図である。図4(a)に示すように、音響符号化ビットストリームがストリーム1のように、フレーム毎に形成されている場合、符号化装置200では、図4(b)に示すストリーム2のように、各フレームの一部(例えば図中の斜線部)を拡張オーディオ符号化列部として使用する。
この拡張オーディオ符号化列部は、例えば、MPEG−2 AACおよびMPEG−4 AAC記載のdata_stream_elementの領域である。このdata_stream_elementは、従来の符号化方式の機能を拡張した際に拡張用のデータを記述するための予備的な領域であって、この領域にどのようなデータが記録されていても、従来の復号化装置にはオーディオ符号化列とは認識されない領域である。また、例えば、オーディオ符号化列のデータ長を揃えるために「0」などの無意味なデータを充填する領域、例えば、MPEG−2 AACおよびMPEG−4 AACでいうFill Elementなどの領域である。拡張オーディオ符号化列を音響符号化ビットストリーム中のこのような領域に記述しておけば、従来の復号化装置を用いて本発明の音響符号化ビットストリームを復号化した場合でも、拡張オーディオ符号化列をオーディオ信号として再生することによる雑音を生じることなく、従来と同様の帯域のオーディオ信号を再生することができる。
また、図4(c)に示すように、拡張オーディオ符号化列は、直前フレームの拡張オーディオ符号化列と同じ方法で分割された低域サブバンドA〜Dを使用するか否かを示す項目と、各高域サブバンドh0〜h7のMDCT係数を表す項目とが記述される。各高域サブバンドh0〜h7のMDCT係数を表す項目には、それぞれ、特定された低域サブバンドA〜Dを示すデータと、そのゲイン情報とが記述される。直前フレームの拡張オーディオ符号化列と同じ低域サブバンドA〜Dを使用するか否かを示す項目には、例えば、直前フレームと同じ方法で区切られた低域サブバンドA〜Dの1つを使用して高域サブバンドh0〜h7のMDCT係数を代替する場合には「1」、そうでない場合、すなわち、直前フレームとは異なる分割方法で新たに分割された低域サブバンドA〜Dの1つを使用して代替する場合には「0」で示される1ビットの値が記述される。
低域サブバンドA〜Dのうち、特定された低域サブバンドを示す項目には、4つの低域サブバンドA〜Dの1つを特定する2ビットのデータが記述される。また、ゲイン情報は例えば、4ビットで記述される。このようにすれば、直前フレームと同じ方法で区切られた低域サブバンドA〜Dを使用して高域サブバンドh0〜h7のMDCT係数を代替する場合、1フレームの高域部MDCT係数を、1+8*(2+4)=49ビットの拡張オーディオ符号化列で表すことができる。また、直前フレームと同じ低域サブバンドA〜Dを使用するフレームでは、拡張オーディオ符号化列は、例えば、そのことを示す値「1」の1ビットだけで表すことができる。
この様にして本発明の符号化装置200によるオーディオ信号符号化方法が従来の符号化方式に適用された場合、データ量の少ない拡張オーディオ符号化列を用いて高域部を表現し、高音域の豊かな広帯域オーディオ再生音を得ることが可能となる。
<復号化装置>
一方、復号化の過程では、入力されたオーディオ符号化列を復号化し、周波数スペクトル情報を得て、その周波数スペクトルを周波数時間変換することによって、時間軸上のオーディオ信号を再生する。
図5は、図1の符号化装置200から出力された音響符号化ビットストリームを復号化する復号化装置600の構成を示すブロック図である。復号化装置600は、拡張オーディオ符号化列を含む音響符号化ビットストリームを復号化して、広帯域な周波数スペクトル情報を出力する復号化装置であって、符号化列分離部601、逆量子化部602、IMDCT(Inversed Modified Discrete Cosine Transform)部603、ノイズ生成部604、BWEデコード部605および拡張IMDCT部606を備える。
符号化列分離部601は、入力された音響符号化ビットストリームから、低域部を表すオーディオ符号化列と、高域部を表す拡張オーディオ符号化列とを分離し、分離されたオーディオ符号化列を逆量子化部602に、分離された拡張オーディオ符号化列をBWEデコード部605に出力する。逆量子化部602は、音響符号化ビットストリームから分離されたオーディオ符号化列を逆量子化して、低域部MDCT係数を出力する。
なお、逆量子化部602は、オーディオ符号化列と拡張オーディオ符号化列の双方を入力としてもよい。また、逆量子化部602は、量子化部203での量子化方法としてAAC方式が使用されたのなら、AAC方式の逆量子化を用いてMDCT係数の復元を行う。これにより、逆量子化部602では、0番目から(maxline−1)番目までの低域部MDCT係数が復元され出力される。
IMDCT部603は、逆量子化部602から出力された低域部MDCT係数を、IMDCTを用いて周波数時間変換を行い、時間軸上の低域部オーディオ信号を出力する。すなわち、逆量子化部602の出力をIMDCT部603の入力とした場合、1フレームあたり1024サンプルのオーディオ出力が得られる。ここでIMDCT部603は、1024サンプルのIMDCT演算を行う。IMDCT演算の一般式は、(数4)などで与えられる。
Figure 0004308229
一方、符号化列分離部601において音響符号化ビットストリームから分離された拡張オーディオ符号化列は、BWEデコード部605に出力される。併せて、逆量子化部602の出力である0番目から(maxline−1)番目までの低域MDCT係数およびノイズ発生部604の出力は、BWEデコード部605へと入力される。BWEデコード部605の動作の詳細については後述するが、分離された拡張オーディオ符号化列を復号化して得られた拡張周波数スペクトル情報に基づいて、(maxline)番目から2047番目までに相当する高域部MDCT係数の復号化および逆量子化を行い、逆量子化部602で得られる0番目から(maxline−1)番目までの低域部MDCT係数に加算して、0番目から2047番目までに相当する広帯域MDCT係数を出力する。拡張IMDCT部606では、IMDCT部603の2倍のサンプル数のIMDCT演算を行うことにより、1フレームあたり2048サンプルの広帯域な出力オーディオ信号を得る。
以下では、BWEデコード部605のより詳細な動作について説明する。BWEデコード部605では、逆量子化部602によって得られるMDCT係数0番目から(maxline−1)番目と、拡張オーディオ符号化列を用いて、maxline番目からtargetline番目までのMDCT係数を復元する。startline,endline,maxline,targetline,sbw,shiftlenはいずれも符号化装置200側のBWEエンコード部204で用いたものと同じ値である。拡張オーディオ符号化列には、図4(c)に示したように、高域サブバンドh0〜h7のMDCT係数が低域サブバンドA〜Dのいずれのサブバンドで代替されるかを示した情報が符号化されているので、その情報に基づいて、高域サブバンドh0〜h7のMDCT係数を、指定された低域サブバンドA〜DのMDCT係数で各々代替する。
その結果、BWEデコード部605では、0番目から(targetline)番目までのMDCT係数を得る。さらにBWEデコード部605では、拡張オーディオ符号化列にあるゲイン情報をもとにゲイン制御を行う。図3(b)に示すように、BWEデコード部605は、maxlineからtargetlineまでの各高域サブバンドh0〜h7に、低域部サブバンドA〜Dによって代替されるMDCT係数列を生成する。さらに、BWEデコード部605は、高域サブバンドh0における代替MDCT係数がr(0),r(1),...,r(sbw-1)で、拡張オーディオ符号化列から得られるゲイン情報が高域サブバンドh0についてg0である時、(数5)で与えられる関係式により、図3(c)に示すゲイン制御を施したMDCT係数列を得ることができる。すなわち、高域サブバンドh0におけるMDCT係数をy(0),y(1),...,y(sbw-1)とすると、ゲイン制御を施したi番目のMDCT係数y(i)の値は以下の数5で表される。
Figure 0004308229
同様に、高域サブバンドh1〜h7も、各々の高域サブバンドに対するゲイン情報g1〜g7を、代替によるMDCT係数列に乗じることによりゲイン制御したMDCT係数列を得ることができる。さらに、ノイズ生成部604は、ホワイトノイズ、ピンクノイズ、または低域部MDCT係数列の全部または一部をランダムに組み合わせたノイズなどを生成し、生成されたノイズをゲイン制御されたMDCT係数列に付加する。その際、加算されるノイズと低域から複製されるスペクトルで合成されるスペクトルのエネルギーを、(数5)で表されるスペクトルのエネルギーに補正することも可能である。
本実施の形態1では、(数5)のように、代替されたMDCT係数に乗じるゲイン情報を符号化することについて述べたが、ゲイン情報としては相対的なゲインではなく、MDCT係数のエネルギーや平均振幅など絶対的な値を用いて符号化、復号化してもよい。
この様にして構成されたBWEデコード部605を用いることにより、図4(c)に示したような、少ないデータ量で表された拡張オーディオ符号化列を用いた場合でも、高域部の豊かな広帯域なオーディオ再生音を得ることができる。
なお、以上ではAAC方式に従う符号化装置200および復号化装置600について説明したが、本発明の符号化装置および復号化装置は、これに限定されず、他の符号化方式を用いたものであってもよい。
また、符号化装置200では、MDCT部202からBWEエンコード部204に、0番目から2047番目までのMDCT係数列が出力されるとしたが、BWEエンコード部204では、さらに、量子化部203で量子化されたMDCT係数を逆量子化して得られる、量子化歪を含んだMDCT係数も併せて入力としてもよい。また、BWEエンコード部204は、0番目から(maxline−1)番目までの低域部については、量子化部203の出力を逆量子化して得られるMDCT係数列を入力とし、(maxline)番目から(targetline−1)番目までの高域部については、MDCT部202の出力を入力とするようにしてもよい。
なお、上記実施の形態1では、拡張周波数スペクトル情報を場合に応じて量子化し、符号化すると説明したが、符号化すべき情報(拡張周波数スペクトル情報)をハフマン符号などの可変長符号化を用いて表現したものを拡張オーディオ符号化列として用いてもよいことは言うまでもない。これに対応して、復号化装置では、拡張オーディオ符号化列を逆量子化せず、ハフマン符号などの可変長符号を復号化するとしてもよい。
また、実施の形態1では、本発明の符号化方法および復号化方法を、MPEG−2 AACおよびMPEG−4 AACに適用する場合について説明したが、これに限らず、MPEG−1 AudioやMPEG−2 Audioなどの他の符号化方式に適用してもよい。MPEG−1 AudioやMPEG−2 Audioに用いる際は、拡張オーディオ符号化列を、規格書記載のancillary_dataに適用する。
なお、上記実施の形態1では、入力されるオーディオ信号を時間周波数変換して得られる周波数スペクトル(MDCT係数)の範囲内で、高域部サブバンドを低域サブバンドの周波数スペクトルによって代替すると説明したが、本発明はこれに限定されず、時間周波数変換によって出力される周波数スペクトルの周波数上限を越える領域にまで代替するとしてもよい。ただし、この場合、原音を表す高域周波数スペクトル(MDCT係数)に基づいて代替に用いる低域サブバンドを特定することはできない。
(実施の形態2)
本発明の実施の形態2において、実施の形態1と異なる点は、実施の形態1のBWEエンコード部204では、startlineからendlineまでの低周波帯域のMDCT係数列を、A〜Dまでの4つのサブバンドに分割したが、実施の形態2のBWEエンコード部では、startlineからendlineまでの同じ帯域を、重複を許してA〜Gまでの7つのサブバンドに分割したことである。
なお、実施の形態2における符号化装置および復号化装置は、実施の形態1における符号化装置200および復号化装置600と基本的には同様の構成であり、符号化装置においてはBWEエンコード部701の処理、復号化装置においてはBWEデコード部702の処理が異なるのみである。従って、本実施の形態2においては、BWEエンコード部701およびBWEデコード部702のみ参照符号を変更して説明し、実施の形態1において符号化装置200および復号化装置600に関し、すでに説明した各構成要素については同一の参照符号を付して説明を省略する。なお、以下の実施の形態においても、既に説明した部分と異なる点についてのみ説明し、既に説明した部分については省略する。
以下では、図6を用いて、実施の形態2のBWEエンコード部701について説明する。図6は、実施の形態2のBWEエンコード部701による拡張周波数スペクトル情報生成方法を示す図である。同図において、低域サブバンドE、F,Gは、実施の形態1と同様に分割された低域サブバンドA,B,C、Dのうち、低域サブバンドA,B,Cを高域側に、sbw/2シフトして得られるサブバンドである。
ここでは、低域サブバンドA,B,Cを高域方向にsbw/2ずつシフトするとしているが、重複を許す帯域の分割方法や、シフトの周波数幅、および分割の個数などは必ずしもこれに限定されない。BWEエンコード部701では、高域サブバンドh0〜h7のMDCT係数列を代替する、A〜Gまでの7つの低域サブバンドの1つを特定する情報を、高域サブバンドh0〜h7の各々について生成および符号化し、拡張オーディオ符号化列として出力する。
一方、本実施の形態2における復号化装置では、実施の形態2の符号化装置(符号化装置200におけるBWEエンコード部204の代わりにBWEエンコード部701を備えたもの)によって符号化された拡張オーディオ符号化列を入力として、高域サブバンドh0〜h7が、低域サブバンドA〜GのいずれのサブバンドのMDCT係数で代替されたかを特定する情報を復号化し、高域サブバンドh0〜h7のMDCT係数を、低域サブバンドA〜GのMDCT係数で代替する。
また、低域サブバンドA〜Gのいずれか1つを特定する情報を、例えば3ビットの符号情報を用いて表す場合、符号情報として「0」から「6」までの整数値が、それぞれ低域サブバンドA〜Gを表すとすると、符号情報の値が「7」となる符号情報を作成した場合、復号化装置では、A〜Gのいずれを用いても代替しないという制御を行うとしてもよい。なお、ここでは符号情報として3ビットの情報を用い、符号情報の値として「7」の場合について述べたが、符号情報のビット数や、符号情報の値は他の値でも構わない。
実施の形態1で用いたゲイン制御および/またはノイズの重畳は、本発明の実施の形態2でも同様に用いる。この様にして作成された符号化装置、復号化装置を用いれば、情報量として大きくない拡張オーディオ符号化列を用いて、広帯域な再生音を得ることができる。
(実施の形態3)
実施の形態3において、実施の形態2と異なる点は、実施の形態2のBWEエンコード部701では、startlineからendlineまでの低域部MDCT係数を、周波数軸方向の重複を許してA〜Gまでの7つの低域サブバンドに分割したが、実施の形態3のBWEエンコード部では、startlineからendlineまでの帯域を、A〜Gまでの7つのサブバンドに分割し、かつ、低域サブバンド内のMDCT係数の順序を反転したものと、低域サブバンド内のMDCT係数の正負の符号を反転したものとを定義したことである。
実施の形態3においても実施の形態2と同様、実施の形態1の符号化装置200および復号化装置600と、構成上異なる点は、符号化装置におけるBWEエンコード部801と、復号化装置におけるBWEデコード部802のみである。以下では、図7を用いて本実施の形態3のBWEエンコード部について説明する。
図7は、実施の形態3のBWEエンコード部801による拡張周波数スペクトル情報生成方法を示す図である。図7(a)は、実施の形態2と同様に分割された低域部および高域部のサブバンドを示す図である。図7(b)は、低域サブバンドAのMDCT係数列の一例を示す図である。図7(c)は、低域サブバンドAのMDCT係数列の順序を反転させて得られるサブバンドAsのMDCT係数列の一例を示す図である。
また、図7(d)は、低域サブバンドAのMDCT係数列の符号を反転させて得られるサブバンドArを示す図である。例えば、低域サブバンドAのMDCT係数列を(p0,p1,...,pN)で表す。これにおいて、例えば、p0は、サブバンドAの0番目のMDCT係数の値を表している。サブバンドAのMDCT係数列の順序を周波数方向に反転させて得られるサブバンドAsのMDCT係数列は(pN,p(N-1),...,p0)である。低域サブバンドAのMDCT係数列の符号を反転させて得られるサブバンドArのMDCT係数は(-p0,-p1,...,-pN)で表される。サブバンドAだけでなく、サブバンドB〜Gも同様に、順序の反転したサブバンドBs〜Gsと、負号を反転して得られるサブバンドBr〜Grとを定義する。
この様にして、本実施の形態3におけるBWEエンコード部801では、高域サブバンドh0〜h7の各々について、A〜Gまでの7つの低域サブバンドのいずれか、または7つの低域サブバンドA〜GのMDCT係数列の順番や符号を反転して得られるそれぞれ7つの低域サブバンドAs〜Gsおよび低域サブバンドAr〜Grのうちからいずれか、高域サブバンドh0〜h7のMDCT係数を代替する1つを特定する。
BWEエンコード部801は、特定された低域サブバンドを用いて高域部MDCT係数列を表すための情報を符号化し、図4(c)に示したような拡張オーディオ符号化列を生成する。この場合、拡張周波数スペクトル情報として、各高域サブバンドにつき、高域サブバンドのMDCT係数を代替する低域サブバンドを特定する情報と、特定された低域サブバンドのMDCT係数の順序を反転するか否かを示す情報と、特定された低域サブバンドMDCT係数の正負の符号を反転するか否かを示す情報とを符号化する。
一方、本実施の形態3における復号化装置では、上記のように本実施の形態3における符号化装置によって符号化された拡張オーディオ符号化列を入力として、高域サブバンドh0〜h7が、低域サブバンドA〜GのいずれのMDCT係数で代替されているか、MDCT係数の順序を反転するか否か、およびMDCT係数の正負の符号を反転させるか否かを示した拡張周波数スペクトル情報を復号化する。次いで、復号化された拡張周波数スペクトル情報に従って、特定された低域サブバンドA〜GのMDCT係数を、MDCT係数の順序を反転したり、正負の符号を反転したりして、高域サブバンドh0〜h7のMDCT係数を生成する。
さらに、本実施の形態3では、低域サブバンドのMDCT係数の順序と正負の符号とについてのみの拡張ではなく、低域サブバンドのMDCT係数をフィルタ処理したものによる代替を含む。なお、フィルタ処理とは、例えばIIRフィルタおよびFIRフィルタなどであり、当業者では明らかな技術であるので説明を省略する。このようなフィルタ処理を行う場合、符号化装置側で、拡張オーディオ符号化列の中にフィルタの係数を符号化しておくことにより、復号化装置側では、特定された低域サブバンドのMDCT係数に、復号化されたフィルタ係数で示されるIIRフィルタやFIRフィルタを施し、フィルタリングが施されたMDCT係数を用いて高域サブバンドを代替することができる。
なお、実施の形態1で用いたゲイン制御は、実施の形態3でも同様に用いることができる。以上のように構成された符号化装置、復号化装置を用いれば、情報量として大きくない拡張オーディオ符号化列を用いて、広帯域な再生音を得ることができる。
(実施の形態4)
本実施の形態4において、実施の形態3と異なる点は、本実施の形態4の復号化装置では、高域部サブバンドh0〜h7のMDCT係数を、特定された低域サブバンドA〜GのMDCT係数だけを用いて代替するのではなく、特定された低域サブバンドA〜GのMDCT係数に併せて、ノイズ生成部によって生成されたMDCT係数を用いて代替する点である。従って、本実施の形態4における復号化装置は、実施の形態1の復号化装置600と、ノイズ生成部901およびBWEデコード部902の構成が異なるのみである。
以下、本実施の形態4の復号化装置における拡張オーディオ符号化列の復号化処理について、例えば、BWEデコードされる高域サブバンドh0が、低域サブバンドAを用いて代替される場合について図8を用いて説明する。図8(a)は、高域サブバンドh0に対して特定された低域サブバンドAのMDCT係数の一例を示す図である。図8(b)は、ノイズ生成部901によって生成される低域サブバンドAと同数のMDCT係数の一例を示す図である。図8(c)は、図8(a)に示した低域サブバンドAのMDCT係数と、図8(b)に示したノイズ生成部901によるMDCT係数とを用いて生成される、高域サブバンドh0を代替するMDCT係数の一例を示す図である。ここで、低域サブバンドAのMDCT係数列を、A=(p0,p1,...,pN)とする。
また、ノイズ生成部901では、低域サブバンドAと同じ数Nのノイズ信号MDCT係数列、M=(n0,n1, ...,nN)が得られるとする。BWEデコード部902では、低域サブバンドAのMDCT係数列Aと、ノイズ信号MDCT係数列Mとを、重み係数α、βを用いて調整し、高域サブバンドh0のMDCT係数を代替する代替MDCT係数列A'を生成する。代替係数列A'は、以下の数式(数6)で表される。
Figure 0004308229
なお、重み係数α、βは本実施の形態4における復号化装置において、予め設定された値でもよいし、符号化装置側で、重み係数α、βの値を示す制御情報を拡張オーディオ符号化列中に符号化しておき、復号化装置において復元したものを用いるとしてもよい。
ここでは、BWEデコード部902で出力されるサブバンドh0を例にとって説明したが、他の高域サブバンドh1〜h7についても同様の処理を行う。また、代替される低域サブバンドとして低域サブバンドAを例に説明したが、逆量子化部から得られる他の低域サブバンドであってもよく、その場合の処理も同様である。また、重み係数α、βとしては、一方が「0」のとき他方が「1」となるような値をとってもよいし、「α+β」が「1」となるような値をとってもよい。
この場合、例えば、α=0のとき、高域サブバンドのMDCT係数列とノイズ情報のMDCT係数列のエネルギー比を求め、得られたエネルギー比を、ノイズ情報のMDCT係数列に対するゲイン情報として拡張オーディオ符号化列に符号化するものとする。さらに、重み係数αと重み係数βとの比を表す値を符号化してもよい。また、BWEデコード部902によってコピーされる1つの低域サブバンドのMDCT係数が全て「0」である場合には、αの値によらずβの値を「1」に設定するなどの制御を行うとしてもよい。
ノイズ生成部901は、予め用意されたテーブルを内部に保持しておき、そのテーブルにある値をノイズ信号MDCT係数列として出力する構成でもよいし、時間領域のノイズ信号をMDCT変換することによって得られるノイズ信号MDCT係数列を毎フレーム作成する構成でもよい。また、時間領域のノイズ信号に対して時間領域でゲインコントロールし、ゲインコントロールされた信号列をMDCT変換して得られるMDCT係数列の全部または一部を用いてノイズ信号MDCT係数列を出力する構成でもよい。
特に、時間領域のノイズ信号を時間領域でゲインコントロールし、MDCT変換して得られるMDCT係数列を用いる場合には、再生音のプリエコーを抑圧する効果を期待することができる。その際、ノイズ信号に対して時間領域でゲインコントロールするためのゲインの制御情報は、実施の形態4における符号化装置側で予め符号化しておき、復号化装置側ではそれを復号化して用いるとしてもよい。この様にして構成された復号化装置を用いれば、低域サブバンドのMDCT係数によって、BWEデコードされる高域サブバンドのMDCT係数を、十分に表現できない場合においても、ノイズ信号のMDCT係数を用いることで、極端にトナリティーを上げることなく、広帯域化を図れる効果が期待される。
(実施の形態5)
本実施の形態5において、実施の形態4と異なる点は、複数の時間フレームを1つにまとめて制御可能するように機能を拡張した点である。本発明の実施の形態5の符号化装置および復号化装置におけるBWEエンコード部1001およびBWEデコード部1002の動作に付いて、図9および図10を用いて説明する。
図9(a)は、時刻t0における1フレームのMDCT係数を示す図である。図9(b)は、時刻t1における次のフレームのMDCT係数を示す図である。図9(c)は、時刻t2におけるさらに次のフレームのMDCT係数を示す図である。時刻t0,t1,t2は連続する時間であり、フレームに同期した時刻であるとする。実施の形態1から実施の形態4では、各々の時刻t0,t1,t2においてそれぞれ拡張オーディオ符号化列を生成したが、実施の形態5の符号化装置においては、複数の連続するフレームの拡張オーディオ符号化列を共通に生成する。同図では、連続するフレームの数が3つの場合を示したが、連続するフレームの数はいくつでもでよい。
実施の形態1の図4(c)では、拡張オーディオ符号化列の先頭部に、直前フレームの拡張オーディオ符号化列と同じ方法で分割された低域サブバンドA〜Dを使用するか否かを示す項目を備えたが、本実施の形態5のBWEエンコード部1001は、これと同様に、各フレームの拡張オーディオ符号化列の先頭部に、直前フレームと同じの拡張オーディオ符号化列を使用するか否かを示す項目を設ける。以下では、例えば、時刻t0,t1,t2の各フレームにおいて、各フレームの高域サブバンドを、時刻t0フレームの拡張オーディオ符号化列を用いて復号化する場合について説明する。
実施の形態5の復号化装置では、複数の連続するフレームに共通に生成された拡張オーディオ符号化列を入力として、各フレームのBWEデコードを行う。例えば、BWEデコード部1002は、時刻t0フレームにおける高域サブバンドh0が、同じ時刻t0フレームの低域サブバンドCで代替されている場合、時刻t1フレームにおける高域サブバンドh0も時刻t1フレームの低域サブバンドCを用いて復号化し、同様に時刻t2フレームにおける高域サブバンドh0も時刻t2フレームの低域サブバンドCを用いて復号化する。
BWEデコード部1002は、他の高域サブバンドh1〜h7についても同様の処理を行う。この様にして構成された符号化装置および復号化装置を用いれば、同じ拡張オーディオ符号化列を使用する複数フレームに対して、全体的に、オーディオ符号化ビットストリーム中に拡張オーディオ符号化列が占める領域を小さく抑えることができ、より効率的な符号化および復号化を実現することができる。
また、以下では、本実施の形態5における符号化装置および復号化装置の他の例について、図10を用いて説明する。この例において、前述の例と異なる点は、BWEエンコード部1101は、複数の連続フレームにおいて同じ拡張オーディオ符号化列を用いて復号化される高域部MDCT係数列を、フレームごとに異なるゲインでゲインコントロールするためのゲイン情報を、拡張オーディオ符号化列に符号化する点である。
図10も、図9と同様に、時刻t0,t1,t2において連続する複数のフレームにおけるMDCT係数列を示す図である。実施の形態5における他の符号化装置では、複数フレームにおいてBWEデコードされる高域部MDCT係数のゲインの相対値を、拡張オーディオ符号化列に生成する。例えば、BWEデコードされる帯域(maxline から targetlineまでの高域部)のMDCT係数の平均振幅を、時刻t0,t1,t2フレームに対して各々G0,G1,G2とする。
まず、時刻t0,t1,t2フレームの中で、レファレンスとなるフレームを決定する。レファレンスとなるフレームは、例えば、最初の時刻t0フレームなどに予め決定しておいてもよいし、また、例えば、最大の平均振幅を与えるフレームをレファレンスとして決定しておき、最大の平均振幅を与えるフレームの位置を示す情報を拡張オーディオ符号化列中に別途、符号化しておいてもよい。
ここでは、例えば、時刻t0フレームにおける平均振幅G0が、同じ拡張オーディオ符号化列を用いて高域部MDCT係数列が復号化される連続フレームにおける、最大の平均振幅であるとする。この場合、時刻t1フレームにおける高域部平均振幅は、レファレンスである時刻t0フレームに対して、G1 / G0で表され、時刻t2フレームにおける高域部平均振幅は、時刻t0フレームに対してG2 / G0で表される。BWEエンコード部1101は、これら、高域部平均振幅の相対値G1 / G0,G2 / G0などを量子化して拡張オーディオ符号化列に符号化する。
一方、実施の形態5における他の復号化装置では、BWEデコード部1102は、拡張オーディオ符号化列を入力として、レファレンスとなるフレームを拡張オーディオ符号化列から特定して復号化し、もしくは予め決定されているフレームを復号化し、レファレンスとなるフレームの平均振幅値を復号化する。さらに、BWEデコードされる高域部MDCT係数列のレファレンスフレームに対する相対的な平均振幅値を復号化し、共通の拡張オーディオ符号化列に従って復号化された各フレームの高域部MDCT係数列をゲインコントロールする。
このように、図10に示したBWEデコード部1102によれば、共通の拡張オーディオ符号化列を使用して復号化された複数フレームに対して、MDCT係数の平均振幅の補正を容易に行うことができる。これによって、少ないデータ量で、より原音に忠実な広帯域オーディオ信号を再生できるオーディオ符号化列を符号化し、復号化することができる。
(実施の形態6)
本実施の形態6において、実施の形態5と異なる点は、本実施の形態5の符号化装置および復号化装置は、時間軸上のオーディオ信号を、ポリフェーズQMF(Quadrature Mirror Filter)フィルタを用いて、周波数スペクトルの時間変化を表す時間周波数信号に変換および逆変換する点である。
例えば、サンプリング周波数44.1kHzでサンプリングされたオーディオ信号の1フレーム、1024サンプルのうち、連続する毎32サンプルを約0.73msecごとに周波数変換して、それぞれ32サンプルからなる周波数スペクトルを得る。1フレーム、1024サンプルでは、約0.73msecずつ時間差のあるこの周波数スペクトルが、全部で32個得られる。
この周波数スペクトルは、それぞれ32サンプルで0kHzから最大22.05kHzまでの再生帯域を表している。この周波数スペクトルのうち、同一周波数のスペクトルデータの値を時間方向につないで得られる波形が、QMFフィルタの出力である時間周波数信号である。本実施の形態の符号化装置は、QMFフィルタの出力である時間周波数信号のうち、例えば、低域部0番目〜15番目の時間周波数信号を、従来の符号化装置と同様にして、量子化および可変長符号化する。
一方、高域部16番目〜31番目の時間周波数信号については、それぞれを代替する低域部0番目〜15番目の時間周波数信号の1つを特定し、特定された低域部0番目〜15番目の時間周波数信号を示す情報と、特定された低域時間周波数信号の振幅を調整するためのゲイン情報とからなる拡張時間周波数信号を生成する。
なおここで、例えば、パラメータに応じて処理または特性の異なるフィルタを用いる場合には、フィルタの処理内容または特性を特定するためのパラメータを、拡張時間周波数信号に記述しておく。次いで、符号化装置は、低域時間周波数信号を量子化及び可変長符号化して得られた低域部オーディオ符号化列と、拡張時間周波数信号を可変長符号化して得られた高域部符号化列とを、オーディオ符号化ビットストリームに記述して出力する。
図11は、QMFフィルタを用いて符号化されたオーディオ符号化ビットストリームから広帯域時間周波数信号を復号化する復号化装置1200の構成を示すブロック図である。復号化装置1200は、高域部の時間周波数信号を表す拡張時間周波数信号を可変長符号化して得られた符号化列と、低域時間周波数信号を量子化および符号化して得られた符号化列とからなる入力オーディオ符号化ビットストリームから、広帯域時間周波数信号を復号化する復号化装置であって、核復号化部1201、拡張復号化部1202およびスペクトル加算部1203を備える。
核復号化部1201は、入力されたオーディオ符号化ビットストリームを復号化し、量子化された低域時間周波数信号と、高域時間周波数信号を表す拡張時間周波数信号とを分離する。核復号化部1201は、さらに、オーディオ符号化ビットストリームから分離された低域時間周波数信号を、逆量子化してスペクトル加算部1203に出力する。スペクトル加算部1203は、核復号化部1201によって復号化および逆量子化された低域時間周波数信号と、拡張復号化部1202によって生成された高域時間周波数信号とを加算して、全再生帯域例えば、再生帯域0kHz〜22.05kHzの時間周波数信号を出力する。この出力時間周波数信号は、例えば、後段の図示しないQMF逆変換フィルタによって時間軸上のオーディオ信号に変換され、さらに後段のスピーカなどにより音声および音楽などの可聴音に変換される。
拡張復号化部1202は、核復号化部1201によって復号化された低域時間周波数信号と、拡張時間周波数信号とを入力とし、分離された拡張時間周波数信号に基づいて、高域時間周波数信号を代替する低域時間周波数信号を特定して高域部にコピーし、さらにその振幅を調整して高域時間周波数信号を生成する処理部であって、さらに、代替制御部1204およびゲイン調整部1205を備える。
代替制御部1204は、復号化された拡張時間周波数信号に従って、例えば、16番目の高域時間周波数信号を代替する0番目〜15番目の低域時間周波数信号の1つを特定し、特定された低域時間周波数信号を16番目の高域時間周波数信号としてコピーする。ゲイン調整部1205は、高域部に16番目の高域時間周波数信号としてコピーされた低域時間周波数信号を、拡張時間周波数信号に記述されているゲイン情報に従って増幅し、振幅を調整する。拡張復号化部1202は、さらに、代替制御部1204とゲイン調整部1205とによる上記処理を、17番目〜31番目の各高域時間周波数信号についても行う。0番目〜15番目の低域時間周波数信号の1つを特定するためには4ビット、コピーされた低域時間周波数信号の振幅を調整するためのゲイン情報に4ビットを使用することにすると、16番目〜31番目までの高域時間周波数信号は、高々、(4+4)*32=256ビットで表すことができる。
図12は、実施の形態6の復号化装置1200によって復号化される時間周波数信号の一例を示す図である。例えば、k(kは、0≦k≦15の整数)番目の低域時間周波数信号のスペクトル列を、Bk=(pk(t0),pk(t1),...,pk(t31))と表すと、図のように、本実施の形態6の図示しない符号化装置によって生成されたオーディオ符号化ビットストリームには、例えば、0番目〜15番目の低域時間周波数信号B0〜B15が、量子化および符号化されて記述されている。
一方、16番目〜31番目の高域時間周波数信号B16〜B31に対しては、それぞれを代替する0番目〜15番目の低域時間周波数信号B0〜B15の1つを特定する情報と、高域にコピーされたそれぞれの低域時間周波数信号の振幅を調整するためのゲイン情報とが記述されている。例えば、16番目の高域時間周波数信号B16を表すために、拡張時間周波数信号には、16番目の高域時間周波数信号B16を代替する10番目の低域時間周波数信号B10を示す情報と、16番目の高域時間周波数信号B16として高域部にコピーされた低域時間周波数信号B10の振幅を調整するためのゲイン情報G0とが記述される。
これに従って、核復号化部1201によって復号化および逆量子化が施された10番目の低域時間周波数信号B10が、16番目の高域時間周波数信号B16として高域部にコピーされ、ゲイン情報G0の分だけ増幅され、16番目の高域時間周波数信号B16が生成される。17番目の高域時間周波数信号B17についても同様で、拡張時間周波数信号に記述されている11番目の低域時間周波数信号B11が代替制御部1204によって17番目の高域時間周波数信号B17としてコピーされ、ゲイン情報G1で示されるゲインで増幅され、17番目の高域時間周波数信号B17が生成される。これと同様の処理を、18番目〜31番目の高域時間周波数信号B18〜31について繰り返すことによって、すべての高域時間周波数信号を得ることができる。
以上のように、本実施の形態6によれば、符号化装置では、QMFフィルタの出力である時間周波数信号についても、本発明の低域時間周波数信号による高域時間周波数信号の代替を適用して、広帯域なオーディオ時間周波数信号を比較的少ないデータ量の増加だけで符号化することができ、また、復号化装置では高域の豊かなオーディオ信号を復号化することができる。
なお、本実施の形態6では、高域時間周波数信号のそれぞれを低域時間周波数信号のそれぞれが代替すると説明したが、本発明はこれに限定されず、例えば、低域部と高域部とを同数(例えば、4個)の時間周波数信号からなる複数(例えば、8個)のグループに分け、高域の各グループを低域のグループの1つの時間周波数信号で代替するようにしてもよい。
また、32個のスペクトル値からなるノイズを生成して重畳し、高域にコピーされた低域時間周波数信号の振幅を調整するとしてもよい。また、本実施の形態6では、サンプリング周波数44.1kHz、1フレーム1024サンプル、1時間周波数信号を構成するサンプル数22および1フレームを構成する時間周波数信号32個として説明したが、本発明はこれに限定されず、サンプリング周波数および1フレームを構成するサンプル数は、他の数値であってもよい。
なお、本発明に係る符号化装置は、BSおよびCSを含む衛星放送の放送局に備えられる音響符号化装置として、またインターネットなどの通信ネットワークを介してコンテンツを配信するコンテンツ配信サーバの音響符号化装置として、さらに、汎用のコンピュータによって実行される音響信号符号化用のプログラムとして有用である。
また、本発明に係る復号化装置は、家庭のSTBに備えられる音響復号化装置としてだけでなく、汎用のコンピュータによって実行される音響信号復号化用のプログラムとして、またSTBまたは汎用のコンピュータに備えられる音響信号復号化用の専用の回路基板、LSIなどとして、さらにSTBまたは汎用のコンピュータに挿入されるICカードとして有用である。
本発明の実施の形態1における符号化装置の構成を示すブロック図である。 図2(a)は、MDCT部によって出力されるMDCT係数列を示す図である。図2(b)は、図2(a)に示したMDCT係数のうち、量子化部で符号化される0番目から(maxline−1)番目までのMDCT係数を示す図である。図2(c)は、図1に示したBWEエンコード部における拡張オーディオ符号化列の生成方法の一例を示す図である。 図3(a)は、原音のMDCT係数列を表す波形図である。図3(b)は、BWEエンコード部による代替によって生成されたMDCT係数列を表す波形図である。図3(c)は、図3(b)に示したMDCT係数列にゲイン制御を施した場合のMDCT係数列を表す波形図である。 図4(a)は、通常の音響符号化ビットストリームの一例を示す図である。図4(b)は、本実施の形態の符号化装置によって出力される音響符号化ビットストリームの一例を示す図である。図4(c)は、図4(b)に示した拡張オーディオ符号化列部に記述される拡張オーディオ符号化列の一例を示す図である。 図1の符号化装置から出力された音響符号化ビットストリームを復号化する復号化装置の構成を示すブロック図である。 実施の形態2のBWEエンコード部による拡張周波数スペクトル情報生成方法を示す図である。 図7(a)は、実施の形態2と同様に分割された低域部および高域部のサブバンドを示す図である。図7(b)は、低域サブバンドAのMDCT係数列の一例を示す図である。図7(c)は、低域サブバンドAのMDCT係数列の順序を反転させて得られるサブバンドAsのMDCT係数列の一例を示す図である。図7(d)は、低域サブバンドAのMDCT係数列の符号を反転させて得られるサブバンドArを示す図である。 図8(a)は、高域サブバンドh0に対して特定された低域サブバンドAのMDCT係数の一例を示す図である。図8(b)は、ノイズ生成部によって生成される低域サブバンドAと同数のMDCT係数の一例を示す図である。図8(c)は、図8(a)に示した低域サブバンドAのMDCT係数と、図8(b)に示したノイズ生成部によるMDCT係数とを用いて生成される、高域サブバンドh0を代替するMDCT係数の一例を示す図である。 図9(a)は、時刻t0における1フレームのMDCT係数を示す図である。図9(b)は、時刻t1における次のフレームのMDCT係数を示す図である。図9(c)は、時刻t2におけるさらに次のフレームのMDCT係数を示す図である。 図10(a)は、時刻t0における1フレームのMDCT係数を示す図である。図10(b)は、時刻t1における次のフレームのMDCT係数を示す図である。図10(c)は、時刻t2におけるさらに次のフレームのMDCT係数を示す図である。 QMFフィルタを用いて符号化されたオーディオ符号化ビットストリームから広帯域時間周波数信号を復号化する復号化装置の構成を示すブロック図である。 実施の形態6の復号化装置によって復号化される時間周波数信号の一例を示す図である。 従来の符号化装置の構成を示すブロック図である。
符号の説明
200 符号化装置
201 プリプロセス部
202 MDCT部
203 量子化部
204 BWEエンコード部
205 符号化列生成部
1200 復号化装置
1201 核復号化部
1202 拡張復号化部
1203 スペクトル加算部

Claims (20)

  1. 入力信号を符号化する符号化装置であって、
    時間軸上の入力信号を、低域周波数スペクトルを含む周波数スペクトルに変換する時間周波数変換手段と、
    前記低域周波数スペクトルよりも高い周波数における高域周波数スペクトルを特定するために使用される拡張情報を生成する帯域拡張手段と、
    前記低域周波数スペクトルと前記拡張情報とを符号化して、前記符号化済みの低域周波数スペクトルと拡張情報とを出力する符号化手段とを備え、
    前記帯域拡張手段は、前記低域周波数スペクトルの一部または全部を構成する複数の部分スペクトルの中から前記高域周波数スペクトル全体を構成する複数の部分スペクトルの各部分スペクトルに複製されるべき最適な部分スペクトルを特定するために使用される第1パラメータと、複製後における部分スペクトルのゲインを決定するために使用される第2パラメータとを、前記拡張情報として生成し、
    前記帯域拡張手段は、前記複製の対象となった部分スペクトルを周波数軸上で反転するか否かを決定するために使用される第3パラメータを、前記拡張情報として、さらに生成する
    ことを特徴とする符号化装置。
  2. 前記帯域拡張手段は、前記複製の対象となった部分スペクトルの位相を反転するか否かを示す第4パラメータを、前記拡張情報として、さらに生成する
    ことを特徴とする請求項1記載の符号化装置。
  3. 前記時間周波数変換手段は、時間軸上の入力信号を、低域周波数スペクトルを含む周波数スペクトルにMDCT(変形離散コサイン変換)する
    ことを特徴とする請求項1記載の符号化装置。
  4. 前記帯域拡張手段は、前記第1パラメータおよび前記第2パラメータによって特定される高域周波数スペクトルに加算するノイズスペクトルのエネルギーを特定するノイズパラメータを、前記拡張情報として、さらに生成し、
    前記ノイズパラメータは、前記高域周波数スペクトルに対する前記ノイズスペクトルのエネルギー比である
    ことを特徴とする請求項1〜3のいずれか1項に記載の符号化装置。
  5. 前記第1パラメータには、先行フレームの拡張情報と同じ拡張情報を使用するか否かの情報を含む
    ことを特徴とする請求項1〜3のいずれか1項に記載の符号化装置。
  6. 前記第1パラメータには、直前フレームの拡張情報と同じ拡張情報を使用するか否かの情報を含む
    ことを特徴とする請求項4記載の符号化装置。
  7. 入力信号を符号化する符号化方法であって、
    時間軸上の入力信号を、低域周波数スペクトルを含む周波数スペクトルに変換する時間周波数変換ステップと、
    前記低域周波数スペクトルより高い周波数における高域周波数スペクトルを特定するために使用される拡張情報を生成する帯域拡張ステップと、
    前記低域周波数スペクトルと前記拡張情報とを符号化して、前記符号化済みの低域周波数スペクトルと拡張情報とを出力する符号化ステップとを備え、
    前記帯域拡張ステップは、
    前記低域周波数スペクトルの一部または全部を構成する複数の部分スペクトルの中から前記高域周波数スペクトル全体を構成する複数の部分スペクトルの各部分スペクトルに複製されるべき最適な部分スペクトルを特定するために使用される第1パラメータと、
    複製後における部分スペクトルのゲインを決定するために使用される第2パラメータとを、前記拡張情報として生成し、
    前記帯域拡張ステップは、前記複製の対象となった部分スペクトルを周波数軸上で反転するか否かを決定するために使用される第3パラメータを、前記拡張情報として、さらに生成する
    ことを特徴とする符号化方法。
  8. 前記帯域拡張ステップは、前記複製の対象となった部分スペクトルの位相を反転するか否かを示す第4パラメータを、前記拡張情報として、さらに生成する
    ことを特徴とする請求項7記載の符号化方法。
  9. 入力信号を符号化するためのプログラムであって、
    コンピュータに請求項7または請求項8に記載の符号化方法を実行させるプログラム。
  10. 請求項記載の符号化プログラムを記録するコンピュータ読み取り可能な記録媒体。
  11. 符号化信号を復号化する復号化装置であって、
    前記符号化信号を復号化することによって低域周波数スペクトルと、前記低域周波数スペクトルより高い周波数における高域周波数スペクトルを特定するために使用される拡張情報とを生成する復号化手段と、
    前記低域周波数スペクトルと前記拡張情報とに基づいて前記高域周波数スペクトルを生成する高域周波数スペクトル生成手段と、
    生成された前記高域周波数スペクトルと前記低域周波数スペクトルとを合成して得られる周波数スペクトルを時間軸上の信号に変換する周波数時間変換手段とを備え
    前記拡張信号は、
    前記低域周波数スペクトルの一部または全体を構成する複数の部分スペクトルの中から、前記高域周波数スペクトル全体を構成する複数の部分スペクトルの各部分スペクトルに複製されるべき最適な部分スペクトルを特定するために使用される第1パラメータと、
    複製後における部分スペクトルのゲインを決定するために使用される第2パラメータと、
    前記複製の対象となった部分スペクトルを周波数軸上で反転するか否かを示す第3パラメータとを含む
    ことを特徴とする復号化装置。
  12. 前記拡張信号は、前記複製の対象となった部分スペクトルの位相を反転するか否かを示す第4パラメータをさらに含む
    ことを特徴とする請求項11記載の復号化装置。
  13. 前記周波数時間変換手段は、生成された前記高域周波数スペクトルと前記低域周波数スペクトルとを合成して得られる周波数スペクトルを時間軸上の信号にIMDCT(変形離散コサイン変換)する
    ことを特徴とする請求項11または請求項12記載の復号化装置。
  14. 前記拡張信号は、前記第1パラメータおよび前記第2パラメータによって特定される前記高域周波数スペクトルに加算されるノイズスペクトルのエネルギーを特定するノイズパラメータをさらに含み、
    記ノイズパラメータは、前記高域周波数スペクトルに対する前記ノイズスペクトルのエネルギー比であり、
    前記高域周波数スペクトル生成手段は、生成した前記高域周波数スペクトルに前記ノイズパラメータによって特定されるエネルギーを有するノイズスペクトルを加算する
    ことを特徴とする請求項11〜13のいずれか1項に記載の復号化装置。
  15. 前記第1パラメータには、先行フレームの拡張情報と同じ拡張情報を使用するか否かの情報を含み、
    前記高域周波数スペクトル生成手段は、前記情報を用いて前記高域周波数スペクトルを生成する
    ことを特徴とする請求項1〜1のいずれか1項に記載の復号化装置。
  16. 前記第1パラメータには、直前フレームの拡張情報と同じ拡張情報を使用するか否かの情報を含む
    ことを特徴とする請求項15記載の復号化装置。
  17. 符号化信号を復号化する復号化方法であって、
    前記符号化信号を復号化することによって低域周波数スペクトルと、前記低域周波数スペクトルより高い周波数における高域周波数スペクトルを特定するために使用される拡張情報とを生成する復号化ステップと、
    前記低域周波数スペクトルと前記拡張情報とに基づいて前記高域周波数スペクトルを生成する高域周波数スペクトル生成ステップと、
    生成された前記高域周波数スペクトルと前記低域周波数スペクトルとを合成して得られる周波数スペクトルを時間軸上の信号に変換する周波数時間変換ステップとを備え
    前記拡張信号は、
    前記低域周波数スペクトルの一部または全部を構成する複数の部分スペクトルの中から、前記高域周波数スペクトル全体を構成する複数の部分スペクトルの各部分スペクトルに複製されるべき最適な部分スペクトルを特定するために使用される第1パラメータと、
    複製後における部分スペクトルのゲインを決定するために使用される第2パラメータと、
    前記複製の対象となった部分スペクトルを周波数軸上で反転するか否かを示す第3パラメータとを含む
    ことを特徴とする復号化方法。
  18. 前記拡張信号は、前記複製の対象となった部分スペクトルの位相を反転するか否かを示す第4パラメータをさらに含む
    ことを特徴とする請求項17記載の復号化方法。
  19. 符号化信号を復号化するためのプログラムであって、
    コンピュータに請求項17または請求項18に記載の復号化方法を実行させるプログラム。
  20. 請求項19記載の復号化プログラムを記録するコンピュータ読み取り可能な記録媒体。
JP2006191278A 2001-11-14 2006-07-12 符号化装置および復号化装置 Expired - Lifetime JP4308229B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006191278A JP4308229B2 (ja) 2001-11-14 2006-07-12 符号化装置および復号化装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001348412 2001-11-14
JP2006191278A JP4308229B2 (ja) 2001-11-14 2006-07-12 符号化装置および復号化装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002321463A Division JP3926726B2 (ja) 2001-11-14 2002-11-05 符号化装置および復号化装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009048647A Division JP5048697B2 (ja) 2001-11-14 2009-03-02 符号化装置、復号化装置、符号化方法、復号化方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2006293400A JP2006293400A (ja) 2006-10-26
JP4308229B2 true JP4308229B2 (ja) 2009-08-05

Family

ID=37413952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006191278A Expired - Lifetime JP4308229B2 (ja) 2001-11-14 2006-07-12 符号化装置および復号化装置

Country Status (1)

Country Link
JP (1) JP4308229B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101434198B1 (ko) * 2006-11-17 2014-08-26 삼성전자주식회사 신호 복호화 방법
JP4733727B2 (ja) * 2007-10-30 2011-07-27 日本電信電話株式会社 音声楽音擬似広帯域化装置と音声楽音擬似広帯域化方法、及びそのプログラムとその記録媒体
JP5203077B2 (ja) * 2008-07-14 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法
DE102011106033A1 (de) 2011-06-30 2013-01-03 Zte Corporation Verfahren und System zur Audiocodierung und -decodierung und Verfahren zur Schätzung des Rauschpegels
CN103035248B (zh) * 2011-10-08 2015-01-21 华为技术有限公司 音频信号编码方法和装置
EP2830054A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
EP3288031A1 (en) 2016-08-23 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding an audio signal using a compensation value
CN117219095A (zh) * 2023-05-24 2023-12-12 腾讯科技(深圳)有限公司 音频编码方法、音频解码方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3301473B2 (ja) * 1995-09-27 2002-07-15 日本電信電話株式会社 広帯域音声信号復元方法
JP3243174B2 (ja) * 1996-03-21 2002-01-07 株式会社日立国際電気 狭帯域音声信号の周波数帯域拡張回路
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6226616B1 (en) * 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
JP4792613B2 (ja) * 1999-09-29 2011-10-12 ソニー株式会社 情報処理装置および方法、並びに記録媒体

Also Published As

Publication number Publication date
JP2006293400A (ja) 2006-10-26

Similar Documents

Publication Publication Date Title
JP5048697B2 (ja) 符号化装置、復号化装置、符号化方法、復号化方法、プログラムおよび記録媒体
JP3926726B2 (ja) 符号化装置および復号化装置
JP4296752B2 (ja) 符号化方法及び装置、復号方法及び装置、並びにプログラム
WO2003007480A1 (en) Audio signal decoding device and audio signal encoding device
WO1999003096A1 (en) Information decoder and decoding method, information encoder and encoding method, and distribution medium
KR100840439B1 (ko) 음성부호화장치 및 음성복호장치
JP4308229B2 (ja) 符号化装置および復号化装置
KR20060036724A (ko) 오디오 신호 부호화 및 복호화 방법 및 그 장치
JP4627737B2 (ja) デジタルデータ復号化装置
JP4649351B2 (ja) デジタルデータ復号化装置
JP4641272B2 (ja) デジタルデータ復号化装置
JP2005284301A (ja) 復号方法及び装置、並びにプログラム
JP2003029797A (ja) 符号化装置、復号化装置および放送システム
JPH10228298A (ja) 音声信号符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090331

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090430

R150 Certificate of patent or registration of utility model

Ref document number: 4308229

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term