JP4272897B2 - 符号化装置、復号化装置およびその方法 - Google Patents

符号化装置、復号化装置およびその方法 Download PDF

Info

Publication number
JP4272897B2
JP4272897B2 JP2003012952A JP2003012952A JP4272897B2 JP 4272897 B2 JP4272897 B2 JP 4272897B2 JP 2003012952 A JP2003012952 A JP 2003012952A JP 2003012952 A JP2003012952 A JP 2003012952A JP 4272897 B2 JP4272897 B2 JP 4272897B2
Authority
JP
Japan
Prior art keywords
frequency
signal
encoding
decoding
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003012952A
Other languages
English (en)
Other versions
JP2004004530A (ja
Inventor
直也 田中
峰生 津島
武志 則松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2003012952A priority Critical patent/JP4272897B2/ja
Publication of JP2004004530A publication Critical patent/JP2004004530A/ja
Application granted granted Critical
Publication of JP4272897B2 publication Critical patent/JP4272897B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、入力された音響信号を符号化する符号化装置およびその符号化装置によって得られた符号を蓄積もしくは伝送した後、復号化を行って再び音響信号を再生する復号化装置に関し、また、前記符号化装置および前記復号化装置における符号化方法および復号化方法に関する。
【0002】
【従来の技術】
一般的な音響信号を、少ないビット量で符号化し、かつ、高品質な再生信号を得るための技術として、帯域分割符号化を利用する方法が広く知られている。これは、入力された音響信号を、帯域分割フィルタを用いて複数の周波数帯域の信号に分割するか、もしくはフーリエ変換等の時間−周波数変換を用いて周波数軸の信号に変換した後、周波軸上で複数の帯域に分割した上で、分割された各帯域に適切な符号化ビット割当を行うことにより、実現されるものである。帯域分割符号化を用いることにより、少ないビット量の符号から高品質な再生信号を得られる理由は、符号化段階において人間の聴覚特性に基づいた処理を行うことができることにある。
【0003】
一般に、人間の聴覚は、10kHz程度以上の高い周波数の音に対しては感度が下がり、レベルの低い音は感知されにくくなる。また、周波数マスキングと呼ばれる現象も良く知られており、ある特定の周波数帯域に高いレベルの音が存在する場合、その周辺帯域のレベルの低い音は感知されにくくなる。このような、聴覚的な特性によって感知されにくい部分については、多くのビットを割り当てて符号化を行っても再生信号の品質向上にはほとんど寄与せず、符号化する意味をなさない。逆に、聴覚的特性を考慮しないままこの部分に割り当てられていた符号化ビットを、他の聴覚的に敏感な部分に割当て直すことによって、聴覚的に敏感な部分を詳細に符号化し、再生信号の品質を向上することができる。
【0004】
このような帯域分割を利用した符号化の代表例として、ISO国際標準規格MPEG−4 AAC(ISO/IEC 14496−3)がある。以下、図を参照しながら、MPEG−4 AAC(以下AACと表記する)の動作を説明する。
【0005】
図26は、従来のAAC方式を用いた符号化装置100の構成を示すブロック図である。符号化装置100は、入力信号109を聴覚特性に従って評価し、評価に応じたビット割当てにより符号化する符号化装置であって、聴覚特性評価部101、変換ブロック長選択部102、MDCT変換部103、帯域分割部104、スペクトル信号処理部105、ビット割当部106、量子化部107および符号多重化部108を備える。
【0006】
入力信号109は、1024サンプル/フレームの基本フレーム長で分割され聴覚特性評価部101およびMDCT変換部103に入力される。聴覚特性評価部101は、人間の聴覚特性に従って入力信号109を評価し、聴覚特性評価値110を出力する。変換ブロック長選択部102は、聴覚特性評価値110から、入力信号109を符号化するのに適切な変換ブロック長を選択し、MDCT変換部103に出力する。MDCT変換部103は、選択された変換ブロック長を適用して、入力信号109をMDCT係数111に変換する。AACの場合、変換ブロック長は128サンプルもしくは1024サンプルであり、通常、入力信号109が過渡的な場合には短い変換ブロック長、定常的な場合には長い変換ブロック長が割り当てられる。
【0007】
ここで用いられるMDCT(Modified Discrete Cosine Transform)はコサイン変換の一種であり、算出されたMDCT係数111は、入力信号109の周波数スペクトルを表現する係数となる。算出されたMDCT係数111は、帯域分割部104において複数の周波数バンド(サブバンド)に分割される。その後、スペクトル信号処理部105は、各周波数バンドに分割されたMDCT係数112に対して、より高効率な符号化を可能にするための予測、および聴覚特性評価値110に基づくノイズシェイピング処理を行う。
【0008】
また、スペクトル信号処理部105では、さらに、入力信号109がステレオ信号等の複数チャネルからなる信号の場合には、チャネル間の信号の相関を利用して符号化効率を高めるジョイントステレオと呼ばれる処理も行われる。さらに、PNS(Perceptual Noise Substitution)と呼ばれる処理が行われる場合があるが、これについては後で詳しく説明する。
【0009】
なお、スペクトル信号処理部105においてどのような処理が行われたかについての情報は、補助情報符号114として出力される。ビット割当部106は、聴覚特性評価値110に基づいて、量子化に必要なビット割当115を算出し、量子化部107に出力する。量子化部107は、スペクトル信号処理部105で処理されたMDCT係数113を、ビット割当115で示されるビット数で量子化する。量子化は、スケールファクタと呼ばれるサブバンドごとの正規化ゲイン情報と、スケールファクタによって正規化されたMDCT係数の値の組み合わせに対して行われる。
【0010】
符号多重化部108は、スペクトル信号処理部105から出力される補助情報符号114と、量子化部107から出力されるスペクトル符号116とを多重化し、所定のフォーマットに並べ換えて出力符号117として出力する。なお、AACの場合、基本フレームに対して割り当てるビット数は、フレームごとに任意に定めることができるため、基本的に可変ビットレートでの符号化となるが、最終出力の前段にビットリザーバと呼ばれるバッファを設け、フレームごとのビットレートの変動をバッファによって吸収することにより、固定ビットレートでの伝送を可能にしている。
【0011】
次に、PNSの処理について説明する。PNSでは、上記の各サブバンドについて、そのバンドが聴覚的にノイズ成分として表せるかどうかを判定し、ノイズ成分として表せると判定した場合には、そのバンドのMDCT係数を、ランダムに生成されるノイズ信号で置き換える。ノイズ信号で置き換えられたバンドに対しては、MDCT係数の値の量子化を行う必要が無くなり、スケールファクタに対応するゲイン情報のみ量子化すれば良いので、量子化に必要な符号化ビット数を大幅に削減することが可能となる。
【0012】
このような符号化処理を行うことにより、MPEG−4 AACでは、例えば、96kbps程度のビットレートにおいて、20Hz−16kHzもしくはそれ以上の広帯域のステレオ信号を高音質に符号化することができる。
【0013】
【発明が解決しようとする課題】
しかしながら、ビットレートをさらに低下させた場合、例えばステレオ信号に対して48kbps程度のビットレートとした場合には、高音質に符号化できる帯域が狭くなり、聴感上こもった感じの音になってしまうという問題点がある。
【0014】
また、ビットレートを低下させる段階で、MDCT係数の符号化ビット数を削減するためにPNSを多用すると、ノイズ信号によって置き換えられる部分が増加し、聴感上でもノイズや歪みの多い音となってしまうという問題がある。
【0015】
上記課題に鑑み、本発明は、符号化装置で符号化された音響信号の符号を低ビットレートで伝送する場合において、符号を受け取った復号化装置側で、広い帯域幅の音響信号を高品質に復号化することができる符号化装置、復号化装置、符号化方法および復号化方法を提供することを目的とする。
【0016】
【課題を解決するための手段】
本発明の符号化装置は、上記目的を達成するために、入力信号を低い周波数帯域の信号を表す低域信号と高い周波数帯域の信号を表す高域信号とに分割する帯域分割手段と、分割された低域信号を符号化し、低域符号を生成する低域符号化手段と、前記高域信号と前記低域信号との類似度を判定する類似度判定手段と、前記高域信号を、異なる符号化方法で符号化し、高域符号を生成する複数の高域符号化手段と、前記類似度に基づいて、前記複数の高域符号化手段の1つを選択して、選択された高域符号化手段に符号化を実行させ、選択された高域符号化手段の符号化方法を特定するための選択情報を生成する符号化選択手段と、前記低域符号化手段からの低域符号、選択された前記高域符号化手段からの高域符号および前記符号化選択手段からの選択情報を多重化して、出力符号を生成する符号多重化手段とを備える。
【0017】
また、この符号化装置によって符号化された出力符号を復号化する復号化装置は、入力符号から、低い周波数帯域の信号を表す低域信号を復号化する低域復号化手段と、入力符号から、異なる復号化方法を用いて、高い周波数帯域の信号を表す高域信号を復号化する複数の高域復号化手段と、入力符号に含まれる選択情報に基づいて、前記高域復号化手段の1つを選択し、選択した高域復号化手段に復号化を実行させる復号化選択手段と、前記低域復号化手段によって復号化された前記低域信号と、選択された前記高域復号化手段によって復号化された前記高域信号とを合成して、出力復号化信号を生成する信号合成手段とを備える。
【0018】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る符号化装置200の構成を示すブロック図である。符号化装置200は、入力信号について、周波数高域部の信号と周波数低域部の信号との類似度を調べ、高域部信号を、より少ないビット量で符号化する符号化装置であって、帯域分割部201、低域符号化部202、類似度判定部203、切換部204、高域符号化部205および符号多重化部206を備える。これにおいて、帯域分割部201は、入力信号207を帯域分割し、低い周波数帯域の信号のみを含む低域信号208と高い周波数帯域の信号のみを含む高域信号209とを出力する。
【0019】
低域信号208に含まれる上限周波数と高域信号に含まれる下限周波数の境界周波数は任意に定めてよく、また、両者にオーバーラップがあってもよい。低域符号化部202は、低域信号208を符号化し、低域符号213を出力する。ここで、低域符号化部202としては公知のどのような符号化部を用いても良い。次に、類似度判定部203は、低域信号208と高域信号209との類似度を判定し、切換情報210と類似度情報211とを出力する。類似度の判定方法としては、例えば予測誤差を用いることができるが、具体的な方法については後で詳細を説明する。
【0020】
高域符号化部205は、切換情報210および類似度情報211の値に応じて高域信号209を最適に符号化する。具体的には、高域符号化部205は、第1〜第n(nは自然数)からなるn個の高域符号化部によって構成されており、切換情報210に応じてそのうちの1つが選択される。第1〜第nの各高域符号化部は、低域信号208と高域信号209との類似度によって分類される特性の異なる高域信号209を最適に符号化できるように構成されている。
【0021】
切換部204は、類似度判定部203が出力した切換情報210に基づいて、第1〜第nの符号化部のうちからあらかじめ定められた最適な高域符号化部を選択し、選択された高域符号化部は、類似度情報211を参照しながら高域信号209を符号化して、高域符号212を出力する。類似度判定部203の一例としては、類似度が低い場合には、入力信号207はランダムなノイズ性の信号であると判断して、第1〜第nの高域符号化部のうちから、ノイズを用いて高域信号209を符号化する高域符号化部が選択されるような切換情報210を出力し、逆に類似度が高い場合には、類似度が高いと判定された低域信号208を利用して高域信号209から低域信号208を差し引いた差分信号を符号化する高域符号化部が選択されるような切換情報210を出力する。
【0022】
また、類似度判定部203は、低域信号208と高域信号209との類似度が高い場合には、高域符号化部205に対し、類似度情報211の一部として類似度の高い部分の低域信号208または高域信号209と類似度の高い低域信号208との差分値を出力し、低域信号208と高域信号209との類似度が低い場合には、類似度情報211として「0」を出力するような構成が考えられる。
【0023】
一方、高域符号化部205において、ノイズを用いる符号化では、選択された高域符号化部は、符号化対象の高域信号をランダムに生成されるノイズ信号とみなし、高域信号の強度を示すゲイン情報のみを符号化するので、高域信号の値を直接符号化するのと比較して符号のビット量を大幅に削減できる。また、類似度が高い場合には、差分信号を用いる符号化では、高域信号209と類似する低域信号208との差分を量子化することによって、符号化対象である高域信号209の符号化に必要なビット量を削減できる。
【0024】
なお、類似度が非常に高い場合や聴覚特性上あまり重要でない非常に高い周波数帯域の信号を符号化する際には、差分信号を符号化せずに、対象となる高域信号209を類似の低域信号208で置き換えても良い。このようにすれば、置き換える元の低域信号208を特定するための情報だけを符号化すればよいので、高域信号209の符号化に必要なビット量をさらに削減することができる。低域符号化部202、高域符号化部205および類似度判定部203の各符号化処理の出力結果である低域符号213、高域符号212および切換情報210は、符号多重化部206において多重化され、出力符号214として出力される。
【0025】
次に、類似度の判定方法の一例として、予測誤差を用いる方法を説明する。低域信号208と高域信号209とは、入力信号を帯域分割して生成された信号であるので、信号に含まれる周波数成分が異なっている。したがって、それぞれの信号を時間信号として見る限りにおいては両者の類似性を判定することは困難であるが、これらの信号を周波数信号として見た場合には、それぞれの周波数成分の分布比較の形で両者の類似性の判定が容易となる。以下に説明する図2は、この原理を表したものであり、周波数成分の異なる信号の例として、同じ振幅の1kHzの正弦波と2kHzの正弦波を時間信号と周波数信号(例としてFFTパワスペクトル係数)として示している。
【0026】
図2は、2つの信号を時間信号としてみた場合と周波数信号としてみた場合との相違を示す図である。図2(a)は、周波数の異なる2つの正弦波を時間信号として示す図である。図2(b)は、周波数の異なる2つの正弦波を周波数信号として示す図である。図2(a)において、時間信号として表された1kHzの正弦波301と2kHzの正弦波302との間には容易に判定できる類似点は無い。これに対して、図2(b)において、周波数信号として表された1kHzの正弦波303と2kHzの正弦波304は共に1本の線スペクトルとして表され、両者の類似度が非常に大きいことが容易に判定できる。すなわち、両者の違いは「周波数」で表される位置情報が異なるだけであり、例えば、図2(b)において2kHzの正弦波304の位置を基準点305として、基準点305から取り出した信号と、基準点305から1kHzの正弦波までの距離k(=シフト数306)だけ離れた位置から取り出した信号とを比較すると、2つの信号は一致する。
【0027】
このような原理に基づいて、低域信号208と高域信号209とは、類似度判定部203において、時間−周波数変換を用いて入力信号207の周波数成分を示すスペクトル係数に変換され、類似度判定が行われる。使用される時間−周波数変換としては、フーリエ変換、コサイン変換、フィルタバンクなど、公知のいかなる変換を用いても良い。図2の例で示した様に、低域信号208と高域信号209との類似度は、一方の信号を周波数軸上でシフトして他方の信号に重ね合わせることで判定でき、予測誤差は信号を重ね合わせた時に一致しない部分を表す尺度として与えられる。本発明では、高域信号209を符号化するために低域信号208を利用するので、高域信号209をターゲットとして固定し、低域信号208をシフトして類似度を判定する構成が望ましい。この構成において、予測誤差は、スペクトル係数に変換された低域信号208をx(i)、高域信号209をy(j)として、
【0028】
【数1】
Figure 0004272897
【0029】
で表される。ここで、x(k,j)はx(j)を基準点305としてkサンプルだけシフトした位置から取り出した信号、aはゲイン、mは低域信号x(k,j)および高域信号y(j)に含まれるスペクトル係数の個数である。スペクトル係数の数mは符号化対象となる高域信号y(j)の範囲を指定するもので、任意に決めて良い。基準点305の位置および低域信号のシフト数kの上限(k_MAX)と下限(k_MIN)とは任意に定めることが可能であり、設定されたシフト数範囲内でkを変化させ、予測誤差E(k)を評価して最小値を選択すれば、ターゲットとなる高域信号y(j)に対して最も類似度の高い低域信号x(k,j)とシフト数kおよびゲインaを確定することができる。x(k,j)はシフト数kが確定すれば一意に定まるので、類似度情報211としては予測誤差E(k)とシフト数kとゲインaを使用すれば良い。
【0030】
第1〜第nの高域符号化部の切り換えは、予測誤差E(k)を評価尺度として行われ、予測誤差E(k)があらかじめ定められた閾値よりも小さければ、類似度が高い場合に使用される高域符号化部が選択される切換情報210を出力し、逆に大きければ類似度が低い場合に使用される高域符号化部が選択される切換情報210を出力する。
【0031】
なお、上記の説明では、類似度判定部203における類似度判定の方法としてスペクトル係数の予測誤差を用いたが、それ以外に、例えばフィルタバンクにより帯域分割された信号に対しては、時間信号の予測誤差を用いることもできる。また、上記の説明ではノイズを用いて符号化する高域符号化部と、低域信号208と高域信号209との類似度を利用する高域符号化部を用いたが、例えば、類似度が中程度の場合には、類似度を利用する符号化とノイズによる符号化とを組み合わせた高域符号化部を用いるとしてもよい。なお、入力信号がステレオ信号など複数チャネルの信号である場合には、高域信号209をチャネル毎に独立に符号化する方法に加えて、ジョイントステレオ符号化技術を用いて符号化するように構成することもできる。
【0032】
以上で説明したように、入力信号207を高域信号209と低域信号208とに帯域分割し、高域信号209を、当該高域信号209と低域信号208との類似度を利用して符号化することにより、より少ないビット量の符号から高品質な再生信号を得ることができる。
【0033】
図3は、実施の形態1に係る復号化装置400の構成を示すブロック図である。復号化装置400は、図1に示した符号化装置200によって符号化された出力符号214を復号化し、音響信号を再生する復号化装置であって、符号分割部401、低域復号化部402、切換部403、高域復号化部404および信号合成部405を備える。
【0034】
図3において、入力符号406は図1における符号化装置200の出力符号214に相当する。符号分割部401は、入力符号406を、低域符号407、高域符号408および切換情報409に分割する。低域復号化部402は、低域符号407を復号化して低域信号410を出力する。低域復号化部402としては、低域符号407を復号化する機能を有していれば、公知のどのような復号化部を使用しても良い。
【0035】
高域復号化部404は第1〜第nからなるn個の高域復号化部によって構成されており、それぞれの高域復号化部は、あらかじめ定められた方法に従って高域符号を復号化するように構成されている。切換部403は、切換情報409によって指定される高域復号化部を選択し、選択された高域復号化部は、低域信号410を参照しながら高域符号408を復号化し高域信号411を出力する。信号合成部405は、低域信号410と高域信号411とを合成し、出力信号412を生成する。
【0036】
ここで、先に説明した符号化装置200側の高域符号化部205が、ノイズを用いて符号化する高域符号化部と、類似と判定された低域信号を利用して、高域信号から低域信号を差し引いた差分信号を符号化する高域符号化部とから構成される場合、復号化装置400においても、これに対応する高域復号化部404を備える必要がある。以下では、その構成例およびその動作を説明する。説明のため、図3において、ノイズを用いて符号化された符号を復号化するための復号化部を第1の高域復号化部、低域信号と高域信号との差分信号として符号化された符号を復号化する復号化部を第2の高域復号化部とする。
【0037】
切換情報409によって、高域符号408が第1の復号化部に入力されることが示された場合、復号化されるべき高域信号はランダムなノイズ信号で表現される。したがって、高域符号408には信号強度を表すゲイン情報のみが含まれる。これに応じて、第1の高域復号化部は、高域符号408に含まれるゲイン情報を復号化するとともに、内部でランダムなノイズ信号を生成し、生成されたノイズ信号に前記ゲイン情報で示されるゲインを乗じることによって高域信号411を生成する。
【0038】
これに対して、高域符号408が第2の高域復号化部に入力されることが示された場合には、高域符号408には例えば、低域信号208において高域信号209と類似度の高い部分を特定するためのシフト数、ゲインおよび差分信号などの類似度情報が符号化されて含まれている。また、高域信号は、低域復号化部402で得られた低域信号410から抽出された低域信号と、第2の高域復号化部で得られた差分信号との和によって表現される。したがって、第2の高域復号化部は、まず高域符号408を復号化し、その高域符号408に含まれる類似度情報に基づいて、高域信号209に類似する低域信号208を低域信号410から抽出し、復号化したゲインを乗じた後、復号化した差分信号を加算することにより高域信号411を生成する。このようにして得られた低域信号410と高域信号411とは信号合成部405において合成され、出力信号412として出力される。
【0039】
以上で説明したように、高域信号と低域信号とに分割されて符号化されている入力符号から、高域信号を、高域信号と低域信号との類似度を利用して復号化することにより、より効率的に符号化された高域符号を利用することができるので、より少ないビット量の符号から高品質な再生信号を得ることができる。
(実施の形態2)
本発明の実施の形態2における符号化装置の構成を、図4を参照しながら説明する。図4は、実施の形態2に係る符号化装置500の構成を示すブロック図である。
【0040】
図4に示される符号化装置500は、図1に示される実施の形態1における符号化装置200に対して、新たに低域復号化部501を設け、低域符号化部202で符号化された低域符号213を復号化して低域復号化信号510を生成し、類似度判定部503に対して、低域信号208の代わりに低域復号化信号510を入力させるように構成したものである。このような符号化装置500は、帯域分割部201、低域符号化部202、低域復号化部501、類似度判定部503、切換部204、高域符号化部205および符号多重化部206を備える。
【0041】
なお、図4において、以下の図においても同様、図1に示した符号化装置200と同様の構成要素については既に説明しているので、同一の参照符号を付し説明を省略する。このように構成された符号化装置500において、類似度判定部203は、低域符号化部202によって一旦、符号化された後、低域復号化部501によって復号化された低域復号化信号510を用いて高域信号209との類似度を判定するので、復号化装置において、原音の低域信号208を用いて高域信号209との類似度を判定した符号化装置200からの出力符号214を復号化する場合と比べて、より原音に近い高域信号を得ることができるという効果がある。
【0042】
具体的には、図3の復号化装置400の例で示したように、復号化装置側では、原音の低域信号ではなく、一旦、符号化された低域符号を復号化して得られる低域信号を利用して、高域信号を復号化する。このことは、高域信号をより正確に符号化するためには、一旦、符号化された後、復号化された低域信号と符号化のターゲットとなる高域信号との類似度に基づいて、高域信号の符号化を行う必要があることを示している。したがって、符号化装置500においては、類似度判定部503により算出される類似度情報511は、高域信号209と低域復号化信号510との類似度となる。
【0043】
これにより、高域符号化部205は、その類似度情報511と切換情報513にしたがって高域信号209を符号化するので、復号化装置において高域信号をより正確に復号化できる高域符号512を出力することができる。この結果、符号化装置500では、このようにして得られた切換情報513、高域符号512および低域符号213が多重化された出力符号514を出力し、復号化装置における復号化信号の品質を向上させることができる。
【0044】
なお、実施の形態1の符号化装置200と実施の形態2の符号化装置500とは、類似度を算出するために使用する低域信号が異なるのみであり、高域符号化部と低域符号化部の構成および符号化の対象となる高域信号と低域信号は同一であるので、実施の形態2の符号化装置500に対応する復号化装置の構成は、図3に示される実施の形態1の復号化装置400と同様の構成で良い。
(実施の形態3)
本発明の実施の形態3における符号化装置の構成を、図5を参照しながら説明する。図5は、実施の形態3に係る符号化装置600の構成を示すブロック図である。
【0045】
図5に示される符号化装置600は、図1に示される実施の形態1における符号化装置200に対して、新たにダウンサンプリング部601を設け、低域符号化部202に対して、帯域分割された原音の低域信号208の代わりに、ダウンサンプリング部601によってダウンサンプリングされた低域信号616を入力させ、符号化結果である低域符号613を出力させるように構成したものである。
【0046】
一般に帯域分割部201によって帯域分割された低域信号208および高域信号209は、入力信号207と同じサンプリング周波数の信号である。一例として、入力信号207のサンプリング周波数を48kHz、帯域分割部201によって分割される境界周波数を8kHzとすると、サンプリング定理により入力信号207には0−24kHzの信号が含まれているので、低域信号208に含まれる信号の帯域は0−8kHz、高域信号209は8−24kHzとなるが、低域信号208、高域信号209共にサンプリング周波数は48kHzで変化しない。この低域信号208をそのまま低域符号化部202によって符号化することは可能であるが、一般に、低域符号化部202として用いる公知の符号化部は、入力信号207に含まれる信号帯域が、入力される信号のサンプリング周波数で決まる最大周波数(=サンプリング周波数/2)である時に最も効率的に動作するように構成されている。
【0047】
したがって、サンプリング周波数48kHzで24kHzまでの信号を含むことを前提として構成された低域符号化部202に、前提の1/3である8kHzまでしか含まない低域信号208を入力させて符号化を行うことによって、低域符号化の効率が低下するという問題が発生する。
【0048】
この問題を解決するためには、低域符号化部202に入力される低域信号208のサンプリング周波数を低域信号208に含まれる信号の周波数帯域に合わせてダウンサンプリングし、低域符号化部202の効率を上げるようにすればよい。より具体的には、ダウンサンプリング部601に入力される低域信号208が時間信号である場合、ダウンサンプリング部601は所望のサンプリング周波数となるよう、サンプリングされたデータを間引き、入力される低域信号208が周波数変換されたスペクトルデータである場合、低域符号化部202に低域信号208のデータ長を知らせる。本例では、低域信号208に含まれる信号の周波数帯域は0−8kHzであるので、低域信号208を表現するのに必要なサンプリング周波数は16kHzとなる。16kHzにダウンサンプリングされた低域信号616を低域符号化部202に入力させれば、低域符号化部202では入力された低域信号208を最も効率的に符号化することができ、復号化信号の品質を向上させながらビット量の少ない出力符号614を得ることができるという効果がある。
【0049】
次に、実施の形態3における復号化装置700の構成を、図6を参照しながら説明する。図6は、図5に示した符号化装置600によって符号化された出力符号614を復号化する復号化装置700の構成を示すブロック図である。図6に示される復号化装置700は、図3に示した実施の形態1における復号化装置400に対して、新たにアップサンプリング部701を設け、低域復号化部402によって復号化された低域信号710をアップサンプリング部701においてアップサンプリングし、アップサンプリングされた低域信号410を高域復号化部404および信号合成部405に入力するようにした構成である。この復号化装置700は、符号分割部401、低域復号化部402、アップサンプリング部701、切換部403、高域復号化部404および信号合成部405を備える。同図において、図3に示した復号化装置400と同様の構成要素については既に説明しているので、同一の参照符号を付し説明を省略する。
【0050】
図6において、入力符号706は、図5の符号化装置600における出力符号614に対応する。復号化装置700において、符号分割部401から出力された低域符号707は、符号化装置600側でダウンサンプリングされた低域信号616を符号化したものであるため、低域復号化部402において復号化された低域信号710のサンプリング周波数は、符号化装置600側で使用した低域信号616のサンプリング周波数(例えば、16kHz)に等しい。
【0051】
その一方で、高域符号408は、ダウンサンプリングされていない高域信号209を符号化したものであり、復号化される高域符号408のサンプリング周波数は、符号化装置600に入力された入力信号207のサンプリング周波数(例えば、48kHz)に等しい。したがって、復号化装置700は、復号化された低域信号710を用いて高域信号の復号化処理を行うために、低域信号710をアップサンプリングして復号化される高域信号のサンプリング周波数(=出力信号のサンプリング周波数、例えば、48kHz)に合わせてから高域復号化部404に入力するように構成する。同様に、信号合成部405においても、復号化された高域信号411とアップサンプリングされた低域信号410とを用いて信号合成処理を行い、出力信号412を生成する。
【0052】
以上で説明したように、高域符号408とダウンサンプリングされた低域符号707とに分割されて符号化されている入力符号706から、低域信号710を復号化した後にアップサンプリングし、高域信号411を高域信号411とアップサンプリングされた低域信号410との類似度を利用して復号化することにより、より効率的に符号化された低域符号を利用して、より少ないビット量の符号から高品質な再生信号を得ることができるという効果がある。
【0053】
(実施の形態4)
以下では、本発明の実施の形態4における符号化装置800の構成を、図7を参照しながら詳細に説明する。図7は、実施の形態4に係る符号化装置800において高域符号817および切換情報816を生成する部分の構成を示すブロック図である。図7に破線で囲んで示される類似度判定部818および高域符号化部819の部分は、本発明の実施の形態1から実施の形態3における符号化装置200および符号化装置500において、低域信号208と高域信号209との類似度を判定する類似度判定部203および類似度判定部503と、その判定結果に応じて高域信号209を符号化する高域符号化部205とに対応しており、それぞれの類似度判定部および高域符号化部として、より望ましい形態を表すものである。
【0054】
このような符号化装置800は、主に、高域信号209を符号化する部分として、時間−周波数変換部801、帯域分割部802、ノイズ性判定部803、予測誤差算出部804、切換判定部805、切換部806、第1の高域符号化部807および第2の高域符号化部808を備える。
【0055】
図7において、時間−周波数変換部801には、例えば、図示しない帯域分割部201によってあらかじめ高域部と低域部とに帯域分割された高域信号209と低域信号208とが入力される。低域信号208としては、入力信号から直接分割された低域信号、もしくは、図示しない低域符号化部によって一旦符号化された後、復号化された低域復号化信号のいずれを用いても良い。時間−周波数変換部801は、入力された高域信号209および低域信号208をスペクトル係数に変換し、それぞれ高域係数811と低域係数812として出力する。時間−周波数変換部801において使用する時間−周波数変換としては、フーリエ変換、コサイン変換、フィルタバンクなど、公知のいかなる変換を用いても良いが、ここではAACで用いられるMDCTを用いた場合を例として説明する。
【0056】
帯域分割部802は、高域信号209を変換したMDCT係数である高域係数811を、さらに複数の帯域(以下、高域符号化サブバンドと記す。)に分割し、分割された高域係数813は、ノイズ性判定部803、予測誤差算出部804および切換部806に出力される。ここで、帯域分割部802によって分割された各高域符号化サブバンドに対する以下の処理は同様なので、以下では、ある特定の高域符号化サブバンドにおける処理を説明する。高域係数の符号化を完了するためには、すべての高域符号化サブバンドについて以下の処理を繰り返せばよい。
【0057】
ノイズ性判定部803は、高域係数813のノイズ性を判定しノイズ性判定値814を出力する。ここでノイズ性判定を行う理由は、符号化対象である高域係数813がノイズ性の信号ならば、低域係数812との類似度が低く予測誤差が大きいことがあらかじめ推定できることにより、以降の予測誤差算出に係る処理を省略することができるためである。ノイズには、ノイズ性信号を表すMDCT係数の値の大きさはほぼ一様な分布を示し、ある帯域に含まれる複数のMDCT係数を調べると、(定常的な)ノイズの場合は、ある値(例えば、平均値)の近傍に多くの値が存在するのに対して、非ノイズの場合には、平均値よりも大きく離れたところにも比較的多くの値が存在するという特徴がある。
【0058】
このような特徴を利用して、帯域分割された高域係数813のノイズ性を判定するために、ノイズ性判定部803は、例えば、各高域符号化サブバンド内におけるMDCT係数の大きさの分布を評価し、あらかじめ定められた閾値に対して、分布の幅が大きければ非ノイズ性、分布の幅が小さければノイズ性の信号であると判定すればよい。MDCT係数の分布を評価する尺度としては、高域符号化サブバンド内のMDCT係数の最小値と最大値との差、平均値と最大値との差、分散、標準偏差等のいかなる統計的評価値を用いても良い。
【0059】
ノイズ性判定部803は、判定の結果、高域係数813のノイズ性/非ノイズ性を示すノイズ性判定値814を予測誤差算出部804および切換判定部805に出力する。ノイズ性判定値814は、高域係数813がノイズ性である場合には、例えば「0」、非ノイズ性である場合には、例えば「1」とする。ノイズ性判定値814の具体値は、これ以外の値としてもよい。
【0060】
予測誤差算出部804は、ノイズ性判定部803の判定結果として、ノイズ性判定値814により高域係数813が非ノイズ性の信号であると通知された場合には、高域係数813と低域係数812との類似度を判定するために予測誤差の算出と評価とを行う。予測誤差の算出は、実施の形態1において開示した方法と同様に行うことができる。すなわち、予測誤差E(k)は、低域係数812をx(i)、高域符号化サブバンドに含まれる高域係数813をy(j)、mを高域符号化サブバンドに含まれるMDCT係数の個数とすれば、数式1で算出することができる。この数式1で、シフト数kをあらかじめ定められた下限値K_MINと上限値K_MAXの間で変化させることにより、類似度情報815として予測誤差E(k)を最小にする低域係数x(k,j)とシフト数kとゲインaを求めることができる。
【0061】
切換判定部805は、ノイズ性判定値814と類似度情報815とから、帯域分割された高域係数813の符号化に使用する高域符号化部を決定し、切換情報816を出力して切換部806により第1の高域符号化部807と第2の高域符号化部808とを切り換える。第1の高域符号化部807は、類似度が低い高域係数813を符号化するのに適するように構成された符号化部、第2の高域符号化部808は、類似度が高い高域係数813を符号化するのに適するように構成された符号化部である。切換部806は、▲1▼ノイズ性判定値814がノイズ性信号を示す場合と、▲2▼ノイズ性判定値814が非ノイズ性信号を示し、かつ、類似度が低い場合とには、第1の高域符号化部807を選択し、ノイズ性判定値が非ノイズ性信号を示し、かつ、類似度が高い場合には第2の高域符号化部808を選択する。
【0062】
次に、高域符号化部819の動作について図面を参照しながら詳しく説明する。図8(a)は、第1の高域符号化部807の符号化方法を示す図であり、図8(b)は、第2の高域符号化部808の符号化方法を示す図である。第1の高域符号化部807に入力される高域係数813は、符号化境界周波数905において分割された低域符号化バンド902と高域符号化バンド903とのうち、高域符号化バンド903の範囲にあるMDCT係数(スペクトル係数)901である。さらに高域符号化バンド903は、複数の高域符号化サブバンド904に分割されている。
【0063】
第1の高域符号化部807に入力されるスペクトル係数901は、ノイズ性もしくは低域符号化バンド902のMDCT係数との類似度が低い係数であるので、第1の高域符号化部807は、類似度情報815を使用せず、高域符号化サブバンド904内の係数をランダムなノイズとみなすことにより符号化する。すなわち、高域符号化サブバンド904内の係数は、平均振幅906で代表されるランダムな系列として表され、平均振幅906(振幅情報)のみが符号化される。なお、ランダムな系列の代表値としては、平均振幅の他に、平均エネルギー、平均パワ等を用いてもよい。
【0064】
同様に、第2の高域符号化部808において、入力される高域係数813は、符号化境界周波数911において分割された低域符号化バンド908と高域符号化バンド909とのうち、高域符号化バンド909の範囲にあるMDCT係数(スペクトル係数)907である。さらに高域符号化バンド909は、複数の高域符号化サブバンド910に分割されている。第2の高域符号化部808に入力されるスペクトル係数907は、低域符号化バンド908のスペクトル係数との類似度が高い係数であるので、第2の高域符号化部808は類似度情報815を使用して符号化する。高域符号化サブバンド910の一つを高域区間A915とすると、先に説明した予測誤差算出部804において、低域符号化バンド908の係数のうちから高域区間A915に対して同じ個数のスペクトル係数を含む最も類似度の高い低域区間B914が選択され、類似度情報815が出力される。
【0065】
類似度情報815のうちシフト数913kは、符号化境界周波数911を基準点とし、符号化境界周波数911から低域区間B914の下限周波数までの距離とする。またゲインaは、高域区間A915のスペクトル係数907と低域区間B914のスペクトル係数907との振幅比となる。第2の高域符号化部808では、得られた類似度情報815として、シフト数913k、ゲインa、および高域区間A915と低域区間B914とのスペクトル係数のサンプルごとの差分信号を符号化する。
【0066】
なお、高域区間A915と低域区間B914との差分信号の符号化は省略することもでき、その場合にはシフト数913kおよびゲインaのみが符号化される。もしくは、高域区間A915と低域区間B914との差分信号をノイズ成分で代表させることもでき、シフト数kおよびゲインaに加えてノイズ成分のゲインに関する情報を符号化すればよい。
【0067】
また、ゲインaの表現方法としては、ゲインaを、▲1▼高域区間A915のスペクトル係数907と低域区間B914のスペクトル係数907との振幅比として表す他に、第1の高域符号化部807における振幅情報と同様に、各高域符号化サブバンド910内の▲2▼平均振幅912、もしくは各高域符号化サブバンド910内の▲3▼平均エネルギー、▲4▼平均パワ等で表し、それを符号化しても良い。高域符号化サブバンド910ごとに符号化された差分信号の符号は、シフト数913kおよびゲインaなどの情報と多重化され、高域符号817として出力される。
【0068】
なお、多重化の段階において数学的手法を用いて符号を圧縮し、高域符号817のビット量を削減することも可能である。例えば、符号間の差分情報を再符号化する方法、複数の符号をベクトル情報として再符号化する方法、符号をハフマン符号等の可変長符号に置き換える方法などが利用できる。
【0069】
また、本例では、高域符号化サブバンド910のスペクトル係数907を求めるにあたって、高域信号209をMDCT係数に変換した後、MDCT係数811上で帯域分割を行っているが、等価な構成として、高域信号209を、フィルタバンク等を用いて高域符号化サブバンド910の帯域に分割した後、それぞれの帯域の信号をMDCT変換することによって高域符号化サブバンド910のMDCT係数を求めてもよい。
【0070】
また、符号化されるシフト数913kは、低域区間B914を特定するための情報であるので、周波数軸上のサンプル数を表す値である必要は無く、例えば、あらかじめ低域符号化バンド908に高域符号化サブバンド912と同じ周波数幅の複数の低域区間を設定しておき、そのうちから、どの低域区間が選択されたかを示す識別情報で表すようにしても良い。
【0071】
さらに、本例では、帯域分割部802を時間−周波数変換部801の後段に備えたが、本発明はこれに限定されず、帯域分割部802を時間−周波数変換部801の前段に備えるようにしてもよい。
【0072】
以上で説明したように、高域のMDCT係数を複数の高域符号化サブバンドに分割し、高域符号化サブバンドごとに高域のMDCT係数のノイズ性と、高域のMDCT係数および低域のMDCT係数間の類似度とを判定し、判定結果に基づいて最適な高域符号化部を用いて符号化を行うことにより、より少ないビット量の符号から高品質な再生信号を得ることができる。
【0073】
次に本発明の実施の形態4における復号化装置の構成を、図9を参照しながら説明する。図9は、図7に示した符号化装置800に対応する復号化装置において高域符号817を復号化する部分(高域復号化装置1000)の構成を示すブロック図である。図9に示される高域復号化部分(高域復号化装置1000)は、本発明の実施の形態1から実施の形態3における復号化装置400および復号化装置700において、高域符号を復号化する部分として、より望ましい形態を表すものである。
【0074】
この高域復号化装置1000は、時間−周波数変換部1001、第1の高域復号化部1003、第2の高域復号化部1004、スペクトル合成部1005および周波数−時間変換部1006を備える。以下、高域復号化装置1000においても、前記の符号化装置800と同様にスペクトル係数としてMDCT係数を使用する場合を例として説明する。図9において、高域復号化装置1000に入力される情報は、高域符号1007、切換情報1008、低域復号化信号1009である。
【0075】
高域符号1007は、例えば、図7に示した符号化装置800の第1の高域符号化部807または第2の高域符号化部808によって出力された高域符号817である。また、切換情報1008は、例えば、符号化装置800の切換判定部805によって出力された切換情報816である。さらに、低域復号化信号1009は、例えば、図3に示した復号化装置400の低域復号化部402によって出力された低域信号410である。
【0076】
時間-周波数変換部1001は、入力された低域復号化信号1009をMDCT変換し、MDCT係数で表された低域係数1010を出力する。また、第1の高域復号化部1003は、ノイズを用いて符号化された高域符号1007を復号化するための復号化部であり、第2の高域復号化部1004は、低域係数812と高域係数813との類似度を利用して符号化された高域符号1007を復号化する復号化部である。
【0077】
符号化装置800において高域係数813はあらかじめ定められた高域サブバンドに分割されて符号化されているので、それに対応する復号化処理は各高域サブバンドに対応する符号に基づいて行われる。すなわち、高域符号1007に含まれる符号を高域符号化サブバンドごとの符号に分割し、すべての高域符号化サブバンドについて、分割された符号に基づいて復号化処理を繰り返す。ここで、前記符号化装置800側において、各高域符号化サブバンドに対応する符号が数学的手法で圧縮されている場合には、数学的手法による復号化も行われる。
【0078】
切換情報1008によって、高域符号1007が第1の復号化部1003に入力されることが示された場合、復号化の結果得られる高域係数1011はランダムなノイズ信号で表現される。したがって、高域符号1007には信号強度を表すゲイン情報のみが含まれる。これに対応して、第1の高域復号化部1003は内部でランダムなノイズ信号を生成し、復号化されたゲイン情報で示されるゲインを生成されたノイズ信号に乗じることによって帯域分割された高域係数1011を生成する。
【0079】
これに対して、高域符号1007が第2の高域復号化部1004に入力されることが示された場合には、復号化結果として得られるべき高域係数1011は、シフト数に従って低域係数1010から抽出された特定の低域区間内の低域係数と、高域符号1007から抽出された差分との和によって表現される。したがって、高域符号1007には、低域係数を抽出する位置を示すシフト数k、高域係数の例えば、平均振幅を示すゲインa、および高域符号化サブバンド内の高域係数と最も類似する低域区間内の低域係数との差分を表す情報が含まれる。
【0080】
高域係数はスペクトル係数の一種であるMDCT係数として符号化されているため、高域係数を復号化するために入力された低域復号化信号1009もMDCT係数として表現されている必要がある。一般に、低域復号化信号1009は時間信号として与えられるので、時間−周波数変換信号部1001によってMDCT係数に変換され、低域係数1010として第2の高域復号化部1004に入力される。低域復号化信号1009がMDCT係数として与えられるならば、低域信号1009は低域係数1010とみなすことができ、時間−周波数変換信号部1001は省略できる。
【0081】
第2の高域復号化部1004は、低域係数1010のあらかじめ定められた基準点からシフト数kだけシフトした位置から、あらかじめ定められた数のMDCT係数を抽出する。次いで、第2の高域復号化部1004は、抽出した低域MDCT係数にゲインaを乗じ、差分を表すスペクトル係数を加算することによって、高域係数1011を表すMDCT係数を生成する。なお、差分を表すスペクトル係数が省略されている場合は、抽出したMDCT係数にゲインaを乗じたものが高域係数1011を表すMDCT係数となる。
【0082】
第1の高域復号化部1003もしくは第2の高域復号化部1004によって復号化され、高域符号化サブバンドの周波数幅に帯域分割された高域係数1011は、スペクトル合成部1005によって合成され、高域符号化バンド内でサンプルが周波数順に並べられた高域係数1012として出力される。周波数‐時間変換部1006は、高域係数1012を時間信号に変換し、高域信号1013を生成する。
【0083】
なお、上記説明において、シフト数kが周波数軸上のサンプル数を示さず、あらかじめ定められた特定の低域区間を表す識別情報である場合は、識別情報に従って、あらかじめ定められた特定低域区間のMDCT係数を抽出すればよい。
【0084】
以上で説明したように、高域信号と低域信号に分割されて符号化されている入力符号から、高域信号を、高域信号と低域信号との類似度を利用して復号化することにより、より効率的に符号化された高域符号を利用することができるので、より少ないビット量の符号から高品質な再生信号を得ることができる。
(実施の形態5)
本発明の実施の形態5における符号化装置の構成を、図10を参照しながら説明する。図10は、実施の形態5に係る符号化装置1100の構成を示すブロック図である。図10に示される符号化装置1100は、図7に示した符号化装置800における類似度判定部818および高域符号化部819を備え、あらかじめ時間‐周波数変換された低域スペクトル係数を用いて低域部を符号化する。
【0085】
低域符号化部が符号化するスペクトル係数は、フーリエ変換係数、コサイン変換係数など、公知のどのようなスペクトル係数を用いても良いが、ここでは例として、低域符号化部はAAC方式の符号化を行い、スペクトル係数はMDCT係数を使用する。図10において、符号化装置1100は、時間−周波数変換部1101、帯域分割部1102、類似度判定部818(ノイズ性判定部803、予測誤差算出部804、切換判定部805)、高域符号化部819(第1の高域符号化部807、第2の高域符号化部808)、低域符号化部1109および符号多重化部1110を備える。時間−周波数変換部1101は、低域信号と高域信号とを含む入力信号207を一括してMDCT変換し、MDCT係数1112を出力する。
【0086】
低域符号化部1109、第1の高域符号化部807および第2の高域符号化部808はすべてMDCT係数を符号化する符号化部であるので、時間−周波数変換部1101が入力信号207を一括してMDCT係数1112に変換することにより、低域符号化部と高域符号化部とで別々にMDCT変換する場合と比べて、必要とするMDCT係数を一回の変換で求めることができるため、MDCT係数算出に係る処理量を削減することができる。
【0087】
帯域分割部1102は、MDCT係数1112を低域係数1114と高域係数813とに分割する。これにおいて、帯域分割処理がMDCT係数上で行われるため、帯域分割部1102における帯域分割フィルタなどの処理を省くことができ、帯域分割部1102の処理量を削減することができる。また高域係数813は、この段階において高域符号化サブバンドにまで帯域分割することが可能である。帯域分割された高域係数813の処理は、既に説明したように、図7に示した類似度判定部818および高域符号化部819によって行われ、切換情報816と高域符号817として出力される。
【0088】
また低域符号化部1109は、低域係数1114をAAC方式で符号化し、低域符号1119として出力する。符号多重化部1110は、切換判定部805から出力された切換情報816と、高域符号化部819から出力された高域符号817と、低域符号化部1109から出力された低域符号1119とを多重化し、出力符号1120を生成する。
【0089】
以上のように、符号化装置1100をこのような構成とすることにより、より少ない処理量で高域係数および低域係数を符号化することができる。
次に、本発明の実施の形態5における復号化装置の構成を、図11を参照しながら説明する。図11は、図10に示した符号化装置1100の出力符号1120である入力符号1208を復号化する復号化装置1200の構成を示すブロック図である。図11に示される復号化装置1200は、図9に示した高域復号化装置1000を備え、低域復号化部はMDCT係数として得られた低域スペクトル係数を復号化する。
【0090】
低域復号化部が復号化するスペクトル係数としては、フーリエ変換係数、コサイン変換係数など、公知のどのようなスペクトル係数を用いても良いが、ここでは例えば、低域復号化部はAAC方式による復号化を行い、スペクトル係数はMDCT係数を使用する。この復号化装置1200は、高域復号化部1203(切換部1002、第1の高域復号化部1003、第2の高域復号化部1004)、符号分割部1201、低域復号化部1202、スペクトル合成部1206および周波数‐時間変換部1207を備える。
【0091】
復号化装置1200において、図9に示した高域復号化装置1000に対応する部分は、切換部1002、第1の高域復号化部1003、第2の高域復号化部1004、低域復号化部1202、スペクトル合成部1206および周波数‐時間変換部1207であるが、低域復号化部1202は、低域MDCT係数が符号化された低域符号1210を復号化する点で、図9に示した時間−周波数変換部1001と異なる。スペクトル合成部1206は、高域係数1011のみならず、スペクトル合成された高域係数1011にさらに低域係数1010を合成する点で、図9に示したスペクトル合成部1005と異なる。また、復号化装置1200の周波数‐時間変換部1207は、高域係数1012にさらに低域係数1010が合成されたMDCT係数1214をIMDCTする点で、時間軸上の低域復号化信号1009をMDCT変換する図9の周波数‐時間変換部1006と異なる。
【0092】
図11の復号化装置1200において、符号分割部1201は、入力符号1208から切換情報1008と高域符号1007と低域符号1210とを抽出する。これに対し、低域復号化部1202は、抽出された低域符号1210をAAC方式で復号化し、低域係数1010を出力する。入力符号1208から抽出された切換情報1008と高域符号1007とは共に、高域復号化部1203に入力される。高域復号化部1203内では、切換情報1008にしたがって選択された第1の高域復号化部1003または第2の高域復号化部1004が高域符号1007を復号化し、高域係数1011を出力する。
【0093】
ここで、高域係数1011は、低域係数との類似度を用いて復号化されるため、低域復号化部の出力する低域復号化信号を高域係数1011と同じMDCT係数に変換する必要がある。これに対し、この構成においては符号化装置1100側において低域係数も高域係数も、ともにMDCT係数が符号化されているので、低域係数1010がMDCT係数として出力される。したがって、低域係数1010の変換処理が不要となり処理量が削減される。
【0094】
スペクトル合成部1206は、低域復号化部1202から出力された低域係数1010と、高域復号化部1203から出力された高域係数1011とを周波数軸上で合成する。周波数−時間変換部1207は、スペクトル合成部1206によって合成されたMDCT係数1214を一括して時間信号に変換し、出力信号1215を生成する。
【0095】
以上のように、符号化装置側では、一括して時間−周波数変換された高域係数と低域係数とを用いて符号化し、復号化装置側では、このように符号化された符号を一括して周波数−時間変換する構成とすることにより、復号化装置側ではより少ない処理量で高域スペクトル係数および低域スペクトル係数を復号化し出力信号を得ることができる。
【0096】
なお、上記構成の符号化装置1100および復号化装置1200においても、実施の形態3で示したように、符号化装置側にダウンサンプリング部、復号化装置側にアップサンプリング部を設け、低域符号化を入力信号のサンプリング周波数より低いサンプリング周波数において行うようにしてもよい。特に、本構成においては、ダウンサンプリング方法として、符号化装置1100の帯域分割部1102によって分割された低域係数1114を、そのまま、ダウンサンプリング後のサンプリング周波数の信号を変換して得られた係数とみなして処理を行うことができる。
【0097】
例として、サンプリング周波数48kHzの入力信号を半分の24kHzにダウンサンプリングする場合を示す。入力信号2048サンプルを変換して2048点のMDCT係数を得たとすると、2048点のMDCT係数は0から24kHzの信号を表す係数である。このうち、低域係数として2048点のMDCT係数の低域側1024点を取り出せば、低域係数は0から12kHzの信号を表す係数となる。この低域係数1024点を、逆MDCT変換すれば1024サンプルの時間信号が得られることとなり、時間信号のサンプル数が半分となる、つまり、半分のサンプリング周波数にダウンサンプリングされたことになる。低域符号化部がMDCT係数を用いる場合は、逆MDCT変換処理は不要であるので、ダウンサンプリングに係る処理を簡素化できる。アップサンプリングの場合も同様に、復号化された低域係数を、そのままアップサンプリング後のサンプリング周波数の信号を変換して得られた係数とみなして処理すればよい。(実施の形態6)
【0098】
図12は、実施の形態6に係る符号化装置1300の構成を示すブロック図である。符号化装置1300は、入力信号が微小時間に急峻な振幅変化をする信号であるか否かに応じて入力信号の変換ブロック長を切り換えて時間‐周波数変換を行う符号化装置であって、帯域分割部201、低域符号化部202、変換ブロック長選択部1301、時間−周波数変換部1302、帯域分割部1303、類似度判定部1312(ノイズ性判定部1304、予測誤差算出部1305、切換判定部1306)、切換部1307、高域符号化部1313(第1の高域符号化部1308、第2の高域符号化部1309)および符号多重化部1321を備える。
【0099】
同図に示した高域符号化部1313および類似度判定部1312と、図7に示した符号化装置800における高域符号化部819および類似度判定部818とは、変換ブロック長選択部1301の選択に応じ、異なるサンプル数の高域係数を単位として処理を行う点が異なるだけで、構成および処理の内容は同じである。また、高域符号1320も、変換ブロック長選択部1301の選択に応じて、異なる変換ブロック長で符号化されている点が高域符号817と異なるだけである。同じく、ノイズ性判定値1317、類似度情報1318および切換情報1319も、処理対象である高域係数1316の変換ブロック長が変換ブロック長選択部1301の選択に応じて変化する点だけが、図7に示したノイズ性判定値814、類似度情報815および切換情報816と異なる。図7に示した高域符号化部819および類似度判定部818の構成および動作についてはすでに説明しているので、以下では、新たな処理に関連のない場合は、高域符号化部1313および類似度判定部1312についての説明を省略する。
【0100】
図12において、変換ブロック長選択部1301は、入力信号207の特性に応じて、時間−周波数変換部1302において用いる変換ブロック長を決定する。変換ブロック長選択部1301は、例えば、微小時間Δt内における入力信号207の平均信号レベルの変化量を測定し、測定された変化量が所定の値を超える場合には短い変換ブロック長を選択する。また、測定された変化量が所定の値以下である場合には長い変換ブロック長を選択する。決定される変換ブロック長は任意の長さでも良いし、あらかじめ定められた複数の選択肢から選択するようにしても良い。以下の説明では、2種類の変換ブロック長を切り換えて使用することとし、長い変換ブロック長として1024サンプル、短い変換ブロック長として128サンプルを用い、それぞれを基本変換ブロックおよび変換サブブロックと呼ぶこととする。この構成によれば、1個の基本変換ブロックは8個の変換サブブロックに分割することができることになる。変換ブロック長選択部1301は、選択した変換ブロック長を表すブロック長情報1310を生成する。
【0101】
時間−周波数変換部1302は、変換ブロック長選択部1301によって生成されたブロック長情報1310にしたがって、帯域分割部201で帯域分割された低域信号208と高域信号209とを変換し、それぞれ低域係数1315、高域係数1314を出力する。時間−周波数変換部1302が使用する時間−周波数変換としては、フーリエ変換、コサイン変換、フィルタバンクなど、公知のいかなる変換を用いても良いが、以下の説明ではMDCTを用いるものとする。帯域分割部1303は、MDCT係数で表される高域係数1314をさらに複数の高域符号化サブバンドに分割した後、ノイズ性判定部1304、予測誤差算出部1305および切換部1307の各部に出力する。
【0102】
ここで、帯域分割された高域係数1316と、以降の符号化処理との関係を図面を参照しながら説明する。図13は、図12に示した変換ブロック長選択部1301において基本変換ブロック1401が選択された場合の高域係数1316と低域係数1315とを示す図であり、図14は、図12に示した変換ブロック長選択部1301において変換サブブロック1506が選択された場合の高域係数1316と低域係数1315とを示す図である。
【0103】
図13、図14共に、時間信号として、例えば、1フレーム1024サンプルの信号が入力された際の高域係数1316と低域係数1315とを表している。図13に示すように、図12の変換ブロック長選択部1301によって基本変換ブロック1401が選択されたときには、時間−周波数変換部1302は、1フレーム1024サンプルであらわされている高域信号209に対して、1024サンプルの変換ブロック長による変換を1回行うだけである。低域信号208についても同様である。
【0104】
したがって、高域符号化バンド1402内の高域係数1314と低域符号化バンド1403内の低域係数1315とは、時間軸方向については1回の変換で求められる1組の係数からなる。すなわち、この係数は、この1フレームのサンプリング時間内での時間変化には依存しない係数とみることができる。しかし、周波数軸方向については、高域符号化バンド1402内の高域係数1314はさらに、帯域分割部1303によって複数の高域符号化サブバンド1404に分割され、複数組の高域符号化サブバンド1404からなる高域係数1316となる。
【0105】
各基本変換ブロック1401に含まれる高域係数1314は、高域符号化バンド1402の周波数帯域にあたる係数のみが値を持ち、残りの係数は0である。各基本変換ブロック1401に含まれる低域係数1315も同様に、低域符号化バンド1403の周波数帯域にあたる係数のみが値を持ち、残りの係数は0である。図13では、値を持つ低域係数と高域係数のみを同一平面上に並べている。なお、各高域係数1316に対する以降の符号化処理は、周波数軸方向の高域符号化サブバンド1404ごとに行われるので、基本変換ブロック1401使用時の符号化処理の単位は、図13において斜線で示される各高域符号化サブバンド1404内の領域1405(以下、「符号化セル」と呼ぶ)となる。
【0106】
これに対して、図14に示すように、変換ブロック長選択部1301によって変換サブブロック1506が選択されたときには、時間−周波数変換部1302は、1フレーム1501内において1024サンプルで表される高域信号209に対し、128サンプルの変換ブロック長を単位とする変換を、1024/128=8回行う。低域符号化バンド1503内の低域信号208についても同様である。したがって、時間−周波数変換部1302による変換の結果得られた高域係数1314と低域係数1315とは、いずれも時間軸方向について8組の変換サブブロック1506からなる係数となる。
【0107】
各変換サブブロック1506に含まれる高域係数1314は、それぞれ、128サンプルであり、高域符号化バンド1502の周波数帯域にあたる係数のみが値を持ち、残りの係数は0である。各変換サブブロック1506に含まれる低域係数1315も同様に、それぞれ、128サンプルであり、低域符号化バンド1503の周波数帯域にあたる係数のみが値を持ち、残りの係数は0である。図15では、値を持つ低域係数と高域係数のみを同一平面上に並べている。高域符号化バンド1502内の高域係数1314は、帯域分割部1303によって周波数軸方向に、さらに複数の高域符号化サブバンド1504に分割される。よって、以降の符号化処理の単位は、図14において斜線で示される符号化セル1505となる。
【0108】
図13および図14から明らかなように、変換ブロック長として基本変換ブロック1401を用いるよりも変換サブブロック1506を用いた方が、符号化セルが、時間軸方向により細かく分割されるため、時間軸方向により精度の高い符号化が可能となる。ただし、周波数軸方向への分割数が同じであれば、単位時間当たりの符号化セルの数は増加することになるため、必然的に符号化に必要なビット量が増加する。これを防ぐためには、図14に示す変換サブブロック1506使用時には、周波数軸方向への分割数つまり高域符号化サブバンド1504の数を、図13に示した基本変換ブロック1401使用時における高域符号化サブバンド1404の数よりも減少させれば良い。
【0109】
結果として、基本変換ブロック1401使用時には、周波数軸方向に細かく分割された符号化セル1405が使用され、変換サブブロック1506使用時には、時間軸方向に細かく分割された符号化セル1505が使用されることになる。このように符号化装置1300は、入力信号207の特性に応じて、符号化セル1405と符号化セル1505とを切り換えて使用することにより、より効率的に入力信号207の符号化を行うことが可能となる。
【0110】
符号化装置1300の各処理部が各符号化セルに対して行う処理は基本変換ブロック1401の場合でも、変換サブブロック1506の場合でも同様である。したがって、1フレームにおける高域係数1316の符号化を完了するためには、すべての符号化セルについて類似度判定部1312と高域符号化部1313との符号化処理を繰り返せばよい。
【0111】
符号多重化部1321は、変換ブロック長選択部1301によって生成されたブロック長情報1310、切換判定部1306からの切換情報1319、低域符号化部202からの低域符号213および高域符号化部1313からの高域符号1320を多重化し、出力符号1311を生成する。
【0112】
なお、本実施の形態では、高域符号化サブバンドのMDCT係数を求めるにあたって、高域信号209をMDCT係数に変換した後、MDCT係数上で帯域分割を行っているが、等価な構成として、高域信号209をフィルタバンク等を用いてあらかじめ高域符号化サブバンドの帯域に分割した後、それぞれの帯域の信号をMDCT変換することによって高域符号化サブバンドのMDCT係数を求めてもよい。
【0113】
以上で説明したように、高域のMDCT係数を複数の符号化セルに分割し、符号化セルごとにノイズ性と、低域のMDCT係数との類似度とを判定し、判定結果に基づいて最適な高域符号化部を用いて符号化を行うことにより、より少ないビット量の符号から入力信号207の特性に応じた高品質な再生信号を得ることができるという効果がある。
【0114】
次に、本実施の形態6における復号化装置について、図15を参照しながら説明する。図15は、図12に示した符号化装置1300によって出力された出力符号1311を復号化する復号化装置1600の構成を示すブロック図である。以下では、前記の符号化装置1300の場合と同様、周波数スペクトル係数としてMDCT係数を使用する場合を例として説明する。
【0115】
図15において、復号化装置1600は、基本変換ブロックおよび変換サブブロックのいずれかのブロック長で符号化されている高域符号を、入力符号に含まれているブロック長情報に従って復号化する復号化装置であって、符号分割部1601、低域復号化部1602、時間−周波数変換部1603、切換部1604、第1の高域復号化部1605、第2の高域復号化部1606、スペクトル合成部1607および周波数‐時間変換部1608を備える。符号分割部1601は、入力符号1609からブロック長情報1610、切換情報1611、低域符号1612および高域符号1613を抽出する。
【0116】
低域復号化部1602は、抽出された低域符号1612を復号化し、時間信号である低域信号1614を出力する。時間−周波数変換部1603は、ブロック長情報1610で示される変換ブロック長で、低域信号1614を変換し、低い周波数成分を表すMDCT係数である低域係数1615を算出する。
【0117】
切換部1604は、抽出された切換情報1611に従って、第1の高域復号化部1605と第2の高域復号化部1606とを切り換え、選択された高域復号化部に対してブロック長情報1610と高域符号1613とを入力する。ここで、第1の高域復号化部1605は、ノイズを用いて符号化された符号を復号化するための復号部、第2の高域復号部1606は低域係数1615と高域係数との類似度を利用して符号化された符号を復号化する復号部である。高域係数は、変換ブロック長と高域符号化サブバンドにしたがって、あらかじめ定められた符号化セルに分割されて符号化されているので、復号化処理は各符号化セルに対応する符号に対して行われる。
【0118】
すなわち、高域符号1613に含まれる符号を符号化セルごとの符号に分割し、すべての符号化セルについて、分割された符号に対する復号化処理を繰り返す。ここで、前記符号化装置1300側において、各符号化セルに対応する符号が数学的手法で圧縮されている場合には、数学的手法による復号化も行われる。
【0119】
切換情報1611によって、高域符号1613が第1の高域復号化部1605に入力されることが示された場合、復号化される高域係数はランダムなノイズ信号で表現され、高域符号1613には信号強度を表すゲイン情報のみが含まれる。したがって、第1の高域復号化部1605は、内部でランダムなノイズ信号を生成し、復号したゲインを乗じることによって帯域分割された高域係数1616を生成する。
【0120】
これに対して、高域符号1613が第2の高域復号化部1606に入力されることが示された場合には、帯域分割された高域係数1616は、低域係数1615から抽出された係数と、高域符号1613内に符号化されている高域係数および低域係数間の差分との和によって表現される。高域符号1613には、低域係数を抽出するための位置を示すシフト数k、ゲインaおよび差分を表す情報が含まれる。第2の高域復号化部1606は、入力された低域係数1615について、あらかじめ定められた基準点からシフト数kだけシフトした位置から、あらかじめ定められた数のMDCT係数を抽出する。抽出されるMDCT係数のサンプル数は、ブロック長によって異なる。
【0121】
第2の高域復号化部1606は、抽出したMDCT係数にゲインaを乗じ、復号化した差分情報を表すスペクトル係数を加算することによって、高域係数を表すMDCT係数を生成する。なお、差分を表す情報が省略されている場合は、抽出したMDCT係数にゲインaを乗じたものが高域係数を表すMDCT係数となる。また、差分を表す情報がノイズ成分で代表されている場合には、抽出したMDCT係数にゲインaを乗じたものに、復号したゲインを乗じたノイズ成分を加算したものが高域係数を表すMDCT係数となる。
【0122】
スペクトル合成部1607は、第1の高域復号化部1605もしくは第2の高域復号化部1606によって復号化された、高域符号化サブバンドに帯域分割された高域係数1616および低域係数1615を合成し、合成スペクトル係数1617として出力する。周波数‐時間変換部1608は、合成スペクトル係数1617の高域部については、ブロック長情報1610によって示される変換ブロック長で時間信号に変換し、出力信号1618を生成する。
【0123】
なお、第2の高域復号化部1606において、シフト数kが周波数軸上のサンプル数を示さず、あらかじめ定められた特定の低域区間を表す識別情報を示している場合は、その識別情報に従って、あらかじめ定められた特定区間のMDCT係数を抽出すればよい。
【0124】
以上で説明したように、実施の形態6では、符号化装置1300において、入力信号207の特性に応じて、選択的に高域信号209の変換ブロック長を切り換えて符号化し、復号化装置1600において、このように符号化された入力符号1609をブロック長情報1610に基づいて復号化するので、実施の形態1から実施の形態5における効果に加えて、復号化装置1600では、原音の時間変化に対する追従性が向上された、より品質の高い再生信号を得ることができるという効果がある。
【0125】
(実施の形態7)
本発明の実施の形態7における符号化装置の構成を図16を参照しながら説明する。図16は、実施の形態7に係る符号化装置1700の構成を示すブロック図である。図16の符号化装置1700は、図12に示した符号化装置1300に対して、低域符号化部が、高域符号化部と同一形式の変換係数を用いて符号化を行い、かつ、低域符号化部においても、変換ブロック長選択部によって決定された変換ブロック長にしたがって符号化処理を行う点が異なる。
【0126】
この符号化装置1700は、変換ブロック長選択部1301、切換部1307、時間−周波数変換部1701、帯域分割部1702、低域符号化部1703、類似度判定部1312(ノイズ性判定部1304、予測誤差算出部1305、切換判定部1306)、高域符号化部1313(第1の高域符号化部1308、第2の高域符号化部1309)および符号多重化部1704を備える。なお、同図において、図12に示した符号化装置1300と同様の構成要素についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【0127】
図16において、変換ブロック長選択部1301は、入力信号207の特性に応じて変換ブロック長を決定する。時間−周波数変換部1701は、変換ブロック長選択部1301からのブロック長情報1310にしたがって、低域および高域からなる全帯域の入力信号207を一括して時間‐周波数変換し、全域係数1705を出力する。時間−周波数変換部1701は、公知のどのような変換方法を用いても良いが、ここではMDCTを用いる例を説明する。
【0128】
帯域分割部1702は、基本変換ブロックおよび変換サブブロックのいずれかのブロック長のMDCT係数で表された全域係数1705を低域および高域の各帯域に分割し、高域についてはさらに複数の高域符号化サブバンドに分割して、低域係数1706と高域係数1316とを出力する。低域符号化部1703は、可変変換ブロック長のMDCT係数であらわされた低域係数1706を符号化して、低域符号1707を出力する。この低域符号化部1703としては、可変変換ブロック長に対応できる公知のどのような符号化を用いても良いが、ここではそのような符号化部の一例として、MPEG−4 AAC方式を使用する。MPEG−4 AAC方式では、1024サンプルと128サンプルとの2種類の変換ブロック長に対応しており、必要に応じて切り換えて使用することが可能である。
【0129】
ここで、図12に示した符号化装置1300のように、高域符号化部で用いる変換ブロック長と、低域符号化部で用いる変換ブロック長とが異なっている場合、それぞれの符号化において時間−周波数変換を行う必要がある。そこで、高域符号化部で用いる変換ブロック長についても、1024サンプルと128サンプルの2種類の変換ブロック長から選択するようにすれば、低域符号化と高域符号化の変換ブロック長は一致し、両者の時間−周波数変換処理は同一の処理となる。すなわち、低域符号化部と高域符号化部とにおいて時間−周波数変換処理を共有化することができる。符号多重化部1704は、変換ブロック長選択部1301からのブロック長情報1310、切換判定部1306からの切換情報1319、高域符号化部1313からの高域符号1320、低域符号化部1703からの低域符号1707を多重化して、出力符号1708を出力する。
【0130】
以下では、上記のように構成された符号化装置1700の動作について、データの流れに沿って説明する。時間−周波数変換部1701は、ブロック長情報1310に従って入力信号207を一括してMDCT係数に変換する。変換された全帯域の周波数成分を含んだ全域係数1705は、帯域分割部1702に入力され、低域係数1706とさらに複数の帯域に分割された高域係数1316として出力される。
【0131】
低域係数1706は低域符号化部1703において符号化され、帯域分割された高域係数1316は、第1の高域符号化部1308もしくは第2の高域符号化部1309において符号化される。
【0132】
ブロック長情報1310、切換情報1319、高域符号化部1313による高域係数1316の符号化処理の結果、得られた高域符号1320および低域符号1707は、符号多重化部1704において多重化され、出力符号1708が生成される。
【0133】
符号化装置1700は、上記のような構成を備えることにより、低域符号化と高域符号化とにおける時間−周波数変換処理を共有化できると共に、帯域分割部1702における帯域分割処理を周波数領域の係数、たとえばMDCT係数上で行うことが可能となるため帯域分割処理に必要な演算量を削減することができる。
【0134】
次に、本発明の実施の形態7の復号化装置について、図17を参照しながら説明する。図17は、図16に示した符号化装置1700によって符号化された出力符号1708を復号化する復号化装置1800の構成を示すブロック図である。図17に表される復号化装置1800は、実施の形態6の復号化装置1600に対して、低域復号化部が、高域と同一形式の変換係数を用いて低域の復号化を行い、かつ、変換ブロック長選択部から受取ったブロック長情報で示される変換ブロック長にしたがって低域の復号化処理を行う点が異なる。
【0135】
この復号化装置1800は、符号分割部1601、切換部1604、第1の高域復号化部1605、第2の高域復号化部1606、スペクトル合成部1607、周波数‐時間変換部1608および低域復号化部1801を備える。なお、同図において、図15に示した復号化装置1600と同様の構成要素については、すでに説明しているので、同一の参照符号を付し、説明を省略する。以下、本復号化装置1800についても、前記の符号化装置1700と同様に周波数スペクトル係数としてMDCT係数、低域復号化方法としてAAC方式を使用する場合を例として説明する。低域復号化部1801は、入力符号1802から分離された低域符号1803を、ブロック長情報1610に従って復号化し、低域係数1615を出力する。
【0136】
以下では、上記のように構成された復号化装置1800の動作について説明する。図17の復号化装置1800において、入力符号1802は、符号分割部1601によって、ブロック長情報1610、切換情報1611、低域符号1803および高域符号1613に分割される。それらのうち、低域符号1803は、ブロック長情報1610で示される変換ブロック長にしたがって、低域復号化部1801によって復号化される。復号化された低域符号1803は、AAC方式の符号化パラメータであるMDCT係数で表されており、低域係数1615として出力される。
【0137】
一方、入力符号1802から分離された切換情報1611によって切換部1604が切り換えられ、第1の高域復号化部1605もしくは第2の高域復号化部1606のいずれかが選択される。選択された高域復号化部によって高域符号1613が復号化され、高域係数1616が出力される。第1の高域復号化部1605と第2の高域復号化部1606との動作については、図15に示した実施の形態7の復号化装置1600と同じであるので、説明を省略する。それぞれ復号化された低域係数1615と高域係数1616とは、同じ変換ブロック長に基づくMDCT係数であるので、両者の合成は単純な加算処理で実現することができる。スペクトル合成部1607は、低域係数1615と高域係数1616とを加算し、合成スペクトル係数1617を算出する。周波数−時間変換部1608は、合成スペクトル係数1617を逆MDCT変換して、出力信号1618を出力する。
【0138】
本実施の形態によれば、復号化装置1800がこのような構成をとることにより、低域復号化と高域復号化の周波数−時間変換処理を共有化できるので、復号化装置1600で必要であった低域信号を低域係数に変換するための時間−周波数変換部を省略することができ、復号化装置1800をよりコンパクトに実装することができるという効果がある。さらに、本実施の形態によれば、スペクトル合成部における合成処理を周波数領域の係数、たとえばMDCT係数上で行うことが可能となるため、合成処理に必要な演算量を削減することができるという効果がある。
【0139】
(実施の形態8)
本発明の実施の形態8における符号化装置の構成を図18を参照しながら説明する。図18は、実施の形態8に係る符号化装置1900の構成を示すブロック図である。図18に示す符号化装置1900は、図16に示した符号化装置1700に対し、低域部の符号化に、ブロックグルーピングと呼ばれる符号化方法に対応したMPEG−4 AAC方式等の方式を採用し、低域符号化部から与えられるグルーピング情報を利用して高域符号化を行うようにした点が異なる。
【0140】
この符号化装置1900は、変換ブロック長選択部1301、類似度判定部1312(ノイズ性判定部1304、予測誤差算出部1305、切換判定部1306)、時間−周波数変換部1701、帯域分割部1702、低域符号化部1901、高域符号化部1904(第1の高域符号化部1902、第2の高域符号化部1903)および符号多重化部1905を備える。なお、同図において、図12または図16に示した符号化装置1300または符号化装置1700の構成要素と同様の構成要素については、すでに説明しているので、同一の参照符号を付し、説明を省略する。
【0141】
ブロックグルーピングとは、互いにスペクトルが類似する変換サブブロックからなるグループにおいて符号化パラメータを共有することによって、出力符号に含まれる符号化パラメータの数を削減する方法である。以下に、AAC方式で用いられるブロックグルーピングについて、図19を参照しながら、より詳細に説明する。図19(a)は、図18に示した符号化装置1900の時間−周波数変換部1701からブロック長情報1310にしたがって出力される全域係数1705の一例を示す図である。図19(b)は、図18に示した符号化装置1900の高域符号化部1904に入力される高域係数1316の一例を示す図である。図19(c)は、図18に示した符号化装置1900の低域符号化部1901に入力される低域係数1706の一例を示す図である。
【0142】
AAC方式は1024サンプル(ロングブロック=基本変換ブロック)および128サンプル(ショートブロック=変換サブブロック)の2種類の変換ブロック長に対応しているが、ショートブロック時には複数の隣接するショートブロック内のMDCT係数を比較し、それらの類似性が高い場合には一部の符号化パラメータを共有化することによって符号化パラメータの数を減少させ、入力信号の符号化に必要なビット数を削減することができる構成となっている。
【0143】
図18に示した時間−周波数変換部1701は、変換ブロック長選択部1301からのブロック長情報1310が、低域および高域それぞれにつき128サンプルからなるショートブロックを示している場合、例えば、入力信号207の128サンプルごとにMDCT変換を行い、図19(a)に示すような全域係数1705を出力する。このように出力された全域係数1705は、1つの基本変換ブロック(1024サンプル)につき、8個のショートブロックから構成されており、各ショートブロックのMDCT係数は、サンプリング周波数によって定まる低域から高域までの周波数帯域を表している。このような全域係数1705は、帯域分割部1702によって低域係数1706と、高域係数1316とに分割され、それぞれ低域符号化部1901と高域符号化部1904とに出力される。
【0144】
低域符号化部1901では、隣接しあうショートブロックのMDCT係数を比較し、ショートブロック間の類似度が高い場合には、図19(c)に示すように、該当する2つ以上のショートブロックを1つのグループに分類する。1つのグループに属するショートブロックでは、例えば、ショートブロック内の符号化単位ごとに算出される正規化係数などの符号化パラメータが共有される。このとき、符号化パラメータを共有する隣接ショートブロックの組をショートブロックグループと呼び、1024サンプル長のフレーム内に含まれる8個のショートブロックがどのようにグループ分けされるかの情報は、グルーピング情報1911として生成され、高域符号化部1904に出力される。
【0145】
例えば、図19(c)に示すように、低域符号化部1901において、ショートブロック1とショートブロック2とがグルーピングされている場合、それを示すグルーピング情報1911が出力される。このグルーピング情報1911は、低域符号化部1901によって低域係数1706とともに符号化される。高域符号化部1904では、帯域分割部1702から入力される高域係数1316は、低域係数1706よりさらに複数の帯域に分割されており、高域符号化部1904は、この帯域ごとに高域係数1316を符号化する。このとき、高域符号化部1904は、グルーピング情報1911から、低域のショートブロック1とショートブロック2とがグルーピングされている場合には、高域において対応する変換サブブロック1と変換サブブロック2との間で符号化パラメータを共有させて符号化する。
【0146】
ここで、符号化装置1900の構成では、高域部における変換サブブロックと低域部におけるAAC方式のショートブロックとの長さはいずれも128サンプルで同一であり、かつ、128サンプルの変換ブロック長で変換された高域MDCT係数と128サンプルのショートブロックで変換された低域MDCT係数とのそれぞれが同じ信号の周波数高域成分および低域成分を保持している。したがって、両者に含まれるMDCT係数同士は密接に関連しており、例えば、ある低域側の隣接するショートブロック同士が類似していれば、対応する高域側のサブブロック同士も類似である可能性が高い。したがって、AAC方式による低域符号化部から出力されるグルーピング情報1911を高域符号化側でも利用し、類似するサブブロック間の符号化パラメータを共有化すれば、符号化パラメータの数を減少させ、符号化に必要なビット数を削減することができる。
【0147】
図18の符号化装置1900において、低域符号化部1901から出力されたグルーピング情報1911は、切換部1307を介して第1の高域符号化部1902もしくは第2の高域符号化部1903に入力される。切換部1307によって選択された高域符号化部では、前記グルーピング情報1911に基づいて、共有されるパラメータを、グループ内の1つの変換サブブロックについてのみ符号化し、残りの変換サブブロックについては符号化を省略する。ここで、グルーピング情報1911に基づくパラメータの具体的な共有方法について説明する。
【0148】
図20は、図18に示した符号化装置1900の低域符号化部1901においてグルーピングが行われる場合の高域係数1316と低域係数1706との関係を示す図である。図20に示される様に、変換ブロック長選択部1301において変換ブロック長として変換サブブロック2106が選択された場合、1024サンプルの基本変換ブロック2101の入力信号207に対して、128サンプル単位の変換ブロック長で変換された8組のMDCT係数(全帯域係数1705)が得られる。
【0149】
この全帯域係数1705は、帯域分割部1702によって、低域符号化バンド2103に属する低域係数1706と高域符号化バンド2102に属する高域係数1316とに分割される。低域符号化部1901は、低域係数1706の隣接ショートブロック間の類似度を調べ、互いに類似度の高いショートブロックをグルーピングする。この際に、どのショートブロックとどのショートブロックとをグルーピングしたかを示すグルーピング情報1911を生成し、高域符号化部1904に出力する。例えば、低域符号化部1901は、互いに隣接するショートブロック2108とショートブロック2109とをグルーピングしたことを示すグルーピング情報1911を生成したとする。高域符号化部1904は、低域符号化部1901から与えられるグルーピング情報1911によって、互いに類似する隣接変換サブブロック2106の組が示されるので、それにしたがって8組の変換サブブロック2106を複数の変換サブブロックグループに分類する。
【0150】
例えば、高域符号化バンド2102において、8組の変換サブブロック2106は、変換サブブロックグループ2110、変換サブブロックグループ2111および変換サブブロックグループ2112に分類する。例えば、変換サブブロックグループ2110は、1つの変換サブブロック2106から構成され、変換サブブロックグループ2111は、図示しない5つの変換サブブロック2106から構成される。変換サブブロックグループ2112は、低域符号化バンド2103におけるショートブロック2108とショートブロック2109とに対応する、7番目と8番目との2つの変換サブブロック2106から構成される。このような変換サブブロックグループ内で符号化パラメータを共有するためには、元々高域符号化サブバンド2104ごとの変換サブブロック2106ごとに設定されていた符号化セルを、図20の符号化セル2105で示されるように、各変換サブブロックグループに対して設定すればよい。
【0151】
この例では、符号化セル2105に含まれる2組の高域MDCT係数は、1組の符号化パラメータで代表され符号化される。例えば、第2の高域符号化部1903が符号化セル2105に含まれる高域係数1316を符号化する場合、この2組の変換サブブロック2106内のMDCT係数は、同一のシフト数kとゲインaで表され符号化される。これに対し、サブブロックグルーピングを行わない場合には、第2の高域符号化部1903は、2組の変換サブブロック2106内のMDCT係数それぞれに対して、独立にシフト数kとゲインaとを符号化しなければならない。このように、例えば、2つの変換サブブロック2106を1つの変換サブブロックグループ2112にグルーピングすることにより、符号化パラメータの数を半分に低減することができる。
【0152】
なお、グルーピングされる変換サブブロック2106の数に制限は無く、さらに多くの変換サブブロック2106をグループ化すれば、さらに符号化パラメータの数を減少させることができる。結果として、このようなグルーピングを行うことによって、全帯域の符号化パラメータの符号化に必要なビット数を削減することができる。符号多重化部1905では、低域符号化部1901からの▲1▼低域符号1910、切換判定部1306からの▲2▼切換情報1319、変換ブロック長選択部1301からの▲3▼ブロック長情報1310および高域符号化部1904からの▲4▼高域符号1912を多重化して、出力符号1913を生成する。
【0153】
なお、符号化パラメータ共有化のためのグループ化は、時間軸方向の複数の変換サブブロックに対して行うのと同様に、周波数軸方向の複数の高域符号化サブバンドに対して行うことも可能である。
【0154】
なお、上記の例では、低域符号化部1901から得られるグルーピング情報1911(第1のグルーピング情報とする)にしたがって変換サブブロック2106のグループ化を行ったが、低域側のグルーピング情報1911を用いずに高域側で独自にグルーピングを行い、そのグルーピング結果を示す第2のグルーピング情報を生成して高域符号化部における変換サブブロック2106のグループ化を行うように構成しても良い。
【0155】
図21は、実施の形態8に係る他の符号化装置2200の構成を示すブロック図である。符号化装置2200は、高域の変換サブブロック2106ごとに独自にグルーピングを行う符号化装置であって、変換ブロック長選択部1301、類似度判定部1312(ノイズ性判定部1304、予測誤差算出部1305、切換判定部1306)、時間−周波数変換部1701、帯域分割部1702、低域符号化部1703、高域符号化部1904(第1の高域符号化部1902、第2の高域符号化部1903)、グルーピング情報生成部2201および符号多重化部2202を備える。
【0156】
グルーピング情報生成部2201は、帯域分割部1702によって帯域分割された高域係数1316における変換サブブロック2106の類似度を調べ、互いに類似度の高い変換サブブロック2106同士をグルーピングする。さらに、グルーピング結果を表す第2のグルーピング情報2210を生成し、高域符号化部1904および符号多重化部2202に出力する。
【0157】
切換情報1319によって選択された高域符号化部1904は、入力された第2のグルーピング情報2210にしたがって高域部の符号化セル2105を決定し、符号化セル2105内の各変換サブブロックに符号化パラメータを共有させた高域符号2211を生成する。符号多重化部2202は、▲1▼グルーピング情報生成部2201からの第2のグルーピング情報2210、▲2▼高域符号化部1904からの高域符号2211、▲3▼低域符号化部1703からの低域符号1707、▲4▼切換判定部1306からの切換情報1319および▲5▼変換ブロック長選択部1301からのブロック長情報1310を多重化して、出力符号2212を生成する。
【0158】
図18に示した低域符号化部1901から得られる第1のグルーピング情報1911は、低域符号化で使用される低域係数1706をもとに生成されているため、必ずしも高域係数1316のクループ化に適しているとは限らない。これに対して、高域係数1316をもとに高域側独自にグルーピング情報2210を生成すれば、高域係数1316の符号化により適したグルーピングを行うことが可能となり、高域部における符号化の品質を向上させることができる。ただし、この場合には高域側で独自に生成した第2のグルーピング情報2210も符号化し、出力符号2212に多重化する必要がある。
【0159】
なお、符号化装置2200の構成では、低域符号化部1703においてグルーピングを行わないが、符号化装置2200において低域符号化部1703の代わりに、図18に示した符号化装置1900における低域符号化部1901を備え、低域符号化部1901においてもショートブロックのグルーピングを行うように構成してもよい。
【0160】
また、図21に示した符号化装置2200では、低域と高域とを別個にグルーピングしたが、低域符号化部から得られる第1のグルーピング情報と、高域符号化側で独自に生成した第2のグルーピング情報とのいずれかを選択して使用する構成としても良い。図22は、実施の形態8に係るさらに他の符号化装置2300の構成を示すブロック図である。符号化装置2300は、低域ショートブロックのグルーピングを示す第1のグルーピング情報と、高域変換サブブロックのグルーピングを示す第2のグルーピング情報とのいずれかを選択的に使用して高域における符号化セルを決定する符号化装置であって、変換ブロック長選択部1301、類似度判定部1312(ノイズ性判定部1304、予測誤差算出部1305、切換判定部1306)、時間−周波数変換部1701、帯域分割部1702、低域符号化部1901、高域符号化部1904(第1の高域符号化部1902、第2の高域符号化部1903)、グルーピング情報生成部2301、グルーピング情報切換部2302および符号多重化部2303を備える。
【0161】
グルーピング情報生成部2301は、いったん、第1のグルーピング情報1911にしたがって高域係数1316のグルーピングを行う。この処理において、グルーピング情報生成部2301は、例えば、同じグループにグルーピングされた変換サブブロック間の差分誤差を計算し、算出された差分誤差の値が、あらかじめ定めた閾値を超える場合には、第1のグルーピング情報1911に基づくグルーピングをキャンセルし、高域係数1316に基づいて独自にグルーピングを行う。グルーピングの結果、グルーピング情報生成部2301は、高域独自のグルーピング結果(すなわち、どの変換サブブロックとどの変換サブブロックとをグルーピングしたか)を示す第2のグルーピング情報2210を生成する。
【0162】
また、グルーピング情報切換部2302にグルーピング情報切換情報2311を出力し、グルーピング情報切換部2302が第2のグルーピング情報2210を選択するよう切り換える。このように選択されたグルーピング情報2310にしたがって、高域符号化部1904は、低域係数1706との類似度情報1318に基づいて高域係数1316を符号化し、高域符号2312を出力する。符号多重化部2303は、このように生成された高域符号化部1904からの▲1▼高域符号2312、低域符号化部1901からの▲2▼低域符号1910、グルーピング情報切換情報2311にしたがってグルーピング情報切換部2302によって第2のグルーピング情報2210が選択された場合には、その▲3▼グルーピング情報2310、変換ブロック長選択部1301からの▲4▼ブロック長情報1310および切換判定部1306からの▲5▼切換情報1319を多重化して、出力符号2313を生成する。
【0163】
上記のように、この構成においては、通常は第1のグルーピング情報1911を用いて高域係数1316のグループ化を行い、第1のグルーピング情報1911が高域係数1316のグループ化に適さない場合にのみ、高域符号化側で独自に生成した第2のグルーピング情報2210を利用するようにできるので、第2のグルーピング情報2210を表すために必要な符号ビット数を削減することができ、かつ、符号化品質を向上することが可能である。この構成においては、第2のグルーピング情報2210が選択された場合にのみ、第2のグルーピング情報2210を符号化し、出力符号2313に多重化する。
【0164】
なお、ここでは符号多重化部2303は、グルーピング情報生成部2301からのグルーピング情報切換情報2311に基づいて第2のグルーピング情報2210を符号化し、出力符号2313に多重化したが、本発明はこれに限定されない。例えば、グルーピング情報生成部2301は、第2のグルーピング情報2210に高域独自のグルーピング情報であることを示す識別コードを付加しておくものとする。これに対し、選択された高域符号化部1904は、第2のグルーピング情報2210を示す識別コードが付加されている場合には、その第2のグルーピング情報2210を高域符号2312に組み込んで符号化するが、識別コードが付加されていない第1のグルーピング情報1911は高域符号2312に組み込まないとしてもよい。この場合、符号多重化部2303は、グルーピング情報2310およびグルーピング情報切換情報2311を符号化および多重化する必要はなく、符号多重化部2303は切換情報1319、ブロック長情報1310、低域符号1910および高域符号2312を多重化するだけでよい。
【0165】
次に、本実施の形態8における復号化装置の構成について図23を参照しながら説明する。図23は、図18に示した符号化装置1900によって生成された出力符号1913を復号化する復号化装置2400の構成を示すブロック図である。図23に示した復号化装置2400は、低域復号化部として、図18に示した符号化装置1900におけるMPEG−4 AAC方式等のブロックグルーピングと呼ばれる符号化方法に対応した復号化方式を使用し、低域復号化部から与えられるグルーピング情報を利用して高域の復号化を行うようにした復号化装置であって、符号分割部2401、低域復号化部2402、第1の高域復号化部2403、第2の高域復号化部2404、切換部2405、スペクトル合成部1607および周波数‐時間変換部1608を備える。
【0166】
図23において、符号分割部2401は、入力符号2410をブロック長情報1610、切換情報1611、低域符号2411および高域符号2412に分割する。低域復号化部2402は、低域符号2411を、ブロック長情報1610で示される変換ブロック長と、低域符号2411に含まれるグルーピング情報2413とにしたがって復号化し、AAC方式の符号化パラメータであるMDCT係数で表された低域係数2415を出力する。これと併せて、低域復号化部2402は、低域符号2411から得られたグルーピング情報2413を切換部2405に出力する。このグルーピング情報2413は、切換部2405を介して、第1の高域復号化部2403および第2の高域復号化部2404のうち、切換情報1611によって選択された一方に入力される。選択されたほうの第1の高域復号化部または第2の高域復号化部は、ブロック長情報1610、高域符号2412、低域係数2415(第2の高域復号化部2404が選択された場合のみ)およびグルーピング情報2413から、高域係数2414を生成する。
【0167】
すなわち、選択された高域復号化部は、ブロック長情報1610により、基本変換ブロックが使用されることが示された場合には、基本変換ブロックに基づく符号化セル単位で復号化処理を行い、逆に変換サブブロックが使用されることが示された場合には、グルーピング情報2413によって示される変換サブブロックグループに基づく符号化セル単位で復号化処理を行う。
【0168】
変換サブブロックグループに基づく符号化セルには複数の変換サブブロックに対応するMDCT係数の組が含まれているが、それぞれのMDCT係数の組は、復号化された同一の符号化パラメータにしたがって復号化される。符号化パラメータから符号化セル内のMDCT係数を算出する、第1の高域復号化部2403と第2の高域復号化部2404との動作については、グルーピング情報2413によって示される変換サブブロックグループに基づく符号化セル単位で復号化処理を行う以外、図17に示した復号化装置1800における第1の高域復号化部1605および第2の高域復号化部1606と同じであるので、説明を省略する。
【0169】
このように、それぞれ復号された低域係数2415と高域係数2414とは、同じ変換ブロック長に基づくMDCT係数であるので、両者の合成は単純な加算処理で実現できる。スペクトル合成部1607は、低域係数2415と高域係数2414とを加算し、合成スペクトル係数2416を算出する。周波数−時間変換部1608は、得られた合成スペクトル係数2416を逆MDCT変換することにより、出力信号2417を生成し出力する。
【0170】
このような構成をとることにより、符号化装置1900側では変換サブブロックをグループ化することによってより少ないビット量で入力信号207を符号化し、復号化装置2400ではこのように少ないビット量で符号化された入力符号2410を正しく復号化することができる。
【0171】
また、図21に示した符号化装置2200による出力符号2212のように、復号化装置の入力符号に、高域符号化側で独自に生成された第2のグルーピング情報が多重化されている場合には、図24に示すように第2のグルーピング情報に基づいて復号化を行う構成となる。図24は、図21に示した符号化装置2200による出力符号2212を復号化する復号化装置2500の構成を示すブロック図である。復号化装置2500は、符号化装置において低域と高域とで別個にブロックグルーピングを行った場合の出力符号を、入力符号として復号化する復号化装置であって、符号分割部2501、低域復号化部2502、第1の高域復号化部2503、第2の高域復号化部2504、切換部2405、スペクトル合成部1607および周波数‐時間変換部1608を備える。
【0172】
符号分割部2501は、入力符号2510を低域符号2411、第2のグルーピング情報2511、高域符号2512、ブロック長情報1610および切換情報1611に分割する。低域復号化部2502は、低域符号2411に含まれている第1のグルーピング情報を切換部2405に出力しない点が図23に示した低域復号化部2402と異なる。
【0173】
それ以外では、低域復号化部2502は、低域復号化部2402と同様、ショートブロックでブロックグルーピングが行われている場合には、低域符号2411に含まれている第1のグルーピング情報にしたがって低域符号2411を復号化し、MDCT係数で表された低域係数2415をスペクトル合成部1607と第2の高域復号化部2504とに出力する。
【0174】
第1の高域復号化部2503および第2の高域復号化部2504は、第2のグルーピング情報2511にしたがって、高域独自にグルーピングされた高域符号2512を復号化する点が、図23に示した第1の高域復号化部2403および第2の高域復号化部2404と異なる。ただし、ハードウェア的に見れば、切換部2405を介して入力されるグルーピング情報にしたがって高域符号2412を復号化するという点では、第1の高域復号化部2503および第2の高域復号化部2504と、第1の高域復号化部2403および第2の高域復号化部2404とは、まったく同じものである。
【0175】
高域符号2512は、符号化装置2200において、低域のショートブロックにおけるブロックグルーピングとは関係なく、高域における隣接変換サブブロック間の類似性に基づいてブロックグルーピングされている。第2のグルーピング情報2511には、高域符号2512の変換サブブロックがどのようにブロックグルーピングされているかが示されているので、第1の高域復号化部2503および第2の高域復号化部2504は、この第2のグルーピング情報2511にしたがって、正しく高域符号2512の符号化セルを判別することができる。
【0176】
このように、高域符号2512は、符号化装置2200において高域の変換サブブロックの類似性に基づいてブロックグルーピングされているので、低域のブロックグルーピングをそのまま高域に転用して得られた復号化装置2400の高域係数2414と比べて、より原音に忠実に符号化されているといえる。復号化装置2500がこのような構成をとることにより、符号化装置2200において変換サブブロックを高域係数に対して最適になるようにグループ化され、より効率的に符号化された入力符号を、復号化装置2500において復号し、より高品質な出力信号を得ることができる。
【0177】
さらに、図22に示した符号化装置2300からの出力符号のように、高域係数と低域係数との類似度に応じて、高域係数のブロックグルーピングに用いられたグルーピング情報が異なっている場合の入力符号を復号化する復号化装置について説明する。図25は、図22に示した符号化装置2300からの出力符号を入力符号として復号化する復号化装置2600の構成を示すブロック図である。復号化装置2600は、入力符号に第2のグルーピング情報が多重化されている場合には第2のグルーピング情報に従って高域符号を復号化し、入力符号に第2のグルーピング情報が多重化されていない場合には第1のグルーピング情報に従って高域符号を復号化する復号化装置であって、符号分割部2601、グルーピング情報切換部2602、第1の高域復号化部2603、第2の高域復号化部2604、低域復号化部2402、切換部2405、スペクトル合成部1607および周波数‐時間変換部1608を備える。
【0178】
符号分割部2601は、入力符号2610を、第2のグルーピング情報2611、高域符号2612、切換情報1611、ブロック長情報1610および低域符号2411に分割する。この入力符号2610には、高域について独自に生成された第2のグルーピング情報2611が使用される場合にのみ、第2のグルーピング情報2611が多重化されている。
【0179】
グルーピング情報切換部2602には、符号分割部2601から出力される第2のグルーピング情報2611と、低域復号化部2402から出力される第1のグルーピング情報2413とが入力される。グルーピング情報切換部2602は、入力符号2610に第2のグルーピング情報2611が多重化されている場合には、前記2入力のうち、符号分割部2601から出力される第2のグルーピング情報2611が高域復号化部に入力されるよう、第2のグルーピング情報2611を選択する。逆に、入力符号2610に第2のグルーピング情報2611が多重化されていない場合には、第1のグルーピング情報2413が高域復号化部に入力されるよう、第1のグルーピング情報2413を選択する。
【0180】
これによって、切換情報1611に従って選択されたほうの第1の高域復号化部2603または第2の高域復号化部2604は、グルーピング情報切換部2602からの出力である、選択された方のグルーピング情報に基づいて高域符号2612の復号化を行うことができる。すなわち、入力符号2610に第2のグルーピング情報2611が多重化されている場合には、第2のグルーピング情報2611に基づいて復号化を行い、入力符号2610に第2のグルーピング情報2611が多重化されていない場合には、低域復号化部2402からの第1のグルーピング情報2413に基づいて復号化を行う。
【0181】
なお、ここでは、グルーピング情報切換部2602が、第2のグルーピング情報2611のデータの有無を検知して、第2のグルーピング情報2611のデータがあれば第2のグルーピング情報2611を選択し、なければ第1のグルーピング情報2413を選択する機能を備えているが、それ以外の方法を用いて、第1のグルーピング情報2413と第2のグルーピング情報2611とを切り換えるようにしてもよい。
【0182】
例えば、符号分割部2601からグルーピング情報切換部2602への制御線を設けておき、符号分割部2601が入力符号2610に第2のグルーピング情報2611が多重化されているか否かを判断し、この判断結果に基づいてグルーピング情報切換部2602を切り換えるための制御信号をグルーピング情報切換部2602に出力するとしてもよい。
【0183】
あるいは、図22に示した符号化装置2300側で、例えば、グルーピング情報生成部2301がグルーピング情報切換部2302の切り換え結果を示すグルーピング情報切換情報2311を生成し、これを高域符号化部1904において高域符号2312に多重化しておいてもよい。この場合も例えば、符号分割部2601からグルーピング情報切換部2602への制御線を設けておき、符号分割部2601が高域符号2612からグルーピング情報切換情報2311を分離して制御線に出力し、グルーピング情報切換部2602を切り換えるようにしてもよい。
【0184】
さらに、グルーピング情報切換部2602を設けないで、第1のグルーピング情報2413および第2のグルーピング情報2611が両方ともに、切換部2405を介して選択されたほうの高域復号化部に入力されるようにしておき、選択された高域復号化部において、第2のグルーピング情報2611のデータがあれば、第2のグルーピング情報2611を第1のグルーピング情報2413に優先して用いる、としてもよい。
【0185】
このような構成をとることにより、符号化装置2300において変換サブブロックが高域係数に対して最適になるようにグループ化され、より少ないビット量で符号化された入力符号を復号化装置2600において復号化することができ、より高品質な出力信号を得ることができる。復号化装置2600では、復号化装置2400と比較して入力符号のビット量は大きいが、より原音に近い高品質な出力信号を得ることができる。また、復号化装置2600では、復号化装置2500と比較して入力符号のビット量は小さいが、それほど品質が劣化しない出力信号を得ることができる。
【0186】
なお、前記の実施の形態7および実施の形態8に係る符号化装置および復号化装置の説明においては、高域符号化部と低域符号化部とで同一のサンプリング周波数に基づく信号もしくは係数を用いたが、それぞれに異なるサンプリング周波数を用いることもできる。一例として、基本変換ブロックによる変換を行い、低域符号化において24kHz、高域符号化において48kHzのサンプリング周波数を使用する場合を説明する。
【0187】
まず基本変換ブロック長として2048サンプルを使用し、サンプリング周波数48kHzの入力信号2048サンプルを変換して2048点のMDCT係数を得たとすると、このMDCT係数は0から24kHzの信号を表す係数である。このうち、低域係数として2048点のMDCT係数の低域側1024点を取り出せば、低域係数は0から12kHzの信号を表す係数となる。この低域係数1024点を、逆MDCT変換すれば1024サンプルの時間信号が得られることとなり、時間信号のサンプル数が半分となる、つまり、半分のサンプリング周波数にダウンサンプリングされたことになる。
【0188】
入力信号を直接MDCT変換して得られた2048点のMDCT係数がサンプリング周波数48kHzに基づく係数であれば、その低域側1024点を取り出すことによって得られた低域MDCT係数は、サンプリング周波数24kHzに基づく係数であるといえる。この様にして得られた1024点の低域MDCT係数と2048点の全域MDCT係数を、それぞれ低域符号化部と高域符号化部に入力するようにすれば、低域符号化部と高域符号化部とで異なるサンプリング周波数を用いる構成が実現できる。
【0189】
この構成においては、高域符号化部の変換ブロック長2048サンプルに対して、低域符号化の変換ブロック長は1024サンプルとなり、両者は異なるが、それぞれのサンプリング周波数が48kHzおよび24kHzであるため、時間としての変換ブロック長は2048/48000=1024/24000で等しくなる。逆に言うと、低域符号化の変換ブロック長と高域符号化の変換ブロック長とが時間的に等しいことが、本構成を実現するために必要な条件となる。
【0190】
復号化についても同様に、低域復号化部の変換ブロック長と高域復号化部の変換ブロック長とが時間的に等しくなるように設定し、低域復号化部で復号された24kHzのサンプリング周波数に基づく1024点の低域MDCT係数を、アップサンプリング後の48kHzのサンプリング周波数に基づく2048点のMDCT係数の低域1024点部分とみなし、48kHzサンプリングに基づくMDCT係数として復号化された高域MDCT係数と合成するように構成すればよい。
【0191】
また、前記の実施の形態6から実施の形態8に係る符号化装置および復号化装置の説明においては、符号化セルごとに、第1と第2の高域符号化部もしくは第1と第2の高域復号化部を切り換えて使用できる構成を示したが、変換サブブロックが用いられる場合については、各変換サブブロックまたは変換サブブロックグループごとに切り換えて使用できる構成としても良い。符号化において変換サブブロックが使用される場合、入力信号は、時間軸方向の変化は大きいが、周波数軸方向の変化は小さいことが多い。したがって、同一の変換サブブロックもしくは変換サブブロックグループに含まれる、周波数軸方向の複数の高域符号化サブバンドに対しては、同一の高域符号化部を選択することができる。この構成によれば、符号化部の切換情報を、符号化セル単位では無く、変換サブブロックまたは変換サブブロックグループ単位で符号化すれば良いので、切換情報の符号化に必要なビット量を削減できる。
【0192】
なお、本発明の実施の形態1〜実施の形態8に係る符号化装置および復号化装置は、各部の機能を実現する処理手順を連携することによって、符号化方法および復号化方法として実現することができる。各処理手順は、それぞれを、プログラミング言語を用いてソフトウェアとして記述し、プロセッサ上でソフトウェアを実行することによって実現される。プログラミング言語を用いて記述されたソフトウェアは、ROM(読み出し専用メモリ)やハードディスクドライブ等の記録媒体に記録され、記録媒体に直接もしくはインターネット等のネットワークを介して接続されたプロセッサ上で実行することにより、本発明の実施の形態1から実施の形態8に係る符号化装置および復号化装置の機能を実現することができる。
【0193】
なお、本発明に係る符号化装置は、BSおよびCSを含む衛星放送の放送局に備えられる音響符号化装置として、またインターネットなどの通信ネットワークを介してコンテンツを配信するコンテンツ配信サーバの音響符号化装置として、さらに、汎用のコンピュータによって実行される音響信号符号化用のプログラムおよびそれを記録した記録媒体として有用である。
【0194】
また、本発明に係る復号化装置は、家庭のSTBに備えられる音響復号化装置としてだけでなく、汎用のコンピュータによって実行される音響信号復号化用のプログラムおよびそれを記録した記録媒体として、またSTBまたは汎用のコンピュータに備えられる音響信号復号化用の専用の回路基板、LSIなどとして、さらにSTBまたは汎用のコンピュータに挿入されるICカードとして有用である。
【0195】
【発明の効果】
本発明の符号化装置は、上記目的を達成するために、入力信号を低い周波数帯域の信号を表す低域信号と高い周波数帯域の信号を表す高域信号とに分割する帯域分割手段と、分割された低域信号を符号化し、低域符号を生成する低域符号化手段と、前記高域信号と前記低域信号との類似度を判定する類似度判定手段と、前記高域信号を、異なる符号化方法で符号化し、高域符号を生成する複数の高域符号化手段と、前記類似度に基づいて、前記複数の高域符号化手段の1つを選択して、選択された高域符号化手段に符号化を実行させ、選択された高域符号化手段の符号化方法を特定するための選択情報を生成する符号化選択手段と、前記低域符号化手段からの低域符号、選択された前記高域符号化手段からの高域符号および前記符号化選択手段からの選択情報を多重化して、出力符号を生成する符号多重化手段とを備える。
【0196】
また、この符号化装置によって符号化された出力符号を復号化する復号化装置は、入力符号から、低い周波数帯域の信号を表す低域信号を復号化する低域復号化手段と、入力符号から、異なる復号化方法を用いて、高い周波数帯域の信号を表す高域信号を復号化する複数の高域復号化手段と、入力符号に含まれる選択情報に基づいて、前記高域復号化手段の1つを選択し、選択した高域復号化手段に復号化を実行させる復号化選択手段と、前記低域復号化手段によって復号化された前記低域信号と、選択された前記高域復号化手段によって復号化された前記高域信号とを合成して、出力復号化信号を生成する信号合成手段とを備える。
【0197】
以上のような構成をとることにより、入力信号を低い周波数帯域の信号と高い周波数帯域の信号に分離し、高い周波数帯域の信号を低い周波数帯域の信号との類似度に基づいて少ないビット量で適切に符号化することができるので、より少ないビット量の符号から高品質な再生信号を得ることができる。
【0198】
また、本発明の他の符号化装置および復号化装置によれば、類似度を算出する際に低い周波数帯域の信号として低域符号化手段により符号化された符号を復号化して得られた信号を用いることにより、類似度としてより適正な値を得ることができるため、より少ないビット量の符号から高品質な再生信号を得ることができる。
【0199】
また、本発明のさらに他の符号化装置および復号化装置によれば、低い周波数帯域の信号をダウンサンプリングすることによって低域符号化手段の符号化効率を高めることができるため、より少ないビット量の符号から高品質な再生信号を得ることができる。
【0200】
また、本発明のさらに他の符号化装置および復号化装置によれば、高い周波数帯域のスペクトル係数を分割し、分割されたそれぞれの係数に対して最適な符号化方法を適用することができるので、より少ないビット量の符号から高品質な再生信号を得ることができる。
【0201】
本発明のさらに他の符号化装置および復号化装置によれば、低域符号化手段と高域符号化手段とにおいて符号化されるスペクトル係数を一括して算出することができるため、時間−周波数変換に必要な演算量を削減することができる。さらに、低域復号化手段と高域復号化手段とで復号化されたスペクトル係数を一括して時間信号に変換できるため、周波数−時間変換に必要な演算量を削減することができる。
【0202】
また、本発明のさらに他の符号化装置および復号化装置によれば、入力信号を低い周波数帯域の信号と高い周波数帯域の信号に分離した上で、低い周波数帯域の信号に対しては従来の符号化方法を適用し、高い周波数帯域の信号に対しては、高い周波数帯域の信号と低い周波数帯域の信号との類似度を判定する類似度判定手段と、類似度判定手段の判定結果に基づいて、低い周波数帯域の信号との類似度を利用もしくはランダムノイズ信号を用いて符号化する高域符号化手段を適用する。このような構成をとることより、例えばステレオで64kbps以下といった低ビットレートにおいて、従来の方法では符号化できなかった高い周波数帯域の信号を符号化および復号化することを可能にし、符号化された音響信号の聴感的な品質を向上させることができる。
【0203】
以上の説明から明らかなように、本発明の符号化装置および復号化装置によれば、入力信号を低い周波数帯域の信号と高い周波数帯域の信号に分割し、高い周波数帯域の信号について、高い周波数帯域の信号と低い周波数帯域の類似度を利用して符号化を行うことにより、高い周波数帯域の信号を効率的に符号化し、より少ないビット量の符号から高音質な復号化信号を得ることができる。
【0204】
また、低い周波数帯域の符号化と高い周波数帯域の符号化に同一形式のスペクトル係数を使用することにより、より少ない処理量で高音質な復号化信号を得ることができる。
【図面の簡単な説明】
【図1】実施の形態1に係る符号化装置の構成を示すブロック図である。
【図2】図2(a)は、周波数の異なる2つの正弦波を時間信号として示す図である。
図2(b)は、周波数の異なる2つの正弦波を周波数信号として示す図である。
【図3】実施の形態1に係る復号化装置の構成を示すブロック図である。
【図4】実施の形態2に係る符号化装置の構成を示すブロック図である。
【図5】実施の形態3に係る符号化装置の構成を示すブロック図である。
【図6】図5に示した符号化装置によって符号化された出力符号を復号化する復号化装置の構成を示すブロック図である。
【図7】実施の形態4に係る符号化装置において高域符号および切換情報を生成する部分の構成を示すブロック図である。
【図8】図8(a)は、第1の高域符号化部の符号化方法を示す図である。
図8(b)は、第2の高域符号化部の符号化方法を示す図である。
【図9】図7に示した符号化装置に対応する復号化装置において高域符号を復号化する部分(高域復号化装置)の構成を示すブロック図である。
【図10】実施の形態5に係る符号化装置の構成を示すブロック図である。
【図11】図10に示した符号化装置の出力符号である入力符号を復号化する復号化装置の構成を示すブロック図である。
【図12】実施の形態6に係る符号化装置の構成を示すブロック図である。
【図13】図12に示した変換ブロック長選択部において基本変換ブロックが選択された場合の高域係数と低域係数とを示す図である。
【図14】図12に示した変換ブロック長選択部において変換サブブロックが選択された場合の高域係数と低域係数とを示す図である。
【図15】図12に示した符号化装置によって出力された出力符号を復号化する復号化装置の構成を示すブロック図である。
【図16】実施の形態7に係る符号化装置の構成を示すブロック図である。
【図17】図16に示した符号化装置によって符号化された出力符号を復号化する復号化装置の構成を示すブロック図である。
【図18】実施の形態8に係る符号化装置の構成を示すブロック図である。
【図19】図19(a)は、図18に示した符号化装置の時間−周波数変換部からブロック長情報にしたがって出力される全域係数の一例を示す図である。
図19(b)は、図18に示した符号化装置の高域符号化部に入力される高域係数の一例を示す図である。
図19(c)は、図18に示した符号化装置の低域符号化部に入力される低域係数の一例を示す図である。
【図20】図18に示した符号化装置の低域符号化部においてグルーピングが行われる場合の高域係数と低域係数との関係を示す図である。
【図21】図21は、実施の形態8に係る他の符号化装置の構成を示すブロック図である。
【図22】図22は、実施の形態8に係るさらに他の符号化装置の構成を示すブロック図である。
【図23】図18に示した符号化装置によって生成された出力符号を復号化する復号化装置の構成を示すブロック図である。
【図24】図21に示した符号化装置による出力符号を復号化する復号化装置の構成を示すブロック図である。
【図25】図22に示した符号化装置からの出力符号を入力符号として復号化する復号化装置の構成を示すブロック図である。
【図26】従来のAAC方式を用いた符号化装置の構成を示すブロック図である。
【符号の説明】
200 符号化装置
201 帯域分割部
202 低域符号化部
203 類似度判定部
204 切換部
205 高域符号化部
206 符号多重化部
207 入力信号
208 低域信号
209 高域信号
210 切換情報
211 類似度情報
212 高域符号
213 低域符号
214 出力符号
400 復号化装置
401 符号分割部
402 低域復号化部
403 切換部
404 高域復号化部
405 信号合成部
406 入力符号
407 低域符号
408 高域符号
409 切換情報
410 低域信号
411 高域信号
412 出力信号

Claims (40)

  1. 音響信号である入力信号を低い周波数帯域の信号を表す低域信号と高い周波数帯域の信号を表す高域信号とに分割する帯域分割手段と、
    分割された低域信号を符号化し、低域符号を生成する低域符号化手段と、
    前記高域信号と前記低域信号との類似度を判定する類似度判定手段と、
    イズ信号を用いて前記高域信号を表すためのパラメータを符号化する第1の高域符号化手段と、前記低域信号を用いて前記高域信号を表すためのパラメータを符号化する第2の高域符号化手段とを含、高域符号を生成する複数の高域符号化手段と、
    前記類似度が低いときは、前記第1の高域符号化手段を選択し、前記類似度が高いときは前記第2の高域符号化手段を選択して、選択された高域符号化手段に符号化を実行させ、選択された高域符号化手段を特定するための選択情報を生成する符号化選択手段と、
    前記低域符号化手段からの低域符号、選択された前記高域符号化手段からの高域符号および前記符号化選択手段からの選択情報を多重化して、出力符号を生成する符号多重化手段と
    を備えることを特徴とする符号化装置。
  2. 前記符号化装置は、さらに、
    前記低域符号化手段によって生成された低域符号を復号化する低域復号化手段を備え、
    前記類似度判定手段は、前記入力信号から得られた前記高域信号と、前記低域復号化手段によって生成された低い周波数帯域の復号化信号との類似度を判定する
    ことを特徴とする請求項1記載の符号化装置。
  3. 前記符号化装置は、さらに、
    帯域分割して得られた低域信号をダウンサンプリングするダウンサンプリング手段を備え、
    前記低域符号化手段は、ダウンサンプリングされた低域信号を符号化する
    ことを特徴とする請求項1記載の符号化装置。
  4. 前記符号化装置は、さらに、
    高域信号を複数のサブバンドに分割する第2の帯域分割手段を備え、
    前記類似度判定手段は、前記サブバンドごとに、サブバンド内の信号と低域信号との類似度を判定し、
    前記符号化選択手段は、前記サブバンドごとに、前記類似度に応じた前記高域符号化手段を選択し、
    選択された前記高域符号化手段は、前記サブバンド内の信号を符号化する
    ことを特徴とする請求項1記載の符号化装置。
  5. 前記符号化選択手段は、前記類似度が、低い類似性を示している場合には、前記サブバンド内の信号の振幅パラメータのみを符号化する前記第1の高域符号化手段を選択する
    ことを特徴とする請求項4記載の符号化装置。
  6. 前記符号化選択手段は、前記類似度が、高い類似性を示している場合には、前記サブバンド内の信号と類似する低域信号との位置関係を示す位置パラメータおよび前記2つの信号の差分を示す差分パラメータと、前記サブバンド内の信号の振幅パラメータとを符号化する前記第2の高域符号化手段を選択する
    ことを特徴とする請求項4記載の符号化装置。
  7. 前記符号化選択手段は、前記類似度が、非常に高い類似性を示している場合には、前記サブバンド内の信号と類似する低域信号との位置関係を示す位置パラメータと、前記サブバンド内の信号の振幅パラメータとを符号化する前記第2の高域符号化手段を選択する
    ことを特徴とする請求項4記載の符号化装置。
  8. 前記符号化装置は、さらに、
    帯域分割された高域信号と低域信号とを、それぞれ周波数成分を表すスペクトル係数に変換する時間−周波数変換手段と、
    高い周波数帯域のスペクトル係数を複数のサブバンドに分割する第2帯域分割手段とを備え、
    前記類似度判定手段は、分割された前記各サブバンドのスペクトル係数についてノイズ性を判定するノイズ性判定部と、前記各サブバンドのスペクトル係数と低い周波数帯域から選択したスペクトル係数との予測誤差を算出して両者の類似度を求める予測誤差算出部とを含み、
    前記第1の高域符号化手段は、前記各サブバンドのスペクトル係数の振幅を表す振幅パラメータを生成し、生成した振幅パラメータのみを符号化し、前記第2の高域符号化手段は、前記各サブバンドのスペクトル係数に類似する低域スペクトル係数の位置パラメータ、前記各サブバンドの振幅パラメータおよび前記各サブバンドのスペクトル係数とそれに類似する低域スペクトル係数との差分パラメータを符号化し、
    前記低域符号化手段は、前記低域の周波数成分を表すスペクトル係数を符号化し、
    前記符号化選択手段は、判定された前記ノイズ性と前記類似度とを総合的に判定して前記第2の高域符号化手段を選択する
    ことを特徴とする請求項1記載の符号化装置。
  9. 前記符号化装置は、さらに、
    前記入力信号の特性を分析して、前記入力信号に対する時間−周波数変換の変換ブロック長を決定し、決定した変換ブロック長を表すブロック長情報を生成する変換ブロック長選択手段を備え、
    前記時間−周波数変換手段は、前記変換ブロック長選択手段によって選択された変換ブロック長で、高域信号と低域信号とをそれぞれ高域係数と低域係数とに変換し、
    前記符号多重化手段は、前記低域符号、前記高域符号および前記選択情報に加え、さらに、前記ブロック長情報を多重化する
    ことを特徴とする請求項8記載の符号化装置。
  10. 前記符号化装置は、さらに、
    帯域分割された高域信号と低域信号とを、それぞれ周波数成分を表すスペクトル係数に変換する時間−周波数変換手段と、
    高い周波数帯域のスペクトル係数を複数のサブバンドに分割する第2帯域分割手段とを備え、
    前記類似度判定手段は、分割された前記各サブバンドのスペクトル係数についてノイズ性を判定するノイズ性判定部と、前記各サブバンドのスペクトル係数と低い周波数帯域から選択したスペクトル係数との予測誤差を算出して両者の類似度を求める予測誤差算出部とを含み、
    前記第1の高域符号化手段は、前記各サブバンドのスペクトル係数の振幅を表す振幅パラメータを生成し、生成した振幅パラメータのみを符号化し、前記第2の高域符号化手段は、前記類似度に基づいて、前記各サブバンドのスペクトル係数に類似する低域スペクトル係数の位置パラメータおよび前記各サブバンドの振幅パラメータの2つの情報のみを符号化し、
    前記低域符号化手段は、前記低域の周波数成分を表すスペクトル係数を符号化し、
    前記符号化選択手段は、判定された前記ノイズ性と前記類似度とを総合的に判定して前記第2の高域符号化手段を選択する
    ことを特徴とする請求項1記載の符号化装置。
  11. 前記符号化装置は、さらに、
    分割された高域信号を、複数のサブバンドに分割する第2帯域分割手段と、
    分割された低域信号と前記複数のサブバンドに分割された高域信号とを、それぞれ周波数成分を表すスペクトル係数に変換する時間−周波数変換手段とを備え、
    前記類似度判定手段は、分割された前記各サブバンドのスペクトル係数についてノイズ性を判定するノイズ性判定部と、前記各サブバンドのスペクトル係数と低い周波数帯域から選択したスペクトル係数との予測誤差を算出して両者の類似度を求める予測誤差算出部とを含み、
    前記第1の高域符号化手段は、前記各サブバンドのスペクトル係数の振幅を表す振幅パラメータを生成し、生成した振幅パラメータのみを符号化し、前記第2の高域符号化手段は、前記各サブバンドのスペクトル係数に類似する低域スペクトル係数の位置パラメータ、前記各サブバンドの振幅パラメータおよび前記各サブバンドのスペクトル係数とそれに類似する低域のスペクトル係数との差分パラメータを符号化し、
    前記低域符号化手段は、前記低域の周波数成分を表すスペクトル係数を符号化し、
    前記符号化選択手段は、判定された前記ノイズ性と前記類似度とを総合的に判定して前記高域符号化手段の1つを選択する
    ことを特徴とする請求項1記載の符号化装置。
  12. 前記符号化装置は、さらに、
    入力された時間信号を、前記入力信号のすべての周波数帯域の周波数成分を示すスペクトル係数に変換する時間−周波数変換手段を備え、
    前記帯域分割手段は、前記スペクトル係数を低い周波数帯域の係数と、高い周波数帯域の係数とに分割し、
    前記低域符号化手段は、分割された低い周波数帯域の前記係数を符号化し、
    前記類似度判定手段は、前記高い周波数帯域の係数と前記低い周波数帯域の係数との類似度を判定し、
    前記第1の高域符号化手段は、前記高い周波数帯域の前記係数を、ノイズ信号のスペクトル係数を用いて表すためのパラメータを符号化し、前記第2の高域符号化手段は、前記高い周波数帯域の前記係数を、前記低い周波数帯域の前記係数を用いて表すためのパラメータを符号化して、前記高域符号を生成する
    ことを特徴とする請求項1記載の符号化装置。
  13. 前記帯域分割手段は、高い周波数帯域の前記スペクトル係数を、さらに複数のサブバンドに分割し、
    前記類似度判定手段は、分割された前記各サブバンドのスペクトル係数についてノイズ性を判定するノイズ性判定部と、前記各サブバンドのスペクトル係数と低い周波数帯域から選択したスペクトル係数との予測誤差を算出して両者の類似度を求める予測誤差算出部とを含み、
    前記第1の高域符号化手段は、前記複数の高域符号化手段は、前記各サブバンドのスペクトル係数の振幅を表す振幅パラメータを生成し、生成した振幅パラメータのみを符号化し、前記第2の高域符号化手段は、前記各サブバンドのスペクトル係数に類似する低域スペクトル係数の位置パラメータ、前記各サブバンドの振幅パラメータおよび前記各サブバンドのスペクトル係数とそれに類似する低域のスペクトル係数との差分パラメータを符号化し
    前記符号化選択手段は、判定された前記ノイズ性と前記類似度とを総合的に判定して前記高域符号化手段の1つを選択する
    ことを特徴とする請求項12記載の符号化装置。
  14. 前記符号化装置は、さらに、
    前記入力信号の特性を分析して、前記入力信号に対する時間−周波数変換の変換ブロック長を決定し、決定した変換ブロック長を表すブロック長情報を生成する変換ブロック長選択手段を備え、
    前記時間−周波数変換手段は、前記入力信号を、前記変換ブロック長選択手段によって選択された変換ブロック長で、前記入力信号のすべての周波数帯域の周波数成分を示すスペクトル係数に変換し、
    前記符号多重化手段は、前記低域符号、前記高域符号および前記選択情報に加え、さらに、前記ブロック長情報を多重化する
    ことを特徴とする請求項13記載の符号化装置。
  15. 前記符号化装置は、さらに、
    前記変換ブロック長選択手段によって短い変換ブロック長が選択された場合に、前記変換ブロック長を変換単位とする各変換ブロックに含まれる高域係数の類似度を判定し、類似性が高いと判定された前記変換ブロックの高域係数をグループに分類する分類手段と、
    前記分類手段の分類結果を示す分類情報を生成する分類情報生成手段とを備え、
    前記複数の高域符号化手段は、1つのグループに含まれる複数の変換ブロック内の高域係数を一括して符号化し、
    前記符号多重化手段は、前記低域符号、前記高域符号、前記選択情報および前記ブロック長情報に加えて、さらに、前記分類情報を多重化する
    ことを特徴とする請求項14記載の符号化装置。
  16. 前記分類手段は、前記変換ブロックごとに当該変換ブロックに含まれる低域係数を比較して、前記変換ブロックの低域係数が類似する場合には同一変換ブロックに含まれる高域係数も前記変換ブロックごとに類似性が高いと判定し、低域係数と高域係数を同一のグループに分類する
    ことを特徴とする請求項15記載の符号化装置。
  17. 前記分類手段は、
    前記変換ブロックごとに当該変換ブロックに含まれる低域係数を比較して、前記変換ブロックの低域係数が類似する場合には、同一変換ブロックに含まれる高域係数も前記変換ブロックごとに類似性が高いと判定する第1判定部と、
    前記変換ブロックごとに当該変換ブロックに含まれる高域係数を比較して、前記変換ブロックの高域係数の類似性を判定する第2判定部とを含み、
    前記分類手段は、前記第1判定部による判定と、前記第2判定部による判定とのいずれかを選択し、選択した判定に基づいて前記変換ブロックの高域係数をグループに分類する
    ことを特徴とする請求項15記載の符号化装置。
  18. 前記帯域分割手段は、高い周波数帯域の前記スペクトル係数を、さらに複数のサブバンドに分割し、
    前記類似度判定手段は、分割された前記各サブバンドのスペクトル係数についてノイズ性を判定するノイズ性判定部と、前記各サブバンドのスペクトル係数と低い周波数帯域から選択したスペクトル係数との予測誤差を算出して両者の類似度を求める予測誤差算出部とを含み、
    前記第1の高域符号化手段は、前記各サブバンドのスペクトル係数の振幅を表す振幅パラメータを生成し、生成した振幅パラメータのみを符号化し、前記第2の高域符号化手段は、前記各サブバンドのスペクトル係数に類似する低域スペクトル係数の位置パラメータおよび前記各サブバンドの振幅パラメータの2つの情報のみを符号化し、
    前記符号化選択手段は、判定された前記ノイズ性と前記類似度とを総合的に判定して前記高域符号化手段の1つを選択する
    ことを特徴とする請求項12記載の符号化装置。
  19. 請求項1から請求項18のいずれか1項に記載の符号化装置により符号化された入力符号から、低い周波数帯域の信号を表す低域信号を復号化する低域復号化手段と、
    前記入力符号からパラメータを復号化し、復号化した前記パラメータとノイズ信号とを用いて、高い周波数帯域の信号を表す高域信号を生成する第1の高域復号化手段と、前記入力符号からパラメータを復号化し、復号化した前記パラメータと、前記低域復号化手段によって復号化された前記低域信号とを用いて、前記高域信号を生成する第2の高域復号化手段とを含前記高域信号を復号化する複数の高域復号化手段と、
    前記入力符号に含まれる選択情報に従って、複数の前記高域復号化手段の中から1つを選択し、選択した前記高域復号化手段に復号化を実行させる復号化選択手段と、
    前記低域復号化手段によって復号化された前記低域信号と、選択された前記高域復号化手段によって復号化された前記高域信号とを合成して、出力復号化信号を生成する信号合成手段と
    を備えることを特徴とする復号化装置。
  20. 前記復号化装置は、さらに、
    復号化された前記低域信号をアップサンプリングするアップサンプリング手段を備え、
    前記信号合成手段は、アップサンプリングされた前記低域信号と、選択された前記高域復号化手段によって復号化された前記高域信号とを合成して、出力復号化信号を生成する
    ことを特徴とする請求項19記載の復号化装置。
  21. 前記復号化選択手段は、複数のサブバンドに分割された高い周波数帯域のサブバンドごとに、前記選択情報に応じた前記高域復号化手段を選択し、
    選択された前記高域復号化手段は、前記サブバンド内の前記高域信号を復号化する
    ことを特徴とする請求項19記載の復号化装置。
  22. 前記第1の高域復号化手段は、所定のノイズ信号と前記サブバンドの振幅パラメータとを用いて高域信号を復号化する
    ことを特徴とする請求項21記載の復号化装置。
  23. 前記第2の高域復号化手段は、復号化された前記低域信号と、前記サブバンド内の信号と低域信号の類似部分との位置関係を示す位置パラメータおよび前記2つの信号の差分を示す差分パラメータと、前記サブバンド内の信号の振幅パラメータとを用いて高域信号を復号化する
    ことを特徴とする請求項21記載の復号化装置。
  24. 前記第2の高域復号化手段は、復号化された前記低域信号と、前記サブバンド内の信号と低域信号の類似部分との位置関係を示す位置パラメータと、前記サブバンド内の信号の振幅パラメータとを用いて高域信号を復号化する
    ことを特徴とする請求項21記載の復号化装置。
  25. 前記復号化装置は、さらに、
    前記低域復号化手段によって復号化された低域信号を、前記入力符号に含まれるブロック長情報に示された変換ブロック長で、スペクトル係数である低域係数に変換する時間−周波数変換手段と、
    前記第1の高域復号化手段は、所定のノイズ信号と前記入力符号に含まれる振幅パラメータとを用いて、前記変換ブロック長で変換された高域係数を復号化し、前記第2の高域復号化手段は、前記時間−周波数変換手段による変換によって得られた低域係数と、当該低域係数において、対応する高域係数と類似する部分の位置を示す位置パラメータと、高域係数の振幅パラメータと、低域係数と高域係数の差分パラメータとを用いて、高域係数を復号し、
    前記信号合成手段は、選択された前記高域復号化手段によって復号化された高域係数と、前記低域復号化手段によって復号化された低域係数とを合成するスペクトル係数合成部と、前記ブロック長情報に示される変換ブロック長で、復号化されたスペクトル係数を時間信号に変換する周波数−時間変換部とを含む
    ことを特徴とする請求項19記載の復号化装置。
  26. 前記低域信号は低い周波数帯域のスペクトル係数を表す低域係数であり、前記高域信号は複数のサブバンドに分割された高い周波数帯域のスペクトル係数を表す高域係数であって、
    前記第1の高域復号化手段は、前記高域係数を、前記入力符号に含まれている振幅パラメータのみによってノイズスペクトルを用いて復号化し、前記第2の高域復号化手段は、前記高域係数を、復号化された前記低域係数と、前記入力符号に含まれている、前記高域係数と前記低域係数の類似部分との位置関係を示す(1)位置パラメータと、(2)前記振幅パラメータと、前記低域係数と前記高域係数との(3)差分パラメータとによって復号化し、
    前記復号化選択手段は、前記入力符号に含まれる選択情報にしたがって、前記サブバンドごとに前記高域復号化手段の1つを選択し、
    前記信号合成手段は、復号化された前記低域係数と、選択された前記高域復号化手段によって復号化された前記高域係数とを合成するスペクトル合成部と、合成されたスペクトル係数を時間信号に変換する周波数−時間変換部とを含む
    ことを特徴とする請求項19記載の復号化装置。
  27. 前記低域係数および前記高域係数は、前記入力符号に含まれるブロック長情報に示された変換ブロック長で時間−周波数変換されており、
    前記周波数−時間変換部は、前記入力符号に含まれるブロック長情報に示された変換ブロック長で、復号化されたスペクトル係数を時間信号に変換する
    ことを特徴とする請求項26記載の復号化装置。
  28. 前記選択された高域復号化手段は、前記ブロック長情報に示されている変換ブロック長が短い変換ブロック長である場合、前記入力符号に含まれる分類情報に従って、同一グループ内のすべての変換ブロックの復号化を、当該グループ内に含まれる複数の変換ブロックに対する共通の符号化パラメータの組を用いて行う
    ことを特徴とする請求項27記載の復号化装置。
  29. 前記選択された高域復号化手段は、前記ブロック長情報に示されている変換ブロック長が短い変換ブロック長である場合、前記低域係数とともに復号化される分類情報に従って同一グループ内の変換ブロックの復号化を行う
    ことを特徴とする請求項28記載の復号化装置。
  30. 前記低域復号化手段は、前記入力符号に含まれる第1の分類情報に基づいて、同一グループに属するすべての変換ブロックを、当該グループ内に含まれる複数の変換ブロックに対する共通の符号化パラメータの組を用いて復号化し、
    前記選択された高域復号化手段は、前記低域復号化手段から得られる第1の分類情報と、前記入力符号に含まれる第2の分類情報とのいずれか一方を選択し、選択した分類情報に従って、前記高域係数を復号化する
    ことを特徴とする請求項28記載の復号化装置。
  31. 前記低域信号は低い周波数帯域のスペクトル係数を表す低域係数であり、前記高域信号は複数のサブバンドに分割された高い周波数帯域のスペクトル係数を表す高域係数であって、
    前記第1の高域復号化手段は、符号化されている前記高域係数を、前記高域係数の振幅パラメータのみによってノイズスペクトルを用いて復号化し、前記第2の高域復号化手段は、符号化されている前記高域係数を、復号化された前記低域係数と、前記入力符号に含まれている前記高域係数と前記低域係数との位置関係を示す(1)位置パラメータと、前記高域係数の(2)振幅パラメータとによって復号化し、
    前記復号化選択手段は、前記入力符号に含まれる前記選択情報にしたがって、前記サブバンドごとに前記第1の高域復号化手段及び前記第2の高域復号化手段の1つを選択し、
    前記信号合成手段は、復号化された前記低域係数と、選択された前記高域復号化手段によって復号化された前記高域係数とを合成するスペクトル合成部と、合成されたスペクトル係数を時間信号に変換する周波数−時間変換部とを含む
    を備える請求項19記載の復号化装置。
  32. 前記復号化装置は、さらに、
    多重化されている前記入力符号を、複数の符号に分割する符号分割手段を含み、
    前記低域復号化手段は、分割された入力符号から前記低域係数を復号化し、
    前記複数の高域復号化手段は、分割された入力符号から前記高域係数を復号化し、
    前記復号化選択手段は、分割された入力符号に含まれる前記選択情報に基づいて、複数の高域復号化手段の1つを選択し、
    前記信号合成手段は、復号化された前記低域係数と高域係数とを合成して、全帯域のスペクトル係数を生成するスペクトル係数合成部と、前記合成されたスペクトル係数を時間信号に変換する周波数−時間変換部とを含む
    ことを特徴とする請求項19記載の復号化装置。
  33. 前記復号化装置は、さらに、
    多重化されている前記入力符号を、複数の符号に分割する符号分割手段を含み、
    前記低域復号化手段は、分割された入力符号から前記低域係数を復号化し、
    前記第1の高域復号化手段は、分割された入力符号に含まれている振幅パラメータのみによってノイズスペクトルを用いて前記高域係数を復号化し、前記第2の高域復号化手段は、復号化された前記低域係数と、分割された入力符号に含まれている前記高域係数と前記低域係数との(1)位置パラメータと、(2)振幅パラメータと、前記低域係数と前記高域係数との(3)差分パラメータとを用いて、符号化された前記高域係数を復号化し、
    前記復号化選択手段は、前記サブバンドごとに、前記入力符号に含まれる選択情報に基づいて、前記第1の高域復号化手段及び前記第2の高域復号化手段の1つを選択し、
    前記信号合成手段は、復号化された前記低域係数と前記高域係数とを合成して、全帯域のスペクトル係数を生成するスペクトル係数合成部と、前記合成されたスペクトル係数を時間信号に変換する周波数−時間変換部とを含む
    ことを特徴とする請求項19記載の復号化装置。
  34. 多重化されている前記入力符号を、複数の符号に分割する符号分割手段と、
    前記入力符号から前記低域係数を復号化する低域復号化手段と、
    前記第1の高域復号化手段は、前記入力符号に含まれている振幅パラメータのみによってノイズスペクトルを用いて前記高域係数を復号化し、前記第2の高域復号化手段は、復号化された前記低域係数と、前記高域係数と前記低域係数との位置関係を示す位置パラメータと、前記高域係数の振幅パラメータとのみを用いて、前記高域係数を復号化し、
    前記復号化選択手段は、前記入力符号に含まれる前記選択情報に基づいて、前記高域復号化手段の1つを選択し、
    前記信号合成手段は、復号化された前記低域係数と前記高域係数とを合成して、全帯域のスペクトル係数を生成するスペクトル係数合成部と、前記合成されたスペクトル係数を時間信号に変換する周波数−時間変換部とを含む
    ことを特徴とする請求項19記載の復号化装置。
  35. 音響信号である入力信号を低い周波数帯域の信号を表す低域信号と高い周波数帯域の信号を表す高域信号とに分割する帯域分割ステップと、
    分割された低域信号を符号化し、低域符号を生成する低域符号化ステップと、
    前記高域信号と前記低域信号との類似度を判定する類似度判定ステップと、
    イズ信号を用いて前記高域信号を表すためのパラメータを符号化する第1の高域符号化ステップと、前記低域信号を用いて前記高域信号を表すためのパラメータを符号化する第2の高域符号化ステップとを含、高域符号を生成する複数の高域符号化ステップと、
    前記類似度が低いときは、前記第1の高域符号化ステップを選択し、前記類似度が高いときは前記第2の高域符号化ステップを選択して、選択された高域符号化ステップにおいて符号化を実行し、選択された高域符号化ステップを特定するための選択情報を生成する符号化選択ステップと、
    前記低域符号化ステップからの低域符号、選択された前記高域符号化ステップからの高域符号および前記符号化選択ステップからの選択情報を多重化して、出力符号を生成する符号多重化ステップと
    を含むことを特徴とする符号化方法。
  36. 請求項35に記載の符号化方法により符号化された入力符号から、低い周波数帯域の信号を表す低域信号を復号化する低域復号化ステップと、
    前記入力符号からパラメータを復号化し、復号化した前記パラメータとノイズ信号とを用いて、高い周波数帯域の信号を表す高域信号を生成する第1の高域復号化ステップと、前記入力符号から、パラメータを復号化し、復号化した前記パラメータと、前記低域復号化手段によって復号化された前記低域信号とを用いて、前記高域信号を生成する第2の高域復号化ステップとを含前記高域信号を復号化するための複数の高域復号化ステップと、
    前記入力符号に含まれる選択情報に従って、複数の前記高域復号化ステップの中から1つを選択し、選択した前記高域復号化ステップにおいて復号化を実行する復号化選択ステップと、
    前記低域復号化ステップによって復号化された前記低域信号と、選択された前記高域復号化ステップによって復号化された前記高域信号とを合成して、出力復号化信号を生成する信号合成ステップと
    を含むことを特徴とする復号化方法。
  37. 音響信号である入力信号を低い周波数帯域の信号を表す低域信号と高い周波数帯域の信号を表す高域信号とに分割する帯域分割ステップと、
    分割された低域信号を符号化し、低域符号を生成する低域符号化ステップと、
    前記高域信号と前記低域信号との類似度を判定する類似度判定ステップと、
    イズ信号を用いて前記高域信号を表すためのパラメータを符号化する第1の高域符号化ステップと、前記低域信号を用いて前記高域信号を表すためのパラメータを符号化する第2の高域符号化ステップとを含、高域符号を生成する複数の高域符号化ステップと、
    前記類似度が低いときは、前記第1の高域符号化ステップを選択し、前記類似度が高いときは前記第2の高域符号化ステップを選択して、選択された高域符号化ステップにおいて符号化を実行し、選択された高域符号化ステップを特定するための選択情報を生成する符号化選択ステップと、
    前記低域符号化ステップからの低域符号、選択された前記高域符号化ステップからの高域符号および前記符号化選択ステップからの選択情報を多重化して、出力符号を生成する符号多重化ステップと
    をコンピュータに実行させるためのプログラム。
  38. 請求項37に記載のプログラムにより符号化された入力符号から、低い周波数帯域の信号を表す低域信号を復号化する低域復号化ステップと、
    前記入力符号からパラメータを復号化し、復号化した前記パラメータとノイズ信号とを用いて、高い周波数帯域の信号を表す高域信号を生成する第1の高域復号化ステップと、入力符号からパラメータを復号化し、復号化した前記パラメータと、前記低域復号化手段によって復号化された前記低域信号とを用いて、前記高域信号を生成する第2の高域復号化ステップとを含前記高域信号を復号化するための複数の高域復号化ステップと、
    前記入力符号に含まれる選択情報に従って、複数の前記高域復号化ステップの中から1つを選択し、選択した前記高域復号化ステップにおいて復号化を実行する復号化選択ステップと、
    前記低域復号化ステップによって復号化された前記低域信号と、選択された前記高域復号化ステップによって復号化された前記高域信号とを合成して、出力復号化信号を生成する信号合成ステップと
    をコンピュータに実行させるためのプログラム。
  39. 音響信号である入力信号を低い周波数帯域の信号を表す低域信号と高い周波数帯域の信号を表す高域信号とに分割する帯域分割ステップと、
    分割された低域信号を符号化し、低域符号を生成する低域符号化ステップと、
    前記高域信号と前記低域信号との類似度を判定する類似度判定ステップと、
    イズ信号を用いて前記高域信号を表すためのパラメータを符号化する第1の高域符号化ステップと、前記低域信号を用いて前記高域信号を表すためのパラメータを符号化する第2の高域符号化ステップとを含み高域符号を生成する複数の高域符号化ステップと、
    前記類似度が低いときは、前記第1の高域符号化ステップを選択し、前記類似度が高いときは前記第2の高域符号化ステップを選択して、選択された高域符号化ステップにおいて符号化を実行し、選択された高域符号化ステップを特定するための選択情報を生成する符号化選択ステップと、
    前記低域符号化ステップからの低域符号、選択された前記高域符号化ステップからの高域符号および前記符号化選択ステップからの選択情報を多重化して、出力符号を生成する符号多重化ステップと
    をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  40. 請求項39に記載の記録媒体に記録されたプログラムにより符号化された入力符号から、低い周波数帯域の信号を表す低域信号を復号化する低域復号化ステップと、
    前記入力符号からパラメータを復号化し、復号化した前記パラメータとノイズ信号とを用いて、高い周波数帯域の信号を表す高域信号を生成する第1の高域復号化ステップと、前記入力符号からパラメータを復号化し、復号化した前記パラメータと、前記低域復号化手段によって復号化された前記低域信号とを用いて、前記高域信号を生成する第2の高域復号化ステップとを含前記高域信号を復号化するための複数の高域復号化ステップと、
    前記入力符号に含まれる選択情報に従って、複数の前記高域復号化ステップの中から1つを選択し、選択した前記高域復号化ステップにおいて復号化を実行する復号化選択ステップと、
    前記低域復号化ステップによって復号化された前記低域信号と、選択された前記高域復号化ステップによって復号化された前記高域信号とを合成して、出力復号化信号を生成する信号合成ステップと
    をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2003012952A 2002-01-30 2003-01-22 符号化装置、復号化装置およびその方法 Expired - Fee Related JP4272897B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003012952A JP4272897B2 (ja) 2002-01-30 2003-01-22 符号化装置、復号化装置およびその方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002022356 2002-01-30
JP2002120428 2002-04-23
JP2003012952A JP4272897B2 (ja) 2002-01-30 2003-01-22 符号化装置、復号化装置およびその方法

Publications (2)

Publication Number Publication Date
JP2004004530A JP2004004530A (ja) 2004-01-08
JP4272897B2 true JP4272897B2 (ja) 2009-06-03

Family

ID=30449100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003012952A Expired - Fee Related JP4272897B2 (ja) 2002-01-30 2003-01-22 符号化装置、復号化装置およびその方法

Country Status (1)

Country Link
JP (1) JP4272897B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7240001B2 (en) 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
JP3661663B2 (ja) 2002-04-19 2005-06-15 日本電気株式会社 乱数生成装置、乱数生成方法、乱数生成プログラムおよびオーディオ復号装置と復号方法
US7283968B2 (en) * 2003-09-29 2007-10-16 Sony Corporation Method for grouping short windows in audio encoding
CN1910656B (zh) * 2004-01-20 2010-11-03 杜比实验室特许公司 基于块分组的音频编码
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
EP3118849B1 (en) 2004-05-19 2020-01-01 Fraunhofer Gesellschaft zur Förderung der Angewand Encoding device, decoding device, and method thereof
BRPI0515343A8 (pt) * 2004-09-17 2016-11-29 Koninklijke Philips Electronics Nv Codificador e decodificador de áudio, métodos de codificar um sinal de áudio e de decodificar um sinal de áudio codificado, sinal de áudio codificado, meio de armazenamento, dispositivo, e, código de programa legível por computador
KR100657916B1 (ko) * 2004-12-01 2006-12-14 삼성전자주식회사 주파수 대역간의 유사도를 이용한 오디오 신호 처리 장치및 방법
KR100707177B1 (ko) * 2005-01-19 2007-04-13 삼성전자주식회사 디지털 신호 부호화/복호화 방법 및 장치
US7630882B2 (en) * 2005-07-15 2009-12-08 Microsoft Corporation Frequency segmentation to obtain bands for efficient coding of digital media
EP2200026B1 (en) 2006-05-10 2011-10-12 Panasonic Corporation Encoding apparatus and encoding method
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
KR101379263B1 (ko) * 2007-01-12 2014-03-28 삼성전자주식회사 대역폭 확장 복호화 방법 및 장치
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
WO2009113316A1 (ja) 2008-03-14 2009-09-17 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
MX2011008685A (es) * 2009-02-26 2011-09-06 Panasonic Corp Codificador, decodificador y metodo para los mismos.
WO2011058752A1 (ja) * 2009-11-12 2011-05-19 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
WO2012052802A1 (en) * 2010-10-18 2012-04-26 Nokia Corporation An audio encoder/decoder apparatus
CN102800317B (zh) * 2011-05-25 2014-09-17 华为技术有限公司 信号分类方法及设备、编解码方法及设备
CN103718240B (zh) * 2011-09-09 2017-02-15 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法和解码方法
KR101434207B1 (ko) * 2013-01-21 2014-08-27 삼성전자주식회사 오디오/스피치 신호 부호화방법
KR101434209B1 (ko) 2013-07-19 2014-08-27 삼성전자주식회사 오디오/스피치 신호 부호화장치
JP6393649B2 (ja) 2015-03-31 2018-09-19 株式会社クボタ ディーゼルエンジンの噴射制御装置
EP3576088A1 (en) * 2018-05-30 2019-12-04 Fraunhofer Gesellschaft zur Förderung der Angewand Audio similarity evaluator, audio encoder, methods and computer program

Also Published As

Publication number Publication date
JP2004004530A (ja) 2004-01-08

Similar Documents

Publication Publication Date Title
JP4272897B2 (ja) 符号化装置、復号化装置およびその方法
KR100949232B1 (ko) 인코딩 장치, 디코딩 장치 및 그 방법
JP6823121B2 (ja) 符号化装置および符号化方法
CN103765509B (zh) 编码装置及方法、解码装置及方法
KR101238239B1 (ko) 인코더
CA2853987C (en) Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
CN101518083B (zh) 通过使用带宽扩展和立体声编码对音频信号编码和/或解码的方法和系统
EP2056294B1 (en) Apparatus, Medium and Method to Encode and Decode High Frequency Signal
CN101568959B (zh) 用带宽扩展进行编码和/或解码的方法
KR20100086068A (ko) 합성된 스펙트럼 성분을 적용하기 위하여 디코딩된 신호의 특성을 사용하는 오디오 코딩 시스템
JP2011039553A (ja) 符号化装置、復号化装置、およびこれらの方法
WO2012144128A1 (ja) 音声音響符号化装置、音声音響復号装置、およびこれらの方法
JP6035270B2 (ja) 音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、および音声符号化プログラム
JP2007333785A (ja) オーディオ信号符号化装置およびオーディオ信号符号化方法
WO2009059632A1 (en) An encoder
US9830919B2 (en) Acoustic signal coding apparatus, acoustic signal decoding apparatus, terminal apparatus, base station apparatus, acoustic signal coding method, and acoustic signal decoding method
JP2004053940A (ja) オーディオ復号化装置およびオーディオ復号化方法
Singh et al. Audio watermarking based on quantization index modulation using combined perceptual masking
CN103733256A (zh) 音频信号处理方法、音频编码设备、音频解码设备和采用所述方法的终端

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090302

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4272897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140306

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees