JP6062370B2

JP6062370B2 - 符号化装置および符号化方法

Info

Publication number: JP6062370B2
Application number: JP2013540628A
Authority: JP
Inventors: 河嶋　拓也; 拓也河嶋; 押切　正浩; 正浩押切
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2011-10-28
Filing date: 2012-10-12
Publication date: 2017-01-18
Anticipated expiration: 2032-10-12
Also published as: JP6768026B2; US20140257825A1; US10607617B2; PL3624119T3; EP2772913A1; PT2772913T; EP3624119A1; PT3321931T; EP3321931A1; JP2018132776A; HK1254975A1; EP2772913A4; ES2771104T3; ES2668822T3; JP6332707B2; US10134410B2; EP2772913B1; US20160379654A1; EP3624119B1; JPWO2013061530A1

Description

本発明は、符号化装置および符号化方法に関する。

超広帯域（Super-Wide-Band(SWB),0.05-14kHz帯域が一般的）の、音声データ等の音に関するデータを効率的に符号化することができる方式として、ITU-Tで規格化された非特許文献１や非特許文献２に開示されている方式が知られている。これらの方式は、７kHz以下の帯域（以下、「低域」という）をコア符号化部で符号化し、７kHz以上の帯域（以下、「拡張帯域」という）を拡張符号化部で符号化している。

コア符号化部の符号化処理には、ＣＥＬＰ（Code Excited Linear Prediction：符号励振線形予測）が用いられる。拡張符号化部は、コア符号化部で符号化された低域信号を復号し、ＭＤＣＴ（Modified Discrete Cosine Transform：修正離散コサイン変換）にて周波数領域に変換したうえで、そのスペクトル（または変換係数、以下、「変換係数」という）を拡張帯域の符号化に利用する。

まず、拡張符号化部は、コア符号化部で生成されたコア符号化低域変換係数を、スペクトルパワーの包絡（またはエンベロープ、以下、「エンベロープ」という）を用いて正規化する。具体的には、拡張符号化部は、サブバンド毎にエネルギーを算出し、周波数軸方向にエネルギーの変動を滑らかにするためサブバンドエネルギーの平滑化を行い、平滑化したエネルギーで各サブバンドに含まれる変換係数の正規化を行う。以下、このように得られた正規化変換係数を「正規化低域変換係数」と呼ぶ。

拡張符号化部は、正規化低域変換係数と、入力信号の拡張帯域の変換係数（以下、「拡張帯域変換係数」という）との相関値が高いサブバンドを探索し、そのサブバンドを示す情報をラグ情報として符号化する。拡張符号化部は、相関値の高かったサブバンドの正規化低域変換係数を拡張帯域のスペクトル微細構造として用いるために拡張帯域にコピーする。その後、拡張符号化部は、拡張帯域変換係数のエネルギーを調整するためのゲインを算出し、符号化する。従来の符号化装置では、以上のような処理を行うことにより、低域の変換係数を用いて拡張帯域の変換係数を生成している。

ここで、非特許文献１および非特許文献２では、正規化低域変換係数と拡張帯域変換係数との相関値を以下の方法で算出している。

まず、拡張帯域を複数のサブバンド（以下、「拡張帯域サブバンド」という）に分割する。次に、拡張帯域サブバンド毎に、正規化低域変換係数と当該拡張帯域サブバンドに含まれる変換係数との相関値を算出する。次に、拡張帯域サブバンドとの相関値が最も高い正規化低域変換係数の位置を探索する。ただし、この方法では、正規化低域変換係数と、拡張帯域サブバンド内の全変換係数とを用いて相関値を算出するので、演算量が多くなるという課題がある。

この課題を解決するため、特許文献１では、拡張帯域変換係数のうち、振幅が大きい上位の変換係数のみを用いて相関値を算出する技術を開示している。このように、相関値算出時に用いる変換係数を限定することにより、相関値算出時の演算量を削減することができる。

国際公開第２０１１／０００４０８号

ITU-T Standard G.718 AnnexB,2008年 ITU-T Standard G.729.1 AnnexE,2008年

しかしながら、特許文献１の方法では、変換係数の抽出に多くの演算量が必要となるため、変換係数の限定による演算量の削減効果が薄れる。例えば、拡張帯域サブバンドはＭ個の変換係数で構成されており、そのうち振幅の大きい上位Ｎ個を抽出する処理の場合には、Ｍ×Ｎ回の分岐処理が最低限必要となり、演算量が大きくなってしまう。

また、特許文献１では、振幅の大きい変換係数を抽出する他の方法として、拡張帯域変換係数の平均値と標準偏差を算出し、これらパラメータに基づき閾値を設定し、閾値を越えた変換係数を抽出する方法を例示している。

しかしながら、音声や音楽では高域の特徴が多様であるため、高音質を得るためにはサブバンドの幅を狭く設定せざるを得ない。これにより、拡張帯域サブバンドに含まれる変換係数の数は自ずと少なくなり、統計的に安定した閾値を設定するのは難しくなる。そのため、意図した変換係数の数を抽出できる閾値を求めるのは困難である。例えば、閾値が高すぎると、抽出される変換係数の数は少なくなるため、算出される相関値の精度が落ち、適切な位置を特定することができなくなってしまう。一方、閾値が低すぎると、抽出する変換係数の数が多くなるため、相関値算出時の演算量をあまり削減できなくなる。さらに、抽出ループの途中で規定数Ｎに達してしまい、残りの部分にある大きな振幅の変換係数を抽出できないおそれがある。

本発明の目的は、適切な数の変換係数を抽出するための、変換係数抽出時の演算量を大きく削減することができる符号化装置および符号化方法を提供することである。

本発明の符号化装置は、入力信号を時間領域から周波数領域に変換して得られた入力信号変換係数の内、基準周波数よりも低い帯域の変換係数を符号化するコア符号化部と、前記コア符号化部が符号化したデータを復号して得られるコア符号化低域変換係数を用いて前記基準周波数よりも高い帯域である拡張帯域の変換係数を符号化する拡張帯域符号化部と、を具備する符号化装置であって、前記拡張帯域符号化部は、前記拡張帯域を分割した拡張帯域サブバンド毎に、サブバンドに含まれる変換係数の統計量に基づいて閾値を算出する閾値算出部と、前記拡張帯域サブバンド毎に、前記変換係数の振幅と前記閾値とを比較し、前記振幅が前記閾値以上となる変換係数を代表変換係数として抽出する代表変換係数抽出部と、前記拡張帯域サブバンド毎に、前記代表変換係数と正規化された前記コア符号化低域変換係数との相関値を算出し、最も相関値の高いサブバンドを選択するマッチング部と、を具備し、前記閾値算出部は、前記代表変換係数抽出部において抽出された前記代表変換係数の数が規定数に達しない場合、前記規定数に対する前記代表変換係数の不足数に応じて前記閾値を修正し、前記代表変換係数抽出部は、前記修正された閾値を用いて再び変換係数を抽出する処理を行う、構成を採る。

本発明の符号化方法は、入力信号を時間領域から周波数領域に変換して得られた入力信号変換係数の内、基準周波数よりも低い帯域の変換係数を符号化するコア符号化ステップと、前記コア符号化ステップで符号化したデータを復号して得られるコア符号化低域変換係数を用いて前記基準周波数よりも高い帯域である拡張帯域の変換係数を符号化する拡張帯域符号化ステップと、を具備する符号化方法であって、前記拡張帯域符号化ステップは、前記拡張帯域を分割した拡張帯域サブバンド毎に、サブバンドに含まれる変換係数の統計量に基づいて閾値を算出するステップと、前記拡張帯域サブバンド毎に、前記変換係数の振幅と前記閾値とを比較し、前記振幅が前記閾値以上となる変換係数を代表変換係数として抽出するステップと、前記抽出された代表変換係数の数が規定数に達しない場合、前記規定数に対する前記代表変換係数の不足数に応じて前記閾値を修正するステップと、前記修正された閾値を用いて再び変換係数を抽出する処理を行うステップと、前記抽出された代表変換係数が規定数に達した場合、前記拡張帯域サブバンド毎に、前記代表変換係数と正規化された前記コア符号化低域変換係数との相関値を算出し、最も相関値の高いサブバンドを選択するステップと、を有する。

本発明によれば、規定数Ｎの変換係数を抽出するために必要なループ回数を削減することができるので、変換係数抽出時の演算量を大きく削減することができる。

本発明の実施の形態における符号化装置の構成を示すブロック図本発明の実施の形態に係る拡張帯域符号化部の構成を示すブロック図従来例による変換係数の抽出処理の動作を説明する図本発明の実施の形態における変換係数の抽出処理の動作を説明する図本発明の実施の形態における復号装置の構成を示すブロック図本発明の実施の形態に係る拡張帯域復号部の構成を示すブロック図

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

本実施の形態に係る符号化装置は、拡張帯域の変換係数から、振幅の大きいＮ個の変換係数を抽出する際に、最初は抽出される変換係数の数がＮ個に達しないように高めの閾値を統計的に算出し、算出した閾値を使って振幅の大きい変換係数を抽出する。次に、符号化装置は、不足する変換係数の数に応じて閾値を下げ、新たに算出した閾値を使って振幅の大きい変換係数を抽出する。そして、符号化装置は、閾値の算出と変換係数の抽出を、Ｎ個の変換係数を抽出するまで繰り返す。これにより、Ｎ個の変換係数を抽出するのに必要なループ回数を削減することができるため、変換係数抽出時の演算量を大きく削減することができる。また、不足する変換係数の数に応じて閾値の下げ幅を決定することにより、統計処理だけでは大きくばらついてしまう変換係数の数を安定化させることができ、符号化品質を損なわずに符号化することができる。

以下、本実施の形態に係る符号化装置の各構成について説明する。図１は、本実施の形態に係る符号化装置の構成を示すブロック図である。

図１に示すように、符号化装置１０は、時間周波数変換部１と、コア符号化部２と、拡張帯域符号化部３と、多重化部４と、から主に構成されている。

時間周波数変換部１は、入力した入力信号を時間領域から周波数領域に変換し、得られた入力信号変換係数をコア符号化部２および拡張帯域符号化部３に出力する。なお、本実施の形態ではＭＤＣＴ変換を用いる場合について説明するが、本発明はこれに限られず、時間領域から周波数領域へ変換するＦＦＴ（Fast Fourier Transform）やＤＣＴ（Discrete Cosine Transform）等の直交変換を用いても良い。

コア符号化部２は、入力信号変換係数の内、低域（基準周波数（例えば、７kHz）よりも低い帯域）の変換係数を変換符号化により符号化し、その符号化データをコア符号化データとして多重化部４へ出力する。また、コア符号化部２は、コア符号化データを復号して得られるコア符号化低域変換係数を拡張帯域符号化部３へ出力する。

拡張帯域符号化部３は、コア符号化低域変換係数を用いて、入力信号変換係数の内、拡張帯域（基準周波数よりも高い帯域）の変換係数（以下、「拡張帯域変換係数」という）に対して符号化処理を行い、得られた拡張帯域符号化データを多重化部４に出力する。なお、拡張帯域符号化部３の内部構成の詳細は後述する。

多重化部４は、コア符号化データと拡張帯域符号化データとを多重化した符号化データを出力する。

以上の構成により、符号化装置１０は、入力信号を符号化し、符号化データを出力する。

次に、拡張帯域符号化部３の内部構成について説明する。図２に示すように、拡張帯域符号化部３は、正規化部３０と、拡張帯域分析部３１と、閾値算出部３２と、代表変換係数抽出部３３と、マッチング部３４と、拡張帯域生成・符号化部３５と、から主に構成されている。

正規化部３０は、コア符号化低域変換係数を正規化し、得られた正規化低域変換係数をマッチング部３４および拡張帯域生成・符号化部３５に出力する。一般的には、正規化部３０は、コア符号化低域変換係数のエンベロープを算出し、エンベロープで除算することにより正規化低域変換係数を得る。なお、例えば、コア符号化低域変換係数をサブバンドに分割し、サブバンドエネルギーを算出し、サブバンドの各変換係数をサブバンドエネルギーで除算することによっても、正規化低域変換係数を得ることができる。

一般に、変換係数の低域部はエネルギーの偏りが非常に大きく、変換係数の高域部はエネルギーの偏りが小さい。そのため、コア符号化低域変換係数のエネルギーの偏りを平坦化する正規化処理を行ってから、拡張帯域変換係数との相関値を算出するほうが高効率に符号化することができる。

拡張帯域分析部３１は、拡張帯域変換係数について分析を行い、分析して得られた統計量を拡張帯域統計パラメータとして閾値算出部３２に出力する。拡張帯域変換係数を正規分布と仮定する場合、拡張帯域分析部３１は、統計パラメータとして、振幅の絶対値である絶対値振幅の平均値（以下、「絶対値平均」という）および標準偏差値を算出する。なお、拡張帯域分析部３１の動作の詳細は後述する。

閾値算出部３２は、拡張帯域統計パラメータに基づいて変換係数抽出閾値を算出し、代表変換係数抽出部３３に出力する。また、閾値算出部３２は、変換係数不足数に応じて変換係数抽出閾値を修正し、修正後の変換係数抽出閾値を代表変換係数抽出部３３に出力する。なお、閾値算出部３２の動作の詳細は後述する。

代表変換係数抽出部３３は、拡張帯域サブバンド単位で、振幅が変換係数抽出閾値以上となる拡張帯域変換係数を抽出し、代表変換係数としてマッチング部３４に出力する。また、代表変換係数抽出部３３は、代表変換係数の個数が規定数のＮ個に達しない場合、変換係数不足数を閾値算出部３２に出力する。なお、代表変換係数抽出部３３の動作の詳細は後述する。

マッチング部３４は、拡張帯域サブバンド毎に、代表変換係数と正規化低域変換係数との相関値を算出し、最も相関値の高いサブバンドを選択し、選択したサブバンドを示す情報をラグ情報として拡張帯域生成・符号化部３５に出力する。

拡張帯域生成・符号化部３５は、拡張帯域変換係数、ラグ情報および正規化低域変換係数を用いて拡張帯域符号化データを生成し、出力する。具体的には、拡張帯域生成・符号化部３５は、ラグ情報が示すサブバンドの正規化低域変換係数を、拡張帯域にコピーし、拡張帯域の周波数微細構造として利用する。拡張帯域生成・符号化部３５は、このときに使用したラグ情報を符号化し、拡張帯域符号化データの一部とする。また、拡張帯域生成・符号化部３５は、正規化低域変換係数からコピーして得られた拡張帯域変換係数と、入力信号変換係数の内の拡張帯域の変換係数である拡張帯域変換係数との振幅比（エネルギー比の平方根）であるゲインを算出し、ゲインも符号化し、拡張帯域符号化データの一部とする。拡張帯域生成・符号化部３５は、算出したゲインを正規化低域変換係数からコピーして得られた拡張帯域変換係数に乗じることにより拡張帯域変換係数を得る。

次に、拡張帯域分析部３１、閾値算出部３２および代表変換係数抽出部３３の動作について詳細に説明する。なお、本実施の形態では、拡張帯域変換係数が正規分布に従うと仮定し、段階的に変換係数抽出閾値（以下、適宜、単に「閾値」という）を設定する方法について説明する。

拡張帯域分析部３１は、拡張帯域変換係数が正規分布に従うと仮定した場合には、拡張帯域サブバンド毎に、変換係数の振幅の絶対値平均と標準偏差を拡張帯域統計パラメータとして出力する。

拡張帯域分析部３１は、絶対値平均を次式（１）により算出する。ここで、ｊはサブバンドの番号であり、各拡張帯域サブバンドに含まれる変換係数の総数をＭ個とし、ｉ（ｉ＝１〜Ｍ）は各サブバンドに含まれる変換係数の番号である。また、Ｆｈａｖｇ（ｊ）はサブバンドｊに含まれる変換係数の絶対値平均、Ｆｈは拡張帯域変換係数の振幅を表す。つまり、Ｆｈ（ｊ,ｉ）は、サブバンドｊに含まれるｉ番目の拡張帯域変換係数の振幅を表す。なお、説明を簡単にするため、拡張帯域変換係数のサブバンドに含まれる変換係数の数を全てＭとする。

次に、拡張帯域分析部３１は、各サブバンドの標準偏差を求める。標準偏差は次式（２）により算出する。ここで、σ（ｊ）はサブバンドｊの標準偏差を表すものとする。

拡張帯域分析部３１は、求めた絶対値平均と標準偏差を、拡張帯域統計パラメータとして閾値算出部３２に出力する。

閾値算出部３２において、最初の閾値を算出する場合と、閾値を下げる場合とで閾値の算出方法が異なる。ここでは、最初の閾値を算出する場合について説明する。

閾値算出部３２は、最初の閾値を、拡張帯域統計パラメータにより決定する。閾値算出部３２は、拡張帯域変換係数が正規分布すると仮定した場合には、以下の式（３）で閾値を算出する。ここで、Ｆｈｔｈｒ（ｊ）はサブバンドｊにおける閾値、βは閾値を制御する定数とする。βは、例えば、振幅の大きい上位１０％の拡張帯域変換係数を選ぶようにしたいときはβを約１．６に、上位５％の拡張帯域変換係数を選ぶようにしたいときはβを約２．０に設定する。なお、βの設定値は、正規分布表より求めることができる。ただし、閾値が低くなりすぎて規定数以上の拡張帯域変換係数が抽出されることを防ぐため、閾値算出部３２は、最初の閾値が高めとなるようにβの値を大きめに選ぶ。例えば、Ｍ個の拡張帯域変換係数の中からＮ個の拡張帯域変換係数を抽出したい場合には、実際の抽出処理によりＮ個を超える拡張帯域変換係数が抽出されないと見込める程度のβ、つまりＮ個よりは少ないＰ個の拡張帯域変換係数を抽出するようなβを定める。

なお、閾値を下げる場合の閾値算出部３２の動作については後述する。

代表変換係数抽出部３３は、拡張帯域サブバンド毎に、閾値算出部３２により設定された閾値と拡張帯域変換係数の振幅を比較し、振幅が閾値以上となる拡張帯域変換係数を抽出する。代表変換係数抽出部３３は、抽出した拡張帯域変換係数を代表変換係数として記憶すると同時に、規定数に不足する代表変換係数の数を変換係数不足数として閾値算出部３２に出力する。

代表変換係数が規定数に達した場合、代表変換係数抽出部３３は、規定数に達した時点で抽出処理を中断し、抽出した代表変換係数をマッチング部３４へ出力する。一方、抽出した代表変換係数が規定数に達していない場合、代表変換係数抽出部３３は、抽出した拡張帯域変換係数を代表変換係数として記憶する。このとき、代表変換係数抽出部３３は、サブバンドに含まれる全ての拡張帯域変換係数を、既に抽出した代表変換係数の振幅を零（ゼロ）とした上で、抽出候補変換係数群として記憶する。このようにすることで、既に抽出した拡張帯域変換係数が次の抽出処理において再び抽出されることを防ぐことができる。

代表変換係数抽出部３３は、抽出した代表変換係数が規定数に達しなかった場合には、追加で変換係数の抽出を行う。この場合には、代表変換係数抽出部３３は、サブバンドに含まれる全ての拡張帯域変換係数に対してではなく、抽出候補変換係数群に対して抽出処理を行う。このとき抽出した拡張帯域変換係数は、記憶している代表変換係数に追加され、追加された代表変換係数の数だけ変換係数不足数は減ぜられる。

このような段階的な処理により、代表変換係数を追加で抽出する際に、代表変換係数の数が規定数に達した時点で抽出処理を中止した場合に、当該抽出処理において探索外となった帯域に追加で抽出した拡張帯域変換係数よりも大きな振幅の拡張帯域変換係数が存在する可能性がある。しかし、探索外となった帯域の拡張帯域変換係数よりも振幅が大きい拡張帯域変換係数を初期段階（つまり、追加で変換係数の抽出を行う前に、最初に行った抽出処理）で抽出しているため、探索外となった帯域に存在する拡張帯域変換係数を抽出できなかったことによる影響は少ない。

なお、規定数は、一定の個数とは限らず、ある程度の幅を持たせるようにしても良い。例えば、基準の規定数をＮ個と設定し、算出された閾値を用いて抽出処理を行った結果、抽出した拡張帯域変換係数の個数がＮ-δ個からＮ＋δまでの範囲に収まった時点で新たな閾値の算出を行わずに変換係数の抽出処理を終了するようにしても良い。

次に、代表変換係数抽出部３３において規定数の拡張帯域変換係数が抽出されなかったときの動作について具体的に説明する。

閾値算出部３２は、代表変換係数抽出部３３より出力される変換係数不足数を用いて、より多くの拡張帯域変換係数が抽出されるように閾値を適応的に制御する。具体的には、変換係数不足数が大きいときは閾値を大きく下げ、変換係数不足数が小さいときには閾値を小さく下げるようにする。

ここでは、変換係数不足数に応じて算出される抑圧係数を閾値に乗じることで修正する方法を、変換係数不足数の適応方法の一例として説明する。なお、次式（４）において、Ｓｃ（ｊ）はサブバンドｊにおける抑圧係数、Ｎｌｐ（ｊ）はサブバンドｊにおける変換係数不足数、ａは最低抑圧量、ｂは最大抑圧量を表す。ａ、ｂは、１．０≧ａ＞ｂ＞０．０の関係である。

このように変換係数不足数に応じて閾値を適応的に下げるようにする。例えば、ａ＝０．９、ｂ＝０．５であれば、上記式（５）におけるＦｈｔｈｒ（ｊ）は、０．９倍から０．５倍の範囲で抑圧されることになる。

このように得られた閾値は、代表変換係数抽出部３３に出力される。以上説明した閾値算出部３２の動作は、代表変換係数抽出部３３で抽出される代表変換係数の数が規定数に達するまで行われる。

以上説明した手法により抽出処理を行った場合に、例えば、２回の閾値の修正（最初の閾値を含めて、３つの閾値で抽出処理を行った場合）で規定数Ｎの代表変換係数が抽出されたとすると、抽出処理は、サブバンドに含まれる変換係数の数がＭの時には、Ｍ×３の分岐処理に必要な演算量で済む。

次に、上記で説明した変換係数抽出閾値の修正とそれに伴う抽出処理に関する動作を図３と図４を用いて説明する。図３は、従来の方法による抽出処理を表す図、図４は本実施の形態における抽出処理を表す図である。

図３、図４の横軸は周波数、縦軸は拡張帯域変換係数の絶対値振幅を表し、サブバンドｊにおける拡張帯域変換係数を表す。サブバンドに含まれる変換係数の数Ｍ＝２５、規定数Ｎ＝１０の例で説明する。拡張帯域変換係数は低域側からｆ１、ｆ２、ｆ３と表し、最高周波数の拡張帯域変換係数をｆ２５と表す。

図３を用いて従来方法における抽出処理の動作の例を説明する。従来方法では、絶対値振幅の大きい順に拡張帯域変換係数を抽出するので、図３に示すように、ｆ１５，ｆ２２，ｆ９，ｆ３，ｆ１７，ｆ２１，ｆ６，ｆ１４，ｆ１２，ｆ７の順に１０個の拡張帯域変換係数が抽出される。この抽出処理には、Ｍ×１０の分岐処理が必要になる。

次に、図４を用いて本実施の形態における抽出処理の動作を説明する。拡張帯域分析部３１において、ｆ１からｆ２５の絶対値平均と標準偏差が算出され、閾値算出部３２により、変換係数抽出閾値が算出される。この変換係数抽出閾値は図中の閾値１で表す。

このときに、抽出される拡張帯域変換係数は、ｆ１５，ｆ２２，ｆ９の３個であり、変換係数不足数は１０−３＝７となる。ａ＝０．９、ｂ＝０．５とすると、上記式（４）により抑圧係数はＳｃ（ｊ）＝０．６２となる。よって、変換係数抽出閾値は、０．６２×閾値１と修正される。このときの変換係数抽出閾値を閾値２と表す。

閾値２を用いた抽出の結果、追加で抽出される拡張帯域変換係数は、ｆ３，ｆ１７，ｆ２１の３個であり、変換係数不足数は７−３＝４となる。この結果、抑圧係数Ｓｃ（ｊ）は、０．７８となり、変換係数抽出閾値は０．７８×閾値２となる。このときの変換係数抽出閾値を閾値３と表す。

閾値３を用いた抽出の結果、追加抽出される拡張帯域変換係数は、ｆ６，ｆ１４，ｆ１２の３個であり、変換係数不足数は４−３＝１となる。抽出した拡張帯域変換係数は９個となり１０個に満たないが、許容範囲にあるとしてここで抽出処理を中断するものとする。

上記例では、１回の変換係数抽出閾値の設定と２回の変換係数抽出閾値の修正を行うことで、３回の抽出処理（Ｍ×３の分岐処理）で変換係数を抽出することができる。なお、この説明例の場合、従来方式では抽出していたｆ７が本実施の形態では抽出することができない。しかしながら、ｆ７は、抽出した９個の変換係数よりも絶対値振幅が小さいため、ｆ７を算出できないことによる相関値の算出の精度への影響は少ない。

以上の構成および動作により、拡張帯域符号化部３において、拡張帯域変換係数と正規化低域変換係数の間で相関値を算出する際に、少ない演算量で、拡張帯域変換係数から適切な数の代表変換係数を抽出することができる。これにより性能を劣化させることなく、演算量を削減した符号化装置を実現できる。

以上説明したように、本実施の形態に係る符号化装置は、まず、拡張帯域変換係数の統計量から閾値を算出し、前記閾値を用いて振幅の大きい拡張帯域変換係数を抽出する。抽出された拡張帯域変換係数の数が規定の数に達しない場合に、符号化装置は、変換係数不足数に応じて閾値の下げ幅を決定し、閾値を修正する。そして、符号化装置は、この閾値の修正および拡張帯域変換係数の抽出を、抽出された拡張帯域変換係数の数が規定の数に達するまで繰り返す。従って、符号化装置によれば、少ない演算量で、拡張帯域の特徴を代表する変換係数を必要数だけ抽出することができる。言い換えれば、規定数Ｎの拡張帯域変換係数を抽出するのに必要なループ回数を削減することで、変換係数抽出時の演算量を大きく削減することができる。

また、本実施の形態に係る符号化装置は、最初に抽出される拡張帯域変換係数の数が規定数を下回るように閾値を設定する。符号化装置は、規定数に不足する拡張帯域変換係数の数に応じて閾値を修正し、修正後の閾値を用いて抽出した拡張帯域変換係数を、修正前の閾値を用いて抽出した拡張帯域変換係数群に追加する。符号化装置は、抽出処理中に抽出した拡張帯域変換係数が規定数に達した時点で抽出処理を中止する。このような拡張帯域変換係数の抽出処理を行うことにより、確実に振幅が大きい拡張帯域変換係数を抽出することができる。

また、本実施の形態に係る符号化装置は、閾値の修正を一定回数に制限し、閾値の修正の回数が制限値（一定回数）に達した場合に抽出処理を中止するようにしても良い。これにより、演算量の最悪値をさらに低減することができる。

次に、本実施の形態に係る復号装置について説明する。図５は、本実施の形態に係る復号装置の構成を示すブロック図である。

復号装置２０は、分離部５と、コア復号部６と、拡張帯域復号部７と、周波数時間変換部８と、から主に構成されている。

分離部５は、符号化装置１０から出力された符号化データを受け取り、コア符号化データと拡張帯域符号化データとに分離し、コア符号化データをコア復号部６に出力し、拡張帯域符号化データを拡張帯域復号部７に出力する。

コア復号部６は、コア符号化データを復号し、得られたコア符号化低域変換係数を拡張帯域復号部７および周波数時間変換部８に出力する。

拡張帯域復号部７は、拡張帯域符号化データを復号し、得られた符号化データとコア符号化低域変換係数を用いて拡張帯域変換係数を算出し、周波数時間変換部８に出力する。なお、拡張帯域復号部７の内部構成の詳細は後述する。

周波数時間変換部８は、コア符号化低域変換係数と拡張帯域変換係数とを結合して復号変換係数を生成し、復号変換係数を、例えば直交変換することにより、時間領域に変換して出力信号を生成し、出力する。

次に、拡張帯域復号部７の内部構成の詳細について説明する。図６に示すように、拡張帯域復号部７は、正規化部７０と、拡張帯域復号・生成部７１と、から主に構成されている。

正規化部７０は、コア符号化低域変換係数を正規化し、正規化低域変換係数を出力する。正規化部７０は、図２に示した正規化部３０と同一の処理を行うので、その詳細な説明については省略する。

拡張帯域復号・生成部７１は、正規化低域変換係数と拡張帯域符号化データから拡張帯域変換係数を生成する。具体的には、まず、拡張帯域復号・生成部７１は、拡張帯域符号化データよりラグ情報とゲインを復号する。次に、拡張帯域復号・生成部７１は、正規化低域変換係数からラグ情報に基づき拡張帯域に周波数微細構造としてコピーする。次に、拡張帯域復号・生成部７１は、正規化低域変換係数からコピーした拡張帯域変換係数に対して、復号したゲインを乗じることにより、拡張帯域変換係数を生成する。

以上の構成および動作により、本実施の形態に係る復号装置２０は、符号化装置１０によって生成された符号化データを復号することができる。

以上、本実施の形態に係る符号化装置および復号装置について説明した。なお、上記本実施の形態の説明は本発明を実現するための一例であり、本発明はこれに限定されない。

例えば、上記本実施の形態では、抽出した変換係数の数が必要な数に達するまで、閾値算出部３２と代表変換係数抽出部３３が繰り返し動作する例について説明したが、本発明はこれに限定されない。例えば、代表変換係数抽出部３３が一定回数繰り返すとそれ以上の変換係数を抽出する必要性は無いと判断し、これまでに抽出した代表変換係数を出力して、抽出処理を完了するようにしても良い。

また、上記本実施の形態では、拡張帯域変換係数の算出の説明において、サブバンドに依らず、変換係数抽出閾値を修正する際の修正方式を同一とする例で説明したが、本発明では、サブバンド毎に修正の程度を異なるように設定しても良い。例えば、高域になるほど、上記式（４）のａ、ｂの少なくとも一方を大きくすることにより、高域になるほど変換係数が抽出される確率が少なくなるようにしても良い。この手法は、高域になるほど変換係数の微細構造の影響は少ないという特徴を活かしており、演算量をさらに削減することができる。

また、本発明では、上記で説明した閾値の修正のためのループ回数が増えるに従って、閾値を設定する方法を変更するようにしても良い。例えば、ループ回数が増えるに従って、上記式（４）のａ、ｂの少なくとも一方を小さくして、より閾値を小さくして規定数に不足する変換係数を抽出しやすくするようにしても良い。

また、上記本実施の形態では、拡張帯域変換係数が正規分布すると仮定し、図２に示す閾値算出部３２が、絶対値平均と標準偏差から閾値を算出する場合について説明したが、本発明では、正規分布以外の分布を仮定してその分布に応じて閾値を設定しても良い。また、本発明では、サブバンドに含まれる変換係数の絶対値の最大振幅値に１．０未満の一定比を乗じたものを閾値とするようにしても良い。

また、上記本実施の形態では、図２に示す閾値算出部３２における閾値の修正方法として、変換係数不足数に応じて算出される抑圧係数を閾値に乗じることにより修正する方法について説明したが、本発明では別の方法で閾値を修正するようにしても良い。例えば、変換係数不足数が多いときは閾値から０．２を減算し、少ない時は０．１を減算するといった方法や、変換係数不足数が多いときはβを０．５減らし、少ないときは０．１減らすといった方法でも実現することができる。

また、本発明では、図２に示す代表変換係数抽出部３３において、拡張帯域分析部３１の拡張帯域統計パラメータを用いて算出された閾値を使って変換係数の抽出を行ったときに、規定数を超えた場合には、変換係数抽出を行わず、逆に閾値を上げるように閾値算出部３２に指示するようにしても良い。この場合、閾値算出部３２が閾値を上げるように修正する処理を行い、代表変換係数抽出部３３が修正後の閾値で再度抽出処理を行うことにより、規定数以下の変換係数を抽出することができる。

また、上記本実施の形態では、図２に示す閾値算出部３２が、最初に抽出される変換係数が規定数以下になるように、閾値を大きめに設定する例について説明したが、本発明では、閾値算出部３２が、最初に抽出される変換係数の数が規定数となるように、閾値を設定しても良い。この場合には、最初に抽出された変換係数の数が規定数を超えるケースが多々発生する。このように抽出した変換係数の数が規定数を超える場合には、代表変換係数抽出部３３が、閾値を上げるように閾値算出部３２に指示し、修正後の閾値を用いて再度抽出処理を行う。この処理を、抽出する変換係数の数が規定数以下になるまで繰り返すようにする。

また、上記本実施の形態では、拡張帯域変換係数の代表変換係数と、正規化低域変換係数との間で相関値を算出する例について説明したが、本発明では、拡張帯域変換係数を加工したものを使っても良い。例えば聴覚マスキング等の影響を考慮しフィルタリングしたものを使うようにしても良い。

また、上記本実施の形態において、信号処理プログラムを、メモリ、ディスク、テープ、ＣＤまたはＤＶＤ等の機械読み取り可能な記録媒体に記録または書き込みをし、動作を行う場合についても、本発明は適用することができ、各実施の形態と同様の作用および効果を得ることができる。

また、上記本実施の形態において、ハードウェアにより構成する場合を例に説明したが、本発明はソフトウェアで実現することも可能である。

また、上記本実施の形態において、各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。また、この場合、ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

また、上記本実施の形態において、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、またはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル／プロセッサを利用してもよい。

また、上記本実施の形態において、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２０１１年１０月２８日出願の特願２０１１−２３７８１８の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明にかかる符号化装置は、音声データ、音楽データ、音響データ等、音に関するデータの符号化を行うのに好適である。

１時間周波数変換部
２コア符号化部
３拡張帯域符号化部
４多重化部
５分離部
６コア復号部
７拡張帯域復号部
８周波数時間変換部
１０符号化装置
２０復号装置
３０正規化部
３１拡張帯域分析部
３２閾値算出部
３３代表変換係数抽出部
３４マッチング部
３５拡張帯域生成・符号化部
７０正規化部
７１拡張帯域復号・生成部

Claims

入力信号を時間領域から周波数領域に変換して得られた入力信号変換係数の内、低周波数帯域の低域変換係数を符号化するコア符号化部と、
前記低周波数帯域よりも高い周波数帯域である拡張帯域を周波数領域で分割した拡張帯域サブバンド毎に、サブバンドに含まれる拡張帯域変換係数の統計量に基づいて閾値を算出する閾値算出部と、
前記拡張帯域サブバンド毎に、前記拡張帯域サブバンドに含まれる変換係数の振幅と前記閾値とを比較し、前記振幅が前記閾値以上となる変換係数を代表変換係数として抽出する代表変換係数抽出部と、
前記拡張帯域サブバンド毎に、前記代表変換係数と符号化および正規化された低域変換係数との相関値を算出し、各拡張帯域サブバンドに対して、最も相関値の高い低域変換係数のバンドをベストバンドとして選択するマッチング部と、
選択した前記ベストバンドを示す情報を用いて拡張帯域変換係数を符号化する拡張帯域符号化部と、
を具備し、
前記閾値算出部は、前記代表変換係数抽出部において抽出された前記代表変換係数の数が規定数に達しない場合、前記規定数に対する前記代表変換係数の不足数に応じて前記閾値を修正し、
前記代表変換係数抽出部は、前記修正された閾値を用いて再び変換係数を抽出する処理を行う、
符号化装置。
前記閾値算出部は、前記規定数に対する前記代表変換係数の不足数が大きいほど、前記閾値を大きく下げる修正を行う、
請求項１に記載の符号化装置。
前記閾値算出部は、
前記代表変換係数抽出部において、前記閾値の初期値は、前記規定数の代表変換係数が抽出されると予測される統計値に対応する閾値よりも高い値に前記閾値を設定する、
請求項１に記載の符号化装置。
前記閾値算出部は、前記閾値の修正を一定回数に制限し、
前記代表変換係数抽出部は、前記閾値の修正が前記一定回数に達した場合に前記変換係数を抽出する処理を中止する、
請求項１に記載の符号化装置。
前記閾値の修正は、閾値に抑圧係数を乗じることによって行われ、前記抑圧係数と前記不足数とが負の線形関係を有する、
請求項１に記載の符号化装置。
前記マッチング部は、選択した前記ベストバンドを示す情報をラグ情報として出力し、
前記拡張帯域符号化部は、前記ラグ情報を用いて拡張帯域変換係数を符号化する、
請求項１に記載の符号化装置。
入力信号を時間領域から周波数領域に変換して得られた入力信号変換係数の内、低周波数帯域の低域変換係数を符号化し、
前記低周波数帯域よりも高い周波数帯域である拡張帯域を周波数領域で分割した拡張帯域サブバンド毎に、サブバンドに含まれる拡張帯域変換係数の統計量に基づいて閾値を算出し、
前記拡張帯域サブバンド毎に、前記拡張帯域サブバンドに含まれる変換係数の振幅と前記閾値とを比較し、前記振幅が前記閾値以上となる変換係数を代表変換係数として抽出し、
抽出された前記代表変換係数の数が規定数に達しない場合、前記規定数に対する前記代表変換係数の不足数に応じて前記閾値を修正し、前記修正された閾値を用いて再び変換係数を抽出する処理を行い、
前記拡張帯域サブバンド毎に、前記代表変換係数と符号化および正規化された低域変換係数との相関値を算出し、各拡張帯域サブバンドに対して、最も相関値の高い低域変換係数のバンドをベストバンドとして選択し、
選択した前記ベストバンドを示す情報を用いて拡張帯域変換係数を符号化する、
符号化方法。