JP6214160B2

JP6214160B2 - マルチモードオーディオコーデックおよびそれに適応されるｃｅｌｐ符号化

Info

Publication number: JP6214160B2
Application number: JP2012534666A
Authority: JP
Inventors: ラルフガイガー; ギヨームフックス; マルクスマルトラス; ベルンハルトグリル
Original assignee: フラウンホッファー−ゲゼルシャフトツァフェルダールングデァアンゲヴァンテンフォアシュンクエー．ファオ
Priority date: 2009-10-20
Filing date: 2010-10-19
Publication date: 2017-10-18
Anticipated expiration: 2030-10-19
Also published as: US20160260438A1; CN104021795B; AU2010309894B2; CA2778240C; JP2013508761A; US9495972B2; US9715883B2; HK1175293A1; KR101508819B1; JP2015043096A; MY164399A; CA2862712A1; US20120253797A1; US20140343953A1; KR20120082435A; CA2862715C; ZA201203570B; EP2491555B1; MX2012004593A; CN104021795A

Description

本発明は、例えば統一スピーチおよびオーディオコーデックまたは例えば音楽、スピーチ、混合されたおよび他の信号などの一般的なオーディオ信号に適応されるコーデックなどのマルチモードオーディオ符号化、およびそれに適応されるＣＥＬＰ符号化スキームに関する。

例えばスピーチ、音楽などの異なるタイプのオーディオ信号の混合を表す一般的なオーディオ信号を符号化するために異なる符号化モードを混合することは好ましい。個々の符号化モードは、特定のオーディオタイプに適応されうり、そのため、マルチモードオーディオエンコーダは、オーディオコンテントタイプの変更に対応して時間とともに符号化モードを変更することを利用することができる。換言すれば、マルチモードオーディオエンコーダは、例えば、特にスピーチを符号化するために費やされる符号化モードを用いてスピーチコンテントを有するオーディオ信号の部分を符号化し、さらに、例えば音楽などの非スピーチコンテントを表すオーディオコンテントの異なる部分を符号化するために他の符号化モードを用いることを決めることができる。線形予測符号化モードは、スピーチコンテントを符号化することにより適している傾向があるが、周波数領域符号化モードは、音楽の符号化に関する限り、線形予測符号化モードより性能が優れている傾向がある。

しかしながら、異なる符号化モードを用いることは、符号化されたビットストリームを実際に復号化しそれから再びゲイン調整された復号化された表現を再符号化する必要なしに、符号化されたビットストリームの中でゲインをグローバルに調整することを困難にし、または、符号化されたビットストリームのオーディオコンテントの復号化された表現のゲインをより正確であることを困難にし、迂回が復号化されゲイン調整された表現を再符号化する際に実行される再量子化のためにゲイン調整されたビットストリームの品質を必然的に減少する。

例えば、ＡＡＣにおいて、出力レベルの調整は、８ビットフィールド「グローバルゲイン」の値を変更することによってビットストリームレベルにおいて容易に達成することができる。このビットストリームエレメントは、完全に復号化することおよび再符号化することの必要なく、簡単に通過しさらに編集することができる。このように、このプロセスは、いかなる品質劣化も導入しなくて、ロスレスに元に戻すことができる。このオプションを実際に使用するアプリケーションがある。例えば、今述べたアプローチを正確に適用する「ＡＡＣゲイン」［ＡＡＣゲイン］と呼ばれているフリーソフトウェアがある。このソフトウェアは、フリーソフトウェア「ＭＰ３ゲイン」の派生物であり、それは、ＭＰＥＧ１／２レイヤー３のための同じ技術を適用する。

ちょうど新たなＵＳＡＣコーデックにおいて、ＦＤ符号化モードは、ＡＡＣから８ビットグローバルゲインを継承した。このように、ＵＳＡＣがＦＤのみのモードで動作する場合、例えばより高いビットレートのために、レベル調整の機能性は、ＡＡＣと比較したときに、完全に保存される。しかしながら、モード遷移が認められるとすぐに、この可能性はもはやない。ＴＣＸモードにおいて、例えば、「グローバルゲイン」と呼ばれている同じ機能性を有するビットストリームエレメントもあり、それは、単に７ビットだけの長さを有する。換言すれば、個々のモードの個々のゲインエレメントを符号化するためのビットの数は、ゲイン制御のための少ないビットの消費とゲイン調整機能の粗すぎる量子化のために品質の劣化の回避との間に最高のトレードオフを達成するために主にそれぞれの符号化モードに適応される。明らかに、このトレードオフは、ＴＣＸおよびＦＤモードを比較するときに、異なる数のビットをもたらした。現在の新たなＵＳＡＣ規格のＡＣＥＬＰモードにおいて、レベルは、ビットストリームエレメント「平均エネルギー」を介して制御することができ、それは、２ビットの長さを有する。また、明らかに、平均エネルギーのためのあまりに多いビットおよび平均エネルギーのためのあまりに少ないビット間のトレードオフは、その他の符号化モード、すなわちＴＣＸおよびＦＤの符号化モードと比較して、異なる数のビットをもたらした。

このように、今までは、マルチモード符号化によって符号化される符号化されたビットストリームの復号化された表現のゲインをグローバルに調整することは、扱いにくくて、品質を減少させる傾向がある。後にゲイン調整および再符号化が続く復号化が実行されるか、または、ラウドネスレベルの調整がビットストリームのそれぞれの異なる符号化モード部分のゲインに影響する異なるモードのそれぞれのビットストリームエレメントを単に適応することだけによって発見的に実行されなければならない。しかしながら、後者の可能性は、アーチファクトをゲイン調整された復号化された表現に導入する可能性が非常に高い。

このように、本発明の目的は、品質および圧縮率に関して適度なペナルティで復号化および再符号化の迂回なしにグローバルゲイン調整を可能にするマルチモードオーディオコーデック、および類似した特性の達成を有するマルチモードオーディオ符号化に組み込まれることに適しているＣＥＬＰコーデックを提供することである。

この目的は、ここに添付される独立した請求項の主題によって達成される。

本発明の第１の態様によれば、本願の発明者は、異なる符号化モードにわたってグローバルゲイン調整を調和しようとすることが、異なる符号化モードが異なるフレームサイズを有しさらにサブフレームに異なるように分解されるという事実から生じるときに、遭遇されるその唯一の課題を実現した。本願の第１の態様によれば、フレームのグローバルゲイン値の変更がオーディオコンテントの復号化された表現の出力レベルの調整をもたらすように、グローバルゲイン値に対して異なるようにサブフレームの符号化ビットストリームエレメントを符号化するこの問題点は、克服される。並行して、異なる符号化は、新規なシンタックスエレメントを符号化されたビットストリームに導入するときに、ビットを保存しさもなければ発生する。さらに、異なる符号化は、グローバルゲイン値に対して異なるように符号化される上述のビットストリームエレメントがそれぞれのサブフレームのゲインを調整する時間分解能より低いグローバルゲイン値を設定する際に、時間分解能を可能にすることによって符号化されたビットストリームのゲインをグローバルに調整することの負担の低下を可能にする。

したがって、本願の第１の態様によれば、符号化されたビットストリームに基づいてオーディオコンテントの復号化された表現を提供するためのマルチモードオーディオデコーダは、符号化されたビットストリームのフレームごとにグローバルゲイン値を復号化し、フレームの第１のサブセットは第１の符号化モードにおいて符号化されさらにフレームの第２のサブセットは第２の符号化モードにおいて符号化され、第２のサブセットのそれぞれのフレームごとに２つ以上のサブフレームからなり、フレームの第２のサブセットのサブフレームの少なくともサブセットのサブフレームごとに、それぞれのフレームのグローバルゲイン値に対して異なる対応するビットストリームエレメントを復号化し、さらにフレームの第２のサブセットのサブフレームの少なくともサブセットのサブフレームを復号化する際にグローバルゲイン値および対応するビットストリームエレメントとフレームの第１のサブセットを復号化する際にグローバルゲイン値とを用いてビットストリームを完全に復号化するように構成され、マルチモードオーディオデコーダは、符号化されたビットストリームの中でフレームのグローバルゲイン値の変更がオーディオコンテントの復号化された表現の出力レベルの調整をもたらすように構成される。この第１の態様によれば、マルチモードオーディオエンコーダは、第１の符号化モードにおいてフレームの第１のサブセットおよび第２の符号化モードにおいてフレームの第２のサブセットを符号化することでオーディオコンテントを符号化されたビットストリームに符号化するように構成され、フレームの第２のサブセットは、１つ以上のサブフレームからなり、マルチモードオーディオエンコーダは、フレームごとにグローバルゲイン値を決定して符号化し、さらに、第２のサブセットのサブフレームの少なくともサブセットのサブフレームごとに、それぞれのフレームのグローバルゲイン値に対して異なる対応するビットストリームエレメントを決定して符号化するように構成され、マルチモードオーディオエンコーダは、符号化されたビットストリームの中でフレームのグローバルゲイン値の変更が復号化側でオーディオコンテントの復号化された表現の出力レベルの調整をもたらすように構成される。

本願の第２の形態によれば、本願の発明者は、ＣＥＬＰコーデックのコードブック励起のゲインが変換符号化されたフレームの変換または逆変換のレベルとともに共同制御される場合、ＣＥＬＰ符号化されたフレームおよび変換符号化されたフレームにわたってグローバルゲイン制御が上述の利点を維持することによって達成されうるということが分かった。もちろん、そのような共用は、異なる符号化を介して実行されうる。

したがって、符号化されたビットストリームに基づいてオーディオコンテントの復号化された表現を提供するためのマルチモードオーディオデコーダであって、フレームの第１のサブセットは、ＣＥＬＰ符号化され、さらに、フレームの第２のサブセットは、変換符号化され、マルチモードオーディオデコーダは、第２の形態によれば、第１のサブセットの現在フレームを復号化するように構成されるＣＥＬＰデコーダを含み、ＣＥＬＰデコーダは、符号化されたビットストリームの中で過去励起および第１のサブセットの現在フレームのコードブックインデックスに基づいてコードブック励起を構築し、さらに、符号化されたビットストリームの中でグローバルゲイン値に基づいてコードブック励起のゲインを設定することによって、第１のサブセットの現在フレームの現在励起を生成するように構成される励起ジェネレータ、および符号化されたビットストリームの中で第１のサブセットの現在フレームのための線形予測フィルタ係数に基づいて現在励起をフィルタにかけるように構成される線形予測合成フィルタを含み、マルチモードオーディオデコーダは、符号化されたビットストリームから第２のサブセットの現在フレームのためのスペクトル情報を構築し、さらに、時間領域信号のレベルがグローバルゲイン値に依存するように時間領域信号を得るためにスペクトル時間領域変換をスペクトル情報に実行することによって第２のサブセットの現在フレームを復号化するように構成される変換デコーダをさらに含む。

同様に、オーディオコンテントのフレームの第１のサブセットをＣＥＬＰ符号化しさらにフレームの第２のサブセットを変換符号化することによってオーディオコンテントを符号化されたビットストリームに符号化するためのマルチモードオーディオエンコーダは、第２の態様によれば、第１のサブセットの現在フレームを符号化するように構成されるＣＥＬＰエンコーダを含み、ＣＥＬＰエンコーダは、第１のサブセットの現在フレームのための線形予測フィルタ係数を生成しさらにそれを符号化されたビットストリームに符号化するように構成される線形予測アナライザ、および第１のサブセットの現在フレームの現在励起を決定するように構成され、符号化されたビットストリームの中で線形予測フィルタ係数に基づいて線形予測合成フィルタによってフィルタにかけられるときに、過去励起および第１のサブセットの現在フレームのためのコードブックインデックスに基づいてコードブック励起を構築することによって、第１のサブセットの現在フレームをリカバーする、励起ジェネレータを含み、さらにマルチモードオーディオエンコーダは、スペクトル情報を得てさらにスペクトル情報を符号化されたビットストリームに符号化するために第２のサブセットの現在フレームのための時間領域信号に時間スペクトル領域変換を実行することによって第２のサブセットの現在フレームを符号化するように構成される変換エンコーダをさらに含み、マルチモードオーディオエンコーダは、グローバルゲイン値を符号化されたビットストリームに符号化するように構成され、グローバルゲイン値は、線形予測係数に依存する線形予測分析フィルタでフィルタにかけられる第１のサブセットの現在フレームのオーディオコンテントのバージョンのエネルギーにまたは時間領域信号のエネルギーに依存する。

本願の第３の態様によれば、本発明者は、ＣＥＬＰ符号化においてグローバルゲイン値が直接的に単純な励起信号よりむしろ励起信号の重み付け領域において計算されさらに適用される場合、それぞれのグローバルゲイン値を変更する際にＣＥＬＰ符号化されたビットストリームのラウドネスの変更が変換符号化されたレベル調整の挙動によりよく適応されることを解明した。さらに、励起信号の重み付け領域においてグローバルゲイン値の計算および適用は、例えばコードゲインおよびＬＴＰゲインなどのＣＥＬＰにおいて他のゲインが重み付け領域において計算されるようにＣＥＬＰ符号化するモードだけを考慮するときに、利点でもある。

したがって、第３の形態によれば、ＣＥＬＰデコーダは、ビットストリームの中で過去励起および現在フレームのための適応コードブックインデックスに基づいて適応コードブック励起を構築し、ビットストリームの中で現在フレームのためのイノベーションコードブックインデックス（５５４）に基づいてイノベーションコードブック励起を構築し、ビットストリームの中で線形予測フィルタ係数から構築される重み付け線形予測合成フィルタによってスペクトル的に重み付けられるイノベーションコードブック励起のエネルギーの推定を計算し、ビットストリームの中でグローバルゲイン値および推定されたエネルギー間の比率に基づいてイノベーションコードブック励起のゲインを設定し、さらに現在励起を得るために適応コードブック励起およびイノベーションコードブック励起を結合することによってビットストリームの現在フレームのための現在励起を生成するように構成される励起ジェネレータ、および線形予測フィルタ係数に基づいて現在励起をフィルタにかけるように構成される線形予測合成フィルタを含む。

同様に、ＣＥＬＰエンコーダは、第３の形態によれば、オーディオコンテントの現在フレームのための線形予測フィルタ係数を生成しさらに線形予測フィルタ係数をビットストリームに符号化するように構成される線形予測アナライザ、過去励起および現在フレームのための適応コードブックインデックスによって定義される適応コードブック励起を構築し、さらに、適応コードブックインデックスをビットストリームに符号化し、さらに現在フレームのためのイノベーションコードブックインデックスによって定義されるイノベーションコードブック励起を構築し、さらに、イノベーションコードブックインデックスをビットストリームに符号化することによって、適応コードブック励起およびイノベーションコードブック励起の結合として現在フレームの現在励起を決定するように構成され、線形予測フィルタ係数に基づいて線形予測合成フィルタによってフィルタにかけられるときに、現在フレームをリカバーする、励起ジェネレータ、およびゲイン値を得るために、線形予測フィルタ係数および知覚的な重み付けフィルタに依存する線形予測合成フィルタでフィルタにかけられる現在フレームのオーディオコンテントのバージョンのエネルギーを決定するように構成されさらにゲイン値をビットストリームに符号化するエネルギー決定器を含み、重み付けフィルタは、線形予測フィルタ係数から解釈される。

本願の好適な実施形態は、ここに添付される従属する請求項の主題である。さらに、本願の好適な実施態様は、図に関して以下に記載される。

図１ａは、実施形態によるマルチモードオーディオエンコーダのブロック図を示す。図１ｂは、実施形態によるマルチモードオーディオエンコーダのブロック図を示す。図２は、第１の変形例による図１のエンコーダのエネルギー計算部分のブロック図を示す。図３は、第２の変形例による図１のエンコーダのエネルギー計算部分のブロック図を示す。図４は、実施形態による図１のエンコーダによって符号化されるビットストリームを復号化するために適応されるマルチモードオーディオデコーダを示す。図５ａは、本発明の他の実施形態によるマルチモードオーディオエンコーダを示す。図５ｂは、本発明の他の実施形態によるマルチモードオーディオデコーダを示す。図６ａは、本発明の他の実施形態によるマルチモードオーディオエンコーダを示す。図６ｂは、本発明の他の実施形態によるマルチモードオーディオデコーダを示す。図７ａは、本発明の他の実施形態によるＣＥＬＰエンコーダを示す。図７ｂは、本発明の他の実施形態によるＣＥＬＰデコーダを示す。

図１は、本願の実施形態によるマルチモードオーディオエンコーダの実施形態を示す。図１のマルチモードオーディオエンコーダは、例えばスピーチおよび音楽の混合などの混合タイプのオーディオ信号を符号化するために適している。最適な率／ひずみの妥協を得るために、マルチモードオーディオエンコーダは、符号化されるオーディオコンテントの現在のニーズに符号化特性を適応するためにいくつかの符号化モード間で切り替えるように構成される。特に、図１の実施形態によれば、マルチモードオーディオエンコーダは、一般的に３つの異なる符号化モードを用い、すなわちＦＤ（周波数領域）符号化およびＬＰ（線形予測）符号化を用い、次に、ＴＣＸ（変換符号化された励起）およびＣＥＬＰ（コードブック励起線形予測）符号化に分割される。ＦＤ符号化モードにおいて、符号化されるオーディオコンテントは、ウィンドウ化され、スペクトル的に分解され、さらに、スペクトル的な分解は、マスキング閾値の下に量子化ノイズを隠すために心理音響に従って量子化されさらにスケールされる。ＴＣＸおよびＣＥＬＰ符号化モードにおいて、オーディオコンテントは、線形予測係数を得るために線形予測分析を受け、さらに、これらの線形予測係数は、励起信号とともにビットストリームの中に送信され、それは、ビットストリームの中で線形予測係数を用いて対応する線形予測合成フィルタでフィルタにかけられるときに、オーディオコンテントの復号化された表現を生じる。ＴＣＸの場合、励起信号は、変換符号化されるが、ＣＥＬＰの場合、励起信号は、コードブックの中で入力にインデックスを付けることによって、または別のやり方で、フィルタにかけられるサンプルのコードブックベクトルを合成的に構築することによって符号化される。ＡＣＥＬＰにおいて（代数コードブック励起線形予測）において、それは、本実施形態に従って用いられ、励起は、適応コードブック励起およびイノベーションコードブック励起からなる。以下に詳細に概説されるように、ＴＣＸにおいて、線形予測係数は、スケールファクタを推定することによってノイズ量子化を成形するための周波数領域において直接的にデコーダ側で利用されうる。この場合、ＴＣＸは、元の信号を変換しさらに周波数領域においてだけＬＰＣの結果を適用するために設定される。

異なる符号化モードにもかかわらず、図１のエンコーダは、例示では個々にまたはフレームのグループにおいてフレームに関連する、符号化されたビットストリームのすべてのフレームに関連する特定のシンタックスエレメントが、例えば、同じ量例えば同じ桁数（それは、回数を底とする対数のファクタ（または除数）での桁数のスケーリングに等しい）によってこれらのグローバルな値を増加しまたは減少することによって、すべての符号化モードにわたってグローバルゲイン適応を可能にするように、ビットストリームを生成する。

特に、図１のマルチモードオーディオエンコーダ１０によって支持されるさまざまな符号化モードによれば、それは、ＦＤエンコーダ１２およびＬＰＣ（線形予測符号化）エンコーダ１４を含む。次に、ＬＰＣエンコーダ１４は、ＴＣＸ符号化部分１６、ＣＥＬＰ符号化部分１８、および符号化モードスイッチ２０からなる。エンコーダ１０に含まれるさらなる符号化モードスイッチは、モードアサイナとして２２でむしろ一般的に示される。モードアサイナは、その連続する時間部分を異なる符号化モードに関連付けるために符号化されるオーディオコンテント２４を分析するように構成される。特に、図１の場合、モードアサイナ２２は、オーディオコンテント２４の異なる連続する時間部分をＦＤ符号化モードおよびＬＰＣ符号化モードのどちらかに割り当てる。図１の例示において、例えば、モードアサイナ２２は、オーディオコンテント２４の部分２６をＦＤ符号化モードに割り当てたが、直後の部分２８は、ＬＰＣ符号化モードに割り当てられる。モードアサイナ２２によって割り当てられる符号化モードに応じて、オーディオコンテント２４は、連続するフレームに異なるように再分割されうる。例えば、図１の実施形態において、部分２６の中でのオーディオコンテント２４は、等長でさらに例えば５０％の互いのオーバラップを有するフレーム３０に符号化される。換言すれば、ＦＤエンコーダ１２は、これらのユニット３０においてオーディオコンテント２４のＦＤ部分２６を符号化するように構成される。図１の実施形態によれば、ＬＰＣエンコーダ１４は、これらのフレームでフレーム３２を単位にしてオーディオコンテント２４のその関連した部分２８を符号化するように構成されるが、フレーム３０として必ずしも同じサイズを有するというわけではない。図１の場合、例えば、フレーム３２のサイズは、フレーム３０のサイズより小さい。特に、特定の実施形態によれば、フレーム３０の長さは、オーディオコンテント２４の２０４８のサンプルであるが、フレーム３２の長さは、それぞれ１０２４のサンプルである。最後のフレームがＬＰＣ符号化モードおよびＦＤ符号化モード間の境界で第１フレームにオーバラップすることは可能である。しかしながら、図１の実施形態において、さらに、図１に例示的に示されるように、ＦＤ符号化モードからＬＰＣ符号化モードへのおよびその逆の遷移の場合においてフレームのオーバラップがないことが可能な場合もある。

図１に示すように、ＦＤエンコーダ１２は、フレーム３０を受信し、それらを符号化されたビットストリーム３６のそれぞれのフレーム３４に周波数領域変換符号化によって符号化する。このために、ＦＤエンコーダ１２は、ウィンドワー（ｗｉｎｄｏｗｅｒ）３８、変換器４０、量子化およびスケーリングモジュール４２、およびロスレスコーダ４４並びに心理音響コントローラ４６を含む。原則として、ＦＤエンコーダ１２は、以下の記載がＦＤエンコーダ１２の異なる挙動を教示しない限り、ＡＡＣ規格に従って実装されうる。特に、ウィンドワー３８、変換器４０、量子化およびスケーリングモジュール４２およびロスレスコーダ４４は、ＦＤエンコーダ１２の入力４８および出力５０間に直列に接続され、心理音響コントローラ４６は、入力４８に接続される入力および量子化およびスケーリングモジュール４２のさらなる入力に接続される出力を有する。しかしながら、ＦＤエンコーダ１２がここで決定的でないさらなら符号化オプションのためのさらなるモジュールを含んでもよい点に留意すベきである。

ウィンドワー３８は、入力４８に入力する現在フレームをウィンドウ化するための異なるウィンドウを用いることができる。ウィンドウ化されたフレームは、例えばＭＤＣＴなどのように、変換器４０において時間スペクトル領域変換を受ける。変換器４０は、ウィンドウ化されたフレームを変換するために異なる変換長を用いることができる。

特に、ウィンドワー３８は、例えば、ＭＤＣＴの場合に、フレーム３０のサンプルの数の半分に対応することができる多数の変換係数を生じるために同じ変換長を用いて変換器４０でフレーム３０の長さに一致する長さのウィンドウを支持することができる。しかしながら、ウィンドワー３８は、時間において互いに関連してオフセットされる例えばフレーム３０の長さの半分の８つのウィンドウのようないくつかのより短いウィンドウが、ウィンドウ化に応じる変換長を用いて現在フレームのこれらのウィンドウ化されたバージョンを変換する変換器４０で現在フレームに適用されることに従って、符号化オプションを支持するように構成されてもよく、それによって、そのフレームの間、異なる時間にオーディオコンテントをサンプリングするフレームのための８つのスペクトルを生じる。ウィンドワー３８によって用いられるウィンドウは、対称または非対称であることができ、さらに、ゼロの前端および／またはゼロの後端を有することができる。いくつかの短いウィンドウを現在フレームに適用する場合に、これらの短いウィンドウの非ゼロ部分は、互いに関連して移動されるが、互いにオーバラップする。もちろん、ウィンドワー３８および変換器４０のためのウィンドウおよび変換長のための他の符号化オプションは、別の実施形態に従って用いられうる。

変換器４０によって出力される変換係数は、モジュール４２において量子化されさらにスケールされる。特に、心理音響コントローラ４６は、量子化およびスケーリングによって導入される量子化ノイズがマスキング閾値の下になるように形成されることに従ってマスキング閾値４８を決定するために入力４８で入力信号を分析する。特に、スケーリングモジュール４２は、スペクトル領域が再分割される変換器４０のスペクトル領域をカバーするとともにスケールファクタバンドにおいて作動することができる。したがって、連続する変換係数のグループは、異なるスケールファクタバンドに割り当てられる。モジュール４２は、スケールファクタバンドごとにスケールファクタを決定し、それは、それぞれのスケールファクタバンドに割り当てられるそれぞれの変換係数値を乗じるときに、変換器４０によって出力される変換係数の再構築されたバージョンを生じる。その上、モジュール４２は、スペクトルをスペクトル的に一様にスケールしてゲイン値を設定する。このように、再構築された変換係数は、それぞれのフレームｉのゲイン値ｇ_iの関連したスケールファクタ倍の変換係数値倍に等しい。変換係数値、スケールファクタおよびゲイン値は、例えば上述のウィンドウおよび変換長の決定およびさらなら符号化オプションを可能にするさらなるシンタックスエレメントに関する他のシンタックスエレメントとともに、例えば算術またはハフマン符号化などのエントロピー符号化を経由して、ロスレスコーダ４４においてロスレス符号化を受ける。この点で詳細については、さらなる符号化オプションに関してＡＡＣ規格について述べる。

このように、スケールファクタは、対数領域において定義される。スケールファクタは、スペクトルアクセスに沿って互いに異なるようにビットストリーム３６の中で符号化されうり、すなわち、単にスペクトル的に隣接したスケールファクタｓｆ間の差だけが、ビットストリームの中で送信されうる。第１のスケールファクタｓｆは、上述のｇｌｏｂａｌ＿ｇａｉｎ値に関連して異なるように符号化されるビットストリームの中で送信されうる。このシンタックスエレメントｇｌｏｂａｌ＿ｇａｉｎは、以下の記載において興味がある。

ｇｌｏｂａｌ＿ｇａｉｎ値は、対数領域においてビットストリームの中で送信されうる。すなわち、モジュール４２は、ｇｌｏｂａｌ＿ｇａｉｎとして、現在スペクトルの第１のスケールファクタｓｆを取るように構成される場合がある。そして、ｓｆ値は、ゼロおよびそれぞれの先行処理に対して異なるように以下のｓｆ値で異なるように送信されうる。

明らかに、ｇｌｏｂａｌ＿ｇａｉｎを変更することは、再構築された変換のエネルギーを変更し、そのため、すべてのフレーム３０に一様に行われるときに、ＦＤ符号化された部分２６のラウドネス変更に変換する。

特に、ＦＤフレームのｇｌｏｂａｌ＿ｇａｉｎは、ｇｌｏｂａｌ＿ｇａｉｎが再構築されたオーディオ時間サンプルの移動平均に対数的に依存し、または、その逆に、再構築されたオーディオ時間サンプルの移動平均がｇｌｏｂａｌ＿ｇａｉｎに指数的に依存するように、ビットストリームの中で送信される。

フレーム３０と同様に、ＬＰＣ符号化モードに割り当てられるすべてのフレーム、すなわちフレーム３２は、ＬＰＣエンコーダ１４に入力する。ＬＰＣエンコーダ１４において、スイッチ２０は、それぞれフレーム３２を１つ以上のサブフレーム５２に再分割する。これらのサブフレーム５２のそれぞれは、ＴＣＸ符号化モードまたはＣＥＬＰ符号化モードに割り当てられうる。ＴＣＸ符号化モードに割り当てられるサブフレーム５２は、ＴＣＸエンコーダ１６の入力５４に送られるが、ＣＥＬＰ符号化モードに関連するサブフレームは、スイッチ２０によってＣＥＬＰエンコーダ１８の入力５６に送られる。

ＬＰＣエンコーダ１４の入力５８とＴＣＸエンコーダ１６およびＣＥＬＰエンコーダ１８の入力５４および５６との間のスイッチ２０の配置が、それぞれ、単に説明の便宜上図１に示されるだけであり、さらに、実際に、ＴＣＸおよびＣＥＬＰの中のそれぞれの符号化モードを個々のサブフレームに関連付けることに関するサブフレーム５２にフレーム３２の再分割に関する符号化決定が、特定の重み付け／歪み測度を最大にするためにＴＣＸエンコーダ１６およびＣＥＬＰエンコーダ１８の内部エレメント間にインタラクティブな方法で行われうる点に留意すべきである。

いずれにしても、ＴＣＸエンコーダ１６は、励起ジェネレータ６０、ＬＰアナライザ６２およびエネルギー決定器６４を含み、ＬＰアナライザ６２およびエネルギー決定器６４は、それ自体の励起ジェネレータ６６をさらに含むＣＥＬＰエンコーダ１８によって、共用され（さらに共有され）る。励起ジェネレータ６０、ＬＰアナライザ６２およびエネルギー決定器６４のそれぞれの入力は、ＴＣＸエンコーダ１６の入力５４に接続される。同様に、ＬＰアナライザ６２、エネルギー決定器６４および励起ジェネレータ６６のそれぞれの入力は、ＣＥＬＰエンコーダ１８の入力５６に接続される。ＬＰアナライザ６２は、線形予測係数を決定するために、現在フレームすなわちＴＣＸフレームまたはＣＥＬＰフレームの中でオーディオコンテントを分析するように構成され、さらに、これらのエレメントに線形予測係数を送るために、励起ジェネレータ６０、エネルギー決定器６４および励起ジェネレータ６６のそれぞれの係数入力に接続される。以下に詳細に記載されるように、ＬＰアナライザは、元のオーディオコンテントのプリエンファシスされたバージョンにおいて作動することができ、さらに、それぞれのプリエンファシスフィルタは、ＬＰアナライザのそれぞれの入力部分の部分でありうり、または、その入力の前に接続されうる。それは、以下に詳細に記載されるように、エネルギー決定器６４に適用される。しかしながら、励起ジェネレータ６０に関する限り、それは、元の信号において直接的に作動することができる。励起ジェネレータ６０、ＬＰアナライザ６２、エネルギー決定器６４および励起ジェネレータ６６のそれぞれの出力は、出力５０と同様に、出力７０でビットストリーム３６に受信されるシンタックスエレメントを多重化するように構成されるエンコーダ１０のマルチプレクサ６８のそれぞれの入力に接続される。

励起ジェネレータ６０および６６は、それぞれ、この励起を定義し、さらに、それらのそれぞれの情報をマルチプレクサ６８およびビットストリーム３６を介して復号化側に送信するためにある。ＴＣＸエンコーダ１６の励起ジェネレータ６０に関する限り、それは、例えば、励起のスペクトルバージョンを生じるために時間スペクトル領域変換にいくらかの最適化スキームによって、見られる適切な励起を受けることによって現在励起を符号化し、スペクトル情報７４のこのスペクトルバージョンは、例えば、ＦＤエンコーダ１２のモジュール４２が作動するスペクトルに同様に、量子化されさらにスケールされるスペクトル情報で、ビットストリーム３６に挿入のためにマルチプレクサ６８に送られる。

すなわち、現在サブフレーム５２のＴＣＸエンコーダ１６の励起を定義するスペクトル情報７４は、それに関連する変換係数を量子化することができ、それは、次に、以下にｇｌｏｂａｌ＿ｇａｉｎとも呼ばれるＬＰＣフレームシンタックスエレメントに関連して送信される単一のスケールファクタに従ってスケールされる。ＦＤエンコーダ１２のｇｌｏｂａｌ＿ｇａｉｎの場合のように、ＬＰＣエンコーダ１４のｇｌｏｂａｌ＿ｇａｉｎは、対数領域において定義されてもよい。この値の増加は、復号化された表現がゲイン調整を保存する線形演算による情報７４の中でスケールされた変換係数を処理することによって達成されるように、それぞれのＴＣＸサブフレームのオーディオコンテントの復号化された表現のラウドネス増加に直接的に変換する。これらの線形演算は、逆時間周波数変換であり、さらに、結局、ＬＰ合成フィルタリングである。しかしながら、以下に詳細に説明されるように、励起ジェネレータ６０は、スペクトル情報７４の今述べたゲインをＬＰＣフレームを単位にしてより高い時間分解能においてビットストリームに符号化するように構成される。特に、励起ジェネレータ６０は、ビットストリームエレメントｇｌｏｂａｌ＿ｇａｉｎに対して異なるように、励起のスペクトルのゲインを設定するために用いられる実際のゲインを異なるように符号化するために、ｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎと呼ばれているシンタックスエレメントを用いる。ｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎは、対数領域において定義されてもよい。差分符号化は、ｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎが線形領域においてｇｌｏｂａｌ＿ｇａｉｎゲインを多重化的に補正するように定義されうるように、実行されうる。

励起ジェネレータ６０とは対照的に、ＣＥＬＰエンコーダ１８の励起ジェネレータ６６は、コードブックインデックスを用いることによって現在サブフレームの現在励起を符号化するように構成される。特に、励起ジェネレータ６６は、適応コードブック励起およびイノベーションコードブック励起の結合によって現在励起を決定するように構成される。励起ジェネレータ６６は、例えば、過去励起すなわち前に符号化されたＣＥＬＰサブフレームのために用いられる励起および現在フレームのための適応コードブックインデックスによって定義されるように現在フレームのための適応コードブック励起を構築するように構成される。励起ジェネレータ６６は、適応コードブックインデックス７６をマルチプレクサ６８に送ることによって適応コードブックインデックス７６をビットストリームに符号化する。さらに、励起ジェネレータ６６は、現在フレームのためのイノベーションコードブックインデックスによって定義されるイノベーションコードブック励起を構築し、さらに、イノベーションコードブックインデックス７８をビットストリーム３６に挿入のためにマルチプレクサ６８に送ることによってイノベーションコードブックインデックス７８をビットストリームに符号化する。実際に、両方のインデックスは、１つの共通のシンタックスエレメントに統合されうる。同時に、それは、デコーダがこのように励起ジェネレータによって決定されるコードブック励起をリカバーすることを可能にする。エンコーダおよびデコーダの内部状態の同期を保証するために、ジェネレータ６６は、デコーダが現在コードブック励起をリカバーすることを可能にするためのシンタックスエレメントを決定するだけでなく、次のＣＥＬＰフレームを符号化するための起点として現在コードブック励起すなわち過去励起を用いるために、それを実際に生成することによってその状態を実際に更新する。

このように、プリエンファシスフィルタは、ハイパスフィルタでありうる。ここで、それは１次ハイパスフィルタであるが、さらに一般的に、それはｎ次ハイパスフィルタでありうる。この場合、それは、αが０．６８に設定されれば、例示的に１次ハイパスフィルタである。

図２のエネルギー決定器６４の入力は、プレエンファシスフィルタ９０の出力に接続される。エネルギー決定器６４の入力および出力８０間には、ＬＰ分析フィルタ８２、エネルギー計算器８４、および量子化および符号化ステージ８６が、この記載の順に直列に接続される。符号化ステージ８８は、量子化および符号化ステージ８６の出力に接続されるその入力を有し、さらに、デコーダによって得られるように量子化されたゲインを出力する。

この励起信号９２に基づいて、現在フレーム３２のための共通のグローバルゲインは、現在フレーム３２の中でこの励起信号９２の１０２４のサンプルごとにエネルギーを計算することによって推定される。

１２ｋｂｐｓおよび２４ｋｂｐｓのモノラルのために、いくらかのリスニングテストは、主にきれいなスピーチの品質に焦点を合わせて実行された。品質は、ＡＡＣおよびＡＣＥＬＰ／ＴＣＸ規格の通常のゲイン制御が用いられたという点で、上述の実施形態から異なる現在ＵＳＡＣの１つに密接して見出された。しかしながら、特定のスピーチアイテムのために、品質は、わずかにより悪い傾向がある。

図２の変形例による図１の実施形態を記載した後に、第２の変形例が、図１および図３に関して記載される。ＬＰＤモードのための第２のアプローチによれば、第１の変形例のいくつかの欠点は、解決される。
・ＡＣＥＬＰイノベーションゲインの予測は、高振幅のダイナミックフレームのいくつかのサブフレームのために失敗した。それは、主に幾何学的に平均されたエネルギー計算に起因した。平均ＳＮＲは、元のＡＣＥＬＰより良好であったが、ゲイン調整コードブックは、よりしばしば飽和した。それは、特定のスピーチアイテムのための知覚されたわずかな劣化の主な理由であると思われた。
・さらに、ＡＣＥＬＰイノベーションのゲインの予測も、最適でなかった。実際に、ゲインは、重み付け領域において最適化されるが、ゲイン予測は、ＬＰＣ残留領域において計算される。以下の変形例の考えは、重み付け領域において予測を実行することである。
・個々のＴＣＸグローバルゲインの予測は、送信されたエネルギーがＬＰＣ残留のために計算されたように最適でなかったが、ＴＣＸは、そのゲインを重み付け領域において計算する。

前のスキームとの主な差は、グローバルゲインが励起のエネルギーの代わりに重み付け信号のエネルギーを表すということである。
ビットストリームに関して、第１のアプローチと比較した修正は、以下である。
・グローバルゲインは、ＦＤモードにおいて同様の量子化器で８ビットに符号化された。現在、ＬＰＤおよびＦＤモードは、同じビットストリームエレメントを共有する。ＡＡＣにおいてグローバルゲインはそのような量子化器で８ビットに符号化される正当な理由を有することが分かった。８ビットは、ＬＰＤモードグローバルゲインにとって決定的に過剰な量であり、それは、６ビットだけに符号化することができる。しかしながら、統一化のために支払うことは、代償である。
・異なる符号化でＴＣＸの個々のグローバルゲインを符号化するには、
○固定長符号のＴＣＸ１０２４のための１ビット、
○可変長符号（ハフマン）のＴＣＸ２５６およびＴＣＸ５１２のための平均で４ビット
を用いる。

ビット消費に関して、第２のアプローチは、
・ＡＣＥＬＰのために、前と同じビット消費
・ＴＣＸ１０２４のために、+２ビット
・ＴＣＸ５１２のために、平均で+２ビット
・ＴＣＸ２５６のために、前と同じ平均ビット消費
の中で第１のものから異なる。

品質に関して、第２のアプローチは、
・ＴＣＸオーディオ部分は、全体の量子化粒度が不変に保たれたのと同様に、音を出さなければならない。
・ＡＣＥＬＰオーディオ部分は、予測がエンハンスされたように、わずかに改善されると期待することができる。収集された統計は、現在ＡＣＥＬＰにおいてよりゲイン調整においてより少ない外れ値を示す。
の中で第１のものから異なる。

ＴＣＸゲインは、可変長符号で符号化されるエレメントｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎを送信することによって符号化される。

以下に、図２および図３に関して記載される２つの変形例に関する図１の実施形態に対応する対応するマルチモードオーディオデコーダが、図４に関して記載される。

図４のマルチモードオーディオデコーダは、一般的に引用符号１２０で示され、さらに、デマルチプレクサ１２２、ＦＤデコーダ１２４、ＴＣＸデコーダ１２８およびＣＥＬＰデコーダ１３０からなるＬＰＣデコーダ１２６、および、オーバラップ／遷移ハンドラ１３２を含む。

デマルチプレクサは、マルチモードオーディオデコーダ１２０の入力を並行して形成する入力１３４を含む。図１のビットストリーム３６は、入力１３４に入力する。デマルチプレクサ１２２は、デコーダ１２４、１２８、および１３０に接続されるいくつかの出力を含み、ビットストリーム１３４に含まれるシンタックスエレメントを個々の復号化機器に配信する。実際に、マルチプレクサ１３２は、ビットストリーム３６のフレーム３４および３５をそれぞれのデコーダ１２４、１２８および１３０にそれぞれ配信する。

デコーダ１２４、１２８および１３０のそれぞれは、オーバラップ遷移ハンドラ１３２のそれぞれの入力に接続される時間領域出力を含む。オーバラップ遷移ハンドラ１３２は、連続するフレーム間の遷移でそれぞれのオーバラップ／遷移ハンドリングを実行する役割を果たす。例えば、オーバラップ／遷移ハンドラ１３２は、ＦＤフレームの連続するウィンドウに関して、オーバラップ／加算手順を実行することができる。それは、ＴＣＸサブフレームに適用される。例えば、図１に関して詳しく記載されていないが、励起ジェネレータ６０でも、励起を表すための変換係数を得るために時間スペクトル領域変換が続くウィンウド化を用い、さらに、ウィンドウは、互いにオーバラップすることができる。ＣＥＬＰサブフレームにまたはそれから移行するときに、オーバラップ／遷移ハンドラ１３２は、エイリアシングを回避するために特別な測度を実行することができる。このために、オーバラップ／遷移ハンドラ１３２は、ビットストリーム３６を介して送信されるそれぞれのシンタックスエレメントによって制御されうる。しかしながら、これらの送信測度が現在のアプリケーションのフォーカスを超えるので、例えば、この点に関して図示する例示的な解決策のためのＡＣＥＬＰＷ＋規格について述べる。

ＦＤデコーダ１２４は、ロスレスデコーダ１３４、非量子化および再スケーリングモジュール１３６および再変換器１３８を含み、それらは、この順にデマルチプレクサ１２２およびオーバラップ／遷移ハンドラ１３２間に直列に接続される。ロスレスデコーダ１３４は、例えば、ビットストリームからスケールファクタをリカバーし、それらは、例えば、そこにおいて異なるように符号化される。量子化および再スケーリングモジュール１３６は、例えば、個々のスペクトル線のための変換係数値をこれらの変換係数値が属するスケールファクタバンドの対応するスケールファクタでスケールすることによって変換係数をリカバーする。逆ＭＤＣＴのような再変換器１３８は、オーバラップ／遷移ハンドラ１３２に送られる時間領域信号を得るために、このように得られた変換係数にスペクトル時間変換を実行する。非量子化および再スケーリングモジュール１３６または再変換器１３８は、変換から生じる時間領域信号がシンタックスエレメントによってスケールされる（すなわち、そのいくらかの指数関数で線形にスケールされる）ように、ＦＤフレームごとにビットストリームの中で送信されるｇｌｏｂａｌ＿ｇａｉｎシンタックスエレメントを用いる。実際に、スケーリングは、スペクトル時間領域変換に先立ってまたはそれの後に実行されうる。

図４のＣＥＬＰデコーダ１３０は、イノベーションコードブックコンストラクタ１４８、適応コードブックコンストラクタ１５０、ゲインアダプタ１５２、コンバイナ１５４、およびＬＰ合成フィルタ１５６を含む。イノベーションコードブックコンストラクタ１４８、ゲインアダプタ１５２、コンバイナ１５４、およびＬＰ合成フィルタ１５６は、デマルチプレクサ１２２およびオーバラップ／遷移ハンドラ１３２間に直列に接続される。適応コードブックコンストラクタ１５０は、デマルチプレクサ１２２に接続される入力と、コンバイナ１５４のさらなる入力に接続される出力を有し、それは、次に、図４に示すように加算器として実施されうる。適応コードブックコンストラクタ１５０のさらなる入力は、それから過去励起を得るために、加算器１５４の出力に接続される。ゲインアダプタ１５２およびＬＰ合成フィルタ１５６は、マルチプレクサ１２２の特定の出力に接続されるＬＰＣ入力を有する。

ＴＣＸデコーダおよびＣＥＬＰデコーダの構造を記載した後に、その機能性が、以下に詳細に記載される。記載は、最初にＴＣＸデコーダ１２８の機能性から始めて、そして、ＣＥＬＰデコーダ１３０の機能性の記載に進む。すでに上述のように、ＬＰＣフレーム３２は、１つ以上のサブフレーム５２に再分割される。一般的に、ＣＥＬＰサブフレーム５２は、２５６のオーディオサンプルの長さを有するように制限される。ＴＣＸサブフレーム５２は、異なる長さを有することができる。ＴＣＸ２０またはＴＣＸ２５６のサブフレーム５２は、例えば、２５６のサンプル長を有する。同様に、ＴＣＸ４０（ＴＣＸ５１２）のサブフレーム５２は、５１２のオーディオサンプルの長さを有し、さらに、ＴＣＸ８０（ＴＣＸ１０２４）のサブフレームは、１０２４のサンプル長に関連し、すなわち、全部のＬＰＣフレーム３２に関連する。ＴＣＸ４０のサブフレームは、単に現在のＬＰＣフレーム３２の前の２つの４分の１ずつまたはその後の２つの４分の１ずつに配置されうるだけである。このように、要するに、ＬＰＣフレーム３２が再分割されうる異なるサブフレームタイプの２６の異なる結合がある。

このように、今記載されたように、ＴＣＸサブフレーム５２は、異なる長さである。今述べたサンプル長、すなわち２５６、５１２および１０２４を考慮して、これらのＴＣＸサブフレームが互いにオーバラップしないと思うことができる。しかしながら、これは、サンプルにおいて測定されるウィンドウ長および変換長に関する限り補正しなく、さらに、励起のスペクトル分解を実行するために用いられる。例えば、ＦＤ符号化から周知のように、エイリアシングキャンセルを考慮に入れるための現在サブフレームの前のおよび連続するサブフレームにオーバラップする非ゼロ部分を含むように、ウィンドワー３８によって用いられる変換長さは、例えば、それぞれの現在ＴＣＸサブフレームの前および後の端を越えて拡張し、さらに、励起をウィンドウ化するために用いられる対応するウィンドウは、それぞれの現在ＴＣＸサブフレームの後および前の端を越えた領域に直ちに拡張するために適応される。このように、励起ジェネレータ１４０は、ビットストリームから量子化されたスペクトル係数を受信し、さらに、それから励起スペクトルを再構築する。このスペクトルは、現在ＴＣＸサブフレームのｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎおよび現在のサブフレームが属する現在フレーム３２のｇｌｏｂａｌ＿ｆｒａｍｅの結合に応じてスケールされる。特に、結合は、（対数領域において合計に対応する）線形領域において両方の値間の乗算を含むことができ、両方のゲインシンタックスエレメントは、定義される。したがって、励起スペクトルは、このようにシンタックスエレメントｇｌｏｂａｌ＿ｇａｉｎに従ってスケールされる。そして、スペクトル形成器１４２は、時間領域合成信号を得るために再変換器１４６によって実行される逆ＭＤＣＴ変換が続く結果として生じるスペクトル係数に、ＬＰＣベースの周波数領域ノイズシェーピングを実行する。オーバラップ／遷移ハンドラ１３２は、連続するＴＣＸサブフレーム間にオーバラップ加算プロセスを実行することができる。

上述の第１の変形例によれば、ゲインアダプタ１５２は、次のステップを実行する。

それによってゲインを得るために、励起ジェネレータ１４０は、それぞれの変換係数をスケールする。

例えば、ｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎは、７ビットに、または、平均で４ビットを生じることができるハフマン符号を用いることによって、直接的に符号化されうる。このように、上述の実施形態によれば、多重モードを用いてオーディオコンテントを符号化することは可能である。上述の実施形態において、３つの符号化モードすなわちＦＤ、ＴＣＸおよびＡＣＥＬＰが、用いられた。３つの異なるモードを用いるにもかかわらず、ビットストリーム３６に符号化されるオーディオコンテントのそれぞれの復号化された表現のラウドネスを調整することは容易である。特に、上述の両方のアプローチによれば、それぞれ、単に、フレーム３０および３２のそれぞれに含まれるｇｌｏｂａｌ＿ｇａｉｎシンタックスエレメントを等しく増加／減少することが必要なだけである。例えば、すべてのこれらのｇｌｏｂａｌ＿ｇａｉｎシンタックスエレメントは、異なる符号化モードにわたってラウドネスを均一に増加するために２ずつ増加されうり、または、異なる符号化モード部分にわたってラウドネスを均一に減少するために２ずつ減少されうる。

本願の実施形態を記載した後に、以下において、より一般的でさらに上述のマルチモードオーディオエンコーダおよびデコーダの個々の有利な形態に個々に集中するさらなる実施形態が記載される。換言すれば、上述の実施形態は、その後に概説された３つの実施形態のそれぞれのための可能な実施を示す。上述の実施形態は、以下に概説された実施形態が単に個々に照会するだけであるすべての有利な形態を組み込む。その後に記載された実施形態のそれぞれは、前の実施形態を用いた特定の実施を越えて有利である、すなわち前より異なるように実装できた、上に説明されたマルチモードオーディオコーデックの態様に焦点を合わせる。以下に概説される実施形態が属する形態は、個々に実現されうり、さらに、上に概説された実施形態に関して例示的に記載されるように並行して実装される必要はない。

したがって、以下の実施形態を記載するときに、それぞれのエンコーダおよびデコーダの実施形態のエレメントは、新しい参照符号を用いて示される。しかしながら、これらの参照符号の後に、図１〜図４のエレメントの参照番号は、その後に記載された図の中でそれぞれのエレメントの可能な実施を表す後者のエレメントについて、括弧内に表される。換言すれば、以下に記載される図においてエレメントは、個々にまたは以下に記載されるそれぞれの図のすべてのエレメントに関して、以下に記載される図の中でエレメントのそれぞれの参照番号の後に括弧内に示されるエレメントに関して上述のように実装されうる。

図５ａおよび図５ｂは、第１の実施形態によるマルチモードオーディオエンコーダおよびマルチモードオーディオデコーダを示す。一般的に３００で示される図５ａのマルチモードオーディオエンコーダは、第１の符号化モード３０８においてフレーム３０６の第１のサブセットおよび第２の符号化モード３１２においてフレーム３１０の第２のサブセットを符合化することでオーディオコンテント３０２を符号化されたビットストリーム３０４に符号化するように構成され、フレーム３１０の第２のサブセットは、１つ以上のサブフレーム３１４からそれぞれなり、マルチモードオーディオエンコーダ３００は、フレームごとにグローバルゲイン値（ｇｌｏｂａｌ＿ｇａｉｎ）を決定しさらに符号化し、さらに、第２のサブセットのサブフレームの少なくともサブセット３１６のサブフレームごとに、それぞれのフレームのグローバルゲイン値３１８に対して異なるように対応するビットストリームエレメント（ｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎ）を決定しさらに符号化するように構成され、マルチモードオーディオエンコーダ３００は、符号化されたビットストリーム３０４の中でフレームのグローバルゲイン値（ｇｌｏｂａｌ＿ｇａｉｎ）の変更が復号化側でオーディオコンテントの復号化された表現の出力レベルの調整をもたらすように構成される。

対応するマルチモードオーディオデコーダ３２０は、図５ｂに示される。デコーダ３２０は、符号化されたビットストリーム３０４に基づいてオーディオコンテント３０２の復号化された表現３２２を提供するように構成される。このために、マルチモードオーディオデコーダ３２０は、符号化されたビットストリーム３０４のフレーム３２４および３２６ごとにグローバルゲイン値（ｇｌｏｂａｌ＿ｇａｉｎ）を復号化し、フレームの第１のサブセット３２４は第１の符号化モードにおいて符号化されさらにフレームの第２のサブセット３２６は第２の符号化モードにおいて符号化され、第２のサブセットのそれぞれのフレーム３２６ごとに２つ以上のサブフレーム３２８からなり、フレームの第２のサブセット３２６のサブフレーム３２８の少なくともサブセットのサブフレーム３２８ごとに、それぞれのフレームのグローバルゲイン値に対して異なるように対応するビットストリームエレメント（ｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎ）を復号化し、さらに、フレームの第２のサブセット３２６のサブフレームの少なくともサブセットのサブフレームを復号化する際にグローバルゲイン値（ｇｌｏｂａｌ＿ｇａｉｎ）および対応するビットストリームエレメント（ｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎ）とフレームの第１のサブセットを復号化する際にグローバルゲイン値（ｇｌｏｂａｌ＿ｇａｉｎ）とを用いてビットストリームを完全に復号化し、マルチモードオーディオデコーダ３２０は、符号化されたビットストリーム３０４の中でフレーム３２４および３２６のグローバルゲイン値（ｇｌｏｂａｌ＿ｇａｉｎ）において変更がオーディオコンテントの復号化された表現３２２の出力レベル３３２の調整３３０をもたらすように構成される。

それが図１〜図４の実施形態で事実であったように、第１の符号化モードは、周波数領域符号化モードであってもよいが、第２の符号化モードは、線形予測符号化モードである。しかしながら、図５ａおよび図５ｂの実施形態は、この場合に制限されない。しかしながら、線形予測符号化モードは、グローバルゲイン制御が関するかぎり、より微細な時間粒度を必要とする傾向があり、それに応じて、周波数領域符号化モードがフレーム３２６のために用いられさらに線形予測符号化モードがフレーム３２４のために用いられることに従って、フレーム３２６のための線形予測符号化モードおよびフレーム３２４のための周波数領域符号化モードを用いることは、反対の場合を越えて好ましい。

さらに、図５ａおよび図５ｂの実施形態は、ＴＣＸおよびＡＣＬＥＰモードがサブフレーム３１４を符号化するために存在する場合に制限されない。むしろ、図１〜図４の実施形態は、ＡＣＥＬＰ符号化モードが失われた場合、例えば、図５ａおよび図５ｂの実施形態によれば実装されうる。この場合、両方のエレメントの予測符号化、すなわちｇｌｏｂａｌ＿ｇａｉｎおよびｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎは、変更に対してＴＣＸ符号化モードのより高い感度を考慮することを可能にするが、ゲインは、復号化および再符号化の迂回なしに、さらに、必要なサイド情報の過度の増加なしに、グローバルゲイン制御によって提供される利点をあきらめることを回避して設定される。

それにもかかわらず、マルチモードモードオーディオデコーダ３２０は、符号化されたビットストリーム３０４の復号化を完全にする際に、変換された励起線形予測符号化を用いることによってフレームの第２のサブセット３２６のサブフレームの少なくともサブセットのサブフレーム（すなわち、図５ｂにおいて左側のフレーム３２６の４つのサブフレーム）を復号化し、さらに、ＣＥＬＰを用いてフレームの第２のサブセット３２６のサブフレームのバラバラになったサブセットを復号化するように構成されうる。この点に関して、マルチモードオーディオデコーダ２２０は、フレームの第２のサブセットのフレームごとに、それぞれのフレームの分解を１つ以上のサブフレームに示すさらなるビットストリームエレメントを復号化するように構成されうる。上述の実施形態において、例えば、それぞれのＬＰＣフレームは、それに含まれるシンタックスエレメントを有することができ、それは、現在のＬＰＣフレームをＴＣＸおよびＡＣＥＬＰフレームに分解する上述の２６の可能性の１つを識別する。しかしながら、また、図５ａおよび図５ｂの実施形態は、ＡＣＥＬＰ、および、シンタックスエレメントｇｌｏｂａｌ＿ｇａｉｎに従って設定される平均エネルギーに関して上に記載される特定の２つの変形例に制限されない。

図１〜図４の上述の実施形態と同様に、フレーム３２６は、フレーム３２６を有するフレーム３１０に対応することができ、または、１０２４のサンプルのサンプル長を有することができ、さらに、ビットストリームエレメントｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎが送信されるフレームの第２のサブセットのサブフレームの少なくともサブセットは、２５６、５１２、および１０２４のサンプルからなるグループから選択される可変サンプル長を有することができ、さらに、サブフレームのバラバラになったサブセットは、それぞれ２５６のサンプルのサンプル長を有することができる。第１のサブセットのフレーム３２４は、互いに等しいサンプル長を有することができる。上述のように、マルチモードオーディオデコーダ３２０は、グローバルゲイン値を８ビットにさらにビットストリームエレメントを可変数のビットに復号化するように構成されうり、その数は、それぞれのサブフレームのサンプル長に依存する。同様に、マルチモードオーディオデコーダは、グローバルゲイン値を６ビットに復号化し、さらに、ビットストリームエレメントを５ビットに復号化するように構成されうる。エレメントｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎを異なるように符号化するための異なる可能性がある点に留意すべきである。

それが図１〜図４の上述の実施形態で事実であるように、ｇｌｏｂａｌ＿ｇａｉｎエレメントは、対数領域、すなわちオーディオサンプル強度で線形に定義されうる。それは、ｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎに適用される。ｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎを符号化するために、マルチモードオーディオエンコーダ３００は、対数領域においてシンタックスエレメントｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎを得るために、例えば上述のｇａｉｎ＿ＴＣＸ（例えば第１の異なるように符号されたスケールファクタ）のように、それぞれのサブフレーム３１６の線形ゲインエレメントと、対応するフレーム３１０の量子化されたｇｌｏｂａｌ＿ｇａｉｎ、すなわちｇｌｏｂａｌ＿ｇａｉｎの線形化された（指数関数に適用される）バージョンとの比率を、例えば２を底とする対数のような対数にさらすことができる。周知のように、同じ結果が、対数領域において減算を実行することによって得られうる。したがって、マルチモードオーディオデコーダ３２０は、上述のように、マルチモードオーディオデコーダが例えばＴＣＸ符号化された励起およびスペクトル変換係数などの現在サブフレームをスケールしなければならないようなゲインを得るために、線形領域において結果に乗じるために、線形領域に対する指数関数によってシンタックスエレメントｄｅｌｔａ＿ｇｌｏｂａｌ＿ｇａｉｎおよびｇｌｏｂａｌ＿ｇａｉｎを最初に再伝達するように構成されうる。周知のように、同じ結果が、線形領域に移行する前に対数領域において両方のシンタックスエレメントを加算することによって得られうる。

さらに、上述のように、図５ａおよび図５ｂのマルチモードオーディオコーデックは、グローバルゲイン値が固定数の例えば８ビットにさらにビットストリームエレメントが可変数のビットに符号化されるように構成されうり、その数は、それぞれのサブフレームのサンプル長に依存する。あるいは、グローバルゲイン値は、固定数の例えば６ビットに、さらに、ビットストリームエレメントは、例えば、５ビットに符号化されうる。

このように、図５ａおよび図５ｂの実施形態は、不要な品質の欠陥を回避しさらにそれにもかかわらずグローバルゲイン制御に含まれる利点を達成するために、すなわちラウドネスのスケーリングを実行するために復号化および再符号化する必要性を回避するために、ゲイン制御において時間およびビット粒度に関する限り、異なる符号化モードの異なるニーズを考慮するために、サブフレームのゲインシンタックスエレメントを異なるように符号化する利点に焦点を合わせた。

しかしながら、図６ａおよび図６ｂの実施形態は、ＴＣＸ変換符号化に制限されない。例えばＡＡＣなどの他の変換符号化スキームがＣＥＬＰエンコーダ４１０のＣＥＬＰ符号化にかかわりあうことが考えられる。

図６ｂは、図６ａのエンコーダに対応するマルチモードオーディオデコーダを示す。それに示されるように、一般的に４３０で示される図６ｂのデコーダは、符号化されたビットストリーム４３４に基づいてオーディオコンテントの復号化された表現４３２を提供するように構成され、そのフレームの第１のサブセットは、ＣＥＬＰ符号化され（図６ｂにおいて「１」で示され）、さらに、そのフレームの第２のサブセットは、変換符号化される（図６ｂにおいて「２」で示される）。デコーダ４３０は、ＣＥＬＰデコーダ４３６および変換デコーダ４３８を含む。ＣＥＬＰデコーダ４３６は、励起ジェネレータ４４０および線形予測合成フィルタ４４２を含む。

ＣＥＬＰデコーダ４４０は、第１のサブセットの現在フレームを復号化するように構成される。このために、励起ジェネレータ４４０は、符号化されたビットストリーム４３４の中で過去励起４４６および第１のサブセットの現在フレームのコードブックインデックス４４８に基づいてコードブック励起を構築し、さらに、符号化されたビットストリーム４３４の中でグローバルゲイン値４５０に基づいてコードブック励起のゲインを設定することによって、現在フレームの現在励起４４４を生成する。線形予測合成フィルタは、符号化されたビットストリーム４３４の中で現在フレームの線形予測フィルタ係数４５２に基づいて現在励起４４４をフィルタにかけるように構成される。合成フィルタリングの結果は、ビットストリーム４３４の中で現在フレームに対応するフレームで復号化された表現４３２を得るために、表しまたは用いられ、変換デコーダ４３８は、符号化されたビットストリーム４３４から第２のサブセットの現在フレームのためのスペクトル情報４５４を構築し、さらに、時間領域信号のレベルがグローバルゲイン値４５０に依存するように時間領域信号を得るためにスペクトル時間領域変換をスペクトル情報に実行することによって、フレームの第２のサブセットの現在フレームを復号化するように構成される。上述のように、スペクトル情報は、ＴＣＸデコーダである変換デコーダの場合に励起のスペクトル、または、ＦＤ復号化モードの場合に元のオーディオコンテントであってもよい。

励起ジェネレータ４４０は、第１のサブセットの現在フレームの現在励起４４４を生成する際に、符号化されたビットストリームの中で過去励起および第１のサブセットの現在フレームの適応コードブックインデックスに基づいて適応コードブック励起を構築し、符号化されたビットストリームの中で第１のサブセットの現在フレームのためのイノベーションコードブックインデックスに基づいてイノベーションコードブック励起を構築し、コードブック励起のゲインとして、符号化されたビットストリームの中でグローバルゲイン値に基づいてイノベーションコードブック励起のゲインを設定し、さらに、第１のサブセットの現在フレームの現在励起４４４を得るために適応コードブック励起およびイノベーションコードブック励起を結合するように構成される。すなわち、励起ジェネレータ４４４は、図４に関して上述のように具現化されうるが、必ずしもそうする必要があるというわけではない。

さらに、変換デコーダは、スペクトル情報が現在フレームの現在励起に関するように構成されうり、さらに、変換デコーダ４３８は、第２のサブセットの現在フレームを復号化する際に、符号化されたビットストリーム４３４の中で第２のサブセットの現在フレームのための線形予測フィルタ係数によって定義される線形予測合成フィルタ遷移関数に従って第２のサブセットの現在フレームの現在励起をスペクトル的に形成するように構成され、その結果、スペクトル情報の上のスペクトル時間領域変換の性能は、オーディオコンテントのデコーダ表現４３２をもたらす。換言すれば、変換デコーダ４３８は、図４に関して上述のように、ＴＣＸエンコーダとして具現化されうるが、これは、義務的でない。

変換デコーダ４３８は、線形予測フィルタ係数を線形予測スペクトルに変換し、さらに、現在励起のスペクトル情報を線形予測スペクトルで重み付けることによってスペクトル情報を実行するようにさらに構成されうる。これは、１４４に関して上に記載された。上述のように、変換デコーダ４３８は、スペクトル情報をグローバルゲイン値４５０でスケールするように構成されうる。このように、変換デコーダ４３８は、オーディオコンテントの復号化された表現４３２を得るために、グローバルゲイン値に基づいてスケールファクタをスケールするとともに、符号化されたビットストリームの中でスペクトル変換係数およびスケールファクタバンドのスペクトル粒度においてスペクトル変換係数をスケールするための符号化されたビットストリームの中でスケールファクタを用いて、第２のサブセットの現在フレームのためのスペクトル情報を構築するように構成されうる。

図６ａおよび図６ｂの実施形態は、ＣＥＬＰ符号化された部分のゲイン調整が変換符号化された部分のゲイン調整機能または制御機能に結合されることに従ってそれがコードブック励起のゲインであることに従って、図１〜図４の実施形態の有利な形態を強調する。

図７ａおよび図７ｂに関して次に記載される実施形態は、他の符号化モードの存在を必要とすることなしに、上述の実施形態に記載されているＣＥＬＰコーデック部分に焦点を合わせる。むしろ、図７ａおよび図７ｂに関して記載されるＣＥＬＰ符号化概念は、ＣＥＬＰ符号化されたデータのゲイン制御機能が従来のＣＥＬＰにおいて達成される可能がない微細な可能な粒度で復号化された再生のゲイン調整を達成するために、ゲイン制御能力を重み付け領域に実装することによって実現される、図１〜図４に関して記載される第２の変形例に焦点を合わせる。さらに、重み付け領域において上述のゲインを計算することは、オーディオ品質を改善することができる。

また、図７ａは、エンコーダを示し、さらに、図７ｂは、対応するデコーダを示す。図７ａのＣＥＬＰエンコーダは、ＬＰアナライザ５０２、励起ジェネレータ５０４、およびエネルギー決定器５０６を含む。線形予測アナライザは、オーディオコンテント５１２の現在フレーム５１０のための線形予測係数５０８を生成し、さらに、線形予測フィルタ係数５０８をビットストリーム５１４に符号化するように構成される。励起ジェネレータ５０４は、適応コードブック励起５２０およびイノベーションコードブック励起５２２の結合５１８として現在フレーム５１０の現在励起５１６を決定するように構成され、それは、線形予測フィルタ係数５０８に基づいて線形予測合成フィルタによってフィルタにかけられるときに、過去励起５２４および現在フレーム５１０のための適応コードブックインデックス５２６によって適応コードブック励起５２０を構築し、さらに、適応コードブックインデックス５２６をビットストリーム５１４に符号化し、さらに、現在フレーム５１０のためのイノベーションコードブックインデックス５２８によって定義されるイノベーションコードブック励起を構築し、さらに、イノベーションコードブックインデックスをビットストリーム５１４に符号化することによって、現在フレーム５１０をリカバーする。

エネルギー決定器５０６は、ゲイン値５３０を得るために、線形予測分析から出される（から導き出される）重み付けフィルタによってフィルタにかけられる、現在フレーム５１０のオーディオコンテント５１２のバージョンのエネルギーを決定するように構成され、さらに、ゲイン値５３０をビットストリーム５１４に符号化し、重み付けフィルタは、線形予測係数５０８から構築される。

図７ｂは、励起ジェネレータ５４０およびＬＰ合成フィルタ５４２を有するように、対応するＣＥＬＰデコーダを示す。励起ジェネレータ５４０は、ビットストリームの中で、過去励起５４８および現在フレーム５４４のための適応コードブックインデックス５５０に基づいて適応コードブック励起５４６を構築し、ビットストリームの中で現在フレーム５４４のためのイノベーションコードブックインデックス５５４に基づいてイノベーションコードブック励起５５２を構築し、ビットストリームの中で線形予測フィルタ係数５５６から構築される重み付け線形予測合成フィルタH2によってスペクトル的に重み付けられるイノベーションコードブック励起のエネルギーの推定を計算し、ビットストリームの中のゲイン値５６０および推定されたエネルギー間の比率に基づいてイノベーションコードブック励起５５２のゲイン５５８を設定し、さらに現在励起５４２を得るために適応コードブック励起およびイノベーションコードブック励起を結合することによって、現在フレーム５４４のための現在励起５４２を生成するように構成されうる。線形予測合成フィルタ５４２は、線形予測フィルタ係数５５６に基づいて現在励起５４２をフィルタにかける。

励起ジェネレータ５４０は、適応コードブック励起５５６およびイノベーションコードブック励起５５４を結合する際に、適応コードブックインデックス５５６に依存する重み付けファクタで重み付けられる適応コードブック励起５５６およびゲインで重み付けられるイノベーションコードブック励起５５４の重み付け合計を形成するように構成されうる。

ＬＰＤモードのためのさらなる考慮は、以下のリストにおいて概説される。
・品質改善は、新しいゲイン調整の統計をより正確に整合するためにＡＣＥＬＰにおいてゲインＶＱを再トレーニングすることによって達成されることができる。
・ＡＡＣにおいてグローバルゲイン符号化は、
・それがＴＣＸにおいて行われるようにそれを８ビットの代わりに６／７ビットに符号化する。それは、現在の動作点で働くことができるが、オーディオ入力が１６ビットより大きい分解能を有するときに、それは制限でありえる。
・ＴＣＸ量子化を整合するために統一グローバルゲインの分解能を増加する（これは、上述の第２のアプローチに対応する）。スケールファクタがＡＡＣにおいて適用されるやり方で、それは、そのような正確な量子化を有することは必要でない。さらに、それは、ＡＡＣ構造において多くの修正およびスケールファクタのためのより多くのビット消費を意味する。
によって修正されることができる。
・ＴＣＸグローバルゲインは、スペクトル係数を量子化する前に量子化されうる。それは、ＡＡＣにおいてこのやり方をされ、さらに、それは、唯一の誤差の原因であるスペクトル係数の量子化を許可する。このアプローチは、行う最も簡潔なやり方に見える。それにもかかわらず、符号化されたＴＣＸグローバルゲインは、エネルギーを現在表し、その量は、ＡＣＥＬＰにも有用である。このエネルギーは、ゲインを符号化するための２つの符号化スキーム間のブリッジとして上述のゲイン制御統一化アプローチに用いられた。

上述の実施形態は、ＳＢＲが用いられる実施形態に遷移可能である。ＳＢＲエネルギーエンベロープ符号化は、繰り返されるスペクトルバンドのエネルギーがベースバンドエネルギーのエネルギーすなわち上述のコーデック実施形態が適用されるスペクトルバンドのエネルギーに関連して／異なるように送信され／符号化されるように実行されうる。

従来のＳＢＲにおいて、エネルギーエンベロープは、コアバンド幅エネルギーから独立している。そして、拡張バンドのエネルギーエンベロープは、絶対的に再構築される。言い換えれば、コアバンド幅が水平に調整されるときに、それは、不変のままである拡張バンドに影響を及ぼさない。

ＳＢＲにおいて、２つの符号化スキームは、異なる周波数バンドのエネルギーを送信するために用いられうる。第１のスキームは、時間方向において異なる符号化にある。異なるバンドのエネルギーは、前のフレームの対応するバンドから異なるように符号化される。この符号化スキームの使用によって、現在フレームエネルギーは、前のフレームエネルギーがすでに処理された場合に自動的に調整される。

第２の符号化スキームは、周波数方向においてエネルギーのデルタ符号化である。現在のバンドエネルギーおよび周波数において前のバンドのエネルギー間の差は、量子化されさらに送信される。第１のバンドのエネルギーだけが、絶対的に符号化される。この第１のバンドエネルギーの符号化は、修正されうり、さらに、コアバンド幅のエネルギーに関連して作られうる。このようにして、拡張バンド幅は、コアバンド幅が修正されるときに自動的に水平に調整される。

ＳＢＲエネルギーエンベロープ符号化のための他のアプローチは、コアコーダの共通のグローバルゲインエレメントと同様な粒度を得るために周波数方向においてデルタ符号化を用いるときに、第１のバンドエネルギーの量子化ステップを変更することを用いることができる。このようにして、完全なレベル調整は、周波数方向においてデルタ符号化が用いられるときに、コアコーダの共通のグローバルゲインのインデックスおよびＳＢＲの第１のバンドエネルギーのインデックスを修正することによって達成することができる。

このように、換言すれば、ＳＢＲデコーダは、ビットストリームのコアコーダ部分を復号化するためのコアデコーダとして上述のデコーダのいずれかを含むことができる。そして、ＳＢＲデコーダは、ビットストリームのＳＢＲ部分から、繰り返されるスペクトルバンドのためのエンベロープエネルギーを復号化し、コアバンド信号のエネルギーを決定し、さらに、コアバンド信号のエネルギーに従ってエンベロープエネルギーをスケールすることができる。そして、オーディオコンテントの再構築された表現の繰り返されたスペクトルバンドは、上述のｇｌｏｂａｌ＿ｇａｉｎシンタックスエレメントで本質的にスケールするエネルギーを有する。

このように、上述の実施形態によれば、ＵＳＡＣのためのグローバルゲインの統一化は、以下のようにして働くことができる。現在、それぞれのＴＣＸフレーム（長さ２５６、５１２または１０２４のサンプル）のための７ビットグローバルゲイン、または、対応して、それぞれのＡＣＥＬＰフレーム（長さ２５６のサンプル）のための２ビット平均エネルギー値がある。ＡＡＣフレームとは対照的に、１０２４フレームごとにグローバルな値がない。これを統一するために、８ビットを有する１０２４フレームごとにグローバルな値は、ＴＣＸ／ＡＣＥＬＰ部品のために導入されることができ、さらに、ＴＣＸ／ＡＣＥＬＰフレームごとに対応する値は、このグローバルな値に対して異なるように符号化されることができる。この異なる符号化のため、これらの個々の差のためのビットの数は、低減することができる。

いくつかの形態が装置との関係で記載されたにもかかわらず、これらの形態も対応する方法の記載を表すことが明らかであり、ブロックまたはデバイスは、方法ステップまたは方法ステップの機能に対応する。同様に、方法ステップとの関係で記載される形態は、対応するブロック若しくはアイテムまたは対応する装置の記載を表す。方法ステップのいくらかまたはすべては、例えばマイクロプロセッサ、プログラミング可能なコンピュータまたは電子回路のように、ハードウェア装置（またはそれを用いること）によって実行されうる。いくつかの実施形態において、最も重要な方法ステップの１つ以上は、そのような装置によって実行されうる。

本発明の符号化されたオーディオ信号は、デジタル記憶媒体に格納することができ、または、例えばインターネットなどの例えば無線伝送媒体または有線伝送媒体などの伝送媒体に送信することができる。

特定の実施要求に応じて、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実装することができる。実施は、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）、それに格納される電子的に可読の制御信号を有するデジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ（登録商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。

本発明によるいくつかの実施形態は、電子的に可読の制御信号を有するデータキャリアを含み、それは、ここに記載される方法の１つが実行されるように、プログム可能なコンピュータシステムと協働することができる。

一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、そのプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、方法の１つを実行するために働く。プログラムコードは、例えば機械可読のキャリアに格納されうる。

他の実施形態は、ここに記載され機械可読のキャリアに格納される方法の１つを実行するためのそのコンピュータプログラムを含む。

したがって、換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、ここに記載される方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の方法のさらなる実施形態は、それに記録され、ここに記載される方法の１つを実行するためのコンピュータプログラムを含むデータキャリア（またはデジタル記憶媒体またはコンピュータ可読の媒体）である。そのデータキャリア、デジタル記憶媒体または記録された媒体は、典型的に有形でありおよび／または非過渡的である。

したがって、本発明の方法のさらなる実施形態は、ここに記載される方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。そのデータストリームまたは一連の信号は、例えば、データ通信接続を介して、例えばインターネットを介して伝送されるように構成されうる。

さらなる実施形態は、ここに記載される方法の１つを実行するように構成されまたは適応される、処理手段、例えばコンピュータ、またはプログラム可能な論理デバイスを含む。

さらなる実施形態は、その上に、ここに記載される方法の１つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。

本発明のさらなる実施形態は、ここに記載される方法の１つを実行するためのコンピュータプログラムをレシーバに（例えば電子的にまたは光学的に）伝送するように構成される装置またはシステムを含む。そのレシーバは、例えば、コンピュータ、モバイル機器、メモリデバイスなどであってもよい。装置またはシステムは、例えば、コンピュータプログラムをレシーバに伝送するためのファイルサーバを含むことができる。

いくつかの実施形態において、プログラム可能な論理デバイス（例えばフィールドプログラマブルゲートアレイ）は、ここに記載される方法の機能性のいくつかまたはすべてを実行するために用いられうる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、ここに記載される方法の１つを実行するために、マイクロプロセッサと協働することができる。一般的に、その方法は、いかなるハードウェア装置によっても好ましく実行される。

上述の実施形態は、本発明の原理のために単に例示するだけである。ここに記載される構成および詳細の修正および変更が他の当業者にとって明らかであるものと理解される。したがって、本発明は、特許の請求の範囲によってだけ限定され、ここに実施形態の記述および説明として表される具体的な詳細によって限定されないと意図される。

Claims

符号化されたビットストリーム（４３４）に基づいてオーディオコンテントの復号化された表現（４３２）を提供するためのマルチモードオーディオデコーダであって、前記符号化されたビットストリーム（４３４）は、第１のフレーム（４０６）および第２のフレーム（４０８）を含み、前記第１のフレームは、ＣＥＬＰ符号化され、さらに、第２のフレームは、変換符号化され、前記マルチモードオーディオデコーダは、
前記第１のフレーム（４０６）の現在の第１のフレームを復号化するように構成されるＣＥＬＰデコーダ（４３６）を含み、前記ＣＥＬＰデコーダは、
前記符号化されたビットストリームの中で過去励起（４４６）および前記現在の第１のフレームのコードブックインデックス（４４８）に基づいてコードブック励起を構築し、さらに、前記符号化されたビットストリーム（４３４）の中でグローバルゲイン値（４５０）に基づいて前記コードブック励起のゲインを設定することによって、前記現在の第１のフレームの現在励起（４４４）を生成するように構成される励起ジェネレータ（４４０）、および
前記符号化されたビットストリームの中で前記現在の第１のフレームのための線形予測フィルタ係数（４５２）に基づいて前記現在励起（４４４）をフィルタにかけるように構成される線形予測合成フィルタ（４４２）を含み、
前記マルチモードオーディオデコーダは、
前記符号化されたビットストリーム（４３４）から前記現在の第２のフレームのためのスペクトル情報を構築し、さらに、時間領域信号のレベルが前記グローバルゲイン値（４５０）に依存するように時間領域信号を得るためにスペクトル時間領域変換を前記スペクトル情報に実行する
ことによって前記第２のフレーム（４０８）の現在の第２のフレームを復号化するように構成される変換デコーダ（４３８）をさらに含む、マルチモードオーディオデコーダ。
前記励起ジェネレータ（４４０）は、前記現在の第１のフレームの前記現在励起（４４４）を生成する際に、
前記符号化されたビットストリームの中で過去励起および前記現在の第１のフレームの適応コードブックインデックスに基づいて適応コードブック励起を構築し、
前記符号化されたビットストリームの中で前記現在の第１のフレームのためのイノベーションコードブックインデックスに基づいてイノベーションコードブック励起を構築し、
前記コードブック励起の前記ゲインとして、前記符号化されたビットストリームの中で前記グローバルゲイン値（４５０）に基づいて前記イノベーションコードブック励起のゲインを設定し、さらに
前記現在の第１のフレームの前記現在励起（４４４）を得るために、前記適応コードブック励起および前記イノベーションコードブック励起を結合する
ように構成される、請求項１に記載のマルチモードオーディオデコーダ。
前記変換デコーダ（４３８）は、前記スペクトル情報が前記現在の第２のフレームの現在励起に関するように構成され、さらに、前記変換デコーダ（４３８）は、前記現在の第２のフレームを復号化する際に、前記スペクトル時間領域変換の前記スペクトル情報への前記実行が前記オーディオコンテント（３０２、４０２）の前記復号化された表現（４３２）をもたらすように、前記符号化されたビットストリーム（４３４）の中で前記現在の第２のフレームのための線形予測フィルタ係数（４５４）によって定義される線形予測合成フィルタ伝達関数による前記現在の第２のフレームの前記現在励起をスペクトル的に形成するようにさらに構成される、請求項１または請求項２に記載のマルチモードオーディオデコーダ。
前記変換デコーダ（４３８）は、前記線形予測フィルタ係数（４５４）を線形予測スペクトルに変換し、さらに、前記現在励起の前記スペクトル情報を前記線形予測スペクトルで重み付けることによって、前記スペクトル形成を実行するように構成される、請求項３に記載のマルチモードオーディオデコーダ。
前記変換デコーダ（４３８）は、前記スペクトル情報を前記グローバルゲイン値でスケールするように構成される、請求項１ないし請求項４のいずれかに記載のマルチモードオーディオデコーダ。
前記変換デコーダ（４３８）は、前記オーディオコンテントの前記復号化された表現を得るために、前記グローバルゲイン値に基づいてスケールファクタをスケールすることで、前記符号化されたビットストリーム（４３４）の中でスペクトル変換係数およびスケールファクタバンドのスペクトル粒度において前記スペクトル変換係数をスケールするための前記符号化されたビットストリームの中でスケールファクタを用いて、前記現在の第２のフレームのための前記スペクトル情報を構築するように構成される、請求項１または請求項２に記載のマルチモードオーディオデコーダ。
オーディオコンテント（４０２）の第１のフレーム（４０６）をＣＥＬＰ符号化しさらに第２のフレーム（４０８）を変換符号化することによってオーディオコンテント（４０２）を符号化されたビットストリーム（４０４）に符号化するためのマルチモードオーディオエンコーダであって、前記マルチモードオーディオエンコーダは、
前記第１のフレーム（４０６）の現在の第１のフレームを符号化するように構成されるＣＥＬＰエンコーダを含み、前記ＣＥＬＰエンコーダは、
前記現在の第１のフレームのための線形予測フィルタ係数（４１８）を生成しさらにそれを前記符号化されたビットストリーム（４０４）に符号化するように構成される線形予測アナライザ（４１４）、および
前記現在の第１のフレームの現在励起（４２２）を決定するように構成され、前記符号化されたビットストリーム（４０４）の中で前記線形予測フィルタ係数（４１８）に基づいて線形予測合成フィルタによってフィルタにかけられるときに、前記現在の第１のフレームをリカバーし、過去励起（４２０）および前記現在の第１のフレームのためのコードブックインデックス（４２２）によって定義され、さらに、前記コードブックインデックス（４２２）を前記符号化されたビットストリーム（４０４）に符号化する、励起ジェネレータ（４１６）を含み、さらに
前記マルチモードオーディオエンコーダは、スペクトル情報（４２４）を得てさらに前記スペクトル情報を前記符号化されたビットストリーム（４０４）に符号化するために前記現在の第２のフレームのための時間領域信号に時間スペクトル領域変換を実行することによって前記第２のフレームの現在の第２のフレームを符号化するように構成される変換エンコーダ（４１２）をさらに含み、
前記マルチモードオーディオエンコーダは、グローバルゲイン値（４２６）を前記符号化されたビットストリーム（４０４）に符号化するように構成され、前記グローバルゲイン値は、前記線形予測フィルタ係数（４１８）に依存する前記線形予測分析フィルタでフィルタにかけられる、前記現在の第１のフレームの前記オーディオコンテント（４０２）のバージョンのエネルギーに、および前記時間領域信号のエネルギーに依存する、マルチモードオーディオエンコーダ。
符号化されたビットストリーム（４３４）に基づいてオーディオコンテントの復号化された表現（４３２）を提供するためのマルチモードオーディオ復号化方法であって、前記符号化されたビットストリーム（４３４）は、第１のフレーム（４０６）および第２のフレーム（４０８）を含み、前記第１のフレームは、ＣＥＬＰ符号化され、さらに、前記第２のフレームは、変換符号化され、前記方法は、
前記第１のフレーム（４０６）の現在の第１のフレームをＣＥＬＰ復号化するステップを含み、前記ＣＥＬＰ復号化するステップは、
前記符号化されたビットストリームの中で過去励起（４４６）および前記現在の第１のフレームのコードブックインデックス（４４８）に基づいてコードブック励起を構築し、さらに、前記符号化されたビットストリーム（４３４）の中でグローバルゲイン値（４５０）に基づいて前記コードブック励起のゲインを設定することによって、前記現在の第１のフレームの現在励起（４４４）を生成するステップ、および
前記符号化されたビットストリームの中で前記現在の第１のフレームのための線形予測フィルタ係数（４５２）に基づいて前記現在励起（４４４）をフィルタにかけるステップを含み、
前記方法は、
前記符号化されたビットストリーム（４３４）から前記現在の第２のフレームのためのスペクトル情報を構築し、さらに、時間領域信号のレベルが前記グローバルゲイン値（４５０）に依存するように時間領域信号を得るためにスペクトル時間領域変換を前記スペクトル情報に実行する
ことによって、前記第２のフレーム（４０８）の現在の第２のフレームを変換復号化するステップをさらに含む、方法。
オーディオコンテント（４０２）の第１のフレーム（４０６）をＣＥＬＰ符号化しさらに第２のフレーム（４０８）を変換符号化することによってオーディオコンテント（４０２）を符号化されたビットストリーム（４０４）に符号化するためのマルチモードオーディオ符号化方法であって、前記マルチモードオーディオ符号化方法は、
前記第１のフレームの現在の第１のフレームを符号化するステップを含み、前記ＣＥＬＰ符号化するステップは、
前記現在の第１のフレームのための線形予測フィルタ係数（４１８）を生成しさらにそれを前記符号化されたビットストリーム（４０４）に符号化するために線形予測分析を実行するステップ、および
前記現在の第１のフレームの現在励起（４２２）を決定するステップであって、前記符号化されたビットストリーム（４０４）の中で前記線形予測フィルタ係数（４１８）に基づいて線形予測合成フィルタによってフィルタにかけられるときに、前記現在の第１のフレームをリカバーし、過去励起（４２０）および前記現在の第１のフレームのためのコードブックインデックス（４２２）によって定義され、さらに、前記コードブックインデックス（４２２）を前記符号化されたビットストリーム（４０４）に符号化する、ステップを含み、さらに
前記マルチモードオーディオ符号化方法は、スペクトル情報（４２４）を得てさらに前記スペクトル情報を前記符号化されたビットストリーム（４０４）に符号化するために前記現在の第２のフレームのための時間領域信号に時間スペクトル領域変換を実行することによって前記第２のフレームの現在の第２のフレームを符号化するステップをさらに含み、
前記マルチモードオーディオ符号化方法は、グローバルゲイン値（４２６）を前記符号化されたビットストリーム（４０４）に符号化するステップをさらに含み、前記グローバルゲイン値は、前記線形予測フィルタ係数（４１８）に依存する前記線形予測分析フィルタでフィルタにかけられる、前記現在の第１のフレームの前記オーディオコンテント（４０２）のバージョンのエネルギーに、および前記時間領域信号のエネルギーに依存する、マルチモードオーディオ符号化方法。
コンピュータ上で実行されるときに、請求項８に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
コンピュータ上で実行されるときに、請求項９に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。