JP5456914B2 - サンプリングレート依存型タイムワープコンター符号化を用いた、オーディオ信号復号器、オーディオ信号符号化器、方法、およびコンピュータプログラム - Google Patents

Description

本発明による実施形態は、オーディオ信号復号器に関する。本発明によるさらなる実施形態は、オーディオ信号符号化器に関する。本発明によるさらなる実施形態は、オーディオ信号を復号するための方法、オーディオ信号を符号化するための方法、およびコンピュータプログラムに関する。

本発明によるいくつかの実施形態は、サンプリング周波数依存型ピッチ変動量子化に関する。

以下に、タイムワープ型オーディオ符号化の分野について簡単に紹介する。タイムワープ型オーディオ符号化の概念は、本発明の実施形態のいくつかと共に適用することができる。

近年、オーディオ信号を周波数領域表現へ変換し、この周波数領域表現を、例えば知覚マスキング閾値を考慮して、効率的に符号化するための技術が開発されてきている。オーディオ信号符号化のこの概念は、符号化されたスペクトル係数の集合が送信されるブロック長が長い場合、およびグローバルなマスキング閾値を充分に上回るスペクトル係数の数が比較的少数であって、スペクトル係数のうちの多くがグローバルなマスキング閾値の付近またはそれ未満であり、ゆえに無視することが可能である（あるいは、最小限のコード長でコーディングすることが可能である）場合に、特に効率的である。前述の条件が成立するスペクトルは、スパーススペクトルと呼ばれる場合がある。

例えば、余弦ベースまたは正弦ベースの変調重複変換が、それらのエネルギー圧縮特性ゆえに、ソースコーディングのための用途においてしばしば使用される。すなわち、一定の基本周波数（ピッチ）を有する倍音については、これら変調重複変換により、信号のエネルギーが少数のスペクトル成分（サブ帯域）に集中し、効率的な信号表現がもたらされる。

一般に、信号の（基本）ピッチは、当該信号のスペクトルから識別することができる最も低い優位周波数であると理解されるべきである。一般的なスピーチモデルにおいて、ピッチは人間の喉によって変調された励起信号の周波数である。ただ１つの基本周波数だけが存在すると考えられる場合、スペクトルはきわめて単純になり、基本周波数および倍音だけを含むと考えられる。このようなスペクトルは、きわめて効率的に符号化することが可能である。しかしながら、ピッチが変動する信号については、各高調波成分に対応するエネルギーが、いくつかの変換係数にわたって広がり、コーディング効率が低下することになる。

このコーディング効率の低下を克服するために、符号化されるオーディオ信号は非一様な時間格子上で有効に再サンプリングされる。続く処理において、非一様な再サンプリングによって得られたサンプル位置があたかも一様な時間格子上の値を表わしているかのように処理される。この操作は、一般に、「タイムワーピング」という用語で呼ばれている。サンプル時間は、オーディオ信号のタイムワープされたバージョンにおけるピッチ変動がオーディオ信号の（タイムワーピング前の）元のバージョンにおけるピッチ変動よりも小さくなるように、ピッチの時間変動に依存して有利には選択することができる。オーディオ信号をタイムワーピングさせた後で、オーディオ信号のタイムワープされたバージョンが周波数領域に変換される。ピッチ依存型タイムワーピングは、タイムワープされたオーディオ信号の周波数領域表現が、一般的には、元の信号（タイムワープされていないオーディオ信号）の周波数領域表現と比べて、はるかに少数のスペクトル成分へのエネルギー圧縮を呈するという効果を有する。

復号器側において、タイムワープされたオーディオ信号の周波数領域表現は、タイムワープされたオーディオ信号の時間領域表現を復号器側において利用できるように、時間領域へ変換される。しかしながら、復号器側で復元されたタイムワープされたオーディオ信号の時間領域表現には、符号器側での入力オーディオ信号の元のピッチ変動が含まれていない。したがって、復号器側で復元されたタイムワープされたオーディオ信号の時間領域表現の再サンプリングによるさらに別のタイムワーピングが適用される。

復号器側において符号化器側での入力オーディオ信号の良好な復元を実現するために、復号器側でのタイムワーピングが、符号化器側でのタイムワーピングに対して少なくともほぼ逆の動作であることが望ましい。適切なタイムワーピングを実現するために、復号器側でのタイムワーピングの調整を可能にする情報が復号器において入手可能であることが望ましい。

このような情報をオーディオ信号符号化器からオーディオ信号復号器へ伝達することが一般的に必要とされるため、この伝達に必要なビットレートを小さく抑えながらも、復号器側における必要なタイムワープ情報の確実な復元を可能にすることが望まれる。

このような状況に鑑み、タイムワープ情報の信頼性の高い復元を、当該タイムワープ情報の効率的に符号化された表現に基づいて可能にする概念が所望される。

本発明による一実施形態は、復号されたオーディオ信号表現を、サンプリング周波数情報と、符号化されたタイムワープ情報と、符号化されたスペクトル表現とを含む符号化されたオーディオ信号表現に基づいて提供するように構成されたオーディオ復号器を実現する。オーディオ信号復号器は、タイムワープ計算部（例えば、タイムワープ復号部の機能を果たし得る）と、ワープ復号部とを備える。タイムワープ計算部は、符号化されたタイムワープ情報を復号されたタイムワープ情報にマッピングするように構成されている。タイムワープ計算部は、符号化されたタイムワープ情報のコードワードを復号されたタイムワープ情報を示す復号されたタイムワープ値にマッピングするためのマッピング規則をサンプリング周波数情報に応じて適合させるように構成されている。ワープ復号部は、復号されたオーディオ信号表現を、符号化されたスペクトル表現に基づいてかつ復号されたタイムワープ情報に応じて提供するように構成されている。

本発明によるこの実施形態は、タイムワープ（例えば、タイムワープコンターによって示される）は、符号化されたタイムワープ情報のコードワードを復号されたタイムワープ値にマッピングするためのマッピング規則をサンプリングレートに適合させた場合に効率的に符号化することができるという知見に基づいている。その理由は、高いサンプリング周波数よりも低いサンプリング周波数について１サンプル当たりより大きいタイムワープを表すことが望ましいことが分かったからである。このような望ましさは、符号化されたタイムワープ情報のコードワードの集合によって表現可能な時間単位当たりのタイムワープがサンプリング周波数にほぼ非依存であれば有利であるという事実から生じるということが分かった。これは、言い換えると、１オーディオサンプル（または１オーディオフレーム）当たりのタイムワープコードワードの数が実際のサンプリング周波数に関係なく少なくともほぼ一定であると仮定した場合、コードワードの所与の集合によって表現可能なタイムワープは、高いサンプリング周波数についてよりも小さいサンプリング周波数についての方が大きくなければならないということになる。

要約すると、符号化されたタイムワープ情報のコードワード（簡単にタイムワープコードワードとしても示す）を復号されたタイムワープ値にマッピングするためのマッピング規則を符号化されたオーディオ信号（符号化されたオーディオ信号表現によって表される）のサンプリング周波数に応じて適合させることは有利であることが分かった。なぜなら、これにより、比較的高いサンプリング周波数および比較的低いサンプリング周波数の両方の場合について、タイムワープコードワードの小さい（そして結果的にビットレート効率のよい）集合を用いて重要なタイムワープ値を表現することが可能となるからである。

マッピング規則を適合させることにより、比較的高いサンプリング周波数についてはより高い分解能を用いてタイムワープ値の比較的小さい範囲を符号化し、比較的小さいサンプリング周波数についてはより粗い分解能を用いてタイムワープ値のより大きい範囲を符号化することが可能となり、これにより、非常に優れたビットレート効率が実現される。

好ましい実施形態において、符号化されたタイムワープ情報のコードワードは、タイムワープコンターの時間変遷（時間的変化）を示す。タイムワープ計算部は、符号化されたタイムワープ情報の所定数のコードワードを、符号化されたオーディオ信号表現によって表される符号化されたオーディオ信号のオーディオフレームについて評価するように構成されているのが好ましい。コードワードの所定数は、符号化されたオーディオ信号のサンプリング周波数に依存しない。したがって、ビットストリームフォーマットをサンプリング周波数から実質的に非依存のままとしながらも、タイムワープを効率的に符号化することが可能となる。符号化されたオーディオ信号のオーディオフレームについて所定数のタイムワープコードワードを使用することにより（ここで、所定数は、符号化されたオーディオ信号のサンプリング周波数に依存しないのが好ましい）、ビットストリームフォーマットがサンプリング周波数と共に変化することがなく、オーディオ復号器のビットストリームパーサをサンプリング周波数に調整する必要が無い。しかしながら、タイムワープの効率的な符号化は、符号化されたタイムワープ情報のコードワードを復号されたタイムワープ値にマッピングするためのマッピング規則を適合させることによってやはり実現することができる。なぜなら、タイムワープコードワードの復号されたタイムワープ値へのマッピングは、異なるサンプリング周波数についての分解能と最大符号化可能タイムワープとの良好な妥協がタイムワープ値の表現可能な範囲によってもたらされるようにサンプリング周波数に適合させることができるからである。

好ましい実施形態において、タイムワープ計算部は、符号化されたタイムワープ情報のコードワードの所与の集合がマッピングされる復号されたタイムワープ値の範囲が、第２のサンプリング周波数についてよりも第１のサンプリング周波数について大きくなるように、マッピング規則を適合させるよう構成されている（但し、第１のサンプリング周波数は第２のサンプリング周波数よりも小さい）。したがって、比較的高いサンプリング周波数についてタイムワープ値の比較的小さい範囲を符号化するのと同じコードワードが、比較的小さいサンプリング周波数についてタイムワープ値の比較的大きい範囲を符号化する。よって、比較的低いサンプリング周波数についてよりも比較的高いサンプリング周波数についての方が時間単位当たりより多くのタイムワープコードワードが送信される場合であっても、高いサンプリング周波数および低いサンプリング周波数について、（例えば、オクターブ／秒（簡単に「ｏｃｔ／ｓ」として示す）で定義される）時間単位当たりほぼ同じタイムワープを符号化することができることが保証され得る。

好ましい実施形態において、復号されたタイムワープ値は、タイムワープコンターの値を表すタイムワープコンター値、またはタイムワープコンターの値の変化を表すタイムワープコンター変動値である。

好ましい実施形態において、タイムワープ計算部は、符号化されたタイムワープ情報のコードワードの所与の集合によって表現可能な、所与の数のサンプルにわたるピッチの最大変化が、第２のサンプリング周波数についてよりも第１のサンプリング周波数について大きくなるように、マッピング規則を適合させるよう構成されている（但し、第１のサンプリング周波数は第２のサンプリング周波数よりも小さい）。したがって、復号されたタイムワープ値の異なる範囲を示すために、異なるサンプリング周波数に対して非常に良好に適合されたコードワードの同じ集合が使用される。

好ましい実施形態において、タイムワープ計算部は、第１のサンプリング周波数における符号化されたタイムワープ情報のコードワードの所与の集合によって表現可能な、所与の期間にわたるピッチの最大変化が、第２のサンプリング周波数における符号化されたタイムワープ情報のコードワードの所与の集合によって表現可能な、所与の期間にわたるピッチの最大変化と、第１のサンプリング周波数については１０％未満しか異ならず、第２のサンプリング周波数については少なくとも３０％異なるように、マッピング規則を適合させるよう構成されている。したがって、本発明によれば、従来のようにコードワードの所与の集合が異なるサンプリング周波数について表す時間単位当たりのタイムワープが著しく異なることがマッピング規則の適合により回避される。よって、異なるコードワードの数を妥当に小さく抑えることができ、その結果、タイムワープの符号化の分解能をサンプリング周波数に適合されながらも良好なコーディング効率が得られる。

好ましい実施形態において、タイムワープ計算部は、サンプリング周波数情報に応じて、符号化されたタイムワープ情報のコードワードを復号されたタイムワープ値にマッピングするための異なるマッピングテーブルを使用するように構成されている。異なるマッピングテーブルを用意することにより、メモリ要件を犠牲にして復号機構を非常に簡素にしておくことができる。

別の好ましい実施形態において、タイムワープ計算部は、基準サンプリング周波数について符号化されたタイムワープ情報の異なるコードワードに対応付けられた復号されたタイムワープ値を示す（基準）マッピング規則を、基準サンプリング周波数とは異なる実際のサンプリング周波数に適合させるように構成されている。したがって、単一の基準サンプリング周波数について異なるコードワードの集合に対応付けられたマッピング値（すなわち、復号されたタイムワープ値）を格納するだけでよいため、必要となるメモリを小さく抑えることができる。小さな計算労力でマッピング値を異なるサンプリング周波数に適合させることができることが分かった。

好ましい実施形態において、タイムワープ計算部は、タイムワープを示すマッピング値の部分を、実際のサンプリング周波数と基準サンプリング周波数との比に応じてスケーリングするように構成されている。マッピング値の部分のこのような線形スケーリングは、異なるサンプリング周波数についてのマッピング値を取得するための特に効率的な解決策となることが分かった。

好ましい実施形態において、復号されたタイムワープ値は、符号化されたオーディオ信号表現によって表される符号化されたオーディオ信号の所定数のサンプルにわたるタイムワープコンターの変動を示す。この場合、タイムワープ計算部は、タイムワープコンターの変動を表す複数の復号されたタイムワープ値を組み合わせて、ワープコンターノード値を導出し、当該導出されたワープノード値の基準ワープノード値からの偏差が、復号されたタイムワープ値のうちの１つによって表現可能な偏差よりも大きくなるようにするよう構成されているのが好ましい。複数の復号されたタイムワープ値を組み合わせることにより、個々のタイムワープ値に必要とされる範囲を十分に小さく維持することができる。これにより、タイムワープ値のコーディング効率が高くなる。同時に、マッピング規則を適合させることにより、表現可能なタイムワープの範囲を調整することができる。

好ましい実施形態において、符号化されたタイムワープ値は、符号化されたオーディオ信号表現によって表される符号化されたオーディオ信号の所定数のサンプルにわたるタイムワープコンターの相対的な変化を示す。この場合、タイムワープ計算部は、復号されたタイムワープ値から復号されたタイムワープ情報を導出するように構成され、その結果、復号されたタイムワープ情報はタイムワープコンターを示す。符号化されたオーディオ信号の所定数のサンプルにわたるタイムワープコンターの相対的な変化を示すタイムワープ値を、符号化されたタイムワープ情報のコードワードを復号されたタイムワープ値にマッピングするためのマッピング規則の適合と組み合わせて使用することにより、高いコーディング効率が得られる。なぜなら、サンプリング周波数が変化した場合に符号化されたオーディオ信号の１サンプル当たりのタイムワープコードワード数を一定にしておくことを可能にしながらも、異なるサンプリング周波数についてタイムワープの実質的に同一のまたは少なくとも類似の範囲（ｏｃｔ／ｓを単位とした範囲）を符号化することを保証することができるからである。

好ましい実施形態において、タイムワープ計算部は、復号されたタイムワープ値に基づいてタイムワープコンターの支持点（サポーティング・ポイント）を計算するように構成されている。この場合、タイムワープ計算部は、支持点間を補間して、タイムワープコンターを復号されたタイムワープ情報として取得するように構成されている。この場合、１オーディオフレーム当たりの復号されたタイムワープ値の数は、予め定められ、サンプリング周波数に依存しない。したがって、支持点間の補間方式は、変更しないでおくことができ、このことは、計算の複雑性を小さくしておくのに役立つ。

本発明による一実施形態は、オーディオ信号の符号化された表現を提供するためのオーディオ信号符号化器を実現する。オーディオ信号符号化器は、タイムワープコンターを示すタイムワープ値を符号化されたタイムワープ情報にマッピングするように構成されたタイムワープコンター符号化部を備える。タイムワープコンター符号化部は、タイムワープコンターを示すタイムワープ値を符号化されたタイムワープ情報のコードワードにマッピングするためのマッピング規則をオーディオ信号のサンプリング周波数に応じて適合させるように構成されている。オーディオ信号符号化器はまた、オーディオ信号のスペクトルの符号化された表現を、タイムワープコンター情報によって示されるタイムワープを考慮して取得するように構成されたタイムワーピング信号符号化部も備える。この場合、オーディオ信号の符号化された表現は、符号化されたタイムワープ情報のコードワード、スペクトルの符号化された表現、およびサンプリング周波数を示すサンプリング周波数情報を含む。このオーディオ符号化器は、上述のオーディオ信号復号器によって使用される符号化されたオーディオ信号表現を提供するのによく適している。さらに、オーディオ信号符号化器は、オーディオ信号復号器について上述したものと同じ利点をもたらすものであり、また同じ検討に基づいている。

本発明による別の実施形態は、復号されたオーディオ信号表現を符号化されたオーディオ信号表現に基づいて提供するための方法を実現する。

本発明による別の実施形態は、オーディオ信号の符号化された表現を提供するための方法を実現する。

本発明による別の実施形態は、上記方法のうち一方または両方を実施するためのコンピュータプログラムを実現する。

次に、本発明による実施形態を添付の図面を参照しながら説明する。
図１は、本発明の一実施形態によるオーディオ信号符号化器のブロック模式図を示す。 図２は、本発明の一実施形態によるオーディオ信号復号器のブロック模式図を示す。 図３ａは、本発明の別の実施形態によるオーディオ信号符号化器のブロック模式図を示す。 図３ｂは、本発明の別の実施形態によるオーディオ信号復号器のブロック模式図を示す。 図３ｂは、本発明の別の実施形態によるオーディオ信号復号器のブロック模式図を示す。 図４ａは、本発明の一実施の形態による、符号化されたタイムワープ情報を復号されたタイムワープ値にマッピングするためのマッピング部のブロック模式図を示す。 図４ｂは、本発明の別の実施の形態による、符号化されたタイムワープ情報を復号されたタイムワープ値にマッピングするためのマッピング部のブロック模式図を示す。 図４ｃは、従来の量子化方式のワープのテーブル表現を示す。 図４ｄは、本発明の一実施形態による、異なるサンプリング周波数についての復号されたタイムワープ値へのコードワードインデックスのマッピングのテーブル表現を示す。 図４ｅは、本発明の別の実施形態による、異なるサンプリング周波数についての復号されたタイムワープ値へのコードワードインデックスのマッピングのテーブル表現を示す。 図５ａ、図５ｂは、本発明の一実施形態による、オーディオ信号復号器のブロック模式図からの詳細な抜粋を示す。 図５ａ、図５ｂは、本発明の一実施形態による、オーディオ信号復号器のブロック模式図からの詳細な抜粋を示す。 図６ａ、図６ｂは、本発明の一実施形態による、復号されたオーディオ信号表現を提供するためのマッピング部のフローチャートからの詳細な抜粋を示す。 図６ａ、図６ｂは、本発明の一実施形態による、復号されたオーディオ信号表現を提供するためのマッピング部のフローチャートからの詳細な抜粋を示す。 図７ａは、本発明の一実施形態によるオーディオ復号器において使用されるデータ要素およびヘルプ要素の定義の凡例を示す。 図７ａは、本発明の一実施形態によるオーディオ復号器において使用されるデータ要素およびヘルプ要素の定義の凡例を示す。 図７ｂは、本発明の一実施形態によるオーディオ復号器において使用される定数の定義の凡例を示す。 図８は、対応する復号されたタイムワープ値へのコードワードインデックスのマッピングのテーブル表現を示す。 図９は、等間隔ワープノード間を直線補間するためのアルゴリズムの疑似プログラムコード表現を示す。 図１０ａは、ヘルパー関数「ｗａｒｐ＿ｔｉｍｅ＿ｉｎｖ」の疑似プログラムコード表現を示す。 図１０ｂは、ヘルパー関数「ｗａｒｐ＿ｉｎｖ＿ｖｅｃ」の疑似プログラムコード表現を示す。 図１１は、サンプル位置ベクトルおよび遷移長を計算するためのアルゴリズムの疑似プログラムコード表現を示す。 図１１は、サンプル位置ベクトルおよび遷移長を計算するためのアルゴリズムの疑似プログラムコード表現を示す。 図１２は、窓シーケンスおよびコアコーダフレーム長に依存する合成窓長Ｎの値のテーブル表現を示す。 図１３は、許可された窓シーケンスの行列表現を示す。 図１４は、窓関数処理および「ＥＩＧＨＴ＿ＳＨＯＲＴ＿ＳＥＱＵＥＮＣＥ」のタイプの窓シーケンスの内部重複加算のためのアルゴリズムの疑似プログラムコード表現を示す。 図１４は、窓関数処理および「ＥＩＧＨＴ＿ＳＨＯＲＴ＿ＳＥＱＵＥＮＣＥ」のタイプの窓シーケンスの内部重複加算のためのアルゴリズムの疑似プログラムコード表現を示す。 図１５は、「ＥＩＧＨＴ＿ＳＨＯＲＴ＿ＳＥＱＵＥＮＣＥ」ではないタイプの他の窓シーケンスの窓関数処理および内部重複加算のためのアルゴリズムの疑似プログラムコード表現を示す。 図１６は、再サンプリングを行うためのアルゴリズムの疑似プログラムコード表現を示す。 図１７ａ〜図１７ｆは、本発明の一実施形態による、オーディオストリームの構文要素の表現を示す。 図１７ａ〜図１７ｆは、本発明の一実施形態による、オーディオストリームの構文要素の表現を示す。 図１７ａ〜図１７ｆは、本発明の一実施形態による、オーディオストリームの構文要素の表現を示す。 図１７ａ〜図１７ｆは、本発明の一実施形態による、オーディオストリームの構文要素の表現を示す。 図１７ａ〜図１７ｆは、本発明の一実施形態による、オーディオストリームの構文要素の表現を示す。 図１７ａ〜図１７ｆは、本発明の一実施形態による、オーディオストリームの構文要素の表現を示す。

１．図１によるタイムワープオーディオ信号符号化器
図１は、本発明の一実施の形態によるタイムワープオーディオ信号符号化器１００のブロック模式図を示す。

オーディオ信号符号化器１００は、入力オーディオ信号１１０を受信し、これに基づいて、入力オーディオ信号１１０の符号化された表現１１２を提供するように構成されている。入力オーディオ信号１１０の符号化された表現１１２は、例えば、符号化されたスペクトル表現、符号化されたタイムワープ情報（例えば、「ｔｗ＿ｄａｔａ」で示され得るとともに、例えば、コードワードｔｗ＿ｒａｔｉｏ［ｉ］を含み得る）およびサンプリング周波数情報を含み得る。

オーディオ信号符号化器は、タイムワープ分析部１２０を任意には含んでもよく、タイムワープ分析部１２０は、入力オーディオ信号１１０を受信し、入力オーディオ信号を分析し、そして、タイムワープコンター情報１２２を、当該タイムワープコンター情報１２２が、例えば、オーディオ信号１１０のピッチの時間変遷を示すように提供するよう構成されてもよい。しかしながら、オーディオ信号符号化器１００は、その代わりに、オーディオ信号符号化器の外部のタイムワープ分析部によって提供されたタイムワープコンター情報を受信してもよい。

オーディオ信号符号化器１００はまた、タイムワープコンター情報１２２を受信し、これに基づいて、符号化されたタイムワープ情報１３２を提供するように構成されたタイムワープコンター符号化部１３０も備える。例えば、タイムワープコンター符号化部１３０は、タイムワープコンターを示すタイムワープ値を受信し得る。タイムワープ値は、例えば、正規化されたあるいは正規化されていないタイムワープコンターの絶対値または正規化されたあるいは正規化されていないタイムワープコンターの経時相対変化を示し得る。一般的に、タイムワープコンター符号化部１３０は、タイムワープコンター１２２を示すタイムワープ値を符号化されたタイムワープ情報１３２にマッピングするように構成されている。

タイムワープコンター符号化部１３０は、タイムワープコンターを示すタイムワープ値を符号化されたタイムワープ情報１３２のコードワードにマッピングするためのマッピング規則をオーディオ信号のサンプリング周波数に応じて適合させるように構成されている。この目的で、タイムワープコンター符号化部１３０は、サンプリング周波数情報を受信して、それにより、当該マッピング１３４を適合させてもよい。

オーディオ信号符号化器１００はまた、オーディオ信号１１０のスペクトルの符号化された表現１４２を、タイムワープコンター情報１２２によって示されるタイムワープを考慮して取得するように構成されたタイムワーピング信号符号化部１４０も備える。

したがって、符号化されたオーディオ信号表現１１２は、オーディオ信号１１０の符号化された表現１１２が、符号化されたタイムワープ情報１３２のコードワードと、スペクトルの符号化された表現１４２と、サンプリング周波数（例えば、時間領域−周波数領域変換との関連でタイムワーピング信号符号化部１４０によって使用される入力オーディオ信号１１０のサンプリング周波数および／または（平均）サンプリング周波数）を示すサンプリング周波数情報１５２とを含むように、例えば、ビットストリーム提供部を用いて提供され得る。

オーディオ信号符号化器１００の機能に関し、オーディオフレーム（オーディオサンプルを単位とした、オーディオフレームの長さは、タイムワーピング信号符号化部によって使用される時間領域−周波数領域変換の変換長に等しくてもよい）中にピッチが変化するオーディオ信号のスペクトルは、時変再サンプリングによって圧縮することができるといえる。したがって、タイムワープコンター情報１２２に応じてタイムワーピング信号符号化部１４０によって行われ得る時変再サンプリングにより、元の入力オーディオ信号１１０のスペクトルよりも優れたビットレート効率で符号化が可能なスペクトル（再サンプリングされたオーディオ信号の）が得られる。

しかしながら、タイムワーピング信号符号化部１４０において適用されるタイムワープは、符号化されたタイムワープ情報を用いて図２によるオーディオ信号復号器２００に通知される。さらに、コードワードへのタイムワープ値のマッピングを含み得るタイムワープ情報の符号化は、入力オーディオ信号１１０の異なるサンプリング周波数またはタイムワーピング信号符号化部１４０（もしくはその時間領域−周波数領域変換）が動作する異なるサンプリング周波数について、タイムワープ値のコードワードへの異なるマッピングが使用されるように、サンプリング周波数情報に応じて適合される。

このように、タイムワーピング信号符号化部１４０によって処理が可能な考えられるサンプリング周波数のそれぞれについて最もビットレートの高いマッピングを選択することができる。このような適合は、理にかなっている。なぜなら、符号化されたタイムワープ情報のビットレートは、タイムワープコンターを示すタイムワープ値のコードワードへのマッピングが現在の周波数に一致していれば、タイムワーピング信号符号化部１４０によって使用される考えうるサンプリング周波数が多数存在する場合であっても低く抑えることができることが分かっているからである。したがって、１オーディオフレーム当たりのコードワード数が、異なるサンプリング周波数にわたって一定のままであったとしても、比較的小さいサンプリング周波数および比較的大きいサンプリング周波数のいずれの場合においても、十分に高い分解能、そしてまた、十分に大きいダイナミックレンジでタイムワープコンターを符号化するのに、異なるコードワードの小さい集合で足りることを保証することができる（これにより、サンプリング周波数に依存しないビットストリームが提供され、したがって、符号化されたオーディオ信号表現１１２の生成、格納、構文解析およびオンザフライ処理が容易となる）。

マッピング１３４の適合に関するさらなる詳細については後述する。
２． 図２によるタイムワープオーディオ信号復号器
図２は、本発明の一実施の形態によるタイムワープオーディオ信号復号器２００のブロック模式図を示す。

オーディオ信号復号器２００は、符号化されたオーディオ信号表現２１０に基づいて、復号されたオーディオ信号表現２１２を（例えば、時間領域オーディオ信号表現の形態で）提供するように構成されている。符号化されたオーディオ信号表現２１０は、例えば、符号化されたスペクトル表現２１４（タイムワーピングオーディオ信号符号化器１４０によって提供される符号化されたスペクトル表現１４２に等しくてもよい）と、符号化されたタイムワープ情報２１６（例えば、タイムワープコンター符号化部１３０によって提供される符号化されたタイムワープ情報１３２に等しくてもよい）と、サンプリング周波数情報２１８（例えば、サンプリング周波数情報１５２に等しくてもよい）とを含み得る。

オーディオ信号復号器２００は、タイムワープ復号部であるとも考えられ得るタイムワープ計算部２３０を備える。タイムワープ計算部２３０は、符号化されたタイムワープ情報２１６を復号されたタイムワープ情報２３２にマッピングするように構成されている。符号化されたタイムワープ情報２１６は、例えば、タイムワープコードワード「ｔｗ＿ｒａｔｉｏ［ｉ］」を含んでもよく、復号されたタイムワープ情報は、例えば、タイムワープコンターを示すタイムワープコンター情報の形態をとってもよい。タイムワープ計算部２３０は、符号化されたタイムワープ情報２１６の（タイムワープ）コードワードを復号されたタイムワープ情報を示す復号されたタイムワープ値にマッピングするためのマッピング規則２３４をサンプリング周波数情報２１８に応じて適合させるように構成されている。したがって、復号されたタイムワープ情報２３２のタイムワープ値への符号化されたタイムワープ情報２１６のコードワードの異なるマッピングを、サンプリング周波数情報によって通知される異なるサンプリング周波数について選択することができる。

オーディオ信号復号器２００はまた、スペクトルの符号化された表現２１４を受信し、符号化されたスペクトル表現２１４に基づいてかつ復号されたタイムワープ情報２３２に応じて、復号されたオーディオ信号表現２１２を提供するように構成されたワープ復号部２４０も備える。

したがって、符号化されたタイムワープ情報のコードワードの復号されたタイムワープ値へのマッピングはサンプリング周波数に依存するため、オーディオ信号復号器２００により、比較的高いサンプリング周波数および比較的低いサンプリング周波数の両方について、符号化されたタイムワープ情報の効率的な復号が可能となる。よって、比較的小さいサンプリング周波数については時間単位当たり十分に大きいタイムワープをカバーするとともに、比較的小さいサンプリング周波数および比較的高いサンプリング周波数の両方にコードワードの同じ集合を用いながら、比較的高いサンプリング周波数についてタイムワープコンターの高い分解能を実現することができる。したがって、ビットストリームフォーマットは、サンプリング周波数に実質的に非依存でありながらも、比較的高いサンプリング周波数および比較的小さいサンプリング周波数の両方の場合において、タイムワープを適切な精度およびダイナミックレンジで示すことができる。

マッピング２３４の適合に関するさらなる詳細については後述する。ワープ復号部２４０に関するさらなる詳細についても後述する。
３．図３ａによるタイムワープオーディオ信号符号化器
図３ａは、本発明の一実施の形態によるタイムワープオーディオ信号符号化器３００のブロック模式図を示す。

図３によるオーディオ信号符号化器３００は、図１によるオーディオ信号符号化器１００と同様であるため、同一の信号およびデバイスには同一の参照符号を付す。しかしながら、図３ａは、タイムワープ信号符号化部１４０についてより詳細に示している。

本発明はタイムワープオーディオ符号化およびタイムワープオーディオ復号に関するため、タイムワーピングオーディオ信号符号化器１４０の詳細についての概要を簡潔に述べる。タイムワーピングオーディオ信号符号化器１４０は、入力オーディオ信号１１０を受信し、入力オーディオ信号１１０の符号化されたスペクトル表現１４２をフレームのシーケンスについて提供するように構成されている。タイムワーピングオーディオ信号符号化器１４０は、入力オーディオ信号１１０をサンプリングまたは再サンプリングして、周波数領域変換のベースとして使用される信号ブロック（サンプリングされた表現）１４０ｄを導出するように適合されたサンプリングユニットまたは再サンプリングユニット１４０ａを備える。サンプリングユニット／再サンプリングユニット１４０ａは、サンプリング位置計算部１４０ｂを備え、サンプリング位置計算部１４０ｂは、タイムワープコンター情報１２２によって示されるタイムワープに適合され、したがって、タイムワープ（またはピッチ変動、あるいは基本周波数変動）がゼロでない場合には時間において等距離ではない、サンプル位置を計算するように構成されている。サンプリングユニットまたは再サンプリングユニット１４０ａはまた、サンプリング位置計算部によって求められた時間的に等距離でないサンプル位置を用いて入力オーディオ信号１１０の一部（例えば、オーディオフレーム）をサンプリングまたは再サンプリングするように構成されたサンプリング部または再サンプリング部１４０ｃも備える。

タイムワーピングオーディオ信号符号化器１４０は、サンプリングユニットまたは再サンプリングユニット１４０ａによって出力されたサンプリングまたは再サンプリングされた表現１４０ｄについてのスケーリング窓を導出するように適合された変換窓計算部１４０ｅを更に備える。スケーリング窓情報１４０ｆおよびサンプリング／再サンプリングされた表現１４０ｄは、スケーリング窓情報１４０ｆによって示されるスケーリング窓をサンプリングユニット／再サンプリングユニット１４０ａによって導出された対応するサンプリングまたは再サンプリングされた表現１４０ｄに適用するように適合された窓関数処理部１４０ｇに入力される。他の実施形態では、タイムワーピングオーディオ信号符号化器１４０は、入力オーディオ信号１１０のサンプリングおよび窓関数処理された表現１４０ｈの周波数領域表現１４０ｊを（例えば、変換係数またはスペクトル係数の形態で）導出するために、周波数領域変換部１４０ｉを更に備え得る。周波数領域表現１４０ｊは、例えば、後処理されてもよい。さらに、周波数領域表現１４０ｊ、またはその後処理されたバージョンを符号化１４０ｋを用いて符号化して、入力オーディオ信号１１０の符号化されたスペクトル表現１４２を取得してもよい。

タイムワーピングオーディオ信号符号化器１４０は、入力オーディオ信号１１０のピッチコンターをさらに使用する（ここで、ピッチコンターは、タイムワープコンター情報１２２によって示され得る）。タイムワープコンター情報１２２は、入力情報としてオーディオ信号符号化器３００に提供されてもよく、あるいは、オーディオ信号符号化器３００によって導出されてもよい。したがって、オーディオ信号符号化器３００は、タイムワープコンター情報１２２を、当該タイムワープコンター情報１２２がピッチコンター情報を構成するかあるいはピッチコンターまたは基本周波数を示すように導出するためのピッチ推定部として動作し得るタイムワープ分析部１２０を任意には備え得る。

サンプリングユニット／再サンプリングユニット１４０ａは、入力オーディオ信号１１０の連続的な表現（連続的なデータ）に対して処理を行うものであってもよい。しかし、その代わりに、サンプリングユニット／再サンプリングユニット１４０ａは、入力オーディオ信号１１０の以前にサンプリングされた表現（データ）に対して処理を行うものであってもよい。前者の場合、ユニット１４０ａは、入力オーディオ信号をサンプリングすることができ（したがってサンプリングユニットであると考えられ得る）、後者の場合、ユニット１４０ａは、入力オーディオ信号１１０の以前にサンプリングされた表現を再サンプリングすることができる（したがって、再サンプリングユニットであると考えられ得る）。サンプリングユニット１４０ａは、例えば、隣接する重複オーディオブロックを、サンプリングまたは再サンプリング後に、入力ブロックのそれぞれにおける重複部分が一定のピッチを有するかあるいはピッチ変動が低減するようにタイムワープさせるように適合されてもよい。

変換窓計算部１４０ｅは、任意には、オーディオブロックについての（例えば、オーディオフレームについての）スケーリング窓をサンプリング部１４０ａによって行われるタイムワーピングに応じて導出してもよい。この目的で、サンプリング部によって使用されるワーピング規則を定義するために任意の調整ブロック１４０ｌが存在してもよく、このワーピング規則は、次いで、変換窓計算部１４０ｅにも提供される。

別の実施形態において、調整ブロック１４０ｌを省略してもよく、タイムワープコンター情報１２２によって示されるピッチコンターを変換窓計算部１４０ｅに直接提供してもよく、変換窓計算部１４０ｅ自体が適切な計算を行ってもよい。さらに、サンプリングユニット／再サンプリングユニット１４０ａは、適切なスケーリング窓の計算を可能にするため、適用されたサンプリングに関する情報を変換窓計算部１４０ｅに伝えてもよい。

しかしながら、いくつかの他の実施形態では、窓関数処理は、タイムワーピングの内容に実質的に非依存であってもよい。

タイムワーピングは、ユニット１４０ａによってタイムワープおよびサンプリングされた（または再サンプリングされた）、サンプリングされた（または再サンプリングされた）オーディオブロック（またはオーディオフレーム）のピッチコンターが元の入力オーディオ信号１１０のピッチコンターと比較してより一定となるように、サンプリングユニット／再サンプリングユニット１４０ａによって行われる。したがって、ユニット１４０ａによって行われるサンプリングまたは再サンプリングにより、ピッチコンターの時間変動によって生じるスペクトルのスメアリング（スペクトルに発生するスミア）が低減される。よって、サンプリングまたは再サンプリングされたオーディオ信号１４０ｄのスペクトルは、入力オーディオ信号１１０のスペクトルよりも、スメアリングが少なく（そして、典型的には、よりはっきりとしたスペクトルのピークおよびスペクトルの谷を示す）。したがって、入力オーディオ信号１１０のスペクトルを同じ精度で符号化するために必要とされるビットレートと比較して、サンプリングされた（または再サンプリングされた）オーディオ信号１４０ｄのスペクトルをより少ないビットレートで符号化することが典型的には可能である。

ここで、入力オーディオ信号１１０は、典型的には、フレーム単位で処理され、フレームは、特定の要件によっては、重複していてもよく、あるいは重複していなくてもよいという点に留意されたい。例えば、入力オーディオ信号のフレームのそれぞれをユニット１４０ａによって個別にサンプリングまたは再サンプリングして、それにより、時間領域サンプル１４０ｄの各集合によって示されるサンプリングされた（または再サンプリングされた）フレームのシーケンスを取得してもよい。また、窓関数処理１４０ｇにより、時間領域サンプル１４０ｄのそれぞれの集合によって表されるサンプリングまたは再サンプリングされたフレームに窓関数処理を個別に適用してもよい。さらに、窓関数処理および再サンプリングされた時間領域サンプル１４０ｈのそれぞれの集合によって示される窓関数処理および再サンプリングされたフレームを、変換部１４０ｉによって個々に周波数領域に変換してもよい。しかしながら、個々のフレームのいくらかの（時間）重複が存在し得る。

さらに、オーディオ信号１１０は、所定のサンプリング周波数（サンプリングレートとしても示す）でサンプリングされ得るという点に留意されたい。サンプリング部または再サンプリング部１４０ｃによって行われる再サンプリングにおいて、再サンプリングは、入力オーディオ信号１１０の再サンプリングされたブロック（またはフレーム）が、入力オーディオ信号１１０のサンプリング周波数（またはサンプリングレート）と同一の（または少なくともほぼ同一である（例えば＋／−５％の許容差を有する））平均サンプリング周波数（またはサンプリングレート）を含み得るように実行されるものであってもよい。しかしながら、オーディオ信号符号化器３００は、その代わりに、異なるサンプリング周波数（またはサンプリングレート）の入力オーディオ信号で動作するように構成されてもよい。

したがって、いくつかの実施形態において、時間領域サンプル１４０ｄによって表される再サンプリングされたブロックまたはフレームの平均サンプリング周波数（またはサンプリングレート）は、入力オーディオ信号１１０のサンプリング周波数またはサンプリングレートに応じて変化し得る。

しかしながら、サンプリング部１４０ａは、操作者の希望または要求に応じたサンプリングレート変換と、タイムワーピングとの両方を行うことができるため、時間領域サンプル１４０ｄによって表されるサンプリングまたは再サンプリングされたオーディオ信号のブロックまたはフレームの平均サンプリング周波数またはサンプリングレートが、入力オーディオ信号１１０のサンプリングレートと異なっている可能性も勿論ある。

したがって、時間領域サンプル１４０ｄの集合によって表されるサンプリングまたは再サンプリングされたオーディオ信号のブロックまたはフレームは、入力オーディオ信号１１０の平均サンプリング周波数もしくはサンプリングレートおよび／またはユーザの希望に応じて、異なるサンプリング周波数またはサンプリングレートで提供され得る。

ただし、いくつかの実施形態においては、スペクトル値１４０ｄの集合によって表されるサンプリングまたは再サンプリングされたオーディオ信号のブロックまたはフレームの長さ（オーディオサンプルを単位とした）は、異なる平均サンプリング周波数またはサンプリングレートについても一定であってもよい。しかしながら、いくつかの実施形態においては、２つの可能な長さ（ブロックまたはフレーム当たりのオーディオサンプルを単位とした）の間で切り替えを行ってもよく、第１の（短ブロック）モードのブロック長またはフレーム長は、平均サンプリング周波数に非依存であってもよく、第２の（長ブロック）モードのブロック長またはフレーム長（オーディオサンプルを単位とした）もまた、平均サンプリング周波数またはサンプリングレートに非依存であってもよい。

したがって、窓関数処理部１４０ｇによって行われる窓関数処理、変換部１４０ｉによって行われる変換、および符号化部１４０ｋによって行われる符号化は、サンプリングまたは再サンプリングされたオーディオ信号１４０ｄの平均サンプリング周波数またはサンプリングレートに実質的に非依存であってもよい（平均サンプリング周波数またはサンプリングレートに関係なく行われ得る短ブロックモードと長ブロックモードとの間の考えられる切り替えは除く）。

結論すると、タイムワーピング信号符号化部１４０により、入力オーディオ信号１１０を効率的に符号化することが可能となる。なぜなら、サンプリング部１４０ａによって行われるサンプリングまたは再サンプリングによって、入力オーディオ信号１１０が時間ピッチ変動を含む場合に入力オーディオ信号１１０よりもスペクトルのスメアリングが少ない再サンプリングされたオーディオ信号１４０ｄが得られ、これにより、入力オーディオ信号１１０のサンプリング／再サンプリングおよび窓関数処理されたバージョン１４０ｈに基づいて変換部１４０ｉにより提供されたスペクトル係数１４０ｊをビットレート効率よく符号化する（符号化部１４０ｋによって）ことが可能となる。

タイムワープコンター符号化部１３０によってサンプリング周波数依存的に行われるタイムワープ型コンター符号化により、サンプリング／再サンプリングされたオーディオ信号１４０ｄの異なるサンプリング周波数（または平均サンプリング周波数）についてのタイムワープコンター情報１２２をビットレート効率よく符号化することが可能となり、その結果、符号化されたスペクトル表現１４２と符号化されたタイムワープ情報１３２とを含むビットストリームはビットレート効率がよいものとなる。
４．図３ｂによるタイムワープオーディオ信号復号器
図３ｂは、本発明の一実施形態によるオーディオ信号復号器３５０のブロック模式図を示す。

オーディオ信号復号器３５０は、図２によるオーディオ信号復号器２００と類似しているため、同一の信号およびデバイスには同一の参照符号を付し、重複する説明はここでは省略する。

オーディオ信号復号器３５０は、第１のタイムワープおよびサンプリングされたオーディオフレームの符号化されたスペクトル表現を受信するとともに、第２のタイムワープおよびサンプリングされたオーディオフレームの符号化されたスペクトル表現も受信するために構成されている。一般的に、オーディオ信号符号化器３５０は、タイムワープ・再サンプリングされたオーディオフレームの符号化されたスペクトル表現のシーケンスを受信するために構成され、当該符号化されたスペクトル表現は、例えば、オーディオ信号符号化器３００のタイムワーピング信号符号化部１４０によって提供され得る。加えて、オーディオ信号復号器３５０は、例えば、符号化されたタイムワープ情報２１６やサンプリング周波数情報２１８といった副情報を受信する。

ワープ復号部２４０は、スペクトルの符号化された表現２１４を受信し、このスペクトルの符号化された表現２１４を復号し、当該スペクトルの復号された表現２４０ｂを提供するように構成された復号部２４０ａを備える。ワープ復号部２４０はまた、スペクトルの復号された表現２４０ｂを受信し、スペクトルの当該復号された表現２４０ｂに基づいて逆変換を実行して、これにより、符号化されたスペクトル表現２１４によって示されるタイムワープ・サンプリングされたオーディオ信号のブロックまたはフレームの時間領域表現２４０ｄを取得するように構成された逆変換部２４０ｃも備える。ワープ復号部２４０はまた、ブロックまたはフレームの時間領域表現２４０ｄに窓関数処理を適用して、これにより、ブロックまたはフレームの窓関数処理された時間領域表現２４０ｆを取得するように構成された窓関数処理部２４０ｅも備える。ワープ復号部２４０はまた、窓関数処理された時間領域表現２４０ｆがサンプリング位置情報２４０ｈに応じて再サンプリングされ、これにより、ブロックまたはフレームについての窓関数処理および再サンプリングされた時間領域表現２４０ｉが取得される再サンプリング２４０ｇも含む。ワープ復号部２４０はまた重複部・加算部２４０ｊも備え、重複部・加算部２４０ｊは、窓関数処理および再サンプリングされた時間領域表現の連続するブロックまたはフレームを重複加算して、これにより、窓関数処理および再サンプリングされた時間領域表現２４０ｉの連続するブロックまたはフレーム間の平滑な移行を実現し、これによって、重複加算演算により復号されたオーディオ信号表現２１２を取得するように構成されている。

ワープ復号部２４０は、タイムワープ計算部（またはタイムワープ復号部）２３０から復号されたタイムワープ情報２３２を受信し、これに基づいてサンプリング位置情報２４０ｈを提供するように構成されたサンプリング位置計算部２４０ｋを備える。したがって、復号されたタイムワープ情報２３２は、再サンプリング部２４０ｇによって行われる時変再サンプリングを示す。

任意には、ワープ復号部２４０は、窓関数処理部２４０ｅによって使用される窓の形状を要件に応じて調整するように構成され得る窓形状調整部２４０ｌを備えてもよい。例えば、窓形状調整部２４０ｌは、任意には、復号されたタイムワープ情報２３２を受信し、当該復号されたタイムワープ情報２３２に応じて窓を調整してもよい。代替的に、または、追加的に、窓形状調整部２４０ｌは、長ブロックモードが使用されるかあるいは短ブロックモードが使用されるかを示す情報に応じて、窓関数処理部２４０ｅによって使用される窓形状を調整するように構成されてもよい（ワープ復号部２４０がこのような長ブロックモードおよび短ブロックモード間で切り替え可能である場合）。代替的に、または、追加的に、窓形状調整部２４０ｌは、異なる窓タイプがワープ復号部２４０によって使用される場合は、窓関数処理部２４０ｅによる使用のための適切な窓形状を窓シーケンス情報に応じて選択するように構成されてもよい。しかしながら、窓形状調整部２４０ｌによって行われる窓形状の調整は任意であると考えられるべきであり、本発明にとって特に重要ではないという点に留意されたい。

さらに、ワープ復号部２４０は、任意には、窓形状調整部２４０ｌおよび／またはサンプリング位置計算部２４０ｋをサンプリング周波数情報２１８に応じて制御するように構成され得るサンプリングレート調整部２４０ｍを備えてもよい。しかしながら、サンプリングレート調整２４０ｍは、任意であると考えられ、本発明にとって特に重要ではない。

ワープ復号部２４０の機能に関し、例えば、複数のオーディオフレームのそれぞれについての変換係数（スペクトル係数としても示す）の集合（またはさらにはいくつかのオーディオフレームについてのスペクトル係数の複数の集合）を含み得る、スペクトルの符号化された表現２１４は、まず、復号部２４０ａを用いて復号され、その結果、復号されたスペクトル表現２４０ｂが取得されるということができる。符号化されたオーディオ信号のブロックまたはフレームの復号されたスペクトル表現２４０ｂは、オーディオコンテンツの当該ブロックまたはフレームの時間領域表現（例えば、１オーディオフレーム当たり所定数の時間領域サンプルを含む）に変換される。典型的には、スペクトルの復号された表現２４０ｂは、このようなスペクトルが効率的に符号化可能であるために、顕著なピークおよび谷を含むが、必ずしもそうである必要はない。したがって、時間領域表現２４０ｄは、単一のブロックまたはフレーム中に比較的小さいピッチ変動を含む（顕著なピークおよび谷を有するスペクトルに対応する）。

窓関数処理２６０ｅは、重複加算演算を可能にするために、オーディオ信号の時間領域表現２４０ｄに適用される。続いて、窓関数処理された時間領域表現２４０ｆは時変的に再サンプリングされ、この再サンプリングは、符号化されたオーディオ信号表現２１０に符号化された形態で含まれるタイムワープ情報に応じて行われる。したがって、再サンプリングされたオーディオ信号表現２４０ｉは、典型的には、窓関数処理された時間領域表現２４０ｆよりも著しく大きいピッチ変動を含む（但し、符号化されたタイムワープ情報がタイムワープまたは同等にピッチ変動を示す場合）。よって、逆変換部２４０ｃの出力信号２４０ｄが単一のオーディオフレームに含まれるピッチ変動がかなり小さい場合であっても、単一のオーディオフレームにおいて大きなピッチ変動を含むオーディオ信号を再サンプリング部２４０ｇから出力することができる。

しかしながら、ワープ復号部２４０は、異なるサンプリング周波数を使用して提供された符号化されたスペクトル表現を処理し、異なるサンプリング周波数を有する復号されたオーディオ信号表現２１２を提供するように構成されてもよい。しかしながら、１オーディオフレームまたはオーディオブロック当たりの時間領域サンプルの数は、複数の異なるサンプリング周波数について同一であってもよい。しかし、その代わりに、ワープ復号部２４０は、オーディオブロックが比較的少数のサンプル（例えば、２５６個のサンプル）を含む短ブロックモードと、オーディオブロックが比較的多数のサンプル（例えば、２０４８個のサンプル）を含む長ブロックモードとの間で切り替え可能であってもよい。この場合、短ブロックモードにおける１オーディオブロック当たりのサンプル数は、サンプリング周波数が異なっていても同一であり、長ブロックモードにおける１オーディオブロック（またはオーディオフレーム）当たりのオーディオサンプル数は、サンプリング周波数が異なっていても同一である。また、１オーディオフレーム当たりのタイムワープコードワード数は、一般的には、サンプリング周波数が異なる場合であっても同一である。したがって、サンプリング周波数に実質的に非依存の（少なくとも１オーディオフレーム当たりの符号化された時間領域サンプルの数に関して、および１オーディオフレーム当たりのタイムワープコードワード数に関して）、均一なビットストリームフォーマットを実現することができる。

しかしながら、タイムワープ情報のビットレート効率のよい符号化およびタイムワープ情報の十分な分解能の両方を実現するため、符号化されたオーディオ信号表現２１０を提供するオーディオ信号符号化器３００側で、タイムワープ情報は、サンプリング周波数に適合されて（応じて）符号化される。その結果、タイムワープコードワードの復号されたタイムワープ値へのマッピングについての情報を含む、符号化されたタイムワープ情報２１６が、サンプリング周波数に適合して復号される。タイムワープ情報の復号のこの適合に関する詳細について、次に説明する。
５．タイムワープ符号化および復号の適合
５．１．概念の概要
以下に、符号化されるオーディオ信号または復号されるオーディオ信号のサンプリング周波数に応じたタイムワープ符号化および復号の適合に関する詳細について説明する。換言すれば、サンプリング周波数依存型ピッチ変動量子化について説明する。理解を容易にするため、いくつかの従来の概念についてまず説明する。

タイムワープを用いた従来のオーディオ符号化器およびオーディオ復号器においては、ピッチ変動またはワープのための量子化テーブルは、全てのサンプリング周波数について固定されている。一例として、音声オーディオ統合コーディングのワーキングドラフト６（”ＷＤ６ ｏｆ ＵＳＡＣ”、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ１１２１３、２０１０）を参照されたい。サンプルにおける更新距離（例えば、タイムワープ値がオーディオ符号化器からオーディオ復号器へ送信される時間インスタンスの（オーディオサンプルを単位とする）距離））もまた固定されているため（従来のタイムワープオーディオ符号化器／オーディオ復号器および本発明によるタイムワープオーディオ符号化器／オーディオ復号器の両方において）、このようなコーディング方式をより低いビットレートに適用すると、カバー可能な実際のピッチ変化（例えば、単位時間当たりのピッチ変化を単位とした）の範囲がより小さくなる。音声の基本周波数における一般的な最大変化は、約１５ｏｃｔ／ｓ（１５オクターブ／秒）未満である。

図４ｃのテーブルは、オーディオコーディングにおいて使用されるあるサンプリング周波数について、参考文献［３］に記載されるコーディング方式では、所望のピッチ変動範囲をマッピングすることができず、したがって、コーディング利得が準最適なものにしかならないという知見を示している。このことを明らかにするため、図４ｃのテーブルは、参考文献［３］に記載されるオーディオ復号器において使用されるテーブル（例えば、タイムワープコードワードを復号されたタイムワープ値にマッピングするためのマッピングテーブル）の異なるサンプリング周波数についてのワープを示す。これらのワープ値をｏｃｔ／ｓ単位で求めるための式は以下の通りである。

上記式中、ｗはワープを示し、ｐ_ｒｅｌは相対ピッチ変化因子を示し、ｆ_ｓはサンプリング周波数を示し、ｎ_ｐは１つのフレームにおけるピッチノード数を示し、ｎ_ｆはサンプルにおけるフレーム長を示す。

したがって、図４ｃのテーブルは、参考文献［３］に記載されるオーディオ復号器において使用される量子化方式のワープを示す（ここで、ｎ_ｆ＝１０２４およびｎ_ｐ＝１６である）。

本発明によれば、（タイムワープコードワードであると考えられ得る）ワープ値インデックスの対応するタイムワープ値ｐ_ｒｅｌへのマッピングをサンプリング周波数に応じて適合させることが有利であることが分かった。換言すれば、上記の問題の解決策は、カバーされるピッチ変動またはワープのｏｃｔ／ｓ（オクターブ／秒）単位の絶対範囲が全てのサンプリング周波数について同じ（あるいは少なくともほぼ同じ）となるように、異なるサンプリング周波数について別個の量子化テーブルを設計することであることが分かった。これは、例えば、隣接するサンプリング周波数の狭い範囲についてそれぞれ使用されるいくつかの明示的な量子化テーブルを用意するか、あるいは使用サンプリング周波数についての量子化テーブルをオンザフライで計算することによって行われ得るということが分かった。

本発明の一実施形態によれば、これは、ワープ値のテーブルを用意すること、および、上記の式を変換することにより相対ピッチ変化因子のための量子化テーブルを計算することによって行われ得る。

上記式中、ｐ_ｒｅｌは相対ピッチ変化因子を示し、ｎ_ｆはサンプルにおけるフレーム長を示し、ｗはワープを示し、ｆ_ｓはサンプリング周波数を示し、ｎ_ｐは１つのフレームにおけるピッチノード数を示す。上記式を用いて、図４ｄのテーブルに示される相対ピッチ変化因子ｐ_ｒｅｌを求めることができる。

図４ｄを参照すると、第１の列４８０は、タイムワープコードワードであると考えられ、符号化されたオーディオ信号表現２１０を表すビットストリームに含められ得るインデックスを示す。第２の列４８２は、第１の列および各行に示されるインデックスに対応付けられたｎ_ｐの相対ピッチ変化因子ｐ_ｒｅｌによって表され得る最大表現可能タイムワープ（ｏｃｔ／ｓを単位とした）を示す。第３の列４８４は、２４０００Ｈｚのサンプリング周波数について各行の第１の列４８０に示されるインデックスに対応付けられた相対ピッチ変化因子を示す。第４の列４８６は、１２０００Ｈｚのサンプリング周波数について各行の第１の列４８０に示されるインデックス値に対応付けられた相対ピッチ変化因子を示す。インデックス０、１および２はピッチの「負の」変化についての（すなわち、ピッチの減少についての）相対ピッチ変化因子ｐ_ｒｅｌに対応し、インデックス値３は相対ピッチ変化因子１（一定のピッチを表す）に対応し、インデックス４、５、６および７は、「正の」タイムワープ（すなわち、ピッチの増加）を示す相対ピッチ変化因子ｐ_ｒｅｌに対応付けられていることが分かる。

しかしながら、相対ピッチ変化因子を求めるための異なる概念が存在することが分かった。相対ピッチ変化因子を求めるための他の１つの方法は、相対ピッチ変化因子および対応する基準サンプリングレートのための量子化値のテーブルを設計することであるということが分かった。所与のサンプリング周波数のための実際の量子化テーブルは、設計されたテーブルから以下の式を用いて簡単に導出することができる。

ｐ_ｒｅｌは、現在のサンプリング周波数ｆ_ｓについての相対ピッチ変化因子を示す。加えて、ｐ_{ｒｅｌ，ｒｅｆ}は基準サンプリング周波数ｆ_{ｓ，ｒｅｆ}についての相対ピッチ変化因子を示す。異なるインデックス（タイムワープコードワード）に対応付けられた基準ピッチ変化因子ｐ_{ｒｅｌ，ｒｅｆ}の集合をテーブルに格納してもよい（ここで、基準（相対）ピッチ変化因子が対応する基準サンプリング周波数ｆ_{ｓ，ｒｅｆ}は既知である）。

後者の式を用いることで、上記の式によって得られる結果の妥当な近似が得られるとともに、計算の複雑度も低いことが分かった。

図４ｅは、基準相対ピッチ変化因子ｐ_{ｒｅｌ，ｒｅｆ}から求められた相対ピッチ変化因子ｐ_ｒｅｌのテーブル表現を示す（ここで、テーブルは基準サンプリング周波数ｆ_{ｓ，ｒｅｆ}＝２４０００Ｈｚについて成り立つ）。

第１の列４９０は、タイムワープコードワードであると考えられ得るインデックスを示す。第２の列４９２は、各行の第１の列４９０に示されるインデックス（またはコードワード）に対応付けられた基準相対ピッチ変化因子ｐ_{ｒｅｌ，ｒｅｆ}を示す。第３の列４９４および第４の列４９６は、２４０００Ｈｚ（第３の列４９４）および１２０００Ｈｚ（第４の列４９６）のサンプリング周波数ｆ_ｓについての第１の列４９０のインデックスに対応付けられた（相対）ピッチ変化因子を示す。第３の列４９４に示される２４０００Ｈｚのサンプリング周波数ｆ_ｓについての相対ピッチ変化因子ｐ_ｒｅｌｆは、第２の列４９２に示される基準相対ピッチ変化因子と同一であることがわかる。これは、２４０００Ｈｚのサンプリング周波数ｆ_ｓが基準サンプリング周波数ｆ_{ｓ，ｒｅｆ}に等しいからである。しかしながら、第４の列４９６は、第２の列４９２の基準相対ピッチ変化因子から上記式（３）に従って導出される、１２０００Ｈｚのサンプリング周波数ｆ_ｓにおける相対ピッチ変化因子ｐ_ｒｅｌを示している。

当然ながら、このような正規化手順は、上記のように、周波数またはピッチにおける変化の他のあらゆる表現、例えば、絶対ピッチまたは周波数の値（相対的な変化ではなく）をコーディングする方式に対してもそのまま容易に適用することができる。
５．２．図４ａによる実施例
図４ａは、本発明による実施形態において使用され得る適合型マッピング４００のブロック模式図を示す。

例えば、適合型マッピング４００は、オーディオ信号復号器２００におけるマッピング２３４またはオーディオ信号復号器３５０におけるマッピング２３４の代わりとなり得る。

適合型マッピング４００は、例えば、タイムワープコードワード「ｔｗ＿ｒａｔｉｏ［ｉ］」を含むいわゆる「ｔｗ＿ｄａｔａ」情報といった符号化されたタイムワープ情報を受信するように構成されている。したがって、適合型マッピング４００は、復号されたタイムワープ値、例えば、復号された比の値を提供することができ、これらは値「ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ］」として示される場合があり、また相対ピッチ変化因子ｐ_ｒｅｌとしても示される場合がある。適合型マッピング４００はまた、例えば、逆変換２３０ｃによって提供される時間領域表現２４０ｄのサンプリング周波数ｆ_ｓ、または再サンプリング２４０ｇによって提供される窓関数処理および再サンプリングされた時間領域表現２４０ｉの平均サンプリング周波数、または復号されたオーディオ信号表現２１２のサンプリング周波数を示すサンプリング周波数情報も受信する。

適合型マッピングは、復号されたタイムワープ値を符号化されたタイムワープ情報のタイムワープコードワードの関数として提供するマッピング部４２０を含む。マッピング規則選択部４３０は、マッピング部４２０によって使用される複数のマッピングテーブル４３２、４３４から、サンプリング周波数情報４０６に応じてマッピングテーブルを選択する。例えば、マッピングテーブル選択部４３０は、現在のサンプリング周波数が２４０００Ｈｚに等しい場合または現在のサンプリング周波数が２４０００Ｈｚの所定の環境にある場合は、図４ｄのテーブルの第１の列４８０および図４ｄのテーブルの第３の列４８４によって定義されるマッピングを表すマッピングテーブルを選択する。これに対し、サンプリング周波数ｆ_ｓが１２０００Ｈｚに等しいか場合またはサンプリング周波数ｆ_ｓが１２０００Ｈｚの所定の環境にある場合は、マッピングテーブル選択部４３０は、図４ｄのテーブルの第１の列４８０および図４ｄのテーブルの第４の列４８６によって定義されるマッピングテーブルを選択してもよい。

したがって、タイムワープコードワード（「インデックス」としても示す）０〜７は、サンプリング周波数が２４０００Ｈｚに等しい場合は、図４ｄのテーブルの第３の列４８４に示すそれぞれの復号されたタイムワープ値（または相対ピッチ変化因子）にマッピングされ、サンプリング周波数が１２０００Ｈｚに等しい場合は、図４ｄのテーブルの第４の列４８６に示されるそれぞれの復号されたタイムワープ値（または相対ピッチ変化因子）にマッピングされる。

要約すると、マッピングテーブル選択部４３０によってサンプリング周波数に応じて異なるマッピングテーブルが選択され、これにより、タイムワープコードワード（例えば、復号されたオーディオ信号を表すビットストリームに含まれる値「インデックス」）が復号されたタイムワープ値（例えば、相対ピッチ変化因子ｐ_ｒｅｌ、またはタイムワープ値「ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ」）にマッピングされ得る。
５．３．図４ｂによる実施例
図４ｂは、本発明による実施形態において使用され得る適合型マッピング４５０のブロック模式図を示す。例えば、適合型マッピング４５０は、オーディオ信号復号器２００におけるマッピング２３４またはオーディオ信号復号器３５０におけるマッピング２３４の代わりとなり得る。適合型マッピング４５０は、符号化されたタイムワープ情報を受信するように構成されている（ここで、適合型マッピング４００に関する上記の説明が適用される）。

まず、適合型マッピング４５０は、復号されたタイムワープ値を提供するように構成されている（ここでもまた、適合型マッピング４００に関する上記の説明が適用される）。

適合型マッピング４５０は、符号化されたタイムワープのコードワードを受信し、復号されたタイムワープ値を提供するように構成されたマッピング部４７０を備える。適合型マッピング４５０はまた、マッピング値計算部またはマッピングテーブル計算部４８０も備える。

マッピング値計算部の場合、復号されたタイムワープ値は上記式（３）に従って計算される。この目的で、マッピング値計算部は、基準マッピングテーブル４８２を備え得る。基準マッピングテーブル４８２は、例えば、図４ｅのテーブルの第１の列４９０および第２の列４９２によって定義されるマッピング情報を示し得る。したがって、マッピング値計算部４８０およびマッピング部４７０は、対応する基準相対ピッチ変化因子が所与のタイムワープコードワードについて基準マッピングテーブルに基づいて選択され、当該所与のタイムワープコードワードに対応するピッチ変化因子ｐ_ｒｅｌが現在のサンプリング周波数ｆ_ｓに関する情報を用いて式（３）に従って計算され、復号されたタイムワープ値として戻されるように、協働することができる。この場合、各タイムワープコードワードについての復号されたタイムワープ値（相対ピッチ変化因子）の計算を行うという犠牲を払って現在のサンプリング周波数ｆ_ｓに適合させたマッピングテーブルのエントリの全てを格納する必要さえない。

しかし、その代わりに、マッピングテーブル計算部４８０は、マッピング部４７０による使用のために、現在のサンプリング周波数ｆ_ｓに適合させたマッピングテーブルを事前に計算してもよい。例えば、マッピングテーブル計算部は、１２０００Ｈｚの現在のサンプリング周波数が選択されたことを把握したことに応じて図４ｅの第４の列４９６のエントリを計算するように構成されてもよい。１２０００Ｈｚのサンプリング周波数ｆ_ｓについてのこの相対ピッチ変化因子ｐ_ｒｅｌの計算は、基準マッピングテーブル（例えば、図４ｅのテーブルの第１の列４９０および第２の列４９２によって定義されるマッピングを含む）に基づくものであってよく、また式（３）を用いて行われてもよい。

したがって、上記事前に計算されたマッピングテーブルをタイムワープコードワードの復号されたタイムワープ値へのマッピングに使用してもよい。さらに、事前に計算されたマッピングテーブルは、再サンプリングレートが変更されるたびに更新してもよい。

要約すると、タイムワープコードワードの復号されたタイムワープ値へのマッピングのためのマッピング規則は、基準マッピングテーブル４８２に基づいて評価または計算してもよく、現在のサンプリング周波数に適合させたマッピングテーブルの事前計算または復号されたタイムワープ値のオンザフライ計算を実行してもよい。
６．タイムワープ制御情報の計算についての詳細な説明
以下に、タイムワープコンター変遷情報に基づいたタイムワープ制御情報の計算に関する詳細について説明する。
６．１．図５ａおよび図５ｂによる装置
図５ａおよび図５ｂは、タイムワープコンター変遷情報５１０に基づいてタイムワープ制御情報５１２を提供するための装置５００のブロック模式図を示し、タイムワープコンター変遷情報５１０は、復号されたタイムワープ情報であってもよく、また、例えば、タイムワープ計算部２３０のマッピング２３４によって提供される復号されたタイムワープ値を含んでいてもよい。装置５００は、復元されたタイムワープコンター情報５２２をタイムワープコンター変遷情報５１０に基づいて提供するための手段５２０と、復元されたタイムワープコンター情報５２２に基づいてタイムワープ制御情報５１２を提供するためのタイムワープ制御情報計算部５３０とを備える。

以下に、手段５２０の構造および機能について説明する。

手段５２０は、タイムワープコンター変遷情報５１０を受信し、これに基づいて、新たなタイムワープコンター部分情報５４２を提供するように構成されたタイムワープコンター計算部５４０を備える。例えば、タイムワープコンター変遷情報の集合（例えば、マッピング２３４によって提供される所定数の復号されたタイムワープ値の集合）を、復元されるオーディオ信号の各フレームについて装置５００に送信してもよい。しかしながら、場合によっては、復元されるオーディオ信号のフレームに対応付けられたタイムワープコンター変遷情報５１０の集合はオーディオ信号の複数のフレームの復元のために使用されてもよい。同様に、タイムワープコンター変遷情報の複数の集合は、以下に詳述するように、オーディオ信号の単一のフレームのオーディオコンテンツの復元のために使用されてもよい。結論として、いくつかの実施形態において、タイムワープコンター変遷情報は、復元されるオーディオ信号の変換領域係数の集合が更新されるレートと同じレートで更新され得るということができる（オーディオ信号の１フレーム当たりタイムワープコンター変遷情報５１０の１つの集合、および／またはオーディオ信号の１フレーム当たり１つのタイムワープコンター部分）。

タイムワープコンター計算部５４０は、複数のワープコンターノード値（またはワープコンターノード値の時間シーケンス）を複数のタイムワープコンター比値（またはタイムワープコンター比値の時間シーケンス）に基づいて計算するように構成されたワープノード値計算部５４４を備え、タイムワープ比値は、タイムワープコンター変遷情報５１０によって構成される。換言すれば、マッピング２３４によって提供される復号されたタイムワープ値は、タイムワープ比値（例えば、ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ［］］）を構成し得る。この目的で、ワープノード値計算部５４４は、後述するように、タイムワープコンターノード値の提供を所定の開始値（例えば、１）で開始し、連続するタイムワープコンターノード値をタイムワープコンター比値を用いて計算するように構成されている。

さらに、タイムワープコンター計算部５４４は、連続するタイムワープコンターノード値間を補間するように構成された補間部５４８を任意には備える。したがって、新たなタイムワープコンター部分の記述５４２が得られ、新たなタイムワープコンター部分は、典型的には、ワープノード計算部５２４によって使用される上記所定の開始値から始まる。さらに、手段５２０は、いわゆる「最後のタイムワープコンター部分」およびいわゆる「現在のタイムワープコンター部分」を図５に図示しないメモリに格納するように構成されている。

しかしながら、手段５２０はまた、「最後のタイムワープコンター部分」、「現在のタイムワープコンター部分」および「新たなタイムワープコンター部分」に基づく完全なタイムワープコンターセクションにおける不連続性を回避する（あるいは低減させるか無くす）ために、「最後のタイムワープコンター部分」および「現在のタイムワープコンター部分」を再スケーリングするように構成された再スケーリング部５５０も備える。この目的で、再スケーリング部５５０は、「最後のタイムワープコンター部分」および「現在のタイムワープコンター部分」の格納された記述を受信し、「最後のタイムワープコンター部分」および「現在のタイムワープコンター部分」を一緒に再スケーリングして、「最後のタイムワープコンター部分」および「現在のタイムワープコンター部分」の再スケーリングされたバージョンを取得するように構成されている。この機能に関するいくつかの詳細については後述する。

さらに、再スケーリング部５５０はまた、例えば、図５に図示しないメモリから、「現在のタイムワープ部分」に対応付けられた別の合計値における「最後のタイムワープコンター部分」に対応付けられた合計値を受信するようにも構成され得る。これら合計値は、それぞれ、「ｌａｓｔ＿ｗａｒｐ＿ｓｕｍ」および「ｃｕｒ＿ｗａｒｐ＿ｓｕｍ」で示される場合がある。再スケーリング部５５０は、タイムワープコンター部分に対応付けられた合計値を、対応するタイムワープコンター部分が再スケーリングされるのと同じ再スケーリング因子を用いて再スケーリングするように構成されている。したがって、再スケーリングされた合計値が得られる。

場合によっては、手段５２０は、再スケーリング部５５０に入力されたタイムワープコンター部分および再スケーリング部５５０に入力された合計値を繰返し更新するように構成された更新部５６０を備えてもよい。例えば、更新部５６０は、当該情報をフレームレートで更新するように構成されてもよい。例えば、現在のフレームサイクルの「新たなタイムワープコンター部分」は、次のフレームサイクルにおける「現在のタイムワープコンター部分」として機能し得る。同様に、現在のフレームサイクルの再スケーリングされた「現在のタイムワープコンター部分」は、次のフレームサイクルにおける「最後のタイムワープコンター部分」として機能し得る。したがって、「現在のフレームサイクル」が完了すると現在のフレームサイクルの「最後のタイムワープコンター部分」を破棄することができるため、メモリ効率のよい実施例が実現される。

上記を要約すると、手段５２０は、各フレームサイクル（例えば、フレームシーケンスの始めやフレームシーケンスの終わり、あるいはタイムワーピングが非アクティブであるフレームといったいくつかの特殊なフレームサイクルは除く）について、「新たなタイムワープコンター部分」、「再スケーリングされた現在のタイムワープコンター部分」および「再スケーリングされた最後のタイムワープコンター部分」の記述を含むタイムワープコンターセクションの記述を提供するように構成されている。さらに、手段５２０は、各フレームサイクル（上記特殊なフレームサイクルは除く）について、例えば、「新たなタイムワープコンター部分合計値」、「再スケーリングされた現在のタイムワープコンター合計値」および「再スケーリングされた最後のタイムワープコンター合計値」を含むワープコンター合計値の表現を提供してもよい。

タイムワープ制御情報計算部５３０は、手段５２０によって提供される復元されたタイムワープコンター情報５４２に基づいてタイムワープ制御情報５１２を計算するように構成されている。例えば、タイムワープ制御情報計算部５３０は、復元されたタイムワープコンター情報に基づいて時間コンター５７２（例えば、タイムワープコンターのサンプル単位表現）を計算するように構成された時間コンター計算部５７０を備える。さらに、タイムワープコンター情報計算部５３０は、時間コンター５７２を受信し、これに基づいて、サンプル位置情報を、例えば、サンプル位置ベクトル５７６の形態で提供するように設けられたサンプル位置計算部５７４を備える。サンプル位置ベクトル５７６は、例えば、再サンプリング部２４０ｇによって行われるタイムワーピングを示す。

タイムワープ制御情報計算部５３０はまた、復元されたタイムワープ制御情報から遷移長情報を導出するように構成された遷移長計算部も備える。遷移長情報５８２は、例えば、左遷移長を示す情報および右遷移長を示す情報を含み得る。遷移長は、例えば、「最後のタイムワープコンター部分」、「現在のタイムワープコンター部分」および「新たなタイムワープコンター部分」によって示される時間セグメントの長さに依存し得る。例えば、遷移長は、「最後のタイムワープコンター部分」によって示される時間セグメントの時間延長が「現在のタイムワープ部分」によって示される時間セグメントの時間延長よりも短い場合または「新たなタイムワープコンター部分」によって示される時間セグメントの時間延長が「現在のタイムワープコンター部分」によって示される時間セグメントの時間延長よりも短い場合は、短くしてもよい（デフォルトの遷移長と比較して）。

加えて、タイムワープ制御情報計算部５３０は、左および右遷移長に基づいていわゆる「最初の位置」およびいわゆる「最後の位置」を計算するように構成された最初・最後位置計算部５８４を更に含み得る。「最初の位置」および「最後の位置」により、これらの位置の外側の領域が窓関数処理の後にゼロに等しく、したがってタイムワーピングのために考慮される必要が無い場合に、再サンプリング部の効率性が高くなる。ここで、サンプル位置ベクトル５７６は、例えば、再サンプリング部２４０ｇによって行われるタイムワーピングに使用される（または更には必要とされる）情報を含む点に留意されたい。さらに、左および右遷移長５８２ならびに「最初の位置」および「最後の位置」５８６は、窓関数処理部２４０ｅによって例えば、使用される（または更には必要とされる）情報を構成している。

したがって、手段５２０およびタイムワープ制御情報計算部５３０は、協働して、サンプリングレート調整２４０ｍ、窓形状調整２４０ｌおよびサンプリング位置計算２４０ｋの機能の代わりを果たすことができるということができる。
６．２．図６ａおよび図６ｂによる機能説明
以下に、手段５２０およびタイムワープ制御情報計算部５３０を備えるオーディオ復号器の機能について図６ａおよび図６ｂを参照して説明する。

図６ａおよび図６ｂは、本発明の一実施形態による、オーディオ信号の符号化された表現を復号するための方法のフローチャートを示す。この方法６００は、復元されたタイムワープコンター情報を提供するステップを含み、復元されたタイムワープコンター情報を提供するステップは、符号化されたタイムワープ情報のコードワードを復号されたタイムワープ値にマッピングするステップ６０４と、ワープノード値を計算するステップ６１０と、ワープノード値間を補間するステップ６２０と、１つ以上前に計算されたワープコンター部分および１つ以上前に計算されたワープコンター合計値を再スケーリングするステップ６３０とを含む。方法６００は、ステップ６１０およびステップ６２０で取得された「新たなタイムワープコンター部分」、再スケーリングされた以前に計算されたタイムワープコンター部分（「現在のタイムワープコンター部分」、「最後のタイムワープコンター部分」）を用いて、さらに、任意には、再スケーリングされた以前に計算されたワープコンター合計値を用いて、タイムワープ制御情報を計算するステップ６４０を更に含む。その結果、ステップ６４０において、時間コンター情報、および／またはサンプル位置情報、および／または遷移長情報、および／または最初・最後位置情報を取得することができる。

方法６００は、ステップ６４０において取得されたタイムワープ制御情報を用いてタイムワープ信号の復元を実行するステップ６５０を更に含む。タイムワープ信号の復元に関する詳細については後述する。

方法６００はまた、後述するように、メモリを更新するステップ６６０も含む。
７．アルゴリズムの詳細な説明
７．１．概要
以下に、本発明の一実施形態によるオーディオ復号器によって実行されるアルゴリズムのいくつかについて詳細に説明する。この目的で、図５ａ、図５ｂ、図６ａ、図６ｂ、図７ａ、図７ｂ、図８、図９、図１０ａ、図１０ｂ、図１１、図１２、図１３、図１４、図１５および図１６を参照されたい。

まず、データ要素の定義の凡例およびヘルプ要素の定義の凡例を示す図７ａを参照されたい。さらに、定数の定義の凡例を示す図７ｂを参照されたい。

一般的に、本明細書で記載される方法は、タイムワープ型修正離散コサイン変換に従って符号化されたオーディオストリームの復号に用いることができると言うことができる。したがって、ＴＷ−ＭＤＣＴをオーディオストリーム（例えば、特定の設定情報に含まれ得る「ｔｗＭＤＣＴ」フラグというフラグによって示され得る）に対して有効にする場合、オーディオ復号器において標準的なフィルタバンクおよびブロック切り替えをタイムワープ型フィルタバンクおよびブロック切り替えで置き換えることができる。逆修正離散コサイン変換（ＩＭＤＣＴ）に加えて、タイムワープ型フィルタバンクおよびブロック切り替えは、任意の間隔で配置された時間グリッドから通常の規則的な間隔または直線的間隔で配置された時間グリッドへの時間領域−時間領域マッピング、および対応する窓形状の適合処理を含む。

ここで、本明細書に記載される復号アルゴリズムは、例えば、スペクトルの符号化された表現２１４に基づいて、また、符号化されたタイムワープ情報２３２に基づいてワープ復号部２４０によって実行され得るという点に留意されたい。
７．２．定義
データ要素、ヘルプ要素および定数の定義に関しては、図７ａおよび図７ｂを参照されたい。
７．３．復号処理-ワープコンター
ワープコンターノードのコードブックインデックスは、個々のノードの値をワーピングするために以下のように復号される。

しかしながら、本明細書において「ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ［ｋ］］」として示す復号されたタイムワープ値へのタイムワープコードワード「ｔｗ＿ｒａｔｉｏ［ｋ］」のマッピングは、本発明による実施形態におけるサンプリング周波数に依存する。したがって、本発明による実施形態においては単一のマッピングテーブルが存在するのではなく、異なるサンプリング周波数についての個別のマッピングテーブルが存在する。

例えば、現在のサンプリング周波数に対応するマッピングテーブルへのマッピングテーブルアクセスによって戻される結果値「ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ［ｋ］］」は、復号されたタイムワープ値であると考えることができ、符号化されたオーディオ信号表現２１０を構成する（または表す）ビットストリームに含まれるタイムワープコードワード「ｔｗ＿ｒａｔｉｏ［ｋ］」に基づいて、マッピング２３４、適合型マッピング４００または適合型マッピング４５０によって提供され得る。

サンプル単位の（ｎ＿ｌｏｎｇ ｓａｍｐｌｅｓ）新たなワープコンターデータ「ｎｅｗ＿ｗａｒｐ＿ｃｏｎｔｏｕｒ［］」を取得するために、図９に示す疑似プログラムコードによるアルゴリズムを用いて、ワープノード値「ｗａｒｐ＿ｎｏｄｅ＿ｖａｌｕｅｓ［］」を等間隔（ｉｎｔｅｒｐ＿ｄｉｓｔ ａｐａｒｔ）ノード間で直線補間する。

このフレームの（例えば、現在のフレームの）完全なワープコンターを取得する前に、過去のワープコンター「ｐａｓｔ＿ｗａｒｐ＿ｃｏｎｔｏｕｒ［］」の最後のワープ値が１に等しくなるように、過去のバッファリングされた値を再スケーリングしてもよい。

過去のワープコンター「ｐａｓｔ＿ｗａｒｐ＿ｃｏｎｔｏｕｒ」と新たなワープコンター「ｎｅｗ＿ｗａｒｐ＿ｃｏｎｔｏｕｒ」とを連結することにより、完全なワープコンター「ｗａｒｐ＿ｃｏｎｔｏｕｒ［］」を取得し、新たなワープ合計値「ｎｅｗ＿ｗａｒｐ＿ｓｕｍ」を新たなワープコンター値「ｎｅｗ＿ｗａｒｐ＿ｃｏｎｔｏｕｒ［］」の全体の合計値として計算する。

７．４．復号処理−サンプル位置および窓長調整
ワープコンター「ｗａｒｐ＿ｃｏｎｔｏｕｒ［］」から、線形時間スケールでのワープされたサンプルのサンプル位置のベクトルを計算する。このために、以下の式に従ってタイムワープコンターを生成する。

その疑似プログラムコード表現をそれぞれ図１０ａおよび図１０ｂに示すヘルパー関数「ｗａｒｐ＿ｉｎｖ＿ｖｅｃ（）」および「ｗａｒｐ＿ｔｉｍｅ＿ｉｎｖ（）」を用い、その疑似プログラムコード表現を図１１に示すアルゴリズムに従って、サンプル位置ベクトルおよび遷移長を計算する。
７．５．復号処理−逆修正離散コサイン変換（ＩＭＤＣＴ）
以下に、逆修正離散コサイン変換について簡単に説明する。

逆修正離散コサイン変換の解析方程式は以下の通りである。

逆変換のための合成窓長は、構文要素「ｗｉｎｄｏｗ＿ｓｅｑｕｅｎｃｅ」（ビットストリームに含められ得る）およびアルゴリズムコンテキストの関数である。合成窓長は、例えば、図１２のテーブルに従って定義することができる。

図１３のテーブルにおいて、有意なブロック遷移を示す。所与のテーブルセルのチェックマークは、この特定の行に示される窓シーケンスの後に、この特定の列に示される窓シーケンスが続き得ることを示している。

許可された窓シーケンスに関し、オーディオ復号器は、例えば、異なる長さの窓間で切り替えられ得るという点に留意されたい。しかしながら、窓長の切り替えは、本発明にとって特に重要ではない。むしろ、本発明は、タイプ「ｏｎｌｙ＿ｌｏｎｇ＿ｓｅｑｕｅｎｃｅ」の窓のシーケンスが存在し、コアコーダフレーム長は１０２４に等しいという仮定に基づいて理解することができる。

さらに、オーディオ信号復号器は、周波数領域コーディングモードと時間領域コーディングモードとの間で切り替えられ得るという点に留意されたい。しかしながら、この可能性は本発明にとって特に重要ではない。むしろ、本発明は、例えば、図１、図２、図３ａおよび図３ｂを参照して述べたような、周波数領域コーディングモードのみを処理することができるオーディオ信号復号器において適用可能である。
７．６．復号処理−窓関数処理およびブロック切り替え
以下に、ワープ復号部２４０により、具体的には、その窓関数処理部２４０ｅにより実行され得る窓関数処理およびブロック切り替えについて説明する。

（オーディオ信号を表すビットストリームに含められ得る）「ｗｉｎｄｏｗ＿ｓｈａｐｅ」要素に従い、異なるオーバーサンプリングされた変換窓プロトタイプが使用され、オーバーサンプリングされた窓の長さは、以下の通りである。

ｗｉｎｄｏｗ＿ｓｈａｐｅ＝＝１の場合、窓係数は、カイザー−ベッセル派生（ＫＢＤ）窓によって以下のように得られる。

式中、W'、カイザー−ベッセル核関数は、以下のように定義される。

そうではなく、ｗｉｎｄｏｗ＿ｓｈａｐｅ＝＝０の場合、以下のように正弦窓を使用する。

あらゆる種類の窓シーケンスについて、左窓部分の上記使用プロトタイプは、以前のブロックの窓形状によって決定される。以下の式がこのことを表している。

同様に、右窓形状のプロトタイプは、以下の式によって求められる。

遷移長は既に求められているため、タイプ「ＥＩＧＨＴ＿ＳＨＯＲＴ＿ＳＥＱＵＥＮＣＥ」の窓シーケンスと他の全ての窓シーケンスとを区別するだけでよい。

現在のフレームがタイプ「ＥＩＧＨＴ＿ＳＨＯＲＴ＿ＳＥＱＵＥＮＣＥ」である場合、窓関数処理および内部（フレーム内）重複加算（オーバーラップ加算）を実行する。図１４のＣ言語のコードに似た部分は、窓タイプ「ＥＩＧＨＴ＿ＳＨＯＲＴ＿ＳＥＱＵＥＮＣＥ」を有するフレームの窓関数処理および内部重複加算を示している。

その他のタイプのフレームについては、図１５に疑似プログラムコード表現を示すアルゴリズムが使用され得る。
７．７． 復号処理−時変再サンプリング
以下に、ワープ復号部２４０により、具体的には、その再サンプリング部２４０ｇにより実行され得る時変再サンプリングについて説明する。

窓関数処理されたブロックｚ［］を、（マッピング２３４により提供される復号されたタイムワープ値に基づいてサンプリング位置計算部２４０ｋにより提供される）サンプル位置に応じて、以下のインパルス応答を用いて再サンプリングする。

再サンプリングの前に、窓関数処理されたブロックの両端を０でパディングする。

再サンプリング自体は、図１６の疑似プログラムコードのセクションに示されている。
７．８．復号処理−以前の窓シーケンスによる重複加算
ワープ復号部２４０の重複器／加算器２４０ｊによって実行される重複加算は、全てのシーケンスについて同様であり、以下のように数学的に記述することができる。

７．９．復号処理−メモリ更新
以下に、メモリ更新について説明する。図３ｄでは特定の手段は示されていないが、メモリ更新はワープ復号部２４０によって実行され得るという点に留意されたい。

次のフレームの復号に必要なメモリバッファは、以下のように更新する。

最初のフレームを復号する前に、あるいは、最後のフレームが光学ＬＰＣ領域コーダによって符号化された場合、メモリ状態を以下のように設定する。

７．１０．復号処理−結論
上記を要約すると、ワープ復号部２４０によって実行され得る復号処理について説明した。例えば、２０４８個の時間領域サンプルからなるオーディオフレームについての時間領域表現が提供され、連続するオーディオフレームは、例えば、約５０％重複し得るため、連続するオーディオフレームの時間領域表現間の平滑な遷移が確実に実現されることが理解される。

オーディオフレームの時間領域サンプルの実際のサンプリング周波数に関係なく、例えば、ＮＵＭ＿ＴＷ＿ＮＯＤＥＳ＝１６の復号されたタイムワープ値の集合をオーディオフレームのそれぞれに対応付けることができる（但し、タイムワープが当該オーディオフレームにおいてアクティブである場合に限る）。
８．図１７ａ〜図１７ｆによるオーディオストリーム
以下に、１つ以上のオーディオ信号チャネルおよび１つ以上のタイムワープコンターの符号化された表現を含むオーディオストリームについて説明する。以下に説明するオーディオストリームは、例えば、符号化されたオーディオ信号表現１１２または符号化されたオーディオ信号表現２１０を運ぶことができる。

図１７ａは、単一チャネル要素（ＳＣＥ）、チャネル対要素（ＣＰＥ）または１つ以上の単一チャネル要素および／もしく１つ以上のチャネル対要素の組み合わせを含み得る、いわゆる「ＵＳＡＣ＿ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ」データストリーム要素の表現を示す。

「ＵＳＡＣ＿ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ」は、典型的には、符号化されたオーディオデータのブロックを含み得る一方で、追加のタイムワープコンター情報は、別個のデータストリーム要素において提供することができる。しかしながら、いくつかのタイムワープコンターデータを「ＵＳＡＣ＿ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ」に符号化することは当然可能である。

図１７ｂから理解されるように、単一チャネル要素は、典型的には、図１７ｄを参照して詳細に説明される周波数領域チャネルストリーム（「ｆｄ＿ｃｈａｎｎｅｌ＿ｓｔｒｅａｍ」）を含む。

図１７ｃから理解されるように、チャネル対要素（「ｃｈａｎｎｅｌ＿ｐａｉｒ＿ｅｌｅｍｅｎｔ」）は、典型的には、複数の周波数領域チャネルストリームを含む。
また、チャネル対要素は、例えば、設定データストリーム要素または「ＵＳＡＣ＿ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ」において送信することができ、また、タイムワープ情報をチャネル対要素に含めるか否かを決定するタイムワープ起動フラグ（「ｔｗ＿ＭＤＣＴ」）といったタイムワープ情報を含み得る。例えば、「ｔｗ＿ＭＤＣＴ」フラグがタイムワープがアクティブであることを示す場合、チャネル対要素は、チャネル対要素のオーディオチャネルについて共通のタイムワープが存在するか否かを示すフラグ（「ｃｏｍｍｏｎ＿ｔｗ」）を含み得る。当該フラグ（「ｃｏｍｍｏｎ＿ｔｗ」）が多数のオーディオチャネルについて共通のタイムワープが存在することを示す場合、共通のタイムワープ情報（「ｔｗ＿ｄａｔａ」）を、例えば、周波数領域チャネルストリームとは別に、チャネル対要素に含める。

ここで図１７ｄを参照すると、周波数領域チャネルストリームが示されている。
図１７ｄから理解されるように、周波数領域チャネルストリームは、例えば、グローバルゲイン情報を含む。また、周波数領域チャネルストリームは、タイムワーピングがアクティブであり（フラグ「ｔｗ＿ＭＤＣＴ」がアクティブであり）、多数のオーディオ信号チャネルについて共通のタイムワープ情報が存在しない（フラグ「ｃｏｍｍｏｎ＿ｔｗ」が非アクティブである）場合、タイムワープデータを含む。

さらに、周波数領域チャネルストリームはまた、スケーリング因子データ（「ｓｃａｌｅ＿ｆａｃｔｏｒ＿ｄａｔａ」）および符号化されたスペクトルデータ（例えば、算術符号化されたスペクトルデータ「ａｃ＿ｓｐｅｃｔｒａｌ＿ｄａｔａ」）も含む。

ここで図１７ｅを参照し、タイムワープデータの構文について簡単に述べる。
タイムワープデータは、例えば、タイムワープデータが存在しているか否かを示すフラグ（例えば、「ｔｗ＿ｄａｔａ＿ｐｒｅｓｅｎｔ」または「ａｃｔｉｖｅ＿ｐｉｔｃｈ＿ｄａｔａ」）を任意には含み得る。タイムワープデータが存在している（すなわち、タイムワープコンターが平坦でない）場合、タイムワープデータは、例えば、上述のようにサンプリングレート依存型コードブックテーブルに従って符号化され得る複数の符号化されたタイムワープ比の値（例えば、「ｔｗ＿ｒａｔｉｏ［ｉ］」または「ｐｉｔｃｈ Ｉｄｘ［ｉ］」）のシーケンスを含み得る。

したがって、タイムワープデータは、タイムワープコンターが一定である（タイムワープ比が１．０００にほぼ等しい）場合、利用可能なタイムワープデータが存在しないことを示すフラグ（オーディオ信号符号化器によって設定され得る）を含み得る。これに対し、タイムワープコンターが変化している場合、連続するタイムワープコンターノード間の比は、「ｔｗ＿ｒａｔｉｏ」情報を構成するコードブックインデックスを用いて符号化され得る。

図１７ｆは、算術コーディングされたスペクトルデータ「ａｃ＿ｓｐｅｃｔｒａｌ＿ｄａｔａ（）」の構文の図式表現を示す。算術コーディングされたスペクトルデータは、非依存性フラグ（ここでは「ｉｎｄｅｐＦｌａｇ」）の状態に応じて符号化され、このフラグは、アクティブである場合には、算術コーディングされたデータが以前のフレームの算術符号化されたデータに依存しないことを示す。非依存性フラグ「ｉｎｄｅｐＦｌａｇ」がアクティブである場合、算術リセットフラグ「ａｒｉｔｈ＿ｒｅｓｅｔ＿ｆｌａｇ」はアクティブとなるよう設定される。そうでない場合、算術リセットフラグの値は、算術コーディングされたスペクトルデータにおけるビットによって決定される。

さらに、算術コーディングされたスペクトルデータブロック「ａｃ＿ｓｐｅｃｔｒａｌ＿ｄａｔａ（）」は、算術コーディングされたデータの１つ以上のユニットを含み、算術コーディングされたデータ「ａｒｉｔｈ＿ｄａｔａ（）」のユニットの数は、現在のフレームにおけるブロック（または窓）の数に依存する。長ブロックモードでは、１オーディオフレーム当たり１個の窓しか存在しない。しかし、短ブロックモードでは、１オーディオフレーム当たり例えば８個の窓が存在し得る。算術コーディングされたスペクトルデータ「ａｒｉｔｈ＿ｄａｔａ」の各ユニットは、例えば、逆変換２４０ｃによって実行され得る周波数領域−時間領域変換のための入力として機能し得るスペクトル係数の集合を含む。

算術符号化されたデータ「ａｒｉｔｈ＿ｄａｔａ」の１つのユニット当たりのスペクトル係数の数は、例えば、サンプリング周波数に非依存であり得るが、ブロック長モード（短ブロックモード「ＥＩＧＨＴ＿ＳＨＯＲＴ＿ＳＥＱＵＥＮＣＥ」または長ブロックモード「ＯＮＬＹ＿ＬＯＮＧ＿ＳＥＱＵＥＮＣＥ」）に依存し得る。
９．結論
上記を要約すると、タイムワープ型修正離散コサイン変換（ＴＷ−ＭＤＣＴ）に関する改良について述べた。上述の本発明は、タイムワープ型ＭＤＣＴ変換コーダに関連するものであり、ワープ型ＭＤＣＴ変換コーダの性能を向上させるための方法を実現する。タイムワープ型修正離散コサイン変換に関する詳細について、読者は、参考文献［１］および［２］を注目されたい。

このようなタイムワープ型ＭＤＣＴ変換コーダの１つの実施例は、進行中のＭＰＥＧ ＵＳＡＣオーディオコーディング標準化作業（例えば、参考文献［３］を参照）において実現されている。使用されるタイムワープ型ＭＤＣＴの実施例の詳細は、例えば、参考文献［４］において見られる。

さらに、本明細書に記載されるオーディオ信号符号化器およびオーディオ信号復号器は、国際特許出願ＷＯ／２０１０／００３５８３、ＷＯ／２０１０／００３６１８、ＷＯ／１０１０／００３５８１およびＷＯ／２０１０／００３５８２に記載される構成要件を備えるという点に留意されたい。これら４件の国際特許出願の教示は、本明細書に明示的に援用される。これら４件の国際特許出願に開示される構成要件および特徴は、本発明による実施形態に組み込むことができる。
１０．代替実施例
いくつかの態様を装置との関連で説明したが、これらの態様は対応する方法も示していることは明らかであり、方法においては、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップとの関連で説明した態様もまた、対応するブロックもしくは項目または対応する装置の特徴を示すものである。例えば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路といったハードウェア装置によって（またはこれを用いて）、方法ステップの一部またはすべてを実行してもよい。いくつかの実施形態では、最も重要な方法ステップのうち任意の１つ以上をこのような装置によって実行してもよい。

本発明の符合化されたオーディオ信号は、デジタル記憶媒体に格納することができ、あるいは、無線伝送媒体またはインターネットのような有線伝送媒体などの伝送媒体上に送信することができる。

特定の実施要件によっては、本発明の実施形態は、ハードウェアにおいて、またはソフトウェアにおいて実施されることができる。実施は、電子的に読取可能な制御信号を格納したデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができ、これらは、各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。

本発明によるいくつかの実施形態は、本明細書に記載される方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読取り可能な制御信号を有するデータキャリアを含む。

通常、本発明の実施形態はプログラムコードを有するコンピュータプログラム製品として実現することができ、コンピュータプログラム製品がコンピュータで実行されたときに、プログラムコードが方法のうちの１つを実行するために動作する。プログラムコードは、例えば、機械可読キャリアに格納され得る。

他の実施形態は、本明細書に記載される、機械可読キャリアに格納された方法のうちの１つを実行するためのコンピュータプログラムを含む。

したがって、換言すれば、本発明の方法の一実施形態は、コンピュータ上で実行されたときに、本明細書に記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムが記録されたデータキャリア（すなわちデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は、典型的には、有形および／または非過渡的である。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えばインターネットなどのデータ通信接続を介して転送されるように構成することができる。

さらなる実施形態は、本明細書に記載される方法の１つを実行するように構成されるかあるいは適合された、例えばコンピュータまたはプログラム可能論理デバイスといった処理手段を含む。

さらなる実施形態は、本明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを搭載したコンピュータを含む。

本発明によるさらなる実施形態は、本明細書で説明された方法のうちの１つを実行するためのコンピュータプログラムを受信機に転送する（例えば、電子的または光学的に）ように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、携帯機器、メモリデバイス等であってもよい。この装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えていてもよい。

いくつかの実施形態において、プログラム可能論理デバイス（例えばフィールドプログラマブルゲートアレイ）を用いて、本明細書に記載される方法の機能のいくつかまたはすべてを実行してもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載される方法のうちの１つを実行するために、マイクロプロセッサと協働してもよい。通常、上記方法は、好ましくは、いかなるハードウェア装置によっても実行される。

上述の実施形態は、本発明の原理のための単なる例示にすぎない。本明細書に記載される構成および詳細事項の修正変更は、他の当業者にとって明らかであるものと理解される。したがって、本発明は、添付の特許クレームの範囲のみによって限定されるものであって、本明細書に記載の実施形態の記載および説明によって示される具体的な詳細事項によって限定されるものではない。
参考文献
[1] Bernd Edler et. al., “Time Warped MDCT”, US61/042,314, 仮特許出願。
[2] L. Villemoes, “Time Warped Transform Coding of Audio Signals”,
PCT/EP2006/010246, 国際特許出願（２００５年１１月）
[3] “WD6 of USAC”, ISO/IEC JTC1/SC29/WG11 N11213, 2010
[4] Bernd Edler et. al., “A Time-Warped MDCT Approach to Speech Transform Coding”, 126th AES Convention, Munich, May 2009, preprint 7710
[5] Nikolaus Meine, “Vektorquantisierung und kontextabhaengige arithmetische Codierung fuer MPEG-4 AAC”, VDI, Hannover, 2007

Claims (16)

1. サンプリング周波数情報（２１８）と、符号化されたタイムワープ情報（２１６，ｔｗ＿ｒａｔｉｏ［ｉ］）と、符号化されたスペクトル表現（２１４，ａｃ＿ｓｐｅｃｔｒａｌ＿ｄａｔａ（））とを含む符号化されたオーディオ信号表現（１１２，２１０）に基づいて、 復号されたオーディオ信号表現（２１２）を提供するオーディオ信号復号器（２００；３５０）であって、
   前記符号化されたタイムワープ情報（２１６，ｔｗ＿ｒａｔｉｏ［ｉ］）を復号されたタイムワープ情報（２３２，ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ］，ｐ_ｒｅｌ）にマッピングするタイムワープ計算部（２３０，６０４）であって、前記符号化されたタイムワープ情報（２１６）のコードワード（ｔｗ＿ｒａｔｉｏ［ｉ］，インデックス）を前記復号されたタイムワープ情報（２３２）を示す復号されたタイムワープ値（ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ］，ｐ_ｒｅｌ）にマッピングするためのマッピング規則を前記サンプリング周波数情報（２１８）に応じて適合させるタイムワープ計算部（２３０，６０４）と、
   前記符号化されたスペクトル表現（２１４，ａｃ＿ｓｐｅｃｔｒａｌ＿ｄａｔａ（））に基づき、かつ、前記復号されたタイムワープ情報（２３２）に応じて、前記復号されたオーディオ信号表現（２１２）を提供するワープ復号部（２４０）と、
   を備えるオーディオ信号復号器（２００；３５０）。
2. 前記符号化されたタイムワープ情報（２１６）の前記コードワード（ｔｗ＿ｒａｔｉｏ［ｉ］，インデックス）は、タイムワープコンター（ｔｉｍｅ＿ｃｏｎｔｏｕｒ［］）の時間的変化を示し、
   前記タイムワープ計算部（２３０，６０４）は、前記符号化されたタイムワープ情報（２１６）の所定数（Ｎｕｍ＿ｔｗ＿ｎｏｄｅｓ）のコードワード（ｔｗ＿ｒａｔｉｏ［ｉ］，インデックス）を、前記符号化されたオーディオ信号表現（２１４，ａｃ＿ｓｐｅｃｔｒａｌ＿ｄａｔａ（））によって表される符号化されたオーディオ信号のオーディオフレームについて評価するように構成され、コードワードの前記所定数は、前記符号化されたオーディオ信号のサンプリング周波数に依存しない、
   請求項１に記載のオーディオ信号復号器。
3. 前記タイムワープ計算部（２３０）は、前記符号化されたタイムワープ情報（２１６）のコードワード（ｔｗ＿ｒａｔｉｏ［ｉ］，インデックス）の所与の集合がマッピングされる復号されたタイムワープ値（ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ］，ｐ_ｒｅｌ）の範囲が、第２のサンプリング周波数についてよりも第１のサンプリング周波数について大きくなるように、前記マッピング規則を適合させるよう構成されており、
   前記第１のサンプリング周波数は、前記第２のサンプリング周波数よりも小さい、
   請求項１または２に記載のオーディオ信号復号器。
4. 前記復号されたタイムワープ値（ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ］，ｐ_ｒｅｌ）は、タイムワープコンターの値を表すタイムワープコンター値、またはタイムワープコンター（ｔｉｍｅ＿ｃｏｎｔｏｕｒ［］）の値の絶対的な変化もしくは相対的な変化を表すタイムワープコンター変動値である、
   請求項３に記載のオーディオ信号復号器。
5. 前記タイムワープ計算部（２３０）は、前記符号化されたタイムワープ情報（２１６）のコードワード（ｔｗ＿ｒａｔｉｏ［ｉ］，インデックス）の所与の集合によって表現可能な、前記符号化されたオーディオ信号表現（１１２；２１０）によって表される符号化されたオーディオ信号の所与の数のサンプルにわたるピッチの最大変化が、第２のサンプリング周波数についてよりも第１のサンプリング周波数について大きくなるように、前記マッピング規則を適合させるよう構成されており、
   前記第１のサンプリング周波数は前記第２のサンプリング周波数よりも小さい、
   請求項１から４のいずれかに記載のオーディオ信号復号器。
6. 前記タイムワープ計算部（２３０）は、第１のサンプリング周波数における前記符号化されたタイムワープ情報（２１６）のコードワード（ｔｗ＿ｒａｔｉｏ［ｉ］，インデックス）の所与の集合によって表現可能な、所与の期間にわたるピッチの最大変化が、第２のサンプリング周波数における前記符号化されたタイムワープ情報のコードワードの前記所与の集合によって表現可能な、前記所与の期間にわたるピッチの最大変化と、第１のサンプリング周波数については１０％未満しか異ならず、第２のサンプリング周波数については少なくとも３０％異なるように、前記マッピング規則を適合させるよう構成されている、
   請求項１から５のいずれかに記載のオーディオ信号復号器。
7. 前記タイムワープ計算部（２３０）は、前記サンプリング周波数情報（２１８）に応じて、前記符号化されたタイムワープ情報（２１６）のコードワード（ｔｗ＿ｒａｔｉｏ［ｉ］，インデックス）を復号されたタイムワープ値（ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ］，ｐ_ｒｅｌ）にマッピングするための異なるマッピングテーブル（４８０，４８４；４８０，４８６）を使用するように構成されている、
   請求項１から６のいずれかに記載のオーディオ信号復号器。
8. 前記タイムワープ計算部は、基準サンプリング周波数（ｆ_{ｓ，ｒｅｆ}）について前記符号化されたタイムワープ情報（２１６）の異なるコードワード（ｔｗ＿ｒａｔｉｏ［ｉ］，４９０，インデックス）に対応付けられた復号されたタイムワープ値（ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ］，ｐ_ｒｅｌ）を示す基準マッピング値（４９４）を、前記基準サンプリング周波数（ｆ_ｓ）とは異なる実際のサンプリング周波数（ｆ_ｓ）に適合させて、適合されたマッピング値（４９６）を取得するように構成されている、
   請求項１から６のいずれかに記載のオーディオ信号復号器。
9. 前記タイムワープ計算部は、タイムワープを示す前記基準マッピング値（４９４）の部分を、前記実際のサンプリング周波数（ｆ_ｓ）と前記基準サンプリング周波数（ｆ_{ｓ，ｒｅｆ}）との比に応じてスケーリングするように構成されている、
   請求項８に記載のオーディオ信号復号器。
10. 前記復号されたタイムワープ値（ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ］，ｐ_ｒｅｌ）は、前記符号化されたオーディオ信号表現（２１０）によって表される前記符号化されたオーディオ信号の所定数のサンプルにわたるタイムワープコンターの変動を示し、
    前記オーディオ信号復号器は、サンプリング位置計算部を備え、該サンプリング位置計算部は、前記タイムワープコンターの変動を表す複数の復号されたタイムワープ値（ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ］，ｐ_ｒｅｌ）を組み合わせて、ワープコンターノード値（ｗａｒｐ＿ｎｏｄｅ＿ｖａｌｕｅｓ［］）を導出し、該導出されたワープコンターノード値の基準ワープノード値からの偏差が、前記復号されたタイムワープ値（ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ］，ｐ_ｒｅｌ）のうちの１つによって表現可能な偏差よりも大きくなるようにするよう構成されている、
    請求項１から９のいずれかに記載のオーディオ信号復号器。
11. 前記復号されたタイムワープ値（ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ］，ｐ_ｒｅｌ）は、前記符号化されたオーディオ信号表現（２１０）によって表される前記符号化されたオーディオ信号の所定数のサンプルにわたるタイムワープコンターの相対的な変化を示し、
    前記オーディオ信号復号器は、前記復号されたタイムワープ値からタイムワープコンター情報を導出するように構成されたサンプリング位置計算部を備える、
    請求項１から１０のいずれかに記載のオーディオ信号復号器。
12. 前記オーディオ信号復号器は、前記復号されたタイムワープ値（ｗａｒｐ＿ｖａｌｕｅ＿ｔｂｌ［ｔｗ＿ｒａｔｉｏ］）に基づいてタイムワープコンターの支持点（サポーティング・ポイント）（ｗａｒｐ＿ｎｏｄｅ＿ｖａｌｕｅｓ［］）を計算するように構成されたサンプリング位置計算部（２４０ｋ）を備え、
    前記サンプリング位置計算部は、前記支持点間を補間して、前記タイムワープコンター（ｔｉｍｅ＿ｃｏｎｔｏｕｒ［］）を取得するように構成され、
    １オーディオフレーム当たりの復号されたタイムワープ値の数は、前記サンプリング周波数に依存しない、
    請求項１から１１のいずれかに記載のオーディオ信号復号器。
13. オーディオ信号（１１０）の符号化された表現（１１２）を提供するためのオーディオ信号符号化器（１００；３００）であって、
    タイムワープコンターを示すタイムワープ値（ｐ_ｒｅｌ）を符号化されたタイムワープ情報（１３２）にマッピングするように構成されたタイムワープコンター符号化部（１３０）であって、前記タイムワープコンターを示す前記タイムワープ値（ｐ_ｒｅｌ）を前記符号化されたタイムワープ情報（１３２）のコードワード（ｔｗ＿ｒａｔｉｏ［ｉ］，インデックス）にマッピングするためのマッピング規則（１３４）を前記オーディオ信号（１１０）のサンプリング周波数（ｆ_ｓ）に応じて適合させるように構成されたタイムワープコンター符号化部（１３０）と、
    前記オーディオ信号のスペクトルの符号化された表現（１４２）を、前記タイムワープコンター情報（１２２）によって示されるタイムワープを考慮して取得するように構成されたタイムワーピング信号符号化部（１４０）であって、前記オーディオ信号（１１０）の前記符号化された表現（１１２）が、前記符号化されたタイムワープ情報（１３２）の前記コードワード（ｔｗ＿ｒａｔｉｏ［ｉ］，インデックス）、前記スペクトルの前記符号化された表現（１４２）、および前記サンプリング周波数を示すサンプリング周波数情報（１５２）を含むタイムワーピング信号符号化部（１４０）と、
    を備えるオーディオ信号符号化器（１００；３００）。
14. 復号されたオーディオ信号表現を、サンプリング周波数情報と、符号化されたタイムワープ情報と、符号化されたスペクトル表現とを含む符号化されたオーディオ信号表現に基づいて提供するための方法であって、
    前記符号化されたタイムワープ情報を復号されたタイムワープ情報にマッピングするステップであって、前記符号化されたタイムワープ情報のコードワードを前記復号されたタイムワープ情報を示す復号されたタイムワープ値にマッピングするためのマッピング規則を前記サンプリング周波数情報に応じて適合させるステップと、
    前記復号されたオーディオ信号表現を、前記符号化されたスペクトル表現に基づいてかつ前記復号されたタイムワープ情報に応じて提供するステップと
    を含む方法。
15. オーディオ信号の符号化された表現を提供するための方法であって、
    タイムワープコンターを示すタイムワープ値を符号化されたタイムワープ情報にマッピングするステップであって、前記タイムワープコンターを示す前記タイムワープ値を前記符号化されたタイムワープ情報のコードワードにマッピングするためのマッピング規則を前記オーディオ信号のサンプリング周波数に応じて適合させるステップと、
    前記オーディオ信号のスペクトルの符号化された表現を、前記タイムワープコンター情報によって示されるタイムワープを考慮して取得するステップであって、前記オーディオ信号の前記符号化された表現が、前記符号化されたタイムワープ情報の前記コードワード、前記スペクトルの前記符号化された表現、および前記サンプリング周波数を示すサンプリング周波数情報を含むステップと、
    を含む方法。
16. コンピュータ上で実行されたときに、請求項１４または１５に記載の方法を実行するためのコンピュータプログラム。

Images