JP5597738B2

JP5597738B2 - クロス生成物により向上された高調波転換

Info

Publication number: JP5597738B2
Application number: JP2013068151A
Authority: JP
Inventors: ヴィレモーズ，ラルス; ヘデリン，ペール
Original assignee: ドルビーインターナショナルアーベー
Priority date: 2009-01-16
Filing date: 2013-03-28
Publication date: 2014-10-01
Anticipated expiration: 2030-01-15
Also published as: JP5237465B2; EP4145446B1; CA2748003A1; RU2495505C2; US20210366500A1; EP3598445A1; EP3598447B1; KR101256808B1; EP3598446A1; EP3598446B1; PL4145446T3; US10192565B2; RU2638748C2; US9799346B2; US11935551B2; ES2966639T3; EP3992966B1; KR20110128275A; CA3162807C; RU2667629C1

Description

本発明は、高周波数再構成（HFR: high frequency reconstruction）のために高調波転換（harmonic transposition）法を使うオーディオ符号化システムに関する。

スペクトル帯域複製（SBR: Spectral Band Replication）技術のようなHFR技術は、伝統的な知覚的なオーディオ・コーデックの符号化効率を著しく改善できる。MPEG-4先進オーディオ符号化（AAC: Advanced Audio Coding）と組み合わせて、HFR技術は非常に効率的なオーディオ・コーデックをなす。それはすでにXM衛星ラジオ（XM Satellite Radio）システムおよびデジタル・ラジオ・モンディアル（Digital Radio Mondiale）内ですでに使用されている。AACとSBRの組み合わせはaacPlusと呼ばれ、MPEG-4規格の一部であり、該規格では高効率AACプロファイル（High Efficiency AAC Profile）と称されている。一般に、HFR技術はいかなる知覚的オーディオ・コーデックとも、上位互換かつ下位互換な仕方で組み合わされることができ、よってユーレカ（Eureka）DABシステムにおいて使われているMPEG-2レイヤー２のようなすでに確立されている放送システムをアップグレードする可能性をもたらす。HFR転換法も、音声コーデックと組み合わされて、超低ビットレートで広い帯域幅の音声を可能にできる。

HRFの背後にある基本的な発想は、信号の高周波数範囲の特性と、同じ信号の低周波数範囲の特性との間には通例強い相関があるという観察である。よって、信号のもとの入力高周波数範囲の表現のためのよい近似が、低周波数範囲から高周波数範囲への信号転換によって達成できる。

転換の概念はWO98/57436において、高周波数帯域を、オーディオ信号のより低い周波数帯域から再生成する方法として確立された。この概念を音響符号化および／または音声符号化において使うことによってビットレートの実質的な節約が得られる。以下では、音響符号化〔オーディオ符号化〕に言及するが、記載される方法およびシステムは音声符号化にも、統合音声音響符号化（unified speech and audio coding）においても等しく適用可能であることを注意しておくべきである。

HFRベースのオーディオ符号化システムでは、低帯域幅信号がコア波形符号化器に呈示され、より高い周波数は前記低帯域幅信号の転換および追加的な副情報を使ってデコーダ側で再生成される。副情報は典型的には非常に低ビットレートでエンコードされ、目標スペクトル形を記述する。コア符号化信号の帯域幅が狭い低ビットレートのためには、ハイバンド、すなわちオーディオ信号の高周波数範囲を知覚的に快適な特性をもって再生成することがますます重要になる。高調波周波数再構成方法の二つの変形が下記において言及される。一方は高調波転換（harmonic transposition）と称され、他方は単一側波帯変調（single sideband modulation）と称される。

WO98/57436において定義される高調波転換の原理は、周波数ωをもつ正弦波は周波数Tωをもつ正弦波にマッピングされるというものである。ここで、T＞1は転換の次数を定義する整数である。高調波転換の魅力的な特徴は、ソース周波数範囲を転換次数に等しい因子によって、すなわちTに等しい因子によって目標周波数範囲に引き伸ばすということである。高調波転換は、複雑な音楽素材については性能がいい。さらに、高調波転換は、低いクロスオーバー周波数を示す。すなわち、クロスオーバー周波数より上の大きな高周波数範囲は、クロスオーバー周波数より下の比較的小さな低周波数範囲から生成できる。

高調波転換とは対照的に、単一側波帯変調（SSB）ベースのHFRは周波数ωの正弦波を周波数ω＋Δωの正弦波にマッピングする。ここで、Δωは固定した周波数シフトである。低帯域幅のコア信号を与えられたとき、SSB転換からは不協和のリンギング・アーチファクト（ringing artifact）が生じることがある。また、低いクロスオーバー周波数、すなわち小さなソース周波数範囲について、高調波転換は、SSBベースの転移よりも、所望される目標周波数範囲を埋めるためにより少数のパッチを必要とする。例として、高周波数範囲(ω,4ω]を埋める必要がある場合、高調波転換なら転換次数T＝4を使ってこの周波数範囲を低周波数範囲((1/4)ω,ω]から埋めることができる。他方、同じ低周波数範囲を使うSSBベースの転換は周波数偏移Δω＝(3/4)ωを使わなければならず、高周波数範囲(ω,4ω]を埋めるためにはこのプロセスを４回繰り返すことが必要になる。

他方、WO02/052545A1においてすでに指摘されているように、高調波転換は顕著な周期構造をもつ信号については欠点をもつ。そのような信号は、Ωを基本周波数として、周波数Ω,2Ω,3Ω……をもつ高調波関係にある正弦波の重ね合わせである。

次数Tの高調波転換のもとでは、出力正弦波は周波数TΩ,2TΩ,3TΩ……をもつ。これは、T＞1の場合、所望される完全な高調波系列の、全体を含まない部分集合でしかない。結果として得られるオーディオ品質の面では、転換された基本周波数TΩに対応する「ゴースト」ピッチが典型的には知覚される。しばしば、高調波転換は、エンコードされデコードされたオーディオ信号の「金属的な」音の性質につながる。この状況は、HFRにいくつかの転換次数T＝2,3,……,T_maxを加えることによってある程度は軽減されうるが、この方法は、大半のスペクトル・ギャップが避けられるべきであるならば、計算が複雑である。

高調波転換を使うときに「ゴースト」ピッチが出現するのを避けるための代替的な解決策がWO02/052545A1において提起されている。この解決策は、二つの型の転換、すなわち典型的な高調波転換および特別な「パルス転換（pulse transposition）」を使うことにある。記載される方法は、パルス列のような性質をもって周期的であると検出されるオーディオ信号の部分については、専用の「パルス転換」に切り換えることを教示している。このアプローチの問題は、複雑な音楽素材に対する「パルス転換」の適用はしばしば、高分解能フィルタバンクに基づく高調波転換に比べて音質を劣化させるということである。よって、複雑な素材についてはパルス転換が使われないよう、検出機構はやや保守的に調整される必要がある。必然的に、単一ピッチの楽器や声が時に複雑な信号と分類され、それにより高調波転換を呼び出し、よって高調波を欠いてしまう。さらに、単一ピッチの信号や弱い複雑な背景においてあるピッチが支配的な信号の途中で切り換えが起こると、非常に異なるスペクトル充填属性をもつ二つの転換方法の間の切り換え自身が、聞き取れるアーチファクトを生じてしまう。

本発明は、周期的な信号の高調波転換から帰結する高調波系列を完成させる方法およびシステムを提供する。周波数領域転換は、分解フィルタバンク（analysis filter bank）からの非線形修正されたサブバンド信号を、合成フィルタバンク（synthesis filter bank）の選択されたサブバンドにマッピングする段階を含む。非線形修正は、位相修正または位相回転を含み、これは複素フィルタバンク領域において、冪乗則およびそれに続く大きさ調整によって得ることができる。従来技術の転換は一時には一つの分解サブバンドを別個に修正するが、本発明は、各合成サブバンドについて、少なくとも二つの分解サブバンドの非線形な組み合わせを加えることを教示する。組み合わされるべき分解サブバンドどうしの間の間隔は、転換されるべき信号の優勢な成分の基本周波数に関係していてもよい。

最も一般的な形では、本発明の数学的記述は、一組の周波数成分ω₁,ω₂,……,ω_Kが新しい周波数成分
ω＝T₁ω₁＋T₂ω₂＋……＋T_Kω_K
を生成するために使われるというものである。ここで、係数T₁,T₂,……,T_Kは整数の転換次数であり、その和が合計転換次数T＝T₁＋T₂＋……＋T_Kである。この効果は、K個の好適に選ばれたサブバンド信号の位相を因子T₁,T₂,……,T_Kによって修正し、結果を、修正された位相の和に等しい位相をもつ信号に再び組み合わせることによって得られる。個々の転換次数は整数なのでこれらの位相演算のすべてがよく定義されており、曖昧さがないこと、合計転換次数がT≧1を満たす限りこれらの整数のうちの一部は負でもよいことを注意しておくことが重要である。

従来技術の方法はK＝1の場合に対応し、本発明はK≧2を使うことを教示する。説明文は主としてK＝2、T≧2の場合を主として扱う。当面のたいていの個別的問題を解決するにはこれで十分だからである。ただし、K＞2の場合も本稿によって等しく開示され、カバーされていると考えられることを注意しておくべきである。

本発明は、より多数の低周波数帯域分解チャネル、すなわち、より多数の分解サブバンド信号からの情報を、分解フィルタバンクからの非線形修正された諸サブバンド信号を合成フィルタバンクのある選択されたサブバンド信号にマッピングするために使う。転換は、単に一時に一つのサブバンドを別個に修正するのではなく、各合成サブバンドについて少なくとも二つの異なる分解サブバンドの非線形結合を加える。前述したように、次数Tの高調波転換は、T＞1として、周波数ωの正弦波を周波数Tωの正弦波にマッピングするよう設計される。本発明によれば、ピッチ・パラメータΩおよびインデックス0＜r＜Tをもつ、いうところのクロス生成物による向上（cross product enhancement）が、周波数(ω,ω＋Ω)をもつ一対の正弦波を周波数(T−r)ω＋r(ω＋Ω)＝Tω＋rΩをもつ正弦波にマッピングするよう設計される。そのようなクロス生成物転換のためには、周期Ωをもつ周期信号のすべての部分周波数が、1からT−1までの範囲のインデックスrをもつピッチ・パラメータΩのすべてのクロス生成物を、次数Tの高調波転換に追加することによって生成されることを理解しておくべきである。

本発明のある側面によれば、信号の低周波数成分から信号の高周波数成分を生成するシステムおよび方法が記述される。以下でシステムのコンテキストにおいて記述される特徴が本発明の方法にも等しく適用可能であることを注意しておくべきである。信号は、たとえば、音響および／または音声信号であってもよい。本システムおよび方法は、統合音声音響信号符号化のために使われてもよい。信号は低周波数成分および高周波数成分を含み、低周波数成分はあるクロスオーバー周波数より下の周波数を含み、高周波数成分は前記クロスオーバー周波数より上の周波数を含む。ある種の状況では、前記信号の高周波数成分をその低周波数成分から推定することが必要とされることがありうる。例として、ある種のオーディオ・エンコード方式はオーディオ信号の低周波数成分のみをエンコードして、その信号の高周波数成分はデコードされた低周波数成分だけから、可能性としてはもとの高周波数成分の包絡線についてのある種の情報を使って、再構成しようとする。ここに記載されるシステムおよび方法は、そのようなエンコードおよびデコード・システムのコンテキストにおいて使われてもよい。

高周波数成分を生成するシステムは、前記信号の前記低周波数成分の複数の分解サブバンド信号を提供する分解フィルタバンクを有する。そのような分解フィルタバンクは一定の帯域幅をもつ一組の帯域通過フィルタを有していてもよい。音声信号のコンテキストでは特に、対数帯域幅分布をもつ帯域通過フィルタの組を使うことが有益であることもありうる。前記信号の前記低周波数成分をその周波数構成要素に分割することが前記分解フィルタバンクのねらいである。これらの周波数構成要素は、分解フィルタバンクによって生成される前記複数の分解サブバンド信号において反映される。例として、楽器によって奏でられる音符を含む信号が分解サブバンド信号に分割され、そのうち、奏でられた音符の高調波周波数に対応するサブバンドについて著しい大きさを有する一方、他のサブバンドは小さな大きさの分解サブバンド信号を示す。

システムはさらに、前記複数の分解サブバンド信号のうち第一および第二のものの位相を修正または回転させ、位相修正された分解サブバンド信号を組み合わせることによって、特定の合成周波数をもつ合成サブバンド信号を生成する非線形処理ユニットを含む。第一および第二の分解サブバンド信号は一般には異なる。換言すれば、両者は異なるサブバンドに対応する。非線形処理ユニットは、合成サブバンド信号が生成されるいわばクロス項処理ユニットを有していてもよい。合成サブバンド信号は合成周波数を有する。一般に、合成サブバンド信号は、ある合成周波数範囲からの諸周波数を含む。合成周波数は、この周波数範囲内のある周波数、たとえばこの周波数範囲の中心周波数である。合成周波数は、そして合成周波数範囲も、典型的には、クロスオーバー周波数より上である。同様にして、分解サブバンド信号はある分解周波数範囲からの諸周波数を含む。これらの分解周波数範囲は典型的にはクロスオーバー周波数より下である。

位相修正の動作は、分解サブバンド信号の周波数を転換することを含んでいてもよい。典型的には、分解フィルタバンクは、大きさおよび位相を含む複素指数関数として表現されうる複素分解サブバンド信号を与える。複素サブバンド信号の位相は、サブバンド信号の周波数に対応する。そのようなサブバンド信号のある転換次数T'による転換は、サブバンド信号を転換次数T'の冪乗にすることによって実行されてもよい。これは、複素サブバンド信号の位相が転換次数T'を乗算される結果となる。その結果、転換された分解サブバンド信号は、初期位相または周波数よりT'倍の大きさの位相または周波数を示す。そのような位相修正動作は、位相回転または位相乗算とも称されることがある。

システムは、さらに、合成サブバンド信号から前記信号の高周波数成分を生成するための合成フィルタバンクを有する。換言すれば、合成フィルタバンクのねらいは、可能性としては複数の合成周波数範囲からの可能性としては複数の合成サブバンド信号をマージし、時間領域において前記信号の高周波数成分を生成することである。ある基本周波数、たとえば基本周波数Ωをもつ信号について、合成フィルタバンクおよび／または分解フィルタバンクは前記信号の前記基本周波数に関連する周波数間隔を示す。特に、基本周波数Ωを解像するために十分小さな周波数間隔または十分高い分解能をもつフィルタバンクを選ぶことが有益でありうる。

本発明のもう一つの側面によれば、非線形処理ユニットまたは該非線形処理ユニット内のクロス項処理ユニットは第一および第二の転換次数の複数入力単一出力ユニットを有し、該複数入力単一出力ユニットは、それぞれ第一および第二の分解周波数を示す前記第一および第二の分解サブバンド信号から前記合成サブバンド信号を生成する。換言すれば、前記複数入力単一出力ユニットは前記第一および第二の分解サブバンド信号の転換を実行し、それら二つの転換された分解サブバンド信号を合成サブバンド信号にマージする。第一の分解サブバンド信号は位相修正される、あるいはその位相が前記第一の転換次数を乗算され、第二の分解サブバンド信号は位相修正される、あるいはその位相が前記第二の転換次数を乗算される。複素分解サブバンド信号の場合、そのような位相修正動作は、それぞれの分解サブバンド信号の位相に、それぞれの転換次数を乗算することにある。それら二つの転換された分解サブバンド信号は、前記第一の分解周波数に前記第一の転換次数を乗算したもの、足す、前記第二の分解周波数に前記第二の転換次数を乗算したものに対応する合成周波数をもつ組み合わされた合成サブバンド信号を与えるために、組み合わされる。この組み合わせ段階は、前記二つの転換された複素合成サブバンド信号の乗算からなっていてもよい。二つの信号の間のそのような乗算はそれらの標本値の乗算からなっていてもよい。

上述した特徴は、公式で表してもよい。前記第一の分解周波数をω、前記第二の分解周波数を(ω＋Ω)とする。これらの変数は前記二つの分解サブバンド信号のそれぞれの分解周波数範囲を表すこともあることを注意しておくべきである。換言すれば、周波数は、ある特定の周波数範囲または周波数サブバンド内に含まれるすべての周波数を代表していると理解されるべきである。すなわち、前記第一および第二の分解周波数は、第一および第二の分解サブバンドの第一および第二の分解周波数帯域としても理解すべきである。さらに、前記第一の転換次数は(T−r)であってもよく、前記第二の転換次数はrであってもよい。転換次数を、T＞1かつ1≦r＜Tとなるよう制約することが有益であることがある。そのような場合、前記複数入力単一出力ユニットは、合成周波数(T−r)ω＋r(ω＋Ω)をもつ合成サブバンド信号を与えてもよい。

本発明のさらなる側面によれば、システムは複数の複数入力単一出力ユニットおよび／または複数の非線形処理ユニットを有し、これらは前記合成周波数をもつ複数の部分合成サブバンド信号を生成する。換言すれば、同じ合成周波数範囲をカバーする複数の部分合成サブバンド信号が生成されてもよい。そのような場合、前記複数の部分合成サブバンド信号を組み合わせるために、サブバンド合計ユニットが設けられる。すると、組み合わされた部分合成サブバンド信号が前記合成サブバンド信号を表す。組み合わせる動作は、前記複数の部分合成サブバンド信号を足し合わせることを含んでいてもよい。また、前記複数の部分合成サブバンド信号から平均合成サブバンド信号を決定することを含んでいてもよい。その際、前記合成サブバンド信号は、該合成サブバンド信号の関連性（relevance）に従って重み付けされてもよい。組み合わせる動作は、たとえば所定の閾値を超える大きさをもつ、前記複数のサブバンド信号のうちの一つまたは複数を選択することをも含んでいてもよい。前記合成サブバンド信号が利得パラメータを乗算されることが有益であることがあることを注意しておくべきである。特に、複数の部分合成サブバンド信号がある場合、そのような利得パラメータは、前記合成サブバンド信号の規格化に寄与しうる。

本発明のあるさらなる側面によれば、前記非線形処理ユニットはさらに、前記複数の分解サブバンド信号のうちの第三のものからさらなる合成サブバンド信号を生成する直接処理ユニットを有する。そのような直接処理ユニットは、たとえばWO98/57436において記述されている直接転換法を実行しうる。システムが追加的な直接処理ユニットを有する場合、対応する合成サブバンド信号を組み合わせるためのサブバンド合計ユニットを設ける必要があることがある。そのような対応する合成サブバンド信号は典型的には、同じ合成周波数範囲をカバーするおよび／または同じ合成周波数を示すサブバンド信号である。サブバンド合成ユニットは、上に概説した側面に従って組み合わせを実行してもよい。ある種の合成サブバンド信号、特に前記複数入力単一出力ユニットにおいて生成されたものを、たとえば前記合成サブバンド信号に寄与する前記クロス項からの前記一つまたは複数の分解サブバンド信号の大きさの最小値が前記信号の大きさの所定の割合より小さい場合には、無視してもよい。前記信号は前記信号の前記低周波数成分または特定の分解サブバンド信号であってもよい。この信号は、特定の合成サブバンド信号であってもよい。換言すれば、前記合成サブバンド信号を生成するために使われる前記分解サブバンド信号のエネルギーまたは大きさが小さすぎる場合、この合成サブバンド信号は前記信号の高周波数成分を生成するために使用されないことがありうる。前記エネルギーまたは大きさは、各標本値について決定されてもよいし、あるいは、たとえば前記分解サブバンド信号の複数の隣接する標本値にまたがる時間平均またはスライディング窓平均を決定することによって、標本値の集合について決定されてもよい。

前記直接処理ユニットは、第三の分解周波数を示す前記第三の分解サブバンド信号から前記合成サブバンド信号を生成する、第三の転換次数T'の単一入力単一出力ユニットを有していてもよい。ここで、前記第三の分解サブバンド信号は位相修正されるまたはその位相は前記第三の転換次数T'によって乗算される。ここで、T'は1より大きい。すると、前記合成周波数は前記分解周波数に前記第三の転換次数を乗算したものに対応する。この第三の転換次数T'は好ましくは下記で導入されるシステム転換次数Tに等しいことを注意しておくべきである。

本発明のもう一つの側面によれば、前記分解フィルタバンクは、本質的に一定のサブバンド間隔Δωで、N個の分解サブバンドを有する。上述したように、このサブバンド間隔Δωは、前記信号の基本周波数に関連付けられていてもよい。分解サブバンドは、分解サブバンド・インデックスnに関連付けられており、ここでn∈{1,……,N}である。換言すれば、前記分解フィルタバンクの前記分解サブバンドは、サブバンド・インデックスnによって同定されうる。同様にして、前記対応する分解サブバンドの周波数範囲からの周波数を含む前記分解サブバンド信号は、サブバンド・インデックスnを用いて同定されうる。

合成側では、合成フィルタバンクは、やはり合成サブバンド・インデックスnに関連付けられている合成サブバンドを有する。この合成サブバンド・インデックスnは、サブバンド・インデックスnをもつ合成サブバンドの合成周波数範囲からの周波数を含む合成サブバンド信号をも同定する。システムが、合計転換次数とも称されるシステム転換次数Tをもつ場合、合成サブバンドは本質的にはサブバンド間隔Δω・Tをもつ。すなわち、合成サブバンドのサブバウンド間隔は分解サブバンドのサブバンド間隔のT倍の大きさである。そのような場合、インデックスnをもつ合成サブバンドおよび分解サブバンドはそれぞれ、因子あるいはシステム転換次数Tを通じて互いに関係する周波数範囲を含む。例として、インデックスnをもつ分解サブバンドの周波数範囲が[(n−1)ω,nω]である場合、インデックスnをもつ合成サブバンドの周波数範囲は[T(n−1)ω,Tnω]である。

合成サブバンド信号がインデックスnをもつ合成サブバンドと関連付けられていることが与えられれば、本発明のもう一つの側面は、インデックスnをもつこの合成サブバンド信号が、第一および第二の分解サブバンド信号から複数入力単一出力ユニットにおいて生成されるということである。第一の分解サブバンド信号はインデックスn−p₁をもつ分解サブバンドに関連付けられており、第二の分解サブバンド信号はインデックスn＋p₂をもつ分解サブバンドに関連付けられている。

以下では、一対のインデックス・シフト(p₁,p₂)を選択するいくつかの方法を概説する。これは、いうところのインデックス選択ユニットによって実行されうる。典型的には、最適なインデックス・シフトの対は、所定の合成周波数をもつ合成サブバンド信号を生成するために選択される。第一の方法では、インデックス・シフトp₁およびp₂は、インデックス記憶ユニットに記憶されている限られた対(p₁,p₂)のリストから選択される。インデックス・シフト対のこの限られたリストから、前記第一の分解サブバンド信号の大きさおよび前記第二の分解サブバンド信号の大きさを含む集合の最小値が最大にされるよう、対(p₁,p₂)が選択される。換言すれば、インデックス・シフトp₁およびp₂の可能な各対について、対応する分解サブバンド信号の大きさが決定できる。複素解析サブバンド信号の場合、大きさ（magnitude）は絶対値（absolute value）に対応する。大きさは、各標本値について決定されてもよいし、あるいは、たとえば前記分解サブバンド信号の複数の隣接する標本値にまたがる時間平均またはスライディング窓平均を決定することによって、標本値の集合について決定されてもよい。これは前記第一および第二の分解サブバンド信号についてそれぞれ第一および第二の大きさを与える。前記第一および第二の大きさのうちの最小のものが考慮され、この最小の大きさの値が最高になるインデックス・シフト対(p₁,p₂)が選択される。

もう一つの方法では、インデックス・シフトp₁およびp₂は、公式p₁＝r・lおよびp₂＝(T−r)・lを通じて決定される限られた対(p₁,p₂)のリストから選択される。これらの公式においてlは正の整数であり、たとえば1から10の値を取る。この方法は、第一の分解サブバンド(n−p₁)を転換するために使われる第一の転換次数が(T−r)であり、第二の分解サブバンド(n＋p₂)を転換するために使われる第二の転換次数がrである状況において特に有用である。システム転換次数Tが固定されているとすると、パラメータlおよびrは、前記第一の分解サブバンド信号の大きさおよび前記第二の分解サブバンド信号の大きさを含む集合の最小値が最大にされるよう、選択される。換言すれば、パラメータlおよびrは、上で概説したようなmax-min最適化アプローチによって選択されてもよい。

あるさらなる方法では、前記第一および第二の分解サブバンド信号の選択は、根底にある信号の特性に基づいていてもよい。特に、信号が基本周波数Ωを含む場合、すなわち信号がパルス列のような性質をもって周期的である場合、そのような信号特性を考慮してインデックス・シフトp₁およびp₂を選択することが有益であることがある。基本周波数Ωは、前記信号の前記低周波数成分から決定されてもよいし、あるいは前記低周波数成分および前記高周波数成分両方を含むもとの信号から決定されてもよい。第一の場合では、基本周波数Ωは高周波数再構成を使う信号デコーダにおいて決定できる。一方、第二の場合には、基本周波数は典型的には信号エンコーダにおいて決定され、次いで対応する信号デコーダに信号伝達される。サブバンド間隔Δωをもつ分解フィルタバンクが使用され、第一の分解サブバンド(n−p₁)を転換するために使われる第一の転換次数が(T−r)であり、第二の分解サブバンド(n＋p₂)を転換するために使われる第二の転換次数がrである場合、それらの和p₁＋p₂が割合Ω/Δωを近似し、それらの分率p₁/p₂がr/(T−r)を近似するよう選択されてもよい。ある具体的な場合において、p₁およびp₂は分率p₁/p₂がr/(T−r)に等しくなるよう選択される。

本発明のもう一つの側面によれば、信号の高周波数成分を生成するシステムは、所定の時間インスタンスkのまわりの前記低周波数成分の所定の時間区間を単離する分解窓をも有する。システムはまた、所定の時間インスタンスkのまわりの前記高周波数成分の所定の時間区間を単離する合成窓をも有する。そのような窓は、時間的に変化しつつある周波数構成要素をもつ信号にとって特に有用である。それらの窓は、信号の瞬間的な周波数組成を分析することを許容する。前記フィルタバンクと組み合わせて、そのような時間依存の周波数分解のための典型例は、短時間フーリエ変換（STFT: Short Time Fourier Transform）である。しばしば分解窓は合成窓の時間拡大バージョンであることを注意しておくべきである。システム転換次数Tをもつシステムについては、時間領域における分解窓は、時間領域における合成窓の拡大因子Tによる時間拡大バージョンであってもよい。

本発明のあるさらなる側面によれば、信号をデコードするシステムが記述される。本システムは、信号の低周波数成分のエンコードされたバージョンを受け、上記のシステムに基づく、前記信号の前記低周波数成分から前記信号の前記高周波成分を生成する転換ユニットを有する。典型的には、そのようなデコード・システムはさらに、前記信号の前記低周波数成分をデコードするためのコア・デコーダを有する。前記デコード・システムはさらに、前記低周波数成分のアップサンプリングを実行してアップサンプリングされた低周波数成分を与えるアップサンプラーを有していてもよい。これは、前記低周波成分はもとの信号に比べて縮小した周波数範囲しかカバーしないという事実を利用して、エンコーダにおいて前記集合の前記低周波数成分がダウンサンプリングされている場合に必要とされることがある。さらに、デコード・システムは、前記低周波数成分を含むエンコードされた信号を受け取るための入力ユニットと、前記低周波数成分および生成された高周波数成分を含むデコードされた信号を提供するための出力ユニットとを有していてもよい。

デコード・システムはさらに、前記高周波数成分を整形するための包絡線調整器を有していてもよい。信号の高周波数は信号の前記低周波数範囲から、本稿に記載される高周波数再構成システムおよび方法を使って再生成されうるものの、もとの信号から、その高周波数成分のスペクトル包絡線に関する情報を抽出することが有益であることがありうる。この包絡線情報は次いで、もとの信号の高周波数成分のスペクトル包絡線をよく近似する高周波数成分を生成するために、デコーダに与えられてもよい。この動作は、典型的には、デコード・システムにおける包絡線調整器において実行される。前記信号の前記高周波数成分の包絡線に関係した情報を受け取るために、デコード・システムは包絡線データ受領ユニットを有していてもよい。再生成された高周波成分およびデコードされ、可能性としてはアップサンプリングされた低周波数成分は、次いで、成分合計ユニットにおいて加算され、デコードされた信号を決定してもよい。

上で概説したように、高周波数成分を生成するシステムは、特定の合成サブバンド信号を生成するために転換され組み合わされるべき分解サブバンド信号に関する情報を使ってもよい。この目的のため、デコード・システムはさらに、合成サブバンド信号を生成するもとになる第一および第二の分解サブバンド信号の選択を許容する情報を受け取るサブバンド選択データ受領ユニットを有していてもよい。この情報は、エンコードされた信号のある種の特性に関係していてもよい。たとえば、この情報は、信号の基本周波数Ωに関連付けられていてもよい。この情報はまた、選択されるべき分解サブバンドに直接関係していてもよい。例として、この情報は、第一および第二の分解サブバンド信号の可能な対のリストまたは可能なインデックス・シフトの対(p₁,p₂)のリストを含んでいてもよい。

本発明のもう一つの側面によれば、エンコードされた信号が記述される。このエンコードされた信号は、デコードされた信号の低周波数成分に関係した情報を含む。ここで、前記低周波数成分は複数の分解サブバンド信号を含む。さらに、エンコードされた信号は、前記複数の分解サブバンド信号のうちのどの二つが、選択された二つの分解サブバンド信号を転換することによってデコードされた信号の高周波数成分を生成するために選択されるべきかに関係した情報を含む。換言すれば、エンコードされた信号は、信号の前記低周波数成分の、可能性としてはエンコードされたバージョンを含む。さらに、前記信号の基本周波数Ωまたは可能なインデックス・シフト対(p₁,p₂)のリストといった、デコーダが本稿において概説されるクロス生成物による向上がなされた高調波転換法に基づいて前記信号の前記高周波数成分を再生成できるようにする情報を提供する。

本発明のあるさらなる側面によれば、信号をエンコードするシステムが記述される。このエンコード・システムは、前記信号を低周波数成分および高周波数成分に分割する分割ユニットと、前記低周波数成分をエンコードするコア・エンコーダとを有する。本システムはまた、前記信号の基本周波数Ωを判別する周波数判別ユニットと、前記基本周波数Ωのエンコードのためのパラメータ・エンコーダとをも有する。ここで、基本周波数Ωは、前記信号の前記高周波数成分を再生成するためにデコーダにおいて使用される。本システムは、前記高周波数成分のスペクトル包絡線を決定するための包絡線決定ユニットと、該スペクトル包絡線をエンコードする包絡線エンコーダとをも有していてもよい。換言すれば、本エンコード・システムは、もとの信号の高周波数成分を除去し、コア・エンコーダ、たとえばAACまたはドルビーDエンコーダによって低周波数成分をエンコードする。さらに、本エンコード・システムは、もとの信号の高周波数成分を分析し、デコードされた信号の高周波数成分を再生成するためにデコーダにおいて使用される一組の情報を決定する。該一組の情報は、前記信号の基本周波数Ωおよび／または前記高周波数成分のスペクトル包絡線を含んでいてもよい。

本エンコード・システムは、前記信号の前記低周波数成分の複数の分解サブバンド信号を与える分解フィルタバンクをも有していてもよい。さらに、本システムは、前記信号の高周波数成分を生成するための第一および第二のサブバンド信号を決定するためのサブバンド対決定ユニットと、決定された第一および第二のサブバンド信号を表すインデックス番号をエンコードするインデックス・エンコーダとを有していてもよい。換言すれば、本エンコード・システムは、前記信号の高周波数サブバンドおよび最終的には前記高周波数成分が生成されうるもとになる分解サブバンドを決定するために、本稿において記載される高周波数再構成方法および／またはシステムを使ってもよい。次いで、これらのサブバンドに関する情報、たとえばインデックス・シフト対(p₁,p₂)の限られたリストがエンコードされ、デコーダに与えられてもよい。

上でハイライトしたように、本発明は、信号の高周波数成分を生成する方法ならびに信号をデコードおよびエンコードする方法を包含する。システムのコンテキストにおいて上で概説した特徴は、対応する方法にも等しく適用可能である。以下では、本発明に基づく方法の以下の選択された側面が概説される。同様にして、これらの側面は、本稿において概説されるシステムにも適用可能である。

本発明のもう一つの側面によれば、信号の低周波数成分からの高周波数成分の高周波数再構成を実行する方法が記述される。この方法は、第一の周波数帯域から前記低周波成分の第一のサブバンド信号を、第二の周波数帯域から前記低周波成分の第二のサブバンド信号を提供する段階を含む。換言すれば、前記信号の前記低周波数成分から二つのサブバンド信号が単離される。前記第一のサブバンド信号は第一の周波数帯域を含み、前記第二のサブバンド信号は第二の周波数帯域を含む。これら二つの周波数サブバンドは好ましくは異なっている。あるさらなる段階において、前記第一および第二のサブバンド信号はそれぞれ第一および第二の転換因子によって転換される。各サブバンド信号の転換は、信号を転換するための既知の方法に従って実行されてもよい。複素サブバンド信号の場合、転換は、位相を修正することによって、あるいは位相にそれぞれの転換因子または転換次数を乗算することによって実行されてもよい。あるさらなる段階では、転換された第一および第二のサブバンド信号が組み合わされて、高周波数帯域からの周波数を含む高周波数成分を与える。

前記転換は、前記高周波数帯域が第一の周波数帯域に第一の転換因子を乗算したものと第二の周波数帯域に第二の転換因子を乗算したものとの和に対応するよう、実行される。さらに、転換する段階は、前記第一のサブバンド信号の前記第一の周波数帯域に前記第一の転換因子を乗算し、前記第二のサブバンド信号の前記第二の周波数帯域に前記第二の転換因子を乗算する段階を含む。説明を簡単にするため、範囲を限定することなく、本発明は、個々の周波数の転換について例解される。しかしながら、転換は、個々の周波数についてのみならず、周波数帯域全体についても、すなわちある周波数帯域内に含まれる複数の周波数についても実行されることを注意しておくべきである。実のところ、周波数の転換と周波数帯域の転換は、本稿においては交換可能なものとして理解されるべきである。しかしながら、分解フィルタバンクと合成フィルタバンクの異なる周波数分解能を認識しておく必要がある。

上述した方法において、提供する段階は、分解フィルタバンクによって前記低周波数成分をフィルタリングして、第一および第二のサブバンド信号を生成することを含んでいてもよい。他方、組み合わせる段階は、前記第一および第二の転換されたサブバンド信号を乗算して高サブバンド信号を与え、前記高サブバンド信号を合成フィルタバンクに入力して前記高周波数成分を生成することを含んでいてもよい。周波数表現へのおよび周波数表現からの他の信号変換も可能であり、本発明の範囲内である。そのような信号変換はフーリエ変換（FFT、DCT）、ウェーブレット変換、直交ミラー・フィルタ（QMF: quadrature mirror filters）などを含む。さらに、これらの変換は、「変換されるべき」信号の短縮された時間区間を孤立させる目的のための窓関数をも含む。可能な窓関数は、ガウス窓、コサイン窓、ハミング（Hamming）窓、ハン（Hann）窓、長方形窓、バーレット（Barlett）窓、ブラックマン（Blackman）窓などを含む。本稿では、「フィルタバンク」の用語は、そのような任意の変換を、可能性としては任意のそのような窓関数と組み合わせたものを含みうる。

本発明のもう一つの側面によれば、エンコードされた信号をデコードする方法が記述される。エンコードされた信号はもとの信号から導出されたもので、該もとの信号の、クロスオーバー周波数より下の周波数サブバンドの部分のみを表す。本方法は、エンコードされた信号の第一および第二の周波数サブバンドを提供する段階を含む。これは分解フィルタバンクを使うことによってなされてもよい。これらの周波数サブバンドは、第一の転換因子および第二の転換因子によってそれぞれ転換される。これは、前記第一の周波数サブバンド内の信号の第一の転換因子による位相修正または位相乗算を実行し、前記第二の周波数サブバンド内の信号の第二の転換因子による位相修正または位相乗算を実行することによってなされてもよい。最後に、高周波数サブバンドが前記第一および第二の転換された周波数サブバンドから生成される。ここで、前記高周波数サブバンドは前記クロスオーバー周波数より上である。この高周波数サブバンドは、前記第一の周波数サブバンドに前記第一の転換因子を乗算したものと前記第二の周波数サブバンドに前記第二の転換因子を乗算したものとの和に対応しうる。

本発明のもう一つの側面によれば、信号をエンコードする方法が記述される。この方法は、前記信号をフィルタ処理して前記信号の低周波数を単離し、前記信号の前記低周波数成分をエンコードする段階を含む。さらに、前記信号の前記低周波数成分の複数の分解サブバンド信号が提供される。これは、本稿において記載されるような分解フィルタバンクを使ってなされてもよい。次いで、前記信号の高周波数成分を生成するための第一および第二のサブバンド信号が決定される。これは、本稿において概説される高周波数再構成方法およびシステムを使ってなされてもよい。最後に、決定された第一および第二のサブバンド信号を表す情報がエンコードされる。そのような情報はもとの信号の特性、たとえば該信号の基本周波数Ω、あるいは選択された分解サブバンドに関係する情報、たとえばインデックス・シフト対(p₁,p₂)であってもよい。

本発明の上述した諸実施形態および諸側面が任意に組み合わされてもよいことは注意しておくべきである。特に、システムについて概説された諸側面は、本発明によって包含される対応する方法にも適用可能であることを注意しておくべきである。さらに、本発明の開示は、従属請求項における引用によって明示的に与えられる請求項の組み合わせ以外の請求項の組み合わせをもカバーすることを注意しておくべきである。すなわち、請求項およびその技術的特徴は、任意の順序および任意の形において組み合わされることができる。

本発明についてこれから、本発明の範囲を限定するものではない、例解するための例によって、付属の図面を参照しつつ述べていく。

HFR向上されたオーディオ・デコーダの動作を示す図である。いくつかの次数を使う高調波転換器の動作を示す図である。周波数領域（FD: frequency domain）高調波転換器の動作を示す図である。クロス項処理の本発明の使用の動作を示す図である。従来技術の直接処理を示す図である。従来技術の単一サブバンドの直接非線形処理を示す図である。本発明のクロス項処理の構成要素を示す図である。クロス項処理ブロックの動作を示す図である。図８のMISOシステムのそれぞれに含まれる本発明の非線形処理を示す図である。例示的な周期信号の高調波転換のための本発明の効果を示す図である。例示的な周期信号の高調波転換のための本発明の効果を示す図である。例示的な周期信号の高調波転換のための本発明の効果を示す図である。例示的な周期信号の高調波転換のための本発明の効果を示す図である。例示的な周期信号の高調波転換のための本発明の効果を示す図である。例示的な周期信号の高調波転換のための本発明の効果を示す図である。例示的な周期信号の高調波転換のための本発明の効果を示す図である。例示的な周期信号の高調波転換のための本発明の効果を示す図である。例示的な周期信号の高調波転換のための本発明の効果を示す図である。短時間フーリエ変換（STFT）の時間‐周波数分解を示す図である。合成側で使われる、窓関数の例示的な時間進行およびそのフーリエ変換を示す図である。正弦波入力信号のSTFTを示す図である。合成側で使用される、図２０に基づく窓関数およびそのフーリエ変換を示す図である。合成フィルタバンク・サブバンドのクロス項向上のための適切な分解フィルタバンク・サブバンドの決定を示す図である。合成フィルタバンク・サブバンドのクロス項向上のための適切な分解フィルタバンク・サブバンドの決定を示す図である。記載される直接項およびクロス項の高調波転換法の実験結果を示す図である。記載される直接項およびクロス項の高調波転換法の実験結果を示す図である。記載される直接項およびクロス項の高調波転換法の実験結果を示す図である。本稿において概説される向上された高調波転換方式を使うエンコーダの実施形態を示す図である。本稿において概説される向上された高調波転換方式を使うデコーダの実施形態を示す図である。図２８および図２９に示される転換ユニットの実施形態を示す図である。

以下に記載される実施形態は単に、いうところのクロス生成物による向上がなされた高調波転換のための本発明の原理を例解するものである。本稿に記載される構成および詳細に対する修正および変形が他の当業者には明白となるであろうことは理解される。したがって、本発明は、ここに記載される実施形態の記述および説明によって呈示される個別的な詳細によってではなく、特許請求の範囲によってのみ限定されることが意図されている。

図１は、HFR向上されたオーディオ・デコーダの動作を示している。コア・オーディオ・デコーダ１０１は低帯域幅オーディオ信号を出力し、それがアップサンプラー１０４に入力される。アップサンプラー１０４は、所望されるフル・サンプリング・レートで最終的なオーディオ出力寄与を生成するために必要とされることがある。そのようなアップサンプリングは、帯域幅制限されたコア・オーディオ・コーデックが外部オーディオ・サンプリング・レートの半分で動作する一方HFR部分はフル・サンプリング周波数で処理されるデュアル・レート・システムについては必要とされる。結果として、単一レート・システムについては、このアップサンプラー１０４は省略される。１０１の低帯域幅出力は、転換された信号、すなわち所望される高周波数範囲を含む信号を出力する転換器または転換ユニット１０２にも送られる。この転換された信号は、包絡線調整器１０３によって時間および周波数において整形されてもよい。最終的なオーディオ出力は、低帯域幅コア信号と包絡線調整された転換された信号との和である。

図２は、異なる転換次数Tのいくつかの転換器を有する、図１の転換器１０２に対応する高調波転換器２０１の動作を示している。転換されるべき信号が、それぞれ転換次数T＝2,3,……,T_maxをもつ個々の転換器２０１−２、２０１−３、……、２０１−T_maxのバンクに渡される。典型的には、転換次数T_max＝3がたいていのオーディオ符号化用途にとって十分である。異なる転換器２０１−２、２０１−３、……、２０１−T_maxの寄与は２０２において合計され、組み合わされた転換器出力を与える。第一の実施形態では、この合計動作は個々の寄与を足し合わせることを含んでいてもよい。もう一つの実施形態では、ある種の周波数への複数の寄与を加えることの効果が緩和されるよう、寄与は異なる重みを用いて重み付けされる。たとえば、三次の寄与は、二次の寄与よりも低い利得をもって加えられてもよい。最後に、合計ユニット２０２が、出力周波数に依存して選択的にこれらの寄与を加えてもよい。たとえば、二次の転換は第一のより低い目標周波数単位について使用されてもよく、三次の転換は第二のより高い目標周波数単位について使用されてもよい。

図３は、２０１の個々のブロックの一つ、すなわち転換次数Tの転換器２０１−Tの一つのような周波数領域（FD）高調波転換器の動作を示している。分解フィルタバンク３０１は非線形処理３０２に提出される複素サブバンドを出力する。非線形処理３０２は選ばれた転換次数Tに従ってサブバンド信号の位相および／または振幅を修正する。修正されたサブバンドは合成フィルタバンク３０３に入力される。合成フィルタバンク３０３は転換された時間領域信号を出力する。図２に示されるような異なる転換次数の複数の並列転換器の場合、いくつかのフィルタバンク動作は異なる転換器２０１−２、２０１−３、……、２０１−T_maxの間で共有されてもよい。フィルタバンク動作の共有は、分解または合成についてなされてもよい。共有される合成３０３の場合、合計２０２はサブバンド領域において、すなわち合成３０３前に実行されることができる。

図４は、直接処理４０１に加えてクロス項処理４０２の動作を示している。クロス項処理４０２および直接処理４０１は、図３の周波数領域高調波転換器の非線形処理ブロック３０２内で並列に実行される。転換された出力信号は、統合転換信号を与えるために組み合わされる、たとえば加算される。転換された出力信号の組み合わせは、転換された出力信号の重ね合わせであってもよい。任意的に、クロス項の選択的な加算は利得計算において実装されてもよい。

図５は、図３の周波数領域高調波転換器内の図４の直接処理ブロック４０１の動作をより詳細に示している。単一入力単一出力（SISO: single-input-single-output）ユニット４０１−１、……、４０１−n、……、４０１−Nは、ソース範囲からの各分解サブバンドを、目標範囲内の一つの合成サブバンドにマッピングする。図５によれば、インデックスnの分解サブバンドは、SISOユニット４０１−nによって同じインデックスnの合成サブバンドにマッピングされる。合成フィルタバンクにおけるインデックスnをもつサブバンドの周波数範囲が、高調波転換の厳密なバージョンまたは型に依存して変わりうることを注意しておくべきである。図５に示されるバージョンまたは型において、分解バンク３０１の周波数間隔は、合成バンク３０３の周波数間隔よりもT倍小さい。よって、合成バンク３０３内のインデックスnは、分解バンク３０１内の同じインデックスnをもつサブバンドの周波数よりもT倍高い。例として、分解サブバンド[(n−1)ω,nω]は合成サブバンド[(n−1)Tω,nTω]に転換される。

図６は、４０１−nのSISOユニットのそれぞれに含まれる、単一サブバンドの直接非線形処理を示している。ブロック６０１の非線形性は、複素サブバンド信号の位相に対して、転換次数Tに等しい因子の乗算を実行する。任意的な利得ユニット６０２は、位相修正されたサブバンド信号の大きさを修正する。数学的には、SISOユニット４０１−nの出力yは、SISOシステム４０１−nへの入力xおよび利得パラメータgの関数として次のように書ける。

y＝g・v^T (1)
ここで、v＝x/|x|^1-1/T
これは次のように書き直すことができる。

y＝g・|x|・(x/|x|)^T
ことばで言うと、複素サブバンド信号xの位相は転換次数Tを乗算され、複素サブバンド信号xの振幅は利得パラメータgによって修正される。

図７は、次数Tの高調波転換のためのクロス項処理４０２の構成要素を示している。T−1個のクロス項処理ブロック７０１−１、……、７０１−r、……、７０１−(T−1)が並列にある。これらの出力は合計ユニット７０２において合計されて、組み合わされた出力を生成する。導入部ですでに指摘したように、周波数(ω,ω＋Ω)をもつ一対の正弦波を周波数(T−r)ω＋r(ω＋Ω)＝Tω＋rΩをもつ正弦波にマッピングすることが目標である。ここで、変数rは1からT−1まで変わる。換言すれば、分解フィルタバンク３０１からの二つのサブバンドは高周波数範囲の一つのサブバンドにマッピングされることになる。rの特定の値および所与の転換次数Tについて、このマッピング段階はクロス項処理ブロック７０１−rにおいて実行される。

図８は、固定された値r＝1,2,……,T−1についてのクロス項処理ブロック７０１−rの動作を示している。各出力サブバンド８０３は、二つの入力サブバンド８０１および８０２から複数入力単一出力（MISO: multiple-input-single-output）ユニット８００−nにおいて得られる。インデックスnの出力サブバンド８０３について、MISOユニット８００−nの二つの入力はサブバンドn−p₁、８０１、およびn＋p₂、８０２である。ここで、p₁およびp₂は正整数のインデックス・シフトであり、転換次数T、変数rおよびクロス生成物向上ピッチ・パラメータΩに依存する。分解および合成サブバンドの番号付け規約は図５と揃えてある。すなわち、分解バンク３０１の周波数における間隔は合成バンク３０３よりもT倍小さく、よって因子Tの変動に関して与えられた上記のコメントはここでも成り立つ。

クロス項処理の使用に関係して、次のことが考慮されるべきである。ピッチ・パラメータΩは高精度で知られている必要はなく、分解フィルタバンク３０１によって得られる周波数分解能よりよい周波数分解能を使う必要は全くない。実際、本発明のいくつかの実施形態では、根底にあるクロス生成物向上ピッチ・パラメータΩはデコーダに全く入力されない。その代わり、整数インデックス・シフトの選ばれた対(p₁,p₂)が、可能な候補のリストから、クロス生成物出力大きさの最大化、すなわちクロス生成物出力のエネルギーの最大化などの最適化基準に従うことによって、選択される。例として、Tおよびrの所与の値について、Lを正整数のリストとして、公式(p₁,p₂)＝(rl,(T−r)l)、l∈Lによって与えられる候補のリストを使うことができる。これは、公式(11)のコンテキストにおいて以下でさらに詳細に示される。原則としてすべての正整数が候補としてOKである。場合によっては、ピッチ情報は、適切なインデックス・シフトとしてどのlを選ぶかを特定する助けとなることがある。

さらに、図８に示される例示的なクロス生成物処理は適用されるインデックス・シフト(p₁,p₂)がある範囲の出力サブバンドについて同じである、たとえば合成サブバンド(n−1)、nおよび(n＋1)が固定された距離p₁＋p₂をもつ分解サブバンドから構成されることを示唆しているものの、そうである必要はない。実際のところ、インデックス・シフト(p₁,p₂)は一つ一つすべての出力サブバンドについて異なっていてもよい。これは、各サブバンドnいついて、クロス生成物向上ピッチ・パラメータの異なる値Ωが選択されてもよいことを意味している。

図９は、MISOユニット８００−nのそれぞれに含まれる非線形処理を示している。積演算９０１は、二つの複素入力サブバンド信号の位相の重み付けされた和に等しい位相と、二つの入力サブバンド標本値の大きさの一般化された平均値に等しい大きさをもつサブバンド信号を生成する。任意的な利得ユニット９０２は、位相修正されたサブバンド標本値の大きさを修正する。数学的には、出力yは、MISOユニット８００−nへの入力u₁ ８０１およびu₂ ８０２ならびに利得パラメータgの関数として次のように書ける。

y＝g・v₁ ^T-rv₂ ^r (2)
ここで、m＝1,2についてv_m＝u_m/|u_m|^1-1/T
これは次のように書き直すことができる。

y＝μ(|u₁|,|u₂|)・(u₁/|u₁|)^T-r(u₂/|u₂|)^T
ここで、μ(|u₁|,|u₂|)は大きさ生成関数である。ことばで言うと、複素サブバンド信号u₁の位相は転換次数T−rを乗算され、複素サブバンド信号u₂の位相は転換次数rを乗算される。これら二つの位相の和は出力yの位相として使われる。出力yの大きさは大きさ生成関数によって得られる。公式(2)と比較すると、大きさ生成関数は、利得パラメータgによって修正された大きさの幾何平均として表される。すなわち、μ(|u₁|,|u₂|)＝g・|u₁|^1-r/T|u₂|^r/Tとなる。利得パラメータが入力に依存することを許容することによって、これはもちろんすべての可能性をカバーする。

公式(2)は、周波数(ω,ω＋Ω)をもつ一対の正弦波が、(T−r)ω＋r(ω＋Ω)とも書ける周波数Tω＋rΩをもつ正弦波にマッピングされるべきであるという根底にある目標から帰結することを注意しておくべきである。

以下のテキストでは、本発明の数学的記述が概説される。簡単のため、連続的な時間信号を考える。合成フィルタバンク３０３は、実数値の対称窓関数またはプロトタイプ・フィルタw(t)を用いて、対応する複素変調された分解フィルタバンク３０１から完璧な再構成を達成すると想定される。合成フィルタバンクは、いつもではないがしばしば、合成プロセスにおいて同じ窓を使う。変調は、均等に積み重ねられた型であると想定され、ストライド（stride）は1に規格化され、合成サブバンドの角周波数間隔はπに規格化される。よって、合成フィルタバンクへの入力サブバンド信号が下記の合成サブバンド信号y_n(k)によって与えられるならば、目標信号s(t)は合成フィルタバンクの出力において達成される。

公式(3)が、短時間フーリエ変換（STFT）とも記される窓掛けされた離散フーリエ変換（DFT: Discrete Fourier Transform）のような複素変調されたサブバンド分解フィルタバンクにおける通常の動作の規格化された連続時間数学モデルであることを注意しておく。公式(3)の複素指数関数の引数におけるわずかな修正により、複素変調された（擬似）直交ミラー・フィルタバンク（QMF: Quadrature Mirror Filterbank）および窓掛けされた奇積層の（oddly stacked）窓掛けされたDFTとも記される複素化修正離散コサイン変換（CMDCT: complexified Modified Discrete Cosine Transform）についての連続時間モデルを得ることになる。サブバンド・インデックスnは連続時間の場合についてすべての非負の整数を走る。離散時間の対応物については、時間変数tは1/Nきざみでサンプリングされ、サブバンド・インデックスnはNによって制限される。ここで、Nはフィルタバンク中のサブバンドの数であり、これはフィルタバンクの離散的な時間ストライドに等しい。離散時間の場合には、Nに関係した規格化因子も、もし窓のスケーリングに組み込まれていなければ、変換動作において必要とされる。

実数値の信号については、選ばれたフィルタバンク・モデルについて中に実数値の標本値があるのと同数の複素サブバンド標本値が外にある。したがって、２倍の総合的なオーバーサンプリング（あるいは冗長性）がある。より高い度合いのオーバーサンプリングのあるフィルタバンクが用いられることもできるが、呈示の明確のため、実施形態の本記述ではオーバーサンプリングは少なめにしている。

公式(3)に対応する変調されたフィルタバンク分析に関わる主要な段階は、信号が時刻t＝kを中心とする窓を乗算され、結果として得られる窓掛けされた信号が複素正弦波exp[−inπ(t−k)]のそれぞれと相関を取られる。離散時間実装では、この相関は高速フーリエ変換により効率的に実装される。合成フィルタバンクについての対応するアルゴリズム・ステップは当業者にはよく知られており、合成変調、合成窓掛けおよび重畳加算（overlap add）動作からなる。

図１９は、時間インデックスkおよびサブバンド・インデックスnのいくつかの値のセレクションについてサブバンド標本値y_n(k)によって担持される情報に対応する時間および周波数における位置を示している。一例として、サブバンド標本値y₅(4)が黒い長方形１９０１によって表されている。

正弦波s(t)＝Acos(ωt＋θ)＝Re{Cexp(iωt)}について、(3)のサブバンド信号は十分大きなnについてはよい近似で次式によって与えられる。

ここで、ハット＾はフーリエ変換を表す。すなわち、＾付きのwは窓関数wのフーリエ変換である。

厳密には、公式(4)はωの代わりに−ωを加える場合にのみ成り立つ。この項は、窓の周波数応答は十分高速に減衰し、ωとnの和は0に近くないという想定に基づいて無視されている。

図２０は、窓w ２００１およびそのフーリエ変換＾w ２００２の典型的な様相を描いている。

図２１は、公式(4)に対応する単一正弦波の分解を示している。主として周波数Ωにおける正弦波によって影響されるサブバンドは、nπ−ωが小さいようなインデックスnをもつものである。図２１の例については、水平な破線２１０１によって示されるように、周波数ω＝6.25πである。その場合、それぞれ参照符号２１０２、２１０３、２１０４によって表されるn＝5,6,7についての三つのサブバンドが有意な0でないサブバンド信号を含む。これら三つのサブバンドの陰影は、公式(4)から得られる、各サブバンド内部の複素正弦波の相対振幅を反映している。陰影が黒いほど振幅が高いことを意味する。具体例では、これは、サブバンド５、すなわち２１０２の振幅はサブバンド７，すなわち２１０４の振幅に比べて低く、サブバンド７の振幅はサブバンド６、すなわち２１０３の振幅より低いことを意味する。合成フィルタバンクの出力において高品質の正弦波を合成するためには、特に窓が図２０の窓２００１のような様相をもち、比較的短い継続時間および周波数における有意なサイドローブをもつ場合、いくつかの0でないサブバンドが一般には必要となることがあることを注意しておくことが重要である。

合成サブバンド信号y_n(k)は分解フィルタバンク３０１および非線形処理、すなわち図３に示される高調波転換器３０２の結果として決定されることもできる。分解フィルタバンク側では、分解サブバンド信号x_n(k)はソース信号z(t)の関数として表現されてもよい。次数Tの転換のためには、窓w_T(t)＝w(t/T)/T、ストライド1および合成バンクの周波数きざみよりT倍細かい変調周波数きざみをもつ複素変調された分解フィルタバンクがソース信号z(t)に適用される。図２２は、スケーリングされた窓w_T ２２０１およびそのフーリエ変換＾w_T ２２０２の様相を示している。図２０に比べ、時間窓２２０１は引き延ばされており、周波数窓２２０２は圧縮されている。

修正されたフィルタバンクによる分解は、下記の分解サブバンド信号x_n(k)を生じさせる：

正弦波z(t)＝Bcos(ξt＋φ)＝Re{Dexp(iξt)}について、(5)のサブバンド信号は十分大きなnについてはよい近似で次式によって与えられることがわかる。

よって、これらのサブバンド信号を高調波転換器３０２に提出し、直接転換規則(1)ないし(6)を適用することによって、次が得られる。

公式(4)および式(7)によって与えられる高調波転換であるチルダ付きのy_n(k)を通じて得られる非線形サブバンド信号は、理想的には一致すべきである。

奇数の転換次数Tについては、(7)において窓の影響を含む因子は1に等しい。窓のフーリエ変換は想定により実数値であり、T−1は偶数だからである。したがって、公式(7)は、すべてのサブバンドについて、ω＝Tξとして公式(4)と厳密に一致させられることができる。それにより、公式(7)に従う入力サブバンド信号をもつ合成フィルタバンクの出力は周波数ω＝Tξ、振幅A＝gB、位相θ＝Tφをもつ正弦波である。ここで、Bおよびφは公式D＝Bexp(iφ)から決定される。この公式を代入すると、

を与える。よって、正弦波ソース信号z(t)の次数Tの高調波転換が得られる。

偶数のTについては、一致はより近似的であるが、それでも、対称的な実数値の窓については最も重要な主ローブを含む窓周波数応答＾wの正の値の部分では、成り立つ。これは、Tの偶数の値についても、正弦波ソース信号z(t)の高調波転換が得られることを意味している。ガウス窓の特定の場合では、＾wは常に正であり、結果として、転換の偶数次と奇数次についてパフォーマンスに差はない。

公式(6)と同様に、周波数ξ＋Ωをもつ正弦波、すなわち正弦波ソース信号z(t)＝B′cos((ζ＋Ω)t＋φ′)＝Re{Eexp(i(ζ＋Ω)t)}の分析は、

となる。したがって、二つのサブバンド信号、すなわち図８における信号８０１に対応するu₁＝x_n-p1(k)および図８における信号８０２に対応するu₂＝x′_n+p2(k)を図８に示されるクロス生成物処理８００−nに入力し、クロス生成物公式(2)を適用すると、次の出力サブバンド信号８０３が与えられる。

公式(9)から、MISOシステム８００−nの出力サブバンド信号８０３の位相発展が周波数Tξ＋rΩの正弦波の分析の位相発展に追随することが見て取れる。これは、インデックス・シフトp₁およびp₂の選択とは独立して成り立つ。実際、サブバンド信号(9)が周波数Tξ＋rΩに対応するサブバンド・チャネルnに入力される場合、すなわち、

である場合、出力は周波数Tξ＋rΩでの正弦波の生成への寄与である。しかしながら、各寄与が有意であり、それらの寄与が有益な仕方で足し合わされることを確認することが有利である。これらの側面について以下で論じる。

クロス生成物向上ピッチ・パラメータΩが与えられたとき、(10)の複素大きさM(n,ξ)がある範囲の諸サブバンドnについて＾w(nπ−(Tξ＋rΩ))を近似する（その場合、最終的な出力が周波数Tξ＋rΩにおける正弦波を近似することになる）ために、インデックス・シフトp₁およびp₂についての好適な選択が導出されることができる。主ローブに対する最初の考察は、(n−p₁)π−Tξ、(n＋p₂)π−T(ξ＋Ω)、nπ−(Tξ＋rΩ)の三つすべての値が同時に小さくなることを課す。これは、次の近似等式を導く。

これは、クロス生成物向上ピッチ・パラメータΩを知っているとき、インデックス・シフトが公式(11)によって近似されてもよいということを意味する。これにより、分解サブバンドの簡単な選択が許容される。公式(11)に基づくインデックス・シフトp₁およびp₂の選択の、式(10)に従うパラメータM(n,ζ)の大きさに対する効果のより十全な解析は、ガウス窓および正弦窓のような窓関数w(t)の重要な特別な場合について実行されることができる。＾w(nπ−(Tξ＋rΩ))への所望される近似は、

のいくつかのサブバンドについて非常に良好であることがわかる。

関係式(11)は、分解フィルタバンク３０１が角周波数サブバンド間隔π/Tをもつ例示的な状況に合わせて較正されていることを注意しておくべきである。一般的な場合には、(11)の結果として得られる解釈は、クロス項ソース・スパンp₁＋p₂が、根底にある基本周波数Ωを近似する、分解フィルタバンクのサブバンド間隔を単位として測った、整数であり、対(p₁,p₂)が(r,T−r)の倍数として選ばれるというものである。

デコーダにおけるインデックス・シフト対(p₁,p₂)の決定のために、次のモードを使ってもよい：
１．Ωの値はエンコード・プロセスにおいて導出され、好適な丸め手順によってp₁およびp₂の整数値を導出するために十分な精度でデコーダに明示的に伝送されてもよい。それは、次の原理に従ってでもよい。

・p₁＋p₂がΩ/Δωを近似する。ここで、Δωは分解フィルタバンクの角周波数間隔である；および
・p₁/p₂がr/(T−r)を近似するよう選ばれる。
２．各目標サブバンド標本値について、インデックス・シフト対(p₁,p₂)が、(p₁,p₂)＝(rl,(T−r)l)、l∈L、r∈{1,2,…,T−1}のような候補となる値のあらかじめ決定されたリストからデコーダにおいて導出されてもよい。ここで、Lは正の整数のリストである。選択は、クロス項出力大きさの最適化、たとえばクロス項出力のエネルギーの最大化に基づいていてもよい。
３．各目標サブバンド標本値について、インデックス・シフト対(p₁,p₂)が、候補となる値の短縮されたリストから、クロス項出力大きさの最適化によって導出されてもよい。ここで、候補となる値の短縮されたリストは、エンコード・プロセスにおいて導出され、デコーダに伝送される。

サブバンド信号u₁およびu₂の位相修正がそれぞれ重み付け(T−r)およびrを用いて実行されるが、サブバンド・インデックス距離p₁およびp₂はそれぞれrおよび(T−r)に比例して選ばれることを注意しておくべきである。よって、合成サブバンドnに最も近いサブバンドが最も強い位相修正を受ける。

上で概説したモード２および３についての最適化手順のための有利な方法は、Max-Min最適化：

を考え、勝ち残った対をrのその対応する値とともに使って、所与の目標サブバンド・インデックスnについてのクロス生成物寄与を構築することであってもよい。デコーダ探索指向のモード２では、また部分的にはモード３でも、異なる値rについてのクロス項の追加は好ましくは独立してなされる。同じサブバンドに中身を何回か加えるリスクがあるかもしれないからである。他方、モード１のようにしてサブバンドを選択するために基本周波数Ωが使われる場合、あるいはモード２においてありうるように狭い範囲のサブバンド・インデックス距離しか許されない場合には、同じサブバンドに何回か中身を加えてしまうというこの特定の問題は回避されうる。

さらに、上で概説したクロス項処理方式の実施形態のためには、クロス生成物利得gの追加的なデコーダ修正が有益であることがあることも注意しておくべきである。たとえば、公式(2)によって与えられるクロス生成物MISOユニットへの入力サブバンド信号u₁、u₂や、公式(1)によって与えられる転換SISOユニットへの入力サブバンド信号xに適用される。直接処理４０１およびクロス生成物処理４０２が同じ出力合成サブバンドのための構成要素を提供する図４に示されるように、三つの信号すべてが同じ出力合成サブバンドに入力されるならば、所定の閾値q＞1について
min(|u₁|,|u₂|)＜q|x| (13)
であれば、クロス生成物利得g、すなわち図９の利得ユニット９０２を0に設定することが望ましいことがありうる。換言すれば、クロス生成物を追加するのは、直接項入力サブバンド大きさ|x|が両方のクロス生成物入力項に比べて小さい場合にのみ実行される。このコンテキストにおいて、xは、考えているクロス生成物と同じ合成サブバンドにおける出力につながる直接項処理のための分解サブバンド標本値である。これは、直接転換によってすでに対策されている高調波成分をさらに向上させないようにするための用心といえる。

以下では、本稿で概説される高調波転換法が、従来技術に対する向上を例解するために例示的なスペクトル構成について記述される。図１０は、次数T＝2の直接高調波転換の効果を示している。上の図１００１は、基本周波数Ωの倍数に位置する縦の矢印によって、もとの信号の部分周波数成分を描いている。これは、たとえばエンコーダ側におけるソース信号を示す。図式１００１は、部分周波数Ω、2Ω、3Ω、4Ω、5Ωをもつ左側のソース周波数範囲および部分周波数6Ω、7Ω、8Ωをもつ右側の目標周波数範囲に区分されている。ソース周波数範囲は典型的にはエンコードされ、デコーダに伝送される。他方、HFR法のクロスオーバー周波数１００５より上の部分成分6Ω、7Ω、8Ωを含む右側の目標周波数範囲は典型的にはデコーダに伝送されない。ソース信号のクロスオーバー周波数１００５より上の目標周波数範囲を、ソース周波数範囲から再構成することが高調波転換法の目的である。したがって、目標周波数範囲、特に図式１００１における部分成分6Ω、7Ω、8Ωは、転換器への入力として利用可能ではない。

上で概説したように、ソース周波数範囲において利用可能な周波数成分から、ソース信号の信号成分6Ω、7Ω、8Ωをを再生成することが高調波転換法のねらいである。下の図式１００２は右側の目標周波数範囲における転換器の出力を示している。そのような転換器はたとえばデコーダ側に置かれていてもよい。周波数6Ωおよび8Ωにおける部分成分は周波数3Ωおよび4Ωにおける部分成分から、転換次数T＝2を使う高調波転換によって再生成される。ここで点線の矢印１００３および１００４によって描かれている高調波転換のスペクトル引き伸ばし効果の結果として、7Ωにおける目標部分成分は欠けている。この7Ωにおける目標部分成分は、基本になる従来技術の高調波転換法を使っては生成できない。

図１１は、二次高調波転換器が単一のクロス項によって向上されている、すなわちT＝2かつr＝1の場合における、周期信号の高調波転換のための本発明の効果を示している。図１０のコンテキストにおいて概説されたように、転換器は、下の図式１１０２におけるクロスオーバー周波数１１０５より上の目標周波数範囲における部分成分6Ω、7Ω、8Ωを、図式１１０１のクロスオーバー周波数１１０５より下のソース周波数範囲における部分成分Ω、2Ω、3Ω、4Ω、5Ωから生成するために使われる。図１０の従来技術の転換器出力に加えて、7Ωにおける部分周波数成分が3Ωおよび4Ωにおけるソース部分成分の組み合わせから再生成されている。クロス生成物を追加することの効果は、破線矢印１１０３および１１０４によって描かれている。公式では、ω＝3Ωなので、(T−r)ω＋r(ω＋Ω)＝Tω＋rΩ＝6Ω＋Ω＝7Ωである。この例から見て取れるように、本稿に概説される本発明のHFR法を使うことで、すべての目標部分成分が再生成されうる。

図１２は、図１０のスペクトル構成について変調されたフィルタバンクにおける従来技術の二次高調波転換器の可能な実装を示している。分解フィルタバンク・サブバンドの様式化された周波数応答が、上の図式１２０１における参照符号１２０６などの点線で示されている。サブバンドはサブバンド・インデックスによって数えられる。そのうち、インデックス5、10および15が図１２に示されている。与えられている例については、基本周波数Ωは分解サブバンド周波数間隔の3.5倍に等しい。これは、図式１２０１における部分成分Ωがサブバンド・インデックス3および4をもつ二つのサブバンドの間に位置されているという事実によって示される。部分成分2Ωはサブバンド・インデックス7をもつサブバンドの中心に位置される、などとなっている。

下の図式１２０２は、再生成された部分成分6Ωおよび8Ωに、選択された合成フィルタバンク・サブバンドの参照符号１２０７などの様式化された周波数応答を重畳したものを示している。先述したように、これらのサブバンドは、T＝2倍粗い周波数間隔をもつ。対応して、周波数応答も因子T＝2によってスケーリングされる。上で概説したように、従来技術の直接項処理方法は各分解サブバンドの、すなわち図式１２０１におけるクロスオーバー周波数１２０５より下の各サブバンドの位相を、因子T＝2によって修正し、その結果を同じインデックスをもつ合成サブバンド、すなわち図式１２０２においてクロスオーバー周波数１２０５より上のサブバンドにマッピングする。これは、図１２において、斜めの点線の矢印、たとえば分解サブバンド１２０６および合成サブバンド１２０７についての矢印１２０８によって象徴されている。分解サブバンド１２０１からのサブバンド・インデックス9ないし16をもつサブバンドについてのこの直接項処理の結果は、周波数3Ωおよび4Ωにおけるソース部分成分からの合成サブバンド１２０２における周波数6Ωおよび8Ωにおける二つの目標部分成分の再生成である。図１２から見て取れるように、目標部分成分6Ωへの主たる寄与はサブバンド・インデックス10および11をもつサブバンド、すなわち参照符号１２０９および１２１０からきており、目標部分成分8Ωへの主たる寄与はサブバンド・インデックス14をもつサブバンド、すなわち参照符号１２１１からきている。

図１３は、図１２の変調されたフィルタバンクの追加的なクロス項処理ステップの可能な実装を示している。クロス項処理ステップは、図１１に関して基本周波数Ωをもつ周期信号について記述したものに対応する。上の図式１３０１は分解サブバンドを示しており、そのうちのソース周波数範囲が、下の図式１３０２における合成サブバンドの目標周波数範囲に転換される。これらの分解サブバンドからの部分成分7Ωを取り囲む合成サブバンド１３１５および１３１６の生成という個別的な場合を考える。転換次数T＝2について、可能な値r＝1が選択されてもよい。候補値(p₁,p₂)を(r,T−r)＝(1,1)の倍数として選び、p₁＋p₂がΩ/Δω＝Ω/（Ω/3.5）＝3.5、つまり分解サブバンド周波数間隔の単位で表した基本周波数Ωを近似するようにすることは、p₁＝p₂＝2という選択につながる。図８のコンテキストで概説したように、サブバンド・インデックスnをもつ合成サブバンドは、サブバンド・インデックス(n−p₁)および(n＋p₂)をもつ分解サブバンドのクロス項生成物から生成されうる。結果として、サブバンド・インデックス12をもつ合成サブバンド、すなわち参照符号１３１５については、クロス生成物は、サブバンド・インデックス(n−p₁)＝12−2＝10、すなわち参照符号１３１１およびサブバンド・インデックス(n＋p₂)＝12＋2＝14、すなわち参照符号１３１３をもつ分解サブバンドから形成される。サブバンド・インデックス13をもつ合成サブバンドについては、クロス生成物は、インデックス(n−p₁)＝13−2＝11、すなわち参照符号１３１２および(n＋p₂)＝13＋2＝15、すなわち参照符号１３１４をもつ分解サブバンドから形成される。クロス生成物生成のこのプロセスは、斜めの破線／点線矢印の対、すなわちそれぞれ参照符号の対１３０８と１３０９および１３０６と１３０７によって象徴される。

図１３から見て取れるように、部分成分7Ωはインデックス12をもつサブバンド１３１５内に主として置かれており、インデックス13をもつサブバンド１３１６には二次的に置かれているのみである。したがって、よりリアルなフィルタ応答のために、インデックス13をもつ合成サブバンド１３１６のまわりの項よりも、インデックス12をもつ合成サブバンドのまわりの、周波数(T−r)ω＋r(ω＋Ω)＝Tω＋rΩ＝6Ω＋Ω＝7Ωにおける高品質の正弦波の合成に有益に加わるより多くの直接および／またはクロス項がある。さらに、公式(13)のコンテキストにおいてハイライトされたように、p₁＝p₂＝2をもつクロス項すべての盲目的な追加は、より周期的でないアカデミックな入力信号について望まれない信号成分につながることがある。

図１４は、次数T＝3の従来技術の高調波転換の効果を示している。上の図１４０１は、基本周波数Ωの倍数に位置する縦の矢印によって、もとの信号の部分周波数成分を描いている。部分成分6Ω、7Ω、8Ω、9ΩはHFR法のクロスオーバー周波数１４０５より上の目標範囲にあり、よって転換器への入力として利用可能ではない。ソース範囲における信号からそれらの信号成分を再生成することが高調波転換のねらいである。下の図式１４０２は目標周波数範囲における転換器の出力を示している。周波数6Ω、すなわち参照符号１４０７および9Ω、すなわち参照符号１４１０における部分成分は周波数2Ω、すなわち参照符号１４０６および3Ω、すなわち参照符号１４０９における部分成分から再生成される。ここで点線の矢印１４０８および１４１１によってそれぞれ描かれている高調波転換のスペクトル引き伸ばし効果の結果として、7Ωおよび8Ωにおける目標部分成分は欠けている。

図１５は、三次高調波転換器が二つの異なるクロス項の追加によって向上されている、すなわちT＝3かつr＝1,2の場合における、周期信号の高調波転換のための本発明の効果を示している。図１４の従来技術の転換器出力に加えて、7Ωにおける部分周波数成分１５０８が2Ωにおけるソース部分成分１５０６および3Ωにおけるソース部分成分１５０７の組み合わせからのr＝1についてのクロス項によって再生成されている。クロス生成物を追加することの効果は、破線矢印１５１０および１５１１によって描かれている。公式では、ω＝2Ωにより、(T−r)ω＋r(ω＋Ω)＝Tω＋rΩ＝6Ω＋Ω＝7Ωである。同様に、8Ωにおける部分周波数成分１５０９がr＝2についてのクロス項によって再生成されている。下の図式１５０２の目標範囲におけるこの部分周波数成分１５０９は、上の図式１５０１のソース周波数範囲における2Ωにおける部分周波数成分１５０６および3Ωにおける部分周波数成分１５０７から生成される。クロス項生成物の生成は、矢印１５１２および１５１３によって描かれている。公式では、(T−r)ω＋r(ω＋Ω)＝Tω＋rΩ＝6Ω＋2Ω＝8Ωである。見て取れるように、本稿に概説される本発明のHFR法を使うことで、すべての目標部分成分が再生成されうる。

図１６は、図１４のスペクトル状況について変調されたフィルタバンクにおける従来技術の三次高調波転換器の可能な実装を示している。分解フィルタバンク・サブバンドの様式化された周波数応答が、上の図式１６０１における点線で示されている。サブバンドはサブバンド・インデックス1ないし17によって数えられる。そのうち、インデックス7をもつサブバンド１６０６、インデックス10をもつサブバンド１６０７およびインデックス11をもつサブバンド１６０８が例示的な仕方で参照されている。与えられている例については、基本周波数Ωは分解サブバンド周波数間隔Δωの3.5倍に等しい。下の図式１６０２は、再生成された部分周波数に、選択された合成フィルタバンク・サブバンドの様式化された周波数応答を重畳したものを示している。例として、サブバンド・インデックス7をもつサブバンド１６０９、サブバンド・インデックス10をもつサブバンド１６１０およびサブバンド・インデックス11をもつサブバンド１６１１が参照されている。先述したように、これらのサブバンドは、T＝3倍粗い周波数間隔Δωをもつ。対応して、周波数応答もそれに応じてスケーリングされている。

従来技術の直接項処理は各分解サブバンドについて、サブバンド信号の位相を、因子T＝3によって修正し、その結果を同じインデックスをもつ合成サブバンドにマッピングする。これは、斜めの点線の矢印によって象徴されている。サブバンド6ないし11についてのこの直接項処理の結果は、周波数2Ωおよび3Ωにおけるソース部分成分からの、周波数6Ωおよび9Ωにおける二つの目標部分周波数の再生成である。図１６から見て取れるように、目標部分成分6Ωへの主たる寄与はインデックス7をもつサブバンド、すなわち参照符号１６０６からきており、目標部分成分9Ωへの主たる寄与はインデックス10および11をもつサブバンド、すなわち参照符号１６０７および１６０８からきている。

図１７は、図１６の変調されたフィルタバンクにおける、7Ωにおける部分成分の再生成につながる、r＝1についての追加的なクロス項処理ステップの可能な実装を示している。図８のコンテキストにおいて概説したように、インデックス・シフト(p₁,p₂)は(r,T−r)＝(1,2)の倍数として選択され、p₁＋p₂が3.5、つまり分解サブバンド周波数間隔Δωを単位として表した基本周波数Ωを近似するようにしてもよい。換言すれば、生成されるべき合成サブバンドに寄与する二つの分解サブバンドの間の相対距離、すなわち周波数軸上での距離を分解サブバンド周波数間隔Δωで割ったものは、相対基本周波数、すなわち基本周波数Ωを分解サブバンド周波数間隔Δωで割ったものを最もよく近似するべきである。このことは公式(11)によっても表されており、p₁＝1、p₂＝2という選択につながる。

図１７に示されるように、インデックス8をもつ合成サブバンド、すなわち参照符号１７１０は、インデックス(n−p₁)＝8−1＝7、すなわち参照符号１７０６および(n＋p₂)＝8＋2＝10、すなわち参照符号１７０８をもつ分解サブバンドから形成されるクロス生成物から得られる。インデックス9をもつ合成サブバンドについては、クロス生成物は、インデックス(n−p₁)＝9−1＝8、すなわち参照符号１７０７および(n＋p₂)＝9＋2＝11、すなわち参照符号１７０９をもつ分解サブバンドから形成される。クロス生成物を形成するこのプロセスは、斜めの破線／点線矢印の対、すなわちそれぞれ参照符号の対１７１２と１７１３および１７１４と１７１５によって象徴される。図１７からは、部分周波数7Ωはサブバンド１７１１よりもサブバンド１７１０により顕著に位置されていることが見て取れる。したがって、リアルなフィルタ応答のためには、インデックス8をもつ合成サブバンド、すなわちサブバンド１７１０のまわりの、周波数(T−r)ω＋r(ω＋Ω)＝Tω＋rΩ＝6Ω＋Ω＝7Ωにおける高品質の正弦波の合成に有益に加わるより多くのクロス項があることが期待される。

図１８は、図１６の変調されたフィルタバンクにおける、r＝2についての、8Ωにおける部分周波数の再生成につながる、追加的なクロス項処理ステップの可能な実装を示している。インデックス・シフト(p₁,p₂)は(r,T−r)＝(2,2)の倍数として選択され、p₁＋p₂が3.5、つまり分解サブバンド周波数間隔Δωを単位として表した基本周波数Ωを近似するようにしてもよい。これは、p₁＝2、p₂＝1という選択につながる。図１８に示されるように、インデックス9をもつ合成サブバンド、すなわち参照符号１８１０は、インデックス(n−p₁)＝9−2＝7、すなわち参照符号１８０６および(n＋p₂)＝9＋1＝10、すなわち参照符号１８０８をもつ分解サブバンドから形成されるクロス生成物から得られる。インデックス10をもつ合成サブバンドについては、クロス生成物は、インデックス(n−p₁)＝10−2＝8、すなわち参照符号１８０７および(n＋p₂)＝10＋1＝11、すなわち参照符号１８０９をもつ分解サブバンドから形成される。クロス生成物を形成するこのプロセスは、斜めの破線／点線矢印の対、すなわちそれぞれ矢印対１８１２と１８１３および１８１４と１８１５によって象徴される。図１８からは、部分周波数8Ωはサブバンド１８１１よりもサブバンド１８１０において、わずかだがより顕著に位置されていることが見て取れる。したがって、リアルなフィルタ応答のためには、インデックス9をもつ合成サブバンド、すなわちサブバンド１８１０のまわりの周波数(T−r)ω＋r(ω＋Ω)＝Tω＋rΩ＝2Ω＋6Ω＝8Ωにおける高品質の正弦波の合成に有益に加わるより多くの直接および／またはクロス項があることが期待される。

以下では、T＝3についてこの規則に従ってインデックス・シフト対(p₁,p₂)およびrについて、Max-Min最適化ベースの選択手順(12)を例解する図２３および図２４が参照される。選ばれた目標サブバンド・インデックスはn＝18であり、上の図は、与えられた時間インデックスについてのサブバンド信号の大きさの例を与える。ここで正整数のリストが７つの値L＝{2,3,…,8}によって与えられる。

図２３は、r＝1での候補の探索を示している。目標サブバンドまたは合成サブバンドは、インデックスn＝18をもって示されている。点線２３０１は上の分解サブバンド範囲および下の合成サブバンド範囲におけるインデックスn＝18をもつサブバンドをハイライトしている。可能なインデックス・シフト対はl＝2,3,…,8について(p₁,p₂)＝{(2,4),(3,6),…,(8,16)}であり、対応する分解サブバンド大きさ標本値インデックス対、すなわち最適なクロス項を決定するために考慮されるサブバンド・インデックス対のリストは{(16,22),(15,24),…,(10,34)}である。一組の矢印が考慮対象の対を示す。一例として、参照符号２３０２および２３０３によって表される対(15,24)が示されている。これらの大きさの対の最小値を評価すると、クロス項の前記可能なリストについてのそれぞれの最小の大きさのリスト(0,4,1,0,0,0,0)が与えられる。l＝3についての第二のエントリーが最大なので、対(15,24)がr＝1での候補の間で勝ち残り、この選択が太い矢印によって描かれている。

図２４は同様に、r＝2での候補の探索を示している。目標サブバンドまたは合成サブバンドは、インデックスn＝18をもって示されている。点線２４０１は上の分解サブバンド範囲および下の合成サブバンド範囲におけるインデックスn＝18をもつサブバンドをハイライトしている。この場合、可能なインデックス・シフト対は(p₁,p₂)＝{(4,2),(6,3),…,(16,8)}であり、対応する分解サブバンド大きさ標本値インデックス対は{(14,20),(12,21),…,(2,26)}であり、このうち対(6,24)が参照符号２４０２および２４０３によって表されている。これらの大きさの対の最小値を評価すると、リスト(0,0,0,0,3,1,0)が与えられる。第五のエントリーが最大、つまりl＝6なので、対(6,24)がr＝2での候補の間で勝ち残り、太い矢印によって描かれている。全体として、対応する大きさ対の最小値は、r＝1についての選択されたサブバンド対のものよりも小さいので、目標サブバンド・インデックスn＝18についての最終的な選択は対(15,24)かつr＝1に落ち着く。

入力信号z(t)が基本周波数Ωをもつ、すなわちクロス生成物向上ピッチ・パラメータに対応する基本周波数をもつ高調波系列であり、Ωが分解フィルタバンクの周波数分解能に比べて十分大きいとき、公式(6)によって与えられる分解サブバンド信号x_n(k)および公式(8)によって与えられるx′_n(k)は、入力信号z(t)の分解の良好な近似であり、近似は種々のサブバンド領域において有効であることをさらに注意しておくべきである。公式(6)と(8)〜(10)の比較から、入力信号z(t)の周波数軸に沿った高調波位相発展が、本発明によって正しく外挿されることがわかる。これは特に、純粋なパルス列について成り立つ。出力オーディオ品質のために、これは、人間の声や一部の楽器によって生成されるようなパルス列のような性質の信号について魅力的な特徴である。

図２５、図２６および図２７は、T＝3の場合における高調波信号についての本発明の転換の例示的な実装のパフォーマンスを示している。信号は基本周波数282.35Hzをもち、考慮される目標範囲10ないし15kHzにおけるその大きさスペクトルが図２５に描かれている。N＝512個のサブバンドのフィルタバンクが、転換を実装するために48kHzのサンプリング周波数において使用される。三次の直接転換器（T＝3）の出力の大きさスペクトルが図２６に描かれている。見て取れるように、三つ目ごとの高調波が上で概説した理論によって予言されるように高忠実度で再現されており、知覚されるピッチは847Hz、つまりもとのピッチの三倍である。図２７は、クロス項生成物を適用する転換器の出力を示している。すべての高調波が、理論の近似的な側面に起因する不完全性の制限内で再生成されている。この場合については、サイドローブは信号レベルより約40dB下であり、これはもとの高調波信号から知覚的に区別できない高周波数成分の再生成のためには十分以上である。

以下では、統合音声音響符号化（USAC）のための例示的なエンコーダ２８００および例示的なデコーダ２９００をそれぞれ示す図２８および図２９が参照される。USACエンコーダ２８００およびデコーダ２９００の一般的な構造は次のように述べられる：まず、ステレオまたは多チャネル処理を扱うためのMPEGサラウンド（MPEGS: MPEG Surround）機能ユニットおよび入力信号におけるより高いオーディオ周波数のパラメトリック表現を扱う向上SBR（eSBR: enhanced SBR）ユニット２８０１および２９０１からなる共通の前処理／後処理があってもよい。eSBRは本稿で概説される高調波転換法を利用してもよい。二つの分枝があり、一方は修正された先進オーディオ符号化（AAC）ツール経路からなり、他方は線形予測符号化（LPまたはLPC領域）ベースの経路からなる。この後者は、LPC残差の周波数領域表現または時間領域表現をフィーチャーする。AACおよびLPC両方についてのすべての伝送されるスペクトルは、量子化および算術符号化に続いて、MDCT領域で表されてもよい。時間領域表現はACELP励振符号化方式を使う。

エンコーダ２８００の向上スペクトルバンド複製（eSBR: enhanced Spectral Band Replication）ユニット２８０１は本稿で概説した高周波数再構成システムを有していてもよい。特に、eSBRユニット２８０１は、複数の分解サブバンド信号を生成するために分解フィルタバンク３０１を有していてもよい。分解サブバンド信号は次いで、複数の合成サブバンド信号を生成するよう非線形処理ユニット３０２において転換されてもよい。生成された合成サブバンド信号は次いで、高周波数成分を生成するために合成フィルタバンク３０３に入力されてもよい。eSBRユニット２８０１では、エンコード側では、低周波数成分から、もとの信号の高周波数成分に最もよく一致する高周波数成分をどのようにして生成するかについての一組の情報が決定されてもよい。この一組の情報は、優勢な基本周波数Ωのような信号特性について、高周波数成分のスペクトル包絡についての情報を含んでいてもよく、分解サブバンド信号をどのように組み合わせるのが最もよいかについての情報、すなわちインデックス・シフト対(p₁,p₂)の限られた集合のような情報を含んでいてもよい。この一組の情報に関係するエンコードされたデータは、ビットストリーム・マルチプレクサにおいて他のエンコードされた情報とマージされ、エンコードされたオーディオ・ストリームとして対応するデコーダ２９００に転送される。

図２９に示されるデコーダ２９００も向上されたスペクトル帯域幅複製（eSBR）ユニット２９０１を有している。eSBRユニット２９０１はエンコードされたオーディオ・ビットストリームまたはエンコードされた信号をエンコーダ２８００から受け取り、本稿で概説された方法を使って信号の高周波数成分を生成し、その高周波成分がデコードされた低周波数成分とマージされてデコード信号を生じる。eSBRユニット２９０１は本稿で概説された種々のコンポーネントを有していてもよい。特に、分解フィルタバンク３０１、非線形処理ユニット３０２および合成フィルタバンク３０３を有していてもよい。eSBRユニット２９０１は、高周波数再構成を実行するために、エンコーダ２８００によって与えられた高周波数成分についての情報を使ってもよい。そのような情報は、信号の基本周波数Ω、もとの高周波数成分のスペクトル包絡および／または合成サブバンド信号、ひいてはデコード信号の高周波数成分を生成するために使われるべき分解サブバンドについての情報であってもよい。

さらに、図２８および図２９は、USACエンコーダ／デコーダの、以下のような可能な追加的コンポーネントを示している。

・ビットストリーム・ペイロード・デマルチプレクサ・ツール。これは、ビットストリーム・ペイロードを各ツールのための部分に分離し、各ツールに、そのツールに関係するビットストリーム・ペイロード情報を与える。

・スケール因子ノイズレス・デコード・ツール。これは、ビットストリーム・ペイロード・デマルチプレクサから情報を受け、その情報をパースし、ハフマンおよびDPCM符号化されたスケール因子をデコードする。

・スペクトル・ノイズレス・デコード・ツール。これは、ビットストリーム・ペイロード・デマルチプレクサから情報を受け、その情報をパースし、算術符号化されたデータをデコードし、量子化されたスペクトルを再構成する。

・逆量子化ツール。これはスペクトルについての量子化された値を受け、整数値を、スケーリングされていない再構成されたスペクトルに変換する。この量子化器は好ましくは圧縮伸張量子化器であり、その圧縮伸張因子は選ばれたコア符号化モードに依存する。

・ノイズ充填ツール。これはデコードされたスペクトルにおけるスペクトル・ギャップを充填するために使われる。該スペクトル・ギャップは、たとえばエンコーダにおけるビット需要に対する強い制約に起因してスペクトル値が0に量子化されるときに現れる。

・再スケーリング・ツール。これは、スケール因子の整数表現を実際の値に変換し、スケーリングされていない逆量子化されたスペクトルに関連するスケール因子を乗算する。

・ISO/IEC14496-3に記載されているようなM/Sツール。

・ISO/IEC14496-3に記載されているような時間的ノイズ整形（TNS: temporal noise shaping）ツール。

・フィルタバンク／ブロック切り換えツール。これは、エンコーダにおいて実行された周波数マッピングの逆を適用する。フィルタバンク・ツールのためには好ましくは逆修正離散コサイン変換（IMDCT）が使われる。

・時間歪みフィルタバンク／ブロック切り換えツール。これは、時間歪みモードが有効にされているときに通常のフィルタバンク／ブロック切り換えツールを置換する。フィルタバンクは好ましくは通常のフィルタバンクについてと同じもの（IMDCT）であり、さらに、窓掛けされた時間領域標本値が、歪められた時間領域から線形の時間領域に、時間変動する再サンプリングによってマッピングされる。

・MPEGサラウンド（MPEGS）ツール。これは、一つまたは複数の入力信号から、適切な空間的パラメータによって制御される該入力信号に洗練された上方混合（upmix）手順を適用することによって、複数の信号を生成する。USACのコンテキストでは、MPEGSは好ましくは、伝送される下方混合（downmix）された信号とともにパラメトリック副情報を伝送することによって、多チャネル信号を符号化するために使われる。

・信号分類器ツール。これは、もとの入力信号を分析して、それから、種々の符号化モードの選択をトリガーする制御情報を生成する。入力信号の分析は典型的には実装依存であり、所与の入力信号フレームについて最適なコア符号化モードを選ぼうとする。信号分類器の出力は任意的に、他のツール、たとえばMPEGサラウンド、向上SBR、時間歪みフィルタバンクなど、の振る舞いに影響するためにも使われてもよい。

・LPCフィルタ・ツール。これは、線形予測合成フィルタを通じて再構成された励振信号をフィルタ処理することによって、励振領域信号から時間領域信号を生成する。

・ACELPツール。これは、長期予測器（適応符号語）をパルス様シーケンス（イノベーション符号語）と組み合わせることによって時間領域励振信号を効率的に表現する方法を提供する。

図３０は、図２８および図２９に示されるeSBRユニットのある実施形態を示している。eSBRユニット３０００は以下ではデコーダのコンテキストで記述され、eSBRユニット３０００への入力は信号の、ローバンドとしても知られる低周波数成分と、基本周波数Ωのような特定の信号特性および／または可能なインデックス・シフト値(p₁,p₂)に関する可能な追加的情報である。エンコーダ側では、eSBRへの入力は典型的には完全な信号であるのに対し、出力は信号特性および／またはインデックス・シフト値に関する追加的情報である。

図３０では、低周波数成分３０１３は、QMF周波数帯域を生成するためにQMFフィルタバンクに入力される。これらのQMF周波数帯域は、本稿で概説される分解サブバンドと混同すべきではない。QMF周波数帯域は、時間領域ではなく、周波数領域において、信号の低周波数成分と高周波数成分を操作およびマージする目的のために使われる。低周波数成分３０１４は本稿で概説された高周波数再構成のためのシステムに対応する転換ユニット３００４に入力される。転換ユニット３００４は、エンコードされた信号の基本周波数Ωおよび／またはサブバンド選択のための可能なインデックス・シフト対(p₁,p₂)といった追加的情報３０１１をも受け取ってもよい。転換ユニット３００４は、信号のハイバンドとしても知られる高周波数成分３０１２を生成し、それがQMFフィルタバンク３００３によって周波数領域に変換される。QMF変換された低周波数成分およびQMF変換された高周波数成分の両方は操作およびマージユニット３００５に入力される。このユニット３００５は高周波数成分の包絡線調整を実行してもよく、調整された高周波数成分および低周波数成分を組み合わせる。組み合わされた出力信号は、逆QMFフィルタバンク３００１によって時間領域に再変換される。

典型的には、QMFフィルタバンクは64個のQMF周波数帯域を有する。しかしながら、低周波数成分３０１３をダウンサンプリングして、QMFフィルタバンク３００２が32個のQMF周波数帯域しか必要としないようにすることが有益であることがある。そのような場合、低周波数成分３０１３は帯域幅f_s/4をもつ。ここで、f_sは信号のサンプリング周波数である。他方、高周波数成分３０１２は帯域幅f_s/2をもつ。

本稿で記載された方法およびシステムは、ソフトウェア、ファームウェアおよび／またはハードウェアとして実装されてもよい。ある種のコンポーネントは、たとえば、デジタル信号プロセッサまたはマイクロプロセッサ上で走るソフトウェアとして実装されてもよい。他のコンポーネントはたとえば、ハードウェアおよび／または特定用途向け集積回路（application specific integrated circuit）として実装されてもよい。記載される方法およびシステムにおいて遭遇される信号は、ランダム・アクセス・メモリまたは光記憶媒体といったメディア上に記憶されてもよい。それらの信号は、電波ネットワーク、衛星ネットワーク、無線ネットワークまたは有線ネットワーク、たとえばインターネットといったネットワークを介して転送されてもよい。本稿で記載された方法およびシステムを使用する典型的な装置はセットトップボックスまたはオーディオ信号をデコードする他の顧客構内設備である。エンコード側では、本方法およびシステムは放送ステーションにおいて、たとえばビデオ・ヘッドエンド・システムにおいて使用されてもよい。

本稿は信号の高周波数再構成を、該信号の低周波数成分に基づいて実行する方法およびシステムを概説した。低周波数成分からのサブバンドの組み合わせを使うことによって、本方法およびシステムは、当技術分野で知られている転換方法によっては生成され得ない周波数および周波数帯域の再構成を許容する。さらに、記載されるHTR方法およびシステムは、低いクロスオーバー周波数の使用および／または狭い低周波数帯域からの大きな高周波数帯域の生成を許容する。

いくつかの付番実施例を記載しておく。
〔付番実施例１〕
オーディオ信号の高周波数成分を前記オーディオ信号の低周波数成分から生成するシステムであって：
・前記オーディオ信号の前記低周波数成分の複数の分解サブバンド信号を提供する分解フィルタバンクと；
・前記複数の分解サブバンド信号のうち第一および第二のものの位相に乗算を行い、位相乗算された分解サブバンド信号を組み合わせることによって、ある合成周波数をもつ合成サブバンド信号を生成する非線形処理ユニットと；
・前記合成サブバンド信号から前記オーディオ信号の前記高周波数成分を生成するための合成フィルタバンクとを有しており、
前記非線形処理ユニットが、それぞれ第一の分解周波数ωおよび第二の分解周波数(ω＋Ω)をもつ前記第一および第二の分解サブバンド信号から前記合成サブバンド信号を生成する、第一および第二の転換次数の複数入力単一出力ユニットを有し；
前記第一の分解サブバンド信号は前記第一の転換次数(T−r)によって位相乗算され；
前記第二の分解サブバンド信号は前記第二の転換次数rによって位相乗算され；
T＞1であり、1≦r＜Tであり；
前記合成周波数は(T−r)ω＋r(ω＋Ω)である、
システム。
〔付番実施例２〕
付番実施例１記載のシステムであって、さらに：
・前記合成サブバンド信号に利得パラメータを乗算する利得ユニットを有する、
システム。
〔付番実施例３〕
付番実施例１または２記載のシステムであって、さらに：
・前記合成周波数をもつ複数の部分合成サブバンド信号を生成する複数の複数入力単一出力ユニットおよび／または複数の非線形処理ユニットと；
・前記複数の部分合成サブバンド信号を組み合わせるサブバンド合計ユニットとを有する、
システム。
〔付番実施例４〕
付番実施例１または２記載のシステムであって、前記非線形処理ユニットがさらに：
・前記複数の分解サブバンド信号のうちの第三のものからさらなる合成サブバンド信号を生成する直接処理ユニットと；
・前記合成周波数をもつ合成サブバンド信号を組み合わせるサブバンド合計ユニットとを有する、
システム。
〔付番実施例５〕
付番実施例１ないし４のうちいずれか一項記載のシステムであって、
前記サブバンド合成ユニットは、前記複数入力単一出力ユニットにおいて生成された合成サブバンド信号を、前記第一および第二の分解サブバンド信号の大きさのうちの最小値が、前記信号の大きさの所定の割合より小さい場合には、無視する、
システム。
〔付番実施例６〕
付番実施例４記載のシステムであって、前記直接処理ユニットが：
・第三の分解周波数を示す前記第三の分解サブバンド信号から前記合成サブバンド信号を生成する、第三の転換次数T'の単一入力単一出力ユニットを有しており、
前記第三の分解サブバンド信号は前記第三の転換次数T'によって位相修正され；
T'は1より大きく；
前記合成周波数は前記分解周波数に前記第三の転換次数を乗算したものに対応する、
システム。
〔付番実施例７〕
付番実施例１ないし６のうちいずれか一項記載のシステムであって、
前記信号が基本周波数を含み；
前記分解フィルタバンクが前記信号の前記基本周波数に関連する周波数間隔を示す、
システム。
〔付番実施例８〕
付番実施例１ないし６のうちいずれか一項記載のシステムであって、
前記分解フィルタバンクは、本質的に一定のサブバンド間隔Δωで、N個の分解サブバンドを有し；
分解サブバンドは、分解サブバンド・インデックスnに関連付けられており、ここでn∈{1,……,N}であり；
前記合成フィルタバンクは合成サブバンドを有し；
前記合成サブバンドは合成サブバンド・インデックスnに関連付けられており：
インデックスnをもつ前記合成サブバンドおよび前記分解サブバンドはそれぞれ、前記因子Tを通じて互いに関係する周波数範囲を有する、
システム。
〔付番実施例９〕
付番実施例８記載のシステムであって、
前記合成サブバンド信号がインデックスnをもつ合成サブバンドと関連付けられており；
前記第一の分解サブバンド信号はインデックスn−p₁をもつ分解サブバンドに関連付けられており；
前記第二の分解サブバンド信号はインデックスn＋p₂をもつ分解サブバンドに関連付けられており；
当該システムがさらに、p₁およびp₂を選択するインデックス選択ユニットを有する、
システム。
〔付番実施例１０〕
付番実施例９記載のシステムであって、
前記インデックス選択ユニットが、インデックス記憶ユニットに記憶されている対(p₁,p₂)の限られたリストからインデックス・シフトp₁およびp₂を選択するよう動作可能である、
システム。
〔付番実施例１１〕
付番実施例１０記載のシステムであって、
前記インデックス選択ユニットは、前記第一の分解サブバンド信号の大きさおよび前記第二の分解サブバンド信号の大きさを含む集合の最小値が最大にされるよう、対(p₁,p₂)を選択するよう動作可能である、
システム。
〔付番実施例１２〕
付番実施例１０記載のシステムであって、前記インデックス選択ユニットは、対(p₁,p₂)の限られたリストを、
インデックス・シフトp₁＝r・lであり；
インデックス・シフトp₂＝(T−r)・lであり；
lは正の整数である、
ように決定するよう動作可能である、システム。
〔付番実施例１３〕
付番実施例１２記載のシステムであって、
前記インデックス選択ユニットは、前記第一の分解サブバンド信号の大きさおよび前記第二の分解サブバンド信号の大きさを含む集合の最小値が最大にされるよう、パラメータlおよびrを選択するよう動作可能である、
システム。
〔付番実施例１４〕
付番実施例９記載のシステムであって、前記インデックス選択ユニットが、前記信号の特性に基づいてインデックス・シフトp₁およびp₂を選択するよう動作可能である、システム。
〔付番実施例１５〕
付番実施例１４記載のシステムであって、
前記信号が基本周波数Ωを含み；
前記インデックス選択ユニットは、インデックス・シフトp₁およびp₂を、
インデックス・シフトの和p₁＋p₂が割合Ω/Δωを近似し、
それらの比率p₁/p₂がr/(T−r)の倍数となる、
よう選択するよう動作可能である、システム。
〔付番実施例１６〕
付番実施例１４記載のシステムであって、
前記信号が基本周波数Ωを含み；
前記インデックス選択ユニットは、インデックス・シフトp₁およびp₂を、
インデックス・シフトの和p₁＋p₂が割合Ω/Δωを近似し、
比率p₁/p₂がr/(T−r)に等しくなる、
よう選択するよう動作可能である、システム。
〔付番実施例１７〕
付番実施例１ないし１６のうちいずれか一項記載のシステムであって、さらに：
・所定の時間インスタンスkのまわりの前記低周波数成分の所定の時間区間を単離する分解窓と；
・所定の時間インスタンスkのまわりの前記高周波数成分の所定の時間区間を単離する合成窓とを有する、
システム。
〔付番実施例１８〕
付番実施例１７記載のシステムであって、
前記合成窓が前記分解窓の時間スケーリングされたバージョンである、
システム。
〔付番実施例１９〕
信号をデコードするシステムであって：
前記信号の前記高周波数成分を前記信号の前記低周波数成分から生成する付番実施例１記載の転換ユニットを有する、
システム。
〔付番実施例２０〕
付番実施例１９記載のシステムであって、前記信号が音声信号および／または音響信号である、システム。
〔付番実施例２１〕
付番実施例１９ないし２０のうちいずれか一項記載のシステムであって、さらに：
前記信号の前記低周波数成分をデコードするコア・デコーダを有する、
システム。
〔付番実施例２２〕
付番実施例１９ないし２１のうちいずれか一項記載のシステムであって、さらに：
・前記低周波数成分のアップサンプリングを実行してアップサンプリングされた低周波数成分を与えるアップサンプラーと；
・前記高周波数成分を整形するための包絡線調整器と；
・前記アップサンプリングされた低周波数成分および前記調整された高周波数成分の和として、デコードされた信号を決定する成分合計ユニットとを有する、
システム。
〔付番実施例２３〕
付番実施例１９ないし２２のうちいずれか一項記載のシステムであって、さらに：
・前記合成サブバンド信号が生成されるもとになる前記第一および第二の分解サブバンド信号の選択を許容する情報を受け取るサブバンド選択受領ユニットを有する、
システム。
〔付番実施例２４〕
付番実施例２３記載のシステムであって、
前記情報は、前記信号の基本周波数Ωに関連する、
システム。
〔付番実施例２５〕
付番実施例２３記載のシステムであって、
前記情報は、第一および第二の分解サブバンド信号の対のリストを含む、
システム。
〔付番実施例２６〕
付番実施例２２記載のシステムであって、さらに：
・前記信号の前記高周波成分の包絡線に関係した情報を受け取る包絡線受領ユニットを有する、
システム。
〔付番実施例２７〕
付番実施例２１記載のシステムであって、さらに：
・前記低周波数成分を含む前記信号を受領する入力ユニットと；
・前記低周波数成分および生成された高周波数成分を含むデコードされた信号を提供する出力ユニットとを有する、
システム。
〔付番実施例２８〕
オーディオ信号の低周波数成分からの高周波数成分の高周波数再構成を実行する方法であって：
・第一の周波数ωをもつ前記低周波成分の第一のサブバンド信号および第二の周波数(ω＋Ω)をもつ前記低周波成分の第二のサブバンド信号を提供する段階と；
・前記第一のサブバンド信号の位相を第一の転換因子(T−r)倍して第一の転換されたサブバンド信号を与える段階と；
・前記第二のサブバンド信号の位相を第二の転換因子r倍して第二の転換されたサブバンド信号を与える段階であって、ここで、T＞1であり1≦r＜Tである、段階と；
・第一および第二の転換されたサブバンド信号を組み合わせて、高周波数(T−r)ω＋r(ω＋Ω)をもつ高周波数成分を与える段階とを含む、
方法。
〔付番実施例２９〕
付番実施例２８記載の方法であって、前記提供する段階は：
・分解フィルタバンクによって前記低周波数成分をフィルタリングして、第一および第二のサブバンド信号を生成することを含む、
方法。
〔付番実施例３０〕
付番実施例２８または２９記載の方法であって、前記組み合わせる段階は：
・前記第一および第二の転換されたサブバンド信号を乗算して前記高サブバンド信号を与える段階と；
・前記高サブバンド信号を合成フィルタバンクに入力して前記高周波数成分を生成する段階とを含む、
方法。
〔付番実施例３１〕
付番実施例２８ないし３０のうちいずれか一項記載の方法であって、さらに：
・エンコードされたオーディオ信号をデコードして前記オーディオ信号の前記低周波数成分を与える段階を含み、前記エンコードされた信号は、あるもとの信号から導出されたものであり、該もとの信号の、クロスオーバー周波数より下の周波数サブバンドの一部のみを表している、
方法。
〔付番実施例３２〕
オーディオ信号を含む受領されたマルチメディア信号をデコードするセットトップボックスであって：
・前記オーディオ信号の前記低周波数成分から前記信号の前記高周波数成分を生成するための、付番実施例１ないし２７のうちいずれか一項記載の転換ユニットを有する、
セットトップボックス。
〔付番実施例３３〕
コンピューティング・デバイスで実行されたときに該コンピューティング・デバイスに付番実施例２８ないし３１のうちいずれか一項記載の方法段階を実行させるための、ソフトウェア・プログラム。
〔付番実施例３４〕
コンピューティング・デバイスで実行されたときに該コンピューティング・デバイスに付番実施例２８ないし３１のうちいずれか一項記載の方法段階を実行させるためのソフトウェア・プログラムが格納された記憶媒体。

Claims

オーディオ信号をデコードするシステムであって：
・前記オーディオ信号の低周波数成分をデコードするコア・デコーダと；
・前記オーディオ信号の前記低周波数成分の複数の分解サブバンド信号を提供する分解フィルタバンク（３０１）と；
・前記複数の分解サブバンド信号からの、合成サブバンド信号（８０３）が生成されるもとになる第一（８０１）および第二（８０２）の分解サブバンド信号の選択を許容する情報であって、前記オーディオ信号の基本周波数Ωに関連する情報を受け取るサブバンド選択受領ユニットと；
・それぞれ第一および第二の分解周波数をもつ前記第一（８０１）および第二（８０２）の分解サブバンド信号から合成周波数をもつ前記合成サブバンド信号（８０３）を生成する、第一および第二の転換次数の複数入力単一出力ユニット（８００−n）と；
・前記合成サブバンド信号から前記オーディオ信号の高周波数成分を生成するための合成フィルタバンク（３０３）とを有する、
システム。
請求項１記載のシステムであって、
前記分解フィルタバンクは、本質的に一定のサブバンド間隔Δωで、N個の分解サブバンドを有し；
分解サブバンドは、分解サブバンド・インデックスnに関連付けられており、ここでn∈{1,……,N}であり；
前記合成フィルタバンクは合成サブバンドを有し；
前記合成サブバンドは合成サブバンド・インデックスnに関連付けられており：
インデックスnをもつ前記合成サブバンドの周波数範囲は同じインデックスnをもつ分解サブバンドの周波数範囲の因子T倍である、
システム。
請求項２記載のシステムであって、
前記合成サブバンド信号がインデックスnをもつ合成サブバンドと関連付けられており；
前記第一の分解サブバンド信号はインデックスn−p₁をもつ分解サブバンドに関連付けられており；
前記第二の分解サブバンド信号はインデックスn＋p₂をもつ分解サブバンドに関連付けられており、p ₁ およびp ₂ は正の整数であり；
当該システムがさらに、p₁およびp₂を選択するインデックス選択ユニットを有する、
システム。
請求項３記載のシステムであって、前記インデックス選択ユニットが、前記オーディオ信号の基本周波数Ωに基づいてインデックス・シフトp₁およびp₂を選択するよう動作可能である、システム。
請求項４記載のシステムであって、
前記インデックス選択ユニットは、インデックス・シフトp₁およびp₂を、
インデックス・シフトの和p₁＋p₂が割合Ω/Δωを近似し、
その比率p₁/p₂が、1≦r＜Tとして、r/(T−r)を近似する、
よう選択するよう動作可能である、システム。
請求項４記載のシステムであって、
前記インデックス選択ユニットは、インデックス・シフトp₁およびp₂を、
インデックス・シフトの和p₁＋p₂が割合Ω/Δωを近似し、
比率p₁/p₂が、1≦r＜Tとして、r/(T−r)に等しくなる、
よう選択するよう動作可能である、システム。
T＝2かつr＝1である、請求項５または６記載のシステム。
請求項１記載のシステムであって、さらに：
・所定の時間インスタンスkのまわりの前記低周波数成分の所定の時間区間を単離する分解窓と；
・前記所定の時間インスタンスkのまわりの前記高周波数成分の所定の時間区間を単離する合成窓とを有する、
システム。
請求項８記載のシステムであって、
前記合成窓が前記分解窓の時間スケーリングされたバージョンである、
システム。
請求項１記載のシステムであって、さらに：
・前記低周波数成分のアップサンプリングを実行してアップサンプリングされた低周波数成分を与えるアップサンプラー（１０４）と；
・前記高周波数成分を調整するための包絡線調整器（１０３）と；
・前記アップサンプリングされた低周波数成分および前記調整された高周波数成分の和として、デコードされたオーディオ信号を決定する成分合計ユニットとを有する、
システム。
請求項１０記載のシステムであって、さらに：
・前記オーディオ信号の前記高周波数成分の包絡線に関係した情報を受け取る包絡線受領ユニットを有する、
システム。
請求項１０記載のシステムであって、さらに：
・前記低周波数成分を含む前記オーディオ信号を受領する入力ユニットと；
・前記低周波数成分および生成された高周波数成分を含むデコードされたオーディオ信号を提供する出力ユニットとを有する、
システム。
請求項１記載のシステムであって、
前記合成周波数は、前記第一の分解周波数に前記第一の転換次数を乗算したもの、足す、前記第二の分解周波数に前記第二の転換次数を乗算したものに対応する、
システム。
請求項１３記載のシステムであって、
前記第一の分解周波数がωであり；
前記第二の分解周波数が(ω＋Ω)であり；
前記第一の転換次数が(T−r)であり；
前記第二の転換次数がrであり；
T＞1であり；
1≦r＜Tであり、
前記合成周波数が(T−r)ω＋r(ω＋Ω)となる、
システム。
請求項１記載のシステムであって、さらに：
・前記合成サブバンド信号に利得パラメータを乗算する利得ユニット（９０２）を有する、
システム。
請求項１記載のシステムであって、
前記分解フィルタバンクが前記オーディオ信号の前記基本周波数に関連する周波数間隔を示す、
システム。
オーディオ信号をエンコードするシステムであって：
・前記オーディオ信号を低周波数成分および高周波数成分に分割する分割ユニットと；
・前記低周波数成分をエンコードするコア・エンコーダと；
・前記オーディオ信号の基本周波数Ωを判別する周波数判別ユニットと；
・前記基本周波数Ωの値をエンコードするためのパラメータ・エンコーダとを有しており、前記基本周波数Ωの値は、前記オーディオ信号の前記高周波数成分を再生成するために使われる、
システム。
請求項１７記載のシステムであって、さらに：
・前記高周波数成分のスペクトル包絡線を決定する包絡線決定ユニットと；
・該スペクトル包絡線をエンコードする包絡線エンコーダとを有する、
システム。
エンコードされたオーディオ信号をデコードする方法であって、前記エンコードされたオーディオ信号は、
あるもとのオーディオ信号から導出されたものであり；
該もとのオーディオ信号の、クロスオーバー周波数より下の周波数サブバンドの一部のみを表しており、当該方法は：
・前記エンコードされたオーディオ信号からの低周波数成分をデコードする段階と；
・前記低周波数成分の複数の分解サブバンド信号を提供する段階と；
・前記複数の分解サブバンド信号からの、合成サブバンド信号（８０３）が生成されるもとになる第一（８０１）および第二（８０２）の分解サブバンド信号の選択を許容する情報であって、前記オーディオ信号の基本周波数Ωに関連する情報を受け取る段階と；
・第一および第二の転換次数を使って、それぞれ第一および第二の分解周波数をもつ前記第一（８０１）および第二（８０２）の分解サブバンド信号から合成周波数をもつ前記合成サブバンド信号（８０３）を生成する段階と；
・前記合成サブバンド信号から、前記クロスオーバー周波数より上の合成周波数を含む高周波数成分を生成する段階とを含む、
方法。
オーディオ信号をエンコードする方法であって：
・前記オーディオ信号をフィルタ処理して前記オーディオ信号の低周波数成分を単離する段階と；
・前記オーディオ信号の前記低周波数成分をエンコードする段階と；
・前記オーディオ信号の前記低周波数成分の複数の分解サブバンド信号を提供する段階と；
・前記オーディオ信号の高周波数成分を生成するための第一および第二の分解サブバンド信号を決定する段階と；
・基本周波数Ωの値をエンコードする段階とを含み、前記基本周波数Ωの値は、前記オーディオ信号の高周波数成分を再生成するために使用される、
方法。
プロセッサ上での実行用に適応されたソフトウェア・プログラムであって、コンピューティング・デバイスで実行されたときに請求項１９または２０記載の方法段階を実行するための、ソフトウェア・プログラムを格納する記憶媒体。