JP7416816B2 - ダウンミキサ及びダウンミックス方法 - Google Patents

ダウンミキサ及びダウンミックス方法 Download PDF

Info

Publication number
JP7416816B2
JP7416816B2 JP2021550157A JP2021550157A JP7416816B2 JP 7416816 B2 JP7416816 B2 JP 7416816B2 JP 2021550157 A JP2021550157 A JP 2021550157A JP 2021550157 A JP2021550157 A JP 2021550157A JP 7416816 B2 JP7416816 B2 JP 7416816B2
Authority
JP
Japan
Prior art keywords
spectral
spectral domain
domain representation
band
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021550157A
Other languages
English (en)
Other versions
JP2022522706A (ja
Inventor
ロイテルフーバー・フランツ
エドラー・ベルント
フォトプルー・エレニ
ムルトラス・マークス
マーベン・パラヴィ
ディッシュ・ザシャ
Original Assignee
フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2022522706A publication Critical patent/JP2022522706A/ja
Priority to JP2023188062A priority Critical patent/JP2024001325A/ja
Priority to JP2023188061A priority patent/JP2024001324A/ja
Application granted granted Critical
Publication of JP7416816B2 publication Critical patent/JP7416816B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G5/00Tone control or bandwidth control in amplifiers
    • H03G5/16Automatic control
    • H03G5/165Equalizers; Volume or gain control in limited frequency bands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Description

本発明は、オーディオ信号処理に関し、特に、マルチチャネル信号のダウンミックス又はオーディオ信号のスペクトル分解能変換に関する。
ステレオ符号化ビットストリームは、通常、ステレオシステム上で再生されるように復号されるが、ステレオビットストリームを受信することができる全てのデバイスが常にステレオ信号を出力することができるわけではない。可能なシナリオは、モノラルスピーカのみを用いた携帯電話でのステレオ信号の再生である。したがって、新しい3GPP IVAS規格によってサポートされているようなマルチチャネル移動通信シナリオの出現により、単純な受動的ダウンミックスで達成可能なものを超える、最良の可能な知覚品質を提供しながら、追加の遅延のない、且つ複雑性の面で可能な限り効率的な、ステレオからモノラルへのダウンミックスが必要とされる。
ステレオ信号をモノラル信号に変換する方法は複数ある。これを行う最も直接的な方法は、時間領域における受動的ダウンミックス[1]によるものであり、左右のチャネルを加算し、結果をスケーリングすることによって中間信号を生成する:
Figure 0007416816000001
更に高度な(すなわち、能動的)時間領域ベースのダウンミックス方法は、信号[2]、[3]の全体的なエネルギーを保存するための努力におけるエネルギースケーリング、キャンセル効果を回避するための位相整合[4]、及びコヒーレンス抑制によるコムフィルタ効果の防止[5]を含む。
別の方式は、複数のスペクトル帯域に対して別々の重み係数を計算することによって周波数依存方式でエネルギー補正を行うことである。例えば、これはMPEG-Hフォーマット変換器[6]の一部として行われ、ダウンミックスは、ハイブリッドQMFサブ帯域表現上で、又はチャネルの追加の事前位相整合を伴う信号のSTFTフィルタバンクを用いて実行される。IVASのコンテキストでは、同様の帯域ごとのダウンミックス(位相及び時間の両方の整合を含む)が、パラメトリック低ビットレートモードDFTステレオのために既に使用されており、重み付け及びミックスがDFT領域において適用される[7]。
ステレオ信号を復号した後の時間領域における受動的なステレオからモノラルへのダウンミックスの単純な解決策は理想的ではなく、なぜなら純粋に受動的ダウンミックスには、特定の欠点、例えば、位相キャンセル効果又は一般的なエネルギー損失があり、これは、項目に応じて、品質を著しく低下させる可能性があることがよく知られているためである。
純粋に時間領域ベースである他の能動的ダウンミックス方法は、受動的ダウンミックスのいくつかの問題を軽減するが、周波数依存重み付けの欠如のために依然として次善の方法である。
遅延及び複雑さに関してIVASのような移動通信コーデックに対する暗黙の制約により、帯域ごとのダウンミックスを適用するためのMPEG-Hフォーマット変換器のような専用の後処理ステージを有することは、必要な周波数領域への変換及び戻りが必然的に複雑さ及び遅延の両方を増加させるため、選択肢ではない。
[8]のようにブロック切り替えを伴うTCX変換符号化を利用するステレオコーデックモードの場合、使用可能な様々なモードがあり得、例えば、20msのブロックサイズを有するフレーム当たり1つのブロック(TCX20)及び10msのブロックサイズを有するフレーム当たり2つのサブブロック(TCX10)である。各サブブロックは、10msのフルTCX10ブロックであるか、又は再び5msの2つのブロック(TCX5)に細分される。どのモードを使用するかの決定は、各チャネルに対して互いに独立して行われる。これは、チャネル間で異なる決定を行うことが可能であることを意味する。これは、それぞれのスペクトル領域表現の異なる時間-周波数分解能のために、[7](チャネルの帯域ごとの重み付け、次いでDFT領域でのモノ-ダウンミックスの両方)に記載されているようなDFTベースのステレオエンコーダで使用されるのと全く同じダウンミックス方法を使用することを不可能にする。
本発明の目的は、オーディオ信号処理のための改善された概念を提供することである。
この目的は、請求項1又は35に記載のダウンミキサ、請求項46又は47に記載のダウンミックス方法、又は請求項48に記載のコンピュータプログラムによって達成される。
本発明の第1の態様によれば、ダウンミキサは、重み値推定器と、スペクトル重み付け器と、変換器と、続いて接続されるミキサとを備える。スペクトル領域から時間領域への変換は、次に、第1のチャネルのスペクトル領域表現のスペクトル重み付け、及び第2のチャネルのスペクトル領域表現の重み付け、場合によっては更なるチャネルのスペクトル領域表現のスペクトル重み付けが実行される。重み付けされたスペクトル領域表現は、スペクトル領域表現から対応するチャネルの時間表現に変換される。時間領域では、ダウンミキサの出力としてダウンミックス信号を得るためにミックスが行われる。この手順は、スペクトル領域において有用且つ効率的であるがそれにもかかわらず高いオーディオ品質重み付けを実行することを可能にするが、スペクトル領域重み付け及びダウンミックスが単一の操作で実行される状況と比較して、スペクトル領域における個々のチャネルの個々の処理を依然として可能にする。このような状況では、スペクトル重み付け及びダウンミックスに続いて単一のダウンミックス信号が存在するため、個々のチャネル処理を実行することはもはや不可能である。したがって、本発明のこの態様によれば、それでもなお、スペクトル領域における個々のチャネル処理を実行することが可能にされるが、スペクトル領域におけるこの個々の処理は、スペクトル重み付けの後に実行される。
少なくとも2つのチャネルが異なる時間又は周波数分解能を有する状況では、少なくとも2つのチャネルの帯域ごとの重み値の計算は、個々の帯域の少なくとも2つのチャネルのスペクトル領域表現の一方又は両方を、同じ時間又は周波数分解能を有する対応する表現に変換する必要がある。帯域ごとの重み値を計算することができる。しかしながら、この態様では、帯域ごとの重み値は、変換されたスペクトル領域表現又は2つ以上の結合されたスペクトル表現に適用されない。代わりに、スペクトル重み付けは、結合されたスペクトル領域表現が導出された元のスペクトル領域表現に適用される。したがって、重み付けされたスペクトル領域表現は元のスペクトル領域表現に依存し、好ましくはダウンミックス前のチャネル内の帯域の目標エネルギー及びダウンミックス信号の帯域の目標エネルギーを使用して、いずれにせよエネルギーの特定の推定値に基づく重み値のみが、少なくともいくつかの点で元のスペクトル領域表現とは異なる1つ以上の結合されたスペクトル領域表現から導出されることが保証される。
好ましくは、重み付けされたスペクトル領域表現を時間表現に変換するための変換器は、いくつかの構成要素を有する。1つの構成要素は実際の周波数-時間変換器であり、更なる構成要素は、例えば、スペクトル領域表現が由来するマルチチャネル信号を有するサイド情報を介して送信されたパラメータを使用する時間領域におけるチャネルごとの後処理である。あるいは、実際の周波数-時間変換の前にポストプロセッサが適用される。制御パラメータは、個々のチャネルのスペクトル領域処理を操作する。しかしながら、周波数-時間変換器を最初に有し、マルチチャネル信号のサイド情報から導出されるか、又はユーザ入力若しくは任意の他のパラメータ生成を介してダウンミキサで実際に生成若しくは入力されるチャネルごとの制御パラメータを使用して、少なくとも2つのチャネルの後処理時間領域表現のためのポストプロセッサを有することが好ましい。この時間領域の後処理に続いて、実際にダウンミックス信号を生成するミキサがある。
この手順は、元のスペクトル領域表現に帯域ごとの重み値を適用することに起因して、且つ、何らかの種類の電力又は画像推定値にいずれにせよ基づく帯域ごとの重み値が、1つ以上の(人工的に作成された)結合スペクトル領域表現から導出されるという事実に起因して、高品質のオーディオ信号処理を提供する。一方、実際のミックスステップは、全ての必要な個々のチャネル処理が適用されたときに発生する処理チェーンの最後のステップであるため、個々のチャネルのおそらく必要な時間領域又は周波数領域処理を依然として実行できるという事実により、高い処理柔軟性が達成される。更に、この手順は、実際のダウンミックス動作が処理チェーン内の最初の処理動作である場合に、制御パラメータのダウンミックス又はそれが必要とされるようなダウンミックスを必要としないので、非常に効率的である。
本発明の第2の態様によれば、スペクトル分解能を変換するための装置は、結合スペクトル値の第1のグループを取得するために、1つ以上のスペクトル領域表現の複数のサブフレームの各サブフレームからの同じ周波数ビンに属するスペクトル値を第1の方式で結合し、また結合スペクトル値の第2のグループを取得するために、スペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を第2の方式で結合するためのスペクトル値計算機を備える。この第2の方式は第1の方式とは異なり、結合スペクトル値の第1及び第2のグループは、異なる時間ビンサイズ及び異なる周波数ビンサイズを有する結合スペクトル領域表現を表す。このスペクトル分解能変換は、高い時間分解能を示すが低い周波数分解能を示す短い時間-周波数変換に由来する一対のスペクトル表現が存在する場合に特に有用である。
本発明の第2の態様によれば、この一対の短いスペクトル領域表現は、高スペクトル分解能を有するが低い時間分解能を有する単一の長いスペクトル領域表現に変換される。1つの時間/周波数分解能(高時間分解能及び低周波数分解能)から異なる時間/周波数分解能(低時間分解能及び高周波数分解能)へのこの変換は、その間の時間領域表現の実際の計算なしに行われる。したがって、2つの短いスペクトル領域表現を時間領域に変換し、その結果を再び周波数領域に変換することからなる通常の手順の代わりに、本発明は、2つの異なる方式で同じ周波数ビンに属するスペクトル値のスペクトル領域結合のみを適用する。したがって、2つの周波数-時間変換及び非常に非効率的であり、著しい遅延を招く1つの時間-周波数変換の実行とは対照的に、本発明は、2つの低周波数分解能スペクトル領域表現から高スペクトル領域表現を得るために、2つの値を加算するか、又は2つの値を互いから減算するなどの基本的な算術結合演算の必要性のみを提供する。好ましくは、第1の結合規則は、ローパスフィルタリング、又は言い換えれば、同じ低分解能周波数ビンに属する2つのスペクトル値の加算又は重み付け加算であり、第2の方式によるスペクトル値の結合は、ハイパスフィルタリング又は2つのスペクトル値間の差の計算である。対応する2つの隣接する連続スペクトル値は、2つの周波数隣接スペクトル値に変換され、2つの周波数隣接スペクトル値のうちの1つは、ローパスフィルタリング動作に由来するより低い周波数スペクトル値であり、次の1つは、ハイパス動作に由来するより高い周波数スペクトル値である。
次の手順は、次の一対の高スペクトル分解能スペクトル値が同じ手順で再び計算されることであり、すなわち、典型的にはローパス特性を表すより低い周波数スペクトル値に対して第1の結合を実行し、一対のスペクトル値のうちのより高い周波数スペクトル値に対してハイパス演算を表すより高い周波数スペクトル値に対して別の結合を実行することである。
本発明の第2の態様に従って生成された結合スペクトル領域表現は、異なる目的に使用することができる。本発明の第1の態様では、帯域ごとの重み値を導出するために、結合スペクトル領域表現が使用される。これは、第1のチャネルスペクトル領域表現が低い時間分解能及び高スペクトル分解能を有し、少なくとも2つのチャネルのうちの第2のチャネルが、両方とも低い時間分解能を有する2つの高時間分解能スペクトル領域表現を有する場合に特に有用であり、変換によって生成された結合スペクトル領域表現から、帯域ごとの重み値を導出することができる。更なる使用法では、結合スペクトル領域表現は、時間領域での変換、及び再生又は記憶又はオーディオ信号圧縮の目的のために変換されたスペクトルを使用するなどの任意の有用な更なる処理によって更に処理することができる。別の手順は、例えばスペクトル領域のダウンミックスの目的のために、同じスペクトル分解能を有する別のスペクトル表現と共に結合スペクトル領域表現のスペクトル処理を実行することである。
本発明の第3の態様によれば、ダウンミックス演算は、スペクトル重み付けを使用して実行され、帯域ごとの重み値は、帯域ごとの目標エネルギー値に基づいて計算され、その結果、ダウンミックス信号の帯域におけるエネルギーは、等しいか、又は少なくとも2つのチャネルの同じ帯域における2つのエネルギーのうちの高い方の値の+/-30%の許容範囲内で等しいなどの所定の関係にある。エネルギーによって駆動される帯域ごとの重み値が、少なくとも2つのチャネルのスペクトル領域表現に適用され、ダウンミックス信号は、本発明の第1の態様のように時間領域において、又は必要に応じてスペクトル領域において、少なくとも2つのチャネルの重み付けされたスペクトル領域表現を使用して計算される。
スペクトル領域表現がMDCT変換などにおいて純実数である場合、又はスペクトル領域表現がMDST(修正離散サイン変換)を適用するときなど純虚数のものである場合、重み値推定器は、純実数又は純虚数のいずれかである既存のスペクトル領域表現から、他のスペクトル領域表現を推定するように構成される。したがって、実数値スペクトル領域表現が存在するとき、虚数スペクトル領域表現が推定され、虚数スペクトル領域表現が存在するとき、実数値スペクトル領域表現が推定される。これらの推定値は、帯域内の第1のチャネルのエネルギーを計算するため、帯域内の第2のチャネルのエネルギーを計算するため、及び帯域内の少なくとも2つのチャネルからのスペクトル値の積又は線形結合に応じてチャネル間の混合項を計算するために使用される。
ダウンミックスの状況におけるスペクトル重み付けのための帯域ごとの重み値を計算するこの手順は、第1の態様において適用することができ、スペクトル重み付けとダウンミックスとの間で、周波数-時間変換及びいくつかの時間領域後処理が行われる。本発明の第2の態様に関して、目標エネルギー特徴に従ってスペクトル領域重み値を計算するために使用される一方又は両方のチャネルのスペクトル領域表現は、元のスペクトル領域表現から導出されるか、又は本発明の第2の態様に関して例示されるか、若しくは第1の態様に関して例示されるスペクトル分解能変換によって生成された1つ又は2つの結合スペクトル領域表現から導出される。
帯域ごとの目標エネルギー値に基づいて導出された帯域ごとの重み値を使用するスペクトル重み付けを使用したダウンミックスは、一方では、帯域内の各スペクトル値に1つの同じ重み値を適用することによってスペクトル重み付けを容易に行うことができるという事実により、特に、低周波数での小さい帯域幅から高周波数での高い帯域幅に増加する心理音響的に動機付けられた帯域幅が適用される場合に、非常に効率的である。例えば、100個以上のスペクトル値を有する高域が考えられる場合、この帯域の単一の重み値のみが計算され、この単一の重み値が個々のスペクトル値に適用される。この手順では、例えば乗算による重み付けが低リソースで低遅延の手順であると同時に、帯域内の各スペクトル値に同じ重み値を適用するこの手順は、特定の並列ハードウェアプロセッサによって並列化される可能性が高いため、中程度の計算リソースしか必要とされない。他方では、ダウンミックスされるべき2つのチャネルがダウンミックスにおいて問題となる互いに位相関係にあるとき、すなわち、両方のチャネルが互いに高度に相関しており、特定の位相関係を有するとき、発生する信号キャンセル又は他のアーチファクトのない高いオーディオ品質のダウンミックス信号が得られる。
本発明の好ましい実施形態は、添付の図面に関して以下に説明される。
第1の態様によるダウンミキサを示す図である。 第1の態様によるダウンミキサの更なる実施形態を示す図である。 重み値推定器の好ましい実施態様を示す図である。 第3の態様にも好ましい重み値推定器の好ましい実施形態を示す図である。 異なるチャネルにおける異なる時間/周波数分解能を示す図である。 高スペクトル分解能、中スペクトル分解能、及び低スペクトル分解能を示すスペクトル表現である。 低周波数分解能及び低時間分解能をもたらす第1の実施形態による重み値推定を示す図である。 第2の実施形態に従って重み値推定器によって実行され、第2の態様に従っても適用される高周波数分解能及び低時間分解能をもたらす手順を示す。 低周波数分解能及び高時間分解能をもたらす第3の実施形態による重み値推定の実施態様を示す図である。 高周波数分解能及び高時間分解能をもたらす重み値推定器の更なる手順を示す図である。 第2の態様によるスペクトル分解能を変換するための装置の一実施形態を示す図である。 第2の態様によるスペクトル分解能を変換するための装置の更なる実施態様を示す図である。 第3の態様によるダウンミキサの一実施形態を示す図である。 第3の態様によるダウンミキサの更なる実施形態を示す図である。
図1は、本発明の第1の態様のダウンミキサの一実施形態を示す。ダウンミキサは、重み値推定器100と、重み値推定器100に接続されたスペクトル重み付け器200と、第1又は左チャネル及び第2又は右チャネルの入力とを備える。スペクトル重み付け器200は、少なくとも2つのチャネルの重み付けされたスペクトル領域表現を少なくとも2つのチャネルの時間表現に変換するための変換器300に接続されている。これらの時間表現は、少なくとも2つのチャネルの時間表現を混合して時間領域ダウンミックス信号を取得するためにミキサに出力される。好ましくは、変換器300は、周波数-時間変換器310と、続いて接続されるポストプロセッサ320とを備える。周波数-時間変換器310は、実際に時間領域における重み付けされたスペクトル領域表現の変換を実行し、オプション機能であるポストプロセッサ320は、左チャネル及び右チャネルの制御パラメータをそれぞれ使用して、時間領域に既に存在する第1チャネル及び第2チャネルのチャネル非依存処理を実行する。変換器300は、周波数-時間変換器310によって、スペクトル-時間変換アルゴリズムを使用して生時間表現を生成するように構成され、更に、変換器300は、ポストプロセッサ320によって、生時間表現を個別に、特に、少なくとも2つのチャネルの時間表現を取得するためにチャネルの別個の制御情報を使用して、ミキサによる混合の前に信号処理方向に後処理するように構成される。
好ましくは、ポストプロセッサ320は、後処理動作として、バス・ポストフィルタリング、TCX-LTP処理(変換符号化励起長期予測)、又はLPC(線形予測符号化)合成を実行するように構成される。スペクトル的に重み付けされたチャネルで動作するが、ダウンミックス信号への実際のミックスの前に動作するポストプロセッサの利点は、マルチチャネル信号の2つ以上のチャネルのうちの左右のチャネル、又は一般的には個々のチャネルの別個のパラメータとして利用可能なパラメータを、パラメータのダウンミックスなしで依然として使用できることである。そうでなければ、そのような手順は、ダウンミックスがスペクトル重み付けと一緒に実行され、周波数時間変換器310の出力に時間領域ダウンミックス信号が既に存在する場合に必要となる。
一般に、マルチチャネル信号は2つのチャネル、すなわち左チャネル及び右チャネルを含むことができ、又はマルチチャネル信号は3つ以上などの2つを超えるチャネルを含む。そのような状況では、重み値推定器100は、少なくとも2つのチャネルのうちの第1のチャネルの複数の帯域について複数の第1の帯域ごとの重み値を計算し、少なくとも2つのチャネルのうちの第2のチャネルの複数の帯域について第2の複数の帯域ごとの重み値を計算するように構成される。更に、重み値推定器100は、2つを超えるチャネルを有するマルチチャネル信号の第1のチャネルの複数の帯域について複数の第1の帯域ごとの重み値を計算し、2つを超えるチャネルの第2のチャネルの複数の帯域について第2の複数の帯域ごとの重み値を計算し、2つを超えるチャネルの第3の又は更に別のチャネルの複数の帯域について更なる複数の帯域ごとの重み値を計算するように構成される。
特に、少なくとも2つのチャネルのスペクトル領域表現は各々、周波数ビンのセットを含み、スペクトル値は周波数ビンに関連付けられる。特に、重み値推定器100は、帯域の帯域ごとの重み値を計算するように構成され、各帯域は、1つ、2つ、又はそれ以上のスペクトル値を含み、好ましくは、帯域ごとの周波数ビンの数は、より高い中心周波数を有する帯域共に増加し、そのため、心理音響的に動機付けられた、スペクトル領域表現の不均一な帯域幅を有する帯域への細分化が得られる。
ダウンミキサの好ましい実施態様を図2に示す。マルチチャネル信号は、ステレオビットストリームとして利用可能であり、好ましくはMDCTステレオデコーダとして実装されるステレオデコーダ500に供給される。更に、重み値推定器は、左値計算機110と、右値計算機112と、更に、左チャネル用の虚数部推定器120と、右チャネル用の虚数部推定器122とを備える。図2の実施形態では、ステレオデコーダ500は、復号された左右のチャネルスペクトル表現が純実数のスペクトル値、すなわちMDCT値を有することを意味するMDCTステレオデコーダである。虚数推定器120、122は、純虚数のスペクトル値、すなわち、MDST(修正離散サイン変換)値を生成する。これらの情報項目、すなわちスペクトル領域表現及び推定スペクトル値から、重み係数が計算され、図2に示すように帯域ごとの重み付けを実行するスペクトル重み付け器200に転送される。重み付けされたスペクトル領域表現は、各チャネルのIMDCT変換器として実装される対応する周波数-時間変換器310に転送される。更に、各チャネルについて任意選択のポストプロセッサ320が同様に示されており、変換され、任意選択で後処理されたデータは、時間領域ダウンミックス信号、すなわち、図2の実施形態では、モノラル出力信号を生成するためにダウンミキサDMX400に入力されるが、ダウンミックス信号の1つ以上のチャネルの数がダウンミックス前のマルチチャネル信号のチャネルの数よりも少ない限り、マルチチャネル信号とすることもできる。
あるいは、マルチチャネルデコーダ又はステレオデコーダ500がMDSTデコーダなどの虚数値デコーダとして実装される場合、ブロック120、122は、MDCT値などの純実数のデータを推定する。したがって、一般に、重み値推定器100は、スペクトル領域表現が純実数である場合に虚数スペクトル表現を推定するように、又は元のスペクトル領域表現が純虚数である場合に実数スペクトル表現を推定するように構成される。更に、重み値推定器110は、場合によっては、推定虚数スペクトル表現又は推定実数スペクトル表現を使用して重み値を推定するように構成される。これは、ダウンミックス信号の帯域内のエネルギーが少なくとも2つのチャネルの同じ帯域内のエネルギーと所定の関係にあるように、帯域ごとの目標エネルギー値に基づくスペクトル帯域ごとの重み値の計算に特に有用である。好ましくは、所定の関係は、ダウンミックス信号の帯域におけるエネルギーが、少なくとも2つのチャネルにおける同じ帯域のエネルギーの合計であることである。しかしながら、他の所定の関係も有用である。例示的には、所定の関係は、ダウンミックス信号の対応する帯域のエネルギーとして、2つのチャネルの合計の75%から125%に及ぶことができる。しかしながら、最も好ましい実施形態では、所定の関係は、等しいか、又は+/-10%の許容範囲内で等しいことである。
図3aは、重み値推定器100の好ましい実施態様を示す。特に、この実施態様は、少なくとも2つのチャネルのスペクトル領域表現が異なる時間又は周波数分解能を有する場合に重み値を計算するのに有用である。ブロック又はステップ130に示すように、重み値推定器100は、第1及び第2チャネルのスペクトル領域表現の時間/周波数分解能が互いに異なるかどうかをチェックするように構成されている。等しい時間又は周波数分解能の場合、重み値推定器100は、第1又は左チャネルについてはwによって示され、第2又は右チャネルについてはwによって示されるように、帯域ごとの重み係数又は帯域ごとの重み値を計算するように構成される。
あるいは、後に図4aに関して示されるように、ブロック130の重み値推定器100によって、時間又は周波数分解能がある期間にわたって左チャネルと右チャネルとの間、又は第1のチャネルと第2のチャネルとの間で等しくないと判定された場合、重み値推定器100は、1つ又は2つの結合スペクトル領域表現を計算する(132)ように構成される。特に、少なくとも2つのチャネルのうちの第1のチャネルの第1のスペクトル領域表現は第1の時間分解能又は第1の周波数分解能を有し、少なくとも2つのチャネルのうちの第2のチャネルの第2のスペクトル領域表現は第2の時間分解能又は第2の周波数分解能を有し、第2の時間分解能は第1の時間分解能とは異なり、又は第2の周波数分解能は第1の周波数分解能とは異なる。重み値推定器100は、第1のスペクトル領域表現を、第2の時間分解能又は第2の周波数分解能を有する結合スペクトル領域表現に変換又は計算し(132)、結合スペクトル領域表現及び第2のスペクトル領域表現を用いて帯域ごとの重み値を計算するように構成されている。あるいは、第2のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有する結合スペクトル領域表現に変換され、帯域ごとの重み値は、結合スペクトル領域表現及び第1のスペクトル領域表現を使用して計算される。あるいは、第1のチャネルの第1のスペクトル領域表現が第1の時間分解能又は第1の周波数分解能を有し、少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現が第2の時間分解能又は第2の周波数分解能を有し、第2の時間分解能が第1の時間分解能とは異なるか、又は第2の周波数分解能が第1の時間分解能とは異なる場合、重み値推定器100は、第1のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第1の結合スペクトル領域表現に変換又は計算する(132)ように構成され、第3の時間分解能は第1の時間分解能又は第2の時間分解能とは異なり、第3の周波数分解能は第1の周波数分解能及び/又は第2の周波数分解能とは異なる。更に、第2のスペクトル領域表現はまた、第3の時間分解能又は第3の周波数分解能を有する第2の結合スペクトル領域表現に変換され、帯域ごとの重み値は、第1の結合スペクトル領域表現及び第2のスペクトル領域表現を使用して計算される。図5a~図5dに関して後述するような実際の状況に応じて、ブロック134によって計算された帯域ごとの重み値又は係数が実際のスペクトル重み付けに使用されず、図3aの136に示すように導出された帯域ごとの重み係数が計算される状況もあり得る。
一般に、第1のチャネルが低い第1の時間分解能及び高い第1の周波数分解能を有すると仮定し、また第2チャネルが高い第2の時間分解能及び低い第2の周波数分解能を有すると仮定すると、重み値推定器100の機能は、これらのチャネルのスペクトル領域重み値を計算するために、スペクトル領域における第1のチャネルと第2のチャネルとの間の分解能間のマッチングを行うための4つの異なる方法のうちの1つを選択することができる。
図5aは第1の実施形態を示し、帯域ごとの重み値は、2つの結合スペクトル領域表現が両方とも低周波数分解能及び低時間分解能を有する2つの結合スペクトル領域表現から計算される。
図5bに示す第2の実施形態では、単一の結合スペクトル領域表現のみが低周波数分解能表現から計算され、その結果、帯域ごとの重み値は、高周波数分解能及び低時間分解能の両方を有する一対のスペクトル領域表現から計算される。
図5cは、単一の結合表現が計算され、両方とも低周波数分解能及び高時間分解能を有する2つのスペクトル領域表現を使用してスペクトル領域帯域ごとの重み値の計算に使用される、更なる第3の実施形態を示す。
図5dに示す第4の実施形態では、重み値推定器は、両方とも高周波数分解能及び高時間分解能を示すフォーマットである2つの結合表現を使用して帯域ごとの重み値を計算するように構成される。
図4aは、第1のチャネル及び第2のチャネルに2つの異なる分解能(時間及び/又は周波数における)がある状況を示している。図4aの第1の部分は、第1のチャネルに長いブロックを有し、第2のチャネルに2つの後続の短いブロックを有するフレームを示す。長いブロックは、例えば、TCX20ブロックであり得る。短いブロックは、2つの後続のTCX10ブロックであり得る。更に、図4aは、2つのサブフレームA、Bに細分された更なるフレームを示しており、第1のチャネルでは、サブフレームAは短いブロックを有し、第2のチャネルでは、サブフレームはまた短いブロックを有する。しかしながら、図4aの第2のフレームのサブフレームBでは、第1のチャネルは短いブロックを有し、第2のチャネルは2つの非常に短いブロック、すなわち各サブサブフレームに対して1つの非常に短いブロックを有する。非常に短いブロックは、例えば、TCX5ブロックであり得る。一般に、長いブロックは短いブロックよりも長く、短いブロックは非常に短いブロックよりも長く、もちろん、非常に短いブロックは長いブロックよりも短い。当然ながら、1つの長いブロックが2つの短いブロックと同じ長さである必要はない。あるいは、結合された長さが1つの長いブロックの長さに等しい3つの短いブロックが存在してもよく、又は各サブサブフレームに対して非常に短いブロックなどの4つの短いブロックが存在してもよい。他の細分化も同様に存在することができ、すなわち、第1のチャネル内の2つの長いブロックは、第2のチャネル内の3つの短いブロックの長さに等しい結合された長さを有することができる。長いブロック、短いブロック、及び非常に短いブロックの長さは、必ずしも互いに整数の関係にある必要はない。更に、3つを超えるブロック長又は2つのみの異なるブロック長など、3つを超える異なるブロック長が存在することもあり得る。
図4bは、第1のラインにおける高スペクトル分解能を有するスペクトルの表現を示す。スペクトル値は周波数ラインに沿って整数で示されており、図4bは3つの後続の帯域b、b、bを示しており、より高い周波数を表す各帯域は、より低い周波数を表す各帯域よりも広い。TCX20スペクトルなどの高スペクトル分解能の状況では、最低帯域bは4つのスペクトルライン又はスペクトル値又はスペクトルビンを有する。第2の帯域bは、本実施形態では、8つのスペクトル値を有し、第3のスペクトル帯域bは、12個のスペクトルビンを有する。高スペクトル分解能を中スペクトル分解能表現に変換又は変換すると、高分解能スペクトル表現から、TCX10分解能などの中スペクトル分解能が、第1の帯域のための2つのスペクトルビン、第2の帯域bのための4つのスペクトルビン、及び第3の帯域bのための6つのスペクトルビンを有するように、スペクトル値が結合される(又は間引かれる)という事実がもたらされる。この中程度のスペクトル分解能を、TCX5ブロックで発生するような低スペクトル分解能表現と再び比較すると、第1の帯域は単一の周波数ビンのみを有し、第2のbは2つの周波数ビンを有し、第3のスペクトル帯域bは3つのスペクトルビンを有する。中程度のスペクトル分解能は、2つ以上の隣接するスペクトル線を結合することによって、又は間引き演算によって低スペクトル分解能に変換することができる。
一方、低スペクトル分解能表現は、例えば、中スペクトル分解能用の第1の帯域bの2つのスペクトルビンから、図4bに示すような4つのより高い分解能スペクトルビン1、2、3、4を計算することができるように、補間又はコピー又はコピー及びフィルタリングによってより高い分解能表現に変換することができる。
この新規な手法は、2つのチャネルのスペクトル帯域の帯域ごとの重み付けのみが周波数領域で行われ、モノラル信号への実際のダウンミックスは、2つのスペクトル重み付けされた信号を合計及びスケーリングすることによって時間領域に変換した後に行われる、ステレオからモノラル変換のための遅延のない能動的な帯域ごとのダウンミックス方法を提供することを目的とする。
両方の信号のスペクトル領域表現が異なる時間-周波数分解能(すなわち、1つの信号のより短いブロックサイズ)を有する場合、重み計算は、隣接するスペクトルビンを時間的及びスペクトル的に両方結合することによって適合され、その結果、クロススペクトル計算を同じ時間-周波数領域で行うことができる。
この方法では、2つのステレオチャネルの時間-周波数分解能は均一である必要はなく、これに関してチャネルが異なる場合にはチャネルの帯域ごとの重み付けを依然として行うことができるが、重要なステレオからモノラルへの変換は、両方のスペクトル的に重み付けされたチャネルが既に時間領域に変換されているときに後で行われる。
実施形態は、デコーダ側で最適化された遅延のないステレオからモノラルへのダウンミックスを提供する。
好ましい態様は、分離された重み付け(周波数領域)及びミックス段階(時間領域)を有する帯域ごとの重み付けを有する能動的ダウンミックスに関する。
更に好ましい態様は、異なるスペクトル領域表現を有するチャネルの場合のクロススペクトル相関のための周波数ビンの時間的/スペクトル的結合に関し、これらの態様は、ダウンミックス態様とは別個に、又はダウンミックス態様と共に使用することができる。
ステレオ画像を表すいくつかのサイドパラメータと共に既にダウンミックスされたコア信号のみが送信される[7]のようなパラメトリックステレオコーデックとは異なり、両方のチャネルが常にTCXコーダで直接符号化されるMDCTベースの離散ステレオ用途のデコーダで利用可能なダウンミックスはない。したがって、ダウンミックスは、デコーダ側で完全に生成されなければならない。
図3bは、図1に示す重み値推定器100の好ましい実施態様を示す。ステップ140において、重み値推定器は、第1のチャネル及び第2のチャネルから、あるいは第1のチャネル及び結合スペクトル領域表現から、又は第2のチャネル及び結合スペクトル領域表現から、又は第1の結合スペクトル領域表現及び第2の結合スペクトル領域表現から、周波数ビンごとに対応する虚数又は実数値スペクトル値を推定する。一般に、重み値推定器は、帯域内の第1のチャネルのエネルギーと、帯域内の第2のチャネルのエネルギーと、帯域内の少なくとも2つのチャネルからのスペクトル値の積又は線形結合に依存する混合項とを使用して、第1の重み値及び第2の重み値を計算するように構成される。図3bでは、第1のチャネルのエネルギー及び第2のチャネルのエネルギーは、ブロック140で例示的に計算される。更に、積に依存する混合項がブロック148で計算され、線形結合に依存する別の混合項がブロック146で計算される。更に、ブロック144において、帯域ごとのスペクトルビンの電力の平方根に対応する帯域ごとの「振幅」が計算される。
したがって、図3bに示されるように、第1の重み値wは、両方のチャネルの帯域ごとの振幅から、混合項、好ましくは、ブロック146に示される線形結合に依存する混合項に応じて計算される。更に、バンドごとの重み付けベクトルwは、バンドごとの、すなわち他のチャネルの重み値wを使用して計算されることが好ましい。他のチャネルの値、すなわち帯域当たりのwは、好ましくは、148で示された積に依存する混合項と、ブロック142で決定された対応するチャネルの帯域当たりの電力からブロック144によって導出された帯域当たりの「振幅」とに基づいて計算される。
したがって、好ましくは、少なくとも2つのチャネルのスペクトル領域表現から帯域内で互いに加算されたスペクトル値のエネルギーの平方根が「振幅」として使用されるが、1より小さく1/2とは異なる指数による累乗から導出された「振幅」などの他の「振幅」も使用することができる。帯域からのスペクトル値は線形結合され、すなわち互いに加算され、結果として得られる値の1未満の指数を有する平方根又は任意の他の累乗が行われ、好ましくは、帯域内のチャネルの両方の累乗が追加的に使用される。
積を表す混合項として、例えばブロック148の計算において、第1のチャネルの帯域のスペクトル値と第2のチャネルの帯域のスペクトル値との複素ドット積の絶対値も求めることができる。好ましくは、スペクトル重み付け器200によって決定されたものと同じ重みが、少なくとも2つのチャネルのうちの一方のチャネルの帯域の各スペクトル値に適用され、別の重みが、少なくとも2つのチャネルのうちの別のチャネルの帯域の各スペクトル値に適用される。
続いて、重み値推定器100によって使用され得るような帯域ごとの重み係数の計算の好ましい実施態様が示されている。
受動的ダウンミックスの使用には上述のような欠点があるため、能動的ダウンミックス方式を使用すると、多くの項目が大幅に改善される。ステレオ復号後に両方のチャネルのDFT変換を含む別の復号器段を追加することは、複雑さと遅延の両方の理由で実現可能ではないため、ダウンミックス処理は、MDCT領域と時間領域の処理の結合として行われる。
最初に、帯域ごとの重みが計算され、両方のチャネルのMDCT表現に適用される。これは、ステレオ処理(例えば逆MSなど)の後、IMDCT逆変換の直前に行われる。重みは、位相回転された中間チャネルのエネルギーを目標として、[7]に記載されたDFTベースのステレオエンコーダで既に使用されているのと同じ方式で計算される:
Figure 0007416816000002
式中、
Figure 0007416816000003
及び
Figure 0007416816000004
は、左右のチャネルスペクトルの大きさを表す。この目標エネルギーに基づいて、チャネルの重みを各スペクトル帯域について以下のように計算することができる。
Figure 0007416816000005
また
Figure 0007416816000006
これらの重み又は帯域ごとの重み値w及びwは、スペクトル帯域ごとに計算され、各帯域は、最低帯域の少数のビン、例えば4から始まり、最高帯域のいくつか又は多くのビン、例えば160までのより高い周波数に向かって増加するいくつかのMDCTビンを包含する。
送信されたMDCT係数は実数値のみであるため、エネルギー保存重み付けに必要な相補的MDST値は、推定[9]によって各チャネルについて取得される:
Figure 0007416816000007
式中、iはスペクトルビン番号を指定する。
この推定値
Figure 0007416816000008
及び
Figure 0007416816000009
を使用して、各帯域
Figure 0007416816000010
について以下のように計算される:
Figure 0007416816000011
Figure 0007416816000012
は、以下のように計算される:
Figure 0007416816000013
また
Figure 0007416816000014
は、複素ドット積の大きさ又は絶対値として計算され、
Figure 0007416816000015
式中、iは、スペクトル帯域
Figure 0007416816000016
内のビン番号を指定する。
異なる変換及び推定されたエネルギーのみにもかかわらず、結果として生じる重みは、依然として[7]と同様のダウンミックスをもたらす。
第2のステップでは、2つのスペクトル的に重み付けされたチャネルの単純な加算及びスケーリングによって、2つの重み付けされたチャネルが時間領域でダウンミックスされる。
図2を参照する。
この結合された手法の理由は2つあり、1つは、両方のチャネルを時間領域に変換し戻すことによって、ポストフィルタリング、例えば、時間領域でも動作するTCX-LTPは、個々のチャネルのコア符号化から抽出されたパラメータ(例えば、ピッチ)を使用して両方のチャネルで実行することができ、したがって、ダウンミックスに適合する平均化されたパラメータを見つけようと試みる必要性を回避することである。第2に、より厳密には、MDCTステレオは、2つのチャネルに対して異なるコアコーダ及び/又は重なり判定を可能にするように構成される。具体的には、これは、一方のチャネルが例えば1つのTCX20長いブロック(20msフレーム、より高い周波数分解能、より低い時間分解能)で符号化され、他方が例えば2つのTCX10短いブロック(2×10msのサブフレーム、より低い周波数分解能、より高い時間分解能)で符号化され、一方又は両方の短いブロックが再び2つのTCX5サブフレーム(2×5ms)に分割され得ることを意味する。これは、完全な周波数領域ダウンミックスを事実上不可能にする。しかしながら、帯域ごとの重み付けのみをMDCT領域で直接行うことができる。
図5aに示す一実施形態は以下のように機能する:2つのチャネル内の異なるコアの特別な場合については、重み計算の一部としてのクロススペクトル相関の計算をわずかに適合させる必要がある。TCX20とTCX10の周波数と時間の分解能が異なるため、左右のドット積を直接計算することはできない。代わりに、MDCTビンは、それらが同じ時間-周波数領域をカバーするように結合されなければならない。TCX20の場合、これは常に2つの隣接ビンを結合することを意味するが、TCX10の場合、第1のサブフレームの各ビンは、以下のサブフレームにおいて同じビンと結合する必要があり、例えば、
Figure 0007416816000017
及び
Figure 0007416816000018

Figure 0007416816000019
が、TCX20 MDCTスペクトルであり、
Figure 0007416816000020
が2つのサブフレームを有するTCX10 MDCTスペクトルである場合、iは、スペクトルビン番号及び
Figure 0007416816000021
及び
Figure 0007416816000022
TCX10サブフレームを指定する。推定MDSTスペクトルでも同じ結合が行われる。
次いで、得られた結合ビンを用いて、クロススペクトル相関
Figure 0007416816000023
及び/又は
Figure 0007416816000024
の値が計算される。これは、幾分粗い相関推定値をもたらすが、十分であることが分かっている。
図5bに示す別の実施形態は以下のように機能する:2つのチャネル内の異なるコアの特別な場合については、重み計算の一部としてのクロススペクトル相関の計算をわずかに適合させる必要がある。TCX20とTCX10の周波数と時間の分解能が異なるため、左右のドット積を直接計算することはできない。これを可能にするために、より低いスペクトル分解能を有する(サブ)フレームのスペクトルは、以下を計算することによって2倍のスペクトル分解能を有するスペクトルの近似値に変換される:
Figure 0007416816000025
及び
Figure 0007416816000026
式中、iは、スペクトルビン番号を指定し、
Figure 0007416816000027
及び
Figure 0007416816000028
はより低い分解能を有するサブフレームを指定する。これらの加算及び減算は、1つのより低い分解能ビンを2つのより高い分解能ビンに分割するハイパス及びローパスフィルタリング動作と見なすことができ、フィルタリングは、ビン番号iが偶数であるか奇数であるかに依存する(最下位ビン
Figure 0007416816000029
から始まる)。
これは、一方のチャネルがTCX20である場合、他方のチャネルが同じスペクトル分解能に変換されることを意味する。他方のチャネルのサブフレームの一方又は両方が再び2つのTCX5「サブサブフレーム」に再分割される場合、これらは最初に同じフィルタリングによってTCX10分解能に変換された後、再び分割されて最終的なTCX20表現に到達する。
いずれのチャネルもTCX20でない場合でも、一方のチャネルにTCX10があり、他方のチャネルにTCX5がある場合には、一方又は両方のサブフレームについて、より高い分解能への変換が依然として必要であり得る。一例として、左チャネルがサブフレームAのTCX10であり、サブフレームBの2×TCX5である一方で、右チャネルがサブフレームAの2×TCX5であり、サブフレームBのTCX10である場合、両方のチャネルは、両方のサブフレームにおいてTCX10分解能を有するように変換される(左チャネル用のサブフレームB、右チャネル用のサブフレームAを変換する)。同じ例において、右チャネルもまた、サブフレームAについてはTCX10であり、Bについては2×TCX5である場合、変換は行われない、すなわち、サブフレームAはTCX10分解能でダウンミックスされ、サブフレームBはTCX5でダウンミックスされる。
MDST推定値及び最終チャネル重みは、これらの変換されたスペクトルを使用して計算される。重み自体は元の入力スペクトルに適用され、これは、変換の場合、各計算された重みが、全てのサブフレームについて元のより低い分解能で同じ周波数範囲をカバーする全てのビンに適用されることを意味する。
能動的帯域ごとのダウンミックスの重み付け段階を実際の混合段階から分離することによって、この新しい方法は、能動的ダウンミックスの利点を有するモノラル信号を出力することができるが、追加の遅延又は複雑さはなく、個々のチャネルの選択された時間-周波数分解能とは無関係である。
これはまた、専用のパラメータダウンミックスを必要とせずに、両方のチャネルで更なる時間領域後処理(例えば、ピッチ情報を使用したTCX-LTPポストフィルタ)を使用することを可能にする。
図5aは、2つの結合されたスペクトル領域表現が生成される第1の代替例を示す。第1の結合スペクトル領域表現は、図5aの左側に示されている高分解能スペクトル領域表現の2つの隣接ビンを加算して第1の結合スペクトル領域表現を得ることによって計算される。
更に、図5aの中央のTCX10に示されている2つの低スペクトル分解能表現は、第2の結合スペクトル領域表現を得るために互いに結合される。重み値推定器100は、これらの2つの結合されたスペクトル領域表現から左右の重み係数w及びwを計算するように構成される。
スペクトル重み付け器200によって実行された実際に実行されたスペクトル重み付けに関して、左チャネルの重み係数は、元の左チャネル表現、すなわち図5aの左側に示されるTCX20表現に適用される。更に、2つの時間後続のTCX10ブロックによって表される右チャネルの帯域ごとの重み値は、両方のTCX10ブロックに適用される。同じ帯域ごとの重み値が、図5aの中央に示されている2つの時間的に後続のTCX10ブロックの対応する帯域に適用される。
図5bに示す第2の代替案では、いくつかの異なる事例について示されているように、単一の結合スペクトル領域表現のみが計算される。例えば、第1のチャネル内のサブフレームがTCX5フレームなどの2つの非常に短いサブフレームを有し、次のサブフレームが単一のTCX10フレームを有する場合、及び第2のチャネルが例えば2つのTCX10フレームを有する場合、第1のサブサブフレームについて結合スペクトル領域表現が計算されるが、第2のサブサブフレームについては、第1及び第2のチャネルは既にTCX10表現内にある。
この例では、スペクトル重み付け器200は、例えば、各々が5ミリ秒を表すサブフレーム内の対応する帯域に高スペクトル分解能重み係数を適用するように構成されている。更に、高分解能重み係数は、例えば、第1のサブフレームA内の短いTCX10フレームを有する他方のチャネルの対応する元のスペクトル領域表現に適用される。
あるいは、状況は、第1のチャネルが図5bの左に示された表現を有し、第2のチャネルが図5bの右に示された表現を有する場合であり、第1のチャネルの表現は、図5bの左から中央へ、及び図5bの中央から右への2つのステップを介して単一の結合スペクトル領域表現に変換される。周波数分解能は重み係数を計算するために使用され、対応する重み係数は、図5bの右側に示されている分解能を有する第2のチャネルの高周波数分解能及び低時間分解能表現に適用され、帯域について同じ値が、図5bのD及びCによって示されている個々のサブフレームA、B及び次のサブフレームの全てに適用される。
図5cは、実際の領域重み値が低周波数分解能及び高時間分解能表現から計算される別の代替案を示す。第1のチャネルは、例えば、TCX20表現であり、第2のチャネルは、例えば、2つのTCX10表現のシーケンスである。図5bに示す代替形態とは対照的に、結合表現は、ここでは図5cの右上隅に示されている高時間分解能及び低周波数分解能の表現である。スペクトル領域重み係数は、一方の結合表現と、図5cの左下隅に示されている第2のチャネルの元のスペクトル領域表現とから計算される。
2組の帯域ごとの重み値、すなわち、各サブフレームに対して1つが取得される。これらの値は、第2のチャネルの対応するサブフレームに適用される。しかしながら、第1のチャネルがフレーム全体に対して単一のスペクトル領域表現しか有さないという事実に起因して、導出されたスペクトル領域重み値は、図3aのブロック136に示されるように計算される。導出されたスペクトル領域重み値を計算するための1つの手順は、2つの(又はそれ以上の)サブフレームに対して全く同じ帯域の対応する重み値の重み付け加算を実行することであり、各重み値は、例えば、平均化演算をもたらす重み付け加算において0.5によって重み付けされる。別の代替案は、2つのサブフレームの重み値の算術平均若しくは幾何平均を計算すること、又はフレーム内の帯域の2つの重み値から単一の重み値を取得するための任意の他の手順である。オプションは、2つの値の一方を単に選択し、他方を無視することなどであり得る。
更に、第1のチャネルから結合スペクトル領域表現を計算するために、図5aに関して前述した手順を使用することができ、すなわち、2つの隣接するスペクトル値を一緒に加算してスペクトル分解能を低下させることができる。これは図4bにも示され、帯域内の特定の数のスペクトル値を有する高スペクトル分解能を、同じ帯域内のより少ない数のスペクトル値を有する中程度のスペクトル分解能に低減することができる。更に、図5cの右上隅に示される2つのサブフレームのスペクトル値を2倍にするために、例えば、両方のサブフレームの帯域に対して同じ(低いスペクトル分解能)スペクトル値を使用することができ、又は場合によっては、より早い又はより遅い値を使用して何らかの種類の重み付けされた間引きを実行することができる。
図5dは、第1のチャネルがTCX20表現などの高周波数及び低時間分解能表現を有し、第2のチャネルが2つのTCX10フレームなどの2つの短いフレームのシーケンスなどの低周波数及び高時間分解能表現を有する更なる実施態様を示す。第1の結合スペクトル領域表現は、高周波数分解能及び高時間分解能表現であり、第2の結合スペクトル領域表現は、更に、高周波数分解能及び高時間分解能である。図5dに示す手順は、例えば、第1のチャネルから、同じスペクトル値をとるが、ここではTCX10によって示される2つの後続の時間フレームに対して、第1の結合スペクトル領域表現が計算されるように実行することができる。あるいは、TCX20フレームから2つの後続のTCX10フレームが計算されるように、フレーム数を2倍にするために、何らかの補間処理なども実行することができる。更に、第2のチャネルは既に正しい時間分解能にあるが、周波数分解能を2倍にしなければならない。この目的のために、図4bの下のラインから上のラインまでの手順を実行することができ、すなわち、TCX10表現の周波数ビン内のスペクトル値は、一対の周波数ビンについて同じスペクトル値を有するように処理することができる。正しいエネルギーを得るために、何らかの重み付けを行うことができる。代替的又は追加的に、第2の結合スペクトル領域表現内で互いに隣接する周波数ビンが必ずしも正確に同じスペクトル値を有するのではなく、異なる値を有するように、何らかの種類の高度な補間を実行することができる。スペクトル領域重み値は、重み値推定器100によって、高周波数分解能及び高時間分解能データから導出された第1の結合スペクトル領域表現及び第2の結合スペクトル領域表現から計算される。
スペクトル重み付け器200は、対応するスペクトル領域重み値を第2チャネルに適用するように構成されており、各サブフレームについて一組の帯域ごとの重み値が存在する。第1のチャネルの高周波数分解能及び時間分解能(TCX20)スペクトル領域表現を重み付けするために必要なスペクトル領域重み係数のセットは一組だけであるため、第1のチャネルのTCX20データを重み付けする目的で、重み値推定器100は、導出された帯域幅重み係数136を再び計算するように構成される。導出された帯域ごとの重み値を計算するための結合手順は、例えば、平均化であり得る。
図6は、本発明の更なる態様、すなわち、少なくとも2つのサブフレームを含むチャネルのスペクトル領域表現のスペクトル分解能を変換するための装置を示し、各サブフレームは、時間ビンサイズ及び周波数ビンサイズを表す複数のスペクトル値を含む。第2の態様による変換のための装置に含まれるスペクトル値計算機160は、第1の方式結合器170と、第2の方式結合器180とを備える。好ましくは、第1の方式結合器はローパスプロセッサとして動作し、第2の方式結合器はハイパスプロセッサを操作する。スペクトル値計算機は、第1の方式結合器によって、結合スペクトル値の第1のグループを取得するために、スペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合し、第2の方式結合器180は、結合スペクトル値の第2のグループを取得するために、第2の方式でスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合し、第2の方式は第1の方式とは異なり、結合スペクトル値の第1のグループ及び結合スペクトル値の第2のグループは、異なる時間ビンサイズ及び異なる周波数ビンサイズを有する結合スペクトル領域表現を表す。この計算の好ましい実施態様は、図5bに関して説明及び図示されており、一例では、A、A及びB、Bのシーケンスは、高スペクトル分解能表現に変換されるが、ここでは一方でF、E及び他方でF、Eによって示されるように低い時間分解能を有する。
あるいは、図5bはまた、少なくとも2つのサブフレームが図5bの中央の図に2つの時間的に後に続く10msのサブフレームとして示されており、高スペクトル分解能及び低時間分解能の表現が図5bの右側に示されている状況を示している。好ましくは、加算は第1の方式で実行され、減算は第2の方式で実行される。更に、両方の手順が平均関数も含むことが好ましい。更に、図6のスペクトル値計算機160は、重み付け符号を使用する重み付けを含む第1の方式又は第2の方式のいずれかを適用するように構成され、スペクトル値計算機は、同じ周波数ビンの周波数ビン番号に従って重み付け符号を設定するように構成される。更に、スペクトル値計算機は、図5bに示すように、より低い分解能ビンを2つのより高い分解能ビンに変換するように構成され、第1の方式は偶数ビン番号に使用され、第2の方式は奇数ビン番号に使用される。
図7は、スペクトル分解能を変換するための装置の更なる実施態様を示す図である。スペクトル分解能結合器160に加えて、スペクトル分解能を変換するための装置は、更なる要素を備えてもよい。更なる要素は、例えば、スペクトルプロセッサ500及び/又は処理データ計算機190及び/又は更なるスペクトルプロセッサ220である。スペクトルプロセッサ500を用いた実装では、逆変換及び順変換操作なしで変換された、したがって低計算リソース及び低遅延で生成された変換されたスペクトル領域表現は、単独で、又は例えば同じ第2のスペクトル分解能を有する別のスペクトル表現と一緒に更に処理することができる。これは、例えば、ある種のダウンミックスのために行うことができる。図5bの右側に示されている高周波数分解能の低時間分解能表現は、処理データを計算するために使用することができるだけでなく、実際には、例えばダウンミックス又は後の処理段階における任意の種類の音声レンダリングなどの追加の又は他の代替の使用のために更に処理される。
一方、図1及び図5bに関して前述した手順は、第2のスペクトル分解能を有するスペクトル領域表現、すなわち「結合スペクトル領域表現」が、左及び右チャネル、又は一般的に言えば、マルチチャネル信号の第1及び第2のチャネルの重み値などのある種の処理データを計算するためだけに使用される。高スペクトル分解能に変換されたスペクトル領域表現を使用して生成された処理データは、処理データを計算するためにのみ使用されるが、このスペクトル領域表現はそれ自体では更に処理されない。代わりに、重み値などの処理データを使用して、ブロック220によって示されるように、第1のスペクトル分解能を有する元の入力スペクトル領域表現がスペクトル的に処理される。この目的のために、例えば、スペクトル領域で生じるダウンミックス動作などのために、第1の分解能を有する別のスペクトル領域表現を使用することが好ましい。
図8は、少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするためのダウンミキサとして動作する本発明の第3の態様の一実施形態を示す。ダウンミキサは、少なくとも2つのチャネルの帯域ごとの重み値を推定するための重み値推定器100を備え、重み値推定器は、帯域ごとの目標エネルギー値に基づいて帯域ごとの重み値を計算し、その結果、ダウンミックス信号の帯域のエネルギーは、2つのチャネルの同じ帯域のエネルギーと所定の関係にあるように構成される。好ましくは、重み値推定器100は、図3bに示され、図3bの文脈で説明されるように実装される。ダウンミキサは、少なくとも2つのチャネルの重み付けされたスペクトル領域表現を使用してダウンミックス信号を計算するためのスペクトル重み付け器200及びその後に接続されるミキサ400を更に備える。
図9は、図8のダウンミキサの更なる実施態様を示す図である。スペクトル重み付け器200は、好ましくは、第1及び/又は第2のチャネル用の制御データを受信するように構成される。更に、スペクトル重み付け器は、4つの異なる入力データ対のうちの1つに対して制御データを適用するように構成される。入力データの第1の対は、図9の左に示すように、第1のチャネルスペクトル領域表現及び第2のチャネルスペクトル領域表現とすることができる。第2の代替案は、例えば、図5b、図5cに関して説明したように導出された第1のチャネルスペクトル領域表現及び結合スペクトル領域表現であり得る。更に、他の代替案は、図5b、図5cに関して前述したように、第2のチャネルスペクトル領域表現及び単一の結合スペクトル領域表現を表す一対のデータとすることができる。別の代替案は、スペクトル重み付け器200が、図5a又は図5dに関して示されているように、スペクトル重みを第1の結合スペクトル領域表現及び第2の結合スペクトル表現に適用することであり得る。第1及び/又は第2のチャネルの制御データは、例えば、一方では重み値wであり、他方ではwであり得るが、任意の種類のスペクトル重み付けを実行するために使用される任意の他の制御データであってもよい。
ダウンミキサの更なる要素は、一実施形態において、加算されたスペクトル領域表現、すなわちスペクトル領域におけるダウンミックススペクトル領域表現を計算する加算器480である。モノラル信号プロセッサ490は、例えば、任意のデータによって制御されるか、又は例えば、図1又は図2のブロック310に関して前述したように、周波数-時間変換器として実装される。
3つの態様は、互いに別々に使用することができるが、互いに有利に結合することもできることを強調すべきである。特に、図8による重み値推定器の実装は、図1に示す第1の態様の重み値推定器100に適用することができる。更に、図6に示すスペクトル分解能変換器は、好ましくは、図5bに示す代替案における図1の重み値推定器100によって実装され、2つの高時間分解能及び低スペクトル分解能サブフレームから高分解能/低分解能スペクトル領域表現を生成する。更に、特に処理データの計算に関して、図1に示す第1の態様の機能は、処理データ計算機190及び図7に示す更なるスペクトルプロセッサ220によって実施することができ、本発明の第3の態様のミキサ400は、図9の代替として、ダウンミックス信号を計算するためのミキサ400が実際の時間領域サンプルごとの加算を実行する前に図1に示す変換器300の機能を適用するように実施することができる。したがって、3つの態様のうちの1つについて従属請求項で定義された全ての特定の実施形態は、対応する従属請求項の定義における3つの態様の任意の他の態様にも適用することができる。
したがって、実装に応じて、3つの態様を別々に適用することができ、あるいは3つの態様のうちの任意の2つを結合することによって、又は3つの態様全てを結合することによって、3つの態様を互いに結合することができることが明らかになる。
続いて、本発明の態様の更なる例を示す。
1.少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするためのダウンミキサであって、
少なくとも2つのチャネルの帯域ごとの重み値を推定するための重み値推定器(100)と、
帯域ごとの重み値を使用して少なくとも2つのチャネルのスペクトル領域表現を重み付けするためのスペクトル重み付け器(200)と、
少なくとも2つのチャネルの重み付けされたスペクトル領域表現を少なくとも2つのチャネルの時間表現に変換する変換器(300)と、
ダウンミックス信号を取得するために少なくとも2つのチャネルの時間表現を混合するためのミキサ(400)と
を備える、ダウンミキサ。
2.重み値推定器(100)は、少なくとも2つのチャネルのうちの第1のチャネルの複数の帯域について複数の第1の帯域ごとの重み値を計算し、少なくとも2つのチャネルのうちの第2のチャネルの複数の帯域について第2の複数の帯域ごとの重み値を計算するように構成される、又は、
マルチチャネル信号は2つを超えるチャネルを有し、重み値推定器(100)は、2つを超えるチャネルのうちの第1のチャネルの複数の帯域について複数の第1の帯域ごとの重み値を計算し、2つを超えるチャネルのうちの第2のチャネルの複数の帯域について第2の複数の帯域ごとの重み値を計算し、2つを超えるチャネルのうちの更なるチャネルの複数の帯域について更なる複数の帯域ごとの重み値を計算するように構成される、実施例1に記載のダウンミキサ。
3.少なくとも2つのチャネルのスペクトル領域表現は各々、周波数ビンのセットを含み、スペクトル値は周波数ビンに関連付けられ、
重み値推定器(100)は、帯域に対する帯域ごとの重み値を計算するように構成され、各帯域は、1つ、2つ、若しくはそれ以上の周波数ビンを含み、又は
帯域当たりの周波数ビンの数は、より高い中心周波数を有する帯域と共に増加する、実施例1又は2に記載のダウンミキサ。
4.重み値推定器(100)は、帯域当たりの目標エネルギー値に基づいて帯域ごとの重み値を計算し、その結果、ダウンミックス信号の帯域におけるエネルギーが、少なくとも2つのチャネルの同じ帯域におけるエネルギーに対して所定の関係にあるように構成される、実施例1から3のいずれか一項に記載のダウンミキサ。
5.符号化された信号を復号するためのコアデコーダ(500)であって、符号化された信号は、少なくとも2つの元のチャネルの符号化されたスペクトル領域表現を有し、コアデコーダは、符号化されたスペクトル領域表現からスペクトル領域表現を生成するように構成される、コアデコーダ(500)
を更に備える、実施例1から4のいずれか一項に記載のダウンミキサ。
6.スペクトル領域表現は純実数又は純虚数のいずれかであり、
重み値推定器(100)は、スペクトル領域表現が純実数である場合、虚数スペクトル領域表現を推定(120、122)する、又はスペクトル領域表現が純虚数である場合、実数スペクトル領域表現を推定するように構成され、
重み値推定器(100)は、推定された虚数スペクトル領域表現又は推定された実数ペクトル領域表現を使用して帯域ごとの重み値を推定するように構成される、実施例1から5のいずれか一項に記載のダウンミキサ。
7.重み値推定器(100)は、少なくとも2つのチャネルのうちの第1のチャネルの帯域に対する第1の重み値を計算するように構成され、
重み値推定器(100)は、少なくとも2つのチャネルのうちの第2のチャネルの帯域に対する第2の重み値を計算するように構成され、
重み値推定器(100)は、帯域内の第1のチャネルのエネルギーと、帯域内の第2のチャネルのエネルギーと、帯域内の少なくとも2つのチャネルからのスペクトル値の積又は線形結合に依存する混合項とを用いて、第1の重み値及び第2の重み値を計算するように構成される、実施例1から6のいずれか一項に記載のダウンミキサ。
8.重み値推定器(100)は、線形結合を表す混合項として、少なくとも2つのチャネルのスペクトル領域表現から帯域内で互いに加算されたスペクトル値のエネルギーの平方根を計算するように構成され、帯域は複数のスペクトル値を含むか、又は、積を表す混合項として、少なくとも2つのチャネルのうちの第1のチャネルの帯域内のスペクトル値と第2のチャネルの帯域内のスペクトル値との間の複素ドット積の絶対値を計算するように構成される、実施例1から7のいずれか一項に記載のダウンミキサ。
9.複数の少なくとも2つのチャネルのうちの第1及び第2のチャネルの各帯域は複数のスペクトル値を有し、スペクトル重み付け器(200)は、少なくとも2つのチャネルのうちの一方の帯域の各スペクトル値に同じ重みを適用し、少なくとも2つのチャネルのうちの別のチャネルの帯域の各スペクトル値に別の重みを適用するように構成される、実施例1から8のいずれか一項に記載のダウンミキサ。
10.重み付けされたスペクトル領域表現はMDCT(修正離散コサイン変換)スペクトルであり、
変換器(300)は、複数のチャネルの各チャネルについて、合成窓がけ演算及び重畳加算演算を使用して逆MDCT変換を実行するように構成される、実施例1から9のいずれか一項に記載のダウンミキサ。
11.ミキサ(400)は、少なくとも2つのチャネルの時間表現のサンプルごとの加算を適用するように構成されるか、又は
ミキサ(400)は、少なくとも2つのチャネルの時間表現のサンプルごとの加算と、サンプルごとの加算の結果に適用される、又はサンプルごとの加算への入力に適用されるスケーリング動作とを適用するように構成される、実施例1から10のいずれか一項に記載のダウンミキサ。
12.変換器(300)は、スペクトル-時間アルゴリズムを使用して生の時間表現を生成し(310)、
時間表現を取得するためにチャネルのための別個の制御情報を使用して、ミキサ(400)による混合の前に信号処理方向に生の時間表現を個別に後処理する(320)ように構成される、実施例1から11のいずれか一項に記載のダウンミキサ。
13.変換器(300)は、後処理(320)として、バス・ポストフィルタリング、TCX-LTP(Transform Coded Excitation Long Term Prediction)処理、又はLPC(Linear Prediction Coding)合成を各時間表現について個別に実行するように構成される、実施例12に記載のダウンミキサ。
14.少なくとも2つのチャネルのうちの第1のチャネルの第1のスペクトル領域表現は、第1の時間又は周波数分解能を有し、
少なくとも2つのチャネルのうちの第2のチャネルの第2のスペクトル領域表現は、第2の時間又は周波数分解能を有し、第2の時間又は周波数分解能は、第1の時間又は周波数分解能とは異なり、
重み値推定器(100)は、帯域ごとの重み値に関連付けられた帯域の周波数分解能が、第1の周波数分解能及び第2の周波数分解能よりも低くなるように、又は第1の周波数分解能及び第2の周波数分解能のうちの低い方の周波数分解能と等しくなるように、帯域ごとの重み値を計算するように構成される、実施例1から13のいずれか一項に記載のダウンミキサ。
15.第1のスペクトル領域表現は、帯域内の第1の複数のスペクトル値を有し、
第2のスペクトル領域表現は、帯域内の第2の複数のスペクトル値を有し、第2の複数のスペクトル値は第1の複数のスペクトル値よりも高く、
重み値推定器(100)は、
第2の複数のスペクトル値のうちの2つ以上のスペクトル値を結合するか、又は第2の複数のスペクトル値からスペクトル値のサブセットを選択して、
2つ以上のスペクトル値を結合した結果を使用して、又はスペクトル値のサブセットを使用して、帯域内の少なくとも2つのチャネルからのスペクトル値の積又は線形結合に依存する混合項を計算し、
混合項を使用して帯域ごとの重み値を計算するように構成される、実施例1から14のいずれか一項に記載のダウンミキサ。
16.第1のスペクトル領域表現は、第1の時間ビンサイズ及び第1の周波数ビンサイズを表す複数の第1のスペクトル値を含み、
第2のスペクトル領域表現は、第2の時間ビンサイズ及び第2の周波数ビンサイズを表す複数のスペクトル値を含み、
第1の時間ビンサイズは第2の時間ビンサイズよりも大きいか、又は第1の周波数ビンサイズは第2の周波数ビンサイズよりも小さく、
重み値推定器(100)は、第1のスペクトル領域表現からの複数のスペクトル値を結合して、結合された周波数ビンサイズが第2の周波数ビンサイズに等しい第1の結合されたスペクトル領域表現を取得するか、又は第2のスペクトル領域表現からの複数のスペクトル値を結合して、結合された時間ビンサイズが第1の時間ビンサイズに等しい第1の結合されたスペクトル領域表現を取得するように構成される、実施例1から15のいずれか一項に記載のダウンミキサ。
17.重み値推定器(100)は、少なくとも2つのチャネルのうちの第1のチャネル及び第2のチャネルの帯域ごとの重み値の計算のために第1の結合スペクトル表現又は第2の結合スペクトル領域表現を使用するように構成され、計算は、帯域内の混合項の計算と帯域内のエネルギーの計算とを含み、
スペクトル重み付け器(200)は、少なくとも2つのチャネルのうちの第1のチャネルの帯域ごとの重み値を、対応する帯域内の第1のスペクトル領域表現のスペクトル値に適用し、少なくとも2つのチャネルのうちの第2のチャネルの帯域ごとの重み値を、対応する帯域内の第2のスペクトル領域表現のスペクトル値に適用するように構成される、実施例16に記載のダウンミキサ。
18.第1のチャネルの第1のスペクトル領域表現は、第1の時間ビンサイズ及び第1の周波数ビンサイズを表す複数の第1のスペクトル値を含み、
第2のチャネルの第2のスペクトル領域表現は少なくとも2つのサブフレームを含み、各サブフレームは、第2の時間ビンサイズ及び第2の周波数ビンサイズを表す複数のスペクトル値を含み、
第1の時間ビンサイズは第2の時間ビンサイズよりも大きいか、又は第1の周波数ビンサイズは第2の周波数ビンサイズよりも小さく、
重み値推定器(100)は、
結合スペクトル値の第1のグループを取得するために、第1の方式で第2のスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合し、
結合スペクトル値の第2のグループを取得するために、第2の方式で第2のスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合し、第2の方式は第1の方式とは異なり、
結合スペクトル値の第1のグループ及び結合スペクトル値の第2のグループは、第1の時間ビンサイズ及び第1の周波数ビンサイズを有する結合スペクトル領域表現を表し、
帯域ごとの重み値の計算のために、結合スペクトル領域表現及び第1のスペクトル領域表現のスペクトル値を使用する
ように構成される、実施例1から15のいずれか一項に記載のダウンミキサ。
19.重み値推定器(100)は、第1の方式で加算及び減算の一方を実行し、第2の方式で加算及び減算の他方を実行するように構成される、実施例18に記載のダウンミキサ。
20.重み値推定器(100)は、第1の方式及び第2の方式で平均関数を実行するように構成される、実施例18又は19に記載のダウンミキサ。
21.重み値推定器(100)は、重み付け符号を使用する重み付けを含む第1の方式又は第2の方式のいずれかを適用するように構成され、重み値推定器(100)は、同じ周波数ビンの周波数ビン番号に従って重み付け符号を設定するように構成される、実施例18から20のいずれか一項に記載のダウンミキサ。
21.重み値推定器(100)は、第1の方式として、ハイパスフィルタリング及びローパスフィルタリングの一方を適用し、第2の方式として、ハイパスフィルタリング及びローパスフィルタリングの他方を適用するように構成される、実施例18から21のいずれか一項に記載のダウンミキサ。
22.重み値推定器(100)は、より低い分解能ビンを2つのより高い分解能ビンに変換するように構成され、第1の方式は、2つのより高い分解能ビンのうちの第1のより高い分解能ビンの偶数ビン番号に使用され、第2の方式は、2つのより高い分解能ビンのうちの第2のより高い分解能ビンの奇数ビン番号に使用される、実施例18から22のいずれか一項に記載のダウンミキサ。
23.第1のチャネルの第1のスペクトル領域表現はTCX20フレームを含み、第2のチャネルの第2のスペクトル領域表現は2つのTCX10サブフレームを含み、重み値推定器(100)は、2つのTCX10サブフレームからの結合TCX20スペクトル領域表現を計算するように構成される、又は
第1のチャネルの第1のスペクトル領域表現は、TCX20フレームを含み、第2のチャネルの第2のスペクトル領域表現は、TCX10サブフレーム及び2つのTCX5サブフレームを含み、重み値推定器(100)は、2つのTCX5サブフレームからの第1の結合TCX10スペクトル領域表現を計算し、第1の結合TCX10スペクトル領域表現及びTCX10サブフレームからの第2の結合TCX20サブフレームを計算するように構成され、
第1のチャネルの第1のスペクトル領域表現は、TCX10サブフレームを含み、第2のチャネルの第2のスペクトル領域表現は、2つのTCX5サブフレームを含み、重み値推定器(100)は、2つのTCX5サブフレームからの結合TCX10スペクトル領域表現を計算するように構成され、
表現TCX20は、第1の時間長を有する第1の部分を示し、表現TCX10は、第2の時間長を有する第2の部分を示し、表現TCX5は、第3の時間長を有する第3の部分を示し、第1の時間長は第2の時間長又は第3の時間長より長い、又は第2の時間長は、第1の時間長よりも短い又は第2の時間長よりも長く、第3の時間長は第1の時間長より短い又は第2の時間長より短い、実施例18から22のいずれか一項に記載のダウンミキサ。
24.重み値推定器(100)は、以下の式に基づいて第1の方式を適用するように構成され:
Figure 0007416816000030
、又は
重み値推定器(100)は、以下の式に基づいて第2の方式を適用するように構成され:
Figure 0007416816000031

式中、iはスペクトルビン番号を指定し、
Figure 0007416816000032
及び
Figure 0007416816000033
は、第2のチャネルの第2のスペクトル領域表現のサブフレームを指定し、
式中、
Figure 0007416816000034
及び
Figure 0007416816000035
は、結合スペクトル領域表現のスペクトル値を示し、
Figure 0007416816000036
及び
Figure 0007416816000037
は、それぞれ第2のサブフレームk及び第1のサブフレームkからのスペクトル値を示す、実施例18から23のいずれか一項に記載のダウンミキサ。
25.少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、第2の時間分解能は第1の時間分解能とは異なる、又は第2の周波数分解能は第1の周波数分解能とは異なり、
重み値推定器(100)は、第1のスペクトル領域表現を第2の時間分解能又は第2の周波数分解能を有する結合スペクトル領域表現に変換し(132)、結合スペクトル領域表現及び第2のスペクトル領域表現を使用して帯域ごとの重み値を計算する、又は第2のスペクトル領域表現を第1の時間分解能又は第1の周波数分解能を有する結合スペクトル領域表現に変換し、結合スペクトル領域表現及び第1のスペクトル領域表現を使用して帯域ごとの重み値を計算し、又は
少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、第2の時間分解能は、第1の時間分解能とは異なり、又は第2の周波数分解能は、第1の周波数分解能とは異なり、
重み値推定器(100)は、
第1のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第1の結合スペクトル領域表現に変換(132)し、
第3の時間分解能は、第1の時間分解能又は第2の時間分解能とは異なり、第3の周波数分解能は、第1の周波数分解能又は第2の周波数分解能とは異なり、
第2のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第2の結合スペクトル領域表現に変換(132)し、
第1の結合スペクトル領域表現及び第2の結合スペクトル領域表現を使用して、帯域ごとの重み値を計算する(134)ように構成される、実施例1に記載のダウンミキサ。
26.第2のチャネルは、特定の時間部分(TCX20)について、第2のスペクトル領域表現を含み、
第1のチャネルは、特定の時間部分(2xTCX10)について、2つ以上の第1のスペクトル領域表現を含み、
重み値推定器(100)は、2つ以上の第1のスペクトル領域表現を、第2のスペクトル領域表現と同じ時間分解能及び周波数分解能を有する結合スペクトル領域表現に変換し、結合スペクトル領域表現及び第2のスペクトル領域表現を使用して帯域ごとの重み値を計算するように構成され、
スペクトル重み付け器(200)は、帯域ごとの重み値を使用して第2のスペクトル領域表現に重み付けし、同じ帯域ごとの重み値を使用して2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現に重み付けするように構成される、実施例25に記載のダウンミキサ。
27.重み値推定器(100)は、2つ以上の第1のスペクトル領域表現の同じ周波数のスペクトル値を加算して、結合スペクトル領域表現の第1のスペクトル値を取得し、2つ以上の第1のスペクトル領域表現の同じ周波数のスペクトル値を減算して、結合スペクトル領域表現の第1のスペクトル値の周波数がより高く、隣接している結合スペクトル領域表現の第2のスペクトル値を取得するように構成され、
スペクトル重み付け器(200)は、同じ帯域ごとの重み値を使用して、2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現において同じ周波数を有する帯域に重み付けするように構成されている、実施例26に記載のダウンミキサ。
28.第2のチャネルは、特定の時間部分(TCX20)について、第2のスペクトル領域表現を含み、
第1のチャネルは、特定の時間部分(2xTCX10)について、2つ以上の第1のスペクトル領域表現を含み、
重み値推定器(100)は、
第2のスペクトル領域表現を、2つ以上の第1のスペクトル領域表現と同じ時間分解能及び周波数分解能を有する2つ以上の結合スペクトル領域表現に変換し、
2つ以上の結合スペクトル領域表現の第1の結合スペクトル領域表現と、2つ以上の第1のスペクトル領域表現の第1の第1のスペクトル領域表現とを使用して、第1の帯域ごとの重み値を計算し、
2つ以上の結合スペクトル領域表現の第2の結合スペクトル領域表現と、2つ以上の第1のスペクトル領域表現の第2の第1のスペクトル領域表現とを使用して、第2の帯域ごとの重み値を計算する
ように構成され、
スペクトル重み付け器(200)は、
第1及び第2の帯域ごとの重み値から導出された(136)、導出された帯域ごとの重み値を使用して、第2のスペクトル領域表現に重み付けし、
第1の帯域ごとの重み値を使用して、2つ以上の第1のスペクトル領域表現の第1の第1のスペクトル領域表現に重み付けし、
第2の帯域ごとの重み値を使用して、2つ以上の第1のスペクトル領域表現の第2の第1のスペクトル領域表現に重み付けする
ように構成される、実施例25に記載のダウンミキサ。
29.重み値推定器(100)は、第2のスペクトル領域表現の周波数対のスペクトル値を加算して加算スペクトル値を取得し、加算スペクトル値にコピーして、2つ以上の結合スペクトル領域表現の各々の結合スペクトル値を取得するように構成され、
スペクトル重み付け器(200)は、第1の帯域ごとの重み値のうちの特定の帯域に対する重み値を、第2の帯域ごとの重み値のうちの特定の帯域に対する重み値と結合して(136)、導出された帯域ごとの重み値のうちの特定の帯域に対する導出された重み値を取得するように構成されている、実施例28に記載のダウンミキサ。
30.第2のチャネルは、特定の時間部分(TCX20)について、第2のスペクトル領域表現を含み、
第1のチャネルは、特定の時間部分(2xTCX10)について、2つ以上の第1のスペクトル領域表現を含み、
重み値推定器(100)は、
第2のスペクトル領域表現を、2つ以上の第1のスペクトル領域表現と同じ時間分解能を有し、第2のスペクトル領域表現と同じ周波数分解能を有する2つ以上の結合スペクトル領域表現に変換し、
2つ以上の結合スペクトル領域表現の第1の結合スペクトル領域表現と、2つ以上の第1のスペクトル領域表現の第1の第1のスペクトル領域表現とを使用して、第1の帯域ごとの重み値を計算し、
2つ以上の結合スペクトル領域表現の第2の結合スペクトル領域表現と、2つ以上の第1のスペクトル領域表現の第2の第1のスペクトル領域表現とを使用して、第2の帯域ごとの重み値を計算する
ように構成され、
スペクトル重み付け器(200)は、
第1及び第2の帯域ごとの重み値から導出された(136)、帯域ごとの重み値を使用して、第2のスペクトル領域表現に重み付けし、
第1の帯域ごとの重み値を使用して、2つ以上の第1のスペクトル領域表現の第1の第1のスペクトル領域表現に重み付けし、
第2の帯域ごとの重み値を使用して、2つ以上の第1のスペクトル領域表現の第2の第1のスペクトル領域表現に重み付けする
ように構成される、実施例25に記載のダウンミキサ。
31.重み値推定器(100)は、1つ以上のスペクトル値をアップサンプリングして第2のスペクトル領域表現の隣接周波数に対するアップサンプリングされたスペクトル値を取得し、アップサンプリングされたスペクトル値にコピーして、2つ以上の結合スペクトル領域表現の各々の結合スペクトル値を取得するように構成され、
スペクトル重み付け器(200)は、第1の帯域ごとの重み値のうちの特定の帯域に対する重み値を、第2の帯域ごとの重み値のうちの特定の帯域に対する重み値と結合して(136)、導出された帯域ごとの重み値のうちの特定の帯域に対する導出された重み値を取得するように構成されている、実施例30に記載のダウンミキサ。
32.第2のチャネルは、特定の時間部分(TCX20)について、第2のスペクトル領域表現を含み、
第1のチャネルは、特定の時間部分(2xTCX10)について、2つ以上の第1のスペクトル領域表現を含み、
重み値推定器(100)は、2つ以上の第1のスペクトル領域表現を、第2のスペクトル領域表現と同じ時間分解能を有する第1の結合スペクトル領域表現に変換し、
第2のスペクトル領域表現を2つ以上の第1のスペクトル領域表現と同じ周波数分解能を有する第2の結合スペクトル領域表現に変換し、
第1の結合スペクトル領域表現及び第2の結合スペクトル領域表現を使用して帯域ごとの重み値を計算するように構成され、
スペクトル重み付け器(200)は、帯域ごとの重み値を使用して第2のスペクトル領域表現に重み付けし、同じ帯域ごとの重み値を使用して2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現に重み付けするように構成される、実施例25に記載のダウンミキサ。
33.重み値推定器(100)は、第2のスペクトル領域表現の周波数対のスペクトル値を加算して、第2の結合スペクトル領域表現を取得し、2つ以上の第1のスペクトル領域表現の同じ周波数のスペクトル値を加算して、第1の結合スペクトル領域表現を取得するように構成され、
スペクトル重み付け器(200)は、同じ帯域ごとの重み値を使用して、2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現において同じ周波数を有する帯域に重み付けするように構成される、実施例32に記載のダウンミキサ。
34.重み値推定器(100)は、第1のチャネルの第1のスペクトル領域表現の少なくとも2つのスペクトル値、第2のチャネルの第2のスペクトル領域表現のスペクトル値、第1のスペクトル領域表現又は第2のスペクトル領域表現のスペクトル値から導出された単一の結合スペクトル領域表現のスペクトル値、第1のスペクトル領域表現のスペクトル値から導出された第1の結合スペクトル領域表現のスペクトル値から導出された第1の結合スペクトル領域表現のスペクトル値、及び第2のスペクトル領域表現のスペクトル値から導出された第2の結合スペクトル領域表現のスペクトル値に依存する第1の計算規則を使用して、少なくとも2つのチャネルの第1のチャネルの複数の帯域について複数の第1の帯域ごとの重み値を計算するように構成され、
重み値推定器(100)は、少なくとも2つの複数の第1の帯域ごとの重み値、第1のチャネルの第1のスペクトル領域表現のスペクトル値、第2のチャネルの第2のスペクトル領域表現のスペクトル値、第1のスペクトル領域表現又は第2のスペクトル領域表現のスペクトル値から導出された単一の結合スペクトル領域表現のスペクトル値、第1のスペクトル領域表現のスペクトル値から導出された第1の結合スペクトル領域表現のスペクトル値、及び第2のスペクトル領域表現のスペクトル値から導出された第2の結合スペクトル領域表現のスペクトル値に依存する第2の計算規則を使用して、少なくとも2つのチャネルの第1のチャネルの複数の帯域について複数の第2の帯域ごとの重み値を計算するように構成され、第2の計算規則は第1の計算規則とは異なる、実施例1から33のいずれか一項に記載のダウンミキサ。
35.少なくとも2つのサブフレームを含むチャネルのスペクトル領域表現のスペクトル分解能を変換する装置であって、各サブフレームは、時間ビンサイズ及び周波数ビンサイズを表す複数のスペクトル値を含み、
結合スペクトル値の第1のグループを取得するために、第1の方式でスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合し(170)、
結合スペクトル値の第2のグループを取得するために、第2の方式でスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合する(180)ためのスペクトル値計算機(160)であって、第2の方式は第1の方式とは異なり、結合スペクトル値の第1のグループ及び結合スペクトル値の第2のグループは、異なる時間ビンサイズ及び異なる周波数ビンサイズを有する結合スペクトル領域表現を表す、スペクトル値計算機(160)
を含む、装置。
36.スペクトル値計算機(160)は、第1の方式で加算及び減算の一方を実行し、第2の方式で加算及び減算の他方を実行するように構成される、実施例35に記載の装置。
37.スペクトル値計算機(160)は、第1の方式及び第2の方式で平均関数を実行するように構成される、実施例35又は36に記載の装置。
38.スペクトル値計算機(160)は、重み付け符号を使用する重み付けを含む第1の方式又は第2の方式のいずれかを適用するように構成され、スペクトル値計算機(160)は、同じ周波数ビンの周波数ビン番号に従って重み付け符号を設定するように構成される、実施例35から37のいずれか一項に記載の装置。
39.スペクトル値計算機(160)は、第1の方式として、ハイパスフィルタリング及びローパスフィルタリングの一方を適用し、第2の方式として、ハイパスフィルタリング及びローパスフィルタリングの他方を適用するように構成される、実施例35から38のいずれか一項に記載の装置。
40.スペクトル値計算機(160)は、より低い分解能ビンを2つのより高い分解能ビンに変換するように構成され、第1の方式は偶数ビン番号に使用され、第2の方式は奇数ビン番号に使用される、実施例35から39のいずれか一項に記載の装置。
41.第1のチャネルの第1のスペクトル領域表現はTCX20フレームを含み、チャネルのスペクトル領域表現は2つのTCX10サブフレームを含み、スペクトル値計算機は、2つのTCX10サブフレームからの結合TCX20スペクトル領域表現を計算するように構成される、又は
第1のチャネルの第1のスペクトル領域表現は、TCX20フレームを含み、チャネルのスペクトル領域表現は、TCX10サブフレーム及び2つのTCX5サブフレームを含み、スペクトル値計算機(160)は、2つのTCX5サブフレームからの第1の結合TCX10スペクトル領域表現を計算し、第1の結合TCX10スペクトル領域表現及びTCX10サブフレームからの第2の結合TCX20サブフレームを計算するように構成され、
第1のチャネルの第1のスペクトル領域表現は、TCX10サブフレームを含み、チャネルのスペクトル領域表現は、2つのTCX5サブフレームを含み、スペクトル値計算機(160)は、2つのTCX5サブフレームからの結合TCX10スペクトル領域表現を計算するように構成され、
表現TCX20は、第1の時間長を有する第1の部分を示し、表現TCX10は、第2の時間長を有する第2の部分を示し、表現TCX5は、第3の時間長を有する第3の部分を示し、第1の時間長は第2の時間長又は第3の時間長より長い、又は第2の時間長は、第1の時間長よりも短い又は第2の時間長よりも長く、第3の時間長は第1の時間長より短い又は第2の時間長より短い、実施例35から40のいずれか一項に記載の装置。
42.スペクトル値計算機(160)は、以下の式に基づいて第1の方式を適用するように構成され:
Figure 0007416816000038
、又は
スペクトル値計算機は、以下の式に基づいて第2の方式を適用するように構成され:
Figure 0007416816000039

式中、iはスペクトルビン番号並びにチャネルのスペクトル領域表現のサブフレーム
Figure 0007416816000040
及び
Figure 0007416816000041
を指定し、
式中、
Figure 0007416816000042
及び
Figure 0007416816000043
は、結合スペクトル領域表現のスペクトル値を示し、
Figure 0007416816000044
及び
Figure 0007416816000045
は、それぞれ第2のサブフレームk及び第1のサブフレームkからのスペクトル値を示す、実施例35から41のいずれか一項に記載の装置。
43.符号化又は復号又は処理されたオーディオ信号の計算において、異なる時間ビンサイズ及び異なる周波数ビンサイズを有する結合スペクトル領域表現を使用するための信号計算機(500、190、220)を更に備える、実施例35から42のいずれか一項に記載の装置。
44.スペクトル値計算機(160)は、第1のスペクトル分解能を有するスペクトル領域表現を受け取り、第1のスペクトル分解能とは異なる第2のスペクトル分解能を有する変換スペクトル領域表現を生成するように構成され、
装置は、
変換されたスペクトル領域表現を処理して、第2の分解能を有する処理されたスペクトル領域表現を取得するための第1のスペクトルプロセッサ(500)、又は
変換されたスペクトル領域表現から処理データを計算するための処理データ計算機(190)と、スペクトル領域表現を処理して、第1の分解能を有する処理済みスペクトル領域表現を取得するための第2のスペクトルプロセッサ(220)とを更に含む、実施例35から43のいずれか一項に記載の装置。
45.第1のスペクトルプロセッサ(500)は、処理において、第2のスペクトル分解能を有する更なるスペクトル領域表現を使用するように構成されており、又は、
第2のスペクトルプロセッサ(220)は、処理において、第1のスペクトル分解能を有する更なるスペクトル領域表現を使用するように構成される、実施例44に記載の装置。
46.少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするためのダウンミキサであって、
少なくとも2つのチャネルの帯域ごとの重み値を推定するための重み値推定器(100)であって、重み値推定器(100)は、帯域ごとの目標エネルギー値に基づいて帯域ごとの重み値を計算し、その結果、ダウンミックス信号の帯域におけるエネルギーが少なくとも2つのチャネルの同じ帯域におけるエネルギーと所定の関係にあるように構成される、重み値推定器(100)と、
帯域ごとの重み値を使用して少なくとも2つのチャネルのスペクトル領域表現を重み付けして、重み付けされたスペクトル領域表現を取得するためのスペクトル重み付け器(200)と、
少なくとも2つのチャネルの重み付けされたスペクトル領域表現を使用してダウンミックス信号を計算するためのミキサ(400)と
を備える、ダウンミキサ。
47.スペクトル領域表現は純実数又は純虚数のいずれかであり、
重み値推定器(100)は、スペクトル領域表現が純実数である場合、虚数スペクトル領域表現を推定する(140)、又はスペクトル領域表現が純虚数である場合、実数スペクトル領域表現を推定する(140)ように構成され、
重み値推定器(100)は、推定された虚数スペクトル領域表現又は推定された実数ペクトル領域表現を使用して帯域ごとの重み値を推定するように構成される、実施例46に記載のダウンミキサ。
48.重み値推定器(100)は、少なくとも2つのチャネルのうちの第1のチャネルの帯域に対する第1の重み値を計算し、少なくとも2つのチャネルのうちの第2のチャネルの帯域に対する第2の重み値を計算し、帯域内の第1のチャネルのエネルギーと、帯域内の第2のチャネルのエネルギーと、帯域内の少なくとも2つのチャネルからのスペクトル値の積(148)又は線形結合(146)に依存する混合項とを用いて(142)、第1の重み値及び第2の重み値を計算するように構成される、実施例46又は47に記載のダウンミキサ。
49.重み値推定器(100)は、線形結合(146)を表す混合項として、少なくとも2つのチャネルのスペクトル領域表現から帯域内で互いに加算されたスペクトル値のエネルギーの平方根を計算するように構成され、帯域は複数のスペクトル値を含むか、又は、積(148)を表す混合項として、少なくとも2つのチャネルのうちの第1のチャネルの帯域内のスペクトル値と第2のチャネルの帯域内のスペクトル値との間の複素ドット積の絶対値を計算するように構成される、実施例46から48のいずれか一項に記載のダウンミキサ。
50.少なくとも2つのチャネルのうちの第1及び第2のチャネルの各帯域は複数のスペクトル値を有し、スペクトル重み付け器(200)は、少なくとも2つのチャネルのうちの一方の帯域の各スペクトル値に同じ重みを適用し、少なくとも2つのチャネルのうちの別のチャネルの帯域の各スペクトル値に別の重みを適用するように構成される、実施例46から49のいずれか一項に記載のダウンミキサ。
51.重み値推定器(100)は、以下の式に基づいて、少なくとも2つのチャネルのうちの第1のチャネルの帯域ごとの重み値を計算する(150)ように構成され、
Figure 0007416816000046
式中、wは、帯域の第1のチャネルの重み係数であり、
Figure 0007416816000047
は、第2のチャネルの推定電力であり、
Figure 0007416816000048
は、帯域の第1のチャネルの推定電力であり、
Figure 0007416816000049
は、帯域のチャネル間の推定ドット積であり、
Figure 0007416816000050
は、帯域の第2のチャネルの推定振幅であり、
Figure 0007416816000051
は、帯域の第1のチャネルの推定振幅である、実施例46から50のいずれか一項に記載のダウンミキサ。
52.重み値推定器(100)は、以下の式に基づいて、少なくとも2つのチャネルのうちの第2のチャネルの帯域ごとの重み値を計算する(152)ように構成され、
Figure 0007416816000052
式中、wは、帯域の第2のチャネルの重み係数であり、
Figure 0007416816000053
は、帯域の第1のチャネル及び第2のチャネルの推定振幅の推定線形結合である、実施例51に記載のダウンミキサ。
53.重み値推定器(100)は、帯域内の第2のチャネルの推定振幅を計算し(144)、次の式に基づいて帯域内の第1のチャネルの推定振幅を計算するように構成される:
Figure 0007416816000054
、又は、
重み値推定器(100)は、次の式に基づいて、帯域内の第1のチャネル及び第2のチャネルの推定振幅の推定線形結合を計算(146)するように構成される:
Figure 0007416816000055
、又は、
重み値推定器(100)は、次の式に基づいて、帯域内のチャネル間の推定ドット積を計算する(148)ように構成される:
Figure 0007416816000056
、又は、
重み値推定器(100)は、次の式に基づいて、帯域内の第2のチャネルの推定電力又は帯域内の第1のチャネルの推定電力を計算する(142)ように構成される:
Figure 0007416816000057
式中、iはスペクトル帯域
Figure 0007416816000058
内のビン番号を指定し、
Figure 0007416816000059
は、MDCTビンiの推定虚数部を表し、
Figure 0007416816000060
は、第1のチャネル又は第2のチャネルのスペクトル領域表現に含まれるMDCTビンiの実数部を表し、rは第1のチャネルを表し、lは第2のチャネルを表す、実施例50から52のいずれか一項に記載のダウンミキサ。
54.少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、第2の時間分解能は第1の時間分解能とは異なり、第2の周波数分解能は第1の周波数分解能(130)とは異なり、
重み値推定器(100)は、第1のスペクトル領域表現を第2の時間分解能又は第2の周波数分解能を有する結合スペクトル領域表現に変換し(132)、結合スペクトル領域表現及び第2のスペクトル領域表現を使用して帯域ごとの重み値(134)を計算する、又は第2のスペクトル領域表現を第1の時間分解能又は第1の周波数分解能を有する結合スペクトル領域表現に変換し(132)、結合スペクトル領域表現及び第1のスペクトル領域表現を使用して帯域ごとの重み値を計算し(134)、又は
少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、第2の時間分解能は、第1の時間分解能とは異なり、第2の周波数分解能は、第1の周波数分解能(130)とは異なり、
重み値推定器(100)は、
第1のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第1の結合スペクトル領域表現に変換(132)し、
第3の時間分解能は、第1の時間分解能又は第2の時間分解能とは異なり、第3の周波数分解能は、第1の周波数分解能又は第2の周波数分解能とは異なり、
第2のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第2の結合スペクトル領域表現に変換(132)し、
第1の結合スペクトル領域表現及び第2の結合スペクトル領域表現を使用して、帯域ごとの重み値を計算する(134)ように構成される、実施例46から53のいずれか一項に記載のダウンミキサ。
55.スペクトル重み付け器(200)は、少なくとも2つのチャネルのスペクトル領域表現として、結合スペクトル領域表現及び第2のスペクトル領域表現、結合スペクトル領域表現及び第1のスペクトル領域表現、並びに第1の結合スペクトル領域表現及び第2の結合スペクトル領域表現のうちの一方を重み付けして、第1の重み付けされたスペクトル領域表現及び第2の重み付けされたスペクトル領域表現を取得するように構成される、実施例54に記載のダウンミキサ。
56.ミキサ(400)は、第1の重み付けされたスペクトル領域表現と第2の重み付けされたスペクトル領域表現とを加算してスペクトル領域ダウンミックス表現を取得し、時間領域内のスペクトル領域ダウンミックス表現を変換してダウンミックス信号を取得する、又は第1の重み付けされたスペクトル領域表現及び第2の重み付けされたスペクトル領域表現を時間領域に変換して少なくとも2つのチャネルの時間表現を取得し、少なくとも2つのチャネルの時間表現を加算してダウンミックス信号を取得するように構成される、実施例55に記載のダウンミキサ。
57.少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするための方法であって、
少なくとも2つのチャネルの帯域ごとの重み値を推定することと、
帯域ごとの重み値を使用して少なくとも2つのチャネルのスペクトル領域表現を重み付けすることと、
少なくとも2つのチャネルの重み付けされたスペクトル領域表現を少なくとも2つのチャネルの時間表現に変換することと、
ダウンミックス信号を取得するために少なくとも2つのチャネルの時間表現を混合することと
を含む、方法。
58.少なくとも2つのサブフレームを含むチャネルのスペクトル領域表現のスペクトル分解能を変換する方式であって、各サブフレームは、時間ビンサイズ及び周波数ビンサイズを表す複数のスペクトル値を含み、
結合スペクトル値の第1のグループを取得するために、第1の方式でスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合することと、
結合スペクトル値の第2のグループを取得するために、第2の方式でスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合することであって、第2の方式は第1の方式とは異なり、結合スペクトル値の第1のグループ及び結合スペクトル値の第2のグループは、異なる時間ビンサイズ及び異なる周波数ビンサイズを有する結合スペクトル領域表現を表す、ことと
を含む、方法。
59.少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするための方法であって、
少なくとも2つのチャネルの帯域ごとの重み値を推定することであって、帯域ごとの目標エネルギー値に基づいて帯域ごとの重み値を計算し、その結果、ダウンミックス信号の帯域におけるエネルギーが少なくとも2つのチャネルの同じ帯域におけるエネルギーと所定の関係にあることを含む、ことと、
帯域ごとの重み値を使用して少なくとも2つのチャネルのスペクトル領域表現を重み付けして、重み付けされたスペクトル領域表現を取得することと、
少なくとも2つのチャネルの重み付けされたスペクトル領域表現を使用してダウンミックス信号を計算することと
を含む、方法。
60.コンピュータ又はプロセッサを実行するときに、実施例57又は58又は59に記載の方法を実行するためのコンピュータプログラム。
本明細書では、前述の全ての代替形態又は態様、及び以下の特許請求の範囲における独立請求項によって定義される全ての態様は、個別に、すなわち、企図される代替形態、目的又は独立請求項以外の代替形態又は目的なしに使用することができることに留意されたい。しかしながら、他の実施形態では、2つ以上の代替形態又は態様又は独立請求項を互いに結合することができ、他の実施形態では、全ての態様又は代替形態及び全ての独立請求項を互いに結合することができる。
本発明の符号化されたオーディオ信号は、デジタル記憶媒体又は非一時的記憶媒体に記憶することができ、あるいはインターネットなどの無線伝送媒体又は有線伝送媒体などの伝送媒体上で伝送することができる。
いくつかの態様は、装置の文脈で説明されているが、これらの態様は、対応する方法の説明も表しており、ブロック又は装置は、方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップの文脈で説明される態様は、対応するブロック又は対応する装置のアイテム又は特徴の記述も表す。
特定の実装要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアで実装することができる。実施形態は、中に格納される電子的に読み取り可能な制御信号を有し、各方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働可能な)、例えばフロッピーディスク、DVD、CD、ROM、PROM、EPROM、EEPROM又はフラッシュメモリなどのデジタル記憶媒体を使用して実行することができる。
本発明によるいくつかの実施形態は、プログラム可能なコンピュータシステムと協働して、本明細書に記載の方法の1つが実行されるような、電子的に読み取り可能な制御信号を有するデータキャリアを備える。
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するときに、本方法の1つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば、機械読み取り可能なキャリアに格納することができる。
他の実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを含み、機械読み取り可能なキャリア、又は非一時的記憶媒体に格納される。
換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法の更なる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを含み、そこに記録される、データキャリア(又はデジタル記憶媒体又はコンピュータ可読媒体)である。
したがって、本発明の方法の更なる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリーム又は信号のシーケンスである。データストリーム又は信号のシーケンスは、例えば、データ通信接続、例えばインターネットを介して転送されるように構成することができる。
更なる実施形態は、本明細書に記載の方法のうちの1つを実行するように構成された、又は適用される処理手段、例えばコンピュータ又はプログラマブル論理装置を含む。
更なる実施形態は、本明細書で説明される方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
いくつかの実施形態では、プログラマブルロジック装置(例えば、フィールドプログラマブルゲートアレイ)を使用して、本明細書に記載の方法の機能の一部又は全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明する方法の1つを実行するためにマイクロ処理部と協働することができる。一般に、これらの方法は、好ましくは、任意のハードウェア装置によって実行される。
上述の実施形態は、本発明の原理の単なる例示である。本明細書に記載された構成及び詳細の修正及び変形は、他の当業者には明らかであることが理解される。したがって、本明細書の実施形態の説明及び説明として提示された特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ限定されることが意図される。
参考文献
[1]ITU-R BS.775-2、Multichannel Stereophonic Sound System with And Without Accompanying Picture、2006年7月。
[2]F.Baumgarte,C.Faller und P.Kroon、「Audio Coder Enhancement using Scalable Binaural Cue Coding with Equalized Mixing」、116th Convention of the AES、ベルリン、2004年。
[3]G.Stoll,J.Groh,M.Link,J.Deigmoller, B.Runow,M.Keil,R.Stoll,M.Stoll and C.Stoll,’’Method for Generating a Downward-Compatible Sound Format’’。米国特許第2012/0014526号、2012年。
[4]M.Kim、E.Oh及びH.Shim、「Stereo audio coding improved by phase parameters」、129 Convention of the AES、サンフランシスコ、2010年。
[5]A.Adami、E.Habets、及びJ.Herre、「Down-mixing using coherence suppression」、IEEE International Conference on Acoustics、Speech and Signal Processing、フィレンツェ、2014年。
[6]ISO/IEC 23008-3:、Information technology-High efficiency coding and media delivery in heterogeneous environments-Part 3:3D audio、2019年。
[7]S.Bayer,C.Borsz、J.Buthe,S.Disch,B.Edler,G.Fuchs,F.ghido and M.Multrus,「DOWNMIXER AND METHOD FOR DOWNMIXING AT LEAST TWO CHANNELS AND MULTICHANNEL ENCODER AND MULTICHANNEL DECODER」。国際公開第2018086946号
[8]3GPP TS 26.445、Codec for Enhanced Voice Services(EVS);Detailed algorithmic description。
[9]S.Chen、H.Ruimin、及びS.Zhang、「Estimating spatial cues for audio coding in MDCT domain」、IEEE International Conference on Multimedia and Expo、ニューヨーク、2009年。

Claims (49)

  1. 少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするためのダウンミキサであって、
    前記少なくとも2つのチャネルの帯域ごとの重み値を推定するための重み値推定器(100)と、
    前記帯域ごとの重み値を使用して前記少なくとも2つのチャネルのスペクトル領域表現を重み付けするためのスペクトル重み付け器(200)であって、記少なくとも2つのチャネルのうちの第1のチャネル及び前記少なくとも2つのチャネルのうちの第2のチャネルの各帯域は複数のスペクトル値を有し、前記スペクトル重み付け器(200)は、前記少なくとも2つのチャネルのうちの一方の前記帯域の各スペクトル値に同じ重みを適用し、前記少なくとも2つのチャネルのうちの別のチャネルの前記帯域の各スペクトル値に別の重みを適用するように構成されるスペクトル重み付け器(200)と、
    前記少なくとも2つのチャネルの重み付けされたスペクトル領域表現を前記少なくとも2つのチャネルの時間表現に変換する変換器(300)と、
    ダウンミックス信号を取得するために前記少なくとも2つのチャネルの前記時間表現を混合するためのミキサ(400)と
    を備える、ダウンミキサ。
  2. 前記重み値推定器(100)は、前記少なくとも2つのチャネルのうちの第1のチャネルの複数の帯域について複数の第1の帯域ごとの重み値を計算し、前記少なくとも2つのチャネルのうちの第2のチャネルの前記複数の帯域について複数の第2の帯域ごとの重み値を計算するように構成される、請求項1に記載のダウンミキサ。
  3. 前記マルチチャネル信号は2つを超えるチャネルを有し、前記重み値推定器(100)は、前記2つを超えるチャネルのうちの第1のチャネルの複数の帯域について複数の第1の帯域ごとの重み値を計算し、前記2つを超えるチャネルのうちの第2のチャネルの前記複数の帯域について複数の第2の帯域ごとの重み値を計算し、前記2つを超えるチャネルのうちの更なるチャネルの前記複数の帯域について複数の更なる帯域ごとの重み値を計算するように構成される、請求項1に記載のダウンミキサ。
  4. 前記少なくとも2つのチャネルの前記スペクトル領域表現は各々、周波数ビンのセットを含み、スペクトル値は前記周波数ビンに関連付けられ、
    前記重み値推定器(100)は、帯域に対する前記帯域ごとの重み値を計算するように構成され、各帯域は、1つ、2つ、若しくはそれ以上の周波数ビンを含み、又は
    帯域当たりの周波数ビンの数は、より高い中心周波数を有する帯域と共に増加する、請求項1又は2又は3に記載のダウンミキサ。
  5. 前記重み値推定器(100)は、帯域当たりの目標エネルギー値に基づいて前記帯域ごとの重み値を計算し、その結果、前記ダウンミックス信号の前記帯域におけるエネルギーが、前記少なくとも2つのチャネルの同じ帯域におけるエネルギーに対して所定の関係にあるように構成される、請求項1から4のいずれか一項に記載のダウンミキサ。
  6. 符号化された信号を復号するためのコアデコーダ(500)であって、前記符号化された信号は、少なくとも2つの元のチャネルの符号化されたスペクトル領域表現を有し、前記コアデコーダは、前記符号化されたスペクトル領域表現から前記スペクトル領域表現を生成するように構成される、コアデコーダ(500)
    を更に備える、請求項1から5のいずれか一項に記載のダウンミキサ。
  7. 前記スペクトル領域表現は純実数又は純虚数のいずれかであり、
    前記重み値推定器(100)は、前記スペクトル領域表現が純実数である場合、虚数スペクトル領域表現を推定(120、122)する、又は前記スペクトル領域表現が純虚数である場合、実数スペクトル領域表現を推定するように構成され、
    前記重み値推定器(100)は、推定された前記虚数スペクトル領域表現又は推定された前記実数スペクトル領域表現を使用して前記帯域ごとの重み値を推定するように構成される、請求項1から6のいずれか一項に記載のダウンミキサ。
  8. 前記重み値推定器(100)は、前記少なくとも2つのチャネルのうちの第1のチャネルの帯域に対する第1の重み値を計算するように構成され、
    前記重み値推定器(100)は、前記少なくとも2つのチャネルのうちの第2のチャネルの前記帯域に対する第2の重み値を計算するように構成され、
    前記重み値推定器(100)は、前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネルのエネルギーと、前記帯域内の前記少なくとも2つのチャネルのうちの前記第2のチャネルのエネルギーと、前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネルおよび前記帯域内の前記少なくとも2つのチャネルのうちの前記第2のチャネルからのスペクトル値の積又は線形結合に依存する混合項とを用いて、前記第1の重み値及び前記第2の重み値を計算するように構成される、請求項1に記載のダウンミキサ。
  9. 前記重み値推定器(100)は、前記線形結合に依存する前記混合項として、前記少なくとも2つのチャネルの前記スペクトル領域表現から前記帯域内で互いに加算されたスペクトル値のエネルギーの平方根を計算するように構成され、前記帯域は複数のスペクトル値を含むか、又は、前記積に依存する前記混合項として、前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記帯域内の前記スペクトル値と前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記帯域内の前記スペクトル値との間の複素ドット積の絶対値を計算するように構成される、請求項に記載のダウンミキサ。
  10. 前記重み付けされたスペクトル領域表現はMDCT(修正離散コサイン変換)スペクトルであり、
    前記変換器(300)は、前記複数のチャネルの各チャネルについて、合成窓がけ演算及び重畳加算演算を使用して逆MDCT変換を実行するように構成される、請求項1から9のいずれか一項に記載のダウンミキサ。
  11. 前記ミキサ(400)は、前記少なくとも2つのチャネルの前記時間表現のサンプルごとの加算を適用するように構成されるか、又は
    前記ミキサ(400)は、前記少なくとも2つのチャネルの前記時間表現のサンプルごとの加算と、前記サンプルごとの加算の結果に適用される、又は前記サンプルごとの加算への入力に適用されるスケーリング動作とを適用するように構成される、請求項1から10のいずれか一項に記載のダウンミキサ。
  12. 前記変換器(300)は、スペクトル-時間アルゴリズムを使用して生の時間表現を生成し(310)、
    前記時間表現を取得するために前記少なくとも2つのチャネルのための別個の制御情報を使用して、前記生の時間表現を個別に後処理する(320)ように構成され、
    前記後処理(320)操作によって得られた前記時間表現は、前記ミキサ(400)に入力される、請求項1から11のいずれか一項に記載のダウンミキサ。
  13. 前記変換器(300)は、前記後処理(320)として、バス・ポストフィルタリング、TCX-LTP(Transform Coded Excitation Long Term Prediction)処理、又はLPC(Linear Prediction Coding)合成を各時間表現について個別に実行するように構成される、請求項12に記載のダウンミキサ。
  14. 前記少なくとも2つのチャネルのうちの第1のチャネルの第1のスペクトル領域表現は、第1の時間又は周波数分解能を有し、
    前記少なくとも2つのチャネルのうちの第2のチャネルの第2のスペクトル領域表現は、第2の時間又は周波数分解能を有し、前記第2の時間又は周波数分解能は、前記第1の時間又は周波数分解能とは異なり、
    前記重み値推定器(100)は、前記帯域ごとの重み値に関連付けられた前記帯域の周波数分解能が、前記第1の周波数分解能及び前記第2の周波数分解能よりも低くなるように、又は前記第1の周波数分解能及び前記第2の周波数分解能のうちの低い方の周波数分解能と等しくなるように、前記帯域ごとの重み値を計算するように構成される、請求項1に記載のダウンミキサ。
  15. 前記第1のスペクトル領域表現は、帯域内の第1の複数のスペクトル値を有し、
    前記第2のスペクトル領域表現は、前記帯域内の第2の複数のスペクトル値を有し、前記第2の複数のスペクトル値は前記第1の複数のスペクトル値よりも高く、
    前記重み値推定器(100)は、
    前記第2の複数のスペクトル値のうちの2つ以上のスペクトル値を結合するか、又は前記第2の複数のスペクトル値からスペクトル値のサブセットを選択して、
    前記2つ以上のスペクトル値を結合した結果を使用して、又は前記スペクトル値のサブセットを使用して、前記帯域内の前記少なくとも2つのチャネルからのスペクトル値の積又は線形結合に依存する混合項を計算し、
    前記混合項を使用して前記帯域ごとの重み値を計算するように構成される、請求項14に記載のダウンミキサ。
  16. 第1のスペクトル領域表現は、第1の時間ビンサイズ及び第1の周波数ビンサイズを表す複数の第1のスペクトル値を含み、
    第2のスペクトル領域表現は、第2の時間ビンサイズ及び第2の周波数ビンサイズを表す複数のスペクトル値を含み、
    前記第1の時間ビンサイズは前記第2の時間ビンサイズよりも大きいか、又は前記第1の周波数ビンサイズは前記第2の周波数ビンサイズよりも小さく、
    前記重み値推定器(100)は、前記第1のスペクトル領域表現からの複数のスペクトル値を結合して、結合された周波数ビンサイズが前記第2の周波数ビンサイズに等しい第1の結合スペクトル領域表現を取得するか、又は前記第2のスペクトル領域表現からの複数のスペクトル値を結合して、結合された時間ビンサイズが前記第1の時間ビンサイズに等しい第1の結合スペクトル領域表現を取得するように構成される、請求項1に記載のダウンミキサ。
  17. 前記重み値推定器(100)は、前記少なくとも2つのチャネルのうちの第1のチャネル及び前記少なくとも2つのチャネルのうちの第2のチャネルの前記帯域ごとの重み値の前記推定のために前記第1の結合スペクトル領域表現又は第2の結合スペクトル領域表現を使用するように構成され、前記推定は、帯域内の混合項の計算と前記帯域内のエネルギーの計算とを含み、
    前記スペクトル重み付け器(200)は、前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記帯域ごとの重み値を、対応する帯域内の前記第1のスペクトル領域表現のスペクトル値に適用し、前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記帯域ごとの重み値を、前記対応する帯域内の前記第2のスペクトル領域表現のスペクトル値に適用するように構成される、請求項16に記載のダウンミキサ。
  18. 前記少なくとも2つのチャネルのうちの第1のチャネルの第1のスペクトル領域表現は、第1の時間ビンサイズ及び第1の周波数ビンサイズを表す複数の第1のスペクトル値を含み、
    前記少なくとも2つのチャネルのうちの第2のチャネルの第2のスペクトル領域表現は少なくとも2つのサブフレームを含み、各サブフレームは、第2の時間ビンサイズ及び第2の周波数ビンサイズを表す複数のスペクトル値を含み、
    前記第1の時間ビンサイズは前記第2の時間ビンサイズよりも大きいか、又は前記第1の周波数ビンサイズは前記第2の周波数ビンサイズよりも小さく、
    前記重み値推定器(100)は、
    結合スペクトル値の第1のグループを取得するために、第1の方式で前記第2のスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合し、
    結合スペクトル値の第2のグループを取得するために、第2の方式で前記第2のスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合し、前記第2の方式は前記第1の方式とは異なり、
    結合スペクトル値の前記第1のグループ及び結合スペクトル値の前記第2のグループは、前記第1の時間ビンサイズ及び前記第1の周波数ビンサイズを有する結合スペクトル領域表現を表し、
    前記帯域ごとの重み値の前記推定のために、前記結合スペクトル領域表現及び前記第1のスペクトル領域表現の前記スペクトル値を使用する
    ように構成される、請求項1に記載のダウンミキサ。
  19. 前記重み値推定器(100)は、前記第1の方式で加算及び減算の一方を実行し、前記第2の方式で前記加算及び前記減算の他方を実行するように構成される、請求項18に記載のダウンミキサ。
  20. 前記重み値推定器(100)は、前記第1の方式及び前記第2の方式で平均関数を実行するように構成される、請求項18又は19に記載のダウンミキサ。
  21. 前記重み値推定器(100)は、重み付け符号を使用する重み付けを含む前記第1の方式又は前記第2の方式のいずれかを適用するように構成され、前記重み値推定器(100)は、前記同じ周波数ビンの周波数ビン番号に従って前記重み付け符号を設定するように構成される、請求項18から20のいずれか一項に記載のダウンミキサ。
  22. 前記重み値推定器(100)は、前記第1の方式として、ハイパスフィルタリング及びローパスフィルタリングの一方を適用し、前記第2の方式として、ハイパスフィルタリング及びローパスフィルタリングの他方を適用するように構成される、請求項18から21のいずれか一項に記載のダウンミキサ。
  23. 前記重み値推定器(100)は、より低い分解能ビンを2つのより高い分解能ビンに変換するように構成され、前記第1の方式は、前記2つのより高い分解能ビンのうちの第1のより高い分解能ビンの偶数ビン番号に使用され、前記第2の方式は、前記2つのより高い分解能ビンのうちの第2のより高い分解能ビンの奇数ビン番号に使用される、請求項18から22のいずれか一項に記載のダウンミキサ。
  24. 前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記第1のスペクトル領域表現はTCX20フレームを含み、前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記第2のスペクトル領域表現は2つのTCX10サブフレームを含み、前記重み値推定器(100)は、前記2つのTCX10サブフレームからの結合TCX20スペクトル領域表現を計算するように構成される、又は
    前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記第1のスペクトル領域表現は、TCX20フレームを含み、前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記第2のスペクトル領域表現は、TCX10サブフレーム及び2つのTCX5サブフレームを含み、前記重み値推定器(100)は、前記2つのTCX5サブフレームからの第1の結合TCX10スペクトル領域表現を計算し、前記第1の結合TCX10スペクトル領域表現及び前記TCX10サブフレームからの第2の結合TCX20サブフレームを計算するように構成され、
    前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記第1のスペクトル領域表現は、TCX10サブフレームを含み、前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記第2のスペクトル領域表現は、2つのTCX5サブフレームを含み、前記重み値推定器(100)は、前記2つのTCX5サブフレームからの結合TCX10スペクトル領域表現を計算するように構成され、
    前記表現TCX20は、第1の時間長を有する第1の部分を示し、前記表現TCX10は、第2の時間長を有する第2の部分を示し、前記表現TCX5は、第3の時間長を有する第3の部分を示し、前記第1の時間長は前記第2の時間長又は前記第3の時間長より長い、又は前記第2の時間長は、前記第1の時間長よりも短い又は前記第2の時間長よりも長く、前記第3の時間長は前記第1の時間長より短い又は前記第2の時間長より短い、請求項18から23のいずれか一項に記載のダウンミキサ。
  25. 前記重み値推定器(100)は、以下の式に基づいて前記第1の方式を適用するように構成され:
    Figure 0007416816000061
    、又は
    前記重み値推定器(100)は、以下の式に基づいて前記第2の方式を適用するように構成され:
    Figure 0007416816000062

    式中、iはスペクトルビン番号を指定し、
    Figure 0007416816000063
    及び
    Figure 0007416816000064
    は、前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記第2のスペクトル領域表現のサブフレームを指定し、
    式中、
    Figure 0007416816000065
    及び
    Figure 0007416816000066
    は、前記結合スペクトル領域表現のスペクトル値を示し、
    Figure 0007416816000067
    及び
    Figure 0007416816000068
    は、それぞれ第2のサブフレームk及び第1のサブフレームkからのスペクトル値を示す、請求項18から24のいずれか一項に記載のダウンミキサ。
  26. 前記少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、前記少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、前記第2の時間分解能は前記第1の時間分解能とは異なる、又は前記第2の周波数分解能は前記第1の周波数分解能とは異なり、
    前記重み値推定器(100)は、前記第1のスペクトル領域表現を前記第2の時間分解能又は前記第2の周波数分解能を有する結合スペクトル領域表現に変換し(132)、前記結合スペクトル領域表現及び前記第2のスペクトル領域表現を使用して前記帯域ごとの重み値を計算する、又は前記第2のスペクトル領域表現を前記第1の時間分解能又は前記第1の周波数分解能を有する結合スペクトル領域表現に変換し、前記結合スペクトル領域表現及び前記第1のスペクトル領域表現を使用して前記帯域ごとの重み値を計算し、又は
    前記少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、前記少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、前記第2の時間分解能は、前記第1の時間分解能とは異なり、又は前記第2の周波数分解能は、前記第1の周波数分解能とは異なり、
    前記重み値推定器(100)は、
    前記第1のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第1の結合スペクトル領域表現に変換(132)し、
    前記第3の時間分解能は、前記第1の時間分解能又は前記第2の時間分解能とは異なり、前記第3の周波数分解能は、前記第1の周波数分解能又は前記第2の周波数分解能とは異なり、
    前記第2のスペクトル領域表現を、前記第3の時間分解能又は前記第3の周波数分解能を有する第2の結合スペクトル領域表現に変換(132)し、
    前記第1の結合スペクトル領域表現及び前記第2の結合スペクトル領域表現を使用して、前記帯域ごとの重み値を計算する(134)ように構成される、請求項1に記載のダウンミキサ。
  27. 前記少なくとも2つのチャネルのうちの前記第2のチャネルは、特定の時間部分(TCX20)について、前記第2のスペクトル領域表現を含み、
    前記少なくとも2つのチャネルのうちの前記第1のチャネルは、前記特定の時間部分(2xTCX10)について、2つ以上の第1のスペクトル領域表現を含み、
    前記重み値推定器(100)は、前記2つ以上の第1のスペクトル領域表現を、前記第2のスペクトル領域表現と同じ時間分解能及び周波数分解能を有する前記結合スペクトル領域表現に変換し、前記結合スペクトル領域表現及び前記第2のスペクトル領域表現を使用して前記帯域ごとの重み値を計算するように構成され、
    前記スペクトル重み付け器(200)は、前記帯域ごとの重み値を使用して前記第2のスペクトル領域表現に重み付けし、同じ帯域ごとの重み値を使用して前記2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現に重み付けするように構成される、請求項26に記載のダウンミキサ。
  28. 前記重み値推定器(100)は、前記2つ以上の第1のスペクトル領域表現の同じ周波数のスペクトル値を加算して、前記結合スペクトル領域表現の第1のスペクトル値を取得し、前記2つ以上の第1のスペクトル領域表現の同じ周波数のスペクトル値を減算して、前記結合スペクトル領域表現の前記第1のスペクトル値の周波数より高く且つ隣接している前記結合スペクトル領域表現の第2のスペクトル値を取得するように構成され、
    前記スペクトル重み付け器(200)は、同じ帯域ごとの重み値を使用して、前記2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現において同じ周波数を有する帯域に重み付けするように構成される、請求項27に記載のダウンミキサ。
  29. 前記少なくとも2つのチャネルのうちの前記第2のチャネルは、特定の時間部分(TCX20)について、前記第2のスペクトル領域表現を含み、
    前記少なくとも2つのチャネルのうちの前記第1のチャネルは、前記特定の時間部分(2xTCX10)について、2つ以上の前記第1のスペクトル領域表現を含み、
    前記重み値推定器(100)は、
    前記第2のスペクトル領域表現を、前記2つ以上の第1のスペクトル領域表現と同じ時間分解能及び周波数分解能を有する2つ以上の結合スペクトル領域表現に変換し、
    前記2つ以上の結合スペクトル領域表現の第1の結合スペクトル領域表現と、前記2つ以上の第1のスペクトル領域表現の第1の第1のスペクトル領域表現とを使用して、第1の帯域ごとの重み値を計算し、
    前記2つ以上の結合スペクトル領域表現の第2の結合スペクトル領域表現と、前記2つ以上の第1のスペクトル領域表現の第2の第1のスペクトル領域表現とを使用して、第2の帯域ごとの重み値を計算する
    ように構成され、
    前記スペクトル重み付け器(200)は、
    前記第1及び第2の帯域ごとの重み値から導出された(136)、導出された帯域ごとの重み値を使用して、前記第2のスペクトル領域表現に重み付けし、
    前記第1の帯域ごとの重み値を使用して、前記2つ以上の第1のスペクトル領域表現の前記第1の第1のスペクトル領域表現に重み付けし、
    前記第2の帯域ごとの重み値を使用して、前記2つ以上の第1のスペクトル領域表現の前記第2の第1のスペクトル領域表現に重み付けする
    ように構成される、請求項26に記載のダウンミキサ。
  30. 前記重み値推定器(100)は、前記第2のスペクトル領域表現の周波数対のスペクトル値を加算して加算スペクトル値を取得し、加算スペクトル値にコピーして、前記2つ以上の結合スペクトル領域表現の各々の結合スペクトル値を取得するように構成され、
    前記スペクトル重み付け器(200)は、前記第1の帯域ごとの重み値のうちの特定の帯域に対する重み値を、前記第2の帯域ごとの重み値のうちの前記特定の帯域に対する重み値と結合して(136)、前記導出された帯域ごとの重み値のうちの前記特定の帯域に対する導出された重み値を取得するように構成されている、請求項29に記載のダウンミキサ。
  31. 前記少なくとも2つのチャネルのうちの前記第2のチャネルは、特定の時間部分(TCX20)について、前記第2のスペクトル領域表現を含み、
    前記少なくとも2つのチャネルのうちの前記第1のチャネルは、前記特定の時間部分(2xTCX10)について、2つ以上の前記第1のスペクトル領域表現を含み、
    前記重み値推定器(100)は、
    前記第2のスペクトル領域表現を、前記2つ以上の第1のスペクトル領域表現と同じ時間分解能を有し、前記第2のスペクトル領域表現と同じ周波数分解能を有する2つ以上の結合スペクトル領域表現に変換し、
    前記2つ以上の結合スペクトル領域表現の第1の結合スペクトル領域表現と、前記2つ以上の第1のスペクトル領域表現の第1の第1のスペクトル領域表現とを使用して、第1の帯域ごとの重み値を計算し、
    前記2つ以上の結合スペクトル領域表現の第2の結合スペクトル領域表現と、前記2つ以上の第1のスペクトル領域表現の第2の第1のスペクトル領域表現とを使用して、第2の帯域ごとの重み値を計算する
    ように構成され、
    前記スペクトル重み付け器(200)は、
    前記第1及び第2の帯域ごとの重み値から導出された(136)、帯域ごとの重み値を使用して、前記第2のスペクトル領域表現に重み付けし、
    前記第1の帯域ごとの重み値を使用して、前記2つ以上の第1のスペクトル領域表現の前記第1の第1のスペクトル領域表現に重み付けし、
    前記第2の帯域ごとの重み値を使用して、前記2つ以上の第1のスペクトル領域表現の前記第2の第1のスペクトル領域表現に重み付けする
    ように構成される、請求項26に記載のダウンミキサ。
  32. 前記重み値推定器(100)は、1つ以上のスペクトル値をアップサンプリングして前記第2のスペクトル領域表現の隣接周波数に対するアップサンプリングされたスペクトル値を取得し、アップサンプリングされたスペクトル値にコピーして、前記2つ以上の結合スペクトル領域表現の各々の結合スペクトル値を取得するように構成され、
    前記スペクトル重み付け器(200)は、前記第1の帯域ごとの重み値のうちの特定の帯域に対する重み値を、前記第2の帯域ごとの重み値のうちの前記特定の帯域に対する重み値と結合して(136)、前記導出された帯域ごとの重み値のうちの前記特定の帯域に対する導出された重み値を取得するように構成されている、請求項31に記載のダウンミキサ。
  33. 前記少なくとも2つのチャネルのうちの前記第2のチャネルは、特定の時間部分(TCX20)について、前記第2のスペクトル領域表現を含み、
    前記少なくとも2つのチャネルのうちの前記第1のチャネルは、前記特定の時間部分(2xTCX10)について、2つ以上の前記第1のスペクトル領域表現を含み、
    前記重み値推定器(100)は、前記2つ以上の第1のスペクトル領域表現を、前記第2のスペクトル領域表現と同じ時間分解能を有する前記第1の結合スペクトル領域表現に変換し、
    前記第2のスペクトル領域表現を前記2つ以上の第1のスペクトル領域表現と同じ周波数分解能を有する前記第2の結合スペクトル領域表現に変換し、
    前記第1の結合スペクトル領域表現及び前記第2の結合スペクトル領域表現を使用して前記帯域ごとの重み値を計算するように構成され、
    前記スペクトル重み付け器(200)は、前記帯域ごとの重み値を使用して前記第2のスペクトル領域表現に重み付けし、同じ帯域ごとの重み値を使用して前記2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現に重み付けするように構成される、請求項26に記載のダウンミキサ。
  34. 前記重み値推定器(100)は、前記第2のスペクトル領域表現の周波数対のスペクトル値を加算して、前記第2の結合スペクトル領域表現を取得し、前記2つ以上の前記第1のスペクトル領域表現の同じ周波数のスペクトル値を加算して、前記第1の結合スペクトル領域表現を取得するように構成され、
    前記スペクトル重み付け器(200)は、同じ帯域ごとの重み値を使用して、前記2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現において同じ周波数を有する帯域に重み付けするように構成される、請求項33に記載のダウンミキサ。
  35. 前記重み値推定器(100)は、前記少なくとも2つのチャネルのうちの前記第1のチャネルの第1のスペクトル領域表現の少なくとも2つのスペクトル値、前記少なくとも2つのチャネルのうちの第2のチャネルの第2のスペクトル領域表現のスペクトル値、前記第1のスペクトル領域表現又は前記第2のスペクトル領域表現の前記スペクトル値から導出された単一の結合スペクトル領域表現のスペクトル値、前記第1のスペクトル領域表現のスペクトル値から導出された第1の結合スペクトル領域表現の前記スペクトル値から導出された第1の結合スペクトル領域表現のスペクトル値、及び前記第2のスペクトル領域表現の前記スペクトル値から導出された第2の結合スペクトル領域表現のスペクトル値に依存する第1の計算規則を使用して、前記少なくとも2つのチャネルの第1のチャネルの複数の帯域について複数の第1の帯域ごとの重み値を計算するように構成され、
    前記重み値推定器(100)は、少なくとも2つの前記複数の第1の帯域ごとの重み値、前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記第1のスペクトル領域表現の前記スペクトル値、前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記第2のスペクトル領域表現の前記スペクトル値、前記第1のスペクトル領域表現又は前記第2のスペクトル領域表現の前記スペクトル値から導出された前記単一の結合スペクトル領域表現の前記スペクトル値、前記第1のスペクトル領域表現の前記スペクトル値から導出された第1の結合スペクトル領域表現の前記スペクトル値、及び前記第2のスペクトル領域表現の前記スペクトル値から導出された第2の結合スペクトル領域表現の前記スペクトル値に依存する第2の計算規則を使用して、前記少なくとも2つのチャネルの前記第1のチャネルの複数の帯域について複数の第2の帯域ごとの重み値を計算するように構成され、前記第2の計算規則は前記第1の計算規則とは異なる、請求項1に記載のダウンミキサ。
  36. 少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするためのダウンミキサであって、
    前記少なくとも2つのチャネルの帯域ごとの重み値を推定するための重み値推定器(100)であって、前記重み値推定器(100)は、帯域ごとの目標エネルギー値に基づいて前記帯域ごとの重み値を計算し、その結果、ダウンミックス信号の前記帯域におけるエネルギーが前記少なくとも2つのチャネルの同じ帯域におけるエネルギーと所定の関係にあるように構成される、重み値推定器(100)と、
    前記帯域ごとの重み値を使用して前記少なくとも2つのチャネルのスペクトル領域表現を重み付けして、重み付けされたスペクトル領域表現を取得するためのスペクトル重み付け器(200)であって、前記少なくとも2つのチャネルのうちの第1のチャネル及び前記少なくとも2つのチャネルのうちの第2のチャネルの各帯域は複数のスペクトル値を有し、前記スペクトル重み付け器(200)は、前記少なくとも2つのチャネルのうちの一方の前記帯域の各スペクトル値に同じ重みを適用し、前記少なくとも2つのチャネルのうちの別のチャネルの前記帯域の各スペクトル値に別の重みを適用するように構成されるスペクトル重み付け器(200)と、
    前記少なくとも2つのチャネルの前記重み付けされたスペクトル領域表現を使用して前記ダウンミックス信号を計算するためのミキサ(400)と
    を備える、ダウンミキサ。
  37. 前記スペクトル領域表現は純実数であり、
    前記重み値推定器(100)は、虚数スペクトル領域表現を推定する(140)ように構成され、
    前記重み値推定器(100)は、推定された前記虚数スペクトル領域表現を使用して前記帯域ごとの重み値を推定するように構成される、請求項36に記載のダウンミキサ。
  38. 前記スペクトル領域表現は純虚数であり、
    前記重み値推定器(100)は、実数スペクトル領域表現を推定する(140)ように構成され、
    前記重み値推定器(100)は、推定された前記実数スペクトル領域表現を使用して前記帯域ごとの重み値を推定するように構成される、請求項36に記載のダウンミキサ。
  39. 前記重み値推定器(100)は、前記少なくとも2つのチャネルのうちの第1のチャネルの帯域に対する第1の重み値を計算し、前記少なくとも2つのチャネルのうちの第2のチャネルの前記帯域に対する第2の重み値を計算し、前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネルのエネルギーと、前記帯域内の前記少なくとも2つのチャネルのうちの前記第2のチャネルのエネルギーと、前記帯域内の前記少なくとも2つのチャネルからのスペクトル値の積(148)又は線形結合(146)に依存する混合項とを用いて(142)、前記第1の重み値及び前記第2の重み値を計算するように構成される、請求項36又は37又は38に記載のダウンミキサ。
  40. 前記重み値推定器(100)は、前記線形結合(146)に依存する前記混合項として、前記少なくとも2つのチャネルの前記スペクトル領域表現から前記帯域内で互いに加算されたスペクトル値のエネルギーの平方根を計算するように構成され、前記帯域は複数のスペクトル値を含むか、又は、前記積(148)に依存する前記混合項として、前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記帯域内の前記スペクトル値と前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記帯域内の前記スペクトル値との間の複素ドット積の絶対値を計算するように構成される、請求項39に記載のダウンミキサ。
  41. 前記重み値推定器(100)は、以下の式に基づいて、前記少なくとも2つのチャネルのうちの第1のチャネルの前記帯域ごとの重み値を計算する(150)ように構成され、
    Figure 0007416816000069
    式中、wは、帯域の前記少なくとも2つのチャネルのうちの前記第1のチャネルの重み係数であり、
    Figure 0007416816000070
    は、前記少なくとも2つのチャネルのうちの第2のチャネルの推定電力であり、
    Figure 0007416816000071
    は、前記帯域の前記少なくとも2つのチャネルのうちの第1のチャネルの推定電力であり、
    Figure 0007416816000072
    は、前記帯域の前記少なくとも2つのチャネルのうちの前記第1のチャネル及び前記少なくとも2つのチャネルのうちの前記第2のチャネル間の推定ドット積であり、
    Figure 0007416816000073
    は、前記帯域の前記少なくとも2つのチャネルのうちの前記第2のチャネルの推定振幅であり、
    Figure 0007416816000074
    は、前記帯域の前記少なくとも2つのチャネルのうちの前記第1のチャネルの推定振幅である、請求項36から37のいずれか一項に記載のダウンミキサ。
  42. 前記重み値推定器(100)は、以下の式に基づいて、前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記帯域ごとの重み値を計算する(152)ように構成され、
    Figure 0007416816000075
    式中、wは、前記帯域の前記少なくとも2つのチャネルのうちの前記第2のチャネルの重み係数であり、
    Figure 0007416816000076
    は、前記帯域の前記少なくとも2つのチャネルのうちの前記第1のチャネル及び前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記推定振幅の推定線形結合である、請求項41に記載のダウンミキサ。
  43. 前記重み値推定器(100)は、前記帯域内の前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記推定振幅を計算し(144)、次の式に基づいて前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記推定振幅を計算するように構成される:
    Figure 0007416816000077
    、又は、
    前記重み値推定器(100)は、次の式に基づいて、前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネル及び前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記推定振幅の前記推定線形結合を計算(146)するように構成される:
    Figure 0007416816000078
    、又は、
    前記重み値推定器(100)は、次の式に基づいて、前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネル及び前記少なくとも2つのチャネルのうちの前記第2のチャネル間の前記推定ドット積を計算する(148)ように構成される:
    Figure 0007416816000079
    、又は、
    前記重み値推定器(100)は、次の式に基づいて、前記帯域内の前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記推定電力又は前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記推定電力を計算する(142)ように構成される:
    Figure 0007416816000080
    式中、iはスペクトル帯域
    Figure 0007416816000081
    内のビン番号を指定し、
    Figure 0007416816000082
    は、MDCTビンiの推定虚数部を表し、
    Figure 0007416816000083
    は、前記少なくとも2つのチャネルのうちの前記第1のチャネル又は前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記スペクトル領域表現に含まれる前記MDCTビンiの実数部を表し、rは前記少なくとも2つのチャネルのうちの前記第1のチャネルを表し、lは前記少なくとも2つのチャネルのうちの前記第2のチャネルを表す、請求項42に記載のダウンミキサ。
  44. 前記少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、前記少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、前記第2の時間分解能は前記第1の時間分解能とは異なり、前記第2の周波数分解能は前記第1の周波数分解能(130)とは異なり、
    前記重み値推定器(100)は、前記第1のスペクトル領域表現を前記第2の時間分解能又は前記第2の周波数分解能を有する結合スペクトル領域表現に変換し(132)、前記結合スペクトル領域表現及び前記第2のスペクトル領域表現を使用して前記帯域ごとの重み値(134)を計算する、又は前記第2のスペクトル領域表現を前記第1の時間分解能又は前記第1の周波数分解能を有する結合スペクトル領域表現に変換し(132)、前記結合スペクトル領域表現及び前記第1のスペクトル領域表現を使用して前記帯域ごとの重み値を計算し(134)、又は
    前記少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、前記少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、前記第2の時間分解能は、前記第1の時間分解能とは異なり、前記第2の周波数分解能は、前記第1の周波数分解能(130)とは異なり、
    前記重み値推定器(100)は、
    前記第1のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第1の結合スペクトル領域表現に変換(132)し、
    前記第3の時間分解能は、前記第1の時間分解能又は前記第2の時間分解能とは異なり、前記第3の周波数分解能は、前記第1の周波数分解能又は前記第2の周波数分解能とは異なり、
    前記第2のスペクトル領域表現を、前記第3の時間分解能又は前記第3の周波数分解能を有する第2の結合スペクトル領域表現に変換(132)し、
    前記第1の結合スペクトル領域表現及び前記第2の結合スペクトル領域表現を使用して、前記帯域ごとの重み値を計算する(134)ように構成される、請求項36から37のいずれか一項に記載のダウンミキサ。
  45. 前記スペクトル重み付け器(200)は、前記少なくとも2つのチャネルの前記スペクトル領域表現として、前記結合スペクトル領域表現及び前記第2のスペクトル領域表現、前記結合スペクトル領域表現及び前記第1のスペクトル領域表現、並びに前記第1の結合スペクトル領域表現及び前記第2の結合スペクトル領域表現のうちの一方を重み付けして、第1の重み付けされたスペクトル領域表現及び第2の重み付けされたスペクトル領域表現を取得するように構成される、請求項44に記載のダウンミキサ。
  46. 前記ミキサ(400)は、前記第1の重み付けされたスペクトル領域表現と前記第2の重み付けされたスペクトル領域表現とを加算してスペクトル領域ダウンミックス表現を取得し、時間領域に前記スペクトル領域ダウンミックス表現を変換して前記ダウンミックス信号を取得する、又は前記第1の重み付けされたスペクトル領域表現及び前記第2の重み付けされたスペクトル領域表現を時間領域に変換して前記少なくとも2つのチャネルの時間表現を取得し、前記少なくとも2つのチャネルの前記時間表現を加算して前記ダウンミックス信号を取得するように構成される、請求項45に記載のダウンミキサ。
  47. 少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするための方法であって、
    前記少なくとも2つのチャネルの帯域ごとの重み値を推定することと、
    前記帯域ごとの重み値を使用して前記少なくとも2つのチャネルのスペクトル領域表現を重み付けすることであって、記少なくとも2つのチャネルのうちの第1のチャネル及び前記少なくとも2つのチャネルのうちの第2のチャネルの各帯域は複数のスペクトル値を有し、前記重み付けすること(200)は、前記少なくとも2つのチャネルのうちの一方の前記帯域の各スペクトル値に同じ重みを適用し、前記少なくとも2つのチャネルのうちの別のチャネルの前記帯域の各スペクトル値に別の重みを適用することを含む、重み付けすることと、
    前記少なくとも2つのチャネルの重み付けされたスペクトル領域表現を前記少なくとも2つのチャネルの時間表現に変換することと、
    ダウンミックス信号を取得するために前記少なくとも2つのチャネルの前記時間表現を混合することと
    を含む、方法。
  48. 少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするための方法であって、
    前記少なくとも2つのチャネルの帯域ごとの重み値を推定することであって、帯域ごとの目標エネルギー値に基づいて前記帯域ごとの重み値を計算し、その結果、ダウンミックス信号の前記帯域におけるエネルギーが前記少なくとも2つのチャネルの同じ帯域におけるエネルギーと所定の関係にあることを含む、ことと、
    前記帯域ごとの重み値を使用して前記少なくとも2つのチャネルのスペクトル領域表現を重み付けして、重み付けされたスペクトル領域表現を取得することであって、前記少なくとも2つのチャネルのうちの第1のチャネル及び前記少なくとも2つのチャネルのうちの第2のチャネルの各帯域は複数のスペクトル値を有し、前記重み付けすることは、前記少なくとも2つのチャネルのうちの一方の前記帯域の各スペクトル値に同じ重みを適用し、前記少なくとも2つのチャネルのうちの別のチャネルの前記帯域の各スペクトル値に別の重みを適用することを含む、重み付けされたスペクトル領域表現を取得することと、
    前記少なくとも2つのチャネルの前記重み付けされたスペクトル領域表現を使用して前記ダウンミックス信号を計算することと
    を含む、方法。
  49. コンピュータ又はプロセッサを実行するときに、請求項47又は48に記載の方法を実行するためのコンピュータプログラム。
JP2021550157A 2019-03-06 2020-03-04 ダウンミキサ及びダウンミックス方法 Active JP7416816B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023188062A JP2024001325A (ja) 2019-03-06 2023-11-02 ダウンミキサ及びダウンミックス方法
JP2023188061A JP2024001324A (ja) 2019-03-06 2023-11-02 ダウンミキサ及びダウンミックス方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19161076.5 2019-03-06
EP19161076 2019-03-06
PCT/EP2020/055669 WO2020178321A1 (en) 2019-03-06 2020-03-04 Downmixer and method of downmixing

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2023188061A Division JP2024001324A (ja) 2019-03-06 2023-11-02 ダウンミキサ及びダウンミックス方法
JP2023188062A Division JP2024001325A (ja) 2019-03-06 2023-11-02 ダウンミキサ及びダウンミックス方法

Publications (2)

Publication Number Publication Date
JP2022522706A JP2022522706A (ja) 2022-04-20
JP7416816B2 true JP7416816B2 (ja) 2024-01-17

Family

ID=65801834

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021550157A Active JP7416816B2 (ja) 2019-03-06 2020-03-04 ダウンミキサ及びダウンミックス方法
JP2023188061A Pending JP2024001324A (ja) 2019-03-06 2023-11-02 ダウンミキサ及びダウンミックス方法
JP2023188062A Pending JP2024001325A (ja) 2019-03-06 2023-11-02 ダウンミキサ及びダウンミックス方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023188061A Pending JP2024001324A (ja) 2019-03-06 2023-11-02 ダウンミキサ及びダウンミックス方法
JP2023188062A Pending JP2024001325A (ja) 2019-03-06 2023-11-02 ダウンミキサ及びダウンミックス方法

Country Status (13)

Country Link
US (1) US20210375293A1 (ja)
EP (1) EP3935630A1 (ja)
JP (3) JP7416816B2 (ja)
KR (1) KR20210137121A (ja)
CN (1) CN113544774A (ja)
AU (2) AU2020233210B2 (ja)
BR (1) BR112021017197A2 (ja)
CA (1) CA3132404A1 (ja)
MX (1) MX2021010570A (ja)
SG (1) SG11202108895TA (ja)
TW (2) TW202042214A (ja)
WO (2) WO2020178322A1 (ja)
ZA (1) ZA202107327B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194877A (ja) 2008-02-18 2009-08-27 Sharp Corp 音声信号変換装置、音声信号変換方法、制御プログラム、および、コンピュータ読み取り可能な記録媒体
JP2013511062A (ja) 2009-11-12 2013-03-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ パラメトリックエンコード及びデコード
WO2018086946A1 (en) 2016-11-08 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer and method for downmixing at least two channels and multichannel encoder and multichannel decoder
WO2018086948A1 (en) 2016-11-08 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for downmixing or upmixing a multichannel signal using phase compensation

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE487213T1 (de) * 2003-03-17 2010-11-15 Koninkl Philips Electronics Nv Verarbeitung von mehrkanalsignalen
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
ATE390683T1 (de) * 2004-03-01 2008-04-15 Dolby Lab Licensing Corp Mehrkanalige audiocodierung
PT2109098T (pt) * 2006-10-25 2020-12-18 Fraunhofer Ges Forschung Aparelho e método para gerar amostras de áudio de domínio de tempo
KR20080076691A (ko) * 2007-02-14 2008-08-20 엘지전자 주식회사 멀티채널 오디오신호 복호화방법 및 그 장치, 부호화방법및 그 장치
WO2010013450A1 (ja) * 2008-07-29 2010-02-04 パナソニック株式会社 音響符号化装置、音響復号化装置、音響符号化復号化装置および会議システム
DE102008056704B4 (de) 2008-11-11 2010-11-04 Institut für Rundfunktechnik GmbH Verfahren zum Erzeugen eines abwärtskompatiblen Tonformates
EP2237266A1 (en) * 2009-04-03 2010-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a plurality of local center of gravity frequencies of a spectrum of an audio signal
KR101756838B1 (ko) * 2010-10-13 2017-07-11 삼성전자주식회사 다채널 오디오 신호를 다운 믹스하는 방법 및 장치
WO2013079524A2 (en) * 2011-11-30 2013-06-06 Dolby International Ab Enhanced chroma extraction from an audio codec
WO2013183928A1 (ko) * 2012-06-04 2013-12-12 삼성전자 주식회사 오디오 부호화방법 및 장치, 오디오 복호화방법 및 장치, 및 이를 채용하는 멀티미디어 기기
TWI618051B (zh) * 2013-02-14 2018-03-11 杜比實驗室特許公司 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置
CN106797523B (zh) * 2014-08-01 2020-06-19 史蒂文·杰伊·博尼 音频设备
US10217467B2 (en) * 2016-06-20 2019-02-26 Qualcomm Incorporated Encoding and decoding of interchannel phase differences between audio signals
JP2017058696A (ja) * 2016-12-09 2017-03-23 ホアウェイ・テクノロジーズ・カンパニー・リミテッド インターチャネル差分推定方法及び空間オーディオ符号化装置
GB2561596A (en) * 2017-04-20 2018-10-24 Nokia Technologies Oy Audio signal generation for spatial audio mixing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194877A (ja) 2008-02-18 2009-08-27 Sharp Corp 音声信号変換装置、音声信号変換方法、制御プログラム、および、コンピュータ読み取り可能な記録媒体
JP2013511062A (ja) 2009-11-12 2013-03-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ パラメトリックエンコード及びデコード
WO2018086946A1 (en) 2016-11-08 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer and method for downmixing at least two channels and multichannel encoder and multichannel decoder
WO2018086948A1 (en) 2016-11-08 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for downmixing or upmixing a multichannel signal using phase compensation
JP2019537057A (ja) 2016-11-08 2019-12-19 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ
JP2020500336A (ja) 2016-11-08 2020-01-09 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. 位相補償を使用してマルチチャネル信号をダウンミックスまたはアップミックスするための装置および方法

Also Published As

Publication number Publication date
JP2022522706A (ja) 2022-04-20
US20210375293A1 (en) 2021-12-02
KR20210137121A (ko) 2021-11-17
AU2020233210B2 (en) 2023-09-28
WO2020178322A1 (en) 2020-09-10
BR112021017197A2 (pt) 2021-11-09
JP2024001324A (ja) 2024-01-09
CN113544774A (zh) 2021-10-22
SG11202108895TA (en) 2021-09-29
TW202101427A (zh) 2021-01-01
TW202042214A (zh) 2020-11-16
MX2021010570A (es) 2021-10-13
ZA202107327B (en) 2022-08-31
EP3935630A1 (en) 2022-01-12
AU2023258388A1 (en) 2023-11-23
TWI760705B (zh) 2022-04-11
WO2020178321A1 (en) 2020-09-10
AU2020233210A1 (en) 2021-11-04
JP2024001325A (ja) 2024-01-09
CA3132404A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
US11430453B2 (en) Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing
US10535356B2 (en) Apparatus and method for encoding or decoding a multi-channel signal using spectral-domain resampling
RU2625444C2 (ru) Система обработки аудио
RU2741379C1 (ru) Оборудование для кодирования или декодирования кодированного многоканального сигнала с использованием заполняющего сигнала, сформированного посредством широкополосного фильтра
KR20180009337A (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
JP7416816B2 (ja) ダウンミキサ及びダウンミックス方法
RU2791673C1 (ru) Устройство понижающего микширования и способ понижающего микширования
JP7348304B2 (ja) 出力ダウンミックス表現を生成するための装置及びコンピュータプログラム
RU2791872C1 (ru) Устройство, способ или компьютерная программа для формирования выходного представления понижающего микширования

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240104

R150 Certificate of patent or registration of utility model

Ref document number: 7416816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150