JP7416816B2 - ダウンミキサ及びダウンミックス方法 - Google Patents
ダウンミキサ及びダウンミックス方法 Download PDFInfo
- Publication number
- JP7416816B2 JP7416816B2 JP2021550157A JP2021550157A JP7416816B2 JP 7416816 B2 JP7416816 B2 JP 7416816B2 JP 2021550157 A JP2021550157 A JP 2021550157A JP 2021550157 A JP2021550157 A JP 2021550157A JP 7416816 B2 JP7416816 B2 JP 7416816B2
- Authority
- JP
- Japan
- Prior art keywords
- spectral
- spectral domain
- domain representation
- band
- channels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 92
- 230000003595 spectral effect Effects 0.000 claims description 1000
- 230000002123 temporal effect Effects 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 40
- 238000002156 mixing Methods 0.000 claims description 36
- 238000001914 filtration Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000001228 spectrum Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 230000001419 dependent effect Effects 0.000 claims description 12
- 238000012805 post-processing Methods 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 101100045635 Arabidopsis thaliana TCX5 gene Proteins 0.000 claims 6
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000007792 addition Methods 0.000 description 16
- 230000009466 transformation Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G5/00—Tone control or bandwidth control in amplifiers
- H03G5/16—Automatic control
- H03G5/165—Equalizers; Volume or gain control in limited frequency bands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
Description
本発明の好ましい実施形態は、添付の図面に関して以下に説明される。
実施形態は、デコーダ側で最適化された遅延のないステレオからモノラルへのダウンミックスを提供する。
好ましい態様は、分離された重み付け(周波数領域)及びミックス段階(時間領域)を有する帯域ごとの重み付けを有する能動的ダウンミックスに関する。
続いて、重み値推定器100によって使用され得るような帯域ごとの重み係数の計算の好ましい実施態様が示されている。
及び
を使用して、各帯域
について以下のように計算される:
は、以下のように計算される:
また
は、複素ドット積の大きさ又は絶対値として計算され、
式中、iは、スペクトル帯域
内のビン番号を指定する。
第2のステップでは、2つのスペクトル的に重み付けされたチャネルの単純な加算及びスケーリングによって、2つの重み付けされたチャネルが時間領域でダウンミックスされる。
この結合された手法の理由は2つあり、1つは、両方のチャネルを時間領域に変換し戻すことによって、ポストフィルタリング、例えば、時間領域でも動作するTCX-LTPは、個々のチャネルのコア符号化から抽出されたパラメータ(例えば、ピッチ)を使用して両方のチャネルで実行することができ、したがって、ダウンミックスに適合する平均化されたパラメータを見つけようと試みる必要性を回避することである。第2に、より厳密には、MDCTステレオは、2つのチャネルに対して異なるコアコーダ及び/又は重なり判定を可能にするように構成される。具体的には、これは、一方のチャネルが例えば1つのTCX20長いブロック(20msフレーム、より高い周波数分解能、より低い時間分解能)で符号化され、他方が例えば2つのTCX10短いブロック(2×10msのサブフレーム、より低い周波数分解能、より高い時間分解能)で符号化され、一方又は両方の短いブロックが再び2つのTCX5サブフレーム(2×5ms)に分割され得ることを意味する。これは、完全な周波数領域ダウンミックスを事実上不可能にする。しかしながら、帯域ごとの重み付けのみをMDCT領域で直接行うことができる。
及び
が、TCX20 MDCTスペクトルであり、
が2つのサブフレームを有するTCX10 MDCTスペクトルである場合、iは、スペクトルビン番号及び
及び
TCX10サブフレームを指定する。推定MDSTスペクトルでも同じ結合が行われる。
次いで、得られた結合ビンを用いて、クロススペクトル相関
及び/又は
の値が計算される。これは、幾分粗い相関推定値をもたらすが、十分であることが分かっている。
及び
式中、iは、スペクトルビン番号を指定し、
及び
はより低い分解能を有するサブフレームを指定する。これらの加算及び減算は、1つのより低い分解能ビンを2つのより高い分解能ビンに分割するハイパス及びローパスフィルタリング動作と見なすことができ、フィルタリングは、ビン番号iが偶数であるか奇数であるかに依存する(最下位ビン
から始まる)。
続いて、本発明の態様の更なる例を示す。
少なくとも2つのチャネルの帯域ごとの重み値を推定するための重み値推定器(100)と、
帯域ごとの重み値を使用して少なくとも2つのチャネルのスペクトル領域表現を重み付けするためのスペクトル重み付け器(200)と、
少なくとも2つのチャネルの重み付けされたスペクトル領域表現を少なくとも2つのチャネルの時間表現に変換する変換器(300)と、
ダウンミックス信号を取得するために少なくとも2つのチャネルの時間表現を混合するためのミキサ(400)と
を備える、ダウンミキサ。
マルチチャネル信号は2つを超えるチャネルを有し、重み値推定器(100)は、2つを超えるチャネルのうちの第1のチャネルの複数の帯域について複数の第1の帯域ごとの重み値を計算し、2つを超えるチャネルのうちの第2のチャネルの複数の帯域について第2の複数の帯域ごとの重み値を計算し、2つを超えるチャネルのうちの更なるチャネルの複数の帯域について更なる複数の帯域ごとの重み値を計算するように構成される、実施例1に記載のダウンミキサ。
重み値推定器(100)は、帯域に対する帯域ごとの重み値を計算するように構成され、各帯域は、1つ、2つ、若しくはそれ以上の周波数ビンを含み、又は
帯域当たりの周波数ビンの数は、より高い中心周波数を有する帯域と共に増加する、実施例1又は2に記載のダウンミキサ。
を更に備える、実施例1から4のいずれか一項に記載のダウンミキサ。
重み値推定器(100)は、スペクトル領域表現が純実数である場合、虚数スペクトル領域表現を推定(120、122)する、又はスペクトル領域表現が純虚数である場合、実数スペクトル領域表現を推定するように構成され、
重み値推定器(100)は、推定された虚数スペクトル領域表現又は推定された実数ペクトル領域表現を使用して帯域ごとの重み値を推定するように構成される、実施例1から5のいずれか一項に記載のダウンミキサ。
重み値推定器(100)は、少なくとも2つのチャネルのうちの第2のチャネルの帯域に対する第2の重み値を計算するように構成され、
重み値推定器(100)は、帯域内の第1のチャネルのエネルギーと、帯域内の第2のチャネルのエネルギーと、帯域内の少なくとも2つのチャネルからのスペクトル値の積又は線形結合に依存する混合項とを用いて、第1の重み値及び第2の重み値を計算するように構成される、実施例1から6のいずれか一項に記載のダウンミキサ。
変換器(300)は、複数のチャネルの各チャネルについて、合成窓がけ演算及び重畳加算演算を使用して逆MDCT変換を実行するように構成される、実施例1から9のいずれか一項に記載のダウンミキサ。
ミキサ(400)は、少なくとも2つのチャネルの時間表現のサンプルごとの加算と、サンプルごとの加算の結果に適用される、又はサンプルごとの加算への入力に適用されるスケーリング動作とを適用するように構成される、実施例1から10のいずれか一項に記載のダウンミキサ。
時間表現を取得するためにチャネルのための別個の制御情報を使用して、ミキサ(400)による混合の前に信号処理方向に生の時間表現を個別に後処理する(320)ように構成される、実施例1から11のいずれか一項に記載のダウンミキサ。
少なくとも2つのチャネルのうちの第2のチャネルの第2のスペクトル領域表現は、第2の時間又は周波数分解能を有し、第2の時間又は周波数分解能は、第1の時間又は周波数分解能とは異なり、
重み値推定器(100)は、帯域ごとの重み値に関連付けられた帯域の周波数分解能が、第1の周波数分解能及び第2の周波数分解能よりも低くなるように、又は第1の周波数分解能及び第2の周波数分解能のうちの低い方の周波数分解能と等しくなるように、帯域ごとの重み値を計算するように構成される、実施例1から13のいずれか一項に記載のダウンミキサ。
第2のスペクトル領域表現は、帯域内の第2の複数のスペクトル値を有し、第2の複数のスペクトル値は第1の複数のスペクトル値よりも高く、
重み値推定器(100)は、
第2の複数のスペクトル値のうちの2つ以上のスペクトル値を結合するか、又は第2の複数のスペクトル値からスペクトル値のサブセットを選択して、
2つ以上のスペクトル値を結合した結果を使用して、又はスペクトル値のサブセットを使用して、帯域内の少なくとも2つのチャネルからのスペクトル値の積又は線形結合に依存する混合項を計算し、
混合項を使用して帯域ごとの重み値を計算するように構成される、実施例1から14のいずれか一項に記載のダウンミキサ。
第2のスペクトル領域表現は、第2の時間ビンサイズ及び第2の周波数ビンサイズを表す複数のスペクトル値を含み、
第1の時間ビンサイズは第2の時間ビンサイズよりも大きいか、又は第1の周波数ビンサイズは第2の周波数ビンサイズよりも小さく、
重み値推定器(100)は、第1のスペクトル領域表現からの複数のスペクトル値を結合して、結合された周波数ビンサイズが第2の周波数ビンサイズに等しい第1の結合されたスペクトル領域表現を取得するか、又は第2のスペクトル領域表現からの複数のスペクトル値を結合して、結合された時間ビンサイズが第1の時間ビンサイズに等しい第1の結合されたスペクトル領域表現を取得するように構成される、実施例1から15のいずれか一項に記載のダウンミキサ。
スペクトル重み付け器(200)は、少なくとも2つのチャネルのうちの第1のチャネルの帯域ごとの重み値を、対応する帯域内の第1のスペクトル領域表現のスペクトル値に適用し、少なくとも2つのチャネルのうちの第2のチャネルの帯域ごとの重み値を、対応する帯域内の第2のスペクトル領域表現のスペクトル値に適用するように構成される、実施例16に記載のダウンミキサ。
第2のチャネルの第2のスペクトル領域表現は少なくとも2つのサブフレームを含み、各サブフレームは、第2の時間ビンサイズ及び第2の周波数ビンサイズを表す複数のスペクトル値を含み、
第1の時間ビンサイズは第2の時間ビンサイズよりも大きいか、又は第1の周波数ビンサイズは第2の周波数ビンサイズよりも小さく、
重み値推定器(100)は、
結合スペクトル値の第1のグループを取得するために、第1の方式で第2のスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合し、
結合スペクトル値の第2のグループを取得するために、第2の方式で第2のスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合し、第2の方式は第1の方式とは異なり、
結合スペクトル値の第1のグループ及び結合スペクトル値の第2のグループは、第1の時間ビンサイズ及び第1の周波数ビンサイズを有する結合スペクトル領域表現を表し、
帯域ごとの重み値の計算のために、結合スペクトル領域表現及び第1のスペクトル領域表現のスペクトル値を使用する
ように構成される、実施例1から15のいずれか一項に記載のダウンミキサ。
21.重み値推定器(100)は、第1の方式として、ハイパスフィルタリング及びローパスフィルタリングの一方を適用し、第2の方式として、ハイパスフィルタリング及びローパスフィルタリングの他方を適用するように構成される、実施例18から21のいずれか一項に記載のダウンミキサ。
第1のチャネルの第1のスペクトル領域表現は、TCX20フレームを含み、第2のチャネルの第2のスペクトル領域表現は、TCX10サブフレーム及び2つのTCX5サブフレームを含み、重み値推定器(100)は、2つのTCX5サブフレームからの第1の結合TCX10スペクトル領域表現を計算し、第1の結合TCX10スペクトル領域表現及びTCX10サブフレームからの第2の結合TCX20サブフレームを計算するように構成され、
第1のチャネルの第1のスペクトル領域表現は、TCX10サブフレームを含み、第2のチャネルの第2のスペクトル領域表現は、2つのTCX5サブフレームを含み、重み値推定器(100)は、2つのTCX5サブフレームからの結合TCX10スペクトル領域表現を計算するように構成され、
表現TCX20は、第1の時間長を有する第1の部分を示し、表現TCX10は、第2の時間長を有する第2の部分を示し、表現TCX5は、第3の時間長を有する第3の部分を示し、第1の時間長は第2の時間長又は第3の時間長より長い、又は第2の時間長は、第1の時間長よりも短い又は第2の時間長よりも長く、第3の時間長は第1の時間長より短い又は第2の時間長より短い、実施例18から22のいずれか一項に記載のダウンミキサ。
、又は
重み値推定器(100)は、以下の式に基づいて第2の方式を適用するように構成され:
、
式中、iはスペクトルビン番号を指定し、
及び
は、第2のチャネルの第2のスペクトル領域表現のサブフレームを指定し、
式中、
及び
は、結合スペクトル領域表現のスペクトル値を示し、
及び
は、それぞれ第2のサブフレームk1及び第1のサブフレームk0からのスペクトル値を示す、実施例18から23のいずれか一項に記載のダウンミキサ。
重み値推定器(100)は、第1のスペクトル領域表現を第2の時間分解能又は第2の周波数分解能を有する結合スペクトル領域表現に変換し(132)、結合スペクトル領域表現及び第2のスペクトル領域表現を使用して帯域ごとの重み値を計算する、又は第2のスペクトル領域表現を第1の時間分解能又は第1の周波数分解能を有する結合スペクトル領域表現に変換し、結合スペクトル領域表現及び第1のスペクトル領域表現を使用して帯域ごとの重み値を計算し、又は
少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、第2の時間分解能は、第1の時間分解能とは異なり、又は第2の周波数分解能は、第1の周波数分解能とは異なり、
重み値推定器(100)は、
第1のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第1の結合スペクトル領域表現に変換(132)し、
第3の時間分解能は、第1の時間分解能又は第2の時間分解能とは異なり、第3の周波数分解能は、第1の周波数分解能又は第2の周波数分解能とは異なり、
第2のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第2の結合スペクトル領域表現に変換(132)し、
第1の結合スペクトル領域表現及び第2の結合スペクトル領域表現を使用して、帯域ごとの重み値を計算する(134)ように構成される、実施例1に記載のダウンミキサ。
第1のチャネルは、特定の時間部分(2xTCX10)について、2つ以上の第1のスペクトル領域表現を含み、
重み値推定器(100)は、2つ以上の第1のスペクトル領域表現を、第2のスペクトル領域表現と同じ時間分解能及び周波数分解能を有する結合スペクトル領域表現に変換し、結合スペクトル領域表現及び第2のスペクトル領域表現を使用して帯域ごとの重み値を計算するように構成され、
スペクトル重み付け器(200)は、帯域ごとの重み値を使用して第2のスペクトル領域表現に重み付けし、同じ帯域ごとの重み値を使用して2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現に重み付けするように構成される、実施例25に記載のダウンミキサ。
スペクトル重み付け器(200)は、同じ帯域ごとの重み値を使用して、2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現において同じ周波数を有する帯域に重み付けするように構成されている、実施例26に記載のダウンミキサ。
第1のチャネルは、特定の時間部分(2xTCX10)について、2つ以上の第1のスペクトル領域表現を含み、
重み値推定器(100)は、
第2のスペクトル領域表現を、2つ以上の第1のスペクトル領域表現と同じ時間分解能及び周波数分解能を有する2つ以上の結合スペクトル領域表現に変換し、
2つ以上の結合スペクトル領域表現の第1の結合スペクトル領域表現と、2つ以上の第1のスペクトル領域表現の第1の第1のスペクトル領域表現とを使用して、第1の帯域ごとの重み値を計算し、
2つ以上の結合スペクトル領域表現の第2の結合スペクトル領域表現と、2つ以上の第1のスペクトル領域表現の第2の第1のスペクトル領域表現とを使用して、第2の帯域ごとの重み値を計算する
ように構成され、
スペクトル重み付け器(200)は、
第1及び第2の帯域ごとの重み値から導出された(136)、導出された帯域ごとの重み値を使用して、第2のスペクトル領域表現に重み付けし、
第1の帯域ごとの重み値を使用して、2つ以上の第1のスペクトル領域表現の第1の第1のスペクトル領域表現に重み付けし、
第2の帯域ごとの重み値を使用して、2つ以上の第1のスペクトル領域表現の第2の第1のスペクトル領域表現に重み付けする
ように構成される、実施例25に記載のダウンミキサ。
スペクトル重み付け器(200)は、第1の帯域ごとの重み値のうちの特定の帯域に対する重み値を、第2の帯域ごとの重み値のうちの特定の帯域に対する重み値と結合して(136)、導出された帯域ごとの重み値のうちの特定の帯域に対する導出された重み値を取得するように構成されている、実施例28に記載のダウンミキサ。
第1のチャネルは、特定の時間部分(2xTCX10)について、2つ以上の第1のスペクトル領域表現を含み、
重み値推定器(100)は、
第2のスペクトル領域表現を、2つ以上の第1のスペクトル領域表現と同じ時間分解能を有し、第2のスペクトル領域表現と同じ周波数分解能を有する2つ以上の結合スペクトル領域表現に変換し、
2つ以上の結合スペクトル領域表現の第1の結合スペクトル領域表現と、2つ以上の第1のスペクトル領域表現の第1の第1のスペクトル領域表現とを使用して、第1の帯域ごとの重み値を計算し、
2つ以上の結合スペクトル領域表現の第2の結合スペクトル領域表現と、2つ以上の第1のスペクトル領域表現の第2の第1のスペクトル領域表現とを使用して、第2の帯域ごとの重み値を計算する
ように構成され、
スペクトル重み付け器(200)は、
第1及び第2の帯域ごとの重み値から導出された(136)、帯域ごとの重み値を使用して、第2のスペクトル領域表現に重み付けし、
第1の帯域ごとの重み値を使用して、2つ以上の第1のスペクトル領域表現の第1の第1のスペクトル領域表現に重み付けし、
第2の帯域ごとの重み値を使用して、2つ以上の第1のスペクトル領域表現の第2の第1のスペクトル領域表現に重み付けする
ように構成される、実施例25に記載のダウンミキサ。
スペクトル重み付け器(200)は、第1の帯域ごとの重み値のうちの特定の帯域に対する重み値を、第2の帯域ごとの重み値のうちの特定の帯域に対する重み値と結合して(136)、導出された帯域ごとの重み値のうちの特定の帯域に対する導出された重み値を取得するように構成されている、実施例30に記載のダウンミキサ。
第1のチャネルは、特定の時間部分(2xTCX10)について、2つ以上の第1のスペクトル領域表現を含み、
重み値推定器(100)は、2つ以上の第1のスペクトル領域表現を、第2のスペクトル領域表現と同じ時間分解能を有する第1の結合スペクトル領域表現に変換し、
第2のスペクトル領域表現を2つ以上の第1のスペクトル領域表現と同じ周波数分解能を有する第2の結合スペクトル領域表現に変換し、
第1の結合スペクトル領域表現及び第2の結合スペクトル領域表現を使用して帯域ごとの重み値を計算するように構成され、
スペクトル重み付け器(200)は、帯域ごとの重み値を使用して第2のスペクトル領域表現に重み付けし、同じ帯域ごとの重み値を使用して2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現に重み付けするように構成される、実施例25に記載のダウンミキサ。
スペクトル重み付け器(200)は、同じ帯域ごとの重み値を使用して、2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現において同じ周波数を有する帯域に重み付けするように構成される、実施例32に記載のダウンミキサ。
重み値推定器(100)は、少なくとも2つの複数の第1の帯域ごとの重み値、第1のチャネルの第1のスペクトル領域表現のスペクトル値、第2のチャネルの第2のスペクトル領域表現のスペクトル値、第1のスペクトル領域表現又は第2のスペクトル領域表現のスペクトル値から導出された単一の結合スペクトル領域表現のスペクトル値、第1のスペクトル領域表現のスペクトル値から導出された第1の結合スペクトル領域表現のスペクトル値、及び第2のスペクトル領域表現のスペクトル値から導出された第2の結合スペクトル領域表現のスペクトル値に依存する第2の計算規則を使用して、少なくとも2つのチャネルの第1のチャネルの複数の帯域について複数の第2の帯域ごとの重み値を計算するように構成され、第2の計算規則は第1の計算規則とは異なる、実施例1から33のいずれか一項に記載のダウンミキサ。
結合スペクトル値の第1のグループを取得するために、第1の方式でスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合し(170)、
結合スペクトル値の第2のグループを取得するために、第2の方式でスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合する(180)ためのスペクトル値計算機(160)であって、第2の方式は第1の方式とは異なり、結合スペクトル値の第1のグループ及び結合スペクトル値の第2のグループは、異なる時間ビンサイズ及び異なる周波数ビンサイズを有する結合スペクトル領域表現を表す、スペクトル値計算機(160)
を含む、装置。
第1のチャネルの第1のスペクトル領域表現は、TCX20フレームを含み、チャネルのスペクトル領域表現は、TCX10サブフレーム及び2つのTCX5サブフレームを含み、スペクトル値計算機(160)は、2つのTCX5サブフレームからの第1の結合TCX10スペクトル領域表現を計算し、第1の結合TCX10スペクトル領域表現及びTCX10サブフレームからの第2の結合TCX20サブフレームを計算するように構成され、
第1のチャネルの第1のスペクトル領域表現は、TCX10サブフレームを含み、チャネルのスペクトル領域表現は、2つのTCX5サブフレームを含み、スペクトル値計算機(160)は、2つのTCX5サブフレームからの結合TCX10スペクトル領域表現を計算するように構成され、
表現TCX20は、第1の時間長を有する第1の部分を示し、表現TCX10は、第2の時間長を有する第2の部分を示し、表現TCX5は、第3の時間長を有する第3の部分を示し、第1の時間長は第2の時間長又は第3の時間長より長い、又は第2の時間長は、第1の時間長よりも短い又は第2の時間長よりも長く、第3の時間長は第1の時間長より短い又は第2の時間長より短い、実施例35から40のいずれか一項に記載の装置。
、又は
スペクトル値計算機は、以下の式に基づいて第2の方式を適用するように構成され:
、
式中、iはスペクトルビン番号並びにチャネルのスペクトル領域表現のサブフレーム
及び
を指定し、
式中、
及び
は、結合スペクトル領域表現のスペクトル値を示し、
及び
は、それぞれ第2のサブフレームk1及び第1のサブフレームk0からのスペクトル値を示す、実施例35から41のいずれか一項に記載の装置。
装置は、
変換されたスペクトル領域表現を処理して、第2の分解能を有する処理されたスペクトル領域表現を取得するための第1のスペクトルプロセッサ(500)、又は
変換されたスペクトル領域表現から処理データを計算するための処理データ計算機(190)と、スペクトル領域表現を処理して、第1の分解能を有する処理済みスペクトル領域表現を取得するための第2のスペクトルプロセッサ(220)とを更に含む、実施例35から43のいずれか一項に記載の装置。
第2のスペクトルプロセッサ(220)は、処理において、第1のスペクトル分解能を有する更なるスペクトル領域表現を使用するように構成される、実施例44に記載の装置。
少なくとも2つのチャネルの帯域ごとの重み値を推定するための重み値推定器(100)であって、重み値推定器(100)は、帯域ごとの目標エネルギー値に基づいて帯域ごとの重み値を計算し、その結果、ダウンミックス信号の帯域におけるエネルギーが少なくとも2つのチャネルの同じ帯域におけるエネルギーと所定の関係にあるように構成される、重み値推定器(100)と、
帯域ごとの重み値を使用して少なくとも2つのチャネルのスペクトル領域表現を重み付けして、重み付けされたスペクトル領域表現を取得するためのスペクトル重み付け器(200)と、
少なくとも2つのチャネルの重み付けされたスペクトル領域表現を使用してダウンミックス信号を計算するためのミキサ(400)と
を備える、ダウンミキサ。
重み値推定器(100)は、スペクトル領域表現が純実数である場合、虚数スペクトル領域表現を推定する(140)、又はスペクトル領域表現が純虚数である場合、実数スペクトル領域表現を推定する(140)ように構成され、
重み値推定器(100)は、推定された虚数スペクトル領域表現又は推定された実数ペクトル領域表現を使用して帯域ごとの重み値を推定するように構成される、実施例46に記載のダウンミキサ。
式中、wRは、帯域の第1のチャネルの重み係数であり、
は、第2のチャネルの推定電力であり、
は、帯域の第1のチャネルの推定電力であり、
は、帯域のチャネル間の推定ドット積であり、
は、帯域の第2のチャネルの推定振幅であり、
は、帯域の第1のチャネルの推定振幅である、実施例46から50のいずれか一項に記載のダウンミキサ。
式中、wLは、帯域の第2のチャネルの重み係数であり、
は、帯域の第1のチャネル及び第2のチャネルの推定振幅の推定線形結合である、実施例51に記載のダウンミキサ。
、又は、
重み値推定器(100)は、次の式に基づいて、帯域内の第1のチャネル及び第2のチャネルの推定振幅の推定線形結合を計算(146)するように構成される:
、又は、
重み値推定器(100)は、次の式に基づいて、帯域内のチャネル間の推定ドット積を計算する(148)ように構成される:
、又は、
重み値推定器(100)は、次の式に基づいて、帯域内の第2のチャネルの推定電力又は帯域内の第1のチャネルの推定電力を計算する(142)ように構成される:
式中、iはスペクトル帯域
内のビン番号を指定し、
は、MDCTビンiの推定虚数部を表し、
は、第1のチャネル又は第2のチャネルのスペクトル領域表現に含まれるMDCTビンiの実数部を表し、rは第1のチャネルを表し、lは第2のチャネルを表す、実施例50から52のいずれか一項に記載のダウンミキサ。
重み値推定器(100)は、第1のスペクトル領域表現を第2の時間分解能又は第2の周波数分解能を有する結合スペクトル領域表現に変換し(132)、結合スペクトル領域表現及び第2のスペクトル領域表現を使用して帯域ごとの重み値(134)を計算する、又は第2のスペクトル領域表現を第1の時間分解能又は第1の周波数分解能を有する結合スペクトル領域表現に変換し(132)、結合スペクトル領域表現及び第1のスペクトル領域表現を使用して帯域ごとの重み値を計算し(134)、又は
少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、第2の時間分解能は、第1の時間分解能とは異なり、第2の周波数分解能は、第1の周波数分解能(130)とは異なり、
重み値推定器(100)は、
第1のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第1の結合スペクトル領域表現に変換(132)し、
第3の時間分解能は、第1の時間分解能又は第2の時間分解能とは異なり、第3の周波数分解能は、第1の周波数分解能又は第2の周波数分解能とは異なり、
第2のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第2の結合スペクトル領域表現に変換(132)し、
第1の結合スペクトル領域表現及び第2の結合スペクトル領域表現を使用して、帯域ごとの重み値を計算する(134)ように構成される、実施例46から53のいずれか一項に記載のダウンミキサ。
少なくとも2つのチャネルの帯域ごとの重み値を推定することと、
帯域ごとの重み値を使用して少なくとも2つのチャネルのスペクトル領域表現を重み付けすることと、
少なくとも2つのチャネルの重み付けされたスペクトル領域表現を少なくとも2つのチャネルの時間表現に変換することと、
ダウンミックス信号を取得するために少なくとも2つのチャネルの時間表現を混合することと
を含む、方法。
結合スペクトル値の第1のグループを取得するために、第1の方式でスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合することと、
結合スペクトル値の第2のグループを取得するために、第2の方式でスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合することであって、第2の方式は第1の方式とは異なり、結合スペクトル値の第1のグループ及び結合スペクトル値の第2のグループは、異なる時間ビンサイズ及び異なる周波数ビンサイズを有する結合スペクトル領域表現を表す、ことと
を含む、方法。
少なくとも2つのチャネルの帯域ごとの重み値を推定することであって、帯域ごとの目標エネルギー値に基づいて帯域ごとの重み値を計算し、その結果、ダウンミックス信号の帯域におけるエネルギーが少なくとも2つのチャネルの同じ帯域におけるエネルギーと所定の関係にあることを含む、ことと、
帯域ごとの重み値を使用して少なくとも2つのチャネルのスペクトル領域表現を重み付けして、重み付けされたスペクトル領域表現を取得することと、
少なくとも2つのチャネルの重み付けされたスペクトル領域表現を使用してダウンミックス信号を計算することと
を含む、方法。
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するときに、本方法の1つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば、機械読み取り可能なキャリアに格納することができる。
換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
更なる実施形態は、本明細書で説明される方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
[1]ITU-R BS.775-2、Multichannel Stereophonic Sound System with And Without Accompanying Picture、2006年7月。
[2]F.Baumgarte,C.Faller und P.Kroon、「Audio Coder Enhancement using Scalable Binaural Cue Coding with Equalized Mixing」、116th Convention of the AES、ベルリン、2004年。
[3]G.Stoll,J.Groh,M.Link,J.Deigmoller, B.Runow,M.Keil,R.Stoll,M.Stoll and C.Stoll,’’Method for Generating a Downward-Compatible Sound Format’’。米国特許第2012/0014526号、2012年。
[4]M.Kim、E.Oh及びH.Shim、「Stereo audio coding improved by phase parameters」、129 Convention of the AES、サンフランシスコ、2010年。
[5]A.Adami、E.Habets、及びJ.Herre、「Down-mixing using coherence suppression」、IEEE International Conference on Acoustics、Speech and Signal Processing、フィレンツェ、2014年。
[6]ISO/IEC 23008-3:、Information technology-High efficiency coding and media delivery in heterogeneous environments-Part 3:3D audio、2019年。
[7]S.Bayer,C.Borsz、J.Buthe,S.Disch,B.Edler,G.Fuchs,F.ghido and M.Multrus,「DOWNMIXER AND METHOD FOR DOWNMIXING AT LEAST TWO CHANNELS AND MULTICHANNEL ENCODER AND MULTICHANNEL DECODER」。国際公開第2018086946号
[8]3GPP TS 26.445、Codec for Enhanced Voice Services(EVS);Detailed algorithmic description。
[9]S.Chen、H.Ruimin、及びS.Zhang、「Estimating spatial cues for audio coding in MDCT domain」、IEEE International Conference on Multimedia and Expo、ニューヨーク、2009年。
Claims (49)
- 少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするためのダウンミキサであって、
前記少なくとも2つのチャネルの帯域ごとの重み値を推定するための重み値推定器(100)と、
前記帯域ごとの重み値を使用して前記少なくとも2つのチャネルのスペクトル領域表現を重み付けするためのスペクトル重み付け器(200)であって、前記少なくとも2つのチャネルのうちの第1のチャネル及び前記少なくとも2つのチャネルのうちの第2のチャネルの各帯域は複数のスペクトル値を有し、前記スペクトル重み付け器(200)は、前記少なくとも2つのチャネルのうちの一方の前記帯域の各スペクトル値に同じ重みを適用し、前記少なくとも2つのチャネルのうちの別のチャネルの前記帯域の各スペクトル値に別の重みを適用するように構成されるスペクトル重み付け器(200)と、
前記少なくとも2つのチャネルの重み付けされたスペクトル領域表現を前記少なくとも2つのチャネルの時間表現に変換する変換器(300)と、
ダウンミックス信号を取得するために前記少なくとも2つのチャネルの前記時間表現を混合するためのミキサ(400)と
を備える、ダウンミキサ。 - 前記重み値推定器(100)は、前記少なくとも2つのチャネルのうちの第1のチャネルの複数の帯域について複数の第1の帯域ごとの重み値を計算し、前記少なくとも2つのチャネルのうちの第2のチャネルの前記複数の帯域について複数の第2の帯域ごとの重み値を計算するように構成される、請求項1に記載のダウンミキサ。
- 前記マルチチャネル信号は2つを超えるチャネルを有し、前記重み値推定器(100)は、前記2つを超えるチャネルのうちの第1のチャネルの複数の帯域について複数の第1の帯域ごとの重み値を計算し、前記2つを超えるチャネルのうちの第2のチャネルの前記複数の帯域について複数の第2の帯域ごとの重み値を計算し、前記2つを超えるチャネルのうちの更なるチャネルの前記複数の帯域について複数の更なる帯域ごとの重み値を計算するように構成される、請求項1に記載のダウンミキサ。
- 前記少なくとも2つのチャネルの前記スペクトル領域表現は各々、周波数ビンのセットを含み、スペクトル値は前記周波数ビンに関連付けられ、
前記重み値推定器(100)は、帯域に対する前記帯域ごとの重み値を計算するように構成され、各帯域は、1つ、2つ、若しくはそれ以上の周波数ビンを含み、又は
帯域当たりの周波数ビンの数は、より高い中心周波数を有する帯域と共に増加する、請求項1又は2又は3に記載のダウンミキサ。 - 前記重み値推定器(100)は、帯域当たりの目標エネルギー値に基づいて前記帯域ごとの重み値を計算し、その結果、前記ダウンミックス信号の前記帯域におけるエネルギーが、前記少なくとも2つのチャネルの同じ帯域におけるエネルギーに対して所定の関係にあるように構成される、請求項1から4のいずれか一項に記載のダウンミキサ。
- 符号化された信号を復号するためのコアデコーダ(500)であって、前記符号化された信号は、少なくとも2つの元のチャネルの符号化されたスペクトル領域表現を有し、前記コアデコーダは、前記符号化されたスペクトル領域表現から前記スペクトル領域表現を生成するように構成される、コアデコーダ(500)
を更に備える、請求項1から5のいずれか一項に記載のダウンミキサ。 - 前記スペクトル領域表現は純実数又は純虚数のいずれかであり、
前記重み値推定器(100)は、前記スペクトル領域表現が純実数である場合、虚数スペクトル領域表現を推定(120、122)する、又は前記スペクトル領域表現が純虚数である場合、実数スペクトル領域表現を推定するように構成され、
前記重み値推定器(100)は、推定された前記虚数スペクトル領域表現又は推定された前記実数スペクトル領域表現を使用して前記帯域ごとの重み値を推定するように構成される、請求項1から6のいずれか一項に記載のダウンミキサ。 - 前記重み値推定器(100)は、前記少なくとも2つのチャネルのうちの第1のチャネルの帯域に対する第1の重み値を計算するように構成され、
前記重み値推定器(100)は、前記少なくとも2つのチャネルのうちの第2のチャネルの前記帯域に対する第2の重み値を計算するように構成され、
前記重み値推定器(100)は、前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネルのエネルギーと、前記帯域内の前記少なくとも2つのチャネルのうちの前記第2のチャネルのエネルギーと、前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネルおよび前記帯域内の前記少なくとも2つのチャネルのうちの前記第2のチャネルからのスペクトル値の積又は線形結合に依存する混合項とを用いて、前記第1の重み値及び前記第2の重み値を計算するように構成される、請求項1に記載のダウンミキサ。 - 前記重み値推定器(100)は、前記線形結合に依存する前記混合項として、前記少なくとも2つのチャネルの前記スペクトル領域表現から前記帯域内で互いに加算されたスペクトル値のエネルギーの平方根を計算するように構成され、前記帯域は複数のスペクトル値を含むか、又は、前記積に依存する前記混合項として、前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記帯域内の前記スペクトル値と前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記帯域内の前記スペクトル値との間の複素ドット積の絶対値を計算するように構成される、請求項8に記載のダウンミキサ。
- 前記重み付けされたスペクトル領域表現はMDCT(修正離散コサイン変換)スペクトルであり、
前記変換器(300)は、前記複数のチャネルの各チャネルについて、合成窓がけ演算及び重畳加算演算を使用して逆MDCT変換を実行するように構成される、請求項1から9のいずれか一項に記載のダウンミキサ。 - 前記ミキサ(400)は、前記少なくとも2つのチャネルの前記時間表現のサンプルごとの加算を適用するように構成されるか、又は
前記ミキサ(400)は、前記少なくとも2つのチャネルの前記時間表現のサンプルごとの加算と、前記サンプルごとの加算の結果に適用される、又は前記サンプルごとの加算への入力に適用されるスケーリング動作とを適用するように構成される、請求項1から10のいずれか一項に記載のダウンミキサ。 - 前記変換器(300)は、スペクトル-時間アルゴリズムを使用して生の時間表現を生成し(310)、
前記時間表現を取得するために前記少なくとも2つのチャネルのための別個の制御情報を使用して、前記生の時間表現を個別に後処理する(320)ように構成され、
前記後処理(320)操作によって得られた前記時間表現は、前記ミキサ(400)に入力される、請求項1から11のいずれか一項に記載のダウンミキサ。 - 前記変換器(300)は、前記後処理(320)として、バス・ポストフィルタリング、TCX-LTP(Transform Coded Excitation Long Term Prediction)処理、又はLPC(Linear Prediction Coding)合成を各時間表現について個別に実行するように構成される、請求項12に記載のダウンミキサ。
- 前記少なくとも2つのチャネルのうちの第1のチャネルの第1のスペクトル領域表現は、第1の時間又は周波数分解能を有し、
前記少なくとも2つのチャネルのうちの第2のチャネルの第2のスペクトル領域表現は、第2の時間又は周波数分解能を有し、前記第2の時間又は周波数分解能は、前記第1の時間又は周波数分解能とは異なり、
前記重み値推定器(100)は、前記帯域ごとの重み値に関連付けられた前記帯域の周波数分解能が、前記第1の周波数分解能及び前記第2の周波数分解能よりも低くなるように、又は前記第1の周波数分解能及び前記第2の周波数分解能のうちの低い方の周波数分解能と等しくなるように、前記帯域ごとの重み値を計算するように構成される、請求項1に記載のダウンミキサ。 - 前記第1のスペクトル領域表現は、帯域内の第1の複数のスペクトル値を有し、
前記第2のスペクトル領域表現は、前記帯域内の第2の複数のスペクトル値を有し、前記第2の複数のスペクトル値は前記第1の複数のスペクトル値よりも高く、
前記重み値推定器(100)は、
前記第2の複数のスペクトル値のうちの2つ以上のスペクトル値を結合するか、又は前記第2の複数のスペクトル値からスペクトル値のサブセットを選択して、
前記2つ以上のスペクトル値を結合した結果を使用して、又は前記スペクトル値のサブセットを使用して、前記帯域内の前記少なくとも2つのチャネルからのスペクトル値の積又は線形結合に依存する混合項を計算し、
前記混合項を使用して前記帯域ごとの重み値を計算するように構成される、請求項14に記載のダウンミキサ。 - 第1のスペクトル領域表現は、第1の時間ビンサイズ及び第1の周波数ビンサイズを表す複数の第1のスペクトル値を含み、
第2のスペクトル領域表現は、第2の時間ビンサイズ及び第2の周波数ビンサイズを表す複数のスペクトル値を含み、
前記第1の時間ビンサイズは前記第2の時間ビンサイズよりも大きいか、又は前記第1の周波数ビンサイズは前記第2の周波数ビンサイズよりも小さく、
前記重み値推定器(100)は、前記第1のスペクトル領域表現からの複数のスペクトル値を結合して、結合された周波数ビンサイズが前記第2の周波数ビンサイズに等しい第1の結合スペクトル領域表現を取得するか、又は前記第2のスペクトル領域表現からの複数のスペクトル値を結合して、結合された時間ビンサイズが前記第1の時間ビンサイズに等しい第1の結合スペクトル領域表現を取得するように構成される、請求項1に記載のダウンミキサ。 - 前記重み値推定器(100)は、前記少なくとも2つのチャネルのうちの第1のチャネル及び前記少なくとも2つのチャネルのうちの第2のチャネルの前記帯域ごとの重み値の前記推定のために前記第1の結合スペクトル領域表現又は第2の結合スペクトル領域表現を使用するように構成され、前記推定は、帯域内の混合項の計算と前記帯域内のエネルギーの計算とを含み、
前記スペクトル重み付け器(200)は、前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記帯域ごとの重み値を、対応する帯域内の前記第1のスペクトル領域表現のスペクトル値に適用し、前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記帯域ごとの重み値を、前記対応する帯域内の前記第2のスペクトル領域表現のスペクトル値に適用するように構成される、請求項16に記載のダウンミキサ。 - 前記少なくとも2つのチャネルのうちの第1のチャネルの第1のスペクトル領域表現は、第1の時間ビンサイズ及び第1の周波数ビンサイズを表す複数の第1のスペクトル値を含み、
前記少なくとも2つのチャネルのうちの第2のチャネルの第2のスペクトル領域表現は少なくとも2つのサブフレームを含み、各サブフレームは、第2の時間ビンサイズ及び第2の周波数ビンサイズを表す複数のスペクトル値を含み、
前記第1の時間ビンサイズは前記第2の時間ビンサイズよりも大きいか、又は前記第1の周波数ビンサイズは前記第2の周波数ビンサイズよりも小さく、
前記重み値推定器(100)は、
結合スペクトル値の第1のグループを取得するために、第1の方式で前記第2のスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合し、
結合スペクトル値の第2のグループを取得するために、第2の方式で前記第2のスペクトル領域表現の各サブフレームからの同じ周波数ビンに属するスペクトル値を結合し、前記第2の方式は前記第1の方式とは異なり、
結合スペクトル値の前記第1のグループ及び結合スペクトル値の前記第2のグループは、前記第1の時間ビンサイズ及び前記第1の周波数ビンサイズを有する結合スペクトル領域表現を表し、
前記帯域ごとの重み値の前記推定のために、前記結合スペクトル領域表現及び前記第1のスペクトル領域表現の前記スペクトル値を使用する
ように構成される、請求項1に記載のダウンミキサ。 - 前記重み値推定器(100)は、前記第1の方式で加算及び減算の一方を実行し、前記第2の方式で前記加算及び前記減算の他方を実行するように構成される、請求項18に記載のダウンミキサ。
- 前記重み値推定器(100)は、前記第1の方式及び前記第2の方式で平均関数を実行するように構成される、請求項18又は19に記載のダウンミキサ。
- 前記重み値推定器(100)は、重み付け符号を使用する重み付けを含む前記第1の方式又は前記第2の方式のいずれかを適用するように構成され、前記重み値推定器(100)は、前記同じ周波数ビンの周波数ビン番号に従って前記重み付け符号を設定するように構成される、請求項18から20のいずれか一項に記載のダウンミキサ。
- 前記重み値推定器(100)は、前記第1の方式として、ハイパスフィルタリング及びローパスフィルタリングの一方を適用し、前記第2の方式として、ハイパスフィルタリング及びローパスフィルタリングの他方を適用するように構成される、請求項18から21のいずれか一項に記載のダウンミキサ。
- 前記重み値推定器(100)は、より低い分解能ビンを2つのより高い分解能ビンに変換するように構成され、前記第1の方式は、前記2つのより高い分解能ビンのうちの第1のより高い分解能ビンの偶数ビン番号に使用され、前記第2の方式は、前記2つのより高い分解能ビンのうちの第2のより高い分解能ビンの奇数ビン番号に使用される、請求項18から22のいずれか一項に記載のダウンミキサ。
- 前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記第1のスペクトル領域表現はTCX20フレームを含み、前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記第2のスペクトル領域表現は2つのTCX10サブフレームを含み、前記重み値推定器(100)は、前記2つのTCX10サブフレームからの結合TCX20スペクトル領域表現を計算するように構成される、又は
前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記第1のスペクトル領域表現は、TCX20フレームを含み、前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記第2のスペクトル領域表現は、TCX10サブフレーム及び2つのTCX5サブフレームを含み、前記重み値推定器(100)は、前記2つのTCX5サブフレームからの第1の結合TCX10スペクトル領域表現を計算し、前記第1の結合TCX10スペクトル領域表現及び前記TCX10サブフレームからの第2の結合TCX20サブフレームを計算するように構成され、
前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記第1のスペクトル領域表現は、TCX10サブフレームを含み、前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記第2のスペクトル領域表現は、2つのTCX5サブフレームを含み、前記重み値推定器(100)は、前記2つのTCX5サブフレームからの結合TCX10スペクトル領域表現を計算するように構成され、
前記表現TCX20は、第1の時間長を有する第1の部分を示し、前記表現TCX10は、第2の時間長を有する第2の部分を示し、前記表現TCX5は、第3の時間長を有する第3の部分を示し、前記第1の時間長は前記第2の時間長又は前記第3の時間長より長い、又は前記第2の時間長は、前記第1の時間長よりも短い又は前記第2の時間長よりも長く、前記第3の時間長は前記第1の時間長より短い又は前記第2の時間長より短い、請求項18から23のいずれか一項に記載のダウンミキサ。 - 前記少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、前記少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、前記第2の時間分解能は前記第1の時間分解能とは異なる、又は前記第2の周波数分解能は前記第1の周波数分解能とは異なり、
前記重み値推定器(100)は、前記第1のスペクトル領域表現を前記第2の時間分解能又は前記第2の周波数分解能を有する結合スペクトル領域表現に変換し(132)、前記結合スペクトル領域表現及び前記第2のスペクトル領域表現を使用して前記帯域ごとの重み値を計算する、又は前記第2のスペクトル領域表現を前記第1の時間分解能又は前記第1の周波数分解能を有する結合スペクトル領域表現に変換し、前記結合スペクトル領域表現及び前記第1のスペクトル領域表現を使用して前記帯域ごとの重み値を計算し、又は
前記少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、前記少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、前記第2の時間分解能は、前記第1の時間分解能とは異なり、又は前記第2の周波数分解能は、前記第1の周波数分解能とは異なり、
前記重み値推定器(100)は、
前記第1のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第1の結合スペクトル領域表現に変換(132)し、
前記第3の時間分解能は、前記第1の時間分解能又は前記第2の時間分解能とは異なり、前記第3の周波数分解能は、前記第1の周波数分解能又は前記第2の周波数分解能とは異なり、
前記第2のスペクトル領域表現を、前記第3の時間分解能又は前記第3の周波数分解能を有する第2の結合スペクトル領域表現に変換(132)し、
前記第1の結合スペクトル領域表現及び前記第2の結合スペクトル領域表現を使用して、前記帯域ごとの重み値を計算する(134)ように構成される、請求項1に記載のダウンミキサ。 - 前記少なくとも2つのチャネルのうちの前記第2のチャネルは、特定の時間部分(TCX20)について、前記第2のスペクトル領域表現を含み、
前記少なくとも2つのチャネルのうちの前記第1のチャネルは、前記特定の時間部分(2xTCX10)について、2つ以上の第1のスペクトル領域表現を含み、
前記重み値推定器(100)は、前記2つ以上の第1のスペクトル領域表現を、前記第2のスペクトル領域表現と同じ時間分解能及び周波数分解能を有する前記結合スペクトル領域表現に変換し、前記結合スペクトル領域表現及び前記第2のスペクトル領域表現を使用して前記帯域ごとの重み値を計算するように構成され、
前記スペクトル重み付け器(200)は、前記帯域ごとの重み値を使用して前記第2のスペクトル領域表現に重み付けし、同じ帯域ごとの重み値を使用して前記2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現に重み付けするように構成される、請求項26に記載のダウンミキサ。 - 前記重み値推定器(100)は、前記2つ以上の第1のスペクトル領域表現の同じ周波数のスペクトル値を加算して、前記結合スペクトル領域表現の第1のスペクトル値を取得し、前記2つ以上の第1のスペクトル領域表現の同じ周波数のスペクトル値を減算して、前記結合スペクトル領域表現の前記第1のスペクトル値の周波数より高く且つ隣接している前記結合スペクトル領域表現の第2のスペクトル値を取得するように構成され、
前記スペクトル重み付け器(200)は、同じ帯域ごとの重み値を使用して、前記2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現において同じ周波数を有する帯域に重み付けするように構成される、請求項27に記載のダウンミキサ。 - 前記少なくとも2つのチャネルのうちの前記第2のチャネルは、特定の時間部分(TCX20)について、前記第2のスペクトル領域表現を含み、
前記少なくとも2つのチャネルのうちの前記第1のチャネルは、前記特定の時間部分(2xTCX10)について、2つ以上の前記第1のスペクトル領域表現を含み、
前記重み値推定器(100)は、
前記第2のスペクトル領域表現を、前記2つ以上の第1のスペクトル領域表現と同じ時間分解能及び周波数分解能を有する2つ以上の結合スペクトル領域表現に変換し、
前記2つ以上の結合スペクトル領域表現の第1の結合スペクトル領域表現と、前記2つ以上の第1のスペクトル領域表現の第1の第1のスペクトル領域表現とを使用して、第1の帯域ごとの重み値を計算し、
前記2つ以上の結合スペクトル領域表現の第2の結合スペクトル領域表現と、前記2つ以上の第1のスペクトル領域表現の第2の第1のスペクトル領域表現とを使用して、第2の帯域ごとの重み値を計算する
ように構成され、
前記スペクトル重み付け器(200)は、
前記第1及び第2の帯域ごとの重み値から導出された(136)、導出された帯域ごとの重み値を使用して、前記第2のスペクトル領域表現に重み付けし、
前記第1の帯域ごとの重み値を使用して、前記2つ以上の第1のスペクトル領域表現の前記第1の第1のスペクトル領域表現に重み付けし、
前記第2の帯域ごとの重み値を使用して、前記2つ以上の第1のスペクトル領域表現の前記第2の第1のスペクトル領域表現に重み付けする
ように構成される、請求項26に記載のダウンミキサ。 - 前記重み値推定器(100)は、前記第2のスペクトル領域表現の周波数対のスペクトル値を加算して加算スペクトル値を取得し、加算スペクトル値にコピーして、前記2つ以上の結合スペクトル領域表現の各々の結合スペクトル値を取得するように構成され、
前記スペクトル重み付け器(200)は、前記第1の帯域ごとの重み値のうちの特定の帯域に対する重み値を、前記第2の帯域ごとの重み値のうちの前記特定の帯域に対する重み値と結合して(136)、前記導出された帯域ごとの重み値のうちの前記特定の帯域に対する導出された重み値を取得するように構成されている、請求項29に記載のダウンミキサ。 - 前記少なくとも2つのチャネルのうちの前記第2のチャネルは、特定の時間部分(TCX20)について、前記第2のスペクトル領域表現を含み、
前記少なくとも2つのチャネルのうちの前記第1のチャネルは、前記特定の時間部分(2xTCX10)について、2つ以上の前記第1のスペクトル領域表現を含み、
前記重み値推定器(100)は、
前記第2のスペクトル領域表現を、前記2つ以上の第1のスペクトル領域表現と同じ時間分解能を有し、前記第2のスペクトル領域表現と同じ周波数分解能を有する2つ以上の結合スペクトル領域表現に変換し、
前記2つ以上の結合スペクトル領域表現の第1の結合スペクトル領域表現と、前記2つ以上の第1のスペクトル領域表現の第1の第1のスペクトル領域表現とを使用して、第1の帯域ごとの重み値を計算し、
前記2つ以上の結合スペクトル領域表現の第2の結合スペクトル領域表現と、前記2つ以上の第1のスペクトル領域表現の第2の第1のスペクトル領域表現とを使用して、第2の帯域ごとの重み値を計算する
ように構成され、
前記スペクトル重み付け器(200)は、
前記第1及び第2の帯域ごとの重み値から導出された(136)、帯域ごとの重み値を使用して、前記第2のスペクトル領域表現に重み付けし、
前記第1の帯域ごとの重み値を使用して、前記2つ以上の第1のスペクトル領域表現の前記第1の第1のスペクトル領域表現に重み付けし、
前記第2の帯域ごとの重み値を使用して、前記2つ以上の第1のスペクトル領域表現の前記第2の第1のスペクトル領域表現に重み付けする
ように構成される、請求項26に記載のダウンミキサ。 - 前記重み値推定器(100)は、1つ以上のスペクトル値をアップサンプリングして前記第2のスペクトル領域表現の隣接周波数に対するアップサンプリングされたスペクトル値を取得し、アップサンプリングされたスペクトル値にコピーして、前記2つ以上の結合スペクトル領域表現の各々の結合スペクトル値を取得するように構成され、
前記スペクトル重み付け器(200)は、前記第1の帯域ごとの重み値のうちの特定の帯域に対する重み値を、前記第2の帯域ごとの重み値のうちの前記特定の帯域に対する重み値と結合して(136)、前記導出された帯域ごとの重み値のうちの前記特定の帯域に対する導出された重み値を取得するように構成されている、請求項31に記載のダウンミキサ。 - 前記少なくとも2つのチャネルのうちの前記第2のチャネルは、特定の時間部分(TCX20)について、前記第2のスペクトル領域表現を含み、
前記少なくとも2つのチャネルのうちの前記第1のチャネルは、前記特定の時間部分(2xTCX10)について、2つ以上の前記第1のスペクトル領域表現を含み、
前記重み値推定器(100)は、前記2つ以上の第1のスペクトル領域表現を、前記第2のスペクトル領域表現と同じ時間分解能を有する前記第1の結合スペクトル領域表現に変換し、
前記第2のスペクトル領域表現を前記2つ以上の第1のスペクトル領域表現と同じ周波数分解能を有する前記第2の結合スペクトル領域表現に変換し、
前記第1の結合スペクトル領域表現及び前記第2の結合スペクトル領域表現を使用して前記帯域ごとの重み値を計算するように構成され、
前記スペクトル重み付け器(200)は、前記帯域ごとの重み値を使用して前記第2のスペクトル領域表現に重み付けし、同じ帯域ごとの重み値を使用して前記2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現に重み付けするように構成される、請求項26に記載のダウンミキサ。 - 前記重み値推定器(100)は、前記第2のスペクトル領域表現の周波数対のスペクトル値を加算して、前記第2の結合スペクトル領域表現を取得し、前記2つ以上の前記第1のスペクトル領域表現の同じ周波数のスペクトル値を加算して、前記第1の結合スペクトル領域表現を取得するように構成され、
前記スペクトル重み付け器(200)は、同じ帯域ごとの重み値を使用して、前記2つ以上の第1のスペクトル領域表現の各第1のスペクトル領域表現において同じ周波数を有する帯域に重み付けするように構成される、請求項33に記載のダウンミキサ。 - 前記重み値推定器(100)は、前記少なくとも2つのチャネルのうちの前記第1のチャネルの第1のスペクトル領域表現の少なくとも2つのスペクトル値、前記少なくとも2つのチャネルのうちの第2のチャネルの第2のスペクトル領域表現のスペクトル値、前記第1のスペクトル領域表現又は前記第2のスペクトル領域表現の前記スペクトル値から導出された単一の結合スペクトル領域表現のスペクトル値、前記第1のスペクトル領域表現のスペクトル値から導出された第1の結合スペクトル領域表現の前記スペクトル値から導出された第1の結合スペクトル領域表現のスペクトル値、及び前記第2のスペクトル領域表現の前記スペクトル値から導出された第2の結合スペクトル領域表現のスペクトル値に依存する第1の計算規則を使用して、前記少なくとも2つのチャネルの第1のチャネルの複数の帯域について複数の第1の帯域ごとの重み値を計算するように構成され、
前記重み値推定器(100)は、少なくとも2つの前記複数の第1の帯域ごとの重み値、前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記第1のスペクトル領域表現の前記スペクトル値、前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記第2のスペクトル領域表現の前記スペクトル値、前記第1のスペクトル領域表現又は前記第2のスペクトル領域表現の前記スペクトル値から導出された前記単一の結合スペクトル領域表現の前記スペクトル値、前記第1のスペクトル領域表現の前記スペクトル値から導出された第1の結合スペクトル領域表現の前記スペクトル値、及び前記第2のスペクトル領域表現の前記スペクトル値から導出された第2の結合スペクトル領域表現の前記スペクトル値に依存する第2の計算規則を使用して、前記少なくとも2つのチャネルの前記第1のチャネルの複数の帯域について複数の第2の帯域ごとの重み値を計算するように構成され、前記第2の計算規則は前記第1の計算規則とは異なる、請求項1に記載のダウンミキサ。 - 少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするためのダウンミキサであって、
前記少なくとも2つのチャネルの帯域ごとの重み値を推定するための重み値推定器(100)であって、前記重み値推定器(100)は、帯域ごとの目標エネルギー値に基づいて前記帯域ごとの重み値を計算し、その結果、ダウンミックス信号の前記帯域におけるエネルギーが前記少なくとも2つのチャネルの同じ帯域におけるエネルギーと所定の関係にあるように構成される、重み値推定器(100)と、
前記帯域ごとの重み値を使用して前記少なくとも2つのチャネルのスペクトル領域表現を重み付けして、重み付けされたスペクトル領域表現を取得するためのスペクトル重み付け器(200)であって、前記少なくとも2つのチャネルのうちの第1のチャネル及び前記少なくとも2つのチャネルのうちの第2のチャネルの各帯域は複数のスペクトル値を有し、前記スペクトル重み付け器(200)は、前記少なくとも2つのチャネルのうちの一方の前記帯域の各スペクトル値に同じ重みを適用し、前記少なくとも2つのチャネルのうちの別のチャネルの前記帯域の各スペクトル値に別の重みを適用するように構成されるスペクトル重み付け器(200)と、
前記少なくとも2つのチャネルの前記重み付けされたスペクトル領域表現を使用して前記ダウンミックス信号を計算するためのミキサ(400)と
を備える、ダウンミキサ。 - 前記スペクトル領域表現は純実数であり、
前記重み値推定器(100)は、虚数スペクトル領域表現を推定する(140)ように構成され、
前記重み値推定器(100)は、推定された前記虚数スペクトル領域表現を使用して前記帯域ごとの重み値を推定するように構成される、請求項36に記載のダウンミキサ。 - 前記スペクトル領域表現は純虚数であり、
前記重み値推定器(100)は、実数スペクトル領域表現を推定する(140)ように構成され、
前記重み値推定器(100)は、推定された前記実数スペクトル領域表現を使用して前記帯域ごとの重み値を推定するように構成される、請求項36に記載のダウンミキサ。 - 前記重み値推定器(100)は、前記少なくとも2つのチャネルのうちの第1のチャネルの帯域に対する第1の重み値を計算し、前記少なくとも2つのチャネルのうちの第2のチャネルの前記帯域に対する第2の重み値を計算し、前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネルのエネルギーと、前記帯域内の前記少なくとも2つのチャネルのうちの前記第2のチャネルのエネルギーと、前記帯域内の前記少なくとも2つのチャネルからのスペクトル値の積(148)又は線形結合(146)に依存する混合項とを用いて(142)、前記第1の重み値及び前記第2の重み値を計算するように構成される、請求項36又は37又は38に記載のダウンミキサ。
- 前記重み値推定器(100)は、前記線形結合(146)に依存する前記混合項として、前記少なくとも2つのチャネルの前記スペクトル領域表現から前記帯域内で互いに加算されたスペクトル値のエネルギーの平方根を計算するように構成され、前記帯域は複数のスペクトル値を含むか、又は、前記積(148)に依存する前記混合項として、前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記帯域内の前記スペクトル値と前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記帯域内の前記スペクトル値との間の複素ドット積の絶対値を計算するように構成される、請求項39に記載のダウンミキサ。
- 前記重み値推定器(100)は、以下の式に基づいて、前記少なくとも2つのチャネルのうちの第1のチャネルの前記帯域ごとの重み値を計算する(150)ように構成され、
式中、wRは、帯域の前記少なくとも2つのチャネルのうちの前記第1のチャネルの重み係数であり、
は、前記少なくとも2つのチャネルのうちの第2のチャネルの推定電力であり、
は、前記帯域の前記少なくとも2つのチャネルのうちの第1のチャネルの推定電力であり、
は、前記帯域の前記少なくとも2つのチャネルのうちの前記第1のチャネル及び前記少なくとも2つのチャネルのうちの前記第2のチャネル間の推定ドット積であり、
は、前記帯域の前記少なくとも2つのチャネルのうちの前記第2のチャネルの推定振幅であり、
は、前記帯域の前記少なくとも2つのチャネルのうちの前記第1のチャネルの推定振幅である、請求項36から37のいずれか一項に記載のダウンミキサ。 - 前記重み値推定器(100)は、前記帯域内の前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記推定振幅を計算し(144)、次の式に基づいて前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記推定振幅を計算するように構成される:
、又は、
前記重み値推定器(100)は、次の式に基づいて、前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネル及び前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記推定振幅の前記推定線形結合を計算(146)するように構成される:
、又は、
前記重み値推定器(100)は、次の式に基づいて、前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネル及び前記少なくとも2つのチャネルのうちの前記第2のチャネル間の前記推定ドット積を計算する(148)ように構成される:
、又は、
前記重み値推定器(100)は、次の式に基づいて、前記帯域内の前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記推定電力又は前記帯域内の前記少なくとも2つのチャネルのうちの前記第1のチャネルの前記推定電力を計算する(142)ように構成される:
式中、iはスペクトル帯域
内のビン番号を指定し、
は、MDCTビンiの推定虚数部を表し、
は、前記少なくとも2つのチャネルのうちの前記第1のチャネル又は前記少なくとも2つのチャネルのうちの前記第2のチャネルの前記スペクトル領域表現に含まれる前記MDCTビンiの実数部を表し、rは前記少なくとも2つのチャネルのうちの前記第1のチャネルを表し、lは前記少なくとも2つのチャネルのうちの前記第2のチャネルを表す、請求項42に記載のダウンミキサ。 - 前記少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、前記少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、前記第2の時間分解能は前記第1の時間分解能とは異なり、前記第2の周波数分解能は前記第1の周波数分解能(130)とは異なり、
前記重み値推定器(100)は、前記第1のスペクトル領域表現を前記第2の時間分解能又は前記第2の周波数分解能を有する結合スペクトル領域表現に変換し(132)、前記結合スペクトル領域表現及び前記第2のスペクトル領域表現を使用して前記帯域ごとの重み値(134)を計算する、又は前記第2のスペクトル領域表現を前記第1の時間分解能又は前記第1の周波数分解能を有する結合スペクトル領域表現に変換し(132)、前記結合スペクトル領域表現及び前記第1のスペクトル領域表現を使用して前記帯域ごとの重み値を計算し(134)、又は
前記少なくとも2つのチャネルの第1のチャネルの第1のスペクトル領域表現は、第1の時間分解能又は第1の周波数分解能を有し、前記少なくとも2つのチャネルの第2のチャネルの第2のスペクトル領域表現は、第2の時間分解能又は第2の周波数分解能を有し、前記第2の時間分解能は、前記第1の時間分解能とは異なり、前記第2の周波数分解能は、前記第1の周波数分解能(130)とは異なり、
前記重み値推定器(100)は、
前記第1のスペクトル領域表現を、第3の時間分解能又は第3の周波数分解能を有する第1の結合スペクトル領域表現に変換(132)し、
前記第3の時間分解能は、前記第1の時間分解能又は前記第2の時間分解能とは異なり、前記第3の周波数分解能は、前記第1の周波数分解能又は前記第2の周波数分解能とは異なり、
前記第2のスペクトル領域表現を、前記第3の時間分解能又は前記第3の周波数分解能を有する第2の結合スペクトル領域表現に変換(132)し、
前記第1の結合スペクトル領域表現及び前記第2の結合スペクトル領域表現を使用して、前記帯域ごとの重み値を計算する(134)ように構成される、請求項36から37のいずれか一項に記載のダウンミキサ。 - 前記スペクトル重み付け器(200)は、前記少なくとも2つのチャネルの前記スペクトル領域表現として、前記結合スペクトル領域表現及び前記第2のスペクトル領域表現、前記結合スペクトル領域表現及び前記第1のスペクトル領域表現、並びに前記第1の結合スペクトル領域表現及び前記第2の結合スペクトル領域表現のうちの一方を重み付けして、第1の重み付けされたスペクトル領域表現及び第2の重み付けされたスペクトル領域表現を取得するように構成される、請求項44に記載のダウンミキサ。
- 前記ミキサ(400)は、前記第1の重み付けされたスペクトル領域表現と前記第2の重み付けされたスペクトル領域表現とを加算してスペクトル領域ダウンミックス表現を取得し、時間領域に前記スペクトル領域ダウンミックス表現を変換して前記ダウンミックス信号を取得する、又は前記第1の重み付けされたスペクトル領域表現及び前記第2の重み付けされたスペクトル領域表現を時間領域に変換して前記少なくとも2つのチャネルの時間表現を取得し、前記少なくとも2つのチャネルの前記時間表現を加算して前記ダウンミックス信号を取得するように構成される、請求項45に記載のダウンミキサ。
- 少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするための方法であって、
前記少なくとも2つのチャネルの帯域ごとの重み値を推定することと、
前記帯域ごとの重み値を使用して前記少なくとも2つのチャネルのスペクトル領域表現を重み付けすることであって、前記少なくとも2つのチャネルのうちの第1のチャネル及び前記少なくとも2つのチャネルのうちの第2のチャネルの各帯域は複数のスペクトル値を有し、前記重み付けすること(200)は、前記少なくとも2つのチャネルのうちの一方の前記帯域の各スペクトル値に同じ重みを適用し、前記少なくとも2つのチャネルのうちの別のチャネルの前記帯域の各スペクトル値に別の重みを適用することを含む、重み付けすることと、
前記少なくとも2つのチャネルの重み付けされたスペクトル領域表現を前記少なくとも2つのチャネルの時間表現に変換することと、
ダウンミックス信号を取得するために前記少なくとも2つのチャネルの前記時間表現を混合することと
を含む、方法。 - 少なくとも2つのチャネルを有するマルチチャネル信号をダウンミックスするための方法であって、
前記少なくとも2つのチャネルの帯域ごとの重み値を推定することであって、帯域ごとの目標エネルギー値に基づいて前記帯域ごとの重み値を計算し、その結果、ダウンミックス信号の前記帯域におけるエネルギーが前記少なくとも2つのチャネルの同じ帯域におけるエネルギーと所定の関係にあることを含む、ことと、
前記帯域ごとの重み値を使用して前記少なくとも2つのチャネルのスペクトル領域表現を重み付けして、重み付けされたスペクトル領域表現を取得することであって、前記少なくとも2つのチャネルのうちの第1のチャネル及び前記少なくとも2つのチャネルのうちの第2のチャネルの各帯域は複数のスペクトル値を有し、前記重み付けすることは、前記少なくとも2つのチャネルのうちの一方の前記帯域の各スペクトル値に同じ重みを適用し、前記少なくとも2つのチャネルのうちの別のチャネルの前記帯域の各スペクトル値に別の重みを適用することを含む、重み付けされたスペクトル領域表現を取得することと、
前記少なくとも2つのチャネルの前記重み付けされたスペクトル領域表現を使用して前記ダウンミックス信号を計算することと
を含む、方法。 - コンピュータ又はプロセッサを実行するときに、請求項47又は48に記載の方法を実行するためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023188062A JP2024001325A (ja) | 2019-03-06 | 2023-11-02 | ダウンミキサ及びダウンミックス方法 |
JP2023188061A JP2024001324A (ja) | 2019-03-06 | 2023-11-02 | ダウンミキサ及びダウンミックス方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19161076.5 | 2019-03-06 | ||
EP19161076 | 2019-03-06 | ||
PCT/EP2020/055669 WO2020178321A1 (en) | 2019-03-06 | 2020-03-04 | Downmixer and method of downmixing |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023188061A Division JP2024001324A (ja) | 2019-03-06 | 2023-11-02 | ダウンミキサ及びダウンミックス方法 |
JP2023188062A Division JP2024001325A (ja) | 2019-03-06 | 2023-11-02 | ダウンミキサ及びダウンミックス方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022522706A JP2022522706A (ja) | 2022-04-20 |
JP7416816B2 true JP7416816B2 (ja) | 2024-01-17 |
Family
ID=65801834
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021550157A Active JP7416816B2 (ja) | 2019-03-06 | 2020-03-04 | ダウンミキサ及びダウンミックス方法 |
JP2023188061A Pending JP2024001324A (ja) | 2019-03-06 | 2023-11-02 | ダウンミキサ及びダウンミックス方法 |
JP2023188062A Pending JP2024001325A (ja) | 2019-03-06 | 2023-11-02 | ダウンミキサ及びダウンミックス方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023188061A Pending JP2024001324A (ja) | 2019-03-06 | 2023-11-02 | ダウンミキサ及びダウンミックス方法 |
JP2023188062A Pending JP2024001325A (ja) | 2019-03-06 | 2023-11-02 | ダウンミキサ及びダウンミックス方法 |
Country Status (13)
Country | Link |
---|---|
US (1) | US20210375293A1 (ja) |
EP (1) | EP3935630A1 (ja) |
JP (3) | JP7416816B2 (ja) |
KR (1) | KR20210137121A (ja) |
CN (1) | CN113544774A (ja) |
AU (2) | AU2020233210B2 (ja) |
BR (1) | BR112021017197A2 (ja) |
CA (1) | CA3132404A1 (ja) |
MX (1) | MX2021010570A (ja) |
SG (1) | SG11202108895TA (ja) |
TW (2) | TW202042214A (ja) |
WO (2) | WO2020178322A1 (ja) |
ZA (1) | ZA202107327B (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009194877A (ja) | 2008-02-18 | 2009-08-27 | Sharp Corp | 音声信号変換装置、音声信号変換方法、制御プログラム、および、コンピュータ読み取り可能な記録媒体 |
JP2013511062A (ja) | 2009-11-12 | 2013-03-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | パラメトリックエンコード及びデコード |
WO2018086946A1 (en) | 2016-11-08 | 2018-05-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Downmixer and method for downmixing at least two channels and multichannel encoder and multichannel decoder |
WO2018086948A1 (en) | 2016-11-08 | 2018-05-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for downmixing or upmixing a multichannel signal using phase compensation |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE487213T1 (de) * | 2003-03-17 | 2010-11-15 | Koninkl Philips Electronics Nv | Verarbeitung von mehrkanalsignalen |
US7447317B2 (en) * | 2003-10-02 | 2008-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V | Compatible multi-channel coding/decoding by weighting the downmix channel |
ATE390683T1 (de) * | 2004-03-01 | 2008-04-15 | Dolby Lab Licensing Corp | Mehrkanalige audiocodierung |
PT2109098T (pt) * | 2006-10-25 | 2020-12-18 | Fraunhofer Ges Forschung | Aparelho e método para gerar amostras de áudio de domínio de tempo |
KR20080076691A (ko) * | 2007-02-14 | 2008-08-20 | 엘지전자 주식회사 | 멀티채널 오디오신호 복호화방법 및 그 장치, 부호화방법및 그 장치 |
WO2010013450A1 (ja) * | 2008-07-29 | 2010-02-04 | パナソニック株式会社 | 音響符号化装置、音響復号化装置、音響符号化復号化装置および会議システム |
DE102008056704B4 (de) | 2008-11-11 | 2010-11-04 | Institut für Rundfunktechnik GmbH | Verfahren zum Erzeugen eines abwärtskompatiblen Tonformates |
EP2237266A1 (en) * | 2009-04-03 | 2010-10-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for determining a plurality of local center of gravity frequencies of a spectrum of an audio signal |
KR101756838B1 (ko) * | 2010-10-13 | 2017-07-11 | 삼성전자주식회사 | 다채널 오디오 신호를 다운 믹스하는 방법 및 장치 |
WO2013079524A2 (en) * | 2011-11-30 | 2013-06-06 | Dolby International Ab | Enhanced chroma extraction from an audio codec |
WO2013183928A1 (ko) * | 2012-06-04 | 2013-12-12 | 삼성전자 주식회사 | 오디오 부호화방법 및 장치, 오디오 복호화방법 및 장치, 및 이를 채용하는 멀티미디어 기기 |
TWI618051B (zh) * | 2013-02-14 | 2018-03-11 | 杜比實驗室特許公司 | 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置 |
CN106797523B (zh) * | 2014-08-01 | 2020-06-19 | 史蒂文·杰伊·博尼 | 音频设备 |
US10217467B2 (en) * | 2016-06-20 | 2019-02-26 | Qualcomm Incorporated | Encoding and decoding of interchannel phase differences between audio signals |
JP2017058696A (ja) * | 2016-12-09 | 2017-03-23 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | インターチャネル差分推定方法及び空間オーディオ符号化装置 |
GB2561596A (en) * | 2017-04-20 | 2018-10-24 | Nokia Technologies Oy | Audio signal generation for spatial audio mixing |
-
2020
- 2020-03-04 WO PCT/EP2020/055671 patent/WO2020178322A1/en active Application Filing
- 2020-03-04 JP JP2021550157A patent/JP7416816B2/ja active Active
- 2020-03-04 WO PCT/EP2020/055669 patent/WO2020178321A1/en active Search and Examination
- 2020-03-04 EP EP20706774.5A patent/EP3935630A1/en active Pending
- 2020-03-04 CA CA3132404A patent/CA3132404A1/en active Pending
- 2020-03-04 CN CN202080019078.1A patent/CN113544774A/zh active Pending
- 2020-03-04 BR BR112021017197A patent/BR112021017197A2/pt unknown
- 2020-03-04 KR KR1020217032037A patent/KR20210137121A/ko not_active Application Discontinuation
- 2020-03-04 SG SG11202108895TA patent/SG11202108895TA/en unknown
- 2020-03-04 AU AU2020233210A patent/AU2020233210B2/en active Active
- 2020-03-04 MX MX2021010570A patent/MX2021010570A/es unknown
- 2020-03-05 TW TW109107331A patent/TW202042214A/zh unknown
- 2020-03-05 TW TW109107332A patent/TWI760705B/zh active
-
2021
- 2021-08-12 US US17/400,872 patent/US20210375293A1/en active Pending
- 2021-09-29 ZA ZA2021/07327A patent/ZA202107327B/en unknown
-
2023
- 2023-11-01 AU AU2023258388A patent/AU2023258388A1/en active Pending
- 2023-11-02 JP JP2023188061A patent/JP2024001324A/ja active Pending
- 2023-11-02 JP JP2023188062A patent/JP2024001325A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009194877A (ja) | 2008-02-18 | 2009-08-27 | Sharp Corp | 音声信号変換装置、音声信号変換方法、制御プログラム、および、コンピュータ読み取り可能な記録媒体 |
JP2013511062A (ja) | 2009-11-12 | 2013-03-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | パラメトリックエンコード及びデコード |
WO2018086946A1 (en) | 2016-11-08 | 2018-05-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Downmixer and method for downmixing at least two channels and multichannel encoder and multichannel decoder |
WO2018086948A1 (en) | 2016-11-08 | 2018-05-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for downmixing or upmixing a multichannel signal using phase compensation |
JP2019537057A (ja) | 2016-11-08 | 2019-12-19 | フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. | 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ |
JP2020500336A (ja) | 2016-11-08 | 2020-01-09 | フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. | 位相補償を使用してマルチチャネル信号をダウンミックスまたはアップミックスするための装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022522706A (ja) | 2022-04-20 |
US20210375293A1 (en) | 2021-12-02 |
KR20210137121A (ko) | 2021-11-17 |
AU2020233210B2 (en) | 2023-09-28 |
WO2020178322A1 (en) | 2020-09-10 |
BR112021017197A2 (pt) | 2021-11-09 |
JP2024001324A (ja) | 2024-01-09 |
CN113544774A (zh) | 2021-10-22 |
SG11202108895TA (en) | 2021-09-29 |
TW202101427A (zh) | 2021-01-01 |
TW202042214A (zh) | 2020-11-16 |
MX2021010570A (es) | 2021-10-13 |
ZA202107327B (en) | 2022-08-31 |
EP3935630A1 (en) | 2022-01-12 |
AU2023258388A1 (en) | 2023-11-23 |
TWI760705B (zh) | 2022-04-11 |
WO2020178321A1 (en) | 2020-09-10 |
AU2020233210A1 (en) | 2021-11-04 |
JP2024001325A (ja) | 2024-01-09 |
CA3132404A1 (en) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11430453B2 (en) | Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing | |
US10535356B2 (en) | Apparatus and method for encoding or decoding a multi-channel signal using spectral-domain resampling | |
RU2625444C2 (ru) | Система обработки аудио | |
RU2741379C1 (ru) | Оборудование для кодирования или декодирования кодированного многоканального сигнала с использованием заполняющего сигнала, сформированного посредством широкополосного фильтра | |
KR20180009337A (ko) | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 | |
JP7416816B2 (ja) | ダウンミキサ及びダウンミックス方法 | |
RU2791673C1 (ru) | Устройство понижающего микширования и способ понижающего микширования | |
JP7348304B2 (ja) | 出力ダウンミックス表現を生成するための装置及びコンピュータプログラム | |
RU2791872C1 (ru) | Устройство, способ или компьютерная программа для формирования выходного представления понижающего микширования |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230501 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7416816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |