JP6817433B2 - 少なくとも２つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ - Google Patents

少なくとも２つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ Download PDF

Info

Publication number
JP6817433B2
JP6817433B2 JP2019523611A JP2019523611A JP6817433B2 JP 6817433 B2 JP6817433 B2 JP 6817433B2 JP 2019523611 A JP2019523611 A JP 2019523611A JP 2019523611 A JP2019523611 A JP 2019523611A JP 6817433 B2 JP6817433 B2 JP 6817433B2
Authority
JP
Japan
Prior art keywords
signal
channel
channels
complementary
weighting factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019523611A
Other languages
English (en)
Other versions
JP2019537057A (ja
Inventor
クリスティアン・ボルス
ベルント・エドラー
ギヨーム・フックス
ヤン・ビューテ
ザシャ・ディッシュ
フローリン・ギド
シュテファン・バイヤー
マルクス・ムルトゥルス
Original Assignee
フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．, フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． filed Critical フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
Publication of JP2019537057A publication Critical patent/JP2019537057A/ja
Application granted granted Critical
Publication of JP6817433B2 publication Critical patent/JP6817433B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Amplifiers (AREA)

Description

本発明は、オーディオ処理に関し、詳しくは、2つ以上のオーディオチャンネルを含むマルチチャンネルオーディオ信号の処理に関する。
チャンネルの数を低減することは、低ビットレートにおいてマルチチャンネルコーディングを達成するために必須である。例えば、パラメトリックステレオコーディングスキームは、左および右入力チャンネルからの適切なモノラルダウンミックスに基づいている。そうして得られるモノラル信号は、パラメトリック形式で聴覚情景を記述するサイド情報と一緒にモノラルコーデックによってエンコードされ、伝送されることになる。サイド情報は通常、1つの周波数サブバンドにつきいくつかの空間パラメータから成る。それらは、例えば、
・チャンネル間のレベル差(またはバランス)を測定するチャンネル間レベル差(ILD)と、
・チャンネル間の時間または位相の差を記述するチャンネル間時間差(ITD)またはチャンネル間位相差(IPD)とをそれぞれ含むこともあり得る。
しかしながら、ダウンミックス処理は、チャンネル間位相不整列に起因して信号キャンセルおよび着色を生み出す傾向があり、それは、望ましくない品質悪化につながる。一例として、もしチャンネルが、コヒーレントであり、位相の不一致に近いならば、ダウンミックス信号は、コムフィルタの特性などの、知覚できるスペクトルバイアスを示す可能性が高い。
ダウンミックス動作は、
m[n] = w1l[n] + w2r[n]
によって表されるように、単に左および右チャンネルの合計によって時間領域内で行うことができ、ただし、l[n]およびr[n]は、左および右チャンネルであり、nは、時間インデックスであり、w1[n]およびw2[n]は、ミキシングを決定する重みである。もし重みが、時間とともに一定であるならば、我々は、受動的ダウンミックスについて述べる。それは、入力信号にかかわらず不都合を有し、得られるダウンミックス信号の品質は、入力信号特性に大きく依存する。重みを時間につれて適合させることは、この問題をある程度低減することができる。
しかしながら、主な問題点を解決するために、能動的ダウンミックスが通常、例えば短期フーリエ変換(STFT)を使用して周波数領域内で行われる。それによって、重みは、周波数インデックスkおよび時間インデックスnに依存させることができ、信号特性に対してより良く適合することができる。ダウンミックス信号はその時、
M[k, n] = W1[k, n]L[k, n] + W2[k, n]R[k, n]
と表され、ただしM[k, n]、L[k, n]およびR[k,n]は、周波数インデックスkおよび時間インデックスnにおけるそれぞれダウンミックス信号、左チャンネルおよび右チャンネルのSTFT成分である。重みW1[k, n]およびW2[k, n]は、時間および周波数において適応的に調整することができる。それは、コムフィルタ処理効果によって引き起こされるスペクトルバイアスを最小化することによって2つの入力チャンネルの平均エネルギーまたは振幅を保存することを目指す。
能動的ダウンミキシングのための最も直接的な方法は、各周波数ビンまたはサブバンドについて2つの入力チャンネルの平均エネルギーをもたらすためにダウンミックス信号のエネルギーを等化することである[1]。図7bに示されるようなダウンミックス信号はその時、
M[k] = W[k](L[k] + R[k])
と定式化することができ、ただし、
そのような直接的な解決策は、いくつかの欠点を有する。最初に、ダウンミックス信号は、2つのチャンネルが、等しい振幅の位相反転時間-周波数成分を有するときは(ILD = 0dbおよびIPD = π)、定義されない。この特異性は、この場合分母がゼロになることの結果として生じる。簡単な能動的ダウンミキシングの出力は、この場合予測できない。この挙動は、位相が、IPDの関数としてプロットされる、図7aにおいて様々なチャンネル間レベル差について示される。
ILD = 0dBについては、2つのチャンネルの合計は、IPD = πにおいて不連続であり、πラジアンのステップをもたらす。他の条件においては、位相は、2πを法として規則的にかつ連続的に展開する。
問題の第2の性質は、そのようなエネルギー等化を達成するための規格化利得の重要な差異から来る。実際、規格化利得は、フレームごとにかつ隣接周波数サブバンド間で大幅に変動する可能性がある。それは、ダウンミックス信号の不自然な着色およびブロック効果につながる。STFTおよび重複加算法のための合成窓の使用は、処理されるオーディオフレーム間の平滑化推移をもたらす。しかしながら、連続するフレーム間での規格化利得の大きい変化はなお、可聴推移アーチファクトにつながる可能性がある。その上、この大幅な等化はまた、ブロック変換の分析窓の周波数応答サイドローブからのエイリアシングに起因して可聴アーチファクトにつながる可能性もある。
代替案として、能動的ダウンミックスは、合計信号を計算する前に、2つのチャンネルの位相整列を行うことによって達成することができる[2-4]。2つのチャンネルは、それらを合計する前にすでに同相であるので、新しい合計信号についてなすべきエネルギー等化はその時、制限される。[2]では、左チャンネルの位相は、2つのチャンネルの位相を整列するための基準として使用される。もし左チャンネルの位相が、良く調整されていないならば(例えば、ゼロまたは低レベルノイズチャンネル)、ダウンミックス信号は、直接影響を受ける。[3]では、この重要な問題は、回転前に合計信号の位相を基準として受け取ることによって解決される。なおILD = 0dBおよびIPD = πにおける特異性問題は、取り扱われていない。このため、[4]は、そのような場合に安定性を改善するために、広帯域位相差パラメータを使用することによってその手法を修正する。それでもなお、これらの手法のどれも、不安定性に関連する問題の第2の性質を考慮しなかった。チャンネルの位相回転もまた、入力チャンネルの不自然なミキシングにつながる可能性があり、特に大きい変化が、時間および周波数にわたる処理において起こるとき、深刻な不安定性およびブロック効果を生み出す可能性がある。
最後に、[5]および[6]のようなより発展した技法があり、それらは、ダウンミキシング中の信号キャンセルが、2つのチャンネル間でコヒーレントである時間-周波数成分についてのみ生じるという観察に基づいている。[5]では、コヒーレント成分は、入力チャンネルのインコヒーレント部分を合計する前にフィルタ処理で除去される。[6]では、位相整列は、チャンネルを合計する前にコヒーレント成分について計算されるだけである。その上、位相整列は、安定性および不連続性の問題を回避するために時間および周波数にわたって規格化される。[5]では、フィルタ係数が、あらゆるフレームにおいて識別される必要があり、[6]では、チャンネル間の共分散行列が、計算されなければならないので、両方の技法は、計算的に要求が多い。
ダウンミキシングまたはマルチチャンネル処理のための改善された概念を提供することが、本発明の目的である。
この目的は、請求項1のダウンミキサ、請求項13のダウンミキシングの方法、請求項14のマルチチャンネルエンコーダ、請求項15のマルチチャンネルエンコーディングの方法、請求項16のオーディオ処理システム、請求項17のオーディオ信号を処理する方法または請求項18のコンピュータプログラムによって達成される。
本発明は、2つ以上のチャンネルを有するマルチチャンネル信号の少なくとも2つのチャンネルをダウンミックスするためのダウンミキサが、少なくとも2つのチャンネルからダウンミックス信号を計算するために少なくとも2つのチャンネルの加算を行うだけでなく、ダウンミキサが加えて、マルチチャンネル信号から相補信号を計算するための相補信号計算機を備え、相補信号が、部分的ダウンミックス信号とは異なるという知見に基づいている。さらに、ダウンミキサは、マルチチャンネル信号のダウンミックス信号を得るために、部分的ダウンミックス信号および相補信号を加算するための加算器を備える。部分的ダウンミックス信号とは異なる、相補信号は、少なくとも2つのチャンネルのある位相コンステレーションに起因して生じることもあるダウンミックス信号内の任意の時間領域またはスペクトル領域の穴を埋めるので、この手順は、有利である。特に、2つのチャンネルが、同相であるとき、その時典型的には、2つのチャンネルの直接的な加算が、行われるとき、問題は生じないはずである。しかしながら、2つのチャンネルが、位相を異にするとき、その時これらの2つのチャンネルの加算は、ゼロエネルギーに近づきさえする非常に低いエネルギーを有する信号をもたらす。しかしながら、相補信号が、今では部分的ダウンミックス信号に加算されるという事実に起因して、最終的に得られるダウンミックス信号はなお、かなりのエネルギーを有するまたは少なくともそのような重大なエネルギー変動を示さない。
本発明は、従来のダウンミキシングにおいて観察される典型的な信号キャンセルおよび不安定性を最小化することを目指して、2つ以上のチャンネルをダウンミックスするための手順を導入するので、有利である。
さらに、実施形態は、マルチチャンネルダウンミキシングからの通常の問題を最小化する可能性を有する低複雑の手順を表すので、有利である。
好ましい実施形態は、また入力信号からも導かれるが、しかし部分的ダウンミックス信号とは異なる相補信号とミックスされる合計信号の制御されたエネルギーまたは振幅等化に頼る。合計信号のエネルギー等化は、特異点における問題を回避するために、しかしまた利得の大きい変動に起因する著しい信号障害を最小化するためにも制御される。好ましくは、相補信号は、残りのエネルギー損失を補償するためまたはこの残りのエネルギー損失の少なくとも一部を補償するためにそこに存在する。
一実施形態では、プロセッサは、少なくとも2つのチャンネルが、同相であるときは、少なくとも2つのチャンネルと部分的ダウンミックスチャンネルとの間の定義済みエネルギー関連または振幅関連の関係が、満たされるように、かつ少なくとも2つのチャンネルが、位相を異にするときは、エネルギー損失が、部分的ダウンミックス信号内に生み出されるように、部分的ダウンミックス信号を計算するように構成される。この実施形態では、相補信号計算機は、部分的ダウンミックス信号のエネルギー損失が、部分的ダウンミックス信号および相補信号を一緒に加算することによって部分的にまたは完全に補償されるように、相補信号を計算するように構成される。
一実施形態では、相補信号計算機は、相補信号が、部分的ダウンミックス信号に関して0.7のコヒーレンスインデックスを有するように、相補信号を計算するために構成され、ただし0.0のコヒーレンスインデックスは、完全なインコヒーレンスを示し、1のコヒーレンスインデックスは、完全なコヒーレンスを示す。それ故に、一方では部分的ダウンミックス信号および他方では相補信号が、互いに十分に異なるということが、確実にされる。
好ましくは、ダウンミキシングは、従来の受動的または能動的ダウンミキシング手法で行われると、L + Rなどの2つのチャンネルの合計信号を発生させる。後でW1と呼ばれる、この合計信号に適用される利得は、入力チャンネルの平均エネルギーかまたは平均振幅をマッチさせるために合計チャンネルのエネルギーを等化することを目指す。しかしながら、従来の能動的ダウンミキシング手法と対照的に、W1値は、不安定性問題を回避するためにかつエネルギー関係が、障害のある合計信号に基づいて修復されることを回避するために制限される。
第2のミキシングは、相補信号と行われる。相補信号は、LおよびRが、位相を異にするとき、そのエネルギーが、消滅しないように選択される。重み付け係数W2は、W1値に導入される制限に起因するエネルギー等化を補償する。
好ましい実施形態は、添付の図面に関して後で論じられる。
一実施形態によるダウンミキサのブロック図である。 エネルギー損失補償特徴を例示するための流れ図である。 相補信号計算機の一実施形態を例示するブロック図である。 スペクトル領域において動作し、異なる代替物または累積的処理要素に接続される加算器出力を有するダウンミキサを例示する概略的ブロック図である。 部分的ダウンミックス信号を処理するためのプロセッサによって実施される好ましい手順を例示する図である。 一実施形態でのマルチチャンネルエンコーダのブロック図を例示する図である。 マルチチャンネルデコーダのブロック図を例示する図である。 従来技術による合計成分の特異点を例示する図である。 図7aの従来技術の例でのダウンミックスを計算するための方程式を例示する図である。 一実施形態によるダウンミキシングのエネルギー関係を例示する図である。 図8aの実施形態についての方程式を例示する図である。 重み付け係数のより粗い周波数分解能を有する代替方程式を例示する図である。 図8aの実施形態についてダウンミックス位相を例示する図である。 さらなる実施形態での合計信号について利得制限図を例示する図である。 図9aの実施形態についてダウンミックス信号Mを計算するための方程式を例示する図である。 図9aの実施形態の合計信号の計算のために操作される重み付け係数を計算するための操作機能を例示する図である。 図9a〜図9cの実施形態について相補信号の計算のための重み付け係数W2の計算を例示する図である。 図9a〜図9dのダウンミキシングのエネルギー関係を例示する図である。 図9a〜図9eの実施形態について利得W2を例示する図である。 さらなる実施形態についてダウンミックスエネルギーを例示する図である。 図10aの実施形態についてダウンミックス信号および第1の重み付け係数W1の計算のための方程式を例示する図である。 図10a〜図10bの実施形態について第2のまたは相補信号重み付け係数を計算するための手順を例示する図である。 図10cの実施形態のパラメータpおよびqのための方程式を例示する図である。 図10aから図10dに例示される実施形態に関してダウンミキシングのILDおよびIPDの関数として利得W2を例示する図である。
図1は、2つ以上のチャンネルを有するマルチチャンネル信号12の少なくとも2つのチャンネルをダウンミックスするためのダウンミキサを例示する。特に、マルチチャンネル信号は、左チャンネルLおよび右チャンネルRを有するステレオ信号だけとすることができ、またはマルチチャンネル信号は、3つまたはより多くのチャンネルさえ有することができる。チャンネルはまた、オーディオオブジェクトを含むまたはそれらから成ることもできる。ダウンミキサは、マルチチャンネル信号12からの少なくとも2つのチャンネルから部分的ダウンミックス信号14を計算するためのプロセッサ10を備える。さらに、ダウンミキサは、マルチチャンネル信号12から相補信号を計算するための相補信号計算機20を備え、ブロック20によって出力される相補信号22は、ブロック10によって出力される部分的ダウンミックス信号14とは異なる。加えて、ダウンミキサは、マルチチャンネル信号12のダウンミックス信号40を得るために、部分的ダウンミックス信号および相補信号を加算するための加算器30を備える。一般に、ダウンミックス信号40は、単一チャンネルだけを有し、または別法として、1つよりも多いチャンネルを有する。一般に、しかしながら、ダウンミックス信号は、マルチチャンネル信号12に含まれるよりも少ないチャンネルを有する。それ故に、マルチチャンネル信号が、例えば5つのチャンネルを有するとき、ダウンミックス信号は、4つのチャンネル、3つのチャンネル、2つのチャンネルまたは単一チャンネルを有してもよい。1つまたは2つのチャンネルを有するダウンミックス信号は、2つより多いチャンネルを有するダウンミックス信号よりも好ましい。マルチチャンネル信号12として2チャンネル信号の場合、ダウンミックス信号40は、単一チャンネルを有するだけである。
一実施形態では、プロセッサ10は、少なくとも2つのチャンネルが、同相であるときは、少なくとも2つのチャンネルと部分的ダウンミックス信号との間の定義済みエネルギー関連または振幅関連の関係が、満たされるように、かつ少なくとも2つのチャンネルが、位相を異にするときは、エネルギー損失が、少なくとも2つのチャンネルに関して部分的ダウンミックス信号内に生み出されるように、部分的ダウンミックス信号14を計算するように構成される。定義済み関係についての実施形態および例は、ダウンミックス信号の振幅が、入力信号の振幅に対してある関係にある、または例えばダウンミックス信号のサブバンド的エネルギーが、入力信号のエネルギーに対して定義済み関係にあるというものである。1つの特に興味深い関係は、全帯域幅にわたるかまたはサブバンド内にあるダウンミックス信号のエネルギーが、2つのダウンミックス信号または2つよりも多いダウンミックス信号の平均エネルギーに等しいということである。それ故に、その関係は、エネルギーに関する、または振幅に関することもある。さらに、図1の相補信号計算機20は、図1において14で例示されるような部分的ダウンミックス信号のエネルギー損失が、ダウンミックス信号を得るために図1の加算器30において部分的ダウンミックス信号14および相補信号22を加算することによって部分的にまたは完全に補償されるように、相補信号22を計算するように構成される。
一般に、実施形態は、また入力チャンネルから導かれもする相補信号とミックスされる合計信号の制御されたエネルギーまたは振幅等化に基づいている。
実施形態は、また入力チャンネルから導かれもする相補信号とミックスされる合計信号の制御されたエネルギーまたは振幅等化に基づいている。合計信号のエネルギー等化は、特異点における問題を回避するために、しかしまた利得の大きい変動に起因する信号障害を大幅に最小化するためにも制御される。相補信号は、残りのエネルギー損失またはそれの少なくとも一部を補償するためにそこに存在する。新しいダウンミックスの一般形は、
M[k, n] = W1[k, n](L[k, n] + R[k, n]) + W2[k, n]S[k, n]
と表すことができ、ただし相補信号S[k, n]は理想的には、できる限り合計信号に対して直交しなければならないが、実際には、
S[k, n] = L[k, n]
または
S[k, n] = R[k, n]
または
S[k, n] = L[k, n] - R[k, n]
と選択することができる。
いずれの場合も、ダウンミキシングは、従来の受動的または能動的ダウンミキシング手法で行われると、最初に合計チャンネルL + Rを発生させる。利得W1[k, n]は、入力チャンネルの平均エネルギーかまたは平均振幅をマッチさせるために合計チャンネルのエネルギーを等化することを目指す。しかしながら、従来の能動的ダウンミキシング手法と異なり、W1[k, n]は、不安定性問題を回避するためにかつエネルギー関係が、障害のある合計信号に基づいて修復されるということを回避するために制限される。
第2のミキシングは、相補信号と行われる。相補信号は、L[k, n]およびR[k, n]が、位相を異にするとき、そのエネルギーが、消滅しないように選択される。W2[k, n]は、W1[k, n]に導入される制限に起因するエネルギー等化を補償する。
例示されるように、相補信号計算機20は、相補信号が、部分的ダウンミックス信号とは異なるように、相補信号を計算するように構成される。量の面で、相補信号のコヒーレンスインデックスは、部分的ダウンミックス信号に関して0.7未満であることが、好ましい。このスケールでは、0.0のコヒーレンスインデックスは、完全なインコヒーレンスを示し、1.0のコヒーレンスインデックスは、完全なコヒーレンスを示す。それ故に、0.7未満のコヒーレンスインデックスは、部分的ダウンミックス信号および相補信号が、互いに十分に異なるように、有用であると証明されている。しかしながら、0.5未満および0.3未満さえものコヒーレンスインデックスは、より好ましい。
図2aは、プロセッサによって行われる手順を例示する。特に、図2aの項目50に例示されるように、プロセッサは、プロセッサへの入力を表す少なくとも2つのチャンネルに関してエネルギー損失を有する部分的ダウンミックス信号を計算する。さらに、相補信号計算機52は、エネルギー損失を部分的にまたは完全に補償するための図1の相補信号22を計算する。
図2bに例示される一実施形態では、相補信号計算機は、相補信号セレクタまたは相補信号決定器23、重み付け係数計算機24および相補信号22を最終的に得るための重み付け器25を備える。特に相補信号セレクタまたは相補信号決定器23は、相補信号を計算するために、Lなどの第1のチャンネル、Rなどの第2のチャンネル、図2bにおいてL-Rと示されるような第1のチャンネルと第2のチャンネルとの間の差から成る信号のグループの1つの信号を使用するように構成される。別法として、差はまた、R-Lとすることもできる。相補信号セレクタ23によって使用されるさらなる信号は、マルチチャンネル信号のさらなるチャンネル、すなわち、部分的ダウンミックス信号を計算するためにプロセッサによって選択されないものであるチャンネルとすることができる。このチャンネルは、例えば、センタチャンネル、またはサラウンドチャンネルもしくはオブジェクトを含む任意の他の追加のチャンネルとすることができる。他の実施形態では、相補信号セレクタによって使用される信号は、無相関化された第1のチャンネル、無相関化された第2のチャンネル、無相関化されたさらなるチャンネルまたはプロセッサ10によって計算されるような無相関化された部分的ダウンミックス信号さえでもある。好ましい実施形態では、しかしながら、Lなどの第1のチャンネルかもしくはRなどの第2のチャンネルまたは、より好ましくは、左チャンネルと右チャンネルとの間の差もしくは右チャンネルと左チャンネルとの間の差が、相補信号を計算するために好ましい。
相補信号セレクタ23の出力は、重み付け係数計算機24に入力される。重み付け係数計算機は加えて典型的には、プロセッサ10によって結合されるべき2つ以上の信号を受け取り、重み付け係数計算機は、26に例示される重みW2を計算する。それらの重みは、相補信号セレクタ23によって使用されかつ決定される信号と一緒に、重み付け器25に入力され、重み付け器は次いで、最終的に相補信号22を得るために、ブロック24からの重み付け係数を使用してブロック23から出力される対応する信号に重み付けをする。
重み付け係数は、時間におけるあるブロックまたはフレームについて、単一重み付け係数W2が、計算されるように、時間依存とだけすることができる。他の実施形態では、しかしながら、相補信号のあるブロックまたはフレームについて、この時間ブロックについての単一重み付け係数が、利用できるだけでなく、ブロック23によって生成されるまたは選択される信号の一組の異なる周波数値またはスペクトルビンについて一組の重み付け係数W2が、利用できるように、時間および周波数依存重み付け係数W2を使用することが、好ましい。
相補信号計算機20の使用のためだけでなく、またプロセッサ10の使用のためでもある時間および周波数依存重み付け係数についての対応する実施形態は、図3に例示される。
特に、図3は、時間領域入力チャンネルを周波数領域入力チャンネルに変換するための時間-スペクトル変換器60を備える好ましい実施形態でのダウンミキサを例示し、各周波数領域入力チャンネルは、一連のスペクトルを有する。各スペクトルは、別個の時間インデックスnを有し、各スペクトル内では、ある周波数インデックスkは、周波数インデックスと一意的に関連する周波数成分を指す。それ故に、一例では、ブロックが、512のスペクトル値を有するとき、その時周波数インデックスkは、512の異なる周波数インデックスのそれぞれを一意的に識別するために0から511までの値をとる。
時間-スペクトル変換器60は、FFTを適用するために、好ましくは、ブロック60によって得られる一連のスペクトルが、入力チャンネルの重複ブロックに関連しているように、重複FFTを適用するために構成される。しかしながら、非重複スペクトル変換アルゴリズムおよびDCTなどのFFTまたはそのようなものから離れた他の変換が、同様に使用されてもよい。
特に、図1のプロセッサ10は、個々のスペクトルインデックスkについての重みW1またはサブバンドbについての重み付け係数W1を計算するための第1の重み付け係数計算機15を備え、サブバンドは、周波数に関して1つのスペクトル値よりも広く、典型的には2つ以上のスペクトル値を含む。
図1の相補信号計算機20は、重み付け係数W2を計算する第2の重み付け係数計算機を備える。それ故に、項目24は、図2bの項目24と同様に構成することができる。
さらに、部分的ダウンミックス信号を計算する図1のプロセッサ10は、入力として重み付け係数W1を受け取り、加算器30に転送される部分的ダウンミックス信号14を出力するダウンミックス重み付け器16を備える。さらに、図3に例示される実施形態は加えて、入力として、第2の重み付け係数W2を受け取る、図2bに関してすでに述べられた重み付け器25を備える。
加算器30は、ダウンミックス信号40を出力する。ダウンミックス信号40は、いくつかの異なる出来事において使用することができる。ダウンミックス信号40を使用する1つの方法は、それを図3に例示される周波数領域ダウンミックスエンコーダ64に入力することであり、それは、エンコードされたダウンミックス信号を出力する。代替手順は、ブロック62の出力において、時間領域ダウンミックス信号を得るために、ダウンミックス信号40の周波数領域表現をスペクトル-時間変換器62に挿入することである。さらなる実施形態は、ダウンミックス信号40をさらなるダウンミックスプロセッサ66に供給することであり、それは、伝送されるダウンミックスチャンネル、記憶されるダウンミックスチャンネルなどのある種の処理されるダウンミックスチャンネル、またはある種の等価を行ったダウンミックスチャンネル、利得変化等を発生させる。
実施形態では、プロセッサ10は、少なくとも2つのチャンネルと少なくとも2つのチャンネルの合計信号との間の定義済みエネルギーまたは振幅関係に従って少なくとも2つのチャンネルの合計に重み付けをするために、図3においてブロック15によって例示されるように時間または周波数依存重み付け係数W1を計算するために構成される。さらに、図4の項目70にまた例示もされるこの手順の後で、プロセッサは、ある周波数インデックスkおよびある時間インデックスnについてまたはあるスペクトルサブバンドbおよびある時間インデックスnについて計算された重み付け係数W1を図4のブロック72に示されるように定義済みしきい値と比較するように構成される。この比較は、好ましくは各スペクトルインデックスkについてまたは各サブバンドインデックスbについてまたは各時間インデックスnについて、好ましくは1つのスペクトルインデックスkもしくはbについてかつ各時間インデックスnについて行われる。計算された重み付け係数が、73に例示されるようにしきい値を下回るなどの定義済みしきい値に対して第1の関係にあるとき、その時計算された重み付け係数W1は、図4において74で示されるように使用される。しかしながら、計算された重み付け係数が、75に示されるようにしきい値を上回るなどの定義済みしきい値に対して第1の関係とは異なる、定義済みしきい値に対して第2の関係にあるとき、定義済みしきい値は、例えば図3のブロック16において部分的ダウンミックス信号を計算するために計算された重み付け係数の代わりに使用される。これは、W1の「ハード」制限である。他の実施形態では、一種の「ソフト制限」が、行われる。この実施形態では、変更された重み付け係数は、変更機能を使用して導かれ、変更機能は、変更された重み付け係数が、計算された重み付け係数よりも定義済みしきい値により近くなるようなものである。
図8a〜図8dにおける実施形態は、ハード制限を使用し、一方図9a〜図9fにおける実施形態および図10a〜図10eにおける実施形態は、ソフト制限、すなわち変更機能を使用する。
さらなる実施形態では、図4における手順は、ブロック70およびブロック76に関して行われるが、しかしブロック72に関して論じられるようなしきい値との比較は、行われない。ブロック70における計算の後で、変更された重み付け係数は、ブロック76の上記の記述の変更機能を使用して導かれ、変更機能は、変更された重み付け係数が、定義済みエネルギー関係のエネルギーよりも小さい部分的ダウンミックス信号のエネルギーをもたらすようなものである。好ましくは、具体的比較なしに適用される変更機能は、それが、W1の高い値について、操作されたまたは変更された重み付け係数をある限界に制限する、またはログもしくはln機能(a log or ln function)などの非常に小さい増加を有するだけであるようなもの、またはある値に制限されないけれども、前に論じられたような安定性問題が実質的に回避されるもしくは少なくとも低減されるようにもはや非常に遅い増加を有するだけであるようなものである。
図8a〜図8dに例示される好ましい実施形態では、ダウンミックスは、
M[k, n] = W1[k, n](L[k, n] + R[k, n]) + W2[k, n]L[k, n]
によって与えられ、ただし、
上記の方程式において、Aは、好ましくは2の平方根に等しい実数値の定数であるが、しかしAは、0.5から5の間の異なる値を同様に有することができる。応用に応じて、上述の値とは異なる値さえ、同様に使用することができる。
もし
|L[k, n] + R[k, n]| ≦ |L[k, n]| + |R[k, n]|
ならば、W1[k, n]およびW2[k, n]は、常に正であり、W1[k, n]は、
または例えば0.5に制限される。
ミキシング利得は、前の公式に記述されるようにSTFTの各インデックスkについてビンのように計算することができ、またはSTFTの一組のインデックスbを寄せ集める各非重複サブバンドについてバンドのように計算することができる。利得は、次の方程式、
に基づいて計算される。
等化中のエネルギー保存は、ハードな制約ではないので、結果として生じるダウンミックス信号のエネルギーは、入力チャンネルの平均エネルギーと比較して変化する。エネルギー関係は、図8aに例示されるようにILDおよびIPDに依存する。
出力エネルギーと入力チャンネルの平均エネルギーとの間の一定の関係を保存する、簡単な能動的ダウンミキシング法と対照的に、新しいダウンミックス信号は、図8dに例示されるようにどんな特異性も示さない。実際、図7aでは、大きさπ(180°)のジャンプが、IP = πおよびILD = 0dBにおいて観察可能であり、一方図8dでは、ジャンプは、2π(360°)であり、それは、アンラップされた位相領域における連続的な変化に対応する。
試聴テスト結果は、新しいダウンミックス法が、広範囲のステレオ信号について、従来の能動的ダウンミキシングよりも著しく少ない不安定性および障害をもたらすことを裏付ける。
この文脈において、図8aは、x-軸に沿って、最初の左チャンネルと最初の右チャンネルとの間のチャンネル間レベル差をdB単位で例示する。さらに、ダウンミックスエネルギーは、相対スケールで0から1.4の間でy-軸に沿って示され、パラメータは、チャンネル間位相差IPDである。特に、結果として生じるダウンミックス信号値のエネルギーは、特にチャンネル間の位相に応じて変化し、π(180°)の位相について、すなわち位相を異にする状況について、エネルギー変化は、少なくとも正のチャンネル間レベル差について、良好な形状にあるように見える。図8bは、ダウンミックス信号Mを計算するための方程式を例示し、相補信号として、左チャンネルが、選択されることもまた、明らかになる。図8cは、個々のスペクトルインデックスについてだけでなく、STFTからの一組のインデックス、すなわち少なくとも2つのスペクトル値kが、あるサブバンドを得るために一緒に加算されるサブバンドについての重み付け係数W1およびW2を例示する。
図7aおよび図7bに例示される従来技術と比較すると、図8dが、図7aと比較されるとき、もはやどんな特異性も、含まれない。
図9a〜図9fは、ダウンミックスが、相補信号のための基礎として左信号Lと右信号Rとの間の差を使用して計算される、さらなる実施形態を例示す。特にこの実施形態では、
M[k, n] = W1[k, n](L[k, n] + R[k, n]) + W2[k, n](L[k, n] - R[k, n])
ただし、利得W1[k, n]およびW2[k, n]の組は、ダウンミックスされた信号と入力チャンネルとの間のエネルギー関係が、あらゆる条件において持続するように計算される。
最初に、利得W1[k, n]は、所与の限界までエネルギーを等化するために計算され、ただしAは、この場合もやはり、
に等しいまたはこの値とは異なる実数値の数であり、
結果として、合計信号の利得W1[k, n]は、図9aに示されるように範囲[0, 1]に制限される。xについての方程式において、代替実施は、平方根のない分母を使用することである。
もし2つのチャンネルが、π/2よりも大きいIPDを有するならば、W1は、もはやエネルギーの損失を補償することができず、それはその時、利得W2から来ることになる。W2は、次の二次方程式、
の根の1つとして計算される。
方程式の根は、
によって与えられ、ただし、
2つの根の1つがその時、選択されてもよい。両方の根について、エネルギー関係は、図9eに示されるようにすべての条件について保存される。
もし2つのチャンネルが、π/2よりも大きいIPDを有するならば、W1は、もはやエネルギーの損失を補償することができず、それはその時、利得W2から来ることになる。W2は、次の二次方程式、
の根の1つとして計算される。
方程式の根は、
によって与えられ、ただし、
2つの根の1つがその時、選択されてもよい。両方の根について、エネルギー関係は、図9fに示されるようにすべての条件について保存される。
好ましくは、最小の絶対値を有する根が、W2[k, n]について適応的に選択される。そのような適応選択は、ILD = 0dBについて1つの根から別の根への転換をもたらすことになり、それは、もう一度、不連続性を生み出す可能性がある。
最先端技術と対照的に、この手法は、どんな特異性も導入することなくダウンミックスのコムフィルタ処理効果およびスペクトルバイアスを解決する。それは、すべの条件においてエネルギー関係を維持するが、しかし好ましい実施形態と比較するとより多くの不安定性を導入する。
それ故に、図9aは、この実施形態の部分的ダウンミックス信号の計算において合計信号の係数W1によって得られる利得制限の比較を例示する。特に、直線は、図4のブロック76に関して前に論じられたような値の規格化前または変更前の状況である。そして、重み付け係数W1の関数として変更機能のために1の値に近づく、もう1つの線である。変更機能の影響は、0.5を上回る値において生じるが、しかしずれは、約0.8以上の値W1について実際に目に見えるようになるだけであることが、明らかになる。
図9bは、この実施形態について図1のブロック図によって実施される方程式を例示する。
さらに、図9cは、どのように値W1が計算されるかを例示し、従って、図9aは、図9cの機能的状況を例示する。最後に、図9dは、W2、すなわち図1の相補信号発生器20によって使用される重み付け係数の計算を例示する。
図9eは、ダウンミックスエネルギーが、常に同じであり、第1のチャンネルと第2のチャンネルとの間のすべての位相差についてかつ第1のチャンネルと第2のチャンネルとの間のすべてのレベル差ALDについて1に等しいということを例示する。
しかしながら、図9fは、図9dに例示されるpについての方程式およびqについての方程式に0になり得る分母があるという事実に起因して、図9dのEMについての方程式の規則の計算によって被る不連続性を例示する。
図10a〜図10eは、2つの以前に述べられた代替案の間の比較として見ることができるさらなる実施形態を例示する。
ダウンミキシングは、
M = W1[k](L[k] + R[k]) + W2[k](L[k] - R[k])
によって与えられる。ただし、
xについての方程式において、代替実施は、平方根のない分母を使用することである。
この場合、解くべき二次方程式は、
である。
今回は、利得W2は、厳密に二次方程式の根の1つとして受け取られず、むしろ、
であり、ただし、
結果として、エネルギー関係は、図10aに示されるようにその間ずっと保存されることはない。他方では、利得W2は、図10eにおいてどんな不連続性も示さず、第2の実施形態と比較して、不安定性問題は、低減される。
それ故に、図10aは、図10a〜図10eによって例示されるこの実施形態のエネルギー関係を例示し、そこでは、もう一度、ダウンミックスエネルギーは、y-軸に例示され、チャンネル間レベル差は、x-軸に例示される。図10bは、図1によって適用される方程式およびブロック76に関して例示されるように第1の重み付け係数W1を計算するために行われる手順を例示する。さらに、図10cは、図9a〜図9fの実施形態に関してW2の代替計算を例示する。特に、pは、図10cを図9dにおける同様の方程式と比較するときに現れる絶対値関数に従う。
図10dはその時もう一度、pおよびqの計算を示し、図10dは、図9dの下部における方程式におおよそ対応する。
図10eは、図10a〜図10dに例示される実施形態によるこの新しいダウンミキシングのエネルギー関係を例示し、利得W2だけが、0.5の最大値に近づくように見える。
前の記述およびある図は、詳細な方程式を提供するけれども、利点は、方程式が、厳密に計算されないときでさえすでに得られているが、しかし方程式が計算されるとき、結果は、変更されることに留意すべきである。特に、図3の第1の重み付け係数計算機15および第2の重み付け係数計算機24の機能性は、第1の重み付け係数または第2の重み付け係数が、上で与えられる方程式に基づいて決定される値の±20%の範囲内にある値を有するように行われる。好ましい実施形態では、重み付け係数は、上記の方程式によって決定される値の±10%の範囲内にある値を有するように決定される。より好ましい実施形態では、ずれは、±1%だけであり、最も好ましい実施形態では、方程式の結果は、厳密に受け取られる。しかし、述べられたように、本発明の利点は、上述の方程式からの±20%のずれが、適用されるとき、得られてさえいる。
図5は、マルチチャンネルエンコーダの一実施形態を例示し、その場合図1〜図4、図8a〜図10eに関して前に論じられたような本発明のダウンミキサが、使用されてもよい。特に、マルチチャンネルエンコーダは、2つ以上のチャンネルを有するマルチチャンネル信号12の少なくとも2つのチャンネルからマルチチャンネルパラメータ84を計算するためのパラメータ計算機82を備える。さらに、マルチチャンネルエンコーダは、前に論じられたように実施されてもよくかつ1つまたは複数のダウンミックスチャンネル40を提供するダウンミキサ80を備える。マルチチャンネルパラメータ84および1つまたは複数のダウンミックスチャンネル40は両方とも、1つまたは複数のダウンミックスチャンネルおよび/またはマルチチャンネルパラメータを含むエンコードされたマルチチャンネル信号を出力するための出力インターフェース86に入力される。別法として、出力インターフェースは、エンコードされたマルチチャンネル信号を記憶するまたは例えば図6に例示されるマルチチャンネルデコーダに伝送するために構成されてもよい。図6に例示されるマルチチャンネルデコーダは、入力として、エンコードされたマルチチャンネル信号88を受け取る。この信号は、入力インターフェース90に入力され、入力インターフェース90は、一方では、マルチチャンネルパラメータ92を、他方では、1つまたは複数のダウンミックスチャンネル94を出力する。両方のデータ項目、すなわちマルチチャンネルパラメータ92およびダウンミックスチャンネル94は、マルチチャンネル再構成器96に入力され、それは、その出力において、最初の入力チャンネルの近似を再構成し、一般に、出力オーディオオブジェクトをまたは参照番号98によって示されるようなそれに類似の何でも含むまたはそれらから成ることもある出力チャンネルを出力する。特に、図5におけるマルチチャンネルエンコーダおよび図6におけるマルチチャンネルデコーダは一緒に、オーディオ処理システムを表し、そこではマルチチャンネルエンコーダは、図5に関して論じられたように動作可能であり、マルチチャンネルデコーダは、例えば図6に例示されるように実施され、一般に図6において98で例示される再構成されたオーディオ信号を得るために、エンコードされたマルチチャンネル信号をデコードするために構成される。それ故に、図5および図6に関して例示される手順は加えて、マルチチャンネルエンコーディングの方法およびマルチチャンネルデコーディングの対応する方法を含むオーディオ信号を処理する方法を表す。
発明的な方法でエンコードされたオーディオ信号は、デジタル記憶媒体もしくは非一時的記憶媒体上に記憶されてもよくまたは無線伝送媒体などの伝送媒体もしくはインターネットなどの有線伝送媒体上で伝送されてもよい。
いくつかの態様が、装置の文脈において述べられたけれども、これらの態様がまた、対応する方法の記述を表し、その場合ブロックまたはデバイスが、方法ステップまたは方法ステップの特徴に対応することは、明らかである。類似的に、方法ステップの文脈において述べられる態様はまた、対応する装置の対応するブロックまたは項目または特徴の記述も表す。
ある実施要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実施されてもよい。実施は、その上に記憶された電子的に読み出し可能な制御信号を有するデジタル記憶媒体、例えばフロッピーディスク、DVD、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリを使用して行われてもよく、それらは、それぞれの方法が行われるようなプログラム可能なコンピュータシステムと協調する(または強調する能力がある)。
本発明によるいくつかの実施形態は、本明細書で述べられる方法の1つが、行われるように、プログラム可能なコンピュータシステムと協調する能力がある、電子的に読み出し可能な制御信号を有するデータキャリアを備える。
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施されてもよく、プログラムコードは、コンピュータプログラム製品が、コンピュータ上で動くとき、本方法の1つを行うために動作可能である。プログラムコードは、例えば機械可読キャリア上に記憶されることもある。
他の実施形態は、機械可読キャリアまたは非一時的記憶媒体上に記憶される、本明細書で述べられる方法の1つを行うためのコンピュータプログラムを含む。
言い換えれば、本発明の方法の一実施形態は、従って、コンピュータプログラムが、コンピュータ上で動くとき、本明細書で述べられる方法の1つを行うためのプログラムコードを有するコンピュータプログラムである。
本発明の方法のさらなる実施形態は、従って、本明細書で述べられる方法の1つを行うためのコンピュータプログラムを含み、その上に記録するデータキャリア(またはデジタル記憶媒体、またはコンピュータ可読媒体)である。
本発明の方法のさらなる実施形態は、従って、本明細書で述べられる方法の1つを行うためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は例えば、データ通信接続部を介して、例えばインターネットを介して転送されるように構成されてもよい。
さらなる実施形態は、本明細書で述べられる方法の1つを行うように構成されまたは適合される処理手段、例えばコンピュータ、またはプログラム可能な論理デバイスを備える。
さらなる実施形態は、本明細書で述べられる方法の1つを行うためのコンピュータプログラムをその上にインストールしたコンピュータを備える。
いくつかの実施形態では、プログラム可能な論理デバイス(例えばフィールドプログラマブルゲートアレイ)が、本明細書で述べられる方法の機能性のいくつかまたはすべてを行うために使用されてもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で述べられる方法の1つを行うために、マイクロプロセッサと協調してもよい。一般に、本方法は好ましくは、任意のハードウェア装置によって行われる。
上述の実施形態は、単に本発明の原理の説明に役立つだけである。本明細書で述べられる配置および詳細の変更および変形が、当業者には明らかとなることは、理解される。従って、差し迫った特許請求項の範囲によってだけ制限され、本明細書の実施形態の記述および説明を通じて提示される具体的詳細によっては制限されないことが、意図することである。
参考文献
[1] US 7,343,281 B2, “PROCESSING OF MULTI-CHANNEL SIGNALS”, Koninklijke Philips Electronics N.V., Eindhoven (NL)
[2] Samsudin, E. Kurniawati, Ng Boon Poh, F. Sattar, and S. George, “A Stereo to Mono Downmixing Scheme for MPEG-4 Parametric Stereo Encoder,” in IEEE International Conference on Acoustics, Speech and Signal Processing, vol. 5, 2006, pp. 529-532.
[3] T. M. N. Hoang, S. Ragot, B. Kovesi, and P. Scalart, “Parametric Stereo Extension of ITU-T G. 722 Based on a New Downmixing Scheme,” IEEE International Workshop on Multimedia Signal Processing (MMSP) (2010).
[4] W. Wu, L. Miao, Y. Lang, and D. Virette, “Parametric Stereo Coding Scheme with a New Downmix Method and Whole Band Inter Channel Time/Phase Differences,” in IEEE International Conference on Acoustics, Speech and Signal Processing, 2013, pp. 556-560.
[5] Alexander Adami, Emanuel A.P. Habets, Jurgen Herre, “DOWN-MIXING USING COHERENCE SUPPRESSION”, 2014 IEEE International Conference on Acoustic, Speech and Signal Processing (ICASSP)
[6] Vilkamo, Juha; Kuntz, Achim; Fug, Simone, “Reduction of Spectral Artifacts in Multichannel Downmixing with Adaptive Phase Alignment”, AES August 22, 2014
10 プロセッサ
12 マルチチャンネル信号
14 部分的ダウンミックス信号
15 第1の重み付け係数計算機
16 ダウンミックス重み付け器
20 相補信号計算機、相補信号発生器
22 相補信号
23 相補信号決定器、相補信号セレクタ
24 第2の重み付け係数計算機
25 重み付け器
30 加算器
40 ダウンミックス信号、ダウンミックスチャンネル
60 時間-スペクトル変換器
62 スペクトル-時間変換器
64 周波数領域ダウンミックスエンコーダ
66 ダウンミックスプロセッサ
80 ダウンミキサ
82 パラメータ計算機
84 マルチチャンネルパラメータ
86 出力インターフェース
88 エンコードされたマルチチャンネル信号
90 入力インターフェース
92 マルチチャンネルパラメータ
94 ダウンミックスチャンネル
96 マルチチャンネル再構成器
98 再構成されたオーディオ信号

Claims (17)

  1. 少なくとも2つのチャンネルを有するマルチチャンネル信号(12)の少なくとも2つのチャンネルをダウンミックスするためのダウンミキサにおいて、
    前記少なくとも2つのチャンネルから部分的ダウンミックス信号(14)を計算するためのプロセッサ(10)であって、前記プロセッサ(10)は、前記少なくとも2つのチャンネルが、同相であるときは、前記マルチチャンネル信号(12)の前記少なくとも2つのチャンネルと前記部分的ダウンミックス信号との間の定義済みエネルギーまたは振幅関係が、満たされるように、かつ前記少なくとも2つのチャンネルが、位相を異にするときは、振幅損失またはエネルギー損失が、前記少なくとも2つのチャンネルに関して前記部分的ダウンミックス信号内に生み出されるように、前記少なくとも2つのチャンネルを加算することによって前記部分的ダウンミックス信号(14)を計算する(50)ように構成される、プロセッサ(10)と、
    前記マルチチャンネル信号(12)から相補信号を計算するための相補信号計算機(20)であって、前記相補信号(22)は、前記部分的ダウンミックス信号(14)とは異なる、相補信号計算機(20)と、
    前記マルチチャンネル信号のダウンミックス信号(40)を得るために前記部分的ダウンミックス信号(14)および前記相補信号(22)を加算するための加算器(30)とを備え、
    前記相補信号計算機は、前記部分的ダウンミックス信号(14)の前記エネルギー損失または前記振幅損失が、前記加算器(30)における前記部分的ダウンミックス信号(14)および前記相補信号(22)の前記加算によって部分的にまたは完全に補償される、少なくとも2つのチャンネルをダウンミックスするためのダウンミキサ。
  2. 前記相補信号計算機(20)は、前記相補信号が、前記部分的ダウンミックス信号(14)に関して0.7未満のコヒーレンスインデックスを有するように、前記相補信号(22)を計算するように構成され、0.0のコヒーレンスインデックスは、完全なインコヒーレンスを示し、1.0のコヒーレンスインデックスは、完全なコヒーレンスを示す、請求項1に記載のダウンミキサ。
  3. 前記相補信号計算機(20)は、前記相補信号を計算するために、前記マルチチャンネル信号が、前記少なくとも2つのチャンネルよりも多いチャンネル、または無相関化された第1のチャンネル、無相関化された第2のチャンネル、無相関化されたさらなるチャンネル、前記第1のチャンネルおよび前記第2のチャンネルを伴う無相関化された差もしくは無相関化された部分的ダウンミックス信号(14)を有するとき、前記少なくとも2つのチャンネルの第1のチャンネル、前記少なくとも2つのチャンネルの第2のチャンネル、前記第1のチャンネルと前記第2のチャンネルとの間の差、前記第2のチャンネルと前記第1のチャンネルとの間の差、前記マルチチャンネル信号のさらなるチャンネルを含む信号のグループの1つの信号を使用するように構成される、請求項1または2に記載のダウンミキサ。
  4. 前記プロセッサ(10)は、
    前記少なくとも2つのチャンネルと前記少なくとも2つのチャンネルの合計信号との間の定義済みエネルギーまたは振幅関係に従って前記少なくとも2つのチャンネルの合計に重み付けをするための時間または周波数依存重み付け係数を計算すること(70)、および
    計算された重み付け係数を定義済みしきい値と比較すること(72)、および
    前記計算された重み付け係数が、前記定義済みしきい値に対して第1の関係にあるとき、前記部分的ダウンミックス信号(14)を計算するために前記計算された重み付け係数を使用すること(74)、または
    前記計算された重み付け係数が、前記定義済みしきい値に対して前記第1の関係とは異なる第2の関係にあるとき、前記部分的ダウンミックス信号(14)を計算するために前記計算された重み付け係数の代わりに前記定義済みしきい値を使用すること(76)、または
    前記計算された重み付け係数が、前記定義済みしきい値に対して前記第1の関係とは異なる第2の関係にあるとき、変更機能を使用して(76)変更された重み付け係数を導くことであって、前記変更機能は、前記変更された重み付け係数が、前記計算された重み付け係数よりも前記定義済みしきい値により近いようなものである、変更された重み付け係数を導くことのために構成される、請求項1から3のいずれか一項に記載のダウンミキサ。
  5. 前記プロセッサ(10)は、
    前記少なくとも2つのチャンネルと前記少なくとも2つのチャンネルの合計信号との間の定義済みエネルギーまたは振幅関係に従って前記少なくとも2つのチャンネルの合計に重み付けをするための時間または周波数依存重み付け係数を計算すること(70)、および
    変更機能を使用して変更された重み付け係数を導くことであって、前記変更機能は、前記変更された重み付け係数が、前記定義済みエネルギー関係によって定義されるようなエネルギーよりも小さい前記部分的ダウンミックス信号のエネルギーをもたらすようなものである、変更された重み付け係数を導くことのために構成される、請求項1から4のいずれか一項に記載のダウンミキサ。
  6. 前記プロセッサ(10)は、時間または周波数依存重み付け係数を使用して前記少なくとも2つのチャンネルの合計信号に重み付けをする(16)ように構成され、前記重み付け係数W1は、前記重み付け係数が、周波数ビンkおよび時間インデックスnについては次の方程式、
    またはサブバンドbおよび時間インデックスnについては次の方程式、
    に基づいて決定される値の±20%に範囲内にある値を有するように計算され、
    ただしAは、実数値の定数であり、Lは、前記マルチチャンネル信号(12)の前記少なくとも2つのチャンネルの第1のチャンネルを表し、Rは、前記少なくとも2つのチャンネルの第2のチャンネルを表す、請求項1から5のいずれか一項に記載のダウンミキサ。
  7. 前記相補信号計算機(20)は、前記少なくとも2つのチャンネルの1つのチャンネルを使用し、時間または周波数依存相補重み付け係数W2を使用して前記使用されるチャンネルに重み付けをするように構成され、前記相補重み付け係数W2は、前記相補重み付け係数が、周波数ビンkおよび時間インデックスnについては次の方程式、
    またはサブバンドbおよび時間インデックスnについては次の方程式、
    に基づいて決定される値の±20%の範囲内にある値を有するように計算され、
    ただしLは、前記マルチチャンネル信号(12)の第1のチャンネルを表し、Rは、第2のチャンネルを表す、請求項1から6のいずれか一項に記載のダウンミキサ。
  8. 前記相補信号計算機(20)は、前記マルチチャンネル信号(12)の第1のチャンネルと第2のチャンネルとの間の差を使用し、時間および周波数依存相補重み付け係数を使用して前記差に重み付けをするように構成され、前記相補重み付け係数は、前記相補重み付け係数が、次の方程式、
    に基づいて決定される値の±20%の範囲内にある値を有するように計算され、
    ただし
    ただしLは、前記マルチチャンネル信号(12)の前記第1のチャンネルであり、Rは、前記第2のチャンネルである、請求項1または2に記載のダウンミキサ。
  9. 前記相補信号計算機(20)は、前記マルチチャンネル信号(12)の第1のチャンネルと第2のチャンネルとの間の差を使用し、時間および周波数依存相補重み付け係数を使用して前記差に重み付けをするように構成され、前記相補重み付け係数は、前記相補重み付け係数が、次の方程式、
    に基づいて決定される値の±20%の範囲内にある値を有するように計算され、
    ただし
    ただしLは、前記マルチチャンネル信号(12)の前記第1のチャンネルであり、Rは、前記第2のチャンネルである、請求項1から7のいずれか一項に記載のダウンミキサ。
  10. 前記プロセッサ(10)は、
    前記少なくとも2つのチャンネルから合計信号を計算し、
    前記合計信号と前記少なくとも2つのチャンネルとの間の所定の関係に従って前記合計信号に重み付けをするための重み付け係数を計算し(15)、
    定義済みしきい値よりも高い計算された重み付け係数を変更し(76)、かつ
    前記部分的ダウンミックス信号(14)を得るために前記合計信号に重み付けをするための前記変更された重み付け係数を適用するように構成される、請求項1から9のいずれか一項に記載のダウンミキサ。
  11. 前記プロセッサ(10)は、前記定義済みしきい値の±20%の範囲内にあるように前記計算された重み付け係数を変更し、または前記計算された重み付け係数が、次の方程式、
    に基づいて決定される値の±20%の範囲内にある値を有するように、前記計算された重み付け係数を変更するように構成され、
    ただし
    ただしAは、実数値の定数であり、Lは、前記マルチチャンネル信号(12)の第1のチャンネルであり、Rは、第2のチャンネルである、請求項10に記載のダウンミキサ。
  12. 少なくとも2つのチャンネルを有するマルチチャンネル信号(12)の少なくとも2つのチャンネルをダウンミックスするための方法において、
    前記少なくとも2つのチャンネルが、同相であるときは、前記マルチチャンネル信号(12)の前記少なくとも2つのチャンネルと前記部分的ダウンミックス信号との間の定義済みエネルギー関係または振幅関係が、満たされるように、かつ前記少なくとも2つのチャンネルが、位相を異にするときは、エネルギー損失または振幅損失が、前記少なくとも2つのチャンネルに関して前記部分的ダウンミックス信号内に生み出されるように、前記少なくとも2つのチャンネルを加算することによって前記少なくとも2つのチャンネルから部分的ダウンミックス信号(14)を計算するステップと、
    前記マルチチャンネル信号(12)から相補信号を計算するステップであって、前記相補信号(22)は、前記部分的ダウンミックス信号(14)とは異なる、ステップと、
    前記マルチチャンネル信号のダウンミックス信号(40)を得るために前記部分的ダウンミックス信号(14)および前記相補信号(22)を加算するステップとを含み、
    前記相補信号を計算する前記ステップは、前記部分的ダウンミックス信号(14)の前記エネルギー損失または前記振幅損失が、前記部分的ダウンミックス信号(14)および前記相補信号(22)の前記加算するステップによって部分的にまたは完全に補償される、少なくとも2つのチャンネルをダウンミックスするための方法。
  13. 少なくとも2つのチャンネルを有するマルチチャンネル信号の少なくとも2つのチャンネルからマルチチャンネルパラメータ(84)を計算するためのパラメータ計算機(82)と、
    請求項1から11のいずれか一項に記載のダウンミキサ(80)と、
    前記ダウンミックス信号(40)および/または前記マルチチャンネルパラメータ(84)を含むエンコードされたマルチチャンネル信号を出力するまたは記憶するための出力インターフェース(86)とを備える、マルチチャンネルエンコーダ。
  14. マルチチャンネル信号をエンコードするための方法であって、
    少なくとも2つのチャンネルを有するマルチチャンネル信号の少なくとも2つのチャンネルからマルチチャンネルパラメータ(84)を計算するステップと、
    請求項12に記載の方法に従ってダウンミックスするステップと、
    前記ダウンミックス信号(40)および/または前記マルチチャンネルパラメータ(84)を含むエンコードされたマルチチャンネル信号(88)を出力するまたは記憶するステップとを含む、マルチチャンネル信号をエンコードするための方法。
  15. エンコードされたマルチチャンネル信号(88)を発生させるための請求項13に記載のマルチチャンネルエンコーダと、
    再構成されたオーディオ信号(98)を得るために前記エンコードされたマルチチャンネル信号(88)をデコードするためのマルチチャンネルデコーダとを備えるオーディオ処理システム。
  16. オーディオ信号を処理する方法であって、
    エンコードされたマルチチャンネル信号(88)を得るために、請求項14に記載のマルチチャンネル信号をエンコードするための方法と、
    再構成されたオーディオ信号(98)を得るために前記エンコードされたマルチチャンネル信号(88)をマルチチャンネルデコードするステップとを含む、オーディオ信号を処理する方法。
  17. コンピュータまたはプロセッサ上で動くとき、請求項12、14または16のいずれか一項に記載の方法を行うためのコンピュータプログラム。
JP2019523611A 2016-11-08 2017-10-30 少なくとも２つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ Active JP6817433B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16197813.5 2016-11-08
EP16197813 2016-11-08
PCT/EP2017/077820 WO2018086946A1 (en) 2016-11-08 2017-10-30 Downmixer and method for downmixing at least two channels and multichannel encoder and multichannel decoder

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020215169A Division JP7210530B2 (ja) 2016-11-08 2020-12-24 少なくとも２つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ

Publications (2)

Publication Number Publication Date
JP2019537057A JP2019537057A (ja) 2019-12-19
JP6817433B2 true JP6817433B2 (ja) 2021-01-20

Family

ID=60302095

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019523611A Active JP6817433B2 (ja) 2016-11-08 2017-10-30 少なくとも２つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ
JP2020215169A Active JP7210530B2 (ja) 2016-11-08 2020-12-24 少なくとも２つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ
JP2023002454A Pending JP2023052322A (ja) 2016-11-08 2023-01-11 少なくとも２つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020215169A Active JP7210530B2 (ja) 2016-11-08 2020-12-24 少なくとも２つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ
JP2023002454A Pending JP2023052322A (ja) 2016-11-08 2023-01-11 少なくとも２つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ

Country Status (17)

Country Link
US (3) US10665246B2 (ja)
EP (2) EP3539127B1 (ja)
JP (3) JP6817433B2 (ja)
KR (1) KR102291792B1 (ja)
CN (2) CN116741185A (ja)
AR (1) AR110147A1 (ja)
AU (1) AU2017357452B2 (ja)
BR (1) BR112019009424A2 (ja)
CA (1) CA3045847C (ja)
ES (1) ES2830954T3 (ja)
MX (1) MX2019005214A (ja)
PL (1) PL3539127T3 (ja)
PT (1) PT3539127T (ja)
RU (1) RU2727861C1 (ja)
TW (1) TWI665660B (ja)
WO (1) WO2018086946A1 (ja)
ZA (1) ZA201903536B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521055B2 (en) 2018-04-14 2022-12-06 International Business Machines Corporation Optical synapse
US11157807B2 (en) 2018-04-14 2021-10-26 International Business Machines Corporation Optical neuron
AU2020233210B2 (en) * 2019-03-06 2023-09-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer and method of downmixing
WO2020216459A1 (en) 2019-04-23 2020-10-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method or computer program for generating an output downmix representation
EP4202921A4 (en) * 2020-09-28 2024-02-21 Samsung Electronics Co., Ltd. AUDIO ENCODING APPARATUS AND METHOD AND AUDIO DECODING APPARATUS AND METHOD

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE377339T1 (de) 2002-07-12 2007-11-15 Koninkl Philips Electronics Nv Audio-kodierung
DE602004029872D1 (de) 2003-03-17 2010-12-16 Koninkl Philips Electronics Nv Verarbeitung von mehrkanalsignalen
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
PL1735774T3 (pl) * 2004-04-05 2008-11-28 Koninl Philips Electronics Nv Koder wielokanałowy
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
WO2006059567A1 (ja) * 2004-11-30 2006-06-08 Matsushita Electric Industrial Co., Ltd. ステレオ符号化装置、ステレオ復号装置、およびこれらの方法
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
CN101617360B (zh) 2006-09-29 2012-08-22 韩国电子通信研究院 用于编码和解码具有各种声道的多对象音频信号的设备和方法
WO2009039897A1 (en) * 2007-09-26 2009-04-02 Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program
MX2010004138A (es) 2007-10-17 2010-04-30 Ten Forschung Ev Fraunhofer Codificacion de audio usando conversion de estereo a multicanal.
JP5122681B2 (ja) * 2008-05-23 2013-01-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ パラメトリックステレオアップミクス装置、パラメトリックステレオデコーダ、パラメトリックステレオダウンミクス装置、及びパラメトリックステレオエンコーダ
EP2144229A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient use of phase information in audio encoding and decoding
CA3057366C (en) * 2009-03-17 2020-10-27 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
CA2746524C (en) 2009-04-08 2015-03-03 Matthias Neusinger Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing
EP2489040A1 (fr) * 2009-10-16 2012-08-22 France Telecom Decodage parametrique stereo optimise
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
JP5604933B2 (ja) * 2010-03-30 2014-10-15 富士通株式会社 ダウンミクス装置およびダウンミクス方法
CA2793140C (en) * 2010-04-09 2016-05-31 Dolby International Ab Mdct-based complex prediction stereo coding
EP3779977B1 (en) * 2010-04-13 2023-06-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder for processing stereo audio using a variable prediction direction
SG188254A1 (en) * 2010-08-25 2013-04-30 Fraunhofer Ges Forschung Apparatus for decoding a signal comprising transients using a combining unit and a mixer
FR2966634A1 (fr) * 2010-10-22 2012-04-27 France Telecom Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase
WO2013168414A1 (ja) * 2012-05-11 2013-11-14 パナソニック株式会社 音信号ハイブリッドエンコーダ、音信号ハイブリッドデコーダ、音信号符号化方法、及び音信号復号方法
KR20140017338A (ko) * 2012-07-31 2014-02-11 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 장치 및 방법
WO2014161996A2 (en) * 2013-04-05 2014-10-09 Dolby International Ab Audio processing system
EP2838086A1 (en) * 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment
EP2854133A1 (en) * 2013-09-27 2015-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Generation of a downmix signal
EP3353779B1 (en) * 2015-09-25 2020-06-24 VoiceAge Corporation Method and system for encoding a stereo sound signal using coding parameters of a primary channel to encode a secondary channel

Also Published As

Publication number Publication date
RU2727861C1 (ru) 2020-07-24
JP7210530B2 (ja) 2023-01-23
JP2023052322A (ja) 2023-04-11
AU2017357452B2 (en) 2020-12-24
US10665246B2 (en) 2020-05-26
JP2019537057A (ja) 2019-12-19
AR110147A1 (es) 2019-02-27
CN110419079A (zh) 2019-11-05
AU2017357452A1 (en) 2019-06-27
MX2019005214A (es) 2019-06-24
CA3045847C (en) 2021-06-15
TWI665660B (zh) 2019-07-11
ZA201903536B (en) 2021-04-28
CA3045847A1 (en) 2018-05-17
CN116741185A (zh) 2023-09-12
PT3539127T (pt) 2020-12-04
EP3539127B1 (en) 2020-09-02
EP3748633A1 (en) 2020-12-09
TW201830378A (zh) 2018-08-16
US20190272833A1 (en) 2019-09-05
US20220068284A1 (en) 2022-03-03
KR102291792B1 (ko) 2021-08-20
WO2018086946A1 (en) 2018-05-17
US11183196B2 (en) 2021-11-23
CN110419079B (zh) 2023-06-27
BR112019009424A2 (pt) 2019-07-30
KR20190072653A (ko) 2019-06-25
ES2830954T3 (es) 2021-06-07
US20200243096A1 (en) 2020-07-30
JP2021060610A (ja) 2021-04-15
EP3539127A1 (en) 2019-09-18
US11670307B2 (en) 2023-06-06
PL3539127T3 (pl) 2021-04-19

Similar Documents

Publication Publication Date Title
JP6817433B2 (ja) 少なくとも２つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ
US20220358939A1 (en) Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing
RU2727799C1 (ru) Устройство и способ понижающего или повышающего микширования многоканального сигнала с использованием фазовой компенсации
CN109509478B (zh) 音频处理装置
US8666752B2 (en) Apparatus and method for encoding and decoding multi-channel signal
US20090240505A1 (en) Audio decoding
WO2004084185A1 (en) Processing of multi-channel signals
JP6275831B2 (ja) ダウンミックス信号を生成するための概念
AU2020262159B2 (en) Apparatus, method or computer program for generating an output downmix representation

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20190610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201224

R150 Certificate of patent or registration of utility model

Ref document number: 6817433

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250