JP6275831B2 - ダウンミックス信号を生成するための概念 - Google Patents

ダウンミックス信号を生成するための概念 Download PDF

Info

Publication number
JP6275831B2
JP6275831B2 JP2016517420A JP2016517420A JP6275831B2 JP 6275831 B2 JP6275831 B2 JP 6275831B2 JP 2016517420 A JP2016517420 A JP 2016517420A JP 2016517420 A JP2016517420 A JP 2016517420A JP 6275831 B2 JP6275831 B2 JP 6275831B2
Authority
JP
Japan
Prior art keywords
signal
input signal
input
phase
downmix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016517420A
Other languages
English (en)
Other versions
JP2016538578A (ja
Inventor
アレクサンデル・アダミ
エマヌエル・ハベッツ
ユルゲン・ヘルレ
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2016538578A publication Critical patent/JP2016538578A/ja
Application granted granted Critical
Publication of JP6275831B2 publication Critical patent/JP6275831B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Stereophonic System (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Filters That Use Time-Delay Elements (AREA)
  • Amplifiers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明はオーディオ信号処理に関し、特に、複数の入力信号の、ダウンミックス信号へのダウンミックスに関する。
信号処理において、2つ以上の信号を混合して1つの和信号にすることが必要になることが多い。混合手順は、特に、混合されるべき2つの信号に、類似しているものの位相がシフトしている信号部分が含まれている場合に、通常、何らかの信号欠陥を伴う。それらの信号が合計されると、その合計された信号は、深刻な櫛形フィルタ(comb-filter)アーティファクトを含む。それらのアーティファクトを防止するために、種々の方法が提案されているが、これらは計算複雑度の点から非常にコストがかかるか、又はすでに欠陥のある信号に補正利得若しくは補正項を適用することに基づくかのいずれかである。
マルチチャネルオーディオ信号をより少数のチャネルに変換することは、通常、いくつかのオーディオチャネルを混合することを含む。例えば、ITUは、特定のマルチチャネル設定から別の設定への下方変換のために、静的利得を有する時間領域の受動的混合行列を使用することを推奨している[1]。[2]において、非常に類似した手法が提案されている。
ダイアログの明瞭性(intelligibility)を向上するために、ITUベース及び行列ベースのダウンミックスを組み合わせた手法が[3]において提案されている。また、オーディオ符号化器は、例えばいくつかのパラメータモジュールにおいて、チャネルの受動的ダウンミックスを利用する[4,5,6]。
[7]に記載されている手法は、すべての入力及び出力チャネル、すなわち、混合プロセスの前後のすべての単一のチャネルのラウドネス測定を実施する。入力エネルギー(すなわち、混合されると想定されるチャネルのエネルギー)と出力エネルギー(すなわち、混合されたチャネルのエネルギー)との合計比率を求めることによって、信号エネルギー損失及び着色効果が低減されるように、利得を導出することができる。
[8]に記載されている手法は、後に周波数領域に変換される受動的ダウンミックスを実施する。このダウンミックスは、その後、空間補正ステージによって分析される。空間補正ステージは、チャネル間レベル差及びチャネル間位相差に対する修正を通じて任意の空間的不一致を検出及び補正するように試行する。その後、ダウンミックス信号が入力信号と同じ電力を有することを保証するために、信号に対しイコライザが適用される。最後のステップにおいて、ダウンミックス信号が変換されて時間領域に戻される。
[9,10]においては異なる手法が開示されており、ダウンミックスされるべき2つの信号が周波数領域に変換され、所望の/実際の値の対が構築される。所望の値は、信号エネルギーの和の根として算出する一方で、実際の値は、和信号のエネルギーの根として算出する。2つの値はその後、比較され、実際の値が所望の値よりも大きいか又は小さいかに応じて、異なる補正が実際の値に適用される。
代わりに、位相差に起因して信号キャンセル効果が発生しないように、信号の位相を整列させることを目的とした方法がある。そのような方法は、例えば、パラメトリックステレオ符号化器について提案されている[11,12,13]。
[1,2,3,4,5,6]においてなされるような受動的ダウンミックスは、信号を混合するための最も単純な手法である。しかし、さらなる動作が行われない場合、結果もたらされるダウンミックス信号は、深刻な信号損失及び櫛形フィルタ効果を被る場合がある。
[7,8,9,10]に記載されている手法は、第1のステップにおいて両方の信号を等しく混合するという意味で受動的ダウンミックスを実施する。その後、いくつかの補正がダウンミックス信号に適用される。その補正は、櫛形フィルタ効果の低減に役立ち得る一方で、修正アーティファクトを導入することになる。これは、補正利得/項が経時的に急速に変化することによって引き起こされる。さらに、ダウンミックスされるべき信号間の180度の位相シフトは、依然としてゼロ値ダウンミックスという結果になり、例えば、補正利得を適用しても補償することができない。
[11,12,13]において言及されているような位相整列手法は、望ましくない信号キャンセルを回避するのに役立ち得る。しかし、位相整列された信号を単純に加算する手順を依然として実施することに起因して、位相が適切に推定されなかった場合に櫛形フィルタやキャンセル(cancelation)が発生する場合がある。加えて、2つの信号間の位相関係を頑強に(robustly)推定することは容易な作業ではなく、特に2つよりも多い信号に対して行われる場合に計算集約的(computational intensive)である。
[1] ITU-R BS.775-2, "Multichannel Stereophonic Sound System With And Without Accompanying Picture," 07/2006. [2] R. Dressler, (05.08.2004) Dolby Surround Pro Logic II Decoder Principles of Operation. [Online]. Available: http://www.dolby.com/uploadedFiles/Assets/US/Doc/Professional/209_Dolby_Surround_Pro_Logic_II_Decoder_Principles_of_Operation.pdf. [3] K. Lopatka, B. Kunka, and A. Czyzewski, "Novel 5.1 Downmix Algorithm with Improved Dialogue Intelligibility," in 134th Convention of the AES, 2013. [4] J. Breebaart, K. S. Chong, S. Disch, C. Faller, J. Herre, J. Hilpert, K. Kjoerling, J. Koppens, K. Linzmeier, W. Oomen, H. Purnhagen, and J. Roeden, "MPEG Surround _ the ISO/MPEG Standard for Efficient and Compatible Multi-Channel Audio Coding," J. Audio Eng. Soc, vol. 56, no. 11, pp. 932_955, 2007. [5] M. Neuendorf, M. Multrus, N. Rellerbach, R. J. Fuchs Guillaume, J. Lecomte, Wilde Stefan, S. Bayer, S. Disch, C. Helmrich, R. Lefebvre, P. Gournay, B. Bessette, J. Lapierre, K. Kjoerling, H. Purnhagen, L. Villemoes, W. Oomen, E. Schuijers, K. Kikuiri, T. Chinen, T. Norimatsu, C. K. Seng, E. Oh, M. Kim, S. Quackenbush, and B. Grill, "MPEG Unified Speech and Audio Coding - The ISO/MPEG Standard for High-Efficiency Audio Coding of all Content Types," J. Audio Eng. Soc, vol. 132nd Convention, 2012. [6] C. Faller and F. Baumgarte, "Binaural Cue Coding-Part II: Schemes and Applications," Speech and Audio Processing, IEEE Transactions on, vol. 11, no. 6, pp. 520_531, 2003. [7] F. Baumgarte, "Equalization for Audio Mixing," Patent US 7,039,204 B2, 2003. [8] J. Thompson, A. Warner, and B. Smith, "An Active Multichannel Downmix Enhancement for Minimizing Spatial and Spectral Distortions," in 127nd Convention of the AES, October 2009. [9] G. Stoll, J. Groh, M. Link, J. Deigmoeller, B. Runow, M. Keil, R. Stoll, M. Stoll, and C. Stoll, "Method for Generating a Downward-Compatible Sound Format," US Patent US2012/0 014 526, 2012. [10] B. Runow and J. Deigmoeller, "Optimierter Stereo-Dowmix von 5.1-Mehrkanalproduktionen: An optimized Stereo-Downmix of a 5.1 multichannel audio production," in 25. Tonmeistertagung - VDT International Convention, 2008. [11] Samsudin, E. Kurniawati, Ng Boon Poh, F. Sattar, and S. George, "A Stereo toMono Dowmixing Scheme for MPEG-4 Parametric Stereo Encoder," in Acoustics, Speech and Signal Processing, 2006. ICASSP 2006 Proceedings. 2006 IEEE International Conference on, vol. 5, 2006, p. V. 2. [12] M. Kim, E. Oh, and H. Shim, "Stereo audio coding improved by phase parameters," in 129th Convention of the AES, 2010. [13] W. Wu, L. Miao, Y. Lang, and D. Virette, "Parametric Stereo Coding Scheme with a New Downmix Method and Whole Band Inter Channel Time/Phase Differences," Acoustics, Speech and Signal Processing, IEEE Transactions on, pp. 556_560, 2013.
本発明の目的は、複数の入力信号をダウンミックスしてダウンミックス信号にするための改善された概念を提供することである。
この目的は、請求項1に記載のデバイス、請求項16に記載のシステム、請求項17に記載の方法又は請求項18に記載のコンピュータプログラムによって達成される。
第1の入力信号及び第2の入力信号をダウンミックスしてダウンミックス信号にするためのオーディオ信号処理デバイスであって、第1の入力信号(X1)及び第2の入力信号(X2)は少なくとも部分的に補正され、
第1の入力信号及び第2の入力信号を受信するとともに、第1の入力信号に関しては第2の入力信号よりも相関が少ない抽出信号を出力するように構成されている相違点抽出器と、
ダウンミックス信号を得るために、第1の入力信号及び抽出信号を組み合わせるように構成されているコンバイナと、を備えるデバイスが提供される。
本明細書において、デバイスは時間−周波数領域で説明されるが、すべての考慮事項は時間領域信号にも当てはまる。第1の入力信号及び第2の入力信号は混合されるべき信号であり、第1の入力信号は基準信号としての役割を果たす。両方の信号が相違点抽出器に供給され、第2の入力信号について、第2の入力信号の相関信号部分は拒絶され、第2の入力信号の無相関信号部分のみが抽出器の出力に通される。
提案した概念の改良点は信号が混合される方法にある。第1のステップにおいて、1つの信号が基準としての役割を果たすように選択される。その後、基準信号のどの部分がすでに他方の信号内に存在するかが判定され、基準信号内に存在しない部分(すなわち、無相関信号)のみが、ダウンミックス信号を構築するために基準に加えられる。基準信号について低相関又は無相関信号部分のみが基準信号と合成されるので、櫛形フィルタ効果が導入される危険性が最小限に抑えられる。
要約すると、2つの信号を混合して1つのダウンミックス信号にする新規な概念を提案する。新規の方法は、櫛形フィルタリングのようなダウンミックスアーティファクトが生成されてしまうのを防止することを目的とする。さらに、提案の方法は、計算効率的である。
本発明のいくつかの実施形態において、コンバイナは、エネルギースケーリングシステムを含む。エネルギースケーリングシステムは、ダウンミックスのエネルギーと、第1の入力信号及び第2の入力信号の合計エネルギーとの比が、第1の入力信号及び第2の入力信号の相関とは無関係になるように構成されている。そのようなエネルギースケーリングデバイスによって、ダウンミックスプロセスがエネルギーを維持する(すなわち、ダウンミックス信号が元のステレオ信号と同じ量のエネルギーを有する)こと、又は、少なくとも、第1の入力信号及び第2の入力信号の相関とは関係なく、知覚される音声に変化がないこと、が保証される。
本発明の実施形態において、エネルギースケーリングシステムは、スケーリング済み入力信号を得るために、第1のスケール係数に基づいて第1の入力信号をスケーリングするように構成されている第1エネルギースケーリングデバイスを備える。
本発明のいくつかの実施形態において、エネルギースケーリングシステムは、第1のスケール係数を提供するように構成されている第1のスケール係数プロバイダを備え、第1のスケール係数プロバイダは、好ましくは、第1の入力信号、第2の入力信号、抽出信号及び/又は抽出信号のためのスケール係数に応じて第1のスケール係数を計算するように構成されているプロセッサとして設計される。ダウンミックス中、基準信号(第1の入力信号)は、全体的なエネルギーレベルを維持するように、又は、自動的に、エネルギーレベルを入力信号の相関とは無関係に保つようにスケーリングされ得る。
本発明の実施形態において、エネルギースケーリングシステムは、スケーリング済み抽出信号を得るために、第2のスケール係数に基づいて抽出信号をスケーリングするように構成されている第2のエネルギースケーリングデバイスを備える。
本発明のいくつかの実施形態において、エネルギースケーリングシステムは、第2のスケール係数を提供するように構成されている第2のスケール係数プロバイダを備え、第2のスケール係数プロバイダは、好ましくは、第2のスケール係数を手動で入力するように構成されているマンマシンインターフェースとして設計される。
第2のスケール係数はイコライザとして捉えることができる。通常、これは、周波数依存で、好ましい実施形態においては、音響技師によって手動で行うことができる。もちろん、多数の異なる混合比が可能であり、これらは音響技師の経験及び/又は好みに大きく依存する。
代わりに、第2のスケール係数プロバイダは、好ましくは、第1の入力信号、第2の入力信号及び/又は抽出信号に応じて第1のスケール係数を計算するように構成されているプロセッサとして設計される。
本発明のいくつかの実施形態において、コンバイナは、第1の入力信号に基づくとともに抽出信号に基づいてダウンミックス信号を出力するための合計デバイスを含む。基準について低相関又はさらには無相関信号部分のみが基準に加わるので、櫛形フィルタ効果が導入される危険性が最小限に抑えられる。さらに、合計デバイスを使用することは、計算効率的である。
本発明のいくつかの実施形態において、相違点抽出器は、第1の入力信号から、第2の入力信号内に存在する第1の入力信号の信号部分を得るためのフィルタ係数を提供するように構成されている類似度推定器と、フィルタ係数に基づいて第2の入力信号内に存在する第1の入力信号の信号部分を低減するように構成されている類似度低減器と、を備える。そのような実施態様において、相違点抽出器は、2つのサブステージ、すなわち、類似度推定器及び類似度低減器から構成される。第1の入力信号と第2の入力信号は類似度推定ステージに供給され、第2の入力信号内に存在する第1の入力信号の信号部分が推定され、結果として生じるフィルタ係数により表される。フィルタ係数、第1の入力信号及び第2の入力信号は類似度低減器に供給され、第1の入力信号に類似している第2の入力信号の信号部分がそれぞれ抑制及び/又はキャンセルされる。その結果、第1の入力信号についての第2の入力信号の無相関信号部分の推定値である抽出信号が得られる。
本発明のいくつかの実施形態において、類似度低減器はキャンセルステージを備える。キャンセルステージは、第2の入力信号から又は第2の入力信号から導出される信号から、第2の入力信号内に存在する第1の入力信号の得られた信号部分又は得られた信号部分から導出される信号を、減算するように構成されている信号キャンセルデバイスを有する。この概念は、方法が適応性のある雑音消去の問題に使用されることに関するが、元々意図されているように、雑音又は無相関成分を消去するためには使用されず、代わりに、相関信号部分を消去し、抽出信号をもたらすために使用されるという相違点がある。
本発明のいくつかの実施形態において、キャンセルステージは複素フィルタデバイスを備える。複素フィルタデバイスは、複素値フィルタ係数を使用することによって第1の入力信号をフィルタリングするように構成されている。この手法の利点は、位相シフトをモデル化することができることである。
本発明のいくつかの実施形態において、キャンセルステージは、第2の入力信号の位相を第1の入力信号の位相に整列させるように構成されている位相シフトデバイスを備える。第1の入力信号と第2の入力信号との間の反対の位相について、第1の入力信号の突然の信号ドロップに加えて、位相跳躍及び信号キャンセル効果がダウンミックス信号内で発生する可能性がある。この効果は、第2の入力信号を第1の入力信号に向けて整列させることによって劇的に低減することができる。そのようなキャンセルステージは、逆位相整列キャンセルステージ(reverse phase aligned cancelation stage)と呼ばれる場合がある。
本発明のいくつかの実施形態において、類似度低減器は信号抑制ステージを備える。信号抑制ステージは、抽出信号を得るために第2の入力信号に抑制利得係数を乗算するように構成されている信号抑制デバイスを有する。フィルタ係数の推定誤差に起因する可聴歪みを、これらの特徴によって低減することができる。
本発明のいくつかの実施形態において、信号抑制ステージは、第2の入力信号の位相を第1の入力信号の位相に整列させるように構成されている位相シフトデバイスを備える。抑制利得係数は実数値であり、2つの入力信号の位相関係に影響を及ぼさない。しかし、いずれにせよ複素値フィルタ係数を推定しなければならないため、入力信号間の相対位相に関する追加の情報を入手し得る。この情報は、第2の入力信号の位相を第1の入力信号に向けて調整するのに使用することができる。これは、信号抑制ステージ内で抑制利得が適用される前に行うことができ、第2の入力信号の位相が、上述した複素値フィルタ係数の推定位相だけシフトされる。そのような抑制ステージは、逆位相整列抑制ステージと呼ばれる場合がある。
本発明のいくつかの実施形態において、抽出信号を得るためにキャンセルステージの出力信号が信号抑制ステージの入力に供給されるか、又は抽出信号を得るために信号抑制ステージの出力信号がキャンセルステージの入力に供給される。ダウンミックス信号の品質をさらに向上するために、コヒーレント信号成分のキャンセルと抑制の使用を組み合わせた手法が使用されてもよい。最初にキャンセル手順を実施し、その後、抑制手順を適用することにより、その結果としてダウンミックス信号を得ることができる。他の実施形態において、最初に抑制手順を実施し、その後、キャンセル手順を適用することによって、ダウンミックス信号を得てもよい。このように、第1の信号と相関する抽出信号内の信号部分をさらに低減することができる。抽出信号及び第1の入力信号は、前記のようにエネルギースケーリングすることができる。
本発明のいくつかの実施形態において、第2の入力信号内に存在する第1の入力信号の信号部分は、重み付け係数に応じて、第2の入力信号から減算される前に重み付けされている。重み付け係数は、通常、時間と周波数に依存するものであってもよいが、定数として選択することもできる。いくつかの実施形態において、逆位相整列キャンセルモジュールは、ここでもわずかな修正を施して使用することができ、同様に、フィルタ係数の絶対値によるフィルタリングの後に、重み付け係数による重み付けを行わなければならない。
本発明のいくつかの実施形態において、位相シフトデバイスは、重み付け係数に応じて、第2の入力信号の位相を第1の入力信号の位相に整列させるように構成されている。
本発明のいくつかの実施形態において、位相シフトデバイスは、重み付け係数が所定閾値以下である場合にのみ、第2の入力信号の位相を第1の入力信号の位相に整列させるように構成されている。
本発明はさらに、少なくとも本発明による第1のデバイスと、本発明による第2のデバイスとを備え、複数の入力信号をダウンミックスしてダウンミックス信号にするためのオーディオ信号処理システムに関する。第1のデバイスのダウンミックス信号が、第1の入力信号又は第2の入力信号として、第2のデバイスに供給される。複数の入力チャネルをダウンミックスするために、カスケード接続された複数の2チャネルダウンミックスデバイスを使用することができる。
さらに、本発明は、第1の入力信号及び第2の入力信号をダウンミックスしてダウンミックス信号にするための方法であって、
第2の入力信号の成分であり、第1の入力信号について無相関である無相関信号を推定するステップと、
ダウンミックス信号を得るために第1の入力信号及び無相関信号を合計するステップと、を含む方法に関する。
さらに、本発明は、コンピュータ又は信号プロセッサ上で実行され、本発明による方法を実施するためのコンピュータプログラムに関する。
オーディオ信号処理デバイスの第1の実施形態を示す図である。 第1の実施形態をより詳細に示す図である。 第1の実施形態の類似度低減器及びコンバイナを示す図である。 第2の実施形態の類似度低減器を示す図である。 第3の実施形態の類似度低減器及びコンバイナを示す図である。 第4の実施形態の類似度低減器を示す図である。 第5の実施形態の類似度低減器及びコンバイナを示す図である。 第6の実施形態の類似度低減器及びコンバイナを示す図である。 カスケード接続された複数のオーディオ信号処理デバイスを示す図である。
続いて、添付の図面に関連して好ましい実施形態を説明する。
図1は、提案される新規のダウンミックスデバイス1の高レベルシステム表現を示す。デバイスは時間−周波数領域において説明され、kとmはそれぞれ周波数インデックス及び時間インデックスに対応するが、すべての考慮事項は時間領域信号にも当てはまる。第1の入力信号X1(k,m)及び第2の入力信号X2(k,m)は混合されるべき入力信号であり、第1の入力信号X1(k,m)は基準信号としての役割を果たすことができる。両方の信号X1(k,m)及びX2(k,m)は相違点抽出器2に供給され、X1(k,m)及びX2(k,m)に関する相関信号部分が拒絶又は少なくとも低減され、無相関信号又は低相関部分
Figure 0006275831
のみが抽出されて、抽出器の出力に通される。その後、第1の入力信号X1(k,m)は、ある所定のエネルギー制約を満たすために第1エネルギースケーリングデバイス4を使用してスケーリングされ、これによって、スケーリング済み基準信号X1s(k,m)がもたらされる。必要なスケール係数GEx(k,m)は、スケール係数プロバイダ5によって提供される。抽出信号部分
Figure 0006275831
はまた、第2のエネルギースケーリングデバイス6を使用してスケーリングすることもでき、これによって、スケーリング済み無相関信号部分
Figure 0006275831
がもたらされる。対応するスケール係数GEu(k,m)は、第2のスケール係数プロバイダ7によって提供される。スケール係数GEu(k,m)は、好ましくは音響技師によって手動で決定することができる。両方のスケーリング済み信号X1s(k,m)及び
Figure 0006275831
が合計デバイス8を使用して合計されて、所望のダウンミックス信号
Figure 0006275831
が形成される。
図2は、提案されるデバイス1の中レベルシステム描画を示している。いくつかの実施態様において、相違点抽出器2は、図2に示されているように、2つのサブステージ、すなわち、類似度推定器9及び類似度低減器10から構成される。第1の入力信号X1(k,m)及び第2の入力信号X2(k,m)は類似度推定ステージ9に供給され、X2(k,m)内に存在するX1(k,m)の信号部分が推定されてフィルタ係数Wk(l)によって表される。なお、l=0...L−1であり、Lはフィルタ長である。フィルタ係数Wk(l)、第1の入力信号X1(k,m)及び第2の入力信号X2(k,m)は、類似度低減器10に供給され、X1(k,m)に類似しているX2(k,m)の信号部分がそれぞれ少なくとも部分的に抑制及び/又はキャンセルされる。この結果として残差信号
Figure 0006275831
が得られる。これは、X1(k,m)に対するX2(k,m)の無相関信号部分の推定値である。
この信号モデルは、第2の入力信号X2(k,m)を、第1の入力信号X1(k,m)の重み付けされ又はフィルタリングされたバージョンW'(k,m)X1(k,m)と、当初は未知の独立した信号U2(k,m)との混合であり、
Figure 0006275831
と仮定する。したがって、X2(k,m)は、X1(k,m)に対する相関信号部分及び無相関信号部分の和から構成されると考えられる。
2(k,m)=W'(k,m)・X1(k,m)+U2(k,m) (1)
大文字は周波数変換信号を示し、kは周波数インデックスであり、mは時間インデックスである。ここで、所望のダウンミックス信号
Figure 0006275831
は以下のように定義することができる。
Figure 0006275831
式中、
Figure 0006275831
はU2(k,m)の推定値であり、GEx(k,m)及びGEu(k,m)は、基準信号X1(k,m)と他方の入力信号X2(k,m)の抽出信号部分
Figure 0006275831
のエネルギーを、所定の制約に従って調整するためのスケーリング係数である。加えて、それらは、信号を均等にするのに使用することができる。これは、いくつかの場面で特に
Figure 0006275831
にとって必要になり得る。本明細書の残りの部分において、時間−周波数インデックス(k,m)は明瞭にするために省略される。
最大の目的は、X1とは無相関である信号成分U2を得ることである。これは、適応性のある雑音消去の問題に使用される方法の利用によってなし得るが、元々意図されているように、雑音又は無相関成分を消去するために使用されるのではなく、相関信号部分を消去してU2の推定値
Figure 0006275831
を得るために使用される点で相違する。
図3は、そのようなシステムの第1の実施形態における類似度低減器10を示す。類似度低減器10はキャンセル(cancelation)ステージ10aとコンバイナ3を有する。この手法の利点は、Wが複素値になることが許容され、位相シフトをモデル化できることである。
Figure 0006275831
Figure 0006275831
を求めるために、当初は未知の複素利得W'の推定複素利得Wが必要である。これは、最小平均2乗(minimum mean squared)(MMS)の意味において抽出信号
Figure 0006275831
のエネルギーを最小化することによってなされる。
Figure 0006275831
*に関する偏導関数J(W)をゼロに設定することによって、所望のフィルタ係数が導出される。すなわち、以下のようになる。
Figure 0006275831
一実施形態において、図3において灰色の破線の長方形によって強調されているキャンセルモジュール10aは、図4に示すような逆位相整列キャンセルブロック10a’に置き換えることができる。キャンセルステージ10a’は、位相シフトデバイス13と絶対値フィルタデバイス11’を備える。位相シフトデバイス13は、第2の入力信号Xの位相を、第1の入力信号Xの位相と整列させるように構成されている。絶対値フィルタデバイス11’は、絶対値フィルタ係数|W|を使用することによって、整列した第1の入力信号(X’ をフィルタリングするように構成されている。
第1の入力信号X1と第2の入力信号X2との反対の位相について、さらに、第1の入力信号X1の突然の信号ドロップとともに、位相跳躍及び信号キャンセル効果がダウンミックス信号
Figure 0006275831
内で発生する可能性がある。この効果は、第2の入力信号X2の位相を第1の入力信号X1の位相に向けて整列させることによって劇的に低減することができる。さらに、Wの絶対値だけが使用されてX1がフィルタリングされ、キャンセル(cancelation)も実施される。
図5は第3の実施形態における類似度低減器10及びコンバイナ3を示している。類似度低減器10は信号抑制ステージ10bを備える。信号抑制ステージ10bは、抽出信号
Figure 0006275831
を得るために第2の入力信号X に抑制利得係数(G)を乗算するように構成されている信号抑制デバイス14を有する。
実際には、(3)を使用して得られる抽出信号
Figure 0006275831
は、複素利得Wにおける推定誤差に起因する可聴歪みを含む場合がある。代替形態として、最小平均2乗誤差(minimum mean squared error)(MMSE)の意味においてU2の推定値
Figure 0006275831
を得るための推定器9(図2を参照)となってもよい。図5は、提案の手法のブロック図である。
抽出信号
Figure 0006275831
は以下によって得られる。
Figure 0006275831
Figure 0006275831
Gに関する偏導関数J(G)をゼロに設定することによって、所望の利得が得られる。
Figure 0006275831
Figure 0006275831
(12)によれば、X2のエネルギーを、X1のフィルタリングされたバージョンと無相関信号U2とのエネルギーの合計に置き換えることができる。
Figure 0006275831
これにより、利得Gについて、
Figure 0006275831
が導き出される。
Figure 0006275831
はX2の推定SNRである。複素フィルタ利得Wが(6)を使用することにより求められる。
一実施形態において、図5において破線の灰色の長方形によって強調されている抑制モジュール10bは、第2の入力信号X2の位相を第1の入力信号X1の位相と整列させるように構成されている位相シフトデバイス15を備えた、逆位相整列抑制モジュール10b'に置き換えることができる。
図6に、本発明の第4の実施形態として、そのような位相シフトデバイス15を有する類似度低減器10b'を示す。抑制利得Gは実数値であり、2つの信号X1とX2との位相関係に影響を及ぼさない。しかし、いずれにせよフィルタ係数Wを推定しなければならないため、入力信号間の相対位相に関する追加の情報が得られ得る。この情報は、X2の位相をX1の位相に向けて調整するために使用することができる。これは、逆位相整列抑制ブロック10b'によって行われ、抑制利得Gが適用される前に、X2の位相がWの推定位相だけシフトされる。位相整列によって、信号
Figure 0006275831

Figure 0006275831
として表すことができる。
この式は、
Figure 0006275831
内におけるX1の残差成分が、
Figure 0006275831
が正確に推定されていることを条件として、X1に対して同位相であることを示している。
コヒーレント信号成分のキャンセル及び抑制の使用を組み合わせた手法を図7に示す。キャンセルステージ10aの出力信号
Figure 0006275831
が、抽出信号
Figure 0006275831
を得るために、信号抑制ステージ10bの入力に供給される。キャンセルステージ10aは、重み付けデバイスを備える。重み付けデバイスは、第2の入力信号)内に存在する第1の入力信号Xの得られた信号部分WXを重み付けするように構成されている。
ここで、ダウンミックス信号
Figure 0006275831
は、最初に重み付けされたキャンセル手順を実施し、その後、抑制利得を適用することによって得られる。結果として得られる信号
Figure 0006275831
及びX1は、前述のようにエネルギースケーリングされる。重み付け係数γに起因して、キャンセルステージ後の信号
Figure 0006275831
は、X1に関連付けられた幾つかの信号部分を依然として含む。それらの信号部分をさらに低減するために、この組み合わせ手法のための抑制利得GCを導出する。
Figure 0006275831
Figure 0006275831
Figure 0006275831
Figure 0006275831
パラメータγは一般的に時間及び周波数依存であるが、定数として選択することもできる。時間及び周波数に依存するγを求めるための1つとして、
Figure 0006275831
があり得る。
図8は、第6の実施形態の類似度低減器10及びコンバイナ3を示す図である。この実施形態によれば、(19)における正規化相互相関(normalized cross-correlation)が、マッピング関数に入力として供給される。マッピング関数の出力は、実際のγ値を求めるために使用することができる。このマッピングのために、次式によって定義されるロジスティック関数を使用することができる。
Figure 0006275831
iは入力データを定義し、Au及びAlは、上及び下漸近線であり、Rは増加率であり、v>0は漸近線付近の最大増加率に影響を与え、f0はf(0)の出力値を指定し、Mは最大増加のデータ点iである。そのような実施形態において、γは以下のように定義される。
Figure 0006275831
一実施形態において、逆位相整列キャンセルモジュール10a'を、わずかな修正を施してここでも使用することができる。同様に、Wの絶対値によるフィルタリングの後に、γによる重み付けが行われなければならない。
図8に示す第6の実施形態は、逆位相処理のより洗練された応用形態を含む。これは、主に抑制されるためにマッピングされた時間−周波数ビンにのみ影響を与える、すなわち、γは特定の閾値Γthを下回る。その理由から、
Figure 0006275831
によって定義されるフラグFが導入される。
一実施形態において、逆位相整列キャンセルモジュール10a'を、わずかな修正を施してここでも使用することができる。同様に、Wの絶対値によるフィルタリングの後に、γによる重み付けが行われなければならない。
いくつかの実施形態において、スケール係数プロバイダ7がGEuを提供し、それによって、ダウンミックス信号
Figure 0006275831
に寄与するX1に関する無相関信号
Figure 0006275831
のエネルギー量を制御することができる。これらのスケール係数GEuは、イコライザと考えることができる。通常、これは、周波数依存で、好ましい実施形態においては、音響技師によって手動で行われる。無論、多数の異なる混合比が可能であり、これらは、音響技師の経験及び/又は好みに大きく依存する。代替的に、スケール係数GEuは、信号X1、X2及び
Figure 0006275831
の関数であってもよい。
いくつかの実施形態において、スケール係数プロバイダ4がGExを提供し、それによって、ダウンミックス信号
Figure 0006275831
に寄与する第1の入力信号X1のエネルギー量を制御することができる。ダウンミックスプロセスがエネルギーを保存すべき場合(すなわち、ダウンミックス信号が元のステレオ信号と同じエネルギー量を含む場合)、又は、少なくとも、知覚される音声レベルが維持されるべき場合、追加の処理が必要である。ダウンミックス信号内の個々の信号部分の知覚される音声レベルを一定に保つという目的から、以下の検討が為される。好ましい実施形態において、導出される最適なダウンミックスエネルギーの検討に従ってエネルギーがスケーリングされる。2つの信号
Figure 0006275831
を考慮し、それらを、例えば、
Figure 0006275831
として振幅がパンされたソース(amplitude panned source)の場合にそうであるように、高い相関性があると仮定することができる。信号
Figure 0006275831
は、
Figure 0006275831
として表すことができ、それによって、ダウンミックス信号
Figure 0006275831
は結果として、
Figure 0006275831
となる。
Figure 0006275831
のエネルギーは、
Figure 0006275831
ここで、
Figure 0006275831
として、2つの信号が完全に無相関であると仮定する。その結果、ダウンミックス信号
Figure 0006275831
は、
Figure 0006275831
となる。
Figure 0006275831
のエネルギーは、
Figure 0006275831
によって与えられる。
これらの検討から、相関信号部分の最適なダウンミックスのエネルギーは、
Figure 0006275831
となる。
Wは(23)におけるaに対応し、無相関信号部分については、エネルギーの単純な加算が行われなければならない。そして、(1)及び(2)において仮定される信号モデルと所望のダウンミックス信号についての最終的かつ最適なダウンミックスエネルギーは、
Figure 0006275831
となる。
Figure 0006275831
が同じエネルギー量であることを確実にするために、エネルギースケーリング係数GExとGEuを導入した。GEuはスケール係数プロバイダU2によって与えられる。実際のダウンミックス信号
Figure 0006275831
は、
Figure 0006275831
として算出する。
最適なダウンミックスエネルギーとGEuが得られれば、GExは以下のように導出することができる。
Figure 0006275831
Figure 0006275831
Figure 0006275831
(12)によって式(32)の中間部分は、
Figure 0006275831
として特定される。そして式(32)は、
Figure 0006275831
となる。
複数の入力チャネルX1、X2、X3をダウンミックスするために、カスケード接続された複数の2チャネルダウンミックスステージ1を使用することができる。図9において、3つの入力信号X1、X2、X3についての一例が示されている。
2ステージシステムの最終的なダウンミックス信号
Figure 0006275831
は、
Figure 0006275831
となる。
本発明の一実施形態の重要な特徴は、以下の通りである。
・ X1を基準信号として考え、X2をX1のフィルタリングされたバージョン、それゆえ、相関信号部分WX1及びX1に対する無相関信号部分U2の混合として考えること。
・ X2をその2つの前述した信号成分に分離/分解すること。以下によるX2とX1の相違点抽出。
・ フィルタ係数WとなるX1とX2の類似度の推定、及び
・ 推定無相関信号部分
Figure 0006275831
となる相関信号部分のキャンセル若しくは抑制、又は両方の組み合わせによる類似度低減。
・ 所定のエネルギーレベルを満たすためのX1のエネルギースケーリング。

Figure 0006275831
のエネルギースケーリング。
・ 所望のダウンミックス信号
Figure 0006275831
を形成するためのエネルギースケーリング済み信号の合計。
・ 周波数帯域における処理。
任意ではあるが、実施態様の特徴は、以下の通りである。
・ 逆位相整列抑制又は逆位相整列キャンセル。
・ マルチチャネルダウンミックスを実施するためのカスケード接続された2つ以上のダウンミックスブロック。
・ 部分的にのみ適用される逆位相整列抑制。
いくつかの態様を装置という面で説明してきたが、これらの態様は対応する方法の説明をも表すことは明らかであり、ブロック又はデバイスが、方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの文脈において説明されている態様も、対応するブロックもしくは項目又は対応する装置の特徴の説明を表す。
特定の実施要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアにおいて実装することができる。実施態様は、それぞれの方法が実施されるように、プログラム可能コンピュータシステムと協働する(又は協働することが可能である)電子可読制御信号を記憶したデジタル記憶媒体、例えば、フロッピーディスク、DVD、Blu−Ray、CD、ROM、PROM、及びEPROM、EEPROM又はフラッシュメモリのような持続性記憶媒体、を使用して実施することができる。それゆえ、デジタル記憶媒体は、コンピュータによって読取り可能であり得る。
本発明によるいくつかの実施形態は、本明細書において説明されている方法の1つが実施されるように、プログラム可能コンピュータシステムと協働することが可能である、電子可読制御信号を有するデータキャリアを含む。
一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で作動するときに、方法の1つを実施するように動作することができる。プログラムコードは、例えば、機械によって読取り可能なキャリアに記憶されていてもよい。
他の実施形態は、機械によって読取り可能なキャリアに記憶されて、本明細書において説明されている方法の1つを実施するためのコンピュータプログラムを含む。
言い換えれば、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で作動するときに、本明細書において説明されている方法の1つを実施するためのプログラムコードを有するコンピュータプログラムである。
本発明の方法のさらなる実施形態は、本明細書において説明されている方法の1つを実施するためのコンピュータプログラムが格納されたデータキャリア(又はデジタル記憶媒体、又はコンピュータによって読取り可能な媒体)である。データキャリア、デジタル記憶媒体又は記録媒体は、一般的に、有形かつ/又は持続性である。
本発明の方法のさらなる実施形態は、本明細書において説明されている方法の1つを実施するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えば、インターネットを介して、転送されるように構成されてもよい。
さらなる実施形態は、本明細書において説明されている方法の1つを実施するように構成され又は適合されている処理手段、例えば、コンピュータ又はプログラム可能な論理デバイスを含む。
さらなる実施形態は、本明細書において説明されている方法の1つを実施するためのコンピュータプログラムがインストールされたコンピュータを含む。
本発明のさらなる実施形態は、本明細書において説明されている方法の1つを実施するためのコンピュータプログラムを受信機に(例えば、電子的に又は光学的に)転送するように構成されている装置又はシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。
いくつかの実施形態において、本明細書において説明されている方法の機能のいくつか又はすべてを実施するために、プログラム可能な論理デバイス(例えば、フィールドプログラマブルゲートアレイ)が使用されてもよい。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書において説明されている方法の1つを実施するためにマイクロプロセッサと協働することができる。通常、方法は、任意のハードウェア装置によって実施されることが好ましい。
上述した実施形態は、本発明の原理の例示にすぎない。本明細書において説明されている構成及び詳細の修正及び変形が当業者には明らかになることが理解される。したがって、本明細書における実施形態の記述及び説明として提示されている特定の詳細ではなく、添付の特許請求項の範囲のみによって限定されることが意図されている。
1 オーディオ信号処理デバイス
2 相違点抽出器
3 コンバイナ
4 第1エネルギースケーリングデバイス
5 第1のスケール係数プロバイダ
6 第2のエネルギースケーリングデバイス
7 第2のスケール係数プロバイダ
8 合計デバイス
9 類似度推定器
10 類似度低減器
10a キャンセルステージ
10a’ キャンセルステージ
10b 抑制ステージ
10b’ 抑制ステージ
11 複素フィルタデバイス
11’ 絶対値フィルタデバイス
12 信号キャンセルデバイス
13 位相シフトデバイス
14 抑制デバイス
15 位相シフトデバイス
16 重み付けデバイス
1 第1の入力信号
2 第2の入力信号
Figure 0006275831
ダウンミックス信号
Figure 0006275831
抽出信号
EX 第1のスケール係数
1s 第1のスケーリング済み入力信号
W フィルタ係数
WX1 第2の入力信号(X2)内に存在する第1の入力信号の信号部分
X'2 第2の入力信号から導出される信号
γ 重み付け係数
γWX1 第2の入力信号(X2)内に存在する第1の入力信号の重み付けされた信号部分

Claims (20)

  1. 第1の入力信号(X)及び第2の入力信号(X)をダウンミックスしてダウンミックス信号
    Figure 0006275831
    にするためのオーディオ信号処理デバイス(1)であって、
    前記第1の入力信号(X)と前記第2の入力信号(X)が少なくとも部分的に相関され、
    前記第1の入力信号(X)及び前記第2の入力信号(X)を受信するとともに、前記第1の入力信号(X)に関しては前記第2の入力信号(X)よりも相関が少ない抽出信号
    Figure 0006275831
    を出力するように構成されている相違点抽出器(2)と、
    前記ダウンミックス信号
    Figure 0006275831
    を得るために、前記第1の入力信号(X)及び前記抽出信号
    Figure 0006275831
    を合成するように構成されているコンバイナ(3)と、を備え、
    前記相違点抽出器(2)は、前記第1の入力信号(X)から前記第2の入力信号(X)内に存在する前記第1の入力信号(X)の信号部分(WX,|WX|)を得るために、フィルタ係数(W,|W|)を提供するように構成されている類似度推定器(9)を備え、
    前記相違点抽出器(2)は、前記フィルタ係数(W,|W|)に基づいて前記第2の入力信号(X)内に存在する前記第1の入力信号の前記得られる信号部分(WX,|WX|)を低減するように構成されている類似度低減器(10)を備え、
    前記類似度低減器(10)は、信号抑制ステージ(10b、10b’)を備え、前記信号抑制ステージ(10b、10b’)は、前記抽出信号
    Figure 0006275831
    を得るために前記第2の入力信号(X)又は前記第2の入力信号(X)から導出される信号(X’)に抑制利得係数(G)を乗算するように構成されている信号抑制デバイス(14)を有し、
    抑制利得係数(G)は、前記抽出信号
    Figure 0006275831
    と、前記第2の入力信号(X)における前記第1の入力信号(X)とは無相関な信号部分(U)と、の間の平均2乗誤差が最小となるように選択される、デバイス。
  2. 前記コンバイナ(3)は、前記ダウンミックス信号
    Figure 0006275831
    のエネルギーと、前記第1の入力信号(X)及び前記第2の入力信号(X)の合計エネルギーとの比が、前記第1の入力信号(X)及び前記第2の入力信号(X)の相関とは無関係になるように構成されているエネルギースケーリングシステム(4、5、6、7)を含む請求項1に記載のデバイス。
  3. 前記エネルギースケーリングシステム(4、5、6、7)は、スケーリング済み入力信号(X1s)を得るために、第1のスケール係数(GEx)に基づいて前記第1の入力信号(X)をスケーリングするように構成されている第1エネルギースケーリングデバイス(4)を備える請求項2のいずれか一項に記載のデバイス。
  4. 前記エネルギースケーリングシステム(4、5、6、7)は、前記第1のスケール係数(GEx)を提供するように構成されている第1のスケール係数プロバイダ(5)を備えている請求項3に記載のデバイス。
  5. 前記第1のスケール係数プロバイダ(5)は、前記第1の入力信号(X)、前記第2の入力信号(X)及び/又は前記抽出信号
    Figure 0006275831
    に応じて前記第1のスケール係数(GEx)を計算するように構成されているプロセッサ(5)として設計される請求項4に記載のデバイス。
  6. 前記エネルギースケーリングシステム(4、5、6、7)は、スケーリング済み入力信号
    Figure 0006275831
    を得るために、第2のスケール係数(GEu)に基づいて前記抽出信号
    Figure 0006275831
    をスケーリングするように構成されている第2のエネルギースケーリングデバイス(6)を備える請求項2から5のいずれか一項に記載のデバイス。
  7. 前記エネルギースケーリングシステム(4、5、6、7)は、前記第2のスケール係数(GEu)を提供するように構成されている第2のスケール係数プロバイダ(7)を備えている請求項6に記載のデバイス。
  8. 前記第2のスケール係数プロバイダ(7)は、前記第2のスケール係数(GEu)を手動で入力するように構成されているマンマシンインターフェースとして設計される請求項7に記載のデバイス。
  9. 前記コンバイナ(3)は、前記第1の入力信号(X)に基づくとともに前記抽出信号
    Figure 0006275831
    に基づいて前記ダウンミックス信号
    Figure 0006275831
    を出力するための合計デバイス(8)を含む請求項1から8のいずれか一項に記載のデバイス。
  10. 前記類似度低減器(10)はキャンセル(cancelation)ステージ(10a、10a’)を備え、
    前記キャンセルステージ(10a、10a’)は、前記第2の入力信号(X)内に存在する前記第1の入力信号(X)の前記得られた信号部分(WX,|WX|)、又は前記得られた信号部分(WX,|WX|)から導出される信号(γWX)を、前記第2の入力信号(X)から、又は前記第2の入力信号(X)から導出される信号(X’)から、減算するように構成されている信号キャンセルデバイス(12)を有する請求項1から9のいずれか一項に記載のデバイス。
  11. 前記キャンセルステージ(10a)は、複素値フィルタ係数Wを使用することによって前記第1の入力信号(X)をフィルタリングするように構成されている複素フィルタデバイス(11)を備える請求項10に記載のデバイス。
  12. 前記キャンセルステージ(10a’)は、前記第2の入力信号(X)の位相を前記第1の入力信号(X)の位相に整列させるように構成されている位相シフトデバイス(13)を備える請求項10又は11に記載のデバイス。
  13. 前記抽出信号
    Figure 0006275831
    を得るために前記キャンセルステージ(10a)の出力信号
    Figure 0006275831
    が前記信号抑制ステージ(10b)の入力に供給されるか、又は
    前記抽出信号
    Figure 0006275831
    を得るために前記信号抑制ステージ(10b)の出力信号が前記キャンセルステージ(10a)の入力に供給される請求項12に記載のデバイス。
  14. 前記キャンセルステージ(10a)は重み付けデバイス(16)を備え、
    前記重み付けデバイス(16)は、重み付け係数(γ)に応じて前記第2の入力信号(X)内に存在する前記第1の入力信号(X)の前記得られた信号部分(WX,|WX|)を重み付けするように構成されている請求項13に記載のデバイス。
  15. 前記信号抑制ステージ(10b’)は、前記第2の入力信号(X)の位相を前記第1の入力信号(X)の位相に整列させるように構成されている位相シフトデバイス(15)を備える請求項1から14のいずれか一項に記載のデバイス。
  16. 前記キャンセルステージ(10a’)は、前記第2の入力信号(X)の位相を前記第1の入力信号(X)の位相に整列させるように構成されている位相シフトデバイス(13)を備え、
    前記キャンセルステージ(10a)は重み付けデバイス(16)を備え、前記重み付けデバイス(16)は、重み付け係数(γ)に応じて前記第2の入力信号(X)内に存在する前記第1の入力信号(X)の前記得られた信号部分(WX,|WX|)を重み付けするように構成されており、
    前記位相シフトデバイス(13)は、前記重み付け係数(γ)に応じて、前記第2の入力信号(X)の位相を前記第1の入力信号(X)の位相に整列させるように構成されている、請求項10に記載のデバイス。
  17. 前記位相シフトデバイス(13)は、前記重み付け係数(γ)が所定の閾値(Γ)以下である場合にのみ、前記第2の入力信号(X)の位相を前記第1の入力信号(X)の位相に整列させるように構成されている請求項16に記載のデバイス。
  18. 少なくとも請求項1から17のいずれか一項に記載の第1のデバイス(1)と、請求項1から17のいずれか一項に記載の第2のデバイス(1’)とを備える、複数の入力信号(X,X,X)をダウンミックスしてダウンミックス信号
    Figure 0006275831
    にするためのオーディオ信号処理システムであって、
    前記第1のデバイスの前記ダウンミックス信号
    Figure 0006275831
    が、第1の入力信号
    Figure 0006275831
    又は第2の入力信号として前記第2のデバイスに供給されるオーディオ信号処理システム。
  19. 第1の入力信号(X)及び第2の入力信号(X)をダウンミックスしてダウンミックス信号
    Figure 0006275831
    にするための方法であって、
    前記第1の入力信号(X)に関して前記第2の入力信号(X)よりも相関が少ない信号
    Figure 0006275831
    を前記第2の入力信号(X)から抽出するステップと、
    前記ダウンミックス信号
    Figure 0006275831
    を得るために前記第1の入力信号(X)と前記抽出信号
    Figure 0006275831
    を合計するステップと、
    前記第1の入力信号(X)から前記第2の入力信号(X)内に存在する前記第1の入力信号(X)の信号部分(WX,|WX|)を得るために、フィルタ係数(W,|W|)を提供するステップと、
    前記フィルタ係数(W,|W|)に基づいて前記第2の入力信号(X)内に存在する前記第1の入力信号の前記得られる信号部分(WX,|WX|)を低減するステップと、
    前記抽出信号
    Figure 0006275831
    を得るために前記第2の入力信号(X)又は前記第2の入力信号(X)から導出される信号(X’)に抑制利得係数(G)を乗算するステップと、を備え、
    抑制利得係数(G)は、前記抽出信号
    Figure 0006275831
    と、前記第2の入力信号(X)における前記第1の入力信号(X)とは無相関な信号部分(U)と、の間の平均2乗誤差が最小となるように選択される方法。
  20. コンピュータ又は信号プロセッサ上で実行されたときに請求項19に記載の方法を実施するコンピュータプログラム。
JP2016517420A 2013-09-27 2014-09-02 ダウンミックス信号を生成するための概念 Active JP6275831B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP13186480.3 2013-09-27
EP13186480 2013-09-27
EP14161059.2 2014-03-21
EP14161059.2A EP2854133A1 (en) 2013-09-27 2014-03-21 Generation of a downmix signal
PCT/EP2014/068611 WO2015043891A1 (en) 2013-09-27 2014-09-02 Concept for generating a downmix signal

Publications (2)

Publication Number Publication Date
JP2016538578A JP2016538578A (ja) 2016-12-08
JP6275831B2 true JP6275831B2 (ja) 2018-02-07

Family

ID=50442340

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016517420A Active JP6275831B2 (ja) 2013-09-27 2014-09-02 ダウンミックス信号を生成するための概念

Country Status (11)

Country Link
US (1) US10021501B2 (ja)
EP (2) EP2854133A1 (ja)
JP (1) JP6275831B2 (ja)
KR (1) KR101833380B1 (ja)
CN (1) CN105765652B (ja)
BR (1) BR112016006323B1 (ja)
CA (1) CA2925230C (ja)
ES (1) ES2649481T3 (ja)
MX (1) MX359381B (ja)
RU (1) RU2661310C2 (ja)
WO (1) WO2015043891A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3045847C (en) * 2016-11-08 2021-06-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Downmixer and method for downmixing at least two channels and multichannel encoder and multichannel decoder
EP3669556B1 (en) 2017-10-16 2022-06-08 Sony Europe B.V. Audio processing
CN110060696B (zh) * 2018-01-19 2021-06-15 腾讯科技(深圳)有限公司 混音方法及装置、终端及可读存储介质
CN110556116B (zh) 2018-05-31 2021-10-22 华为技术有限公司 计算下混信号和残差信号的方法和装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5832840B2 (ja) * 1977-09-10 1983-07-15 日本ビクター株式会社 立体音場拡大装置
US4975954A (en) * 1987-10-15 1990-12-04 Cooper Duane H Head diffraction compensated stereo system with optimal equalization
US4893342A (en) * 1987-10-15 1990-01-09 Cooper Duane H Head diffraction compensated stereo system
US5982903A (en) * 1995-09-26 1999-11-09 Nippon Telegraph And Telephone Corporation Method for construction of transfer function table for virtual sound localization, memory with the transfer function table recorded therein, and acoustic signal editing scheme using the transfer function table
CN1135753C (zh) * 1995-12-15 2004-01-21 皇家菲利浦电子有限公司 自适应噪声抵消装置、减噪系统及收发机
US5715319A (en) * 1996-05-30 1998-02-03 Picturetel Corporation Method and apparatus for steerable and endfire superdirective microphone arrays with reduced analog-to-digital converter and computational requirements
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
JP3526185B2 (ja) * 1997-10-07 2004-05-10 パイオニア株式会社 記録情報再生装置におけるクロストーク除去装置
EP1173925B1 (en) * 1999-04-07 2003-12-03 Dolby Laboratories Licensing Corporation Matrixing for lossless encoding and decoding of multichannels audio signals
US7039204B2 (en) 2002-06-24 2006-05-02 Agere Systems Inc. Equalization for audio mixing
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
CN101197798B (zh) * 2006-12-07 2011-11-02 华为技术有限公司 信号处理系统、芯片、外接卡、滤波、收发装置及方法
GB0704622D0 (en) * 2007-03-09 2007-04-18 Skype Ltd Speech coding system and method
ES2452348T3 (es) * 2007-04-26 2014-04-01 Dolby International Ab Aparato y procedimiento para sintetizar una señal de salida
KR101434200B1 (ko) * 2007-10-01 2014-08-26 삼성전자주식회사 혼합 사운드로부터의 음원 판별 방법 및 장치
MX2010004220A (es) * 2007-10-17 2010-06-11 Fraunhofer Ges Forschung Codificacion de audio usando mezcla descendente.
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
DE102008056704B4 (de) 2008-11-11 2010-11-04 Institut für Rundfunktechnik GmbH Verfahren zum Erzeugen eines abwärtskompatiblen Tonformates
EP2214161A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for upmixing a downmix audio signal
EP2214162A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
ES2452569T3 (es) 2009-04-08 2014-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato, procedimiento y programa de computación para mezclar en forma ascendente una señal de audio con mezcla descendente utilizando una suavización de valor fase
KR101697550B1 (ko) * 2010-09-16 2017-02-02 삼성전자주식회사 멀티채널 오디오 대역폭 확장 장치 및 방법
JP5533502B2 (ja) * 2010-09-28 2014-06-25 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
EP2673778B1 (en) * 2011-02-10 2018-10-10 Dolby Laboratories Licensing Corporation Post-processing including median filtering of noise suppression gains
WO2013120510A1 (en) * 2012-02-14 2013-08-22 Huawei Technologies Co., Ltd. A method and apparatus for performing an adaptive down- and up-mixing of a multi-channel audio signal
JP2013207487A (ja) 2012-03-28 2013-10-07 Nec Corp 携帯端末不正利用防止システム

Also Published As

Publication number Publication date
CN105765652B (zh) 2019-11-19
KR20160067099A (ko) 2016-06-13
MX2016003504A (es) 2016-07-06
EP2854133A1 (en) 2015-04-01
US20160212561A1 (en) 2016-07-21
MX359381B (es) 2018-09-25
BR112016006323A2 (pt) 2017-08-01
CN105765652A (zh) 2016-07-13
CA2925230A1 (en) 2015-04-02
CA2925230C (en) 2018-08-14
EP3050054B1 (en) 2017-10-18
RU2016116285A (ru) 2017-11-01
JP2016538578A (ja) 2016-12-08
EP3050054A1 (en) 2016-08-03
ES2649481T3 (es) 2018-01-12
KR101833380B1 (ko) 2018-02-28
WO2015043891A1 (en) 2015-04-02
US10021501B2 (en) 2018-07-10
RU2661310C2 (ru) 2018-07-13
BR112016006323B1 (pt) 2021-12-14

Similar Documents

Publication Publication Date Title
RU2369917C2 (ru) Способы улучшения характеристик многоканальной реконструкции на основе прогнозирования
JP6279077B2 (ja) 適応位相アライメントを用いたマルチチャネルダウンミックスにおけるコムフィルタアーチファクトの抑制
RU2550525C2 (ru) Аппаратный блок, способ и компьютерная программа для преобразования расширения сжатого аудио сигнала с помощью сглаженного значения фазы
JP5604933B2 (ja) ダウンミクス装置およびダウンミクス方法
JP6732739B2 (ja) オーディオ・エンコーダおよびデコーダ
KR101710544B1 (ko) 스펙트럼 무게 발생기를 사용하는 주파수-영역 처리를 이용하는 스테레오 레코딩 분해를 위한 방법 및 장치
JP6275831B2 (ja) ダウンミックス信号を生成するための概念
JP6817433B2 (ja) 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ
Adami et al. Down-mixing using coherence suppression
US20150348559A1 (en) Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170321

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170516

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180110

R150 Certificate of patent or registration of utility model

Ref document number: 6275831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250