JP2024079802A - 音響エコーキャンセルユニット - Google Patents

音響エコーキャンセルユニット Download PDF

Info

Publication number
JP2024079802A
JP2024079802A JP2024051660A JP2024051660A JP2024079802A JP 2024079802 A JP2024079802 A JP 2024079802A JP 2024051660 A JP2024051660 A JP 2024051660A JP 2024051660 A JP2024051660 A JP 2024051660A JP 2024079802 A JP2024079802 A JP 2024079802A
Authority
JP
Japan
Prior art keywords
echo cancellation
spatial
audio components
reference signal
spatial audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2024051660A
Other languages
English (en)
Inventor
モーリッツ・ヴィルド
Wild Moritz
エマヌエル・ハベッツ
habets Emanuel
エトヴィン・マバンデ
Mabande Edwin
グェンダリーナ・ミラノ
MILANO Guendalina
マリア・ルイス・ヴァレロ
Luis Valero Maria
フィリップ・ゲッツ
Goetz Philipp
アンドレアス・ヴァルター
Walther Andreas
ファビアン・キュッヒ
Kuech Fabian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of JP2024079802A publication Critical patent/JP2024079802A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854—Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17823—Reference signals, e.g. ambient acoustic environment
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03F—AMPLIFIERS
    • H03F3/00—Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements
    • H03F3/181—Low-frequency amplifiers, e.g. audio preamplifiers
    • H03F3/183—Low-frequency amplifiers, e.g. audio preamplifiers with semiconductor devices only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3028—Filtering, e.g. Kalman filters or special analogue or digital filters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/50—Miscellaneous
    • G10K2210/505—Echo cancellation, e.g. multipath-, ghost- or reverberation-cancellation
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03F—AMPLIFIERS
    • H03F2200/00—Indexing scheme relating to amplifiers
    • H03F2200/03—Indexing scheme relating to amplifiers the amplifier being designed for audio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

【課題】本発明の目的は、音響エコーキャンセルユニットを提供することである。【解決手段】マルチチャネルオーディオ信号を受信するように構成され、空間オーディオ成分の第1のセットを取得するためにマルチチャネルオーディオ信号を処理するように構成された第1のステージと、空間オーディオ成分の第2のセットを取得するために空間オーディオ成分の第1のセットを処理するように構成された第2のステージとを備えるオーディオプロセッサと、空間オーディオ成分の第1のセット、または空間オーディオ成分の第1のセットの偏位バージョンを参照信号として使用することによってエコーキャンセルを実行するように構成されたエコーキャンセルプロセッサとを備える音響エコーキャンセルユニット。【選択図】図１ａ

Description

本発明の実施形態は、音響エコーキャンセルユニットと、対応する方法とに関係する。さらなる実施形態は、コンピュータプログラムに関係する。別の実施形態は、音響エコーキャンセルユニットを備えるサウンドバーまたは別の再生デバイスを提供する。本発明の好ましい実施形態は、オーディオ信号を処理する分野、より具体的には、マルチチャネルオーディオ再生のための音響エコーキャンセル(AEC)のための手法に関する。
音響エコーキャンセルは、幅広い用途にとって望ましい。たとえば、遠方界サウンドキャプチャおよびバージイン機能により人間マシン対話を容易にし、全二重音声通信を可能にする。AECを実行するために、典型的には、マイクロフォン信号または複数のマイクロフォン信号と、AEC参照信号、または1つ、2つ、もしくは3つ以上のチャネルを含むAEC参照信号とが使用される。一般に、文献におけるすべての方法は、図3によって示されているように、スピーカ駆動信号を参照信号として使用する。
図3は、オーディオ処理経路10と音響エコーキャンセル経路20とを示す。
オーディオ処理経路10は、オーディオプロセッサ12と、1つまたは複数のスピーカ14とを備える。スピーカ14は、従来のマルチスピーカ設定(5.1または7.2など)によって、または少なくとも1つ、好ましくは2つもしくは3つ以上のトランスデューサを有するサウンドバーによって形成され得る。
オーディオプロセッサ12は、マルチチャネルオーディオ(たとえば、5.2または7.2信号)を受信し、スピーカ14の使用によってサラウンドサウンドが再生され得るように、このマルチチャネルオーディオを処理する。たとえば、オーディオプロセッサ12は、サウンドバー14が制御される空間成分SCを取得するために、マルチチャネルオーディオ信号MSを処理するように構成される。
エコーキャンセル経路20は、入力信号ISと参照信号RSとに基づいてエコーキャンセル成分を計算するように構成された音響エコーキャンセルユニット22を備える。入力信号ISとして、1つまたは複数のマイクロフォン(参照番号24を参照)からのマイクロフォン信号が使用される。典型的には、空間成分SCは、参照信号RSとして使用される。したがって、エコーキャンセルユニット22は、オーディオプロセッサ12に接続された参照信号RSのため、および1つまたは複数のマイクロフォン24のための入力を備える。エコーキャンセルパラメータは、バックエンド26に出力される。
多数のスピーカ14が使用される場合、および/またはサウンドバーによるマルチチャネルオーディオの再生の通常の場合のようにスピーカ駆動信号間に高い相関が存在する場合、重大なAEC性能の低下が予想され得る。スピーカ駆動信号間の相関は、非相関方法を適用することによって低減され得るが、これは、再生忠実度の犠牲となり、したがって、いくつかの用途には望ましくない。したがって、改善された手法に対するニーズが存在する。
本発明の目的は、エコーキャンセル品質および用途の分野について改善されたトレードオフを有するエコーキャンセルのための概念を提供することである。特に、サウンドバーに適用可能なエコーキャンセル概念を提供することが目的である。
この目的は、独立請求項の主題によって解決される。
本発明の実施形態は、マルチチャネルオーディオ信号を受信するように構成され、空間オーディオ成分の第1のセットを取得するためにマルチチャネルオーディオ信号を処理するように構成された第1のステージと、空間オーディオ成分の第2のセットを取得するために空間オーディオ成分の第1のセットを処理するように構成された第2のステージとを備えるオーディオプロセッサと、空間オーディオ成分の第1のセット、または空間オーディオ成分の第1のセットの偏位バージョンを参照信号として使用することによってエコーキャンセルを実行するように構成されたエコーキャンセルプロセッサとを備える音響エコーキャンセルユニットを提供する。
さらなる実施形態によれば、エコーキャンセルプロセッサは、参照信号として使用されるべき空間成分の第1のセットの偏位バージョンを取得するために、空間オーディオ成分の第1のセットを処理するように構成された空間成分コンバイナを備える。
本発明の実施形態は、音声処理のために2ステージのプロセスを適用することが有益であり、第1のステージの出力信号/空間成分信号が(第2のステージと比較した場合)音響エコーキャンセルのための参照信号として使用されることが好ましいという知見に基づく。ここで、第1の空間成分信号は、最終的な空間成分を取得するためにさらに処理され得、最終的な空間成分よりも音響エコーキャンセルに適している。たとえば、中間信号は、サウンドバーによって3Dサウンドシーンとしてレンダリングされるべき部屋の方向に関連する成分信号を含むことができる。好ましい実施形態によれば、第1の空間成分は、参照信号として使用される前にさらに処理される。したがって、空間成分の第1のセットの偏位バージョンも使用され得る。この偏位バージョンは、空間成分コンバイナの使用によって、たとえば、線形処理または別の処理を実行することによって取得される。
言い換えれば、これは、参照信号を取得するために、第1の空間成分が空間成分コンバイナによってアクセスおよび処理されることを意味する。結果として生じる参照信号は、AECのために使用される。中間信号、すなわち、空間成分コンバイナと組み合わせた第1の空間成分の使用は、適切なAEC参照信号、またはAECを実際に適用可能にする適切なAEC参照信号を取得することを可能にする。
さらなる実施形態によれば、空間成分コンバイナが、少なくとも1つの参照信号、または1つもしくは2つ以上のチャネルを含む参照信号を出力するように構成された音響エコーキャンセルユニットが提供される。一実施形態によれば、空間成分コンバイナは、参照信号を取得するために空間成分の第1のセットの線形結合を実行するように、および/または参照信号を取得するために時不変ダウンミックス行列を空間成分の第1のセットに適用するように構成される。たとえば、空間成分コンバイナは、以下の式に基づいてその処理を実行するように構成され得、
ここで、Riは、i番目の参照信号であり、βkiは、重みであり、Ckは、k番目の空間成分信号である。ここで、各参照信号は、空間成分の第1のセットのサブセットから取得される。それに加えて、各空間成分チャネルは、最大1つの参照信号チャネルにおいてのみ使用され得る。
実施形態によれば、空間成分コンバイナは、少なくとも1つの参照信号を取得するために空間成分の数を減らすように構成される。
エコーキャンセルプロセッサに関して、典型的には、エコーキャンセルは、マイクロフォン入力を介して受信されたマイクロフォン信号に基づくことが留意されるべきである。さらなる実施形態によれば、エコーキャンセルプロセッサが、シングルもしくはマルチチャネル適応フィルタ、または参照信号とマイクロフォン信号との間の比較に基づいて構成可能なシングルもしくはマルチチャネル適応フィルタを使用してエコーキャンセルを実行するように構成された、音響エコーキャンセルユニットが提供される。
別の実施形態によれば、第1のステージが、空間オーディオ成分の第1のセットを取得するために、非線形処理、または時変処理、または高度に時変の処理を実行するように構成された、音響エコーキャンセルユニットが提供される。別の実施形態によれば、第2のステージは、空間オーディオ成分の第2のセットを再生デバイスまたはサウンドバーに出力するように構成される。さらなる実施形態によれば、空間オーディオ成分のセットが、再生デバイスの1つもしくは複数のトランスデューサを直接制御すること、または1つまたは複数の増幅器の使用によって再生デバイスもしくはサウンドバーの1つもしくは複数のトランスデューサを制御することを可能にする、音響エコーキャンセルが提供されることに留意されたい。たとえば、第2のステージが線形処理を実行するように構成された、音響エコーキャンセルユニットが提供される。
別の実施形態は、音響エコーキャンセルユニットを備える再生デバイスまたはサウンドバーを提供する。
さらなる実施形態によれば、
マルチチャネルオーディオ信号を受信するステップと、
空間オーディオ成分の第1のセットを取得するためにマルチチャネルオーディオ信号を処理するステップと、
空間オーディオ成分の第2のセットを取得するために空間オーディオ成分の第1のセットを処理するステップと、
空間オーディオ成分の第1のセットまたは空間オーディオ成分の第1のセットの偏位バージョンを参照信号として使用することによって、エコーキャンセルを実行するステップと
を行う、音響エコーキャンセルのための方法が提供される。
さらなる実施形態によれば、この方法は、コンピュータの使用によって実行され得る。
続いて、本発明の実施形態について、同封の図を参照して説明する。
基本的な実施形態によるエコーキャンセルユニットを示す概略ブロック図である。 基本的な実施形態によるエコーキャンセルの改善された概念を示す概略フローチャートである。 強化された手法によるサウンドキャンセル手法の概略ブロック図である。 従来技術によるサウンドキャンセル手法の概略ブロック図である。
以下、本発明の実施形態について、その説明が交換可能であり相互に適用可能であるように、同一のまたは同様の機能を有する物体に同一の参照番号が与えられた同封の図を参照して説明する。
図1aは、2つの経路31および41を備えるサウンドキャンセルユニット30を示す。経路31内で、サウンド再生デバイス14、たとえば、サウンドバーの使用によって、マルチチャネルオーディオ信号MSの再生を可能にするように、マルチチャネルオーディオ信号MSが処理される。ここで、従来技術の文脈において説明されているような処理は、2つのステージ32および34に細分される。第1のステージ32は、参照番号SC_1によってマークされている中間信号を取得するために、マルチチャネルオーディオ信号MSを処理する。この中間信号SC_1は、空間成分信号の第1のセットを表す。次いで、この中間信号SC_1は、スピーカ14を直接駆動することを可能にする空間成分信号SC_2の第2のセットを取得するために、第2のステージ34の使用によってさらに処理される。直接駆動することは、さらなる空間処理が使用されないことを意味し、すなわち、サウンドバー14のトランスデューサは、(たとえば、空間成分を増幅した後に)空間成分の第2のセットによって駆動され得る。
たとえば、第1のステージ32は、非線形信号処理および/または(高度に)時変処理を実行する。第2の処理ステージ34は、主に線形時不変処理ステップを実行し得る。2つのステージに細分する背景は、第2のステージ34によって実行される処理ステップ、たとえば、線形時不変処理ステップが、エコーキャンセルに対する適合性に負の影響を有する可能性があることである。
エコーキャンセル経路41は、空間成分の第1のセットSC_1に基づいてエコーキャンセルを実行する。このため、エコーキャンセルユニット40は、オーディオ処理の第1のステージ32から信号SC_1を受信する。エコーキャンセルユニット40は、参照信号RSに基づいてエコーキャンセルを実行するエコーキャンセルプロセッサ42を少なくとも備える。実施形態によれば、空間成分の第1のセットSC_1は、参照信号RSとして使用され得る。さらなる(好ましい)実施形態によれば、空間成分の第1のセットSC_1の偏位バージョンが、参照信号RSとして使用され得る。したがって、エコーキャンセルユニット40は、プロセッサ44(たとえば、いわゆるコンバイナ)をオプションで備え得る。このコンバイナ44は、処理、たとえば、空間成分の第1のセットSC_1に基づいて参照信号RSを取得するための線形処理を実行する。
ただ、完全を期すために、典型的には、エンティティ42によって実行されるエコーキャンセルは、参照信号RSの他に、たとえば、以下で説明するように1つまたは複数のマイクロフォン(図示せず)から受信される別の入力信号を使用することが留意されるべきである。
強化された実施形態を説明する前に、エコーキャンセルの改善された概念について、その方法ステップに関して説明する。
図1bは、エコーキャンセル方法100の方法ステップを示す。基本的な実装形態の範囲内で、音響エコーキャンセル100は、3つの基本的なステップ132、142、および134を含む。
ステップ132および134は、第1のステージ内で実行されるオーディオ処理を表す。第1のステージ132内で、空間成分の第1のセットSC_1を取得するためのマルチチャネルオーディオ信号(図1a内の参照番号MSを参照)は、次いで、空間成分の第2のセットSC_2を取得するために、第2のステージ134によってさらに処理される。この第2のステージの処理132および134と並行して、エコーキャンセル処理が実行される。このエコーキャンセル処理は、エコーキャンセルの第1のステップがステップ132に続いて実行されるように、信号SC_1を入力として使用する。ここで、エコーキャンセルの基本ステップは、参照信号として使用される信号SC_1に基づいてエコーキャンセルを実行する参照番号142によってマークされる。上記で説明したように、このプロセスステップ142は、追加の信号、たとえば、マイクロフォン信号を入力信号として使用し得る。オプションで、別の処理ステップ144が、ステップ142の前に配置され得る。このステップ144は、成分信号の第1のセットSC_1の処理が参照信号RSを取得することを可能にする。
以下、図2に関して、エコーキャンセル処理のオプションの要素について説明する。
図2は、2つのステージ32および34を有するオーディオプロセッサ31を備えるエコーキャンセルユニット30'と、2つの主要なステージ42および44(図1aを参照)を備えるエコーキャンセルユニット40'と、1つまたは複数のマイクロフォン24およびバックエンド処理26とを示す。
マイクロフォン24およびスピーカ14に関して、これらは、1つの共通のハウジングまたは複数の共通のハウジング内に組み合わされ得ることが留意されるべきである。
バックエンド処理26に関して、バックエンド処理26は、たとえば、音声認識/遠方界サウンドキャプチャの使用によって、または全二重通信のような用途のために、人間マシンインターフェイスとして使用され得ることが留意されるべきである。
その前に、システム30'全体の機能について説明する。
最先端の方法によって発生する問題のために、本発明者らは、AEC参照信号として、スピーカを駆動する信号の代わりにサウンドバー処理の中間信号を使用することを提案する。一般的な手法が図2に示されている。オーディオプロセッサ31は、たとえば、5.1サラウンドフォーマットまたは7.1+4H没入型フォーマットにおけるマルチチャネルオーディオ信号115を受信する。オーディオ入力信号115は、第1の空間成分信号のセットSC_1を生成するために、第1の処理ブロック32によって処理される。結果として生じる空間成分信号のセットSC_1は、サウンドバー(または任意の他のマルチスピーカ再生システム)のスピーカ14を介する直接再生には適さないが、オーディオ処理ステージ39によるさらなる処理の基礎となる。第1の空間成分信号SC_1は、空間成分SC_2信号の第2のセットが生成される第2のオーディオ処理ブロック34に入力される。典型的には、これらの成分信号SC_2は、次いで、サウンドバーのスピーカ14によって再生され、すなわち、それらは、スピーカ再生信号を表す。
MC-AEC 42のための適切な参照信号RSを生成するために、空間成分信号の第1のセットSC_1は、空間成分コンバイナ44によってさらに処理される。典型的には、空間成分コンバイナ44は、空間成分信号の第1のセットの線形結合によってAEC参照信号RSを決定する。いくつかの実施形態において、特定のAEC参照信号RSはまた、いかなるさらなる修正もなしに空間成分信号SC_1のうちの1つに対応し得る。典型的な実施形態において、AEC参照信号RSの数は、空間成分信号SC_1の数よりも少なく、すなわち、空間成分コンバイナ44は、信号の数を減らす。1つの利点は、MC-AEC 42の構成および計算の複雑さがスピーカ14の数に直接依存しないことである。サウンドバー内に含まれるスピーカ14の数がAEC参照信号RSの数とくらべて著しく多い場合、計算の複雑さの低減は、特に関係する。別の利点は、スピーカ駆動信号の統計的特性は、しばしば、異なるスピーカチャネル間の高い相関により、AEC参照信号RSとして直接使用するには適していないが、空間成分信号の第1のセットから導出されたAEC参照信号RSは、通常、MC-AEC 42による適応フィルタリングにより適した特性を有することである。
実施形態によれば、AEC参照信号RSに基づいてMC-AEC 42によってモデル化されるべきエコー経路は、好ましくは(のみ)ゆっくりと時間変化し、線形である。したがって、オーディオプロセッサ31の/サウンドバー処理チェーン31の第1の処理ブロック32と第2の処理ブロック34との間で異なる処理ステップを適切に分散させることが重要である。たとえば、任意の非線形または高度に時変の処理ステップが第1のプロセッサ32において適用されるべきであり、第2の処理ブロックは、主に線形時不変処理ステップ34を含むべきである。
いくつかの実施形態において、第1のプロセッサは、サウンドバー14でレンダリングされるように、3Dサウンドシーンの左、右、中央、低周波数、上部、および後部の部分に関連する空間成分信号SC_1を生成する。空間成分コンバイナ44の適切な実装形態は、たとえば、式1に示されているように、時不変ダウンミックス行列を空間成分SC_1に適用することによって、空間成分の第1のセットの線形結合としてAEC参照信号25を生成する。
ここで、Riは、i番目のAEC参照信号であり、βkiは、重みであり、Ckは、k番目の空間成分信号である。たとえば、左、右、中央、低周波数、上部、および後部の部分を、それぞれ、C1、C2、C3、C4、C5、およびC6によって表すとする。2チャネルAEC参照信号が望まれる場合、空間成分コンバイナは、以下の重みを適用することによって成分を結合することができる。
この場合、2チャネルAEC参照信号は、以下のように取得され得る。
R1=C1+C2+C4
R2=C3+Cs+C6
エコーキャンセルユニット30'によって実行される処理は、以下のように説明され得る。
1)マルチチャネルオーディオ信号115(少なくとも2チャネル)と少なくとも1つのマイクロフォン信号とを受信する。
2)空間成分信号の第1のセットSC_1を取得するために、第1のオーディオプロセッサ32によって、受信されたマルチチャネルオーディオ信号115を処理する。処理は、時変および/または非線形処理ステップを含み得る。
3)空間成分信号の第2のセットSC_2を取得するために、第2のオーディオプロセッサ34によって、第1の空間成分信号のセットSC_1を処理する。
4)複数のスピーカを有する再生デバイス14(たとえば、サウンドバー)において空間成分信号の第2のセットSC_2を出力する。
5)AEC参照信号RSのセットを取得するために、空間成分信号の第1のセットSC_1を結合する。
このステップは、プロセッサ44の使用によって処理され得る。
6)AEC参照信号RSと受信したマイクロフォン信号とに基づいて、たとえば、マルチチャネル適応フィルタを使用して、エコーキャンセルを実行する。
図示のように、このステップは、エンティティ42によって実行される。
さらなる実施形態によれば、追加のステップ5a(ステップ5の後でステップ6の前)が実行され得、空間成分コンバイナ44を用いて空間成分の第1のセットSC_1を処理し、空間成分SC_1の数よりも少ないAEC参照信号RSの数を結果として生じる。
いくつかの態様について装置の文脈において説明してきたが、これらの態様は、対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈において説明されている態様は、対応するブロックもしくはアイテム、または対応する装置の特徴の説明も表す。方法ステップのうちのいくつかまたはすべては、たとえば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって(または使用して)実行され得る。いくつかの実施形態において、最も重要な方法ステップのうちのいずれか1つまたは複数は、そのような装置によって実行され得る。
本発明の符号化されたオーディオ信号は、デジタル記憶媒体上に記憶され得、またはワイヤレス伝送媒体などの伝送媒体もしくはインターネットなどの有線伝送媒体上で伝送され得る。
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアにおいて実装され得る。実装は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する(または協働することができる)電子的に読み取り可能な制御信号が記憶されているデジタル記憶媒体、たとえば、フロッピーディスク、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリを使用して実行され得る。したがって、デジタル記憶媒体は、コンピュータ可読であり得る。
本発明によるいくつかの実施形態は、本明細書で説明されている方法のうちの1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを備える。
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装され得、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、方法のうちの1つを実行するために動作可能である。プログラムコードは、たとえば、機械可読キャリア上に記憶され得る。
他の実施形態は、機械可読キャリア上に記憶された、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムを含む。
言い換えれば、本発明の方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書で説明されている方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
本発明の方法のさらなる実施形態は、したがって、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムが記憶されたデータキャリア(または、デジタル記憶媒体、またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、または記録された媒体は、典型的には、有形および/または非過渡的である。
本発明の方法のさらなる実施形態は、したがって、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、データ通信接続を介して、たとえば、インターネットを介して転送されるように構成され得る。
さらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するように構成または適合された処理手段、たとえば、コンピュータまたはプログラム可能な論理デバイスを含む。
さらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムをインストールされたコンピュータを含む。
本発明によるさらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムを受信機に(たとえば、電子的または光学的に)転送するように構成された装置またはシステムを含む。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを備え得る。
いくつかの実施形態において、本明細書で説明されている方法の機能のうちのいくつかまたはすべてを実行するために、プログラム可能な論理デバイス(たとえば、フィールドプログラマブルゲートアレイ)が使用され得る。いくつかの実施形態において、本明細書で説明されている方法のうちの1つを実行するために、フィールドプログラマブルゲートアレイがマイクロプロセッサと協働し得る。一般に、方法は、好ましくは任意のハードウェア装置によって実行される。
上記の実施形態において、オーディオプロセッサ31は、第1のステージ32と第2のステージ34のみを有するように説明されてきたが、オーディオプロセッサ31は、追加のステージ、たとえば、34の出力における増幅ステージ、32の入力における入力ステージ、および/または32と34の間のステージを有し得ることが留意されるべきである。
上記で説明されている実施形態は、本発明の原理の単に実例となるものである。本明細書で説明されている配置および詳細の修正および変形は、当業者には明らかであることが理解される。したがって、本明細書の実施形態の説明および解説によって提示される特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ制限されることが意図される。
14 サウンド再生デバイス、サウンドバー、スピーカ、再生デバイス
24 マイクロフォン
25 AEC参照信号
26 バックエンド処理
30 サウンドキャンセルユニット
30' エコーキャンセルユニット、システム
31 経路、オーディオプロセッサ、サウンドバー処理チェーン
32 ステージ、第1のステージ、第1の処理ブロック、第1のプロセッサ、第1のオーディオプロセッサ
34 ステージ、第2の処理ステージ、第2のオーディオ処理ブロック、線形時不変処理ステップ、第2のオーディオプロセッサ
39 オーディオ処理ステージ
40 エコーキャンセルユニット
41 経路、エコーキャンセル経路
42 エコーキャンセルプロセッサ、エンティティ、ステージ、MC-AEC
44 プロセッサ、ステージ、空間成分コンバイナ
115 マルチチャネルオーディオ信号、オーディオ入力信号

Claims (17)

  1. マルチチャネルオーディオ信号(MS)を受信するように構成され、
    空間オーディオ成分の第1のセット(SC_1)を取得するために前記マルチチャネルオーディオ信号(MS)を処理するように構成された第1のステージ(32)と、
    空間オーディオ成分の第2のセット(SC_2)を取得するために前記空間オーディオ成分の第1のセット(SC_1)を処理するように構成された第2のステージ(34)と
    を備えるオーディオプロセッサ(31)と、
    前記空間オーディオ成分の第1のセット(SC_1)、または前記空間オーディオ成分の第1のセット(SC_1)の偏位バージョンを参照信号(RS)として使用することによってエコーキャンセルを実行するように構成されたエコーキャンセルプロセッサ(42)と
    を備える音響エコーキャンセルユニット。
  2. 前記エコーキャンセルプロセッサ(42)が、参照信号(RS)として使用されるべき前記空間オーディオ成分の第1のセット(SC_1)の前記偏位バージョンを取得するために、前記空間オーディオ成分の第1のセット(SC_1)を処理するように構成された空間成分コンバイナ(44)を備える、請求項1に記載の音響エコーキャンセルユニット(30、30')。
  3. 前記空間成分コンバイナ(44)が、1つの参照信号もしくは複数の参照信号(RS)、または1つ、2つ、もしくは3つ以上のチャネルを含む参照信号(RS)を出力するように構成された、請求項2に記載の音響エコーキャンセルユニット(30、30')。
  4. 前記空間成分コンバイナ(44)が、前記参照信号(RS)として空間成分の前記第1のセット(SC_1)の1つまたは複数の線形結合を出力するために処理を実行するように、および/または前記参照信号(RS)を取得するために空間成分の前記第1のセット(SC_1)に時不変ダウンミックス行列を適用するように構成された、請求項2または3に記載の音響エコーキャンセルユニット(30、30')。
  5. 前記空間成分コンバイナ(44)が、以下の式、
    に基づいてその処理を実行するように構成され、Riが、i番目の参照信号(RS)であり、βkiが、重みであり、Ckが、k番目の空間成分信号である、請求項2から4のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
  6. 前記参照信号(RS)が、前記空間オーディオ成分の第1のセット(SC_1)のサブセットである、請求項1から5のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
  7. 前記空間オーディオ成分の第1のセット(SC_1)の各空間成分が、前記参照信号(RS)の最大1つの信号内に含まれる、請求項1から6のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
  8. 前記空間成分コンバイナ(44)が、前記空間オーディオ成分の第1のセット(SC_1)の空間オーディオ成分の数と比較したときに減少した数を有する前記参照信号(RS)の1つまたは複数の信号を出力するように構成された、請求項2から7のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
  9. 前記エコーキャンセルプロセッサ(42)が、マイクロフォン(24)入力を介して受信された少なくとも1つのマイクロフォン信号に基づいて前記エコーキャンセルを実行する、請求項1から8のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
  10. 前記エコーキャンセルプロセッサ(42)が、シングルもしくはマルチチャネル適応フィルタ、または前記参照信号(RS)とマイクロフォン信号との間の比較に基づいて構成可能なシングルもしくはマルチチャネル適応フィルタを使用して前記エコーキャンセルを実行するように構成された、請求項1から9のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
  11. 前記第1のステージ(32)が、前記空間オーディオ成分の第1のセット(SC_1)を取得するために、非線形処理、または時変処理、または高度に時変の処理を実行するように構成された、請求項1から10のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
  12. 前記第2のステージ(34)が、前記空間オーディオ成分の第2のセット(SC_2)を再生デバイス(14)またはサウンドバーに出力するように構成された、請求項1から11のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
  13. 前記空間オーディオ成分のセットが、再生デバイス(14)の1つもしくは複数のトランスデューサを直接制御すること、または1つもしくは複数の増幅器の使用によって再生デバイス(14)もしくはサウンドバーの1つもしくは複数のトランスデューサを制御することを可能にする、請求項12に記載の音響エコーキャンセルユニット(30、30')。
  14. 前記第2のステージ(34)が線形処理を実行するように構成された、請求項1から13のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
  15. 請求項1から14のいずれか一項に記載の音響エコーキャンセルユニット(30、30')を備える再生デバイス(14)またはサウンドバー。
  16. 音響エコーキャンセルのための方法であって、前記方法が、以下のステップ、
    マルチチャネルオーディオ信号(MS)を受信するステップと、
    空間オーディオ成分の第1のセット(SC_1)を取得するために前記マルチチャネルオーディオ信号(MS)を処理するステップ(132)と、
    空間オーディオ成分の第2のセット(SC_2)を取得するために前記空間オーディオ成分の第1のセット(SC_1)を処理するステップ(134)と、
    前記空間オーディオ成分の第1のセット(SC_1)または前記空間オーディオ成分の第1のセット(SC_1)の偏位バージョンを参照信号(RS)として使用することによって、エコーキャンセルを実行するステップ(142)と
    を含む、方法。
  17. コンピュータ上で実行されるときに、請求項16に記載の方法を実行するためのコンピュータプログラム。
JP2024051660A 2019-07-23 2024-03-27 音響エコーキャンセルユニット Withdrawn JP2024079802A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP19187880.0A EP3771226A1 (en) 2019-07-23 2019-07-23 Acoustic echo cancellation unit
EP19187880.0 2019-07-23
PCT/EP2020/070671 WO2021013885A1 (en) 2019-07-23 2020-07-22 Acoustic echo cancellation unit
JP2022504254A JP7536078B2 (ja) 2019-07-23 2020-07-22 音響エコーキャンセルユニット

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022504254A Division JP7536078B2 (ja) 2019-07-23 2020-07-22 音響エコーキャンセルユニット

Publications (1)

Publication Number Publication Date
JP2024079802A true JP2024079802A (ja) 2024-06-11

Family

ID=67438573

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022504254A Active JP7536078B2 (ja) 2019-07-23 2020-07-22 音響エコーキャンセルユニット
JP2024051660A Withdrawn JP2024079802A (ja) 2019-07-23 2024-03-27 音響エコーキャンセルユニット

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022504254A Active JP7536078B2 (ja) 2019-07-23 2020-07-22 音響エコーキャンセルユニット

Country Status (9)

Country Link
US (1) US20220148559A1 (ja)
EP (2) EP3771226A1 (ja)
JP (2) JP7536078B2 (ja)
KR (1) KR102709196B1 (ja)
CN (1) CN114270432A (ja)
BR (1) BR112022001132A2 (ja)
CA (1) CA3149099A1 (ja)
MX (1) MX2022000844A (ja)
WO (1) WO2021013885A1 (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1848243B1 (en) 2006-04-18 2009-02-18 Harman/Becker Automotive Systems GmbH Multi-channel echo compensation system and method
US8396206B2 (en) 2007-02-15 2013-03-12 Infineon Technologies Ag Multi-channel communication device and methods for reducing echoes by inserting a training sequence under a spectral mask
JP5384721B2 (ja) * 2009-04-15 2014-01-08 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 音響エコー抑制ユニットと会議開催フロントエンド
US20150249884A1 (en) * 2012-10-15 2015-09-03 Google Inc. Post-processed reference path for acoustic echo cancellation
EP3393140A1 (en) * 2017-04-20 2018-10-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for multichannel interference cancellation
US10013995B1 (en) * 2017-05-10 2018-07-03 Cirrus Logic, Inc. Combined reference signal for acoustic echo cancellation
US10229698B1 (en) * 2017-06-21 2019-03-12 Amazon Technologies, Inc. Playback reference signal-assisted multi-microphone interference canceler
US10667071B2 (en) * 2018-05-31 2020-05-26 Harman International Industries, Incorporated Low complexity multi-channel smart loudspeaker with voice control
US11417351B2 (en) * 2018-06-26 2022-08-16 Google Llc Multi-channel echo cancellation with scenario memory

Also Published As

Publication number Publication date
US20220148559A1 (en) 2022-05-12
WO2021013885A1 (en) 2021-01-28
EP4005245A1 (en) 2022-06-01
EP3771226A1 (en) 2021-01-27
BR112022001132A2 (pt) 2022-03-15
CN114270432A (zh) 2022-04-01
JP2022542074A (ja) 2022-09-29
KR102709196B1 (ko) 2024-09-25
KR20220037481A (ko) 2022-03-24
JP7536078B2 (ja) 2024-08-19
MX2022000844A (es) 2022-03-25
CA3149099A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
US10063984B2 (en) Method for creating a virtual acoustic stereo system with an undistorted acoustic center
EP3061268B1 (en) Method and mobile device for processing an audio signal
AU2013380608B2 (en) Apparatus and method for multichannel direct-ambient decomposition for audio signal processing
JP6620235B2 (ja) サウンドステージ拡張のための機器及び方法
CN110024419B (zh) 增益相位均衡(gpeq)滤波器和调谐方法
US20210306786A1 (en) Sound reproduction/simulation system and method for simulating a sound reproduction
US20200037057A1 (en) Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices
JP2020508590A (ja) マルチチャネル・オーディオ信号をダウンミックスするための装置及び方法
KR20200018717A (ko) 부대역 공간 오디오 향상
US10390137B2 (en) Dominant frequency processing of audio signals
EP3599775B1 (en) Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices
JP7536078B2 (ja) 音響エコーキャンセルユニット
RU2801125C1 (ru) Блок подавления акустического эха
US11284213B2 (en) Multi-channel crosstalk processing
US20200304908A1 (en) Processing audio signals
KR20120133995A (ko) 오디오 신호 처리 방법, 그에 따른 오디오 장치, 및 그에 따른 전자기기
WO2024012805A1 (en) Transporting audio signals inside spatial audio signal
JP2020039168A (ja) サウンドステージ拡張のための機器及び方法
CN105991102A (zh) 具有语音增强功能的媒体播放装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240328

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20241017