JP5508550B2 - 拡張ダウンミックス信号を発生するための装置、拡張ダウンミックス信号を発生するための方法及びコンピュータプログラム - Google Patents

拡張ダウンミックス信号を発生するための装置、拡張ダウンミックス信号を発生するための方法及びコンピュータプログラム Download PDF

Info

Publication number
JP5508550B2
JP5508550B2 JP2012554287A JP2012554287A JP5508550B2 JP 5508550 B2 JP5508550 B2 JP 5508550B2 JP 2012554287 A JP2012554287 A JP 2012554287A JP 2012554287 A JP2012554287 A JP 2012554287A JP 5508550 B2 JP5508550 B2 JP 5508550B2
Authority
JP
Japan
Prior art keywords
channel
signal
extended
microphone signal
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012554287A
Other languages
English (en)
Other versions
JP2013520691A (ja
Inventor
ファビアン・クーチ
ユエルゲン・ヘレ
クリストフ・ファレル
クリストフェ・トウルネリ
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2013520691A publication Critical patent/JP2013520691A/ja
Application granted granted Critical
Publication of JP5508550B2 publication Critical patent/JP5508550B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation

Description

本発明による実施形態は、拡張ダウンミックス信号を発生するための装置、拡張ダウンミックス信号を発生するための方法及び拡張ダウンミックス信号を発生するためのコンピュータプログラムに関する。
本発明による一実施形態は、空間オーディオマイクロホンのための拡張ダウンミックス計算に関する。
サラウンドサウンドを小型マイクロホン構造で録音することは、現在も難題である。最も広く知られているこのような構造の１つは、サウンドフィールドマイクロホン及び対応するサラウンドデコーダ（例えば、非特許文献３参照）である。これは、ほぼ同時に発生するその４つのマイクロホンカプセル信号を濾波し、かつ結合してサラウンドサウンド出力チャネルを生成する。単一チャネルの高い信号忠実度は維持されるものの、この手法の弱点は、一次マイクロホン方向性応答の指向性が限定されていることに関連してチャネル分離が限定的なことにある。
あるいは、観察される音場のパラメトリックな表現を基礎とする技術を適用することができる。非特許文献２には、従来的な同時発生ステレオマイクロホンペアを用いてサラウンドサウンドを録音することが提案されていて、これらの指向性マイクロホン信号からの音の空間キューパラメータ直接音対拡散音比及び到来方向を如何に推定するか、及びサラウンドサウンドを発生するために、この情報を如何に適用して空間オーディオのコーディング合成を駆動するかが示されている。非特許文献２では、ＭＰＥＧサラウンド（ＭＰＳ）コーディングスキーム（例えば、非特許文献６参照）において用いられる特有の空間パラメータを直に計算するために、音のパラメトリックな情報、すなわち到来方向（ＤＯＡ）、及び音場の拡散音比（ＤＳＲ）が如何に使用され得るか、についても論じられている。
ＭＰＥＧサラウンドは、マルチチャネルオーディオ信号のパラメトリック表現であり、高品質空間オーディオコーディングへの効率的なアプローチを表す。ＭＰＳは、知覚的観点から、マルチチャネルオーディオ信号は異なるスピーカチャネルに対して著しい冗長性を含む、という事実を活用する。ＭＰＳエンコーダは、入力として複数のスピーカ信号を取り込むが、この場合、スピーカの対応する空間的構造は事前に知られていなければならない。これらの入力信号に基づいて、ＭＰＳエンコーダは、２チャネル間のチャネルレベル差（ＣＬＤ）及び２チャネル間のチャネル間相関（ＩＣＣ）等の周波数サブバンドにおける空間パラメータを計算する。次に、これらの空間パラメータから実際のＭＰＳサイド情報が導出される。さらに、エンコーダはダウンミックス信号を計算する。そのダウンミックス信号は１つ又は複数のオーディオチャネルより成る可能性がある
ステレオマイクロホンの入力信号は、空間キューパラメータの推定によく適することが分かっている。しかしながら、未処理のステレオマイクロホン入力信号は、対応するＭＰＥＧサラウンドのダウンミックス信号としてそのまま用いることに一般的にはさほど適さないことも分かっている。多くの事例において、左右チャネル間のクロストークが高すぎて、結果的に、ＭＰＥＧサラウンドの復号信号のチャネル分離が不良になることが分かっている。
この状況に鑑みて、拡張ダウンミックス信号によりＭＰＥＧサラウンドの復号後に十分に優れた空間オーディオ品質及び局在化特性がもたらされるように、マルチチャネルマイクロホン信号を基礎とする拡張ダウンミックス信号を発生するための概念が必要とされている。
[1] ISO/IEC 23003-1:2007.Information technology - MPEG Audio technologies - Part 1: MPEG Surround.International Standards Organization, Geneva, Switzerland, 2007.
[2] C.Faller.Microphone front-ends for spatial audio coders.In 125th AES Convention, Paper 7508, San Francisco, Oct.2008.
[3] M.A.Gerzon.Periphony: Width-Height Sound Reproduction.J.Aud.Eng.Soc.,21(1):2-10, 1973
[4] D.Griesinger.Stereo and surround panning in practice.In Preprint 112th Conv.Aud.Eng.Soc., May 2002.
[5] S.Haykin.Adaptive Filter Theory (third edition).Prentice Hall, 1996.
[6] J.Herre, K.Kjoerling, J.Breebaart, C.Faller, S.Disch, H.Purnhagen, J.Koppens, J.Hilpert, J.Roeden, W.Oomen, K.Linzmeier, and K.S.Chong.Mpeg surround - the iso/mpeg standard for efficient and compatible multi-channel audio coding.In Preprint 122th Conv.Aud.Eng.Soc., May 2007.
[7] V.Pulkki.Virtual sound source positioning using Vector Base Amplitude Panning.J.Audio Eng.Soc., 45:456-466, June 1997
[8] B.D.Van Veen and K.M.Buckley.Beamforming: A versatile approach to apatial filtering.IEEE ASSP Magazine, 5(2):4-24, April 1988
この目的は、拡張ダウンミックス信号を発生するための特許請求の範囲に記載の装置、拡張ダウンミックス信号を発生するための特許請求の範囲に記載の方法及び拡張ダウンミックス信号を発生するための特許請求の範囲に記載のコンピュータプログラムによって達成される。
本発明による一実施形態は、マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置を創出する。本装置は、マルチチャネルマイクロホン信号に基づいて、直接音の到来方向を記述する方向情報、直接音のパワー情報、及び拡散音のパワー情報を含む１組の空間キューパラメータを計算するように構成されている空間アナライザを備えている。また本装置は、直接音の到来方向を記述する方向情報に依存して、直接音パワー情報に依存して、かつ拡散音パワー情報に依存して拡張フィルタパラメータを計算するためのフィルタ計算器も備えている。また本装置は、拡張ダウンミックス信号を取得するために、拡張フィルタパラメータを用いてマイクロホン信号又はマイクロホン信号から導出される信号を濾波するためのフィルタも備えている。
本発明によるこの実施形態は、入力されるマルチチャネルマイクロホン信号より遙かに適する拡張ダウンミックス信号が入力されるマルチチャネルマイクロホン信号の濾波オペレーションによって導出され得るという発見、及び、このような信号拡張濾波オペレーションのためのフィルタパラメータは空間キューパラメータから効率的に導出され得るという発見に基づいている。
したがって、拡張フィルタパラメータの計算に際しては、やはりＭＰＥＧサラウンドパラメータの導出に適する同じ情報、すなわち空間キューパラメータを再使用することが可能である。したがって、上述の概念を用いれば、高度に効率的なシステムを作り出すことができる。
さらに、マルチチャネルマイクロホン信号のチャネル信号が低い空間分離しか含まない場合でも、ＭＰＥＧサラウンドデコーダにおける処理に際して良好なチャネル分離を可能にするダウンミックス信号を導出することができる。したがって、拡張ダウンミックス信号は、従来システムに比較して、ＭＰＥＧサラウンドの復号後に遙かに向上した空間オーディオ品質及び局在化特性をもたらすことができる。
要約すると、本発明による上述の実施形態は、適度の計算量で優れた空間分離特性を有する拡張ダウンミックス信号を生成できるようにする。
ある好適な実施形態において、フィルタ計算器は、拡張ダウンミックス信号が望ましいダウンミックス信号に近似すべく拡張フィルタパラメータを計算するように構成されている。この手法を用いれば、拡張フィルタパラメータの、濾波の望ましい結果への十分な適応を保証することができる。例えば、拡張フィルタパラメータは、拡張ダウンミックス信号の１つ又は複数の統計的特性がダウンミックス信号の望ましい統計的特性に近似するように計算することができる。したがって、拡張ダウンミックス信号の期待値への十分な適応が達成可能であり、この場合、期待値は、望ましい相関値として数値的に規定することができる。
ある好適な実施形態において、フィルタ計算器は、空間キューパラメータに依存して、マルチチャネルマイクロホン信号（又は、より具体的にそのチャネル信号）とダウンミックス信号の望ましいチャネル信号との間の望ましい相関値を計算するように構成されている。この場合、フィルタ計算器は、好ましくは、望ましい相互相関値に依存して拡張フィルタパラメータを計算するように構成されている。この相互相関値は、ダウンミックス信号のチャネル信号が十分に優れたチャネル分離特性を示しているかどうかの優れた尺度であることが分かっている。また、望ましい相関値は、空間キューパラメータに基づいて適度な計算量で計算できることも分かっている。
ある好適な実施形態において、フィルタ計算器は、望ましい相互相関値を、複数のスピーカ信号に対するマルチチャネルマイクロホン信号の直接音成分の望ましい寄与を記述する方向依存性の利得係数に依存して、かつ拡張ダウンミックス信号の１つ又は複数のチャネルに対する複数のオーディオチャネル（例えば、スピーカ信号）の望ましい寄与を記述する１つ又は複数のダウンミックスマトリクス値に依存して計算するように構成されている。方向依存性利得係数及びダウンミックスマトリクス値は共に、望ましい相互相関値の計算に極めて適切であること、及び、前記方向依存性利得係数及び前記ダウンミックスマトリクス値は容易に入手可能であることが分かっている。さらに、前記情報に基づいて、望ましい相互相関値が容易に入手可能であることも分かっている。
ある好適な実施形態において、フィルタ計算器は、方向情報を１組の方向依存性利得係数へマップ（map）するように構成されている。方向情報に依存して利得係数を適度な計算量で計算するためには、マルチチャネル振幅パンニング法が使用できることが分かっている。方向依存性利得係数を決定するためには、例えば、どのスピーカが直接音成分をレンダリングすべきかを記述し得る到来方向情報が適することが分かっている。直接音成分は、到来方向情報（方向情報として略示される）に依存して異なるスピーカ信号へ分散されること、及び、どのスピーカが直接音成分をレンダリングすべきかを記述する利得係数の決定が比較的単純であることは、容易に理解できる。例えば、１組の方向依存性利得係数へ方向情報をマップするために用いられるマッピング（mapping）規則は、単に、到来方向に関連づけられるスピーカは直接音成分をレンダリング（又は主としてレンダリング）する可能性があり、一方で他の方向に関連づけられる他のスピーカは単に直接音成分の僅かな部分をレンダリングするか、又は直接音成分を抑制もすることを決定できる。
ある好適な実施形態において、フィルタ計算器は、望ましい相互相関値を計算するために、直接音のパワー情報及び拡散音のパワー情報を考慮するように構成されている。前記音成分（直接音成分及び拡散音成分）双方のパワーを考慮することにより、直接音成分及び拡散音成分が共に（典型的には、マルチチャネル）ダウンミックス信号のチャネル信号へ適切に割り当てられることから、結果的に、特に優れた聴感が得られることが分かっている。
ある好適な実施形態において、フィルタ計算器は、望ましい相互相関値を計算するために、方向情報に依存して直接音のパワー情報を重みづけし、かつ方向情報とは独立して予め決められた重み付けを拡散音のパワー情報に適用するように構成されている。したがって、直接音成分と拡散音成分との間で、結果的にどちらが望ましい相互相関値の現実的な推定をもたらすかの区別が可能である。
ある好適な実施形態において、フィルタ計算器は、拡張フィルタパラメータを導出するためにウィーナ−ホップ（Wiener-Hopf）方程式を評価するように構成されている。この場合、ウィーナ−ホップ方程式は、マルチチャネルマイクロホン信号の異なるチャネルペア間の相関性を記述する相関値と、拡張フィルタパラメータと、マルチチャネルマイクロホン信号のチャネル信号とダウンミックス信号の望ましいチャネル信号との間の望ましい相互相関値と、の間の関係性を記述する。このようなウィーナ−ホップ方程式の評価は、ダウンミックス信号のチャネル信号の望ましい相関特性に十分適応される拡張フィルタパラメータを生じさせることが分かっている。
ある好適な実施形態において、フィルタ計算器は、望ましいダウンミックスチャネルのモデルに依存して拡張フィルタパラメータを計算するように構成されている。望ましいダウンミックスチャネルをモデル化することにより、拡張フィルタパラメータは、マルチチャネルデコーダにおける望ましいマルチチャネルスピーカ信号の優れた再構成を可能にするダウンミックス信号を得るように計算することができる。
実施形態によっては、望ましいダウンミックスチャネルのモデルは理想的なダウンミキシングのモデルを備えていることができる。理想的なダウンミキシングは、チャネル信号（例えば、スピーカ信号）が個々に利用可能であれば実行される。さらに、モデル化は、マルチチャネルマイクロホン信号が限定的な空間分離しか持たないチャネル信号を含む場合でも、個々のチャネル信号がマルチチャネルマイクロホン信号から如何にして入手され得るかのモデルを含むことができる。したがって、望ましいダウンミックスチャネルの全体的モデルは、例えば、個々のチャネル信号（例えば、スピーカ信号）を如何にして入手し、かつ前記個々のチャネル信号から如何にして望ましいダウンミックスチャネルを導出するかのモデル化を組み合わせることによって得ることができる。したがって、これは、比較的少ない計算量で入手可能な拡張フィルタパラメータの計算にとって十分によい参考になる。
ある好適な実施形態において、フィルタ計算器は１チャネルフィルタリング又は２チャネルフィルタリングを選択的に実行するように構成されている。１チャネルフィルタリングでは、ダウンミックス信号の第１のチャネルがマルチチャネルマイクロホン信号の第１のチャネルの濾波によって導出され、ダウンミックス信号の第２のチャネルがマルチチャネルマイクロホン信号の第２のチャネルの濾波によって導出されるとともに、マルチチャネルマイクロホン信号の第１のチャネルからダウンミックス信号の第２のチャネルへのクロストークが回避され、マルチチャネルマイクロホン信号の第２のチャネルからダウンミックス信号の第１のチャネルへのクロストークが回避される。２チャネルフィルタリングでは、ダウンミックス信号の第１のチャネルがマルチチャネルマイクロホン信号の第１及び第２のチャネルを濾波することにより導出され、ダウンミックス信号の第２のチャネルがマルチチャネルマイクロホン信号の第１及び第２のチャネルを濾波することにより導出される。１チャネルフィルタリング及び２チャネルフィルタリングの選択は、マルチチャネルマイクロホン信号の第１のチャネルとマルチチャネルマイクロホン信号の第２のチャネルとの間の相関性を記述する相関値に依存して行われる。１チャネルフィルタリング又は２チャネルフィルタリングを選択することにより、左右のチャネルが高度に相関している状況下で、もし２チャネルフィルタリングが用いられれば現出することがある数値誤差を回避することができる。したがって、マルチチャネルマイクロホン信号のチャネル信号が高度に相関しているか否かに拘わらず、良品質のダウンミックス信号を入手することができる。
本発明による別の実施形態は、拡張ダウンミックス信号を発生するための方法を創出する。
本発明による別の実施形態は、拡張ダウンミックス信号を発生する前記方法を実行するためのコンピュータプログラムを創出する。
本方法及びコンピュータプログラムは、前記装置と同じ発見を基礎とし、かつ前記装置に関連して論じた任意の特徴及び機能によって補うことができる。
続いて、添付の図面を参照して本発明による実施形態について述べる。
図１は、本発明の一実施形態による拡張ダウンミックス信号を発生するための装置を示す概略ブロック図である。 図２は、本発明の一実施形態による空間オーディオマイクロホンの処理を示す図解である。 図３は、本発明の一実施形態による拡張ダウンミックス計算を示す図解である。 図４は、本発明による実施形態において用いられる場合がある、望ましいダウンミックス信号Ｙ1及びＹ2を計算するためのチャネルマッピングを示す図解である。 図５は、本発明の一実施形態による予め処理されたマイクロホン信号を基礎とする拡張ダウンミックス計算を示す図解である。 図６は、本発明の一実施形態によるマルチチャネルマイクロホン信号から拡張フィルタパラメータを導出するための計算を示す概略図である。 図７は、本発明の別の実施形態によるマルチチャネルマイクロホン信号から拡張フィルタパラメータを導出するための計算を示す概略図である。
１． 図１による拡張ダウンミックス信号を発生するための装置
図１は、マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置１００を示す概略ブロック図である。装置１００は、マルチチャネルマイクロホン信号１１０を受信し、かつこれに基づいて拡張ダウンミックス信号１１２を生成するように構成されている。装置１００は、マルチチャネルマイクロホン信号１１０に基づいて１組の空間キューパラメータ１２２を計算するように構成されている空間アナライザ１２０を備えている。空間キューパラメータは、典型的には、直接音（この直接音は、マルチチャネルマイクロホン信号に含まれている。）の到来方向を記述する方向情報と、直接音パワー情報と、拡散音パワー情報とを含む。また装置１００は、空間キューパラメータ１２２に依存して、すなわち、直接音の到来方向を記述する方向情報、直接音パワー情報及び拡散音パワー情報に依存して、拡張フィルタパラメータ１３２を計算するためのフィルタ計算器１３０も備えている。また装置１００は、拡張ダウンミックス信号１１２を得るために、マイクロホン信号１１０又はマイクロホン信号１１０から導出される信号１１０’を、拡張フィルタパラメータ１３２を用いて濾波するためのフィルタ１４０も備えている。信号１１０’は、任意の事前処理１５０を用いてマルチチャネルマイクロホン信号１１０から任意に導出することができる。
装置１００の機能に関しては、拡張ダウンミックス信号１１２は、典型的には、拡張ダウンミックス信号１１２がＭＰＥＧサラウンドの復号後にマルチチャネルマイクロホン信号１１０よりも向上した空間オーディオ品質を可能にするように生成されるということができる。それは、拡張フィルタパラメータ１３２は、典型的には、この目的を達成するために、フィルタ計算器１３０によって生成されるからである。拡張フィルタパラメータ１３０の生成は、空間アナライザにより生成される空間キューパラメータ１２２に基づいており、拡張フィルタパラメータ１３０がマルチチャネルマイクロホン信号１１０の空間特性に従って生成されるように、かつマルチチャネルマイクロホン信号１１０の空間特性を強調するためになされる。したがって、フィルタ１４０により実行される濾波は、入力されるマルチチャネルマイクロホン信号１１０に比較すると、拡張ダウンミックス信号１１２の空間特性の信号適応処理の向上を可能にする。
続いて、空間アナライザ１２０により実行される空間分析に関する細部を、フィルタ計算器１３０によって実行されるフィルタパラメータ計算、及びフィルタ１４０によって実行される濾波に関連してさらに詳しく述べる。
２． 図２による、拡張ダウンミックス信号を発生するための装置
図２は、拡張ダウンミックス信号（２チャネルオーディオ信号の形式をとることができる。）及び２チャンネルより多いチャネルを有するアップミックス信号に関連づけられた１組の空間キューを発生するための装置２００を示す概略ブロック図である。装置２００は、第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを含む２チャネルマイクロホン信号を生成するように構成されているマイクロホン装置２０５を備えている。
装置２００は、さらに、２チャンネルより多いチャネルを有するアップミックス信号に関連づけられた１組の空間キューを２チャネルマイクロホン信号に基づいて生成するためのプロセッサ２１６を備えている。プロセッサ２１６は、拡張フィルタパラメータ２３２を生成するようにも構成されている。プロセッサ２１６は、その入力信号として、マイクロホン装置２０５によって生成される第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを受信するように構成されている。装置２１６は、拡張フィルタパラメータ２３２を生成し、かつ空間キュー情報２６２も生成するように構成されている。装置２００はさらに、２チャネルオーディオ信号プロバイダ２４０を備えており、２チャネルオーディオ信号プロバイダ２４０はマイクロホン装置２０５によって生成される第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを受信し、これらの第１のチャネルマイクロホン信号２１０ａ及び第２のチャネルマイクロホン信号２１０ｂの処理されたバージョンを生成して、それをチャネル信号２１２ａ、２１２ｂを含む２チャネルオーディオ信号２１２とするように構成されている。
マイクロホン装置２０５は、第１の指向性マイクロホン２０６と第２の指向性マイクロホン２０８とを備えている。第１の指向性マイクロホン２０６及び第２の指向性マイクロホン２０８は、好ましくは３０ｃｍより大きくない距離だけ離れている。したがって、第１の指向性マイクロホン２０６によって受信される信号と第２の指向性マイクロホン２０８によって受信される信号は強く相関しており、このことは信号アナライザ２２０による成分エネルギー情報（又は成分パワー情報）１２２ａ及び方向情報１２２ｂの計算にとって有益であることが分かっている。しかしながら、第１の指向性マイクロホン２０６及び第２の指向性マイクロホン２０８は、第２の指向性マイクロホン２０８の方向特性２０９が第１の指向性マイクロホン２０６の方向特性２０７の回転バージョンであるように方向づけられる。したがって、第１のチャネルマイクロホン信号２１０ａ及び第２のチャネルマイクロホン信号２１０ｂは（マイクロホン２０６、２０８の空間近接性により）強く相関しているが、（指向性マイクロホン２０６、２０８の異なる方向特性２０７、２０９により）なおも相違している。特に、略一定方向からマイクロホン装置２０５へ入射する指向性信号は、第１のチャネルマイクロホン信号２１０ａと第２のチャネルマイクロホン信号２１０ｂの強く相関した信号成分であって、時間的に一定した方向依存性振幅比（又は強度比）を有する信号成分を生じさせる。時間的に変わる方向からマイクロホンアレイ２０５へ入射する周囲オーディオ信号は、第１のチャネルマイクロホン信号２１０ａ及び第２のチャネルマイクロホン信号２１０ｂの信号成分であって、著しい相関性を有するが時間的に変動する振幅比（又は強度比）を有する信号成分を生じさせる。したがって、マイクロホン装置２０５は２チャネルマイクロホン信号２１０ａ、２１０ｂを生成し、それらのマイクロホン信号２１０ａ、２１０ｂはマイクロホン２０６、２０８が近接して配置されてもプロセッサ２１６の信号アナライザ２２０が直接音と拡散音とを区別することを可能にする。このように、装置２００はオーディオ信号プロバイダを構成し、そのオーディオ信号プロバイダは空間的に小型の形式で実装することができ、それにも拘わらず２チャンネルより多いチャネルを有するアップミックス信号に関連づけられる空間キューを生成できる。
空間キュー２６２は、生成された２チャネルオーディオ信号２１２ａ、２１２ｂと組み合わせて、空間オーディオデコーダでサラウンドサウンド出力信号を生成するために使用することができる。
以下、装置２００に関してさらに幾つかの説明を行う。装置２００は、場合により、第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを生成するマイクロホン装置２０５を備える。第１のチャネル信号２１０ａはｘ1（ｔ）としても示され、第２のチャネル信号２１０ｂはｘ2（ｔ）として示されている。留意すべきは、第１のチャネル信号２１０ａと第２のチャネル信号２１０ｂは、図１による装置１００へ入力されるマルチチャネルマイクロホン信号１１０を表す場合があることである。
２チャネルオーディオ信号プロバイダ２４０は、第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを受信し、かつ典型的には、拡張フィルタパラメータ情報２３２も受信する。２チャネルオーディオ信号プロバイダ２４０は、第１のチャネル信号２１２ａ及び第２のチャネル信号２１２ｂによって表される２チャネルオーディオ信号２１２を生成するために、例えば、任意の事前処理１５０の機能及びフィルタ１４０の機能を実行することができる。２チャネルオーディオ信号２１２は、図１の装置１００によって出力される拡張ダウンミックス信号１１２と同等であるとすることができる。
信号アナライザ２２０は、第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを受信するように構成することができる。また、信号アナライザ２２０は、２チャネルマイクロホン信号２１０に基づいて、すなわち第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂ基づいて、成分エネルギー情報１２２ａ及び方向情報１２２ｂを得るように構成することもできる。好ましくは、信号アナライザ２２０は、成分エネルギー情報１２２ａが２チャネルマイクロホン信号の直接音成分と２チャネルマイクロホン信号の拡散音成分のエネルギー（又は、等価的にパワー）の推定値を示し、かつ方向情報１２２が２チャネルマイクロホン信号２１０ａ、２１０ｂの直接音成分が出てくる方向の推定を示すような、成分エネルギー情報１２２ａと方向情報１２２ｂを得るように構成されている。したがって、信号アナライザ２２０は空間アナライザ１２０の機能を受け持つことができ、成分エネルギー情報１２２ａと方向情報１２２ｂは空間キューパラメータ１２２と同等であるとすることができる。成分エネルギー情報１２２ａは、直接音パワー情報及び拡散音パワー情報と同等であるとすることができる。プロセッサ２１６は、信号アナライザ２２０から成分エネルギー情報１２２ａと方向情報１２２ｂを受信する空間サイド情報発生器２６０も備えている。空間サイド情報発生器２６０は、これらの情報に基づいて空間キュー情報２６２を生成するように構成されている。好ましくは、空間サイド情報発生器２６０は、２チャネルマイクロホン信号２１０ａ、２１０ｂの成分エネルギー情報１２２ａと２チャネルマイクロホン信号２１０ａ、２１０ｂの方向情報１２２ｂを空間キュー情報２６２へマップするように構成されている。したがって、空間キュー情報２６２は、空間キュー情報２６２が２チャンネルより多いチャネルを有するアップミックスオーディオ信号に関連づけられる空間キューの１組を示すように得られる。
プロセッサ２１６は、２チャネルマイクロホン信号２１０ａ、２１０ｂに基づいて、２チャンネルより多いチャネルを有するアップミックスオーディオ信号に関連づけられる空間キュー情報２６２の極めて計算効率の良い計算を可能にする。信号アナライザ２２０は２チャネルマイクロホン信号から大量の情報を抽出することができる。その情報とは、すなわち直接音成分のエネルギーの推定値及び拡散音成分のエネルギーの推定値の双方を示す成分エネルギー情報１２２ａと、２チャネルマイクロホン信号の直接音成分が出てくる方向の推定値を示す方向情報１２２ｂである。信号アナライザ２２０により２チャネルマイクロホン信号２１０ａ、２１０ｂに基づいて得ることのできるこの情報は、２チャンネルより多いチャネルを有するアップミックスオーディオ信号に関する空間キュー情報２６２を導出するに足るものであることが分かっている。重要な点として、成分エネルギー情報１２２ａと方向情報１２２ｂは、実際にアップミックス・オーディオ・チャネルを中間量として用いることなく空間キュー情報２６２を直に決定するに足るものであることが分かっている。
さらに、プロセッサ２１６は、成分エネルギー情報１２２ａ及び方向情報１２２ｂを受信しかつこれらに基づいて拡張フィルタパラメータ情報２３２を生成するように構成されているフィルタ計算器２３０を備えている。したがって、フィルタ計算器２３０は、フィルタ計算器１３０の機能を引き継ぐことができる。
上記を要約すると、装置２００は、拡張ダウンミックス信号２１２と空間キュー情報２６２の双方を、双方とも同じ中間情報１２２ａ、１２２ｂを用いて効率的に決定することができる。また、装置２００は、（拡張された）ダウンミックス信号２１２と空間キュー情報２６２の双方を得るために、空間的に小型のマイクロホン装置２０５を用いることができる点も留意されるべきである。ダウンミックス信号２１２は、小型マイクロホン装置２０５（小型マイクロホン装置２０５は、装置２００の一部である場合も、装置２００の外部に存在するが装置２００へ接続される場合もある。）を使用しているにも拘わらず、フィルタ計算器２３０による拡張フィルタパラメータ２３２の計算により特に優れた空間分離特性を備えている。したがって、（拡張された）ダウンミックス信号２１２は、空間キュー情報２６２と組み合わせて取り入れられる場合に（例えば、ＭＰＥＧサラウンドデコーダを用いる）空間レンダリングに適したものとすることができる。
要約すると、図２は、空間オーディオマイクロホン手法の概略ブロック図を示している。図から分かるように、ステレオマイクロホンの入力信号２１０ａ（ｘ1（ｔ）でも示される）及び２１０ｂ（ｘ2（ｔ）でも示される）は、ブロック２１６において、マルチチャネルアップミックス信号（例えば、２チャネルオーディオ信号２１２）に関連づけられる空間キュー情報の組２６２を計算するために用いられる。さらに、２チャネルダウンミックス信号２１２も生成される。
以下、ステレオマイクロホン信号の解析に基づいて空間キュー情報２６２を決定するために必要とされるステップについて要約する。ここでは、非特許文献２における提示を参照する。
３． ステレオ信号解析
以下、空間アナライザ１２０又は信号アナライザ２２０が実行することのできるステレオ信号解析について述べる。留意すべきは、使用されるマイクロホンが２個より多く存在し、かつマルチチャネルマイクロホン信号のチャネル信号が２チャンネルより多く存在するいくつかの実施形態において、拡張信号解析が使用されることがあるということである。
ここで述べるステレオ信号解析は空間キューパラメータ１２２を生成するために用いることができる。空間キューパラメータ１２２は成分エネルギー情報１２２ａと方向情報１２２ｂの形式をとることができる。ステレオ信号解析は時間−周波数領域において実行できることに留意すべきである。したがって、マルチチャネルマイクロホン信号１１０、２１０のチャネル信号２１０ａ、２１０ｂは、後の解析のために時間−周波数領域表現に変換することができる。
マイクロホン信号ｘ1（ｔ）の時間−周波数表現はＸ1（ｋ，ｉ）、マイクロホン信号ｘ2（ｔ）の時間−周波数表現はＸ2（ｋ，ｉ）である。ここでｋは時間の指数、ｉは周波数の指数である。Ｘ1（ｋ，ｉ）とＸ2（ｋ，ｉ）は、
Figure 0005508550
としてモデル化できるものとする。ここで、ａ（ｋ，ｉ）は利得係数であり、Ｓ（ｋ，ｉ）は左チャネルにおける直接音であり、Ｎ1（ｋ，ｉ）とＮ2（ｋ，ｉ）は拡散音を表す。
空間オーディオコーディング（ＳＡＣ）のダウンミックス信号１１２、２１２及びサイド情報２６２はＥ｛ＳＳ*｝、Ｅ｛Ｎ1Ｎ1 *｝及びＥ｛Ｎ2Ｎ2 *｝の関数として計算される。ここで、Ｅ｛．｝は短時間平均演算であり、*は複素共役を示す。以下、これらの値を導く。
式（１）から、
Figure 0005508550
になる。
ここで留意すべきは、Ｅ｛ＳＳ*｝は直接音パワー情報又は等価的に直接音エネルギー情報と考えることができ、Ｅ｛Ｎ1Ｎ1 *｝とＥ｛Ｎ2Ｎ2 *｝は拡散音パワー情報又は拡散音エネルギー情報と考えることができることである。Ｅ｛ＳＳ*｝とＥ｛Ｎ1Ｎ1 *｝は成分エネルギー情報と考えることができ、ａは方向情報と考えることができる。
双方のマイクロホン信号における拡散音の量は同じであって、すなわちＥ｛Ｎ1Ｎ1 *｝＝Ｅ｛Ｎ2Ｎ2 *｝＝Ｅ｛ＮＮ*｝であり、かつＮ1とＮ2との間の正規化された相互相関係数はΦdiff、すなわち、
Figure 0005508550
であるものとする。Φdiffは、例えば既定値をとってもよく、何らかのアルゴリズムに従って計算されてもよい。
これらの仮定が与えられたとすれば、式（２）は、
Figure 0005508550
と書き表すことができる。
式（２）におけるＥ｛ＳＳ*｝及びａを除去すれば、二次方程式、
Figure 0005508550
が得られる。但し、
Figure 0005508550
である。
よって、Ｅ｛ＮＮ*｝は、式（５）の２つの解のうちの物理的に可能な一方、すなわち、
Figure 0005508550
になる。
式（５）のもう１つの解はマイクロホン信号パワーより大きい拡散音パワーをもたらすが、それは物理的に不可能である。
式（７）が与えられると、ａ及びＥ｛ＳＳ*｝の計算は容易である。
Figure 0005508550
非特許文献２で論じられているように、直接音の到来方向ａ（ｋ，ｉ）は、下記のように、振幅比推定値ａ（ｋ，ｉ）の関数として決定することができる。
Figure 0005508550
特有のマッピングは、録音に用いられるステレオマイクロホンの方向特性に依存する。
４． 空間サイド情報の生成
以下、空間サイド情報発生器２６０によって生成することのできる空間キュー情報２６２の生成について述べる。しかしながら、留意すべきは、空間サイド情報の空間キュー情報２６２形式での生成が本発明による実施形態にとって必要な特徴ではないということである。したがって、空間サイド情報の生成は実施形態によっては省略できることに留意すべきである。また、空間キュー情報２６２又は他の任意の空間サイド情報を入手するために異なる方法を使用できることも留意されるべきである。
しかしながら、以下で論じる空間サイド情報の生成が空間キュー情報を生成するための好ましい概念と考えることができることにも留意すべきである。
ステレオ信号解析結果１２２ａ、１２２ｂ、すなわち式（９）による変数ａ又はα、Ｅ｛ＳＳ*｝及びＥ｛ＮＮ*｝が与えられたとすれば、ＳＡＣデコーダ互換性空間パラメータは、例えば空間サイド情報発生器２６０によって生成される。これを実行する１つの効率的な方法は、マルチチャネル信号モデルを考慮することであることが分かっている。以下、一例として、下記を意味する図４に示されているようなスピーカ配置について考察する。すなわち、
Figure 0005508550
ここで、
Figure 0005508550
である。
Figure 0005508550
に対応し、すなわち、
Figure 0005508550
であり、
Figure 0005508550
は全てＥ｛ＮＮ*｝に等しい同一のパワーを有する。最終的には利得ｈ1からｈ5が拡散音の量を決定することから、この拡散音パワーの定義が任意であることに留意すべきである。
Ｌ（ｋ，ｉ）、Ｒ（ｋ，ｉ）、Ｃ（ｋ，ｉ）、Ｌs（ｋ，ｉ）及びＲs（ｋ，ｉ）は、例えば望ましいチャネル信号又は望ましいスピーカ信号であってもよいことに留意すべきである。
第１のステップでは、直接音の到来方向α（ｋ，ｉ）の関数として、マルチチャネル振幅パンニング法（例えば、非特許文献７及び４参照）が適用されて利得係数ｇ1からｇ5が決定される。次に、発見的手順を用いて拡散音の利得ｈ1〜ｈ5が決定される。定値ｈ1＝１．０、ｈ2＝１．０、ｈ3＝０、ｈ4＝１．０及びｈ5＝１．０は合理的な選択であり、すなわちアンビエンスは前後に等しく分散され、その間、センターチャネルはドライ信号として発生される。しかしながら、ｈ1〜ｈ5の異なる選択も可能である。
側方及び後方からの直接音は、前方向から到来する音に対して減衰される。マイクロホン信号に含まれる直接音は、好ましくは、マイクロホンの指向性パターンに依存する因数ｇ（α）によって利得補償される。
サラウンド信号モデル（１０）式が与えられると、使用される特有のＳＡＣの空間キュー解析が信号モデルに適用され、ＭＰＥＧサラウンドの空間キューが取得される。
式（１０）において定義される信号のパワースペクトルは、
Figure 0005508550
である。但し、
Figure 0005508550
である。
以下で用いられるクロススペクトルは、
Figure 0005508550
である。
ＭＰＥＧサラウンドは、サラウンドチャネルへ、それらのさらなる処理に先行して
Figure 0005508550
を印加する。これは、互換的なダウンミックス及び空間サイド情報を発生するために考慮することができる。
ＭＰＥＧサラウンドの第１の２：１（two-to-one）（ＴＴＯ）ボックスは、ＬとＬsとの間のチャネル間レベル差（ＩＣＬＤ）及びチャネル間コヒーレンス（ＩＣＣ）を用いる。（１０）式に基づき、かつサラウンドチャネルのプレスケーリングが補正されると、これらのキューは、
Figure 0005508550
になる。
同様にして、ＲとＲsに関する第２のＴＴＯボックスのＩＣＬＤ及びＩＣＣが計算される。すなわち、
Figure 0005508550
である。
ＭＰＥＧサラウンドの３：２（three-to-two）（ＴＴＴ）ボックスは、「エネルギーモード」で用いられる。例えば、非特許文献１を参照されたい。ＴＴＴボックスは、ダウンミックス及び空間サイド情報を計算する前に、
Figure 0005508550
ことに留意すべきである。サラウンドチャネルのプレスケーリングを考慮すると、ＴＴＴボックスにより使用される２つのＩＣＬＤパラメータは、
Figure 0005508550
である。
指数ｉとｋは、表記を簡潔にするために取り除かれていることに留意すべきである。
したがって、キューＩＣＬＤLLs、ＩＣＣLLs、ＩＣＬＤRRs、ＩＣＣRRs、ＩＣＬＤ1及びＩＣＬＤ2を含む空間キュー情報は、空間サイド情報発生器２６０により、空間キューパラメータ１２２、１２２ａ、１２２ｂに基づいて、すなわち成分エネルギー情報１２２ａと方向情報１２２ｂに基づいて得られる。
５． ＭＰＥＧサラウンドの復号
以下、ある可能なＭＰＥＧサラウンドの復号について述べる。これは、空間キュー情報２６２（又は他の任意の適切な空間キュー情報）を用いて、ダウンミックス信号（例えば、拡張ダウンミックス信号１１２又は拡張ダウンミックス信号２１２）から例えば複数のスピーカ信号のような複数のチャネル信号を導出するために用いることができる。
ＭＰＥＧサラウンドデコーダにおいて、受信されたダウンミックス信号１１２、２１２は、受信された空間サイド情報２６２を用いて２チャンネルより多いチャネルへ拡張される。このアップミックスは、各々いわゆる逆１：２（Reverse-One-To-Two）（Ｒ−ＯＴＴ）ボックス及び逆３：２（Reverse Three-To-Two）（Ｒ−ＴＴＴ）ボックスを適切にカスケードすることによって実行される（例えば、非特許文献６参照）。Ｒ−ＯＴＴボックスは、モノオーディオ入力とサイド情報に基づいて２つのオーディオチャネルを出力するが、Ｒ−ＴＴＴボックスは、２チャネルオーディオ入力と関連のサイド情報に基づいて３つのオーディオチャネルを決定する。言い替えれば、逆ボックスは、先に述べた対応するＴＴＴボックス及びＯＴＴボックスとは逆の処理を実行する。
エンコーダにおけるマルチチャネル信号モデルと同様に、デコーダは、元のサラウンドサウンドを正しく再生するために特有のスピーカ構成を想定する。さらに、デコーダは、正しいダウンミックス信号を計算するために、ＭＰＳエンコーダ（ＭＰＥＧサラウンドエンコーダ）が複数の入力チャネルの特有のミキシングを実行することを想定する。
次項では、ＭＰＥＧサラウンド・ステレオ・ダウンミックスの計算を提示する。
６． ＭＰＥＧサラウンド・ステレオ・ダウンミックス信号の生成
以下、ＭＰＥＧサラウンド・ステレオ・ダウンミックス信号がどのように発生されるかについて述べる。
好適な実施形態において、ダウンミックスは、左右半球体に対応するスピーカチャネル間にクロストークが存在しないように決定される。これには、左半球体から右半球体への音響エネルギーの望ましくない漏れが存在しないという優位点があり、これにより、ＭＰＥＧサラウンドストリームの復号後の左／右分離が著しく高まる。さらに、右チャネルから左チャネルへの信号漏れについても同じ論法が当て嵌まる。
従来の５．１サラウンドのオーディオ信号をコーディングするためにＭＰＥＧサラウンドが用いられる場合、使用されるステレオダウンミックスは、
[Ｙ1 Ｙ2]T＝Ｍ[Ｌ Ｒ Ｃ ＬS ＲS]T （１８）
である。ここで、ダウンミックス行列は、
Figure 0005508550
であり、ｇsはサラウンドチャネルに与えられる先に述べたプレ利得である。
式（１８）、式（１９）によるダウンミックスの計算は、対応するスピーカ位置でカバーされる再生エリアの、２つのダウンミックスチャネルへのマッピングと考えることができる。図４には、このマッピングは、従来のダウンミックス計算（１８）、（１９）の特有の事例に関して示されている。
７． 拡張ダウンミックス計算
７．１ 拡張ダウンミックス計算の概要
以下、拡張ダウンミックス計算に関して詳述する。本概念の優位点の理解を容易にするために、ここでは幾つかの従来システムとの比較を行う。
第２章において述べた空間オーディオマイクロホンの場合、ダウンミックス信号は基本的に、以下で述べる拡張ダウンミックス計算が存在しないステレオマイクロホン（例えば、マイクロホン装置２０５）の録音信号に対応する。実際のステレオマイクロホンは、その特有の指向性パターンに起因して左右信号成分の望ましい分離を与えないことが分かっている。必然的に、左右チャネル（例えば、チャネル信号２１０ａ及び２１０ｂ）間のクロストークが高すぎて、結果的にＭＰＥＧサラウンドの復号信号におけるチャネル分離は不良になることも分かっている。
本発明による実施形態は拡張ダウンミックス信号１１２、２１２を計算する手法を生み出している。拡張ダウンミックス信号１１２、２１２は、望ましいＳＡＣダウンミックス信号（例えば、信号Ｙ1、Ｙ2）に近似するものであり、すなわち、異なるチャネル間に望ましいレベルのクロストークを呈するものである。そのクロストークのレベルは元のステレオ入力１１０、２１０に含まれるクロストークレベルとは異なる。その結果、関連の空間サイド情報２６２を用いた空間オーディオ復号後の音質は向上する。
図１、図２、図３及び図５に示されている概略ブロックは本提案手法を示している。図から分かるように、元のマイクロホン信号１１０、２１０、３１０は、拡張ダウンミックスチャネル１１２、２１２、３１２を得るためにダウンミックス拡張ユニット１４０、２４０、３４０によって処理される。マイクロホン信号１１０、２１０、３１０の修正は、制御ユニット１２０、１３０、２１６、３１６によって制御される。制御ユニット１２０、１３０、２１６、３１６は、スピーカ再生のマルチチャネル信号モデルと推定された空間キューパラメータ１２２、１２２ａ、１２２ｂ、３２２を考慮する。この情報から、制御ユニット１２０、１３０、２１６、３１６は、拡張のためのターゲット、すなわち望ましいダウンミックス信号（例えば、ダウンミックス信号Ｙ1、Ｙ2）のモデルを決定する。以下、本発明の詳細について論じる。
７．２ 望ましいステレオダウンミックス信号のモデル
本章では、望ましいステレオダウンミックス信号のモデルについて論じ、提案する拡張ダウンミックス計算のターゲットも提示する。
方程式（１０）による我々が想定するサラウンド信号モデルに方程式（１８）及び（１９）を適用すれば、
Figure 0005508550
に従って望ましいダウンミックス信号のモデルが得られる。
Figure 0005508550
である。
左右マイクロホン信号における拡散音は、Ｎ1及びＮ2である。したがって、ダウンミックスは、Ｎ1及びＮ2に関連する拡散音を基礎とするものであるべきである。先に定義したように、
Figure 0005508550
のパワーは同じであることから、
Figure 0005508550
と同じパワーを有するＮ1及びＮ2を基礎とする拡散信号は、
Figure 0005508550
である。
したがって、望ましいステレオダウンミックス信号のモデルは、望ましいステレオダウンミックス信号のチャネル信号Ｙ1、Ｙ2を利得値ｇ1、ｇ2、ｇ3、ｇ4、ｇ5、ｇs、ｈ1、ｈ2、ｈ3、ｈ4、ｈ5の関数として、かつまたステレオマイクロホン信号内の直接音の
Figure 0005508550
に依存して表すことを可能にする。
７．３ １チャネルのフィルタリング
以下、拡張ダウンミックス信号の第１のチャネルがマルチチャネルマイクロホン信号の第１のチャネル信号から導出され、かつ拡張ダウンミックス信号の第２のチャネルがマルチチャネルマイクロホン信号の第２のチャネル信号から導出される手法について述べる。留意すべきは、以下で述べる濾波は、フィルタ１４０によって、又は２チャネルオーディオ信号プロバイダ２４０によって、又はダウンミックス拡張３４０によって実行できるということである。また、拡張フィルタパラメータＨ1、Ｈ2はフィルタ計算器１３０によって、フィルタ計算器２３０によって、又は制御装置３１６によって生成できることにも留意すべきである。
式（２０）による望ましいダウンミックス信号Ｙ1（ｋ，ｉ）とＹ2（ｋ，ｉ）を決定するための可能な一手法は、元のステレオマイクロホン入力Ｘ1（ｋ，ｉ）とＸ2（ｋ，ｉ）へ拡張フィルタを適用すること、すなわち、
Figure 0005508550
である。
これらのフィルタは、
Figure 0005508550
（すなわち、マルチチャネルマイクロホン信号のチャネル信号を濾波することによって得られる実際のダウンミックス信号）が各々望ましいダウンミックス信号Ｙ1（ｋ，ｉ）とＹ2（ｋ，ｉ）に近似するように選択される。適切な近似は、
Figure 0005508550
が各々、マルチチャネルスピーカ信号モデルのエネルギーに関して、ターゲットであるダウンミックス信号Ｙ1（ｋ，ｉ）とＹ2（ｋ，ｉ）で与えられるものと同じエネルギー分散を共有するというものである。言い替えれば、フィルタは、マルチチャネルマイクロホン信号のチャネル信号を濾波することによって得られる実際のダウンミックス信号が、例えばエネルギー特性又は相互相関特性のような幾つかの統計的特性に関して望ましいダウンミックス信号に近似するように選択される。
拡張フィルタがウィーナ（Wiener）フィルタ（例えば、非特許文献５参照）に一致する場合、Ｈ1（ｋ，ｉ）とＨ2（ｋ，ｉ）は、
Figure 0005508550
に従って決定することができる。
式（２４）に式（２０）と式（２２）を代入すると、
Figure 0005508550
となる。但し、
Figure 0005508550
である。
これから分かるように、拡張フィルタはマルチチャネル信号モデル（１０）の異なる成分に直に依存する。これらの成分は、空間キューパラメータに基づいて推定されることから、拡張ダウンミックス計算のフィルタＨ1（ｋ，ｉ）とＨ2（ｋ，ｉ）はこれらの空間キューパラメータにも依存する、と結論することができる。言い替えれば、拡張フィルタの計算は、図３にも示されているように、推定される空間キューパラメータによって制御できる。
７．４ ２チャネルのフィルタリング
本項では、「１チャネルのフィルタリング」と題する章で論じた１チャネル手法の代替方法を提示する。この場合、
Figure 0005508550
は各々、マイクロホン入力信号Ｘ1、Ｘ2双方の濾波されたバージョンから決定される。この手法は、双方のマイクロホンチャネルを最適に組み合わせることができるために、１チャネルのフィルタリング方法に比べて向上した性能を期待できる。
実際のダウンミックス信号は、
Figure 0005508550
によって得ることができる。
以下、２チャネルウィーナフィルタに基づいて拡張フィルタを推定する一例を示す。表示を単純にするために、以後は指数（ｋ，ｉ）を省略する。
Figure 0005508550
のウィーナ−ホップ方程式は、
Figure 0005508550
である。
したがって、フィルタは、
Figure 0005508550
のように得られる。但し、
Figure 0005508550
である。
マイクロホン入力信号Ｘ1、Ｘ2と望ましいダウンミックスチャネルＹ1、Ｙ2との間の相互相関は、
Figure 0005508550
によって表すことができる。但し、重みｗiは式（２６）−式（２９）において導入されている。
７．５ １チャネルのフィルタリング及び２チャネルのフィルタリングの選択
以下、１チャネルのフィルタリングと２チャネルのフィルタリングとの間の信号適応型選択を可能にする概念について述べる。
これまでに述べたように、２チャネルのフィルタリングには、実施に際して時々（又は、頻繁にも）オーディオアーティファクトを引き起こすフィルタを作り出すという問題がある。左右のチャネルが高度に相関している場合、ウィーナ−ホップ方程式の共分散行列の条件付けは常に不良である。よって結果的に生じる数値的感度は、不合理でありかつオーディオアーティファクトを生じさせるフィルタをもたらす。これを防止するために、２チャネルが所定の相関度を超える場合は常に１チャネルのフィルタリングが使用される。これは、
Ｈ1,1 ＝ Ｈ1
Ｈ1,2 ＝ ０
Ｈ2,1 ＝ ０
Ｈ2,2 ＝ Ｈ2， （３６）
のようなフィルタを、
Figure 0005508550
である場合に常に計算することによって実行することができる。但し、コヒーレンス／相関しきい値Ｔは、１チャネルのフィルタリングが使用される際の相関度を決定する。Ｔ＝０．９という値は良い結果をもたらす。
言い替えれば、マルチチャネルマイクロホン信号の任意のチャネル信号間の相関度に応じて、１チャネルのフィルタリングと２チャネルのフィルタリングとを選択的に切り替えることができる。相関が予め決められた相関値より大きければ、２チャネルのフィルタリングではなく１チャネルのフィルタリングが使用できる。
７．６ マルチチャネルの一般的事例
以下、式（１０）によるマルチチャネル信号モデルに基づくＭＰＥＧサラウンド・ステレオ・ダウンミックス信号の拡大された計算を、より一般的なチャネル構成へ一般化する。式（１０）と同様に、Ｋ個のスピーカチャネルを想定する一般化されたマルチチャネル信号モデルは、
Figure 0005508550
によって与えられ、ｌ＝１，２，…，Ｋである。利得係数ｇl（ｋ，ｉ）は、直接音のＤＯＡと再生構成内のｌ番目のスピーカの位置に依存する。利得係数ｈ1は、先に説明したように予め決めて使用できる。Ｚlは、複数のチャネルの望ましいチャネル信号を表し、ｌ＝１，２，…，Ｋである。
望ましいダウンミックスチャネルｊの信号Ｙj（ｋ，ｉ）の計算は、
Figure 0005508550
による適正なミキシング演算によって達成される。
ミキシング加重ｍj,lは、ｌ番目のスピーカの位置に関連づけられる再生エリアの、ｊ番目のダウンミックスチャネルへの特有な空間パーティショニング（partitioning）又はマッピングを表す。
一例を挙げると、スピーカチャネルｌ、すなわち所定の再生エリアがｊ番目のダウンミックス信号に寄与すべきでない場合、対応するミキシング加重ｍj,lはゼロに設定される。
各式（２３）、式（３０）及び式（３０）と同様に、元のマイクロホン入力チャネルＸj（ｋ，ｉ）は、適切に選択された拡張フィルタによって、望ましいダウンミックスチャネルＹj（ｋ，ｉ）に近似するように修正される。
１チャネルフィルタの場合は、
Figure 0005508550
になる。
Figure 0005508550
式（４０）は、利用可能な入力マイクロホン信号が２チャンネルより多く存在する場合にも適用できることに留意されたい。結果として生じるフィルタも、推定される空間キューパラメータに依存する。しかしながら、２チャンネルより多いマイクロホン入力チャネルに基づく空間キューパラメータの推定は本発明の必須部分ではないことから、ここではこれについて論じない。
一般的なマルチチャネルダウンミックス拡張フィルタに関して必要とされる方程式は、式（３０）、（３０）と同様に導出することができる。Ｍ個のマイクロホン入力信号を想定すると、ｊ番目の望ましいダウンミックスチャネルＹj（ｋ，ｉ）は、Ｍ個の拡張フィルタを対応するマイクロホン信号Ｘm（ｋ，ｉ）へ適用することによって近似される。
Figure 0005508550
対応する望ましいダウンミックスチャネルＹj（ｋ，ｉ）は、一般化された信号モデル（３８）を用いて式（３９）から得ることができる。
マルチチャネル拡張行列Ｈj（ｋ，ｉ）の要素は、対応するウィーナ−ホップ方程式、
Figure 0005508550
を解くことによってえることができる。但し、Hはオペランドのエルミートを示す。
注意すべきことは、上述の方法は、マルチチャネル信号モデル（３８）におけるスピーカの数Ｋが多い場合は、空間キュー情報に基づく一般的なマイクロホン・クロストークの抑制器と考えることができることである。この場合、スピーカ位置は、そのまま直接音の対応するＤＯＡと考えることができる。本発明を適用すれば、１つ又は複数の抑制フィルタを用いて柔軟性のあるクロストーク抑制器を実現することができる。
８． マイクロホン信号の事前処理
これまでは、信号Ｘj（ｋ，ｉ）がマイクロホンの出力信号を表す事例のみを考察した。提案する新規概念又は方法は、これに代わって、事前処理されたマイクロホン信号にも適用することができる。図５は、対応する手法を示している。
事前処理は、元のマイクロホン入力信号に基づいて固定時間不変ビーム形成（fixed time-invariant beamforming）（例えば、非特許文献８参照）を適用することにより実現することができる。事前処理の結果として、所定のマイクロホン信号への望ましくない信号漏れの幾分かは、拡張フィルタの適用前に既に軽減することができる。
事前処理された入力チャネルを基礎とする拡張フィルタは、先に論じたフィルタと同様に、Ｘj（ｋ，ｉ）を事前処理ステージの出力信号Ｘj,mod（ｋ，ｉ）で置換することによって導出することができる。
９． 図３による装置
図３は、本発明の別の実施形態による、マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置３００を示す概略ブロック図である。
装置３００は２つのマイクロホン３０６、３０８を備え、これらは、時間−周波数領域表現Ｘ1（ｋ，ｉ）により表される第１のチャネル信号と、第２の時間−周波数表現Ｘ2（ｋ，ｉ）により表される第２のチャネル信号とを含む２チャネルマイクロホン信号３１０を生成する。装置３００は空間分析３２０も備え、これは、２チャネルマイクロホン信号３１０を受信し、かつこれに基づいて空間キューパラメータ３２２を生成する。空間分析３２０は、空間アナライザ１２０又は信号アナライザ２２０の機能を担うこともあるので、空間キューパラメータ３２２は、空間キューパラメータ１２２、又は成分エネルギー情報１２２ａ及び方向情報１２２ｂと同等物であることもある。装置３００は制御装置３１６も備え、これは、空間キューパラメータ３２２を受信し、かつ２チャネルマイクロホン信号３１０も受信する。制御ユニット３１６はまた、マルチチャネル信号モデル３１８を
受信するか、又はこのようなマルチチャネル信号モデル３１８のパラメータを備えている。制御装置３１６は、拡張フィルタパラメータ３３２をダウンミックス拡張装置３４０へ与える。制御装置３１６は、例えばフィルタ計算器１３０又はフィルタ計算器２３０の機能を担うことがあるので、拡張フィルタパラメータ３３２は拡張フィルタパラメータ１３２又は拡張フィルタパラメータ２３２と同等物であることもある。ダウンミックス拡張装置３４０は２チャネルマイクロホン信号３１０を受信し、また拡張フィルタパラメータ３３２も受信し、かつこれらに基づいて（実際の）拡張マルチチャネルダウンミックス信号３１２を生成する。拡張マルチチャネルダウンミックス信号３１２の第１のチャネル信号は
Figure 0005508550
で表され、かつ拡張マルチチャネルダウンミックス信号３１２の第２のチャネル信号は
Figure 0005508550
で表される。留意すべきは、ダウンミックス拡張装置３４０はフィルタ１４０又は２チャネルオーディオ信号プロバイダ２４０の機能を担うことがあるということである。
１０． 図５による装置
図５は、マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置５００を示す概略ブロック図である。図５による装置５００は図３による装置３００に極似するものであり、よって同一の手段及び信号は等しい参照数字で示し、説明は省略する。しかしながら、装置３００の機能ブロックに加えて、装置５００は事前処理５８０も備えている。事前処理５８０は、２チャネルマイクロホン信号３１０を受信し、かつこれに基づいてマルチチャネルマイクロホン信号の事前処理バージョン３１０’を生成する。この場合、ダウンミックス拡張３４０は、マルチチャネルマイクロホン信号３１０自体ではなく、２チャネルマイクロホン信号２１０の処理されたバージョン３１０’を受信する。また、制御装置３１６も、マルチチャネルマイクロホン信号３１０自体ではなく、マルチチャネルマイクロホン信号の処理されたバージョン３１０’を受信する。しかしながら、ダウンミックス拡張３４０及び制御装置３１６の機能は、この変形により実質的に影響されない。
１１． 図４によるダウンミックス信号へのチャネル信号の割り付け
先に論じたように、望ましいダウンミックスチャネルＹ1、Ｙ2又はその幾つかの統計的特性を導出するために用いられるダウンミックスのモデル化は、
Figure 0005508550
をチャネル信号（例えば、Ｌ（ｋ，ｉ）、Ｒ（ｋ，ｉ）、Ｃ（ｋ，ｉ）、Ｌs（ｋ，ｉ）、Ｒs（ｋ，ｉ）又はＺl（ｋ，ｉ））へマップすることと、スピーカチャネル信号をダウンミックスチャネル信号へマップすることを含む。
直接音成分と拡散音成分をスピーカチャネル信号へマップする第１のマッピングに関しては、方向依存性のマッピングを用いることができ、それは利得係数ｇlにより記述される。しかしながら、スピーカチャネル信号をダウンミックスチャネル信号へマップするマッピングに関しては、一定の想定を用いてもよく、それはダウンミックス行列により記述されることがある。図４に示されているように、スピーカチャネル信号Ｃ、Ｌ及びＬsのみが第１のダウンミックスチャネル信号Ｙ1に寄与し、かつ、スピーカチャネル信号Ｃ、Ｒ及びＲsのみがダウンミックスチャネル信号Ｙ2に寄与すると想定してもよい。図４はこれを示している。
１２． 図６による信号処理の流れ
以下、図６を参照して、本発明による一実施形態における信号処理の流れについて述べる。図６は、例えば時間周波数表現Ｘ1及びＸ2により表されるマルチチャネルマイクロホン信号から拡張フィルタパラメータＨを導出するための信号処理の流れを示す概略表示である。
処理の流れ６００は、空間分析６１０を、例えば第１のステップとして含む。空間分析６１０は空間キューパラメータの計算機能を担うことができる。したがって、直接音パワー情報（又は直接音エネルギー情報）Ｅ｛ＳＳ*｝、拡散音パワー情報（又は拡散音エネルギー情報）Ｅ｛ＮＮ*｝及び方向情報α，ａは、マルチチャネルマイクロホン信号に基づいて得ることができる。直接音パワー情報（又は直接音エネルギー情報）の導出、拡散音パワー情報（又は拡散音エネルギー情報）の導出、及び方向情報に関する詳細は先に述べた。
また処理の流れ６００は利得係数のマッピング６２０も含み、方向情報はここで複数の利得係数（例えば、利得係数ｇ1からｇ5）へマップされる。利得係数のマッピング６２０は、例えば、先に述べたように、マルチチャネル振幅パンニング法を用いて実行できる。
また処理の流れ６００はフィルタパラメータの計算６３０も含み、ここで、直接音パワー情報、拡散音パワー情報、方向情報及び利得係数から拡張フィルタパラメータＨが導出される。フィルタパラメータの計算６３０は、さらに、１つ又は複数の一定のパラメータ、例えばスピーカチャネルのダウンミックスチャネル信号への望ましいマッピングを記述するパラメータを用いてもよい。また、拡散音成分のスピーカ信号へのマッピングを記述する予め決められたパラメータを適用してもよい。
フィルタパラメータの計算は、例えば、ｗ−マッピング６３２を含む。方程式２６から方程式２９に従って実行され得るｗ−マッピングでは、中間量として作用し得る値ｗ1からｗ4を得ることができる。フィルタパラメータの計算６３０はさらにＨ−マッピング６３４を含む。Ｈ−マッピング６３４は、例えば方程式２５に従って実行することができる。Ｈ−マッピング６３４では、拡張フィルタパラメータＨを決定することができる。Ｈ−マッピングのために、マイクロホン信号のチャネルとダウンミックス信号のチャネルとの間の望ましい相互相関値Ｅ｛Ｘ1，Ｙ1 *｝、Ｅ｛Ｘ2，Ｙ2 *｝を用いることができる。これらの望ましい相互相関値は直接音パワー情報Ｅ｛ＳＳ*｝とＥ｛ＮＮ*｝に基づいて得ることができる。Ｅ｛ＳＳ*｝とＥ｛ＮＮ*｝は方程式（２５）の分子に見ることのできるようなものであり、方程式（２４）の分子と同一である。
結論を言えば、図６の処理の流れは、チャネル信号Ｘ1、Ｘ2により表されるマルチチャネルマイクロホン信号から拡張フィルタパラメータＨを導出するために適用することができる。
１３． 図７による信号処理の流れ
図７は、本発明の別の実施形態による信号処理の流れ７００を示す概略表示である。信号処理の流れ７００は、マルチチャネルマイクロホン信号から拡張フィルタパラメータＨを導出するために使用することができる。
信号処理の流れ７００は空間分析７１０を含む。空間分析７１０は空間分析６１０と同一とすることができる。また、信号処理の流れ７００は利得係数のマッピング７２０を含む。利得係数のマッピング７２０は利得係数のマッピング６２０と同一とすることができる。
信号処理の流れ７００は、フィルタパラメータの計算７３０も含む。フィルタパラメータの計算７３０はｗ−マッピング７３２を含むことができる。ｗ−マッピング７３２は、事例によってはｗ−マッピング６３２と同一とすることができる。しかしながら、適切であるようであれば、異なるｗ−マッピングを使用してもよい。
フィルタパラメータの計算７３０は望ましい相互相関の計算７３４も含み、その中で、マルチチャネルマイクロホン信号のチャネルと（望ましい）ダウンミックス信号のチャネルとの間の望ましい相互相関が計算される。この計算は、例えば、方程式３５に従って実行できる。望ましい相互相関の計算７３４では、望ましいダウンミックス信号のモデルが適用できることに留意すべきである。例えば、望ましい相互相関の計算７３４において、マルチチャネルマイクロホン信号の直接音成分が方向情報に依存して複数のスピーカ信号へどのようにマップされるべきか、に関する想定が適用できる。加えて、望ましい相互相関の計算７３４において、マルチチャネルマイクロホン信号の拡散音成分がスピーカ信号においてどのように反映されるべきか、に関する想定も評価できる。さらに、望ましい相互相関の計算７３４において、複数のスピーカチャネルのダウンミックス信号への望ましいマッピングに関する想定も適用できる。したがって、マイクロホン信号のチャネルと（望ましい）ダウンミックス信号のチャネルとの間の望ましい相互相関Ｅ｛Ｘi，Ｙj *｝は、直接音パワー情報、拡散音パワー情報、方向情報及び方向依存性利得係数（後者の情報は、中間値ｗを取得するために組み合わすことができる。）に基づいて得ることができる。
フィルタパラメータの計算７３０は、ウィーナ−ホップ方程式７３６を解くことも含み、これは、例えば方程式３３及び方程式３４に従って実行できる。この目的に沿って、ウィーナ−ホップ方程式は、直接音パワー情報、拡散音パワー情報、及びマルチチャネルマイクロホン信号のチャネルと（望ましい）ダウンミックス信号のチャネルとの間の望ましい相互相関に依存して設定できる。ウィーナ−ホップ方程式（例えば、方程式３２）の解としては、拡張フィルタパラメータＨが得られる。
上記を要約すると、いくらかの実施形態において、拡張フィルタパラメータＨの決定は、望ましい相互相関を計算するステップ、ウィーナ−ホップ方程式を設定するステップ、及びそれを解くステップ（ステップ７３６）からなる別々のステップを含むことができる。
１４． 結論
これまでの説明を要約すると、本発明による実施形態は、マイクロホン入力信号に基づいてパラメトリック空間オーディオコーダの望ましいダウンミックス信号を計算するための拡張された概念と方法を生み出す。ある重要な一例は、ステレオマイクロホン信号を、計算されたＭＰＳパラメータに対応するＭＰＥＧサラウンドダウンミックスに変換することによって与えられる。拡張ダウンミックス信号は、非特許文献２において提案されている最新技術事例に比較して、ＭＰＥＧ復号後に遙かに向上した空間オーディオ品質及び局在化特性をもたらす。本発明による簡単な一実施形態は、下記のステップ１から４を含む。
１．マイクロホン入力信号を受信するステップ、
２．空間キューパラメータを計算するステップ、
３．望ましいダウンミックスチャネルのモデル、デコーダ出力のマルチチャネルスピーカ信号モデル及び空間キューパラメータに基づいてダウンミックス拡張フィルタを決定するステップ、及び、
４．空間オーディオマイクロホンに使用するための拡張ダウンミックス信号を得るために、拡張フィルタをマイクロホン入力信号へ適用するステップ。
本発明による別の簡単な実施形態は、ダウンミックス信号を発生するための装置、方法及びコンピュータプログラムを生み出す。この装置、方法又はコンピュータプログラムは、マイクロホン信号に関する情報に基づいて、又は意図される再生装備に関する情報に基づいて拡張フィルタパラメータを計算するためのフィルタ計算器を備えている。また、この装置、方法又はコンピュータプログラムは、前記拡張フィルタパラメータを用いてマイクロホン信号を濾波して拡張ダウンミックス信号を得るためのフィルタ装置（又は濾波ステップ）を備えている。
この装置、方法又はコンピュータプログラムは、フィルタ計算器が望ましいダウンミックスチャネルのモデル、デコーダ出力のマルチチャネルスピーカ信号モデル又は空間キューパラメータに基づいて拡張フィルタパラメータを計算するように構成されていることに関して任意に改善することができる。
１５． 変形実施例
以上、幾つかの態様を装置の文脈で説明したが、これらの態様は対応方法を記述するものでもあることは明らかであり、ブロック又は装置が方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様も、対応する装置の対応するブロック、項目（item）又は特徴の説明を表す。これらの方法ステップのうちの幾つか又は全ては、例えばマイクロプロセッサ、プログラマブルコンピュータ又は電子回路のようなハードウェア装置によって（又はこれを使用して）実行することができる。実施形態によっては、最も重要な方法ステップのうちの１つ又はそれ以上がこのような装置によって実行されることもある。
本発明による符号化されたオーディオ信号は、デジタル記憶媒体に蓄積することができ、又はインターネット等の無線伝送媒体もしくは有線伝送媒体のような伝送媒体で伝送することができる。
実施の要請に応じて、本発明の実施形態はハードウェア又はソフトウェアとして実施することができ、その実施は、電子的に読取り可能な制御信号を蓄積している、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリであるデジタル記憶媒体を用いて実行することができる。これらのデジタル記憶媒体は個々の方法が実行されるようにプログラム可能コンピュータシステムと協働する（又は、協働することができる）。したがって、これらのデジタル記憶媒体はコンピュータ読取りできる。
本発明によるいくつかの実施形態は電子的に読取り可能な制御信号を有するデータキャリアを含む。それらの制御信はプログラム可能コンピュータシステムと協働できるので、本明細書に記述されている方法のうちの１つが実行される。
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができる。前記プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されると本発明の方法のうちの１つを実行するように動作可能である。プログラムコードは、例えば、機械読取り可能キャリアに蓄積することができる。
他の実施形態は、機械読取り可能キャリアに蓄積され、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを含む。
言い替えれば、本発明方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されると本明細書に記述されている方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
本発明方法のさらなる実施形態は、したがって、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを記録して有するデータキャリア（又は、デジタル記憶媒体又はコンピュータ読取り可能媒体）である。データキャリア、デジタル記憶媒体又は記録媒体は、典型的には有形及び／又は非移行性(non-transitionary)である。
本発明方法のさらなる実施形態は、したがって、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して、転送されるように構成することができる。
さらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するように構成又は適合化されている処理手段、例えばコンピュータ、又はプログラマブル論理装置を含む。
さらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムをインストールしているコンピュータを含む。
本発明によるさらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを受信機へ（例えば、電子的又は光学的に）転送するように構成されている装置又はシステムを含む。受信機は、例えば、コンピュータ、モバイル装置、メモリ装置又はこれらに類似するものとすることができる。例えば、前記装置又はシステムはコンピュータプログラムを受信機へ転送するためのファイルサーバを含むことができる。
いくつかの実施形態においては、本明細書に記述されている方法の機能のうちの幾つか、又は全てを実行するために、プログラマブル論理装置（例えば、フィールド・プログラマブル・ゲートアレイ）を使用してもよい。いくつかの実施形態においては、フィールド・プログラマブル・ゲートアレイが、本明細書に記述されている方法のうちの１つを実行するためにマイクロプロセッサと協働することができる。一般に、それらの方法は、好ましくは任意のハードウェア装置によって実行される。
これまでに述べた実施形態は、単に本発明の原理を例示するものである。本明細書に記述されている装置及び詳細の修正及び変形は当業者には明らかであることが理解される。したがって、本発明は、本明細書における実施形態の記述及び説明によって提示された特定の詳細ではなく、添付の特許請求の範囲によってのみ限定されるべきものである。

Claims (17)

  1. マルチチャネルマイクロホン信号（１１０；２１０；３１０）に基づいて拡張ダウンミックス信号（１１２；２１２；３１２）を生成するための装置（１００；２００；３００；５００）であって、
    前記マルチチャネルマイクロホン信号に基づいて、直接音の到来方向を記述する方向情報と、直接音パワー情報と、拡散音パワー情報とを含む１組の空間キューパラメータを計算するように構成されている空間アナライザ（１２０；２２０；３２０）と、
    前記直接音の到来方向を記述する前記方向情報に依存して、前記直接音パワー情報に依存して、かつ前記拡散音パワー情報に依存して拡張フィルタパラメータ（１３２；２３２；３３２）を計算するためのフィルタ計算器（１３０；２３０；３１６）と、
    前記拡張ダウンミックス信号（１１２；２１２；３１２）を得るために、前記拡張フィルタパラメータ（１３２；２３２；３３２）を用いて前記マイクロホン信号（１１０；２１０；３１０）又は前記マイクロホン信号（１１０；２１０；３１０）から導出される信号を濾波するためのフィルタ（１４０；２４０；３４０）と、を備え、
    前記フィルタ計算器は、前記拡張フィルタパラメータを、複数のスピーカ信号に対する前記マルチチャネルマイクロホン信号の直接音成分の寄与を記述する方向依存性の利得係数に依存して、かつ前記拡張ダウンミックス信号の１つ又は複数のチャネルに対する複数のオーディオチャネルの寄与を記述する１つ又は複数のダウンミックスマトリクス値に依存して計算するように構成されている装置。
  2. 前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張フィルタパラメータ（１３２；２３２；３３２）を、前記拡張ダウンミックス信号（１１２；２１２；３１２）がダウンミックス信号に近似するように計算すべく構成されている請求項１に記載の装置。
  3. 前記フィルタ計算器（１３０；２３０；３１６）は、前記空間キューパラメータに依存して、前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）のチャネル信号と前記ダウンミックス信号のチャネル信号との間の相互相関値を計算するように構成され、かつ、
    前記フィルタ計算器は、前記相互相関値に依存して前記拡張フィルタパラメータを計算するように構成されている請求項１又は２に記載の装置。
  4. 前記フィルタ計算器は、前記相互相関値を、複数のスピーカ信号に対する前記マルチチャネルマイクロホン信号の直接音成分の寄与を記述する方向依存性の利得係数に依存して計算するように構成されている請求項３に記載の装置。
  5. 前記フィルタ計算器（１３０；２３０；３１６）は、前記方向情報を１組の方向依存性利得係数へマップするように構成されている請求項４に記載の装置。
  6. 前記フィルタ計算器（１３０；２３０；３１６）は、前記相互相関値を計算するために、前記直接音パワー情報及び前記拡散音パワー情報を使用するように構成されている請求項３から５のいずれか一項に記載の装置。
  7. 前記フィルタ計算器（１３０；２３０；３１６）は、前記相互相関値を計算するために、前記方向情報に依存して前記直接音パワー情報を重み付けし、かつ前記方向情報とは独立している予め決められた重み付けを前記拡散音パワー情報に行うように構成されている請求項６に記載の装置。
  8. 前記フィルタ計算器（１３０；２３０；３１６）は、
    Figure 0005508550
    に従ってフィルタ係数Ｈ1、Ｈ2を計算するように構成され、かつ、
    前記フィルタ（１４０；２４０；３４０）は、
    Figure 0005508550
    に従って、前記拡張ダウンミックス信号（１１２；２１２；３１２）の
    Figure 0005508550
    を前記マルチチャネルマイクロホン信号の第１のチャネル信号Ｘ1（ｋ，ｉ）及び第２のチャネル信号Ｘ2（ｋ，ｉ）に依存して決定するように構成されている請求項１から７のいずれか一項に記載の装置。
    ここで、Ｅ｛ＳＳ*｝は直接音パワー情報、Ｅ｛ＮＮ*｝は拡散音パワー情報、ｗ1及びｗ2は前記方向情報（ａ）に依存する係数、ｗ3及びｗ4は拡散音利得によって決定される係数である。
  9. 前記フィルタ計算器（１３０；２３０；３１６）は、
    Figure 0005508550
    に従ってフィルタ係数（Ｈ1，Ｈ1,2，Ｈ2,1及びＨ2,2）を計算するように構成されている請求項１から７のいずれか一項に記載の装置。
    ここで、
    Figure 0005508550
    Ｘ1は前記マルチチャネルマイクロホン信号の第１のチャネル信号を示し、
    Ｘ2は前記マルチチャネルマイクロホン信号の第２のチャネル信号を示し、
    Ｅ｛・｝は短時間平均演算を示し、
    *は複素共役演算を示し、
    Ｅ｛Ｘ1Ｙ1 *｝、Ｅ｛Ｘ2Ｙ1 *｝、Ｅ｛Ｘ1Ｙ2 *｝及びＥ｛Ｘ2Ｙ2 *｝は、前記マルチチャネルマイクロホン信号のチャネル信号Ｘ1、Ｘ2と前記拡張ダウンミックス信号のチャネル信号Ｙ1、Ｙ2との間の相互相関値を示す。
  10. 前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張フィルタパラメータＨj,l（ｋ，ｉ）からＨj,M（ｋ，ｉ）を、前記拡張フィルタパラメータに従って前記マルチチャネルマイクロホン信号の前記チャネル信号を濾波することにより得られる前記拡張ダウンミックス信号（１１２；２１２；３１２）の
    Figure 0005508550
    が、類似性の統計的尺度に関して、
    Figure 0005508550
    として定義されるチャネル信号に近似するように計算すべく構成されている請求項１から９のいずれか一項に記載の装置。
    ここで、
    Figure 0005508550
    ｇ1は、前記方向情報に依存し、かつ複数のスピーカ信号（Ｚl）に対する前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）の
    Figure 0005508550
    の寄与を表す利得係数であり、
    ｈ1は、複数のスピーカ信号に対する前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）の
    Figure 0005508550
    の寄与を記述する予め定められた値である。
  11. 前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張フィルタパラメータ（１３２；２３２；３３２）を導出するためにウィーナ−ホップ方程式を評価するように構成されており、
    前記ウィーナ−ホップ方程式は、前記マルチチャネルマイクロホン信号の異なるチャネルペア間の関係性を記述する相関値Ｅ｛Ｘ1Ｘ1 *｝，Ｅ｛Ｘ1Ｘ2 *｝，Ｅ｛Ｘ2Ｘ1 *｝，Ｅ｛Ｘ2Ｘ2 *｝と、拡張フィルタパラメータと、前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）のチャネル信号と前記ダウンミックス信号のチャネル信号との間の相互相関値と、の間の関係性を記述するものである請求項１から１０のいずれか一項に記載の装置。
  12. 前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張フィルタパラメータ（１３２；２３２；３３２）をダウンミックスチャネルのモデルに依存して計算するように構成されている請求項１から１１のいずれか一項に記載の装置。
  13. 前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張ダウンミックス信号（１１２；２１２；３１２）の第１のチャネルが前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）の第１のチャネルの濾波によって導出され、かつ前記拡張ダウンミックス信号の第２のチャネルが前記マルチチャネルマイクロホン信号の第２のチャネルの濾波によって導出され、その間、前記マルチチャネルマイクロホン信号の前記第１のチャネルから前記拡張ダウンミックス信号の前記第２のチャネルへのクロストーク及び前記マルチチャネルマイクロホン信号の前記第２のチャネルから前記拡張ダウンミックス信号の前記第１のチャネルへのクロストークが回避される１チャネルのフィルタリング、又は、
    拡張ダウンミックス信号の第１のチャネルが前記マルチチャネルマイクロホン信号の第１及び第２のチャネルを濾波することにより導出され、かつ前記拡張ダウンミックス信号の第２のチャネルが前記マルチチャネルマイクロホン信号の第１及び第２のチャネルを濾波することにより導出される２チャネルのフィルタリングを、
    前記マルチチャネルマイクロホン信号の前記第１のチャネルと前記マルチチャネルマイクロホン信号の前記第２のチャネルとの間の相関性を記述する相関値に依存して選択的に実行するように構成されている請求項１から１２のいずれか一項に記載の装置。
  14. マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を生成するための方法であって、
    前記マルチチャネルマイクロホン信号に基づいて、直接音の到来方向を記述する方向情報、直接音パワー情報及び拡散音パワー情報を含む１組の空間キューパラメータを計算することと、
    前記直接音の前記到来方向を記述する前記方向情報に依存して、前記直接音パワー情報に依存して、かつ前記拡散音パワー情報に依存して拡張フィルタパラメータを計算することと、
    前記拡張ダウンミックス信号を取得するために、前記拡張フィルタパラメータを用いて前記マイクロホン信号又は前記マイクロホン信号から導出される信号を濾波することを含み、
    前記拡張フィルタパラメータを、複数のスピーカ信号に対する前記マルチチャネルマイクロホン信号の直接音成分の寄与を記述する方向依存性の利得係数に依存して、かつ前記拡張ダウンミックス信号の１つ又は複数のチャネルに対する複数のオーディオチャネルの寄与を記述する１つ又は複数のダウンミックスマトリクス値に依存して計算する方法。
  15. マルチチャネルマイクロホン信号（１１０；２１０；３１０）に基づいて拡張ダウンミックス信号（１１２；２１２；３１２）を生成するための装置（１００；２００；３００；５００）であって、
    前記マルチチャネルマイクロホン信号に基づいて、直接音の到来方向を記述する方向情報と、直接音パワー情報と、拡散音パワー情報とを含む１組の空間キューパラメータを計算するように構成されている空間アナライザ（１２０；２２０；３２０）と、
    前記直接音の到来方向を記述する前記方向情報に依存して、前記直接音パワー情報に依存して、かつ前記拡散音パワー情報に依存して拡張フィルタパラメータ（１３２；２３２；３３２）を計算するためのフィルタ計算器（１３０；２３０；３１６）と、
    前記拡張ダウンミックス信号（１１２；２１２；３１２）を得るために、前記拡張フィルタパラメータ（１３２；２３２；３３２）を用いて前記マイクロホン信号（１１０；２１０；３１０）又は前記マイクロホン信号（１１０；２１０；３１０）から導出される信号を濾波するためのフィルタ（１４０；２４０；３４０）と、を備え、
    前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張ダウンミックス信号（１１２；２１２；３１２）の第１のチャネルが前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）の第１のチャネルの濾波によって導出され、かつ前記拡張ダウンミックス信号の第２のチャネルが前記マルチチャネルマイクロホン信号の第２のチャネルの濾波によって導出され、その間、前記マルチチャネルマイクロホン信号の前記第１のチャネルから前記拡張ダウンミックス信号の前記第２のチャネルへのクロストーク及び前記マルチチャネルマイクロホン信号の前記第２のチャネルから前記拡張ダウンミックス信号の前記第１のチャネルへのクロストークが回避される１チャネルのフィルタリング、又は、
    拡張ダウンミックス信号の第１のチャネルが前記マルチチャネルマイクロホン信号の第１及び第２のチャネルを濾波することにより導出され、かつ前記拡張ダウンミックス信号の第２のチャネルが前記マルチチャネルマイクロホン信号の第１及び第２のチャネルを濾波することにより導出される２チャネルのフィルタリングを、
    前記マルチチャネルマイクロホン信号の前記第１のチャネルと前記マルチチャネルマイクロホン信号の前記第２のチャネルとの間の相関性を記述する相関値に依存して選択的に実行するように構成されている装置。
  16. マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を生成するための方法であって、
    前記マルチチャネルマイクロホン信号に基づいて、直接音の到来方向を記述する方向情報、直接音パワー情報及び拡散音パワー情報を含む１組の空間キューパラメータを計算することと、
    前記直接音の前記到来方向を記述する前記方向情報に依存して、前記直接音パワー情報に依存して、かつ前記拡散音パワー情報に依存して拡張フィルタパラメータを計算することと、
    前記拡張ダウンミックス信号を取得するために、前記拡張フィルタパラメータを用いて前記マイクロホン信号又は前記マイクロホン信号から導出される信号を濾波することを含み、
    該方法は、前記拡張ダウンミックス信号（１１２；２１２；３１２）の第１のチャネルが前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）の第１のチャネルの濾波によって導出され、かつ前記拡張ダウンミックス信号の第２のチャネルが前記マルチチャネルマイクロホン信号の第２のチャネルの濾波によって導出され、その間、前記マルチチャネルマイクロホン信号の前記第１のチャネルから前記拡張ダウンミックス信号の前記第２のチャネルへのクロストーク及び前記マルチチャネルマイクロホン信号の前記第２のチャネルから前記拡張ダウンミックス信号の前記第１のチャネルへのクロストークが回避される１チャネルのフィルタリング、又は、
    拡張ダウンミックス信号の第１のチャネルが前記マルチチャネルマイクロホン信号の第１及び第２のチャネルを濾波することにより導出され、かつ前記拡張ダウンミックス信号の第２のチャネルが前記マルチチャネルマイクロホン信号の第１及び第２のチャネルを濾波することにより導出される２チャネルのフィルタリングを、
    前記マルチチャネルマイクロホン信号の前記第１のチャネルと前記マルチチャネルマイクロホン信号の前記第２のチャネルとの間の相関性を記述する相関値に依存して選択的に実行する工程を含んでいる方法。
  17. コンピュータに請求項１４又は１６に記載の方法を実行させるためのコンピュータプログラム。
JP2012554287A 2010-02-24 2011-02-15 拡張ダウンミックス信号を発生するための装置、拡張ダウンミックス信号を発生するための方法及びコンピュータプログラム Active JP5508550B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US30755310P 2010-02-24 2010-02-24
US61/307,553 2010-02-24
PCT/EP2011/052246 WO2011104146A1 (en) 2010-02-24 2011-02-15 Apparatus for generating an enhanced downmix signal, method for generating an enhanced downmix signal and computer program

Publications (2)

Publication Number Publication Date
JP2013520691A JP2013520691A (ja) 2013-06-06
JP5508550B2 true JP5508550B2 (ja) 2014-06-04

Family

ID=43652304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012554287A Active JP5508550B2 (ja) 2010-02-24 2011-02-15 拡張ダウンミックス信号を発生するための装置、拡張ダウンミックス信号を発生するための方法及びコンピュータプログラム

Country Status (12)

Country Link
US (1) US9357305B2 (ja)
EP (1) EP2539889B1 (ja)
JP (1) JP5508550B2 (ja)
KR (1) KR101410575B1 (ja)
CN (2) CN103811010B (ja)
AU (1) AU2011219918B2 (ja)
BR (1) BR112012021369B1 (ja)
CA (1) CA2790956C (ja)
ES (1) ES2605248T3 (ja)
MX (1) MX2012009785A (ja)
RU (1) RU2586851C2 (ja)
WO (1) WO2011104146A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
CN104054126B (zh) * 2012-01-19 2017-03-29 皇家飞利浦有限公司 空间音频渲染和编码
EP2665208A1 (en) * 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
CN103596116B (zh) * 2012-08-15 2015-06-03 华平信息技术股份有限公司 一种视频会议系统中自动调节实现立体声效果的方法
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
US9955277B1 (en) 2012-09-26 2018-04-24 Foundation For Research And Technology-Hellas (F.O.R.T.H.) Institute Of Computer Science (I.C.S.) Spatial sound characterization apparatuses, methods and systems
US10149048B1 (en) 2012-09-26 2018-12-04 Foundation for Research and Technology—Hellas (F.O.R.T.H.) Institute of Computer Science (I.C.S.) Direction of arrival estimation and sound source enhancement in the presence of a reflective surface apparatuses, methods, and systems
US10136239B1 (en) 2012-09-26 2018-11-20 Foundation For Research And Technology—Hellas (F.O.R.T.H.) Capturing and reproducing spatial sound apparatuses, methods, and systems
US9554203B1 (en) 2012-09-26 2017-01-24 Foundation for Research and Technolgy—Hellas (FORTH) Institute of Computer Science (ICS) Sound source characterization apparatuses, methods and systems
US10175335B1 (en) 2012-09-26 2019-01-08 Foundation For Research And Technology-Hellas (Forth) Direction of arrival (DOA) estimation apparatuses, methods, and systems
US20160210957A1 (en) 2015-01-16 2016-07-21 Foundation For Research And Technology - Hellas (Forth) Foreground Signal Suppression Apparatuses, Methods, and Systems
ES2742853T3 (es) * 2013-03-05 2020-02-17 Fraunhofer Ges Forschung Aparato y procedimiento para la descomposición directa-ambiental de multicanal para el procesamiento de señales de audio
US9767819B2 (en) * 2013-04-11 2017-09-19 Nuance Communications, Inc. System for automatic speech recognition and audio entertainment
PL3028474T3 (pl) 2013-07-30 2019-06-28 Dts, Inc. Dekoder matrycowy z panoramowaniem parami o stałej mocy
JP6612753B2 (ja) * 2013-11-27 2019-11-27 ディーティーエス・インコーポレイテッド 高チャンネル数マルチチャンネルオーディオのためのマルチプレットベースのマトリックスミキシング
EP2884491A1 (en) * 2013-12-11 2015-06-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Extraction of reverberant sound using microphone arrays
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
EP2942981A1 (en) * 2014-05-05 2015-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System, apparatus and method for consistent acoustic scene reproduction based on adaptive functions
BR112016026283B1 (pt) 2014-05-13 2022-03-22 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Aparelho, método e sistema de panning da amplitude de atenuação da banda
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
CN106688248B (zh) * 2014-09-09 2020-04-14 搜诺思公司 音频处理算法和数据库
DE102015203855B3 (de) * 2015-03-04 2016-09-01 Carl Von Ossietzky Universität Oldenburg Vorrichtung und Verfahren zum Ansteuern des Dynamikkompressors und Verfahren zum Ermitteln von Verstärkungswerten für einen Dynamikkompressor
BR112017020262B1 (pt) * 2015-03-27 2023-05-09 Fraunhofer - Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Aparelho e método para processar sinais estéreo para reprodução em carros para alcançar som tridimensional individual por alto-falantes frontais
GB2540175A (en) 2015-07-08 2017-01-11 Nokia Technologies Oy Spatial audio processing apparatus
EP3531714B1 (en) 2015-09-17 2022-02-23 Sonos Inc. Facilitating calibration of an audio playback device
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
US11432095B1 (en) * 2019-05-29 2022-08-30 Apple Inc. Placement of virtual speakers based on room layout
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US11234072B2 (en) 2016-02-18 2022-01-25 Dolby Laboratories Licensing Corporation Processing of microphone signals for spatial playback
KR102151682B1 (ko) 2016-03-23 2020-09-04 구글 엘엘씨 다중채널 음성 인식을 위한 적응성 오디오 강화
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
CN106024001A (zh) * 2016-05-03 2016-10-12 电子科技大学 一种提高麦克风阵列语音增强性能的方法
US11589181B1 (en) * 2016-06-07 2023-02-21 Philip Raymond Schaefer System and method for realistic rotation of stereo or binaural audio
US11032660B2 (en) * 2016-06-07 2021-06-08 Philip Schaefer System and method for realistic rotation of stereo or binaural audio
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
GB2559765A (en) 2017-02-17 2018-08-22 Nokia Technologies Oy Two stage audio focus for spatial audio processing
CN106960672B (zh) * 2017-03-30 2020-08-21 国家计算机网络与信息安全管理中心 一种立体声音频的带宽扩展方法与装置
GB201718341D0 (en) * 2017-11-06 2017-12-20 Nokia Technologies Oy Determination of targeted spatial audio parameters and associated spatial audio playback
CN110047478B (zh) * 2018-01-16 2021-06-08 中国科学院声学研究所 基于空间特征补偿的多通道语音识别声学建模方法及装置
GB2572650A (en) 2018-04-06 2019-10-09 Nokia Technologies Oy Spatial audio parameters and associated spatial audio playback
GB2574239A (en) 2018-05-31 2019-12-04 Nokia Technologies Oy Signalling of spatial audio parameters
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
CN109326296B (zh) * 2018-10-25 2022-03-18 东南大学 一种非自由场条件下的散射声有源控制方法
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307405A (en) 1992-09-25 1994-04-26 Qualcomm Incorporated Network echo canceller
DE4320990B4 (de) * 1993-06-05 2004-04-29 Robert Bosch Gmbh Verfahren zur Redundanzreduktion
US5978473A (en) 1995-12-27 1999-11-02 Ericsson Inc. Gauging convergence of adaptive filters
US6973184B1 (en) * 2000-07-11 2005-12-06 Cisco Technology, Inc. System and method for stereo conferencing over low-bandwidth links
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US20050078831A1 (en) * 2001-12-05 2005-04-14 Roy Irwan Circuit and method for enhancing a stereo signal
EP1500084B1 (en) * 2002-04-22 2008-01-23 Koninklijke Philips Electronics N.V. Parametric representation of spatial audio
JP4247037B2 (ja) * 2003-01-29 2009-04-02 株式会社東芝 音声信号処理方法と装置及びプログラム
WO2004084577A1 (en) * 2003-03-21 2004-09-30 Technische Universiteit Delft Circular microphone array for multi channel audio recording
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
ATE521143T1 (de) 2005-02-23 2011-09-15 Ericsson Telefon Ab L M Adaptive bitzuweisung für die mehrkanal- audiokodierung
KR100588218B1 (ko) * 2005-03-31 2006-06-08 엘지전자 주식회사 모노 보강 스테레오 시스템 및 그 신호 처리 방법
WO2007034806A1 (ja) * 2005-09-22 2007-03-29 Pioneer Corporation 信号処理装置、信号処理方法、信号処理プログラムおよびコンピュータに読み取り可能な記録媒体
WO2007111568A2 (en) * 2006-03-28 2007-10-04 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for a decoder for multi-channel surround sound
ES2362920T3 (es) * 2006-03-28 2011-07-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Método mejorado para la conformación de señales en reconstrucción de audio multicanal.
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
CN101617360B (zh) * 2006-09-29 2012-08-22 韩国电子通信研究院 用于编码和解码具有各种声道的多对象音频信号的设备和方法
MY145497A (en) * 2006-10-16 2012-02-29 Dolby Sweden Ab Enhanced coding and parameter representation of multichannel downmixed object coding
US8290167B2 (en) * 2007-03-21 2012-10-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
BR122020009732B1 (pt) * 2008-05-23 2021-01-19 Koninklijke Philips N.V. Método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de downmix mono com base em parâmetros espaciais, meio legível por computador não transitório, aparelho de downmix estéreo paramétrico para a geração de um sinal de downmix mono a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais e método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais
WO2009156906A1 (en) * 2008-06-25 2009-12-30 Koninklijke Philips Electronics N.V. Audio processing
US8155714B2 (en) 2008-06-28 2012-04-10 Microsoft Corporation Portable media player having a flip form factor
US8023660B2 (en) * 2008-09-11 2011-09-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues
EP2347410B1 (en) * 2008-09-11 2018-04-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues
IL195613A0 (en) 2008-11-30 2009-09-01 S P F Productions Ltd Compact gear motor assembly
EP2393463B1 (en) * 2009-02-09 2016-09-21 Waves Audio Ltd. Multiple microphone based directional sound filter
WO2010092913A1 (ja) * 2009-02-13 2010-08-19 日本電気株式会社 多チャンネル音響信号処理方法、そのシステム及びプログラム
EP2249334A1 (en) 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio format transcoder

Also Published As

Publication number Publication date
CN103811010A (zh) 2014-05-21
EP2539889A1 (en) 2013-01-02
BR112012021369B1 (pt) 2021-11-16
CN103811010B (zh) 2017-04-12
US20130216047A1 (en) 2013-08-22
ES2605248T3 (es) 2017-03-13
AU2011219918B2 (en) 2013-11-28
EP2539889B1 (en) 2016-08-24
CA2790956A1 (en) 2011-09-01
US9357305B2 (en) 2016-05-31
RU2586851C2 (ru) 2016-06-10
MX2012009785A (es) 2012-11-23
AU2011219918A1 (en) 2012-09-27
CN102859590A (zh) 2013-01-02
RU2012140890A (ru) 2014-08-20
WO2011104146A1 (en) 2011-09-01
KR101410575B1 (ko) 2014-06-23
KR20120128143A (ko) 2012-11-26
BR112012021369A2 (pt) 2020-10-27
CN102859590B (zh) 2015-08-19
CA2790956C (en) 2017-01-17
JP2013520691A (ja) 2013-06-06

Similar Documents

Publication Publication Date Title
JP5508550B2 (ja) 拡張ダウンミックス信号を発生するための装置、拡張ダウンミックス信号を発生するための方法及びコンピュータプログラム
JP5511136B2 (ja) マルチチャネルシンセサイザ制御信号を発生するための装置および方法並びにマルチチャネル合成のための装置および方法
JP5520300B2 (ja) マイクロホン信号に基づいて一組の空間手がかりを供給する装置、方法およびコンピュータ・プログラムと２チャンネルのオーディオ信号および一組の空間手がかりを供給する装置
JP5156386B2 (ja) 空間音声のパラメトリック符号化のためのコンパクトなサイド情報
US8023660B2 (en) Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues
JP5587551B2 (ja) オーディオ符号化
US8019350B2 (en) Audio coding using de-correlated signals
JP5222279B2 (ja) マルチチャネルオーディオ再構成における信号整形のための改善された方法
JP6047240B2 (ja) 空間オーディオ信号の異なる再生スピーカ設定に対するセグメント毎の調整
JP5189979B2 (ja) 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御
JP4712799B2 (ja) マルチチャネル出力信号を発生するためのマルチチャネルシンセサイザおよび方法
JP5081838B2 (ja) オーディオ符号化及び復号
RU2696952C2 (ru) Аудиокодировщик и декодер

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131024

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140320

R150 Certificate of patent or registration of utility model

Ref document number: 5508550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250