JP7437493B2 - スペクトル直交オーディオ成分処理 - Google Patents
スペクトル直交オーディオ成分処理 Download PDFInfo
- Publication number
- JP7437493B2 JP7437493B2 JP2022521286A JP2022521286A JP7437493B2 JP 7437493 B2 JP7437493 B2 JP 7437493B2 JP 2022521286 A JP2022521286 A JP 2022521286A JP 2022521286 A JP2022521286 A JP 2022521286A JP 7437493 B2 JP7437493 B2 JP 7437493B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- mid
- residual
- hypermid
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 211
- 230000003595 spectral effect Effects 0.000 claims description 158
- 238000000034 method Methods 0.000 claims description 86
- 238000001914 filtration Methods 0.000 claims description 59
- 230000005236 sound signal Effects 0.000 claims description 49
- 230000001419 dependent effect Effects 0.000 claims description 25
- 238000010801 machine learning Methods 0.000 claims description 22
- 238000012546 transfer Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 22
- 230000003111 delayed effect Effects 0.000 claims description 18
- 230000001934 delay Effects 0.000 claims description 4
- 239000004615 ingredient Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 description 35
- 238000004088 simulation Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000001755 vocal effect Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 230000004044 response Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 9
- 238000004091 panning Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000003447 ipsilateral effect Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 241001342895 Chorus Species 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
- H04R3/14—Cross-over networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Discrete Mathematics (AREA)
- Algebra (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Description
図1は、1つまたは複数の実施形態による、オーディオ処理システム100のブロック図である。オーディオ処理システム100は、空間的に増強された出力オーディオ信号を生成するために、入力オーディオ信号を処理する回路である。入力オーディオ信号は、左入力チャンネル103と、右入力チャンネル105とを含み、出力オーディオ信号は、左出力チャンネル121と、右出力チャンネル123とを含む。オーディオ処理システム100は、L/RからM/Sへの変換器モジュール107と、直交成分ジェネレータモジュール113と、直交成分プロセッサモジュール117と、M/SからL/Rへの変換器モジュール119と、クロストークプロセッサモジュール141とを含む。いくつかの実施形態においては、オーディオ処理システム100は、上で述べられたコンポーネントのサブセット、および/または上で述べられたそれらに対する追加コンポーネントを含む。いくつかの実施形態においては、オーディオ処理システム100は、図1に示されるものとは異なる順序で、入力オーディオ信号を処理する。例えば、オーディオ処理システム100は、直交成分ジェネレータモジュール113および直交成分プロセッサモジュール117を使用する処理の前に、クロストーク処理を用いて、入力オーディオを処理し得る。
図2A~図2Cは、それぞれ、1つまたは複数の実施形態による直交成分ジェネレータモジュール213、223、245のブロック図である。直交成分ジェネレータモジュール213、223、245は、直交成分ジェネレータモジュール113の例である。
図3は、1つまたは複数の実施形態による、直交成分プロセッサモジュール317のブロック図である。直交成分プロセッサモジュール317は、直交成分プロセッサモジュール117の例である。直交成分プロセッサモジュール317は、サブバンド空間処理および/またはクロストーク補償処理ユニット320と、加算ユニット325と、加算ユニット330とを含み得る。直交成分プロセッサモジュール317は、ハイパーミッド成分M1、残差ミッド成分M2、ハイパーサイド成分S1、および残差サイド成分S2のうちの少なくとも1つに対して、サブバンド空間処理および/またはクロストーク補償処理を実行する。サブバンド空間処理および/またはクロストーク補償処理320の結果として、直交成分プロセッサモジュール317は、処理されたM1、処理されたM2、処理されたS1、および処理されたS2のうちの少なくとも1つを出力する。加算ユニット325は、処理されたミッド成分131を生成するために、処理されたM1と処理されたM2とを加算し、加算ユニット330は、処理されたサイド成分139を生成するために、処理されたS1と処理されたS2とを加算する。
図4は、1つまたは複数の実施形態による、サブバンド空間プロセッサモジュール410のブロック図である。サブバンド空間プロセッサモジュール410は、直交成分プロセッサモジュール317の例である。サブバンド空間プロセッサモジュール410は、ミッドEQフィルタ404(1)と、ミッドEQフィルタ404(2)と、ミッドEQフィルタ404(3)と、ミッドEQフィルタ404(4)と、サイドEQフィルタ406(1)と、サイドEQフィルタ406(2)と、サイドEQフィルタ406(3)と、サイドEQフィルタ406(4)とを含む。いくつかの実施形態においては、サブバンド空間プロセッサモジュール410は、本明細書において説明されるものに加えて、および/またはそれの代わりに、コンポーネントを含む。
図5は、1つまたは複数の実施形態による、クロストーク補償プロセッサモジュール510のブロック図である。クロストーク補償プロセッサモジュール510は、直交成分プロセッサモジュール317の例である。クロストーク補償プロセッサモジュール510は、ミッド成分プロセッサ520と、サイド成分プロセッサ530とを含む。クロストーク補償プロセッサモジュール510は、非空間成分Ymと、空間成分Ysとを受信し、(例えば、後続または先行する)クロストーク処理によって引き起こされるスペクトル不良を補償するために、これらの成分のうちの1つまたは複数にフィルタを適用する。非空間成分Ymは、ハイパーミッド成分M1、または残差ミッド成分M2であり得る。空間成分Ysは、ハイパーサイド成分S1、または残差サイド成分S2であり得る。
図6は、1つまたは複数の実施形態による、クロストークシミュレーションプロセッサモジュール600のブロック図である。図1に関して述べられたように、いくつかの実施形態においては、オーディオ処理システム100は、処理された左成分151と、処理された右成分159とにクロストーク処理を適用するクロストークプロセッサモジュール141を含む。クロストーク処理は、例えば、クロストークシミュレーション、およびクロストークキャンセレーションを含む。いくつかの実施形態においては、クロストークプロセッサモジュール141は、クロストークシミュレーションプロセッサモジュール600を含む。クロストークシミュレーションプロセッサモジュール600は、ステレオヘッドホンに出力するための対側サウンド成分を生成し、それによって、ヘッドホンにおいてラウドスピーカに似たリスニング体験を提供する。左入力チャンネルXLは、処理された左成分151であり得て、右入力チャンネルXRは、処理された右成分159であり得る。いくつかの実施形態においては、クロストークシミュレーションは、直交成分処理の前に実行され得る。
GdB=-3.0-log1.333(D) 式(5)
SL=D[GL,In*F[TL,In’]] 式(6)
SR=D[GR,In*F[TR,In’]] 式(7)
図8は、1つまたは複数の実施形態による、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分の少なくとも1つを使用する、空間処理のためのプロセスのフローチャートである。空間処理は、とりわけ、ゲイン適用、振幅または遅延ベースのパニング、バイノーラル処理、リバーブレーション、圧縮および制限などのダイナミックレンジ処理、線形または非線形オーディオ処理技法およびエフェクト、コーラスエフェクト、フランジングエフェクト、ボーカルまたはインストルメンタルスタイル転送、変換、または再合成に対する機械学習ベースの手法を含み得る。プロセスは、空間的に増強されたオーディオを、ユーザのデバイスに提供するために実行され得る。プロセスは、より少ないステップまたは追加のステップを含み得て、ステップは、異なる順序で実行され得る。
図9は、1つまたは複数の実施形態による、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分のうちの少なくとも1つを使用する、サブバンド空間処理およびクロストークに対する補償処理のためのプロセスのフローチャートである。クロストーク処理は、クロストークキャンセレーション、またはクロストークシミュレーションを含み得る。サブバンド空間処理は、ラウドスピーカのロケーションに対応する空間内の特定の地点ではなく、広いエリアからサウンドがリスナに向けられている知覚を生み出すこと(例えば、音場エンハンスメント)などによる、増強された空間検出性をオーディオコンテンツに提供し、それによって、より没入感のあるリスニング体験をリスナに生み出す。クロストークシミュレーションは、対側クロストークを伴ったラウドスピーカ体験をシミュレートするために、ヘッドホンに出力されるオーディオに対して使用され得る。クロストークキャンセレーションは、クロストーク干渉の影響を除去するために、ラウドスピーカに出力されるオーディオに対して使用され得る。クロストーク補償は、クロストークキャンセレーションまたはクロストークシミュレーションによって引き起こされるスペクトル不良を補償する。プロセスは、より少ないステップまたは追加のステップを含み得て、ステップは、異なる順序で実行され得る。ハイパーおよび残差ミッド/サイド成分は、異なる目的のためには異なる方法で操作されることができる。例えば、クロストーク補償のケースにおいては、クロストーク処理からもたらされるスペクトルアーチファクトを、その成分だけにおいて除去するように努める際に、(多くの映画コンテンツにおけるボーカルダイアログエネルギーの大部分が発生する)ハイパーミッド成分M1だけに、目標とされるサブバンドフィルタリングが適用される。クロストーク処理を伴うまたは伴わない音場エンハンスメントのケースにおいては、目標とされるサブバンドゲインが、残差ミッド成分M2と、残差サイド成分S2とに適用され得る。例えば、残差ミッド成分M2は、減衰させられ得て、残差サイド成分S2は、反対に増幅させられ得て、最終的なL/R信号における知覚的ラウドネスの劇的な全体的変化を生じさせず、一方で、(例えば、ボーカルエネルギーの大部分をしばしば含む、信号のその部分である)ハイパーミッドM1成分における減衰も回避しながら、ゲインの観点から、これらの成分間の距離を増加させる(それは、上手に行われた場合、空間検出性を増加させることができる)。
図10~図19は、1つまたは複数の実施形態による、例示的なホワイトノイズ信号のミッド成分およびサイド成分のスペクトルエネルギーを示すプロットである。
図20は、1つまたは複数の実施形態による、コンピュータシステム2000のブロック図である。コンピュータシステム2000は、オーディオ処理システムを実施する回路の例である。チップセット2004に結合された、少なくとも1つのプロセッサ2002が、例示されている。チップセット2004は、メモリコントローラハブ2020と、入出力(I/O)コントローラハブ2022とを含む。メモリ2006、およびグラフィックスアダプタ2012が、メモリコントローラハブ2020に結合され、ディスプレイデバイス2018が、グラフィックスアダプタ2012に結合される。ストレージデバイス2008、キーボード2010、ポインティングデバイス2014、およびネットワークアダプタ2016が、I/Oコントローラハブ2022に結合される。コンピュータシステム2000は、様々なタイプの入力デバイスまたは出力デバイスを含み得る。コンピュータシステム2000の他の実施形態は、異なるアーキテクチャを有する。例えば、メモリ2006は、いくつかの実施形態においては、プロセッサ2002に直接的に結合される。
開示された構成の例示的な利益および利点は、デバイスおよび関連付けられたオーディオレンダリングシステムに適応した、増強されたオーディオシステム、ならびに(例えば、オーディオ信号が、ゲーム用ではなく、音楽再生用に使用されることを示す)使用事例情報など、デバイスOSによって利用可能にされる他の関連情報に起因する、動的オーディオエンハンスメントを含む。増強されたオーディオシステムは、(例えば、ソフトウェア開発キットを使用して)デバイスに統合され得、またはオンデマンドでアクセス可能なように、リモートサーバ上に記憶され得る。このように、デバイスは、それのオーディオレンダリングシステムまたはオーディオレンダリング構成に固有の、オーディオエンハンスメントシステムのメンテナンスのために、ストレージまたは処理リソースを割く必要がない。いくつかの実施形態においては、増強されたオーディオシステムは、様々なレベルの利用可能なデバイス固有のレンダリング情報にわたって、効果的なオーディオエンハンスメントが、適用されることができるように、レンダリングシステム情報についての様々なレベルの問い合わせを可能にする。
Claims (78)
- オーディオ信号を処理するためのシステムであって、
回路であって、
前記オーディオ信号の左チャンネルおよび右チャンネルから、ミッド成分と、サイド成分とを生成し、
周波数領域における前記ミッド成分の大きさから、前記周波数領域における前記サイド成分の大きさを減算することにより、前記ミッド成分のスペクトルエネルギーから前記サイド成分のスペクトルエネルギーを除去することにより、ハイパーミッド成分を生成し、
前記ハイパーミッド成分をフィルタリングし、
前記フィルタリングされたハイパーミッド成分を使用して、左出力チャンネルと、右出力チャンネルとを生成する
ように構成された回路
を備えるシステム。 - 前記回路は、前記ミッド成分および前記サイド成分にフーリエ変換を適用し、前記ミッド成分および前記サイド成分を前記周波数領域に変換するようにさらに構成される、
請求項1に記載のシステム。 - 前記回路が、前記ハイパーミッド成分をフィルタリングするように構成されることは、前記回路が、前記ハイパーミッド成分のサブバンドをゲイン調整すること、または時間遅延させることのうちの少なくとも一方を行うように構成されることを含む請求項1に記載のシステム。
- 前記回路が、前記ハイパーミッド成分をフィルタリングするように構成されることは、前記回路が、前記ハイパーミッド成分にダイナミックレンジ処理を適用するように構成されることを含む請求項1に記載のシステム。
- 前記回路が、前記ハイパーミッド成分をフィルタリングするように構成されることは、前記回路が、前記ハイパーミッド成分の周波数依存振幅または周波数依存遅延を調整するように構成されることを含む請求項1に記載のシステム。
- 前記回路が、前記ハイパーミッド成分をフィルタリングするように構成されることは、前記回路が、前記ハイパーミッド成分に、機械学習ベースのスタイル転送、変換、または再合成を適用するように構成されることを含む請求項1に記載のシステム。
- 前記回路は、
前記ミッド成分の前記スペクトルエネルギーから前記ハイパーミッド成分のスペクトルエネルギーを除去することにより、残差ミッド成分を生成し、
前記残差ミッド成分をフィルタリングし、
前記フィルタリングされた残差ミッド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ようにさらに構成される請求項1に記載のシステム。 - 前記回路が、前記残差ミッド成分をフィルタリングするように構成されることは、前記回路が、前記残差ミッド成分のサブバンドをゲイン調整すること、または時間遅延させることのうちの少なくとも一方を行うように構成されることを含む請求項7に記載のシステム。
- 前記回路が、前記残差ミッド成分をフィルタリングするように構成されることは、前記回路が、前記残差ミッド成分にダイナミックレンジ処理を適用するように構成されることを含む請求項7に記載のシステム。
- 前記回路が、前記残差ミッド成分をフィルタリングするように構成されることは、前記回路が、前記残差ミッド成分の周波数依存振幅または周波数依存遅延を調整するように構成されることを含む請求項7に記載のシステム。
- 前記回路が、前記残差ミッド成分をフィルタリングするように構成されることは、前記回路が、前記残差ミッド成分に、機械学習ベースのスタイル転送、変換、または再合成を適用するように構成されることを含む請求項7に記載のシステム。
- 前記回路は、前記ミッド成分にフーリエ変換を適用し、前記ミッド成分を周波数領域に変換するようにさらに構成され
前記回路が、前記ミッド成分の前記スペクトルエネルギーから前記ハイパーミッド成分のスペクトルエネルギーを除去することにより、前記残差ミッド成分を生成するように構成されることは、前記回路が、前記周波数領域における前記ミッド成分の大きさから、前記周波数領域における前記ハイパーミッド成分の大きさを減算するように構成されることを含む
請求項7に記載のシステム。 - 前記回路は、
前記ハイパーミッド成分に対して逆フーリエ変換を適用し、周波数領域における前記ハイパーミッド成分を時間領域に変換し、
前記ミッド成分を時間遅延させることによって、遅延させたミッド成分を生成し、
前記時間領域における前記遅延させたミッド成分から、前記時間領域における前記ハイパーミッド成分を減算することによって、残差ミッド成分を生成し、
前記残差ミッド成分をフィルタリングし、
前記フィルタリングされた残差ミッド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ようにさらに構成される請求項1に記載のシステム。 - 前記回路は、
前記サイド成分の前記スペクトルエネルギーから前記ミッド成分の前記スペクトルエネルギーを除去することにより、ハイパーサイド成分を生成し、
前記ハイパーサイド成分をフィルタリングし、
前記フィルタリングされたハイパーサイド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ようにさらに構成される請求項1に記載のシステム。 - 前記回路は、前記ミッド成分および前記サイド成分にフーリエ変換を適用し、前記ミッド成分および前記サイド成分を前記周波数領域に変換するようにさらに構成され、
前記回路が、前記サイド成分の前記スペクトルエネルギーから前記ミッド成分の前記スペクトルエネルギーを除去することにより、前記ハイパーサイド成分を生成するように構成されることは、前記回路が、前記周波数領域における前記サイド成分の大きさから、前記周波数領域における前記ミッド成分の大きさを減算するように構成されることを含む
請求項14に記載のシステム。 - 前記回路が、前記ハイパーサイド成分をフィルタリングするように構成されることは、前記回路が、前記ハイパーサイド成分のサブバンドをゲイン調整すること、または時間遅延させることのうちの少なくとも一方を行うように構成されることを含む請求項14に記載のシステム。
- 前記回路が、前記ハイパーサイド成分をフィルタリングするように構成されることは、前記回路が、前記ハイパーサイド成分にダイナミックレンジ処理を適用するように構成されることを含む請求項14に記載のシステム。
- 前記回路が、前記ハイパーサイド成分をフィルタリングするように構成されることは、前記回路が、前記ハイパーサイド成分の周波数依存振幅または周波数依存遅延を調整するように構成されることを含む請求項14に記載のシステム。
- 前記回路が、前記ハイパーサイド成分をフィルタリングするように構成されることは、前記回路が、前記ハイパーサイド成分に、機械学習ベースのスタイル転送、変換、または再合成を適用するように構成されることを含む請求項14に記載のシステム。
- 前記回路は、
前記サイド成分の前記スペクトルエネルギーから前記ミッド成分の前記スペクトルエネルギーを除去することにより、ハイパーサイド成分を生成し、
前記サイド成分の前記スペクトルエネルギーから前記ハイパーサイド成分のスペクトルエネルギーを除去することにより、残差サイド成分を生成し、
前記残差サイド成分をフィルタリングし、
前記フィルタリングされた残差サイド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ようにさらに構成される請求項1に記載のシステム。 - 前記回路が、前記残差サイド成分をフィルタリングするように構成されることは、前記回路が、前記残差サイド成分のサブバンドをゲイン調整すること、または時間遅延させることのうちの少なくとも一方を行うように構成されることを含む請求項20に記載のシステム。
- 前記回路が、前記残差サイド成分をフィルタリングするように構成されることは、前記回路が、前記残差サイド成分にダイナミックレンジ処理を適用するように構成されることを含む請求項20に記載のシステム。
- 前記回路が、前記残差サイド成分をフィルタリングするように構成されることは、前記回路が、前記残差サイド成分の周波数依存振幅または周波数依存遅延を調整するように構成されることを含む請求項20に記載のシステム。
- 前記回路が、前記残差サイド成分をフィルタリングするように構成されることは、前記回路が、前記残差サイド成分に、機械学習ベースのスタイル転送、変換、または再合成を適用するように構成されることを含む請求項20に記載のシステム。
- 前記回路は、前記サイド成分にフーリエ変換を適用し、前記サイド成分を前記周波数領域に変換するようにさらに構成され、
前記回路が、前記サイド成分の前記スペクトルエネルギーから前記ハイパーサイド成分の前記スペクトルエネルギーを除去することにより、前記残差サイド成分を生成するように構成されることは、前記回路が、前記周波数領域における前記サイド成分の大きさから、前記周波数領域における前記ハイパーサイド成分の大きさを減算するように構成されることを含む
請求項20に記載のシステム。 - 前記回路は、
前記サイド成分の前記スペクトルエネルギーから前記ミッド成分の前記スペクトルエネルギーを除去することにより、ハイパーサイド成分を生成し、
前記ハイパーサイド成分に対して逆フーリエ変換を適用し、周波数領域における前記ハイパーミッド成分を時間領域に変換し、
前記サイド成分を時間遅延させることによって、遅延させたサイド成分を生成し、
前記時間領域における前記遅延させたサイド成分から、前記時間領域における前記ハイパーサイド成分を減算することによって、残差サイド成分を生成し、
前記残差サイド成分をフィルタリングし、
前記フィルタリングされた残差サイド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ようにさらに構成される請求項1に記載のシステム。 - 記憶されたプログラムコードを備える、非一時的なコンピュータ可読媒体であって、前記プログラムコードは、少なくとも1つのプロセッサによって実行されたとき、
オーディオ信号の左チャンネルおよび右チャンネルから、ミッド成分と、サイド成分とを生成し、
周波数領域における前記ミッド成分の大きさから、前記周波数領域における前記サイド成分の大きさを減算することにより、前記ミッド成分のスペクトルエネルギーから前記サイド成分のスペクトルエネルギーを除去することにより、ハイパーミッド成分を生成し、
前記ハイパーミッド成分をフィルタリングし、
前記フィルタリングされたハイパーミッド成分を使用して、左出力チャンネルと、右出力チャンネルとを生成する
ように、前記少なくとも1つのプロセッサを構成する非一時的なコンピュータ可読媒体。 - 前記プログラムコードは、前記ミッド成分および前記サイド成分にフーリエ変換を適用し、前記ミッド成分および前記サイド成分を前記周波数領域に変換するように、前記少なくとも1つのプロセッサをさらに構成する、
請求項27に記載の非一時的なコンピュータ可読媒体。 - 前記ハイパーミッド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記ハイパーミッド成分のサブバンドをゲイン調整すること、または時間遅延させることのうちの少なくとも一方を行うように、前記少なくとも1つのプロセッサをさらに構成する請求項27に記載の非一時的なコンピュータ可読媒体。
- 前記ハイパーミッド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記ハイパーミッド成分にダイナミックレンジ処理を適用するように、前記少なくとも1つのプロセッサをさらに構成する請求項27に記載の非一時的なコンピュータ可読媒体。
- 前記ハイパーミッド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記ハイパーミッド成分の周波数依存振幅または周波数依存遅延を調整するように、前記少なくとも1つのプロセッサをさらに構成する請求項27に記載の非一時的なコンピュータ可読媒体。
- 前記ハイパーミッド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記ハイパーミッド成分に、機械学習ベースのスタイル転送、変換、または再合成を適用するように、前記少なくとも1つのプロセッサをさらに構成する請求項27に記載の非一時的なコンピュータ可読媒体。
- 前記プログラムコードは、
前記ミッド成分の前記スペクトルエネルギーから前記ハイパーミッド成分のスペクトルエネルギーを除去することにより、残差ミッド成分を生成し、
前記残差ミッド成分をフィルタリングし、
前記フィルタリングされた残差ミッド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ように、前記少なくとも1つのプロセッサをさらに構成する請求項27に記載の非一時的なコンピュータ可読媒体。 - 前記残差ミッド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記残差ミッド成分のサブバンドをゲイン調整すること、または時間遅延させることのうちの少なくとも一方を行うように、前記少なくとも1つのプロセッサをさらに構成する請求項33に記載の非一時的なコンピュータ可読媒体。
- 前記残差ミッド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記残差ミッド成分にダイナミックレンジ処理を適用するように、前記少なくとも1つのプロセッサをさらに構成する請求項33に記載の非一時的なコンピュータ可読媒体。
- 前記残差ミッド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記残差ミッド成分の周波数依存振幅または周波数依存遅延を調整するように、前記少なくとも1つのプロセッサをさらに構成する請求項33に記載の非一時的なコンピュータ可読媒体。
- 前記残差ミッド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記残差ミッド成分に、機械学習ベースのスタイル転送、変換、または再合成を適用するように、前記少なくとも1つのプロセッサをさらに構成する請求項33に記載の非一時的なコンピュータ可読媒体。
- 前記プログラムコードは、前記ミッド成分にフーリエ変換を適用し、前記ミッド成分を前記周波数領域に変換するように、前記少なくとも1つのプロセッサをさらに構成し、
前記ミッド成分の前記スペクトルエネルギーから前記ハイパーミッド成分のスペクトルエネルギーを除去することにより、前記残差ミッド成分を生成するように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記周波数領域における前記ミッド成分の大きさから、前記周波数領域における前記ハイパーミッド成分の大きさを減算するように、前記少なくとも1つのプロセッサをさらに構成する
請求項33に記載の非一時的なコンピュータ可読媒体。 - 前記プログラムコードは、
前記ハイパーミッド成分に対して逆フーリエ変換を適用し、周波数領域における前記ハイパーミッド成分を時間領域に変換し、
前記ミッド成分を時間遅延させることによって、遅延させたミッド成分を生成し、
前記時間領域における前記遅延させたミッド成分から、前記時間領域における前記ハイパーミッド成分を減算することによって、残差ミッド成分を生成し、
前記残差ミッド成分をフィルタリングし、
前記フィルタリングされた残差ミッド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ように、前記少なくとも1つのプロセッサをさらに構成する請求項27に記載の非一時的なコンピュータ可読媒体。 - 前記プログラムコードは、
前記サイド成分の前記スペクトルエネルギーから前記ミッド成分の前記スペクトルエネルギーを除去することにより、ハイパーサイド成分を生成し、
前記ハイパーサイド成分をフィルタリングし、
前記フィルタリングされたハイパーサイド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ように、前記少なくとも1つのプロセッサをさらに構成する請求項27に記載の非一時的なコンピュータ可読媒体。 - 前記プログラムコードは、前記ミッド成分および前記サイド成分にフーリエ変換を適用し、前記ミッド成分および前記サイド成分を前記周波数領域に変換するように、前記少なくとも1つのプロセッサをさらに構成し、
前記サイド成分の前記スペクトルエネルギーから前記ミッド成分の前記スペクトルエネルギーを除去することにより、前記ハイパーサイド成分を生成するように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記周波数領域における前記サイド成分の大きさから、前記周波数領域における前記ミッド成分の大きさを減算するように、前記少なくとも1つのプロセッサをさらに構成する
請求項40に記載の非一時的なコンピュータ可読媒体。 - 前記ハイパーサイド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記ハイパーサイド成分のサブバンドをゲイン調整すること、または時間遅延させることのうちの少なくとも一方を行うように、前記少なくとも1つのプロセッサを構成する、プログラムコードを含む請求項40に記載の非一時的なコンピュータ可読媒体。
- 前記ハイパーサイド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記ハイパーサイド成分にダイナミックレンジ処理を適用するように、前記少なくとも1つのプロセッサを構成する、プログラムコードを含む請求項40に記載の非一時的なコンピュータ可読媒体。
- 前記ハイパーサイド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記ハイパーサイド成分の周波数依存振幅または周波数依存遅延を調整するように、前記少なくとも1つのプロセッサを構成する、プログラムコードを含む請求項40に記載の非一時的なコンピュータ可読媒体。
- 前記ハイパーサイド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記ハイパーサイド成分に、機械学習ベースのスタイル転送、変換、または再合成を適用するように、前記少なくとも1つのプロセッサを構成する、プログラムコードを含む請求項40に記載の非一時的なコンピュータ可読媒体。
- 前記プログラムコードは、
前記サイド成分の前記スペクトルエネルギーから前記ミッド成分の前記スペクトルエネルギーを除去することにより、ハイパーサイド成分を生成し、
前記サイド成分の前記スペクトルエネルギーから前記ハイパーサイド成分のスペクトルエネルギーを除去することにより、残差サイド成分を生成し、
前記残差サイド成分をフィルタリングし、
前記フィルタリングされた残差サイド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ように、前記少なくとも1つのプロセッサをさらに構成する請求項27に記載の非一時的なコンピュータ可読媒体。 - 前記残差サイド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記残差サイド成分のサブバンドをゲイン調整すること、または時間遅延させることのうちの少なくとも一方を行うように、前記少なくとも1つのプロセッサをさらに構成する請求項46に記載の非一時的なコンピュータ可読媒体。
- 前記残差サイド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記残差サイド成分にダイナミックレンジ処理を適用するように、前記少なくとも1つのプロセッサをさらに構成する請求項46に記載の非一時的なコンピュータ可読媒体。
- 前記残差サイド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記残差サイド成分の周波数依存振幅または周波数依存遅延を調整するように、前記少なくとも1つのプロセッサをさらに構成する請求項46に記載の非一時的なコンピュータ可読媒体。
- 前記残差サイド成分をフィルタリングするように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記残差サイド成分に、機械学習ベースのスタイル転送、変換、または再合成を適用するように、前記少なくとも1つのプロセッサをさらに構成する請求項46に記載の非一時的なコンピュータ可読媒体。
- 前記プログラムコードは、前記サイド成分にフーリエ変換を適用し、前記サイド成分を前記周波数領域に変換するように、前記少なくとも1つのプロセッサをさらに構成し、
前記サイド成分の前記スペクトルエネルギーから前記ハイパーサイド成分の前記スペクトルエネルギーを除去することにより、前記残差サイド成分を生成するように、前記少なくとも1つのプロセッサを構成する、前記プログラムコードは、前記周波数領域における前記サイド成分の大きさから、前記周波数領域における前記ハイパーサイド成分の大きさを減算するように、前記少なくとも1つのプロセッサをさらに構成する
請求項46に記載の非一時的なコンピュータ可読媒体。 - 前記プログラムコードは、
前記サイド成分の前記スペクトルエネルギーから前記ミッド成分の前記スペクトルエネルギーを除去することにより、ハイパーサイド成分を生成し、
前記ハイパーサイド成分に対して逆フーリエ変換を適用し、周波数領域における前記ハイパーサイド成分を時間領域に変換し、
前記サイド成分を時間遅延させることによって、遅延させたサイド成分を生成し、
前記時間領域における前記遅延させたサイド成分から、前記時間領域における前記ハイパーサイド成分を減算することによって、残差サイド成分を生成し、
前記残差サイド成分をフィルタリングし、
前記フィルタリングされた残差サイド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ように、前記少なくとも1つのプロセッサをさらに構成する請求項27に記載の非一時的なコンピュータ可読媒体。 - オーディオ信号を処理するための方法であって、回路によって、
オーディオ信号の左チャンネルおよび右チャンネルから、ミッド成分と、サイド成分とを生成するステップと、
周波数領域における前記ミッド成分の大きさから、前記周波数領域における前記サイド成分の大きさを減算することにより、前記ミッド成分のスペクトルエネルギーから前記サイド成分のスペクトルエネルギーを除去することにより、ハイパーミッド成分を生成するステップと、
前記ハイパーミッド成分をフィルタリングするステップと、
前記フィルタリングされたハイパーミッド成分を使用して、左出力チャンネルと、右出力チャンネルとを生成するステップと
を含む方法。 - 前記方法は、前記回路によって、前記ミッド成分および前記サイド成分にフーリエ変換を適用し、前記ミッド成分および前記サイド成分を前記周波数領域に変換するステップをさらに含み、
前記ハイパーミッド成分を生成するステップは、ステップを含む、
請求項53に記載の方法。 - 前記ハイパーミッド成分をフィルタリングするステップは、前記ハイパーミッド成分のサブバンドをゲイン調整するステップ、または時間遅延させるステップのうちの少なくとも一方を含む請求項53に記載の方法。
- 前記ハイパーミッド成分をフィルタリングするステップは、前記ハイパーミッド成分にダイナミックレンジ処理を適用するステップを含む請求項53に記載の方法。
- 前記ハイパーミッド成分をフィルタリングするステップは、前記ハイパーミッド成分の周波数依存振幅または周波数依存遅延を調整するステップを含む請求項53に記載の方法。
- 前記ハイパーミッド成分をフィルタリングするステップは、前記ハイパーミッド成分に、機械学習ベースのスタイル転送、変換、または再合成を適用するステップを含む請求項53に記載の方法。
- 前記回路によって、
前記ミッド成分の前記スペクトルエネルギーから前記ハイパーミッド成分のスペクトルエネルギーを除去することにより、残差ミッド成分を生成するステップと、
前記残差ミッド成分をフィルタリングするステップと、
前記フィルタリングされた残差ミッド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成するステップと
をさらに含む請求項53に記載の方法。 - 前記残差ミッド成分をフィルタリングするステップは、前記残差ミッド成分のサブバンドをゲイン調整するステップ、または時間遅延させるステップのうちの少なくとも一方を含む請求項59に記載の方法。
- 前記残差ミッド成分をフィルタリングするステップは、前記残差ミッド成分にダイナミックレンジ処理を適用するステップを含む請求項59に記載の方法。
- 前記残差ミッド成分をフィルタリングするステップは、前記残差ミッド成分の周波数依存振幅または周波数依存遅延を調整するステップを含む請求項59に記載の方法。
- 前記残差ミッド成分をフィルタリングするステップは、前記残差ミッド成分に、機械学習ベースのスタイル転送、変換、または再合成を適用するステップを含む請求項59に記載の方法。
- 前記方法は、前記ミッド成分にフーリエ変換を適用し、前記ミッド成分を前記周波数領域に変換するステップをさらに含み、
前記ミッド成分の前記スペクトルエネルギーから前記ハイパーミッド成分のスペクトルエネルギーを除去することにより、前記残差ミッド成分を生成するステップは、前記周波数領域における前記ミッド成分の大きさから、前記周波数領域における前記ハイパーミッド成分の大きさを減算するステップを含む
請求項59に記載の方法。 - 前記回路によって、
前記ハイパーミッド成分に対して逆フーリエ変換を適用し、前記周波数領域における前記ハイパーミッド成分を時間領域に変換するステップと、
前記ミッド成分を時間遅延させることによって、遅延させたミッド成分を生成するステップと、
前記時間領域における前記遅延させたミッド成分から、前記時間領域における前記ハイパーミッド成分を減算することによって、残差ミッド成分を生成するステップと、
前記残差ミッド成分をフィルタリングするステップと、
前記フィルタリングされた残差ミッド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成するステップと
をさらに含む請求項53に記載の方法。 - 前記回路によって、
前記サイド成分の前記スペクトルエネルギーから前記ミッド成分の前記スペクトルエネルギーを除去することにより、ハイパーサイド成分を生成するステップと、
前記ハイパーサイド成分をフィルタリングするステップと、
前記フィルタリングされたハイパーサイド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成するステップと
をさらに含む請求項53に記載の方法。 - 前記方法は、前記回路によって、前記ミッド成分および前記サイド成分にフーリエ変換を適用し、前記ミッド成分および前記サイド成分を前記周波数領域に変換するステップをさらに含み、
前記サイド成分の前記スペクトルエネルギーから前記ミッド成分の前記スペクトルエネルギーを除去することにより、前記ハイパーサイド成分を生成するステップは、前記周波数領域における前記サイド成分の大きさから、前記周波数領域における前記ミッド成分の大きさを減算するステップを含む
請求項66に記載の方法。 - 前記ハイパーサイド成分をフィルタリングするステップは、前記ハイパーサイド成分のサブバンドをゲイン調整するステップ、または時間遅延させるステップのうちの少なくとも一方を含む請求項66に記載の方法。
- 前記ハイパーサイド成分をフィルタリングするステップは、前記ハイパーサイド成分にダイナミックレンジ処理を適用するステップを含む請求項66に記載の方法。
- 前記ハイパーサイド成分をフィルタリングするステップは、前記ハイパーサイド成分の周波数依存振幅または周波数依存遅延を調整するステップを含む請求項66に記載の方法。
- 前記ハイパーサイド成分をフィルタリングするステップは、前記ハイパーサイド成分に、機械学習ベースのスタイル転送、変換、または再合成を適用するステップを含む請求項66に記載の方法。
- 前記サイド成分の前記スペクトルエネルギーから前記ミッド成分の前記スペクトルエネルギーを除去することにより、ハイパーサイド成分を生成するステップと、
前記サイド成分の前記スペクトルエネルギーから前記ハイパーサイド成分のスペクトルエネルギーを除去することにより、残差サイド成分を生成するステップと、
前記残差サイド成分をフィルタリングするステップと、
前記フィルタリングされた残差サイド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成するステップと
をさらに含む請求項53に記載の方法。 - 前記残差サイド成分をフィルタリングするステップは、前記残差サイド成分のサブバンドをゲイン調整するステップ、または時間遅延させるステップのうちの少なくとも一方をさらに含む請求項72に記載の方法。
- 前記残差サイド成分をフィルタリングするステップは、前記残差サイド成分にダイナミックレンジ処理を適用するステップをさらに含む請求項72に記載の方法。
- 前記残差サイド成分をフィルタリングするステップは、前記残差サイド成分の周波数依存振幅または周波数依存遅延を調整するステップをさらに含む請求項72に記載の方法。
- 前記残差サイド成分をフィルタリングするステップは、前記残差サイド成分に、機械学習ベースのスタイル転送、変換、または再合成を適用するステップをさらに含む請求項72に記載の方法。
- 前記方法は、前記サイド成分にフーリエ変換を適用し、前記サイド成分を前記周波数領域に変換するステップをさらに含み、
前記サイド成分の前記スペクトルエネルギーから前記ハイパーサイド成分の前記スペクトルエネルギーを除去することにより、前記残差サイド成分を生成するステップは、前記周波数領域における前記サイド成分の大きさから、前記周波数領域における前記ハイパーサイド成分の大きさを減算するステップをさらに含む
請求項72に記載の方法。 - 前記サイド成分の前記スペクトルエネルギーから前記ミッド成分の前記スペクトルエネルギーを除去することにより、ハイパーサイド成分を生成するステップと、
前記ハイパーサイド成分に対して逆フーリエ変換を適用し、前記周波数領域における前記ハイパーサイド成分を時間領域に変換するステップと、
前記サイド成分を時間遅延させることによって、遅延させたサイド成分を生成するステップと、
前記時間領域における前記遅延させたサイド成分から、前記時間領域における前記ハイパーサイド成分を減算することによって、残差サイド成分を生成するステップと、
前記残差サイド成分をフィルタリングするステップと、
前記フィルタリングされた残差サイド成分を使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成するステップと
をさらに含む請求項53に記載の方法。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962913661P | 2019-10-10 | 2019-10-10 | |
US62/913,661 | 2019-10-10 | ||
US201962939364P | 2019-11-22 | 2019-11-22 | |
US62/939,364 | 2019-11-22 | ||
US16/983,817 | 2020-08-03 | ||
US16/983,817 US11432069B2 (en) | 2019-10-10 | 2020-08-03 | Spectrally orthogonal audio component processing |
US16/983,827 | 2020-08-03 | ||
US16/983,827 US11032644B2 (en) | 2019-10-10 | 2020-08-03 | Subband spatial and crosstalk processing using spectrally orthogonal audio components |
PCT/US2020/045669 WO2021071576A1 (en) | 2019-10-10 | 2020-08-10 | Spectrally orthogonal audio component processing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022551872A JP2022551872A (ja) | 2022-12-14 |
JP7437493B2 true JP7437493B2 (ja) | 2024-02-22 |
Family
ID=75382323
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022521286A Active JP7437493B2 (ja) | 2019-10-10 | 2020-08-10 | スペクトル直交オーディオ成分処理 |
JP2022521288A Active JP7410282B2 (ja) | 2019-10-10 | 2020-08-10 | スペクトル直交オーディオ成分を用いたサブバンド空間処理およびクロストーク処理 |
JP2023215971A Pending JP2024026465A (ja) | 2019-10-10 | 2023-12-21 | スペクトル直交オーディオ成分を用いたサブバンド空間処理およびクロストーク処理 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022521288A Active JP7410282B2 (ja) | 2019-10-10 | 2020-08-10 | スペクトル直交オーディオ成分を用いたサブバンド空間処理およびクロストーク処理 |
JP2023215971A Pending JP2024026465A (ja) | 2019-10-10 | 2023-12-21 | スペクトル直交オーディオ成分を用いたサブバンド空間処理およびクロストーク処理 |
Country Status (7)
Country | Link |
---|---|
US (3) | US11432069B2 (ja) |
EP (2) | EP4042719A4 (ja) |
JP (3) | JP7437493B2 (ja) |
KR (2) | KR102660704B1 (ja) |
CN (2) | CN114846820A (ja) |
TW (2) | TWI765325B (ja) |
WO (2) | WO2021071576A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11432069B2 (en) * | 2019-10-10 | 2022-08-30 | Boomcloud 360, Inc. | Spectrally orthogonal audio component processing |
US11832079B2 (en) * | 2021-03-30 | 2023-11-28 | Harman Becker Automotive Systems Gmbh | System and method for providing stereo image enhancement of a multi-channel loudspeaker setup |
US20230025801A1 (en) * | 2021-07-08 | 2023-01-26 | Boomcloud 360 Inc. | Colorless generation of elevation perceptual cues using all-pass filter networks |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010534012A (ja) | 2007-07-19 | 2010-10-28 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 強化された知覚的品質を備えたステレオ信号を生成する方法及び装置 |
JP2014523174A (ja) | 2011-07-05 | 2014-09-08 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | スペクトル重みジェネレータを使用する周波数領域処理を用いてステレオ録音を分解するための方法および装置 |
US20170208411A1 (en) | 2016-01-18 | 2017-07-20 | Boomcloud 360, Inc. | Subband spatial and crosstalk cancellation for audio reproduction |
JP2018536342A (ja) | 2015-10-27 | 2018-12-06 | アンビディオ,インコーポレイテッド | サウンドステージ拡張のための機器及び方法 |
WO2019118194A1 (en) | 2017-12-15 | 2019-06-20 | Boomcloud 360, Inc. | Subband spatial processing and crosstalk cancellation system for conferencing |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6118876A (en) * | 1995-09-07 | 2000-09-12 | Rep Investment Limited Liability Company | Surround sound speaker system for improved spatial effects |
US8619998B2 (en) | 2006-08-07 | 2013-12-31 | Creative Technology Ltd | Spatial audio enhancement processing method and apparatus |
JP4315180B2 (ja) | 2006-10-20 | 2009-08-19 | ソニー株式会社 | 信号処理装置および方法、プログラム、並びに記録媒体 |
US20080232601A1 (en) | 2007-03-21 | 2008-09-25 | Ville Pulkki | Method and apparatus for enhancement of audio reconstruction |
EP2144228A1 (en) * | 2008-07-08 | 2010-01-13 | Siemens Medical Instruments Pte. Ltd. | Method and device for low-delay joint-stereo coding |
US8379940B2 (en) * | 2009-06-02 | 2013-02-19 | George Mason Intellectual Properties, Inc. | Robust human authentication using holistic anthropometric and appearance-based features and boosting |
US20120076307A1 (en) * | 2009-06-05 | 2012-03-29 | Koninklijke Philips Electronics N.V. | Processing of audio channels |
JP5493817B2 (ja) * | 2009-12-17 | 2014-05-14 | 沖電気工業株式会社 | エコーキャンセラ |
JP5604275B2 (ja) | 2010-12-02 | 2014-10-08 | 富士通テン株式会社 | 相関低減方法、音声信号変換装置および音響再生装置 |
US9031268B2 (en) | 2011-05-09 | 2015-05-12 | Dts, Inc. | Room characterization and correction for multi-channel audio |
US9883318B2 (en) * | 2013-06-12 | 2018-01-30 | Bongiovi Acoustics Llc | System and method for stereo field enhancement in two-channel audio systems |
CN105917674B (zh) * | 2013-10-30 | 2019-11-22 | 华为技术有限公司 | 用于处理音频信号的方法和移动装置 |
US9654894B2 (en) | 2013-10-31 | 2017-05-16 | Conexant Systems, Inc. | Selective audio source enhancement |
JP6251809B2 (ja) | 2013-12-13 | 2017-12-20 | アンビディオ,インコーポレイテッド | サウンドステージ拡張用の装置及び方法 |
EP3132617B1 (en) | 2014-08-13 | 2018-10-17 | Huawei Technologies Co. Ltd. | An audio signal processing apparatus |
WO2016054098A1 (en) * | 2014-09-30 | 2016-04-07 | Nunntawi Dynamics Llc | Method for creating a virtual acoustic stereo system with an undistorted acoustic center |
EP3251116A4 (en) | 2015-01-30 | 2018-07-25 | DTS, Inc. | System and method for capturing, encoding, distributing, and decoding immersive audio |
EP3067886A1 (en) * | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal |
EP3067889A1 (en) * | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for signal-adaptive transform kernel switching in audio coding |
NZ750171A (en) * | 2016-01-18 | 2022-04-29 | Boomcloud 360 Inc | Subband spatial and crosstalk cancellation for audio reproduction |
CN108781331B (zh) | 2016-01-19 | 2020-11-06 | 云加速360公司 | 用于头戴式扬声器的音频增强 |
CA2985019C (en) | 2016-02-17 | 2022-05-03 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Post-processor, pre-processor, audio encoder, audio decoder and related methods for enhancing transient processing |
CN109644315A (zh) * | 2017-02-17 | 2019-04-16 | 无比的优声音科技公司 | 用于缩混多声道音频信号的设备和方法 |
GB2562518A (en) | 2017-05-18 | 2018-11-21 | Nokia Technologies Oy | Spatial audio processing |
US10499153B1 (en) * | 2017-11-29 | 2019-12-03 | Boomcloud 360, Inc. | Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems |
US10511909B2 (en) * | 2017-11-29 | 2019-12-17 | Boomcloud 360, Inc. | Crosstalk cancellation for opposite-facing transaural loudspeaker systems |
US10547927B1 (en) * | 2018-07-27 | 2020-01-28 | Mimi Hearing Technologies GmbH | Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices |
US10547926B1 (en) | 2018-07-27 | 2020-01-28 | Mimi Hearing Technologies GmbH | Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices |
EP3693846A1 (en) * | 2019-02-06 | 2020-08-12 | Nokia Technologies Oy | An apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user |
US11432069B2 (en) * | 2019-10-10 | 2022-08-30 | Boomcloud 360, Inc. | Spectrally orthogonal audio component processing |
-
2020
- 2020-08-03 US US16/983,817 patent/US11432069B2/en active Active
- 2020-08-03 US US16/983,827 patent/US11032644B2/en active Active
- 2020-08-10 CN CN202080085475.9A patent/CN114846820A/zh active Pending
- 2020-08-10 WO PCT/US2020/045669 patent/WO2021071576A1/en unknown
- 2020-08-10 EP EP20874711.3A patent/EP4042719A4/en active Pending
- 2020-08-10 JP JP2022521286A patent/JP7437493B2/ja active Active
- 2020-08-10 KR KR1020227015442A patent/KR102660704B1/ko active IP Right Grant
- 2020-08-10 JP JP2022521288A patent/JP7410282B2/ja active Active
- 2020-08-10 CN CN202080085638.3A patent/CN114830693A/zh active Pending
- 2020-08-10 EP EP20875327.7A patent/EP4042721A4/en active Pending
- 2020-08-10 WO PCT/US2020/045670 patent/WO2021071577A1/en unknown
- 2020-08-10 KR KR1020227015445A patent/KR20220080146A/ko unknown
- 2020-08-26 TW TW109129072A patent/TWI765325B/zh active
- 2020-08-26 TW TW109129071A patent/TWI750781B/zh active
-
2022
- 2022-08-17 US US17/890,213 patent/US20220408188A1/en active Pending
-
2023
- 2023-12-21 JP JP2023215971A patent/JP2024026465A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010534012A (ja) | 2007-07-19 | 2010-10-28 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 強化された知覚的品質を備えたステレオ信号を生成する方法及び装置 |
JP2014523174A (ja) | 2011-07-05 | 2014-09-08 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | スペクトル重みジェネレータを使用する周波数領域処理を用いてステレオ録音を分解するための方法および装置 |
JP2018536342A (ja) | 2015-10-27 | 2018-12-06 | アンビディオ,インコーポレイテッド | サウンドステージ拡張のための機器及び方法 |
US20170208411A1 (en) | 2016-01-18 | 2017-07-20 | Boomcloud 360, Inc. | Subband spatial and crosstalk cancellation for audio reproduction |
WO2019118194A1 (en) | 2017-12-15 | 2019-06-20 | Boomcloud 360, Inc. | Subband spatial processing and crosstalk cancellation system for conferencing |
Also Published As
Publication number | Publication date |
---|---|
JP2022551873A (ja) | 2022-12-14 |
TW202115715A (zh) | 2021-04-16 |
US11032644B2 (en) | 2021-06-08 |
WO2021071577A1 (en) | 2021-04-15 |
EP4042719A4 (en) | 2023-10-18 |
CN114846820A (zh) | 2022-08-02 |
US20220408188A1 (en) | 2022-12-22 |
JP7410282B2 (ja) | 2024-01-09 |
US20210112339A1 (en) | 2021-04-15 |
WO2021071576A1 (en) | 2021-04-15 |
EP4042721A1 (en) | 2022-08-17 |
KR20220080146A (ko) | 2022-06-14 |
EP4042721A4 (en) | 2023-11-29 |
US11432069B2 (en) | 2022-08-30 |
US20210112340A1 (en) | 2021-04-15 |
TW202116077A (zh) | 2021-04-16 |
JP2024026465A (ja) | 2024-02-28 |
TWI765325B (zh) | 2022-05-21 |
KR102660704B1 (ko) | 2024-04-24 |
TWI750781B (zh) | 2021-12-21 |
EP4042719A1 (en) | 2022-08-17 |
CN114830693A (zh) | 2022-07-29 |
KR20220076518A (ko) | 2022-06-08 |
JP2022551872A (ja) | 2022-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7437493B2 (ja) | スペクトル直交オーディオ成分処理 | |
JP7370415B2 (ja) | 空間オーディオ信号のクロストーク処理のためのスペクトル欠陥補償 | |
JP6865885B2 (ja) | サブバンド空間オーディオエンハンスメント | |
KR20240060678A (ko) | 스펙트럼적 직교 오디오 성분 처리 | |
US20230022072A1 (en) | Colorless generation of elevation perceptual cues using all-pass filter networks | |
JP2006005414A (ja) | 擬似ステレオ信号生成装置および擬似ステレオ信号生成プログラム | |
CN117678014A (zh) | 使用全通滤波器网络的仰角感知线索的无色生成 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220715 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7437493 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |