JP6215478B2 - 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 - Google Patents
少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 Download PDFInfo
- Publication number
- JP6215478B2 JP6215478B2 JP2016543161A JP2016543161A JP6215478B2 JP 6215478 B2 JP6215478 B2 JP 6215478B2 JP 2016543161 A JP2016543161 A JP 2016543161A JP 2016543161 A JP2016543161 A JP 2016543161A JP 6215478 B2 JP6215478 B2 JP 6215478B2
- Authority
- JP
- Japan
- Prior art keywords
- channel
- reverberation
- binaural
- downmix
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004044 response Effects 0.000 title claims description 138
- 238000012545 processing Methods 0.000 claims description 65
- 239000011159 matrix material Substances 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 44
- 238000001914 filtration Methods 0.000 claims description 25
- 230000003111 delayed effect Effects 0.000 claims description 24
- 238000002156 mixing Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 15
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 description 36
- 230000001419 dependent effect Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 19
- 238000009877 rendering Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000000354 decomposition reaction Methods 0.000 description 12
- 238000004091 panning Methods 0.000 description 11
- 230000001934 delay Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 230000002238 attenuated effect Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 210000003454 tympanic membrane Anatomy 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
- G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S3/004—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Description
本願は2014年4月29日に出願された中国特許出願第201410178258.0号、2014年1月3日に出願された米国仮特許出願第61/923,579号および2014年5月5日に出願された米国仮特許出願第61/988,617号の優先権を主張するものである。各出願の内容はここに参照によってその全体において組み込まれる。
1.発明の分野
本発明は、入力信号のチャネルの集合の各チャネルに(たとえば全チャネルに)バイノーラル室内インパルス応答(BRIR: Binaural Room Impulse Response)を適用することによって、マルチチャネル・オーディオ入力信号に応答してバイノーラル信号を生成するための方法(時にヘッドフォン仮想化方法と称される)およびシステムに関する。いくつかの実施形態では、少なくとも一つのフィードバック遅延ネットワーク(FDN: feedback delay network)がダウンミックスBRIRの後期残響部分を前記チャネルのダウンミックスに適用する。
ヘッドフォン仮想化(またはバイノーラル・レンダリング)は、標準的なステレオ・ヘッドフォンを使ってサラウンド・サウンド経験または没入的な音場を送達することをねらいとする技術である。
実際の部屋のDLRにマッチする周波数依存の直接対後期比(DLR: direct-to-late ratio)を制御する(目標DLRおよび残響減衰時間、たとえばT60に基づいて、必要とされるスケーリング因子を計算するために、単純なモデルが使用されてもよい);
過剰なコーミング(combing)アーチファクトおよび/または低周波数のごろごろ音(low-frequency rumble)を緩和するための低周波数減衰を提供する;および/または
FDN応答に拡散場スペクトル整形(diffuse field spectral shaping)を適用するためである。
前記ダウンミックスを受領するよう結合された入力をもつ入力フィルタであって、該入力フィルタは前記ダウンミックスに応答して第一のフィルタリングされたダウンミックスを生成するよう構成されている、入力フィルタと;
前記第一のフィルタリングされたダウンミックスに応答して第二のフィルタリングされたダウンミックスをするよう結合され、構成された全域通過フィルタと;
第一の出力および第二の出力をもつ残響適用サブシステムであって、前記残響適用サブシステムは残響タンクの集合を含み、各残響タンクは異なる遅延をもち、該残響適用サブシステムは、前記第二のフィルタリングされたダウンミックスに応答して第一の未混合バイノーラル・チャネルおよび第二の未混合バイノーラル・チャネルを生成し、前記第一の未混合バイノーラル・チャネルを前記第一の出力において呈し、前記第二の未混合バイノーラル・チャネルを前記第二の出力において呈するよう結合され、構成されている、残響適用サブシステムと;
前記残響適用サブシステムに結合され、前記第一の未混合バイノーラル・チャネルおよび第二の未混合バイノーラル・チャネルに応答して第一の混合済みバイノーラル・チャネルおよび第二の混合済みバイノーラル・チャネルを生成するよう構成されている、両耳間相互相関係数(IACC: interaural cross-correlation coefficient)フィルタリングおよび混合段とを含む。
請求項を含む本開示を通じて、信号またはデータ「に対して」動作を実行する(たとえば信号またはデータをフィルタリングする、スケーリングする、変換するまたは利得を適用する)という表現は、信号またはデータに対して直接的に、または信号またはデータの処理されたバージョンに対して(たとえば、予備的なフィルタリングまたは前処理を該動作の実行に先立って受けている前記信号のバージョンに対して)該動作を実行することを表わすために広義で使用される。
本発明の多くの実施形態が技術的に可能である。本開示からそれらをどのように実装するかは当業者には明確であろう。本発明のシステムおよび方法の実施形態を図2〜図14を参照して記述する。
td=d/vs
である。ここで、dは音源と聴取者との間の距離であり、vsは音速である。さらに、直接応答の利得は1/dに比例する。これらのルールが異なる源距離をもつチャネルの直接応答の扱いにおいて保存されるならば、サブシステム201は、すべてのチャネルのストレートなダウンミックスを実装できる。後期残響の遅延およびレベルは一般に、源位置に敏感ではないからである。
実際の部屋にマッチする、各チャネルに適用されるBRIRの直接対後期比(DLR);
過剰なコーミング・アーチファクトおよび/または低周波数のごろごろ音を緩和するための必要な低周波数減衰;
拡散場スペクトル包絡のマッチング。
Gin=sqrt(ln(106)/(T60*DLR))
となるようGinを設定することによって、達成できる。ここで、T60は、残響が60dB減衰するのにかかる時間として定義される残響減衰時間(これは以下で論じる残響遅延および残響利得によって決定される)であり、「ln」は自然対数関数を表わす。
T60=−3ni/log10(|gi|)/FFRM
ここで、FFRMは(図3の)フィルタバンク202のフレーム・レートである。残響タンク利得の位相は、残響タンク遅延がフィルタバンクのダウンサンプル因子格子に量子化されていることに関係する問題を克服するよう、端数遅延を導入する。
周波数帯域が(部分的に)重なり合う場合には、それについてマトリクス312の形が交互に変えられるような周波数範囲の幅を増すことができる(たとえば、二つまたは三つの連続する帯域ごとに一度変えることができる)。あるいは、連続する周波数帯域のスペクトル重なりについて補償するよう平均コヒーレンスが所望される値に等しいことを保証するために、(マトリクス312の形についての)上記の式におけるβの値が調整されることができる。
T60=60/df
である。
最小DLRフロア、DLRmin(dB単位);および
遷移周波数fTおよびそれより下の減衰曲線の傾きHPFslope(周波数10倍当たりのdB単位)によって定義される高域通過フィルタ(high-pass filter)。
本発明の仮想化器は、時間領域で実装される、あるいはFDNベースのインパルス応答捕捉およびFIRベースの信号フィルタリングをもつハイブリッド実装をもつ;
本発明の仮想化器は、後期残響処理サブシステムのためのダウンミックスされた入力信号を生成するダウンミックス段階の実行中に、周波数の関数としてエネルギー補償の適用を許容するよう実装される;
本発明の仮想化器は、外部因子に応答して(すなわち、制御パラメータの設定に応答して)適用される後期残響属性の手動または自動的な制御を許容するよう実装される。
7.半導体再生システムは、モバイル装置とは異なるFDN設定を使ってもよい。たとえば、設定は装置依存であってもよい。居間にある半導体システムは、典型的な(かなり残響のある)遠方の源をもつ居間シナリオをシミュレートしてもよく、一方、モバイル装置は聴取者により近くコンテンツをレンダリングしてもよい。
実際の部屋のDLRにマッチする周波数依存の直接対後期比(DLR: direct-to-late ratio)を制御する(目標DLRおよび残響減衰時間、たとえばT60に基づいて、必要とされるスケーリング因子を計算するために、単純なモデルが使用されてもよい);
過剰なコーミング(combing)アーチファクトを緩和するための低周波数減衰を提供する;および/または
FDN応答に拡散場スペクトル整形(diffuse field spectral shaping)を適用する。
前記ダウンミックスを受領するよう結合された入力をもつ入力フィルタ(たとえば図9のフィルタ400)であって、該入力フィルタは前記ダウンミックスに応答して第一のフィルタリングされたダウンミックスを生成するよう構成されている、入力フィルタと;
前記第一のフィルタリングされたダウンミックスに応答して第二のフィルタリングされたダウンミックスをするよう結合され、構成された全域通過フィルタ(たとえば図9の全域通過フィルタ401)と;
第一の出力(たとえば要素422の出力)および第二の出力(たとえば要素423の出力)をもつ残響適用サブシステム(たとえば図9の、要素400、401および424以外のすべての要素)であって、前記残響適用サブシステムは残響タンクの集合を含み、各残響タンクは異なる遅延をもち、該残響適用サブシステムは、前記第二のフィルタリングされたダウンミックスに応答して第一の未混合バイノーラル・チャネルおよび第二の未混合バイノーラル・チャネルを生成し、前記第一の未混合バイノーラル・チャネルを前記第一の出力において呈し、前記第二の未混合バイノーラル・チャネルを前記第二の出力において呈するよう結合され、構成されている、残響適用サブシステムと;
前記残響適用サブシステムに結合され、前記第一の未混合バイノーラル・チャネルおよび第二の未混合バイノーラル・チャネルに応答して第一の混合済みバイノーラル・チャネルおよび第二の混合済みバイノーラル・チャネルを生成するよう構成されている、両耳間相互相関係数(IACC: interaural cross-correlation coefficient)フィルタリングおよび混合段(たとえば、図11の要素500、501、502、503として実装されてもよい図9の段424)とを含む。
Claims (18)
- マルチチャネル・オーディオ入力信号のチャネルのある集合に応答してバイノーラル信号を生成する方法であって:
(a)前記集合の各チャネルにバイノーラル室内インパルス応答(BRIR)を適用し、それによりフィルタリングされた信号を生成する段階であって、前記集合のチャネルのダウンミックスに共通の後期残響を加えるよう少なくとも一つのフィードバック遅延ネットワーク(203、204、205、220)を使うことによることを含む、段階と;
(b)フィルタリングされた信号を組み合わせて前記バイノーラル信号を生成する段階とを含み、
段階(a)において、前記共通の後期残響部分は、前記集合の少なくともいくつかのチャネルにわたって共有される、諸単一チャネルBRIRの後期残響部分の集団的なマクロ属性をエミュレートし、
当該方法は、前記フィードバック遅延ネットワーク(203、204、205)についての入力利得、残響タンク利得、残響タンク遅延または出力マトリクス・パラメータのうちの少なくとも一つを設定するよう制御値を前記フィードバック遅延ネットワークに呈する段階をも含み、前記制御値は、前記共通の後期残響部分が、前記集合の前記少なくともいくつかのチャネルにわたって共有される、前記諸単一チャネルBRIRの後期残響部分の前記集団的なマクロ属性をエミュレートするような仕方で呈される、
方法。 - 段階(a)は、前記BRIRの直接応答部分と前記共通の後期残響との間の適正なレベルおよびタイミング関係を維持するために、前記ダウンミックスを生成するためにダウンミックスされるチャネルのそれぞれについての源距離と、前記ダウンミックスを生成するためにダウンミックスされるチャネルの前記それぞれについてのBRIRの直接応答部分の扱いとに依存する仕方で前記ダウンミックスを生成する段階を含む、請求項1記載の方法。
- 諸チャネルを有するマルチチャネル・オーディオ入力信号に応答して、それらのチャネルのある集合の各チャネルにバイノーラル室内インパルス応答(BRIR)を適用することによってバイノーラル信号を生成する方法であって:
(a)第一の処理経路において、前記集合の各チャネルに、該チャネルについての単一チャネル・バイノーラル室内インパルス応答の少なくとも直接応答部分を適用する段階と;
(b)前記第一の処理経路と並列な第二の処理経路において、前記集合のチャネルのダウンミックスに対して共通の後期残響を適用する段階であって、前記共通の後期残響は前記集合の少なくともいくつかのチャネルにわたって共有される、諸単一チャネルBRIRのうち少なくともいくつかのBRIRの後期残響部分の集団的なマクロ属性をエミュレートする、段階とを実行することによることを含み、
前記第二の処理経路は少なくとも一つのフィードバック遅延ネットワーク(203、204、205、220)を含み、段階(b)は前記フィードバック遅延ネットワーク(203、204、205、220)において前記ダウンミックスを処理する段階を含み、
当該方法は、前記フィードバック遅延ネットワーク(203、204、205、220)についての入力利得、残響タンク利得、残響タンク遅延または出力マトリクス・パラメータのうちの少なくとも一つを設定するよう制御値を前記フィードバック遅延ネットワーク(203、204、205、220)に呈する段階をも含み、前記制御値は、前記共通の後期残響部分が、前記集合の前記少なくともいくつかのチャネルにわたって共有される、前記諸単一チャネルBRIRのうち前記少なくともいくつかのBRIRの後期残響部分の前記集団的なマクロ属性をエミュレートするような仕方で呈される、
方法。 - 諸チャネルを有するマルチチャネル・オーディオ入力信号に応答して、それらのチャネルのある集合の各チャネルにバイノーラル室内インパルス応答を適用することによって、バイノーラル信号を生成するよう構成されたシステムであって、当該システムは:
前記集合の各チャネルに、該チャネルについての単一チャネル・バイノーラル室内インパルス応答(BRIR)の少なくとも直接応答部分を適用するよう結合され、構成された第一の処理経路と;
前記集合のチャネルのダウンミックスに共通の後期残響を適用するよう構成された、前記第一の処理経路と並列に結合された第二の処理経路とを有しており、前記共通の後期残響は、前記集合の少なくともいくつかのチャネルにわたって共有される、諸単一チャネルBRIRのうち少なくともいくつかのBRIRの後期残響部分の集団的なマクロ属性をエミュレートし、
前記第二の処理経路は少なくとも一つのフィードバック遅延ネットワーク(203、204、205、220)を含み、前記第二の処理経路は前記共通の後期残響を前記ダウンミックスに適用するよう、前記少なくとも一つのフィードバック遅延ネットワーク(203、204、205、220)において前記ダウンミックスを処理するよう構成され、
当該システムは、
前記フィードバック遅延ネットワーク(203、204、205、220)についての入力利得、残響タンク利得、残響タンク遅延または出力マトリクス・パラメータのうちの少なくとも一つを設定するよう制御値を前記フィードバック遅延ネットワーク(203、204、205、220)に呈するよう結合され、構成された制御サブシステムをも含み、前記制御値は、前記共通の後期残響部分が、前記集合の前記少なくともいくつかのチャネルにわたって共有される、前記諸単一チャネルBRIRのうち前記少なくともいくつかのBRIRの後期残響部分の前記集団的なマクロ属性をエミュレートするような仕方で呈される、
システム。 - 前記第一の処理経路は、前記集合の前記各チャネルに応答してフィルタリングされた信号を生成するよう構成されており、前記第二の処理経路は、前記ダウンミックスに応答して追加的なフィルタリングされた信号を生成するよう構成されており、当該システムは:
前記第一の処理経路および前記第二の処理経路に結合された、前記フィルタリングされた信号および前記追加的なフィルタリングされた信号を組み合わせることによって前記バイノーラル信号を生成するよう構成されている、信号組み合わせサブシステムをも含む、
請求項4記載のシステム。 - マルチチャネル・オーディオ入力信号のチャネルのある集合に応答してバイノーラル信号を生成するよう構成されたシステムであって、当該システムは:
前記集合のチャネルのダウンミックスを生成して前記ダウンミックスに共通の後期残響を適用するよう前記ダウンミックスを少なくとも一つのフィードバック遅延ネットワーク(203、204、205、220)において処理することを含め、前記集合の各チャネルにバイノーラル室内インパルス応答(BRIR)を適用し、それによりフィルタリングされた信号を生成するよう結合され、構成されたフィルタリング・サブシステムと;
前記フィルタリング・サブシステムに結合されており、前記フィルタリングされた信号を組み合わせることによって前記バイノーラル信号を生成するよう構成された、信号組み合わせサブシステムとを含み、
前記共通の後期残響は、前記集合の少なくともいくつかのチャネルにわたって共有される、諸単一チャネルBRIRの後期残響部分の集団的なマクロ属性をエミュレートし、
当該システムは、前記フィルタリング・サブシステムに結合されており、前記フィードバック遅延ネットワーク(203、204、205)についての入力利得、残響タンク利得、残響タンク遅延または出力マトリクス・パラメータのうちの少なくとも一つを設定するよう制御値を前記フィードバック遅延ネットワーク(203、204、205)に呈するよう構成された、制御サブシステムをも含み、前記制御値は、前記共通の後期残響部分が、前記集合の前記少なくともいくつかのチャネルにわたって共有される、前記諸単一チャネルBRIRのうち前記少なくともいくつかのBRIRの後期残響部分の前記集団的なマクロ属性をエミュレートするような仕方で呈される、
システム。 - 前記フィルタリング・サブシステムは、前記集合の各チャネルに、該チャネルについての単一チャネルBRIRの直接応答および早期反射部分を適用するよう構成されている、請求項6記載のシステム。
- 前記フィルタリング・サブシステムは、前記ダウンミックスに前記共通の後期残響を加えるよう構成されたフィードバック遅延ネットワーク(203、204、205)のバンクを含み、該バンクの各フィードバック遅延ネットワーク(203、204、205)は前記ダウンミックスの異なる周波数帯域に後期残響を加える、請求項6または7記載のシステム。
- 前記フィードバック遅延ネットワーク(203、204、205)のそれぞれは複素直交ミラー・フィルタ領域で実装される、請求項8記載のシステム。
- 前記集合のチャネルの前記ダウンミックスは、前記集合の前記チャネルのモノフォニック・ダウンミックスである、請求項6ないし9のうちいずれか一項記載のシステム。
- 前記フィルタリング・サブシステムは時間領域で実装されたフィードバック遅延ネットワーク(220)を含み、前記フィルタリング・サブシステムは、前記ダウンミックスに前記共通の後期残響を適用するよう、前記フィードバック遅延ネットワーク(220)において時間領域で前記ダウンミックスを処理するよう構成されている、請求項6または7記載のシステム。
- 前記フィードバック遅延ネットワーク(220)が:
前記ダウンミックスを受領するよう結合された入力をもつ入力フィルタ(400)であって、該入力フィルタは前記ダウンミックスに応答して第一のフィルタリングされたダウンミックスを生成するよう構成されている、入力フィルタと;
前記第一のフィルタリングされたダウンミックスに応答して第二のフィルタリングされたダウンミックスを生成するよう結合され、構成された全域通過フィルタ(401)と;
第一の出力および第二の出力をもつ残響適用サブシステムであって、前記残響適用サブシステムは残響タンクの集合を含み、各残響タンクは異なる遅延をもち、該残響適用サブシステムは、前記第二のフィルタリングされたダウンミックスに応答して第一の未混合バイノーラル・チャネルおよび第二の未混合バイノーラル・チャネルを生成し、前記第一の未混合バイノーラル・チャネルを前記第一の出力において呈し、前記第二の未混合バイノーラル・チャネルを前記第二の出力において呈するよう結合され、構成されている、残響適用サブシステムと;
前記残響適用サブシステムに結合され、前記第一の未混合バイノーラル・チャネルおよび第二の未混合バイノーラル・チャネルに応答して第一の混合済みバイノーラル・チャネルおよび第二の混合済みバイノーラル・チャネルを生成するよう構成されている、両耳間相互相関係数(IACC)フィルタリングおよび混合段(424)とを含む、
請求項11記載のシステム。 - 前記入力フィルタは、それぞれの前記BRIRが少なくとも実質的に目標DLRにマッチする直接対後期比(DLR)をもつよう前記第一のフィルタリングされたダウンミックスを生成するよう構成された二つのフィルタのカスケードとして実装される、請求項12記載のシステム。
- 各残響タンクは、遅延された信号を生成するよう構成されており、それぞれの前記BRIRの目標残響減衰時間特性を達成するために、前記各残響タンクにおいて伝搬する信号に利得を加えて、前記遅延された信号が少なくとも実質的に前記遅延された信号についての目標の遅延された利得にマッチする利得をもつようにするよう結合され、構成された残響フィルタ(406、406A、407、407A、408、408A、409、409A)を含む、請求項12または13記載のシステム。
- それぞれの前記残響フィルタがシェルフ・フィルタまたはシェルフ・フィルタのカスケードである、請求項14記載のシステム。
- 前記第一の未混合バイノーラル・チャネルが前記第二の未混合バイノーラル・チャネルより進んでおり、前記残響タンクは、最も短い遅延をもつ第一の遅延された信号を生成するよう構成された第一の残響タンクと、二番目に短い遅延をもつ第二の遅延された信号を生成するよう構成された第二の残響タンクとを含み、前記第一の残響タンクは前記第一の遅延された信号に第一の利得を適用するよう構成され、前記第二の残響タンクは前記第二の遅延された信号に第二の利得を適用するよう構成され、前記第二の利得は前記第一の利得とは異なり、前記第二の利得は前記第一の利得とは異なり、前記第一の利得および前記第二の利得の適用により、前記第二の未混合バイノーラル・チャネルに対して前記第一の未混合バイノーラル・チャネルの減衰が帰結する、請求項12ないし15のうちいずれか一項記載のシステム。
- 前記第一の混合済みバイノーラル・チャネルおよび前記第二の混合済みバイノーラル・チャネルは、再センタリングされたステレオ像を示す、請求項12ないし16のうちいずれか一項記載のシステム。
- 前記IACCフィルタリングおよび混合段は、前記第一の混合済みバイノーラル・チャネルおよび前記第二の混合済みバイノーラル・チャネルが少なくとも実質的に目標IACC特性に一致するIACC特性をもつよう、前記第一の混合済みバイノーラル・チャネルおよび前記第二の混合済みバイノーラル・チャネルを生成するよう構成されている、請求項12ないし17のうちいずれか一項記載のシステム。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461923579P | 2014-01-03 | 2014-01-03 | |
US61/923,579 | 2014-01-03 | ||
CN201410178258.0 | 2014-04-29 | ||
CN201410178258.0A CN104768121A (zh) | 2014-01-03 | 2014-04-29 | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 |
US201461988617P | 2014-05-05 | 2014-05-05 | |
US61/988,617 | 2014-05-05 | ||
PCT/US2014/071100 WO2015102920A1 (en) | 2014-01-03 | 2014-12-18 | Generating binaural audio in response to multi-channel audio using at least one feedback delay network |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017179893A Division JP6607895B2 (ja) | 2014-01-03 | 2017-09-20 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017507525A JP2017507525A (ja) | 2017-03-16 |
JP6215478B2 true JP6215478B2 (ja) | 2017-10-18 |
Family
ID=53649659
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016543161A Active JP6215478B2 (ja) | 2014-01-03 | 2014-12-18 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
JP2022141956A Active JP7183467B2 (ja) | 2014-01-03 | 2022-09-07 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
JP2022186535A Pending JP2023018067A (ja) | 2014-01-03 | 2022-11-22 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022141956A Active JP7183467B2 (ja) | 2014-01-03 | 2022-09-07 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
JP2022186535A Pending JP2023018067A (ja) | 2014-01-03 | 2022-11-22 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
Country Status (11)
Country | Link |
---|---|
US (3) | US11212638B2 (ja) |
EP (3) | EP4270386A3 (ja) |
JP (3) | JP6215478B2 (ja) |
KR (5) | KR102380092B1 (ja) |
CN (4) | CN104768121A (ja) |
AU (5) | AU2014374182B2 (ja) |
BR (3) | BR122020013603B1 (ja) |
CA (5) | CA3226617A1 (ja) |
ES (1) | ES2961396T3 (ja) |
MX (3) | MX352134B (ja) |
RU (1) | RU2637990C1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6658026B2 (ja) * | 2016-02-04 | 2020-03-04 | 株式会社Jvcケンウッド | フィルタ生成装置、フィルタ生成方法、及び音像定位処理方法 |
ES2713685T3 (es) * | 2016-04-26 | 2019-05-23 | Nokia Technologies Oy | Métodos, aparatos y programas informáticos relativos a la modificación de una característica asociada a una señal de audio separada |
CN105792090B (zh) * | 2016-04-27 | 2018-06-26 | 华为技术有限公司 | 一种增加混响的方法与装置 |
CN107231599A (zh) * | 2017-06-08 | 2017-10-03 | 北京奇艺世纪科技有限公司 | 一种3d声场构建方法和vr装置 |
CN108011853B (zh) * | 2017-11-27 | 2020-06-12 | 电子科技大学 | 混合滤波器组dac延迟和相位偏移的估计和补偿方法 |
CN110719564B (zh) * | 2018-07-13 | 2021-06-08 | 海信视像科技股份有限公司 | 音效处理方法和装置 |
US11128976B2 (en) * | 2018-10-02 | 2021-09-21 | Qualcomm Incorporated | Representing occlusion when rendering for computer-mediated reality systems |
JP7179079B2 (ja) * | 2018-10-09 | 2022-11-28 | ローランド株式会社 | 効果音発生方法、及び情報処理装置 |
CA3122164C (en) | 2018-12-07 | 2024-01-02 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using diffuse compensation |
US10755721B1 (en) * | 2019-04-30 | 2020-08-25 | Synaptics Incorporated | Multichannel, multirate, lattice wave filter systems and methods |
JP2021131434A (ja) * | 2020-02-19 | 2021-09-09 | ヤマハ株式会社 | 音信号処理方法および音信号処理装置 |
EP3930349A1 (en) * | 2020-06-22 | 2021-12-29 | Koninklijke Philips N.V. | Apparatus and method for generating a diffuse reverberation signal |
EP4007310A1 (en) * | 2020-11-30 | 2022-06-01 | ASK Industries GmbH | Method of processing an input audio signal for generating a stereo output audio signal having specific reverberation characteristics |
AT523644B1 (de) * | 2020-12-01 | 2021-10-15 | Atmoky Gmbh | Verfahren für die Erzeugung eines Konvertierungsfilters für ein Konvertieren eines multidimensionalen Ausgangs-Audiosignal in ein zweidimensionales Hör-Audiosignal |
WO2023275218A2 (en) * | 2021-06-30 | 2023-01-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Adjustment of reverberation level |
GB2618983A (en) * | 2022-02-24 | 2023-11-29 | Nokia Technologies Oy | Reverberation level compensation |
CN117476026A (zh) * | 2023-12-26 | 2024-01-30 | 芯瞳半导体技术(山东)有限公司 | 一种多路音频数据混音的方法、系统、装置及存储介质 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5371799A (en) * | 1993-06-01 | 1994-12-06 | Qsound Labs, Inc. | Stereo headphone sound source localization system |
DK1025743T3 (da) * | 1997-09-16 | 2013-08-05 | Dolby Lab Licensing Corp | Anvendelse af filtereffekter i stereohovedtelefoner for at forbedre den rumlige opfattelse af en kilde rundt om en lytter |
DK1072089T3 (da) | 1998-03-25 | 2011-06-27 | Dolby Lab Licensing Corp | Fremgangsmåde og apparat til bearbejdning af audiosignaler |
US7583805B2 (en) | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
US8054980B2 (en) | 2003-09-05 | 2011-11-08 | Stmicroelectronics Asia Pacific Pte, Ltd. | Apparatus and method for rendering audio information to virtualize speakers in an audio system |
US20050063551A1 (en) * | 2003-09-18 | 2005-03-24 | Yiou-Wen Cheng | Multi-channel surround sound expansion method |
JP4934427B2 (ja) * | 2004-07-02 | 2012-05-16 | パナソニック株式会社 | 音声信号復号化装置及び音声信号符号化装置 |
GB0419346D0 (en) | 2004-09-01 | 2004-09-29 | Smyth Stephen M F | Method and apparatus for improved headphone virtualisation |
WO2006033058A1 (en) | 2004-09-23 | 2006-03-30 | Koninklijke Philips Electronics N.V. | A system and a method of processing audio data, a program element and a computer-readable medium |
US7903824B2 (en) | 2005-01-10 | 2011-03-08 | Agere Systems Inc. | Compact side information for parametric coding of spatial audio |
US7751572B2 (en) * | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
WO2007080211A1 (en) * | 2006-01-09 | 2007-07-19 | Nokia Corporation | Decoding of binaural audio signals |
FR2899424A1 (fr) * | 2006-03-28 | 2007-10-05 | France Telecom | Procede de synthese binaurale prenant en compte un effet de salle |
US8374365B2 (en) * | 2006-05-17 | 2013-02-12 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
JP2007336080A (ja) | 2006-06-13 | 2007-12-27 | Clarion Co Ltd | 音響補正装置 |
US7876903B2 (en) * | 2006-07-07 | 2011-01-25 | Harris Corporation | Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system |
US8036767B2 (en) | 2006-09-20 | 2011-10-11 | Harman International Industries, Incorporated | System for extracting and changing the reverberant content of an audio input signal |
EP2119306A4 (en) * | 2007-03-01 | 2012-04-25 | Jerry Mahabub | SOUND SPECIALIZATION AND ENVIRONMENT SIMULATION |
US8265284B2 (en) | 2007-10-09 | 2012-09-11 | Koninklijke Philips Electronics N.V. | Method and apparatus for generating a binaural audio signal |
US8509454B2 (en) | 2007-11-01 | 2013-08-13 | Nokia Corporation | Focusing on a portion of an audio scene for an audio signal |
WO2009111798A2 (en) * | 2008-03-07 | 2009-09-11 | Sennheiser Electronic Gmbh & Co. Kg | Methods and devices for reproducing surround audio signals |
ES2524391T3 (es) * | 2008-07-31 | 2014-12-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Generación de señal para señales binaurales |
CN101661746B (zh) | 2008-08-29 | 2013-08-21 | 三星电子株式会社 | 数字音频混响器和数字音频混响方法 |
TWI475896B (zh) | 2008-09-25 | 2015-03-01 | Dolby Lab Licensing Corp | 單音相容性及揚聲器相容性之立體聲濾波器 |
EP2175670A1 (en) | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
AU2008362920B2 (en) | 2008-10-14 | 2013-09-19 | Widex A/S | Method of rendering binaural stereo in a hearing aid system and a hearing aid system |
US20100119075A1 (en) | 2008-11-10 | 2010-05-13 | Rensselaer Polytechnic Institute | Spatially enveloping reverberation in sound fixing, processing, and room-acoustic simulations using coded sequences |
CN102257562B (zh) * | 2008-12-19 | 2013-09-11 | 杜比国际公司 | 用空间线索参数对多通道音频信号应用混响的方法和装置 |
EP2478519B1 (en) | 2009-10-21 | 2013-02-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Reverberator and method for reverberating an audio signal |
US20110317522A1 (en) | 2010-06-28 | 2011-12-29 | Microsoft Corporation | Sound source localization based on reflections and room estimation |
US8908874B2 (en) | 2010-09-08 | 2014-12-09 | Dts, Inc. | Spatial audio encoding and reproduction |
EP2464146A1 (en) | 2010-12-10 | 2012-06-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decomposing an input signal using a pre-calculated reference curve |
TWI517028B (zh) | 2010-12-22 | 2016-01-11 | 傑奧笛爾公司 | 音訊空間定位和環境模擬 |
BR112013017070B1 (pt) * | 2011-01-05 | 2021-03-09 | Koninklijke Philips N.V | Sistema de áudio e método de operação para um sistema de áudio |
WO2013111038A1 (en) | 2012-01-24 | 2013-08-01 | Koninklijke Philips N.V. | Generation of a binaural signal |
US8908875B2 (en) | 2012-02-02 | 2014-12-09 | King's College London | Electronic device with digital reverberator and method |
KR101174111B1 (ko) | 2012-02-16 | 2012-09-03 | 래드손(주) | 오디오 신호의 디지털 노이즈를 저감시키는 장치 및 방법 |
MX346825B (es) * | 2013-01-17 | 2017-04-03 | Koninklijke Philips Nv | Procesamiento de audio biaural. |
US9060052B2 (en) * | 2013-03-13 | 2015-06-16 | Accusonus S.A. | Single channel, binaural and multi-channel dereverberation |
-
2014
- 2014-04-29 CN CN201410178258.0A patent/CN104768121A/zh active Pending
- 2014-12-18 EP EP23195452.0A patent/EP4270386A3/en active Pending
- 2014-12-18 KR KR1020217009258A patent/KR102380092B1/ko active IP Right Grant
- 2014-12-18 JP JP2016543161A patent/JP6215478B2/ja active Active
- 2014-12-18 CA CA3226617A patent/CA3226617A1/en active Pending
- 2014-12-18 CN CN202410510303.1A patent/CN118200841A/zh active Pending
- 2014-12-18 CA CA3043057A patent/CA3043057C/en active Active
- 2014-12-18 MX MX2016008696A patent/MX352134B/es active IP Right Grant
- 2014-12-18 CA CA3148563A patent/CA3148563C/en active Active
- 2014-12-18 RU RU2016126479A patent/RU2637990C1/ru active
- 2014-12-18 EP EP20205638.8A patent/EP3806499B1/en active Active
- 2014-12-18 CN CN202210057409.1A patent/CN114401481B/zh active Active
- 2014-12-18 KR KR1020227009882A patent/KR102454964B1/ko active IP Right Grant
- 2014-12-18 MX MX2019006022A patent/MX2019006022A/es unknown
- 2014-12-18 EP EP18174560.5A patent/EP3402222B1/en active Active
- 2014-12-18 KR KR1020227035287A patent/KR20220141925A/ko not_active Application Discontinuation
- 2014-12-18 AU AU2014374182A patent/AU2014374182B2/en active Active
- 2014-12-18 CA CA3170723A patent/CA3170723C/en active Active
- 2014-12-18 BR BR122020013603-0A patent/BR122020013603B1/pt active IP Right Grant
- 2014-12-18 BR BR122020013590-5A patent/BR122020013590B1/pt active IP Right Grant
- 2014-12-18 KR KR1020187016855A patent/KR102124939B1/ko active IP Right Grant
- 2014-12-18 BR BR112016014949-1A patent/BR112016014949B1/pt active IP Right Grant
- 2014-12-18 ES ES20205638T patent/ES2961396T3/es active Active
- 2014-12-18 CN CN201911321337.1A patent/CN111065041B/zh active Active
- 2014-12-18 CA CA2935339A patent/CA2935339C/en active Active
- 2014-12-18 KR KR1020167017781A patent/KR101870058B1/ko not_active Application Discontinuation
-
2016
- 2016-06-30 MX MX2022010155A patent/MX2022010155A/es unknown
-
2018
- 2018-05-29 AU AU2018203746A patent/AU2018203746B2/en active Active
-
2020
- 2020-05-18 AU AU2020203222A patent/AU2020203222B2/en active Active
- 2020-09-04 US US17/012,076 patent/US11212638B2/en active Active
-
2021
- 2021-12-23 US US17/560,301 patent/US11582574B2/en active Active
-
2022
- 2022-04-14 AU AU2022202513A patent/AU2022202513B2/en active Active
- 2022-09-07 JP JP2022141956A patent/JP7183467B2/ja active Active
- 2022-11-22 JP JP2022186535A patent/JP2023018067A/ja active Pending
-
2023
- 2023-02-13 US US18/108,663 patent/US20230199427A1/en active Pending
- 2023-06-01 AU AU2023203442A patent/AU2023203442B2/en active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6607895B2 (ja) | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 | |
JP7183467B2 (ja) | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 | |
EP3090573B1 (en) | Generating binaural audio in response to multi-channel audio using at least one feedback delay network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6215478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |