JP7183467B2 - 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 - Google Patents
少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 Download PDFInfo
- Publication number
- JP7183467B2 JP7183467B2 JP2022141956A JP2022141956A JP7183467B2 JP 7183467 B2 JP7183467 B2 JP 7183467B2 JP 2022141956 A JP2022141956 A JP 2022141956A JP 2022141956 A JP2022141956 A JP 2022141956A JP 7183467 B2 JP7183467 B2 JP 7183467B2
- Authority
- JP
- Japan
- Prior art keywords
- channel
- reverberation
- output
- channels
- downmix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
- G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S3/004—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
Description
本願は2014年4月29日に出願された中国特許出願第201410178258.0号、2014年1月3日に出願された米国仮特許出願第61/923,579号および2014年5月5日に出願された米国仮特許出願第61/988,617号の優先権を主張するものである。各出願の内容はここに参照によってその全体において組み込まれる。
1.発明の分野
本発明は、入力信号のチャネルの集合の各チャネルに(たとえば全チャネルに)バイノーラル室内インパルス応答(BRIR: Binaural Room Impulse Response)を適用することによって、マルチチャネル・オーディオ入力信号に応答してバイノーラル信号を生成するための方法(時にヘッドフォン仮想化方法と称される)およびシステムに関する。いくつかの実施形態では、少なくとも一つのフィードバック遅延ネットワーク(FDN: feedback delay network)がダウンミックスBRIRの後期残響部分を前記チャネルのダウンミックスに適用する。
ヘッドフォン仮想化(またはバイノーラル・レンダリング)は、標準的なステレオ・ヘッドフォンを使ってサラウンド・サウンド経験または没入的な音場を送達することをねらいとする技術である。
実際の部屋のDLRにマッチする周波数依存の直接対後期比(DLR: direct-to-late ratio)を制御する(目標DLRおよび残響減衰時間、たとえばT60に基づいて、必要とされるスケーリング因子を計算するために、単純なモデルが使用されてもよい);
過剰なコーミング(combing)アーチファクトおよび/または低周波数のごろごろ音(low-frequency rumble)を緩和するための低周波数減衰を提供する;および/または
FDN応答に拡散場スペクトル整形(diffuse field spectral shaping)を適用するためである。
前記ダウンミックスを受領するよう結合された入力をもつ入力フィルタであって、該入力フィルタは前記ダウンミックスに応答して第一のフィルタリングされたダウンミックスを生成するよう構成されている、入力フィルタと;
前記第一のフィルタリングされたダウンミックスに応答して第二のフィルタリングされたダウンミックスをするよう結合され、構成された全域通過フィルタと;
第一の出力および第二の出力をもつ残響適用サブシステムであって、前記残響適用サブシステムは残響タンクの集合を含み、各残響タンクは異なる遅延をもち、該残響適用サブシステムは、前記第二のフィルタリングされたダウンミックスに応答して第一の未混合バイノーラル・チャネルおよび第二の未混合バイノーラル・チャネルを生成し、前記第一の未混合バイノーラル・チャネルを前記第一の出力において呈し、前記第二の未混合バイノーラル・チャネルを前記第二の出力において呈するよう結合され、構成されている、残響適用サブシステムと;
前記残響適用サブシステムに結合され、前記第一の未混合バイノーラル・チャネルおよび第二の未混合バイノーラル・チャネルに応答して第一の混合済みバイノーラル・チャネルおよび第二の混合済みバイノーラル・チャネルを生成するよう構成されている、両耳間相互相関係数(IACC: interaural cross-correlation coefficient)フィルタリングおよび混合段とを含む。
請求項を含む本開示を通じて、信号またはデータ「に対して」動作を実行する(たとえば信号またはデータをフィルタリングする、スケーリングする、変換するまたは利得を適用する)という表現は、信号またはデータに対して直接的に、または信号またはデータの処理されたバージョンに対して(たとえば、予備的なフィルタリングまたは前処理を該動作の実行に先立って受けている前記信号のバージョンに対して)該動作を実行することを表わすために広義で使用される。
本発明の多くの実施形態が技術的に可能である。本開示からそれらをどのように実装するかは当業者には明確であろう。本発明のシステムおよび方法の実施形態を図2~図14を参照して記述する。
あるいはまた、(一例として)左側の諸チャネルを最初の二つの残響タンクにパンし、右側の諸チャネルを最後の二つの残響タンクにパンし、中央チャネルをすべての残響タンクにパンすることを選ぶことができる。この場合、ダウンミックス・サブシステム201は二つのダウンミックス信号を形成するよう実装されることになる。
二つのダウンミックス信号があるので、(FDN 203、204、…、205のそれぞれにおける要素301内の)全域通過フィルタリングは二度適用される必要がある。(L,Ls)、(R,Rs)およびCの後期応答について、そのすべてが同じマクロ属性をもつにもかかわらず、多様性が導入される。入力信号チャネルが異なる源距離をもつときは、いまだダウンミックス・プロセスにおいて適正な遅延および利得が適用される必要がある。
td=d/vs
である。ここで、dは音源と聴取者との間の距離であり、vsは音速である。さらに、直接応答の利得は1/dに比例する。これらのルールが異なる源距離をもつチャネルの直接応答の扱いにおいて保存されるならば、サブシステム201は、すべてのチャネルのストレートなダウンミックスを実装できる。後期残響の遅延およびレベルは一般に、源位置に敏感ではないからである。
実際の部屋にマッチする、各チャネルに適用されるBRIRの直接対後期比(DLR);
過剰なコーミング・アーチファクトおよび/または低周波数のごろごろ音を緩和するための必要な低周波数減衰;
拡散場スペクトル包絡のマッチング。
Gin=sqrt(ln(106)/(T60*DLR))
となるようGinを設定することによって、達成できる。ここで、T60は、残響が60dB減衰するのにかかる時間として定義される残響減衰時間(これは以下で論じる残響遅延および残響利得によって決定される)であり、「ln」は自然対数関数を表わす。
と似たまたはこれに等しい項であることができる(あるいはそのような項を乗算されることができる)。ここで、iは所与の時間/周波数タイルまたはサブバンドのすべてのダウンミックス・サンプルにわたるインデックスであり、y(i)はそのタイルについてのダウンミックス・サンプルであり、xi(j)はダウンミックス・サブシステム201の入力に呈される(チャネルXiについての)入力信号である。
T60=-3ni/log10(|gi|)/FFRM
ここで、FFRMは(図3の)フィルタバンク202のフレーム・レートである。残響タンク利得の位相は、残響タンク遅延がフィルタバンクのダウンサンプル因子格子に量子化されていることに関係する問題を克服するよう、端数遅延を導入する。
と定義されてもよい。残響タンク遅延が異なるので、未混合バイノーラル・チャネルの一方が常時他方より進んでいる。残響タンク遅延およびパニング・パターンの組み合わせが周波数帯域を横断して同一であれば、音像バイアスが帰結するであろう。このバイアスは、混合済みバイノーラル・チャネルが交互の周波数帯域において互いに進んだり遅れたりするよう、パニング・パターンが周波数帯域を横断して交互にされるならば、緩和できる。これは、出力混合マトリクス312を、奇数番目の周波数帯域においては(たとえば、第一の周波数帯域(図3のFDN 203によって処理される)、第三の周波数帯域などにおいては)前の段落で述べた形をもつよう、偶数番目の周波数帯域においては(たとえば、第二の周波数帯域(図3のFDN 204によって処理される)、第四の周波数帯域などにおいては)
の形をもつよう、実装することによって、達成されることができる。ここで、βの定義は同じままである。マトリクス312はすべての周波数帯域において同一であるよう実装されることができるが、交互の周波数帯域についてその入力のチャネル順が切り換えられてもよいことを注意しておくべきである。(たとえば、奇数周波数帯域では要素310の出力がマトリクス312の第一の入力に呈されてもよく、要素311の出力がマトリクス312の第二の入力に呈されてもよく、偶数周波数帯域では要素311の出力がマトリクス312の第一の入力に呈されてもよく、要素310の出力がマトリクス312の第二の入力に呈されてもよい。)
周波数帯域が(部分的に)重なり合う場合には、それについてマトリクス312の形が交互に変えられるような周波数範囲の幅を増すことができる(たとえば、二つまたは三つの連続する帯域ごとに一度変えることができる)。あるいは、連続する周波数帯域のスペクトル重なりについて補償するよう平均コヒーレンスが所望される値に等しいことを保証するために、(マトリクス312の形についての)上記の式におけるβの値が調整されることができる。
T60=60/df
である。
図5は、二つの特定の周波数(fAおよびfB)のそれぞれにおいてT60値がfA=10HzにおいてT60,A=320msおよびfB=2.4kHzにおいてT60,B=150msに設定される本発明の仮想化器のある実施形態によって達成されうるT60曲線の例を示している。
ここで、パラメータCohminおよびCohmaxは-1≦Cohmin<Cohmax≦1を満たし、Cohの範囲を制御する。最適なクロスオーバー周波数fCは聴取者の頭のサイズに依存する。高すぎるfCは頭の中に定位される音源像につながり、一方、小さすぎるfCは拡散したまたは分割された音源像につながる。図6は、制御パラメータCohmax、CohminおよびfCが次の値:Cohmax=0.95、Cohmin=0.05およびfC=700Hzをもつよう設定された本発明のある実施形態によって達成されうるCoh曲線の例である。
最小DLRフロア、DLRmin(dB単位);および
遷移周波数fTおよびそれより下の減衰曲線の傾きHPFslope(周波数10倍当たりのdB単位)によって定義される高域通過フィルタ(high-pass filter)。
DLRはたとえ同じ音響環境にあっても源距離とともに変化することを注意しておくべきである。したがって、ここでのDLR1KおよびDLRminは1メートルなどの公称源距離についての値である。図7は、制御パラメータDLR1K、DLRslope、DLRmin、HPFslopeおよびfTが次の値:DLR1K=18dB、DLRslope=6dB/周波数10x、DLRmin=18dB、HPFslope=6dB/周波数10xおよびfT=200Hzをもつよう設定された本発明の仮想化器のある実施形態によって達成される、1メートルの源距離についてのDLR曲線の例である。
本発明の仮想化器は、時間領域で実装される、あるいはFDNベースのインパルス応答捕捉およびFIRベースの信号フィルタリングをもつハイブリッド実装をもつ;
本発明の仮想化器は、後期残響処理サブシステムのためのダウンミックスされた入力信号を生成するダウンミックス段階の実行中に、周波数の関数としてエネルギー補償の適用を許容するよう実装される;
本発明の仮想化器は、外部因子に応答して(すなわち、制御パラメータの設定に応答して)適用される後期残響属性の手動または自動的な制御を許容するよう実装される。
7.半導体再生システムは、モバイル装置とは異なるFDN設定を使ってもよい。たとえば、設定は装置依存であってもよい。居間にある半導体システムは、典型的な(かなり残響のある)遠方の源をもつ居間シナリオをシミュレートしてもよく、一方、モバイル装置は聴取者により近くコンテンツをレンダリングしてもよい。
実際の部屋のDLRにマッチする周波数依存の直接対後期比(DLR: direct-to-late ratio)を制御する(目標DLRおよび残響減衰時間、たとえばT60に基づいて、必要とされるスケーリング因子を計算するために、単純なモデルが使用されてもよい);
過剰なコーミング(combing)アーチファクトを緩和するための低周波数減衰を提供する;および/または
FDN応答に拡散場スペクトル整形(diffuse field spectral shaping)を適用する。
をもつ行列によって乗算するよう実装されてもよく、偶数番目の周波数帯域における出力混合マトリクス312はそれに呈される二つの入力を次の形
をもつ行列によって乗算するよう実装されてもよい。ここで、β=arcsin(Coh)/2である。
の形であってもよい。図4の全域通過フィルタ301は、サンプル・ブロックの好適な遅延(たとえば、n1=64*Ts、n2=128*Tsおよびn3=196*Ts)をもつ三つの縦続された全域通過フィルタによって実装されてもよく、一方、図9の全域通過フィルタ401(時間領域の全域通過フィルタ)は、同様な遅延(たとえば、n1=61*Ts、n2=127*Tsおよびn3=191*Ts)をもつ三つの縦続された全域通過フィルタによって実装されてもよい。
ここで、iは残響タンク・インデックスであり(すなわち、要素406Aはdecaygain1を適用し、要素407Aはdecaygain2を適用し、などとなる)、niはi番目の残響タンクの遅延である(たとえば、n1は遅延線410によって適用される遅延)。Fsはサンプリング・レートであり、Tは、あるあらかじめ決められた低い周波数における所望される残響遅延時間(T60)である。
前記ダウンミックスを受領するよう結合された入力をもつ入力フィルタ(たとえば図9のフィルタ400)であって、該入力フィルタは前記ダウンミックスに応答して第一のフィルタリングされたダウンミックスを生成するよう構成されている、入力フィルタと;
前記第一のフィルタリングされたダウンミックスに応答して第二のフィルタリングされたダウンミックスをするよう結合され、構成された全域通過フィルタ(たとえば図9の全域通過フィルタ401)と;
第一の出力(たとえば要素422の出力)および第二の出力(たとえば要素423の出力)をもつ残響適用サブシステム(たとえば図9の、要素400、401および424以外のすべての要素)であって、前記残響適用サブシステムは残響タンクの集合を含み、各残響タンクは異なる遅延をもち、該残響適用サブシステムは、前記第二のフィルタリングされたダウンミックスに応答して第一の未混合バイノーラル・チャネルおよび第二の未混合バイノーラル・チャネルを生成し、前記第一の未混合バイノーラル・チャネルを前記第一の出力において呈し、前記第二の未混合バイノーラル・チャネルを前記第二の出力において呈するよう結合され、構成されている、残響適用サブシステムと;
前記残響適用サブシステムに結合され、前記第一の未混合バイノーラル・チャネルおよび第二の未混合バイノーラル・チャネルに応答して第一の混合済みバイノーラル・チャネルおよび第二の混合済みバイノーラル・チャネルを生成するよう構成されている、両耳間相互相関係数(IACC: interaural cross-correlation coefficient)フィルタリングおよび混合段(たとえば、図11の要素500、501、502、503として実装されてもよい図9の段424)とを含む。
Claims (17)
- マルチチャネル・オーディオ入力信号のチャネルのある集合に応答してバイノーラル信号を生成する方法であって、当該方法は:
前記集合の各チャネルにバイノーラル室内インパルス応答(BRIR)を適用し、それによりフィルタリングされた信号を生成する段階と;
フィルタリングされた信号を組み合わせて前記バイノーラル信号を生成する段階とを含み、
前記集合の各チャネルにBRIRを適用することは、後期残響生成器を使って、該後期残響生成器に呈された制御値に応答して、共通の後期残響を前記集合のチャネルのダウンミックスに適用することを含み、前記共通の後期残響は前記集合の少なくともいくつかのチャネルにわたって共有される単一チャネルBRIRの後期残響部分の集団的なマクロ属性をエミュレートし、
コンテンツに依存するエネルギー等化因子が前記ダウンミックスに適用される、
方法。 - 前記集合の各チャネルにBRIRを適用することは、前記集合の各チャネルに、該チャネルについての単一チャネルBRIRの直接応答および早期反射部分を適用することを含む、請求項1記載の方法。
- 前記後期残響生成器は、前記ダウンミックスに前記共通の後期残響を加えるためのフィードバック遅延ネットワークのバンクを含み、該バンクの各フィードバック遅延ネットワークは前記ダウンミックスの異なる周波数帯域に後期残響を加える、請求項1記載の方法。
- 前記フィードバック遅延ネットワークのそれぞれはフィルタバンク領域で実装される、請求項3記載の方法。
- 前記後期残響生成器は、前記集合の前記チャネルの前記ダウンミックスに前記共通の後期残響を加えるための単一のフィードバック遅延ネットワークを含み、前記フィードバック遅延ネットワークは時間領域で実装される、請求項1記載の方法。
- 前記集団的なマクロ属性が、平均パワー・スペクトル、エネルギー減衰構造、モード密度、およびピーク密度のうちの一つまたは複数を含む、請求項1ないし4のうちいずれか一項に記載の方法。
- 前記制御値の一つまたは複数は周波数依存である、および/または前記制御値の一つは残響時間である、請求項1ないし4のうちいずれか一項に記載の方法。
- マルチチャネル・オーディオ入力信号のチャネルのある集合に応答してバイノーラル信号を生成するシステムであって、当該システムは:
前記集合の各チャネルにバイノーラル室内インパルス応答(BRIR)を適用し、それによりフィルタリングされた信号を生成し;
フィルタリングされた信号を組み合わせて前記バイノーラル信号を生成する、
一つまたは複数のプロセッサを有しており、
前記集合の各チャネルにBRIRを適用することは、後期残響生成器を使って、該後期残響生成器に呈された制御値に応答して、共通の後期残響を前記集合のチャネルのダウンミックスに適用することを含み、前記共通の後期残響は前記集合の少なくともいくつかのチャネルにわたって共有される単一チャネルBRIRの後期残響部分の集団的なマクロ属性をエミュレートし、
コンテンツに依存するエネルギー等化因子が前記ダウンミックスに適用される、
システム。 - 前記集合の各チャネルにBRIRを適用することは、前記集合の各チャネルに、該チャネルについての単一チャネルBRIRの直接応答および早期反射部分を適用することを含む、請求項8記載のシステム。
- 前記後期残響生成器は、前記ダウンミックスに前記共通の後期残響を加えるよう構成されたフィードバック遅延ネットワークのバンクを含み、該バンクの各フィードバック遅延ネットワークは前記ダウンミックスの異なる周波数帯域に後期残響を加える、請求項8記載のシステム。
- 前記フィードバック遅延ネットワークのそれぞれはフィルタバンク領域で実装される、請求項10記載のシステム。
- 前記後期残響生成器は、時間領域で実装されたフィードバック遅延ネットワークを含み、前記後期残響生成器は、前記共通の後期残響を前記ダウンミックスに加えるために、前記フィードバック遅延ネットワークにおいて時間領域で前記ダウンミックスを処理するよう構成されている、請求項8記載のシステム。
- 前記集団的なマクロ属性が、平均パワー・スペクトル、エネルギー減衰構造、モード密度、およびピーク密度のうちの一つまたは複数を含む、請求項8ないし11のうちいずれか一項に記載のシステム。
- 前記制御値の一つまたは複数は周波数依存である、および/または前記制御値の一つは残響時間である、請求項8ないし11のうちいずれか一項に記載のシステム。
- マルチチャネル・オーディオ入力信号のチャネルのある集合に応答してバイノーラル信号を生成する装置であって:
一つまたは複数のプロセッサと;
前記一つまたは複数のプロセッサによって実行されたときに請求項1ないし7のうちいずれか一項に記載の方法の実行を引き起こす命令を記憶している一つまたは複数の記憶媒体とを有する、
装置。 - 一つまたは複数のプロセッサによって実行されたときに請求項1ないし7のうちいずれか一項に記載の方法の実行を引き起こす命令を有するコンピュータ読み取り可能な記憶媒体。
- 請求項1ないし7のうちいずれか一項に記載の方法を実行するための手段を有する装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022186535A JP2023018067A (ja) | 2014-01-03 | 2022-11-22 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461923579P | 2014-01-03 | 2014-01-03 | |
US61/923,579 | 2014-01-03 | ||
CN201410178258.0 | 2014-04-29 | ||
CN201410178258.0A CN104768121A (zh) | 2014-01-03 | 2014-04-29 | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 |
US201461988617P | 2014-05-05 | 2014-05-05 | |
US61/988,617 | 2014-05-05 | ||
JP2020218137A JP7139409B2 (ja) | 2014-01-03 | 2020-12-28 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020218137A Division JP7139409B2 (ja) | 2014-01-03 | 2020-12-28 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022186535A Division JP2023018067A (ja) | 2014-01-03 | 2022-11-22 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022172314A JP2022172314A (ja) | 2022-11-15 |
JP7183467B2 true JP7183467B2 (ja) | 2022-12-05 |
Family
ID=53649659
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016543161A Active JP6215478B2 (ja) | 2014-01-03 | 2014-12-18 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
JP2022141956A Active JP7183467B2 (ja) | 2014-01-03 | 2022-09-07 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
JP2022186535A Pending JP2023018067A (ja) | 2014-01-03 | 2022-11-22 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016543161A Active JP6215478B2 (ja) | 2014-01-03 | 2014-12-18 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022186535A Pending JP2023018067A (ja) | 2014-01-03 | 2022-11-22 | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 |
Country Status (11)
Country | Link |
---|---|
US (3) | US11212638B2 (ja) |
EP (3) | EP3402222B1 (ja) |
JP (3) | JP6215478B2 (ja) |
KR (5) | KR20220141925A (ja) |
CN (3) | CN104768121A (ja) |
AU (5) | AU2014374182B2 (ja) |
BR (3) | BR122020013590B1 (ja) |
CA (5) | CA3170723C (ja) |
ES (1) | ES2961396T3 (ja) |
MX (3) | MX352134B (ja) |
RU (1) | RU2637990C1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6658026B2 (ja) * | 2016-02-04 | 2020-03-04 | 株式会社Jvcケンウッド | フィルタ生成装置、フィルタ生成方法、及び音像定位処理方法 |
ES2713685T3 (es) * | 2016-04-26 | 2019-05-23 | Nokia Technologies Oy | Métodos, aparatos y programas informáticos relativos a la modificación de una característica asociada a una señal de audio separada |
CN105792090B (zh) * | 2016-04-27 | 2018-06-26 | 华为技术有限公司 | 一种增加混响的方法与装置 |
CN107231599A (zh) * | 2017-06-08 | 2017-10-03 | 北京奇艺世纪科技有限公司 | 一种3d声场构建方法和vr装置 |
CN108011853B (zh) * | 2017-11-27 | 2020-06-12 | 电子科技大学 | 混合滤波器组dac延迟和相位偏移的估计和补偿方法 |
CN110719564B (zh) * | 2018-07-13 | 2021-06-08 | 海信视像科技股份有限公司 | 音效处理方法和装置 |
US11128976B2 (en) * | 2018-10-02 | 2021-09-21 | Qualcomm Incorporated | Representing occlusion when rendering for computer-mediated reality systems |
JP7179079B2 (ja) * | 2018-10-09 | 2022-11-28 | ローランド株式会社 | 効果音発生方法、及び情報処理装置 |
CA3122168C (en) | 2018-12-07 | 2023-10-03 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using direct component compensation |
US10755721B1 (en) * | 2019-04-30 | 2020-08-25 | Synaptics Incorporated | Multichannel, multirate, lattice wave filter systems and methods |
JP2021131434A (ja) * | 2020-02-19 | 2021-09-09 | ヤマハ株式会社 | 音信号処理方法および音信号処理装置 |
EP3930349A1 (en) | 2020-06-22 | 2021-12-29 | Koninklijke Philips N.V. | Apparatus and method for generating a diffuse reverberation signal |
EP4007310A1 (en) * | 2020-11-30 | 2022-06-01 | ASK Industries GmbH | Method of processing an input audio signal for generating a stereo output audio signal having specific reverberation characteristics |
AT523644B1 (de) * | 2020-12-01 | 2021-10-15 | Atmoky Gmbh | Verfahren für die Erzeugung eines Konvertierungsfilters für ein Konvertieren eines multidimensionalen Ausgangs-Audiosignal in ein zweidimensionales Hör-Audiosignal |
WO2023275218A2 (en) * | 2021-06-30 | 2023-01-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Adjustment of reverberation level |
GB2618983A (en) * | 2022-02-24 | 2023-11-29 | Nokia Technologies Oy | Reverberation level compensation |
CN117476026A (zh) * | 2023-12-26 | 2024-01-30 | 芯瞳半导体技术(山东)有限公司 | 一种多路音频数据混音的方法、系统、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007336080A (ja) | 2006-06-13 | 2007-12-27 | Clarion Co Ltd | 音響補正装置 |
JP2011529650A (ja) | 2008-07-31 | 2011-12-08 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | バイノーラル信号のための信号生成 |
JP2013508760A (ja) | 2009-10-21 | 2013-03-07 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 反響装置およびオーディオ信号を反響させる方法 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5371799A (en) * | 1993-06-01 | 1994-12-06 | Qsound Labs, Inc. | Stereo headphone sound source localization system |
JP4627880B2 (ja) * | 1997-09-16 | 2011-02-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | リスナーの周囲にある音源の空間的ひろがり感を増強するためのステレオヘッドホンデバイス内でのフィルタ効果の利用 |
WO1999049574A1 (en) | 1998-03-25 | 1999-09-30 | Lake Technology Limited | Audio signal processing method and apparatus |
US7583805B2 (en) | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
US8054980B2 (en) | 2003-09-05 | 2011-11-08 | Stmicroelectronics Asia Pacific Pte, Ltd. | Apparatus and method for rendering audio information to virtualize speakers in an audio system |
US20050063551A1 (en) * | 2003-09-18 | 2005-03-24 | Yiou-Wen Cheng | Multi-channel surround sound expansion method |
CA2572805C (en) * | 2004-07-02 | 2013-08-13 | Matsushita Electric Industrial Co., Ltd. | Audio signal decoding device and audio signal encoding device |
GB0419346D0 (en) | 2004-09-01 | 2004-09-29 | Smyth Stephen M F | Method and apparatus for improved headphone virtualisation |
WO2006033058A1 (en) | 2004-09-23 | 2006-03-30 | Koninklijke Philips Electronics N.V. | A system and a method of processing audio data, a program element and a computer-readable medium |
US7903824B2 (en) | 2005-01-10 | 2011-03-08 | Agere Systems Inc. | Compact side information for parametric coding of spatial audio |
US7751572B2 (en) * | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
WO2007080211A1 (en) * | 2006-01-09 | 2007-07-19 | Nokia Corporation | Decoding of binaural audio signals |
FR2899424A1 (fr) * | 2006-03-28 | 2007-10-05 | France Telecom | Procede de synthese binaurale prenant en compte un effet de salle |
US8374365B2 (en) * | 2006-05-17 | 2013-02-12 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
US7876903B2 (en) * | 2006-07-07 | 2011-01-25 | Harris Corporation | Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system |
US8036767B2 (en) | 2006-09-20 | 2011-10-11 | Harman International Industries, Incorporated | System for extracting and changing the reverberant content of an audio input signal |
JP5285626B2 (ja) * | 2007-03-01 | 2013-09-11 | ジェリー・マハバブ | 音声空間化及び環境シミュレーション |
AU2008309951B8 (en) * | 2007-10-09 | 2011-12-22 | Dolby International Ab | Method and apparatus for generating a binaural audio signal |
US8509454B2 (en) | 2007-11-01 | 2013-08-13 | Nokia Corporation | Focusing on a portion of an audio scene for an audio signal |
WO2009111798A2 (en) * | 2008-03-07 | 2009-09-11 | Sennheiser Electronic Gmbh & Co. Kg | Methods and devices for reproducing surround audio signals |
CN101661746B (zh) | 2008-08-29 | 2013-08-21 | 三星电子株式会社 | 数字音频混响器和数字音频混响方法 |
TWI475896B (zh) | 2008-09-25 | 2015-03-01 | Dolby Lab Licensing Corp | 單音相容性及揚聲器相容性之立體聲濾波器 |
EP2175670A1 (en) | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
WO2010043223A1 (en) | 2008-10-14 | 2010-04-22 | Widex A/S | Method of rendering binaural stereo in a hearing aid system and a hearing aid system |
US20100119075A1 (en) | 2008-11-10 | 2010-05-13 | Rensselaer Polytechnic Institute | Spatially enveloping reverberation in sound fixing, processing, and room-acoustic simulations using coded sequences |
KR101342425B1 (ko) * | 2008-12-19 | 2013-12-17 | 돌비 인터네셔널 에이비 | 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법 및 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하도록 구성된 리버브레이터 |
US20110317522A1 (en) | 2010-06-28 | 2011-12-29 | Microsoft Corporation | Sound source localization based on reflections and room estimation |
US8908874B2 (en) | 2010-09-08 | 2014-12-09 | Dts, Inc. | Spatial audio encoding and reproduction |
EP2464146A1 (en) | 2010-12-10 | 2012-06-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decomposing an input signal using a pre-calculated reference curve |
US9154896B2 (en) | 2010-12-22 | 2015-10-06 | Genaudio, Inc. | Audio spatialization and environment simulation |
US9462387B2 (en) * | 2011-01-05 | 2016-10-04 | Koninklijke Philips N.V. | Audio system and method of operation therefor |
WO2013111038A1 (en) | 2012-01-24 | 2013-08-01 | Koninklijke Philips N.V. | Generation of a binaural signal |
US8908875B2 (en) | 2012-02-02 | 2014-12-09 | King's College London | Electronic device with digital reverberator and method |
KR101174111B1 (ko) | 2012-02-16 | 2012-09-03 | 래드손(주) | 오디오 신호의 디지털 노이즈를 저감시키는 장치 및 방법 |
JP6433918B2 (ja) * | 2013-01-17 | 2018-12-05 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | バイノーラルのオーディオ処理 |
US9060052B2 (en) * | 2013-03-13 | 2015-06-16 | Accusonus S.A. | Single channel, binaural and multi-channel dereverberation |
-
2014
- 2014-04-29 CN CN201410178258.0A patent/CN104768121A/zh active Pending
- 2014-12-18 CA CA3170723A patent/CA3170723C/en active Active
- 2014-12-18 JP JP2016543161A patent/JP6215478B2/ja active Active
- 2014-12-18 ES ES20205638T patent/ES2961396T3/es active Active
- 2014-12-18 CA CA2935339A patent/CA2935339C/en active Active
- 2014-12-18 AU AU2014374182A patent/AU2014374182B2/en active Active
- 2014-12-18 EP EP18174560.5A patent/EP3402222B1/en active Active
- 2014-12-18 KR KR1020227035287A patent/KR20220141925A/ko active Search and Examination
- 2014-12-18 MX MX2016008696A patent/MX352134B/es active IP Right Grant
- 2014-12-18 EP EP20205638.8A patent/EP3806499B1/en active Active
- 2014-12-18 BR BR122020013590-5A patent/BR122020013590B1/pt active IP Right Grant
- 2014-12-18 MX MX2019006022A patent/MX2019006022A/es unknown
- 2014-12-18 RU RU2016126479A patent/RU2637990C1/ru active
- 2014-12-18 KR KR1020227009882A patent/KR102454964B1/ko active IP Right Grant
- 2014-12-18 CA CA3043057A patent/CA3043057C/en active Active
- 2014-12-18 KR KR1020217009258A patent/KR102380092B1/ko active IP Right Grant
- 2014-12-18 EP EP23195452.0A patent/EP4270386A3/en active Pending
- 2014-12-18 CN CN202210057409.1A patent/CN114401481A/zh active Pending
- 2014-12-18 CA CA3148563A patent/CA3148563C/en active Active
- 2014-12-18 CN CN201911321337.1A patent/CN111065041B/zh active Active
- 2014-12-18 KR KR1020187016855A patent/KR102124939B1/ko active IP Right Grant
- 2014-12-18 BR BR122020013603-0A patent/BR122020013603B1/pt active IP Right Grant
- 2014-12-18 BR BR112016014949-1A patent/BR112016014949B1/pt active IP Right Grant
- 2014-12-18 CA CA3226617A patent/CA3226617A1/en active Pending
- 2014-12-18 KR KR1020167017781A patent/KR101870058B1/ko not_active Application Discontinuation
-
2016
- 2016-06-30 MX MX2022010155A patent/MX2022010155A/es unknown
-
2018
- 2018-05-29 AU AU2018203746A patent/AU2018203746B2/en active Active
-
2020
- 2020-05-18 AU AU2020203222A patent/AU2020203222B2/en active Active
- 2020-09-04 US US17/012,076 patent/US11212638B2/en active Active
-
2021
- 2021-12-23 US US17/560,301 patent/US11582574B2/en active Active
-
2022
- 2022-04-14 AU AU2022202513A patent/AU2022202513B2/en active Active
- 2022-09-07 JP JP2022141956A patent/JP7183467B2/ja active Active
- 2022-11-22 JP JP2022186535A patent/JP2023018067A/ja active Pending
-
2023
- 2023-02-13 US US18/108,663 patent/US20230199427A1/en active Pending
- 2023-06-01 AU AU2023203442A patent/AU2023203442A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007336080A (ja) | 2006-06-13 | 2007-12-27 | Clarion Co Ltd | 音響補正装置 |
JP2011529650A (ja) | 2008-07-31 | 2011-12-08 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | バイノーラル信号のための信号生成 |
JP2013508760A (ja) | 2009-10-21 | 2013-03-07 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 反響装置およびオーディオ信号を反響させる方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7139409B2 (ja) | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 | |
JP7183467B2 (ja) | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 | |
EP3090573B1 (en) | Generating binaural audio in response to multi-channel audio using at least one feedback delay network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220907 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7183467 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |