JP7224302B2 - マルチチャネル空間的オーディオ・フォーマット入力信号の処理 - Google Patents
マルチチャネル空間的オーディオ・フォーマット入力信号の処理 Download PDFInfo
- Publication number
- JP7224302B2 JP7224302B2 JP2019561833A JP2019561833A JP7224302B2 JP 7224302 B2 JP7224302 B2 JP 7224302B2 JP 2019561833 A JP2019561833 A JP 2019561833A JP 2019561833 A JP2019561833 A JP 2019561833A JP 7224302 B2 JP7224302 B2 JP 7224302B2
- Authority
- JP
- Japan
- Prior art keywords
- spatial
- audio signal
- object position
- format
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 26
- 230000005236 sound signal Effects 0.000 claims description 181
- 238000000034 method Methods 0.000 claims description 123
- 239000011159 matrix material Substances 0.000 claims description 103
- 238000004091 panning Methods 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 238000013507 mapping Methods 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 12
- 230000001419 dependent effect Effects 0.000 claims description 8
- 230000002238 attenuated effect Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 127
- 230000008569 process Effects 0.000 description 19
- 239000008186 active pharmaceutical agent Substances 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 101150066762 eos1 gene Proteins 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Stereophonic System (AREA)
Description
本願は2017年12月13日に出願された米国仮特許出願第62/598,068号、2017年7月3日に出願された欧州特許出願第17179315.1号および2017年5月9日に出願された米国仮特許出願第62/503,657号の優先権を主張するものである。各出願の内容はここに参照によって組み込まれる。
本開示は、空間的オーディオ・フォーマット(たとえば、アンビソニックス、高次アンビソニックス、またはBフォーマット)のオブジェクト・ベースのフォーマット(たとえば、ドルビーのAtmosフォーマット)への変換を含む、没入型オーディオ・フォーマット変換に関する。
・no個のオーディオ・オブジェクトを表わすno個のオーディオ出力チャネル;
・no個のオブジェクトの時間変化する位置を指定する位置データ;
・nr個の残差オーディオ・チャネルの集合。これは、もとの音場から上記no個のオブジェクトが除去されたものを表わす。
・いくつかの優勢な到来方向db,1 →、db,2 →を決定するために、当該技術分野で知られているMUSICアルゴリズム(たとえば非特許文献1参照)が使用されてもよい。
Schmidt, R.O、"Multiple Emitter Location and Signal Parameter Estimation"、IEEE Trans. Antennas Propagation, Vol.AP-34 (March 1986, pp.276-280
いくつかの一般的に使用されている空間的フォーマットについては、共分散行列の要素から単一の優勢な到来方向が決定されてもよい。いくつかの実施形態では、空間的入力フォーマットが、パン関数:
極大を探すために使用されうる一つの例示的な方法は、勾配探索法によって初期推定値を洗練していき、それによりproj(v→)の値を極大化することによって機能する。初期推定値は:
・いくつかのランダムな方向を出発点として選択する
・前の時間ブロックk-1からの(この帯域bについての)優勢方向のそれぞれを出発点としてとる、
ことによって見出されてもよい。
Steinley, Douglas、"K-means clustering: A half-century synthesis"、British Journal of Mathematical and Statistical Psychology 59.1 (2006):1-34
いくつかの態様を記載しておく。
〔態様1〕
マルチチャネルの空間的フォーマットの入力オーディオ信号を処理する方法であって:
前記入力オーディオ信号に基づいてオブジェクト位置を決定し;
決定されたオブジェクト位置に基づいて、前記入力オーディオ信号からオブジェクト・オーディオ信号を抽出することを含み、
前記オブジェクト位置を決定することは、いくつかの周波数サブバンドのそれぞれについて、一つまたは複数の音到来方向を決定することを含む、
方法。
〔態様2〕
前記決定されたオブジェクト位置に基づいて、前記入力オーディオ信号からオブジェクト・オーディオ信号を抽出することは:
前記入力オーディオ信号の前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置についての混合利得を決定し;
前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、前記入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての前記混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号を生成し;
各オブジェクト位置について、そのオブジェクト位置についての前記周波数サブバンド出力信号を足し合わせることによって出力信号を生成することを含む、
態様1記載の方法。
〔態様3〕
前記オブジェクト位置についての前記混合利得は、周波数依存である、態様2記載の方法。
〔態様4〕
前記空間的フォーマットが複数のチャネルを定義し;
前記空間的マッピング関数は、前記空間的フォーマットの前記複数のチャネルから所与の位置におけるオーディオ信号を抽出するための、その空間的フォーマットの空間的デコード関数である、
態様2または3記載の方法。
〔態様5〕
前記空間的フォーマットの空間的パン関数は、ソース位置におけるソース信号を、前記空間的フォーマットによって定義される前記複数のチャネルにマッピングするための関数であり、
前記空間的デコード関数は、前記空間的パン関数および前記空間的デコード関数の相続く適用が、単位球上のすべての位置について1の利得を与えるように定義される、
態様4記載の方法。
〔態様6〕
所与の周波数サブバンドおよび所与のオブジェクト位置について前記混合利得を決定することは、その所与のオブジェクト位置と、その所与の周波数サブバンドにおける前記入力オーディオ信号の共分散行列とに基づく、態様2記載の方法。
〔態様7〕
前記所与の周波数サブバンドおよび前記所与のオブジェクト位置についての前記混合利得は、前記所与の周波数サブバンドにおける前記入力オーディオ信号についてのステアリング関数を、前記所与のオブジェクト位置において評価したものに依存する、態様6記載の方法。
〔態様8〕
前記ステアリング関数は、前記所与の周波数サブバンドにおける前記入力オーディオ信号の共分散行列に基づく、態様7記載の方法。
〔態様9〕
前記所与の周波数サブバンドおよび前記所与のオブジェクト位置についての前記混合利得を決定することは、前記所与のオブジェクト位置の時間を追った変化率にさらに基づき、前記混合利得は、前記所与のオブジェクト位置の変化率に依存して減衰させられる、態様6ないし8のうちいずれか一項記載の方法。
〔態様10〕
各周波数サブバンドについて、各オブジェクト位置について、周波数サブバンド出力信号を生成することは:
利得行列および空間的デコード行列を前記入力オーディオ信号に適用することを含み、前記利得行列は、その周波数サブバンドについての決定された混合利得を含み、
前記空間的デコード行列は、各オブジェクト位置について一つで、複数のマッピング・ベクトルを含み、各マッピング・ベクトルは、それぞれのオブジェクト位置で前記空間的デコード関数を評価することによって得られる、
態様2記載の方法。
〔態様11〕
前記複数の出力信号を前記空間的フォーマットに再エンコードして、マルチチャネルの空間的フォーマットのオーディオ・オブジェクト信号を得て;
前記入力オーディオ信号から該オーディオ・オブジェクト信号を減算して、マルチチャネルの空間的フォーマットの残差オーディオ信号を得ることをさらに含む、
態様1記載の方法。
〔態様12〕
前記残差オーディオ信号にダウンミックスを適用して、ダウンミックスされた残差オーディオ信号を得ることをさらに含み、前記ダウンミックスされた残差オーディオ信号のチャネル数は、前記入力オーディオ信号のチャネル数より少ない、
態様11記載の方法。
〔態様13〕
前記オブジェクト位置を決定することはさらに:
前記いくつかの周波数サブバンドについての優勢な音到来方向の諸集合の和集合を決定し;
前記和集合に対してクラスタリング・アルゴリズムを適用して、前記複数のオブジェクト位置を決定することを含む、
態様1記載の方法。
〔態様14〕
音到来の優勢方向の前記集合を決定することは:
その周波数サブバンド内の前記入力オーディオ信号の共分散行列から諸要素を抽出することと;
その周波数サブバンド内の前記オーディオ入力信号の投影関数の極大を決定することであって、前記投影関数は、前記オーディオ入力信号の前記共分散行列および前記空間的フォーマットの空間的パン関数に基づく、こととのうちの少なくとも一方に関わる、
態様13記載の方法。
〔態様15〕
各優勢方向は、関連する重みをもち;
前記クラスタリング・アルゴリズムは、前記優勢方向の重み付けされたクラスタリングを実行する、
態様13または14記載の方法。
〔態様16〕
前記クラスタリング・アルゴリズムは:k平均アルゴリズム、重み付けされたk平均アルゴリズム、期待値最大化アルゴリズム、および重み付けされた平均アルゴリズムのうちの一つである、
態様13ないし15のうちいずれか一項記載の方法。
〔態様17〕
前記オブジェクト位置を示すオブジェクト位置メタデータを生成することをさらに含む、
態様1ないし16のうちいずれか一項記載の方法。
〔態様18〕
前記オブジェクト・オーディオ信号は、受領された空間的オーディオ・フォーマットの入力信号の前記いくつかのサブバンドの各サブバンドにおいて線形混合行列に基づいて決定される、態様1ないし17のうちいずれか一項記載の方法。
〔態様19〕
行列係数はそれぞれの周波数帯域ごとに異なる、態様18記載の方法。
〔態様20〕
オブジェクト・オーディオ信号を抽出することは、前記入力オーディオ信号から前記オブジェクト・オーディオ信号の寄与を差し引くことによって決定される、態様1ないし19のうちいずれか一項記載の方法。
〔態様21〕
マルチチャネルの空間的フォーマットの入力オーディオ信号を処理するための装置であって、当該装置は:
前記入力オーディオ信号を解析して、前記入力オーディオ信号に含まれるオーディオ・オブジェクトの複数のオブジェクト位置を決定する段階であって、該解析することは、いくつかの周波数サブバンドの各周波数サブバンドについて、一つまたは複数の優勢な音到来方向を決定することを含む、段階と;
前記入力オーディオ信号の前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置についての混合利得を決定する段階と;
前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、前記入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての前記混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号を生成する段階と;
各オブジェクト位置について、そのオブジェクト位置についての前記周波数サブバンド出力信号を足し合わせることによって出力信号を生成する段階とを実行するよう適応されたプロセッサを有する、
装置。
Claims (17)
- マルチチャネルの空間的フォーマットの入力オーディオ信号を処理する方法であって、前記空間的フォーマットは高次アンビソニックスまたはBフォーマットの一方であり、複数のチャネルを定義し、当該方法は:
前記入力オーディオ信号に基づいてオブジェクト位置を決定し;
決定されたオブジェクト位置に基づいて、前記入力オーディオ信号からオブジェクト・オーディオ信号を抽出することを含み、
前記オブジェクト位置を決定することは、いくつかの周波数サブバンドのそれぞれについて、一つまたは複数の音到来方向を決定することを含み、
前記決定されたオブジェクト位置に基づいて、前記入力オーディオ信号からオブジェクト・オーディオ信号を抽出することは:
前記入力オーディオ信号の前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置についての混合利得を決定する段階と;
前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、前記入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての前記混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号を生成する段階であって、前記空間的マッピング関数は、前記空間的フォーマットの前記複数のチャネルから所与の位置におけるオーディオ信号を抽出するための、その空間的フォーマットの空間的デコード関数である、段階と;
各オブジェクト位置について、そのオブジェクト位置についての前記周波数サブバンド出力信号を足し合わせることによって出力信号を生成する段階とを含む、
方法。 - 前記オブジェクト位置についての前記混合利得は、周波数依存である、請求項1記載の方法。
- 前記空間的フォーマットの空間的パン関数は、ソース位置におけるソース信号を、前記空間的フォーマットによって定義される前記複数のチャネルにマッピングするための関数であり、
前記空間的デコード関数は、前記空間的パン関数および前記空間的デコード関数の相続く適用が、単位球上のすべての位置について1の利得を与えるように定義される、
請求項1記載の方法。 - 所与の周波数サブバンドおよび所与のオブジェクト位置について前記混合利得を決定することは、その所与のオブジェクト位置と、前記所与の周波数サブバンドにおける前記入力オーディオ信号についてのステアリング関数を、前記所与のオブジェクト位置において評価したものとに基づき、前記ステアリング関数は、前記所与の周波数サブバンドにおける前記入力オーディオ信号の前記複数のチャネルの共分散行列に基づく、請求項1記載の方法。
- 前記所与の周波数サブバンドおよび前記所与のオブジェクト位置についての前記混合利得を決定することは、前記所与のオブジェクト位置の時間を追った変化率にさらに基づき、前記混合利得は、前記所与のオブジェクト位置の変化率に依存して減衰させられる、請求項4記載の方法。
- 各周波数サブバンドについて、各オブジェクト位置について、周波数サブバンド出力信号を生成することは:
利得行列および空間的デコード行列を前記入力オーディオ信号に適用することを含み、前記利得行列は、その周波数サブバンドについての決定された混合利得を含み、
前記空間的デコード行列は、各オブジェクト位置について一つで、複数のマッピング・ベクトルを含み、各マッピング・ベクトルは、それぞれのオブジェクト位置で前記空間的デコード関数を評価することによって得られる、
請求項1記載の方法。 - 前記複数の出力信号を前記空間的フォーマットに再エンコードして、マルチチャネルの空間的フォーマットのオーディオ・オブジェクト信号を得て;
前記入力オーディオ信号から該オーディオ・オブジェクト信号を減算して、マルチチャネルの空間的フォーマットの残差オーディオ信号を得ることをさらに含む、
請求項1記載の方法。 - 前記残差オーディオ信号にダウンミックスを適用して、ダウンミックスされた残差オーディオ信号を得ることをさらに含み、前記ダウンミックスされた残差オーディオ信号のチャネル数は、前記入力オーディオ信号のチャネル数より少ない、
請求項7記載の方法。 - 前記オブジェクト位置を決定することはさらに:
前記いくつかの周波数サブバンドについての優勢な音到来方向の諸集合の和集合を決定し;
前記和集合に対してクラスタリング・アルゴリズムを適用して、前記複数のオブジェクト位置を決定することを含む、
請求項1記載の方法。 - 音到来の優勢方向の前記集合を決定することは:
その周波数サブバンド内の前記入力オーディオ信号の共分散行列から諸要素を抽出することと;
その周波数サブバンド内の前記入力オーディオ信号の投影関数の極大を決定することであって、前記投影関数は、前記入力オーディオ信号の前記共分散行列および前記空間的フォーマットの空間的パン関数に基づく、こととのうちの少なくとも一方に関わる、
請求項9記載の方法。 - 各優勢方向は、関連する重みをもち;
前記クラスタリング・アルゴリズムは、前記優勢方向の重み付けされたクラスタリングを実行する、
請求項9または10記載の方法。 - 前記クラスタリング・アルゴリズムは:k平均アルゴリズム、重み付けされたk平均アルゴリズム、期待値最大化アルゴリズム、および重み付けされた平均アルゴリズムのうちの一つである、
請求項9ないし11のうちいずれか一項記載の方法。 - 前記オブジェクト位置を示すオブジェクト位置メタデータを生成することをさらに含む、
請求項1ないし12のうちいずれか一項記載の方法。 - 前記オブジェクト・オーディオ信号は、受領された空間的フォーマットの入力信号の前記いくつかのサブバンドの各サブバンドにおいて線形混合行列に基づいて決定される、請求項1ないし13のうちいずれか一項記載の方法。
- 行列係数はそれぞれの周波数帯域ごとに異なる、請求項14記載の方法。
- オブジェクト・オーディオ信号を抽出することは、前記入力オーディオ信号から前記オブジェクト・オーディオ信号の寄与を差し引くことによって決定される、請求項1ないし15のうちいずれか一項記載の方法。
- マルチチャネルの空間的フォーマットの入力オーディオ信号を処理するための装置であって、前記空間的フォーマットは高次アンビソニックスまたはBフォーマットの一方であり、複数のチャネルを定義し、当該装置は:
前記入力オーディオ信号を解析して、前記入力オーディオ信号に含まれるオーディオ・オブジェクトの複数のオブジェクト位置を決定する段階であって、該解析することは、いくつかの周波数サブバンドの各周波数サブバンドについて、一つまたは複数の優勢な音到来方向を決定することを含む、段階と;
前記入力オーディオ信号の前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、その周波数サブバンドおよびそのオブジェクト位置についての混合利得を決定する段階と;
前記いくつかの周波数サブバンドの各周波数サブバンドについて、各オブジェクト位置について、前記入力オーディオ信号、その周波数サブバンドおよびそのオブジェクト位置についての前記混合利得、およびその空間的フォーマットの空間的マッピング関数に基づいて、周波数サブバンド出力信号を生成する段階であって、前記空間的マッピング関数は、前記空間的フォーマットの前記複数のチャネルから所与の位置におけるオーディオ信号を抽出するための、その空間的フォーマットの空間的デコード関数である、段階と;
各オブジェクト位置について、そのオブジェクト位置についての前記周波数サブバンド出力信号を足し合わせることによって出力信号を生成する段階とを実行するよう適応されたプロセッサを有する、
装置。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762503657P | 2017-05-09 | 2017-05-09 | |
US62/503,657 | 2017-05-09 | ||
EP17179315 | 2017-07-03 | ||
EP17179315.1 | 2017-07-03 | ||
US201762598068P | 2017-12-13 | 2017-12-13 | |
US62/598,068 | 2017-12-13 | ||
PCT/US2018/030680 WO2018208560A1 (en) | 2017-05-09 | 2018-05-02 | Processing of a multi-channel spatial audio format input signal |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020519950A JP2020519950A (ja) | 2020-07-02 |
JP2020519950A5 JP2020519950A5 (ja) | 2021-07-26 |
JP7224302B2 true JP7224302B2 (ja) | 2023-02-17 |
Family
ID=62111278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019561833A Active JP7224302B2 (ja) | 2017-05-09 | 2018-05-02 | マルチチャネル空間的オーディオ・フォーマット入力信号の処理 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10893373B2 (ja) |
EP (1) | EP3622509B1 (ja) |
JP (1) | JP7224302B2 (ja) |
CN (1) | CN110800048B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3990937A1 (en) * | 2019-07-24 | 2022-05-04 | Huawei Technologies Co., Ltd. | Apparatus for determining spatial positions of multiple audio sources |
US11750745B2 (en) * | 2020-11-18 | 2023-09-05 | Kelly Properties, Llc | Processing and distribution of audio signals in a multi-party conferencing environment |
US11930348B2 (en) * | 2020-11-24 | 2024-03-12 | Naver Corporation | Computer system for realizing customized being-there in association with audio and method thereof |
JP2022083445A (ja) * | 2020-11-24 | 2022-06-03 | ネイバー コーポレーション | ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法 |
KR102505249B1 (ko) * | 2020-11-24 | 2023-03-03 | 네이버 주식회사 | 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 전송하는 컴퓨터 시스템 및 그의 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100329466A1 (en) | 2009-06-25 | 2010-12-30 | Berges Allmenndigitale Radgivningstjeneste | Device and method for converting spatial audio signal |
JP2012526296A (ja) | 2009-05-08 | 2012-10-25 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 音声フォーマット・トランスコーダ |
WO2016133785A1 (en) | 2015-02-16 | 2016-08-25 | Dolby Laboratories Licensing Corporation | Separating audio sources |
JP2017508175A (ja) | 2014-01-09 | 2017-03-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーディオ・コンテンツの空間的誤差メトリック |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8204261B2 (en) * | 2004-10-20 | 2012-06-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Diffuse sound shaping for BCC schemes and the like |
EP1691348A1 (en) * | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
EP1761110A1 (en) * | 2005-09-02 | 2007-03-07 | Ecole Polytechnique Fédérale de Lausanne | Method to generate multi-channel audio signals from stereo signals |
CN101473645B (zh) * | 2005-12-08 | 2011-09-21 | 韩国电子通信研究院 | 使用预设音频场景的基于对象的三维音频服务系统 |
EP2097895A4 (en) * | 2006-12-27 | 2013-11-13 | Korea Electronics Telecomm | DEVICE AND METHOD FOR ENCODING AND DECODING MULTI-OBJECT AUDIO SIGNAL WITH DIFFERENT CHANNELS WITH INFORMATION BIT RATE CONVERSION |
GB2467247B (en) * | 2007-10-04 | 2012-02-29 | Creative Tech Ltd | Phase-amplitude 3-D stereo encoder and decoder |
EP2327072B1 (en) * | 2008-08-14 | 2013-03-20 | Dolby Laboratories Licensing Corporation | Audio signal transformatting |
US8219394B2 (en) * | 2010-01-20 | 2012-07-10 | Microsoft Corporation | Adaptive ambient sound suppression and speech tracking |
EP2469741A1 (en) | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
EP2817802B1 (en) * | 2012-02-24 | 2016-12-07 | Dolby International AB | Audio processing |
KR20230137492A (ko) | 2012-07-19 | 2023-10-04 | 돌비 인터네셔널 에이비 | 다채널 오디오 신호들의 렌더링을 향상시키기 위한 방법 및 디바이스 |
US9479886B2 (en) * | 2012-07-20 | 2016-10-25 | Qualcomm Incorporated | Scalable downmix design with feedback for object-based surround codec |
JP6113282B2 (ja) | 2012-08-10 | 2017-04-12 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、システム、および方法 |
EP2738962A1 (en) | 2012-11-29 | 2014-06-04 | Thomson Licensing | Method and apparatus for determining dominant sound source directions in a higher order ambisonics representation of a sound field |
EP2765791A1 (en) | 2013-02-08 | 2014-08-13 | Thomson Licensing | Method and apparatus for determining directions of uncorrelated sound sources in a higher order ambisonics representation of a sound field |
GB2515089A (en) | 2013-06-14 | 2014-12-17 | Nokia Corp | Audio Processing |
GB2517690B (en) * | 2013-08-26 | 2017-02-08 | Canon Kk | Method and device for localizing sound sources placed within a sound environment comprising ambient noise |
EP2866227A1 (en) * | 2013-10-22 | 2015-04-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder |
CN104683933A (zh) | 2013-11-29 | 2015-06-03 | 杜比实验室特许公司 | 音频对象提取 |
WO2015145782A1 (en) | 2014-03-26 | 2015-10-01 | Panasonic Corporation | Apparatus and method for surround audio signal processing |
US9847087B2 (en) | 2014-05-16 | 2017-12-19 | Qualcomm Incorporated | Higher order ambisonics signal compression |
US9838819B2 (en) | 2014-07-02 | 2017-12-05 | Qualcomm Incorporated | Reducing correlation between higher order ambisonic (HOA) background channels |
EP2963948A1 (en) | 2014-07-02 | 2016-01-06 | Thomson Licensing | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a HOA signal representation |
JP6585095B2 (ja) | 2014-07-02 | 2019-10-02 | ドルビー・インターナショナル・アーベー | 圧縮hoa表現をデコードする方法および装置ならびに圧縮hoa表現をエンコードする方法および装置 |
EP2963949A1 (en) | 2014-07-02 | 2016-01-06 | Thomson Licensing | Method and apparatus for decoding a compressed HOA representation, and method and apparatus for encoding a compressed HOA representation |
CN105336335B (zh) * | 2014-07-25 | 2020-12-08 | 杜比实验室特许公司 | 利用子带对象概率估计的音频对象提取 |
CN106303897A (zh) * | 2015-06-01 | 2017-01-04 | 杜比实验室特许公司 | 处理基于对象的音频信号 |
EP3329485B1 (en) * | 2015-07-29 | 2020-08-26 | Dolby Laboratories Licensing Corporation | System and method for spatial processing of soundfield signals |
EP3357259B1 (en) | 2015-09-30 | 2020-09-23 | Dolby International AB | Method and apparatus for generating 3d audio content from two-channel stereo content |
US9961475B2 (en) | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from object-based audio to HOA |
-
2018
- 2018-05-02 JP JP2019561833A patent/JP7224302B2/ja active Active
- 2018-05-02 CN CN201880041822.0A patent/CN110800048B/zh active Active
- 2018-05-02 US US16/611,843 patent/US10893373B2/en active Active
- 2018-05-02 EP EP18722375.5A patent/EP3622509B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012526296A (ja) | 2009-05-08 | 2012-10-25 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 音声フォーマット・トランスコーダ |
US20100329466A1 (en) | 2009-06-25 | 2010-12-30 | Berges Allmenndigitale Radgivningstjeneste | Device and method for converting spatial audio signal |
JP2017508175A (ja) | 2014-01-09 | 2017-03-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーディオ・コンテンツの空間的誤差メトリック |
WO2016133785A1 (en) | 2015-02-16 | 2016-08-25 | Dolby Laboratories Licensing Corporation | Separating audio sources |
Also Published As
Publication number | Publication date |
---|---|
JP2020519950A (ja) | 2020-07-02 |
CN110800048B (zh) | 2023-07-28 |
EP3622509A1 (en) | 2020-03-18 |
EP3622509B1 (en) | 2021-03-24 |
CN110800048A (zh) | 2020-02-14 |
US20200169824A1 (en) | 2020-05-28 |
US10893373B2 (en) | 2021-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7224302B2 (ja) | マルチチャネル空間的オーディオ・フォーマット入力信号の処理 | |
EP3479377B1 (en) | Speech recognition | |
US10650836B2 (en) | Decomposing audio signals | |
US9786288B2 (en) | Audio object extraction | |
US8718293B2 (en) | Signal separation system and method for automatically selecting threshold to separate sound sources | |
US10818302B2 (en) | Audio source separation | |
US20220068288A1 (en) | Signal processing apparatus, signal processing method, and program | |
EP3332557B1 (en) | Processing object-based audio signals | |
US10827295B2 (en) | Method and apparatus for generating 3D audio content from two-channel stereo content | |
US20160247502A1 (en) | Audio signal processing apparatus and method robust against noise | |
EP3550565B1 (en) | Audio source separation with source direction determination based on iterative weighting | |
WO2018208560A1 (en) | Processing of a multi-channel spatial audio format input signal | |
JP4630203B2 (ja) | 信号分離装置、信号分離方法、信号分離プログラム及び記録媒体、並びに、信号到来方向推定装置、信号到来方向推定方法、信号到来方向推定プログラム及び記録媒体 | |
US9398387B2 (en) | Sound processing device, sound processing method, and program | |
US10770090B2 (en) | Method and device of audio source separation | |
US20220358937A1 (en) | Determining corrections to be applied to a multichannel audio signal, associated coding and decoding | |
JP2021135462A (ja) | ソースイメージ推定装置、ソースイメージ推定方法及びソースイメージ推定プログラム | |
WO2010069773A1 (en) | Audio signal processing using at least two filterbanks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210506 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210506 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7224302 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |