JP5635097B2 - オーディオオブジェクトを適応的にストリーミングするためのシステム - Google Patents
オーディオオブジェクトを適応的にストリーミングするためのシステム Download PDFInfo
- Publication number
- JP5635097B2 JP5635097B2 JP2012524921A JP2012524921A JP5635097B2 JP 5635097 B2 JP5635097 B2 JP 5635097B2 JP 2012524921 A JP2012524921 A JP 2012524921A JP 2012524921 A JP2012524921 A JP 2012524921A JP 5635097 B2 JP5635097 B2 JP 5635097B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- objects
- stream
- priority
- oriented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003068 static effect Effects 0.000 claims description 27
- 230000005540 biological transmission Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 101
- 230000003044 adaptive effect Effects 0.000 description 50
- 238000009877 rendering Methods 0.000 description 49
- 230000008569 process Effects 0.000 description 27
- 238000003860 storage Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000005236 sound signal Effects 0.000 description 15
- 230000007613 environmental effect Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Quality & Reliability (AREA)
- Stereophonic System (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Communication Control (AREA)
Description
上記で説明した既存のシステムでの問題に加えて、オーディオ配信システムは、リスナーのプレーバック環境を十分に考慮していない。その代わりに、環境や、リスナーの好みや、または、心理音響原理の実現を何ら補償することなく、最終的なリスニング環境に特定の数のチャネルを配信するように、オーディオシステムは設計されている。これらの機能および能力は、従来、システムインテグレータに残されている。
図1Aおよび図1Bは、オブジェクト指向オーディオシステム100A、100Bの実施形態を示している。コンピュータハードウェア中および/またはソフトウェア中で、オブジェクト指向オーディオシステム100A、100Bを実現することができる。有利なことに、ある実施形態では、オブジェクト指向オーディオシステム100A、100Bにより、コンテンツ作成者が、オーディオオブジェクトを作成し、このようなオブジェクトをストリーミングして、固定チャネルモデルに縛られることなくオブジェクトをレンダリングすることが可能になる。
オーディオオブジェクトストリームのより詳細な実施形態を、ここで図2ないし図5Bに関して説明する。図2を参照すると、オブジェクト指向オーディオシステム200の別の実施形態が示されている。システム200は、上記で説明したシステム100A、100Bの特徴のうちのいずれかのものを実現することができる。システム200は、デコードし、レンダリングし、1つ以上のスピーカーにより出力することができるオブジェクト指向オーディオストリームを発生させることができる。
図1Bに関して、適応ストリーミングモジュール122Bと適応レンダラ142Bを上記で説明した。図6のシステム600では、適応ストリーミングモジュール622と適応レンダラ642のさらに詳細な実施形態が示されている。
図9ないし図11は、映画、テレビ、ポッドキャスト、および、これらに類するもののような、オーディオビジュアル再生の文脈での例示的なオーディオオブジェクト作成技術を説明している。しかしながら、(例えば、ビデオを伴うことのない)純粋なオーディオの文脈でも、図9ないし図11に関して説明する特徴のうちのいくつかまたはすべてを実現することができる。
実施形態に依存して、ここで説明したアルゴリズムのうちの任意の、あるアクト、イベント、または機能を、異なるシーケンス中で実行することができ、ひとまとめにして追加したり、マージしたり、または、除外することができる(例えば、説明したアクトまたはイベントのすべてが、アルゴリズムの実施のために必要なわけではない)。さらに、ある実施形態では、例えば、マルチスレッド処理、割り込み処理、あるいは、複数のプロセッサまたはプロセッサコアを通して、もしくは、他のパラレルアーキテクチャ上で、シーケンシャルにではなく、並行してアクトまたはイベントを実行することができる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]オブジェクト指向オーディオストリームの送信を適応させる方法において、
前記方法は、
オーディオコンテンツに対する要求を遠隔コンピュータシステムから受信することと、
前記遠隔コンピュータシステムの利用可能なコンピューティングリソースに関するリソース情報を、前記遠隔コンピュータシステムから受信することと、
前記リソース情報と、複数のオーディオオブジェクトに対応する優先度情報とに少なくとも部分的に基づいて、1つ以上のプロセッサにより、前記オーディオコンテンツに関係付けられている複数のオーディオオブジェクトのうちの1つ以上をプログラム的に選択することと、
ネットワークを通して、前記選択した1つ以上のオーディオオブジェクトを前記遠隔コンピュータシステムに送信することとを含む方法。
[2]前記1つ以上のオーディオオブジェクトは、1つ以上のサウンドソースを表し、前記1つ以上のオーディオオブジェクトのそれぞれは、1つ以上のオブジェクト属性とオーディオ信号データとを含む[1]に記載の方法。
[3]前記優先度情報は、前記複数のオーディオオブジェクトのそれぞれに対する優先度値を含む[1]に記載の方法。
[4]前記複数のオーディオオブジェクトのうちの1つ以上をプログラム的に選択することは、それらの優先度値が優先度しきい値を満たす前記1つ以上のオーディオオブジェクトを前記複数のオーディオオブジェクトから選択することを含む[3]に記載の方法。
[5]前記リソース情報に少なくとも部分的に基づいて、前記優先度しきい値を選択することをさらに含む[4]に記載の方法。
[6]前記調節することは、前記コンピューティングリソースのうち相対的に多くのものが利用可能であるときに、前記優先度しきい値を増加させて、相対的に低い優先度のオーディオオブジェクトを選択することと、前記コンピューティングリソースのうち相対的に少ないものが利用可能であるときに、前記優先度しきい値を低下させて、相対的に高い優先度のオーディオオブジェクトを選択することとを含む[5]に記載の方法。
[7]前記コンピューティングリソースの利用可能性における変化を示す第2のリソース情報を前記遠隔コンピュータシステムから受信することに応答して、前記優先度しきい値を動的に調節することをさらに含む[6]に記載の方法。
[8]前記送信することは、前記1つ以上のオーディオオブジェクトを単一のストリーム中で前記遠隔コンピュータシステムにストリーミングすることを含む[1]に記載の方法。
[9]前記複数のオーディオオブジェクトの非ダイアログオブジェクトの優先度値よりも高い優先度値を、前記複数のオーディオオブジェクトのダイアログオーディオオブジェクトに割り当てることをさらに含む[3]に記載の方法。
[10]前記ダイアログオーディオオブジェクトが前記オーディオストリーム中に存在しない一時的な時間期間の間、前記非ダイアログオーディオオブジェクトの優先度値を増加させることをさらに含む[9]に記載の方法。
[11]オブジェクト指向オーディオストリームの送信を適応させるシステムにおいて、
前記システムは、
ネットワークを通して遠隔コンピュータシステムからオーディオコンテンツ要求を受信するようにと、前記ネットワークの利用可能なリソースについてのネットワークリソース情報にアクセスするように構成されているネットワークリソースモニタと、
前記利用可能なネットワークリソースと、複数のオーディオオブジェクトに対応する優先度情報とに少なくとも部分的に基づいて、前記複数のオーディオオブジェクトのうちの1つ以上を選択して、オーディオストリームから取り除くように構成され、1つ以上のプロセッサにより実現されるオブジェクト指向エンコーダと、
前記ネットワークを通して前記遠隔コンピュータシステムに前記オーディオストリームを送信するように構成されているオーディオ送信モジュールとを具備するシステム。
[12]前記ネットワークリソースモニタは、利用可能なネットワーク帯域幅を監視する[11]に記載のシステム。
[13]前記オブジェクト指向エンコーダは、前記利用可能なネットワーク帯域幅が相対的に狭いときに、相対的に多くのオーディオオブジェクトを選択して、前記オーディオストリームから取り除くようにと、前記利用可能なネットワーク帯域幅が相対的に広いときに、相対的に少ないオーディオオブジェクトを選択して、前記オーディオストリームから取り除くように、さらに構成されている[12]に記載のシステム。
[14]前記優先度情報は、前記複数のオーディオオブジェクトのそれぞれに対する優先度値を含む[11]に記載のシステム。
[15]前記オブジェクト指向エンコーダは、その優先度値が優先度しきい値を満たす前記1つ以上のオーディオオブジェクトを前記複数のオーディオオブジェクトから少なくとも選択することにより、前記複数のオーディオオブジェクトのうちの1つ以上を選択するように、さらに構成されている[14]に記載のシステム。
[16]前記オブジェクト指向エンコーダは、前記利用可能なネットワークリソースについての情報に少なくとも部分的に基づいて、前記優先度しきい値を選択するようにさらに構成されている[15]に記載のシステム。
[17]オブジェクト指向オーディオストリームのレンダリングを適応させる方法において、
前記方法は、
コンピュータシステムにより、ネットワークを通して、遠隔サーバからオーディオストリームを受信し、前記オーディオストリームは、複数のオーディオオブジェクトを含んでいることと、
前記コンピュータシステムに関係するプレーバック環境に関する環境情報にアクセスすることと、
前記コンピュータシステムにより、前記環境情報に少なくとも部分的に基づいて、前記複数のオーディオオブジェクトのうちの1つ以上を選択することと、
前記選択した1つ以上のオーディオオブジェクトをレンダリングして、出力オーディオを生成させることと、
1つ以上のスピーカーに前記出力オーディオを供給することとを含む方法。
[18]前記環境情報は、前記コンピュータシステムのコンピューティングリソースに関する情報を含む[17]に記載の方法。
[19]前記環境情報は、前記コンピュータシステムに接続されているスピーカーの数と、前記コンピュータシステムのデバイスのタイプと、前記コンピューティングシステムの心理音響処理能力と、前記コンピューティングシステム上にインストールされているソフトウェアと、前記コンピューティングシステムのハードウェア特性とのうちの1つ以上に関する情報を含む[18]に記載の方法。
[20]前記選択することは、前記複数のオーディオオブジェクトのそれぞれに関係付けられている優先度情報に少なくとも部分的に基づいて、さらに実行される[17]に記載の方法。
[21]前記レンダリングすることは、前記プレーバック環境中のスピーカーの数の決定に応答して、前記1つ以上のオーディオオブジェクトに心理音響エンハンスメントを適用することを含む[17]に記載の方法。
[22]オブジェクト指向オーディオストリームをレンダリングする方法において、
前記方法は、
ネットワークを通して遠隔サーバからオーディオストリームを受信し、前記オーディオストリームは、オブジェクトメタデータ部分とオーディオ信号部分とを含んでいることと、
前記オブジェクトメタデータ部分にアクセスして、前記オーディオストリーム中に含まれているオーディオオブジェクトの1つ以上のオブジェクト属性を識別することと、
前記1つ以上のオブジェクト属性をレンダリングの手掛かりとして少なくとも使用することにより、前記オーディオ信号部分をレンダリングして、出力オーディオを生成させることと、
1つ以上のスピーカーに前記出力オーディオを供給することとを含む方法。
[23]前記1つ以上のオブジェクト属性は、前記オーディオオブジェクトのロケーションと、前記オーディオオブジェクトの速度と、前記オーディオオブジェクトの遮蔽と、前記オーディオオブジェクトに関係する環境とのうちの1つ以上を含む[22]に記載の方法。
[24]前記オーディオ信号部分をレンダリングすることは、前記オーディオ信号部分に心理音響エンハンスメントを適用することを含む[22]に記載の方法。
[25]前記レンダリングすることは、前記心理音響エンハンスメントを実行するためのリソースがレンダラに利用可能であるとの決定に応答して、心理音響エンハンスメントを適用する[24]に記載の方法。
[26]前記オブジェクトメタデータは、前記オーディオオブジェクトに関係する環境の特性を識別する環境定義を含む[22]に記載の方法。
[27]前記レンダリングすることは、前記オーディオ信号部分にエンハンスメントを適用することを含み、前記エンハンスメントは、前記環境定義に対応する[26]に記載の方法。
[28]前記エンハンスメントは、残響を含む[27]に記載の方法。
[29]前記レンダリングすることは、前記レンダラに利用可能なリソースを考慮に入れ、より少ないリソースが利用可能であるときに実行されるレンダリングと比較してより多くのリソースが利用可能であるときに、向上したレンダリングを適用する[22]に記載の方法。
[30]オブジェクト指向オーディオを作成するシステムにおいて、
前記システムは、
第1のサウンドソースに対する第1のロケーションデータおよび第1のオーディオデータを受信するようにと、
第2のサウンドソースに対する第2のロケーションデータおよび第2のオーディオデータを受信するようにと、
前記第1のオーディオデータと、前記第1のロケーションデータに対応する第1のポジションとを含む第1のオーディオオブジェクトを作成するようにと、
前記第2のオーディオデータと、前記第2のロケーションデータに対応する第2のポジションとを含む第2のオーディオオブジェクトを作成するように構成されているオブジェクト作成モジュールと、
前記第1のオーディオオブジェクトと前記第2のオーディオオブジェクトとの間の関係付けを1つ以上のプロセッサにより作成するようにと、
前記第1のオーディオオブジェクトと前記第2のオーディオオブジェクトとの間の前記関係付けをコンピュータ記憶装置中に記憶させるように構成され、前記1つ以上のプロセッサにより実現されるオブジェクトリンキングモジュールとを具備するシステム。
[31]前記オブジェクトリンキングモジュールは、前記第1のオーディオオブジェクトと前記第2のオーディオオブジェクトが、共通の親のオーディオオブジェクトの子のオーディオオブジェクトであるとの決定に応答して、前記関係付けを自動的に作成するようにさらに構成されている[30]に記載のシステム。
[32]前記第1のオーディオオブジェクトと前記第2のオーディオオブジェクトとの間の前記関係付けは、前記第1のオーディオオブジェクトと前記第2のオーディオオブジェクトとを共にレンダリングするためにレンダラにより使用されるように構成されている[30]に記載のシステム。
[33]遠隔コンピューティングデバイス上で共にプレーバックするために、前記第1のオーディオオブジェクトと前記第2のオーディオオブジェクトとを前記遠隔コンピューティングデバイスにストリーミングするように構成されているストリーミングモジュールをさらに具備する[30]に記載のシステム。
[34]オブジェクト指向オーディオを作成する方法において、
前記方法は、
サウンドソースから取得したオーディオデータを受信することと、
前記サウンドソースに関係付けられているロケーション追跡デバイスからロケーションデータを受信することと、
前記ロケーションデータからポジションを計算し、前記ポジションは、前記サウンドソースの1つ以上の画像を獲得するのに使用されるカメラに関して決定されることと、
前記オーディオデータと前記計算したポジションとを関係付けるオーディオオブジェクトを自動的に作成することと、
前記オーディオオブジェクトをコンピュータ記憶装置中に記憶させることとを含む方法。
[35]前記ロケーション追跡デバイスは、グローバルポジショニングシステム(GPS)デバイスを含む[34]に記載の方法。
[36]前記ロケーション追跡デバイスは、モーション捕捉スーツを含む[34]に記載の方法。
[37]前記ロケーション追跡デバイスは、前記カメラに接続されるように構成されている[34]に記載の方法。
[38]遠隔コンピューティングデバイスに前記オーディオオブジェクトをストリーミングすることをさらに含み、前記ストリーミングすることは、前記ロケーションデータを含むヘッダと、前記オーディオデータを含むオーディオペイロードとを含むオーディオストリームをストリーミングすることを含む[34]に記載の方法。
[39]前記ポジションは、座標系中の座標を含む[34]に記載の方法。
[40]第2のポジションを有する第2のオーディオオブジェクトに前記オーディオオブジェクトを自動的にリンクすることをさらに含む[34]に記載の方法。
[41]オブジェクト指向オーディオを作成する方法において、
前記方法は、
第1のサウンドソースに対する第1のロケーションデータおよび第1のオーディオデータを受信することと、
第2のサウンドソースに対する第2のロケーションデータおよび第2のオーディオデータを受信することと、
前記第1のオーディオデータと、前記第1のロケーションデータに対応する第1のポジションとを含む第1のオーディオオブジェクトを作成することと、
前記第2のオーディオデータと、前記第2のロケーションデータに対応する第2のポジションとを含む第2のオーディオオブジェクトを作成することと、
前記第1のオーディオオブジェクトと前記第2のオーディオオブジェクトとの間の関係付けを1つ以上のプロセッサにより作成することと、
前記第1のオーディオオブジェクトと前記第2のオーディオオブジェクトとの間の前記関係付けをコンピュータ記憶装置中に記憶させることとを含む方法。
[42]前記関係付けを作成することは、前記第1のオーディオオブジェクトと前記第2のオーディオオブジェクトが、共通の親のオーディオオブジェクトの子のオーディオオブジェクトであるとの決定に応答して、自動的に実行される[41]に記載の方法。
[43]前記第1のロケーションデータを受信することは、前記第1のサウンドソースに関係付けられているロケーション追跡デバイスから前記第1のロケーションデータを受信することを含む[41]に記載の方法。
[44]前記ロケーション追跡デバイスは、グローバルポジショニングシステム(GPS)デバイスを含む[43]に記載の方法。
[45]前記第2のロケーションデータを受信することは、前記第1のロケーションデータからのロケーションオフセットを計算することを含む[43]に記載の方法。
[46]前記第1および第2のポジションは、座標を含む[41]に記載の方法。
[47]前記座標は、前記第1および第2のサウンドソースの1つ以上の画像を獲得するのに使用される1つ以上のカメラに関して確立される[46]に記載の方法。
[48]遠隔コンピューティングデバイス上で共にプレーバックするために、前記第1のオーディオオブジェクトと前記第2のオーディオオブジェクトとを前記遠隔コンピューティングデバイスにストリーミングすることをさらに含む[41]に記載の方法。
[49]前記第1のオーディオオブジェクトと前記第2のオーディオオブジェクトとの間の前記関係付けは、前記第1のオーディオオブジェクトと前記第2のオーディオオブジェクトとを共にレンダリングするためにレンダラにより使用されるように構成されている[41]に記載の方法。
Claims (10)
- オブジェクト指向オーディオストリームの送信を適応させるシステムにおいて、
前記システムは、
ネットワークを通して遠隔コンピュータシステムからオーディオコンテンツ要求を受信するようにと、前記ネットワークの利用可能なリソースについてのネットワークリソース情報にアクセスするように構成されているネットワークリソースモニタと、
前記利用可能なネットワークリソースと、複数のオーディオオブジェクトに対応する優先度情報とに少なくとも部分的に基づいて、前記複数のオーディオオブジェクトのうちの1つ以上を選択して、オーディオストリームから取り除くように構成され、1つ以上のプロセッサにより実現されるオブジェクト指向エンコーダと、
前記ネットワークを通して前記遠隔コンピュータシステムに前記オーディオストリームを送信するように構成されているオーディオ送信モジュールとを具備し、
前記複数のオーディオオブジェクトは、
それぞれの静的なオブジェクトがオーディオのチャネルを含む、静的なオブジェクトと、
それぞれの動的なオブジェクトがメタデータを含む、動的なオブジェクトとを備え、
前記静的なオブジェクトは、既存の固定チャネルシステムとの後方互換性を促進し、
前記動的なオブジェクトのそれぞれに対するメタデータは、オブジェクト属性を含み、
前記動的なオブジェクトのそれぞれに対するオブジェクト属性は、オブジェクトのロケーションとオブジェクトの速度とのうちの1つ以上に関する情報を含むシステム。 - 前記ネットワークリソースモニタは、利用可能なネットワーク帯域幅を監視する請求項1記載のシステム。
- 前記オブジェクト指向エンコーダは、前記利用可能なネットワーク帯域幅が相対的に狭いときに、相対的に多くのオーディオオブジェクトを選択して、前記オーディオストリームから取り除くようにと、前記利用可能なネットワーク帯域幅が相対的に広いときに、相対的に少ないオーディオオブジェクトを選択して、前記オーディオストリームから取り除くように、さらに構成されている請求項2記載のシステム。
- 前記優先度情報は、前記複数のオーディオオブジェクトのそれぞれに対する優先度値を含む請求項1記載のシステム。
- 前記オブジェクト指向エンコーダは、その優先度値が優先度しきい値を満たす前記1つ以上のオーディオオブジェクトを前記複数のオーディオオブジェクトから少なくとも選択することにより、前記複数のオーディオオブジェクトのうちの1つ以上を選択するように、さらに構成されている請求項4記載のシステム。
- 前記オブジェクト指向エンコーダは、前記利用可能なネットワークリソースについての情報に少なくとも部分的に基づいて、前記優先度しきい値を選択するようにさらに構成されている請求項5記載のシステム。
- 前記オブジェクト指向エンコーダは、コンピューティングリソースの利用可能性における変化を示すリソース情報を前記遠隔コンピュータシステムから受信することに応答して、前記優先度しきい値を動的に調節するようにさらに構成されている請求項5記載のシステム。
- 前記オブジェクト指向エンコーダは、前記複数のオーディオオブジェクトの非ダイアログオーディオオブジェクトの優先度値よりも高い優先度値を、前記複数のオーディオオブジェクトのダイアログオーディオオブジェクトに割り当てるようにさらに構成されている請求項4記載のシステム。
- 前記オブジェクト指向エンコーダは、前記ダイアログオーディオオブジェクトが前記オーディオストリーム中に存在しない一時的な時間期間の間、前記非ダイアログオーディオオブジェクトの優先度値を増加させるようにさらに構成されている請求項8記載のシステム。
- 前記オーディオ送信モジュールは、1つ以上のオーディオオブジェクトを単一のストリーム中で前記遠隔コンピュータシステムに少なくともストリーミングすることにより、前記オーディオストリームを送信するようにさらに構成されている請求項1記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US23393109P | 2009-08-14 | 2009-08-14 | |
US61/233,931 | 2009-08-14 | ||
PCT/US2010/045532 WO2011020067A1 (en) | 2009-08-14 | 2010-08-13 | System for adaptively streaming audio objects |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013502184A JP2013502184A (ja) | 2013-01-17 |
JP5635097B2 true JP5635097B2 (ja) | 2014-12-03 |
Family
ID=43586534
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012524921A Active JP5635097B2 (ja) | 2009-08-14 | 2010-08-13 | オーディオオブジェクトを適応的にストリーミングするためのシステム |
JP2012524919A Active JP5726874B2 (ja) | 2009-08-14 | 2010-08-13 | オブジェクト指向オーディオストリーミングシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012524919A Active JP5726874B2 (ja) | 2009-08-14 | 2010-08-13 | オブジェクト指向オーディオストリーミングシステム |
Country Status (8)
Country | Link |
---|---|
US (4) | US8396575B2 (ja) |
EP (3) | EP2465114B1 (ja) |
JP (2) | JP5635097B2 (ja) |
KR (3) | KR101805212B1 (ja) |
CN (2) | CN102576533B (ja) |
ES (1) | ES2793958T3 (ja) |
PL (1) | PL2465114T3 (ja) |
WO (2) | WO2011020065A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11386913B2 (en) * | 2017-08-01 | 2022-07-12 | Dolby Laboratories Licensing Corporation | Audio object classification based on location metadata |
Families Citing this family (166)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10296561B2 (en) | 2006-11-16 | 2019-05-21 | James Andrews | Apparatus, method and graphical user interface for providing a sound link for combining, publishing and accessing websites and audio files on the internet |
US9361295B1 (en) | 2006-11-16 | 2016-06-07 | Christopher C. Andrews | Apparatus, method and graphical user interface for providing a sound link for combining, publishing and accessing websites and audio files on the internet |
KR101805212B1 (ko) | 2009-08-14 | 2017-12-05 | 디티에스 엘엘씨 | 객체-지향 오디오 스트리밍 시스템 |
US8660271B2 (en) | 2010-10-20 | 2014-02-25 | Dts Llc | Stereo image widening system |
US9165558B2 (en) | 2011-03-09 | 2015-10-20 | Dts Llc | System for dynamically creating and rendering audio objects |
US20120244863A1 (en) * | 2011-03-23 | 2012-09-27 | Opanga Networks Inc. | System and method for dynamic service offering based on available resources |
US9380410B2 (en) | 2011-04-04 | 2016-06-28 | Soundlink, Inc. | Audio commenting and publishing system |
WO2012145709A2 (en) * | 2011-04-20 | 2012-10-26 | Aurenta Inc. | A method for encoding multiple microphone signals into a source-separable audio signal for network transmission and an apparatus for directed source separation |
US9084068B2 (en) * | 2011-05-30 | 2015-07-14 | Sony Corporation | Sensor-based placement of sound in video recording |
TWI453451B (zh) * | 2011-06-15 | 2014-09-21 | Dolby Lab Licensing Corp | 擷取與播放源於多音源的聲音之方法 |
NL2006997C2 (en) * | 2011-06-24 | 2013-01-02 | Bright Minds Holding B V | Method and device for processing sound data. |
US20130007218A1 (en) * | 2011-06-28 | 2013-01-03 | Cisco Technology, Inc. | Network Assisted Tracker for Better P2P Traffic Management |
TWI651005B (zh) * | 2011-07-01 | 2019-02-11 | 杜比實驗室特許公司 | 用於適應性音頻信號的產生、譯碼與呈現之系統與方法 |
US8838262B2 (en) | 2011-07-01 | 2014-09-16 | Dolby Laboratories Licensing Corporation | Synchronization and switch over methods and systems for an adaptive audio system |
CA3151342A1 (en) | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | System and tools for enhanced 3d audio authoring and rendering |
US9823892B2 (en) | 2011-08-26 | 2017-11-21 | Dts Llc | Audio adjustment system |
US8832226B2 (en) * | 2011-10-10 | 2014-09-09 | Eyeview, Inc. | Using cloud computing for generating personalized dynamic and broadcast quality videos |
US9247182B2 (en) | 2011-10-10 | 2016-01-26 | Eyeview, Inc. | Using cluster computing for generating personalized dynamic videos |
US9654821B2 (en) | 2011-12-30 | 2017-05-16 | Sonos, Inc. | Systems and methods for networked music playback |
US8856272B2 (en) * | 2012-01-08 | 2014-10-07 | Harman International Industries, Incorporated | Cloud hosted audio rendering based upon device and environment profiles |
CN104380763B (zh) | 2012-03-30 | 2017-08-18 | 巴可有限公司 | 用于驱动车辆内的音响系统的扬声器的装置和方法 |
KR101915258B1 (ko) * | 2012-04-13 | 2018-11-05 | 한국전자통신연구원 | 오디오 메타데이터 제공 장치 및 방법, 오디오 데이터 제공 장치 및 방법, 오디오 데이터 재생 장치 및 방법 |
UA114793C2 (uk) * | 2012-04-20 | 2017-08-10 | Долбі Лабораторіс Лайсензін Корпорейшн | Система та спосіб для генерування, кодування та представлення даних адаптивного звукового сигналу |
KR101935020B1 (ko) * | 2012-05-14 | 2019-01-03 | 한국전자통신연구원 | 오디오 데이터 제공 방법 및 장치, 오디오 메타데이터 제공 방법 및 장치, 오디오 데이터 재생 방법 및 장치 |
EP2862370B1 (en) | 2012-06-19 | 2017-08-30 | Dolby Laboratories Licensing Corporation | Rendering and playback of spatial audio using channel-based audio systems |
US9674587B2 (en) | 2012-06-26 | 2017-06-06 | Sonos, Inc. | Systems and methods for networked music playback including remote add to queue |
US9190065B2 (en) | 2012-07-15 | 2015-11-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients |
US9516446B2 (en) | 2012-07-20 | 2016-12-06 | Qualcomm Incorporated | Scalable downmix design for object-based surround codec with cluster analysis by synthesis |
US9761229B2 (en) | 2012-07-20 | 2017-09-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for audio object clustering |
CN104541524B (zh) | 2012-07-31 | 2017-03-08 | 英迪股份有限公司 | 一种用于处理音频信号的方法和设备 |
US9489954B2 (en) | 2012-08-07 | 2016-11-08 | Dolby Laboratories Licensing Corporation | Encoding and rendering of object based audio indicative of game audio content |
EP2883366B8 (en) * | 2012-08-07 | 2016-12-14 | Dolby Laboratories Licensing Corporation | Encoding and rendering of object based audio indicative of game audio content |
CN104604257B (zh) * | 2012-08-31 | 2016-05-25 | 杜比实验室特许公司 | 用于在各种收听环境中渲染并且回放基于对象的音频的系统 |
WO2014036085A1 (en) * | 2012-08-31 | 2014-03-06 | Dolby Laboratories Licensing Corporation | Reflected sound rendering for object-based audio |
US9460729B2 (en) * | 2012-09-21 | 2016-10-04 | Dolby Laboratories Licensing Corporation | Layered approach to spatial audio coding |
US9565314B2 (en) * | 2012-09-27 | 2017-02-07 | Dolby Laboratories Licensing Corporation | Spatial multiplexing in a soundfield teleconferencing system |
EP2717265A1 (en) * | 2012-10-05 | 2014-04-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoder, decoder and methods for backward compatible dynamic adaption of time/frequency resolution in spatial-audio-object-coding |
KR20140046980A (ko) * | 2012-10-11 | 2014-04-21 | 한국전자통신연구원 | 오디오 데이터 생성 장치 및 방법, 오디오 데이터 재생 장치 및 방법 |
KR20140047509A (ko) | 2012-10-12 | 2014-04-22 | 한국전자통신연구원 | 객체 오디오 신호의 잔향 신호를 이용한 오디오 부/복호화 장치 |
WO2014058138A1 (ko) * | 2012-10-12 | 2014-04-17 | 한국전자통신연구원 | 객체 오디오 신호의 잔향 신호를 이용한 오디오 부/복호화 장치 |
TR201802631T4 (tr) * | 2013-01-21 | 2018-03-21 | Dolby Laboratories Licensing Corp | Program Ses Şiddeti ve Sınır Meta Verilere Sahip Sesli Enkoder ve Dekoder |
EP2757559A1 (en) * | 2013-01-22 | 2014-07-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation |
US9191742B1 (en) * | 2013-01-29 | 2015-11-17 | Rawles Llc | Enhancing audio at a network-accessible computing platform |
US9357215B2 (en) | 2013-02-12 | 2016-05-31 | Michael Boden | Audio output distribution |
US10038957B2 (en) * | 2013-03-19 | 2018-07-31 | Nokia Technologies Oy | Audio mixing based upon playing device location |
WO2014159898A1 (en) | 2013-03-29 | 2014-10-02 | Dolby Laboratories Licensing Corporation | Methods and apparatuses for generating and using low-resolution preview tracks with high-quality encoded object and multichannel audio signals |
TWI530941B (zh) * | 2013-04-03 | 2016-04-21 | 杜比實驗室特許公司 | 用於基於物件音頻之互動成像的方法與系統 |
CN105264600B (zh) | 2013-04-05 | 2019-06-07 | Dts有限责任公司 | 分层音频编码和传输 |
US20160066118A1 (en) * | 2013-04-15 | 2016-03-03 | Intellectual Discovery Co., Ltd. | Audio signal processing method using generating virtual object |
US9247363B2 (en) | 2013-04-16 | 2016-01-26 | Sonos, Inc. | Playback queue transfer in a media playback system |
US9501533B2 (en) | 2013-04-16 | 2016-11-22 | Sonos, Inc. | Private queue for a media playback system |
US9361371B2 (en) | 2013-04-16 | 2016-06-07 | Sonos, Inc. | Playlist update in a media playback system |
US9706324B2 (en) | 2013-05-17 | 2017-07-11 | Nokia Technologies Oy | Spatial object oriented audio apparatus |
US9258664B2 (en) | 2013-05-23 | 2016-02-09 | Comhear, Inc. | Headphone audio enhancement system |
KR101751228B1 (ko) | 2013-05-24 | 2017-06-27 | 돌비 인터네셔널 에이비 | 오디오 오브젝트들을 포함한 오디오 장면들의 효율적 코딩 |
JP6190947B2 (ja) | 2013-05-24 | 2017-08-30 | ドルビー・インターナショナル・アーベー | オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化 |
CN109887516B (zh) | 2013-05-24 | 2023-10-20 | 杜比国际公司 | 对音频场景进行解码的方法、音频解码器以及介质 |
WO2014187989A2 (en) | 2013-05-24 | 2014-11-27 | Dolby International Ab | Reconstruction of audio scenes from a downmix |
CN104240711B (zh) * | 2013-06-18 | 2019-10-11 | 杜比实验室特许公司 | 用于生成自适应音频内容的方法、系统和装置 |
GB2516056B (en) | 2013-07-09 | 2021-06-30 | Nokia Technologies Oy | Audio processing apparatus |
EP2830050A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhanced spatial audio object coding |
EP2830045A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for audio encoding and decoding for audio channels and audio objects |
EP2830047A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for low delay object metadata coding |
US9411882B2 (en) * | 2013-07-22 | 2016-08-09 | Dolby Laboratories Licensing Corporation | Interactive audio content generation, delivery, playback and sharing |
EP3028273B1 (en) | 2013-07-31 | 2019-09-11 | Dolby Laboratories Licensing Corporation | Processing spatially diffuse or large audio objects |
EP3059732B1 (en) | 2013-10-17 | 2018-10-10 | Socionext Inc. | Audio decoding device |
CN117376809A (zh) * | 2013-10-31 | 2024-01-09 | 杜比实验室特许公司 | 使用元数据处理的耳机的双耳呈现 |
EP3067781B1 (en) | 2013-11-05 | 2023-03-08 | Sony Group Corporation | Information processing device, method of processing information, and program |
US9641592B2 (en) | 2013-11-11 | 2017-05-02 | Amazon Technologies, Inc. | Location of actor resources |
US9582904B2 (en) | 2013-11-11 | 2017-02-28 | Amazon Technologies, Inc. | Image composition based on remote object data |
US9604139B2 (en) | 2013-11-11 | 2017-03-28 | Amazon Technologies, Inc. | Service for generating graphics object data |
US9634942B2 (en) | 2013-11-11 | 2017-04-25 | Amazon Technologies, Inc. | Adaptive scene complexity based on service quality |
US9805479B2 (en) | 2013-11-11 | 2017-10-31 | Amazon Technologies, Inc. | Session idle optimization for streaming server |
US9374552B2 (en) | 2013-11-11 | 2016-06-21 | Amazon Technologies, Inc. | Streaming game server video recorder |
US10034117B2 (en) | 2013-11-28 | 2018-07-24 | Dolby Laboratories Licensing Corporation | Position-based gain adjustment of object-based audio and ring-based channel audio |
CN104882145B (zh) * | 2014-02-28 | 2019-10-29 | 杜比实验室特许公司 | 使用音频对象的时间变化的音频对象聚类 |
US9564136B2 (en) * | 2014-03-06 | 2017-02-07 | Dts, Inc. | Post-encoding bitrate reduction of multiple object audio |
JP6863359B2 (ja) * | 2014-03-24 | 2021-04-21 | ソニーグループ株式会社 | 復号装置および方法、並びにプログラム |
JP6439296B2 (ja) * | 2014-03-24 | 2018-12-19 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
EP2928216A1 (en) | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for screen related audio object remapping |
WO2015150384A1 (en) | 2014-04-01 | 2015-10-08 | Dolby International Ab | Efficient coding of audio scenes comprising audio objects |
WO2015152661A1 (ko) * | 2014-04-02 | 2015-10-08 | 삼성전자 주식회사 | 오디오 오브젝트를 렌더링하는 방법 및 장치 |
EP3127110B1 (en) * | 2014-04-02 | 2018-01-31 | Dolby International AB | Exploiting metadata redundancy in immersive audio metadata |
US9959876B2 (en) * | 2014-05-16 | 2018-05-01 | Qualcomm Incorporated | Closed loop quantization of higher order ambisonic coefficients |
JP6432180B2 (ja) * | 2014-06-26 | 2018-12-05 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
KR102199276B1 (ko) | 2014-08-20 | 2021-01-06 | 에스케이플래닛 주식회사 | 클라우드 스트리밍 서비스 시스템, 클라우드 스트리밍 서비스 유형에 따른 서비스 처리 방법 및 이를 위한 장치 |
EP3171601A4 (en) | 2014-07-14 | 2018-05-16 | SK TechX Co., Ltd. | Cloud streaming service system, data compressing method for preventing memory bottlenecking, and device for same |
US9367283B2 (en) | 2014-07-22 | 2016-06-14 | Sonos, Inc. | Audio settings |
EP3002960A1 (en) * | 2014-10-04 | 2016-04-06 | Patents Factory Ltd. Sp. z o.o. | System and method for generating surround sound |
WO2016126819A1 (en) | 2015-02-03 | 2016-08-11 | Dolby Laboratories Licensing Corporation | Optimized virtual scene layout for spatial meeting playback |
CN111866022B (zh) | 2015-02-03 | 2022-08-30 | 杜比实验室特许公司 | 感知质量比会议中原始听到的更高的后会议回放系统 |
EP3254477A1 (en) | 2015-02-03 | 2017-12-13 | Dolby Laboratories Licensing Corporation | Adaptive audio construction |
CN114554386A (zh) * | 2015-02-06 | 2022-05-27 | 杜比实验室特许公司 | 用于自适应音频的混合型基于优先度的渲染系统和方法 |
US9560393B2 (en) * | 2015-02-20 | 2017-01-31 | Disney Enterprises, Inc. | Media processing node |
CN105989845B (zh) * | 2015-02-25 | 2020-12-08 | 杜比实验室特许公司 | 视频内容协助的音频对象提取 |
WO2016148553A2 (ko) * | 2015-03-19 | 2016-09-22 | (주)소닉티어랩 | 3차원 사운드를 편집 및 제공하는 방법 및 장치 |
WO2016148552A2 (ko) * | 2015-03-19 | 2016-09-22 | (주)소닉티어랩 | 음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법 |
CN111586533B (zh) * | 2015-04-08 | 2023-01-03 | 杜比实验室特许公司 | 音频内容的呈现 |
WO2016172111A1 (en) * | 2015-04-20 | 2016-10-27 | Dolby Laboratories Licensing Corporation | Processing audio data to compensate for partial hearing loss or an adverse hearing environment |
US20160315722A1 (en) * | 2015-04-22 | 2016-10-27 | Apple Inc. | Audio stem delivery and control |
EP3101612A1 (en) * | 2015-06-03 | 2016-12-07 | Skullcandy, Inc. | Audio devices and related methods for acquiring audio device use information |
CN105070304B (zh) * | 2015-08-11 | 2018-09-04 | 小米科技有限责任公司 | 实现对象音频录音的方法及装置、电子设备 |
JP6918777B2 (ja) | 2015-08-14 | 2021-08-11 | ディーティーエス・インコーポレイテッドDTS,Inc. | オブジェクトベースのオーディオのための低音管理 |
US20170098452A1 (en) * | 2015-10-02 | 2017-04-06 | Dts, Inc. | Method and system for audio processing of dialog, music, effect and height objects |
US9877137B2 (en) | 2015-10-06 | 2018-01-23 | Disney Enterprises, Inc. | Systems and methods for playing a venue-specific object-based audio |
DE102015223935A1 (de) * | 2015-12-01 | 2017-06-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | System zur Ausgabe von Audio-Signalen sowie zugehöriges Verfahren und Einstellvorrichtung |
US10171971B2 (en) | 2015-12-21 | 2019-01-01 | Skullcandy, Inc. | Electrical systems and related methods for providing smart mobile electronic device features to a user of a wearable device |
CN106935251B (zh) * | 2015-12-30 | 2019-09-17 | 瑞轩科技股份有限公司 | 音频播放装置及方法 |
WO2017130210A1 (en) * | 2016-01-27 | 2017-08-03 | Indian Institute Of Technology Bombay | Method and system for rendering audio streams |
US9886234B2 (en) | 2016-01-28 | 2018-02-06 | Sonos, Inc. | Systems and methods of distributing audio to one or more playback devices |
US10325610B2 (en) | 2016-03-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Adaptive audio rendering |
CN117612539A (zh) * | 2016-05-30 | 2024-02-27 | 索尼公司 | 视频音频处理设备、视频音频处理方法和存储介质 |
EP3255905A1 (en) * | 2016-06-07 | 2017-12-13 | Nokia Technologies Oy | Distributed audio mixing |
EP3255904A1 (en) * | 2016-06-07 | 2017-12-13 | Nokia Technologies Oy | Distributed audio mixing |
US9980078B2 (en) | 2016-10-14 | 2018-05-22 | Nokia Technologies Oy | Audio object modification in free-viewpoint rendering |
EP3533242B1 (en) * | 2016-10-28 | 2021-01-20 | Panasonic Intellectual Property Corporation of America | Binaural rendering apparatus and method for playing back of multiple audio sources |
EP3470976A1 (en) * | 2017-10-12 | 2019-04-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for efficient delivery and usage of audio messages for high quality of experience |
US11064453B2 (en) * | 2016-11-18 | 2021-07-13 | Nokia Technologies Oy | Position stream session negotiation for spatial audio applications |
US10531220B2 (en) * | 2016-12-05 | 2020-01-07 | Magic Leap, Inc. | Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems |
EP3337066B1 (en) * | 2016-12-14 | 2020-09-23 | Nokia Technologies Oy | Distributed audio mixing |
US10424307B2 (en) * | 2017-01-03 | 2019-09-24 | Nokia Technologies Oy | Adapting a distributed audio recording for end user free viewpoint monitoring |
US10291998B2 (en) * | 2017-01-06 | 2019-05-14 | Nokia Technologies Oy | Discovery, announcement and assignment of position tracks |
US11096004B2 (en) | 2017-01-23 | 2021-08-17 | Nokia Technologies Oy | Spatial audio rendering point extension |
WO2018144367A1 (en) * | 2017-02-03 | 2018-08-09 | iZotope, Inc. | Audio control system and related methods |
US10531219B2 (en) | 2017-03-20 | 2020-01-07 | Nokia Technologies Oy | Smooth rendering of overlapping audio-object interactions |
US20180315437A1 (en) * | 2017-04-28 | 2018-11-01 | Microsoft Technology Licensing, Llc | Progressive Streaming of Spatial Audio |
US11074036B2 (en) | 2017-05-05 | 2021-07-27 | Nokia Technologies Oy | Metadata-free audio-object interactions |
US11595774B2 (en) | 2017-05-12 | 2023-02-28 | Microsoft Technology Licensing, Llc | Spatializing audio data based on analysis of incoming audio data |
GB2562488A (en) * | 2017-05-16 | 2018-11-21 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
US10165386B2 (en) * | 2017-05-16 | 2018-12-25 | Nokia Technologies Oy | VR audio superzoom |
US11303689B2 (en) | 2017-06-06 | 2022-04-12 | Nokia Technologies Oy | Method and apparatus for updating streamed content |
US11395087B2 (en) | 2017-09-29 | 2022-07-19 | Nokia Technologies Oy | Level-based audio-object interactions |
US10854209B2 (en) * | 2017-10-03 | 2020-12-01 | Qualcomm Incorporated | Multi-stream audio coding |
US10531222B2 (en) | 2017-10-18 | 2020-01-07 | Dolby Laboratories Licensing Corporation | Active acoustics control for near- and far-field sounds |
KR20200101349A (ko) * | 2017-12-28 | 2020-08-27 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
WO2019147064A1 (ko) * | 2018-01-26 | 2019-08-01 | 엘지전자 주식회사 | 오디오 데이터를 송수신하는 방법 및 그 장치 |
US10542368B2 (en) | 2018-03-27 | 2020-01-21 | Nokia Technologies Oy | Audio content modification for playback audio |
CN108600911B (zh) * | 2018-03-30 | 2021-05-18 | 联想(北京)有限公司 | 一种输出方法及电子设备 |
US10848894B2 (en) * | 2018-04-09 | 2020-11-24 | Nokia Technologies Oy | Controlling audio in multi-viewpoint omnidirectional content |
CN108777832B (zh) * | 2018-06-13 | 2021-02-09 | 上海艺瓣文化传播有限公司 | 一种基于视频对象追踪的实时3d声场构建和混音系统 |
GB2578715A (en) * | 2018-07-20 | 2020-05-27 | Nokia Technologies Oy | Controlling audio focus for spatial audio processing |
BR112021005241A2 (pt) * | 2018-09-28 | 2021-06-15 | Sony Corporation | dispositivo, método e programa de processamento de informações |
US11019449B2 (en) | 2018-10-06 | 2021-05-25 | Qualcomm Incorporated | Six degrees of freedom and three degrees of freedom backward compatibility |
WO2020089302A1 (en) * | 2018-11-02 | 2020-05-07 | Dolby International Ab | An audio encoder and an audio decoder |
US11304021B2 (en) * | 2018-11-29 | 2022-04-12 | Sony Interactive Entertainment Inc. | Deferred audio rendering |
CN111282271B (zh) * | 2018-12-06 | 2023-04-07 | 网易(杭州)网络有限公司 | 移动终端游戏中的声音渲染方法、装置和电子设备 |
US11617051B2 (en) | 2019-01-28 | 2023-03-28 | EmbodyVR, Inc. | Streaming binaural audio from a cloud spatial audio processing system to a mobile station for playback on a personal audio delivery device |
US11049509B2 (en) | 2019-03-06 | 2021-06-29 | Plantronics, Inc. | Voice signal enhancement for head-worn audio devices |
KR20220004825A (ko) | 2019-06-03 | 2022-01-11 | 인텔렉추얼디스커버리 주식회사 | 무선 통신 시스템에서 오디오 데이터를 제어하는 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체 |
US11076257B1 (en) | 2019-06-14 | 2021-07-27 | EmbodyVR, Inc. | Converting ambisonic audio to binaural audio |
US11416208B2 (en) * | 2019-09-23 | 2022-08-16 | Netflix, Inc. | Audio metadata smoothing |
US11430451B2 (en) * | 2019-09-26 | 2022-08-30 | Apple Inc. | Layered coding of audio with discrete objects |
US11967329B2 (en) * | 2020-02-20 | 2024-04-23 | Qualcomm Incorporated | Signaling for rendering tools |
US20230171557A1 (en) * | 2020-03-16 | 2023-06-01 | Nokla Technologies Oy | Rendering encoded 6dof audio bitstream and late updates |
US11080011B1 (en) * | 2020-03-20 | 2021-08-03 | Tap Sound System | Audio rendering device and audio configurator device for audio stream selection, and related methods |
US11102606B1 (en) * | 2020-04-16 | 2021-08-24 | Sony Corporation | Video component in 3D audio |
KR102508815B1 (ko) * | 2020-11-24 | 2023-03-14 | 네이버 주식회사 | 오디오와 관련하여 사용자 맞춤형 현장감 실현을 위한 컴퓨터 시스템 및 그의 방법 |
JP2022083445A (ja) | 2020-11-24 | 2022-06-03 | ネイバー コーポレーション | ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法 |
US11930348B2 (en) | 2020-11-24 | 2024-03-12 | Naver Corporation | Computer system for realizing customized being-there in association with audio and method thereof |
EP4037339A1 (en) * | 2021-02-02 | 2022-08-03 | Nokia Technologies Oy | Selecton of audio channels based on prioritization |
US20220391167A1 (en) | 2021-06-02 | 2022-12-08 | Tencent America LLC | Adaptive audio delivery and rendering |
EP4377957A1 (en) * | 2021-07-29 | 2024-06-05 | Dolby International AB | Methods and apparatus for processing object-based audio and channel-based audio |
WO2024012665A1 (en) * | 2022-07-12 | 2024-01-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding or decoding of precomputed data for rendering early reflections in ar/vr systems |
WO2024074283A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby International Ab | Method, apparatus, and medium for decoding of audio signals with skippable blocks |
WO2024074282A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby International Ab | Method, apparatus, and medium for encoding and decoding of audio bitstreams |
WO2024074284A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby International Ab | Method, apparatus, and medium for efficient encoding and decoding of audio bitstreams |
Family Cites Families (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4332979A (en) | 1978-12-19 | 1982-06-01 | Fischer Mark L | Electronic environmental acoustic simulator |
US5592588A (en) * | 1994-05-10 | 1997-01-07 | Apple Computer, Inc. | Method and apparatus for object-oriented digital audio signal processing using a chain of sound objects |
IT1281001B1 (it) * | 1995-10-27 | 1998-02-11 | Cselt Centro Studi Lab Telecom | Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio. |
US6252965B1 (en) * | 1996-09-19 | 2001-06-26 | Terry D. Beard | Multichannel spectral mapping audio apparatus and method |
US6160907A (en) | 1997-04-07 | 2000-12-12 | Synapix, Inc. | Iterative three-dimensional process for creating finished media content |
JP2001359067A (ja) * | 2000-06-09 | 2001-12-26 | Canon Inc | 通信システム及びその通信方法 |
JP2002008115A (ja) * | 2000-06-23 | 2002-01-11 | Sony Corp | 情報配信システム、端末装置、サーバ装置、記録媒体、情報配信方法 |
JP2002204437A (ja) * | 2000-12-28 | 2002-07-19 | Canon Inc | 通信装置、通信システム、通信方法、及び記憶媒体 |
US7006636B2 (en) * | 2002-05-24 | 2006-02-28 | Agere Systems Inc. | Coherence-based audio coding and synthesis |
US7583805B2 (en) | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
US7292901B2 (en) * | 2002-06-24 | 2007-11-06 | Agere Systems Inc. | Hybrid multi-channel/cue coding/decoding of audio signals |
US7116787B2 (en) * | 2001-05-04 | 2006-10-03 | Agere Systems Inc. | Perceptual synthesis of auditory scenes |
US7606372B2 (en) * | 2003-02-12 | 2009-10-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device and method for determining a reproduction position |
DE10344638A1 (de) * | 2003-08-04 | 2005-03-10 | Fraunhofer Ges Forschung | Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene |
JP2005086537A (ja) * | 2003-09-09 | 2005-03-31 | Nippon Hoso Kyokai <Nhk> | 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法 |
JP4497885B2 (ja) * | 2003-10-16 | 2010-07-07 | 三洋電機株式会社 | 信号処理装置 |
US7394903B2 (en) * | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
JP4433287B2 (ja) * | 2004-03-25 | 2010-03-17 | ソニー株式会社 | 受信装置および方法、並びにプログラム |
EP1650973A1 (en) * | 2004-10-25 | 2006-04-26 | Alcatel USA Sourcing, L.P. | Method for encoding a multimedia content |
EP1851656A4 (en) | 2005-02-22 | 2009-09-23 | Verax Technologies Inc | SYSTEM AND METHOD FOR FORMATTING MULTIMODE CONTENT OF SOUNDS AND METADATA |
DE102005008366A1 (de) * | 2005-02-23 | 2006-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten |
JP2007018646A (ja) * | 2005-07-11 | 2007-01-25 | Hitachi Ltd | 記録再生装置 |
JP2007028432A (ja) * | 2005-07-20 | 2007-02-01 | Mitsubishi Electric Corp | パケット中継伝送装置 |
GB0523946D0 (en) | 2005-11-24 | 2006-01-04 | King S College London | Audio signal processing method and system |
US8705747B2 (en) * | 2005-12-08 | 2014-04-22 | Electronics And Telecommunications Research Institute | Object-based 3-dimensional audio service system using preset audio scenes |
WO2007136187A1 (en) * | 2006-05-19 | 2007-11-29 | Electronics And Telecommunications Research Institute | Object-based 3-dimensional audio service system using preset audio scenes |
CN100527704C (zh) * | 2006-01-05 | 2009-08-12 | 华为软件技术有限公司 | 一种流媒体服务器以及流媒体传送和存储方法 |
EP1974347B1 (en) * | 2006-01-19 | 2014-08-06 | LG Electronics Inc. | Method and apparatus for processing a media signal |
US8626178B2 (en) * | 2006-01-31 | 2014-01-07 | Niels Thybo Johansen | Audio-visual system control using a mesh network |
JP4687538B2 (ja) * | 2006-04-04 | 2011-05-25 | パナソニック株式会社 | 受信装置、送信装置およびその通信方法 |
US20080005347A1 (en) * | 2006-06-29 | 2008-01-03 | Yahoo! Inc. | Messenger system for publishing podcasts |
KR101396140B1 (ko) | 2006-09-18 | 2014-05-20 | 코닌클리케 필립스 엔.브이. | 오디오 객체들의 인코딩과 디코딩 |
RU2551797C2 (ru) * | 2006-09-29 | 2015-05-27 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов |
WO2008046530A2 (en) * | 2006-10-16 | 2008-04-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for multi -channel parameter transformation |
CN101490744B (zh) * | 2006-11-24 | 2013-07-17 | Lg电子株式会社 | 用于编码和解码基于对象的音频信号的方法和装置 |
WO2008084436A1 (en) | 2007-01-10 | 2008-07-17 | Koninklijke Philips Electronics N.V. | An object-oriented audio decoder |
EP2111618A4 (en) * | 2007-02-13 | 2010-04-21 | Lg Electronics Inc | METHOD AND APPARATUS FOR PROCESSING AUDIO SIGNAL |
AU2008215231B2 (en) * | 2007-02-14 | 2010-02-18 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
KR20080082924A (ko) * | 2007-03-09 | 2008-09-12 | 엘지전자 주식회사 | 오디오 신호의 처리 방법 및 장치 |
US8503655B2 (en) | 2007-05-22 | 2013-08-06 | Telefonaktiebolaget L M Ericsson (Publ) | Methods and arrangements for group sound telecommunication |
KR101431253B1 (ko) | 2007-06-26 | 2014-08-21 | 코닌클리케 필립스 엔.브이. | 바이노럴 오브젝트―지향 오디오 디코더 |
WO2009001292A1 (en) * | 2007-06-27 | 2008-12-31 | Koninklijke Philips Electronics N.V. | A method of merging at least two input object-oriented audio parameter streams into an output object-oriented audio parameter stream |
KR101370290B1 (ko) * | 2007-07-31 | 2014-03-05 | 삼성전자주식회사 | 복호화 레벨을 구비하는 멀티미디어 데이터의 생성 방법과장치 및 복호화 레벨을 이용한 멀티미디어 데이터의 재구성방법과 장치 |
US9031267B2 (en) * | 2007-08-29 | 2015-05-12 | Microsoft Technology Licensing, Llc | Loudspeaker array providing direct and indirect radiation from same set of drivers |
EP2083584B1 (en) * | 2008-01-23 | 2010-09-15 | LG Electronics Inc. | A method and an apparatus for processing an audio signal |
US20090237564A1 (en) * | 2008-03-18 | 2009-09-24 | Invism, Inc. | Interactive immersive virtual reality and simulation |
US8351612B2 (en) * | 2008-12-02 | 2013-01-08 | Electronics And Telecommunications Research Institute | Apparatus for generating and playing object based audio contents |
KR101805212B1 (ko) * | 2009-08-14 | 2017-12-05 | 디티에스 엘엘씨 | 객체-지향 오디오 스트리밍 시스템 |
US8908874B2 (en) * | 2010-09-08 | 2014-12-09 | Dts, Inc. | Spatial audio encoding and reproduction |
-
2010
- 2010-08-13 KR KR1020127006217A patent/KR101805212B1/ko active IP Right Grant
- 2010-08-13 US US12/856,442 patent/US8396575B2/en active Active
- 2010-08-13 EP EP10808848.5A patent/EP2465114B1/en active Active
- 2010-08-13 ES ES10808848T patent/ES2793958T3/es active Active
- 2010-08-13 CN CN201080041993.7A patent/CN102576533B/zh active Active
- 2010-08-13 WO PCT/US2010/045530 patent/WO2011020065A1/en active Application Filing
- 2010-08-13 JP JP2012524921A patent/JP5635097B2/ja active Active
- 2010-08-13 US US12/856,449 patent/US8396576B2/en active Active
- 2010-08-13 EP EP10808846.9A patent/EP2465259A4/en not_active Ceased
- 2010-08-13 CN CN201080041989.0A patent/CN102549655B/zh active Active
- 2010-08-13 PL PL10808848T patent/PL2465114T3/pl unknown
- 2010-08-13 KR KR1020177011677A patent/KR101842411B1/ko active IP Right Grant
- 2010-08-13 JP JP2012524919A patent/JP5726874B2/ja active Active
- 2010-08-13 US US12/856,450 patent/US8396577B2/en active Active
- 2010-08-13 WO PCT/US2010/045532 patent/WO2011020067A1/en active Application Filing
- 2010-08-13 KR KR1020127006218A patent/KR20120062758A/ko active Search and Examination
- 2010-08-13 EP EP20167069.2A patent/EP3697083B1/en active Active
-
2013
- 2013-03-08 US US13/791,488 patent/US9167346B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11386913B2 (en) * | 2017-08-01 | 2022-07-12 | Dolby Laboratories Licensing Corporation | Audio object classification based on location metadata |
Also Published As
Publication number | Publication date |
---|---|
KR20120062758A (ko) | 2012-06-14 |
ES2793958T3 (es) | 2020-11-17 |
US9167346B2 (en) | 2015-10-20 |
EP2465114A4 (en) | 2015-11-11 |
KR20120061869A (ko) | 2012-06-13 |
EP2465114B1 (en) | 2020-04-08 |
KR20170052696A (ko) | 2017-05-12 |
JP2013502183A (ja) | 2013-01-17 |
CN102576533A (zh) | 2012-07-11 |
CN102549655A (zh) | 2012-07-04 |
US8396575B2 (en) | 2013-03-12 |
JP5726874B2 (ja) | 2015-06-03 |
US8396577B2 (en) | 2013-03-12 |
EP2465259A1 (en) | 2012-06-20 |
PL2465114T3 (pl) | 2020-09-07 |
US20110040396A1 (en) | 2011-02-17 |
US20110040397A1 (en) | 2011-02-17 |
EP3697083A1 (en) | 2020-08-19 |
EP3697083B1 (en) | 2023-04-19 |
US20110040395A1 (en) | 2011-02-17 |
CN102549655B (zh) | 2014-09-24 |
EP2465114A1 (en) | 2012-06-20 |
KR101805212B1 (ko) | 2017-12-05 |
WO2011020067A1 (en) | 2011-02-17 |
KR101842411B1 (ko) | 2018-03-26 |
CN102576533B (zh) | 2014-09-17 |
EP2465259A4 (en) | 2015-10-28 |
JP2013502184A (ja) | 2013-01-17 |
WO2011020065A1 (en) | 2011-02-17 |
US8396576B2 (en) | 2013-03-12 |
US20130202129A1 (en) | 2013-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5635097B2 (ja) | オーディオオブジェクトを適応的にストリーミングするためのシステム | |
JP7009664B2 (ja) | オーディオ信号処理システム及び方法 | |
JP6676801B2 (ja) | マルチチャンネル音声コンテンツを表すビットストリームを生成する方法、およびデバイス | |
US9721575B2 (en) | System for dynamically creating and rendering audio objects | |
JP2022133422A (ja) | 情報処理装置および情報処理方法 | |
WO2013181272A2 (en) | Object-based audio system using vector base amplitude panning | |
JP7288760B2 (ja) | インタラクティブなオーディオメタデータの操作 | |
WO2020153092A1 (ja) | 情報処理装置及び情報処理方法 | |
RU2820838C2 (ru) | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала | |
US20230247382A1 (en) | Improved main-associated audio experience with efficient ducking gain application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140916 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141015 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5635097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |