JP6732764B2 - 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 - Google Patents
適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 Download PDFInfo
- Publication number
- JP6732764B2 JP6732764B2 JP2017539427A JP2017539427A JP6732764B2 JP 6732764 B2 JP6732764 B2 JP 6732764B2 JP 2017539427 A JP2017539427 A JP 2017539427A JP 2017539427 A JP2017539427 A JP 2017539427A JP 6732764 B2 JP6732764 B2 JP 6732764B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- rendering
- priority
- objects
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims description 194
- 238000000034 method Methods 0.000 title claims description 91
- 230000003044 adaptive effect Effects 0.000 title claims description 54
- 238000012545 processing Methods 0.000 claims description 49
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 22
- 238000012805 post-processing Methods 0.000 claims description 21
- 244000062793 Sorghum vulgare Species 0.000 claims 1
- 125000002057 carboxymethyl group Chemical group [H]OC(=O)C([H])([H])[*] 0.000 claims 1
- 235000019713 millet Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000010304 firing Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Otolaryngology (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本願は2015年2月6日に出願された米国仮特許出願第62/113,268号の優先権を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。
一つまたは複数の実装は概括的にはオーディオ信号処理に関し、より詳細には適応オーディオ・コンテンツのための、ハイブリッドの優先度に基づくレンダリング戦略に関する。
本明細書において言及される各刊行物、特許および/または特許出願はここに参照によって、個々の各刊行物および/または特許出願が具体的かつ個別的に参照によって組み込まれることが示されている場合と同じ程度にその全体において組み込まれる。
ある実施形態では、相互接続システムは、「空間的オーディオ・システム」または「適応オーディオ・システム」と称されうる音フォーマットおよび処理システムとともに機能するよう構成されているオーディオ・システムの一部として実装される。そのようなシステムは、向上した聴衆没入感、より大きな芸術的制御ならびにシステム柔軟性およびスケーラビリティーを許容するためのオーディオ・フォーマットおよびレンダリング技術に基づく。全体的な適応オーディオ・システムは一般に、通常のチャネル・ベースのオーディオ要素およびオーディオ・オブジェクト符号化要素の両方を含む一つまたは複数のビットストリームを生成するよう構成されたオーディオ・エンコード、配送およびデコード・システムを含む。そのような組み合わされたアプローチは、別個に実施されるチャネル・ベースまたはオブジェクト・ベースのアプローチのいずれと比べても、より大きな符号化効率およびレンダリング柔軟性を提供する。
上述したように、適応オーディオ・フォーマットの初期の実装は、新規なオーサリング・ツールを使ってオーサリングされ、適応的なオーディオ・シネマ・エンコーダを使ってパッケージングされ、PCMもしくは既存のデジタル映画館イニシアチブ(DCI: Digital Cinema Initiative)頒布機構を使う独自の無損失コーデックを使って頒布されるコンテンツ・キャプチャー(オブジェクトおよびチャネル)を含むデジタル映画館コンテキストにおいてであった。この場合、オーディオ・コンテンツはデジタル映画館においてデコードされ、レンダリングされて、没入的な空間的オーディオ映画館体験を作り出すことが意図される。しかしながら、今不可欠なのは、適応オーディオ・フォーマットによって提供される向上したユーザー経験を、自宅にいる消費者に直接届けることである。これは、フォーマットおよびシステムのある種の特性が、より制限された聴取環境での使用のために適応されることを要求する。説明の目的のため、用語「消費者ベースの環境」は、家、スタジオ、部屋、コンソール・エリア、講堂などといった通常の消費者またはプロフェッショナルによる使用のための聴取環境を含む、任意の映画館ではない環境を含むことが意図されている。
図4に示されるところでは、二つのDSPによって生成される優先順位付けされ、レンダリングされたオーディオ出力は、ユーザーへの再生のためにサウンドバーに伝送される。サウンドバー・スピーカーは、フラットスクリーン・テレビジョンの普及を受けて人気が増した。そのようなテレビジョンは非常に薄く、比較的軽くなってきており、可搬性および取り付けオプションが最適化され、それでいて手の出せる価格で増大し続ける画面サイズを提供している。しかしながら、これらのテレビジョンの音質は、スペース、電力およびコストの制約のため、しばしば非常に貧弱である。サウンドバーは、フラットパネル・テレビジョンの下に置かれてテレビジョン・オーディオの品質を改善するしばしばスタイリッシュな、電源付きスピーカーであり、それ自身で、あるいはサラウンドサウンド・スピーカー・セットアップの一部として使用できる。図7は、ハイブリッドの優先度に基づくレンダリング・システムの実施形態とともに使用されうるサウンドバー・スピーカーを示している。システム700において示されるように、サウンドバー・スピーカーは、いくつかのドライバー703を収容するキャビネット701を有する。これらのドライバーは、キャビネットの前面から直接、音を駆出するよう水平(または垂直)軸に沿って配列されている。サイズおよびシステム制約条件に依存して、いかなる実際的な数のドライバー701が使用されてもよく、典型的な数は2〜6個の範囲のドライバーである。ドライバーは同じサイズおよび形であってもよく、あるいは異なるドライバーのアレイであってもよい。たとえばより低周波音のための、より大きな中央ドライバーなど。高精細度オーディオ・システムへの直接的なインターフェースを許容するために、HDMI入力インターフェース702が設けられる。
一つまたは複数の実施形態について上記したように、システムによって処理されるある種のオブジェクトはISFオブジェクトである。ISFは、パン動作を時間変化する部分と静的な部分の二つの部分に分割することによってオーディオ・オブジェクト・パンナーの動作を最適化するフォーマットである。一般に、オーディオ・オブジェクト・パンナーは、モノフォニック・オブジェクト(たとえばObjecti)をN個のスピーカーにパンすることによって動作する。ここで、パン利得はスピーカー位置(x1,y1,z1),…,(xN,yN,zN)およびオブジェクト位置XYZi(t)の関数として決定される。オブジェクト位置が時間変化するので、これらの利得値は時間的に連続的に変化する。中間空間的フォーマットの目標は、単にこのパン動作を二つの部分に分けることである。(時間変化する)第一の部分はオブジェクト位置を利用する。(固定した行列を使う)第二の部分はスピーカー位置のみに基づいて構成される。図11は、いくつかの実施形態のもとでレンダリング・システムと一緒に使うための中間空間的フォーマットを示している。描画1100に示されるように、空間的パンナー1102は、スピーカー・デコーダ1106によるデコードのためにオブジェクトおよびスピーカー位置情報を受領する。これら二つの処理ブロック1102および1106の間でオーディオ・オブジェクト・シーンはKチャネルの中間空間的フォーマット(ISF)1104において表現される。複数のオーディオ・オブジェクト(1≦i≦Ni)が個々の空間的パンナーによって処理され、これらの空間的パンナーの出力が足し合わされてISF信号1104をなしてもよく、一つのKチャネルISF信号集合はNi個のオブジェクトの重畳を含みうる。ある種の実施形態では、エンコーダは高度制約データを通じてスピーカー高さに関する情報をも与えられてもよく、再生スピーカーの高さの詳細な知識が空間的パンナー1102によって使用されうる。
1.オブジェクトiが(xi,yi,zi)に位置しており、この位置は立方体内(よって|xi|≦1、|yi|≦1および−|zi|≦1)または単位球内(xi 2+yi 2+zi 2≦1)にあると想定される。
2.転用可能でないパン曲線に従って、オブジェクトiについてのオーディオ信号を、ある数(R)の空間的領域のそれぞれにパンするために、垂直位置(zi)が使われる。
3.各空間的領域(たとえば領域r: 1≦r≦R)(これは図4のように、空間の環状領域内にあるオーディオ成分を表わす)は、オブジェクトiの方位角(φi)の関数である転用可能なパン曲線を使って生成されるNr個の公称スピーカー信号の形で表現される。
いくつかの態様を記載しておく。
〔態様1〕
適応オーディオをレンダリングする方法であって:
チャネル・ベースのオーディオ、オーディオ・オブジェクトおよび動的オブジェクトを含む入力オーディオを受領する段階であって、前記動的オブジェクトは低優先度動的オブジェクトの集合および高優先度動的オブジェクトの集合として分類される、段階と;
前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトおよび前記低優先度動的オブジェクトをオーディオ処理システムの第一のレンダリング・プロセッサにおいてレンダリングする段階と;
前記高優先度動的オブジェクトを前記オーディオ処理システムの第二のレンダリング・プロセッサにおいてレンダリングする段階とを含む、
方法。
〔態様2〕
前記入力オーディオは、オーディオ・コンテンツおよびレンダリング・メタデータを含むオブジェクト・オーディオ・ベースのデジタル・ビットストリーム・フォーマットに従ってフォーマットされている、態様1記載の方法。
〔態様3〕
前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマットに準拠するオブジェクトを含む、態様2記載の方法。
〔態様4〕
前記低優先度動的オブジェクトおよび高優先度動的オブジェクトは、優先度閾値によって区別される、態様2記載の方法。
〔態様5〕
前記優先度閾値は、前記入力オーディオを含むオーディオ・コンテンツの作者、ユーザー選択された値および前記オーディオ処理システムによって実行される自動化されたプロセスのうちの一つによって定義される、態様4記載の方法。
〔態様6〕
前記優先度閾値は、前記オブジェクト・オーディオ・メタデータ・ビットストリームにおいてエンコードされている、態様5記載の方法。
〔態様7〕
前記低優先度および高優先度のオーディオ・オブジェクトのオーディオ・オブジェクトの相対的な優先度は前記オブジェクト・オーディオ・メタデータ・ビットストリームにおけるそれぞれの位置によって決定される、態様5記載の方法。
〔態様8〕
前記第一のレンダリング・プロセッサにおいて前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトおよび前記低優先度動的オブジェクトをレンダリングしてレンダリングされたオーディオを生成する間またはその後に、前記高優先度オーディオ・オブジェクトを前記第一のレンダリング・プロセッサを通して前記第二のレンダリング・プロセッサに渡し;
前記レンダリングされたオーディオをスピーカー・システムへの伝送のために後処理することをさらに含む、
態様1記載の方法。
〔態様9〕
前記後処理する段階は、アップミックス、ボリューム制御、等化および低音管理のうちの少なくとも一つを含む、態様8記載の方法。
〔態様10〕
前記後処理する段階は、前記スピーカー・システムを通じた再生のための前記入力オーディオに存在している高さ手がかりのレンダリングを容易にするための仮想化段階をさらに含む、態様9記載の方法。
〔態様11〕
前記スピーカー・システムは、単一の軸に沿って音を送出する複数の共位置のドライバーを有するサウンドバー・スピーカーを有する、態様10記載の方法。
〔態様12〕
前記第一および第二のレンダリング・プロセッサは、伝送リンクを通じて一緒に結合された別個のデジタル信号処理回路において具現される、態様4記載の方法。
〔態様13〕
前記優先度閾値は、前記第一および第二のレンダリング・プロセッサの相対的な処理機能、前記第一および第二のレンダリング・プロセッサのそれぞれに関連付けられたメモリ帯域幅および前記伝送リンクの伝送帯域幅のうちの少なくとも一つによって決定される、態様12記載の方法。
〔態様14〕
適応オーディオをレンダリングする方法であって:
オーディオ・コンポーネントおよび関連付けられたメタデータを含む入力オーディオ・ビットストリームを受領する段階であって、前記オーディオ・コンポーネントはそれぞれチャネル・ベースのオーディオ、オーディオ・オブジェクトおよび動的オブジェクトから選択されるオーディオ型をもつ、段階と;
各オーディオ・コンポーネントについてのデコーダ・フォーマットをそれぞれのオーディオ型に基づいて決定する段階と;
各オーディオ・コンポーネントの優先度を、該各オーディオ・コンポーネントに関連付けられたメタデータにおける優先度フィールドから決定する段階と;
第一のレンダリング・プロセッサにおいて第一の優先度型のオーディオ・コンポーネントをレンダリングする段階と;
第二のレンダリング・プロセッサにおいて第二の優先度型のオーディオ・コンポーネントをレンダリングする段階とを含む、
方法。
〔態様15〕
前記第一のレンダリング・プロセッサおよび第二のレンダリング・プロセッサは、伝送リンクを通じて互いに結合された別個のレンダリング・デジタル信号プロセッサ(DSP)として実装される、態様14記載の方法。
〔態様16〕
前記第一の優先度型のオーディオ・コンポーネントは低優先度の動的オブジェクトを含み、第二の優先度型のオーディオ・コンポーネントは高優先度の動的オブジェクトを含み、本方法はさらに、前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトを前記第一のレンダリング・プロセッサにおいてレンダリングすることを含む、態様15記載の方法。
〔態様17〕
前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマット(ISF)に準拠するオブジェクトを含み、前記低優先度および高優先度動的オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに準拠するものを含む、態様15記載の方法。
〔態様18〕
各オーディオ・コンポーネントについてのデコーダ・フォーマットは:OAMDフォーマットされた動的オブジェクト、サラウンドサウンド・オーディオ・ベッドおよびISFオブジェクトのうちの少なくとも一つを生成する、態様17記載の方法。
〔態様19〕
前記低優先度および高優先度動的オブジェクトのオーディオ・オブジェクトの相対的な優先度は前記入力オーディオ・ビットストリームにおけるそれぞれの位置によって決定される、態様16記載の方法。
〔態様20〕
前記スピーカー・システムを通じた再生のための前記入力オーディオに存在している高さ手がかりのレンダリングを容易にするよう、少なくとも前記高優先度動的オブジェクトに仮想化プロセスを適用することをさらに含む、態様19記載の方法。
〔態様21〕
前記スピーカー・システムは、単一の軸に沿って音を送出する複数の共位置のドライバーを有するサウンドバー・スピーカーを有する、態様20記載の方法。
〔態様22〕
適応オーディオをレンダリングするシステムであって:
オーディオ・コンテンツおよび関連付けられたメタデータを有するビットストリームにおいて入力オーディオを受領するインターフェースであって、前記オーディオ・コンテンツは、チャネル・ベースのオーディオ、オーディオ・オブジェクトおよび動的オブジェクトを含み、前記動的オブジェクトは低優先度動的オブジェクトの集合および高優先度動的オブジェクトの集合として分類される、インターフェースと;
前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトおよび前記低優先度動的オブジェクトをレンダリングする、前記インターフェースに結合された第一のレンダリング・プロセッサと;
前記高優先度動的オブジェクトをレンダリングする、伝送リンクを通じて前記第一のレンダリング・プロセッサに結合された第二のレンダリング・プロセッサとを有する、
システム。
〔態様23〕
前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマット(ISF)に準拠するオブジェクトを含み、前記低優先度および高優先度動的オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに準拠するオブジェクトを含む、態様22記載のシステム。
〔態様24〕
前記低優先度動的オブジェクトおよび高優先度動的オブジェクトは、優先度閾値によって区別され、前記優先度閾値は、前記メタデータ・ビットストリームの適切なフィールドにおいてエンコードされており、前記入力オーディオを含むオーディオ・コンテンツの作者、ユーザー選択された値および前記オーディオ処理システムによって実行される自動化されたプロセスのうちの一つによって決定される、態様23記載のシステム。
〔態様25〕
前記第一のレンダリング・プロセッサおよび第二のレンダリング・プロセッサにおいてレンダリングされたオーディオに対して一つまたは複数の後処理段階を実行する後処理器をさらに有し、前記後処理段階は、アップミックス、ボリューム制御、等化および低音管理のうちの少なくとも一つを含む、態様24記載のシステム。
〔態様26〕
単一の軸に沿って音を送出する複数の共位置のドライバーを有するサウンドバー・スピーカーを通じた再生のための前記レンダリングされたオーディオに存在している高さ手がかりのレンダリングを容易にするための少なくとも一つの仮想化段階を実行する、前記後処理器に結合された仮想化器コンポーネントをさらに有する、態様25記載のシステム。
〔態様27〕
前記優先度閾値は、前記第一および第二のレンダリング・プロセッサの相対的な処理機能、前記第一および第二のレンダリング・プロセッサのそれぞれに関連付けられたメモリ帯域幅および前記伝送リンクの伝送帯域幅のうちの少なくとも一つによって決定される、態様24記載の方法。
〔態様28〕
聴取環境における仮想化されたオーディオ・コンテンツの再生のためのスピーカー・システムであって:
エンクロージャーと;
前記エンクロージャー内に配置され、前記エンクロージャーの前面を通じて音を投射するよう構成された複数の個別ドライバーと;
オーディオ・コンポーネントおよび関連付けられたメタデータを含むオーディオ・ビットストリームに含まれる第一の優先度型のオーディオ・コンポーネントをレンダリングする第一のレンダリング・プロセッサならびに前記オーディオ・ビットストリームに含まれる第二の優先度型のオーディオ・コンポーネントをレンダリングする第二のレンダリング・プロセッサによって生成されたレンダリングされたオーディオを受領するインターフェースとを有する、
スピーカー・システム。
〔態様29〕
前記第一のレンダリング・プロセッサおよび第二のレンダリング・プロセッサが、伝送リンクを通じて互いに結合された別個のレンダリング・デジタル信号プロセッサ(DSP)として実装される、態様28記載のスピーカー・システム。
〔態様30〕
前記第一の優先度型のオーディオ・コンポーネントは低優先度動的オブジェクトを含み、前記第二の優先度型のオーディオ・コンポーネントは高優先度動的オブジェクトを含み、前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマット(ISF)に準拠するオブジェクトを含み、前記低優先度および高優先度動的オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに準拠するものを含む、態様29記載のスピーカー・システム。
〔態様31〕
当該スピーカー・システムを通じた再生のための前記入力オーディオに存在している高さ手がかりのレンダリングを容易にするために少なくとも前記高優先度動的オブジェクトに仮想化プロセスを適用する仮想化器をさらに有する、態様30記載のスピーカー・システム。
〔態様32〕
前記仮想化器、前記第一のレンダリング・プロセッサおよび前記第二のレンダリング・プロセッサのうちの少なくとも一つは当該スピーカー・システムの前記エンクロージャーに緊密に結合されているまたは該エンクロージャーに囲まれている、態様31記載のスピーカー・システム。
Claims (30)
- 適応オーディオをレンダリングする方法であって:
チャネル・ベースのオーディオ、オーディオ・オブジェクトおよび動的オブジェクトを含む入力オーディオを受領する段階であって、前記動的オブジェクトは低優先度動的オブジェクトの集合および高優先度動的オブジェクトの集合として分類される、段階と;
前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトおよび前記低優先度動的オブジェクトをオーディオ処理システムの第一のレンダリング・プロセッサにおいてレンダリングする段階と;
前記高優先度動的オブジェクトを前記オーディオ処理システムの第二のレンダリング・プロセッサにおいてレンダリングする段階とを含む、
方法。 - 前記入力オーディオは、オーディオ・コンテンツおよびレンダリング・メタデータを含むオブジェクト・オーディオ・ベースのデジタル・ビットストリーム・フォーマットに従ってフォーマットされている、請求項1記載の方法。
- 前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマットに準拠するオブジェクトを含む、請求項2記載の方法。
- 前記低優先度動的オブジェクトおよび高優先度動的オブジェクトは、優先度閾値によって区別される、請求項2記載の方法。
- 前記優先度閾値は、前記入力オーディオを含むオーディオ・コンテンツの作者、ユーザー選択された値および前記オーディオ処理システムによって実行される自動化されたプロセスのうちの一つによって定義される、請求項4記載の方法。
- 前記優先度閾値は、オブジェクト・オーディオ・メタデータ・ビットストリームにおいてエンコードされている、請求項5記載の方法。
- 前記低優先度および高優先度のオーディオ・オブジェクトのオーディオ・オブジェクトの相対的な優先度はオブジェクト・オーディオ・メタデータ・ビットストリームにおけるそれぞれの位置によって決定される、請求項5記載の方法。
- 前記第一のレンダリング・プロセッサにおいて前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトおよび前記低優先度動的オブジェクトをレンダリングしてレンダリングされたオーディオを生成する間またはその後に、前記高優先度オーディオ・オブジェクトを前記第一のレンダリング・プロセッサを通して前記第二のレンダリング・プロセッサに渡し;
前記レンダリングされたオーディオをスピーカー・システムへの伝送のために後処理することをさらに含む、
請求項1記載の方法。 - 前記後処理する段階は、アップミックス、ボリューム制御、等化および低音管理のうちの少なくとも一つを含む、請求項8記載の方法。
- 前記後処理する段階は、前記スピーカー・システムを通じた再生のための前記入力オーディオに存在している高さ手がかりのレンダリングを容易にするための仮想化段階をさらに含む、請求項9記載の方法。
- 前記スピーカー・システムは、単一の軸に沿って音を送出する複数の共位置のドライバーを有するサウンドバー・スピーカーを有する、請求項10記載の方法。
- 前記第一および第二のレンダリング・プロセッサは、伝送リンクを通じて一緒に結合された別個のデジタル信号処理回路において具現される、請求項4記載の方法。
- 前記優先度閾値は、前記第一および第二のレンダリング・プロセッサの相対的な処理機能、前記第一および第二のレンダリング・プロセッサのそれぞれに関連付けられたメモリ帯域幅および前記伝送リンクの伝送帯域幅のうちの少なくとも一つによって決定される、請求項12記載の方法。
- 適応オーディオをレンダリングする方法であって:
オーディオ・コンポーネントおよび関連付けられたメタデータを含む入力オーディオ・ビットストリームを受領する段階であって、前記オーディオ・コンポーネントはそれぞれチャネル・ベースのオーディオ、オーディオ・オブジェクトおよび動的オブジェクトから選択されるオーディオ型をもつ、段階と;
各オーディオ・コンポーネントについてのデコーダ・フォーマットをそれぞれのオーディオ型に基づいて決定する段階と;
各オーディオ・コンポーネントの優先度を、各オーディオ・コンポーネントに関連付けられたメタデータにおける優先度フィールドから決定する段階と;
第一のレンダリング・プロセッサにおいて第一の優先度型のオーディオ・コンポーネントをレンダリングする段階と;
第二のレンダリング・プロセッサにおいて第二の優先度型のオーディオ・コンポーネントをレンダリングする段階とを含み、
前記第一の優先度型のオーディオ・コンポーネントは低優先度動的オブジェクトを含み、第二の優先度型のオーディオ・コンポーネントは高優先度動的オブジェクトを含み、チャネル・ベースのオーディオおよびオーディオ・オブジェクトを前記第一のレンダリング・プロセッサにおいてレンダリングされる、
方法。 - 前記第一のレンダリング・プロセッサおよび第二のレンダリング・プロセッサは、伝送リンクを通じて互いに結合された別個のレンダリング・デジタル信号プロセッサ(DSP)として実装される、請求項14記載の方法。
- 前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマット(ISF)に準拠するオブジェクトを含み、前記低優先度および高優先度動的オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに準拠するものを含む、請求項15記載の方法。
- 各オーディオ・コンポーネントについてのデコーダ・フォーマットは:OAMDフォーマットされた動的オブジェクト、サラウンドサウンド・オーディオ・ベッドおよびISFオブジェクトのうちの少なくとも一つを生成する、請求項16記載の方法。
- 前記低優先度および高優先度動的オブジェクトのオーディオ・オブジェクトの相対的な優先度は前記入力オーディオ・ビットストリームにおけるそれぞれの位置によって決定される、請求項17記載の方法。
- スピーカー・システムを通じた再生のための前記入力オーディオ・ビットストリームに存在している高さ手がかりのレンダリングを容易にするよう、少なくとも前記高優先度動的オブジェクトに仮想化プロセスを適用することをさらに含む、請求項18記載の方法。
- 前記スピーカー・システムは、単一の軸に沿って音を送出する複数の共位置のドライバーを有するサウンドバー・スピーカーを有する、請求項19記載の方法。
- 適応オーディオをレンダリングするシステムであって:
オーディオ・コンテンツおよび関連付けられたメタデータを有するビットストリームにおいて入力オーディオを受領するインターフェースであって、前記オーディオ・コンテンツは、チャネル・ベースのオーディオ、オーディオ・オブジェクトおよび動的オブジェクトを含み、前記動的オブジェクトは低優先度動的オブジェクトの集合および高優先度動的オブジェクトの集合として分類される、インターフェースと;
前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトおよび前記低優先度動的オブジェクトをレンダリングする、前記インターフェースに結合された第一のレンダリング・プロセッサと;
前記高優先度動的オブジェクトをレンダリングする、伝送リンクを通じて前記第一のレンダリング・プロセッサに結合された第二のレンダリング・プロセッサとを有する、
システム。 - 前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマット(ISF)に準拠するオブジェクトを含み、前記低優先度および高優先度動的オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに準拠するオブジェクトを含む、請求項21記載のシステム。
- 前記低優先度動的オブジェクトおよび高優先度動的オブジェクトは、優先度閾値によって区別され、前記優先度閾値は、前記ビットストリームの適切なフィールドにおいてエンコードされており、前記入力オーディオを含むオーディオ・コンテンツの作者、ユーザー選択された値および前記システムによって実行される自動化されたプロセスのうちの一つによって決定される、請求項22記載のシステム。
- 前記第一のレンダリング・プロセッサおよび第二のレンダリング・プロセッサにおいてレンダリングされたオーディオに対して一つまたは複数の後処理段階を実行する後処理器をさらに有し、前記後処理段階は、アップミックス、ボリューム制御、等化および低音管理のうちの少なくとも一つを含む、請求項23記載のシステム。
- 単一の軸に沿って音を送出する複数の共位置のドライバーを有するサウンドバー・スピーカーを通じた再生のための前記レンダリングされたオーディオに存在している高さ手がかりのレンダリングを容易にするための少なくとも一つの仮想化段階を実行する、前記後処理器に結合された仮想化器コンポーネントをさらに有する、請求項24記載のシステム。
- 前記優先度閾値は、前記第一および第二のレンダリング・プロセッサの相対的な処理機能、前記第一および第二のレンダリング・プロセッサのそれぞれに関連付けられたメモリ帯域幅および前記伝送リンクの伝送帯域幅のうちの少なくとも一つによって決定される、請求項23記載のシステム。
- 聴取環境における仮想化されたオーディオ・コンテンツの再生のためのスピーカー・システムであって:
エンクロージャーと;
前記エンクロージャー内に配置され、前記エンクロージャーの前面を通じて音を投射するよう構成された複数の個別ドライバーと;
オーディオ・コンポーネントおよび関連付けられたメタデータを含むオーディオ・ビットストリームに含まれる第一の優先度型のオーディオ・コンポーネントをレンダリングする第一のレンダリング・プロセッサならびに前記オーディオ・ビットストリームに含まれる第二の優先度型のオーディオ・コンポーネントをレンダリングする第二のレンダリング・プロセッサによって生成されたレンダリングされたオーディオを受領するインターフェースであって、前記第一の優先度型のオーディオ・コンポーネントは低優先度動的オブジェクトを含み、前記第二の優先度型のオーディオ・コンポーネントは高優先度動的オブジェクトを含む、インターフェースと;
当該スピーカー・システムを通じた再生のための前記受領されたオーディオに存在している高さ手がかりのレンダリングを容易にするために少なくとも前記高優先度動的オブジェクトに仮想化プロセスを適用する仮想化器とを有する、
スピーカー・システム。 - 前記第一のレンダリング・プロセッサおよび第二のレンダリング・プロセッサが、伝送リンクを通じて互いに結合された別個のレンダリング・デジタル信号プロセッサ(DSP)として実装される、請求項27記載のスピーカー・システム。
- 前記受領されたオーディオはさらにチャネル・ベースのオーディオおよびオーディオ・オブジェクトを含み、前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマット(ISF)に準拠するオブジェクトを含み、前記低優先度および高優先度動的オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに準拠するものを含む、請求項28記載のスピーカー・システム。
- 前記仮想化器、前記第一のレンダリング・プロセッサおよび前記第二のレンダリング・プロセッサのうちの少なくとも一つは当該スピーカー・システムの前記エンクロージャーに緊密に結合されているまたは該エンクロージャーに囲まれている、請求項29記載のスピーカー・システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562113268P | 2015-02-06 | 2015-02-06 | |
US62/113,268 | 2015-02-06 | ||
PCT/US2016/016506 WO2016126907A1 (en) | 2015-02-06 | 2016-02-04 | Hybrid, priority-based rendering system and method for adaptive audio |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020117715A Division JP7033170B2 (ja) | 2015-02-06 | 2020-07-08 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018510532A JP2018510532A (ja) | 2018-04-12 |
JP6732764B2 true JP6732764B2 (ja) | 2020-07-29 |
Family
ID=55353358
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017539427A Active JP6732764B2 (ja) | 2015-02-06 | 2016-02-04 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
JP2020117715A Active JP7033170B2 (ja) | 2015-02-06 | 2020-07-08 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
JP2022027836A Active JP7362807B2 (ja) | 2015-02-06 | 2022-02-25 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020117715A Active JP7033170B2 (ja) | 2015-02-06 | 2020-07-08 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
JP2022027836A Active JP7362807B2 (ja) | 2015-02-06 | 2022-02-25 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (4) | US10225676B2 (ja) |
EP (2) | EP3893522B1 (ja) |
JP (3) | JP6732764B2 (ja) |
CN (6) | CN111556426B (ja) |
WO (1) | WO2016126907A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014184353A1 (en) * | 2013-05-16 | 2014-11-20 | Koninklijke Philips N.V. | An audio processing apparatus and method therefor |
JP2017163432A (ja) * | 2016-03-10 | 2017-09-14 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US10325610B2 (en) | 2016-03-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Adaptive audio rendering |
EP3373604B1 (en) * | 2017-03-08 | 2021-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for providing a measure of spatiality associated with an audio stream |
US10972859B2 (en) * | 2017-04-13 | 2021-04-06 | Sony Corporation | Signal processing apparatus and method as well as program |
US11574644B2 (en) * | 2017-04-26 | 2023-02-07 | Sony Corporation | Signal processing device and method, and program |
US11595774B2 (en) * | 2017-05-12 | 2023-02-28 | Microsoft Technology Licensing, Llc | Spatializing audio data based on analysis of incoming audio data |
US11102601B2 (en) * | 2017-09-29 | 2021-08-24 | Apple Inc. | Spatial audio upmixing |
WO2019121773A1 (en) * | 2017-12-18 | 2019-06-27 | Dolby International Ab | Method and system for handling local transitions between listening positions in a virtual reality environment |
US11270711B2 (en) | 2017-12-21 | 2022-03-08 | Qualcomm Incorproated | Higher order ambisonic audio data |
US10657974B2 (en) | 2017-12-21 | 2020-05-19 | Qualcomm Incorporated | Priority information for higher order ambisonic audio data |
CN108174337B (zh) * | 2017-12-26 | 2020-05-15 | 广州励丰文化科技股份有限公司 | 一种室内声场自适应的方法及组合扬声器系统 |
US10237675B1 (en) * | 2018-05-22 | 2019-03-19 | Microsoft Technology Licensing, Llc | Spatial delivery of multi-source audio content |
GB2575510A (en) | 2018-07-13 | 2020-01-15 | Nokia Technologies Oy | Spatial augmentation |
EP3618464A1 (en) * | 2018-08-30 | 2020-03-04 | Nokia Technologies Oy | Reproduction of parametric spatial audio using a soundbar |
BR112021008089A2 (pt) | 2018-11-02 | 2021-08-03 | Dolby International Ab | codificador de áudio e decodificador de áudio |
BR112021009306A2 (pt) * | 2018-11-20 | 2021-08-10 | Sony Group Corporation | dispositivo e método de processamento de informações, e, programa. |
CN113767650B (zh) * | 2019-05-03 | 2023-07-28 | 杜比实验室特许公司 | 使用多种类型的渲染器渲染音频对象 |
JP7412091B2 (ja) * | 2019-05-08 | 2024-01-12 | 株式会社ディーアンドエムホールディングス | オーディオ装置およびオーディオシステム |
US10869152B1 (en) * | 2019-05-31 | 2020-12-15 | Dts, Inc. | Foveated audio rendering |
WO2020257331A1 (en) * | 2019-06-20 | 2020-12-24 | Dolby Laboratories Licensing Corporation | Rendering of an m-channel input on s speakers (s<m) |
US11140503B2 (en) * | 2019-07-03 | 2021-10-05 | Qualcomm Incorporated | Timer-based access for audio streaming and rendering |
US11366879B2 (en) * | 2019-07-08 | 2022-06-21 | Microsoft Technology Licensing, Llc | Server-side audio rendering licensing |
US11523239B2 (en) * | 2019-07-22 | 2022-12-06 | Hisense Visual Technology Co., Ltd. | Display apparatus and method for processing audio |
KR102638121B1 (ko) * | 2019-07-30 | 2024-02-20 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 상이한 재생 능력을 구비한 디바이스에 걸친 역학 처리 |
US11038937B1 (en) * | 2020-03-06 | 2021-06-15 | Sonos, Inc. | Hybrid sniffing and rebroadcast for Bluetooth networks |
WO2021179154A1 (en) * | 2020-03-10 | 2021-09-16 | Sonos, Inc. | Audio device transducer array and associated systems and methods |
US11601757B2 (en) * | 2020-08-28 | 2023-03-07 | Micron Technology, Inc. | Audio input prioritization |
CN116324978A (zh) * | 2020-09-25 | 2023-06-23 | 苹果公司 | 分级空间分辨率编解码器 |
US20230051841A1 (en) * | 2021-07-30 | 2023-02-16 | Qualcomm Incorporated | Xr rendering for 3d audio content and audio codec |
CN113613066B (zh) * | 2021-08-03 | 2023-03-28 | 天翼爱音乐文化科技有限公司 | 一种实时视频特效的渲染方法、系统、装置及存储介质 |
WO2023239639A1 (en) * | 2022-06-08 | 2023-12-14 | Dolby Laboratories Licensing Corporation | Immersive audio fading |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5633993A (en) | 1993-02-10 | 1997-05-27 | The Walt Disney Company | Method and apparatus for providing a virtual world sound system |
JPH09149499A (ja) * | 1995-11-20 | 1997-06-06 | Nippon Columbia Co Ltd | データ転送方法及びその装置 |
US7706544B2 (en) | 2002-11-21 | 2010-04-27 | Fraunhofer-Geselleschaft Zur Forderung Der Angewandten Forschung E.V. | Audio reproduction system and method for reproducing an audio signal |
US20040228291A1 (en) * | 2003-05-15 | 2004-11-18 | Huslak Nicolas Steven | Videoconferencing using managed quality of service and/or bandwidth allocation in a regional/access network (RAN) |
US7436535B2 (en) * | 2003-10-24 | 2008-10-14 | Microsoft Corporation | Real-time inking |
CN1625108A (zh) * | 2003-12-01 | 2005-06-08 | 皇家飞利浦电子股份有限公司 | 一种使用优先级技术的通信方法和系统 |
US8363865B1 (en) | 2004-05-24 | 2013-01-29 | Heather Bottum | Multiple channel sound system using multi-speaker arrays |
EP1724684A1 (en) * | 2005-05-17 | 2006-11-22 | BUSI Incubateur d'entreprises d'AUVEFGNE | System and method for task scheduling, signal analysis and remote sensor |
US7500175B2 (en) * | 2005-07-01 | 2009-03-03 | Microsoft Corporation | Aspects of media content rendering |
KR101374034B1 (ko) * | 2005-07-18 | 2014-03-12 | 톰슨 라이센싱 | 다중 비디오 스트림을 핸들링하는 방법 및 장치 |
US7974422B1 (en) * | 2005-08-25 | 2011-07-05 | Tp Lab, Inc. | System and method of adjusting the sound of multiple audio objects directed toward an audio output device |
KR100921453B1 (ko) * | 2006-02-07 | 2009-10-13 | 엘지전자 주식회사 | 부호화/복호화 장치 및 방법 |
CN101689368B (zh) | 2007-03-30 | 2012-08-22 | 韩国电子通信研究院 | 对具有多声道的多对象音频信号进行编码和解码的设备和方法 |
CN102099854B (zh) * | 2008-07-15 | 2012-11-28 | Lg电子株式会社 | 处理音频信号的方法和装置 |
EP2154911A1 (en) | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a spatial output multi-channel audio signal |
JP5340296B2 (ja) * | 2009-03-26 | 2013-11-13 | パナソニック株式会社 | 復号化装置、符号化復号化装置および復号化方法 |
KR101387902B1 (ko) | 2009-06-10 | 2014-04-22 | 한국전자통신연구원 | 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더 |
KR101388901B1 (ko) | 2009-06-24 | 2014-04-24 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 오디오 신호 디코더, 오디오 신호를 디코딩하는 방법 및 캐스케이드된 오디오 객체 처리 단계들을 이용한 컴퓨터 프로그램 |
CN102549655B (zh) * | 2009-08-14 | 2014-09-24 | Dts有限责任公司 | 自适应成流音频对象的系统 |
JP5964311B2 (ja) * | 2010-10-20 | 2016-08-03 | ディーティーエス・エルエルシーDts Llc | ステレオイメージ拡張システム |
US9026450B2 (en) * | 2011-03-09 | 2015-05-05 | Dts Llc | System for dynamically creating and rendering audio objects |
KR102374897B1 (ko) | 2011-03-16 | 2022-03-17 | 디티에스, 인코포레이티드 | 3차원 오디오 사운드트랙의 인코딩 및 재현 |
EP2523111A1 (en) * | 2011-05-13 | 2012-11-14 | Research In Motion Limited | Allocating media decoding resources according to priorities of media elements in received data |
AU2012279349B2 (en) | 2011-07-01 | 2016-02-18 | Dolby Laboratories Licensing Corporation | System and tools for enhanced 3D audio authoring and rendering |
US9584912B2 (en) | 2012-01-19 | 2017-02-28 | Koninklijke Philips N.V. | Spatial audio rendering and encoding |
WO2013111034A2 (en) * | 2012-01-23 | 2013-08-01 | Koninklijke Philips N.V. | Audio rendering system and method therefor |
US8893140B2 (en) * | 2012-01-24 | 2014-11-18 | Life Coded, Llc | System and method for dynamically coordinating tasks, schedule planning, and workload management |
KR102059846B1 (ko) * | 2012-07-31 | 2020-02-11 | 인텔렉추얼디스커버리 주식회사 | 오디오 신호 처리 방법 및 장치 |
WO2014020181A1 (en) | 2012-08-03 | 2014-02-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases |
KR101903664B1 (ko) | 2012-08-10 | 2018-11-22 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 파라미터 오디오 오브젝트 코딩을 위한 잔류 개념을 이용하는 인코더, 디코더, 시스템 및 방법 |
KR102037418B1 (ko) * | 2012-12-04 | 2019-10-28 | 삼성전자주식회사 | 오디오 제공 장치 및 오디오 제공 방법 |
EP2936485B1 (en) | 2012-12-21 | 2017-01-04 | Dolby Laboratories Licensing Corporation | Object clustering for rendering object-based audio content based on perceptual criteria |
CN103335644B (zh) * | 2013-05-31 | 2016-03-16 | 王玉娇 | 街景地图的声音播放方法及相关设备 |
WO2015009748A1 (en) * | 2013-07-15 | 2015-01-22 | Dts, Inc. | Spatial calibration of surround sound systems including listener position estimation |
US9564136B2 (en) * | 2014-03-06 | 2017-02-07 | Dts, Inc. | Post-encoding bitrate reduction of multiple object audio |
CN103885788B (zh) * | 2014-04-14 | 2015-02-18 | 焦点科技股份有限公司 | 一种基于模型组件化动态web 3d虚拟现实场景的搭建方法及系统 |
-
2016
- 2016-02-04 CN CN202010452760.1A patent/CN111556426B/zh active Active
- 2016-02-04 CN CN202210192201.0A patent/CN114374925B/zh active Active
- 2016-02-04 CN CN202210192142.7A patent/CN114554386A/zh active Pending
- 2016-02-04 JP JP2017539427A patent/JP6732764B2/ja active Active
- 2016-02-04 EP EP21152926.8A patent/EP3893522B1/en active Active
- 2016-02-04 CN CN202210192225.6A patent/CN114554387A/zh active Pending
- 2016-02-04 WO PCT/US2016/016506 patent/WO2016126907A1/en active Application Filing
- 2016-02-04 CN CN202010453145.2A patent/CN111586552B/zh active Active
- 2016-02-04 US US15/532,419 patent/US10225676B2/en active Active
- 2016-02-04 EP EP16704366.0A patent/EP3254476B1/en active Active
- 2016-02-04 CN CN201680007206.4A patent/CN107211227B/zh active Active
-
2018
- 2018-12-19 US US16/225,126 patent/US10659899B2/en active Active
-
2020
- 2020-05-16 US US16/875,999 patent/US11190893B2/en active Active
- 2020-07-08 JP JP2020117715A patent/JP7033170B2/ja active Active
-
2021
- 2021-11-24 US US17/535,459 patent/US11765535B2/en active Active
-
2022
- 2022-02-25 JP JP2022027836A patent/JP7362807B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20220159394A1 (en) | 2022-05-19 |
EP3893522B1 (en) | 2023-01-18 |
EP3893522A1 (en) | 2021-10-13 |
CN107211227B (zh) | 2020-07-07 |
JP7033170B2 (ja) | 2022-03-09 |
CN111586552A (zh) | 2020-08-25 |
US20210112358A1 (en) | 2021-04-15 |
EP3254476A1 (en) | 2017-12-13 |
JP7362807B2 (ja) | 2023-10-17 |
JP2020174383A (ja) | 2020-10-22 |
US11765535B2 (en) | 2023-09-19 |
US10225676B2 (en) | 2019-03-05 |
JP2022065179A (ja) | 2022-04-26 |
CN111556426A (zh) | 2020-08-18 |
CN107211227A (zh) | 2017-09-26 |
CN114374925A (zh) | 2022-04-19 |
US10659899B2 (en) | 2020-05-19 |
EP3254476B1 (en) | 2021-01-27 |
CN114554386A (zh) | 2022-05-27 |
CN111586552B (zh) | 2021-11-05 |
US20170374484A1 (en) | 2017-12-28 |
JP2018510532A (ja) | 2018-04-12 |
CN111556426B (zh) | 2022-03-25 |
WO2016126907A1 (en) | 2016-08-11 |
US20190191258A1 (en) | 2019-06-20 |
CN114374925B (zh) | 2024-04-02 |
CN114554387A (zh) | 2022-05-27 |
US11190893B2 (en) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7362807B2 (ja) | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 | |
RU2741738C1 (ru) | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала | |
US11277703B2 (en) | Speaker for reflecting sound off viewing screen or display surface | |
JP6804495B2 (ja) | 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理 | |
JP6186436B2 (ja) | 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング | |
JP5985063B2 (ja) | レンダラーと個々に指定可能なドライバのアレイとの間の通信のための双方向相互接続 | |
US20160212559A1 (en) | Panning of Audio Objects to Arbitrary Speaker Layouts | |
EP2862370A1 (en) | Rendering and playback of spatial audio using channel-based audio systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6732764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |