JP7362807B2 - 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 - Google Patents
適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 Download PDFInfo
- Publication number
- JP7362807B2 JP7362807B2 JP2022027836A JP2022027836A JP7362807B2 JP 7362807 B2 JP7362807 B2 JP 7362807B2 JP 2022027836 A JP2022027836 A JP 2022027836A JP 2022027836 A JP2022027836 A JP 2022027836A JP 7362807 B2 JP7362807 B2 JP 7362807B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- rendering
- dynamic object
- priority
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Description
本願は2015年2月6日に出願された米国仮特許出願第62/113,268号の優先権を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。
一つまたは複数の実装は概括的にはオーディオ信号処理に関し、より詳細には適応オーディオ・コンテンツのための、ハイブリッドの優先度に基づくレンダリング戦略に関する。
本明細書において言及される各刊行物、特許および/または特許出願はここに参照によって、個々の各刊行物および/または特許出願が具体的かつ個別的に参照によって組み込まれることが示されている場合と同じ程度にその全体において組み込まれる。
ある実施形態では、相互接続システムは、「空間的オーディオ・システム」または「適応オーディオ・システム」と称されうる音フォーマットおよび処理システムとともに機能するよう構成されているオーディオ・システムの一部として実装される。そのようなシステムは、向上した聴衆没入感、より大きな芸術的制御ならびにシステム柔軟性およびスケーラビリティーを許容するためのオーディオ・フォーマットおよびレンダリング技術に基づく。全体的な適応オーディオ・システムは一般に、通常のチャネル・ベースのオーディオ要素およびオーディオ・オブジェクト符号化要素の両方を含む一つまたは複数のビットストリームを生成するよう構成されたオーディオ・エンコード、配送およびデコード・システムを含む。そのような組み合わされたアプローチは、別個に実施されるチャネル・ベースまたはオブジェクト・ベースのアプローチのいずれと比べても、より大きな符号化効率およびレンダリング柔軟性を提供する。
上述したように、適応オーディオ・フォーマットの初期の実装は、新規なオーサリング・ツールを使ってオーサリングされ、適応的なオーディオ・シネマ・エンコーダを使ってパッケージングされ、PCMもしくは既存のデジタル映画館イニシアチブ(DCI: Digital Cinema Initiative)頒布機構を使う独自の無損失コーデックを使って頒布されるコンテンツ・キャプチャー(オブジェクトおよびチャネル)を含むデジタル映画館コンテキストにおいてであった。この場合、オーディオ・コンテンツはデジタル映画館においてデコードされ、レンダリングされて、没入的な空間的オーディオ映画館体験を作り出すことが意図される。しかしながら、今不可欠なのは、適応オーディオ・フォーマットによって提供される向上したユーザー経験を、自宅にいる消費者に直接届けることである。これは、フォーマットおよびシステムのある種の特性が、より制限された聴取環境での使用のために適応されることを要求する。説明の目的のため、用語「消費者ベースの環境」は、家、スタジオ、部屋、コンソール・エリア、講堂などといった通常の消費者またはプロフェッショナルによる使用のための聴取環境を含む、任意の映画館ではない環境を含むことが意図されている。
図4に示されるところでは、二つのDSPによって生成される優先順位付けされ、レンダリングされたオーディオ出力は、ユーザーへの再生のためにサウンドバーに伝送される。サウンドバー・スピーカーは、フラットスクリーン・テレビジョンの普及を受けて人気が増した。そのようなテレビジョンは非常に薄く、比較的軽くなってきており、可搬性および取り付けオプションが最適化され、それでいて手の出せる価格で増大し続ける画面サイズを提供している。しかしながら、これらのテレビジョンの音質は、スペース、電力およびコストの制約のため、しばしば非常に貧弱である。サウンドバーは、フラットパネル・テレビジョンの下に置かれてテレビジョン・オーディオの品質を改善するしばしばスタイリッシュな、電源付きスピーカーであり、それ自身で、あるいはサラウンドサウンド・スピーカー・セットアップの一部として使用できる。図7は、ハイブリッドの優先度に基づくレンダリング・システムの実施形態とともに使用されうるサウンドバー・スピーカーを示している。システム700において示されるように、サウンドバー・スピーカーは、いくつかのドライバー703を収容するキャビネット701を有する。これらのドライバーは、キャビネットの前面から直接、音を駆出するよう水平(または垂直)軸に沿って配列されている。サイズおよびシステム制約条件に依存して、いかなる実際的な数のドライバー701が使用されてもよく、典型的な数は2~6個の範囲のドライバーである。ドライバーは同じサイズおよび形であってもよく、あるいは異なるドライバーのアレイであってもよい。たとえばより低周波音のための、より大きな中央ドライバーなど。高精細度オーディオ・システムへの直接的なインターフェースを許容するために、HDMI入力インターフェース702が設けられる。
一つまたは複数の実施形態について上記したように、システムによって処理されるある種のオブジェクトはISFオブジェクトである。ISFは、パン動作を時間変化する部分と静的な部分の二つの部分に分割することによってオーディオ・オブジェクト・パンナーの動作を最適化するフォーマットである。一般に、オーディオ・オブジェクト・パンナーは、モノフォニック・オブジェクト(たとえばObjecti)をN個のスピーカーにパンすることによって動作する。ここで、パン利得はスピーカー位置(x1,y1,z1),…,(xN,yN,zN)およびオブジェクト位置XYZi(t)の関数として決定される。オブジェクト位置が時間変化するので、これらの利得値は時間的に連続的に変化する。中間空間的フォーマットの目標は、単にこのパン動作を二つの部分に分けることである。(時間変化する)第一の部分はオブジェクト位置を利用する。(固定した行列を使う)第二の部分はスピーカー位置のみに基づいて構成される。図11は、いくつかの実施形態のもとでレンダリング・システムと一緒に使うための中間空間的フォーマットを示している。描画1100に示されるように、空間的パンナー1102は、スピーカー・デコーダ1106によるデコードのためにオブジェクトおよびスピーカー位置情報を受領する。これら二つの処理ブロック1102および1106の間でオーディオ・オブジェクト・シーンはKチャネルの中間空間的フォーマット(ISF)1104において表現される。複数のオーディオ・オブジェクト(1≦i≦Ni)が個々の空間的パンナーによって処理され、これらの空間的パンナーの出力が足し合わされてISF信号1104をなしてもよく、一つのKチャネルISF信号集合はNi個のオブジェクトの重畳を含みうる。ある種の実施形態では、エンコーダは高度制約データを通じてスピーカー高さに関する情報をも与えられてもよく、再生スピーカーの高さの詳細な知識が空間的パンナー1102によって使用されうる。
1.オブジェクトiが(xi,yi,zi)に位置しており、この位置は立方体内(よって|xi|≦1、|yi|≦1および-|zi|≦1)または単位球内(xi 2+yi 2+zi 2≦1)にあると想定される。
2.転用可能でないパン曲線に従って、オブジェクトiについてのオーディオ信号を、ある数(R)の空間的領域のそれぞれにパンするために、垂直位置(zi)が使われる。
3.各空間的領域(たとえば領域r: 1≦r≦R)(これは図4のように、空間の環状領域内にあるオーディオ成分を表わす)は、オブジェクトiの方位角(φi)の関数である転用可能なパン曲線を使って生成されるNr個の公称スピーカー信号の形で表現される。
〔態様1〕
適応オーディオをレンダリングする方法であって:
チャネル・ベースのオーディオ、オーディオ・オブジェクトおよび動的オブジェクトを含む入力オーディオを受領する段階であって、前記動的オブジェクトは低優先度動的オブジェクトの集合および高優先度動的オブジェクトの集合として分類される、段階と;
前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトおよび前記低優先度動的オブジェクトをオーディオ処理システムの第一のレンダリング・プロセッサにおいてレンダリングする段階と;
前記高優先度動的オブジェクトを前記オーディオ処理システムの第二のレンダリング・プロセッサにおいてレンダリングする段階とを含む、
方法。
〔態様2〕
前記入力オーディオは、オーディオ・コンテンツおよびレンダリング・メタデータを含むオブジェクト・オーディオ・ベースのデジタル・ビットストリーム・フォーマットに従ってフォーマットされている、態様1記載の方法。
〔態様3〕
前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマットに準拠するオブジェクトを含む、態様2記載の方法。
〔態様4〕
前記低優先度動的オブジェクトおよび高優先度動的オブジェクトは、優先度閾値によって区別される、態様2記載の方法。
〔態様5〕
前記優先度閾値は、前記入力オーディオを含むオーディオ・コンテンツの作者、ユーザー選択された値および前記オーディオ処理システムによって実行される自動化されたプロセスのうちの一つによって定義される、態様4記載の方法。
〔態様6〕
前記優先度閾値は、前記オブジェクト・オーディオ・メタデータ・ビットストリームにおいてエンコードされている、態様5記載の方法。
〔態様7〕
前記低優先度および高優先度のオーディオ・オブジェクトのオーディオ・オブジェクトの相対的な優先度は前記オブジェクト・オーディオ・メタデータ・ビットストリームにおけるそれぞれの位置によって決定される、態様5記載の方法。
〔態様8〕
前記第一のレンダリング・プロセッサにおいて前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトおよび前記低優先度動的オブジェクトをレンダリングしてレンダリングされたオーディオを生成する間またはその後に、前記高優先度オーディオ・オブジェクトを前記第一のレンダリング・プロセッサを通して前記第二のレンダリング・プロセッサに渡し;
前記レンダリングされたオーディオをスピーカー・システムへの伝送のために後処理することをさらに含む、
態様1記載の方法。
〔態様9〕
前記後処理する段階は、アップミックス、ボリューム制御、等化および低音管理のうちの少なくとも一つを含む、態様8記載の方法。
〔態様10〕
前記後処理する段階は、前記スピーカー・システムを通じた再生のための前記入力オーディオに存在している高さ手がかりのレンダリングを容易にするための仮想化段階をさらに含む、態様9記載の方法。
〔態様11〕
前記スピーカー・システムは、単一の軸に沿って音を送出する複数の共位置のドライバーを有するサウンドバー・スピーカーを有する、態様10記載の方法。
〔態様12〕
前記第一および第二のレンダリング・プロセッサは、伝送リンクを通じて一緒に結合された別個のデジタル信号処理回路において具現される、態様4記載の方法。
〔態様13〕
前記優先度閾値は、前記第一および第二のレンダリング・プロセッサの相対的な処理機能、前記第一および第二のレンダリング・プロセッサのそれぞれに関連付けられたメモリ帯域幅および前記伝送リンクの伝送帯域幅のうちの少なくとも一つによって決定される、態様12記載の方法。
〔態様14〕
適応オーディオをレンダリングする方法であって:
オーディオ・コンポーネントおよび関連付けられたメタデータを含む入力オーディオ・ビットストリームを受領する段階であって、前記オーディオ・コンポーネントはそれぞれチャネル・ベースのオーディオ、オーディオ・オブジェクトおよび動的オブジェクトから選択されるオーディオ型をもつ、段階と;
各オーディオ・コンポーネントについてのデコーダ・フォーマットをそれぞれのオーディオ型に基づいて決定する段階と;
各オーディオ・コンポーネントの優先度を、該各オーディオ・コンポーネントに関連付けられたメタデータにおける優先度フィールドから決定する段階と;
第一のレンダリング・プロセッサにおいて第一の優先度型のオーディオ・コンポーネントをレンダリングする段階と;
第二のレンダリング・プロセッサにおいて第二の優先度型のオーディオ・コンポーネントをレンダリングする段階とを含む、
方法。
〔態様15〕
前記第一のレンダリング・プロセッサおよび第二のレンダリング・プロセッサは、伝送リンクを通じて互いに結合された別個のレンダリング・デジタル信号プロセッサ(DSP)として実装される、態様14記載の方法。
〔態様16〕
前記第一の優先度型のオーディオ・コンポーネントは低優先度の動的オブジェクトを含み、第二の優先度型のオーディオ・コンポーネントは高優先度の動的オブジェクトを含み、本方法はさらに、前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトを前記第一のレンダリング・プロセッサにおいてレンダリングすることを含む、態様15記載の方法。
〔態様17〕
前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマット(ISF)に準拠するオブジェクトを含み、前記低優先度および高優先度動的オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに準拠するものを含む、態様15記載の方法。
〔態様18〕
各オーディオ・コンポーネントについてのデコーダ・フォーマットは:OAMDフォーマットされた動的オブジェクト、サラウンドサウンド・オーディオ・ベッドおよびISFオブジェクトのうちの少なくとも一つを生成する、態様17記載の方法。
〔態様19〕
前記低優先度および高優先度動的オブジェクトのオーディオ・オブジェクトの相対的な優先度は前記入力オーディオ・ビットストリームにおけるそれぞれの位置によって決定される、態様16記載の方法。
〔態様20〕
前記スピーカー・システムを通じた再生のための前記入力オーディオに存在している高さ手がかりのレンダリングを容易にするよう、少なくとも前記高優先度動的オブジェクトに仮想化プロセスを適用することをさらに含む、態様19記載の方法。
〔態様21〕
前記スピーカー・システムは、単一の軸に沿って音を送出する複数の共位置のドライバーを有するサウンドバー・スピーカーを有する、態様20記載の方法。
〔態様22〕
適応オーディオをレンダリングするシステムであって:
オーディオ・コンテンツおよび関連付けられたメタデータを有するビットストリームにおいて入力オーディオを受領するインターフェースであって、前記オーディオ・コンテンツは、チャネル・ベースのオーディオ、オーディオ・オブジェクトおよび動的オブジェクトを含み、前記動的オブジェクトは低優先度動的オブジェクトの集合および高優先度動的オブジェクトの集合として分類される、インターフェースと;
前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトおよび前記低優先度動的オブジェクトをレンダリングする、前記インターフェースに結合された第一のレンダリング・プロセッサと;
前記高優先度動的オブジェクトをレンダリングする、伝送リンクを通じて前記第一のレンダリング・プロセッサに結合された第二のレンダリング・プロセッサとを有する、
システム。
〔態様23〕
前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマット(ISF)に準拠するオブジェクトを含み、前記低優先度および高優先度動的オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに準拠するオブジェクトを含む、態様22記載のシステム。
〔態様24〕
前記低優先度動的オブジェクトおよび高優先度動的オブジェクトは、優先度閾値によって区別され、前記優先度閾値は、前記メタデータ・ビットストリームの適切なフィールドにおいてエンコードされており、前記入力オーディオを含むオーディオ・コンテンツの作者、ユーザー選択された値および前記オーディオ処理システムによって実行される自動化されたプロセスのうちの一つによって決定される、態様23記載のシステム。
〔態様25〕
前記第一のレンダリング・プロセッサおよび第二のレンダリング・プロセッサにおいてレンダリングされたオーディオに対して一つまたは複数の後処理段階を実行する後処理器をさらに有し、前記後処理段階は、アップミックス、ボリューム制御、等化および低音管理のうちの少なくとも一つを含む、態様24記載のシステム。
〔態様26〕
単一の軸に沿って音を送出する複数の共位置のドライバーを有するサウンドバー・スピーカーを通じた再生のための前記レンダリングされたオーディオに存在している高さ手がかりのレンダリングを容易にするための少なくとも一つの仮想化段階を実行する、前記後処理器に結合された仮想化器コンポーネントをさらに有する、態様25記載のシステム。
〔態様27〕
前記優先度閾値は、前記第一および第二のレンダリング・プロセッサの相対的な処理機能、前記第一および第二のレンダリング・プロセッサのそれぞれに関連付けられたメモリ帯域幅および前記伝送リンクの伝送帯域幅のうちの少なくとも一つによって決定される、態様24記載の方法。
〔態様28〕
聴取環境における仮想化されたオーディオ・コンテンツの再生のためのスピーカー・システムであって:
エンクロージャーと;
前記エンクロージャー内に配置され、前記エンクロージャーの前面を通じて音を投射するよう構成された複数の個別ドライバーと;
オーディオ・コンポーネントおよび関連付けられたメタデータを含むオーディオ・ビットストリームに含まれる第一の優先度型のオーディオ・コンポーネントをレンダリングする第一のレンダリング・プロセッサならびに前記オーディオ・ビットストリームに含まれる第二の優先度型のオーディオ・コンポーネントをレンダリングする第二のレンダリング・プロセッサによって生成されたレンダリングされたオーディオを受領するインターフェースとを有する、
スピーカー・システム。
〔態様29〕
前記第一のレンダリング・プロセッサおよび第二のレンダリング・プロセッサが、伝送リンクを通じて互いに結合された別個のレンダリング・デジタル信号プロセッサ(DSP)として実装される、態様28記載のスピーカー・システム。
〔態様30〕
前記第一の優先度型のオーディオ・コンポーネントは低優先度動的オブジェクトを含み、前記第二の優先度型のオーディオ・コンポーネントは高優先度動的オブジェクトを含み、前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマット(ISF)に準拠するオブジェクトを含み、前記低優先度および高優先度動的オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに準拠するものを含む、態様29記載のスピーカー・システム。
〔態様31〕
当該スピーカー・システムを通じた再生のための前記入力オーディオに存在している高さ手がかりのレンダリングを容易にするために少なくとも前記高優先度動的オブジェクトに仮想化プロセスを適用する仮想化器をさらに有する、態様30記載のスピーカー・システム。
〔態様32〕
前記仮想化器、前記第一のレンダリング・プロセッサおよび前記第二のレンダリング・プロセッサのうちの少なくとも一つは当該スピーカー・システムの前記エンクロージャーに緊密に結合されているまたは該エンクロージャーに囲まれている、態様31記載のスピーカー・システム。
Claims (8)
- 適応オーディオをレンダリングする方法であって:
静的なチャネル・ベースのオーディオおよび少なくとも一つの動的オブジェクトを含む入力オーディオ・ビットストリームを受領する段階であって、前記動的オブジェクトは優先度値をもち、前記入力オーディオ・ビットストリームは、オーディオ・コンテンツおよびレンダリング・メタデータを含むオブジェクト・オーディオ・ベースのデジタル・ビットストリーム・フォーマットに従ってフォーマットされている、段階と;
前記動的オブジェクトが低優先度動的オブジェクトであるか、または前記動的オブジェクトが高優先度動的オブジェクトであるかを判定する段階であって、該判定は、前記優先度値の、優先度閾値との比較に基づいて、前記動的オブジェクトを低優先度動的オブジェクトまたは高優先度動的オブジェクトのいずれかとして分類することを含み、前記優先度閾値は、事前設定された値または自動化されたプロセス選択に基づく、段階と;
前記動的オブジェクトが前記低優先度動的オブジェクトである場合、前記動的オブジェクトを第一のレンダリング・プロセスに基づいてレンダリングする、または前記動的オブジェクトが前記高優先度動的オブジェクトである場合、前記動的オブジェクトを第二のレンダリング・プロセスに基づいてレンダリングする段階とを含み、
前記第一のレンダリング・プロセスは前記第二のレンダリング・プロセスとは異なるメモリ処理を使用し、
前記第一のレンダリング・プロセスまたは前記第二のレンダリング・プロセスは、前記動的オブジェクトの前記分類に基づいて選択され、前記分類とは独立に前記静的なチャネル・ベースのオーディオをレンダリングする、
方法。 - スピーカー・システムへの伝送のために後処理する段階をさらに含む、
請求項1記載の方法。 - 前記後処理する段階は、アップミックス、ボリューム制御、等化および低音管理のうちの少なくとも一つを含む、請求項2記載の方法。
- 前記後処理する段階は、前記スピーカー・システムを通じた再生のための前記入力オーディオ・ビットストリームに存在している高さ手がかりのレンダリングを容易にするための仮想化段階をさらに含む、請求項3記載の方法。
- 前記第一のレンダリング・プロセスは、前記静的なチャネル・ベースのオーディオをレンダリングするよう最適化されている第一のレンダリング・プロセッサにおいて実行され、
前記第二のレンダリング・プロセスは、前記第一のレンダリング・プロセッサに比べて、向上したパフォーマンス機能、向上したメモリ帯域幅および向上した伝送帯域幅のうちの少なくとも一つによって前記高優先度動的オブジェクトをレンダリングするよう最適化されている第二のレンダリング・プロセッサにおいて実行される、
請求項1記載の方法。 - 前記第一のレンダリング・プロセッサおよび前記第二のレンダリング・プロセッサは、伝送リンクを通じて互いに結合された別個のレンダリング・デジタル信号プロセッサ(DSP)として具現される、請求項5記載の方法。
- プロセッサによって実行されたときに請求項1記載の方法を実行する命令を含んでいる非一時的なコンピュータ可読記憶媒体。
- 入力オーディオ・ビットストリームの適応オーディオをレンダリングするためのシステムであって:
静的なチャネル・ベースのオーディオおよび少なくとも一つの動的オブジェクトを含む入力オーディオ・ビットストリームを受領するためのインターフェースであって、前記動的オブジェクトは優先度値をもち、前記入力オーディオ・ビットストリームは、オーディオ・コンテンツおよびレンダリング・メタデータを含むオブジェクト・オーディオ・ベースのデジタル・ビットストリーム・フォーマットに従ってフォーマットされている、インターフェースと;
前記動的オブジェクトが低優先度動的オブジェクトであるか、または前記動的オブジェクトが高優先度動的オブジェクトであるかを判定するためのデコード段であって、該判定は、前記優先度値の、優先度閾値との比較に基づいて、前記動的オブジェクトを低優先度動的オブジェクトまたは高優先度動的オブジェクトのいずれかとして分類することを含み、前記優先度閾値は、事前設定された値または自動化されたプロセス選択に基づく、デコード段と;
前記動的オブジェクトが前記低優先度動的オブジェクトである場合、前記動的オブジェクトを第一のレンダリング・プロセスに基づいてレンダリングする、または前記動的オブジェクトが前記高優先度動的オブジェクトである場合、前記動的オブジェクトを第二のレンダリング・プロセスに基づいてレンダリングするためのレンダリング段とを有しており、
前記第一のレンダリング・プロセスは前記第二のレンダリング・プロセスとは異なるメモリ処理を使用し、
前記第一のレンダリング・プロセスまたは前記第二のレンダリング・プロセスは、前記動的オブジェクトの前記分類に基づいて選択され、前記分類とは独立に前記静的なチャネル・ベースのオーディオをレンダリングする、
システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562113268P | 2015-02-06 | 2015-02-06 | |
US62/113,268 | 2015-02-06 | ||
JP2020117715A JP7033170B2 (ja) | 2015-02-06 | 2020-07-08 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020117715A Division JP7033170B2 (ja) | 2015-02-06 | 2020-07-08 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022065179A JP2022065179A (ja) | 2022-04-26 |
JP7362807B2 true JP7362807B2 (ja) | 2023-10-17 |
Family
ID=55353358
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017539427A Active JP6732764B2 (ja) | 2015-02-06 | 2016-02-04 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
JP2020117715A Active JP7033170B2 (ja) | 2015-02-06 | 2020-07-08 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
JP2022027836A Active JP7362807B2 (ja) | 2015-02-06 | 2022-02-25 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017539427A Active JP6732764B2 (ja) | 2015-02-06 | 2016-02-04 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
JP2020117715A Active JP7033170B2 (ja) | 2015-02-06 | 2020-07-08 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (4) | US10225676B2 (ja) |
EP (2) | EP3254476B1 (ja) |
JP (3) | JP6732764B2 (ja) |
CN (6) | CN114554387A (ja) |
WO (1) | WO2016126907A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2931952T3 (es) * | 2013-05-16 | 2023-01-05 | Koninklijke Philips Nv | Un aparato de procesamiento de audio y el procedimiento para el mismo |
JP2017163432A (ja) * | 2016-03-10 | 2017-09-14 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US10325610B2 (en) * | 2016-03-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Adaptive audio rendering |
EP3373604B1 (en) | 2017-03-08 | 2021-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for providing a measure of spatiality associated with an audio stream |
US10972859B2 (en) * | 2017-04-13 | 2021-04-06 | Sony Corporation | Signal processing apparatus and method as well as program |
EP3618067B1 (en) * | 2017-04-26 | 2024-04-10 | Sony Group Corporation | Signal processing device, method, and program |
US11595774B2 (en) * | 2017-05-12 | 2023-02-28 | Microsoft Technology Licensing, Llc | Spatializing audio data based on analysis of incoming audio data |
US11102601B2 (en) * | 2017-09-29 | 2021-08-24 | Apple Inc. | Spatial audio upmixing |
EP3729830B1 (en) * | 2017-12-18 | 2023-01-25 | Dolby International AB | Method and system for handling local transitions between listening positions in a virtual reality environment |
US11270711B2 (en) | 2017-12-21 | 2022-03-08 | Qualcomm Incorproated | Higher order ambisonic audio data |
US10657974B2 (en) | 2017-12-21 | 2020-05-19 | Qualcomm Incorporated | Priority information for higher order ambisonic audio data |
CN108174337B (zh) * | 2017-12-26 | 2020-05-15 | 广州励丰文化科技股份有限公司 | 一种室内声场自适应的方法及组合扬声器系统 |
US10237675B1 (en) * | 2018-05-22 | 2019-03-19 | Microsoft Technology Licensing, Llc | Spatial delivery of multi-source audio content |
GB2575510A (en) | 2018-07-13 | 2020-01-15 | Nokia Technologies Oy | Spatial augmentation |
EP3618464A1 (en) * | 2018-08-30 | 2020-03-04 | Nokia Technologies Oy | Reproduction of parametric spatial audio using a soundbar |
BR112021008089A2 (pt) | 2018-11-02 | 2021-08-03 | Dolby International Ab | codificador de áudio e decodificador de áudio |
US20220020381A1 (en) * | 2018-11-20 | 2022-01-20 | Sony Group Corporation | Information processing device and method, and program |
EP3963906B1 (en) * | 2019-05-03 | 2023-06-28 | Dolby Laboratories Licensing Corporation | Rendering audio objects with multiple types of renderers |
JP7412091B2 (ja) * | 2019-05-08 | 2024-01-12 | 株式会社ディーアンドエムホールディングス | オーディオ装置およびオーディオシステム |
KR102565131B1 (ko) * | 2019-05-31 | 2023-08-08 | 디티에스, 인코포레이티드 | 포비에이티드 오디오 렌더링 |
CN114080822B (zh) * | 2019-06-20 | 2023-11-03 | 杜比实验室特许公司 | S扬声器上m声道输入的渲染 |
US11140503B2 (en) * | 2019-07-03 | 2021-10-05 | Qualcomm Incorporated | Timer-based access for audio streaming and rendering |
US11366879B2 (en) * | 2019-07-08 | 2022-06-21 | Microsoft Technology Licensing, Llc | Server-side audio rendering licensing |
US11523239B2 (en) * | 2019-07-22 | 2022-12-06 | Hisense Visual Technology Co., Ltd. | Display apparatus and method for processing audio |
KR102638121B1 (ko) * | 2019-07-30 | 2024-02-20 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 상이한 재생 능력을 구비한 디바이스에 걸친 역학 처리 |
US11038937B1 (en) * | 2020-03-06 | 2021-06-15 | Sonos, Inc. | Hybrid sniffing and rebroadcast for Bluetooth networks |
EP4118839A4 (en) * | 2020-03-10 | 2024-02-28 | Sonos Inc | CONVERTER ARRANGEMENT FOR AUDIO DEVICE AND ASSOCIATED SYSTEMS AND METHODS |
US11601757B2 (en) * | 2020-08-28 | 2023-03-07 | Micron Technology, Inc. | Audio input prioritization |
WO2022066370A1 (en) * | 2020-09-25 | 2022-03-31 | Apple Inc. | Hierarchical Spatial Resolution Codec |
US20230051841A1 (en) * | 2021-07-30 | 2023-02-16 | Qualcomm Incorporated | Xr rendering for 3d audio content and audio codec |
CN113613066B (zh) * | 2021-08-03 | 2023-03-28 | 天翼爱音乐文化科技有限公司 | 一种实时视频特效的渲染方法、系统、装置及存储介质 |
WO2023239639A1 (en) * | 2022-06-08 | 2023-12-14 | Dolby Laboratories Licensing Corporation | Immersive audio fading |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120230497A1 (en) | 2011-03-09 | 2012-09-13 | Srs Labs, Inc. | System for dynamically creating and rendering audio objects |
JP2013502184A (ja) | 2009-08-14 | 2013-01-17 | エスアールエス・ラブス・インコーポレーテッド | オーディオオブジェクトを適応的にストリーミングするためのシステム |
JP2014525048A (ja) | 2011-03-16 | 2014-09-25 | ディーティーエス・インコーポレイテッド | 3次元オーディオサウンドトラックの符号化及び再生 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5633993A (en) | 1993-02-10 | 1997-05-27 | The Walt Disney Company | Method and apparatus for providing a virtual world sound system |
JPH09149499A (ja) | 1995-11-20 | 1997-06-06 | Nippon Columbia Co Ltd | データ転送方法及びその装置 |
US7706544B2 (en) | 2002-11-21 | 2010-04-27 | Fraunhofer-Geselleschaft Zur Forderung Der Angewandten Forschung E.V. | Audio reproduction system and method for reproducing an audio signal |
US20040228291A1 (en) * | 2003-05-15 | 2004-11-18 | Huslak Nicolas Steven | Videoconferencing using managed quality of service and/or bandwidth allocation in a regional/access network (RAN) |
US7436535B2 (en) * | 2003-10-24 | 2008-10-14 | Microsoft Corporation | Real-time inking |
CN1625108A (zh) * | 2003-12-01 | 2005-06-08 | 皇家飞利浦电子股份有限公司 | 一种使用优先级技术的通信方法和系统 |
US8363865B1 (en) | 2004-05-24 | 2013-01-29 | Heather Bottum | Multiple channel sound system using multi-speaker arrays |
EP1724684A1 (en) * | 2005-05-17 | 2006-11-22 | BUSI Incubateur d'entreprises d'AUVEFGNE | System and method for task scheduling, signal analysis and remote sensor |
US7500175B2 (en) * | 2005-07-01 | 2009-03-03 | Microsoft Corporation | Aspects of media content rendering |
ES2674897T3 (es) * | 2005-07-18 | 2018-07-04 | Thomson Licensing | Método y dispositivo para manejar múltiples flujos de vídeo usando metadatos |
US7974422B1 (en) * | 2005-08-25 | 2011-07-05 | Tp Lab, Inc. | System and method of adjusting the sound of multiple audio objects directed toward an audio output device |
JP2009526263A (ja) | 2006-02-07 | 2009-07-16 | エルジー エレクトロニクス インコーポレイティド | 符号化/復号化装置及び方法 |
KR101422745B1 (ko) | 2007-03-30 | 2014-07-24 | 한국전자통신연구원 | 다채널로 구성된 다객체 오디오 신호의 인코딩 및 디코딩장치 및 방법 |
US8639368B2 (en) * | 2008-07-15 | 2014-01-28 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
EP2154911A1 (en) | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a spatial output multi-channel audio signal |
US8718285B2 (en) * | 2009-03-26 | 2014-05-06 | Panasonic Corporation | Decoding device, coding and decoding device, and decoding method |
KR101387902B1 (ko) | 2009-06-10 | 2014-04-22 | 한국전자통신연구원 | 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더 |
MY154078A (en) | 2009-06-24 | 2015-04-30 | Fraunhofer Ges Forschung | Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages |
EP2630808B1 (en) * | 2010-10-20 | 2019-01-02 | DTS, Inc. | Stereo image widening system |
EP2523111A1 (en) * | 2011-05-13 | 2012-11-14 | Research In Motion Limited | Allocating media decoding resources according to priorities of media elements in received data |
MX337790B (es) * | 2011-07-01 | 2016-03-18 | Dolby Lab Licensing Corp | Sistema y herramientas para autoria y representacion mejorada de audio tridimensional. |
CN104054126B (zh) | 2012-01-19 | 2017-03-29 | 皇家飞利浦有限公司 | 空间音频渲染和编码 |
WO2013111034A2 (en) * | 2012-01-23 | 2013-08-01 | Koninklijke Philips N.V. | Audio rendering system and method therefor |
US8893140B2 (en) * | 2012-01-24 | 2014-11-18 | Life Coded, Llc | System and method for dynamically coordinating tasks, schedule planning, and workload management |
KR102059846B1 (ko) * | 2012-07-31 | 2020-02-11 | 인텔렉추얼디스커버리 주식회사 | 오디오 신호 처리 방법 및 장치 |
BR112015002367B1 (pt) | 2012-08-03 | 2021-12-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev | Decodificador e método para codificação de objeto de áudio espacial multi-instância empregando um conceito paramétrico para caixas multicanal de downmix/upmix |
KR102050455B1 (ko) | 2012-08-10 | 2019-12-02 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 파라미터 오디오 오브젝트 코딩을 위한 잔류 개념을 이용하는 인코더, 디코더, 시스템 및 방법 |
WO2014088328A1 (ko) * | 2012-12-04 | 2014-06-12 | 삼성전자 주식회사 | 오디오 제공 장치 및 오디오 제공 방법 |
JP6012884B2 (ja) * | 2012-12-21 | 2016-10-25 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 知覚的基準に基づいてオブジェクト・ベースのオーディオ・コンテンツをレンダリングするためのオブジェクト・クラスタリング |
CN103335644B (zh) * | 2013-05-31 | 2016-03-16 | 王玉娇 | 街景地图的声音播放方法及相关设备 |
WO2015009748A1 (en) * | 2013-07-15 | 2015-01-22 | Dts, Inc. | Spatial calibration of surround sound systems including listener position estimation |
US9564136B2 (en) * | 2014-03-06 | 2017-02-07 | Dts, Inc. | Post-encoding bitrate reduction of multiple object audio |
CN103885788B (zh) * | 2014-04-14 | 2015-02-18 | 焦点科技股份有限公司 | 一种基于模型组件化动态web 3d虚拟现实场景的搭建方法及系统 |
-
2016
- 2016-02-04 CN CN202210192225.6A patent/CN114554387A/zh active Pending
- 2016-02-04 EP EP16704366.0A patent/EP3254476B1/en active Active
- 2016-02-04 US US15/532,419 patent/US10225676B2/en active Active
- 2016-02-04 CN CN202010452760.1A patent/CN111556426B/zh active Active
- 2016-02-04 EP EP21152926.8A patent/EP3893522B1/en active Active
- 2016-02-04 CN CN201680007206.4A patent/CN107211227B/zh active Active
- 2016-02-04 JP JP2017539427A patent/JP6732764B2/ja active Active
- 2016-02-04 CN CN202210192142.7A patent/CN114554386A/zh active Pending
- 2016-02-04 CN CN202210192201.0A patent/CN114374925B/zh active Active
- 2016-02-04 WO PCT/US2016/016506 patent/WO2016126907A1/en active Application Filing
- 2016-02-04 CN CN202010453145.2A patent/CN111586552B/zh active Active
-
2018
- 2018-12-19 US US16/225,126 patent/US10659899B2/en active Active
-
2020
- 2020-05-16 US US16/875,999 patent/US11190893B2/en active Active
- 2020-07-08 JP JP2020117715A patent/JP7033170B2/ja active Active
-
2021
- 2021-11-24 US US17/535,459 patent/US11765535B2/en active Active
-
2022
- 2022-02-25 JP JP2022027836A patent/JP7362807B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013502184A (ja) | 2009-08-14 | 2013-01-17 | エスアールエス・ラブス・インコーポレーテッド | オーディオオブジェクトを適応的にストリーミングするためのシステム |
US20120230497A1 (en) | 2011-03-09 | 2012-09-13 | Srs Labs, Inc. | System for dynamically creating and rendering audio objects |
JP2014525048A (ja) | 2011-03-16 | 2014-09-25 | ディーティーエス・インコーポレイテッド | 3次元オーディオサウンドトラックの符号化及び再生 |
Also Published As
Publication number | Publication date |
---|---|
US11765535B2 (en) | 2023-09-19 |
WO2016126907A1 (en) | 2016-08-11 |
CN114374925A (zh) | 2022-04-19 |
US20220159394A1 (en) | 2022-05-19 |
JP7033170B2 (ja) | 2022-03-09 |
JP2020174383A (ja) | 2020-10-22 |
EP3893522A1 (en) | 2021-10-13 |
CN111586552A (zh) | 2020-08-25 |
US11190893B2 (en) | 2021-11-30 |
CN111556426A (zh) | 2020-08-18 |
JP2018510532A (ja) | 2018-04-12 |
US20190191258A1 (en) | 2019-06-20 |
CN107211227B (zh) | 2020-07-07 |
CN111556426B (zh) | 2022-03-25 |
CN111586552B (zh) | 2021-11-05 |
US10225676B2 (en) | 2019-03-05 |
CN114554387A (zh) | 2022-05-27 |
EP3893522B1 (en) | 2023-01-18 |
CN107211227A (zh) | 2017-09-26 |
US10659899B2 (en) | 2020-05-19 |
JP2022065179A (ja) | 2022-04-26 |
EP3254476A1 (en) | 2017-12-13 |
CN114554386A (zh) | 2022-05-27 |
CN114374925B (zh) | 2024-04-02 |
US20170374484A1 (en) | 2017-12-28 |
JP6732764B2 (ja) | 2020-07-29 |
US20210112358A1 (en) | 2021-04-15 |
EP3254476B1 (en) | 2021-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7362807B2 (ja) | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 | |
US11277703B2 (en) | Speaker for reflecting sound off viewing screen or display surface | |
RU2741738C1 (ru) | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала | |
EP3285504B1 (en) | Speaker system with an upward-firing loudspeaker |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231004 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7362807 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |