JP7297036B2 - オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード - Google Patents
オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード Download PDFInfo
- Publication number
- JP7297036B2 JP7297036B2 JP2021194090A JP2021194090A JP7297036B2 JP 7297036 B2 JP7297036 B2 JP 7297036B2 JP 2021194090 A JP2021194090 A JP 2021194090A JP 2021194090 A JP2021194090 A JP 2021194090A JP 7297036 B2 JP7297036 B2 JP 7297036B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- distortion
- audio
- program
- playback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
- G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
- G11B2020/10601—Audio or video recording specifically adapted for recording or reproducing multichannel signals surround sound signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Stereophonic System (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本願は2013年11月14日に出願された米国仮特許出願第61/904,233号の優先権の利益を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。
本発明は、対応するビデオ・コンテンツをもつオーディオ・プログラム(たとえば、映画または他のオーディオビジュアル・プログラムのサウンドトラック)のエンコード、デコードおよびレンダリングに関する。いくつかの実施形態では、プログラムは、少なくとも一つのオーディオ・オブジェクト・チャネルと、スクリーン関係メタデータ(screen-related metadata)と、典型的にはまたスピーカー・チャネルとを含むオブジェクト・ベースのオーディオ・チャネルである。スクリーン関係メタデータは、プログラムによって示される音源(たとえばオブジェクト・チャネルによって示されるオブジェクト)が再生システムの表示スクリーンに対する諸位置(少なくとも部分的には前記スクリーン関係メタデータによって決定される)においてレンダリングされる対スクリーン・レンダリング(screen-relative rendering)をサポートする。
(a)オブジェクト・ベースのオーディオ・プログラムを生成する段階と;
(b)前記オブジェクト・ベースのオーディオ・プログラムに応答して、再生スクリーンに対して所定の位置に位置されるラウドスピーカーによる再生のために意図されたスピーカー・チャネルの少なくとも一つの集合を含むスピーカー・チャネル・ベースのプログラムを生成する段階であって、スピーカー・チャネルの前記集合の生成は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪める段階を含み、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して(たとえば再生スクリーンの平面に平行な平面において)実行される歪めの最大の度合いを示す(たとえば、該最大の度合いを示す非バイナリー値(たとえば、所定の範囲内の多くの値のうちの任意の値をもつスカラー値)である)、段階とを含む、方法である。
(a)前記スピーカー・チャネル・ベースのプログラムをパースして、歪められたコンテンツを示すスピーカー・チャネルのそれぞれの前記集合を含む、前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルを同定する段階と、
(b)歪められたコンテンツを示すスピーカー・チャネルの少なくとも一つの前記集合(at least one said set)を含む、前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルの少なくともいくつかに応答して、再生スクリーンに対する所定の位置に位置されるラウドスピーカーを駆動するためのスピーカー・フィードを生成する段階とを含む。
請求項を含む本開示を通じて、信号またはデータ「に対して」動作を実行する(たとえば信号またはデータをフィルタリングする、スケーリングする、変換するまたは利得を適用する)という表現は、信号またはデータに対して直接的に、または信号またはデータの処理されたバージョンに対して(たとえば、予備的なフィルタリングまたは前処理を該動作の実行に先立って受けている前記信号のバージョンに対して)該動作を実行することを表わすために広義で使用される。
本発明のシステム(および該システムによって実行される方法)の実施形態の例は図3、図4、図5を参照して記述される。
該プログラムのスピーカー・チャネルのベッドを示すオーディオ・サンプルのストリーム(および任意的にはスクリーン関係メタデータの対応するストリームも);および
該プログラムのオブジェクト・チャネルを示すオーディオ・サンプルのストリームおよびスクリーン関係メタデータの対応するストリーム。
・参照スクリーンに対するオーディオ要素(たとえばオブジェクト)位置;
・オン・スクリーン歪めの度合い(たとえば、再生スクリーンの平面内で、または該平面に平行に実行される歪めの最大の度合いを示すパラメータ)。オーサリングは典型的には歪めを二分決定として指定してもよく、エンコード・プロセスは該二分決定を歪めなしからフル(最大)歪めの範囲にわたる連続的な(またはほとんど連続的な)変数に修正してもよいことが考えられる;
・所望されるオフ・スクリーン歪め(たとえば、再生スクリーンの平面に少なくとも実質的に平行な平面における歪めが、再生スクリーンの平面に少なくとも実質的に垂直な距離の関数として実行されるべき仕方または度合いを示す一つまたは複数のパラメータ)。オーサリングは、オーディオ要素の知覚される歪められた位置が再生スクリーン面に垂直な方向において再生スクリーンから離れるにつれての、歪めが実行されるべき仕方または度合いを示すパラメータ(単数または複数)を定義することができる。場合によっては、そのようなパラメータは、プログラムと一緒に送達されはしない(代わりに再生システムによって決定できる);
・参照部屋に対する(またはオーサリングの間に使われた参照L/Rスピーカーに対する)参照スクリーン幅。典型的には、このパラメータは映画館については(すなわち、映画館における再生のためにオーサリングされたオーディオビジュアル・プログラムについては)1.0に等しい;
・参照部屋に対する(またはオーサリングの間に使われた参照L/Rスピーカーに対する)参照スクリーン中心位置。典型的には、このパラメータは映画館については(0.5,0,0.5)に等しい。
・再生部屋に対する(または再生システムL/Rスピーカーに対する)再生スクリーン幅。たとえば、このパラメータはデフォルト値1.0を有していてもよい(たとえば、エンドユーザーが再生スクリーン・サイズを指定しない場合には、再生システムは、再生スクリーンは再生部屋幅に一致すると想定する。これは事実上、歪めを無効にすることになる);
・所望されるオフ・スクリーン歪め(たとえば、再生スクリーンの平面に少なくとも実質的に平行な平面における歪めが、再生スクリーンの平面に少なくとも実質的に垂直な距離の関数として実行されるべき仕方または度合いを示す一つまたは複数のパラメータ)。いくつかの実施形態では、再生システム(たとえば、図3の実施形態のコントローラ10)は、(再生スクリーン面に少なくとも実質的に垂直な方向における)再生スクリーン面からのオーディオ要素の知覚される歪められた位置の距離の関数として、歪めが実行されるべき仕方または度合いを示すカスタム設定を可能にするよう構成される。典型的な実施形態では、プログラムのスクリーン関係メタデータが固定した関数またはデフォルト関数(これはたとえば再生システム・セットアップの間に、ユーザーが指定する代替的な関数によって置き換えられることができる)を示す(たとえばそれを示す少なくとも一つのオフ・スクリーン歪めパラメータを含む)ことが期待される。これが、再生スクリーンの面からのオーディオ要素の知覚される歪められた位置の距離の関数として、歪めが実行されるべき仕方を少なくとも部分的には決定する。
・再生スクリーン・アスペクト比(たとえば、デフォルト値1.0をもつ);
・再生スクリーン中心位置(たとえば、デフォルト値(0.5,0,0.5)をもつ)。
Xs=(x-RefSXcenterpos)/RefSWidth
を決定する。ここで、xは、参照スクリーンの左端に対する水平(xまたは「幅」)軸に沿った、歪められていないオブジェクト位置であり、RefSXcenterposは、水平軸に沿った参照スクリーンの中心点の位置であり、RefSWidthは参照スクリーンの(水平軸に沿った)幅である。
Xwarp=Xs*SWidth+SXcenterpos
YFACTOR=yEXPおよび
X'=x*YFACTOR+(1-YFACTOR)*[XFACTOR*Xwarp+(l-XFACTOR)*x)]
を生成するよう構成されている。ここで、Xwarpは、再生システム表示スクリーン(「再生スクリーン」)の左端に対する水平(xまたは「幅」)軸に沿った、生の(スケーリングされていない)歪められたオブジェクト位置であり、Xsは再生スクリーンの中心点に対する、水平軸に沿った、前記歪められたオブジェクト位置であり、SXcenterposは、水平軸に沿った再生スクリーンの中心点の位置であり、SWidthは再生スクリーンの(水平軸に沿った)幅であり、
YFACTORは、再生スクリーンの面に垂直な奥行き軸(図4のy軸)に沿った位置の関数としての、水平(幅)軸に沿った歪めの度合いを示す奥行き歪め因子であり、yは奥行き軸に沿った歪められたオブジェクト位置であり、EXPは本稿でいうところの「オフ・スクリーン歪め」パラメータの例である所定の(たとえばユーザー選択された)定数であり、
X'は、再生スクリーンの左端に対する水平軸に沿った歪められたオブジェクト位置(生の歪められたオブジェクト位置Xwarpのスケーリングされたバージョン)を表わし(よって、再生環境の水平面内における歪められたオブジェクト位置は座標X',yをもつ点である)、XFACTORは、プログラムのスクリーン関係メタデータによって示される幅軸歪めパラメータ(これは、プログラムのオーサリング、ミキシング、リミックスまたはエンコードの間に決定されうる)である。XFACTORは本稿でいうところの「歪め度」パラメータの例である。
参照スクリーンに対して(たとえば映画館ミキシング施設において)決定される知覚される位置にオーディオ要素をレンダリングするための、通常の左(L)および右(R)前方スピーカー・チャネルの第一の集合;および
想定される再生表示スクリーンの左端および右端に対して(たとえばリミックス施設またはミキシング施設のリミックス段において)決定される知覚される位置に同じオーディオ要素をレンダリングするための、「左スクリーン」(Lsc)および「右スクリーン」(Rsc)と称されてもよい左および右前方スピーカー・チャネルの第二の集合(ここで、再生スクリーンおよび再生システム前方スピーカーは、所定の相対的なサイズ、形状および位置を有すると想定される)。
〔態様1〕
オーディオ・プログラムをレンダリングする方法であって:
(a)少なくとも一つの歪め度パラメータを決定する段階と;
(b)前記プログラムの少なくとも一つのチャネルのオーディオ・コンテンツに対して、少なくとも部分的には前記チャネルに対応する前記歪め度パラメータによって決定される度合いまで歪めを実行する段階であって、それぞれの前記歪め度パラメータは、再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す、段階とを含む、
方法。
〔態様2〕
段階(a)は、少なくとも一つのオフ・スクリーン歪めパラメータを決定する段階を含み、前記オフ・スクリーン歪めパラメータは、前記再生システムによる前記プログラムの対応するオーディオ・コンテンツに対するオフ・スクリーン歪めの少なくとも一つの特性を示し、段階(b)において実行される歪めが、少なくとも部分的には少なくとも一つの前記オフ・スクリーン歪めパラメータによって決定されるオフ・スクリーン歪めを含む、態様1記載の方法。
〔態様3〕
前記オフ・スクリーン歪めパラメータは、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿ったオーディオ要素の歪められていない位置を歪める度合いを、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オーディオ要素がレンダリングされるべき歪められた位置の距離の関数として制御する、態様2記載の方法。
〔態様4〕
前記歪めが、幅軸に沿ったある歪められた位置においてレンダリングされるべきオーディオ要素の幅軸に沿った歪められていない位置を示す値Xsの決定と、値
Xwarp
YFACTOR=yEXPおよび
X'=x*YFACTOR+(1-YFACTOR)*[XFACTOR*Xwarp+(l-XFACTOR)*x)]
の決定とを含み、
Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オーディオ要素の生の歪められた位置を表わし、
EXPはオフ・スクリーン歪めパラメータであり、
YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オーディオ要素の歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オーディオ要素の歪められたオブジェクト位置を表わし、
XFACTORは、一つの前記歪め度パラメータである、
態様1ないし3のうちいずれか一項記載の方法。
〔態様5〕
前記プログラムはオブジェクト・ベースのオーディオ・プログラムであり、段階(a)は、前記プログラムをパースして、前記プログラムのスクリーン関係メタデータによって示される少なくとも一つの前記歪め度パラメータを同定する段階を含む、態様1ないし4のうちいずれか一項記載の方法。
〔態様6〕
前記プログラムは少なくとも二つのオブジェクトを示し、段階(a)は、前記オブジェクトのそれぞれについて、少なくとも一つの歪め度パラメータを独立に決定する段階を含み、段階(b)は:
少なくとも部分的には前記オブジェクトの前記それぞれに対応する前記少なくとも一つの歪め度パラメータによって決定される度合いまで前記オブジェクト・チャネルのそれぞれのオーディオ・コンテンツに対して歪めを独立して実行する段階を含む、
態様5記載の方法。
〔態様7〕
それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、態様1ないし6のうちいずれか一項記載の方法。
〔態様8〕
オブジェクト・ベースのオーディオ・プログラムを生成する方法であって:
(a)少なくとも一つのオブジェクトについての少なくとも一つの歪め度パラメータを決定する段階と;
(b)前記オブジェクトを示すオブジェクト・チャネルおよび前記オブジェクトについてのそれぞれの前記歪め度パラメータを示すスクリーン関係メタデータを前記プログラムに含める段階であって、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクトに対して実行される歪めの最大の度合いを示す、段階とを含む、
方法。
〔態様9〕
前記プログラムは少なくとも二つのオブジェクトを示し、前記スクリーン関係メタデータは、前記オブジェクトのうち少なくとも二つのオブジェクトのそれぞれについての少なくとも一つの前記歪め度パラメータを示し、それぞれの前記歪め度パラメータは、それぞれの対応するオブジェクトに対して実行される最大の歪めの度合いを示す、態様8記載の方法。
〔態様10〕
段階(a)は、前記少なくとも一つのオブジェクトについての少なくとも一つのオフ・スクリーン歪め度パラメータを決定する段階を含み、前記オフ・スクリーン歪めパラメータは、前記再生システムによって前記オブジェクトに対して実行されるオフ・スクリーン歪めの少なくとも一つの特性を示し、前記プログラムに含められる前記スクリーン関係メタデータは、それぞれの前記オフ・スクリーン歪めパラメータを示す、態様8または9記載の方法。
〔態様11〕
前記オフ・スクリーン歪めパラメータは、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿った前記オブジェクトの歪められていない位置を歪める度合いを、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オブジェクトがレンダリングされるべき歪められた位置の距離の関数として制御する、態様10記載の方法。
〔態様12〕
前記歪めが、幅軸に沿ったある歪められた位置においてレンダリングされるべき前記オブジェクトの幅軸に沿った歪められていない位置を示す値Xsの決定と、値
Xwarp
YFACTOR=yEXPおよび
X'=x*YFACTOR+(1-YFACTOR)*[XFACTOR*Xwarp+(l-XFACTOR)*x)]
の決定とを含み、
Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オーディオ要素の生の歪められた位置を表わし、
EXPはオフ・スクリーン歪めパラメータであり、
YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オーディオ要素の歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オーディオ要素の歪められたオブジェクト位置を表わし、
XFACTORは、一つの前記歪め度パラメータである、
態様8ないし11のうちいずれか一項記載の方法。
〔態様13〕
それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、態様8ないし12のうちいずれか一項記載の方法。
〔態様14〕
(a)オブジェクト・ベースのオーディオ・プログラムを生成する段階と;
(b)前記オブジェクト・ベースのオーディオ・プログラムに応答して、再生スクリーンに対して所定の位置に位置されるラウドスピーカーによる再生のために意図されたスピーカー・チャネルの少なくとも一つの集合を含むスピーカー・チャネル・ベースのプログラムを生成する段階であって、スピーカー・チャネルの前記集合の生成は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪める段階を含み、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す、段階とを含む、方法。
〔態様15〕
段階(b)は、前記スピーカー・チャネル・ベースのオーディオ・プログラムを、該スピーカー・チャネル・ベースのオーディオ・プログラムがスピーカー・チャネルの二つ以上の選択可能な集合を含むように生成する段階を含み、それらの集合の少なくとも一つは前記オブジェクト・ベースのオーディオ・プログラムの歪められていないオーディオ・コンテンツを示し、それらの集合の少なくとも一つの他のものの生成は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には前記歪め度パラメータによって決定される度合いまで歪める段階を含み、前記集合の前記他のものは、前記再生スクリーンに対して前記所定の位置に位置されるラウドスピーカーによる再生のために意図される、態様14記載の方法。
〔態様16〕
段階(b)は、少なくとも一つのオフ・スクリーン歪めパラメータを決定する段階を含み、前記オフ・スクリーン歪めパラメータは、前記再生システムによる前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対するオフ・スクリーン歪めの少なくとも一つの特性を示し、段階(b)は、少なくとも部分的には少なくとも一つの前記オフ・スクリーン歪めパラメータによって決定されるオフ・スクリーン歪めを含む、態様14または15記載の方法。
〔態様17〕
前記オフ・スクリーン歪めは、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿ったオーディオ要素の歪められていない位置を、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オーディオ要素がレンダリングされるべき歪められた位置の距離の関数として前記オフ・スクリーン歪めパラメータによって制御される度合いまで、歪めることを含む、態様16記載の方法。
〔態様18〕
前記歪める段階が、幅軸に沿ったある歪められた位置においてレンダリングされるべきオーディオ・オブジェクトの、前記再生スクリーンの面に少なくとも実質的に平行な幅軸に沿った歪められていない位置を示す値Xsの決定と、値
Xwarp
YFACTOR=yEXPおよび
X'=x*YFACTOR+(1-YFACTOR)*[XFACTOR*Xwarp+(l-XFACTOR)*x)]
の決定とを含み、
Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オブジェクトの生の歪められた位置を表わし、
EXPはオフ・スクリーン歪めパラメータであり、
YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オブジェクトの歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オブジェクトの歪められたオブジェクト位置を表わし、
XFACTORは、一つの前記歪め度パラメータである、
態様14ないし17のうちいずれか一項記載の方法。
〔態様19〕
前記オブジェクト・ベースのオーディオ・プログラムは、前記少なくとも一つの歪め度パラメータを示すスクリーン関係メタデータを含み、段階(b)は、前記オブジェクト・ベースのオーディオ・プログラムをパースして、前記スクリーン関係メタデータによって示されるそれぞれの前記歪め度パラメータを同定する段階を含む、態様14ないし18のうちいずれか一項記載の方法。
〔態様20〕
それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、態様14ないし19のうちいずれか一項記載の方法。
〔態様21〕
歪められたコンテンツを示すスピーカー・チャネルの少なくとも一つの集合を含むスピーカー・チャネル・ベースのプログラムをレンダリングする方法であって、前記スピーカー・チャネル・ベースのプログラムは、オブジェクト・ベースのオーディオ・プログラムを処理することによって生成されたものであり、該処理は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪めて、歪められたコンテンツを示すスピーカー・チャネルの前記集合を生成することによることを含み、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示し、当該レンダリングする方法は:
(a)前記スピーカー・チャネル・ベースのプログラムをパースして、歪められたコンテンツを示すスピーカー・チャネルのそれぞれの前記集合を含む、前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルを同定する段階と;
(b)歪められたコンテンツを示すスピーカー・チャネルの少なくとも一つの前記集合を含む、前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルの少なくともいくつかに応答して、再生スクリーンに対する所定の位置に位置されるラウドスピーカーを駆動するためのスピーカー・フィードを生成する段階とを含む、
方法。
〔態様22〕
前記スピーカー・チャネル・ベースのプログラムは、前記オブジェクト・ベースのオーディオ・プログラムを処理することによって生成されたものであり、該処理は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツのオフ・スクリーン歪めを、少なくとも部分的には前記少なくとも一つの歪め度パラメータと、前記オブジェクト・ベースのプログラムの対応するオーディオ・コンテンツに対するオフ・スクリーン歪めの少なくとも一つの特性を示す少なくとも一つのオフ・スクリーン歪めパラメータを使うこととによって決定される度合いまで実行することによることを含む、態様21記載の方法。
〔態様23〕
前記スピーカー・チャネル・ベースのオーディオ・プログラムは、スピーカー・チャネルの二つ以上の選択可能な集合を含み、それらの集合の少なくとも一つは前記オブジェクト・ベースのオーディオ・プログラムの歪められていないオーディオ・コンテンツを示し、それらの集合の他の一つは、歪められたコンテンツを示すスピーカー・チャネルの一つの前記集合であり、段階(b)は、歪められたコンテンツを示すスピーカー・チャネルの一つの前記集合である前記集合の一つを選択する段階を含む、態様21または22記載の方法。
〔態様24〕
それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、態様21ないし23のうちいずれか一項記載の方法。
〔態様25〕
マルチチャネル・オーディオ・プログラムをパースして前記プログラムのチャネルを同定するよう構成されている第一のサブシステムと;
前記第一のサブシステムに結合された処理サブシステムであって、前記プログラムの少なくとも一つのチャネルのオーディオ・コンテンツに対して、少なくとも部分的には前記チャネルに対応する少なくとも一つの歪め度パラメータによって決定される度合いまで歪めを実行するよう構成された処理サブシステムとを含んでおり、それぞれの前記歪め度パラメータは、再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す、
システム。
〔態様26〕
前記歪めは、少なくとも部分的には少なくとも一つのオフ・スクリーン歪めパラメータによって決定されるオフ・スクリーン歪めを含み、前記オフ・スクリーン歪めパラメータは、再生システムによる前記プログラムの対応するオーディオ・コンテンツに対するオフ・スクリーン歪めの少なくとも一つの特性を示す、態様25記載のシステム。
〔態様27〕
前記オフ・スクリーン歪めは、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿ったオーディオ要素の歪められていない位置を、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オーディオ要素がレンダリングされるべき歪められた位置の距離の関数として前記オフ・スクリーン歪めパラメータによって制御される度合いまで、歪めることを含む、態様26記載のシステム。
〔態様28〕
前記歪めが、幅軸に沿ったある歪められた位置においてレンダリングされるべきオーディオ要素の幅軸に沿った歪められていない位置を示す値Xsの決定と、値
Xwarp
YFACTOR=yEXPおよび
X'=x*YFACTOR+(1-YFACTOR)*[XFACTOR*Xwarp+(l-XFACTOR)*x)]
の決定とを含み、
Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オーディオ要素の生の歪められた位置を表わし、
EXPはオフ・スクリーン歪めパラメータであり、
YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オーディオ要素の歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オーディオ要素の歪められたオブジェクト位置を表わし、
XFACTORは、一つの前記歪め度パラメータである、
態様25ないし27のうちいずれか一項記載のシステム。
〔態様29〕
前記プログラムはオブジェクト・ベースのオーディオ・プログラムであり、前記第一のサブシステムは、前記プログラムをパースして、前記プログラムのスクリーン関係メタデータによって示される少なくとも一つの前記歪め度パラメータを同定するよう構成されている、態様25ないし28のうちいずれか一項記載のシステム。
〔態様30〕
前記プログラムは少なくとも二つのオブジェクトを示し、前記第一のサブシステムは、前記オブジェクトのそれぞれについて、少なくとも一つの歪め度パラメータを独立に決定するよう構成されており、前記処理サブシステムは、少なくとも部分的には前記オブジェクトの前記それぞれに対応する前記少なくとも一つの歪め度パラメータによって決定される度合いまで前記オブジェクトのそれぞれを示すオーディオ・コンテンツに対して歪めを独立して実行するよう構成されている、態様29記載のシステム。
〔態様31〕
それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、態様25ないし30のうちいずれか一項記載のシステム。
〔態様32〕
オブジェクト・ベースのオーディオ・プログラムを生成するよう構成された第一のサブシステムと;
前記オブジェクト・ベースのオーディオ・プログラムに応答して、再生スクリーンに対して所定の位置に位置されるラウドスピーカーによる再生のために意図されたスピーカー・チャネルの少なくとも一つの集合を含むスピーカー・チャネル・ベースのプログラムを生成するよう構成された、前記第一のサブシステムに結合された第二のサブシステムとを含むシステムであって、前記第二のサブシステムは、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪めることによることを含め、スピーカー・チャネルの前記集合を生成するよう構成されており、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す、システム。
〔態様33〕
前記第二のサブシステムは、前記スピーカー・チャネル・ベースのオーディオ・プログラムを、該スピーカー・チャネル・ベースのオーディオ・プログラムがスピーカー・チャネルの二つ以上の選択可能な集合を含むように生成するよう構成されており、それらの集合の少なくとも一つは前記オブジェクト・ベースのオーディオ・プログラムの歪められていないオーディオ・コンテンツを示し、それらの集合の少なくとも一つの他のものの生成は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には前記歪め度パラメータによって決定される度合いまで歪めることを含み、前記集合の前記他のものは、前記再生スクリーンに対して前記所定の位置に位置されるラウドスピーカーによる再生のために意図される、態様32記載のシステム。
〔態様34〕
前記第二のサブシステムは、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツのオフ・スクリーン歪めを実行することによることを含め、スピーカー・チャネルの前記集合を生成するよう構成されており、前記オフ・スクリーン歪めは、少なくとも部分的には、前記オフ・スクリーン歪めの少なくとも一つの特性を示す少なくとも一つのオフ・スクリーン歪めパラメータによって決定される、態様32または33記載のシステム。
〔態様35〕
前記第二のサブシステムは、前記オフ・スクリーン歪めパラメータに応答して、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿ったオブジェクトの歪められていない位置を歪める度合いを、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オブジェクトがレンダリングされるべき歪められた位置の距離の関数として制御するよう構成されている、態様34記載のシステム。
〔態様36〕
前記第二のサブシステムが、幅軸に沿ったある歪められた位置においてレンダリングされるべきオーディオ要素の、前記再生スクリーンの面に少なくとも実質的に平行な前記幅軸に沿った歪められていない位置を示す値Xsを決定し、値
Xwarp
YFACTOR=yEXPおよび
X'=x*YFACTOR+(1-YFACTOR)*[XFACTOR*Xwarp+(l-XFACTOR)*x)]
を決定することによることを含めて前記歪めを実行するよう構成されており、
Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オブジェクトの生の歪められた位置を表わし、
EXPはオフ・スクリーン歪めパラメータであり、
YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オブジェクトの歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オブジェクトの歪められたオブジェクト位置を表わし、
XFACTORは、一つの前記歪め度パラメータである、
態様32ないし35のうちいずれか一項記載のシステム。
〔態様37〕
前記オブジェクト・ベースのオーディオ・プログラムは、前記少なくとも一つの歪め度パラメータを示すスクリーン関係メタデータを含み、前記第二のサブシステムは、前記オブジェクト・ベースのオーディオ・プログラムをパースして、前記スクリーン関係メタデータによって示されるそれぞれの前記歪め度パラメータを同定するよう構成されている、態様32ないし36のうちいずれか一項記載のシステム。
〔態様38〕
それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、態様32ないし37のうちいずれか一項記載のシステム。
〔態様39〕
歪められたコンテンツを示すスピーカー・チャネルの少なくとも一つの集合を含むスピーカー・チャネル・ベースのプログラムをレンダリングするシステムであって、前記スピーカー・チャネル・ベースのプログラムは、オブジェクト・ベースのオーディオ・プログラムを処理することによって生成されたものであり、該処理は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪めて、歪められたコンテンツを示すスピーカー・チャネルの前記集合を生成することによることを含み、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示し、当該システムは:
前記スピーカー・チャネル・ベースのプログラムをパースして、歪められたコンテンツを示すスピーカー・チャネルのそれぞれの前記集合を含む、前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルを同定するよう構成された第一のサブシステムと;
歪められたコンテンツを示すスピーカー・チャネルの少なくとも一つの前記集合を含む、前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルの少なくともいくつかに応答して、再生スクリーンに対する所定の位置に位置されるラウドスピーカーを駆動するためのスピーカー・フィードを生成するよう構成されている、前記第一のサブシステムに結合されたレンダリング・サブシステムとを含む、
システム。
〔態様40〕
前記スピーカー・チャネル・ベースのオーディオ・プログラムは、スピーカー・チャネルの二つ以上の選択可能な集合を含み、それらの集合の少なくとも一つは前記オブジェクト・ベースのオーディオ・プログラムの歪められていないオーディオ・コンテンツを示し、それらの集合の他の一つは、歪められたコンテンツを示すスピーカー・チャネルの一つの前記集合であり、前記第一のサブシステムは、歪められたコンテンツを示すスピーカー・チャネルの一つの前記集合である前記集合の一つを、前記レンダリング・サブシステムによるレンダリングのために選択するよう構成されている、態様39記載のシステム。
〔態様41〕
それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、態様39または40記載のシステム。
〔態様42〕
バッファ・メモリと;
前記バッファ・メモリに結合された少なくとも一つの処理サブシステムとを含むオーディオ処理ユニットであって、
前記バッファ・メモリは、オブジェクト・ベースのオーディオ・プログラムの少なくとも一つのセグメントであって、前記セグメントは少なくとも一つのオブジェクトを示す少なくとも一つのオブジェクト・チャネルのオーディオ・コンテンツを含む、セグメントと、少なくとも一つの前記オブジェクトについての少なくとも一つの歪め度パラメータを示すスクリーン関係メタデータであって、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクトに対して実行されるべき歪めの最大の度合いを示す、スクリーン関係メタデータとを記憶しており、
前記処理サブシステムは、前記スクリーン関係メタデータの少なくとも一部を使った前記オブジェクト・ベースのオーディオ・プログラムのレンダリングまたは前記オブジェクト・ベースのオーディオ・プログラムの生成または前記オブジェクト・ベースのオーディオ・プログラムのデコードのうちの少なくとも一つを実行するよう結合され、構成されている、
オーディオ処理ユニット。
〔態様43〕
前記プログラムは少なくとも二つのオブジェクトを示し、前記スクリーン関係メタデータは、前記オブジェクトのうち少なくとも二つのオブジェクトのそれぞれについての少なくとも一つの前記歪め度パラメータを示し、それぞれの前記歪め度パラメータは、それぞれの対応するオブジェクトに対して実行される最大の歪めの度合いを示す、態様42記載のオーディオ処理ユニット。
〔態様44〕
前記バッファ・メモリに記憶されている前記オブジェクト・ベースのオーディオ・プログラムの前記セグメントは、前記少なくとも一つのオブジェクトについての少なくとも一つのオフ・スクリーン歪めパラメータを示し、前記オフ・スクリーン歪めパラメータは、前記再生システムによって前記オブジェクトに対して実行されるべきオフ・スクリーン歪めの少なくとも一つの特性を示し、前記プログラムに含まれる前記スクリーン関係メタデータはそれぞれの前記オフ・スクリーン歪めパラメータを示す、態様42または43記載のオーディオ処理ユニット。
〔態様45〕
前記オフ・スクリーン歪めパラメータは、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿った前記オブジェクトの歪められていない位置を歪める度合いを、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オブジェクトがレンダリングされるべき歪められた位置の距離の関数として制御する、態様44記載のオーディオ処理ユニット。
〔態様46〕
前記歪めが、幅軸に沿ったある歪められた位置においてレンダリングされるべき前記オブジェクトの幅軸に沿った歪められていない位置を示す値Xsの決定と、値
Xwarp
YFACTOR=yEXPおよび
X'=x*YFACTOR+(1-YFACTOR)*[XFACTOR*Xwarp+(l-XFACTOR)*x)]
の決定とを含み、
Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オーディオ要素の生の歪められた位置を表わし、
EXPはオフ・スクリーン歪めパラメータであり、
YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オーディオ要素の歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オーディオ要素の歪められたオブジェクト位置を表わし、
XFACTORは、一つの前記歪め度パラメータである、
態様42ないし45のうちいずれか一項記載のオーディオ処理ユニット。
〔態様47〕
当該オーディオ処理ユニットがエンコーダであり、前記処理サブシステムが前記オブジェクト・ベースのオーディオ・プログラムを生成するよう構成されている、態様42ないし46のうちいずれか一項記載のオーディオ処理ユニット。
〔態様48〕
当該オーディオ処理ユニットがデコーダであり、前記処理サブシステムが前記オブジェクト・ベースのオーディオ・プログラムをデコードするよう構成されている、態様42ないし46のうちいずれか一項記載のオーディオ処理ユニット。
〔態様49〕
それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、態様42ないし48のうちいずれか一項記載のオーディオ処理ユニット。
〔態様50〕
バッファ・メモリと;
前記バッファ・メモリに結合された少なくとも一つの処理サブシステムとを含むオーディオ処理ユニットであって、
前記バッファ・メモリは、スピーカー・チャネル・ベースのオーディオ・プログラムの少なくとも一つのセグメントを記憶しており、前記セグメントは、再生スクリーンに対して所定の位置に位置されるラウドスピーカーによる再生のために意図された前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルの少なくとも一つの集合のオーディオ・コンテンツを含み、スピーカー・チャネルの前記集合はオブジェクト・ベースのオーディオ・プログラムに応答して生成されたものであり、該生成は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪めることによることを含み、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示し、
前記処理サブシステムは、前記スピーカー・チャネル・ベースのオーディオ・プログラムのレンダリングまたは前記スピーカー・チャネル・ベースのオーディオ・プログラムのデコードのうちの少なくとも一つを実行するよう構成されている、
オーディオ処理ユニット。
〔態様51〕
前記バッファ・メモリに記憶されている前記スピーカー・チャネル・ベースのオーディオ・プログラムの少なくとも一つの前記セグメントは、スピーカー・チャネルの二つ以上の選択可能な集合のオーディオ・コンテンツを含み、それらの集合の少なくとも一つは前記オブジェクト・ベースのオーディオ・プログラムの歪められていないオーディオ・コンテンツを示し、それらの集合の少なくとも一つの他のものは、少なくとも部分的には前記少なくとも一つの歪め度パラメータによって決定される度合いまで前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを歪めることによることを含め、前記オブジェクト・ベースのオーディオ・プログラムに応答して生成されたものである、態様50記載のオーディオ処理ユニット。
〔態様52〕
スピーカー・チャネルの前記集合は、少なくとも部分的には少なくとも一つのオフ・スクリーン歪めパラメータによって決定されるオフ・スクリーン歪めの実行を含むプロセスによって生成されたものである、態様50または51記載のオーディオ処理ユニット。
〔態様53〕
前記オフ・スクリーン歪めは、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿ったオーディオ要素の歪められていない位置を、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オーディオ要素がレンダリングされるべき歪められた位置の距離の関数として前記オフ・スクリーン歪めパラメータによって制御される度合いまで、歪めることを含む、態様52記載のオーディオ処理ユニット。
〔態様54〕
スピーカー・チャネルの前記集合は、幅軸に沿ったある歪められた位置においてレンダリングされるべきオーディオ・オブジェクトの、再生スクリーンの面に少なくとも実質的に平行な前記幅軸に沿った歪められていない位置を示す値Xsの決定と、値
Xwarp
YFACTOR=yEXPおよび
X'=x*YFACTOR+(1-YFACTOR)*[XFACTOR*Xwarp+(l-XFACTOR)*x)]
の決定とを含む歪めの実行を含むプロセスによって生成されたものであり、
Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オブジェクトの生の歪められた位置を表わし、
EXPはオフ・スクリーン歪めパラメータであり、
YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オブジェクトの歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オブジェクトの歪められたオブジェクト位置を表わし、
XFACTORは、一つの前記歪め度パラメータである、
態様50ないし53のうちいずれか一項記載のオーディオ処理ユニット。
〔態様55〕
前記オブジェクト・ベースのオーディオ・プログラムは、前記少なくとも一つの歪め度パラメータを示すスクリーン関係メタデータを含み、スピーカー・チャネルの前記集合は、前記スクリーン関係メタデータによって示されるそれぞれの前記歪め度パラメータを同定するよう前記オブジェクト・ベースのオーディオ・プログラムをパースする段階を含むプロセスによって生成されたものである、態様50ないし54のうちいずれか一項記載のオーディオ処理ユニット。
〔態様56〕
前記オーディオ処理ユニットはデコーダである、態様50ないし55のうちいずれか一項記載のオーディオ処理ユニット。
〔態様57〕
それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、態様50ないし56のうちいずれか一項記載のオーディオ処理ユニット。
Claims (5)
- エンコードされたオーディオ・プログラムを処理する方法であって:
前記エンコードされたオーディオ・プログラムを受領する段階と;
前記エンコードされたオーディオ・プログラムから一つまたは複数のオーディオ・オブジェクトを含むオーディオ・コンテンツをデコードする段階と;
歪め度パラメータを受領する段階と;
前記オーディオ・オブジェクトのうちの少なくとも一つのオーディオ・オブジェクトに対して、少なくとも部分的には前記歪め度パラメータによって決定される度合いまで歪めを実行する段階であって、前記歪め度パラメータは、再生システムによって前記オーディオ・オブジェクトに対して実行される歪めの最大の度合いを示し、少なくとも部分的には前記歪め度パラメータによって決定される前記度合いについての可能な値は、歪めなし、歪めの前記最大の度合いおよび歪めなしと歪めの前記最大の度合いの間の一つまたは複数の中間的な値である、段階とを含み、
前記オーディオ・オブジェクトに対する前記歪めの実行は、前記オーディオ・オブジェクトに対して前記歪めを実行するか否かを示す指標パラメータに基づく、
方法。 - 前記歪め度パラメータは、前記再生システムによって前記オーディオ・オブジェクトに対して実行される歪めの最大の度合いを示す非バイナリー値である、請求項1記載の方法。
- 請求項1または2記載の方法を実行するよう構成された一つまたは複数のプロセッサを有する、オーディオ・プログラムをレンダリングするシステム。
- コンピューティング装置上で実行されたときに請求項1または2記載の方法段階を実行するための、プロセッサ上での実行のために適応されたソフトウェア・プログラムを有する記憶媒体。
- コンピュータ上で実行されたときに請求項1または2記載の方法を実行するための実行可能命令を有するコンピュータ・プログラム・プロダクト。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023096684A JP2023120268A (ja) | 2013-11-14 | 2023-06-13 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361904233P | 2013-11-14 | 2013-11-14 | |
US61/904,233 | 2013-11-14 | ||
JP2019101286A JP6765476B2 (ja) | 2013-11-14 | 2019-05-30 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
JP2020154480A JP6987198B2 (ja) | 2013-11-14 | 2020-09-15 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020154480A Division JP6987198B2 (ja) | 2013-11-14 | 2020-09-15 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023096684A Division JP2023120268A (ja) | 2013-11-14 | 2023-06-13 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022028896A JP2022028896A (ja) | 2022-02-16 |
JP7297036B2 true JP7297036B2 (ja) | 2023-06-23 |
Family
ID=51952042
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016530940A Active JP6197115B2 (ja) | 2013-11-14 | 2014-11-11 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
JP2017158421A Active JP6688264B2 (ja) | 2013-11-14 | 2017-08-21 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
JP2019101286A Active JP6765476B2 (ja) | 2013-11-14 | 2019-05-30 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
JP2020154480A Active JP6987198B2 (ja) | 2013-11-14 | 2020-09-15 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
JP2021194090A Active JP7297036B2 (ja) | 2013-11-14 | 2021-11-30 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
JP2023096684A Pending JP2023120268A (ja) | 2013-11-14 | 2023-06-13 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016530940A Active JP6197115B2 (ja) | 2013-11-14 | 2014-11-11 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
JP2017158421A Active JP6688264B2 (ja) | 2013-11-14 | 2017-08-21 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
JP2019101286A Active JP6765476B2 (ja) | 2013-11-14 | 2019-05-30 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
JP2020154480A Active JP6987198B2 (ja) | 2013-11-14 | 2020-09-15 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023096684A Pending JP2023120268A (ja) | 2013-11-14 | 2023-06-13 | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
Country Status (5)
Country | Link |
---|---|
US (1) | US9813837B2 (ja) |
EP (1) | EP3069528B1 (ja) |
JP (6) | JP6197115B2 (ja) |
CN (1) | CN105723740B (ja) |
WO (1) | WO2015073454A2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2708441C2 (ru) * | 2015-06-24 | 2019-12-06 | Сони Корпорейшн | Устройство, способ и программа аудиообработки |
KR102631929B1 (ko) * | 2016-02-24 | 2024-02-01 | 한국전자통신연구원 | 스크린 사이즈에 연동하는 전방 오디오 렌더링 장치 및 방법 |
US9916822B1 (en) * | 2016-10-07 | 2018-03-13 | Gopro, Inc. | Systems and methods for audio remixing using repeated segments |
EP3547718A4 (en) * | 2016-11-25 | 2019-11-13 | Sony Corporation | PLAYING DEVICE, PLAY PROCESS, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
US10861467B2 (en) | 2017-03-01 | 2020-12-08 | Dolby Laboratories Licensing Corporation | Audio processing in adaptive intermediate spatial format |
KR102506167B1 (ko) * | 2017-04-25 | 2023-03-07 | 소니그룹주식회사 | 신호 처리 장치 및 방법, 및 프로그램 |
JP7039985B2 (ja) * | 2017-12-15 | 2022-03-23 | ヤマハ株式会社 | ミキサ、ミキサの制御方法およびプログラム |
CN112005560B (zh) * | 2018-04-10 | 2021-12-31 | 高迪奥实验室公司 | 使用元数据处理音频信号的方法和设备 |
EP3623913A1 (en) * | 2018-09-13 | 2020-03-18 | Koninklijke Philips N.V. | Apparatus and method for processing audiovisual data |
GB202118094D0 (en) * | 2021-12-14 | 2022-01-26 | Nokia Technologies Oy | A method and apparatus for AR scene modification |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007201818A (ja) | 2006-01-26 | 2007-08-09 | Sony Corp | オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム |
WO2009101778A1 (ja) | 2008-02-14 | 2009-08-20 | Panasonic Corporation | 音響再生装置および映像音響再生システム |
JP2009253344A (ja) | 2008-04-01 | 2009-10-29 | Sharp Corp | Avシステム、およびavシステムの動作方法 |
JP2013511738A (ja) | 2009-11-20 | 2013-04-04 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | ダウンミックス信号表現に基づくアップミックス信号を提供する装置、マルチチャネルオーディオ信号を表しているビットストリームを提供する装置、方法、コンピュータプログラム、および線形結合パラメータを使用してマルチチャネルオーディオ信号を表しているビットストリーム |
JP2013187908A (ja) | 2012-03-06 | 2013-09-19 | Thomson Licensing | 高次アンビソニックス・オーディオ信号の再生のための方法および装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0695109B1 (en) * | 1994-02-14 | 2011-07-27 | Sony Corporation | Device for reproducing video signal and audio signal |
US7706544B2 (en) * | 2002-11-21 | 2010-04-27 | Fraunhofer-Geselleschaft Zur Forderung Der Angewandten Forschung E.V. | Audio reproduction system and method for reproducing an audio signal |
KR100678929B1 (ko) * | 2003-11-24 | 2007-02-07 | 삼성전자주식회사 | 다채널 디지털 사운드 재생방법 및 장치 |
JP2007266967A (ja) | 2006-03-28 | 2007-10-11 | Yamaha Corp | 音像定位装置およびマルチチャンネルオーディオ再生装置 |
JP4894386B2 (ja) * | 2006-07-21 | 2012-03-14 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
US20100328419A1 (en) | 2009-06-30 | 2010-12-30 | Walter Etter | Method and apparatus for improved matching of auditory space to visual space in video viewing applications |
JP5527878B2 (ja) * | 2009-07-30 | 2014-06-25 | トムソン ライセンシング | 表示装置及び音声出力装置 |
CN113490135B (zh) | 2010-03-23 | 2023-05-30 | 杜比实验室特许公司 | 音频再现方法和声音再现系统 |
EP2541547A1 (en) | 2011-06-30 | 2013-01-02 | Thomson Licensing | Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation |
US9179236B2 (en) | 2011-07-01 | 2015-11-03 | Dolby Laboratories Licensing Corporation | System and method for adaptive audio signal generation, coding and rendering |
CN104885151B (zh) | 2012-12-21 | 2017-12-22 | 杜比实验室特许公司 | 用于基于感知准则呈现基于对象的音频内容的对象群集 |
US9888333B2 (en) * | 2013-11-11 | 2018-02-06 | Google Technology Holdings LLC | Three-dimensional audio rendering techniques |
-
2014
- 2014-11-11 JP JP2016530940A patent/JP6197115B2/ja active Active
- 2014-11-11 US US15/035,738 patent/US9813837B2/en active Active
- 2014-11-11 WO PCT/US2014/065071 patent/WO2015073454A2/en active Application Filing
- 2014-11-11 EP EP14802786.5A patent/EP3069528B1/en active Active
- 2014-11-11 CN CN201480062364.0A patent/CN105723740B/zh active Active
-
2017
- 2017-08-21 JP JP2017158421A patent/JP6688264B2/ja active Active
-
2019
- 2019-05-30 JP JP2019101286A patent/JP6765476B2/ja active Active
-
2020
- 2020-09-15 JP JP2020154480A patent/JP6987198B2/ja active Active
-
2021
- 2021-11-30 JP JP2021194090A patent/JP7297036B2/ja active Active
-
2023
- 2023-06-13 JP JP2023096684A patent/JP2023120268A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007201818A (ja) | 2006-01-26 | 2007-08-09 | Sony Corp | オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム |
WO2009101778A1 (ja) | 2008-02-14 | 2009-08-20 | Panasonic Corporation | 音響再生装置および映像音響再生システム |
JP2009253344A (ja) | 2008-04-01 | 2009-10-29 | Sharp Corp | Avシステム、およびavシステムの動作方法 |
JP2013511738A (ja) | 2009-11-20 | 2013-04-04 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | ダウンミックス信号表現に基づくアップミックス信号を提供する装置、マルチチャネルオーディオ信号を表しているビットストリームを提供する装置、方法、コンピュータプログラム、および線形結合パラメータを使用してマルチチャネルオーディオ信号を表しているビットストリーム |
JP2013187908A (ja) | 2012-03-06 | 2013-09-19 | Thomson Licensing | 高次アンビソニックス・オーディオ信号の再生のための方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
US9813837B2 (en) | 2017-11-07 |
JP2023120268A (ja) | 2023-08-29 |
CN105723740A (zh) | 2016-06-29 |
JP2017503375A (ja) | 2017-01-26 |
EP3069528B1 (en) | 2017-09-13 |
JP6987198B2 (ja) | 2021-12-22 |
EP3069528A2 (en) | 2016-09-21 |
JP2020205630A (ja) | 2020-12-24 |
JP6765476B2 (ja) | 2020-10-07 |
JP6688264B2 (ja) | 2020-04-28 |
WO2015073454A2 (en) | 2015-05-21 |
JP6197115B2 (ja) | 2017-09-13 |
JP2022028896A (ja) | 2022-02-16 |
US20160286333A1 (en) | 2016-09-29 |
CN105723740B (zh) | 2019-09-17 |
WO2015073454A3 (en) | 2015-07-09 |
JP2019165494A (ja) | 2019-09-26 |
JP2017225175A (ja) | 2017-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7297036B2 (ja) | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード | |
RU2741738C1 (ru) | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала | |
JP7362807B2 (ja) | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 | |
JP7116144B2 (ja) | 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理 | |
JP6186435B2 (ja) | ゲームオーディオコンテンツを示すオブジェクトベースオーディオの符号化及びレンダリング | |
US9119011B2 (en) | Upmixing object based audio | |
US9489954B2 (en) | Encoding and rendering of object based audio indicative of game audio content | |
US20140153753A1 (en) | Object Based Audio Rendering Using Visual Tracking of at Least One Listener | |
RU2820838C2 (ru) | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7297036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |