JP6192813B2 - オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化 - Google Patents
オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化 Download PDFInfo
- Publication number
- JP6192813B2 JP6192813B2 JP2016513406A JP2016513406A JP6192813B2 JP 6192813 B2 JP6192813 B2 JP 6192813B2 JP 2016513406 A JP2016513406 A JP 2016513406A JP 2016513406 A JP2016513406 A JP 2016513406A JP 6192813 B2 JP6192813 B2 JP 6192813B2
- Authority
- JP
- Japan
- Prior art keywords
- transition
- audio objects
- side information
- downmix
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007704 transition Effects 0.000 claims description 305
- 238000009877 rendering Methods 0.000 claims description 235
- 238000000034 method Methods 0.000 claims description 188
- 239000011159 matrix material Substances 0.000 claims description 72
- 230000005236 sound signal Effects 0.000 claims description 70
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012952 Resampling Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 229940050561 matrix product Drugs 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 230000003068 static effect Effects 0.000 description 8
- 239000000203 mixture Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本願は2013年5月24日に出願された米国仮特許出願第61/827,246号、2013年10月21日に出願された米国仮特許出願第61/827,246号、2014年4月1日に出願された米国仮特許出願第61/973,623号の出願日の利益を主張するものであり、そのそれぞれはここにその全体において参照によって組み込まれる。
本開示は概括的にはオーディオ・オブジェクトを含むオーディオ・シーンの符号化に関する。詳細には、オーディオ・オブジェクトのエンコードおよびデコードのためのエンコーダ、デコーダおよび関連する方法に関する。
第一の側面によれば、オーディオ・オブジェクトをエンコードするためのエンコード方法、エンコーダおよびコンピュータ・プログラム・プロダクトが提供される。
N>1であるとして、N個のオーディオ・オブジェクトを受領する段階と;
M≦Nであるとして、いかなるラウドスピーカー配位とも独立な基準に従って前記N個のオーディオ・オブジェクトの組み合わせを形成することによって、M個のダウンミックス信号を計算する段階と;
前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含むサイド情報を計算する段階と;
前記M個のダウンミックス信号および前記サイド情報を、デコーダに伝送するためのデータ・ストリームに含める段階とを含む、方法が提供される。
前記第一の複数のオーディオ・オブジェクトおよびそれらの関連付けられた空間位置を受領する段階と;
前記第一の複数のオーディオ・オブジェクトを、前記第一の複数のオーディオ・オブジェクトの空間的近接性に基づいて少なくとも一つのクラスターと関連付ける段階と;
前記少なくとも一つのクラスターのそれぞれを、そのクラスターに関連付けられたオーディオ・オブジェクトの組み合わせであるオーディオ・オブジェクトによって表わすことによって、前記第二の複数のオーディオ・オブジェクトを生成する段階と;
前記第二の複数のオーディオ・オブジェクトについての空間位置を含むメタデータを計算する段階であって、前記第二の複数のオーディオ・オブジェクトの各オーディオ・オブジェクトの空間位置が、対応するクラスターに関連付けられたオーディオ・オブジェクトの空間位置に基づいて計算される、段階と;
前記第二の複数のオーディオ・オブジェクトについてのメタデータを前記データ・ストリーム中に含める段階とを含む。
少なくとも一つのオーディオ・チャネルを受領する段階と;
前記少なくとも一つのオーディオ・チャネルのそれぞれを、そのオーディオ・チャネルのラウドスピーカー位置に対応する静的な空間位置をもつオーディオ・オブジェクトに変換する段階と;
変換された少なくとも一つのオーディオ・チャネルを前記第一の複数のオーディオ・オブジェクトに含める段階とを含んでいてもよい。
N>1であるとして、N個のオーディオ・オブジェクトを受領するよう構成された受領コンポーネントと;
M≦Nであるとして、いかなるラウドスピーカー配位とも独立な基準に従って前記N個のオーディオ・オブジェクトの組み合わせを形成することによって、M個のダウンミックス信号を計算するよう構成されたダウンミックス・コンポーネントと;
前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含むサイド情報を計算するよう構成された解析コンポーネントと;
前記M個のダウンミックス信号および前記サイド情報を、デコーダに伝送するためのデータ・ストリームに含めるよう構成された多重化コンポーネントとを有する、エンコーダが提供される。
第二の側面によれば、マルチチャネル・オーディオ・コンテンツをデコードするためのデコード方法、デコーダおよびコンピュータ・プログラム・プロダクトが提供される。
M≦Nであるとして、いかなるラウドスピーカー配位とも独立な基準に従って計算されたN個のオーディオ・オブジェクトの組み合わせであるM個のダウンミックス信号と、前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含むサイド情報とを含むデータ・ストリームを受領する段階と;
前記M個のダウンミックス信号および前記サイド情報から、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトを再構成する段階とを含む、方法が提供される。
前記デコーダがオーディオ・オブジェクト再構成をサポートするよう構成されている場合には、前記M個のダウンミックス信号および前記サイド情報から、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトを再構成する前記段階を実行し、
前記デコーダがオーディオ・オブジェクト再構成をサポートするよう構成されていない場合には、前記M個のダウンミックス信号についての前記メタデータを、前記M個のダウンミックス信号を再生システムの出力チャネルにレンダリングするために使うことを含む。
前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトについての前記メタデータを、前記N個のオーディオ・オブジェクトに基づいて形成された再構成された一組のオーディオ・オブジェクトを、再生システムの出力チャネルにレンダリングするために使うことを含む。
M≦Nであるとして、いかなるラウドスピーカー配位とも独立な基準に従って計算されたN個のオーディオ・オブジェクトの組み合わせであるM個のダウンミックス信号と、前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含むサイド情報とを含むデータ・ストリームを受領するよう構成された受領コンポーネントと;
前記M個のダウンミックス信号および前記サイド情報から、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトを再構成するよう構成された再構成コンポーネントとを有する、デコーダが提供される。
第三の側面によれば、オーディオ・オブジェクトをエンコードするためのエンコード方法、エンコーダおよびコンピュータ・プログラム・プロダクトが提供される。
N>1であるとして、N個のオーディオ・オブジェクトを受領する段階と;
M≦Nであるとして、前記N個のオーディオ・オブジェクトの組み合わせを形成することによって、M個のダウンミックス信号を計算する段階と;
前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む時間可変のサイド情報を計算する段階と;
前記M個のダウンミックス信号および前記サイド情報を、デコーダに伝送するためのデータ・ストリームに含める段階とを含む、方法が提供される。
前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成するためのそれぞれの所望される再構成設定を指定する複数のサイド情報インスタンスと;
各サイド情報インスタンスについての、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データとを含めることを含む。
前記第二の複数のオーディオ・オブジェクトについての空間位置を含む時間可変なクラスター・メタデータを計算する段階と;
前記デコーダに伝送するために、前記データ・ストリーム中に:
第二の組のオーディオ・オブジェクトをレンダリングするためのそれぞれの所望されるレンダリング設定を指定する複数のクラスター・メタデータ・インスタンスと;
各クラスター・メタデータ・インスタンスについての、現在のレンダリング設定から、そのクラスター・メタデータ・インスタンスによって指定される所望されるレンダリング設定への遷移を開始する時点およびそのクラスター・メタデータ・インスタンスによって指定される前記所望されるレンダリング設定への前記遷移を完了する時点を、組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データとを含める段階とを含む。
前記第一の複数のオーディオ・オブジェクトおよびそれらの関連付けられた空間位置を受領する段階と;
前記第一の複数のオーディオ・オブジェクトを、前記第一の複数のオーディオ・オブジェクトの空間的近接性に基づいて少なくとも一つのクラスターと関連付ける段階と;
前記少なくとも一つのクラスターのそれぞれを、そのクラスターに関連付けられたオーディオ・オブジェクトの組み合わせであるオーディオ・オブジェクトによって表わすことによって、前記第二の複数のオーディオ・オブジェクトを生成する段階と;
前記第二の複数のオーディオ・オブジェクトの各オーディオ・オブジェクトの空間位置を、それぞれのクラスターに関連付けられた、すなわちそのオーディオ・オブジェクトが代表するクラスターに関連付けられた諸オーディオ・オブジェクトの空間位置に基づいて計算する段階とを含む。
各ダウンミックス信号を、前記ダウンミックス信号をレンダリングするための時間可変な空間位置に関連付ける段階と;
前記ダウンミックス信号の前記空間位置を含むダウンミックス・メタデータを前記データ・ストリームにさらに含める段階とを含み、
当該方法はさらに、前記データ・ストリームに:
前記ダウンミックス信号をレンダリングするためのそれぞれの所望されるダウンミックス・レンダリング設定を指定する複数のダウンミックス・メタデータ・インスタンスと;
各ダウンミックス・メタデータ・インスタンスについての、現在のダウンミックス・レンダリング設定から、そのダウンミックス・メタデータ・インスタンスによって指定される所望されるダウンミックス・レンダリング設定への遷移を開始する時点および前記ダウンミックス・メタデータ・インスタンスによって指定される所望されるダウンミックス・レンダリング設定への遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データとを含めることを含む。
M≦Nであるとして、前記N個のオーディオ・オブジェクトの組み合わせを形成することによって、M個のダウンミックス信号を計算するよう構成されているダウンミックス・コンポーネントと;
前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む時間可変のサイド情報を計算するよう構成されている解析コンポーネントと;
前記M個のダウンミックス信号および前記サイド情報を、デコーダに伝送するためのデータ・ストリームに含めるよう構成された多重化コンポーネントとを有しており、
前記多重化コンポーネントは、前記デコーダへの伝送のために、前記データ・ストリーム中に:
前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成するためのそれぞれの所望される再構成設定を指定する複数のサイド情報インスタンスと;
各サイド情報インスタンスについての、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データとを含めるよう構成される。
N>1およびM≦Nであるとして、N個のオーディオ・オブジェクトの組み合わせであるM個のダウンミックス信号と、前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む時間可変なサイド情報とを含むデータ・ストリームを受領する段階と;
前記M個のダウンミックス信号および前記サイド情報に基づいて、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトを再構成する段階とを含み、
前記データ・ストリームは、複数のサイド情報インスタンスを含み、前記データ・ストリームはさらに、各サイド情報インスタンスについて、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含み、
前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトを再構成する段階は:
現在の再構成設定に従って再構成を実行し;
あるサイド情報インスタンスについての遷移データによって定義される時点において、前記現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始し;
そのサイド情報インスタンスについての前記遷移データによって定義される時点において前記遷移を完了することを含む。
前記N個のオーディオ・オブジェクトに基づいて形成された再構成された一組のオーディオ・オブジェクトを、あらかじめ定義されたチャネル配位の出力チャネルにレンダリングするために前記クラスター・メタデータを使うことを含んでいてもよく、該レンダリングは:
現在のレンダリング設定に従ってレンダリングを実行し;
あるクラスター・メタデータ・インスタンスについての遷移データによって定義される時点において、前記現在のレンダリング設定から、そのクラスター・メタデータ・インスタンスによって指定される所望されるレンダリング設定への遷移を開始し;
そのクラスター・メタデータ・インスタンスについての前記遷移データによって定義される時点において前記所望されるレンダリング設定への前記遷移を完了することを含む。
前記再構成の少なくとも一部および前記レンダリングの少なくとも一部を、それぞれ現在の再構成設定および現在のレンダリング設定に関連する再構成行列およびレンダリング行列の行列積として形成される第一の行列に対応する組み合わされた動作として実行し;
あるサイド情報インスタンスおよびあるクラスター・メタデータ・インスタンスについての遷移データによって定義される時点において、前記現在の再構成およびレンダリング設定から、それぞれそのサイド情報インスタンスおよびそのクラスター・メタデータ・インスタンスによって指定される所望される再構成設定およびレンダリング設定への組み合わされた遷移を開始し;
そのサイド情報インスタンスおよびそのクラスター・メタデータ・インスタンスについての前記遷移データによって定義される時点において前記組み合わされた遷移を完了することを含み、前記組み合わされた遷移は、前記第一の行列の行列要素と、それぞれ前記所望される再構成設定および前記所望されるレンダリング設定に関連する再構成行列およびレンダリング行列の行列積として形成される第二の行列の行列要素との間を補間することを含む。
デコーダがオーディオ・オブジェクト再構成をサポートするよう動作可能である(または構成されている)場合、再構成する段階を、前記M個のダウンミックス信号および前記サイド情報、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトに基づいて実行し;
デコーダがオーディオ・オブジェクト再構成をサポートするよう動作可能でない(または構成されていない)場合、前記ダウンミックス・メタデータおよび前記M個のダウンミックス信号を前記M個のダウンミックス信号のレンダリングのために出力することを含んでいてもよい。
N>1およびM≦Nであるとして、N個のオーディオ・オブジェクトの組み合わせであるM個のダウンミックス信号と、前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む時間可変なサイド情報とを含むデータ・ストリームを受領するよう構成されている受領コンポーネントと;
前記M個のダウンミックス信号および前記サイド情報に基づいて、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトを再構成するよう構成されている再構成コンポーネントとを有し、
前記データ・ストリームは、関連する複数のサイド情報インスタンスを含み、前記データ・ストリームはさらに、各サイド情報インスタンスについて、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含む。
現在の再構成設定に従って再構成を実行し;
あるサイド情報インスタンスについての遷移データによって定義される時点において、前記現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始し;
そのサイド情報インスタンスについての前記遷移データによって定義される時点において前記遷移を完了することによって行なうよう構成されている。
データ・ストリームを受領する段階と;
前記データ・ストリームから、M≧1として、M個のオーディオ信号と、前記M個のオーディオ信号からの、一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む、関連する時間可変なサイド情報とを抽出する段階であって、抽出されたサイド情報は:
前記オーディオ・オブジェクトを再構成するためのそれぞれの所望される再構成設定を指定する複数のサイド情報インスタンス;および
各サイド情報インスタンスについて、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含む、段階と;
一つまたは複数の追加的なサイド情報インスタンスであって、該一つまたは複数の追加的なサイド情報インスタンスの直前または直後のサイド情報インスタンスと実質的に同じ再構成設定を指定する追加的なサイド情報インスタンスを生成する段階と;
前記M個のオーディオ信号および前記サイド情報をデータ・ストリームに含める段階とを含む。
前記M個のオーディオ信号を処理して、前記M個のダウンミックス信号が符号化されているフレーム・レートを前記第一のフレーム・レートとは異なる第二のフレーム・レートに変える段階と;
少なくとも、前記一つまたは複数の追加的なサイド情報インスタンスを生成することによって、前記第二のフレーム・レートに一致するおよび/または前記第二のフレーム・レートと互換になるよう、前記サイド情報を再サンプリングする段階とを含んでいてもよい。
データ・ストリームを受領し、前記データ・ストリームから、M≧1として、M個のオーディオ信号と、前記M個のオーディオ信号からの、一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む、関連する時間可変なサイド情報とを抽出するよう構成された受領コンポーネントを有しており、抽出されたサイド情報は:
前記オーディオ・オブジェクトを再構成するためのそれぞれの所望される再構成設定を指定する複数のサイド情報インスタンス;および
各サイド情報インスタンスについて、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含む。
一つまたは複数の追加的なサイド情報インスタンスであって、該一つまたは複数の追加的なサイド情報インスタンスの直前または直後のサイド情報インスタンスと実質的に同じ再構成設定を指定する追加的なサイド情報インスタンスを生成するよう構成されている再サンプリング・コンポーネントと;
前記M個のオーディオ信号および前記サイド情報をデータ・ストリームに含めるよう構成されている多重化コンポーネントとを有する。
所望される再構成設定への遷移を開始する時点を示すタイムスタンプと、所望される再構成設定への遷移を完了する時点を示すタイムスタンプ;
所望される再構成設定への遷移を開始する時点を示すタイムスタンプと、所望される再構成設定への遷移を開始する時点から所望される再構成設定に達するための継続時間を示す補間継続時間パラメータ;または
所望される再構成設定への遷移を完了する時点を示すタイムスタンプと、所望される再構成設定への遷移を開始する時点から所望される再構成設定に達するための継続時間を示す補間継続時間パラメータであってもよい。
所望されるレンダリング設定への遷移を開始する時点を示すタイムスタンプと、所望されるレンダリング設定への遷移を完了する時点を示すタイムスタンプ;
所望されるレンダリング設定への遷移を開始する時点を示すタイムスタンプと、所望されるレンダリング設定への遷移を開始する時点から所望されるレンダリング設定に達するための継続時間を示す補間継続時間パラメータ;または
所望されるレンダリング設定への遷移を完了する時点を示すタイムスタンプと、所望されるレンダリング設定への遷移を開始する時点から所望されるレンダリング設定に達するための継続時間を示す補間継続時間パラメータであってもよい。
所望されるダウンミックス・レンダリング設定への遷移を開始する時点を示すタイムスタンプと、所望されるダウンミックス・レンダリング設定への遷移を完了する時点を示すタイムスタンプ;
所望されるダウンミックス・レンダリング設定への遷移を開始する時点を示すタイムスタンプと、所望されるダウンミックス・レンダリング設定への遷移を開始する時点から所望されるダウンミックス・レンダリング設定に達するための継続時間を示す補間継続時間パラメータ;または
所望されるダウンミックス・レンダリング設定への遷移を完了する時点を示すタイムスタンプと、所望されるダウンミックス・レンダリング設定への遷移を開始する時点から所望されるダウンミックス・レンダリング設定に達するための継続時間を示す補間継続時間パラメータであってもよい。
図1は、ある例示的実施形態に基づく、オーディオ・オブジェクト120をデータ・ストリーム140にエンコードするエンコーダ100を示している。エンコーダ100は、受領コンポーネント(図示せず)、ダウンミックス・コンポーネント102、エンコーダ・コンポーネント104、解析コンポーネント106および多重化コンポーネント108を有する。オーディオ・データの一つの時間フレームをエンコードするためのエンコーダ100の動作を下記で述べるが、下記の方法は時間フレーム・ベースで繰り返されることは理解される。同じことは図2〜図5の説明にも当てはまる。
a)M個のダウンミックス信号126(および任意的にL個の補助信号129)
b)M個のダウンミックス信号に関連付けられたメタデータ125
c)M個のダウンミックス信号からN個のオーディオ・オブジェクトを再構成するためのサイド情報128
d)N個のオーディオ・オブジェクトに関連付けられたメタデータ122。
レンダリング行列630は一般に、異なる時点における利得値を表わす係数を含む。メタデータ・インスタンスは、所定の離散的な時点において定義され、メタデータ時点の中間のオーディオ・サンプルについては、レンダリング行列630をつなぐ破線640によって示されるように、レンダリング行列は補間される。そのような補間は線形に実行することができるが、他の補間方法(帯域制限された補間、正弦/余弦補間など)が使われることもできる。メタデータ・インスタンス(および対応するレンダリング行列)の間の時間間隔は、「補間継続時間」と称される。そのような期間は一様であってもよく、あるいは時刻t2とt3の間の補間継続時間に比べて時刻t3とt4の間の補間継続時間がより長いなど、異なっていてもよい。
上記の記述を吟味すれば、当業者には本開示のさらなる実施形態が明白になるであろう。本稿および図面は実施形態および例を開示しているが、本開示はこれらの個別的な例に制約されるものではない。付属の請求項によって定義される本開示の範囲から外れることなく数多くの修正および変形をなすことができる。請求項に現われる参照符号があったとしても、その範囲を限定するものと理解されるものではない。
いくつかの態様を記載しておく。
〔態様1〕
オーディオ・オブジェクトをデータ・ストリームとしてエンコードする方法であって:
N>1であるとして、N個のオーディオ・オブジェクトを受領する段階と;
M≦Nであるとして、前記N個のオーディオ・オブジェクトの組み合わせを形成することによって、M個のダウンミックス信号を計算する段階と;
前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む時間可変のサイド情報を計算する段階と;
前記M個のダウンミックス信号および前記サイド情報を、デコーダに伝送するためのデータ・ストリームに含める段階とを含み、
本方法はさらに、前記データ・ストリーム中に:
前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成するためのそれぞれの所望される再構成設定を指定する複数のサイド情報インスタンスと;
各サイド情報インスタンスについての、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データとを含めることを含む、
方法。
〔態様2〕
第一の複数のオーディオ・オブジェクトを第二の複数のオーディオ・オブジェクトに減らすためのクラスタリング手順をさらに含み、前記N個のオーディオ・オブジェクトは、前記第一の複数のオーディオ・オブジェクトまたは前記第二の複数のオーディオ・オブジェクトをなし、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトは前記第二の複数のオーディオ・オブジェクトに一致し、前記クラスタリング手順は:
前記第二の複数のオーディオ・オブジェクトについての空間位置を含む時間可変なクラスター・メタデータを計算する段階と;
前記データ・ストリーム中に:
第二の組のオーディオ・オブジェクトをレンダリングするためのそれぞれの所望されるレンダリング設定を指定する複数のクラスター・メタデータ・インスタンスと;
各クラスター・メタデータ・インスタンスについての、現在のレンダリング設定から、そのクラスター・メタデータ・インスタンスによって指定される所望されるレンダリング設定への遷移を開始する時点およびそのクラスター・メタデータ・インスタンスによって指定される前記所望されるレンダリング設定への前記遷移を完了する時点を、組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データとを含める段階とを含む、
態様1記載の方法。
〔態様3〕
前記クラスタリング手順はさらに:
前記第一の複数のオーディオ・オブジェクトおよびそれらの関連付けられた空間位置を受領する段階と;
前記第一の複数のオーディオ・オブジェクトを、前記第一の複数のオーディオ・オブジェクトの空間的近接性に基づいて少なくとも一つのクラスターと関連付ける段階と;
前記少なくとも一つのクラスターのそれぞれを、そのクラスターに関連付けられたオーディオ・オブジェクトの組み合わせであるオーディオ・オブジェクトによって表わすことによって、前記第二の複数のオーディオ・オブジェクトを生成する段階と;
前記第二の複数のオーディオ・オブジェクトの各オーディオ・オブジェクトの空間位置を、そのオーディオ・オブジェクトが代表するクラスターに関連付けられた諸オーディオ・オブジェクトの空間位置に基づいて計算する段階とを含む、
態様2記載の方法。
〔態様4〕
それぞれのクラスター・メタデータ・インスタンスについて前記遷移データによって定義されるそれぞれの時点は、対応するサイド情報インスタンスについて前記遷移データによって定義されるそれぞれの時点と一致する、態様2または3記載の方法。
〔態様5〕
前記N個のオーディオ・オブジェクトが前記第二の複数のオーディオ・オブジェクトをなす、態様2ないし4のうちいずれか一項記載の方法。
〔態様6〕
前記N個のオーディオ・オブジェクトが前記第一の複数のオーディオ・オブジェクトをなす、態様2ないし4のうちいずれか一項記載の方法。
〔態様7〕
当該方法が、
各ダウンミックス信号を、前記ダウンミックス信号をレンダリングするための時間可変な空間位置に関連付ける段階と;
前記ダウンミックス信号の前記空間位置を含むダウンミックス・メタデータを前記データ・ストリームにさらに含める段階とをさらに含み、
当該方法がさらに、前記データ・ストリームに:
前記ダウンミックス信号をレンダリングするためのそれぞれの所望されるダウンミックス・レンダリング設定を指定する複数のダウンミックス・メタデータ・インスタンスと;
各ダウンミックス・メタデータ・インスタンスについての、現在のダウンミックス・レンダリング設定から、そのダウンミックス・メタデータ・インスタンスによって指定される所望されるダウンミックス・レンダリング設定への遷移を開始する時点および前記ダウンミックス・メタデータ・インスタンスによって指定される所望されるダウンミックス・レンダリング設定への遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データとを含めることを含む、
態様1ないし6のうちいずれか一項記載の方法。
〔態様8〕
それぞれのダウンミックス・メタデータ・インスタンスについての前記遷移データによって定義されるそれぞれの時点は、対応するサイド情報インスタンスについての前記遷移データによって定義されるそれぞれの時点と一致する、態様7記載の方法。
〔態様9〕
N>1として、N個のオーディオ・オブジェクトをデータ・ストリームとしてエンコードするエンコーダであって:
M≦Nであるとして、前記N個のオーディオ・オブジェクトの組み合わせを形成することによって、M個のダウンミックス信号を計算するよう構成されているダウンミックス・コンポーネントと;
前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む時間可変のサイド情報を計算するよう構成されている解析コンポーネントと;
前記M個のダウンミックス信号および前記サイド情報を、デコーダに伝送するためのデータ・ストリームに含めるよう構成された多重化コンポーネントとを有しており、
前記多重化コンポーネントは、前記データ・ストリーム中に:
前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成するためのそれぞれの所望される再構成設定を指定する複数のサイド情報インスタンスと;
各サイド情報インスタンスについての、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データとを含めるよう構成される、
エンコーダ。
〔態様10〕
データ・ストリームに基づいてオーディオ・オブジェクトを再構成する方法であって:
N>1およびM≦Nであるとして、N個のオーディオ・オブジェクトの組み合わせであるM個のダウンミックス信号と、前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む時間可変なサイド情報とを含むデータ・ストリームを受領する段階と;
前記M個のダウンミックス信号および前記サイド情報に基づいて、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成する段階とを含み、
前記データ・ストリームは、複数のサイド情報インスタンスを含み、前記データ・ストリームはさらに、各サイド情報インスタンスについて、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含み、
前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成する段階は:
現在の再構成設定に従って再構成を実行し;
あるサイド情報インスタンスについての前記遷移データによって定義される時点において、前記現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始し;
そのサイド情報インスタンスについての前記遷移データによって定義される時点において前記遷移を完了することを含む、
方法。
〔態様11〕
前記データ・ストリームはさらに、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトについての時間可変なクラスター・メタデータを含み、前記クラスター・メタデータは、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトについての空間位置を含み、前記データ・ストリームは、複数のクラスター・メタデータ・インスタンスを含み、前記データ・ストリームはさらに、各クラスター・メタデータ・インスタンスについて、現在のレンダリング設定から、そのクラスター・メタデータ・インスタンスによって指定される所望されるレンダリング設定への遷移を開始する時点およびそのクラスター・メタデータ・インスタンスによって指定される前記所望されるレンダリング設定への前記遷移を完了する時点を、組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含み、
当該方法はさらに:
前記N個のオーディオ・オブジェクトに基づいて形成された再構成された一組のオーディオ・オブジェクトを、あらかじめ定義されたチャネル配位の出力チャネルにレンダリングするために前記クラスター・メタデータを使うことを含み、該レンダリングは:
現在のレンダリング設定に従ってレンダリングを実行し;
あるクラスター・メタデータ・インスタンスについての前記遷移データによって定義される時点において、前記現在のレンダリング設定から、そのクラスター・メタデータ・インスタンスによって指定される所望されるレンダリング設定への遷移を開始し;
そのクラスター・メタデータ・インスタンスについての前記遷移データによって定義される時点において前記所望されるレンダリング設定への前記遷移を完了することを含む、
態様10記載の方法。
〔態様12〕
それぞれのクラスター・メタデータ・インスタンスについての遷移データによって定義されるそれぞれの時点は、対応するサイド情報インスタンスについて前記遷移データによって定義されるそれぞれの時点と一致する、態様11記載の方法。
〔態様13〕
当該方法はさらに:
前記再構成および前記レンダリングの少なくとも一部を、それぞれ現在の再構成設定および現在のレンダリング設定に関連する再構成行列およびレンダリング行列の行列積として形成される第一の行列に対応する組み合わされた動作として実行し;
あるサイド情報インスタンスおよびあるクラスター・メタデータ・インスタンスについての前記遷移データによって定義される時点において、前記現在の再構成およびレンダリング設定から、それぞれそのサイド情報インスタンスおよびそのクラスター・メタデータ・インスタンスによって指定される所望される再構成およびレンダリング設定への組み合わされた遷移を開始し;
そのサイド情報インスタンスおよびそのクラスター・メタデータ・インスタンスについての前記遷移データによって定義される時点において前記組み合わされた遷移を完了することを含み、前記組み合わされた遷移は、前記第一の行列の行列要素と、それぞれ前記所望される再構成設定および前記所望されるレンダリング設定に関連する再構成行列およびレンダリング行列の行列積として形成される第二の行列の行列要素との間を補間することを含む、
態様12記載の方法。
〔態様14〕
前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトは、前記N個のオーディオ・オブジェクトと一致する、態様10ないし13のうちいずれか一項記載の方法。
〔態様15〕
前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトは、前記N個のオーディオ・オブジェクトの組み合わせである、N個より少ない複数のオーディオ・オブジェクトを含む、態様10ないし13のうちいずれか一項記載の方法。
〔態様16〕
デコーダにおいて実行される態様10ないし15のうちいずれか一項記載の方法であって、前記データ・ストリームはさらに、前記M個のダウンミックス信号に関連付けられた時間可変な空間位置を含む前記M個のダウンミックス信号についてのダウンミックス・メタデータを含み、前記データ・ストリームはさらに、複数のダウンミックス・メタデータ・インスタンスを含み、前記データ・ストリームはさらに、各ダウンミックス・メタデータ・インスタンスについて、現在のダウンミックス・レンダリング設定から、そのダウンミックス・メタデータ・インスタンスによって指定される所望されるダウンミックス・レンダリング設定への遷移を開始する時点およびそのダウンミックス・メタデータ・インスタンスによって指定される前記所望されるダウンミックス・レンダリング設定への前記遷移を完了する時点を、組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含み、
当該方法はさらに:
前記デコーダがオーディオ・オブジェクト再構成をサポートするよう動作可能である場合、再構成する段階を、前記M個のダウンミックス信号および前記サイド情報、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトに基づいて実行し;
前記デコーダがオーディオ・オブジェクト再構成をサポートするよう動作可能でない場合、前記ダウンミックス・メタデータおよび前記M個のダウンミックス信号を前記M個のダウンミックス信号のレンダリングのために出力することを含む、
方法。
〔態様17〕
データ・ストリームに基づいてオーディオ・オブジェクトを再構成するデコーダであって:
N>1およびM≦Nであるとして、N個のオーディオ・オブジェクトの組み合わせであるM個のダウンミックス信号と、前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む時間可変なサイド情報とを含むデータ・ストリームを受領するよう構成されている受領コンポーネントと;
前記M個のダウンミックス信号および前記サイド情報に基づいて、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成するよう構成されている再構成コンポーネントとを有し、
前記データ・ストリームは、複数のサイド情報インスタンスを含み、前記データ・ストリームはさらに、各サイド情報インスタンスについて、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含み、
前記再構成コンポーネントは、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成することを、少なくとも:
現在の再構成設定に従って再構成を実行し;
あるサイド情報インスタンスについての前記遷移データによって定義される時点において、前記現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始し;
そのサイド情報インスタンスについての前記遷移データによって定義される時点において前記遷移を完了することによって行なうよう構成されている、
デコーダ。
〔態様18〕
態様1ないし8および10ないし16のうちいずれか一項記載の方法であって、さらに:
一つまたは複数の追加的なサイド情報インスタンスであって、該一つまたは複数の追加的なサイド情報インスタンスの直前または直後のサイド情報インスタンスと実質的に同じ再構成設定を指定するものを生成する段階を含む、
方法。
〔態様19〕
データ・ストリーム中でM個のオーディオ信号と一緒にエンコードされたサイド情報をトランスコードする方法であって:
データ・ストリームを受領する段階と;
前記データ・ストリームから、M≧1として、M個のオーディオ信号と、前記M個のオーディオ信号からの、一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む、関連する時間可変なサイド情報とを抽出する段階であって、抽出されたサイド情報は:
前記オーディオ・オブジェクトを再構成するためのそれぞれの所望される再構成設定を指定する複数のサイド情報インスタンス;および
各サイド情報インスタンスについて、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含む、段階と;
一つまたは複数の追加的なサイド情報インスタンスであって、該一つまたは複数の追加的なサイド情報インスタンスの直前または直後のサイド情報インスタンスと実質的に同じ再構成設定を指定する追加的なサイド情報インスタンスを生成する段階と;
前記M個のオーディオ信号および前記サイド情報をデータ・ストリームに含める段階とを含む、
方法。
〔態様20〕
前記M個のオーディオ信号は、第一のフレーム・レートに従って、受領されたデータ・ストリーム中で符号化されており、当該方法はさらに:
前記M個のオーディオ信号を処理して、前記M個のダウンミックス信号が符号化されているフレーム・レートを前記第一のフレーム・レートとは異なる第二のフレーム・レートに変える段階と;
少なくとも、前記一つまたは複数の追加的なサイド情報インスタンスを生成することによって、前記第二のフレーム・レートに一致するよう、前記サイド情報を再サンプリングする段階とを含む、
態様19記載の方法。
〔態様21〕
データ・ストリームにおいてM個のオーディオ信号と一緒にエンコードされたサイド情報をトランスコードする装置であって:
データ・ストリームを受領し、前記データ・ストリームから、M≧1として、M個のオーディオ信号と、前記M個のオーディオ信号からの、一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む、関連する時間可変なサイド情報とを抽出するよう構成された受領コンポーネントを有しており、抽出されるサイド情報は:
前記オーディオ・オブジェクトを再構成するためのそれぞれの所望される再構成設定を指定する複数のサイド情報インスタンス;および
各サイド情報インスタンスについて、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含み、
当該装置はさらに:
一つまたは複数の追加的なサイド情報インスタンスであって、該一つまたは複数の追加的なサイド情報インスタンスの直前または直後のサイド情報インスタンスと実質的に同じ再構成設定を指定する追加的なサイド情報インスタンスを生成するよう構成されている再サンプリング・コンポーネントと;
前記M個のオーディオ信号および前記サイド情報をデータ・ストリームに含めるよう構成されている多重化コンポーネントとを有する、
装置。
〔態様22〕
態様1ないし8、10ないし16および18ないし20のうちいずれか一項記載の方法であって、さらに:
第一のサイド情報インスタンスによって指定される第一の所望される再構成設定と、前記第一のサイド情報インスタンスの直後の一つまたは複数のサイド情報インスタンスによって指定される一つまたは複数の所望される再構成設定との間の差を計算し;
計算された差があらかじめ定義された閾値より低いことに応答して前記一つまたは複数のサイド情報インスタンスを除去することを含む、
方法。
〔態様23〕
態様1ないし8、10ないし16、18ないし20および22のうちいずれか一項記載の方法、態様9記載のエンコーダ、態様17記載のデコーダまたは態様21記載の装置であって:
各サイド情報インスタンスについての前記遷移データの前記二つの独立に割り当て可能な部分は:
前記所望される再構成設定への遷移を開始する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を完了する時点を示すタイムスタンプ;
前記所望される再構成設定への遷移を開始する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を開始する時点から前記所望される再構成設定に達するための継続時間を示す補間継続時間パラメータ;または
前記所望される再構成設定への遷移を完了する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を開始する時点から前記所望される再構成設定に達するための継続時間を示す補間継続時間パラメータである、
方法、エンコーダ、デコーダまたは装置。
〔態様24〕
態様2ないし8、11ないし16、18および22ないし23のうちいずれか一項記載の方法であって:
各クラスター・メタデータ・インスタンスについての前記遷移データの前記二つの独立に割り当て可能な部分は:
前記所望されるレンダリング設定への遷移を開始する時点を示すタイムスタンプと、前記所望されるレンダリング設定への遷移を完了する時点を示すタイムスタンプ;
前記所望されるレンダリング設定への遷移を開始する時点を示すタイムスタンプと、前記所望されるレンダリング設定への遷移を開始する時点から前記所望されるレンダリング設定に達するための継続時間を示す補間継続時間パラメータ;または
前記所望されるレンダリング設定への遷移を完了する時点を示すタイムスタンプと、前記所望されるレンダリング設定への遷移を開始する時点から前記所望されるレンダリング設定に達するための継続時間を示す補間継続時間パラメータである、
方法。
〔態様25〕
態様7ないし8、16、18および22ないし24のうちいずれか一項記載の方法であって、各ダウンミックス・メタデータ・インスタンスについての前記遷移データの前記二つの独立に割り当て可能な部分は:
前記所望されるダウンミックス・レンダリング設定への遷移を開始する時点を示すタイムスタンプと、前記所望されるダウンミックス・レンダリング設定への遷移を完了する時点を示すタイムスタンプ;
前記所望されるダウンミックス・レンダリング設定への遷移を開始する時点を示すタイムスタンプと、前記所望されるダウンミックス・レンダリング設定への遷移を開始する時点から前記所望されるダウンミックス・レンダリング設定に達するための継続時間を示す補間継続時間パラメータ;または
前記所望されるダウンミックス・レンダリング設定への遷移を完了する時点を示すタイムスタンプと、前記所望されるダウンミックス・レンダリング設定への遷移を開始する時点から前記所望されるダウンミックス・レンダリング設定に達するための継続時間を示す補間継続時間パラメータである、
方法。
〔態様26〕
態様1ないし8、10ないし16、18ないし20および22ないし25のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を含むコンピュータ・プログラム・プロダクト。
Claims (29)
- オーディオ・オブジェクトをデータ・ストリームとしてエンコードする方法であって:
N>1であるとして、N個のオーディオ・オブジェクトを受領する段階と;
M≦Nであるとして、前記N個のオーディオ・オブジェクトの組み合わせを形成することによって、M個のダウンミックス信号を計算する段階と;
前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む時間可変のサイド情報を計算する段階と;
前記M個のダウンミックス信号および前記サイド情報を、デコーダに伝送するためのデータ・ストリームに含める段階とを含み、
本方法はさらに、前記データ・ストリーム中に:
前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成するためのそれぞれの所望される再構成設定を指定する複数のサイド情報インスタンスと;
各サイド情報インスタンスについての、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データとを含めることを含む、
方法。 - 第一の複数のオーディオ・オブジェクトを第二の複数のオーディオ・オブジェクトに減らすためのクラスタリング手順をさらに含み、前記N個のオーディオ・オブジェクトは、前記第一の複数のオーディオ・オブジェクトまたは前記第二の複数のオーディオ・オブジェクトをなし、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトは前記第二の複数のオーディオ・オブジェクトに一致し、前記クラスタリング手順は:
前記第二の複数のオーディオ・オブジェクトについての空間位置を含む時間可変なクラスター・メタデータを計算する段階と;
前記データ・ストリーム中に:
第二の組のオーディオ・オブジェクトをレンダリングするためのそれぞれの所望されるレンダリング設定を指定する複数のクラスター・メタデータ・インスタンスと;
各クラスター・メタデータ・インスタンスについての、現在のレンダリング設定から、そのクラスター・メタデータ・インスタンスによって指定される所望されるレンダリング設定への遷移を開始する時点およびそのクラスター・メタデータ・インスタンスによって指定される前記所望されるレンダリング設定への前記遷移を完了する時点を、組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データとを含める段階とを含む、
請求項1記載の方法。 - 前記クラスタリング手順はさらに:
前記第一の複数のオーディオ・オブジェクトおよびそれらの関連付けられた空間位置を受領する段階と;
前記第一の複数のオーディオ・オブジェクトを、前記第一の複数のオーディオ・オブジェクトの空間的近接性に基づいて少なくとも一つのクラスターと関連付ける段階と;
前記少なくとも一つのクラスターのそれぞれを、そのクラスターに関連付けられたオーディオ・オブジェクトの組み合わせであるオーディオ・オブジェクトによって表わすことによって、前記第二の複数のオーディオ・オブジェクトを生成する段階と;
前記第二の複数のオーディオ・オブジェクトの各オーディオ・オブジェクトの空間位置を、そのオーディオ・オブジェクトが代表するクラスターに関連付けられた諸オーディオ・オブジェクトの空間位置に基づいて計算する段階とを含む、
請求項2記載の方法。 - それぞれのクラスター・メタデータ・インスタンスについて前記遷移データによって定義されるそれぞれの時点は、対応するサイド情報インスタンスについて前記遷移データによって定義されるそれぞれの時点と一致する、請求項2または3記載の方法。
- 前記N個のオーディオ・オブジェクトが前記第二の複数のオーディオ・オブジェクトをなす、請求項2ないし4のうちいずれか一項記載の方法。
- 前記N個のオーディオ・オブジェクトが前記第一の複数のオーディオ・オブジェクトをなす、請求項2ないし4のうちいずれか一項記載の方法。
- 当該方法が、
各ダウンミックス信号を、前記ダウンミックス信号をレンダリングするための時間可変な空間位置に関連付ける段階と;
前記ダウンミックス信号の前記空間位置を含むダウンミックス・メタデータを前記データ・ストリームにさらに含める段階とをさらに含み、
当該方法がさらに、前記データ・ストリームに:
前記ダウンミックス信号をレンダリングするためのそれぞれの所望されるダウンミックス・レンダリング設定を指定する複数のダウンミックス・メタデータ・インスタンスと;
各ダウンミックス・メタデータ・インスタンスについての、現在のダウンミックス・レンダリング設定から、そのダウンミックス・メタデータ・インスタンスによって指定される所望されるダウンミックス・レンダリング設定への遷移を開始する時点および前記ダウンミックス・メタデータ・インスタンスによって指定される所望されるダウンミックス・レンダリング設定への遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データとを含めることを含む、
請求項1ないし6のうちいずれか一項記載の方法。 - それぞれのダウンミックス・メタデータ・インスタンスについての前記遷移データによって定義されるそれぞれの時点は、対応するサイド情報インスタンスについての前記遷移データによって定義されるそれぞれの時点と一致する、請求項7記載の方法。
- N>1として、N個のオーディオ・オブジェクトをデータ・ストリームとしてエンコードするエンコーダであって:
M≦Nであるとして、前記N個のオーディオ・オブジェクトの組み合わせを形成することによって、M個のダウンミックス信号を計算するよう構成されているダウンミックス・コンポーネントと;
前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む時間可変のサイド情報を計算するよう構成されている解析コンポーネントと;
前記M個のダウンミックス信号および前記サイド情報を、デコーダに伝送するためのデータ・ストリームに含めるよう構成された多重化コンポーネントとを有しており、
前記多重化コンポーネントは、前記データ・ストリーム中に:
前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成するためのそれぞれの所望される再構成設定を指定する複数のサイド情報インスタンスと;
各サイド情報インスタンスについての、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データとを含めるよう構成される、
エンコーダ。 - データ・ストリームに基づいてオーディオ・オブジェクトを再構成する方法であって:
N>1およびM≦Nであるとして、N個のオーディオ・オブジェクトの組み合わせであるM個のダウンミックス信号と、前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む時間可変なサイド情報とを含むデータ・ストリームを受領する段階と;
前記M個のダウンミックス信号および前記サイド情報に基づいて、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成する段階とを含み、
前記データ・ストリームは、複数のサイド情報インスタンスを含み、前記データ・ストリームはさらに、各サイド情報インスタンスについて、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含み、
前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成する段階は:
現在の再構成設定に従って再構成を実行し;
あるサイド情報インスタンスについての前記遷移データによって定義される時点において、前記現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始し;
そのサイド情報インスタンスについての前記遷移データによって定義される時点において前記遷移を完了することを含む、
方法。 - 前記データ・ストリームはさらに、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトについての時間可変なクラスター・メタデータを含み、前記クラスター・メタデータは、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトについての空間位置を含み、前記データ・ストリームは、複数のクラスター・メタデータ・インスタンスを含み、前記データ・ストリームはさらに、各クラスター・メタデータ・インスタンスについて、現在のレンダリング設定から、そのクラスター・メタデータ・インスタンスによって指定される所望されるレンダリング設定への遷移を開始する時点およびそのクラスター・メタデータ・インスタンスによって指定される前記所望されるレンダリング設定への前記遷移を完了する時点を、組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含み、
当該方法はさらに:
前記N個のオーディオ・オブジェクトに基づいて形成された再構成された一組のオーディオ・オブジェクトを、あらかじめ定義されたチャネル配位の出力チャネルにレンダリングするために前記クラスター・メタデータを使うことを含み、該レンダリングは:
現在のレンダリング設定に従ってレンダリングを実行し;
あるクラスター・メタデータ・インスタンスについての前記遷移データによって定義される時点において、前記現在のレンダリング設定から、そのクラスター・メタデータ・インスタンスによって指定される所望されるレンダリング設定への遷移を開始し;
そのクラスター・メタデータ・インスタンスについての前記遷移データによって定義される時点において前記所望されるレンダリング設定への前記遷移を完了することを含む、
請求項10記載の方法。 - それぞれのクラスター・メタデータ・インスタンスについての遷移データによって定義されるそれぞれの時点は、対応するサイド情報インスタンスについて前記遷移データによって定義されるそれぞれの時点と一致する、請求項11記載の方法。
- 当該方法はさらに:
前記再構成および前記レンダリングの少なくとも一部を、それぞれ現在の再構成設定および現在のレンダリング設定に関連する再構成行列およびレンダリング行列の行列積として形成される第一の行列に対応する組み合わされた動作として実行し;
あるサイド情報インスタンスおよびあるクラスター・メタデータ・インスタンスについての前記遷移データによって定義される時点において、前記現在の再構成およびレンダリング設定から、それぞれそのサイド情報インスタンスおよびそのクラスター・メタデータ・インスタンスによって指定される所望される再構成およびレンダリング設定への組み合わされた遷移を開始し;
そのサイド情報インスタンスおよびそのクラスター・メタデータ・インスタンスについての前記遷移データによって定義される時点において前記組み合わされた遷移を完了することを含み、前記組み合わされた遷移は、前記第一の行列の行列要素と、それぞれ前記所望される再構成設定および前記所望されるレンダリング設定に関連する再構成行列およびレンダリング行列の行列積として形成される第二の行列の行列要素との間を補間することを含む、
請求項12記載の方法。 - 前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトは、前記N個のオーディオ・オブジェクトと一致する、請求項10ないし13のうちいずれか一項記載の方法。
- 前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトは、前記N個のオーディオ・オブジェクトの組み合わせである、N個より少ない複数のオーディオ・オブジェクトを含む、請求項10ないし13のうちいずれか一項記載の方法。
- デコーダにおいて実行される請求項10ないし15のうちいずれか一項記載の方法であって、前記データ・ストリームはさらに、前記M個のダウンミックス信号に関連付けられた時間可変な空間位置を含む前記M個のダウンミックス信号についてのダウンミックス・メタデータを含み、前記データ・ストリームはさらに、複数のダウンミックス・メタデータ・インスタンスを含み、前記データ・ストリームはさらに、各ダウンミックス・メタデータ・インスタンスについて、現在のダウンミックス・レンダリング設定から、そのダウンミックス・メタデータ・インスタンスによって指定される所望されるダウンミックス・レンダリング設定への遷移を開始する時点およびそのダウンミックス・メタデータ・インスタンスによって指定される前記所望されるダウンミックス・レンダリング設定への前記遷移を完了する時点を、組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含み、
当該方法はさらに:
前記デコーダがオーディオ・オブジェクト再構成をサポートするよう動作可能である場合、再構成する段階を、前記M個のダウンミックス信号および前記サイド情報、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトに基づいて実行し;
前記デコーダがオーディオ・オブジェクト再構成をサポートするよう動作可能でない場合、前記ダウンミックス・メタデータおよび前記M個のダウンミックス信号を前記M個のダウンミックス信号のレンダリングのために出力することを含む、
方法。 - データ・ストリームに基づいてオーディオ・オブジェクトを再構成するデコーダであって:
N>1およびM≦Nであるとして、N個のオーディオ・オブジェクトの組み合わせであるM個のダウンミックス信号と、前記M個のダウンミックス信号からの、前記N個のオーディオ・オブジェクトに基づいて形成された一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む時間可変なサイド情報とを含むデータ・ストリームを受領するよう構成されている受領コンポーネントと;
前記M個のダウンミックス信号および前記サイド情報に基づいて、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成するよう構成されている再構成コンポーネントとを有し、
前記データ・ストリームは、複数のサイド情報インスタンスを含み、前記データ・ストリームはさらに、各サイド情報インスタンスについて、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含み、
前記再構成コンポーネントは、前記N個のオーディオ・オブジェクトに基づいて形成された前記一組のオーディオ・オブジェクトを再構成することを、少なくとも:
現在の再構成設定に従って再構成を実行し;
あるサイド情報インスタンスについての前記遷移データによって定義される時点において、前記現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始し;
そのサイド情報インスタンスについての前記遷移データによって定義される時点において前記遷移を完了することによって行なうよう構成されている、
デコーダ。 - 請求項1ないし8のうちいずれか一項記載の方法であって、さらに:
一つまたは複数の追加的なサイド情報インスタンスであって、該一つまたは複数の追加的なサイド情報インスタンスの直前または直後のサイド情報インスタンスと実質的に同じ再構成設定を指定するものを生成する段階を含む、
方法。 - データ・ストリーム中でM個のオーディオ信号と一緒にエンコードされたサイド情報をトランスコードする方法であって:
データ・ストリームを受領する段階と;
前記データ・ストリームから、M≧1として、M個のオーディオ信号と、前記M個のオーディオ信号からの、一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む、関連する時間可変なサイド情報とを抽出する段階であって、抽出されたサイド情報は:
前記オーディオ・オブジェクトを再構成するためのそれぞれの所望される再構成設定を指定する複数のサイド情報インスタンス;および
各サイド情報インスタンスについて、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含む、段階と;
一つまたは複数の追加的なサイド情報インスタンスであって、該一つまたは複数の追加的なサイド情報インスタンスの直前または直後のサイド情報インスタンスと実質的に同じ再構成設定を指定する追加的なサイド情報インスタンスを生成する段階と;
前記M個のオーディオ信号および前記サイド情報をデータ・ストリームに含める段階とを含む、
方法。 - 前記M個のオーディオ信号は、第一のフレーム・レートに従って、受領されたデータ・ストリーム中で符号化されており、当該方法はさらに:
前記M個のオーディオ信号を処理して、前記M個のダウンミックス信号が符号化されているフレーム・レートを前記第一のフレーム・レートとは異なる第二のフレーム・レートに変える段階と;
少なくとも、前記一つまたは複数の追加的なサイド情報インスタンスを生成することによって、前記第二のフレーム・レートに一致するよう、前記サイド情報を再サンプリングする段階とを含む、
請求項19記載の方法。 - データ・ストリームにおいてM個のオーディオ信号と一緒にエンコードされたサイド情報をトランスコードする装置であって:
データ・ストリームを受領し、前記データ・ストリームから、M≧1として、M個のオーディオ信号と、前記M個のオーディオ信号からの、一組のオーディオ・オブジェクトの再構成を許容するパラメータを含む、関連する時間可変なサイド情報とを抽出するよう構成された受領コンポーネントを有しており、抽出されるサイド情報は:
前記オーディオ・オブジェクトを再構成するためのそれぞれの所望される再構成設定を指定する複数のサイド情報インスタンス;および
各サイド情報インスタンスについて、現在の再構成設定から、そのサイド情報インスタンスによって指定される所望される再構成設定への遷移を開始する時点および該遷移を完了する時点を組み合わさって定義する、二つの独立に割り当て可能な部分を含む遷移データを含み、
当該装置はさらに:
一つまたは複数の追加的なサイド情報インスタンスであって、該一つまたは複数の追加的なサイド情報インスタンスの直前または直後のサイド情報インスタンスと実質的に同じ再構成設定を指定する追加的なサイド情報インスタンスを生成するよう構成されている再サンプリング・コンポーネントと;
前記M個のオーディオ信号および前記サイド情報をデータ・ストリームに含めるよう構成されている多重化コンポーネントとを有する、
装置。 - 請求項1ないし8のうちいずれか一項記載の方法であって、さらに:
第一のサイド情報インスタンスによって指定される第一の所望される再構成設定と、前記第一のサイド情報インスタンスの直後の一つまたは複数のサイド情報インスタンスによって指定される一つまたは複数の所望される再構成設定との間の差を計算し;
計算された差があらかじめ定義された閾値より低いことに応答して前記一つまたは複数のサイド情報インスタンスを除去することを含む、
方法。 - 請求項1ないし8のうちいずれか一項記載の方法であって:
各サイド情報インスタンスについての前記遷移データの前記二つの独立に割り当て可能な部分は:
前記所望される再構成設定への遷移を開始する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を完了する時点を示すタイムスタンプ;
前記所望される再構成設定への遷移を開始する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を開始する時点から前記所望される再構成設定に達するための継続時間を示す補間継続時間パラメータ;または
前記所望される再構成設定への遷移を完了する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を開始する時点から前記所望される再構成設定に達するための継続時間を示す補間継続時間パラメータである、
方法。 - 請求項2ないし8、11ないし16、18および22ないし23のうちいずれか一項記載の方法であって:
各クラスター・メタデータ・インスタンスについての前記遷移データの前記二つの独立に割り当て可能な部分は:
前記所望されるレンダリング設定への遷移を開始する時点を示すタイムスタンプと、前記所望されるレンダリング設定への遷移を完了する時点を示すタイムスタンプ;
前記所望されるレンダリング設定への遷移を開始する時点を示すタイムスタンプと、前記所望されるレンダリング設定への遷移を開始する時点から前記所望されるレンダリング設定に達するための継続時間を示す補間継続時間パラメータ;または
前記所望されるレンダリング設定への遷移を完了する時点を示すタイムスタンプと、前記所望されるレンダリング設定への遷移を開始する時点から前記所望されるレンダリング設定に達するための継続時間を示す補間継続時間パラメータである、
方法。 - 請求項7ないし8、16、18および22ないし24のうちいずれか一項記載の方法であって、各ダウンミックス・メタデータ・インスタンスについての前記遷移データの前記二つの独立に割り当て可能な部分は:
前記所望されるダウンミックス・レンダリング設定への遷移を開始する時点を示すタイムスタンプと、前記所望されるダウンミックス・レンダリング設定への遷移を完了する時点を示すタイムスタンプ;
前記所望されるダウンミックス・レンダリング設定への遷移を開始する時点を示すタイムスタンプと、前記所望されるダウンミックス・レンダリング設定への遷移を開始する時点から前記所望されるダウンミックス・レンダリング設定に達するための継続時間を示す補間継続時間パラメータ;または
前記所望されるダウンミックス・レンダリング設定への遷移を完了する時点を示すタイムスタンプと、前記所望されるダウンミックス・レンダリング設定への遷移を開始する時点から前記所望されるダウンミックス・レンダリング設定に達するための継続時間を示す補間継続時間パラメータである、
方法。 - コンピュータに請求項1ないし8のうちいずれか一項記載の方法を実行させるためのコンピュータ・プログラム。
- 請求項9記載のエンコーダであって:
各サイド情報インスタンスについての前記遷移データの前記二つの独立に割り当て可能な部分は:
前記所望される再構成設定への遷移を開始する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を完了する時点を示すタイムスタンプ;
前記所望される再構成設定への遷移を開始する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を開始する時点から前記所望される再構成設定に達するための継続時間を示す補間継続時間パラメータ;または
前記所望される再構成設定への遷移を完了する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を開始する時点から前記所望される再構成設定に達するための継続時間を示す補間継続時間パラメータである、
エンコーダ。 - 請求項17記載のデコーダであって:
各サイド情報インスタンスについての前記遷移データの前記二つの独立に割り当て可能な部分は:
前記所望される再構成設定への遷移を開始する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を完了する時点を示すタイムスタンプ;
前記所望される再構成設定への遷移を開始する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を開始する時点から前記所望される再構成設定に達するための継続時間を示す補間継続時間パラメータ;または
前記所望される再構成設定への遷移を完了する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を開始する時点から前記所望される再構成設定に達するための継続時間を示す補間継続時間パラメータである、
デコーダ。 - 請求項21記載の装置であって:
各サイド情報インスタンスについての前記遷移データの前記二つの独立に割り当て可能な部分は:
前記所望される再構成設定への遷移を開始する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を完了する時点を示すタイムスタンプ;
前記所望される再構成設定への遷移を開始する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を開始する時点から前記所望される再構成設定に達するための継続時間を示す補間継続時間パラメータ;または
前記所望される再構成設定への遷移を完了する時点を示すタイムスタンプと、前記所望される再構成設定への遷移を開始する時点から前記所望される再構成設定に達するための継続時間を示す補間継続時間パラメータである、
装置。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361827246P | 2013-05-24 | 2013-05-24 | |
US61/827,246 | 2013-05-24 | ||
US201361893770P | 2013-10-21 | 2013-10-21 | |
US61/893,770 | 2013-10-21 | ||
US201461973625P | 2014-04-01 | 2014-04-01 | |
US61/973,625 | 2014-04-01 | ||
PCT/EP2014/060734 WO2014187991A1 (en) | 2013-05-24 | 2014-05-23 | Efficient coding of audio scenes comprising audio objects |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017152964A Division JP6538128B2 (ja) | 2013-05-24 | 2017-08-08 | オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016525699A JP2016525699A (ja) | 2016-08-25 |
JP6192813B2 true JP6192813B2 (ja) | 2017-09-06 |
Family
ID=50819736
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016513406A Active JP6192813B2 (ja) | 2013-05-24 | 2014-05-23 | オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化 |
JP2017152964A Active JP6538128B2 (ja) | 2013-05-24 | 2017-08-08 | オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017152964A Active JP6538128B2 (ja) | 2013-05-24 | 2017-08-08 | オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化 |
Country Status (10)
Country | Link |
---|---|
US (3) | US9852735B2 (ja) |
EP (3) | EP3712889A1 (ja) |
JP (2) | JP6192813B2 (ja) |
KR (2) | KR102033304B1 (ja) |
CN (4) | CN105229733B (ja) |
BR (1) | BR112015029113B1 (ja) |
ES (1) | ES2643789T3 (ja) |
HK (2) | HK1214027A1 (ja) |
RU (2) | RU2634422C2 (ja) |
WO (1) | WO2014187991A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3712889A1 (en) * | 2013-05-24 | 2020-09-23 | Dolby International AB | Efficient coding of audio scenes comprising audio objects |
EP3020042B1 (en) * | 2013-07-08 | 2018-03-21 | Dolby Laboratories Licensing Corporation | Processing of time-varying metadata for lossless resampling |
EP2879131A1 (en) * | 2013-11-27 | 2015-06-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder, encoder and method for informed loudness estimation in object-based audio coding systems |
CN105895086B (zh) | 2014-12-11 | 2021-01-12 | 杜比实验室特许公司 | 元数据保留的音频对象聚类 |
TWI607655B (zh) | 2015-06-19 | 2017-12-01 | Sony Corp | Coding apparatus and method, decoding apparatus and method, and program |
JP6355207B2 (ja) * | 2015-07-22 | 2018-07-11 | 日本電信電話株式会社 | 伝送システム、符号化装置、復号装置、それらの方法及びプログラム |
US10278000B2 (en) | 2015-12-14 | 2019-04-30 | Dolby Laboratories Licensing Corporation | Audio object clustering with single channel quality preservation |
CN108702582B (zh) | 2016-01-29 | 2020-11-06 | 杜比实验室特许公司 | 用于双耳对话增强的方法和装置 |
CN106411795B (zh) * | 2016-10-31 | 2019-07-16 | 哈尔滨工业大学 | 一种非重构框架下的信号估计方法 |
WO2018162472A1 (en) | 2017-03-06 | 2018-09-13 | Dolby International Ab | Integrated reconstruction and rendering of audio signals |
CN113242508B (zh) * | 2017-03-06 | 2022-12-06 | 杜比国际公司 | 基于音频数据流渲染音频输出的方法、解码器系统和介质 |
GB2567172A (en) | 2017-10-04 | 2019-04-10 | Nokia Technologies Oy | Grouping and transport of audio objects |
EP3693961B1 (en) * | 2017-10-05 | 2024-06-12 | Sony Group Corporation | Encoding device and method, decoding device and method, and program |
GB2578715A (en) * | 2018-07-20 | 2020-05-27 | Nokia Technologies Oy | Controlling audio focus for spatial audio processing |
JP7468359B2 (ja) * | 2018-11-20 | 2024-04-16 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
CN114424586A (zh) * | 2019-09-17 | 2022-04-29 | 诺基亚技术有限公司 | 空间音频参数编码和相关联的解码 |
GB2590650A (en) * | 2019-12-23 | 2021-07-07 | Nokia Technologies Oy | The merging of spatial audio parameters |
KR20230001135A (ko) * | 2021-06-28 | 2023-01-04 | 네이버 주식회사 | 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법 |
Family Cites Families (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6611212B1 (en) * | 1999-04-07 | 2003-08-26 | Dolby Laboratories Licensing Corp. | Matrix improvements to lossless encoding and decoding |
US6351733B1 (en) * | 2000-03-02 | 2002-02-26 | Hearing Enhancement Company, Llc | Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process |
US7567675B2 (en) | 2002-06-21 | 2009-07-28 | Audyssey Laboratories, Inc. | System and method for automatic multiple listener room acoustic correction with low filter orders |
DE10344638A1 (de) * | 2003-08-04 | 2005-03-10 | Fraunhofer Ges Forschung | Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene |
FR2862799B1 (fr) * | 2003-11-26 | 2006-02-24 | Inst Nat Rech Inf Automat | Dispositif et methode perfectionnes de spatialisation du son |
US7394903B2 (en) | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
CN101552007B (zh) * | 2004-03-01 | 2013-06-05 | 杜比实验室特许公司 | 用于对编码音频信道和空间参数进行解码的方法和设备 |
US7813513B2 (en) * | 2004-04-05 | 2010-10-12 | Koninklijke Philips Electronics N.V. | Multi-channel encoder |
GB2415639B (en) | 2004-06-29 | 2008-09-17 | Sony Comp Entertainment Europe | Control of data processing |
SE0402651D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods for interpolation and parameter signalling |
JP4809370B2 (ja) * | 2005-02-23 | 2011-11-09 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | マルチチャネル音声符号化における適応ビット割り当て |
JP4610650B2 (ja) | 2005-03-30 | 2011-01-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 多チャンネルオーディオ符号化 |
CN101258538B (zh) * | 2005-05-26 | 2013-06-12 | Lg电子株式会社 | 将音频信号编解码的方法 |
CN101292284B (zh) * | 2005-10-20 | 2012-10-10 | Lg电子株式会社 | 编码解码多声道音频信号的方法及其装置 |
JP5536335B2 (ja) * | 2005-10-20 | 2014-07-02 | エルジー エレクトロニクス インコーポレイティド | マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置 |
US7965848B2 (en) * | 2006-03-29 | 2011-06-21 | Dolby International Ab | Reduced number of channels decoding |
CN101484936B (zh) * | 2006-03-29 | 2012-02-15 | 皇家飞利浦电子股份有限公司 | 音频解码 |
US8379868B2 (en) | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
MY151722A (en) * | 2006-07-07 | 2014-06-30 | Fraunhofer Ges Forschung | Concept for combining multiple parametrically coded audio sources |
US8271290B2 (en) * | 2006-09-18 | 2012-09-18 | Koninklijke Philips Electronics N.V. | Encoding and decoding of audio objects |
RU2551797C2 (ru) * | 2006-09-29 | 2015-05-27 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов |
RU2009116279A (ru) | 2006-09-29 | 2010-11-10 | ЭлДжи ЭЛЕКТРОНИКС ИНК. (KR) | Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов |
ES2399562T3 (es) | 2006-10-13 | 2013-04-02 | Auro Technologies | Método y codificador para combinar conjuntos de datos digitales, método para descodificar y descodificador para tales conjuntos de datos digitales combinados y soporte de grabación para almacenar tales conjuntos de datos digitales combinados |
CA2874451C (en) * | 2006-10-16 | 2016-09-06 | Dolby International Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
CN101529504B (zh) | 2006-10-16 | 2012-08-22 | 弗劳恩霍夫应用研究促进协会 | 多通道参数转换的装置和方法 |
EP2095365A4 (en) | 2006-11-24 | 2009-11-18 | Lg Electronics Inc | METHOD FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS AND APPARATUS THEREOF |
US8290167B2 (en) | 2007-03-21 | 2012-10-16 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and apparatus for conversion between multi-channel audio formats |
ES2452348T3 (es) * | 2007-04-26 | 2014-04-01 | Dolby International Ab | Aparato y procedimiento para sintetizar una señal de salida |
EP2082396A1 (en) | 2007-10-17 | 2009-07-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding using downmix |
WO2009084914A1 (en) | 2008-01-01 | 2009-07-09 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
KR101461685B1 (ko) * | 2008-03-31 | 2014-11-19 | 한국전자통신연구원 | 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치 |
US8060042B2 (en) * | 2008-05-23 | 2011-11-15 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
EP2146522A1 (en) * | 2008-07-17 | 2010-01-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating audio output signals using object based metadata |
BRPI0905069A2 (pt) | 2008-07-29 | 2015-06-30 | Panasonic Corp | Aparelho de codificação de áudio, aparelho de decodificação de áudio, aparelho de codificação e de descodificação de áudio e sistema de teleconferência |
EP2175670A1 (en) * | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
WO2010041877A2 (en) * | 2008-10-08 | 2010-04-15 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
MX2011011399A (es) * | 2008-10-17 | 2012-06-27 | Univ Friedrich Alexander Er | Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto. |
EP2214161A1 (en) * | 2009-01-28 | 2010-08-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for upmixing a downmix audio signal |
JP5163545B2 (ja) * | 2009-03-05 | 2013-03-13 | 富士通株式会社 | オーディオ復号装置及びオーディオ復号方法 |
KR101283783B1 (ko) * | 2009-06-23 | 2013-07-08 | 한국전자통신연구원 | 고품질 다채널 오디오 부호화 및 복호화 장치 |
US20100324915A1 (en) * | 2009-06-23 | 2010-12-23 | Electronic And Telecommunications Research Institute | Encoding and decoding apparatuses for high quality multi-channel audio codec |
EP2446435B1 (en) * | 2009-06-24 | 2013-06-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages |
WO2011013381A1 (ja) | 2009-07-31 | 2011-02-03 | パナソニック株式会社 | 符号化装置および復号装置 |
JP5635097B2 (ja) | 2009-08-14 | 2014-12-03 | ディーティーエス・エルエルシーDts Llc | オーディオオブジェクトを適応的にストリーミングするためのシステム |
BR112012007138B1 (pt) * | 2009-09-29 | 2021-11-30 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Decodificador de sinal de áudio, codificador de sinal de áudio, método para prover uma representação de mescla ascendente de sinal, método para prover uma representação de mescla descendente de sinal e fluxo de bits usando um valor de parâmetro comum de correlação intra- objetos |
US9432790B2 (en) | 2009-10-05 | 2016-08-30 | Microsoft Technology Licensing, Llc | Real-time sound propagation for dynamic sources |
CN102754159B (zh) * | 2009-10-19 | 2016-08-24 | 杜比国际公司 | 指示音频对象的部分的元数据时间标记信息 |
KR101418661B1 (ko) | 2009-10-20 | 2014-07-14 | 돌비 인터네셔널 에이비 | 다운믹스 시그널 표현에 기초한 업믹스 시그널 표현을 제공하기 위한 장치, 멀티채널 오디오 시그널을 표현하는 비트스트림을 제공하기 위한 장치, 왜곡 제어 시그널링을 이용하는 방법들, 컴퓨터 프로그램 및 비트 스트림 |
MY154641A (en) | 2009-11-20 | 2015-07-15 | Fraunhofer Ges Forschung | Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear cimbination parameter |
TWI444989B (zh) * | 2010-01-22 | 2014-07-11 | Dolby Lab Licensing Corp | 針對改良多通道上混使用多通道解相關之技術 |
RU2559899C2 (ru) | 2010-04-09 | 2015-08-20 | Долби Интернешнл Аб | Стереофоническое кодирование на основе mdct с комплексным предсказанием |
GB2485979A (en) | 2010-11-26 | 2012-06-06 | Univ Surrey | Spatial audio coding |
JP2012151663A (ja) | 2011-01-19 | 2012-08-09 | Toshiba Corp | 立体音響生成装置及び立体音響生成方法 |
US9026450B2 (en) | 2011-03-09 | 2015-05-05 | Dts Llc | System for dynamically creating and rendering audio objects |
EP2829083B1 (en) | 2012-03-23 | 2016-08-10 | Dolby Laboratories Licensing Corporation | System and method of speaker cluster design and rendering |
US9479886B2 (en) | 2012-07-20 | 2016-10-25 | Qualcomm Incorporated | Scalable downmix design with feedback for object-based surround codec |
US9761229B2 (en) * | 2012-07-20 | 2017-09-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for audio object clustering |
EP2883366B8 (en) | 2012-08-07 | 2016-12-14 | Dolby Laboratories Licensing Corporation | Encoding and rendering of object based audio indicative of game audio content |
EP2717265A1 (en) * | 2012-10-05 | 2014-04-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoder, decoder and methods for backward compatible dynamic adaption of time/frequency resolution in spatial-audio-object-coding |
US9805725B2 (en) | 2012-12-21 | 2017-10-31 | Dolby Laboratories Licensing Corporation | Object clustering for rendering object-based audio content based on perceptual criteria |
EP4300488A3 (en) | 2013-04-05 | 2024-02-28 | Dolby International AB | Stereo audio encoder and decoder |
KR101895198B1 (ko) | 2013-05-24 | 2018-09-07 | 돌비 인터네셔널 에이비 | 오디오 인코더 및 디코더 |
US9666198B2 (en) | 2013-05-24 | 2017-05-30 | Dolby International Ab | Reconstruction of audio scenes from a downmix |
CN117012210A (zh) | 2013-05-24 | 2023-11-07 | 杜比国际公司 | 对音频场景进行解码的方法、装置及计算机可读介质 |
EP3712889A1 (en) * | 2013-05-24 | 2020-09-23 | Dolby International AB | Efficient coding of audio scenes comprising audio objects |
-
2014
- 2014-05-23 EP EP20170055.6A patent/EP3712889A1/en active Pending
- 2014-05-23 CN CN201480029569.9A patent/CN105229733B/zh active Active
- 2014-05-23 CN CN201910056238.9A patent/CN110085240B/zh active Active
- 2014-05-23 ES ES14726358.6T patent/ES2643789T3/es active Active
- 2014-05-23 US US14/893,512 patent/US9852735B2/en active Active
- 2014-05-23 RU RU2015150078A patent/RU2634422C2/ru active
- 2014-05-23 EP EP14726358.6A patent/EP3005353B1/en active Active
- 2014-05-23 CN CN201910017541.8A patent/CN109410964B/zh active Active
- 2014-05-23 EP EP17186277.4A patent/EP3312835B1/en active Active
- 2014-05-23 KR KR1020177016964A patent/KR102033304B1/ko active IP Right Grant
- 2014-05-23 JP JP2016513406A patent/JP6192813B2/ja active Active
- 2014-05-23 WO PCT/EP2014/060734 patent/WO2014187991A1/en active Application Filing
- 2014-05-23 KR KR1020157033368A patent/KR101751228B1/ko active IP Right Grant
- 2014-05-23 RU RU2017134913A patent/RU2745832C2/ru active
- 2014-05-23 BR BR112015029113-9A patent/BR112015029113B1/pt active IP Right Grant
- 2014-05-23 CN CN201910055563.3A patent/CN109712630B/zh active Active
-
2016
- 2016-02-18 HK HK16101751.9A patent/HK1214027A1/zh unknown
-
2017
- 2017-08-08 JP JP2017152964A patent/JP6538128B2/ja active Active
- 2017-11-22 US US15/821,000 patent/US11270709B2/en active Active
-
2018
- 2018-05-09 HK HK18105983.8A patent/HK1246959A1/zh unknown
-
2022
- 2022-03-07 US US17/687,956 patent/US11705139B2/en active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6538128B2 (ja) | オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化 | |
JP6190947B2 (ja) | オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化 | |
EP3127109B1 (en) | Efficient coding of audio scenes comprising audio objects | |
JP7413418B2 (ja) | 信号をインタリーブするためのオーディオ復号器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6192813 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |