JP6096789B2 - オーディオオブジェクトのエンコーディング及びデコーディング - Google Patents

オーディオオブジェクトのエンコーディング及びデコーディング Download PDF

Info

Publication number
JP6096789B2
JP6096789B2 JP2014539442A JP2014539442A JP6096789B2 JP 6096789 B2 JP6096789 B2 JP 6096789B2 JP 2014539442 A JP2014539442 A JP 2014539442A JP 2014539442 A JP2014539442 A JP 2014539442A JP 6096789 B2 JP6096789 B2 JP 6096789B2
Authority
JP
Japan
Prior art keywords
audio
channels
audio channels
objects
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014539442A
Other languages
English (en)
Other versions
JP2014532901A (ja
Inventor
ヘラルデュス ヘンリキュス コッペンス,イェルーン
ヘラルデュス ヘンリキュス コッペンス,イェルーン
ウェルネル ヨーハネス オーメン,アルノルデュス
ウェルネル ヨーハネス オーメン,アルノルデュス
デ ケルクホフ,レオン マリア ファン
デ ケルクホフ,レオン マリア ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2014532901A publication Critical patent/JP2014532901A/ja
Application granted granted Critical
Publication of JP6096789B2 publication Critical patent/JP6096789B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Description

本発明は、オーディオオブジェクトのエンコーディング及びデコーディングに関し、特に、それだけに限られないが、MPEG SAOC(Spatial Audio Object Coding)標準に従うオーディオオブジェクトのエンコーディング及びデコーディングに関する。
マルチチャネルオーディオは広く知られており、ホームシネマ及びマルチチャネル音楽システムを含む多種多様な用途で普及している。オーディオエンコーディングはしばしば、オーディオ信号の有効なデータ表現を提供するデータストリームを生成するために使用される。そのようなオーディオエンコーディングは、オーディオ信号の有効な記憶及び分配を可能にする。多種多様なオーディオエンコーディング標準は、従来のモノ及びステレオ両方のオーディオ信号のエンコーディング及びデコーディングのために、更に、マルチチャネルオーディオ信号のエンコーディング及びデコーディングのために整備されてきた。語マルチチャネルは以降、2よりも多いチャネルを指すために使用される。専用のオーディオ標準の使用は、多くの異なるシステム、デバイス及びアプリケーションの間の相互作用及び互換性を可能にし、従って、有効な標準が順守されることが重要である。しかし、新しい標準が整備されるか、又は既存の標準が変更される場合に、有意な問題が現れる。特に、標準の変更は、実行するために時間がかかり且つ煩雑であることがあるのみならず、既存の設備が新しい、すなわち実際には、既存の標準に適さないことも生じさせることがある。新しい標準又は標準の変更の導入を容易にするために、それらは既存の標準に対して可能な限り少ない変更を求めることが望ましい。幾つかの場合に、既存の標準と十分に互換性がある変更を行うことが更に可能である。すなわち、変更は、既存の標準仕様への如何なる変更も伴わずに適用され得る。これの例は、ビットストリーム・ウォータマーキングである。ビットストリーム・ウォータマーキングにおいて、特定のビットストリーム要素は、ビットストリームが依然として標準仕様に従ってデコーディングされ得るような互換性のある様式で変更される。たとえ出力が変更されるとしても、品質の違いは概して可聴でない。
MPEGサラウンドは、マルチチャネルオーディオコーディングにおける主要な進歩の1つであり、近年、ISO/IEC23003−1におけるモーション・ピクチャ・エキスパーツ・グループ(Motion Picture Experts Group)によって標準化された。MPEGサラウンドは、既存のモノ又はステレオベースのサービスがマルチチャネルアプリケーションへ拡張されること可能にするマルチチャネルオーディオコーディングツールである。図1は、MPEGサラウンドにより拡張されたステレオコアコーダのブロック図を示す。最初に、MPEGサラウンドエンコーダは、マルチチャネル入力信号からステレオダウンミックスを生成する。次に、空間パラメータが、マルチチャネル入力信号から推定される。それらのパラメータは、MPEGサラウンドビットストリームにエンコーディングされる。ステレオダウンミックスはコアエンコーダ、例えば、HE−AACを用いてビットストリームに符号化される。結果として得られるコアコーダビットストリームと、空間ビットストリームとは、総体的なビットストリームを生成するためにマージされる。通常、空間ビットストリームは、コアコーダビットストリームの補助データ又はユーザデータ部分に含まれる。デコーダ側で、コア及び空間ビットストリームは分離される。ステレオコアビットストリームは、ステレオダウンミックスを再現するためにデコーディングされる。このダウンミックスは、空間ビットストリームと共に、MPEGサラウンドデコーダへ入力される。空間ビットストリームは、空間パラメータを供給するためにデコーディングされる。次いで、空間パラメータは、マルチチャネル出力信号を得るためにステレオダウンミックスをアップミキシングするよう使用される。
マルチチャネル入力信号の空間画像はパラメータ化されるので、MPEGサラウンドは、マルチチャネルスピーカセットアップ以外の他のレンダリング装置上への同じマルチチャネルビットストリームのデコーディングを可能にする。一例は、ヘッドホンにおける仮想サラウンド再現である。これは、MPEGサラウンド両耳性デコーディング処理と呼ばれる。このモードにおいて、現実のサラウンド経験は通例のヘッドホンを用いて提供され得る。図2は、出力が両耳性へデコーディングされるMPEGサラウンドにより拡張されたステレオコアコーデックのブロック図を示す。エンコーダ処理は図1のそれと同じである。システムにおいて、空間パラメータは頭部伝達関数(HRTF;Head Related Transfer Function)と結合され、結果は所謂両耳性出力を生成するために使用される。
MPEGサラウンドの概念を踏まえると、MPEGは、個々のオーディオオブジェクトのエンコーディングのためのシステム標準化した。この標準は、‘空間オーディオオブジェクト符号化(Spatial Audio Object Coding)’(MPEG−D SAOC)ISO/IEC23003−2として知られている。高度な観点から、SAOCは、各音響オブジェクトが通常音響画像における単一の音源に対応し得るオーディオチャネルに代えて、音響オブジェクトを効率的にエンコーディングする。MPEGサラウンドでは、各スピーカチャネルは、音響オブジェクトの種々の混合によって生じると考えられ得、一方、SAOCでは、データは、個々の音響オブジェクトについて提供される。MPEGサラウンドと同様に、モノ又はステレオダウンミックスはSAOCでも生成される。具体的に、SAOCはまた、HE−AACのような標準のダウンミックスコーダを用いて符号化されるモノ又はステレオダウンミックスを生成する。このように、従来の再生装置は、パラメトリックデータを無視し、モノ又はステレオダウンミックスを再生し、一方、SAOCデコーダは、原の音響オブジェクトを取り出すよう、又はそれらが所望の出力構成においてレンダリングされることを可能にするよう、信号をアップミキシングすることができる。オブジェクト及びダウンミックスパラメータは、相対レベルを提供し且つ個々のSAOCオブジェクトについての情報を得るよう、ダウンミックス符号化されたビットストリームの補助データ部分において埋め込まれて、それらのダウンミックスをステレオ/モノダウンミックスに反映させる。デコーダ側で、ユーザは、個々のオブジェクトの様々な特徴(例えば、空間位置、アプリケーション及びイコライゼーション)を、それらのパラメータを操作することで制御することができ、あるいは、ユーザは、リバーブのような効果を個々のオブジェクトに適用することができる。
図3は、通例のSAOCエンコーディングについてのブロック図を示す。SAOCエンコーダは、従来のモノ又はステレオエンコーダの前に置かれた前処理モジュールであると見なされ得る。前処理モジュールは、多数のN個のオブジェクト信号からステレオ(又はモノ)ダウンミックスを生成することから成る。加えて、オブジェクトパラメータが取り出され、ダウンミックスマトリクスMに関する情報と共にSAOCビットストリームに格納される。SAOCダウンミックス情報は2種類のパラメータにおいてエンコーディングされる。第1に、DMG(ダウンミックスゲイン(Downmix Gain))パラメータは、オブジェクトに適用されるゲインを示す。DCLD(ダウンミックスチャネルレベル差(Downmix Channel Level Difference))パラメータは、ステレオダウンミックスにおける2つのチャネルにわたるオブジェクトの分布を伝える。それらのパラメータいずれもオブジェクト毎に定義される。
SAOCデコーダは反対の動作を実行してよい。受信されたモノ又はステレオダウンミックスはデコーディングされ、所望の出力構成へアップミキシングされてよい。アップミックス動作は、図4で表されるように、レンダリングマトリクスに基づく所望の出力構成へのオーディオチャネルのマッピングの前にそれらのオーディオオブジェクトを生成するようモノ又はステレオダウンミックスのアップミキシングの組み合わされた動作を含む。このとき、モノ又はステレオ入力ダウンミックスは最初に、SAOCパラメータに基づきN個のオーディオオブジェクトへアップミキシングされる。結果として得られるN個のオーディオオブジェクトは次いで、どこに個々のオブジェクトが位置づけられるかを定義するレンダリングマトリクスを用いてP個の出力チャネルへダウンミキシングされる。図4は概念的SAOCデコーディングを表す。しかし、通常、アップミックスマトリクス及びレンダリングマトリクスは単一のマトリクスにまとめられ、モノ又はステレオダウンミックスからの出力チャネルの生成は単一の動作として実行される。その例が図5で示される。図5は、Pが1又は2に等しく、特にP=2について、出力が両耳性空間出力チャネルであってよい具体例を示す。よって、2つの出力チャネルが、所望の両耳性空間画像を生成するよう、個々のオブジェクトに適用されたHRTFパラメータを用いて生成される。図6は、P>2であり、MPEGサラウンド(MPS)デコーディング/処理がP個の出力チャネルを生成するために使用される例を表す。
しかし、SAOCに関連する課題は、仕様がモノダウンミックス及びステレオダウンミックスしかサポートせず、一方、マルチチャネルミックスが使用されるか又は時々必要とされる多数の用途及び使用ケース、例えば、DVD及びブルーレイがあることである。従って、SAOCがそのようなマルチチャネル用途、すなわち、マルチチャネルダウンミックスをサポートすることが望ましいが、これは、煩雑であり、実用的でなく、複雑性を増大させ、下位互換性の低下をもたらしうる、SAOC標準仕様への有意な修正を必要とする。
特に、SAOCエンコーディング及びデコーディングのために整備された既存のアルゴリズム、機能ユニット、専用のハードウェア等がマルチチャネルオーディオのための改善されたサポートを可能にしながら再利用され得る場合が、有利である。
従って、オブジェクトのエンコーディング及び/又はデコーディング(例えば、SAOCエンコーディング/デコーディング)のための改善されたアプローチが有利であり、特に、柔軟性の改善、標準化されたアプローチに対する影響の低減、下位互換性の改善又は容易化、エンコーディング及び/又はデコーディング機能の再利用の拡大、実施の容易化、オブジェクトエンコーディングにおけるマルチチャネルサポート、及び/又は性能の改善を可能にするアプローチが、有利である。
従って、本発明は、望ましくは上記の欠点の1又はそれ以上を1つずつ又は組み合わせて解消し、軽減し又は排除しようとする。
本発明の態様に従って、N個のオーディオオブジェクトを受信する受信部と、前記N個のオーディオオブジェクトをM個のオーディオチャネルへとミキシングするミキサと、K=1又は2且つK<Mとして、前記M個のオーディオチャネルからK個のオーディオチャネルを導出するチャネル回路と、前記K個のオーディオチャネルに対する前記N個のオーディオオブジェクトの夫々の少なくとも部分についてのオーディオオブジェクト・アップミックス・パラメータを生成するパラメータ回路と、前記オーディオオブジェクト・アップミックス・パラメータと前記M個のオーディオチャネルとを含む出力データストリームを生成する出力回路とを有するオーディオオブジェクトエンコーダが提供される。
本発明は、オーディオオブジェクトのエンコーディングをサポートしながらマルチチャネルレンダリングシステムの改善された性能を提供することができるオーディオエンコーディングを可能にすることができる。システムは、幾つかのシナリオにおいては、改善されたマルチチャネルレンダリングを可能にすることができ、幾つかのシナリオにおいては、改善されたオーディオオブジェクト機能を可能にすることができる。低データレートは、K個のオーディオチャネルに関連するオーディオオブジェクト・アップミックス・パラメータとM個のオーディオチャネルとを結合ことによって達成可能であり、それにより、K個のオーディオチャネルについてのエンコーディングされたデータを出力データストリームに含めることが不要となる。
本発明は、モノ及びステレオ信号のみに基づきオーディオオブジェクトのエンコーディング(及び/又はデコーディング)を提供するオーディオオブジェクトエンコーディングシステムにおける(2よりも多いチャネルによる)マルチチャネルサポートを可能にすることができる。エンコーディングは、マルチチャネル信号が関連するオーディオオブジェクトデータと共に提供される出力データストリームを生成してよい。なお、関連するオーディオオブジェクトデータは、マルチチャネル信号に対してではなくむしろ、マルチチャネル信号から導出され得るモノ又はステレオ信号に対して定義される。
本発明は、多くの用途において、既存のオーディオオブジェクトエンコーディング及び/又はデコーディング機能による改善された再利用及び/又は下位互換性を可能にすることができる。
オーディオオブジェクトは、オーディオ環境における単一音源に対応するオーディオ信号成分であってよい。具体的に、オーディオオブジェクトは、オーディオ環境におけるただ1つの位置からの音声を含んでよい。オーディオオブジェクトは関連する位置を有してよいが、如何なる特定のレンダリング音源構成とも関連付けられず、特に、如何なる特定のラウドスピーカ構成とも関連付けられなくてよい。
出力データストリームは、K個のオーディオチャネルの如何なるエンコーディングデータも含まなくてよい。幾つかの実施形態において、N個のオーディオオブジェクトのうちの1以上又は全ての全ては、K個のオーディオチャネルから生成される。
K個のオーディオチャネルの導出は各セグメントにおいて実行されてよく、具体的な導出は、例えばセグメント間で、動的に変化してよい。多くの実施形態及び/又はシナリオにおいて、MはNよりも小さい。
本発明の任意の特徴に従って、前記チャネル回路は、前記M個のオーディオチャネルをダウンミキシングすることによって前記K個のオーディオチャネルを導出するよう配置される。
これは、多くのシナリオ及び用途において、特に有利なシステムを提供してよい。特に、それは機能の再利用を可能にすることができ、効率的なオーディオオブジェクトのエンコーディング及びデコーディングを可能にすることができる。具体的に、アプローチは、生成されたダウンミックスが、やはりM個のオーディオチャネルにおいて表される全てのオーディオオブジェクトについてK個のオーディオチャネルにおける適切な成分を提供することを可能にすることができる。
幾つかの実施形態において、ダウンミキシングは、M個のオーディオチャネルの夫々がK個のオーディオチャネルのうちの少なくとも1つにおいて、幾つかの実施形態では、K個のオーディオチャネルのうちの全てにおいて表されるようにするものであってよい。
本発明の任意の特徴に従って、前記チャネル回路は、前記M個のオーディオチャネルの中からK個のチャネルのサブセットを選択することによって、前記K個のオーディオチャネルを導出するよう配置される。
これは、多くのシナリオ及び用途において、特に有利なシステムを提供してよい。特に、それは機能の再利用を可能にすることができ、効率的なオーディオオブジェクトのエンコーディング及びデコーディングを可能にすることができる。多くの実施形態において、それは、複雑性を低減し及び/又は柔軟性を高めることができる。K個のオーディオチャネルの選択は、異なるK個のオーディオチャネルが異なる時間セグメントにおいて選択されることを可能にするよう動的に変更されてよい。
本発明の任意の特徴に従って、前記出力データストリームは、前記M個のオーディオチャネルについてのマルチチャネル符号化データストリームを含み、前記オーディオオブジェクト・アップミックス・パラメータは、前記マルチチャネル符号化データストリームの部分において含まれる。
これは、多くの実施形態において、特に有利な出力データストリームを提供してよい。特に、それは、直接的にマルチチャネルオーディオを、及びモノ及び/又はステレオ信号に基づきオーディオオブジェクトエンコーディングをサポートする複合データストリームを可能にすることができ、それにより下位互換性を可能にする。よって、マルチチャネルのエンコーディングされたデータストリームが提供され、これは、マルチチャネル信号と、符号化されたマルチチャネル信号に基づくオブジェクトのデコーディングを依然として可能にするが、符号化されたマルチチャネル信号に対して提供されないオーディオオブジェクト・アップミックス・パラメータとを含む。
本発明の任意の特徴に従って、前記出力回路は、前記M個のオーディオチャネルへの前記N個のオーディオオブジェクトのミキシングを表すミキシングデータを前記出力データストリームに含めるよう配置される。
これは、多くの実施形態において、改善された性能を可能にすることができ、特に、多くの実施形態において、改善されたオーディオオブジェクトのデコーディング及び機能がデコーダで提供されることを可能にすることができる。混合データは、例えば、時間周波数領域において定義されてよい。
本発明の態様に従って、N個のオーディオオブジェクトのMチャネルミックスについてのオーディオデータと、K=1又は2且つK<Mとして、K個のオーディオチャネルに対する前記N個のオーディオチャネルについてのオーディオオブジェクト・アップミックス・パラメータとを含むデータストリームを受信する受信部と、前記Mチャネルミックスから前記K個のオーディオチャネルを導出するチャネル回路と、前記オーディオオブジェクト・アップミックス・パラメータに基づき前記K個のオーディオチャネルをアップミキシングすることによって少なくとも部分的に生成されるN個のオーディオオブジェクトからP個のオーディオ信号を生成するオブジェクトデコーダとを有するオーディオオブジェクトデコーダが提供される。
本発明は、オーディオオブジェクトのデコーディングを可能にすることができ、特に、直接的にマルチチャネルレンダリングシステムをサポートする信号に基づく効率的なオーディオオブジェクトデコーディングを可能にすることができる。オーディオオブジェクトデコーダは、K個のオーディオチャネルについて受信される如何なるオーディオエンコーディングデータにもよらずにP個のオーディオ信号を生成してよい。
本発明は、多くの用途において、既存のオーディオオブジェクトエンコーディング及び/又はデコーディング機能による改善された再利用及び/又は下位互換性を可能にすることができる。
オブジェクトデコーダは、K個のオーディオチャネルをN個のオーディオオブジェクトへアップミキシングし、次いで該N個のオーディオオブジェクトをP個のオーディオチャネルへマッピングすることによって、P個のオーディオ信号を生成するよう配置されてよい。マッピングは、レンダリングマトリクスによって表現されてよい。N個のオーディオオブジェクトへのK個のオーディオチャネルのアップミキシングと、P個の出力チャネルへのN個のオーディオオブジェクトのマッピングとは、単一の統合された動作として実行されてよい。具体的に、KtoNアップミックスマトリクスは、P個の出力信号を生成するようK個のオーディオチャネルへ直接的に適用されるKtoPマトリクスを生成するよう、NtoPマトリクスと結合されてよい。よって、オブジェクトデコーダは、N個のオーディオオブジェクトについてのオーディオオブジェクト・アップミックス・パラメータと、P個の出力信号についてのレンダリングマトリクスとに基づきP個の出力チャネルを生成するよう配置されてよい。幾つかの実施形態において、N個のオーディオオブジェクトは明示的に生成されてよく、特に、P個のオーディオ信号の夫々は、N個のオーディオオブジェクトの中の単一オーディオオブジェクトに対応してよい。幾つかのシナリオにおいて、NはPに等しくてよい。
本発明の任意の特徴に従って、前記チャネル回路は、M個のオーディオチャネルをダウンミキシングすることによって前記K個のオーディオチャネルを導出するよう配置される。
これは、多くのシナリオ及び実施形態において、特に有利なシステムを提供してよい。特に、それは、有効なオーディオオブジェクトのエンコーディング及びデコーディングを可能にすることができる。具体的に、アプローチは、生成されたダウンミックスが、やはりM個のオーディオチャネルにおいて表される全てのオーディオオブジェクトについてK個のオーディオチャネルにおける適切な成分を提供することを可能にすることができる。幾つかの実施形態において、オブジェクトデコーダは、オーディオオブジェクト・アップミックス・パラメータに基づきK個のオーディオチャネルをアップミキシングすることによってN個のオーディオオブジェクトを生成するよう配置されてよい。
幾つかの実施形態において、ダウンミキシングは、M個のオーディオチャネルの夫々がK個のオーディオチャネルのうちの少なくとも1つにおいて、幾つかの実施形態では、K個のオーディオチャネルのうちの全てにおいて表されるようにするものであってよい。
本発明の任意の特徴に従って、前記データストリームは、前記M個のオーディオチャネルから前記K個のオーディオチャネルへダウンミキシングするエンコーダを示すダウンミックスデータを更に含み、前記チャネル回路は、前記ダウンミックスデータに応答して前記ダウンミキシングを適応させるよう配置される。
これは、多くの実施形態において、柔軟性の増大及び/又は性能の改善を可能にすることができる。例えば、それは、特定の信号特性へのダウンミックスの適応を可能にすることができ、例えば、ダウンミックスが、全てのN個のオーディオオブジェクトの適切な信号成分を提供してオブジェクトのデコーダにおける生成を可能にするようN個のオーディオオブジェクトに適応されることを可能にすることができる。
幾つかの実施形態において、M個のオーディオチャネルからK個のオーディオチャネルへの固定の又は所定のダウンミックスは、エンコーダ及びデコーダにおいて使用されてよい。これは複雑性を低減することができ、具体的に、ダウンミックスを示すデータをデータストリームに含める必要性を取り除いて、潜在的にデータレートの低減を可能にすることができる。
本発明の任意の特徴に従って、前記チャネル回路は、M個のオーディオチャネルの中からK個のチャネルのサブセットを選択することによって前記K個のオーディオチャネルを導出するよう配置される。
これは、多くの実施形態において、改善及び/又は容易化されたオーディオオブジェクトのエンコーディングを可能にすることができる。それは、多くの実施形態において、複雑性の低減を可能にすることができる。
本発明の任意の特徴に従って、前記データストリームは、L=1又は且つL<Mとして、L個のオーディオチャネルに対する前記N個のオーディオオブジェクトについての更なるオーディオオブジェクト・アップミックス・パラメータを更に含み、前記L個のオーディオチャネル及び前記K個のオーディオチャネルは、前記M個のオーディオチャネルの中の異なるサブセットであり、前記オブジェクトデコーダは更に、前記更なるオーディオオブジェクト・アップミックス・パラメータに基づき前記L個のオーディオチャネルをアップミキシングすることによって少なくとも部分的に生成されるN個のオーディオオブジェクトから前記P個のオーディオ信号を生成するよう配置される。
これは、多くの実施形態において、改善されたオーディオオブジェクトのデコーディングを可能にすることができる。特に、それは、Kよりも多い(及び特にM個全ての)オーディオチャネルにおける夫々のオーディオオブジェクトの信号成分がオーディオオブジェクトの生成の際に使用されることを可能にすることができる。
サブセットはバラバラであってよい。幾つかの実施形態において、更なるアップミキシングは、関連するオーディオオブジェクト・アップミックス・パラメータを伴うオーディオチャネルの1又はそれ以上の更なるサブセットに基づいてよい。幾つかの実施形態において、サブセットの結合は、全てのM個のオーディオチャネルを含んでよい。
本発明の任意の特徴に従って、前記P個のオーディオ信号のうちの少なくとも1つは、前記オーディオオブジェクト・アップミックス・パラメータに基づく前記K個のオーディオチャネルのアップミキシングと、前記更なるオーディオオブジェクト・アップミックス・パラメータに基づく前記L個のオーディオチャネルのアップミキシングとからの寄与を結合することによって生成される。
これは、多くの実施形態において、改善されたオーディオオブジェクトのデコーディングを可能にすることができる。特に、それは、Kよりも多い(及び特にM個全ての)オーディオチャネルにおける夫々のオーディオオブジェクトの信号成分がオーディオオブジェクトの生成の際に使用されることを可能にすることができる。
本発明の任意の特徴に従って、前記データストリームは、M個のオーディオチャネルへの前記N個のオーディオオブジェクトのミキシングを表すミックスデータを含み、前記オブジェクトデコーダは、前記ミックスデータ及び前記オーディオオブジェクト・アップミックス・パラメータに応答して前記N個のオーディオオブジェクトのうちの少なくともサブセットについての残余データを生成し、該残余データに応答して前記P個のオーディオ信号を生成するよう配置される。
これは、多くの実施形態において、デコーディングされたオーディオオブジェクトのうちの1つ、幾つか、又は全ての改善された品質を提供してよい。多くの実施形態において、それは、例えば、SAOC標準のような、残余データを受け取ることができる標準化されたオーディオオブジェクトデコーディングアルゴリズムとの互換性を可能にすることができる。残余データは、具体的に、K個のオーディオチャネル及びオーディオオブジェクト・アップミックス・パラメータから生成されたオーディオオブジェクトと、M個のオーディオチャネル及びダウンミックスデータに基づき生成された対応するオーディオオブジェクトとの間の差を示してよい。
本発明の態様に従って、N個のオーディオオブジェクトを受信するステップと、前記N個のオーディオオブジェクトをM個のオーディオチャネルへとミキシングするステップと、K=1又は2且つK<Mとして、前記M個のオーディオチャネルからK個のオーディオチャネルを導出するステップと、前記K個のオーディオチャネルに対する前記N個のオーディオオブジェクトの夫々の少なくとも部分についてのオーディオオブジェクト・アップミックス・パラメータを生成するステップと、前記オーディオオブジェクト・アップミックス・パラメータと前記M個のオーディオチャネルとを含む出力データストリームを生成するステップとを有する、オーディオオブジェクトのエンコーディング方法が提供される。
本発明の任意の特徴に従って、N個のオーディオオブジェクトのMチャネルミックスについてのオーディオデータと、K=1又は2且つK<Mとして、K個のオーディオチャネルに対する前記N個のオーディオチャネルについてのオーディオオブジェクト・アップミックス・パラメータとを含むデータストリームを受信するステップと、前記Mチャネルミックスから前記K個のオーディオチャネルを導出するステップと、前記オーディオオブジェクト・アップミックス・パラメータに基づき前記K個のオーディオチャネルをアップミキシングすることによって少なくとも部分的に生成されるN個のオーディオオブジェクトからP個のオーディオ信号を生成するステップとを有する、オーディオオブジェクトのデコーディング方法が提供される。
本発明のそれら及び他の態様、特徴及び利点は、以降で記載される実施形態から明らかであり、それらを参照して説明される。
先行技術に従うMPEGサラウンドシステムの例示である。 先行技術に従うMPEG両耳性サラウンドシステムの例示である。 先行技術に従うMPEG SAOCエンコーダの例示である。 先行技術に従うMPEG SAOCデコーダの例を表す。 先行技術に従うMPEG SAOCデコーダの例を表す。 先行技術に従うMPEG SAOCデコーダの例を表す。 本発明の幾つかの実施形態に従うオーディオオブジェクトエンコーダの要素の例を表す。 本発明の幾つかの実施形態に従うオーディオオブジェクトデコーダの要素の例を表す。 本発明の幾つかの実施形態に従うオーディオオブジェクトエンコーダの要素を表す。 本発明の幾つかの実施形態に従うエンコーダ出力データストリームの例を表す。 本発明の幾つかの実施形態に従うオーディオオブジェクトデコーダの要素の例を表す。 本発明の幾つかの実施形態に従うオーディオオブジェクトデコーダの要素の例を表す。
本発明の実施形態は、単なる一例として、図面を参照して記載される。
以下の記載は、N個のオーディオオブジェクトがM個のオーディオチャネルへダウンミキシングされる、すなわち、M<Nであるところのオブジェクトエンコーダ及びデコーダシステムに焦点を当てる。しかし、当然に、他のミックスが使用されてよく、Mは幾つかの実施形態及びシナリオではN以上であってよい。
図7は、本発明の幾つかの実施形態に従うオーディオオブジェクトエンコーダの要素を表す。
エンコーダは、N個のオーディオオブジェクトを受信する受信器(RX)701を有する。夫々のオーディオオブジェクトは、通常、単一の音源に対応する。よって、オーディオチャネル、及び特に、従来の空間マルチチャネル信号のオーディオチャネルと対照的に、オーディオオブジェクトは、実質的に異なる位置を有しうる複数の音源からの成分を有さない。同様に、各オーディオオブジェクトは、音源の完全な発現を提供する。よって、各オーディオオブジェクトは、ただ1つの音源についての空間位置データと関連付けられる。具体的に、各オーディオオブジェクトは、音源の単一の完全な発現と見なされてよく、且つ、単一の空間位置と関連付けられてよい。
更に、オーディオオブジェクトは、如何なる特定のレンダリング構成とも関連付けられず、具体的に、音響トランスデューサの如何なる特定の空間構成ともに関連付けられない。よって、一般的に、特にサラウンド音響セットアップのような、特定の空間スピーカセットアップと関連付けられる従来の空間音響チャネルと対照的に、オーディオオブジェクトは、如何なる特定の空間レンダリング構成によっても定義されない。
N個のオーディオオブジェクトはNtoMダウンミキサ(N−M)703へ供給される。NtoMダウンミキサ703はN個のオーディオオブジェクトをM個のオーディオチャネルへダウンミキシングする。この例では、M<Nであるが、当然に、幾つかのシナリオでは、NはM以下であってよい。図7の具体例において、Mは5に等しいが、当然に、他の実施形態では、例えば、M=7又はM=9といった、他のチャネル数が使用されてよい。
よって、NtoMダウンミキサ703は、オーディオオブジェクトがそれらのチャネルにわたって拡散されるMチャネルマルチチャネル信号を生成する。N個のオーディオオブジェクトと対照的に、M個のオーディオチャネルは従来のオーディオチャネルであり、それらは通常、複数のオーディオオブジェクト、よって、異なる位置を有する複数の音源からのデータを含む。更に、個々のオーディオオブジェクトは、概してM個のオーディオチャネルにわたって広がり、しばしば、M個のオーディオチャネルの夫々は、所与のオーディオオブジェクトからの成分を含む。なお、幾つかのシナリオでは、幾つかのオーディオオブジェクトは、M個のオーディオチャネルのサブセットにおいてのみ表されてよい。
NtoMダウンミキサ703は、マルチチャネル信号(以降、M個のオーディオチャネルによって提供される信号を表すために使用される。)を生成する。これは、マルチチャネル信号として直接的にレンダリングされてよい。具体的に、M個のオーディオチャネルによって形成されるマルチチャネル信号は空間サラウンド信号であってよく、具体例においては、M個のオーディオチャネルは夫々、5チャンネルシステムのフロントレフト、フロントライト、センター、サラウンドレフト及びサラウンドライトチャネルであってよい(然るに、M=5)。よって、M個のオーディオチャネルによって形成されるマルチチャネル信号は、特定のレンダリング構成と関連付けられ、具体的に、各オーディオチャネルは、レンダリング位置と関連付けられたオーディオチャネルである。
NtoMダウンミキサ703は、個々のオーディオオブジェクトがM個のオーディオチャネルによって提供されるサラウンド画像において望まれるように位置づけられるように、ダウンミックスを実行することができる。例えば、1つのオーディオオブジェクトは、直接フロントに位置づけられ得、他のオブジェクトは、公称のリスニング位置の左に位置づけられ得る、等。NtoMダウンミックスは、具体的に、マルチチャネル信号が直接レンダリングされる場合に、M個のオーディオチャネルの結果として得られるサラウンド音響信号が所望の空間分布を提供するように、手動により制御されてよい。NtoMダウンミックスは、具体的に、M個のオーディオチャネルから所望のサラウンド信号を供給するよう人によって手動で生成されるNtoMダウンミックスマトリクスに基づくことができる。
M個のオーディオチャネルは、Mチャネルエンコーダ(ENC)705へ供給される。Mチャネルエンコーダ705は、何らかの適切なエンコーディングアルゴリズムに従ってM個のオーディオチャネルをエンコーディングするよう進む。Mチャネルエンコーダ705は、通常、対応するサラウンド信号の有効な表現を提供するよう従来のマルチチャネルエンコーディングスキームを用いる。
M個のオーディオチャネルのエンコーディングは、通常は望ましいが、全ての実施形態において必須でないことは明らかである。例えば、NtoMダウンミキサ703は、直接使用され得る信号の周波数領域又は時間領域の表現を直接生成してよい。例えば、エンコーディングされていないPCMデータを用いてM個のオーディオチャネルをオブジェクトデコーダへ送信することが可能である。なお、有効なエンコーディングは、実質的にデータレートを低減することができ、従って、通常は使用される。
エンコーディングされたマルチチャネル信号は、具体的に、従来のマルチチャネル信号に対応してよく、マルチチャネル信号を受信する従来のオーディオ装置は、然るべく直接的にマルチチャネル信号をレンダリングすることができる。
図7のエンコーダは、原のN個のオーディオオブジェクトが適切に装備されたオブジェクトデコーディング装置において再生されることを可能にするオーディオオブジェクト・アップミックス・パラメータを供給する機能を更に有する。なお、オーディオオブジェクト・アップミックス・パラメータは、M個のオーディオチャネルに対して提供されず、代わりに、K個のオーディオチャネルに対して提供される。ここで、Kは1又は2である。よって、エンコーダは、モノ又はステレオ信号に対してオーディオオブジェクト・アップミックス・パラメータを生成する。これは、原のオーディオオブジェクトからのモノ又はステレオダウンミックス信号に基づくオブジェクトエンコーディング及びデコーディングしか可能にしない標準との互換性を可能にする。これは、多くのシナリオにおいて、モノ又はステレオ信号のための標準のオーディオオブジェクトエンコーダ又はデコーダ機能がマルチチャネルサポートにより再利用されることを可能にすることができる。例えば、アプローチは、SAOCとの改善された互換性を可能にするために使用されてよい。
エンコーダはMtoKレジューサ(M−K)707を有する。MtoKレジューサ707は、NtoMダウンミキサ703からM個のオーディオチャネルを受け取って、M個のオーディオチャネルからK個のオーディオチャネルを導出するよう進む。ここで、Kは1又は2である。
MtoKレジューサ707はパラメータ回路(PAR)709へ結合される。パラメータ回路709はまた、受信器701から原のN個のオーディオオブジェクトを受け取る。MtoKレジューサ707は、K個のオーディオチャネルに対するN個のオーディオオブジェクトの夫々の少なくとも部分についてのオーディオオブジェクト・アップミックス・パラメータを生成するよう配置される。よって、オーディオオブジェクト・アップミックス・パラメータは、如何にしてN個のオーディオオブジェクト(の一部又は全て)がMtoKレジューサ707から受信されたモノ又はステレオ信号から生成され得るのかを記述するよう生成される。
Mチャネルエンコーダ705及びパラメータ回路709は出力回路(MUX)711へ結合される。出力回路711は、パラメータ回路709から受信されるオーディオオブジェクト・アップミックス・パラメータと、Mチャネルエンコーダ705から受信されるエンコーディングされたM個のオーディオチャネルとを含む出力データストリームを生成する。なお、出力データストリームは、K個のオーディオチャネルの如何なるデータも(エンコーディングされていようといまいと)含まない。よって、出力データストリームは、たとえオーディオオブジェクトのデコーディング又は処理が可能でないとしても旧来のマルチチャネル装置によって直接にレンダリングされ得るエンコーディングされたマルチチャネル信号を含むよう生成される。加えて、オーディオオブジェクト・アップミックス・パラメータが供給され、これは、原のN個のオーディオオブジェクトがデコーダ側で再生されることを可能にすることができる。なお、オーディオオブジェクト・アップミックス・パラメータは、データストリームに含まれる信号に対して供給されず、代わりに、出力データストリームに含まれないステレオ又はモノ信号に対して供給される。これは、動作が、モノ及びステレオ信号に制限されるオーディオオブジェクトエンコーディング及びデコーディングアプローチと互換性があることを可能にする。例えば、既存のSAOCエンコーディング又はデコーディングユニットは、マルチチャネルサポートを可能にしながら再使用され得る。
更に、K個のオーディオチャネルは出力データストリームに含まれないが、それらはデコーダによってマルチチャネル信号から導出され得る。然るに、適切に装備されたデコーダは、K個のオーディオチャネルを導出して、オーディオオブジェクト・アップミックス・パラメータに基づきN個のオーディオオブジェクトを生成してよい。これは具体的に、基礎的なステレオ又はモノ信号に基づき既存のアップミックス機能により行われ得る。よって、アプローチは、単一の出力データストリームが、出力データストリームに含まれないが依然として原のオーディオオブジェクトが生成されることを可能にするモノ又はステレオ信号に関連するオーディオオブジェクトデータと、マルチチャネル装置によって直接にレンダリングされ得るマルチチャネル信号とを提供することを可能にすることができる。
出力データストリームは、具体的に、M個のオーディオチャネルについてのマルチチャネルのエンコーディングされたデータストリームを有してよく、このとき、マルチチャネルのエンコーディングされたデータストリームはオーディオオブジェクト・アップミックス・パラメータを更に含む。よって、マルチチャネルのエンコーディングされたデータストリームは、マルチチャネル信号自体と、マルチチャネル信号に含まれる個々のオーディオオブジェクトを生成するデータとを含むよう供給されてよいが、そのデータは、マルチチャネル信号自体には無関係であり、むしろ、マルチチャネルのエンコーディングされたデータストリームに含まれないモノ又はステレオ信号と関係がある。オーディオオブジェクト・アップミックス・パラメータは、具体的に、マルチチャネルのエンコーディングされたデータストリームの付属の、補助的な又は任意のデータフィールドに含まれてよい。
図8は、本発明の幾つかの実施形態に従うデコーダの例を表す。
デコーダは、図7のエンコーダから出力データストリームを受け取る受信器(DEMUX)801を有する。よって、受信器は、K個のオーディオチャネルに対するN個のオーディオオブジェクトについてのオーディオオブジェクト・アップミックス・パラメータと共に、N個のオーディオオブジェクトのMチャネルダウンミックスについてのオーディオデータを含むデータストリームを受け取る。ここで、K=1又は2且つK<Mである。例では、Mチャネルダウンミックスについてのオーディオデータは、エンコーディングされたオーディオデータである。
Mチャネルダウンミックスについてのエンコーディングされたオーディオデータはマルチチャネルデコーダ(DEC)803へ供給される。マルチチャネルデコーダ803は、エンコーディングされたオーディオデータからM個のオーディオチャネルを生成する。M個のオーディオチャネルはMtoKチャネルプロセッサ(M−K)805へ供給される。MtoKチャネルプロセッサ805は、M個のオーディオチャネルからK個のオーディオチャネルを導出する。MtoKプロセッサ805は、具体的に、図7のMtoKチャネルレジューサ707と同じ動作を実行する。結果として得られるK個のオーディオチャネルはオブジェクトデコーダ807へ供給される。オブジェクトデコーダ(ODEC)807は、オーディオオブジェクト・アップミックス・パラメータに基づきK個のオーディオチャネルをアップミキシングすることによってN個のオーディオオブジェクトを生成する。オブジェクトデコーダ807は、具体的に、図7のパラメータ回路709の逆の動作を実行する。
図8の例では、オブジェクトデコーダ807はN個のオーディオオブジェクトを再生し、それらのオーディオオブジェクトは次いで、特定のスピーカ構成へ個々に処理及び/又はマッピングされ得ることは明らかである。よって、例では、P個の出力信号が生成され、ここでP=Nであり、各出力信号はN個のオーディオオブジェクトのうちの1つと対応する。
幾つかの実施形態において、所与のスピーカ構成へのマッピングは、例えば、単一のマトリクス乗算を適用することによって、オブジェクトデコーダ807のアップミキシングと組み合わされてよい。このとき、マトリクス係数は、N個のオーディオオブジェクトへのK個のオーディオチャネルのマッピングの複合マトリクス乗算と、スピーカ構成のチャネルへのN個のオーディオオブジェクトのマッピングのマトリクス乗算とを反映する。
具体的に、P個のオーディオ信号が生成されてよく、P個のオーディオ信号の夫々は、所与のPチャネルレンダリング構成の空間出力チャネルと対応してよい。これは、オブジェクトデコーダ807が、N個のオーディオオブジェクトをP個のオーディオ信号にマッピングするレンダリングマトリクスを適用することによって、達成されてよい。通常、K個のオーディオチャネルからN個のオーディオオブジェクトを生成するオブジェクトアップミックスマトリクスは、N個のオーディオオブジェクトをP個のオーディオ信号にマッピングするレンダリングマトリクスと結合される。よって、単一の結合されたオブジェクトアップミックス及びレンダリングマトリクスが、P個のオーディオ信号を生成するようK個のオーディオチャネルに適用される。結合されたオブジェクトアップミックス及びレンダリングマトリクスは、具体的に、オブジェクトアップミックスマトリクス及びレンダリングマトリクスを乗算することによって生成され得る。
幾つかの実施形態において、MtoKチャネルプロセッサ805及びMtoKチャネルレジューサ707は、M個のオーディオチャネルをダウンミキシングすることによってK個のオーディオチャネルを生成するよう配置されてよい。特に、ダウンミックスは、全てのオーディオオブジェクトがダウンミックスにおいて有意な信号成分を有し、それによってK個のオーディオチャネルに基づくアップミキシングがN個の全てのオーディオオブジェクトにとって有効であることを可能にするように、生成されてよい。
このアプローチの例が図9で表されている。具体例において、オブジェクトエンコーディングはSAOC標準と互換性があり、よって、SAOCエンコーダが具体的に使用される。具体例では、M=5且つK=2である。
更に、図9の例では、K個のオーディオチャネルの生成は、N個のオーディオオブジェクトからM個のオーディオチャネルを生成する動作と、M個のオーディオチャネルからK個のオーディオチャネルを生成する動作とを単一の動作にまとめることによって、実行されることが分かる。
具体的に、M個のオーディオチャネルは、M個のオーディオチャネルを提供するようエンコーダレンダリングマトリクスMNto5をN個のオーディオオブジェクトに適用することによって、生成されてよい(マトリクス乗算は、当業者に知られているように、夫々の周波数時間タイルについて実行されてよい。)。同様に、K個のオーディオチャネルは、K個のオーディオチャネルを提供するようレンダリングマトリクスM5to2をM個のオーディオチャネルに適用することによって、生成されてよい(マトリクス乗算は、当業者に知られているように、夫々の周波数時間タイルについて実行されてよい。)。それら2つのマトリクス演算の逐次演算は、単一のマトリクス演算が複合演算を実行することによって置換されてよい。具体的に、マトリクス:

Nto2=M5to2・MNto5

による単一のマトリクス乗算がN個のオーディオオブジェクトに直接適用されてよい。なお、これは、マトリクスMto5の適用によってNtoMダウンミキサ703によって生成されるM(具体例では、5)個のオーディオチャネルにマトリクスM5to2を適用することと同じである。よって、デコーダでは、K個のオーディオチャネルが単純に、M(すなわち、具体例では、5)個のオーディオチャネルとダウンミックスマトリクスM5to2とを乗算することによって生成される。
レンダリングマトリクスMNto5を選択又は決定するための如何なる適切なアプローチ又は方法も使用されてよいことは、明らかである。通常、マトリクスは、所望の音響画像を提供するよう(半)手動で生成される。
同様に、ダウンミックスマトリクスM5to2を選択又は決定するための如何なる適切なアプローチ又は方法も使用されてよいことは、明らかである。幾つかの実施形態において、固定又は所定のダウンミックスマトリクスM5to2が使用されてよい。この所定のマトリクスはデコーダで知られていてよく、デコーダは、然るべくそれをM個のオーディオチャネルに適用して、オーディオオブジェクト生成に必要とされるステレオ信号を生成することができる。
他の実施形態においては、ダウンミックスマトリクスM5to2は、特定の特性に依存するエンコーダにおいて適応又は最適化される可変マトリクスであってよい。例えば、ダウンミックスマトリクスM5to2は、全てのオーディオオブジェクトが結果として得られるステレオ信号において望まれるように表現されることが確かにされるように、決定されてよい。そのような実施形態では、エンコーダで使用されるダウンミックスマトリクスM5to2に関する情報は、出力データストリームに含まれてよい。次いで、デコーダは、ダウンミックスマトリクスM5to2を取り出し、これをデコーディングされたM個のオーディオチャネルに適用して、SAOCパラメータが適用され得るK個のオーディオチャネルを生成してよい。
ステレオダウンミックスへの適応マルチチャネルを可能にする場合に、データは、例えば、SAOCデータの伝送と同様に、マルチチャネルビットストリームのシンタックスにおいて補助データ構造を用いることによって伝送され得る。これは図10で表されており、図10は異なる2つのオプションを示す:
−ダウンミックスパラメータは、SAOCコンテナの前(又は後)の別個のコンテナにおいて送信される;及び
−ダウンミックスパラメータは、SAOCExtentionConfig()フィールドにおいて新しいエントリとしてSAOCコンテナ内で送信される。
幾つかの実施形態において、M個のオーディオチャネルからのK個のオーディオチャネルの導出は、M個のオーディオチャネルからサブセットを選択することによって実行される。
例えば、SAOCエンコーディングは、M個のオーディオチャネルによって形成される5チャンネルサラウンド信号のフロントレフト及びフロントライトチャネルのような、ただ2つのオーディオチャネルに応答して実行されてよい。
しかし、多くのシナリオにおいては、そのようなアプローチは、(M個の全てのオーディオチャネルからの、ひいてはN個全てのオーディオオブジェクトからの寄与がダウンミキシングされたK個のオーディオチャネルに含まれるように、M個のオーディオチャネルがK個のオーディオチャネルへダウンミキシングされ得るダウンミキシングされたチャネルと対照的に、)潜在的に所与のオーディオオブジェクトからの如何なる信号成分も含まない選択されたサブセットチャネルにより、次善にデコーディングされたオブジェクトをもたらしうる。
そのような問題は場合により、デコーダが他のパラレルアプローチを用いてN個のオーディオオブジェクトの幾つかの部分又は全てを生成することによって、対処されてよい。例えば、SAOCセンドエフェクト(send effect)を用いることは、センドエフェクトとして生成される寄与を導入するよう機能定義センドエフェクトを結びつける。センドエフェクトは、それが、選択されたK個のオーディオチャネルから有意な品質を有して生成され得ないオーディオオブジェクトへの寄与を提供することができるように、定義されてよい。
幾つかの実施形態において、オーディオオブジェクトからの寄与は、M個のオーディオチャネルの複数のサブセットから生成されてよく、各サブセットは適切なオーディオオブジェクト・アップミックス・パラメータと共に提供される。幾つかの実施形態において、各オーディオオブジェクトは、M個のオーディオチャネルの単一サブセットから生成されてよく、異なるオーディオオブジェクトは、如何にしてオブジェクトがM個のオーディオチャネルへダウンミキシングされたかに依存して、異なるサブセットから選択される。しかし、通常、N個のオーディオオブジェクトは、M個のオーディオチャネルのうちのKよりも多いチャネルにわたって分布し、従って、オーディオオブジェクトは、M個のオーディオチャネルの異なるサブセットのアップミキシングからの寄与を結合することによって、生成されてよい。
よって、エンコーダは、N個のオーディオオブジェクトの異なるサブセットを供給される並列パラメータ推定器を有してよい。代替的に、N個全てのオーディオオブジェクトは、並列パラメータ推定器の夫々へ供給される。レンダリングマトリクスMNto5は、パラメータ推定器の信号出力がMチャネルミックスを構成するように分割されて、各パラメータ推定器におけるダウンミックスマトリクスとして使用される。例えば、1つのパラメータ推定器は、M個のオーディオチャネルのうちのK個のオーディオチャネルを生成してよく、他のパラメータ推定器は、M個のオーディオチャネルのうちのL個のオーディオチャネルを生成してよい。例えば、1つのパラメータ推定器はフロントレフト及びライトチャネルを生成し、他の推定器はセンタチャネルを生成する。パラメータ推定器は更に、夫々のチャネルについてオーディオオブジェクト・アップミックス・パラメータを生成する。夫々の個々のパラメータ推定器についてのオーディオオブジェクト・アップミックス・パラメータは、オーディオオブジェクト・アップミックス・パラメータの別個の組として、例えば、具体的に、別個のSAOCパラメータデータストリームとして、出力データストリームに含まれる。
よって、エンコーダは、夫々がM個のオーディオチャネルのステレオ又はモノサブセットと関連付けられる複数の並列SAOC互換データストリームを生成してよい。対応するデコーダは、その場合に、標準SAOCデコーダセットアップを用いて個々にそれらのSAOC互換データストリームの夫々をデコーディングしてよい。結果として得られるデコーディングされたオーディオオブジェクト成分は、完全なオーディオオブジェクトに(又は直接に、所望の出力スピーカ構成に対応する出力チャネルに)まとめられる。よって、アプローチは、M個のオーディオチャネルにおける全ての信号成分が個々のオーディオオブジェクトを生成するときに利用され得ることを可能にしてよい。具体的に、サブセットは、それらが共にM個のオーディオチャネルの全てを含み、各オーディオチャネルが単一のサブセットにおいてのみ含まれるように、選択されてよい。よって、サブセットは、M個全てのオーディオチャネルをバラバラにして含んでよい。
具体例として、複数のSAOCストリームは、各ストリームがマルチチャネルダウンミックスのモノ又はステレオサブセットに作用するように、Mオーディオチャネルダウンミックと共に包含/送信され得る。場合により特定の又は複数のストリームに存在するオブジェクトによれば、オーディオオブジェクトを所望の出力(スピーカ)構成へ分配するようデコーダ側で使用されるレンダリングマトリクスは、個々の寄与を個々のオーディオオブジェクトに結合するよう適応され得る。アプローチは、特に高い再構成品質を提供することができる。
図9の実施形態と比較して、Nto5マトリクスは、5つのオーディオチャネルのKチャネルダウンミックスを提供するよう5to2ダウンミックスマトリクスと結合されないそのような具体例に含まれる。むしろ、Nto5マトリクスは別々にされ、ビットストリームが全て1のビットストリームへと多重化される3つの並列SAOCエンコーダへ送信される。例えば、Mdmxは、Lがレフト(Left)を表し、Rがライト(Right)を表し、Cがセンタ(Centre)を表し、添え字fがフロント(front)表し、添え字sがサラウンド(surround)を表すとして、{L,R,C,L,R}の典型的な5チャネル順序付けについて通常うまく働く3つの並列SAOCストリームを提供するよう、Mdmx,1、Mdmx,2及びMdmx,3に分割され得る。Mdmx並びにMdmx,1、Mdmx,2及びMdmx,3は、次のとおりである。
Figure 0006096789
Figure 0006096789
図11は、そのようなアプローチのためのデコーダの例を示す。
幾つかの実施形態において、エンコーダは更に、M個のオーディオチャネルへのN個のオーディオオブジェクトのダウンミキシングを表すダウンミックスデータを出力データストリームに含めるよう配置されてよい。例えば、M個のオーディオチャネルへのN個のオーディオオブジェクトのダウンミックスを記述するエンコーダレンダリングマトリクスが出力データストリームに含まれてよい(すなわち、図9の具体例では、マトリクスMNto5が含まれてよい。)。
更なる情報は、異なる実施形態において異なるように使用されてよい。
具体的に、幾つかの実施形態において、ダウンミックスデータは、M個のオーディオチャネルに基づきオーディオオブジェクトのサブセットを生成するために使用されてよい。K個のオーディオチャネルと比べてM個のオーディオチャネルには利用可能な更なる情報が存在するので、これは、品質が改善されたオーディオオブジェクトが生成されることを可能にすることができる。しかし、処理は、対応するオーディオオブジェクトエンコーディング/デコーディング標準と互換性がないことがあり、よって、追加の機能を必要とすることがある。更に、計算要求は、通常、K個の信号に基づく標準の(及び通常は大いに最適化された)オブジェクトデコーディングについてよりも高い。従って、M個のオーディオチャネル及びダウンミックスデータに基づくオーディオデコーディングは、オーディオオブジェクトのサブセットにのみ、そして通常は、ごく少数の最も支配的なオーディオオブジェクトにのみ制限されてよい。残りのオーディオオブジェクトは、K個のオーディオチャネルに基づき、標準化されたデコーダにより生成されてよい。このデコーディングはしばしば、例えば、専用の且つ標準化されたハードウェアを用いることによって、実質的により有効であり得る。
更に、SAOCのような幾つかのエンコーディング標準は、エンコーダから残余データを受け取ることができる。このとき、エンコーディングされたデータは、ダウンミックスに基づきデコーダによって生成される原のオーディオオブジェクトと、オーディオオブジェクト・アップミックス・パラメータとの間の差を反映する。具体的に、SAOCは、残余データが最大4つのオーディオオブジェクトについて提供されることを可能するエンハンスド・オーディオ・オブジェクツ(EAO;Enhanced Audio Objects)として知られる機能をサポートする。
幾つかの実施形態において、M個のオーディオチャネルへのN個のオーディオオブジェクトのダウンミキシングを表すダウンミックスデータは、デコーダで残余データを生成するために使用され得る。具体的に、デコーダは、ダウンミックスデータ、M個のオーディオチャネル、及びオーディオオブジェクト・アップミックス・パラメータに基づき特定のオーディオオブジェクトを計算することができる。加えて、同じオブジェクトは、K個のオーディオチャネル及びオーディオオブジェクト・アップミックス・パラメータに基づきデコーディングされ得る。残余データは、それらの間の差を示すものとして生成され得る。この残余データは次いで、N個のオーディオオブジェクトのデコーディングにおいて使用され得る。このデコーディングは、K個のオーディオチャネルに基づき且つ残余データがエンコーダから供給されることを可能にするオブジェクトデコーディング標準のための標準化されたアプローチを使用してよい。
そのようなアプローチにおいて、ダウンミックスデータ及びM個のオーディオチャネルによって提供される更なる情報は、よって、エンコーダでよりもデコーダで残余データ情報を生成するために使用される。よって、残余データは伝送される必要がない。ダウンミックスデータ及びM個のオーディオチャネルから生成されるオブジェクトは、エンコーディング前の対応するオーディオオブジェクトと同じでないことがあるが、更なる情報は、通常、依然として、K個のオーディオチャネルから生成される対応するオーディオオブジェクトに対して改善を提供することは、明らかである。
具体例として、標準のSAOCデコーダはプリプロセッサを設けられてよく、プリプロセッサは、あたかもそれがエンコーダで生成された残余データであるかのようにSAOCデコーダへ供給される残余データを生成する。よって、SAOCデコーダは、SAOに関するSAOC標準に従って十分に動作することができる。そのようなデコーダの例が図12で表されている。
プリプロセッサは、具体的に、Mto5マトリクスを用いてオーディオオブジェクトを計算してよい。例えば、オーディオオブジェクトは、次の式を用いて5チャネルダウンミックスから生成されてよい。
Figure 0006096789
この式は、ダウンミックスチャネルXからオブジェクトを再構成する。ここで、OLDは、SAOCパラメータにおけるOLD(オブジェクトレベル差;Object Level Difference)の線形表現である。この式は、対応するSAOCパラメータを用いて、Xの各時間−周波数タイルへ適用されてよい。
上記の再構成は無相関のオブジェクトを仮定する。SAOC IOCパラメータを含めることによって、例えば、次の式を用いることによって、オブジェクト間の相関を考慮することが可能である。
Figure 0006096789
この再構成は、ダウンミックスチャネル1にあるオブジェクトkのゲインにより重み付けられる(MNto5,1k)。
全ての5つのチャネルからの同様の再構成を結合することは、オブジェクトkへのゲインに従って重み付けられるオブジェクト再構成を与える。すなわち、オブジェクトkが最大ゲインを有するチャネルは、オブジェクトkの結合された再構成に最大寄与を与える。ここで、結合された再構成は、次のように表される。
Figure 0006096789
上記の式で、Σ c=1Nto5,ckは、再構成を正確なレベルへと正規化する。
他の例として、代替の重み付けされた再構成は、ダウンミックスチャネルにおけるオブジェクトの‘孤立化(isolatedness)’を目指す。次の式が定義される。
Figure 0006096789
この場合、代替の再構成は、次のように表され得る。
Figure 0006096789
代替の再構成は、オブジェクトkの正規化されたサブ再構成(Bck・X)の各々を、対応するダウンミックスチャネルへのその相対寄与により重み付ける。
M個のオーディオチャネル及びNtoMダウンミックスからオーディオオブジェクトを生成する他のアプローチが他の実施形態において使用され得ることは、明らかである。
EAOがエンコーディングされるSAOCエンコーダにおいて、対応する残余データは、原のオブジェクト信号と、モノ又はステレオSAOCダウンミックスに基づく再構成との間の差として計算される。従って、それらのエンハンスド・オブジェクト(Xeao)は、通例のオブジェクト(Xreg)とは別個に処理される。
通例のオブジェクトは、K×Nのダウンミックスマトリクス(D)のサブマトリクス(Dreg)に従ってダウンミキシングされる。ここで、次の条件が成り立つ。
Figure 0006096789
結果は、

reg=Dreg・Xreg

のように、Kチャネルダウンミックスである。
EAOはまた、対応するサブマトリクスDeaoを用いてダウンミキシングされ、結果として得られるダウンミックスは、

Y=Yreg+Deao・Xeao

のように、SAOCダウンミックスへと、通例のオブジェクトのダウンミックス(Yreg)と結合される。
このダウンミックスはSAOCデコーダの入力で期待される。
ダウンミックスYreg及びEAOを入力信号として用いて、中間の補助信号がNeao×(K+Neao)マトリクスDauxを用いて、次のように計算される。
Figure 0006096789
ここで、EAOの数はNeao=N−Nregである。
ダウンミックスY及び補助信号Yauxの生成は、次の単一マトリクス式において結合され得る。
Figure 0006096789
マトリクスDauxは、マトリクスDextが可逆であり且つダウンミックスからのEAOの分離が最適化されるように、選択される。Dauxの要素は、SAOC標準において定義され、よってデコーダにおいて利用可能である。SAOCデコーダでは、Dextの逆数を用いて、EAO(Xeao)は、入力としてダウンミックス(Y)及び補助信号(Yaux)を用いて通例のオブジェクト(Yreg)から分離され得る。
符号化効率を改善するために、補助信号は、次のように、デコーダで予め利用可能なデータから導出される予測係数によりダウンミックス信号から予測される。
Figure 0006096789
補助信号と予測された補助信号の差Rである予測誤差は、SAOC標準の残余符号化メカニズムを用いて有効に符号化され得る。
この実施形態の残余は、EAO(=Xeao)としてMチャネルオブジェクト再構成
(外1)
Figure 0006096789
を用いて上述されたのと同じように生成され得る。個々のオブジェクトは既にミキシングされているので、それらのステップは省略可能である。よって、次の式が与えられる。
Figure 0006096789
4つのEAOの場合には、次のとおりである。
Figure 0006096789
次いで、残余が次のように計算される。
Figure 0006096789
結果として得られる残余は次いで、SAOCビットストリームに挿入され得る。SAOCビットストリームにおいて、残余が計算されるオブジェクトはEAOとして識別される。標準のSAOCデコーダは次いで、N個のオーディオチャネルを生成するように標準のSAOC EAOデコーディングを実行するよう進むことができる。
これは、多くの実施形態において、デコーディングされたオーディオオブジェクトの改善された品質を提供する。多くの実施形態において、それは、例えば、SAOC標準のように、残余データを受け取ることができる標準化されたオーディオオブジェクトデコーディングアルゴリズムとの互換性を可能にすることができる。残余データは、具体的に、K個のオーディオチャネル及びオーディオオブジェクト・アップミックス・パラメータから生成されるオーディオオブジェクトと、M個のオーディオチャネル及びダウンミックスデータに基づき生成される対応するオーディオオブジェクトとの間の差を示してよい。
明瞭さのために上記の記述は、異なる機能の回路、ユニット及びプロセッサを参照して本発明の実施形態を記載していることは、明らかである。なお、異なる機能の回路、ユニット又はプロセッサの間の機能の如何なる適切な分布も、本発明から逸脱することなしに使用されてよいことは明らかである。例えば、別個のプロセッサ又はコントローラによって実行されるよう表されている機能は、同じプロセッサ又はコントローラによって実行されてよい。従って、特定の機能のユニット又は回路への言及は、厳密な論理的又は物理的構造又は体系を示すというよりむしろ、記載される機能を提供するための適切な手段への言及としてのみ見られるべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの何らかの組み合わせを含む如何なる適切な形態においても実施され得る。本発明は任意に、1以上のデータプロセッサ及び/又はデジタル信号プロセッサで実行されるコンピュータソフトウェアとして少なくとも部分的に実施されてよい。本発明の実施形態の要素及び部品は、如何なる適切な方法においても物理的、機能的及び論理的に実施されてよい。実際に、機能は、単一のユニットにおいて、複数のユニットにおいて、又は他の機能ユニットの部分として実施されてよい。そのようなものとして、本発明は単一のユニットにおいて実施されてよく、あるいは、異なるユニット、回路、及びプロセッサの間で物理的及び機能的に分配されてよい。
本発明は幾つかの実施形態に関連して記載されてきたが、ここで説明されている特定の形態に制限されるよう意図されない。むしろ、本発明の適用範囲は、添付の特許請求の範囲によってのみ制限される。加えて、特徴は特定の実施形態に関連して記載されるよう現れることがあるが、当業者には明らかなように、記載される実施形態の様々な特徴は本発明に従って組み合わされてよい。特許請求の範囲において、語“有する”又は“含む”等は、他の要素又はステップの存在を除外しない。
更に、たとえ個々に挙げられるとしても、複数の手段、要素、回路又は方法ステップは、例えば、単一の回路、ユニット又はプロセッサによって、実施されてよい。加えて、個々の特徴が異なる請求項に含まれることがあるが、それらは場合により、有利に組み合わされてよく、異なる請求項における包含は、特徴の組み合わせが容易及び/又は有利でないことを暗示するわけではない。また、1つのカテゴリの請求項における特徴の包含は、このカテゴリへの限定を暗示するわけではなくむしろ、その特徴が必要に応じて他の請求項カテゴリに同じく適用可能であることを示す。更に、特許請求の範囲における特徴の順序は、特徴が働かされるべき如何なる特定の順序も暗示せず、特に、方法の請求項における個々のステップの順序は、それらのステップが個の順序で実行されなければならないことを暗示するわけでない。むしろ、ステップは如何なる適切な順序でも実行されてよい。加えて、単一参照は複数個を除外しない。よって、“1つ(の)”、“第1(の)”、“第2(の)”等といった参照は複数個を排除しない。特許請求の範囲における参照符号は、単に例示の明確化として提供され、決して特許請求の範囲の適用範囲を制限するよう解釈されるべきではない。

Claims (15)

  1. N個のオーディオオブジェクトを受信する受信部と、
    前記N個のオーディオオブジェクトをM個のオーディオチャネルへとミキシングするミキサと、
    K=1又は2且つK<Mとして、前記M個のオーディオチャネルからK個のオーディオチャネルを導出するチャネル回路と、
    前記K個のオーディオチャネルに対する前記N個のオーディオオブジェクトの夫々の少なくとも部分についてのオーディオオブジェクト・アップミックス・パラメータを生成するパラメータ回路と、
    前記オーディオオブジェクト・アップミックス・パラメータと前記M個のオーディオチャネルとを含む出力データストリームを生成する出力回路と
    を有するオーディオオブジェクトエンコーダ。
  2. 前記チャネル回路は、前記M個のオーディオチャネルをダウンミキシングすることによって前記K個のオーディオチャネルを導出するよう配置される、
    請求項1に記載のオーディオオブジェクトエンコーダ。
  3. 前記チャネル回路は、前記M個のオーディオチャネルの中からK個のチャネルのサブセットを選択することによって、前記K個のオーディオチャネルを導出するよう配置される、
    請求項1に記載のオーディオオブジェクトエンコーダ。
  4. 前記出力データストリームは、前記M個のオーディオチャネルについてのマルチチャネル符号化データストリームを含み、前記オーディオオブジェクト・アップミックス・パラメータは、前記マルチチャネル符号化データストリームの部分において含まれる、
    請求項1に記載のオーディオオブジェクトエンコーダ。
  5. 前記出力回路は、前記M個のオーディオチャネルへの前記N個のオーディオオブジェクトのミキシングを表すミキシングデータを前記出力データストリームに含めるよう配置される、
    請求項1に記載のオーディオオブジェクトエンコーダ。
  6. N個のオーディオオブジェクトのMチャネルミックスについてのオーディオデータと、K=1又は2且つK<Mとして、K個のオーディオチャネルに対する前記N個のオーディオチャネルについてのオーディオオブジェクト・アップミックス・パラメータとを含むデータストリームを受信する受信部と、
    前記Mチャネルミックスから前記K個のオーディオチャネルを導出するチャネル回路と、
    前記オーディオオブジェクト・アップミックス・パラメータに基づき前記K個のオーディオチャネルをアップミキシングすることによって少なくとも部分的に生成されるN個のオーディオオブジェクトからP個のオーディオ信号を生成するオブジェクトデコーダと
    を有するオーディオオブジェクトデコーダ。
  7. 前記チャネル回路は、M個のオーディオチャネルをダウンミキシングすることによって前記K個のオーディオチャネルを導出するよう配置される、
    請求項6に記載のオーディオオブジェクトデコーダ。
  8. 前記データストリームは、前記M個のオーディオチャネルから前記K個のオーディオチャネルへダウンミキシングするエンコーダを示すダウンミックスデータを更に含み、前記チャネル回路は、前記ダウンミックスデータに応答して前記ダウンミキシングを適応させるよう配置される、
    請求項7に記載のオーディオオブジェクトデコーダ。
  9. 前記チャネル回路は、M個のオーディオチャネルの中からK個のチャネルのサブセットを選択することによって前記K個のオーディオチャネルを導出するよう配置される、
    請求項7に記載のオーディオオブジェクトデコーダ。
  10. 前記データストリームは、L=1又は且つL<Mとして、L個のオーディオチャネルに対する前記N個のオーディオオブジェクトについての更なるオーディオオブジェクト・アップミックス・パラメータを更に含み、前記L個のオーディオチャネル及び前記K個のオーディオチャネルは、前記M個のオーディオチャネルの中の異なるサブセットであり、前記オブジェクトデコーダは更に、前記更なるオーディオオブジェクト・アップミックス・パラメータに基づき前記L個のオーディオチャネルをアップミキシングすることによって少なくとも部分的に生成されるN個のオーディオオブジェクトから前記P個のオーディオ信号を生成するよう配置される、
    請求項9に記載のオーディオオブジェクトデコーダ。
  11. 前記P個のオーディオ信号のうちの少なくとも1つは、前記オーディオオブジェクト・アップミックス・パラメータに基づく前記K個のオーディオチャネルのアップミキシングと、前記更なるオーディオオブジェクト・アップミックス・パラメータに基づく前記L個のオーディオチャネルのアップミキシングとからの寄与を結合することによって生成される、
    請求項10に記載のオーディオオブジェクトデコーダ。
  12. 前記データストリームは、M個のオーディオチャネルへの前記N個のオーディオオブジェクトのミキシングを表すミックスデータを含み、前記オブジェクトデコーダは、前記ミックスデータ及び前記オーディオオブジェクト・アップミックス・パラメータに応答して前記N個のオーディオオブジェクトのうちの少なくともサブセットについての残余データを生成し、該残余データに応答して前記P個のオーディオ信号を生成するよう配置される、
    請求項6に記載のオーディオオブジェクトデコーダ。
  13. N個のオーディオオブジェクトを受信するステップと、
    前記N個のオーディオオブジェクトをM個のオーディオチャネルへとミキシングするステップと、
    K=1又は2且つK<Mとして、前記M個のオーディオチャネルからK個のオーディオチャネルを導出するステップと、
    前記K個のオーディオチャネルに対する前記N個のオーディオオブジェクトの夫々の少なくとも部分についてのオーディオオブジェクト・アップミックス・パラメータを生成するステップと、
    前記オーディオオブジェクト・アップミックス・パラメータと前記M個のオーディオチャネルとを含む出力データストリームを生成するステップと
    を有する、オーディオオブジェクトのエンコーディング方法。
  14. N個のオーディオオブジェクトのMチャネルミックスについてのオーディオデータと、K=1又は2且つK<Mとして、K個のオーディオチャネルに対する前記N個のオーディオチャネルについてのオーディオオブジェクト・アップミックス・パラメータとを含むデータストリームを受信するステップと、
    前記Mチャネルミックスから前記K個のオーディオチャネルを導出するステップと、
    前記オーディオオブジェクト・アップミックス・パラメータに基づき前記K個のオーディオチャネルをアップミキシングすることによって少なくとも部分的に生成されるN個のオーディオオブジェクトからP個のオーディオ信号を生成するステップと
    を有する、オーディオオブジェクトのデコーディング方法。
  15. コンピュータで実行される場合に請求項13又は14に記載の方法を実行するよう適応されたコンピュータプログラムコードを有するコンピュータプログラム。
JP2014539442A 2011-11-01 2012-10-29 オーディオオブジェクトのエンコーディング及びデコーディング Active JP6096789B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161554007P 2011-11-01 2011-11-01
US61/554,007 2011-11-01
PCT/IB2012/055964 WO2013064957A1 (en) 2011-11-01 2012-10-29 Audio object encoding and decoding

Publications (2)

Publication Number Publication Date
JP2014532901A JP2014532901A (ja) 2014-12-08
JP6096789B2 true JP6096789B2 (ja) 2017-03-15

Family

ID=47520161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014539442A Active JP6096789B2 (ja) 2011-11-01 2012-10-29 オーディオオブジェクトのエンコーディング及びデコーディング

Country Status (8)

Country Link
US (1) US9966080B2 (ja)
EP (1) EP2751803B1 (ja)
JP (1) JP6096789B2 (ja)
CN (1) CN103890841B (ja)
BR (1) BR112014010062B1 (ja)
IN (1) IN2014CN03413A (ja)
RU (1) RU2618383C2 (ja)
WO (1) WO2013064957A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9161149B2 (en) 2012-05-24 2015-10-13 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
US9489954B2 (en) * 2012-08-07 2016-11-08 Dolby Laboratories Licensing Corporation Encoding and rendering of object based audio indicative of game audio content
EP4290510A3 (en) 2013-05-24 2024-02-14 Dolby International AB Audio encoder
WO2014187986A1 (en) * 2013-05-24 2014-11-27 Dolby International Ab Coding of audio scenes
EP2830050A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
EP2830049A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
EP2830333A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
CA2919080C (en) 2013-07-22 2018-06-05 Sascha Disch Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
JP6001814B1 (ja) * 2013-08-28 2016-10-05 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイブリッドの波形符号化およびパラメトリック符号化発話向上
ES2641538T3 (es) 2013-09-12 2017-11-10 Dolby International Ab Codificación de contenido de audio multicanal
EP3074970B1 (en) * 2013-10-21 2018-02-21 Dolby International AB Audio encoder and decoder
WO2015080967A1 (en) 2013-11-28 2015-06-04 Dolby Laboratories Licensing Corporation Position-based gain adjustment of object-based audio and ring-based channel audio
US9866986B2 (en) 2014-01-24 2018-01-09 Sony Corporation Audio speaker system with virtual music performance
EP3540732B1 (en) * 2014-10-31 2023-07-26 Dolby International AB Parametric decoding of multichannel audio signals
CN106303897A (zh) 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
US9826332B2 (en) * 2016-02-09 2017-11-21 Sony Corporation Centralized wireless speaker system
US9924291B2 (en) 2016-02-16 2018-03-20 Sony Corporation Distributed wireless speaker system
US9826330B2 (en) 2016-03-14 2017-11-21 Sony Corporation Gimbal-mounted linear ultrasonic speaker assembly
US9794724B1 (en) 2016-07-20 2017-10-17 Sony Corporation Ultrasonic speaker assembly using variable carrier frequency to establish third dimension sound locating
US9924286B1 (en) 2016-10-20 2018-03-20 Sony Corporation Networked speaker system with LED-based wireless communication and personal identifier
US10075791B2 (en) 2016-10-20 2018-09-11 Sony Corporation Networked speaker system with LED-based wireless communication and room mapping
US9854362B1 (en) 2016-10-20 2017-12-26 Sony Corporation Networked speaker system with LED-based wireless communication and object detection
US10424307B2 (en) 2017-01-03 2019-09-24 Nokia Technologies Oy Adapting a distributed audio recording for end user free viewpoint monitoring
EP3740950B8 (en) * 2018-01-18 2022-05-18 Dolby Laboratories Licensing Corporation Methods and devices for coding soundfield representation signals
EP3809709A1 (en) * 2019-10-14 2021-04-21 Koninklijke Philips N.V. Apparatus and method for audio encoding
US11443737B2 (en) 2020-01-14 2022-09-13 Sony Corporation Audio video translation into multiple languages for respective listeners

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
WO2007004833A2 (en) * 2005-06-30 2007-01-11 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
BRPI0713236B1 (pt) * 2006-07-07 2020-03-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Conceito para combinação de múltiplas fontes de áudio parametricamente codificadas
CN101617360B (zh) 2006-09-29 2012-08-22 韩国电子通信研究院 用于编码和解码具有各种声道的多对象音频信号的设备和方法
CN101479785B (zh) * 2006-09-29 2013-08-07 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
BRPI0715312B1 (pt) 2006-10-16 2021-05-04 Koninklijke Philips Electrnics N. V. Aparelhagem e método para transformação de parâmetros multicanais
PL2068307T3 (pl) * 2006-10-16 2012-07-31 Dolby Int Ab Udoskonalony sposób kodowania i odtwarzania parametrów w wielokanałowym kodowaniu obiektów poddanych procesowi downmiksu
JP5302207B2 (ja) * 2006-12-07 2013-10-02 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
EP2595151A3 (en) 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Transcoding apparatus
WO2008084427A2 (en) * 2007-01-10 2008-07-17 Koninklijke Philips Electronics N.V. Audio decoder
TWI443647B (zh) * 2007-02-14 2014-07-01 Lg Electronics Inc 用以將以物件為主之音訊信號編碼與解碼之方法與裝置
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
MX2010004220A (es) 2007-10-17 2010-06-11 Fraunhofer Ges Forschung Codificacion de audio usando mezcla descendente.
EP2624253A3 (en) * 2007-10-22 2013-11-06 Electronics and Telecommunications Research Institute Multi-object audio encoding and decoding method and apparatus thereof
KR101342425B1 (ko) * 2008-12-19 2013-12-17 돌비 인터네셔널 에이비 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법 및 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하도록 구성된 리버브레이터
CN102804747B (zh) * 2009-04-15 2014-04-02 弗兰霍菲尔运输应用研究公司 多通道回波对消器
US20100324915A1 (en) 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
KR101283783B1 (ko) * 2009-06-23 2013-07-08 한국전자통신연구원 고품질 다채널 오디오 부호화 및 복호화 장치
MX2012003785A (es) 2009-09-29 2012-05-22 Fraunhofer Ges Forschung Decodificador de señal de audio, codificador de señal de audio, metodo para proveer una representacion de señal de mezcla ascendente, metodo para proveer una representacion de señal de mezcla descendente, programa de computadora y cadena de bits usando un valor de parametro de correlacion-inter-objeto-comun.
EP2360681A1 (en) * 2010-01-15 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information
TWI444989B (zh) * 2010-01-22 2014-07-11 Dolby Lab Licensing Corp 針對改良多通道上混使用多通道解相關之技術

Also Published As

Publication number Publication date
BR112014010062A2 (pt) 2017-06-13
CN103890841B (zh) 2017-10-17
EP2751803B1 (en) 2015-09-16
RU2014122111A (ru) 2015-12-10
JP2014532901A (ja) 2014-12-08
US20140297296A1 (en) 2014-10-02
EP2751803A1 (en) 2014-07-09
BR112014010062B1 (pt) 2021-12-14
CN103890841A (zh) 2014-06-25
US9966080B2 (en) 2018-05-08
WO2013064957A1 (en) 2013-05-10
RU2618383C2 (ru) 2017-05-03
IN2014CN03413A (ja) 2015-07-03
BR112014010062A8 (pt) 2017-06-20

Similar Documents

Publication Publication Date Title
JP6096789B2 (ja) オーディオオブジェクトのエンコーディング及びデコーディング
RU2643644C2 (ru) Кодирование и декодирование аудиосигналов
TWI463485B (zh) 音訊信號解碼器或編碼器、用以提供上混信號表示型態或位元串流表示型態之方法、電腦程式及機器可存取媒體
JP4616349B2 (ja) ステレオ互換性のあるマルチチャネルオーディオ符号化
TWI441165B (zh) 用以基於下混信號表示型態而提供上混信號表示型態之裝置、用以提供表示多聲道音訊信號之位元串流之裝置、方法、電腦程式及利用線性組合參數表示多聲道音訊信號之位元串流
CN105580073B (zh) 音频解码器、音频编码器、方法和计算机可读存储介质
JP6134867B2 (ja) レンダラ制御式空間アップミックス
JP5490143B2 (ja) ダウンミックスオーディオ信号をアップミックスするためのアップミキサー、方法、および、コンピュータ・プログラム
WO2012098098A1 (en) Encoding and decoding of slot positions of events in an audio signal frame
JP6133422B2 (ja) マルチチャネルをダウンミックス/アップミックスする場合のため一般化された空間オーディオオブジェクト符号化パラメトリック概念のデコーダおよび方法
JP2012063782A (ja) マルチチャンネルオーディオ信号のエンコーディング/デコーディングシステム、記録媒体及び方法
EP2102856A1 (en) A method and an apparatus for processing an audio signal
CN107077861B (zh) 音频编码器和解码器
RU2604337C2 (ru) Декодер и способ многоэкземплярного пространственного кодирования аудиообъектов с применением параметрической концепции для случаев многоканального понижающего микширования/повышающего микширования
KR101808464B1 (ko) 변형된 출력 신호를 얻기 위해 인코딩된 오디오 신호를 디코딩하기 위한 장치 및 방법
KR101595995B1 (ko) 송신 효과 처리에 의한 출력 신호의 생성

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170216

R150 Certificate of patent or registration of utility model

Ref document number: 6096789

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250