JP5592974B2 - 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現 - Google Patents

多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現 Download PDF

Info

Publication number
JP5592974B2
JP5592974B2 JP2013100865A JP2013100865A JP5592974B2 JP 5592974 B2 JP5592974 B2 JP 5592974B2 JP 2013100865 A JP2013100865 A JP 2013100865A JP 2013100865 A JP2013100865 A JP 2013100865A JP 5592974 B2 JP5592974 B2 JP 5592974B2
Authority
JP
Japan
Prior art keywords
audio
downmix
matrix
output
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013100865A
Other languages
English (en)
Other versions
JP2013190810A (ja
Inventor
ヨナス エングデガルド
ラルス ヴィレモース
ハイコ プルンハーゲン
バーバラ レッシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Publication of JP2013190810A publication Critical patent/JP2013190810A/ja
Application granted granted Critical
Publication of JP5592974B2 publication Critical patent/JP5592974B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 

Description

本発明は、有効な多チャネルダウンミックスと追加的制御データとに基づく、符号化された多オブジェクト信号からの多オブジェクトの復号化に関する。
オーディオ技術における近年の発展により、ステレオ（又はモノラル）信号及び対応する制御データに基づいて、オーディオ信号の多チャネル表現を再生することが可能となった。これらパラメトリックサラウンド符号化の方法は、通常はパラメータ化を含んでいる。パラメトリック多チャネルオーディオ復号器（例えばISO/IEC23003-1の非特許文献１及び非特許文献２に定義されるようなＭＰＥＧサラウンド復号器）は、伝送されたＫ個のチャネルに基づいてＭ個のチャネルを再生する。ここで、Ｍ＞Ｋであり、追加の制御データが使用される。この制御データは、IID（チャネル間強度差）及びICC（チャネル間コヒーレンス）に基づく多チャネル信号のパラメータ化からなる。これらのパラメータは、通常、符号化の段階で抽出され、アップミックスの過程におけるチャネル・ペア間のパワー比及び相関関係を表わしている。このような復号化の枠組みを使用することで、符号化において、Ｍ個の全てのチャネルを伝送する場合に比べてかなり低いデータレートを達成できるため、符号化をきわめて効率的にすると同時に、Ｋチャネルの装置とＭチャネルの装置との両方への互換性を保証している。
L. Villemoes, J. Herre, J. Breebaart, G. Hotho, S. Disch, H. Purnhagen, and K. Kjorling, "MPEG Surround: The Forthcoming ISO Standard for Spatial Audio Coding," in 28th International AES Conference, The Future of Audio Technology Surround and Beyond, Pitea, Sweden, June 30-July 2, 2006. J. Breebaart, J. Herre, L. Villemoes, C. Jin, , K. Kjorling, J. Plogsties, and J. Koppens, "Multi-Channels goes Mobile: MPEG Surround Binaural Rendering," in 29th International AES Conference, Audio for Mobile and Handheld Devices, Seoul, Sept 2-4, 2006. C. Faller, "Parametric Joint-Coding of Audio Sources," Convention Paper 6752 presented at the 120th AES Convention, Paris, France, May 20-23, 2006. E. Schuijers, J. Breebart, and H. Purnhagen "Low complexity parametric stereo coding" Proc 116th AES convention Berlin, Germany 2004, Preprint 6073
C. Faller, “Parametric Joint-Coding of Audio Sources,” Patent application PCT/EP2006/050904, 2006.
非常に関連する符号化システムとして、非特許文献３と特許文献１に開示された対応するオーディオオブジェクト符号器が挙げられる。この中では、複数のオーディオオブジェクトが符号器でダウンミックスされ、その後、制御データに従ってアップミックスされる。このアップミックスの過程は、ダウンミックスにおいてミキシングされたオブジェクトの分離過程としても見ることができる。その結果として得るアップミックスされた信号は、１つ又は複数の再生チャネルへと再現される。さらに詳しく言えば、非特許文献３及び特許文献１は、（合計信号と呼ばれる）ダウンミックスからのオーディオチャネルと、ソースオブジェクトに関する統計的な情報と、好ましい出力フォーマットを表すデータとを統合する方法を提供している。複数のダウンミックス信号が使用される場合には、これらのダウンミックス信号はオブジェクトの様々なサブセットから成り、かつアップミックスは各ダウンミックスチャネルについて個別に実行される。本発明が提供する新たな方法においては、アップミックスが全てのダウンミックスチャネルについて合同的(jointly)に実行される。オブジェクト符号化の方法として、本発明の以前には、複数のチャネルを備えるダウンミックスを合同的に復号化するための解決方法を提供するものが存在しなかった。
本発明の第１の実施形態は、符号化されたオーディオオブジェクト信号を使用して出力データを生成するオーディオ合成器であって、所定のオーディオ出力形態を持ちかつ複数のオーディオオブジェクトを表す複数の出力チャネルを再現するために、使用可能な出力データを生成する出力データ合成器を含み、当該出力データ合成器は、前記複数のオーディオオブジェクトの少なくとも２つのダウンミックスチャネルへの配分を示すダウンミックス情報と、前記オーディオオブジェクトのためのオーディオオブジェクトパラメータとを使用し、前記オーディオ出力形態の中の前記オーディオオブジェクトの目標位置を追加的に使用することで、前記オーディオオブジェクトパラメータを前記所定のオーディオ出力形態のための空間パラメータへとトランスコードすることを特徴とする、オーディオ合成器である。
本発明の第２の実施形態は、符号化されたオーディオオブジェクト信号を用いて出力データを生成するためのオーディオ合成方法において、複数のオーディオオブジェクトを表す所定のオーディオ出力形態の複数の出力チャネルを作り出すために用いられる前記出力データを生成する工程を含み、その工程は、前記複数のオーディオオブジェクトの少なくとも２つのダウンミックスチャネルへの配分を示すダウンミックス情報と、前記オーディオオブジェクトのためのオーディオオブジェクトパラメータとを使用し、前記オーディオ出力形態の中の前記オーディオオブジェクトの目標位置を追加的に使用することで、前記オーディオオブジェクトパラメータを前記所定のオーディオ出力形態のための空間パラメータへとトランスコードすることを特徴とする、オーディオ合成方法である。
本発明の第３の実施形態は、複数のオーディオオブジェクトを用いて符号化されたオーディオオブジェクト信号を生成するためのオーディオオブジェクト符号器であって、前記複数のオーディオオブジェクトの少なくとも２つのダウンミックスチャネルへの配分を示すダウンミックス情報を生成するためのダウンミックス情報生成器であって、前記少なくとも２つのダウンミックスチャネルのパワー特性と相関関係特性とをそれぞれ示すパワー情報と相関関係情報とを生成する、ダウンミックス情報生成器と、前記オーディオオブジェクトのためのオブジェクトパラメータを生成するためのオブジェクトパラメータ生成器と、前記ダウンミックス情報と前記パワー情報と前記相関関係情報と前記オブジェクトパラメータとを含む前記符号化されたオーディオオブジェクト信号を生成するための出力インターフェースと、を備えたことを特徴とするオーディオオブジェクト符号器である。
本発明の第４の実施形態は、複数のオーディオオブジェクトを用いて符号化されたオーディオオブジェクト信号を生成するためのオーディオオブジェクト符号化方法であって、前記複数のオーディオオブジェクトの少なくとも２つのダウンミックスチャネルへの配分を示すダウンミックス情報を生成するステップと、前記少なくとも２つのダウンミックスチャネルのパワー特性と相関関係特性とをそれぞれ示すパワー情報と相関関係情報とを生成するステップと、前記オーディオオブジェクトのためのオブジェクトパラメータを生成するステップと、前記パワー情報と前記相関関係情報と前記ダウンミックス情報と前記オブジェクトパラメータとを含む、前記符号化されたオーディオオブジェクト信号を生成するステップと、を備えたことを特徴とするオーディオオブジェクト符号化方法である。
本発明の第５の実施形態は、複数のオーディオオブジェクトの少なくとも２つのダウンミックスチャネルへの配分を示すダウンミックス情報と、前記少なくとも２つのダウンミックスチャネルのパワー特性及び相関関係特性をそれぞれ示すパワー情報及び相関関係情報と、オブジェクトパラメータとを含む符号化されたオーディオオブジェクト信号を記憶した、コンピュータにより読み出し可能な記憶媒体であって、前記オブジェクトパラメータと前記少なくとも２つのダウンミックスチャネルとを使用して前記オーディオオブジェクトの再構成が可能となるように、前記オブジェクトパラメータが設定されている記憶媒体である。
本発明の実施例を添付の図面を参照しながら以下に説明するが、これらの図面は本発明の範囲や思想を限定するものではない。
符号化と復号化とを含む空間オーディオオブジェクト符号化の動作を示した図である。 ＭＰＥＧサラウンド復号器を再使用する空間オーディオオブジェクト符号化の動作を示した図である。 空間オーディオオブジェクト符号化の動作を示した図である。 オーディオオブジェクトパラメータ抽出器のエネルギーベースのモードにおける動作を示した図である。 オーディオオブジェクトパラメータ抽出器の予測ベースのモードにおける動作を示した図である。 ＳＡＯＣ（空間オーディオオブジェクト符号化）からＭＰＥＧサラウンドへのトランスコーダの構造を示した図である。 ダウンミックス変換器の様々な作動モードを示した図である。 ステレオダウンミックスのためのＭＰＥＧサラウンド復号器の構造を示した図である。 ＳＡＯＣ符号器を含む現実の使用状況を示した図である。 符号器の実施例を示した図である。 復号器の実施例を示した図である。 様々な好ましい復号器／合成器のモードを示すための表である。 所定の空間アップミックスパラメータを計算するための方法を示した図である。 追加的な空間アップミックスパラメータを計算するための方法を示した図である。 予測パラメータを使用した計算方法を示した図である。 符号器／復号器システムの概略図である。 オブジェクト予測パラメータを計算するための方法を示した図である。 ステレオ再現の方法を示した図である。
後述する実施例は、本発明が提供する多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現の原理を説明するための、単に例示的な実施例である。ここに示す形態及び詳細の修正あるいは変形が可能であることは、当業者には明らかである。従って、本発明の趣旨は特許請求の範囲の記載によってのみ限定されるものであり、以下の明細書に記載する具体的な詳細説明によって限定されるものではない。
本発明の好ましい実施の形態は、オブジェクト符号化の枠組みの機能性と多チャネル復号器の再現能力とを組み合わせた、符号化の枠組みを提供する。伝送された制御データは個々のオブジェクトに関連するものであり、従って空間的な位置やレベルに関しては、復元する際には手動操作が可能となる。そのため、制御データは所謂、場面描写に直接的に関連し、各オブジェクトの位置決めに関する情報を与える。場面描写は、復号器側でリスナーによって相互作用的に制御されても良いし、あるいは符号器側で製作者によって制御されても良い。
本発明が示すトランスコーダの段階は、オブジェクトに関連する制御データとダウンミックス信号とを変換し、復元システム、例えばＭＰＥＧサラウンド復号器に関連する制御データとダウンミックス信号とを得るために使用される。
本発明の符号化の枠組の中では、符号器において利用可能なダウンミックスチャネルの中に、オブジェクトを任意の方法で分配することができる。トランスコーダは多チャネルダウンミックス情報をそのまま使用し、トランスコードされたダウンミックス信号とオブジェクトに関連する制御データとを供給する。この手段により、復号器におけるアップミキシングは、非特許文献３に開示されたように全てのチャネルについて個々に実行されるのではなく、全てのダウンミックスチャネルが１つの単一アップミキシング工程において同時に処理される。本発明の新たな枠組みの中では、多チャネルダウンミックス情報は制御データの一部分であり、オブジェクト符号器によって符号化される。
オブジェクトをダウンミックスチャネルへと分配する際には、自動的に分配されても良いし、符号器側の設計に合わせて分配されても良い。後者の場合には、ダウンミックスが既存の多チャネル復元の枠組み（例えばステレオ復元システム）に対しても適合するように設計することができる。即ち、復元を主眼とし、トランスコード化及び多チャネル復号化段階を省略するような枠組みにも適合するよう設計することができる。この適合性は、単一のダウンミックスチャネルから構成されるかあるいはソースオブジェクトのサブセットを有する複数のダウンミックスチャネルから構成される従来技術による符号化の枠組みと比較して、さらに有利といえる。
従来技術によるオブジェクト符号化の枠組みにおける復号化の過程では、単一のダウンミックスチャネルを使用していたが、本発明にかかる方法においてはこのような制限を受けることはない。なぜなら、本発明の方法では、複数チャネルのダウンミックスを含むダウンミックスを合同して復号化するからである。オブジェクトを分離する際に取得可能となる品質は、ダウンミックスチャネルの数が増大するにつれて高くなる。ゆえに、本発明は、単一のモノラルダウンミックスチャネルを有するオブジェクト符号化の枠組みと、多チャネル符号化の枠組みであって各オブジェクトが別々のチャネルによって伝送される枠組みとの間のギャップを埋める役割を果たす。従って本発明が提案する枠組みでは、個々のオブジェクトの品質について、適用条件と伝送システムの特性（例えばチャネル容量等）とに基づいて、柔軟なスケーリングが可能となる。
さらに、従来のオブジェクト符号化の枠組みのように、場面描写を強度の違いに限定することなく、複数のダウンミックスを使用することで、個々のオブジェクト間の相関関係を追加的に考慮することが可能となるので、有利である。従来技術の枠組みは、全てのオブジェクトが独立しており、互いに相関関係がない（クロス相関ゼロ）であるという仮定の上に成り立っている。しかし、現実には、例えばステレオ信号の左と右のチャネルのように、オブジェクト間に相関関係がないという可能性は少ない。本発明のように、描写（制御データ）の中に相関関係を組み入れることで、描写がより完全なものとなり、その結果、オブジェクトを分離する能力をさらに高めることになる。
本発明の好ましい実施の形態は、以下の特徴のうちの少なくとも１つを含む。多チャネルダウンミックスとオブジェクトを表す追加的制御データとを使用して、複数の個々のオーディオオブジェクトを伝送しかつ作り出すシステムであって、複数のオーディオオブジェクトを、多チャネルダウンミックス、その多チャネルダウンミックスについての情報、及びオブジェクトパラメ―タへと符号化するための空間オーディオオブジェクト符号器を備えるか、又は、多チャネルダウンミックス、その多チャネルダウンミックスについての情報、オブジェクトパラメ―タ、及びオブジェクト再現行列をオーディオ復元に適した第２の多チャネルオーディオ信号へと復号化するための空間オーディオオブジェクト復号器と、を備える。
図１Ａは空間オーディオオブジェクト符号化（ＳＡＯＣ）の作動を示す図であり、ＳＡＯＣ符号器１０１とＳＡＯＣ復号器１０４とが含まれる。ＳＡＯＣ符号器１０１は、符号化パラメータに従って、Ｎ個のオブジェクトを、Ｋ個（Ｋ>１）のオーディオチャネルから成る１つのオブジェクトダウンミックスへと符号化する。ダウンミックスのパワーと相関関係に関する任意のデータと共に、適用されたダウンミックス重み行列Ｄに関する情報がこのＳＡＯＣ符号器から出力される。この行列Ｄは、必ずしも常にというわけではないが、多くの場合には時間と周波数とに関して一定である。従って、比較的少量の情報を表している。最後に、ＳＡＯＣ符号器は各オブジェクトについて、時間及び周波数の両方の関数としてのオブジェクトパラメータを、知覚を考慮して定義された解像度で抽出する。ＳＡＯＣ復号器１０４は、(符号器によって生成された)オブジェクトダウンミックスチャネルと、ダウンミックス情報と、オブジェクトパラメータとを入力として取り入れ、Ｍ個のオーディオチャネルを有する出力を、ユーザーに対する表示のために生成する。Ｎ個のオブジェクトからＭ個のオーディオチャネルへの再現は、ＳＡＯＣ復号器へのユーザー入力として与えられる再現行列(rendering matrix)を利用している。
図１ＢはＭＰＥＧサラウンド復号器を使用する空間オーディオオブジェクト符号化の作動を示した図である。本発明に従うＳＡＯＣ復号器１０４は、ＳＡＯＣからＭＰＥＧサラウンドへのトランスコーダ１０２と、ステレオダウンミックスに基づくＭＰＥＧサラウンド復号器１０３として実現できる。Ｍ×Ｎの大きさを持つユーザーにより制御される再現行列Ａが、Ｎ個のオブジェクトからＭ個のオーディオチャネルへの目標再現を定義する。この行列は時間と周波数との両方に依存することが可能であり、この行列は、オーディオオブジェクト操作（外部から与えられる場面描写も利用可能である）のためのユーザーにとってより好ましいインターフェースの最終的な出力となる。５．１スピーカのセットアップの場合には、出力オーディオチャネルの数はＭ＝６である。ＳＡＯＣ復号器の役割は、元のオーディオオブジェクトの目標再現を知覚的に再現することである。ＳＡＯＣからＭＰＥＧサラウンドへのトランスコーダ１０２は、再現行列Ａと、オブジェクトダウンミックスと、ダウンミックス重み行列Ｄを含むダウンミックス・サイド情報と、オブジェクト・サイド情報とを入力として取り込み、ステレオダウンミックスとＭＰＥＧサラウンド・サイド情報とを生成する。このトランスコーダを本発明に従って構成した場合には、これらのデータを与えられた後続のＭＰＥＧサラウンド復号器１０３はＭチャネルのオーディオ出力を好適な特性とともに生成するであろう。
図２は本発明に従う空間オーディオオブジェクト（ＳＡＯＣ）符号器１０１の作動を示す。Ｎ個のオーディオオブジェクトが、ダウンミキサ２０１とオーディオオブジェクトパラメータ抽出器２０２との両方に入力される。ダウンミキサ２０１は、符号器パラメータに従って、入力されたオブジェクトをミキシングし、Ｋ個(Ｋ＞１)のオーディオチャネルから成る一つのオブジェクトダウンミックスを出力するとともに、ダウンミックス情報をも出力する。このダウンミックス情報は、適用されたダウンミックス重み行列Ｄに関する記述を含み、さらに、後続のオーディオオブジェクトパラメータ抽出器が予測モードで動作する場合には、オブジェクトダウンミックスのパワーと相関関係とを示すパラメータを含んでも良い。後述するように、このような追加的なパラメータの役割は、オブジェクトパラメータの表現がダウンミックスに対する相対的な表現だけである場合、即ち５．１スピーカのセットアップのための前／後のキューが第１の例として挙げられるような場合に、再現されるオーディオチャネルのサブセットのエネルギー及び相関関係に対してアクセスを提供することである。オーディオオブジェクトパラメータ抽出器２０２は、符号器パラメータに従ってオブジェクトパラメータを抽出する。この符号器制御は、時間と周波数とで変化する基準に基づいて、２つの符号器モードのうちの１つ、即ちエネルギーに基づくモードかあるいは予測に基づくモードのうちのいずれを適用するかを決定する。エネルギーに基づくモードにおいては、符号器パラメータは、Ｎ個のオーディオオブジェクトからＰ個のステレオオブジェクト及び（Ｎ−２Ｐ）個のモノラルオブジェクトへのグループ化に関する情報をさらに含む。各モードについては図３及び図４を用いてさらに詳細に説明する。
図３はエネルギーに基づくモードで作動しているオーディオオブジェクトパラメータ抽出器２０２を示す。符号器パラメータに含まれるグループ化情報に従い、Ｐ個のステレオオブジェクト及び（Ｎ−２Ｐ）個のモノラルオブジェクトへのグループ化３０１が実行される。次に、対象となる各時間周波数区間に対し、以下の操作が実行される。即ち、ステレオパラメータ抽出器３０２により、Ｐ個のステレオオブジェクトの各個について、２つのオブジェクトパワーと１つの正規化された相関関係とが抽出される。また、モノラルパラメータ抽出器３０３により、（Ｎ−２Ｐ）個のモノラルオブジェクトの各個について、１つのパワーパラメータが抽出される。Ｎ個のパワーパラメータとＰ個の正規化された相関関係パラメータとからなる全体のセットは、グループ化データとともに次の符号化３０４において、オブジェクトパラメータを形成する。この符号化３０４は、最大のオブジェクトパワー又は抽出されたオブジェクトパワーの合計に関し、正規化ステップを含んでも良い。
図４は予測に基づくモードで作動しているオーディオオブジェクトパラメータ抽出器２０２を示す。対象となる各時間周波数区間に対し、以下の操作が実行される。即ち、Ｎ個のオブジェクトの各個について、Ｋ個のオブジェクトダウンミックスチャネルの一次結合(linear combination)であって、最小自乗法(least squares sense)において所与のオブジェクトに適合するものが導出される。この一次結合のこれらＫ個の重みはオブジェクト予測係数（ＯＰＣ）と呼ばれ、ＯＰＣ抽出器４０１で算出される。Ｎ・Ｋ個のＯＰＣからなる全体のセットは、次の符号化４０２においてオブジェクトパラメータを形成する。この符号化４０２は、一次相互依存性(linear interdependencies)に基づいて、ＯＰＣの全体数の減少を含んでも良い。本発明が教示するように、ダウンミックス重み行列Ｄが完全な階数(full rank)を有する場合には、この全体数をmax{K・(N-K), 0}まで削減することができる。
図５は本発明が開示するＳＡＯＣからＭＰＥＧサラウンドへのトランスコーダ１０２の構成を示す。パラメータ計算器５０２により、時間周波数区間のそれぞれについて、ダウンミックス・サイド情報及びオブジェクトパラメータが再現行列と組み合わされ、タイプCLD，CPC，ICCのＭＰＥＧサラウンドパラメータと、２×Ｋのサイズを持つダウンミックス変換行列Ｇとが形成される。ダウンミックス変換器５０１は、行列Ｇに従う行列動作を適用することで、オブジェクトダウンミックスをステレオダウンミックスへと変換する。Ｋ＝２である簡素なモードを有する変換器においては、この行列は恒等行列であり、オブジェクトダウンミックスはステレオダウンミックスとしてそのまま送られる。図５においては、このモードは選択切替器５０３がＡの位置にある場合として示され、他方、通常の作動モードは切替器がＢの位置にある場合として示される。本発明のトランスコーダのさらなる利点は、独立形適用(stand alone application)として、即ちＭＰＥＧサラウンドパラメータが無視されかつダウンミックス変換器の出力がステレオ再現に直接的に使用される場合であっても、このトランスコーダが使用できる点である。
図６は本発明が開示するダウンミックス変換器５０１の様々な作動モードを示す。Ｋチャネルのオーディオ符号器から出力されたビットストリーム形式のオブジェクトダウンミックスが送信されたと仮定する。この場合、このビットストリームは、まずオーディオ復号器６０１によりＫ個の時間ドメインオーディオ信号へと復号化される。これらの信号は次に、Ｔ／Ｆユニット６０２内のＭＰＥＧサラウンドハイブリッドＱＭＦフィルタにより、全て周波数ドメインへと変換される。その結果生成されるハイブリッドＱＭＦドメイン信号に対し、変換器行列データで定義され時間及び周波数で変化する行列操作が、行列化ユニット６０３により実行され、行列化ユニット６０３はハイブリッドＱＭＦドメインで１つのステレオ信号を出力する。ハイブリッド合成ユニット６０４は、このステレオハイブリッドＱＭＦドメイン信号を、１つのステレオＱＭＦドメイン信号へと変換する。ハイブリッドＱＭＦドメインは、後続のＱＭＦサブバンドのフィルタリングを用い、低周波に向かうより良好な周波数解像度を達成するために定義されている。この後続のフィルタリングがナイキストフィルタのバンクによって定義される場合には、ハイブリッドから標準ＱＭＦドメインへの変換は、単にハイブリッドサブバンド信号のグループを合計することから構成される（非特許文献４を参照）。この信号は、選択切替器６０７が位置Ａにある場合の、ダウンミックス変換器の可能性のある第１の出力フォーマットを構成する。このようなＱＭＦドメイン信号は、ＭＰＥＧサラウンド復号器の対応するＱＭＦドメインインターフェースへと、直接的に入力することができる。これは、遅延，複雑性，及び品質の観点から、最も有利な作動モードである。第２の可能性は、ステレオ時間ドメイン信号を得るために、ＱＭＦフィルタバンク合成６０５を実行することで達成される。選択切替器６０７が位置Ｂにある場合、変換器はデジタルオーディオステレオ信号を出力するが、この信号は後続のＭＰＥＧサラウンド復号器の時間ドメインインターフェースへと入力することができるか、あるいはステレオ再生装置によって直接的に再現することができる。第３の可能性は、選択切替器６０７が位置Ｃにある場合であり、時間ドメインステレオ信号をステレオオーディオ符号器６０６により符号化することで達成される。ダウンミックス変換器の出力フォーマットは、この場合はステレオオーディオビットストリームであり、ＭＰＥＧ復号器に含まれる中核の復号器に対して互換性を持つ。この第３の作動モードは、ＳＡＯＣからＭＰＥＧサラウンドへのトランスコーダが、ＭＰＥＧ復号器とビットレートに関して制限を加えるような接続を介して分離されている場合か、又はユーザーが将来の再生のために特別なオブジェクト再現を記憶させたいと希望する場合にとって、好適である。
図７はステレオダウンミックスのためのＭＰＥＧサラウンド復号器の構造を示す。ステレオダウンミックスは「２→３（TTT）」ボックスにより３つの中間チャネルへと変換される。これらの各中間チャネルは、「１→２（OTT）」ボックスにより２つに分かれ、５．１チャネル形式の６つのチャネルを生み出す。
図８はＳＡＯＣ符号器を含む現実的な使用例を示す。オーディオミキサ８０２は、ステレオ信号（Ｌ及びＲ）を出力するが、これらのステレオ信号は、典型的にはミキサの入力信号（ここでは入力チャネル１−６）と、例えば残響等の影響反射からの選択的な追加の入力との組合せにより構成される。ミキサは、さらにこのミキサからの個別チャネル（ここではチャネル５）をも出力する。この出力は、例えば「直接出力」又は「補助送信」等のように一般的に使用されるミキサ機能を用いて実行されても良く、何らかの挿入プロセス（例えばダイナミックプロセス及びＥＱ）に続いて個別チャネルが出力されても良い。前記ステレオ信号（Ｌ及びＲ）と個別チャネル出力（obj５）とは、ＳＡＯＣ符号器８０１へと入力されるが、この符号器は図１に示したＳＡＯＣ符号器１０１の特別型に過ぎない。しかし、図８は、例えば会話等を含むオーディオオブジェクト（obj５）が、ステレオミックス（Ｌ及びＲ）の一部である一方で、復号器側においてユーザーによりレベル修正が制御可能であることを明確に示す。本発明の概念から、２つ以上のオーディオオブジェクトを符号器８０１内の「オブジェクト入力」パネルへと接続しても良いことは自明である。さらに、ステレオミックスは例えば５．１ミックスのような多チャネルミックスにより拡張されても良い。
以下に、本発明を数学的に説明する。離散複素信号ｘ，ｙについて、複素内積と自乗ノルム（エネルギー）は次の式で定義される。
Figure 0005592974
ここで、
Figure 0005592974
はy(k)の複素共役信号である。ここで考慮する全ての信号は、１つの修正フィルタバンクか、又は離散時間信号のウインドウ化されたＦＦＴ（高速フーリエ変換）分析からのサブバンドサンプルである。これらのサブバンドは、対応する合成フィルタバンク操作によって離散時間ドメインへと逆変換されなければならないことが知られている。Ｌ個のサンプルを持つ１つの信号ブロックは、時間及び周波数の１つの区間内における信号を表し、この区間は、信号特性を説明するために用いられた時間―周波数平面の知覚的動機に基づくタイル張りの一部である。この設定において、所与のオーディオオブジェクトは、1つの行列内の長さＬを有するＮ行として次の式で表すことができる。
Figure 0005592974
Ｋ×Ｎの大きさを有しＫ＞１であるダウンミクス重み行列Ｄが、次の行列の掛け算を通してＫ行を有する行列の形式でＫチャネルダウンミックス信号を決定する。
Figure 0005592974
Ｍ×Ｎの大きさを有し、ユーザーにより制御されるオブジェクト再現行列Ａが、次の行列の掛け算を通してＭ行を有する行列の形式でオーディオオブジェクトのＭチャネル目標再現を決定する。
Figure 0005592974
ここで暫く中核のオーディオ符号化の影響を考慮せずにおくと、ＳＡＯＣ復号器の役割は、再現行列Ａ、ダウンミックスＸ、ダウンミックス行列Ｄ及びオブジェクトパラメータを与えられたとして、原オーディオオブジェクトの目標再現Ｙの知覚的意味における近似を生成することである。
本発明が教示するエネルギーモードにおけるオブジェクトパラメータは、原オブジェクトの共分散に関する情報を有する。後続の導出のために便利でありかつ典型的な符号器操作を説明できる決定版においては、この共分散は、行列の積ＳＳ*により非正規化された形式で与えられる。このとき星印は複素共役転位行列操作を示す。このようにして、エネルギーモードのオブジェクトパラメータは、できればあるスケールファクタまでは、次式（５）を満たすような半正定値(positive semi-definite)のＮ×Ｎの行列Ｅを供給する。
Figure 0005592974
従来技術によるオーディオオブジェクト符号化では、全てのオブジェクトに相互関係がないオブジェクトモデルを考慮して来た。この場合には、行列Ｅは対角行列であり、オブジェクトエネルギー
Figure 0005592974
に対する近似だけを含む。図３に示すオブジェクトパラメータ抽出器は、このアイデアを具体化することに役立ち、相関関係がないとする仮定が成り立たないようなステレオ信号としてオブジェクトが供給される場合に、特に重要となる。オブジェクトのＰ個の選択されたステレオペアのグループ化は、インデックスのセット{(np,mp),p=1,2,...,P}で表現される。これらのステレオペアのために、相関関係＜sn,sm＞が計算され、次式（６）に示す正規化された相関関係（ICC）の複素数、実数、又は絶対値がステレオパラメータ抽出器３０２により抽出される。
Figure 0005592974
復号器では、２Ｐの非対角エントリを有する行列Ｅを形成するために、ICCデータはエネルギーと組み合わされても良い。例えば、全体でＮ＝３のオブジェクトであり、この内最初の２つが単一のペア（1,2）を構成するオブジェクトについては、送信されるエネルギー及び相関関係データはS1,S2,S3 及びρ1,2である。この場合、行列Ｅへの組合せにより、次の結果となる。
Figure 0005592974
本発明が教示する予測モードにおけるオブジェクトパラメータは、次式（７）で表すように、復号器にとって有効であるＮ×Ｋオブジェクト予測係数（ＯＰＣ）行列Ｃを作り出すことを目的とする。
Figure 0005592974
換言すれば、各オブジェクトについて、そのオブジェクトが次式（８）により近似的に回復できるようなダウンミックスチャネルの一次結合が存在する。
Figure 0005592974
ある好ましい実施の形態においては、ＯＰＣ抽出器４０１が次の正規方程式を解くか、
Figure 0005592974
あるいは、より好ましい実数値のＯＰＣの場合には、次式を解く。
Figure 0005592974
前記両方の場合において、実数値のダウンミックス重み行列Ｄと正則ダウンミックス共分散とを用いたと仮定すると、Ｄを左側から掛け算することにより、次式（１１）となる。
Figure 0005592974
ここで、Ｉは大きさＫの恒等行列である。もしＤが完全な階数を有する場合には、初歩的な線形代数により、式（９）の解のセットは、max{K・(N-K), 0}パラメータによりパラメータ化できることになる。この点は、ＯＰＣデータの結合符号化(joint encoding) ４０２の中で活用されている。復号器においては、完全な予測行列Ｃが、パラメータの減数されたセットとダウンミックス行列とから再形成可能となる。
例えば、１つのステレオダウンミックス（K=2）について、１つのステレオ音楽トラック（Ｓ1，Ｓ2）と中央にパンされた単一楽器又は音声トラックＳ3とを備える３つのオブジェクト(N=3)がある場合を考える。このときダウンミックス行列は次式で与えられる。
Figure 0005592974
つまり、ダウンミックス左チャネルと右チャネルはそれぞれ
Figure 0005592974
Figure 0005592974
となる。単一トラックのためのＯＰＣは、
Figure 0005592974
を近似することを目的としており、上述の式（１１）は、この場合、次式を達成するように解くことができる。
Figure 0005592974
よって、満足するＯＰＣの数はK(N-K)=2・(3-2)=2となる。
オブジェクト予測係数（ＯＰＣ）のＣ31，Ｃ32は次の正規方程式から導くことができる。
Figure 0005592974
ＳＡＯＣからＭＰＥＧサラウンドへのトランスコーダ
図７を参照すれば、５．１形式のＭ＝６出力チャネルは、（y1,y2,...,y6)＝(lf,ls,rf,rs,c,lfe)である。トランスコーダは、１つのステレオダウンミックス(l0,r0)と、TTT及びOTTボックスのためのパラメータとを出力しなければならない。ここではステレオダウンミックスに焦点を当てているので、以下の説明ではＫ＝２と仮定する。オブジェクトパラメータとＭＰＳのTTTパラメータとの両方が、エネルギーモードと予測モードとの両方で存在するので、４つの全ての組合せを考慮すべきである。エネルギーモードは、例えばダウンミックスオーディオ符号器が当該の周波数区間において波形符号器ではない場合に、適切な選択といえる。後述する説明から導出されるＭＰＥＧサラウンドパラメータが、伝送される前に適切に量子化されかつ符号化されなければならないことは公知である。
前記４つの組合せをさらに明確に記載すれば、以下のようになる。
１．オブジェクトパラメータはエネルギーモードであり、トランスコーダは予測モードである。
２．オブジェクトパラメータはエネルギーモードであり、トランスコーダもエネルギーモードである。
３．オブジェクトパラメータは予測モード（ＯＰＣ）であり、トランスコーダも予測モードである。
４．オブジェクトパラメータは予測モード（ＯＰＣ）であり、トランスコーダはエネルギーモードである。
ダウンミックスオーディオ符号器が当該の周波数区間において波形符号器である場合には、オブジェクトパラメータはエネルギーモードでも予測モードでも良いが、トランスコーダは好ましくは予測モードで作動すべきである。反対に、ダウンミックスオーディオ符号器が当該の周波数区間において波形符号器ではない場合には、オブジェクト符号器とトランスコーダとはエネルギーモードで作動すべきである。４番目の組合せはあまり適切ではないので、以下の説明では最初の３つの組合せについてだけ述べる。
エネルギーモードで与えられたオブジェクトパラメータ
エネルギーモードにおいては、トランスコーダに使用されるデータは３つのマトリクス（Ｄ，Ｅ，Ａ）の組により記述される。ＭＰＥＧサラウンドOTTパラメータは、伝送されたパラメータと６×Ｎの再現マトリクスＡとから導出される仮想再現について、エネルギー及び相関関係の推定を実施することで取得できる。６つのチャネルの目標共分散は、次の式で与えられる。
Figure 0005592974
ここで、式（５）を式（１３）に代入すると、次の近似が得られる。
Figure 0005592974
この近似式は、使用可能なデータにより完全に定義される。ｆktがＦの要素を表すものとすると、CLD及びICCは以下の式から読み取ることができる。
Figure 0005592974
Figure 0005592974
Figure 0005592974
Figure 0005592974
Figure 0005592974
ここで、φは絶対値φ(z)=|z|又は実数値演算子φ(z)=Re{z}である。
具体例として、前記式（１２）に関連して前に説明した３つのオブジェクトの場合を考える。このとき、再現行列を次のように仮定する。
Figure 0005592974
このとき再現目標は、オブジェクト１を右前と右サラウンドとの間に配置し、オブジェクト２を左前と左サラウンドとの間に配置し、オブジェクト３を右前、中央、低周波強化の中に配置するものとする。さらに、簡素にするために、これら３つのオブジェクトは互いに相関関係がなく、全て同一のエネルギーを有するものとし、次のように仮定する。
Figure 0005592974
この場合、式（１４）の右側は次のようになる。
Figure 0005592974
前記式（１５）−（１９）に対して適切な値を挿入すると、次の結果が得られる。
Figure 0005592974
その結果、ＭＰＥＧサラウンド復号器は、右前と右サラウンドとの間ではある非相関化処理を使用し、左前と左サラウンドとの間では非相関化処理を使用しないように指示を受けるであろう。
予測モードのＭＰＥＧサラウンドTTTパラメータにとって、第１のステップは、
Figure 0005592974
である結合されたチャネル(l,r,qc)について、３×Ｎの大きさを持つ減数された再現行列Ａ3を形成することである。このとき、Ａ3＝Ｄ36Ａであり、６から３への部分ダウンミックス行列は次式で定義される。
Figure 0005592974
前記部分ダウンミックスの重みｗp（p=1,2,3）は、ｗp(ｙ2p-1+ｙ2p）のエネルギーがある限度ファクタまではエネルギー||ｙ2p-1||2+||ｙ2||2の合計に等しくなるように調整される。部分ダウンミックス行列Ｄ36を導出するために必要な全てのデータは、Ｆにおいて使用可能である。
次に、３×２の大きさを持つ予測行列Ｃ3が以下のように生成される。
Figure 0005592974
このような行列は、好ましくはまず次の正規方程式を考慮することで導出される。
Ｃ3（ＤＥＤ*）＝Ａ3ＥＤ*
前記正規方程式の解は、オブジェクト共分散モデルＥを与えられた場合、前記式（２１）について可能な最良の波形適合を生成する。全体又は個別チャネル単位の予測損失補償のための行要素を含む、行列Ｃ3の後処理を行うことが好ましい。
上述のステップを明確に理解するためには、上述した具体的な６チャネル再現例の続きを考慮すべきである。Ｆの行列要素に関して言えば、ダウンミックスの重みは次式の解であり、
Figure 0005592974
上述の具体例においては次式となり、
Figure 0005592974
次の結果となる。
Figure 0005592974
これを上述の式（２０）に代入すると、次式が得られる。
Figure 0005592974
次に（有限精度に切り換えると）、上述の式Ｃ3（ＤＥＤ*）＝Ａ3ＥＤ*のシステムを解くことで次式が得られる。
Figure 0005592974
この行列Ｃ3は、オブジェクトダウンミックスから結合チャネル(l,r,qc)への望ましいオブジェクト再現に対する近似を得るための最良の重みを包含する。しかし、行列操作のこの一般的なタイプは、ＭＰＥＧサラウンド復号器により実行されることは不可能である。なぜなら、ＭＰＥＧサラウンド復号器はたった２つのパラメータしか使用しないので、TTT行列のための大きさが制限されているからである。本発明のダウンミックス変換器の目的は、オブジェクトダウンミックスを前処理し、この前処理とＭＰＥＧサラウンドTTT行列との組合せ効果が、行列Ｃ3により示される望ましいアップミックスと同一となるようにすることである。
ＭＰＥＧサラウンドにおいては、(l0,r0) から(l,r,qc)を予測するためのTTT行列は、次式を介して３つのパラメータ(α,β,γ)によりパラメータ化される。
Figure 0005592974
本発明が教示するダウンミックス変換行列Ｇは、γ＝１を選択し、次式のシステムを解くことで取得される。
Figure 0005592974
容易に証明できるように、上の式からＤTTTＣTTT＝Ｉとなり、Ｉは２×２の恒等行列であり、次式が成り立つ。
Figure 0005592974
従って、式（２３）の両側にＤTTTを左側から行列掛け算を行うと、次式の結果となる。
Figure 0005592974
一般的な場合では、Ｇは反転可能であり、式（２３）はＤTTTＣTTT＝Ｉに従うＣTTTについて唯一の解を持つ。TTTパラメータ(α,β)は、この解により決定される。
前述した具体例について、その解が次のように得られることは容易に証明できる。
Figure 0005592974
ここで注意すべきは、ステレオダウンミックスの主要部分は、この変換行列のために右と左の間で入れ替わることである。これは、前記再現例では、左のオブジェクトダウンミックスチャネル内にあるオブジェクトが右の音声場面に位置するように再現され、その逆もまた然りとなるという事実を反映したものである。このような現象は、ステレオモードのＭＰＥＧサラウンド復号器からは得られない現象である。
もしダウンミックス変換器を適用できない場合には、以下のような次善策をとることができる。エネルギーモードのＭＰＥＧサラウンドTTTパラメータに対しては、結合されたチャネル(l,r,c)のエネルギー配分が必要となる。ゆえに、関連するCLDパラメータはＦの要素から次式を通じて直接導出することができる。
Figure 0005592974
Figure 0005592974
この場合には、ダウンミックス変換器のため正のエントリを持つ対角行列Ｇだけを使用するのが良い。TTTアップミックスの前に、ダウンミックスチャネルの正確なエネルギー配分を達成することが可能になる。６から２へのチャネルダウンミックス行列Ｄ26＝ＤTTTＤ36と、次式からの定義とを基にして、
Figure 0005592974
Figure 0005592974
次の行列を単純に選択できる。
Figure 0005592974
さらに、上述のような対角形式のダウンミックス変換器は、オブジェクトからＭＰＥＧサラウンドへのトランスコーダから省略することもでき、ＭＰＥＧサラウンド復号器の任意のダウンミックスゲイン（ＡＤＧ）パラメータを活性化することで実現できると考えられる。これらゲインは、ＡＤＧi＝10log10(wii/zii) (i=1,2)によって、対数ドメインにおいて与えられるであろう。
予測モード（ＯＰＣ）で与えられたオブジェクトパラメータ
オブジェクト予測モードにおいては、利用できるデータは行列の３つの組（Ｄ，Ｃ，Ａ）によって表され、ここで、ＣはＯＰＣのＮ個のペアを有するＮ×２の行列である。予測係数の相対的な特性により、エネルギーベースのＭＰＥＧサラウンドパラメータの推定にとっては、次式のようにオブジェクトダウンミックスの２×２の共分散行列への近似に対してアクセスを有することがさらに必要となる。
Figure 0005592974
この情報は、オブジェクト符号器からダウンミックス・サイド情報の一部として伝送されることが好ましいが、トランスコーダにおいて、受信されたダウンミックスについて測定された結果から推定することも可能であるし、近似オブジェクトモデルを考慮することにより（Ｄ，Ｃ）から間接的に導出することも可能であろう。Ｚが与えられた場合、オブジェクト共分散は予測モデルＹ＝ＣＸを挿入することで推定可能であり、次式が得られる。
Ｅ＝ＣＺＣ*
そして、全てのＭＰＥＧサラウンドOTTとエネルギーモードTTTのパラメータは、エネルギーベースのオブジェクトパラメータの場合と同様に、Ｅから推定可能である。しかし、ＯＰＣを使用する大きな利点は、予測モードのＭＰＥＧサラウンドTTTパラメータとの組合せにおいて発生する。この場合、波形近似
Figure 0005592974
は、直ちに減数された予測行列
Figure 0005592974
をもたらし、この予測行列からTTTパラメータ(α,β)とダウンミックス変換器とに到達するまでの残りのステップは、エネルギーモードで与えられたオブジェクトパラメータの場合と同様である。現実に、上述の式（２２）から（２５）までのステップは、完全に同一である。結果として生まれる行列Ｇはダウンミックス変換器へと入力され、TTTパラメータ(α,β)はＭＰＥＧサラウンド復号器へと伝送される。
ステレオ再現のためのダウンミックス変換器の独立型適用
上述した全ての場合において、ステレオダウンミックス変換器５０１へのオブジェクトは、オーディオオブジェクトの５．１チャネル再現のステレオダウンミックスに対する近似を出力する。このステレオ再現は、Ａ2＝Ｄ26Ａにより定義される２×Ｎの行列Ａ2により表現できる。多くの適用例において、このダウンミックスはそのもの自身の特性から興味深いるものであるし、ステレオ再現Ａ2の直接的な操作も魅力的である。図解的な例として、ステレオトラックと、それに重畳され中央にパンされたモノラル音声トラックとが、図８に示しかつ式（１２）で説明した特別な方法の場合に従って符号化された場合について考察する。音声音量のユーザーによる制御は、次式の再現により実現することができる。
Figure 0005592974
ここで、νは音声と演奏曲との制御比率である。ダウンミックス変換行列の設計は、次式に基づく。
Figure 0005592974
予測ベースのオブジェクトパラメータについては、次の近似式
Figure 0005592974
を単に挿入し、次の変換行列を得る。
Figure 0005592974
エネルギーベースのオブジェクトパラメータについては、次の正規方程式を解けばよい。
Figure 0005592974
図９は本発明の１つの実施態様に従うオーディオオブジェクト符号器の好ましい一実施例を示す。このオーディオオブジェクト符号器１０１は、図８までの図面に関連して既に概略を説明したものと同様である。符号化されたオブジェクト信号を生成するためのオーディオオブジェクト符号器は、図９では、ダウンミキサ９２とオブジェクトパラメータ生成器９４とへの入力として示される、複数のオーディオオブジェクト９０を使用する。オーディオオブジェクト符号器１０１は、ダウンミックス情報９７を生成するためのダウンミックス情報生成器９６をさらに備え、ダウンミックス情報９７は、ダウンミキサ９２からの出力として示される少なくとも２つのダウンミックスチャネル９３に対する、前記複数のオーディオオブジェクトの配分を示している。
オブジェクトパラメータ生成器は、オーディオオブジェクトのためのオブジェクトパラメータ９５を生成する。このとき、オブジェクトパラメータは、これらのオブジェクトパラメータと少なくとも２つのダウンミックスチャネル９３とを使用して、オーディオオブジェクトの再構成が可能となるように計算される。しかし重要なことは、この再構成は符号器側において実行されるのではなく、復号器側において実行されることである。とはいえ、符号器側のオブジェクトパラメータ生成器９４は、復号器側でこの完全な再構成が可能となるように、オブジェクトのためのオブジェクトパラメータ９５を計算する。
オーディオブジェクト符号器１０１は、ダウンミックス情報９７とオブジェクトパラメータ９５とを使用して符号化されたオーディオオブジェクト信号９９を生成するための、出力インターフェース９８をさらに備えている。適用方法にも依るが、ダウンミックスチャネル９３もまた使用され、符号化されたオーディオオブジェクト信号へと符号化されても良い。しかし、出力インターフェース９８が、ダウンミックスチャネルを含まない符号化されたオーディオオブジェクト信号９９を生成する場合もありうる。このような状況は、復号器側で使用されるべきあらゆるダウンミックスチャネルも既に復号器側に存在しており、オーディオオブジェクトのためのダウンミックス情報とオブジェクトパラメータとが、ダウンミックスチャネルから分離して伝送されるような場合に起こりうる。このような状況は、復号器側のユーザーが、オブジェクトパラメータ及びダウンミックス情報とは別に、オブジェクトダウンミックスチャネル９３を安価で購入することができ、さらに、オブジェクトパラメータ及びダウンミックス情報を追加的な価格で購入することで、追加的な価値を得ることができる場合に有利となる。
オブジェクトパラメータ及びダウンミックス情報がない場合には、ユーザーは、ダウンミックスに含まれるチャネルの数に依存して、ダウンミックスチャネルをステレオ又は多チャネルの信号として再現することができる。当然ながら、前記少なくとも２つの伝送されたオブジェクトダウンミックスチャネルを単に加算することで、ユーザーはモノラル信号を再現することも可能である。再現の柔軟性とリスニングの品質と使用性とを高めるために、オブジェクトパラメータ及びダウンミックス情報はユーザーに対し、例えばステレオシステム、多チャネルシステム、あるいは波面合成システムさえ含むような、どのように意図されたオーディオ復元設定においても、オーディオオブジェクトの柔軟な再現を可能にする。波面合成システムはまだ一般的に普及してはいないが、５．１システム又は７．１システムのような多チャネルシステムは、消費者市場に日増しに普及しつつある。
図１０は出力データを生成するためのオーディオ合成器(audio synthesizer)を示し、このオーディオ合成器は出力データ合成器１００を含む。出力データ合成器は、入力として、ダウンミックス情報９７と、オーディオオブジェクトパラメータ９５とを受け取り、さらにおそらくは、符号１０５で示すように、例えばソースが再現された時にあるべきオーディオソースの位置又はユーザーから特定された特定ソースの音量等のような、目標オーディオソースデータを受け取る。
出力データ合成器１００は、複数のオーディオオブジェクトを表現する、所定のオーディオ出力形態（audio output configuration）の複数の出力チャネルを再現するために使用できる出力データを生成する。特に、出力データ合成器１００は、ダウンミックス情報９７とオーディオオブジェクトパラメータ９５とを使用して作動する。後で図１１を参照しながら説明するが、この出力データは様々に異なる適用方法を有するデータであって良い。即ち、出力チャネルの特定の再現を含む適用方法や、ソース信号の再構成だけを含む適用方法や、あるいは、出力チャネルの特定の再現はないが、例えば空間パラメータを記憶又は伝送するための空間アップミキサ設定用の空間再現パラメータへと、パラメータを符号変換することを含む適用方法を有するデータであっても良い。
図１４は本発明の一般的な適用のシナリオを示す。符号器側１４０はオーディオオブジェクト符号器１０１を含み、入力としてＮ個のオーディオオブジェクトを受け取る。この好ましいオーディオオブジェクト符号器の出力には、図１４には示されていないダウンミックス情報とオブジェクトパラメータとに加えて、Ｋ個のダウンミックスチャネルが含まれる。本発明に係るダウンミックスチャネルの数は、２以上である。
ダウンミックスチャネルは、空間アップミキサ１４３を含む復号器側１４２に伝送される。空間アップミキサ１４３は、本発明のオーディオ合成器を備えても良く、このときオーディオ合成器はトランスコーダモードで作動される。しかし、図１０に示すようなオーディオ合成器が空間アップミキサモードで作動する時には、空間アップミキサ１４３とオーディオ合成器とは、この実施例において同一の装置である。空間アップミキサは、Ｍ個のスピーカを介して再生されるべきＭ個の出力チャネルを生成する。これらのスピーカは、所定の空間位置に配置されたものであり、一体として所定のオーディオ出力形態を形成する。この所定のオーディオ出力形態を構成する１つの出力チャネルは、空間アップミキサ１４３の出力から、前記所定のオーディオ出力形態における複数の所定位置のうち１つの所定位置にある１つのスピーカの入力へと送られるべき、デジタル又はアナログのスピーカ信号であっても良い。状況に応じ、ステレオ再現が実行される場合には、出力チャネルの数Ｍは２個であって良い。しかし、多チャネル再現が実行される場合には、出力チャネルの数Ｍは２よりも大きな数字となる。典型的には、伝送リンクの条件により、ダウンミックスチャネルの数が出力チャネルの数よりも小さい状況が起こるであろう。この場合には、ＭはＫよりも大きいか、あるいは２倍以上になるようなＫよりもはるかに大きな数字であっても良い。
図１４は、本発明の符号器側と復号器側との機能を示すため、複数の行列表記をさらに含む。一般的には、サンプリング値のブロックが処理される。ゆえに、式（２）に示すように、１つのオーディオオブジェクトはＬ個のサンプリング値からなる１つの行として表現できる。行列Ｓは、オブジェクト数に対応するＮ個の行と、サンプル数に対応するＬ個の列とを持つ。行列Ｅは、式（５）に従って計算され、Ｎ個の行とＮ個の列とを持つ。オブジェクトパラメータがエネルギーモードで与えられた時、行列Ｅはオブジェクトパラメータを含む。相関関係がないオブジェクトについては、式（６）に関して上述したように、行列Ｅは、１つの主対角要素が１つのオーディオオブジェクトのエネルギーを与える主対角要素だけを備える。上述のように、全ての非対角要素は、２つのオーディオオブジェクトの相関関係を表しており、あるオブジェクトがステレオ信号の２つのチャネルである場合に特に有用である。
ある実施例においては、式（２）は時間ドメイン信号である。このとき、オーディオオブジェクトの全帯域のための単一のエネルギー値が生成される。しかし好ましくは、オーディオオブジェクトは、例えば変換の１つのタイプ又は１つのフィルタバンクを含む、時間／周波数変換器により処理される。後者の場合（１つのフィルタバンクを含む場合）には、式（２）は各サブバンドについて有効であり、その結果、各サブバンド及び各時間フレームについて行列Ｅを得ることになる。
ダウンミックスチャネル行列ＸはＫ個の行とＬ個の列とを備え、式（３）に従って計算される。式（４）に示すように、Ｍ個の出力チャネルは、Ｎ個のオブジェクトを使用して、これらＮ個のオブジェクトに対しいわゆる再現行列Ａを適用することで計算される。状況によるが、これらＮ個のオブジェクトは復号器側においてダウンミックスとオブジェクトパラメータとを使用して再生成可能であるし、この再現行列は、再構成されたオブジェクト信号に対して直接的に適用できる。
他の方法として、ダウンミックスは、ソース信号の格別な計算なしに出力チャネルへと直接的に変換されても良い。一般的に再現行列Ａは、所定のオーディオ出力形態に対する個別のソースの配置を示す。仮に６個のオブジェクトと６個の出力チャネルとを有する場合を想定する。この場合には、各オブジェクトを各出力チャネルに配置することができ、再現行列もこの枠組みを反映することになるだろう。しかし、もし全てのオブジェクトを２つの出力スピーカ位置の間に配置したい場合には、再現行列Ａは異なる形となるであろうし、かつこの異なる状況を反映することになるだろう。
再現行列、又はさらに一般的にはオーディオオブジェクトの目標配置ともオーディオソースの目標相対的音量とも呼ばれるものは、一般的には符号器により計算され、復号器に対し、いわゆる場面描写として伝送される。しかし他の実施例においては、この場面描写は、ユーザー特定オーディオ出力形態のためのユーザー特定アップミックスを生成するために、ユーザー自身によって生成されても良い。従って、場面描写の伝送は必ずしも必要というわけではなく、反対に、ユーザーの要望を叶えるために、ユーザー自身によって場面描写が生成されても良い。例えば、ユーザーは、あるオーディオオブジェクトを生成する際に、これらのオブジェクトがあった位置とは異なる位置に、これらのオブジェクトを配置させたいと希望するかもしれない。さらには、オーディオオブジェクトがそれら自身でデザインされ、他のオブジェクトに対する「元の」配置を持たない場合も有りうる。このような場合には、オーディオソースの相対的な配置は、ユーザーによって初めて生成されることになる。
図９にダウンミキサ９２を示す。このダウンミキサは、複数のオーディオオブジェクトを複数のダウンミックスチャネルへとダウンミキシングするためのものであり、オーディオオブジェクトの数はダウンミックスチャネルの数よりも多く、かつダウンミキサはダウンミックス情報生成器と一体となり、複数のオーディオオブジェクトから複数のダウンミックスチャネルへの配分はダウンミックス情報に示されるように実行される。図９のダウンミックス情報生成器９６により生成されるダウンミックス情報は、自動的に生成可能か、あるいは手動的に調整可能である。このダウンミックス情報には、オブジェクトパラメータの解像度よりも小さな解像度を与えるのが好ましい。この場合、サイド情報ビットは大きな品質損失なしに削減できる。なぜなら、ある種のオーディオ曲のための固定のダウンミックス情報、又は低速でしか変化せず必ずしも周波数選択的である必要のないダウンミックス状況で十分だからである。１つの実施例においては、ダウンミックス情報は、Ｋ個の行とＮ個の列とを有するダウンミックス行列を表す。
ダウンミックス行列の１つの行内の値は、このダウンミックス行列内のこの値に対応するオーディオオブジェクトが、このダウンミックス行列の行により表されるダウンミックスチャネル内にある時、１つの所定値を持つ。１つのオーディオオブジェクトが２つ以上のダウンミックスチャネルに含まれる時、ダウンミックス行列の２つ以上の行の値は、１つの所定値を持つ。しかし、単一のオーディオオブジェクトについて平方値が合算された時、１．０になるのが好ましい。とは言え、他の値でも可能である。さらに、オーディオオブジェクトは、レベルが変化する１以上のダウンミックスチャネルへと入力されても良く、かつこれらのレベルは、所定のオーディオオブジェクトについて、１とは異なり、合算しても１．０にはならないダウンミックス行列内の重みにより示されても良い。
ダウンミックスチャネルは、出力インターフェース９８により生成された符号化されたオーディオオブジェクト信号の中に包含されており、この符号化されたオーディオオブジェクト信号は、例えば所定の形式を持つ時分割多重信号(time-multiplex signal)であっても良い。代わりに、この符号化されたオーディオオブジェクト信号は、復号器側においてオーディオオブジェクトパラメータ９５と、ダウンミックス情報９７と、ダウンミックスチャネル９３との分割を可能にする、いかなる信号であっても良い。さらには、出力インターフェース９８は、オブジェクトパラメータ、ダウンミックス情報、あるいはダウンミックスチャネルのための符号器を備えていても良い。オブジェクトパラメータとダウンミックス情報のための符号器は、差分符号器及び／又はエントロピー符号器であっても良く、ダウンミックスチャネルのための符号器は、ＭＰＥＧ符号器又はＡＡＣ符号器のような、モノラル又はステレオオーディオ符号器であっても良い。これら全ての符号化操作は、符号化されたオーディオオブジェクト信号９９のために必要なデータレートをさらに減少させ、さらなるデータ圧縮をもたらす。
ある実施例においては、ダウンミキサ９２は所定の比率で、前記少なくとも２つのダウンミックスチャネルの中へ背景音楽のステレオ表現を包含させ、さらに、これら少なくとも２つのダウンミックスチャネルの中へ音声トラックを導入させることができる。この実施例においては、背景音楽の第１のチャネルは第１のダウンミックスチャネルの中に含まれ、背景音楽の第２のチャネルは第２のダウンミックスチャネルの中に含まれる。その結果、ステレオ再現装置におけるステレオ背景音楽の最適な再生が可能になる。しかし、ユーザーは、左ステレオスピーカと右ステレオスピーカとの間の音声トラックの位置を、さらに修正することができる。他の方法としては、第１及び第２の背景音楽チャネルは１つのダウンミックスチャネル内に含まれ、音声トラックは他のダウンミックスチャネル内に含まれても良い。このようにして、１つのダウンミックスチャネルを排除することで、背景音楽から音声トラックを完全に分割することができ、カラオケには特に適した適用方法を作り出せる。しかしこの場合、当然ながら損失を伴う圧縮方法であるオブジェクトパラメータ化のために、背景音楽チャネルのステレオ再生品質は劣化する恐れがある。
ダウンミキサ９２は、時間ドメインにおいてサンプル単位での足し算を実行する。この足し算は、単一のダウンミックスチャネルへとダウンミックスされるべきオーディオオブジェクトからのサンプルを使用する。１つのオーディオオブジェクトがある所定の割合で１つのダウンミックスチャネルへと導入される時、サンプル単位での足し算処理の前に、ある事前の重み付けが実行される。他の方法としては、前記足し算はまた、周波数ドメインあるいはサブバンドドメインすなわち時間／周波数変換に続くドメインにおいて実行されても良い。さらに、前記ダウンミックスは、前記時間／周波数変換がフィルタバンクである場合にはフィルタバンクドメインにおいて実行しても良く、前記時間／周波数変換がＦＦＴ，ＭＤＣＴ又は他のいずれかの変換タイプである場合には、変換ドメインにおいて実行しても良い。
本発明の１つの実施形態によれば、オブジェクトパラメータ生成器９４はエネルギーパラメータを生成し、また、式（６）から分かるように、２つのオーディオオブジェクトが一体となってステレオ信号を表現する場合には、２つのオブジェクト間の相関関係パラメータを追加的に生成する。他の方法として、オブジェクトパラメータが予測モードのパラメータであっても良い。図１５はこれらのオブジェクト予測パラメータを計算するための計算装置のアルゴリズムステップ又は手段を示す。式（７）〜（１２）に関して上述したように、行列Ｘ内のダウンミックスチャネルと行列Ｓ内のオーディオオブジェクトとに関するある統計的な情報が計算されなければならない。特に、ブロック１５０はＳ・Ｘ*の実数部分とＸ・Ｘ*の実数部分とを計算する第１のステップを示す。これらの実数部分は、単に数値であるだけではなく、行列である。また、これらの行列は、ある実施例においては式（１）の表記を通して決定されるが、それは式（１２）に続く実施例が考慮される時である。一般的に、ステップ１５０の値は、オーディオオブジェクト符号器１０１内で使用できるデータを用いて計算することができる。その後、ステップ１５２に示すように予測行列Ｃが計算される。特に、Ｎ個の行とＫ個の列とを備えた予測行列Ｃの全ての値が得られるように、この方程式のシステムが従来技術から公知の方法で解かれる。一般的には、全てのダウンミックスチャネルの重み付けられた線形加算が対応するオーディオオブジェクトを最良の状態で再構成するように、式（８）に示す重みファクタＣn,iが計算される。この予測行列は、ダウンミックスチャネルの数が増える時、オーディオオブジェクトのより良い再構成を可能にする。
次に、図１１についてさらに詳細に説明する。図１１は、ある所定のオーディオ出力形態の複数の出力チャネルを作り出すために使用できるいくつかの種類の出力データを示す。行１１１は、出力データ合成器１００の出力データが再構成されたオーディオソースである場合を示す。この再構成されたオーディオソースを再現するために出力データ合成器１００に必要となる入力データは、ダウンミックス情報と、ダウンミックスチャネルと、オーディオオブジェクトパラメータである。しかし、この再構成されたオーディオソースを再現するためには、空間オーディオ出力形態内におけるオーディオソース自身の出力形態及び目標配置は、必ずしも必要ではない。図１１内にモード番号１により示された第１のモードにおいては、出力データ合成器１００は再構成されたオーディオソースを出力するであろう。オーディオオブジェクトパラメータのような予測パラメータの場合には、出力データ合成器１００は、式（７）に定義されるような役割を果たす。オブジェクトパラメータがエネルギーモードである場合は、ソース信号を再構成するために、出力データ合成器はダウンミックス行列とエネルギー行列との逆を使用する。
他の方法では、出力データ合成器１００は、例えば図１Ｂのブロック１０２で示すように、トランスコーダとして作動する。この出力データ合成器が空間ミキサパラメータを生成するためのトランスコーダの一種である時には、ダウンミックス情報と、オーディオオブジェクトパラメータと、出力形態と、ソースの目標配置とが必要となる。特に、出力形態と目標配置とが再現行列Ａを介して与えられる。しかし、図１２に関して後述するように、ダウンミックスチャネルは、空間ミキサパラメータを生成するために必要ではない。状況によるが、出力データ合成器１００により生成される空間ミキサパラメータは、この場合、ダウンミックスチャネルをアップミックスためのＭＰＥＧサラウンドミキサ等のような単純な空間ミキサにより使用することができる。この実施例では、オブジェクトダウンミックスチャネルを必ずしも修正する必要がなく、式（１３）に示すように対角要素だけを持つ単純な変換行列があれば良い。図１１の行１１２で示すモード番号２においては、出力データ合成器１００は空間ミキサパラメータを出力し、かつ好ましくは、ＭＰＥＧサラウンド復号器の任意のダウンミックスゲインパラメータ（ADG）として使用できるゲインを含む、式（１３）に示す変換行列Ｇを出力する。
図１１の行１１３で示すモード番号３においては、出力データは、式（２５）に関連して示した変換行列等のような１つの変換行列及び空間ミキサパラメータを含む。この場合、出力データ合成器１００は、オブジェクトダウンミックスをステレオダウンミックスへと変換する現実のダウンミックス変換を、必ずしも実行する必要はない。
図１１の行１１４で示すモード番号４は、図１０における出力データ合成器１００を示す。この場合、トランスコーダは図１Ｂの１０２で示すように操作され、空間ミキサパラメータを出力するだけではなく、変換されたダウンミックスをも追加的に出力する。しかし、この変換されたダウンミックスに加えて変換行列Ｇを出力する必要はない。図１Ｂで示すように、変換されたダウンミックスと空間ミキサパラメータとを出力することで十分である。
モード番号５は、図１０における出力データ合成器１００の他の適用例を示す。図１１の行１１５で示す場合においては、出力データ合成器により生成された出力データは、いかなる空間ミキサパラメータも含んではいないが、例えば式（３５）により示される変換行列Ｇだけを含むか、あるいは行１１５に示すようにステレオ信号そのものの出力を現実に含む。この実施例においては、ステレオ再現だけを目的としており、いかなる空間ミキサパラメータも必要ではない。しかし、ステレオ出力を生成するためには、図１１に示す利用可能な全ての入力情報が必要とされる。
出力データ合成器モードのさらに他の例を、モード番号６を付した行１１６で示す。この場合、出力データ合成器１００は１つの多チャネル出力を生成し、かつ出力データ合成器１００は、図１Ｂの要素１０４に類似している。つまり、出力データ合成器１００は利用可能な全ての入力情報を必要とし、かつ１つの多チャネル出力信号する。この多チャネル出力信号は、２よりも大きい数の出力チャネルを備え、所定のオーディオ出力形態に従って目標スピーカ位置に配置された、出力チャネル数に対応する数のスピーカにより再現されるべきものである。このような多チャネル出力とは、５．１出力か、７．１出力か、あるいは左スピーカと中央スピーカと右スピーカとを備えた３．０出力である。
次に図１１を参照し、ＭＰＥＧサラウンド復号器において公知である図７のパラメータ化の概念から、いくつかのパラメータを計算するための１つの例を説明する。図示するように、図７は、左ダウンミックスチャネルｌ0と右ダウンミックスチャネルｒ0とを有するステレオダウンミックス７０から始まる、ＭＰＥＧサラウンド復号器側のパラメータ化を示す。概念的には、両方のダウンミックスチャネルは所謂２→３のボックス７１に入力される。この２→３のボックス７１は複数の入力パラメータ７２により制御される。ボックス７１は３つの出力チャネル７３ａ,７３ｂ,７３ｃを生成する。各出力チャネルは１→２のボックスへと入力される。即ち、チャネル７３ａはボックス７４ａに入力され、チャネル７３ｂはボックス７４ｂに入力され、チャネル７３ｃはボックス７４ｃに入力される。各ボックスは２つの出力チャネルを出力する。即ち、ボックス７４ａは左前チャネルｌfと左サラウンドチャネルｌsとを出力し、ボックス７４ｂは右前チャネルｒfと右サラウンドチャネルｒsとを出力し、ボックス７４ｃは中央チャネルｃと低周波強化チャネルlfeとを出力する。重要な点は、ダウンミックスチャネル７０から出力チャネルへの全体のアップミックスがある行列演算を用いて実行される点であり、また、図７に示すツリー構造が、必ずしもステップ毎に実行される必要がなく、単一又は複数の行列演算によって実行されても良い点である。さらには、７３ａ,７３ｂ,７３ｃで示す中間信号は所定の具体例を用いて格別に計算されている訳ではなく、図７において、単に例示的な目的で示されているに過ぎない点である。さらには、ボックス７４ａと７４ｂとは、出力信号に対して所定の無作為性を導入するために使用できる複数の残余信号res1 OTTとres2 OTTとを受信する。
ＭＰＥＧサラウンド復号器から公知であるように、ボックス７１は予測パラメータCPC又はエネルギーパラメータCLDTTTにより制御される。２チャネルから３チャネルへのアップミックスのために、少なくとも２つの予測パラメータCPC１及びCPC２か、又は少なくとも２つのエネルギーパラメータCLD1 TTT及びCLD2 TTTが必要となる。さらに、相関関係を示すICCTTTがボックス７１へと入力されても良いが、これは単に選択的な特徴であり、本発明の１つの実施例においては使用されてはいない。図１２と図１３とは、図９のオブジェクトパラメータ９５と、図９のダウンミックス情報９７と、例えば図１０に示す場面描写のようなオーディオソースの目標配置１０５とを基にして、全てのパラメータCPC/CLDTTT,CLD0,CLD1,ICC1,CLD2,ICC2を計算するために必要なステップ及び／又は手段を示す。これらのパラメータは、５．１サラウンドシステムの所定のオーディオ出力フォーマットに合わせたものである。
当然ながら、この具体例のために記載したパラメータの具体的な計算方法は、本発明にかかる他の出力形式又はパラメータ化にも適用できる。さらに、図１２及び図１３Ｂに記載の一連のステップあるいは手段の配列は、単に例示的なものであって、数学的方程式の論理上の意味の範囲内で変更可能である。
ステップ１２０では、ある再現行列Ａが与えられる。この再現行列は、複数ソースの中のあるソースが、所定の出力形態のコンテキストの中でどこに位置すべきかを示す。ステップ１２１は、式（２０）に示すような部分ダウンミックス行列Ｄ36の導出を示す。この行列は、６個の出力チャネルから３個のチャネルへのダウンミックス状況を反映し、３×Ｎの大きさを持つ。例えば８チャネル出力形態７．１等のような、５．１構成よりも多い出力チャネルを生成したい場合には、ブロック１２１で決定される行列はＤ38行列となる。ステップ１２２では、減数された再現行列Ａ3が、掛け算行列Ｄ36とステップ１２０で定義された完全な再現行列とにより生成される。ステップ１２３では、ダウンミックス行列Ｄが導入される。このダウンミックス行列Ｄは、符号化されたオーディオオブジェクト信号の中にこの行列Ｄが完全に含まれている時、このオーディオオブジェクト信号から復活させることが可能である。代わりに、このダウンミックス行列Ｄは、例えば特定のダウンミックス情報とダウンミックス行列Ｇに関してパラメータ化されても良い。
さらに、ステップ１２４ではオブジェクトエネルギー行列が与えられる。このオブジェクトエネルギー行列は、Ｎ個のオブジェクトのためのオブジェクトパラメータにより反映され、かつ取り込まれたオーディオオブジェクトから抽出されるか、所定の再構成規則を用いて再構成されることができる。この再構成規則は、エントロピー復号化を含んでも良い。
ステップ１２５では、「減数された」予測行列Ｃ3が定義される。この行列の値は、ステップ１２５に示す線形方程式のシステムを解くことで計算できる。具体的には、行列Ｃ3の要素は、方程式の両側に（ＤＥＤ*）の逆を掛け算することで計算できる。
ステップ１２６では、変換行列Ｇが計算される。変換行列Ｇは、Ｋ×Ｋの大きさを持ち、かつ式（２５）に定義するように生成される。ステップ１２６の方程式を解くために、ステップ１２７で示したように特定の行列ＤTTTが与えられる。この行列の例として式（２４）が挙げられ、式（２２）に定義されたようなＣTTTに対応する式から、その定義を導くことができる。よって、式（２２）は、ステップ１２８において何を準備すべきかを定義している。ステップ１２９は、行列ＣTTTを計算するための方程式を定義する。ブロック１２９内の方程式に従って行列ＣTTTが決定されるとすぐに、CPCパラメータであるパラメータα，β，γが出力可能となる。好ましくは、γは１に設定され、ブロック７１に入力される残りのCPCパラメータはα，βだけとなる。
図７に示す枠組みにとって必要となる残りのパラメータは、ブロック７４ａ,７４ｂ,７４ｃに入力されるパラメータである。これらのパラメータの計算については、図１３Ａを参照しながら説明する。ステップ１３０では、再現行列Ａが与えられる。この再現行列Ａの大きさは、オーディオオブジェクト数のＮ個の行と、出力チャネル数のＭ個の列である。この再現行列は、ある場面ベクトルが使用された場合、この場面ベクトルからの情報を含む。一般的には、再現行列は、１つのオーディオソースを１つの出力設定の中である所定の位置に配置するための情報を含む。例えば式（１９）の下方に記載した再現行列Ａを考える時、オーディオオブジェクトの所定の配置が、この再現行列の内部でどのように符号化されるかが明らかになる。当然ながら、１とは異なる値によって示す等、ある所定の配置を示す他の方法も使用可能である。さらには、一方では１よりも小さな値を使用し、他方では１よりも大きな値を使用する場合には、所定のオーディオオブジェクトのラウドネスは相応の影響を受けることがある。
ある実施例においては、再現行列は復号器側で、符号器側からの情報が全くない状態で生成される。この場合、ユーザーは、オーディオオブジェクトの符号器設定内での空間的関係を何ら考慮せずに、ユーザーの好みの位置にオーディオオブジェクトを配置できる。他の実施例においては、オーディオソースの相対的又は絶対的な配置が符号器側で符号化され、復号器に対して一種の場面ベクトルとして伝送される。その後、好ましくは目標オーディオ再現設定から独立したオーディオソースの配置に係るこの情報は、復号器側において処理され、その結果、特定のオーディオ出力形態に対してカスタマイズされたオーディオソースの配置を反映する、ある再現行列を作り出す。
ステップ１３１では、図１２のステップ１２４に関連して上述したオブジェクトエネルギー行列Ｅが供給される。この行列はＮ×Ｍの大きさを持ち、オーディオオブジェクトパラメータを含む。ある実施例においては、このようなオブジェクトエネルギー行列が、各サブバンドと時間ドメインサンプル又はサブバンドドメインサンプルの各ブロックとに対して供給される。
ステップ１３２では、出力エネルギー行列Ｆが計算される。Ｆは出力チャネルの共分散行列である。しかし、出力チャネルは未知の状態であるため、出力エネルギー行列Ｆは再現行列とエネルギー行列とを用いて計算される。これらの行列はステップ１３０と１３１において供給され、復号器側においていつでも利用可能である。その後、上述の(１５)、(１６)、(１７)、(１８)、(１９)で具体的に示した式を用いてチャネルレベル差パラメータCLD0, CLD1, CLD2 とチャネル間コヒーレンスパラメータICC1, ICC2とが計算され、ボックス７４ａ,７４ｂ,７４ｃのためのパラメータが利用可能となる。重要な点は、空間パラメータは出力エネルギー行列Ｆの特定の要素を結合することで計算される点である。
ステップ１３３の後では、図７に概略的に示す空間アップミキサのようなある空間アップミキサのために、全てのパラメータが利用可能となる。
上述の実施例においては、オブジェクトパラメータはエネルギーパラメータとして与えられていた。しかし、オブジェクトパラメータが予測パラメータとした場合、即ち、図１２内の項目１２４ａで示すオブジェクト予測行列Ｃとして与えられる場合には、減数された予測行列Ｃ3の計算は、ブロック１２５ａ内に示されかつ式（３２）に関連して説明したような行列の掛け算に過ぎない。ブロック１２５ａ内で使用される行列Ａ3は、図１２のブロック１２２で説明した行列Ａ3と同じである。
オブジェクト予測行列Ｃがオーディオオブジェクト符号器により生成され、復号器へと伝送される時、ボックス７４ａ,７４ｂ,７４ｃのためのパラメータを生成するための追加的な計算が必要となる。これらの追加的なステップは図１３Ｂに示す。図１３Ｂ内の１２４ａで示すようにオブジェクト予測行列Ｃが供給されるが、この行列は図１２のブロック１２４ａに関連して説明した行列と同じである。その後、式（３１）に関連して説明したように、オブジェクトダウンミックスの共分散行列Ｚが、伝送されたダウンミックスを用いて計算されるか又は生成され、追加のサイド情報として伝送される。行列Ｚの情報が伝送された時、ある種の遅延処理を内在的に導入しかつ復号器側の処理の負担を増大させるようないかなるエネルギー計算をも、復号器は必ずしも実行する必要がない。しかし、これらのエネルギー計算は、ある適用例においては決定的な問題とはならず、その場合には伝送帯域幅を節減することができ、かつオブジェクトダウンミックスの共分散行列Ｚもまた、当然ながら復号器側で有効であるダウンミックスサンプルを用いて計算することができる。ステップ１３４が完了し、オブジェクトダウンミックスの共分散行列が準備されると直ぐに、ステップ１３５に示すように、予測行列Ｃとダウンミックス共分散行列又は「ダウンミックスエネルギー」行列Ｚとを用いて、オブジェクトエネルギー行列Ｅが計算できる。このステップ１３５が完了すると直ぐに、図１３Ａに関連して説明したステップ１３２、１３３等の全てのステップが、図７のブロック７４ａ,７４ｂ,７４ｃのための全てのパラメータを生成するために実行可能となる。
図１６は、ステレオ再現だけを必要とする、さらなる実施例を示す。このステレオ再現は、図１１のモード番号５又は行１１５により供給された出力である。この例では、図１０の出力データ合成器１００にとっては、いかなる空間アップミックスパラメータも目的ではなく、オブジェクトダウンミックスを、活用性に優れかつ当然ながら感応性にも制御性にも優れたステレオダウンミックスへと変換するための、ある特定の変換行列Ｇを得ることが主目的である。
図１６のステップ１６０においては、Ｍ→２の部分ダウンミックス行列が計算される。６個の出力チャネルの場合には、部分ダウンミックス行列は６→２チャネルのダウンミックス行列になるであろうが、他のダウンミックス行列も同様に利用可能である。この部分ダウンミックス行列の計算は、例えば図１２のステップ１２１で生成された部分ダウンミックス行列Ｄ36及びステップ１２７で使用された行列ＤTTTから導出されても良い。
さらに、ステップ１６１に示されるように、ステレオ再現行列Ａ2がステップ１６０の結果と「大きな」再現行列Ａとを用いて生成される。この再現行列Ａは、図１２のブロック１２０に関連して説明した行列と同じである。
その後、ステップ１６２において、ステレオ再現行列は配置パラメータμとκとによりパラメータ化されても良い。μが１に設定されκも１に設定された場合、式（３３）が得られ、式（３３）の関連で説明した例における音声の音量を変えることが可能になる。しかし、μとκ以外のパラメータが使用される場合にも、ソースの配置を同様に変えることができる。
このように、ステップ１６３において、式（３５）を用いて変換行列Ｇが計算される。特に、行列（ＤＥＤ*）が計算されて逆転され、その逆行列はブロック１６３の式の右側に対して掛け算することができる。当然ながら、ブロック１６３の式を解くための他の方法も適用できる。その後、変換行列Ｇが生成され、ブロック１６４に示すように、変換行列とオブジェクトダウンミックスとを掛け算することで、オブジェクトダウンミックスＸを変換することができる。その後、変換されたダウンミックスＸ’は、２つのステレオスピーカを用いてステレオ再現できる。実施形態によるが、変換行列Ｇを計算するために、μ，ν，κのための所定の値を設定することができる。代わりに、変換行列Ｇは、これら３つの全てのパラメータを変数として用いることで計算することができ、この場合、これらのパラメータは、ステップ１６３の後でユーザーが自由に設定することができる。
好ましい実施例では、複数の独立したオーディオオブジェクトを（多チャネルダウンミックスとこのオブジェクトを表現する追加的な制御データとを用いて）伝送し、さらに、オブジェクトを準備された再構成システム（スピーカ構成）へと再現するという課題を解決する。オブジェクトに関連する制御データを、再構成システムに対して互換性のある制御データへと修正する方法についての技術が導入される。この技術は、さらにＭＰＥＧサラウンド符号化の枠組みに基づく適切な符号化方法も提案している。
本発明の方法のいくつかの実施条件にもよるが、本発明の方法及び信号は、ハードウエアにおいてもソフトウエアにおいても実現可能である。この実施の形態は、本発明の方法が実行されるようにプログラム可能なコンピュータシステムと協働するデジタル記憶媒体、特にディスクやＣＤを用いて実行でき、その中に電子的に読出し可能な制御信号が格納される。したがって、一般に本発明は、機械読出し可能なキャリアに格納されたプログラムコードを有するコンピュータプログラム製品であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、本発明の方法の少なくとも１つを実行するように動作する。換言すれば、本発明の方法は、コンピュータプログラムがコンピュータ上で実行されるときに、本発明の方法を実行するためのプログラムコードを有するコンピュータプログラムである。
本発明のある実施例によれば、複数のオーディオオブジェクトを用いて符号化されたオーディオオブジェクト信号を生成するためのオーディオオブジェクト符号器は、複数のオーディオオブジェクトの少なくとも２つのダウンミックスチャネルへの配分を示すダウンミックス情報を生成するためのダウンミックス情報生成器と、オーディオオブジェクトのためのオブジェクトパラメータを生成するためのオブジェクトパラメータ生成器と、ダウンミックス情報とオブジェクトパラメータとを使用して符号化されたオーディオオブジェクト信号を生成するための出力インターフェースと、を備える。
必要に応じて、前記出力インターフェースは、複数のダウンミックスチャネルを更に使用することで、符号化されたオーディオオブジェクト信号を生成しても良い。
さらに、あるいは他の方法として、前記パラメータ生成器は、第１の時間及び周波数解像度を用いてオブジェクトパラメータを生成し、前記ダウンミックス情報生成器は、第２の時間及び周波数解像度を用いてダウンミックス情報を生成しても良い。このとき、第２の時間及び周波数解像度は、第１の時間及び周波数解像度より小さい。
さらに、前記ダウンミックス情報生成器は、ダウンミックス情報がオーディオオブジェクトの全周波数帯域について同一であるように、ダウンミックス情報を生成しても良い。
さらに、前記ダウンミックス情報生成器は、ダウンミックス情報が次式で定義されるダウンミックス行列を表現するように、ダウンミックス情報を生成しても良い。
Ｘ＝ＤＳ
ここで、Ｓはオーディオオブジェクトを表現する行列であり、オーディオオブジェクトの数に等しい行数を持ち、Ｄはダウンミックス行列であり、Ｘは複数のダウンミックスチャネルを表現する行列であり、ダウンミックスチャネルの数に等しい行数を持つ。
さらに、オーディオオブジェクトの一つの部分についての情報は、１よりも小さく０よりも大きい係数であっても良い。
さらに、前記ダウンミキサは、背景音楽のステレオ表現を少なくとも２つのダウンミックスチャネルの中へと含めても良く、かつ音声トラックをこれら少なくとも２つのダウンミックスチャネルの中へ所定の比率で導入しても良い。
さらに、前記ダウンミキサは、前記ダウンミックス情報に従って１つのダウンミックスチャネル内へと入力されるべき信号の追加を、サンプル単位で実行しても良い。
さらに、前記出力インターフェースは、ダウンミックス情報とオブジェクトパラメータとのデータ圧縮を、符号化されたオーディオオブジェクト信号を生成する前に実行しても良い。
さらに、前記複数のオーディオオブジェクトは、ある所定の非ゼロの相関関係を持つ２つのオーディオオブジェクトにより表現されるステレオオブジェクトを含んでいても良く、このとき、ダウンミックス情報生成器は、このステレオオブジェクトを形成する２つのオブジェクトを示すグループ化情報を生成しても良い。
さらに、前記オブジェクトパラメータ生成器は、オーディオオブジェクトのためのオブジェクト予測パラメータを生成しても良く、この予測パラメータの計算は、予測パラメータにより制御されたあるソースオブジェクト又はそのソースオブジェクトのための重み付けされたダウンミックスチャネルの合計が、そのソースオブジェクトの近似となるように実行されても良い。
さらに、前記予測パラメータは周波数帯域毎に生成されても良く、オーディオオブジェクトは複数の周波数帯域をカバーしても良い。
さらに、オーディオオブジェクトの数はＮに等しく、ダウンミックスチャネルの数はＫに等しく、オブジェクトパラメータ生成器により計算されるオブジェクト予測パラメータの数はＮ・Ｋ以下であっても良い。
さらに、オブジェクトパラメータ生成器は、最大でＫ・（Ｎ−Ｋ）個のオブジェクト予測パラメータを計算可能であっても良い。
さらに、オブジェクトパラメータ生成器は、試験オブジェクト予測パラメータの様々なセットを用いて複数のダウンミックスチャネルをアップミックスするためのアップミキサを含んでいても良い。
さらに、オーディオオブジェクト符号器は、試験オブジェクト予測パラメータの様々なセットの中から、アップミキサによって再構成されたソース信号と対応するオリジナルソース信号との間の偏差が最小となるような試験オブジェクト予測パラメータを発見するための、反復コントローラをさらに含んでもよい。
さらに、出力データ合成器は、ダウンミックス情報を使用して変換行列を決定してもよく、この変換行列は、ステレオ面の第１半分を表す第１のダウンミックスチャネルに含まれるあるオーディオオブジェクトが、ステレオ面の第２半分において演奏されるべき時には、ダウンミックスチャネルの少なくとも一部が交換されるように計算される。
さらに、オーディオ合成器は、空間パラメータと少なくとも２つのダウンミックスチャネル又は変換されたダウンミックスチャネルとを使用して、所定のオーディオ出力形態のためのオーディオ出力チャネルを再現するためのチャネル再現器（channel renderer）をさらに含んでいても良い。
さらに、出力データ合成器は、少なくとも２つのダウンミックスチャネルを追加的に使用して、所定のオーディオ出力形態の出力チャネルを出力しても良い。
さらに、出力データ合成器は、２つのチャネルの重み付けされた合計のエネルギーが限度ファクタ内でチャネルのエネルギーに等しくなるように、部分ダウンミックス行列の実際のダウンミックス重みを計算しても良い。
さらに、出力データ合成器は、部分ダウンミックス行列のためのダウンミックス重みを次式により決定しても良く、
Figure 0005592974
ここで、wpはダウンミックス重みであり、ｐは整数のインデックス変数、fj,iは所定の出力形態の出力チャネルの共分散行列の近似を表すエネルギー行列の行列要素である。
さらに、出力データ合成器は、ある線形方程式のシステムを解くことで、予測行列の個々の係数を計算しても良い。
さらに、出力データ合成器は、次式に基づいて前記線形方程式のシステムを解法しても良く、
Ｃ3（ＤＥＤ*）＝Ａ3ＥＤ*,
ここで、Ｃ3は２→３の予測行列、Ｄはダウンミックス情報から導出されたダウンミックス行列、Ｅはオーディオソースオブジェクトから導出されたエネルギー行列、Ａ3は減数された再現行列、記号* は複素共役演算子である。
さらに、２→３のアップミックスのための予測パラメータは、予測行列が２つのパラメータだけを用いて定義されるように、この予測行列のパラメータ化から導出されても良く、出力データ合成器は、少なくとも２つのダウンミックスチャネルを前処理し、この前処理とパラメータ化された予測行列の結果が、所望のアップミックス行列へと一致するようにしても良い。
さらに、予測行列のパラメータ化は次式の通りであっても良く、
Figure 0005592974
このとき、TTTはパラメータ化された予測行列のインデックス、α、β、γは係数である。
さらに、ダウンミックス変換行列Ｇは次式のように計算されても良く、
Ｇ＝ＤTTTＣ3
ここで、Ｃ3は２→３の予測行列であり、ＤTTTとＣTTTの積はＩに等しく、Ｉは２×２の恒等行列であり、ＣTTTは次式に基づくものであり、
Figure 0005592974
ここで、α、β、γは定数ファクタである。
さらに、２→３のアップミックスのための予測パラメータはαとβと１に設定されたγとから決定されても良い。
さらに、出力データ合成器は、３→６のアップミックスのためのエネルギーパラメータを、エネルギー行列Ｆを使用して次式に基づいて計算しても良く、
Figure 0005592974
ここで、Ａは再現行列、Ｅはオーディオソースオブジェクトから導出されたエネルギー行列、Ｙは出力チャネル行列、記号* は複素共役演算子である。
さらに、出力データ合成器は、エネルギー行列の要素同士を組み合わせることで、エネルギーパラメータを計算しても良い。
さらに、出力データ合成器は、次式に基づいてエネルギーパラメータを計算しても良く、
Figure 0005592974
Figure 0005592974
Figure 0005592974
Figure 0005592974
Figure 0005592974
ここで、φは絶対値φ(z)=|z|又は実数値演算子φ(z)=Re{z}であり、ＣＬＤ0は第１のチャネルレベル差エネルギーパラメータ、ＣＬＤ1は第２のチャネルレベル差エネルギーパラメータ、ＣＬＤ2は第３のチャネルレベル差エネルギーパラメータ、ＩＣＣ1は第１のチャネル間コヒーレンスエネルギーパラメータ、ＩＣＣ2は第２のチャネル間コヒーレンスエネルギーパラメータ、fijはエネルギー行列Ｆの位置ｉ，ｊにおける要素を示す。
さらに、パラメータの第１のグループはエネルギーパラメータを含んでいても良く、出力データ合成器はエネルギー行列Ｆの要素を組み合わせることで、このエネルギーパラメータを導出しても良い。
さらに、エネルギーパラメータは次式に基づいて導出されても良く、
Figure 0005592974
Figure 0005592974
ここで、ＣＬＤ0 TTTはパラメータの第１グループの第１エネルギーパラメータであり、ＣＬＤ1 TTTはパラメータの第１グループの第２のエネルギーパラメータである。
さらに、出力データ合成器は、ダウンミックスチャネルを重み付けするための重み付けファクタを計算しても良く、この重み付けファクタは、空間復号器の任意のダウンミックスゲインファクタを制御するために使用される。
さらに、出力データ合成器は、重みファクタを次式に基づいて計算しても良く、
Figure 0005592974
Figure 0005592974
Figure 0005592974
このとき、Ｄはダウンミックス行列、Ｅはオーディオソースオブジェクトから導出されたエネルギー行列、Ｗは中間行列、Ｄ26は所定の出力形態の６→２チャネルのダウンミキシングのための部分ダウンミックス行列、Ｇは空間復号器の任意のダウンミックスゲインファクタを含む変換行列である。
さらに、出力データ合成器は、エネルギー行列を次式に基づいて計算しても良く、
Ｅ＝ＣＺＣ*
このときＥはエネルギー行列であり、Ｃは予測パラメータ行列であり、Ｚは少なくとも２つのダウンミックスチャネルの１つの共分散行列である。
さらに、出力データ合成器は、変換行列を次式に基づいて計算しても良く、
Ｇ＝Ａ2・Ｃ
ここで、Ｇは変換行列であり、Ａ2は部分再現行列であり、Ｃは予測パラメータ行列である。
さらに、出力データ合成器は、変換行列を次式に基づいて計算しても良く、
Ｇ（ＤＥＤ*）＝Ａ2ＥＤ*
ここで、Ｇはトラックのオーディオソースから導出されたエネルギー行列であり、Ｄはダウンミックス情報から導出されたダウンミックス行列であり、Ａ2は減数された再現行列であり、記号* は複素共役演算子である。
さらに、パラメータ化されたステレオ再現行列Ａ2は次式に基づいて計算されても良く、
Figure 0005592974
ここで、μ、ν、κは１つ以上のオーディオソースオブジェクトの位置と音量とに従う実数値パラメータである。
９０ オーディオオブジェクト
９２ ダウンミキサ
９３ ダウンミックスチャネル
９４ オブジェクトパラメータ生成器
９５ オブジェクトパラメータ
９６ ダウンミックス情報生成器
９７ ダウンミックス情報
９８ 出力インターフェース
９９ 符号化されたオーディオオブジェクト信号
１００ 出力データ合成器
１０１ オーディオオブジェクト符号器

Claims (5)

  1. 符号化されたオーディオオブジェクト信号を使用して出力データを生成するオーディオ合成器であって、
    所定のオーディオ出力形態を持ちかつ複数のオーディオオブジェクトを表す複数の出力チャネルを再現するために、使用可能な出力データを生成する出力データ合成器を含み、
    当該出力データ合成器は、前記複数のオーディオオブジェクトの少なくとも２つのダウンミックスチャネルへの配分を示すダウンミックス情報と、前記オーディオオブジェクトのためのオーディオオブジェクトパラメータとを使用し、前記オーディオ出力形態の中の前記オーディオオブジェクトの目標位置を追加的に使用することで、前記オーディオオブジェクトパラメータを前記所定のオーディオ出力形態のための空間パラメータへとトランスコードするものであり、
    前記空間パラメータは、２→３のアップミックスのためのパラメータからなる第１グループと、３→６のアップミックスのためのエネルギーパラメータからなる第２グループとを含み、
    前記出力データ合成器は、前記オーディオオブジェクトの目標位置によって決定される再現行列Ａと、仮想の２→３のアップミックス処理によって生成される３チャネルへの前記出力チャネルのダウンミックス化を表す部分ダウンミックス行列Ｄ 36 と、ダウンミックス行列Ｄと、を使用して２→３の予測行列のための予測パラメータを計算することを特徴とする、オーディオ合成器。
  2. 請求項１に記載のオーディオ合成器において、
    前記出力データ合成器は、前記オーディオオブジェクトの目標位置から導出される変換行列Ｇを用いて、複数のダウンミックスチャネルを前記所定のオーディオ出力形態のためのステレオダウンミックスへと変換することを特徴とする、オーディオ合成器。
  3. 請求項１に記載のオーディオ合成器において、
    前記オブジェクトパラメータはオブジェクト予測パラメータであり、前記出力データ合成器は、前記オブジェクト予測パラメータＣと前記ダウンミックス情報Ｄと前記ダウンミックスチャネルに対応するエネルギー情報Ｚとに基づいて、エネルギー行列Ｅを予め計算することを特徴とする、オーディオ合成器。
  4. 符号化されたオーディオオブジェクト信号を用いて出力データを生成するためのオーディオ合成方法において、
    複数のオーディオオブジェクトを表す所定のオーディオ出力形態の複数の出力チャネルを作り出すために用いられる前記出力データを生成する工程を含み、
    その工程は、前記複数のオーディオオブジェクトの少なくとも２つのダウンミックスチャネルへの配分を示すダウンミックス情報と、前記オーディオオブジェクトのためのオーディオオブジェクトパラメータとを使用し、前記オーディオ出力形態の中の前記オーディオオブジェクトの目標位置を追加的に使用することで、前記オーディオオブジェクトパラメータを前記所定のオーディオ出力形態のための空間パラメータへとトランスコードするものであり、
    前記空間パラメータは、２→３のアップミックスのためのパラメータからなる第１グループと、３→６のアップミックスのためのエネルギーパラメータからなる第２グループとを含み、
    前記出力データを生成する工程は、前記オーディオオブジェクトの目標位置によって決定される再現行列Ａと、仮想の２→３のアップミックス処理によって生成される３チャネルへの前記出力チャネルのダウンミックス化を表す部分ダウンミックス行列Ｄ 36 と、ダウンミックス行列Ｄと、を使用して２→３の予測行列のための予測パラメータを計算することを含むことを特徴とする、オーディオ合成方法。
  5. コンピュータに請求項４に記載の方法を実行させるためのコンピュータプログラム。
JP2013100865A 2006-10-16 2013-05-13 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現 Active JP5592974B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US82964906P 2006-10-16 2006-10-16
US60/829,649 2006-10-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012064886A Division JP5297544B2 (ja) 2006-10-16 2012-03-22 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現

Publications (2)

Publication Number Publication Date
JP2013190810A JP2013190810A (ja) 2013-09-26
JP5592974B2 true JP5592974B2 (ja) 2014-09-17

Family

ID=38810466

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009532703A Active JP5270557B2 (ja) 2006-10-16 2007-10-05 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現
JP2012064886A Active JP5297544B2 (ja) 2006-10-16 2012-03-22 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現
JP2013100865A Active JP5592974B2 (ja) 2006-10-16 2013-05-13 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2009532703A Active JP5270557B2 (ja) 2006-10-16 2007-10-05 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現
JP2012064886A Active JP5297544B2 (ja) 2006-10-16 2012-03-22 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現

Country Status (21)

Country Link
US (2) US9565509B2 (ja)
EP (3) EP2372701B1 (ja)
JP (3) JP5270557B2 (ja)
KR (2) KR101103987B1 (ja)
CN (3) CN102892070B (ja)
AT (2) ATE503245T1 (ja)
AU (2) AU2007312598B2 (ja)
CA (3) CA2666640C (ja)
DE (1) DE602007013415D1 (ja)
ES (1) ES2378734T3 (ja)
HK (3) HK1162736A1 (ja)
MX (1) MX2009003570A (ja)
MY (1) MY145497A (ja)
NO (1) NO340450B1 (ja)
PL (1) PL2068307T3 (ja)
PT (1) PT2372701E (ja)
RU (1) RU2430430C2 (ja)
SG (1) SG175632A1 (ja)
TW (1) TWI347590B (ja)
UA (1) UA94117C2 (ja)
WO (1) WO2008046531A1 (ja)

Families Citing this family (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1927102A2 (en) * 2005-06-03 2008-06-04 Dolby Laboratories Licensing Corporation Apparatus and method for encoding audio signals with decoding instructions
KR20080093422A (ko) * 2006-02-09 2008-10-21 엘지전자 주식회사 오브젝트 기반 오디오 신호의 부호화 및 복호화 방법과 그장치
CN102768836B (zh) 2006-09-29 2014-11-05 韩国电子通信研究院 用于编码和解码具有各种声道的多对象音频信号的设备和方法
JP5232791B2 (ja) * 2006-10-12 2013-07-10 エルジー エレクトロニクス インコーポレイティド ミックス信号処理装置及びその方法
ATE503245T1 (de) 2006-10-16 2011-04-15 Dolby Sweden Ab Erweiterte codierung und parameterrepräsentation einer mehrkanaligen heruntergemischten objektcodierung
CN101529504B (zh) 2006-10-16 2012-08-22 弗劳恩霍夫应用研究促进协会 多通道参数转换的装置和方法
US8571875B2 (en) * 2006-10-18 2013-10-29 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding multichannel audio signals
KR101102401B1 (ko) * 2006-11-24 2012-01-05 엘지전자 주식회사 오브젝트 기반 오디오 신호의 부호화 및 복호화 방법과 그 장치
KR101100223B1 (ko) 2006-12-07 2011-12-28 엘지전자 주식회사 오디오 처리 방법 및 장치
EP2097895A4 (en) * 2006-12-27 2013-11-13 Korea Electronics Telecomm DEVICE AND METHOD FOR ENCODING AND DECODING MULTI-OBJECT AUDIO SIGNAL WITH DIFFERENT CHANNELS WITH INFORMATION BIT RATE CONVERSION
TWI396187B (zh) * 2007-02-14 2013-05-11 Lg Electronics Inc 用於將以物件為主之音訊信號編碼與解碼之方法與裝置
EP2093757A4 (en) * 2007-02-20 2012-02-22 Panasonic Corp MULTIPLEX DECODING DEVICE, MULTIPLEX DECODING METHOD, PROGRAM, AND SEMICONDUCTOR INTEGRATED CIRCUIT
WO2008111773A1 (en) 2007-03-09 2008-09-18 Lg Electronics Inc. A method and an apparatus for processing an audio signal
KR20080082916A (ko) 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
US8725279B2 (en) * 2007-03-16 2014-05-13 Lg Electronics Inc. Method and an apparatus for processing an audio signal
KR101422745B1 (ko) * 2007-03-30 2014-07-24 한국전자통신연구원 다채널로 구성된 다객체 오디오 신호의 인코딩 및 디코딩장치 및 방법
KR101572894B1 (ko) 2007-09-06 2015-11-30 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 장치
KR101303441B1 (ko) * 2007-10-17 2013-09-10 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다운믹스를 이용한 오디오 코딩
US20110282674A1 (en) * 2007-11-27 2011-11-17 Nokia Corporation Multichannel audio coding
US8600532B2 (en) * 2007-12-09 2013-12-03 Lg Electronics Inc. Method and an apparatus for processing a signal
EP2232700B1 (en) 2007-12-21 2014-08-13 Dts Llc System for adjusting perceived loudness of audio signals
WO2009116280A1 (ja) * 2008-03-19 2009-09-24 パナソニック株式会社 ステレオ信号符号化装置、ステレオ信号復号装置およびこれらの方法
KR101461685B1 (ko) * 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
US8811621B2 (en) 2008-05-23 2014-08-19 Koninklijke Philips N.V. Parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder
EP2146522A1 (en) * 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
RU2495503C2 (ru) * 2008-07-29 2013-10-10 Панасоник Корпорэйшн Устройство кодирования звука, устройство декодирования звука, устройство кодирования и декодирования звука и система проведения телеконференций
JP5298196B2 (ja) * 2008-08-14 2013-09-25 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号変換
US8861739B2 (en) 2008-11-10 2014-10-14 Nokia Corporation Apparatus and method for generating a multichannel signal
US8670575B2 (en) 2008-12-05 2014-03-11 Lg Electronics Inc. Method and an apparatus for processing an audio signal
KR20100065121A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
EP2395504B1 (en) * 2009-02-13 2013-09-18 Huawei Technologies Co., Ltd. Stereo encoding method and apparatus
US9082395B2 (en) 2009-03-17 2015-07-14 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
GB2470059A (en) * 2009-05-08 2010-11-10 Nokia Corp Multi-channel audio processing using an inter-channel prediction model to form an inter-channel parameter
JP2011002574A (ja) * 2009-06-17 2011-01-06 Nippon Hoso Kyokai <Nhk> ３次元音響符号化装置、３次元音響復号装置、符号化プログラム及び復号プログラム
KR101283783B1 (ko) * 2009-06-23 2013-07-08 한국전자통신연구원 고품질 다채널 오디오 부호화 및 복호화 장치
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
US8538042B2 (en) 2009-08-11 2013-09-17 Dts Llc System for increasing perceived loudness of speakers
JP5345024B2 (ja) * 2009-08-28 2013-11-20 日本放送協会 ３次元音響符号化装置、３次元音響復号装置、符号化プログラム及び復号プログラム
PL2489037T3 (pl) * 2009-10-16 2022-03-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Urządzenie, sposób i program komputerowy do dostarczania regulowanych parametrów
JP5422664B2 (ja) 2009-10-21 2014-02-19 パナソニック株式会社 音響信号処理装置、音響符号化装置および音響復号装置
KR20110049068A (ko) * 2009-11-04 2011-05-12 삼성전자주식회사 멀티 채널 오디오 신호의 부호화/복호화 장치 및 방법
PL2489038T3 (pl) * 2009-11-20 2016-07-29 Fraunhofer Ges Forschung Urządzenie do dostarczania reprezentacji sygnału upmixu na bazie reprezentacji sygnału downmixu, urządzenie do dostarczania strumienia bitów reprezentującego wielokanałowy sygnał audio, sposoby, programy komputerowe i strumień bitów reprezentujący wielokanałowy sygnał audio z zastosowaniem parametru kombinacji liniowej
US9305550B2 (en) * 2009-12-07 2016-04-05 J. Carl Cooper Dialogue detector and correction
US20120277894A1 (en) * 2009-12-11 2012-11-01 Nsonix, Inc Audio authoring apparatus and audio playback apparatus for an object-based audio service, and audio authoring method and audio playback method using same
EP2522016A4 (en) * 2010-01-06 2015-04-22 Lg Electronics Inc DEVICE FOR PROCESSING AN AUDIO SIGNAL AND METHOD THEREFOR
RU2586851C2 (ru) * 2010-02-24 2016-06-10 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Устройство для формирования улучшенного сигнала микширования с понижением, способ формирования улучшенного сигнала микширования с понижением и компьютерная программа
US10158958B2 (en) 2010-03-23 2018-12-18 Dolby Laboratories Licensing Corporation Techniques for localized perceptual audio
CN113490134B (zh) 2010-03-23 2023-06-09 杜比实验室特许公司 音频再现方法和声音再现系统
JP5604933B2 (ja) * 2010-03-30 2014-10-15 富士通株式会社 ダウンミクス装置およびダウンミクス方法
EP3739577B1 (en) * 2010-04-09 2022-11-23 Dolby International AB Mdct-based complex prediction stereo coding
WO2011132368A1 (ja) * 2010-04-19 2011-10-27 パナソニック株式会社 符号化装置、復号装置、符号化方法及び復号方法
KR20120038311A (ko) 2010-10-13 2012-04-23 삼성전자주식회사 공간 파라미터 부호화 장치 및 방법，그리고 공간 파라미터 복호화 장치 및 방법
US9055371B2 (en) 2010-11-19 2015-06-09 Nokia Technologies Oy Controllable playback system offering hierarchical playback options
US9313599B2 (en) 2010-11-19 2016-04-12 Nokia Technologies Oy Apparatus and method for multi-channel signal playback
US9456289B2 (en) 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
KR20120071072A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
KR101859246B1 (ko) 2011-04-20 2018-05-17 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 허프만 부호화를 실행하기 위한 장치 및 방법
US9966080B2 (en) 2011-11-01 2018-05-08 Koninklijke Philips N.V. Audio object encoding and decoding
WO2013073810A1 (ko) * 2011-11-14 2013-05-23 한국전자통신연구원 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법
KR20130093798A (ko) 2012-01-02 2013-08-23 한국전자통신연구원 다채널 신호 부호화 및 복호화 장치 및 방법
CN108810744A (zh) 2012-04-05 2018-11-13 诺基亚技术有限公司 柔性的空间音频捕捉设备
US9312829B2 (en) 2012-04-12 2016-04-12 Dts Llc System for adjusting loudness of audio signals in real time
US9622014B2 (en) 2012-06-19 2017-04-11 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
EP3748632A1 (en) * 2012-07-09 2020-12-09 Koninklijke Philips N.V. Encoding and decoding of audio signals
US9190065B2 (en) 2012-07-15 2015-11-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
US9516446B2 (en) 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
WO2014021588A1 (ko) * 2012-07-31 2014-02-06 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
AU2013298462B2 (en) * 2012-08-03 2016-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
US9489954B2 (en) * 2012-08-07 2016-11-08 Dolby Laboratories Licensing Corporation Encoding and rendering of object based audio indicative of game audio content
JP6141980B2 (ja) 2012-08-10 2017-06-07 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 空間オーディオオブジェクト符号化においてオーディオ情報を適応させる装置および方法
KR20140027831A (ko) * 2012-08-27 2014-03-07 삼성전자주식회사 오디오 신호 전송 장치 및 그의 오디오 신호 전송 방법, 그리고 오디오 신호 수신 장치 및 그의 오디오 소스 추출 방법
EP2717262A1 (en) * 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for signal-dependent zoom-transform in spatial audio object coding
US9774973B2 (en) * 2012-12-04 2017-09-26 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method
MX347551B (es) 2013-01-15 2017-05-02 Koninklijke Philips Nv Procesamiento de audio binaural.
JP6179122B2 (ja) * 2013-02-20 2017-08-16 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム
JP6484605B2 (ja) 2013-03-15 2019-03-13 ディーティーエス・インコーポレイテッドＤＴＳ，Ｉｎｃ． 複数のオーディオステムからの自動マルチチャネル音楽ミックス
WO2014162171A1 (en) 2013-04-04 2014-10-09 Nokia Corporation Visual audio processing apparatus
WO2014165543A1 (en) * 2013-04-05 2014-10-09 Dolby Laboratories Licensing Corporation Companding apparatus and method to reduce quantization noise using advanced spectral extension
RU2625444C2 (ru) 2013-04-05 2017-07-13 Долби Интернэшнл Аб Система обработки аудио
WO2014175591A1 (ko) * 2013-04-27 2014-10-30 인텔렉추얼디스커버리 주식회사 오디오 신호처리 방법
EP2804176A1 (en) * 2013-05-13 2014-11-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio object separation from mixture signal using object-specific time/frequency resolutions
US9706324B2 (en) 2013-05-17 2017-07-11 Nokia Technologies Oy Spatial object oriented audio apparatus
KR101763131B1 (ko) * 2013-05-24 2017-07-31 돌비 인터네셔널 에이비 오디오 인코더 및 디코더
RU2628177C2 (ru) * 2013-05-24 2017-08-15 Долби Интернешнл Аб Способы кодирования и декодирования звука, соответствующие машиночитаемые носители и соответствующие устройство кодирования и устройство декодирования звука
CN105229732B (zh) * 2013-05-24 2018-09-04 杜比国际公司 包括音频对象的音频场景的高效编码
EP3270375B1 (en) * 2013-05-24 2020-01-15 Dolby International AB Reconstruction of audio scenes from a downmix
CN109887517B (zh) 2013-05-24 2023-05-23 杜比国际公司 对音频场景进行解码的方法、解码器及计算机可读介质
CN109712630B (zh) * 2013-05-24 2023-05-30 杜比国际公司 包括音频对象的音频场景的高效编码
US9691406B2 (en) * 2013-06-05 2017-06-27 Dolby Laboratories Licensing Corporation Method for encoding audio signals, apparatus for encoding audio signals, method for decoding audio signals and apparatus for decoding audio signals
CN104240711B (zh) 2013-06-18 2019-10-11 杜比实验室特许公司 用于生成自适应音频内容的方法、系统和装置
EP3933834A1 (en) 2013-07-05 2022-01-05 Dolby International AB Enhanced soundfield coding using parametric component generation
WO2015009040A1 (ko) * 2013-07-15 2015-01-22 한국전자통신연구원 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법
EP2830063A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for decoding an encoded audio signal
EP2830046A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal to obtain modified output signals
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP2830045A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830334A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
EP2830048A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for realizing a SAOC downmix of 3D audio content
MX361115B (es) 2013-07-22 2018-11-28 Fraunhofer Ges Forschung Descodificador de audio multicanal, codificador de audio multicanal, métodos, programa de computadora y representación de audio codificada usando una decorrelación de señales de audio renderizadas.
KR102484214B1 (ko) * 2013-07-31 2023-01-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱
KR101790641B1 (ko) * 2013-08-28 2017-10-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이브리드 파형-코딩 및 파라미터-코딩된 스피치 인핸스
KR102243395B1 (ko) * 2013-09-05 2021-04-22 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
CN110634494B (zh) 2013-09-12 2023-09-01 杜比国际公司 多声道音频内容的编码
TWI634547B (zh) * 2013-09-12 2018-09-01 瑞典商杜比國際公司 在包含至少四音訊聲道的多聲道音訊系統中之解碼方法、解碼裝置、編碼方法以及編碼裝置以及包含電腦可讀取的媒體之電腦程式產品
TWI557724B (zh) * 2013-09-27 2016-11-11 杜比實驗室特許公司 用於將 n 聲道音頻節目編碼之方法、用於恢復 n 聲道音頻節目的 m 個聲道之方法、被配置成將 n 聲道音頻節目編碼之音頻編碼器及被配置成執行 n 聲道音頻節目的恢復之解碼器
JP6429092B2 (ja) * 2013-10-09 2018-11-28 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP6396452B2 (ja) * 2013-10-21 2018-09-26 ドルビー・インターナショナル・アーベー オーディオ・エンコーダおよびデコーダ
CN105917406B (zh) 2013-10-21 2020-01-17 杜比国际公司 音频信号的参数化重构
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
EP2866475A1 (en) 2013-10-23 2015-04-29 Thomson Licensing Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups
KR102107554B1 (ko) * 2013-11-18 2020-05-07 인포뱅크 주식회사 네트워크를 이용한 멀티미디어 합성 방법
EP2879131A1 (en) * 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
CN105900169B (zh) 2014-01-09 2020-01-03 杜比实验室特许公司 音频内容的空间误差度量
US20170287505A1 (en) * 2014-09-03 2017-10-05 Samsung Electronics Co., Ltd. Method and apparatus for learning and recognizing audio signal
US9774974B2 (en) 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
TWI587286B (zh) 2014-10-31 2017-06-11 杜比國際公司 音頻訊號之解碼和編碼的方法及系統、電腦程式產品、與電腦可讀取媒體
EP3067885A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
BR112018000489B1 (pt) * 2015-07-16 2022-12-27 Sony Corporation Aparelho e método para processamento de informação, e, programa
EP4224887A1 (en) * 2015-08-25 2023-08-09 Dolby International AB Audio encoding and decoding using presentation transform parameters
PL3353779T3 (pl) 2015-09-25 2020-11-16 Voiceage Corporation Sposób i system do kodowania sygnału dźwięku stereofonicznego przy użyciu parametrów kodowania kanału podstawowego do kodowania kanału podrzędnego
US9961467B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from channel-based audio to HOA
WO2017087650A1 (en) 2015-11-17 2017-05-26 Dolby Laboratories Licensing Corporation Headtracking for parametric binaural output system and method
RU2020116816A (ru) * 2015-11-17 2020-07-28 Долби Лэборетериз Лайсенсинг Корпорейшн Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала
KR102640940B1 (ko) 2016-01-27 2024-02-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 음향 환경 시뮬레이션
US10135979B2 (en) * 2016-11-02 2018-11-20 International Business Machines Corporation System and method for monitoring and visualizing emotions in call center dialogs by call center supervisors
US10158758B2 (en) 2016-11-02 2018-12-18 International Business Machines Corporation System and method for monitoring and visualizing emotions in call center dialogs at call centers
CN106604199B (zh) * 2016-12-23 2018-09-18 湖南国科微电子股份有限公司 一种数字音频信号的矩阵处理方法及装置
GB201718341D0 (en) * 2017-11-06 2017-12-20 Nokia Technologies Oy Determination of targeted spatial audio parameters and associated spatial audio playback
US10650834B2 (en) * 2018-01-10 2020-05-12 Savitech Corp. Audio processing method and non-transitory computer readable medium
GB2572650A (en) 2018-04-06 2019-10-09 Nokia Technologies Oy Spatial audio parameters and associated spatial audio playback
GB2574239A (en) 2018-05-31 2019-12-04 Nokia Technologies Oy Signalling of spatial audio parameters
CN114420139A (zh) * 2018-05-31 2022-04-29 华为技术有限公司 一种下混信号的计算方法及装置
CN110970008A (zh) * 2018-09-28 2020-04-07 广州灵派科技有限公司 一种嵌入式混音方法、装置、嵌入式设备及存储介质
TWI792006B (zh) * 2019-06-14 2023-02-11 弗勞恩霍夫爾協會 音訊合成器、訊號產生方法及儲存單元
KR102079691B1 (ko) * 2019-11-11 2020-02-19 인포뱅크 주식회사 네트워크를 이용한 멀티미디어 합성 단말기
WO2022245076A1 (ko) * 2021-05-21 2022-11-24 삼성전자 주식회사 다채널 오디오 신호 처리 장치 및 방법
CN114463584B (zh) * 2022-01-29 2023-03-24 北京百度网讯科技有限公司 图像处理、模型训练方法、装置、设备、存储介质及程序
CN114501297B (zh) * 2022-04-02 2022-09-02 北京荣耀终端有限公司 一种音频处理方法以及电子设备

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69428939T2 (de) * 1993-06-22 2002-04-04 Thomson Brandt Gmbh Verfahren zur Erhaltung einer Mehrkanaldekodiermatrix
CN1129263C (zh) 1994-02-17 2003-11-26 摩托罗拉公司 分组编码信号的方法和装置
US6128597A (en) * 1996-05-03 2000-10-03 Lsi Logic Corporation Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor
US5912976A (en) 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
JP2005093058A (ja) * 1997-11-28 2005-04-07 Victor Co Of Japan Ltd オーディオ信号のエンコード方法及びデコード方法
JP3743671B2 (ja) * 1997-11-28 2006-02-08 日本ビクター株式会社 オーディオディスク及びオーディオ再生装置
US6016473A (en) * 1998-04-07 2000-01-18 Dolby; Ray M. Low bit-rate spatial coding method and system
US6788880B1 (en) 1998-04-16 2004-09-07 Victor Company Of Japan, Ltd Recording medium having a first area for storing an audio title set and a second area for storing a still picture set and apparatus for processing the recorded information
US6122619A (en) * 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
CA2859333A1 (en) * 1999-04-07 2000-10-12 Dolby Laboratories Licensing Corporation Matrix improvements to lossless encoding and decoding
KR100392384B1 (ko) 2001-01-13 2003-07-22 한국전자통신연구원 엠펙-2 데이터에 엠펙-4 데이터를 동기화시켜 전송하는장치 및 그 방법
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
JP2002369152A (ja) 2001-06-06 2002-12-20 Canon Inc 画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムが記憶されたコンピュータにより読み取り可能な記憶媒体
ATE390245T1 (de) 2001-09-14 2008-04-15 Aleris Aluminum Koblenz Gmbh Verfahren zur beschichtungsentfernung von schrottteilen mit metallischer beschichtung
BRPI0308148A2 (pt) * 2002-04-05 2016-06-21 Koninkl Philips Electronics Nv métodos e aparelhos para codificar n sinais de entrada e para decodificar dados codificados representativos de n sinais, formato de sinal, e, portador de gravação
JP3994788B2 (ja) 2002-04-30 2007-10-24 ソニー株式会社 伝達特性測定装置、伝達特性測定方法、及び伝達特性測定プログラム、並びに増幅装置
AU2003244932A1 (en) 2002-07-12 2004-02-02 Koninklijke Philips Electronics N.V. Audio coding
CN1669358A (zh) 2002-07-16 2005-09-14 皇家飞利浦电子股份有限公司 音频编码
JP2004193877A (ja) 2002-12-10 2004-07-08 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
KR20040060718A (ko) * 2002-12-28 2004-07-06 삼성전자주식회사 오디오 스트림 믹싱 방법, 그 장치 및 그 정보저장매체
JP2006521577A (ja) 2003-03-24 2006-09-21 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ マルチチャネル信号を表す主信号と副信号の符号化
US7447317B2 (en) 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
JP4378157B2 (ja) 2003-11-14 2009-12-02 キヤノン株式会社 データ処理方法および装置
US7555009B2 (en) 2003-11-14 2009-06-30 Canon Kabushiki Kaisha Data processing method and apparatus, and data distribution method and information processing apparatus
US7805313B2 (en) 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
MXPA06011359A (es) * 2004-04-05 2007-01-16 Koninkl Philips Electronics Nv Codificador de canales multiples.
US9992599B2 (en) 2004-04-05 2018-06-05 Koninklijke Philips N.V. Method, device, encoder apparatus, decoder apparatus and audio system
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US7391870B2 (en) 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
TWI393121B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
US8019087B2 (en) * 2004-08-31 2011-09-13 Panasonic Corporation Stereo signal generating apparatus and stereo signal generating method
JP2006101248A (ja) 2004-09-30 2006-04-13 Victor Co Of Japan Ltd 音場補正装置
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
WO2006060279A1 (en) 2004-11-30 2006-06-08 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
EP1866912B1 (en) * 2005-03-30 2010-07-07 Koninklijke Philips Electronics N.V. Multi-channel audio coding
US7991610B2 (en) 2005-04-13 2011-08-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Adaptive grouping of parameters for enhanced coding efficiency
US7961890B2 (en) 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
US8185403B2 (en) 2005-06-30 2012-05-22 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
US20070055510A1 (en) * 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
US7693706B2 (en) 2005-07-29 2010-04-06 Lg Electronics Inc. Method for generating encoded audio signal and method for processing audio signal
WO2007027051A1 (en) * 2005-08-30 2007-03-08 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
KR100857105B1 (ko) 2005-09-14 2008-09-05 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 장치
WO2007049881A1 (en) * 2005-10-26 2007-05-03 Lg Electronics Inc. Method for encoding and decoding multi-channel audio signal and apparatus thereof
KR100888474B1 (ko) * 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
KR100644715B1 (ko) * 2005-12-19 2006-11-10 삼성전자주식회사 능동적 오디오 매트릭스 디코딩 방법 및 장치
KR101366291B1 (ko) 2006-01-19 2014-02-21 엘지전자 주식회사 신호 디코딩 방법 및 장치
US8560303B2 (en) 2006-02-03 2013-10-15 Electronics And Telecommunications Research Institute Apparatus and method for visualization of multichannel audio signals
WO2007089131A1 (en) 2006-02-03 2007-08-09 Electronics And Telecommunications Research Institute Method and apparatus for control of randering multiobject or multichannel audio signal using spatial cue
KR20080093422A (ko) * 2006-02-09 2008-10-21 엘지전자 주식회사 오브젝트 기반 오디오 신호의 부호화 및 복호화 방법과 그장치
WO2007091870A1 (en) 2006-02-09 2007-08-16 Lg Electronics Inc. Method for encoding and decoding object-based audio signal and apparatus thereof
EP1999999B1 (en) * 2006-03-24 2011-11-02 Dolby Sweden AB Generation of spatial downmixes from parametric representations of multi channel signals
ATE538604T1 (de) 2006-03-28 2012-01-15 Ericsson Telefon Ab L M Verfahren und anordnung für einen decoder für mehrkanal-surroundton
US7965848B2 (en) 2006-03-29 2011-06-21 Dolby International Ab Reduced number of channels decoding
EP1853092B1 (en) 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
AU2007271532B2 (en) * 2006-07-07 2011-03-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for combining multiple parametrically coded audio sources
US20080235006A1 (en) 2006-08-18 2008-09-25 Lg Electronics, Inc. Method and Apparatus for Decoding an Audio Signal
CN102768836B (zh) 2006-09-29 2014-11-05 韩国电子通信研究院 用于编码和解码具有各种声道的多对象音频信号的设备和方法
AU2007300814B2 (en) 2006-09-29 2010-05-13 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
JP5232791B2 (ja) * 2006-10-12 2013-07-10 エルジー エレクトロニクス インコーポレイティド ミックス信号処理装置及びその方法
ATE503245T1 (de) 2006-10-16 2011-04-15 Dolby Sweden Ab Erweiterte codierung und parameterrepräsentation einer mehrkanaligen heruntergemischten objektcodierung

Also Published As

Publication number Publication date
RU2011102416A (ru) 2012-07-27
AU2007312598A1 (en) 2008-04-24
CN103400583A (zh) 2013-11-20
RU2009113055A (ru) 2010-11-27
AU2007312598B2 (en) 2011-01-20
TWI347590B (en) 2011-08-21
WO2008046531A1 (en) 2008-04-24
CN103400583B (zh) 2016-01-20
CA2666640C (en) 2015-03-10
JP5297544B2 (ja) 2013-09-25
JP2013190810A (ja) 2013-09-26
EP2054875A1 (en) 2009-05-06
AU2011201106B2 (en) 2012-07-26
KR20090057131A (ko) 2009-06-03
CA2874451C (en) 2016-09-06
PL2068307T3 (pl) 2012-07-31
EP2372701A1 (en) 2011-10-05
EP2054875B1 (en) 2011-03-23
CN102892070A (zh) 2013-01-23
US20110022402A1 (en) 2011-01-27
CA2874454C (en) 2017-05-02
MY145497A (en) 2012-02-29
EP2372701B1 (en) 2013-12-11
ATE536612T1 (de) 2011-12-15
AU2011201106A1 (en) 2011-04-07
CA2874451A1 (en) 2008-04-24
HK1162736A1 (en) 2012-08-31
UA94117C2 (ru) 2011-04-11
EP2068307A1 (en) 2009-06-10
HK1126888A1 (en) 2009-09-11
NO340450B1 (no) 2017-04-24
DE602007013415D1 (de) 2011-05-05
US20170084285A1 (en) 2017-03-23
ES2378734T3 (es) 2012-04-17
CA2666640A1 (en) 2008-04-24
PT2372701E (pt) 2014-03-20
EP2068307B1 (en) 2011-12-07
CA2874454A1 (en) 2008-04-24
JP2010507115A (ja) 2010-03-04
NO20091901L (no) 2009-05-14
BRPI0715559A2 (pt) 2013-07-02
JP5270557B2 (ja) 2013-08-21
KR101103987B1 (ko) 2012-01-06
KR20110002504A (ko) 2011-01-07
ATE503245T1 (de) 2011-04-15
SG175632A1 (en) 2011-11-28
US9565509B2 (en) 2017-02-07
TW200828269A (en) 2008-07-01
CN102892070B (zh) 2016-02-24
RU2430430C2 (ru) 2011-09-27
HK1133116A1 (en) 2010-03-12
JP2012141633A (ja) 2012-07-26
CN101529501B (zh) 2013-08-07
KR101012259B1 (ko) 2011-02-08
CN101529501A (zh) 2009-09-09
MX2009003570A (es) 2009-05-28

Similar Documents

Publication Publication Date Title
JP5592974B2 (ja) 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現
JP5133401B2 (ja) 出力信号の合成装置及び合成方法
KR100924577B1 (ko) 오디오 소스의 파라메트릭 조인트 코딩
JP5189979B2 (ja) 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御
JP5081838B2 (ja) オーディオ符号化及び復号
RU2558612C2 (ru) Декодер аудиосигнала, способ декодирования аудиосигнала и компьютерная программа с использованием ступеней каскадной обработки аудиообъектов
TWI396187B (zh) 用於將以物件為主之音訊信號編碼與解碼之方法與裝置
JP2011501823A (ja) アップミックスを使用した音声符号器
Hotho et al. A backward-compatible multichannel audio codec
RU2485605C2 (ru) Усовершенствованный метод кодирования и параметрического представления кодирования многоканального объекта после понижающего микширования

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140801

R150 Certificate of patent or registration of utility model

Ref document number: 5592974

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250