JP6686015B2 - オーディオ信号のパラメトリック混合 - Google Patents

オーディオ信号のパラメトリック混合 Download PDF

Info

Publication number
JP6686015B2
JP6686015B2 JP2017522828A JP2017522828A JP6686015B2 JP 6686015 B2 JP6686015 B2 JP 6686015B2 JP 2017522828 A JP2017522828 A JP 2017522828A JP 2017522828 A JP2017522828 A JP 2017522828A JP 6686015 B2 JP6686015 B2 JP 6686015B2
Authority
JP
Japan
Prior art keywords
channel
signal
channels
additional
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017522828A
Other languages
English (en)
Other versions
JP2017537342A5 (ja
JP2017537342A (ja
Inventor
ヴィレモーズ,ラルス
プルンハーゲン,ヘイコ
レヒトーネン,ヘイディ−マリア
Original Assignee
ドルビー・インターナショナル・アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー・インターナショナル・アーベー filed Critical ドルビー・インターナショナル・アーベー
Publication of JP2017537342A publication Critical patent/JP2017537342A/ja
Publication of JP2017537342A5 publication Critical patent/JP2017537342A5/ja
Application granted granted Critical
Publication of JP6686015B2 publication Critical patent/JP6686015B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

ここに開示される発明は、概括的にはオーディオ信号のエンコードおよびデコードに、詳細には付随するメタデータに基づくダウンミックス信号の諸チャネルの混合に関する。
複数のスピーカーを有するオーディオ再生システムは、マルチチャネル・オーディオ信号によって表わされるオーディオ・シーンを再生するために頻繁に使われる。ここで、マルチチャネル・オーディオ信号のそれぞれのチャネルはそれぞれのスピーカー上で再生される。マルチチャネル・オーディオ信号は、たとえば複数の音響トランスデューサを介して記録されたものであってもよく、オーディオ・オーサリング設備によって生成されたものであってもよい。多くの状況において、オーディオ信号を再生設備に伝送するための帯域幅制限および/またはオーディオ信号をコンピュータ・メモリまたはポータブル記憶デバイスに記憶するための限られたスペースがある。必要とされる帯域幅または記憶を減らすよう、オーディオ信号のパラメトリック符号化のためのオーディオ符号化システムがある。エンコーダ側では、これらのシステムは典型的にはマルチチャネル・オーディオ信号をダウンミックスして、典型的にはモノ(一チャネル)またはステレオ(二チャネル)ダウンミックスであるダウンミックス信号にし、レベル差および相互相関のようなパラメータによってチャネルの属性を記述するサイド情報を抽出する。次いで、ダウンミックスおよびサイド情報はエンコードされ、デコーダ側に送られる。デコーダ側では、サイド情報のパラメータの制御のもとで、マルチチャネル・オーディオ信号がダウンミックスから再構成される、すなわち近似される。
家庭におけるエンドユーザーに向けた台頭しつつあるセグメントを含めマルチチャネル・オーディオ・コンテンツの再生のために利用可能な装置およびシステムの異なる型の幅広い範囲に鑑み、帯域幅要求および/または記憶のための要求されるメモリ・サイズを減らす、デコーダ側でのマルチチャネル・オーディオ信号の再構成を容易にするおよび/またはデコーダ側で再構成されるマルチチャネル・オーディオ信号の忠実度を高めるよう、マルチチャネル・オーディオ・コンテンツを効率的にエンコードする新たな代替的な方法が必要とされている。もとのマルチチャネル・オーディオ・コンテンツに存在するチャネル数より少ないスピーカーをもつシステムを含め、種々の型のスピーカー・システムで、エンコードされたマルチチャネル・オーディオ・コンテンツの再生を容易にする必要もある。
以下では、付属の図面を参照して、例示的な実施形態についてより詳細に述べる。
ある例示的実施形態に基づく、Mチャネル信号を二チャネル・ダウンミックス信号および関連するメタデータとしてエンコードするためのエンコード部の一般化されたブロック図である。 ある例示的実施形態に基づく、図1に描かれたエンコード部を有するオーディオ・エンコード・システムの一般化されたブロック図である。 ある例示的実施形態に基づく、Mチャネル信号を二チャネル・ダウンミックス信号および関連するメタデータとしてエンコードするためのオーディオ・エンコード方法のフローチャートである。 ある例示的実施形態に基づく、11.1チャネル(または7.1+4チャネルまたは7.1.4チャネル)オーディオ信号をそれぞれのダウンミックス・チャネルによって表わされるチャネルの諸グループに分割する代替的な仕方を示す図の一つである。 ある例示的実施形態に基づく、11.1チャネル(または7.1+4チャネルまたは7.1.4チャネル)オーディオ信号をそれぞれのダウンミックス・チャネルによって表わされるチャネルの諸グループに分割する代替的な仕方を示す図の一つである。 例示的実施形態に基づく、11.1チャネル(または7.1+4チャネルまたは7.1.4チャネル)オーディオ信号をそれぞれのダウンミックス・チャネルによって表わされるチャネルの諸グループに分割する代替的な仕方を示す図の一つである。 ある例示的実施形態に基づく、二チャネル・ダウンミックス信号および関連するアップミックス・パラメータに基づいて二チャネル出力信号を与えるためのデコード部の一般化されたブロック図である。 ある例示的実施形態に基づく、図7に描かれたデコード部を有するオーディオ・デコード・システムの一般化されたブロック図である。 ある例示的実施形態に基づく、二チャネル・ダウンミックス信号および関連する混合パラメータに基づいて二チャネル出力信号を与えるためのデコード部の一般化されたブロック図である。 ある例示的実施形態に基づく、二チャネル・ダウンミックス信号および関連するメタデータに基づいて二チャネル出力信号を与えるためのオーディオ・デコード方法のフローチャートである。 ある例示的実施形態に基づくコンピュータ可読媒体を概略的に示す図である。 ある例示的実施形態に基づく、二チャネル・ダウンミックス信号および関連するアップミックス・パラメータに基づいてKチャネル出力信号を与えるためのデコード部の一般化されたブロック図である。 例示的実施形態に基づく、11.1チャネル(または7.1+4チャネルまたは7.1.4チャネル)オーディオ信号をチャネルの諸グループに分割する代替的な仕方を示す図の一つである。 例示的実施形態に基づく、11.1チャネル(または7.1+4チャネルまたは7.1.4チャネル)オーディオ信号をチャネルの諸グループに分割する代替的な仕方を示す図の一つである。 例示的実施形態に基づく、13.1チャネル(または9.1+4チャネルまたは9.1.4チャネル)オーディオ信号をチャネルの諸グループに分割する代替的な仕方を示す図の一つである。 例示的実施形態に基づく、13.1チャネル(または9.1+4チャネルまたは9.1.4チャネル)オーディオ信号をチャネルの諸グループに分割する代替的な仕方を示す図の一つである。 すべての図面は概略的であり、概して本発明を明快にするために必要な部分を示すだけである。一方、他の部分は省略されたり、単に示唆されるだけであることがある。
本稿での用法では、「オーディオ信号」は、単体のオーディオ信号、オーディオビジュアル信号のオーディオ部分もしくはマルチメディア信号またはこれらのいずれかをメタデータと組み合わせたものでありうる。
本稿での用法では、「チャネル」は、あらかじめ定義された/固定された空間位置/配向または「左」や「右」のような定義されていない空間位置に関連付けられたオーディオ信号である。
〈I.概観 ―― デコーダ側〉
第一の側面によれば、例示的実施形態は、オーディオ・デコード・システム、オーディオ・デコード方法および関連するコンピュータ・プログラム・プロダクトを提案する。第一の側面に基づく提案されるデコード・システム、方法およびコンピュータ・プログラム・プロダクトは一般に、同じ特徴および利点を共有してもよい。
例示的実施形態によれば、オーディオ・デコード方法が提供され、本方法は二チャネル・ダウンミックス信号を受領することを含む。ダウンミックス信号は、該ダウンミックス信号に基づくMチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータを含むメタデータに関連付けられている。ここで、M≧4である。ダウンミックス信号の第一のチャネルは、Mチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルの線形結合に対応し、ダウンミックス信号の第二のチャネルは、Mチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルの線形結合に対応する。第一のグループおよび第二のグループは、Mチャネル・オーディオ信号のM個のチャネルの分割をなす。オーディオ・デコード方法はさらに:前記メタデータの少なくとも一部を受領し;前記ダウンミックス信号の少なくとも一つのチャネルに基づいて脱相関信号を生成し;受領されたメタデータに基づいて一組の混合係数を決定し;それらの混合係数に基づいて前記ダウンミックス信号および前記脱相関信号の線形結合として二チャネル出力信号を形成することを含む。混合係数は、出力信号の第一のチャネルがMチャネル・オーディオ信号の第三のグループの一つまたは複数のチャネルの線形結合を近似し、出力信号の第二のチャネルがMチャネル・オーディオ信号の第四のグループの一つまたは複数のチャネルの線形結合を近似するよう、決定される。混合係数は、第三のグループおよび第四のグループがMチャネル・オーディオ信号のM個のチャネルの分割をなし、第三のグループおよび第四のグループがいずれも前記第一のグループからの少なくとも一つのチャネルを含むようにも決定される。
Mチャネル・オーディオ信号は、前記二チャネル・ダウンミックス信号および該Mチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータとしてエンコードされている。エンコーダ側でMチャネル・オーディオ信号をエンコードするときには、たとえばダウンミックス信号からのMチャネル・オーディオ信号の再構成を容易にするため、ダウンミックス信号から再構成されるMチャネル・オーディオ信号の忠実度を改善するためおよび/またはダウンミックス信号の符号化効率を改善するために、符号化フォーマットが選ばれてもよい。符号化フォーマットのこの選択は、第一および第二のグループを選択し、ダウンミックス信号のチャネルをそれぞれのグループのチャネルのそれぞれの線形結合として形成することによって実行されてもよい。
発明者は、選ばれた符号化フォーマットはダウンミックス信号からのMチャネル・オーディオ信号の再構成を容易にしうるものの、ダウンミックス信号はそれ自身では、特定の二スピーカー構成を使った再生のために好適でないことがありうることを認識するに至った。Mチャネル・オーディオ信号の第三および第四のグループへの異なる分割に対応する出力信号は、特定の二チャネル再生セッティングにとっては、前記ダウンミックス信号より好適であることがありうる。したがって、ダウンミックス信号および受領されたメタデータに基づいて出力信号を提供することは、聴取者によって知覚される二チャネル再生品質を改善するおよび/またはMチャネル・オーディオ信号によって表わされる音場に対する二チャネル再生の忠実度を改善することがありうる。
発明者はさらに、ダウンミックス信号からまずMチャネル・オーディオ信号を再構成して次いでMチャネル・オーディオ信号の代替的な二チャネル表現を(たとえば加法的混合によって)生成する代わりに、出力信号によって提供される代替的な二チャネル表現は、ダウンミックス信号および受領されたメタデータから、より効率的に生成されうることを認識するに至った。それは、Mチャネル・オーディオ信号のいくつかのチャネルが上記両方の二チャネル表現において同様に一緒にグループ化されているという事実を活用することによる。出力信号を、ダウンミックス信号および脱相関信号の線形結合として形成することは、たとえば、デコーダ側における計算量を減らすおよび/またはMチャネル・オーディオ信号の代替的な二チャネル表現を得るために用いられるコンポーネントまたは処理段階の数を減らすことがありうる。
ダウンミックス信号の前記第一のチャネルは、たとえばエンコーダ側で、前記第一のグループの一つまたは複数のチャネルの線形結合として形成されたものであってもよい。同様に、ダウンミックス信号の前記第二のチャネルは、たとえばエンコーダ側で、前記第二のグループの一つまたは複数のチャネルの線形結合として形成されたものであってもよい。
Mチャネル・オーディオ信号のチャネルは、たとえば、一緒になって音場を表わす、より多数のチャネルの部分集合をなしてもよい。
前記第三のグループおよび前記第四のグループはいずれも前記第一のグループからの少なくとも一つのチャネルを含むので、第三および第四のグループによって与えられる分割は、第一および第二のグループによって与えられる分割とは異なることが理解されるであろう。
脱相関信号は、聴取者によって知覚されるダウンミックス信号のオーディオ・コンテンツの次元を増すはたらきをする。脱相関信号を生成することは、たとえば、ダウンミックス信号の一つまたは複数のチャネルに線形フィルタを適用することを含んでいてもよい。
出力信号を形成することは、たとえば、ダウンミックス信号のチャネルに前記混合係数の少なくともいくつかを、脱相関信号の前記一つまたは複数のチャネルに前記混合係数の少なくともいくつかを適用することを含んでいてもよい。
ある例示的実施形態では、受領されたメタデータはアップミックス・パラメータを含んでいてもよく、混合係数は、アップミックス・パラメータを処理することによって、たとえばアップミックス・パラメータに対して数学的演算(たとえば算術演算を含む)を実行することによって、決定されてもよい。アップミックス・パラメータは典型的にはエンコーダ側ですでに決定されており、デコーダ側でのMチャネル・オーディオ信号のパラメトリック再構成のためにダウンミックス信号と一緒に提供される。アップミックス・パラメータは、ダウンミックス信号に基づいて出力信号を提供するために用いられうる、Mチャネル・オーディオ信号についての情報を担持する。デコーダ側でアップミックス・パラメータに基づいて混合係数を決定することは、エンコーダ側で追加的なメタデータが生成される必要性を減らし、エンコーダ側から伝送されるデータの削減を許容する。
ある例示的実施形態では、受領されたメタデータは、前記アップミックス・パラメータとは異なる混合パラメータを含んでいてもよい。本例示的実施形態では、混合係数は、受領されたメタデータに基づいて、よって混合パラメータに基づいて決定されてもよい。混合パラメータはエンコーダ側ですでに決定されていて、混合係数の決定を容易にするためにデコーダ側に伝送されてもよい。さらに、混合係数を決定するために混合パラメータを使うことは、エンコーダ側からの混合係数の制御を許容する。もとのMチャネル・オーディオ信号はエンコーダ側で利用可能なので、混合パラメータはたとえば、Mチャネル・オーディオ信号の二チャネル表現としての前記二チャネル出力信号の忠実度を高めるよう、エンコーダ側で調整されうる。混合パラメータはたとえば混合係数自身であってもよく、あるいは混合パラメータは混合係数のよりコンパクトな表現を提供してもよい。混合係数はたとえば、あらかじめ定義された規則などに従って混合パラメータを処理することによって決定されてもよい。混合パラメータはたとえば、三つの独立して割り当て可能なパラメータを含んでいてもよい。
ある例示的実施形態では、混合係数は、アップミックス・パラメータのいかなる値とも独立して決定されてもよい。これは、アップミックス・パラメータとは独立して混合係数の調整を許容し、Mチャネル・オーディオ信号の二チャネル表現としての前記二チャネル出力信号の忠実度を高めることを許容する。
ある例示的実施形態では、M=5が成り立ってもよい。すなわち、Mチャネル・オーディオ信号は5チャネル・オーディオ信号であってもよい。本例示的実施形態のオーディオ・デコード方法は、たとえば、現在確立されている諸5.1オーディオ・フォーマットのうちの一つの五つの通常のチャネルのために、あるいは11.1マルチチャネル・オーディオ信号における左側または右側の五つのチャネルのために用いられてもよい。あるいはまた、M=4またはM≧6が成り立ってもよい。
ある例示的実施形態では、Mチャネル・オーディオ信号のチャネルからの、ダウンミックス信号のチャネルが対応する前記線形結合のうちの一線形結合への寄与を制御する各利得が、Mチャネル・オーディオ信号のそのチャネルからの、前記出力信号のチャネルによって近似される前記線形結合のうちの一線形結合への寄与を制御する利得と一致してもよい。本例示的実施形態においてこれらの利得が一致するという事実は、ダウンミックス信号に基づく出力信号の提供を単純化することを許容する。特に、ダウンミックス信号に基づいて第三および第四のグループの線形結合を近似するために用いられる脱相関されたチャネルの数を減らすことが可能である。
たとえばMチャネル・オーディオ信号の異なるチャネルについて異なる利得が用いられてもよい。
第一例では、すべての利得は値1を有していてもよい。第一例では、ダウンミックス信号の第一および第二のチャネルは、それぞれ第一および第二のグループの重み付けされていない和に対応してもよく、出力信号の第一および第二のチャネルはそれぞれ第三および第四のセットの重み付けされていない和を近似してもよい。
第二例では、利得の少なくともいくつかは1とは異なる値を有していてもよい。第二例では、ダウンミックス信号の第一および第二のチャネルは、それぞれ第一および第二のグループの重み付けされた和に対応してもよく、出力信号の第一および第二のチャネルはそれぞれ第三および第四のセットの重み付けされた和を近似してもよい。
ある例示的実施形態では、デコード方法はさらに:ダウンミックス信号およびメタデータを表わすビットストリームを受領し;前記ビットストリームから、前記ダウンミックス信号と前記メタデータの受領された部分とを抽出することを含んでいてもよい。換言すれば、混合係数を決定するために用いられる受領されたメタデータはまず前記ビットストリームから抽出されたのでもよい。アップミックス・パラメータを含むメタデータのすべてが、たとえば前記ビットストリームから抽出されてもよい。代替例では、混合パラメータを決定するために必要なメタデータのみが前記ビットストリームから抽出されてもよく、さらなるメタデータの抽出はたとえば禁止されてもよい。
ある例示的実施形態では、脱相関信号は単一チャネル信号であってもよく、前記出力信号は、高々一つの脱相関信号チャネルを、ダウンミックス信号および脱相関信号の線形結合に、すなわち前記出力信号を得るもとになる線形結合に、含めることによって形成されてもよい。発明者は、二チャネル出力信号を提供するためにMチャネル・オーディオ信号を再構成する必要はないこと、完全なMチャネル・オーディオ信号を再構成する必要がないので脱相関信号チャネルの数が減らされてもよいことを認識するに至った。
ある例示的実施形態では、混合係数は、前記出力信号の二つのチャネルが前記脱相関信号から等しい大きさの(たとえば等しい振幅の)寄与を受けるよう決定されてもよい。前記脱相関信号から前記出力信号のそれぞれのチャネルへの寄与は逆符号を有していてもよい。換言すれば、混合係数は、前記脱相関信号のチャネルから前記出力信号の第一のチャネルへの寄与を制御する混合係数と前記脱相関信号の同じチャネルから前記出力信号の第二のチャネルへの寄与を制御する混合係数との和が値0をもつように決定されてもよい。
本例示的実施形態では、脱相関信号に由来するオーディオ・コンテンツ(すなわち、ダウンミックス信号の次元を増すためのオーディオ・コンテンツ)の大きさ(たとえば振幅)はたとえば、出力信号の両方のチャネルにおいて等しくてもよい。
ある例示的実施形態では、出力信号を形成することは、三チャネルから二チャネルへの投影、すなわちダウンミックス信号の二チャネルおよび一つの脱相関信号チャネルから出力信号の二つのチャネルへの投影に相当してもよい。たとえば、出力信号は、まずMチャネル・オーディオ信号の完全なM個のチャネルを再構成することなく、ダウンミックス信号および脱相関信号の線形結合として直接得られてもよい。
ある例示的実施形態では、混合係数は、ダウンミックス信号の第一のチャネルから出力信号の第一のチャネルへの寄与を制御する混合係数とダウンミックス信号の第一のチャネルから出力信号の第二のチャネルへの寄与を制御する混合係数との和が値1をもつように決定されてもよい。特に、混合係数の一つがアップミックス・パラメータ(これはたとえば、明示的な値として送られる、あるいは、本開示の他の節で説明するように、コンパクトな表現で計算を実行した後にアップミックス・パラメータから取得可能である)から導出可能であり、他方は両方の混合係数の和が1に等しいことを要求することによって容易に計算できる。
追加的または代替的に、混合係数は、ダウンミックス信号の第二のチャネルから出力信号の第一のチャネルへの寄与を制御する混合係数とダウンミックス信号の第二のチャネルから出力信号の第二のチャネルへの寄与を制御する混合係数との和が値1をもつように決定されてもよい。
ある例示的実施形態では、第一のグループが二つまたは三つのチャネルからなっていてもよい。四つ以上のチャネルの線形結合に対応するのではなく二つまたは三つのチャネルの線形結合に対応するダウンミックス信号のチャネルは、Mチャネルすべてのパラメトリック再構成を実行するデコーダによって再構成されるMチャネル・オーディオ信号の忠実度を高めうる。本例示的実施形態のデコード方法は、そのような符号化フォーマットと互換であってもよい。
ある例示的実施形態では、Mチャネル・オーディオ信号は、該Mチャネル・オーディオ信号のための再生環境における異なる水平方向を表わす三つのチャネルと、該再生環境における前記三つのチャネルの方向とは垂直方向に離間した方向を表わす二つのチャネルとを含んでいてもよい。換言すれば、Mチャネル・オーディオ信号は、聴取者(または聴取者の耳)と実質的に同じ高さに位置するオーディオ源による再生のために意図されているおよび/または実質的に水平に伝搬する三つのチャネルと、他の高さに位置されているオーディオ源による再生のために意図されているおよび/または(実質的に)非水平に伝搬する二つのチャネルとを含んでいてもよい。二つのチャネルはたとえば、高められた方向を表わしていてもよい。
ある例示的実施形態では、前記第一のグループは、Mチャネル・オーディオ信号のための再生環境における異なる水平方向を表わす前記三つのチャネルからなっていてもよく、前記第二のグループは、前記再生環境における前記三つのチャネルの方向とは垂直方向に離間した方向を表わす前記二つのチャネルからなっていてもよい。本例示的実施形態における第一および第二のグループによって提供されるMチャネル・オーディオ信号の垂直方向の分割は、たとえばMチャネル・オーディオ信号によって表わされる音場の全体的な印象にとって垂直方向の次元が重要である場合に、Mチャネルすべてのパラメトリック再構成を実行するデコーダによって再構成されるMチャネル・オーディオ信号の忠実度を高めうる。本例示的実施形態のデコード方法は、この垂直方向分割を提供する符号化フォーマットと互換であってもよい。
ある例示的実施形態では、前記第三および第四のグループの一つが、前記再生環境における前記三つのチャネルの方向とは垂直方向に離間した方向を表わす前記二つのチャネルの両方を含んでいてもよい。あるいはまた、前記第三および第四のグループのそれぞれが、前記再生環境における前記三つのチャネルの方向とは垂直方向に離間した方向を表わす前記二つのチャネルの一方を含んでいてもよい。すなわち、前記第三および第四のグループはこれら二つのチャネルのそれぞれ一つを含んでいてもよい。
ある例示的実施形態では、前記脱相関信号は、ダウンミックス信号のチャネルの線形結合を処理することによって得られてもよい。これはたとえば、ダウンミックス信号チャネルのチャネルの線形結合に線形フィルタを適用することを含む。あるいはまた、前記脱相関信号は、ダウンミックス信号のチャネルのうちたった一つに基づいて得られてもよい。これはたとえば、ダウンミックス信号のあるチャネルを処理することによる(たとえば線形フィルタを適用することを含む)。たとえばチャネルの前記第二のグループが単一のチャネルからなり、前記ダウンミックス信号の前記第二のチャネルがこの単一のチャネルに対応するならば、脱相関信号はたとえば、ダウンミックス信号の前記第一のチャネルのみを処理することによって得られてもよい。
ある例示的実施形態では、前記第一のグループはN個のチャネルからなっていてもよい。ここで、N≧3である。前記第一のグループは、前記ダウンミックス信号の前記第一のチャネルと(N−1)チャネルの脱相関信号との線形結合として再構成可能であってもよい。これは、本稿でドライ・アップミックス係数と称される第一の型のアップミックス係数を前記ダウンミックス信号の前記第一のチャネルに適用し、本稿でウェット・アップミックス係数と称される第二の型のアップミックス係数を前記(N−1)チャネルの脱相関信号のチャネルに適用することによる。本例示的実施形態では、受領されたメタデータは、本稿でドライ・アップミックス・パラメータと称される第一の型のアップミックス・パラメータおよび本稿でウェット・アップミックス・パラメータと称される第二の型のアップミックス・パラメータを含んでいてもよい。混合係数の決定は:前記ドライ・アップミックス・パラメータに基づいて、前記ドライ・アップミックス係数を決定する段階と;受領されたウェット・アップミックス・パラメータの数より多くの要素をもつ中間行列に値を入れる段階であって、前記受領されたウェット・アップミックス・パラメータおよび該中間行列があらかじめ定義された行列クラスに属することを知ることに基づく、段階と;前記中間行列にあらかじめ定義された行列を乗算することによってウェット・アップミックス係数を得る段階であって、前記ウェット・アップミックス係数は前記乗算から帰結する行列に対応し、前記中間行列の要素の数より多い係数を含む、段階と;前記ウェットおよびドライ・アップミックス係数を処理する段階とを含んでいてもよい。
本例示的実施形態において、チャネルの前記第一のグループを再構成するためのウェット・アップミックス係数の数は、受領されるウェット・アップミックス・パラメータの数より多い。前記受領されたウェット・アップミックス・パラメータから前記ウェット・アップミックス係数を取得するために前記あらかじめ定義された行列および前記あらかじめ定義された行列クラスの知識を活用することにより、チャネルの前記第一のグループのパラメトリック再構成のために必要とされる情報の量が低減されうる。これは、ダウンミックス信号と一緒にエンコーダ側から伝送されるメタデータの量の削減を許容する。パラメトリック再構成のために必要とされるデータの量を減らすことによって、前記Nチャネル・オーディオ信号のパラメトリック表現の伝送のための必要とされる帯域幅および/またはそのような表現を記憶するための必要とされるメモリ・サイズが低減されうる。
前記(N−1)チャネルの脱相関信号は、前記ダウンミックス信号の前記第一のチャネルに基づいて生成されてもよく、聴取者によって知覚される、再構成された第一のグループのチャネルの内容の次元性を高めるはたらきをする。
前記あらかじめ定義された行列クラスは、クラス内のすべての行列について有効である、少なくともいくつかの行列要素の既知の属性に関連していてもよい。たとえば、行列要素のいくつかの間のある種の関係またはいくつかの行列要素が0であることなどである。これらの属性の知識は、中間行列における行列要素の総数よりも少数のウェット・アップミックス・パラメータに基づいて中間行列に値を入れることを許容する。デコーダ側は、少なくとも、前記より少数のウェット・アップミックス・パラメータに基づいてすべての行列要素を計算するために必要とする要素の属性および要素間の関係についての知識を有している。
前記あらかじめ定義された行列および前記あらかじめ定義された行列クラスをどのように決定し、用いるかは、米国仮特許出願第61/974,544号;筆頭発明者Lars Villemoes;出願日2014年4月3日の第16頁第15行から第20頁第2行においてより詳細に記述されている。特に、あらかじめ定義された行列の例については、同出願の式(9)を参照されたい。
ある例示的実施形態では、受領されたメタデータは、N(N−1)/2個のウェット・アップミックス・パラメータを含んでいてもよい。本例示的実施形態では、中間行列に値を入れることは、受領されたN(N−1)/2個のウェット・アップミックス・パラメータおよび中間行列が前記あらかじめ定義された行列クラスに属するという知識に基づいて、(N−1)2個の行列要素についての値を得ることを含んでいてもよい。これは、前記ウェット・アップミックス・パラメータの値をそのまま行列要素として挿入することまたは前記ウェット・アップミックス・パラメータを、前記行列要素のための値を導出するために好適な仕方で処理することを含んでいてもよい。本例示的実施形態では、前記あらかじめ定義された行列はN(N−1)個の要素を含んでいてもよく、ウェット・アップミックス係数の前記集合はN(N−1)個の係数を含んでいてもよい。たとえば、受領されたメタデータは、高々N(N−1)/2個の独立に割り当て可能なウェット・アップミックス・パラメータを含んでいてもよく、および/またはウェット・アップミックス・パラメータの数が、前記第一のグループのチャネルを再構成するためのウェット・アップミックス係数の数の高々半分であってもよい。
ある例示的実施形態では、受領されたメタデータは、(N−1)個のドライ・アップミックス・パラメータを含んでいてもよい。本例示的実施形態では、ドライ・アップミックス係数はN個の係数を含んでいてもよく、ドライ・アップミックス係数は、受領された(N−1)個のドライ・アップミックス・パラメータに基づき、かつドライ・アップミックス係数の間のあらかじめ定義された関係に基づいて決定されてもよい。たとえば、受領されたメタデータは、高々(N−1)個の独立に割り当て可能なドライ・アップミックス・パラメータを含んでいてもよい。
ある例示的実施形態では、前記あらかじめ定義された行列クラスは:下三角行列または上三角行列(ここでは、クラス内のすべての行列の既知の属性は、あらかじめ定義された行列要素が0であることを含む);対称行列(ここでは、クラス内のすべての行列の既知の属性は、(主対角線のそれぞれの側の)あらかじめ定義された行列要素が等しいことを含む);直交行列と対角行列の積(ここでは、クラス内のすべての行列の既知の属性は、あらかじめ定義された行列要素の間の既知の関係を含む)のうちの一つであってもよい。換言すれば、前記あらかじめ定義された行列クラスは、下三角行列のクラス、上三角行列のクラス、対称行列のクラスまたは直交行列と対角行列の積のクラスであってもよい。上記の各クラスの共通の属性は、その次元性が行列要素の総数より低いということである。
ある例示的実施形態では、本デコード方法はさらに:前記Mチャネル・オーディオ信号の少なくとも二つの符号化フォーマットのうちの(選択された)一つを示すシグナルを受領することを含んでいてもよい。それらの符号化フォーマットは、前記Mチャネル・オーディオ信号のチャネルの、前記ダウンミックス信号のチャネルに関連付けられたそれぞれ第一および第二のグループへのそれぞれの異なる分割に対応する。本例示的実施形態では、第三および第四のグループはあらかじめ定義されていてもよく、混合係数は、前記Mチャネル・オーディオ信号のチャネルの、前記出力信号のチャネルによって近似される前記第三および第四のグループへの単一の分割が前記少なくとも二つの符号化フォーマットについて維持される(すなわちそれらに共通である)よう決定されてもよい。
本例示的実施形態では、脱相関信号はたとえば、指示された符号化フォーマットと、前記ダウンミックス信号の少なくとも一つのチャネルとに基づいて決定されてもよい。
本例示的実施形態では、前記少なくとも二つの異なる符号化フォーマットは、前記ダウンミックス信号および前記メタデータを決定するときにエンコーダ側で用いられたものであってもよく、本デコード方法は、符号化フォーマットの間の相違に、混合係数および任意的には脱相関信号を調整することによって対処してもよい。第一の符号化フォーマットから第二の符号化フォーマットへの切り換えが検出される場合には、本デコード方法は、たとえば、前記第一の符号化フォーマットに関連する混合パラメータから前記第二の符号化フォーマットに関連する混合パラメータへの補間を実行することを含んでいてもよい。
ある例示的実施形態では、本デコード方法はさらに、前記シグナルが特定の符号化フォーマットを示すことに応答して、前記ダウンミックス信号を前記出力信号として通過させてもよい。本例示的実施形態では、前記特定の符号化フォーマットは、前記第三および第四のグループが定義する分割と一致する前記Mチャネル・オーディオ信号のチャネルの分割に対応してもよい。本例示的実施形態では、前記ダウンミックス信号のチャネルによって与えられる分割は、前記出力信号のチャネルによって与えられる分割と一致してもよく、前記ダウンミックス信号を処理する必要がなくてもよい。したがって、前記ダウンミックス信号が前記出力信号として素通しにされてもよい。
ある例示的実施形態では、本デコード方法は:前記シグナルがある特定の符号化フォーマットを指示することに応答して前記脱相関信号からの前記出力信号への寄与を抑制することを含んでいてもよい。本例示的実施形態では、前記特定の符号化フォーマットは、前記第三および第四のグループが定義する分割と一致する前記Mチャネル・オーディオ信号のチャネルの分割に対応してもよい。本例示的実施形態では、前記ダウンミックス信号のチャネルによって与えられる分割は、前記出力信号のチャネルによって与えられる分割と一致してもよく、脱相関の必要がないことがある。
ある例示的実施形態において、第一の符号化フォーマットにおいて、前記第一のグループは、前記Mチャネル・オーディオ信号についての再生環境における異なる水平方向を表わす三つのチャネルからなっていてもよく、前記第二のグループは、前記再生環境における前記三つのチャネルの方向から垂直に離間した方向を表わす二つのチャネルからなっていてもよい。第二の符号化フォーマットでは、第一および第二のグループのそれぞれは前記二つのチャネルの一つを含んでいてもよい。
例示的実施形態によれば、オーディオ・デコード・システムが提供され、本システムは二チャネル・ダウンミックス信号を受領するよう構成されたデコード部を有する。ダウンミックス信号は、該ダウンミックス信号に基づくMチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータを含むメタデータに関連付けられている。ここで、M≧4である。ダウンミックス信号の第一のチャネルは、Mチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルの線形結合に対応し、ダウンミックス信号の第二のチャネルは、Mチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルの線形結合に対応する。第一のグループおよび第二のグループは、Mチャネル・オーディオ信号のM個のチャネルの分割をなす。デコード部はさらに:前記メタデータの少なくとも一部を受領し;前記ダウンミックス信号および受領されたメタデータに基づいて二チャネル出力信号を形成するよう構成されている。デコード部は、前記ダウンミックス信号の少なくとも一つのチャネルを受領し、それに基づいて脱相関信号を出力するよう構成された脱相関部を有する。デコード部はさらに:受領されたメタデータに基づいて一組の混合係数を決定し、それらの混合係数に基づく、前記ダウンミックス信号および前記脱相関信号の線形結合として、前記出力信号を形成するよう構成された混合部を有する。混合部は、混合係数を、出力信号の第一のチャネルがMチャネル・オーディオ信号の第三のグループの一つまたは複数のチャネルの線形結合を近似し、出力信号の第二のチャネルがMチャネル・オーディオ信号の第四のグループの一つまたは複数のチャネルの線形結合を近似するよう、決定するよう構成される。混合部はさらに、前記混合係数を、第三のグループおよび第四のグループがMチャネル・オーディオ信号のM個のチャネルの分割をなし、第三のグループおよび第四のグループがいずれも前記第一のグループからの少なくとも一つのチャネルを含むよう決定するよう構成される。
ある例示的実施形態では、前記オーディオ・デコード・システムはさらに、追加的な二チャネル・ダウンミックス信号を受領するよう構成された追加的なデコード部を有していてもよい。前記追加的なダウンミックス信号は、該追加的なダウンミックス信号に基づく追加的なMチャネル・オーディオ信号のパラメトリック再構成のための追加的なアップミックス・パラメータを含む追加的なメタデータに関連付けられていてもよい。追加的なダウンミックス信号の第一のチャネルは、追加的なMチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルの線形結合に対応してもよく、追加的なダウンミックス信号の第二のチャネルは、追加的なMチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルの線形結合に対応してもよい。追加的なMチャネル・オーディオ信号のチャネルの第一のグループおよび第二のグループは、追加的なMチャネル・オーディオ信号のM個のチャネルの分割をなしてもよい。追加的なデコード部はさらに:前記追加的なメタデータの少なくとも一部を受領し;前記追加的なダウンミックス信号および追加的な受領されたメタデータに基づいて追加的な二チャネル出力信号を提供するよう構成されていてもよい。追加的なデコード部は、前記追加的なダウンミックス信号の少なくとも一つのチャネルを受領し、それに基づいて追加的な脱相関信号を出力するよう構成された追加的な脱相関部を有していてもよい。追加的なデコード部はさらに:受領された追加的なメタデータに基づいて一組の追加的な混合係数を決定し、それらの追加的な混合係数に基づく、前記追加的なダウンミックス信号および前記追加的な脱相関信号の線形結合として、前記追加的な出力信号を形成するよう構成された追加的な混合部を有していてもよい。追加的な混合部は、追加的な混合係数を、追加的な出力信号の第一のチャネルが追加的なMチャネル・オーディオ信号の第三のグループの一つまたは複数のチャネルの線形結合を近似し、追加的な出力信号の第二のチャネルが追加的なMチャネル・オーディオ信号の第四のグループの一つまたは複数のチャネルの線形結合を近似するよう、決定するよう構成されていてもよい。追加的な混合部はさらに、前記追加的な混合係数を、追加的なMチャネル・オーディオ信号のチャネルの第三のグループおよび第四のグループが追加的なMチャネル・オーディオ信号のM個のチャネルの分割をなし、追加的なMチャネル・オーディオ信号の第三のグループおよび第四のグループの信号がいずれも追加的なMチャネル・オーディオ信号の前記第一のグループのチャネルからの少なくとも一つのチャネルを含むよう決定するよう構成されていてもよい。
本例示的実施形態において、前記追加的なデコード部、前記追加的な脱相関部および前記追加的な混合部はたとえば、それぞれ前記デコード部、前記脱相関部および前記混合部と機能的に等価であってもよい(あるいは前記混合部と同様に構成されていてもよい)。あるいはまた、前記追加的なデコード部、前記追加的な脱相関部および前記追加的な混合部はたとえば、前記デコード部、前記脱相関部および前記混合部の対応する部分によって実行されるのとは異なる少なくとも一つの型の計算および/または補間を実行するよう構成されていてもよい。
本例示的実施形態では、前記追加的なデコード部、前記追加的な脱総幹部および前記追加的な混合部はたとえば、前記デコード部、前記脱総幹部および前記混合部とは独立して動作可能であってもよい。
ある例示的実施形態では、本デコード・システムはさらに、前記ダウンミックス信号、前記メタデータの前記少なくとも一部および離散的に符号化されたオーディオ・チャネルをビットストリームから抽出するよう構成されたデマルチプレクサを有していてもよい。前記デコード・システムはさらに、前記離散的に符号化されたオーディオ・チャネルをデコードするよう動作可能な単一チャネル・デコード部を有していてもよい。前記離散的に符号化されたオーディオ・チャネルはたとえば、前記ビットストリームにおいて、ドルビー・デジタルまたはMPEG AACのような知覚的オーディオ・コーデックを使ってエンコードされていてもよく、前記単一チャネル・デコード部はたとえば、前記離散的に符号化されたオーディオ・チャネルをデコードするコア・デコーダを有していてもよい。前記単一チャネル・デコード部はたとえば、前記離散的に符号化されたオーディオ・チャネルを、前記デコード部とは独立してデコードするよう動作可能であってもよい。
例示的実施形態において、前記第一の側面の方法のいずれかを実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクトが提供される。
上記した前記第一の側面のオーディオ・デコード・システム、方法およびコンピュータ・プログラム・プロダクトの例示的実施形態によれば、前記出力信号は、二チャネル信号ではなく、2≦K<MであるとしてKチャネル信号であってもよく、前記出力信号の二つのチャネルが前記Mチャネル信号の二つのグループへの分割に対応する代わりに、前記出力信号のK個のチャネルが前記Mチャネル・オーディオ信号のK個のグループへの分割に対応してもよい。
より具体的には、例示的実施形態によれば、オーディオ・デコード方法が提供され、本方法は二チャネル・ダウンミックス信号を受領することを含む。ダウンミックス信号は、該ダウンミックス信号に基づくMチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータを含むメタデータに関連付けられている。ここで、M≧4である。ダウンミックス信号の第一のチャネルは、Mチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルの線形結合に対応し、ダウンミックス信号の第二のチャネルは、Mチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルの線形結合に対応する。第一のグループおよび第二のグループは、Mチャネル・オーディオ信号のM個のチャネルの分割をなす。オーディオ・デコード方法はさらに:前記メタデータの少なくとも一部を受領し;前記ダウンミックス信号の少なくとも一つのチャネルに基づいて脱相関信号を生成し;受領されたメタデータに基づいて一組の混合係数を決定し;それらの混合係数に基づいて前記ダウンミックス信号および前記脱相関信号の線形結合としてKチャネル出力信号を形成することを含む。ここで、2≦K<Mである。混合係数は、出力信号のK個のチャネルのそれぞれがMチャネル・オーディオ信号の一つまたは複数のチャネルのグループの線形結合を近似し(よって、出力信号のK個のチャネルのそれぞれがMチャネル・オーディオ信号の一つまたは複数のチャネルのグループに対応し)、出力信号のそれぞれのチャネルに対応するそれらのグループがMチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルのK個のグループへの分割をなし;K個のグループのうち少なくとも二つが前記第一のグループからの少なくとも一つのチャネルを含むよう、決定される。
Mチャネル・オーディオ信号は、前記二チャネル・ダウンミックス信号および該Mチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータとしてエンコードされている。エンコーダ側でMチャネル・オーディオ信号をエンコードするときには、たとえばダウンミックス信号からのMチャネル・オーディオ信号の再構成を容易にするため、ダウンミックス信号から再構成されるMチャネル・オーディオ信号の忠実度を改善するためおよび/またはダウンミックス信号の符号化効率を改善するために、符号化フォーマットが選ばれてもよい。符号化フォーマットのこの選択は、第一および第二のグループを選択し、ダウンミックス信号のチャネルをそれぞれのグループのチャネルのそれぞれの線形結合として形成することによって実行されてもよい。
発明者は、選ばれた符号化フォーマットはダウンミックス信号からのMチャネル・オーディオ信号の再構成を容易にしうるものの、ダウンミックス信号はそれ自身では、特定のKスピーカー構成を使った再生のために好適でないことがありうることを認識するに至った。Mチャネル・オーディオ信号のK個のグループへの分割に対応するKチャネル出力信号は、前記ダウンミックス信号より特定のKチャネル再生セッティングにとって、より好適であることがありうる。したがって、ダウンミックス信号および受領されたメタデータに基づいて出力信号を提供することは、聴取者によって知覚されるKチャネル再生品質を改善するおよび/またはMチャネル・オーディオ信号によって表わされる音場に対するKチャネル再生の忠実度を改善することがありうる。
発明者はさらに、ダウンミックス信号からまずMチャネル・オーディオ信号を再構成して次いでMチャネル・オーディオ信号のKチャネル表現を(たとえば加法的混合によって)生成する代わりに、出力信号によって提供されるKチャネル表現は、ダウンミックス信号および受領されたメタデータから、より効率的に生成されうることを認識するに至った。それは、Mチャネル・オーディオ信号のいくつかのチャネルが、ダウンミックス信号によって与えられる前記二チャネル表現および与えられるべき前記Kチャネル表現において同様に一緒にグループ化されているという事実を活用することによる。出力信号を、ダウンミックス信号および脱相関信号の線形結合として形成することは、たとえば、デコーダ側における計算量を減らすおよび/またはMチャネル・オーディオ信号のKチャネル表現を得るために用いられるコンポーネントまたは処理段階の数を減らすことがありうる。
K個のグループがMチャネル・オーディオ信号のチャネルの分割をなすとは、K個のグループが分離しており、一緒になって前記Mチャネル・オーディオ信号のすべてのチャネルを含むことを意味する。
Kチャネル出力信号を形成することは、たとえば、前記ダウンミックス信号のチャネルに前記混合係数の少なくともいくつかを適用し、前記脱相関信号の前記一つまたは複数のチャネルに前記混合係数の少なくともいくつかを適用することを含んでいてもよい。
前記ダウンミックス信号の前記第一および第二のチャネルは、たとえば、それぞれ一つまたは複数のチャネルの前記第一および第二のグループにおけるチャネルの(重み付けされたまたは重み付けされない)和に対応してもよい。
前記出力信号の前記K個のチャネルはたとえば、それぞれ一つまたは複数のチャネルの前記K個のグループにおけるチャネルの(重み付けされたまたは重み付けされない)和を近似してもよい。
いくつかの例示的実施形態では、K=2、K=3またはK=4である。
いくつかの例示的実施形態では、M=5またはM=6である。
ある例示的実施形態では、前記脱相関信号は二チャネル信号であってもよく、前記出力信号は、高々二つの脱相関信号チャネルを前記ダウンミックス信号および前記脱相関信号の前記線形結合に、すなわち、前記出力信号を得るもとになる前記線形結合に含めることによって、形成されてもよい。発明者らは、前記二チャネル出力信号を提供するためにMチャネル・オーディオ信号を再構成する必要はないこと、完全なMチャネル・オーディオ信号を再構成する必要がないので脱相関信号チャネルの数が減らされてもよいことを認識するに至った。
ある例示的実施形態では、K=3であり、出力信号を形成することは、四チャネルから三チャネルへの投影、すなわちダウンミックス信号の二チャネルおよび二つの脱相関信号チャネルから出力信号の三つのチャネルへの投影に相当してもよい。たとえば、出力信号は、まずMチャネル・オーディオ信号の完全なM個のチャネルを再構成することなく、ダウンミックス信号および脱相関信号の線形結合として直接得られてもよい。
ある例示的実施形態では、混合係数は、前記出力信号の一対のチャネルが、前記脱相関信号のチャネルから等しい大きさ(たとえば等しい振幅)の寄与を受けるよう、決定されてもよい。前記脱相関信号のこのチャネルからの、前記対のそれぞれのチャネルへの寄与は逆符号を有していてもよい。換言すれば、混合係数は、前記脱相関信号のチャネルから前記出力信号のある(たとえば第一の)チャネルへの寄与を制御する混合係数と前記脱相関信号の同じチャネルから前記出力信号の別の(たとえば第二の)チャネルへの寄与を制御する混合係数との和が値0をもつように決定されてもよい。Kチャネル出力信号はたとえば、前記脱相関信号のこの特定のチャネルからいかなる寄与も受けない一つまたは複数のチャネルを含んでいてもよい。
ある例示的実施形態では、混合係数は、ダウンミックス信号の前記第一のチャネルから前記出力信号のある(たとえば第一の)チャネルへの寄与を制御する混合係数とダウンミックス信号の前記第一のチャネルから前記出力信号の別の(たとえば第二の)チャネルへの寄与を制御する混合係数との和が値1をもつように決定されてもよい。特に、混合係数の一つがアップミックス・パラメータ(これはたとえば、明示的な値として送られる、あるいは、本開示の他の節で説明するように、コンパクトな表現で計算を実行した後にアップミックス・パラメータから取得可能である)から導出可能であってもよく、他方は両方の混合係数の和が1に等しいことを要求することによって容易に計算できてもよい。Kチャネル出力信号はたとえば、前記ダウンミックス信号の該第一のチャネルからいかなる寄与も受けない一つまたは複数のチャネルを含んでいてもよい。
ある例示的実施形態では、混合係数は、ダウンミックス信号の第二のチャネルから出力信号のある(たとえば第一の)チャネルへの寄与を制御する混合係数とダウンミックス信号の前記第二のチャネルから出力信号の別の(たとえば第二の)チャネルへの寄与を制御する混合係数との和が値1をもつように決定されてもよい。Kチャネル出力信号はたとえば、ダウンミックス信号の前記第二のチャネルからいかなる寄与も受けない一つまたは複数のチャネルを含んでいてもよい。
ある例示的実施形態では、本方法は、前記Mチャネル・オーディオ信号の少なくとも二つの符号化フォーマットのうちの(選択された)一つを示すシグナルを受領することを含んでいてもよい。それらの符号化フォーマットは、前記Mチャネル・オーディオ信号のチャネルの、前記ダウンミックス信号のチャネルに関連付けられたそれぞれ第一および第二のグループへのそれぞれの異なる分割に対応していてもよい。前記K個のグループはあらかじめ定義されていてもよい。混合係数は、前記Mチャネル・オーディオ信号の、前記出力信号のチャネルによって近似される前記K個のグループのチャネルへの単一の分割が前記少なくとも二つの符号化フォーマットについて維持される(すなわちそれらに共通である)よう決定されてもよい。
本例示的実施形態では、脱相関信号は二つのチャネルを含んでいてもよい。前記脱相関信号の第一のチャネルは前記ダウンミックス信号の前記第一のチャネルに基づいて、たとえば前記ダウンミックス信号の前記第一のチャネルだけを処理することによって得られてもよい。前記脱相関信号の第二のチャネルは前記ダウンミックス信号の前記第二のチャネルに基づいて、たとえば前記ダウンミックス信号の前記第二のチャネルだけを処理することによって得られてもよい。
〈II.概観 ―― エンコーダ側〉
第二の側面によれば、例示的実施形態は、オーディオ・エンコード・システムならびにオーディオ・エンコード方法および関連するコンピュータ・プログラム・プロダクトを提案する。第二の側面に基づく提案されるエンコード・システム、方法およびコンピュータ・プログラム・プロダクトは一般に、同じ特徴および利点を共有してもよい。さらに、第一の側面に基づくデコード・システム、方法およびコンピュータ・プログラム・プロダクトの特徴について上記で呈示された利点は一般に、第二の側面に基づくエンコード・システム、方法およびコンピュータ・プログラム・プロダクトについても有効でありうる。
例示的実施形態によれば、オーディオ・エンコード方法が提供され、本方法は、M≧4であるとして、Mチャネル・オーディオ信号を受領し;前記Mチャネル・オーディオ信号に基づいて二チャネル・ダウンミックス信号を計算することを含む。ダウンミックス信号の第一のチャネルは、Mチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルの線形結合として形成され、ダウンミックス信号の第二のチャネルは、Mチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルの線形結合として形成される。第一のグループおよび第二のグループは、Mチャネル・オーディオ信号のM個のチャネルの分割をなす。エンコード方法はさらに:前記ダウンミックス信号からの前記Mチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータを決定し前記ダウンミックス信号に基づいて二チャネル出力信号を得るための混合パラメータを決定することを含む。ここで、前記出力信号の第一のチャネルがMチャネル・オーディオ信号の第三のグループの一つまたは複数のチャネルの線形結合を近似し、前記出力信号の第二のチャネルがMチャネル・オーディオ信号の第四のグループの一つまたは複数のチャネルの線形結合を近似する。第三のグループおよび第四のグループはMチャネル・オーディオ信号のM個のチャネルの分割をなし、第三のグループおよび第四のグループはいずれも前記第一のグループからの少なくとも一つのチャネルを含む。エンコード方法はさらに:前記ダウンミックス信号およびメタデータを、合同での記憶または伝送のために出力することを含む。ここで、前記メタデータは、前記アップミックス・パラメータおよび前記混合パラメータを含む。
前記ダウンミックス信号のチャネルは、Mチャネル・オーディオ信号のM個のチャネルの、前記第一および第二のグループへの分割に対応し、たとえば、Mチャネル・オーディオ信号のビット効率のよい二チャネル表現および/またはMチャネル・オーディオ信号の高忠実度でのパラメトリック再構成を許容する二チャネル表現を提供しうる。
発明者らは、用いられる二チャネル表現は、ダウンミックス信号からのMチャネル・オーディオ信号の再構成を容易にしうるものの、ダウンミックス信号はそれ自身では、特定の二スピーカー構成を使った再生のために好適でないことがありうることを認識するに至った。ダウンミックス信号およびアップミックス・パラメータと一緒に出力される混合パラメータが、前記ダウンミックス信号に基づいて前記二チャネル出力信号を得ることを許容する。Mチャネル・オーディオ信号の、チャネルの第三および第四のグループへの異なる分割に対応する前記出力信号は、前記ダウンミックス信号より特定の二チャネル再生セッティングにとって、より好適であることがありうる。したがって、ダウンミックス信号およ混合パラメータに基づいて出力信号を提供することは、聴取者によって知覚される二チャネル再生品質を改善するおよび/またはMチャネル・オーディオ信号によって表わされる音場に対する二チャネル再生の忠実度を改善することがありうる。
ダウンミックス信号の第一のチャネルはたとえば、第一のグループにおけるチャネルの和として、あるいはそのスケーリングとして形成されてもよい。換言すれば、ダウンミックス信号の前記第一のチャネルは、たとえば、前記第一のグループにおけるチャネルの和(すなわち、サンプルごとまたは変換係数ごとの加法的混合などによって形成されるそれぞれのチャネルからのオーディオ・コンテンツの和)として、あるいはそのような和の再スケーリングされたバージョン(たとえば、チャネルを総和し、和に再スケーリング因子を乗算することによって得られる)として形成されてもよい。同様に、ダウンミックス信号の前記第二のチャネルは、たとえば、前記第二のグループにおけるチャネルの和として、あるいはそのスケーリングとして形成されてもよい。出力信号の第一のチャネルはたとえば、第三のグループのチャネルの和またはそのスケーリングを近似してもよく、出力信号の第二のチャネルはたとえば、第四のグループのチャネルの和またはそのスケーリングを近似してもよい。
たとえば、Mチャネル・オーディオ信号は5チャネル・オーディオ信号であってもよい。オーディオ・エンコード方法はたとえば、現在確立されている諸5.1オーディオ・フォーマットのうちの一つの、五つの通常のチャネルのために、あるいは11.1マルチチャネル・オーディオ信号における左側または右側の五つのチャネルのために用いられてもよい。あるいはまた、M=4またはM≧6が成り立ってもよい。
ある例示的実施形態では、混合パラメータは、前記ダウンミックス信号からおよび脱相関信号から前記出力信号へのそれぞれの寄与を制御してもよい。前記混合パラメータの少なくともいくつかは、前記出力信号のチャネルがそれぞれ前記第一および第二のグループのチャネルの前記線形結合(または和)の共分散保存近似になるようにするような混合パラメータの間での前記脱相関信号からの寄与を最小化することによって決定されてもよい。前記脱相関信号からの前記寄与はたとえば、この寄与の信号エネルギーまたは振幅が最小化されるという意味において最小化されてもよい。
前記出力信号の前記第一のチャネルが近似する前記第三のグループの前記線形結合および前記出力信号の前記第二のチャネルが近似する前記第四のグループの前記線形結合は、たとえば、第一の共分散行列を有する二チャネル・オーディオ信号に対応していてもよい。前記出力信号のチャネルがそれぞれ前記第一および第二のグループのチャネルの線形結合の共分散保存近似であるとは、たとえば、前記出力信号の共分散行列が前記第一の共分散行列と一致する(または少なくとも実質的に一致する)ことに対応していてもよい。
諸共分散保存近似の間で、前記脱相関信号からの前記寄与の減少した大きさ(たとえばエネルギーまたは振幅)は、再生中に聴取者が知覚する前記近似の忠実度が高まったことを示しうる。前記脱相関信号からの前記寄与を減少させる混合パラメータを用いることは、前記出力信号の、前記Mチャネル・オーディオ信号の二チャネル表現としての忠実度を改善しうる。
ある例示的実施形態では、チャネルの前記第一のグループはN個のチャネルからなっていてもよい。ここで、N≧3である。前記アップミックス・パラメータの少なくともいくつかは、前記ダウンミックス信号の前記第一のチャネルと、前記ダウンミックス信号の前記第一のチャネルに基づいて決定される(N−1)チャネルの脱相関信号とからの、前記第一のグループのチャネルのパラメトリック再構成のために好適であってもよい。本例示的実施形態では、アップミックス・パラメータを決定することは:前記第一のグループのチャネルを近似する前記ダウンミックス信号の前記第一のチャネルの線形マッピングを定義するために、ドライ・アップミックス係数と称される第一の型のアップミックス係数の集合を決定し;受領された前記第一のグループのチャネルの共分散と前記ダウンミックス信号の前記第一のチャネルの前記線形マッピングによって近似される前記第一のグループのチャネルの共分散との間の差に基づく中間行列を決定することを含んでいてもよい。前記中間行列は、あらかじめ定義された行列を乗算されたとき、前記第一のグループのチャネルのパラメトリック再構成の一部として前記脱相関信号の線形マッピングを定義するウェット・アップミックス係数と称される第二の型のアップミックス係数の集合に対応してもよい。ウェット・アップミックス係数の前記集合は、前記中間行列の要素の数より多くの係数を含んでいてもよい。本例示的実施形態では、前記アップミックス・パラメータは、ドライ・アップミックス・パラメータと称される、そこからドライ・アップミックス係数の前記集合が導出可能である第一の型のアップミックス・パラメータと、ウェット・アップミックス・パラメータと称される第二の型のアップミックス・パラメータとを含んでいてもよい。ウェット・アップミックス・パラメータは、前記中間行列があらかじめ定義された行列クラスに属する限り、前記中間行列を一意的に定義する。前記中間行列は、ウェット・アップミックス・パラメータの数より多くの要素を有していてもよい。
本例示的実施形態では、デコーダ側での前記第一のグループのチャネルのパラメトリック再構成コピーは、一つの寄与として、前記ダウンミックス信号の前記第一のチャネルの前記線形マッピングによって形成されるドライ・アップミックス信号と、さらなる寄与として、前記脱相関信号の前記線形マッピングによって形成されたウェット・アップミックス信号とを含む。ドライ・アップミックス係数の前記集合は前記ダウンミックス信号の前記第一のチャネルの前記線形マッピングを定義し、ウェット・アップミックス係数の前記集合は前記脱相関信号の前記線形マッピングを定義する。前記あらかじめ定義された行列および前記あらかじめ定義された行列クラスに基づいてウェット・アップミックス係数が導出可能であるもとになる、ウェット・アップミックス係数の数より少数のウェット・アップミックス・パラメータを出力することによって、Mチャネル・オーディオ信号の再構成を可能にするためにデコーダ側に送られる情報の量が低減されうる。パラメトリック再構成のために必要とされるデータの量を低減することによって、Mチャネル・オーディオ信号のパラメトリック表現の伝送のための要求される帯域幅および/またはそのような表現を記憶するための要求されるメモリ・サイズが低減されうる。
中間行列は、たとえば、前記脱相関信号の前記線形マッピングによって得られる前記信号の共分散が前記ダウンミックス信号の前記第一のチャネルの前記線形マッピングによって近似される前記第一のグループのチャネルの共分散を補足するよう、決定されてもよい。
前記あらかじめ定義された行列および前記あらかじめ定義された行列クラスをどのように決定し、用いるかは、米国仮特許出願第61/974,544号;筆頭発明者Lars Villemoes;出願日2014年4月3日の第16頁第15行から第20頁第2行により詳細に記述されている。特に、あらかじめ定義された行列の例については、同出願の式(9)を参照されたい。
ある例示的実施形態では、前記中間行列を決定することは、ウェット・アップミックス係数の前記集合によって定義される前記脱相関信号の前記線形マッピングによって得られる前記信号の共分散が、受領された前記第一のグループのチャネルの共分散と、前記ダウンミックス信号の前記第一のチャネルの前記線形マッピングによって近似された前記第一のグループのチャネルの共分散との間の差を近似するまたは該差と実質的に一致するよう、前記中間行列を決定することを含んでいてもよい。換言すれば、前記中間行列は、前記ダウンミックス信号の前記第一のチャネルの前記線形マッピングによって形成されるドライ・アップミックス信号と前記脱相関信号の前記線形マッピングによって形成されるウェット・アップミックス信号との和として得られる前記第一のグループのチャネルの再構成コピーが、受領された前記第一のグループのチャネルの共分散を完全にまたは少なくとも近似的に再現するように決定されてもよい。
ある例示的実施形態では、ウェット・アップミックス・パラメータは、高々N(N−1)/2個の独立して割り当て可能なウェット・アップミックス・パラメータを含んでいてもよい。本例示的実施形態では、中間行列は(N−1)2個の行列要素を有していてもよく、中間行列があらかじめ定義された行列クラスに属する限り、前記ウェット・アップミックス・パラメータによって一意的に定義されてもよい。本例示的実施形態では、ウェット・アップミックス・パラメータの前記集合はN(N−1)個の係数を含んでいてもよい。
ある例示的実施形態では、ドライ・アップミックス係数の前記集合はN個の係数を含んでいてもよい。本例示的実施形態では、前記ドライ・アップミックス・パラメータは、高々N−1個のドライ・アップミックス・パラメータを含んでいてもよい。ドライ・アップミックス係数の前記集合は、あらかじめ定義された規則を使って、前記N−1個のドライ・アップミックス・パラメータから導出可能であってもよい。
ある例示的実施形態では、決定されたドライ・アップミックス係数の前記集合は、前記第一のグループのチャネルの最小平均平方誤差近似に対応する前記ダウンミックス信号の前記第一のチャネルの線形マッピングを定義してもよい。すなわち、前記ダウンミックス信号の前記第一のチャネルの線形マッピングの集合の間で、ドライ・アップミックス係数の決定された集合は、最小平均平方の意味で前記第一のグループのチャネルを最もよく近似する線形マッピングを定義しうる。
ある例示的実施形態では、前記エンコード方法はさらに、少なくとも二つの符号化フォーマットのうちの一つを選択することを含んでいてもよい。それらの符号化フォーマットは、前記Mチャネル・オーディオ信号のチャネルの、前記ダウンミックス信号のチャネルに関連付けられたそれぞれ第一および第二のグループへのそれぞれの異なる分割に対応する。前記ダウンミックス信号の前記第一および第二のチャネルは、選択された符号化フォーマットに基づく、前記Mチャネル・オーディオ信号のそれぞれ一つまたは複数のチャネルの第一および第二のグループの線形結合として形成されてもよい。前記アップミックス・パラメータおよび前記混合パラメータは、前記選択された符号化フォーマットに基づいて決定されてもよい。エンコード方法はさらに、選択された符号化フォーマットを指示するシグナルを提供することを含んでいてもよい。シグナルはたとえば、前記ダウンミックス信号および前記メタデータと一緒の合同での記憶および/または伝送のために出力されてもよい。
前記ダウンミックス信号および前記アップミックス・パラメータに基づいて再構成されるMチャネル・オーディオ信号は:前記ダウンミックス信号にドライ・アップミックス係数を適用することによって形成されるドライ・アップミックス信号と;前記ダウンミックス信号に基づいて決定される脱相関信号にウェット・アップミックス係数を適用することによって形成されるウェット・アップミックス信号との和であってもよい。符号化フォーマットの選択は、たとえば、それぞれの符号化フォーマットについての、受領されたMチャネル・オーディオ信号の共分散と、ドライ・アップミックス信号によって近似されるMチャネル・オーディオ信号の共分散との間の差に基づいてなされてもよい。符号化フォーマットの選択は、たとえばそれぞれの符号化フォーマットについてのウェット・アップミックス係数に基づいて、たとえばそれぞれの符号化フォーマットについてのウェット・アップミックス係数の二乗のそれぞれの和に基づいてなされてもよい。選択された符号化フォーマットはたとえば、それぞれの符号化フォーマットの二乗の和のうち最小の和に関連付けられたものであってもよい。
例示的実施形態によれば、オーディオ・エンコード・システムが提供され、本システムは、M≧4であるとして、Mチャネル・オーディオ信号を、二チャネル・ダウンミックス信号および関連付けられたメタデータとしてエンコードし、前記ダウンミックス信号およびメタデータを合同した記憶または伝送のために出力するよう構成されたエンコード部を有する。エンコード部は、前記Mチャネル・オーディオ信号に基づいて前記ダウンミックス信号を計算するよう構成されたダウンミックス部を有する。ダウンミックス信号の第一のチャネルは、Mチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルの線形結合として形成され、ダウンミックス信号の第二のチャネルは、Mチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルの線形結合として形成される。第一のグループおよび第二のグループは、Mチャネル・オーディオ信号のM個のチャネルの分割をなす。エンコード部はさらに:前記ダウンミックス信号からの前記Mチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータと;前記ダウンミックス信号に基づいて二チャネル出力信号を得るための混合パラメータとを決定するよう構成されている解析部を有する。前記出力信号の第一のチャネルがMチャネル・オーディオ信号の第三のグループの一つまたは複数のチャネルの線形結合を近似し、前記出力信号の第二のチャネルがMチャネル・オーディオ信号の第四のグループの一つまたは複数のチャネルの線形結合を近似する。第三のグループおよび第四のグループはMチャネル・オーディオ信号のM個のチャネルの分割をなす。第三のグループおよび第四のグループはいずれも前記第一のグループからの少なくとも一つのチャネルを含む。前記メタデータは、前記アップミックス・パラメータおよび前記混合パラメータを含む。
例示的実施形態によれば、前記第二の側面の方法のいずれかを実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクトが提供される。
上記した前記第二の側面のオーディオ・エンコード・システム、方法およびコンピュータ・プログラム・プロダクトの例示的実施形態によれば、前記出力信号は、二チャネル信号ではなく、2≦K<MであるとしてKチャネル信号であってもよく、前記出力信号の二つのチャネルが前記Mチャネル信号の二つのグループへの分割に対応する代わりに、前記出力信号のK個のチャネルが前記Mチャネル・オーディオ信号のK個のグループへの分割に対応してもよい。
より具体的には、例示的実施形態によれば、オーディオ・エンコード方法が提供され、本方法は、M≧4であるとして、Mチャネル・オーディオ信号を受領し;前記Mチャネル・オーディオ信号に基づいて二チャネル・ダウンミックス信号を計算することを含む。ダウンミックス信号の第一のチャネルは、Mチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルの線形結合として形成され、ダウンミックス信号の第二のチャネルは、Mチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルの線形結合として形成される。第一のグループおよび第二のグループは、Mチャネル・オーディオ信号のM個のチャネルの分割をなす。エンコード方法はさらに:前記ダウンミックス信号からの前記Mチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータを決定し;前記ダウンミックス信号に基づいてKチャネル出力信号を得るための混合パラメータを決定することを含んでいてもよい。ここで、前記出力信号のK個のチャネルのそれぞれがMチャネル・オーディオ信号の一つまたは複数のチャネルのグループの線形結合を近似する。前記出力信号のそれぞれのチャネルに対応するグループはMチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルのK個のグループへの分割をなしてもよく、該K個のグループのうち少なくとも二つのグループは前記第一のグループからの少なくとも一つのチャネルを含んでいてもよい。エンコード方法はさらに:前記ダウンミックス信号およびメタデータを、合同での記憶または伝送のために出力することを含んでいてもよい。ここで、前記メタデータは、前記アップミックス・パラメータおよび前記混合パラメータを含む。
ある例示的実施形態では、混合パラメータは、前記ダウンミックス信号からおよび脱相関信号から前記出力信号へのそれぞれの寄与を制御してもよい。前記混合パラメータの少なくともいくつかは、前記出力信号のチャネルがそれぞれチャネルのK個のグループの前記一つまたは複数のチャネルの前記線形結合(または和)の共分散保存近似になるようにするような混合パラメータの間での前記脱相関信号からの寄与を最小化することによって決定されてもよい。前記脱相関信号からの前記寄与はたとえば、この寄与の信号エネルギーまたは振幅が最小化されるという意味において最小化されてもよい。
前記出力信号の前記K個のチャネルが近似する前記K個のグループのチャネルの前記線形結合は、たとえば、第一の共分散行列を有するKチャネル・オーディオ信号に対応していてもよい。前記出力信号のチャネルがそれぞれチャネルのK個のグループのチャネルの線形結合の共分散保存近似であるとは、たとえば、前記出力信号の共分散行列が前記第一の共分散行列と一致する(または少なくとも実質的に一致する)ことに対応していてもよい。
諸共分散保存近似の間で、前記脱相関信号からの前記寄与の減少した大きさ(たとえばエネルギーまたは振幅)は、再生中に聴取者が知覚する前記近似の忠実度が高まったことを示しうる。前記脱相関信号からの前記寄与を減少させる混合パラメータを用いることは、前記出力信号の、前記Mチャネル・オーディオ信号のKチャネル表現としての忠実度を改善しうる。
〈III.概観――コンピュータ可読媒体〉
第三の側面によれば、例示的実施形態は、コンピュータ可読媒体を提案する。前記第一および/または第二の側面に基づくシステム、方法およびコンピュータ・プログラム・プロダクトについて上記で呈示した利点は、概して、第三の側面に基づくコンピュータ可読媒体の対応する特徴についても有効でありうる。
例示的実施形態によれば、二チャネル・ダウンミックス信号と;該ダウンミックス信号に基づくMチャネル・オーディオ信号のパラメトリック再構成を許容するアップミックス・パラメータとを表わすデータ担体が提供される。ここで、M≧4である。ダウンミックス信号の第一のチャネルは、Mチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルの線形結合に対応し、ダウンミックス信号の第二のチャネルは、Mチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルの線形結合に対応する。第一のグループおよび第二のグループは、Mチャネル・オーディオ信号のM個のチャネルの分割をなす。データ担体はさらに、前記ダウンミックス信号に基づいて二チャネル出力信号を提供することを許容する混合パラメータを表わす。出力信号の第一のチャネルがMチャネル・オーディオ信号の第三のグループの一つまたは複数のチャネルの線形結合を近似し、出力信号の第二のチャネルがMチャネル・オーディオ信号の第四のグループの一つまたは複数のチャネルの線形結合を近似する。第三のグループおよび第四のグループがMチャネル・オーディオ信号のM個のチャネルの分割をなす。第三のグループおよび第四のグループはいずれも前記第一のグループからの少なくとも一つのチャネルを含む。
ある例示的実施形態では、前記データ担体によって表わされるデータは時間フレームに配置されていてもよく、所与の時間フレームについて、その時間フレームについてのダウンミックス信号および関連付けられた混合パラメータが、関連付けられたアップミックス・パラメータとは独立して抽出されうるように層構成にされている。たとえば、データ担体は、その時間フレームについてのダウンミックス信号および関連付けられた混合パラメータが、関連付けられたアップミックス・パラメータを抽出することおよび/またはそれにアクセスすることなしに抽出されうるように層構成にされていてもよい。上記した第三の側面のコンピュータ可読媒体(またはデータ担体)の例示的実施形態によれば、出力信号は、二チャネル信号ではなく、2≦K<MであるとしてKチャネル信号であってもよく、出力信号の二つのチャネルがMチャネル信号の二つのグループへの分割に対応するのではなく、出力信号のK個のチャネルがMチャネル信号のK個のグループへの分割に対応してもよい。
より具体的には、例示的実施形態によれば、二チャネル・ダウンミックス信号と;該ダウンミックス信号に基づくMチャネル・オーディオ信号のパラメトリック再構成を許容するアップミックス・パラメータとを表わすコンピュータ可読媒体(またはデータ担体)が提供される。ここで、M≧4である。ダウンミックス信号の第一のチャネルは、Mチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルの線形結合に対応し、ダウンミックス信号の第二のチャネルは、Mチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルの線形結合に対応する。第一のグループおよび第二のグループは、Mチャネル・オーディオ信号のM個のチャネルの分割をなす。データ担体はさらに、前記ダウンミックス信号に基づいてKチャネル出力信号を提供することを許容する混合パラメータを表わす。ここで、2≦K<Mである。出力信号の各チャネルがMチャネル・オーディオ信号の一つまたは複数のチャネルのグループの線形結合(たとえば重み付けされたまたは重み付けされない和)を近似してもよい。出力信号のそれぞれのチャネルに対応するグループは、Mチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルのK個のグループへの分割をなしてもよい。K個のグループのうち少なくとも二つが、前記第一のグループからの少なくとも一つのチャネルを含んでいてもよい。
さらなる例示的実施形態が従属請求項において定義されている。例示的実施形態は、たとえ互いに異なる請求項において記載されていたとしても特徴のあらゆる組み合わせを含むことを注意しておく。
〈IV.例示的実施形態〉
図4〜図6は、11.1チャネル・オーディオ信号を5.1チャネル・オーディオ信号としてパラメトリック・エンコードするためまたは11.1チャネル・オーディオ信号を五つのスピーカーおよび一つのサブウーファーを有するスピーカー・システムにおいて再生するために、11.1チャネル・オーディオ信号をチャネルの諸グループに分割する代替的な諸仕方を示している。
11.1チャネル・オーディオ信号は次のチャネルを含む:左(L)、左側方(LS)、左後方(LB)、上前方左(TFL)、上後方左(TBL)、右(R)、右側方(RS)、右後方(RB)、上前方右(TFR)、上後方右(TBR)、中央(C)および低域効果(LFE)。五つのチャネルL,LS,LB,TFL,TBLは11.1チャネル・オーディオ信号の再生環境における左半空間を表わす5チャネル・オーディオ信号をなす。三つのチャネルL,LS,LBは再生環境における異なる水平方向を表わし、二つのチャネルTFL,TBLは三つのチャネルL,LS,LBの方向から垂直に離間した方向を表わす。二つのチャネルTFL,TBLはたとえば天井スピーカーにおける再生のために意図されていてもよい。同様に、五つのチャネルR,RS,RB,TFR,TBRは再生環境の右半空間を表わし、三つのチャネルR,RS,RBは再生環境における異なる水平方向を表わし、二つのチャネルTFR,TBRは三つのチャネルR,RS,RBの方向から垂直に離間した方向を表わす。
11.1チャネル・オーディオ信号を5.1チャネル・オーディオ信号として表わすために、チャネルL,LS,LB,TFL,TBL,R,RS,RB,TFR,TBR,C,LFEのコレクションは、関連するメタデータおよびそれぞれのダウンミックス・チャネルによって表わされるチャネルの諸グループに分割されてもよい。5チャネル・オーディオ信号L,LS,LB,TFL,TBLは二チャネル・ダウンミックス信号L1,L2および関連するメタデータによって表わされてもよく、追加的な5チャネル・オーディオ信号R,RS,RB,TFR,TBRは追加的な二チャネル・ダウンミックス信号R1,R2および関連する追加的なメタデータによって表わされてもよい。チャネルCおよびLFEは、11.1チャネル・オーディオ信号の5.1チャネル表現においても別個のチャネルとして保持されてもよい。
図4は第一の符号化フォーマットF1を示している。ここでは、5チャネル・オーディオ信号L,LS,LB,TFL,TBLはチャネルL,LS,LBの第一のグループ401およびチャネルTFL,TBLの第二のグループ402に分割され、追加的な5チャネル・オーディオ信号R,RS,RB,TFR,TBRはチャネルR,RS,RBの追加的な第一のグループ403およびチャネルTFR,TBRの追加的な第二のグループ404に分割される。第一の符号化フォーマットF1では、チャネルの第一のグループ401は二チャネル・ダウンミックス信号の第一のチャネルL1によって表わされ、チャネルの第二のグループ402は二チャネル・ダウンミックス信号の第二のチャネルL2によって表わされる。ダウンミックス信号の第一のチャネルL1は、
L1=L+LS+LB
のように第一のグループ401のチャネルの和に対応していてもよく、ダウンミックス信号の第二のチャネルL2は、
L2=TFL+TBL
のように第二のグループ402のチャネルの和に対応していてもよい。
いくつかの例示的実施形態では、チャネルの一部または全部は、総和に先立って再スケーリングされてもよい。それにより、ダウンミックス信号の第一のチャネルL1は、L1=c1L+c2LS+c3LBに従って第一のグループ401のチャネルの線形結合に対応していてもよく、ダウンミックス信号の第二のチャネルL2は、L2=c4TFL+c5TBLに従って第二のグループ402のチャネルの線形結合に対応していてもよい。利得c2,c3,c4,c5はたとえば利得c1に一致してもよい。一方、利得c1はたとえば異なる値を有していてもよい。たとえば、c1は再スケーリングなしに対応してもよい。たとえば、値c1=1およびc2=c3=c4=c5=1/√2が使われてもよい。しかしながら、第一の符号化フォーマットF1についてのそれぞれのチャネルL,LS,LB,TFL,TBLに適用される利得c1,…,c5が図5および図6を参照して後述する他の符号化フォーマットF2およびF3においてこれらのチャネルに適用される利得と一致する限り、これらの利得は後述する計算に影響しない。よって、チャネルL,LS,LB,TFL,TBLについて下記で導出される式および近似は、これらのチャネルの再スケーリングされたバージョンc1L,c2LS,c3LB,c4TFL,c5TBLについても当てはまる。他方、これら異なる符号化フォーマットにおいて異なる利得が用いられる場合には、下記で実行される計算の少なくとも一部は修正される必要があることがある。たとえば、より忠実な近似を提供するために追加的な脱相関器を含めるオプションが考慮されてもよい。
同様に、チャネルの追加的な第一のグループ403は追加的なダウンミックス信号の第一のチャネルR1によって表わされ、チャネルの追加的な第二のグループ404は追加的なダウンミックス信号の第二のチャネルR2によって表わされる。
第一の符号化フォーマットF1は、天井チャネルTFL、TBL、TFR、TBRを表わすための専用のダウンミックス・チャネルL2およびR2を提供する。したがって、第一の符号化フォーマットF1の使用は、たとえば再生環境の垂直方向次元が11.1チャネル・オーディオ信号の全体的な印象にとって重要である場合に、比較的高い忠実度で11.1チャネル・オーディオ信号のパラメトリック再構成を許容しうる。
図5は第二の符号化フォーマットF2を示している。ここでは、5チャネル・オーディオ信号L,LS,LB,TFL,TBLはそれぞれのチャネルL1およびL2によって表わされるチャネルの第三501および第四502のグループに分割される。ここで、チャネルL1およびL2は、たとえば第一の符号化フォーマットF1におけるのと同じ再スケーリングのための利得c1,…,c5を用いて、それぞれのグループのチャネルの和に対応する。同様に、追加的な5チャネル・オーディオ信号R,RS,RB,TFR,TBRはそれぞれのチャネルR1およびR2によって表わされるチャネルの追加的な第三503および第四504のグループに分割される。
第二の符号化フォーマットF2は、天井チャネルTFL、TBL、TFR、TBRを表わすための専用のダウンミックス・チャネルを提供しないが、たとえば再生環境の垂直方向次元が11.1チャネル・オーディオ信号の全体的な印象にとってそれほど重要でない場合に、比較的高い忠実度で11.1チャネル・オーディオ信号のパラメトリック再構成を許容しうる。第二の符号化フォーマットF2は、第一の符号化フォーマットF1より5.1チャネル再生のためにより好適であることもありうる。
図6は第三の符号化フォーマットF3を示している。ここでは、5チャネル・オーディオ信号L,LS,LB,TFL,TBLはダウンミックス信号のそれぞれのチャネルL1およびL2によって表わされるチャネルの第五601および第六602のグループに分割される。ここで、チャネルL1およびL2は、たとえば第一の符号化フォーマットF1におけるのと同じ再スケーリングのための利得c1,…,c5を用いて、それぞれのグループのチャネルの和に対応する。同様に、追加的な5チャネル信号R,RS,RB,TFR,TBRはそれぞれのチャネルR1およびR2によって表わされるチャネルの追加的な第五603および第六604のグループに分割される。
第三の符号化フォーマットF3では、四つのチャネルLS、FB、TFL、TBLが第二のチャネルL2によって表わされる。第三の符号化フォーマットF3では他の符号化フォーマットより、11.1チャネル・オーディオ信号の高忠実度のパラメトリック再構成が潜在的にはより難しくなることがありうるが、第三の符号化フォーマットF3はたとえば5.1チャネル再生のために用いられてもよい。
発明者らは、符号化フォーマットF1、F2、F3の一つに基づく11.1チャネル・オーディオ信号の5.1チャネル表現に関連するメタデータが、まずもとの11.1チャネル信号を再構成することをしなくても、符号化フォーマットF1、F2、F3のうちの別のものに基づく5.1チャネル表現を生成するために用いられてもよいことを認識するに至った。11.1チャネル・オーディオ信号の左半平面を表わす5チャネル信号L,LS,LB,TFL,TBLおよび右半平面を表わす追加的な5チャネル信号R,RS,RB,TFR,TBRは同様に扱われてもよい。
m1=x1+x2+x3に従って三つのチャネルx1、x2、x3が加算されてダウンミックス・チャネルm1を形成し、x1およびx2+x3が再構成されるべきであるとする。三つすべてのチャネルx1、x2、x3は、エンコーダ側で決定されたアップミックス・パラメータci、1≦i≦3およびpij、1≦i≦3、1≦j≦2ならびに独立した脱相関器D1およびD2を用いて、ダウンミックス・チャネルm1から
Figure 0006686015
として再構成可能である。用いられるアップミックス・パラメータがc1+c2+c3=1およびk=1,2についてp1k+p2k+p3k=0を満たすとすると、信号x1およびx2+x3は次のように再構成されうる。
Figure 0006686015
これは次のように表わされてもよい。
Figure 0006686015
ここで、二つの脱相関器D1およびD2は単一の脱相関器D1によって置換されており、p1 2=p11 2+p12 2である。m2=x4+x5に従って二つのチャネルx4およびx5が加算されて第二のダウンミックス・チャネルm2を形成したとすると、信号x1およびx2+x3+x4+x5
Figure 0006686015
として再構成されてもよい。後述するように、式(2)は、第一の符号化フォーマットF1に準拠する信号に基づいて第三の符号化フォーマットF3に準拠する信号を生成するために用いられてもよい。
チャネルx4およびx5は、脱相関器D3およびd1+d2=1およびq1+q2=0を満たすアップミックス・パラメータを用いて、
Figure 0006686015
として再構成可能である。式(1)および(3)に基づいて、信号x1+x4およびx2+x3+x5
Figure 0006686015
として、また
Figure 0006686015
として再構成されうる。ここで、二つの脱相関器D1およびD3(すなわち、その入力信号のエネルギーを保存する型の脱相関器)からの寄与は、単一の脱相関器D1(すなわち、その入力信号のエネルギーを保存する型の脱相関器)からの寄与によって近似されている。この近似に関連する忠実度の知覚される損失は非常に小さいことがありうる。特に、ダウンミックス・チャネルm1、m2が無相関であり、値a=p1およびb=q1が重みaおよびbについて用いられる場合にそうである。エンコーダ側でダウンミックス・チャネルm1、m2が生成される際に従う符号化フォーマットはたとえば、ダウンミックス・チャネルm1、m2の間の相関を低く保とうとする努力において選ばれたものであってもよい。後述するように、式(4)は、第一の符号化フォーマットF1に準拠する信号に基づいて第二の符号化フォーマットF2に準拠する信号を生成するために用いられてもよい。
式(4)の構造は任意的に
Figure 0006686015
に修正されてもよい。ここで、利得因子g=(a2+b2)1/2は、脱相関器D1への入力信号のパワーを調整するために用いられる。利得因子の他の値、たとえば0<v<1についてg=(a2+b2)1/vが用いられてもよい。
11.1チャネル信号のパラメトリック表現を提供するために第一の符号化フォーマットF1が用いられており、オーディオ・コンテンツのレンダリングのためにデコーダ側で第二の符号化フォーマットF2が所望される場合、両辺で式(4)の近似を適用し、左辺の量のいくつか(出力信号の四つのチャネル)の近似であるという性質をチルダで示すと、次のようになる。
Figure 0006686015
ここで、第二の符号化フォーマットF2によれば、
Figure 0006686015
であり、SL=D(aLL1+bLL2)およびSR=D(aRR1+bRR2)であり、ここで、c1,L、d1,L、aL、bLおよびc1,R、d1,R、aR、bRは式(4)からのパラメータc1、d1、a、bのそれぞれ左チャネル・バージョンおよび右チャネル・バージョンであり、Dは脱相関演算子を表わす。よって、第二の符号化フォーマットF2の近似が、11.1チャネル・オーディオ信号を実際に再構成する必要なしに、11.1チャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータに基づいて、第一の符号化フォーマットF1から得られてもよい。
11.1チャネル信号のパラメトリック表現を提供するために第一の符号化フォーマットF1が用いられており、オーディオ・コンテンツのレンダリングのためにデコーダ側で第三の符号化フォーマットF3が所望される場合、両辺で式(2)の近似を適用し、左辺の量のいくつかの近似性をチルダで示すと、次のようになる。
Figure 0006686015
ここで、第三の符号化フォーマットF3により、
Figure 0006686015
であり、ここで、c1,L、p1,Lおよびc1,R、p1,Rは式(2)からのパラメータc1、p1のそれぞれ左チャネル・バージョンおよび右チャネル・バージョンであり、Dは脱相関演算子を表わす。よって、第三の符号化フォーマットF3の近似が、11.1チャネル・オーディオ信号を実際に再構成する必要なしに、11.1チャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータに基づいて、第一の符号化フォーマットF1から得られてもよい。
11.1チャネル信号のパラメトリック表現を提供するために第二の符号化フォーマットF2が用いられており、オーディオ・コンテンツのレンダリングのためにデコーダ側で第一の符号化フォーマットF1または第三の符号化フォーマットF3が所望される場合、同じ発想を使って、式(5)および(6)で呈示したのと同様の関係が導出されうる。
11.1チャネル信号のパラメトリック表現を提供するために第三の符号化フォーマットF3が用いられており、オーディオ・コンテンツのレンダリングのためにデコーダ側で第一の符号化フォーマットF1または第二の符号化フォーマットF2が所望される場合、上記の発想の少なくとも一部が用いられてもよい。しかしながら、チルダ付きのチャネルL2で表わされるチャネルの第六のグループ602は四つのチャネルLS、LB、TFL、TBLを含むので、二つ以上の脱相関されたチャネルがたとえば左側について用いられてもよく(右側についても同様)、チャネルLのみを表わす他方のチャネル〔チルダ付きのL1〕はたとえば、どの脱相関器への入力としても含まれなくてもよい。
上記のように、(符号化フォーマットF1、F2、F3の一つに準拠する)5.1チャネル・パラメトリック表現からの11.1チャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータが、(他の符号化フォーマットF1、F2、F3のいずれかに準拠する)11.1チャネル・オーディオ信号の代替的な5.1チャネル表現を得るために用いられてもよい。他の例示的実施形態では、前記代替的な5.1チャネル表現は、エンコーダ側で特にこの目的のために決定された混合パラメータに基づいて得られてもよい。そのような混合パラメータを決定する一つの方法についてこれから述べる。
四つのオーディオ信号u1,u2,u3,u4から形成される二つのオーディオ信号y1=u1+u2およびy2=u3+u4を与えられたとき、それら二つのオーディオ信号の近似z1=u1+u3およびz2=u2+u4が得られてもよい。差z1−z2は、
z1−z2=αy1+βy2+r
に従って最小二乗推定としてy1およびy2から推定されてもよい。誤差信号rはy1およびy2の両方に直交する。z1+z2=y1+y2を用いると、次式が導ける。
Figure 0006686015
信号z1およびz2の正しい共分散構造を復元する近似に到達するために、誤差信号rは、たとえばγD(y1+y2)の形の、同じパワーの脱相関信号によって置換されてもよい。ここで、Dは脱相関を表わし、パラメータγは信号パワーを保存するよう調整される。式(7)の異なるパラメータ化を用いると、近似は次のように表わせる。
Figure 0006686015
11.1チャネル信号のパラメトリック表現を提供するために第一の符号化フォーマットF1が用いられており、オーディオ・コンテンツのレンダリングのためにデコーダ側で第二の符号化フォーマットF2が所望される場合、左側でz1=L+TFL、z2=LS+LB+TBL、y1=L+LS+LBおよびy2=TFL+TBLを用い、右側でz1=R+TFR、z2=RS+RB+TBR、y1=R+RS+RBおよびy2=TFR+TBRを用いて式(8)の近似を適用し、左辺の量のいくつかの近似性をチルダで示すと、次のようになる。
Figure 0006686015
ここで、第一の符号化フォーマットF1により、
Figure 0006686015
であり、rL=D(L1+L2)およびrR=D(R1+R2)であり、ここで、cL、dL、γLおよびcR、dR、γRは式(8)からのパラメータc、d、γのそれぞれ左チャネル・バージョンおよび右チャネル・バージョンであり、Dは脱相関を表わす。よって、第二の符号化フォーマットF2の近似が、たとえばこの目的のためにエンコーダ側で決定されてダウンミックス信号と一緒にデコーダ側に伝送された混合パラメータcL、dL、γL、cR、dR、γRに基づいて、第一の符号化フォーマットF1から得られてもよい。混合パラメータの使用は、エンコーダ側からの増大した制御を許容する。エンコーダ側ではもとの11.1チャネル・オーディオ信号が利用可能なので、混合パラメータはたとえば、第二の符号化フォーマットF2の近似の忠実度を高めるようエンコーダ側でチューニングされうる。
同様に、第三の符号化フォーマットF3の近似が、同様の混合パラメータに基づいて、第一の符号化フォーマットF1から得られてもよい。第一の符号化フォーマットF1および第三の符号化フォーマットF3の同様の近似が第二の符号化フォーマットF2から得られてもよい。
式(9)で見て取れるように、出力信号の二つのチャネル
Figure 0006686015
は脱相関信号rLからの絶対値が等しいが符号が反対の寄与を受ける。脱相関信号SLおよびD(L1)からの寄与についても、それぞれ式(5)および(6)において対応する状況が成り立つ。
式(9)で見て取れるように、ダウンミックス信号の第一のチャネルL1から出力信号の第一のチャネル〔チルダ付きのL1〕への寄与を制御する混合係数cLと、ダウンミックス信号の第一のチャネルL1から出力信号の第二のチャネル〔チルダ付きのL2〕への寄与を制御する混合係数1−cLとの和は値1をもつ。式(5)および(6)においても対応する関係が成り立つ。
図1は、ある例示的実施形態に基づく、Mチャネル信号を二チャネル・ダウンミックス信号および付随するメタデータとしてエンコードするためのエンコード部100の一般化されたブロック図である。
Mチャネル・オーディオ信号は、ここでは図4を参照して述べた5チャネル信号L、LS、LB、TFLおよびTBLによって例示され、ダウンミックス信号は図4を参照して述べた、第一の符号化フォーマットF1に従って計算される第一のチャネルL1および第二のチャネルL2によって例示される。エンコード部100が図4ないし図6を参照して記述した符号化フォーマットの任意のものに従ってダウンミックス信号を計算する例示的実施形態が構想されうる。エンコード部100がMチャネル・オーディオ信号に基づいてダウンミックス信号を計算し、M≧4である例示的実施形態も構想されうる。特に、上記した、式(5)(6)(9)につながるものと同様の計算および近似がM=4またはM≧6である例示的実施形態について実行されてもよいことは理解されるであろう。
エンコード部100は、ダウンミックス部110および解析部120を有する。ダウンミックス部110は5チャネル・オーディオ信号に基づいてダウンミックス信号を計算する。これは、ダウンミックス信号の第一のチャネルL1を5チャネル・オーディオ信号のチャネルの第一のグループ401の線形結合(たとえば和)として形成し、ダウンミックス信号の第二のチャネルL2を5チャネル・オーディオ信号のチャネルの第二のグループ402の線形結合(たとえば和)として形成することによる。第一および第二のグループ401、402は、5チャネル・オーディオ信号の五つのチャネルL、LS、LB、TFL、TBLの分割をなす。解析部120は、パラメトリック・デコーダにおけるダウンミックス信号からの5チャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータαLUを決定する。解析部120は、二チャネル出力信号をダウンミックス信号に基づいて得るための混合パラメータαLMをも決定する。
本例示的実施形態では、出力信号は、図5を参照して記述した第二の符号化フォーマットF2に基づく5チャネル・オーディオ信号の二チャネル表現である。しかしながら、出力信号が図4ないし図6を参照して記述した符号化フォーマットの任意のものに従って5チャネル・オーディオ信号を表現する例示的実施形態が構想されうる。
出力信号の第一のチャネル〔チルダ付きのL1〕は、5チャネル・オーディオ信号のチャネルの第三のグループ501の線形結合(たとえば和)を近似し、出力信号の第二のチャネル〔チルダ付きのL2〕は、5チャネル・オーディオ信号のチャネルの第四のグループ502の線形結合(たとえば和)を近似する。第三および第四のグループ501、502は、5チャネル・オーディオ信号の五つのチャネルL、LS、LB、TFL、TBLの、チャネルの第一および第二のグループ401、402によって与えられるものとは異なる分割をなす。特に、第三のグループ501が第一のグループ401からのチャネルLを含む一方、第四のグループ502が第一のグループ401からのチャネルLSおよびLBを含む。
エンコード部100は、ダウンミックス信号L1、L2および付随するメタデータを、合同での記憶および/またはデコーダ側への伝送のために出力する。前記メタデータは、アップミックス・パラメータαLUおよび混合パラメータαLMを含む。混合パラメータαLMは、式(9)を用いてダウンミックス信号L1、L2に基づいて出力信号〔チルダ付きのL1、L2〕を得るために十分な情報を担持しうる。混合パラメータαLMはたとえば、パラメータcL、dL、γLを、あるいはさらには式(9)における左端の行列の要素すべてを含んでいてもよい。
図2は、ある例示的実施形態に基づく、図1を参照して述べたエンコード部100を有するオーディオ・エンコード・システム200の一般化されたブロック図である。本例示的実施形態では、たとえば一つまたは複数の音響トランスデューサ201によって記録されたまたはオーディオ・オーサリング設備201によって生成されたオーディオ・コンテンツは、図4ないし図6を参照して記述した11.1チャネル・オーディオ信号の形で与えられる。直交ミラー・フィルター(QMF)解析部202が5チャネル・オーディオ信号L、LS、LB、TFL、TBLを時間セグメントごとにQMF領域に変換する。エンコード部100が時間/周波数タイルの形で5チャネル・オーディオを処理するためである。オーディオ・エンコード・システム200は、エンコード部100と同様の、追加的な5チャネル・オーディオ信号R、RS、RB、TFR、TBRを追加的な二チャネル・ダウンミックス信号R1、R2および付随するメタデータとしてエンコードするよう適応された追加的なエンコード部203を有する。付随するメタデータは、追加的なアップミックス・パラメータαRUおよび追加的な混合パラメータαRMを含む。追加的な混合パラメータαRMはたとえば、式(9)からのパラメータcR、dR、γRを含んでいてもよい。QMF解析部202は、追加的な5チャネル・オーディオ信号R、RS、RB、TFR、TBRをも、追加的なエンコード部203による処理のために、QMF領域に変換する。エンコード部100によって出力されるダウンミックス信号L1、L2は、QMF合成部204によってQMF領域から変換し戻され、変換部205によって修正離散コサイン変換(MDCT)領域に変換される。量子化部206および207はそれぞれアップミックス・パラメータαLUおよび混合パラメータαLMを量子化する。たとえば、きざみサイズ0.1または0.2(無次元)をもつ一様量子化とそれに続く、ハフマン符号化の形のエントロピー符号化が用いられてもよい。きざみサイズ0.2でのより粗い量子化はたとえば伝送帯域幅を節約するために用いられてもよく、きざみサイズ0.1でのより細かい量子化はたとえばデコーダ側での再構成の忠実度を改善するために用いられてもよい。同様に、追加的なエンコード部203によって出力される追加的なダウンミックス信号R1、R2は、QMF合成部208によってQMF領域から変換し戻され、変換部209によってMDCT領域に変換される。量子化部210および211はそれぞれ追加的なアップミックス・パラメータαRUおよび追加的な混合パラメータαRMを量子化する。チャネルCおよびLFEもそれぞれの変換部214および215によってMDCT領域に変換される。MDCT変換されたダウンミックス信号およびチャネルならびに量子化されたメタデータが次いで、マルチプレクサ216によって、デコーダ側への伝送のためにビットストリームBに組み合わされる。オーディオ・エンコード・システム200は、ダウンミックス信号およびチャネルC、LFEがマルチプレクサ216に与えられる前に、ダウンミックス信号L1、L2、追加的なダウンミックス信号R1、R2およびチャネルCおよびLFEを、ドルビー・デジタルまたはMPEG AACのような知覚的オーディオ・コーデックを使ってエンコードするよう構成されたコア・エンコーダ(図2には示さず)をも有していてもよい。ビットストリームBを形成する前に、たとえば−8.7dBに対応するクリップ利得がたとえばダウンミックス信号L1、L2、追加的なダウンミックス信号R1、R2およびチャネルCに適用されてもよい。
図3は、ある例示的実施形態に基づく、オーディオ・エンコード・システム200によって実行されるオーディオ・エンコード方法300のフローチャートである。オーディオ・エンコード方法300は:5チャネル・オーディオ信号L、LS、LB、TFL、TBLを受領し310;5チャネル・オーディオ信号に基づいて二チャネル・ダウンミックス信号L1、L2を計算し320;アップミックス・パラメータαLUを決定し330;混合パラメータαLMを決定し340;合同での記憶および/または伝送のためにダウンミックス信号およびメタデータを出力する350ことを含む。ここで、メタデータはアップミックス・パラメータαLUおよび混合パラメータαLMを含む。
図7は、ある例示的実施形態に基づく、二チャネル・ダウンミックス信号L1、L2および付随するメタデータに基づいて二チャネル出力信号〔チルダ付きのL1、L2〕を与えるためのデコード部700の一般化されたブロック図である。
本例示的実施形態では、ダウンミックス信号L1、L2は図1を参照して述べたエンコード部100によって出力されるダウンミックス信号L1、L2であり、エンコード部100によって出力されるアップミックス・パラメータαLUおよび混合パラメータαLMの両方に関連付けられている。図1および図4を参照して述べたように、アップミックス・パラメータαLUは、ダウンミックス信号L1、L2に基づく5チャネル・オーディオ信号L、LS、LB、TFL、TBLのパラメトリック再構成のために適応されている。しかしながら、アップミックス・パラメータαLUがMチャネル・オーディオ信号のパラメトリック再構成のために適応されていてM=4またはM≧6である実施形態も構想されうる。
本例示的実施形態では、ダウンミックス信号の第一のチャネルL1は5チャネル・オーディオ信号のチャネルの第一のグループ401の線形結合(たとえば和)に対応し、ダウンミックス信号の第二のチャネルL2は5チャネル・オーディオ信号のチャネルの第二のグループ402の線形結合(たとえば和)に対応する。第一および第二のグループ401、402は、5チャネル・オーディオ信号の五つのチャネルL、LS、LB、TFL、TBLの分割をなす。
本例示的実施形態では、デコード部700は二チャネル・ダウンミックス信号L1、L2ならびにアップミックス・パラメータαLUを受領し、ダウンミックス信号L1、L2およびアップミックス・パラメータαLUに基づいて二チャネル出力信号〔チルダ付きのL1、L2〕を提供する。デコード部700は脱相関部710および混合部720を有する。脱相関部710はダウンミックス信号L1、L2を受領してそれに基づいて、かつアップミックス・パラメータに従って(式(4)および(5)参照)単一チャネルの脱相関信号Dを出力する。混合部720はアップミックス・パラメータαLUに基づいて一組の混合係数を決定し、ダウンミックス信号L1、L2および脱相関信号Dの混合係数に基づく線形結合として出力信号〔チルダ付きのL1、L2〕を形成する。換言すれば、混合部720は、三チャネルから二チャネルへの投影を実行する。
本例示的実施形態では、デコード部700は、図5を参照して記述した第二の符号化フォーマットF2に基づく出力信号〔チルダ付きのL1、L2〕を提供するよう構成されており、よって式(5)に従って出力信号〔チルダ付きのL1、L2〕を形成する。換言すれば、混合係数は式(5)の左端の行列の要素に対応し、アップミックス・パラメータαLUに基づいて混合部によって決定されてもよい。
よって、混合部720は、出力信号の第一のチャネル〔チルダ付きのL1〕が5チャネル・オーディオ信号L、LS、LB、TFL、TBLのチャネルの第三のグループ501の線形結合(たとえば和)を近似し、出力信号の第二のチャネル〔チルダ付きのL2〕が5チャネル・オーディオ信号L、LS、LB、TFL、TBLのチャネルの第四のグループの線形結合(たとえば和)を近似するよう、混合係数を決定する。図5を参照して述べたように、第三および第四のグループ501、502は、5チャネル・オーディオ信号の五つのチャネルL、LS、LB、TFL、TBLの分割をなし、第三のグループおよび第四のグループ501、502の両方が、チャネルの第一のグループ401からの少なくとも一つのチャネルを含む。
いくつかの例示的実施形態では、ダウンミックス信号L1、L2および脱相関信号からの5チャネル・オーディオ信号L、LS、LB、TFL、TBLのパラメトリック再構成のために用いられる係数は、アップミックス・パラメータαLUによって、パラメトリック再構成のために用いられる実際の係数の数より少数のパラメータを含むコンパクトな形で表現されてもよい。そのような実施形態では、実際の係数は、用いられる特定のコンパクトな形の知識に基づいてデコーダ側で導出されうる。
図8は、ある例示的実施形態に基づく、図7を参照して述べたデコード部700を有するオーディオ・デコード・システム800の一般化されたブロック図である。
たとえばデマルチプレクサを含む受領部801は、図2を参照して記述したオーディオ・エンコード・システム200から伝送されたビットストリームBを受領し、ダウンミックス信号L1、L2および付随するアップミックス・パラメータαLU、追加的なダウンミックス信号R1、R2および付随する追加的なアップミックス・パラメータαRUならびにチャネルCおよびLFEを、ビットストリームBから抽出する。
混合パラメータαLMおよび追加的な混合パラメータαRMはビットストリームBにおいて入手可能であってもよいが、これらのパラメータは本例示的実施形態ではオーディオ・デコード・システム800によって用いられない。換言すれば、本例示的実施形態のオーディオ・デコード・システム800は、そのような混合パラメータを抽出できなくてもよいビットストリームと互換である。混合パラメータαLMを用いるデコード部は図9を参照して後述する。
ダウンミックス信号L1、L2、追加的なダウンミックス信号R1、R2および/またはチャネルCおよびLFEがビットストリームBに、ドルビー・デジタル、MPEG AACまたはその発展形のような知覚的オーディオ・コーデックを使ってエンコードされている場合、オーディオ・デコード・システム800は、ビットストリームBから抽出されるときにそれぞれの信号およびチャネルをデコードするよう構成されたコア・デコーダ(図8には示さず)を含んでいてもよい。
変換部802は、逆MDCTを実行することによってダウンミックス信号L1、L2を変換し、QMF解析部803はダウンミックス信号L1、L2をQMF領域に変換する。デコード部200が時間/周波数タイルの形でダウンミックス信号L1、L2を処理するためである。量子化解除部804は、アップミックス・パラメータαLUを、デコード部700に供給する前に、たとえばエントロピー符号化されたフォーマットから量子化解除する。図2を参照して述べたように、量子化は、たとえば0.1または0.2という二つの異なるきざみサイズのうちの一方を用いて実行されていてもよい。用いられる実際のきざみサイズはあらかじめ定義されていてもよく、あるいはエンコーダ側からオーディオ・デコード・システム800にビットストリームBなどを介して信号伝達されてもよい。
本例示的実施形態では、オーディオ・デコード・システム800は、デコード部700と同様の追加的なデコード部805を有する。追加的なデコード部805は、図2および図4を参照して記述した追加的な二チャネル・ダウンミックス信号R1、R2および追加的なメタデータを受領するよう構成されている。追加的なメタデータは、追加的なダウンミックス信号R1、R2に基づく追加的な5チャネル・オーディオ信号R,RS、RB、TFR、TBRのパラメトリック再構成のための追加的なアップミックス・パラメータαRUを含む。追加的なデコード部805は、ダウンミックス信号および追加的なアップミックス・パラメータαRUに基づいて追加的な二チャネル出力信号〔チルダ付きのR1、R2〕を提供するよう構成されている。追加的な出力信号〔チルダ付きのR1、R2〕は、図5を参照して記述した第二の符号化フォーマットF2に準拠する追加的な5チャネル・オーディオ信号R、RS、RB、TFR、TBRの再構成を提供する。
変換部806は、逆MDCTを実行することによって追加的なダウンミックス信号R1、R2を変換し、QMF解析部807はダウンミックス信号R1、R2をQMF領域に変換する。追加的なデコード部805が時間/周波数タイルの形で追加的なダウンミックス信号R1、R2を処理するためである。量子化解除部808は、追加的なアップミックス・パラメータαRUを、追加的なデコード部805に供給する前に、たとえばエントロピー符号化されたフォーマットから量子化解除する。
エンコーダ側でダウンミックス信号L1、L2、追加的なダウンミックス信号R1、R2およびチャネルCにクリップ利得が適用されている例示的実施形態では、該クリップ利得を補償するためにオーディオ・デコード・システム800において、たとえば8.7dBに対応する対応する利得がこれらの信号に適用されてもよい。
図8を参照して述べた例示的実施形態では、デコード部700および追加的なデコード部800によってそれぞれ出力される出力信号〔チルダ付きのL1、L2〕および追加的な出力信号〔チルダ付きのR1、R2〕は、たとえば五つのスピーカーおよびサブウーファーを含むマルチスピーカー・システム812での再生のためにオーディオ・デコード・システム800の出力としてチャネルCおよびLFEと一緒に提供される前に、QMF合成部811によってQMF領域から変換し戻される。変換部809、810は、チャネルCおよびLFEを、これらのチャネルがオーディオ・デコード・システム800の出力に含められる前に、逆MDCTを実行することによって時間領域に変換する。
チャネルCおよびLFEはたとえばビットストリームBから、離散的に符号化された形で抽出されてもよい。デコード・システム800はたとえば、それぞれの離散的に符号化されたチャネルをデコードするよう構成されている単一チャネル・デコード部(図8には示さず)を含んでいてもよい。単一チャネル・デコード部はたとえば、ドルビー・デジタル、MPEG AACまたはその発展形のような知覚的オーディオ・コーデックを使ってエンコードされたオーディオ・コンテンツをデコードするためのコア・デコーダを含んでいてもよい。
図9は、ある例示的実施形態に基づく、代替的なデコード部900の一般化されたブロック図である。デコード部900は図7を参照して述べたデコード部700と同様であるが、デコード部900は、図1を参照して述べたエンコード部100によって提供される混合パラメータαLMを、やはりエンコード部100によって提供されるアップミックス・パラメータαLUを用いる代わりに、用いる。
デコード部700と同様に、デコード部900は、脱相関部910および混合部920を有する。脱相関部910は、図1を参照して述べたエンコード部100によって与えられるダウンミックス信号L1、L2を受領して該ダウンミックス信号L1、L2に基づいて、単一チャネルの脱相関信号Dを出力するよう構成されている。混合部920は混合パラメータαLMに基づいて一組の混合係数を決定し、ダウンミックス信号L1、L2および脱相関信号Dの混合係数に基づく線形結合として出力信号〔チルダ付きのL1、L2〕を形成する。混合部920は、アップミックス・パラメータαLUとは独立に混合パラメータを決定し、三チャネルから二チャネルへの投影を実行することによって出力信号〔チルダ付きのL1、L2〕を形成する。
本例示的実施形態では、デコード部900は、図5を参照して記述した第二の符号化フォーマットF2に基づく出力信号〔チルダ付きのL1、L2〕を提供するよう構成されており、よって式(9)に従って出力信号〔チルダ付きのL1、L2〕を形成する。換言すれば、受領された混合パラメータαLMをが式(9)の左端の行列におけるパラメータcL、dL、γLを含んでいてもよく、混合パラメータαLMはエンコーダ側で式(9)に関係して述べたように決定されたものであってもよい。よって、混合部920は、出力信号の第一のチャネル〔チルダ付きのL1〕が図4ないし図6を参照して述べた5チャネル・オーディオ信号L、LS、LB、TFL、TBLのチャネルの第三のグループ501の線形結合(たとえば和)を近似し、出力信号の第二のチャネル〔チルダ付きのL2〕が5チャネル・オーディオ信号L、LS、LB、TFL、TBLのチャネルの第四のグループ502の線形結合(たとえば和)を近似するよう、混合係数を決定する。
ダウンミックス信号L1、L2および混合パラメータαLMはたとえば、図2を参照して述べたオーディオ・エンコード・システム200によって出力されたビットストリームBから抽出されてもよい。やはりビットストリームBにエンコードされているアップミックス・パラメータαLUは、本例示的実施形態のデコード部900によっては用いられなくてもよく、よってビットストリームBから抽出される必要はない。
図10は、例示的実施形態に基づく、二チャネル・ダウンミックス信号および付随するアップミックス・パラメータに基づいて二チャネル出力信号を提供するオーディオ・デコード方法1000のフローチャートである。デコード方法1000はたとえば、図8を参照して述べたオーディオ・デコード・システム800によって実行されてもよい。
デコード方法1000は、メタデータに関連付けられている二チャネル・ダウンミックス信号を受領する1010ことを含む。メタデータは、図4を参照して述べた5チャネル・オーディオ信号L、LS、LB、TFL、TBLのパラメトリックな再構成のためのアップミックス・パラメータを含む。ダウンミックス信号はたとえば、図1を参照して述べたダウンミックス信号L1、L2であってもよく、図4を参照して述べた第一の符号化フォーマットF1に準拠していてもよい。デコード方法1000はさらに、メタデータの少なくとも一部を受領する1020ことを含む。受領されたメタデータはたとえば、図1を参照して述べたアップミックス・パラメータαLUおよび/または混合パラメータαLMを含んでいてもよい。デコード方法1000はさらに、前記ダウンミックス信号の少なくとも一つのチャネルに基づいて脱相関信号を生成し1040;受領されたメタデータに基づいて一組の混合係数を決定し1050;混合係数に従って、ダウンミックス信号および脱相関信号の線形結合として二チャネル出力信号を形成する1060ことを含む。二チャネル出力信号はたとえば、図7および図8を参照して述べた二チャネル出力信号〔チルダ付きのL1、L2〕であってもよく、図5を参照して述べた第二の符号化フォーマットF2に準拠していてもよい。換言すれば、混合係数は、出力信号の第一のチャネル〔チルダ付きのL1〕がチャネルの第三のグループ501の線形結合を近似し、出力信号の第二のチャネル〔チルダ付きのL2〕がチャネルの第四のグループ502の線形結合を近似するよう決定されてもよい。
デコード方法1000は任意的に:受領されたダウンミックス信号L1、L2がそれぞれ図4および図5を参照して述べた第一の符号化フォーマットF1および第二の符号化フォーマットF2のうちの一つに準拠することを示すシグナルを受領する1030ことを含んでいてもよい。第三および第四のグループ501、502はあらかじめ定義されていてもよく、混合係数は、出力信号〔チルダ付きのL1、L2〕のチャネルによって近似される、5チャネル・オーディオ信号L、LS、LB、TFL、TBLのチャネルの第三および第四のグループ501、502への単一の分割が、受領されたダウンミックス信号の両方の可能な符号化フォーマットF1、F2について維持されるよう、決定されてもよい。デコード方法1000は任意的に、受領されたダウンミックス信号が第二の符号化フォーマットF2に準拠することを示すシグナルに応答して、ダウンミックス信号L1、L2を出力信号〔チルダ付きのL1、L2〕として素通しにする1070こと(および/または脱相関信号から出力信号への寄与を抑制すること)を含んでいてもよい。その場合、受領されたダウンミックス信号L1、L2の符号化フォーマットは出力信号〔チルダ付きのL1、L2〕において提供されるべき符号化フォーマットと一致するからである。
図11は、ある例示的実施形態に基づくコンピュータ可読媒体1100を概略的に示している。コンピュータ可読媒体1100は:図1および図4を参照して述べた二チャネル・ダウンミックス信号L1、L2;図1を参照して述べた、ダウンミックス信号L1、L2に基づいて5チャネル・オーディオ信号L、LS、LB、TFL、TBLのパラメトリック再構成を許容するアップミックス・パラメータαLU;および図1を参照して述べた混合パラメータαLMを表現する。
図1を参照して述べたエンコード部100は、第一の符号化フォーマットF1に従って11.1チャネル・オーディオ信号をエンコードし、第二の符号化フォーマットF2に準拠する出力信号を提供するための混合パラメータαLMを提供するよう構成されているが、符号化フォーマットF1、F2、F3の任意のものに従って11.1チャネル・オーディオ信号をエンコードし、第一の符号化フォーマットF1、F2、F3の任意のものに準拠する出力信号を提供するための混合パラメータを提供するよう構成されている同様のエンコード部が提供されてもよいことは理解されるであろう。
また、図7および図9を参照して述べたデコード部700、900は、第一の符号化フォーマットF1に準拠するダウンミックス信号に基づいて第二の符号化フォーマットF2に準拠する出力信号を提供するよう構成されているが、符号化フォーマットF1、F2、F3の任意のものに準拠するダウンミックス信号に基づいて符号化フォーマットF1、F2、F3の任意のものに準拠する出力信号を提供するよう構成されている同様のデコード部が提供されてもよいことは理解されるであろう。
図6を参照して述べたチャネルの第六のグループ602は四つのチャネルを含むので、第三の符号化フォーマットF3に準拠するダウンミックス信号に基づいて第一または第二の符号化フォーマットF1、F2に準拠する出力信号を提供することは、たとえば:脱相関部への入力として、二つ以上の脱相関されたチャネルを用いる;および/またはダウンミックス信号のチャネルの高々一つを用いることを含んでいてもよいことは理解されるであろう。
上記の例は図4ないし図6を参照して述べた11.1チャネル・オーディオ信号を用いて定式化されているが、任意の数のエンコード部またはデコード部を含み、任意の数のMチャネル・オーディオ信号を含むオーディオ信号を処理するよう構成されうるエンコード・システムおよびデコード・システムが構想されうることは理解されるであろう。
図12は、ある例示的実施形態に基づく、二チャネル・ダウンミックス信号L1、L2および付随するメタデータに基づいてKチャネル出力信号
Figure 0006686015
を提供するためのデコード部1200の一般化されたブロック図である。デコード部1200は図7を参照して述べたデコード部700と同様であるが、デコード部1200は、二チャネル出力信号〔チルダ付きのL1、L2〕の代わりに、2≦K<Mであるとして、Kチャネル出力信号〔チルダ付きのL1,…,LK〕を提供する。
より具体的には、デコード部1200は、メタデータに関連付けられている二チャネル・ダウンミックス信号L1、L2を受領するよう構成されている。メタデータは、ダウンミックス信号L1、L2に基づくMチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータαLUを含む。M≧4である。ダウンミックス信号L1、L2の第一のチャネルL1はMチャネル・オーディオ信号の一つまたは複数のチャネルの第一のグループ(たとえば、図4を参照して述べた第一のグループ401)の線形結合(または和)に対応する。ダウンミックス信号L1、L2の第二のチャネルL2はMチャネル・オーディオ信号の一つまたは複数のチャネルの第二のグループ(たとえば、図4を参照して述べた第二のグループ402)の線形結合(または和)に対応する。第一および第二のグループは、Mチャネル・オーディオ信号のM個のチャネルの分割をなす。換言すれば、第一および第二のグループは分離しており、一緒になってMチャネル・オーディオ信号の全チャネルを含む。
デコード部1200は、メタデータの少なくとも一部(たとえばアップミックス・パラメータαLUを含む)を受領し、ダウンミックス信号L1、L2および受領されたメタデータに基づいてKチャネル出力信号〔チルダ付きのL1,…,LK〕を提供するよう構成されている。デコード部1200は、ダウンミックス信号L1、L2の少なくとも一つのチャネルを受領して、それに基づいて脱相関信号Dを出力するよう構成された脱相関部1210を有する。デコード部1200はさらに、受領されたメタデータに基づいて一組の混合係数を決定し、混合係数に従って、ダウンミックス信号L1、L2および脱相関信号Dの線形結合として出力信号〔チルダ付きのL1,…,LK〕を形成するよう構成された混合部1220を有する。混合部1020は、出力信号のK個のチャネル〔チルダ付きのL1,…,LK〕のそれぞれがMチャネル・オーディオ信号の一つまたは複数のチャネルのグループの線形結合を近似するよう、混合係数を決定するよう構成される。混合係数は、出力信号のそれぞれのチャネル〔チルダ付きのL1,…,LK〕に対応する諸グループが、Mチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルからなるK個のグループへの分割をなし、かつ、これらK個のグループのうちの少なくとも二つが、Mチャネル信号のチャネルの第一のグループ(すなわち、ダウンミックス信号の第一のチャネルL1に対応するグループ)からの少なくとも一つのチャネルを含むよう、決定される。
脱相関信号Dはたとえば単一チャネル信号であってもよい。図12に示されるように、脱相関信号Dはたとえば二チャネル信号であってもよい。いくつかの例示的実施形態では、脱相関信号Dは二つより多くのチャネルを含んでいてもよい。
Mチャネル信号はたとえば、図4を参照して述べた5チャネル・オーディオ信号L、LS、LB、TFL、TBLであってもよく、ダウンミックス信号L1、L2はたとえば図4ないし図6を参照して述べた符号化フォーマットF1、F2、F3の任意のものに基づく5チャネル信号L、LS、LB、TFL、TBLの二チャネル表現であってもよい。
図8を参照して述べたオーディオ・デコード・システム800はたとえば、デコード部700および805の代わりに、図12を参照して述べた型のデコード部1200を一つまたは複数有していてもよく、マルチスピーカー・システム812はたとえば、図8を参照して述べた五つのスピーカーおよびサブウーファーより多くを含んでいてもよい。
オーディオ・デコード・システム800はたとえば、図10を参照して述べたオーディオ・デコード方法1000と同様だが二チャネル出力信号の代わりにKチャネル出力信号が与えられるオーディオ・デコード方法を実行するよう適応されていてもよい。
デコード部1200およびオーディオ・デコード・システム800の例示的実装は図12〜図16を参照して下記で述べる。
図4〜図6と同様に、図12〜図13は、11.1チャネル・オーディオ信号を一つまたは複数のチャネルからなる諸グループに分割する代替的な仕方を示している。
11.1チャネル(または7.1+4チャネルまたは7.1.4チャネル)オーディオ信号を7.1チャネル(または5.1+2チャネルまたは5.1.2チャネル)オーディオ信号として表現するために、チャネルL、LS、LB、TFL、TBL、R、RS、RB、TFR、TBR、CおよびLFEのコレクションは、それぞれのチャネルによって表わされるチャネルの諸グループに分割されてもよい。5チャネル・オーディオ信号L,LS,LB,TFL,TBLは三チャネル信号L1,L2,L3によって表わされてもよく、追加的な5チャネル・オーディオ信号R,RS,RB,TFR,TBRは追加的な三チャネル信号R1,R2,R3によって表わされてもよい。チャネルCおよびLFEは、11.1チャネル・オーディオ信号の7.1チャネル表現においても別個のチャネルとして保持されてもよい。
図13は、11.1チャネル・オーディオ信号の7.1チャネル表現を与える第四の符号化フォーマットF4を示している。第四の符号化フォーマットF4では、5チャネル・オーディオ信号L,LS,LB,TFL,TBLはチャネルLのみを含むチャネルの第一のグループ1301、チャネルLS、LBを含むチャネルの第二のグループ1302およびチャネルTFL,TBLを含むチャネルの第三のグループ1303に分割される。三チャネル信号L1、L2、L3のチャネルL1、L2、L3は、チャネルのそれぞれのグループ1301、1302、1303の線形結合(たとえば重み付けされたまたは重み付けされない和)に対応する。同様に、追加的な5チャネル・オーディオ信号R,RS,RB,TFR,TBRはチャネルRを含む追加的な第一のグループ1304、チャネルRS、RBを含む追加的な第二のグループ1305およびチャネルTFR,TBRを含む追加的な第三のグループ1306に分割される。追加的な三チャネル信号R1、R2、R3のチャネルR1、R2、R3は、チャネルのそれぞれの追加的なグループ1304、1305、1306の線形結合(たとえば重み付けされたまたは重み付けされない和)に対応する。
発明者は、第一、第二および第三の符号化フォーマットF1、F2、F3のうちの一つに基づく11.1チャネル・オーディオ信号の5.1チャネル表現に関連付けられたメタデータが、まずもとの11.1チャネル信号を再構成することなく、第四の符号化フォーマットF4に基づく7.1チャネル表現を生成するために用いられうることを認識するに至った。5チャネル信号L、LS、LB、TFL、TBLは11.1チャネル・オーディオ信号の左半平面を表わし、追加的な5チャネル信号R、RS、RB、TFR、TBRは右半平面を表わし、同様に扱われてもよい。
二つのチャネルx4およびx5が式(3)を使って和m2=x4+x5から再構成できることを想起する。
11.1チャネル信号のパラメトリック表現を提供するために第二の符号化フォーマットF2が用いられており、デコーダ側でオーディオ・コンテンツの7.1チャネル・レンダリングのために第四の符号化フォーマットF4が所望される場合、式(1)によって与えられる近似が
x1=TBL、x2=LS、x3=LB
として一度、
x1=TBR、x2=RS、x3=RB
として一度、適用されてもよく、式(3)によって与えられる近似が
x4=L、x5=TFL
として一度、
x4=R、x5=TFR
として一度、適用されてもよい。
左辺の量のいくつか(出力信号の六つのチャネル)の近似であるという性質をチルダで示すと、式(1)および(3)のそのような適用は次式を与える。
Figure 0006686015
ここで、第四の符号化フォーマットF4によれば、
Figure 0006686015
上記の行列Aにおいて、パラメータc1,L、p1,Lおよびc1,R、p1,Rは式(1)からのアップミックス・パラメータc1、p1のそれぞれ左チャネル・バージョンおよび右チャネル・バージョンであり、パラメータd1,L、q1,Lおよびd1,R、q1,Rは式(3)からのアップミックス・パラメータd1、q1のそれぞれ左チャネル・バージョンおよび右チャネル・バージョンであり、Dは脱相関演算子を表わす。よって、第四の符号化フォーマットF4の近似が、11.1チャネル・オーディオ信号を実際に再構成する必要なしに、11.1チャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータ(図1および図2を参照して述べたアップミックス・パラメータαLU、αRU)に基づいて、第二の符号化フォーマットF2から得られてもよい。
図12を参照して述べたデコード部1200の二つのインスタンス(K=3、M=5、二チャネルの脱相関信号D)が、第四の符号化フォーマットF4の三チャネル信号L1、L2、L3およびR1、R2、R3を近似する三チャネル出力信号
Figure 0006686015
を提供してもよい。より具体的には、デコード部1200の混合部1220は、式(10)からの行列Aに基づくアップミックス・パラメータに基づいて混合係数を決定してもよい。図8を参照して述べたオーディオ・デコード・システム800と同様のオーディオ・デコード・システムが、そのような二つのデコード部1200を用いて、11.1オーディオ信号の7.1チャネル表現を、7.1チャネル再生のために提供してもよい。
11.1チャネル信号のパラメトリック表現を提供するために第一の符号化フォーマットF1が用いられており、デコーダ側でオーディオ・コンテンツのレンダリングのために第四の符号化フォーマットF4が所望される場合、式(1)によって与えられる近似が
x1=L、x2=LS、x3=LB
として一度、
x1=R、x2=RS、x3=RB
として一度、適用されてもよい。
左辺の量のいくつか(出力信号の六つのチャネル)の近似であるという性質をチルダで示すと、式(1)のそのような適用は次式を与える。
Figure 0006686015
ここで、第四の符号化フォーマットF4によれば、
Figure 0006686015
上記の式(11)において、パラメータc1,L、p1,Lおよびc1,R、p1,Rは式(1)からのパラメータc1、p1のそれぞれ左チャネル・バージョンおよび右チャネル・バージョンであり、Dは脱相関演算子を表わす。よって、第四の符号化フォーマットF4の近似が、11.1チャネル・オーディオ信号を実際に再構成する必要なしに、11.1チャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータに基づいて、第一の符号化フォーマットF1から得られてもよい。
図12を参照して述べたデコード部1200の二つのインスタンス(K=3、M=5)が、第四の符号化フォーマットF4の三チャネル信号L1、L2、L3およびR1、R2、R3を近似する三チャネル出力信号
Figure 0006686015
を提供してもよい。より具体的には、デコード部の混合部1220は、式(11)に基づくアップミックス・パラメータに基づいて混合係数を決定してもよい。図8を参照して述べたオーディオ・デコード・システム800と同様のオーディオ・デコード・システムが、そのような二つのデコード部1200を用いて、11.1オーディオ信号の7.1チャネル表現を、7.1チャネル再生のために提供してもよい。
式(11)から見て取れるように、実際に必要とされる脱相関されたチャネルは二つだけである。脱相関されたチャネルD(L2)およびD(R2)は第一の符号化フォーマットF1から第四の符号化フォーマットF4を提供するためには必要とされないが、そのような脱相関器はたとえば、いずれにせよ動かしたままにされてもよい(あるいはアクティブなままにされてもよい)。それにより、それらの脱相関器のバッファ/メモリは更新され続け、ダウンミックス信号の符号化フォーマットがたとえば第二の符号化フォーマットF2に変化する場合に利用可能になる。第二の符号化フォーマットF2から第四の符号化フォーマットF4を提供するときには四つの脱相関されたチャネルが用いられることを想起する(式(10)および付随する行列Aを参照)。
11.1チャネル信号のパラメトリック表現を提供するために第三の符号化フォーマットF3が用いられており、デコーダ側でオーディオ・コンテンツのレンダリングのために第四の符号化フォーマットF4が所望される場合、式(10)および(11)において呈示されたのと同様の関係が同じ発想を使って導出されうる。図8を参照して述べたオーディオ・デコード・システム800と同様のオーディオ・デコード・システムが、二つのデコード部1200を用いて、第四の符号化フォーマットF4に従って11.1オーディオ信号の7.1チャネル表現を提供してもよい。
11.1チャネル・オーディオ信号を9.1チャネル(または5.1+4チャネルまたは5.1.4チャネル)オーディオ信号として表現するために、チャネルL、LS、LB、TFL、TBL、R、RS、RB、TFR、TBR、CおよびLFEのコレクションは、それぞれのチャネルによって表わされるチャネルの諸グループに分割されてもよい。5チャネル・オーディオ信号L,LS,LB,TFL,TBLは四チャネル信号L1,L2,L3,L4によって表わされてもよく、追加的な5チャネル・オーディオ信号R,RS,RB,TFR,TBRは追加的な四チャネル信号R1,R2,R3,R4によって表わされてもよい。チャネルCおよびLFEは、11.1チャネル・オーディオ信号の9.1チャネル表現においても別個のチャネルとして保持されてもよい。
図14は、11.1チャネル・オーディオ信号の9.1チャネル表現を与える第五の符号化フォーマットF5を示している。第五の符号化フォーマットF5では、5チャネル・オーディオ信号L,LS,LB,TFL,TBLはチャネルLのみを含むチャネルの第一のグループ1401、チャネルLS、LBを含むチャネルの第二のグループ1402、チャネルTFLのみを含むチャネルの第三のグループ1403およびチャネルTBLのみを含むチャネルの第四のグループ1404に分割される。四チャネル信号L1、L2、L3、L4のチャネルL1、L2、L3、L4は、一つまたは複数のチャネルのそれぞれのグループ1401、1402、1403、1404の線形結合(たとえば重み付けされたまたは重み付けされない和)に対応する。同様に、追加的な5チャネル・オーディオ信号R,RS,RB,TFR,TBRはチャネルRを含む追加的な第一のグループ1405、チャネルRS、RBを含む追加的な第二のグループ1406、チャネルTFRを含む追加的な第三のグループおよびチャネルTBRを含む追加的な第四のグループ1408に分割される。追加的な四チャネル信号R1、R2、R3、R4のチャネルR1、R2、R3、R4は、一つまたは複数のチャネルのそれぞれの追加的なグループ1405、1406、1407、1408の線形結合(たとえば重み付けされたまたは重み付けされない和)に対応する。
発明者は、符号化フォーマットF1、F2、F3のうちの一つに基づく11.1チャネル・オーディオ信号の5.1チャネル表現に関連付けられたメタデータが、まずもとの11.1チャネル信号を再構成することなく、第五の符号化フォーマットF5に基づく9.1チャネル表現を生成するために用いられうることを認識するに至った。5チャネル信号L、LS、LB、TFL、TBLは11.1チャネル・オーディオ信号の左半平面を表わし、追加的な5チャネル信号R、RS、RB、TFR、TBRは右半平面を表わし、同様に扱われてもよい。
11.1チャネル信号のパラメトリック表現を提供するために第二の符号化フォーマットF2が用いられており、デコーダ側でオーディオ・コンテンツのレンダリングのために第五の符号化フォーマットF5が所望される場合、式(1)によって与えられる近似が
x1=TBL、x2=LS、x3=LB
として一度、
x1=TBR、x2=RS、x3=RB
として一度、適用されてもよく、式(3)によって与えられる近似が
x4=L、x5=TFL
として一度、
x4=R、x5=TFR
として一度、適用されてもよい。
左辺の量のいくつか(出力信号の八つのチャネル)の近似であるという性質をチルダで示すと、式(1)および(3)のそのような適用は次式を与える。
Figure 0006686015
Figure 0006686015
ここで、第五の符号化フォーマットF5によれば、
Figure 0006686015
上記の行列Aにおいて、パラメータc1,L、p1,Lおよびc1,R、p1,Rは式(1)からのアップミックス・パラメータc1、p1のそれぞれ左チャネル・バージョンおよび右チャネル・バージョンであり、d1,L、q1,Lおよびd1,R、q1,Rは式(3)からのアップミックス・パラメータd1、q1のそれぞれ左チャネル・バージョンおよび右チャネル・バージョンであり、Dは脱相関演算子を表わす。よって、第五の符号化フォーマットF5の近似が、11.1チャネル・オーディオ信号を実際に再構成する必要なしに、11.1チャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータに基づいて、第二の符号化フォーマットF2から得られてもよい。
図12を参照して述べたデコード部1200の二つのインスタンス(K=4、M=5、二チャネルの脱相関信号D)が、第五の符号化フォーマットF5の四チャネル信号L1、L2、L3、L4およびR1、R2、R3、R4を近似する四チャネル出力信号
Figure 0006686015
を提供してもよい。より具体的には、デコード部の混合部1220は、式(12)に基づくアップミックス・パラメータに基づいて混合係数を決定してもよい。図8を参照して述べたオーディオ・デコード・システム800と同様のオーディオ・デコード・システムが、そのような二つのデコード部1200を用いて、11.1オーディオ信号の9.1チャネル表現を、9.1チャネル再生のために提供してもよい。
11.1チャネル信号のパラメトリック表現を提供するために第一の符号化フォーマットF1または第三の符号化フォーマットF3が用いられており、デコーダ側でオーディオ・コンテンツのレンダリングのために第五の符号化フォーマットF5が所望される場合、式(12)に呈示した関係と同様の関係が同じ発想を使って導出されうる。
図15〜図16は、13.1チャネル(または9.1+4チャネルまたは9.1.4チャネル)・オーディオ信号を、13.1チャネル・オーディオ信号をそれぞれ5.1チャネル・オーディオ信号および7.1チャネル・オーディオ信号として表わすためのチャネルのグループに分割する代替的な仕方を示している。
13.1チャネル・オーディオ信号は、チャネルLW(左ワイド)、LSCRN(左スクリーン)、LS(左側方)、LB(左後方)、TFL(上前方左)、TLB(上後方左)、R(右ワイド)、RSCRN(右スクリーン)、RS(右側方)、RB(右後方)、TFR(上前方右)、TBR(上後方右)、C(中央)およびLFE(低域効果)のチャネルを含む。六つのチャネルLW,LSCRN,LS,LB,TFL,TBLは、13.1チャネル・オーディオ信号の再生環境における左半空間を表わす6チャネル・オーディオ信号を形成する。四つのチャネルLW、LSCRN、LS、LBは再生環境における異なる水平方向を表わし、二つのチャネルTFLおよびTBLは、四つのチャネルLW、LSCRN、LS、LBから垂直に離間された方向を表わす。二つのチャネルTFLおよびTBLはたとえば、天井スピーカーにおける再生のために意図されていてもよい。同様に、六つのチャネルRW,RSCRN,RS,RB,TFR,TBRは、再生環境における右半空間を表わす追加的な6チャネル・オーディオ信号を形成し、四つのチャネルRW、RSCRN、RS、RBは再生環境における異なる水平方向を表わし、二つのチャネルTFRおよびTBRは、四つのチャネルRW、RSCRN、RS、RBから垂直に離間された方向を表わす。
図15は、第六の符号化フォーマットF6を示している。ここでは、6チャネル・オーディオ信号LW,LSCRN,LS,LB,TFL,TBLはチャネルLW,LSCRN,TFLの第一のグループ1501およびチャネルLS、LB、TBLの第二のグループ1502に分割され、追加的な6チャネル・オーディオ信号RW,RSCRN,RS,RB,TFR,TBRはチャネルRW,RSCRN,TFRの追加的な第一のグループ1503およびチャネルRS、RB、TBRの追加的な第二のグループ1504に分割される。二チャネル・ダウンミックス信号L1、L2のチャネルL1、L2は、チャネルのそれぞれのグループ1501、1502の線形結合(たとえば重み付けされたまたは重み付けされない和)に対応する。同様に、追加的な二チャネル信号R1、R2のチャネルR1、R2は、チャネルのそれぞれの追加的なグループ1503、1504の線形結合(たとえば重み付けされたまたは重み付けされない和)に対応する。
図16は、第七の符号化フォーマットF7を示している。ここでは、6チャネル・オーディオ信号LW,LSCRN,LS,LB,TFL,TBLはチャネルLW,LSCRNの第一のグループ1601、チャネルLS、LBの第二のグループ1602およびチャネルTFL、TBLの第三のグループ1503に分割され、追加的な6チャネル・オーディオ信号RW,RSCRN,RS,RB,TFR,TBRはチャネルRW,RSCRNの追加的な第一のグループ1604、チャネルRS、RBの追加的な第二のグループ1605およびチャネルTFR、TBRの追加的な第三のグループ1606に分割される。三つのチャネルL1、L2、L3は、チャネルのそれぞれのグループ1601、1602、1603の線形結合(たとえば重み付けされたまたは重み付けされない和)に対応する。同様に、三つの追加的なチャネルR1、R2、R3は、チャネルのそれぞれの追加的なグループ1604、1605、1606の線形結合(たとえば重み付けされたまたは重み付けされない和)に対応する。
発明者は、第六の符号化フォーマットF6に基づく13.1チャネル・オーディオ信号の5.1チャネル表現に関連付けられたメタデータが、まずもとの13.1チャネル信号を再構成することなく、第七の符号化フォーマットF7に基づく7.1チャネル表現を生成するために用いられうることを認識するに至った。6チャネル信号LW、LSCRN、LS、LB、TFL、TBLは13.1チャネル・オーディオ信号の左半平面を表わし、追加的な6チャネル信号RW、RSCRN、RS、RB、TFR、TBRは右半平面を表わし、同様に扱われてもよい。
二つのチャネルx4およびx5が式(3)を使って和m2=x4+x5から再構成できることを想起する。
13.1チャネル信号のパラメトリック表現を提供するために第六の符号化フォーマットF6が用いられており、デコーダ側でオーディオ・コンテンツの7.1チャネル(または5.1+2チャネルまたは5.1.2チャネル)・レンダリングのために第七の符号化フォーマットF7が所望される場合、式(1)によって与えられる近似が
x1=TBL、x2=LS、x3=LB
として一度、
x1=TBR、x2=RS、x3=RB
として一度、
x1=TFL、x2=LW、x3=LSCRN
として一度、
x1=TFR、x2=RW、x3=RSCRN
として一度、適用されてもよい。
左辺の量のいくつか(出力信号の六つのチャネル)の近似であるという性質をチルダで示すと、式(1)のそのような適用は次式を与える。
Figure 0006686015
ここで、第七の符号化フォーマットF7によれば、
Figure 0006686015
上記の行列Aにおいて、パラメータc1,L、p1,Lおよびc'1,L、p'1,Lは式(1)からのアップミックス・パラメータc1、p1の左側についての二つの異なるインスタンスであり、パラメータc1,R、p1,Rおよびc'1,R、p'1,Rは式(1)からのアップミックス・パラメータc1、p1の右側についての二つの異なるインスタンスであり、Dは脱相関演算子を表わす。よって、第七の符号化フォーマットF7の近似が、13.1チャネル・オーディオ信号を実際に再構成する必要なしに、13.1チャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータに基づいて、第六の符号化フォーマットF6から得られてもよい。
図12を参照して述べたデコード部1200の二つのインスタンス(K=3、M=6、二チャネルの脱相関信号D)が、第六の符号化フォーマットF6に従ってエンコーダ側で生成された二チャネル・ダウンミックス信号に基づいて、第七の符号化フォーマットF7の三チャネル信号L1、L2、L3およびR1、R2、R3を近似する三チャネル出力信号
Figure 0006686015
を提供してもよい。より具体的には、デコード部1200の混合部1220は、式(13)からの行列Aに基づくアップミックス・パラメータに基づいて混合係数を決定してもよい。図8を参照して述べたオーディオ・デコード・システム800と同様のオーディオ・デコード・システムが、そのような二つのデコード部1200を用いて、13.1オーディオ信号の7.1チャネル表現を、7.1チャネル再生のために提供してもよい。
式(10)〜(13)(および付随するそれぞれの行列A)から見て取れるように、出力信号の二つのチャネル(たとえば式(11)におけるチルダ付きのL1、L2のチャネル)が同じ脱相関されたチャネル(たとえば式(11)におけるD(L1))からの寄与を受ける場合、これら二つの寄与は等しい絶対値をもつが符号が反対である(たとえば式(11)では混合係数p1,Lおよび−p1,Lによって示される)。
式(10)〜(13)(および付随するそれぞれの行列A)から見て取れるように、出力信号の二つのチャネル(たとえば式(11)におけるチルダ付きのL1、L2のチャネル)が同じダウンミックス・ャネル(たとえば式(11)におけるチャネルL1)からの寄与を受ける場合、これら二つの寄与を制御する二つの混合係数(たとえば式(11)における混合係数c1,Lおよび1−c1,L)の和は値1をもつ。
図12〜図16を参照して上記したように、デコード部1200は、二チャネル・ダウンミックス信号L1、L2およびアップミックス・パラメータαLUに基づいてKチャネル出力信号
Figure 0006686015
を提供してもよい。アップミックス・パラメータαLUはもとのMチャネル・オーディオ信号のパラメトリック再構成のために適応されていてもよく、デコード部1200の混合部1220は、Mチャネル・オーディオ信号を再構成することなくKチャネル出力信号〔チルダ付きのL1,…,LK〕を提供するためにアップミックス・パラメータαLUに基づいて好適な混合パラメータを計算することができてもよい。
いくつかの例示的実施形態では、デコーダ側でKチャネル出力信号〔チルダ付きのL1,…,LK〕を提供するのを容易にするために、専用の混合パラメータαLMがエンコーダ側から送られてもよい。
たとえば、デコード部1200は、図9を参照して上記したデコード部900と同様に構成されてもよい。
たとえば、デコード部1200は、式(10)〜(13)に示される混合行列のうち一つまたは複数の混合行列の要素(または混合係数)の形で混合パラメータαLMを受領してもよい。そのような例では、デコード部1200は式(10)〜(13)の混合行列の要素のいずれかを計算する必要がなくてもよい。
図1を参照して述べた解析部120(および同様に図2を参照して述べた追加的な解析部203)が、2≦K<Mであるとしてダウンミックス信号L1、L2に基づいてKチャネル出力信号を得るための混合パラメータαLMを決定する例示的実施形態が構想されてもよい。混合パラメータαLMは、たとえば、式(10)〜(13)の混合行列(すなわち、Aで表わされる行列)のうち一つまたは複数の混合行列の要素(または混合係数)の形で提供されてもよい。
混合パラメータαLMの複数の集合がたとえば提供されてもよい。ここで、混合パラメータαLMのそれぞれの集合はデコーダ側での異なる型のレンダリングのために意図される。たとえば、図2を参照して述べたオーディオ・エンコード・システム200は、もとの11.1チャネル・オーディオ信号の5.1ダウンミックス表現が提供され、かつ、混合パラメータαLMの諸集合が(第一、第二および/または第三の符号化フォーマットF1、F2、F3に基づく)5.1チャネル・レンダリングのため、(第四の符号化フォーマットF4に基づく)7.1チャネル・レンダリングのためおよび/または(第五の符号化フォーマットF5に基づく)9.1チャネル・レンダリングのために提供されてもよいビットストリームBを提供してもよい。
図3を参照して述べたオーディオ・エンコード方法300はたとえば、ダウンミックス信号L1、L2に基づいて、Kチャネル出力信号を得るための混合パラメータαLMを決定する340ことを含んでいてもよい。ここで、2≦K<Mである。
図11を参照して述べたコンピュータ可読媒体が:二チャネル・ダウンミックス信号(たとえば図1および図4を参照して述べた二チャネル・ダウンミックス信号L1、L2);ダウンミックス信号に基づくMチャネル・オーディオ信号(たとえば五チャネル・オーディオ信号L、LS、LB、TFL、TBL)のパラメトリック再構成を許容するアップミックス・パラメータ(たとえば図1を参照して述べたアップミックス・パラメータαLU);およびダウンミックス信号に基づくKチャネル出力信号の提供を許容する混合パラメータαLMを表現する。上記のように、M≧4であり、2≦K<Mである。
上記の例はM=5およびM=6チャネルをもつもとのオーディオ信号およびK=2、K=3およびK=4チャネルをもつ出力信号に関して定式化されたが、M≧4、2≦K<Mを満たす任意のMおよびKについて同様のエンコード・システム(およびエンコード部)ならびにデコード・システム(およびデコード部)が構想されてもよいことは理解されるであろう。
〈V.等価物、拡張、代替その他〉
本開示は特定の例示的実施形態を記述し、図示しているが、本発明はそうした特定の例に制約されるものではない。上記の例示的実施形態に対する修正および変形が、付属の請求項によってのみ定義される本発明の範囲から外れることなく、なされることができる。
請求項において、単語「有する/含む」は、他の要素やステップを排除するものではなく、単数形の表現は複数を排除するものではない。ある種の施策が互いに異なる従属請求項において記載されているというだけの事実が、それらの施策の組み合わせが有利に使用できないことを示すものではない。請求項に現われる参照符号があったとしても、その範囲を限定するものと理解されるものではない。
上記で開示された装置および方法は、ソフトウェア、ファームウェア、ハードウェアまたはそれらの組み合わせとして実装されうる。ハードウェア実装では、上記の記述で言及された機能ユニットの間でのタスクの分割は必ずしも物理的なユニットへの分割に対応しない。むしろ、一つの物理的コンポーネントが複数の機能を有していてもよく、一つのタスクが協働するいくつかの物理的コンポーネントによって分散式に実行されてもよい。ある種のコンポーネントまたはすべてのコンポーネントは、デジタル・プロセッサ、信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装されてもよく、あるいはハードウェアとしてまたは特定用途向け集積回路として実装されてもよい。そのようなソフトウェアは、コンピュータ記憶媒体(または非一時的な媒体)および通信媒体(または一時的な媒体)を含みうるコンピュータ可読媒体上で頒布されてもよい。当業者にはよく知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータのような情報の記憶のための任意の方法または技術において実装される揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含む。コンピュータ記憶媒体は、これに限られないが、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)または他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイスまたは、所望される情報を記憶するために使用されることができ、コンピュータによってアクセスされることができる他の任意の媒体を含む。さらに、通信媒体が典型的にはコンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータを、搬送波または他の転送機構のような変調されたデータ信号において具現し、任意の情報送達媒体を含むことは当業者にはよく知られている。
いくつかの態様を記載しておく。
〔態様1〕
オーディオ・デコード方法であって:
二チャネル・ダウンミックス信号を受領する段階であって、前記ダウンミックス信号は、該ダウンミックス信号に基づくMチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータを含むメタデータに関連付けられており、M≧4であり、前記ダウンミックス信号の第一のチャネルは、前記Mチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルの線形結合に対応し、前記ダウンミックス信号の第二のチャネルは、前記Mチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルの線形結合に対応し、前記第一のグループおよび前記第二のグループは、前記Mチャネル・オーディオ信号のM個のチャネルの分割をなす、段階と;
前記メタデータの少なくとも一部を受領する段階と;
前記ダウンミックス信号の少なくとも一つのチャネルに基づいて脱相関信号を生成する段階と;
受領されたメタデータに基づいて一組の混合係数を決定する段階と;
それらの混合係数に基づいて前記ダウンミックス信号および前記脱相関信号の線形結合としてKチャネル出力信号を形成する段階であって、2≦K<Mである、段階とを含み、
前記混合係数は:
前記出力信号のK個のチャネルのそれぞれが前記Mチャネル・オーディオ信号のあるグループの一つまたは複数のチャネルの線形結合を近似し;
前記出力信号のそれぞれのチャネルに対応するグループが前記Mチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルのK個のグループへの分割をなし;
前記K個のグループのうちの少なくとも二つが前記第一のグループからの少なくとも一つのチャネルを含む、ように決定される、
オーディオ・デコード方法。
〔態様2〕
K=2である、態様1記載のオーディオ・デコード方法。
〔態様3〕
K=3またはK=4である、態様1記載のオーディオ・デコード方法。
〔態様4〕
受領されたメタデータが前記アップミックス・パラメータを含を含み、前記混合係数は、前記アップミックス・パラメータを処理することによって決定される、態様1ないし3のうちいずれか一項記載のオーディオ・デコード方法。
〔態様5〕
受領されたメタデータが前記アップミックス・パラメータとは異なる混合パラメータを含む、態様1ないし3のうちいずれか一項記載のオーディオ・デコード方法。
〔態様6〕
前記混合係数が、前記アップミックス・パラメータのいかなる値とも独立して決定される、態様5記載のオーディオ・デコード方法。
〔態様7〕
M=5またはM=6である、態様1ないし6のうちいずれか一項記載のオーディオ・デコード方法。
〔態様8〕
前記Mチャネル・オーディオ信号のあるチャネルからの、そのダウンミックス信号のチャネルが対応する前記線形結合のうちの一線形結合への寄与を制御する各利得が、前記Mチャネル・オーディオ信号のそのチャネルからの、前記出力信号のチャネルによって近似される前記線形結合のうちの一線形結合への寄与を制御する利得と一致する、態様1ないし7のうちいずれか一項記載のオーディオ・デコード方法。
〔態様9〕
前記ダウンミックス信号および前記メタデータを表わすビットストリーム(B)を受領する初期段階をさらに含み、
前記ダウンミックス信号と受領されたメタデータは前記ビットストリームから抽出される、
態様1ないし5のうちいずれか一項記載のオーディオ・デコード方法。
〔態様10〕
前記脱相関信号は単一チャネルの信号であってもよく、前記出力信号は、高々一つの脱相関信号チャネルを、前記ダウンミックス信号および前記脱相関信号の前記線形結合に含めることによって形成される、態様1ないし9のうちいずれか一項記載のオーディオ・デコード方法。
〔態様11〕
K=2であり、前記出力信号を形成することは、三チャネルから二チャネルへの投影に相当する、態様10記載のオーディオ・デコード方法。
〔態様12〕
前記脱相関信号は二チャネル信号であり、前記出力信号は、高々二つの脱相関信号チャネルを前記ダウンミックス信号と前記脱相関信号との線形結合に含めることによって形成される、態様1ないし9のうちいずれか一項記載のオーディオ・デコード方法。
〔態様13〕
K=3であり、前記出力信号を形成することは、四チャネルから三チャネルへの投影に相当する、態様12記載のオーディオ・デコード方法。
〔態様14〕
前記混合係数は、前記出力信号の一対のチャネルが前記脱相関信号のあるチャネルから等しい絶対値の寄与を受け、前記脱相関信号の前記あるチャネルから前記対のそれぞれのチャネルへの寄与は逆符号をもつよう、決定される、態様1ないし13のうちいずれか一項記載のオーディオ・デコード方法。
〔態様15〕
前記混合係数は、前記ダウンミックス信号の第一のチャネルから前記出力信号のあるチャネルへの寄与を制御する混合係数と前記ダウンミックス信号の前記第一のチャネルから前記出力信号の別のチャネルへの寄与を制御する混合係数との和が値1をもつよう決定される、態様1ないし14のうちいずれか一項記載のオーディオ・デコード方法。
〔態様16〕
前記第一のグループが二つまたは三つのチャネルからなる、態様1ないし15のうちいずれか一項記載のオーディオ・デコード方法。
〔態様17〕
前記Mチャネル・オーディオ信号は、前記Mチャネル・オーディオ信号のための再生環境における異なる水平方向を表わす三つのチャネルと、前記再生環境における前記三つのチャネルの方向から垂直に離間した方向を表わす二つのチャネルとを含む、態様1ないし16のうちいずれか一項記載のオーディオ・デコード方法。
〔態様18〕
前記第一のグループは、前記三つのチャネルからなり、前記第二のグループは前記再生環境における前記三つのチャネルの方向から垂直に離間した方向を表わす前記二つのチャネルからなる、態様17記載のオーディオ・デコード方法。
〔態様19〕
K=2であり、前記K個のグループのうちの一つが、前記再生環境における前記三つのチャネルの方向から垂直に離間した方向を表わす前記二つのチャネルの両方を含む、態様18記載のオーディオ・デコード方法。
〔態様20〕
前記再生環境における前記三つのチャネルの方向から垂直に離間した方向を表わす前記二つのチャネルが前記K個のグループのうちの異なるグループに含まれる、態様18記載のオーディオ・デコード方法。
〔態様21〕
前記Mチャネル・オーディオ信号が、前記Mチャネル・オーディオ信号についての再生環境における異なる水平方向を表わす四つのチャネル(LSCRN,LW,LS,LB)と、前記再生環境における前記四つのチャネルの方向から垂直に離間した方向を表わす二つのチャネル(TFL,TBL)とを含む、態様1ないし17のうちいずれか一項記載のオーディオ・デコード方法。
〔態様22〕
前記K個のグループのうちの一つが、前記再生環境における前記三つのチャネルの方向から垂直に離間した方向を表わす前記二つのチャネルの両方を含む、態様17〜18、20〜21のうちいずれか一項記載のオーディオ・デコード方法。
〔態様23〕
前記脱相関信号が、前記ダウンミックス信号のチャネルの線形結合を処理することによって得られる、態様1ないし22のうちいずれか一項記載のオーディオ・デコード方法。
〔態様24〕
前記脱相関信号が、前記ダウンミックス信号のたった一つのチャネルに基づいて得られる、態様1ないし22のうちいずれか一項記載のオーディオ・デコード方法。
〔態様25〕
前記脱相関信号が二つのチャネルを含み、前記脱相関信号の第一のチャネルは前記ダウンミックス信号の前記第一のチャネルに基づいて得られ、前記脱相関信号の第二のチャネルは前記ダウンミックス信号のたった一つのチャネルに基づいて得られる、態様1ないし22のうちいずれか一項記載のオーディオ・デコード方法。
〔態様26〕
前記第一のグループがN個のチャネルからなり、N≧3であり、前記第一のグループは、前記ダウンミックス信号の前記第一のチャネルと(N−1)チャネルの脱相関信号との線形結合として再構成可能であり、該再構成は、ドライ・アップミックス係数を前記ダウンミックス信号の前記第一のチャネルに適用し、ウェット・アップミックス係数を前記(N−1)チャネルの脱相関信号のチャネルに適用することにより、受領されたメタデータは、ドライ・アップミックス・パラメータおよびウェット・アップミックス・パラメータを含み、
前記混合係数の決定は:
前記ドライ・アップミックス・パラメータに基づいて、前記ドライ・アップミックス係数を決定する段階と;
受領されたウェット・アップミックス・パラメータの数より多くの要素をもつ中間行列に値を入れる段階であって、前記受領されたウェット・アップミックス・パラメータおよび該中間行列があらかじめ定義された行列クラスに属することを知ることに基づく、段階と;
前記中間行列にあらかじめ定義された行列を乗算することによって前記ウェット・アップミックス係数を得る段階であって、前記ウェット・アップミックス係数は前記乗算から帰結する行列に対応し、前記中間行列の要素の数より多い係数を含む、段階と;
前記ウェット・アップミックス係数および前記ドライ・アップミックス係数を処理する段階とを含む、
態様1〜4、7〜25のうちいずれか一項記載のオーディオ・デコード方法。
〔態様27〕
前記Mチャネル・オーディオ信号の少なくとも二つの符号化フォーマット(F 1 ,F 2 ,F 3 )のうちの一つを示すシグナルを受領する段階をさらに含み、それらの符号化フォーマットは、前記Mチャネル・オーディオ信号のチャネルの、前記ダウンミックス信号のチャネルに関連付けられたそれぞれ第一および第二のグループへのそれぞれの異なる分割に対応し、
前記K個のグループはあらかじめ定義されており、前記混合係数は、前記Mチャネル・オーディオ信号のチャネルの、前記出力信号のチャネルによって近似される前記K個のグループへの単一の分割が前記少なくとも二つの符号化フォーマットについて維持されるよう決定される、
態様1ないし26のうちいずれか一項記載のオーディオ・デコード方法。
〔態様28〕
K=2であり、当該オーディオ・デコード方法が:
前記シグナルが特定の符号化フォーマット(F 2 )を示すことに応答して、前記ダウンミックス信号を前記出力信号として通過させる段階をさらに含み、前記特定の符号化フォーマットは、前記K個のグループが定義する分割と一致する前記Mチャネル・オーディオ信号のチャネルの分割に対応する、
態様27記載のオーディオ・デコード方法。
〔態様29〕
K=2であり、当該オーディオ・デコード方法が:
前記シグナルがある特定の符号化フォーマットを指示することに応答して、前記脱相関信号からの前記出力信号への寄与を抑制することを含み、前記特定の符号化フォーマットは、前記K個のグループが定義する分割と一致する前記Mチャネル・オーディオ信号のチャネルの分割に対応する、
態様27記載のオーディオ・デコード方法。
〔態様30〕
第一の符号化フォーマット(F 1 )においては、前記第一のグループは、前記Mチャネル・オーディオ信号についての再生環境における異なる水平方向を表わす三つのチャネル(L,LS,LB)からなり、前記第二のグループは、前記再生環境における前記三つのチャネルの方向から垂直に離間した方向を表わす二つのチャネル(TFL,TBL)からなり、
第二の符号化フォーマット(F 2 )では、前記第一のグループおよび前記第二のグループのそれぞれが、前記再生環境における前記三つのチャネルの方向から垂直に離間した方向を表わす前記二つのチャネルの一つを含む、
態様27ないし29のうちいずれか一項記載のオーディオ・デコード方法。
〔態様31〕
デコード部(700、1200)を有するオーディオ・デコード・システム(800)であって、前記デコード部は:
二チャネル・ダウンミックス信号(L 1 ,L 2 )を受領する段階であって、前記ダウンミックス信号は、該ダウンミックス信号に基づくMチャネル・オーディオ信号(L,LS,LB,TFL,TBL)のパラメトリック再構成のためのアップミックス・パラメータ(α LU )を含むメタデータに関連付けられており、M≧4であり、前記ダウンミックス信号の第一のチャネル(L 1 )は、前記Mチャネル・オーディオ信号の第一のグループ(401)の一つまたは複数のチャネルの線形結合に対応し、前記ダウンミックス信号の第二のチャネル(L 2 )は、前記Mチャネル・オーディオ信号の第二のグループ(402)の一つまたは複数のチャネル(TFL,TBL)の線形結合に対応し、前記第一のグループおよび前記第二のグループは、前記Mチャネル・オーディオ信号のM個のチャネルの分割をなす、段階と;
前記メタデータの少なくとも一部を受領する段階と;
前記ダウンミックス信号および受領されたメタデータに基づいてKチャネル出力信号を提供する段階とを実行するよう構成されており、2≦K<Mであり、
前記デコード部は:
前記ダウンミックス信号の少なくとも一つのチャネルを受領し、それに基づいて脱相関信号(D)を出力するよう構成された脱相関部(710、1210)と;
受領されたメタデータに基づいて一組の混合係数を決定し、それらの混合係数に基づく、前記ダウンミックス信号および前記脱相関信号の線形結合として、前記出力信号を形成するよう構成された混合部(720、1220)とを有し、
前記混合部は、前記混合係数を:
前記出力信号のK個のチャネルのそれぞれが前記Mチャネル・オーディオ信号のあるグループの一つまたは複数のチャネルの線形結合を近似し;
前記出力信号のそれぞれのチャネルに対応するグループが前記Mチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルのK個のグループ(501〜502、1301〜1303)への分割をなし;
前記K個のグループのうち少なくとも二つが前記第一のグループからの少なくとも一つのチャネルを含むよう決定するよう構成されている、
オーディオ・デコード・システム。
〔態様32〕
当該オーディオ・デコード・システムはさらに追加的なデコード部(805)を有しており、前記追加的なデコード部は:
追加的な二チャネル・ダウンミックス信号(R 1 ,R 2 )を受領する段階であって、前記追加的なダウンミックス信号は、該追加的なダウンミックス信号に基づく追加的なMチャネル・オーディオ信号(R,RS,RB,TFR,TBR)のパラメトリック再構成のための追加的なアップミックス・パラメータ(α RU )を含む追加的なメタデータに関連付けられており、前記追加的なダウンミックス信号の第一のチャネル(R 1 )は、前記追加的なMチャネル・オーディオ信号の第一のグループ(403)の一つまたは複数のチャネルの線形結合に対応し、前記追加的なダウンミックス信号の第二のチャネル(R 2 )は、前記追加的なMチャネル・オーディオ信号の第二のグループ(404)の一つまたは複数のチャネルの線形結合に対応し、前記追加的なMチャネル・オーディオ信号のチャネルの前記第一のグループおよび前記第二のグループは、前記追加的なMチャネル・オーディオ信号のM個のチャネルの分割をなす、段階と;
前記追加的なメタデータの少なくとも一部を受領する段階と;
前記追加的なダウンミックス信号および追加的な受領されたメタデータに基づいて追加的なKチャネル出力信号を提供する段階とを実行するよう構成されており、
前記追加的なデコード部は、前記追加的なダウンミックス信号の少なくとも一つのチャネルを受領し、それに基づいて追加的な脱相関信号を出力するよう構成された追加的な脱相関部と;
受領された追加的なメタデータに基づいて一組の追加的な混合係数を決定し、それらの追加的な混合係数に基づく、前記追加的なダウンミックス信号および前記追加的な脱相関信号の線形結合として、前記追加的な出力信号を形成するよう構成された追加的な混合部とを有しており、
前記追加的な混合部は、前記追加的な混合係数を:
前記追加的な出力信号のK個のチャネルのそれぞれが前記Mチャネル・オーディオ信号のあるグループの一つまたは複数のチャネルの線形結合を近似し;
前記追加的な出力信号のそれぞれのチャネルに対応するグループが前記追加的なMチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルのK個のグループ(503〜504、1304〜1306)への分割をなし;
前記追加的なMチャネル・オーディオ信号の一つまたは複数のチャネルの前記K個のグループのうち少なくとも二つが前記追加的なMチャネル・オーディオ信号の前記第一のグループのチャネルからの少なくとも一つのチャネルを含む、よう決定するよう構成されている、
態様31記載のオーディオ・デコード・システム。
〔態様33〕
前記ダウンミックス信号、前記受領されたメタデータおよび離散的に符号化されたオーディオ・チャネル(C)をビットストリーム(B)から抽出するよう構成されたデマルチプレクサ(801)と;
前記離散的に符号化されたオーディオ・チャネルをデコードするよう動作可能な単一チャネル・デコード部とをさらに有する、
態様31または32記載のデコード・システム。
〔態様34〕
オーディオ・エンコード方法(300)であって:
M≧4であるとして、Mチャネル・オーディオ信号(L,LS,LB,TFL,TBL)を受領する段階(310)と;
前記Mチャネル・オーディオ信号に基づいて二チャネル・ダウンミックス信号(L 1 ,L 2 )を計算する段階であって、前記ダウンミックス信号の第一のチャネル(L 1 )は、前記Mチャネル・オーディオ信号の第一のグループ(401)の一つまたは複数のチャネルの線形結合として形成され、前記ダウンミックス信号の第二のチャネル(L 2 )は、前記Mチャネル・オーディオ信号の第二のグループ(402)の一つまたは複数のチャネルの線形結合として形成され、前記第一のグループおよび前記第二のグループは、前記Mチャネル・オーディオ信号のM個のチャネルの分割をなす、段階(320)と;
前記ダウンミックス信号からの前記Mチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータ(α LU )を決定する段階(330)と;
Kチャネル出力信号を前記ダウンミックス信号に基づいて得るための混合パラメータを決定する段階であって、2≦K<Mであり、前記出力信号のK個のチャネルのそれぞれが前記Mチャネル・オーディオ信号のあるグループの一つまたは複数のチャネルの線形結合を近似し、前記出力信号のそれぞれのチャネルに対応するグループが前記Mチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルのK個のグループへの分割をなし、前記K個のグループのうち少なくとも二つは前記第一のグループからの少なくとも一つのチャネルを含む、段階(340)と;
前記ダウンミックス信号およびメタデータを、合同での記憶または伝送のために出力する段階であって、前記メタデータは、前記アップミックス・パラメータおよび前記混合パラメータを含む、段階(350)とを含む、
オーディオ・エンコード方法。
〔態様35〕
前記混合パラメータは、前記ダウンミックス信号からおよび脱相関信号から前記出力信号へのそれぞれの寄与を制御するものであり、前記混合パラメータの少なくともいくつかは、前記出力信号のK個のチャネルが一つまたは複数のチャネルのそれぞれK個のグループの一つまたは複数のチャネルの前記線形結合の共分散保存近似になるようにするような混合パラメータの間で、前記脱相関信号からの寄与を最小化することによって、決定される、態様34記載のオーディオ・エンコード方法。
〔態様36〕
前記第一のグループはN個のチャネルからなり、N≧3であり、前記アップミックス・パラメータの少なくともいくつかは、前記ダウンミックス信号の前記第一のチャネルと、前記ダウンミックス信号の前記第一のチャネルに基づいて決定される(N−1)チャネルの脱相関信号とからの、前記第一のグループのチャネルのパラメトリック再構成のために好適であり、前記アップミックス・パラメータを決定することは:
前記第一のグループを近似する前記ダウンミックス信号の前記第一のチャネルの線形マッピングを定義するために、一組のドライ・アップミックス係数を決定する段階と;
受領された前記第一のグループの共分散と前記ダウンミックス信号の前記第一のチャネルの前記線形マッピングによって近似される前記第一のグループのチャネルの共分散との間の差に基づく中間行列を決定する段階であって、前記中間行列は、あらかじめ定義された行列を乗算されたとき、前記第一のグループのパラメトリック再構成の一部として前記脱相関信号の線形マッピングを定義する一組のウェット・アップミックス係数に対応し、前記一組のウェット・アップミックス係数は、前記中間行列の要素の数より多くの係数を含む、段階とを含み、
前記アップミックス・パラメータは、ドライ・アップミックス・パラメータを含み、該ドライ・アップミックス・パラメータから前記一組のドライ・アップミックス係数が導出可能であり、前記アップミックス・パラメータは、ウェット・アップミックス・パラメータを含み、該ウェット・アップミックス・パラメータは、前記中間行列があらかじめ定義された行列クラスに属する限り、前記中間行列を一意的に定義し、前記中間行列は、前記ウェット・アップミックス・パラメータの数より多くの要素をもつ、
態様34または35記載のオーディオ・エンコード方法。
〔態様37〕
少なくとも二つの符号化フォーマット(F 1 ,F 2 ,F 3 )のうちの一つを選択する段階をさらに含み、それらの符号化フォーマットは、前記Mチャネル・オーディオ信号のチャネルの、前記ダウンミックス信号のチャネルに関連付けられたそれぞれ第一および第二のグループへのそれぞれの異なる分割に対応し、
前記ダウンミックス信号の前記第一および第二のチャネルは、選択された符号化フォーマットに基づく、前記Mチャネル・オーディオ信号のそれぞれ一つまたは複数のチャネルの第一および第二のグループの線形結合として形成され、前記アップミックス・パラメータおよび前記混合パラメータは、前記選択された符号化フォーマットに基づいて決定され、
当該方法はさらに:
選択された符号化フォーマットを指示するシグナルを提供することを含む、
態様34ないし36のうちいずれか一項記載のオーディオ・エンコード方法。
〔態様38〕
エンコード部(100)を有するオーディオ・エンコード・システム(200)であって、前記エンコード部は、M≧4であるとして、Mチャネル・オーディオ信号(L,LS,LB,TFL,TBL)を、二チャネル・ダウンミックス信号(L 1 ,L 2 )および関連付けられたメタデータとしてエンコードし、前記ダウンミックス信号およびメタデータを合同した記憶または伝送のために出力するよう構成されており、前記エンコード部は:
前記Mチャネル・オーディオ信号に基づいて前記ダウンミックス信号を計算するよう構成されたダウンミックス部(110)であって、前記ダウンミックス信号の第一のチャネル(L 1 )は、前記Mチャネル・オーディオ信号の第一のグループ(401)の一つまたは複数のチャネルの線形結合として形成され、前記ダウンミックス信号の第二のチャネル(L 2 )は、前記Mチャネル・オーディオ信号の第二のグループ(402)の一つまたは複数のチャネルの線形結合として形成され、前記第一のグループおよび前記第二のグループは、前記Mチャネル・オーディオ信号のM個のチャネルの分割をなす、ダウンミックス部と;
解析部(120)とを有し、前記解析部は:
前記ダウンミックス信号からの前記Mチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータ(α LU )と;
前記ダウンミックス信号に基づいてKチャネル出力信号を得るための混合パラメータ(α LM )とを決定するよう構成されており、2≦K<Mであり、前記出力信号の各チャネルが前記Mチャネル・オーディオ信号のあるグループの一つまたは複数のチャネルの線形結合を近似し、前記出力信号のそれぞれのチャネルに対応するグループは前記Mチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルのK個のグループへの分割をなし、前記K個のグループのうち少なくとも二つは前記第一のグループからの少なくとも一つのチャネルを含み、
前記メタデータは、前記アップミックス・パラメータおよび前記混合パラメータを含む、
オーディオ・エンコード・システム。
〔態様39〕
態様1ないし30および34ないし37のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
〔態様40〕
コンピュータ可読媒体(1100)であって:
二チャネル・ダウンミックス信号(L 1 ,L 2 )と;
前記ダウンミックス信号に基づくMチャネル・オーディオ信号(L,LS,LB,TFL,TBL)のパラメトリック再構成を許容するアップミックス・パラメータ(α LU )であって、M≧4であり、前記ダウンミックス信号の第一のチャネル(L 1 )は、前記Mチャネル・オーディオ信号の第一のグループ(401)の一つまたは複数のチャネルの線形結合に対応し、前記ダウンミックス信号の第二のチャネル(L 2 )は、前記Mチャネル・オーディオ信号の第二のグループ(402)の一つまたは複数のチャネルの線形結合に対応し、前記第一のグループおよび前記第二のグループは、前記Mチャネル・オーディオ信号のM個のチャネルの分割をなす、アップミックス・パラメータと;
前記ダウンミックス信号に基づいてKチャネル出力信号を提供することを許容する混合パラメータ(α LM )であって、2≦K<Mであり、前記出力信号の各チャネルが前記Mチャネル・オーディオ信号のあるグループの一つまたは複数のチャネルの線形結合を近似し、前記出力信号のそれぞれのチャネルに対応するグループが前記Mチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルのK個のグループへの分割をなし、前記K個のグループのうち少なくとも二つは前記第一のグループからの少なくとも一つのチャネルを含む、混合パラメータとを表わす、
コンピュータ可読媒体。
〔態様41〕
前記コンピュータ可読媒体によって表わされるデータが諸時間フレームに配置されており、所与の時間フレームについて、その時間フレームについてのダウンミックス信号および関連付けられた混合パラメータが、関連付けられたアップミックス・パラメータとは独立して抽出されうるように層構成にされている、態様40記載のコンピュータ可読媒体。
〈VI.実施例のリスト〉
〔実施例1〕
オーディオ・デコード方法(1000)であって:
二チャネル・ダウンミックス信号(L1,L2)を受領する段階であって、前記ダウンミックス信号は、該ダウンミックス信号に基づくMチャネル・オーディオ信号(L,LS,LB,TFL,TBL)のパラメトリック再構成のためのアップミックス・パラメータ(αLU)を含むメタデータに関連付けられており、M≧4であり、前記ダウンミックス信号の第一のチャネル(L1)は、前記Mチャネル・オーディオ信号の第一のグループ(401)の一つまたは複数のチャネルの線形結合に対応し、前記ダウンミックス信号の第二のチャネル(L2)は、前記Mチャネル・オーディオ信号の第二のグループ(402)の一つまたは複数のチャネルの線形結合に対応し、前記第一のグループおよび前記第二のグループは、前記Mチャネル・オーディオ信号のM個のチャネルの分割をなす、段階(1010)と;
前記メタデータの少なくとも一部を受領する段階(1020)と;
前記ダウンミックス信号の少なくとも一つのチャネルに基づいて脱相関信号(D)を生成する段階(1040)と;
受領されたメタデータに基づいて一組の混合係数を決定する段階(1050)と;
それらの混合係数に基づいて前記ダウンミックス信号および前記脱相関信号の線形結合として二チャネル出力信号〔チルダ付きのL1,L2〕を形成する段階(1060)とを含み、
前記混合係数は:
前記出力信号の第一のチャネル〔チルダ付きのL1〕が前記Mチャネル・オーディオ信号の第三のグループの一つまたは複数のチャネルの線形結合を近似し;
前記出力信号の第二のチャネル〔チルダ付きのL2〕が前記Mチャネル・オーディオ信号の第四のグループの一つまたは複数のチャネルの線形結合を近似し;
前記第三のグループおよび前記第四のグループが前記Mチャネル・オーディオ信号のM個のチャネルの分割をなし;
前記第三のグループおよび前記第四のグループがいずれも前記第一のグループからの少なくとも一つのチャネルを含む、ように決定される、
オーディオ・デコード方法。
〔実施例2〕
受領されたメタデータが前記アップミックス・パラメータを含を含み、前記混合係数は、前記アップミックス・パラメータを処理することによって決定される、実施例1記載のオーディオ・デコード方法。
〔実施例3〕
受領されたメタデータが前記アップミックス・パラメータとは異なる混合パラメータ(αLM)を含む、実施例1記載のオーディオ・デコード方法。
〔実施例4〕
前記混合係数が、前記アップミックス・パラメータのいかなる値とも独立して決定される、実施例3記載のオーディオ・デコード方法。
〔実施例5〕
M=5である、実施例1ないし4のうちいずれか一項記載のオーディオ・デコード方法。
〔実施例6〕
前記Mチャネル・オーディオ信号のあるチャネルからの、そのダウンミックス信号のチャネルが対応する前記線形結合のうちの一線形結合への寄与を制御する各利得が、前記Mチャネル・オーディオ信号のそのチャネルからの、前記出力信号のチャネルによって近似される前記線形結合のうちの一線形結合への寄与を制御する利得と一致する、実施例1ないし5のうちいずれか一項記載のオーディオ・デコード方法。
〔実施例7〕
前記ダウンミックス信号および前記メタデータを表わすビットストリーム(B)を受領する初期段階をさらに含み、
前記ダウンミックス信号と受領されたメタデータは前記ビットストリームから抽出される、
実施例1ないし6のうちいずれか一項記載のオーディオ・デコード方法。
〔実施例8〕
前記脱相関信号は単一チャネルの信号であってもよく、前記出力信号は、高々一つの脱相関信号チャネルを、前記ダウンミックス信号および前記脱相関信号の前記線形結合に含めることによって形成される、実施例1ないし7のうちいずれか一項記載のオーディオ・デコード方法。
〔実施例9〕
前記混合係数は、前記出力信号の二つのチャネルが前記脱相関信号から等しい絶対値の寄与を受け、前記脱相関信号から前記出力信号のそれぞれのチャネルへの寄与は逆符号をもつよう、決定される、実施例8記載の方法。
〔実施例10〕
前記出力信号を形成することは、三チャネルから二チャネルへの投影に相当する、実施例8または9記載の方法。
〔実施例11〕
前記混合係数は、前記ダウンミックス信号の第一のチャネルから前記出力信号の第一のチャネルへの寄与を制御する混合係数と前記ダウンミックス信号の第一のチャネルから前記出力信号の第二のチャネルへの寄与を制御する混合係数との和が値1をもつよう決定される、実施例1ないし10のうちいずれか一項記載のオーディオ・デコード方法。
〔実施例12〕
前記第一のグループが二つまたは三つのチャネルからなる、実施例1ないし11のうちいずれか一項記載のオーディオ・デコード方法。
〔実施例13〕
前記Mチャネル・オーディオ信号は、前記Mチャネル・オーディオ信号のための再生環境における異なる水平方向を表わす三つのチャネル(L,LS,LB)と、前記再生環境における前記三つのチャネルの方向とは垂直方向に離間した方向を表わす二つのチャネル(TFL,TBL)とを含む、実施例1ないし12のうちいずれか一項記載のオーディオ・デコード方法。
〔実施例14〕
前記第一のグループは、前記三つのチャネルからなり、前記第二のグループは前記二つのチャネルからなる、実施例13記載のオーディオ・デコード方法。
〔実施例15〕
前記第三のグループおよび前記第四のグループのうちの一つが、前記二つのチャネルの両方を含む、実施例14記載のオーディオ・デコード方法。
〔実施例16〕
前記第三のグループおよび前記第四のグループのそれぞれが、前記二つのチャネルの一方を含む、実施例14記載のオーディオ・デコード方法。
〔実施例17〕
前記脱相関信号が、前記ダウンミックス信号のチャネルの線形結合を処理することによって得られる、実施例1ないし16のうちいずれか一項記載のオーディオ・デコード方法。
〔実施例18〕
前記脱相関信号が、前記ダウンミックス信号のたった一つのチャネルに基づいて得られる、実施例1ないし15のうちいずれか一項記載のオーディオ・デコード方法。
〔実施例19〕
前記第一のグループがN個のチャネルからなり、N≧3であり、前記第一のグループは、前記ダウンミックス信号の前記第一のチャネルと(N−1)チャネルの脱相関信号との線形結合として再構成可能であり、該再構成は、ドライ・アップミックス係数を前記ダウンミックス信号の前記第一のチャネルに適用し、ウェット・アップミックス係数を前記(N−1)チャネルの脱相関信号のチャネルに適用することにより、受領されたメタデータは、ドライ・アップミックス・パラメータおよびウェット・アップミックス・パラメータを含み、
前記混合係数の決定は:
前記ドライ・アップミックス・パラメータに基づいて、前記ドライ・アップミックス係数を決定する段階と;
受領されたウェット・アップミックス・パラメータの数より多くの要素をもつ中間行列に値を入れる段階であって、前記受領されたウェット・アップミックス・パラメータおよび該中間行列があらかじめ定義された行列クラスに属することを知ることに基づく、段階と;
前記中間行列にあらかじめ定義された行列を乗算することによって前記ウェット・アップミックス係数を得る段階であって、前記ウェット・アップミックス係数は前記乗算から帰結する行列に対応し、前記中間行列の要素の数より多い係数を含む、段階と;
前記ウェット・アップミックス係数および前記ドライ・アップミックス係数を処理する段階とを含む、
実施例1〜2、5〜18のうちいずれか一項記載のオーディオ・デコード方法。
〔実施例20〕
前記Mチャネル・オーディオ信号の少なくとも二つの符号化フォーマット(F1,F2,F3)のうちの一つを示すシグナルを受領する段階(1030)をさらに含み、それらの符号化フォーマットは、前記Mチャネル・オーディオ信号のチャネルの、前記ダウンミックス信号のチャネルに関連付けられたそれぞれ第一および第二のグループへのそれぞれの異なる分割に対応し、
前記第三のグループおよび前記第四のグループはあらかじめ定義されており、前記混合係数は、前記Mチャネル・オーディオ信号のチャネルの、前記出力信号のチャネルによって近似される前記第三のグループおよび前記第四のグループへの単一の分割が前記少なくとも二つの符号化フォーマットについて維持されるよう決定される、
実施例1ないし19のうちいずれか一項記載のオーディオ・デコード方法。
〔実施例21〕
前記シグナルが特定の符号化フォーマット(F2)を示すことに応答して、前記ダウンミックス信号を前記出力信号として通過させる段階(1070)をさらに含み、前記特定の符号化フォーマットは、前記第三のグループおよび前記第四のグループが定義する分割と一致する前記Mチャネル・オーディオ信号のチャネルの分割に対応する、
実施例20記載のオーディオ・デコード方法。
〔実施例22〕
前記シグナルがある特定の符号化フォーマットを指示することに応答して、前記脱相関信号からの前記出力信号への寄与を抑制することを含み、前記特定の符号化フォーマットは、前記第三のグループおよび前記第四のグループが定義する分割と一致する前記Mチャネル・オーディオ信号のチャネルの分割に対応する、
実施例20記載のオーディオ・デコード方法。
〔実施例23〕
第一の符号化フォーマット(F1)においては、前記第一のグループは、前記Mチャネル・オーディオ信号についての再生環境における異なる水平方向を表わす三つのチャネル(L,LS,LB)からなり、前記第二のグループは、前記再生環境における前記三つのチャネルの方向から垂直に離間した方向を表わす二つのチャネル(TFL,TBL)からなり、
第二の符号化フォーマット(F2)では、前記第一のグループおよび前記第二のグループのそれぞれが前記二つのチャネルの一つを含む、
実施例20ないし22のうちいずれか一項記載のオーディオ・デコード方法。
〔実施例24〕
デコード部(700)を有するオーディオ・デコード・システム(800)であって、前記デコード部は:
二チャネル・ダウンミックス信号(L1,L2)を受領する段階であって、前記ダウンミックス信号は、該ダウンミックス信号に基づくMチャネル・オーディオ信号(L,LS,LB,TFL,TBL)のパラメトリック再構成のためのアップミックス・パラメータ(αLU)を含むメタデータに関連付けられており、M≧4であり、前記ダウンミックス信号の第一のチャネル(L1)は、前記Mチャネル・オーディオ信号の第一のグループ(401)の一つまたは複数のチャネルの線形結合に対応し、前記ダウンミックス信号の第二のチャネル(L2)は、前記Mチャネル・オーディオ信号の第二のグループ(402)の一つまたは複数のチャネル(TFL,TBL)の線形結合に対応し、前記第一のグループおよび前記第二のグループは、前記Mチャネル・オーディオ信号のM個のチャネルの分割をなす、段階と;
前記メタデータの少なくとも一部を受領する段階と;
前記ダウンミックス信号および受領されたメタデータに基づいて二チャネル出力信号〔チルダ付きのL1,L2〕を提供する段階とを実行するよう構成されており、
前記デコード部は:
前記ダウンミックス信号の少なくとも一つのチャネルを受領し、それに基づいて脱相関信号(D)を出力するよう構成された脱相関部(710)と;
受領されたメタデータに基づいて一組の混合係数を決定し、それらの混合係数に基づく、前記ダウンミックス信号および前記脱相関信号の線形結合として、前記出力信号を形成するよう構成された混合部(720)とを有し、
前記混合部は、前記混合係数を:
前記出力信号の第一のチャネル〔チルダ付きのL1〕が前記Mチャネル・オーディオ信号の第三のグループ(501)の一つまたは複数のチャネルの線形結合を近似し;
前記出力信号の第二のチャネル〔チルダ付きのL2〕が前記Mチャネル・オーディオ信号の第四のグループ(502)の一つまたは複数のチャネルの線形結合を近似し;
前記第三のグループおよび前記第四のグループが前記Mチャネル・オーディオ信号のM個のチャネルの分割をなし;
前記第三のグループおよび前記第四のグループがいずれも前記第一のグループからの少なくとも一つのチャネルを含むよう決定するよう構成されている、
オーディオ・デコード・システム。
〔実施例25〕
当該オーディオ・デコード・システムはさらに追加的なデコード部(805)を有しており、前記追加的なデコード部は:
追加的な二チャネル・ダウンミックス信号(R1,R2)を受領する段階であって、前記追加的なダウンミックス信号は、該追加的なダウンミックス信号に基づく追加的なMチャネル・オーディオ信号(R,RS,RB,TFR,TBR)のパラメトリック再構成のための追加的なアップミックス・パラメータ(αRU)を含む追加的なメタデータに関連付けられており、前記追加的なダウンミックス信号の第一のチャネル(R1)は、前記追加的なMチャネル・オーディオ信号の第一のグループ(403)の一つまたは複数のチャネルの線形結合に対応し、前記追加的なダウンミックス信号の第二のチャネル(R2)は、前記追加的なMチャネル・オーディオ信号の第二のグループ(403)の一つまたは複数のチャネルの線形結合に対応し、前記追加的なMチャネル・オーディオ信号のチャネルの前記第一のグループおよび前記第二のグループは、前記追加的なMチャネル・オーディオ信号のM個のチャネルの分割をなす、段階と;
前記追加的なメタデータの少なくとも一部を受領する段階と;
前記追加的なダウンミックス信号および追加的な受領されたメタデータに基づいて追加的な二チャネル出力信号〔チルダ付きのR1,R2〕を提供する段階とを実行するよう構成されており、
前記追加的なデコード部は、前記追加的なダウンミックス信号の少なくとも一つのチャネルを受領し、それに基づいて追加的な脱相関信号を出力するよう構成された追加的な脱相関部と;
受領された追加的なメタデータに基づいて一組の追加的な混合係数を決定し、それらの追加的な混合係数に基づく、前記追加的なダウンミックス信号および前記追加的な脱相関信号の線形結合として、前記追加的な出力信号を形成するよう構成された追加的な混合部とを有しており、
前記追加的な混合部は、前記追加的な混合係数を:
前記追加的な出力信号の第一のチャネル〔チルダ付きのR1〕が前記追加的なMチャネル・オーディオ信号の第三のグループ(503)の一つまたは複数のチャネルの線形結合を近似し;
前記追加的な出力信号の第二のチャネル〔チルダ付きのR2〕が前記追加的なMチャネル・オーディオ信号の第四のグループ(504)の一つまたは複数のチャネルの線形結合を近似し;
前記追加的なMチャネル・オーディオ信号のチャネルの前記第三のグループおよび前記第四のグループが前記追加的なMチャネル・オーディオ信号のM個のチャネルの分割をなし;
前記追加的なMチャネル・オーディオ信号のチャネルの前記第三のグループおよび前記第四のグループがいずれも前記追加的なMチャネル・オーディオ信号の前記第一のグループのチャネルからの少なくとも一つのチャネルを含む、よう決定するよう構成されている、
実施例24記載のオーディオ・デコード・システム。
〔実施例26〕
前記ダウンミックス信号、前記受領されたメタデータおよび離散的に符号化されたオーディオ・チャネル(C)をビットストリーム(B)から抽出するよう構成されたデマルチプレクサ(801)と;
前記離散的に符号化されたオーディオ・チャネルをデコードするよう動作可能な単一チャネル・デコード部とをさらに有する、
実施例24または25記載のデコード・システム。
〔実施例27〕
オーディオ・エンコード方法(300)であって:
M≧4であるとして、Mチャネル・オーディオ信号(L,LS,LB,TFL,TBL)を受領する段階(310)と;
前記Mチャネル・オーディオ信号に基づいて二チャネル・ダウンミックス信号(L1,L2)を計算する段階であって、前記ダウンミックス信号の第一のチャネル(L1)は、前記Mチャネル・オーディオ信号の第一のグループ(401)の一つまたは複数のチャネルの線形結合として形成され、前記ダウンミックス信号の第二のチャネル(L2)は、前記Mチャネル・オーディオ信号の第二のグループ(402)の一つまたは複数のチャネルの線形結合として形成され、前記第一のグループおよび前記第二のグループは、前記Mチャネル・オーディオ信号のM個のチャネルの分割をなす、段階(320)と;
前記ダウンミックス信号からの前記Mチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータ(αLU)を決定する段階(330)と;
二チャネル出力信号〔チルダ付きのL1,L2〕を前記ダウンミックス信号に基づいて得るための混合パラメータを決定する段階であって、前記出力信号の第一のチャネル〔チルダ付きのL1〕が前記Mチャネル・オーディオ信号の第三のグループ(501)の一つまたは複数のチャネルの線形結合を近似し、前記出力信号の第二のチャネル〔チルダ付きのL2〕が前記Mチャネル・オーディオ信号の第四のグループ(502)の一つまたは複数のチャネルの線形結合を近似し、前記第三のグループおよび前記第四のグループは前記Mチャネル・オーディオ信号のM個のチャネルの分割をなし、前記第三のグループおよび前記第四のグループはいずれも前記第一のグループからの少なくとも一つのチャネルを含む、段階(340)と;
前記ダウンミックス信号およびメタデータを、合同での記憶または伝送のために出力する段階であって、前記メタデータは、前記アップミックス・パラメータおよび前記混合パラメータを含む、段階(350)とを含む、
オーディオ・エンコード方法。
〔実施例28〕
前記混合パラメータは、前記ダウンミックス信号からおよび脱相関信号から前記出力信号へのそれぞれの寄与を制御するものであり、前記混合パラメータの少なくともいくつかは、前記出力信号のチャネルがそれぞれ前記第一のグループおよび前記第二のグループのチャネルの前記線形結合の共分散保存近似になるようにするような混合パラメータの間で、前記脱相関信号からの寄与を最小化することによって、決定される、実施例27記載のオーディオ・エンコード方法。
〔実施例29〕
前記第一のグループはN個のチャネルからなり、N≧3であり、前記アップミックス・パラメータの少なくともいくつかは、前記ダウンミックス信号の前記第一のチャネルと、前記ダウンミックス信号の前記第一のチャネルに基づいて決定される(N−1)チャネルの脱相関信号とからの、前記第一のグループのチャネルのパラメトリック再構成のために好適であり、前記アップミックス・パラメータを決定することは:
前記第一のグループを近似する前記ダウンミックス信号の前記第一のチャネルの線形マッピングを定義するために、一組のドライ・アップミックス係数を決定する段階と;
受領された前記第一のグループの共分散と前記ダウンミックス信号の前記第一のチャネルの前記線形マッピングによって近似される前記第一のグループのチャネルの共分散との間の差に基づく中間行列を決定する段階であって、前記中間行列は、あらかじめ定義された行列を乗算されたとき、前記第一のグループのパラメトリック再構成の一部として前記脱相関信号の線形マッピングを定義する一組のウェット・アップミックス係数に対応し、前記一組のウェット・アップミックス係数は、前記中間行列の要素の数より多くの係数を含む、段階とを含み、
前記アップミックス・パラメータは、ドライ・アップミックス・パラメータを含み、該ドライ・アップミックス・パラメータから前記一組のドライ・アップミックス係数が導出可能であり、前記アップミックス・パラメータは、ウェット・アップミックス・パラメータを含み、該ウェット・アップミックス・パラメータは、前記中間行列があらかじめ定義された行列クラスに属する限り、前記中間行列を一意的に定義し、前記中間行列は、前記ウェット・アップミックス・パラメータの数より多くの要素をもつ、
実施例27または28記載のオーディオ・エンコード方法。
〔実施例30〕
少なくとも二つの符号化フォーマット(F1,F2,F3)のうちの一つを選択する段階をさらに含み、それらの符号化フォーマットは、前記Mチャネル・オーディオ信号のチャネルの、前記ダウンミックス信号のチャネルに関連付けられたそれぞれ第一および第二のグループへのそれぞれの異なる分割に対応し、
前記ダウンミックス信号の前記第一および第二のチャネルは、選択された符号化フォーマットに基づく、前記Mチャネル・オーディオ信号のそれぞれ一つまたは複数のチャネルの第一および第二のグループの線形結合として形成され、前記アップミックス・パラメータおよび前記混合パラメータは、前記選択された符号化フォーマットに基づいて決定され、
当該方法はさらに:
選択された符号化フォーマットを指示するシグナルを提供することを含む、
実施例27ないし29のうちいずれか一項記載のオーディオ・エンコード方法。
〔実施例31〕
エンコード部(100)を有するオーディオ・エンコード・システム(200)であって、前記エンコード部は、M≧4であるとして、Mチャネル・オーディオ信号(L,LS,LB,TFL,TBL)を、二チャネル・ダウンミックス信号(L1,L2)および関連付けられたメタデータとしてエンコードし、前記ダウンミックス信号およびメタデータを合同した記憶または伝送のために出力するよう構成されており、前記エンコード部は:
前記Mチャネル・オーディオ信号に基づいて前記ダウンミックス信号を計算するよう構成されたダウンミックス部(110)であって、前記ダウンミックス信号の第一のチャネル(L1)は、前記Mチャネル・オーディオ信号の第一のグループ(401)の一つまたは複数のチャネルの線形結合として形成され、前記ダウンミックス信号の第二のチャネル(L2)は、前記Mチャネル・オーディオ信号の第二のグループ(402)の一つまたは複数のチャネルの線形結合として形成され、前記第一のグループおよび前記第二のグループは、前記Mチャネル・オーディオ信号のM個のチャネルの分割をなす、ダウンミックス部と;
解析部(120)とを有し、前記解析部は:
前記ダウンミックス信号からの前記Mチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータ(αLU)と;
前記ダウンミックス信号に基づいて二チャネル出力信号〔チルダ付きのL1,L2〕を得るための混合パラメータ(αLM)とを決定するよう構成されており、前記出力信号の第一のチャネル〔チルダ付きのL1〕が前記Mチャネル・オーディオ信号の第三のグループ(501)の一つまたは複数のチャネルの線形結合を近似し、前記出力信号の第二のチャネル〔チルダ付きのL2〕が前記Mチャネル・オーディオ信号の第四のグループ(502)の一つまたは複数のチャネルの線形結合を近似し、前記第三のグループおよび前記第四のグループは前記Mチャネル・オーディオ信号のM個のチャネルの分割をなし、前記第三のグループおよび前記第四のグループはいずれも前記第一のグループからの少なくとも一つのチャネルを含み、
前記メタデータは、前記アップミックス・パラメータおよび前記混合パラメータを含む、
オーディオ・エンコード・システム。
〔実施例32〕
実施例1ないし23および27ないし30のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
〔実施例33〕
コンピュータ可読媒体(1100)であって:
二チャネル・ダウンミックス信号(L1,L2)と;
前記ダウンミックス信号に基づくMチャネル・オーディオ信号(L,LS,LB,TFL,TBL)のパラメトリック再構成を許容するアップミックス・パラメータ(αLU)であって、M≧4であり、前記ダウンミックス信号の第一のチャネル(L1)は、前記Mチャネル・オーディオ信号の第一のグループ(401)の一つまたは複数のチャネルの線形結合に対応し、前記ダウンミックス信号の第二のチャネル(L2)は、前記Mチャネル・オーディオ信号の第二のグループ(402)の一つまたは複数のチャネルの線形結合に対応し、前記第一のグループおよび前記第二のグループは、前記Mチャネル・オーディオ信号のM個のチャネルの分割をなす、アップミックス・パラメータと;
前記ダウンミックス信号に基づいて二チャネル出力信号〔チルダ付きのL1,L2〕を提供することを許容する混合パラメータ(αLM)であって、前記出力信号の第一のチャネル〔チルダ付きのL1〕が前記Mチャネル・オーディオ信号の第三のグループ(501)の一つまたは複数のチャネルの線形結合を近似し、前記出力信号の第二のチャネル〔チルダ付きのL2〕が前記Mチャネル・オーディオ信号の第四のグループ(502)の一つまたは複数のチャネルの線形結合を近似し、前記第三のグループおよび前記第四のグループが前記Mチャネル・オーディオ信号のM個のチャネルの分割をなし、前記第三のグループおよび前記第四のグループはいずれも前記第一のグループからの少なくとも一つのチャネルを含む、混合パラメータとを表わす、
コンピュータ可読媒体。
〔実施例34〕
前記データ担体によって表わされるデータが諸時間フレームに配置されており、所与の時間フレームについて、その時間フレームについてのダウンミックス信号および関連付けられた混合パラメータが、関連付けられたアップミックス・パラメータとは独立して抽出されうるように層構成にされている、実施例33記載のコンピュータ可読媒体。

Claims (16)

  1. オーディオ・デコード方法であって:
    二チャネル・ダウンミックス信号を受領する段階であって、前記ダウンミックス信号は、該ダウンミックス信号に基づくMチャネル・オーディオ信号のパラメトリック再構成のためのアップミックス・パラメータを含むメタデータに関連付けられており、M≧4である、段階と;
    前記メタデータの少なくとも一部を受領する段階と;
    前記ダウンミックス信号の少なくとも一つのチャネルに基づいて脱相関信号を生成する段階と;
    受領されたメタデータに基づいて一組の混合係数を決定する段階と;
    それらの混合係数に基づいて前記ダウンミックス信号および前記脱相関信号の線形結合としてKチャネル出力信号を形成する段階であって、2≦K<Mである、段階とを含み、
    前記混合係数は、前記ダウンミックス信号の第一のチャネルから前記出力信号のあるチャネルへの寄与を制御する混合係数と前記ダウンミックス信号の前記第一のチャネルから前記出力信号の別のチャネルへの寄与を制御する混合係数との和が値1をもつよう決定され、
    前記ダウンミックス信号が第一の符号化フォーマット(F1)に従って前記Mチャネル・オーディオ信号を表わし、前記第一の符号化フォーマットでは:
    前記ダウンミックス信号の第一のチャネルは、前記Mチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルのある線形結合に対応し、
    前記ダウンミックス信号の第二のチャネルは、前記Mチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルのある線形結合に対応し、
    前記第一のグループおよび前記第二のグループは、前記Mチャネル・オーディオ信号のM個のチャネルのある分割をなす、場合、
    前記Kチャネル出力信号は第二の符号化フォーマット(F2,F4)に従って前記Mチャネル・オーディオ信号を表わし、前記第二の符号化フォーマットでは:
    前記出力信号のK個のチャネルのそれぞれが前記Mチャネル・オーディオ信号のあるグループの一つまたは複数のチャネルの線形結合を近似し;
    前記出力信号のそれぞれのチャネルに対応するグループが前記Mチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルのK個のグループへの分割をなし;
    前記K個のグループのうちの少なくとも二つが前記第一のグループからの少なくとも一つのチャネルを含む、ように決定される、
    オーディオ・デコード方法。
  2. K=2、K=3またはK=4である、および/またはM=5またはM=6である、請求項1記載のオーディオ・デコード方法。
  3. 受領されたメタデータが前記アップミックス・パラメータを含み、前記混合係数は、前記アップミックス・パラメータを処理することによって決定される、請求項1または2記載のオーディオ・デコード方法。
  4. 前記第一の符号化フォーマットでは、前記Mチャネル・オーディオ信号の各チャネルは、そのチャネルからの、そのダウンミックス信号のチャネルが対応する前記線形結合のうちの一線形結合への寄与を制御する0でない利得と関連付けられており、
    前記第二の符号化フォーマットでは、前記Mチャネル・オーディオ信号の各チャネルは、そのチャネルからの、前記出力信号のチャネルによって近似される前記線形結合のうちの一線形結合への寄与を制御する0でない利得と関連付けられており、
    前記Mチャネル・オーディオ信号の各チャネルについて、前記第一の符号化フォーマットにおいてそのチャネルと関連付けられている0でない利得は、前記第二の符号化フォーマットにおいてそのチャネルと関連付けられている0でない利得と一致する、請求項1ないし3のうちいずれか一項記載のオーディオ・デコード方法。
  5. 前記脱相関信号は二チャネル信号であり、前記出力信号は、高々二つの脱相関信号チャネルを前記ダウンミックス信号と前記脱相関信号との線形結合に含めることによって形成される、請求項1ないし4のうちいずれか一項記載のオーディオ・デコード方法。
  6. K=3であり、前記出力信号を形成することは、四チャネルから三チャネルへの投影に相当する、請求項5記載のオーディオ・デコード方法。
  7. 前記Mチャネル・オーディオ信号は、前記Mチャネル・オーディオ信号のための再生環境における異なる水平方向を表わす三つまたは四つのチャネルと、前記再生環境における前記三つまたは四つのチャネルの方向から垂直に離間した方向を表わす二つのチャネルとを含む、請求項1ないし6のうちいずれか一項記載のオーディオ・デコード方法。
  8. 前記第一のグループは、前記三つのチャネルからなり、前記第二のグループは前記再生環境における前記三つのチャネルの方向から垂直に離間した方向を表わす前記二つのチャネルからなる、請求項7記載のオーディオ・デコード方法。
  9. 前記K個のグループのうちの一つが、前記再生環境における前記三つまたは四つのチャネルの方向から垂直に離間した方向を表わす前記二つのチャネルの両方を含む、請求項7記載のオーディオ・デコード方法。
  10. 前記脱相関信号が二つのチャネルを含み、前記脱相関信号の第一のチャネルは前記ダウンミックス信号の前記第一のチャネルに基づいて得られ、前記脱相関信号の第二のチャネルは前記ダウンミックス信号のたった一つのチャネルに基づいて得られる、請求項1ないし9のうちいずれか一項記載のオーディオ・デコード方法。
  11. 前記Mチャネル・オーディオ信号の少なくとも二つの符号化フォーマット(F1,F2,F3)のうちの一つを示す信号伝達をさらに含み、それらの符号化フォーマットは、前記Mチャネル・オーディオ信号のチャネルの、前記ダウンミックス信号のチャネルに関連付けられたそれぞれ第一および第二のグループへのそれぞれの異なる分割に対応し、
    前記K個のグループはあらかじめ定義されており、前記混合係数は、前記Mチャネル・オーディオ信号のチャネルの、前記出力信号のチャネルによって近似される前記K個のグループへの単一の分割が前記少なくとも二つの符号化フォーマットについて維持されるよう決定される、
    請求項1ないし10のうちいずれか一項記載のオーディオ・デコード方法。
  12. 前記少なくとも二つの符号化フォーマットのうちの第一の符号化フォーマット(F1)においては、前記第一のグループは、前記Mチャネル・オーディオ信号についての再生環境における異なる水平方向を表わす三つのチャネル(L,LS,LB)からなり、前記第二のグループは、前記再生環境における前記三つのチャネルの方向から垂直に離間した方向を表わす二つのチャネル(TFL,TBL)からなり、
    前記少なくとも二つの符号化フォーマットのうちの第二の符号化フォーマット(F2)では、前記第一のグループおよび前記第二のグループのそれぞれが、前記再生環境における前記三つのチャネルの方向から垂直に離間した方向を表わす前記二つのチャネルの一つを含む、
    請求項11記載のオーディオ・デコード方法。
  13. デコード部(700、1200)を有するオーディオ・デコード・システム(800)であって、前記デコード部は:
    二チャネル・ダウンミックス信号(L1,L2)を受領する段階であって、前記ダウンミックス信号は、該ダウンミックス信号に基づくMチャネル・オーディオ信号(L,LS,LB,TFL,TBL)のパラメトリック再構成のためのアップミックス・パラメータ(αLU)を含むメタデータに関連付けられており、M≧4である、段階と;
    前記メタデータの少なくとも一部を受領する段階と;
    前記ダウンミックス信号および受領されたメタデータに基づいてKチャネル出力信号を提供する段階とを実行するよう構成されており、2≦K<Mであり、
    前記デコード部は:
    前記ダウンミックス信号の少なくとも一つのチャネルを受領し、それに基づいて脱相関信号(D)を出力するよう構成された脱相関部(710、1210)と;
    受領されたメタデータに基づいて一組の混合係数を決定し、それらの混合係数に基づく、前記ダウンミックス信号および前記脱相関信号の線形結合として、前記出力信号を形成するよう構成された混合部(720、1220)とを有し、
    前記混合部は、前記混合係数を:
    前記ダウンミックス信号の第一のチャネルから前記出力信号のあるチャネルへの寄与を制御する混合係数と前記ダウンミックス信号の前記第一のチャネルから前記出力信号の別のチャネルへの寄与を制御する混合係数との和が値1をもつよう決定するよう構成されており、
    前記ダウンミックス信号が第一の符号化フォーマット(F1)に従って前記Mチャネル・オーディオ信号を表わし、前記第一の符号化フォーマットでは:
    前記ダウンミックス信号の第一のチャネルは、前記Mチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルのある線形結合に対応し、
    前記ダウンミックス信号の第二のチャネルは、前記Mチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルのある線形結合に対応し、
    前記第一のグループおよび前記第二のグループは、前記Mチャネル・オーディオ信号のM個のチャネルのある分割をなす、場合、
    前記Kチャネル出力信号は第二(F2,F4)の符号化フォーマットに従って前記Mチャネル・オーディオ信号を表わし、前記第二の符号化フォーマットでは:
    前記出力信号のK個のチャネルのそれぞれが前記Mチャネル・オーディオ信号のあるグループの一つまたは複数のチャネルの線形結合を近似し;
    前記出力信号のそれぞれのチャネルに対応するグループが前記Mチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルのK個のグループ(501〜502、1301〜1303)への分割をなし;
    前記K個のグループのうち少なくとも二つが前記第一のグループからの少なくとも一つのチャネルを含む、
    オーディオ・デコード・システム。
  14. 当該オーディオ・デコード・システムはさらに追加的なデコード部(805)を有しており、前記追加的なデコード部は:
    追加的な二チャネル・ダウンミックス信号(R1,R2)を受領する段階であって、前記追加的なダウンミックス信号は、該追加的なダウンミックス信号に基づく追加的なMチャネル・オーディオ信号(R,RS,RB,TFR,TBR)のパラメトリック再構成のための追加的なアップミックス・パラメータ(αRU)を含む追加的なメタデータに関連付けられておいる、段階と;
    前記追加的なメタデータの少なくとも一部を受領する段階と;
    前記追加的なダウンミックス信号および追加的な受領されたメタデータに基づいて追加的なKチャネル出力信号を提供する段階とを実行するよう構成されており、
    前記追加的なデコード部は、前記追加的なダウンミックス信号の少なくとも一つのチャネルを受領し、それに基づいて追加的な脱相関信号を出力するよう構成された追加的な脱相関部と;
    受領された追加的なメタデータに基づいて一組の追加的な混合係数を決定し、それらの追加的な混合係数に基づく、前記追加的なダウンミックス信号および前記追加的な脱相関信号の線形結合として、前記追加的な出力信号を形成するよう構成された追加的な混合部とを有しており、
    前記追加的な混合部は、前記追加的な混合係数を:
    前記追加的なダウンミックス信号の第一のチャネルから前記追加的な出力信号のあるチャネルへの寄与を制御する混合係数と前記追加的なダウンミックス信号の前記第一のチャネルから前記追加的な出力信号の別のチャネルへの寄与を制御する混合係数との和が値1をもつよう決定するよう構成されており、
    前記追加的なダウンミックス信号が第三の符号化フォーマットに従って前記追加的なMチャネル・オーディオ信号を表わし、前記第三の符号化フォーマットでは:
    前記追加的なダウンミックス信号の第一のチャネルは、前記追加的なMチャネル・オーディオ信号の第一のグループの一つまたは複数のチャネルの線形結合に対応し、
    前記追加的なダウンミックス信号の第二のチャネルは、前記追加的なMチャネル・オーディオ信号の第二のグループの一つまたは複数のチャネルの線形結合に対応し、
    前記第一のグループおよび前記第二のグループは、前記追加的なMチャネル・オーディオ信号のM個のチャネルのある分割をなす、場合、
    前記追加的なKチャネル出力信号は第四の符号化フォーマットに従って前記追加的なMチャネル・オーディオ信号を表わし、前記第四の符号化フォーマットでは:
    前記追加的な出力信号のK個のチャネルのそれぞれが前記Mチャネル・オーディオ信号のあるグループの一つまたは複数のチャネルの線形結合を近似し;
    前記追加的な出力信号のそれぞれのチャネルに対応するグループが前記追加的なMチャネル・オーディオ信号のM個のチャネルの、一つまたは複数のチャネルのK個のグループ(503〜504、1304〜1306)への分割をなし;
    前記追加的なMチャネル・オーディオ信号の一つまたは複数のチャネルの前記K個のグループのうち少なくとも二つが前記追加的なMチャネル・オーディオ信号の前記第一のグループのチャネルからの少なくとも一つのチャネルを含む、よう決定するよう構成されている、
    請求項13記載のオーディオ・デコード・システム。
  15. 前記ダウンミックス信号、前記受領されたメタデータおよび離散的に符号化されたオーディオ・チャネル(C)をビットストリーム(B)から抽出するよう構成されたデマルチプレクサ(801)と;
    前記離散的に符号化されたオーディオ・チャネルをデコードするよう動作可能な単一チャネル・デコード部とをさらに有する、
    請求項13または14記載のデコード・システム。
  16. 請求項1ないし12のうちいずれか一項記載の方法をコンピュータに実行させるための命令をもつコンピュータ可読媒体。
JP2017522828A 2014-10-31 2015-10-28 オーディオ信号のパラメトリック混合 Active JP6686015B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462073462P 2014-10-31 2014-10-31
US62/073,462 2014-10-31
US201562167711P 2015-05-28 2015-05-28
US62/167,711 2015-05-28
PCT/EP2015/075022 WO2016066705A1 (en) 2014-10-31 2015-10-28 Parametric mixing of audio signals

Publications (3)

Publication Number Publication Date
JP2017537342A JP2017537342A (ja) 2017-12-14
JP2017537342A5 JP2017537342A5 (ja) 2018-12-06
JP6686015B2 true JP6686015B2 (ja) 2020-04-22

Family

ID=54364338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017522828A Active JP6686015B2 (ja) 2014-10-31 2015-10-28 オーディオ信号のパラメトリック混合

Country Status (39)

Country Link
US (1) US9930465B2 (ja)
EP (1) EP3213322B1 (ja)
JP (1) JP6686015B2 (ja)
KR (1) KR102501969B1 (ja)
CN (1) CN107112020B (ja)
AU (1) AU2015340622B2 (ja)
CA (1) CA2965731C (ja)
CL (1) CL2017001037A1 (ja)
CO (1) CO2017004283A2 (ja)
CY (1) CY1121917T1 (ja)
DK (1) DK3213322T3 (ja)
EA (1) EA034250B1 (ja)
EC (1) ECSP17023702A (ja)
ES (1) ES2732668T3 (ja)
GE (1) GEP20196960B (ja)
GT (1) GT201700088A (ja)
HK (1) HK1243547B (ja)
HR (1) HRP20191107T1 (ja)
HU (1) HUE044368T2 (ja)
IL (1) IL251789B (ja)
LT (1) LT3213322T (ja)
ME (1) ME03453B (ja)
MX (1) MX364405B (ja)
MY (1) MY190174A (ja)
PE (1) PE20170759A1 (ja)
PH (1) PH12017500723A1 (ja)
PL (1) PL3213322T3 (ja)
PT (1) PT3213322T (ja)
RS (1) RS58874B1 (ja)
SA (1) SA517381440B1 (ja)
SG (1) SG11201703263PA (ja)
SI (1) SI3213322T1 (ja)
SV (1) SV2017005431A (ja)
TN (1) TN2017000143A1 (ja)
TW (1) TWI587286B (ja)
UA (1) UA123388C2 (ja)
UY (1) UY36378A (ja)
WO (1) WO2016066705A1 (ja)
ZA (1) ZA201702647B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6640849B2 (ja) * 2014-10-31 2020-02-05 ドルビー・インターナショナル・アーベー マルチチャネル・オーディオ信号のパラメトリック・エンコードおよびデコード
EP3286930B1 (en) 2015-04-21 2020-05-20 Dolby Laboratories Licensing Corporation Spatial audio signal manipulation
BR112021014135A2 (pt) * 2019-01-21 2021-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sinal de áudio codificado, aparelho e método para codificação de uma representação de áudio espacial ou aparelho e método para decodificação de um sinal de áudio codificado
US11523239B2 (en) * 2019-07-22 2022-12-06 Hisense Visual Technology Co., Ltd. Display apparatus and method for processing audio

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720230B2 (en) * 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
US20060106620A1 (en) 2004-10-28 2006-05-18 Thompson Jeffrey K Audio spatial environment down-mixer
SE0402649D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
US7813933B2 (en) 2004-11-22 2010-10-12 Bang & Olufsen A/S Method and apparatus for multichannel upmixing and downmixing
US20060165247A1 (en) 2005-01-24 2006-07-27 Thx, Ltd. Ambient and direct surround sound system
TWI313857B (en) * 2005-04-12 2009-08-21 Coding Tech Ab Apparatus for generating a parameter representation of a multi-channel signal and method for representing multi-channel audio signals
WO2006108543A1 (en) * 2005-04-15 2006-10-19 Coding Technologies Ab Temporal envelope shaping of decorrelated signal
CN102693727B (zh) * 2006-02-03 2015-06-10 韩国电子通信研究院 用于控制音频信号的渲染的方法
US7965848B2 (en) 2006-03-29 2011-06-21 Dolby International Ab Reduced number of channels decoding
EP2054875B1 (en) 2006-10-16 2011-03-23 Dolby Sweden AB Enhanced coding and parameter representation of multichannel downmixed object coding
CA2670864C (en) 2006-12-07 2015-09-29 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8908873B2 (en) 2007-03-21 2014-12-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
KR101312470B1 (ko) * 2007-04-26 2013-09-27 돌비 인터네셔널 에이비 출력 신호 합성 장치 및 방법
MX2010004138A (es) * 2007-10-17 2010-04-30 Ten Forschung Ev Fraunhofer Codificacion de audio usando conversion de estereo a multicanal.
JP5258967B2 (ja) * 2008-07-15 2013-08-07 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
EP2214162A1 (en) 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
EP2214161A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for upmixing a downmix audio signal
EP2249334A1 (en) * 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio format transcoder
EP2489038B1 (en) 2009-11-20 2016-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear combination parameter
US9437198B2 (en) 2012-07-02 2016-09-06 Sony Corporation Decoding device, decoding method, encoding device, encoding method, and program
EP2870603B1 (en) 2012-07-09 2020-09-30 Koninklijke Philips N.V. Encoding and decoding of audio signals
IN2015MN01952A (ja) 2013-02-14 2015-08-28 Dolby Lab Licensing Corp
BR112016008817B1 (pt) 2013-10-21 2022-03-22 Dolby International Ab Método para reconstruir um sinal de áudio de n canais, sistema de decodificação de áudio, método para codificar um sinal de áudio de n canais e sistema de codificação de áudio

Also Published As

Publication number Publication date
IL251789B (en) 2019-07-31
IL251789A0 (en) 2017-06-29
TW201629951A (zh) 2016-08-16
US20170332185A1 (en) 2017-11-16
BR112017007521A2 (pt) 2017-12-19
AU2015340622B2 (en) 2021-04-01
MX364405B (es) 2019-04-24
AU2015340622A1 (en) 2017-04-20
PH12017500723B1 (en) 2017-10-09
KR20170078663A (ko) 2017-07-07
CN107112020A (zh) 2017-08-29
UY36378A (es) 2016-06-01
CY1121917T1 (el) 2020-10-14
US9930465B2 (en) 2018-03-27
EA034250B1 (ru) 2020-01-21
EA201790753A1 (ru) 2017-12-29
CA2965731C (en) 2023-12-05
GEP20196960B (en) 2019-03-25
CL2017001037A1 (es) 2017-12-01
SG11201703263PA (en) 2017-05-30
LT3213322T (lt) 2019-09-25
EP3213322A1 (en) 2017-09-06
ME03453B (me) 2020-01-20
PL3213322T3 (pl) 2019-09-30
ZA201702647B (en) 2018-08-29
SI3213322T1 (sl) 2019-08-30
CA2965731A1 (en) 2016-05-06
SA517381440B1 (ar) 2020-05-23
CN107112020B (zh) 2021-01-22
ECSP17023702A (es) 2018-03-31
TWI587286B (zh) 2017-06-11
EP3213322B1 (en) 2019-04-03
PT3213322T (pt) 2019-07-05
UA123388C2 (uk) 2021-03-31
GT201700088A (es) 2019-08-12
MX2017005409A (es) 2017-06-21
MY190174A (en) 2022-03-31
SV2017005431A (es) 2017-06-07
WO2016066705A1 (en) 2016-05-06
ES2732668T3 (es) 2019-11-25
KR102501969B1 (ko) 2023-02-21
DK3213322T3 (da) 2019-07-15
TN2017000143A1 (en) 2018-10-19
PH12017500723A1 (en) 2017-10-09
HK1243547B (zh) 2019-11-29
JP2017537342A (ja) 2017-12-14
NZ731194A (en) 2020-11-27
HUE044368T2 (hu) 2019-10-28
RS58874B1 (sr) 2019-08-30
CO2017004283A2 (es) 2017-07-19
PE20170759A1 (es) 2017-07-04
HRP20191107T1 (hr) 2019-10-18

Similar Documents

Publication Publication Date Title
US8379868B2 (en) Spatial audio coding based on universal spatial cues
JP5185340B2 (ja) マルチチャネルオーディオ信号を表示するための装置と方法
TWI544479B (zh) 音訊解碼器、音訊編碼器、用以基於已編碼表示型態提供至少四音訊聲道信號的方法、用以基於至少四音訊聲道信號提供已編碼表示型態的方法、及使用頻寬擴展的電腦程式
JP6479786B2 (ja) オーディオ信号のパラメトリック再構成
CN107077861B (zh) 音频编码器和解码器
JP6374980B2 (ja) サラウンドオーディオ信号処理のための装置及び方法
RU2749349C1 (ru) Кодер аудиосцены, декодер аудиосцены и соответствующие способы, использующие пространственный анализ с гибридным кодером/декодером
JP6686015B2 (ja) オーディオ信号のパラメトリック混合
KR20180009337A (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
CN112823534B (zh) 信号处理设备和方法以及程序
JP6201047B2 (ja) オーディオ信号のパラメトリック再構成のための脱相関器構造
KR20220093158A (ko) 방향성 메타데이터를 사용한 멀티채널 오디오 인코딩 및 디코딩
WO2023172865A1 (en) Methods, apparatus and systems for directional audio coding-spatial reconstruction audio processing
NZ731194B2 (en) Parametric mixing of audio signals

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20170427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181023

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200401

R150 Certificate of patent or registration of utility model

Ref document number: 6686015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250