JP6728146B2 - ダイアログ向上のためのデコード方法およびデコーダ - Google Patents

ダイアログ向上のためのデコード方法およびデコーダ Download PDF

Info

Publication number
JP6728146B2
JP6728146B2 JP2017517237A JP2017517237A JP6728146B2 JP 6728146 B2 JP6728146 B2 JP 6728146B2 JP 2017517237 A JP2017517237 A JP 2017517237A JP 2017517237 A JP2017517237 A JP 2017517237A JP 6728146 B2 JP6728146 B2 JP 6728146B2
Authority
JP
Japan
Prior art keywords
dialog
parameter
parameters
subset
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017517237A
Other languages
English (en)
Other versions
JP2017534904A5 (ja
JP2017534904A (ja
Inventor
コッペンス，イェルーン
エクストランド，ペール
Original Assignee
ドルビー・インターナショナル・アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー・インターナショナル・アーベー filed Critical ドルビー・インターナショナル・アーベー
Publication of JP2017534904A publication Critical patent/JP2017534904A/ja
Publication of JP2017534904A5 publication Critical patent/JP2017534904A5/ja
Application granted granted Critical
Publication of JP6728146B2 publication Critical patent/JP6728146B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Telephonic Communication Services (AREA)

Description

本項に開示される発明は概括的にはオーディオ符号化に関する。詳細には、チャネル・ベースのオーディオ・システムにおいてダイアログを向上させるための方法および装置に関する。
ダイアログ向上は、他のオーディオ・コンテンツとの関係でダイアログを向上させることに関する。これはたとえば、聴覚障害者が映画においてダイアログを理解できるようにするために適用されうる。チャネル・ベースのオーディオ・コンテンツについては、ダイアログは典型的にはいくつかのチャネルに存在し、他のオーディオ・コンテンツと混合もされる。よって、ダイアログを向上させることは些細な課題ではない。
デコーダにおいてダイアログ向上を実行するためのいくつかの既知の方法がある。これらの方法のいくつかによれば、フル・チャネル・コンテンツ、すなわちフル・チャネル構成がまずデコードされ、次いで受領されたダイアログ向上パラメータを使ってフル・チャネル・コンテンツに基づくダイアログを予測する。次いで、予測されたダイアログが、関連するチャネルにおいてダイアログを向上させるために使われる。しかしながら、そのようなデコード方法は、フル・チャネル構成をデコードできるデコーダに頼る。
Jeroen Breebaart and Christof Faller、"Spatial Audio Processing: MPEG Surround and Other Applications"、ISBN:978-9-470-03350-0
しかしながら、低計算量デコーダは典型的にはフル・チャネル構成をデコードするようには設計されていない。その代わり、低計算量デコーダは、フル・チャネル構成のダウンミックスされたバージョンを表わす、より少数のチャネルをデコードし、出力することがある。よって、フル・チャネル構成は、低計算量デコーダでは利用可能ではない。ダイアログ向上パラメータはフル・チャネル構成のチャネルに関して（あるいは少なくとも、フル・チャネル構成のチャネルのいくつかに関して）定義されるので、既知のダイアログ向上方法は、低計算量のデコーダによって直接適用されることはできない。特に、ダイアログ向上パラメータが適用されるチャネルがいまだ他のチャネルと混合されていることがありうるため、そうなる。
よって、低計算量デコーダが、フル・チャネル構成をデコードする必要なしにダイアログ向上を適用することを許容する改善のための余地がある。
下記では、例示的実施形態がより詳細に、付属の図面を参照しつつ記述される。
ａは、第一のダウンミックス方式に従って5.1ダウンミックスにダウンミックスされる7.1+4チャネル構成の概略図であり、ｂは、第二のダウンミックス方式に従って5.1ダウンミックスにダウンミックスされる7.1+4チャネル構成の概略図である。 フルにデコードされたチャネル構成に対してダイアログ向上を実行するための従来技術のデコーダの概略図である。 第一のモードに基づくダイアログ向上の概略図である。 第二のモードに基づくダイアログ向上の概略図である。 例示的実施形態に基づくデコーダの概略図である。 例示的実施形態に基づくデコーダの概略図である。 例示的実施形態に基づくデコーダの概略図である。 図２、図５、図６、図７のデコーダのいずれかに対応するエンコーダの概略図である。 二つのサブ動作AおよびBからなる統合処理動作BAを、各サブ動作を制御するパラメータに基づいて計算するための諸方法を示す図である。 すべての図は概略的であり、一般に、本発明を例解するために必要な要素を示すのみである。他の要素は省略されたり、単に示唆されるだけであったりすることがある。
上記に鑑み、フル・チャネル構成をデコードする必要なしにダイアログ向上の適用を許容するデコーダおよび関連する方法を提供することが目的である。
〈I.概観〉
第一の側面によれば、例示的実施形態は、オーディオ・システムのデコーダにおいてダイアログを向上させる方法を提供する。本方法は：
より多くの複数のチャネルのダウンミックスである複数のダウンミックス信号を受領する段階と；
ダイアログを含むチャネルを含む前記複数のチャネルの部分集合に関して定義されている、ダイアログ向上のためのパラメータを受領する段階であって、前記複数のチャネルの前記部分集合は前記複数のダウミックス信号の部分集合にダウンミックスされている、段階と；
前記複数のダウンミックス信号の前記部分集合にダウンミックスされているチャネルのパラメトリック再構成を許容する再構成パラメータを受領する段階と；
ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を再構成するために前記再構成パラメータに基づいてパラメトリックに前記複数のダウンミックス信号の前記部分集合をアップミックスする段階と；
ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合に対して、ダイアログ向上のための前記パラメータを使ってダイアログ向上を適用して、少なくとも一つのダイアログ向上された信号を提供する段階と；
前記少なくとも一つのダイアログ向上された信号に混合を受けさせて、前記複数のダウンミックス信号の前記部分集合のダイアログ向上されたバージョンを提供する段階とを含む。
この構成では、デコーダは、ダイアログ向上を実行するためにフル・チャネル構成を再構成する必要がなく、それにより複雑さが低減される。デコーダは、ダイアログ向上の適用のために必要とされるチャネルを再構成する。これは特に、ダイアログ向上のための受領されたパラメータが定義されている前記複数のチャネルの部分集合を含む。ひとたびダイアログ向上が実行されたら、すなわち少なくとも一つのダイアログ向上された信号が、ダイアログ向上のための前記パラメータおよびこれらのパラメータがそれに関して定義されている前記複数のチャネルの前記部分集合に基づいて決定されたとき、受領されたダウンミックス信号のダイアログ向上されたバージョンが、前記ダイアログ向上された信号（単数または複数）に混合手順を受けさせることによって、決定される。結果として、前記ダウンミックス信号のダイアログ向上されたバージョンが、オーディオ・システムによるその後の再生のために生成される。
例示的実施形態では、アップミックス動作は完全（エンコードされたチャネルのフルセットを再構成する）または部分的（それらのチャネルの部分集合を再構成）でありうる。
本稿での用法では、ダウンミックス信号とは、一つまたは複数の信号／チャネルの組み合わせである信号をいう。
本稿での用法では、パラメトリックにアップミックスするとは、パラメトリック技法によってダウンミックス信号から一つまたは複数の信号／チャネルを再構成することをいう。本稿に開示される例示的実施形態は（不変のまたはあらかじめ定義された方向、角度および／または空間内での位置に関連するオーディオ信号という意味での）チャネル・ベースのコンテンツに制約されず、オブジェクト・ベースのコンテンツにも拡張されることを強調しておく。
例示的実施形態によれば、前記複数のダウンミックス信号の前記部分集合をパラメトリックにアップミックスする段階において、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を再構成するために、脱相関された信号は使われない。
これは、計算量を低減し、同時に、ダウンミックス信号の結果として得られるダイアログ向上されたバージョンの品質（すなわち、出力における品質）を改善する点で、有利である。より詳細には、アップミックスするときに脱相関された信号を使うことによって得られる利点は、ダイアログ向上された信号が受けさせられるその後の混合によって低減される。したがって、脱相関された信号の使用は有利には省略されてもよく、それにより計算量が節約される。実のところ、アップミックスにおける脱相関された信号の使用は、ダイアログ向上と組み合わさって、より悪い品質につながることがある。向上されたダイアログでの脱相関器残響を生じることがあるからである。
例示的実施形態によれば、混合は、前記少なくとも一つのダイアログ向上された信号の、前記複数のダウンミックス信号の前記部分集合のダイアログ向上されたバージョンへの寄与を記述する混合パラメータに従ってなされる。よって、前記複数のダウンミックス信号の前記部分集合のダイアログ向上されたバージョンを提供するためにどのように前記少なくとも一つのダイアログ向上された信号を混合するかを記述するいくつかの混合パラメータがあってもよい。たとえば、混合パラメータは、前記複数のダウンミックス信号の前記部分集合のダイアログ向上されたバージョンを得るために、前記少なくとも一つのダイアログ向上された信号のどのくらいが前記複数のダウンミックスされた信号の前記部分集合中の各ダウンミックス信号に混合されるべきかを記述する重みの形であってもよい。そのような重みはたとえば、前記複数のチャネル、よって対応するダウンミックス信号の部分集合に関連付けられた空間位置との関係で、前記少なくとも一つのダイアログ向上された信号に関連付けられた空間位置を示すレンダリング・パラメータの形であってもよい。他の例によれば、前記混合パラメータは、前記少なくとも一つのダイアログ向上された信号がダウンミックス信号の前記部分集合のダイアログ向上されたバージョンの特定のものに寄与すべきか、たとえば含められるべきか否かを示しうる。たとえば、「1」が、ダウンミックス信号のダイアログ向上されたバージョンの特定のものを形成するときに、ダイアログ向上された信号が含められるべきであることを示してもよく、「0」は含められないべきであることを示してもよい。
前記少なくとも一つのダイアログ向上された信号に混合を受けさせて前記複数のダウンミックス信号の前記部分集合のダイアログ向上されたバージョンを提供する段階において、ダイアログ向上された信号は他の信号／チャネルと混合されてもよい。
例示的実施形態によれば、前記少なくとも一つのダイアログ向上された信号は、アップミックス段階において再構成されるがダイアログ向上を受けていないチャネルと混合される。より詳細には、前記複数のダウンミックス信号の前記部分集合をパラメトリックにアップミックスする段階は、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルのほかに少なくとも一つのさらなるチャネルを再構成することを含んでいてもよく、前記混合は前記少なくとも一つのさらなるチャネルを、前記少なくとも一つのダイアログ向上された信号と混合することを含む。たとえば、前記複数のダウンミックス信号の前記部分集合にダウンミックスされているすべてのチャネルが再構成され、混合に含められてもよい。そのような実施形態では、典型的には、それぞれのダイアログ向上された信号とチャネルとの間の直接的な対応がある。
例示的実施形態によれば、前記少なくとも一つのダイアログ向上された信号は、前記複数のダウンミックス信号の前記部分集合と混合される。より詳細には、前記複数のダウンミックス信号の前記部分集合をパラメトリックにアップミックスする段階は、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合のみを再構成することを含んでいてもよく、ダイアログ向上を適用する段階は、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合からのダイアログ成分を、ダイアログ向上のための前記パラメータを使って予測し、向上させ、それにより前記少なくとも一つのダイアログ向上された信号を提供することを含んでいてもよく、前記混合は、前記少なくとも一つのダイアログ向上された信号を前記複数のダウンミックス信号の前記部分集合と混合することを含んでいてもよい。よって、そのような実施形態は、ダイアログ・コンテンツを予測し、向上させ、それを前記複数のダウンミックス信号の前記部分集合に混合するはたらきをする。
一般に、チャネルは非ダイアログ・コンテンツと混合されているダイアログ・コンテンツを含んでいてもよいことを注意しておく。さらに、あるダイアログに対応するダイアログ・コンテンツはいくつかのチャネルに混合されることがある。ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合からのダイアログ成分を予測するとは、一般に、ダイアログを再構成するために、それらのチャネルからダイアログ・コンテンツが抽出される、すなわち分離され、組み合わされることを意味する。
ダイアログ向上の品質は、ダイアログを表わすオーディオ信号を受領し、使用することによってさらに改善されうる。たとえば、ダイアログを表わすオーディオ信号が低ビットレートで符号化されてもよい。これは別個に聞いたときには十分に耳に聞こえるアーチファクトを引き起こす。しかしながら、パラメトリックなダイアログ向上、すなわちダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合に対して、ダイアログ向上のための前記パラメータを使ってダイアログ向上を適用する段階と一緒に使われると、結果として得られるダイアログ向上が、たとえばオーディオ品質の点で、改善されることがある。より具体的には、本方法はさらに：ダイアログを表わすオーディオ信号を受領する段階を含んでいてもよく、ダイアログ向上を適用する段階は、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合に対して、さらに前記ダイアログを表わすオーディオ信号を使ってダイアログ向上を適用することを含む。
いくつかの実施形態では、混合パラメータはデコーダにおいてすでに利用可能であってもよい。たとえば、ハードコードされていてもよい。これは、前記少なくとも一つのダイアログ向上された信号が常に同じ仕方で混合される場合、たとえば常に同じ再構成されたチャネルと混合される場合に、そうである。他の実施形態では、本方法は、前記少なくとも一つのダイアログ向上された信号に混合を受けさせる段階のための混合パラメータを受領することを含んでいてもよい。たとえば、前記混合パラメータは、前記ダイアログ向上パラメータの一部をなしていてもよい。
例示的実施形態によれば、本方法は、前記複数のチャネルのそれぞれがどのダウンミックス信号に混合されるかを記述するダウンミックス方式を記述する混合パラメータを受領することを含む。たとえば、それぞれのダイアログ向上された信号がチャネルに対応し、該チャネルが他の再構成されたチャネルと混合される場合、混合は、各チャネルが正しいダウンミックス信号に混合されるよう、前記ダウンミックス方式に従って実行される。
前記ダウンミックス方式は時間とともに変化してもよい。すなわち、動的であってもよい。それにより、システムの柔軟性が増す。
本方法はさらに、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を同定するデータを受領することを含んでいてもよい。たとえば、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を同定するデータは、ダイアログ向上のための前記パラメータに含まれていてもよい。このようにして、どのチャネルに関してダイアログ向上が実行されるべきかがデコーダに信号伝達されうる。あるいはまた、そのような情報はデコーダにおいて、たとえばハードコードされて、利用可能であってもよい。つまり、ダイアログ向上のための前記パラメータは常に同じチャネルに関して定義される。特に、本方法はさらに、ダイアログ向上された信号のうちのどの信号が混合を受けさせられるかを示す情報を受領することを含んでいてもよい。たとえば、この変形に基づく方法は、特定のモードで動作するデコード・システムにおいて実行されてもよい。ここで、ダイアログ向上された信号は、ダイアログ向上された信号を提供するために使われたダウンミックス信号のフルに同一の集合に混合し戻されない。この仕方では、混合動作は実際上、前記複数のダウンミックス信号の前記部分集合の完全でないセレクション（一つまたは複数の信号）に制約されうる。他のダイアログ向上された信号は、フォーマット変換を受けたダウンミックス信号のような、やや異なるダウンミックス信号に加えられる。ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を同定するデータと、ダウンミックス方式とがわかれば、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合がダウンミックスされる先の前記複数のダウンミックス信号の前記部分集合を見出すことが可能である。より詳細には、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を同定するデータが、ダウンミックス方式と一緒に、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合がダウンミックスされる先の前記複数のダウンミックス信号の前記部分集合を見出すために使われてもよい。
前記複数のダウンミックス信号の前記部分集合をアップミックスする段階、ダイアログ向上を適用する段階および混合する段階は、それぞれ再構成パラメータ、ダイアログ向上のためのパラメータおよび混合パラメータによって定義される行列演算として実行されてもよい。これは、本方法が行列乗算を実行することによって効率的に実装されうるという点で有利である。
さらに、本方法は、前記複数のダウンミックス信号の前記部分集合をアップミックスする段階、ダイアログ向上を適用する段階および混合する段階に対応する行列演算を、前記複数のダウンミックス信号の前記部分集合への適用前に、行列乗算によって単一の行列演算に組み合わせることを含んでいてもよい。こうして、異なる行列演算が単一の行列演算に組み合わされうる。これによりさらに効率を改善し、本方法の計算量を低減させる。
ダイアログ向上パラメータおよび／または再構成パラメータは周波数依存であってもよく、それによりそれらのパラメータが異なる周波数帯域の間で異なることを許容する。このようにして、ダイアログ向上および再構成は、異なる周波数帯域において最適化されうる。それにより出力オーディオの品質が改善される。
より詳細には、ダイアログ向上のための前記パラメータは、第一の集合の周波数帯域に関して定義されてもよく、前記再構成パラメータは第二の集合の周波数帯域に関して定義されてもよい。周波数帯域の前記第二の集合は周波数帯域の前記第一の集合とは異なる。これは、たとえば再構成のプロセスがダイアログ向上のプロセスより高い周波数分解能でパラメータを必要とするときおよび／またはたとえばダイアログ向上のプロセスが再構成のプロセスより小さな帯域幅で実行されるときに、ダイアログ向上のための前記パラメータおよび前記再構成パラメータをビットストリームにおいて伝送するためのビットレートを低減することにおいて有利でありうる。
例示的実施形態によれば、ダイアログ向上のためのパラメータの（好ましくは離散的な）値は繰り返し受領され、それぞれの値が厳密に適用される時点の第一の集合に関連付けられてもよい。本開示では、値がある時点で「厳密に」適用されるまたは知られている旨の陳述は、値が、典型的にはその値が適用される時点の明示的または暗黙的な指示と一緒に、デコーダによって受領されたことを意味する。対照的に、ある時点について補間または予測されている値は、この意味でその時点において「厳密に」適用されるのではなく、デコーダ側の推定値である。「厳密に」というのは、その値がオーディオ信号の厳密な再構成を達成することを含意するものではない。集合内の連続する時点の間では、あらかじめ定義された第一の補間パターンが規定されてもよい。パラメータの値が知られている前記集合中の二つの境となる時点の間に位置する時点におけるパラメータの近似値をどのようにして推定するかを定義する補間パターンは、たとえば、線形または区分一定補間であることができる。予測時点が境となる時点の一方からある距離離れて位置している場合には、線形補間パターンは、予測時点におけるパラメータの値が前記距離に線形に依存するという想定に基づく。一方、区分一定補間パターンは、それぞれの知られている値と次の値との間でパラメータの値が変わらないことを保証する。所与の予測時点におけるパラメータの値を推定するために、他の可能な補間パターンがあることがありうる。たとえば、二次以上の多項式、スプライン、有理関数、ガウス過程、三角多項式、ウェーブレットまたはそれらの組み合わせを使うパターンが含まれる。時点の集合は、明示的に伝達されたり記述されたりするのでなくてもよく、補間パターン、たとえば線形補間区間の始点または終点から推定されてもよい。始点および終点は、暗黙的に、オーディオ処理アルゴリズムのフレーム境界に固定されていてもよい。再構成パラメータは同様の仕方で受領されてもよい：再構成パラメータの（好ましくは離散的な）値は時点の第二の集合に関連付けられてもよく、連続する時点の間では第二の補間パターンが実行されてもよい。
本方法はさらに、ダイアログ向上のためのパラメータまたは再構成パラメータであるパラメータ型を選択することを含んでいてもよい。それは、選択された型に関連付けられた時点の集合が、選択されなかった型に関連付けられた集合に存在しない時点である少なくとも一つの予測時点を含むような仕方であってもよい。たとえば、再構成パラメータが関連付けられている時点の集合が、ダイアログ向上のためのパラメータが関連付けられている時点の集合には存在しないある時点を含む場合、選択された型のパラメータが再構成パラメータであり、選択されなかった型のパラメータがダイアログ向上のためのパラメータであれば、前記ある時点は予測時点となる。同様に、別の状況においては、予測時点は、ダイアログ向上のためのパラメータが関連付けられている時点の集合において見出されてもよく、選択された型と選択されなかった型は入れ替えられる。好ましくは、選択されたパラメータ型は、関連付けられたパラメータ値をもつ時点の最高の密度をもつ型である。所与の使用事例において、これは必要な予測動作の総量を減らしうる。
予測時点における選択されなかった型のパラメータの値が予測されてもよい。該予測は、補間または外挿といった好適な予測方法を使って、それらのパラメータ型についてのあらかじめ定義された補間パターンに鑑みて、実行されてもよい。
本方法は、少なくとも選択されなかった型のパラメータの予測された値および選択された型のパラメータの受領された値に基づいて、予測時点におけるダウンミックス信号の前記部分集合のアップミックスおよびそれに続くダイアログ向上を少なくとも表わす統合処理動作を計算する段階を含んでいてもよい。再構成パラメータおよびダイアログ向上のためのパラメータの値に加えて、前記計算は、他の値、たとえば混合のためのパラメータ値に基づいていてもよく、前記統合処理動作は、ダイアログ向上された信号をダウンミックス信号に混合し戻す段階を表わしていてもよい。
本方法は、少なくとも（受領されたまたは予測された）選択された型のパラメータの値および少なくとも（受領されたまたは予測された）選択されなかった型のパラメータの値（それらの値の少なくともいずれかが受領された値）に基づいて、前記選択された型または選択されなかった型に関連付けられた集合における隣接する時点における前記統合処理動作を計算する段階を含んでいてもよい。隣接する時点は、前記予測時点より早くても遅くてもよく、隣接する時点が距離に関して最も近い近傍者であることを要求することは必須ではない。
本方法において、前記複数のダウンミックス信号の前記部分集合をアップミックスする段階およびダイアログ向上を適用する段階は、予測時点と隣接する時点との間で、計算された統合処理動作の補間された値によって実行されてもよい。計算された統合処理動作を補間することによって、低減された計算量が達成されうる。両方のパラメータ型を別個に補間しないことにより、また各補間点において積（すなわち、統合処理動作）を形成しないことにより、知覚される聴取品質の点で等しく有用な結果を達成するために必要とされる数学的加算および乗算演算の数がより少なくなりうる。
さらなる例示的実施形態によれば、前記隣接する時点における統合処理動作は、選択された型のパラメータの受領された値および選択されなかった型のパラメータの予測された値に基づいて計算されてもよい。逆の状況も可能であり、前記隣接する時点における統合処理動作が、選択された型のパラメータの予測された値および選択されなかった型のパラメータの受領された値に基づいて計算されてもよい。同じパラメータ型の値が予測時点においては受領された値であり、隣接する時点においては予測された値である状況は、たとえば、選択されたパラメータ型が関連付けられている時点が、選択されたなかったパラメータ型が関連付けられている集合における時点と時点の間に厳格に位置する場合に起こりうる。
例示的実施形態によれば、隣接する時点における統合処理動作は、選択されたパラメータ型のパラメータの受領された値および選択されなかったパラメータ型のパラメータの受領された値に基づいて計算されてもよい。そのような状況は、たとえば、両方の型のパラメータの厳密な値がフレーム境界について受領されるが、――選択された型については――境界の間の中間の時点についても受領される場合に起こりうる。すると、隣接する時点は、フレーム境界に関連付けられた時点であり、予測時点はフレーム境界の間の中間に位置される。
さらなる例示的実施形態によれば、本方法はさらに、第一および第二の補間パターンに基づいて、あらかじめ定義された選択規則に従って統合補間パターンを選択することを含んでいてもよい。ここで、計算されたそれぞれの統合処理動作の補間は統合補間パターンに基づく。あらかじめ定義された選択規則は、第一および第二の補間パターンが等しい場合について定義されていてもよく、第一および第二の補間パターンが異なる場合についても定義されていてもよい。例として、第一の補間パターンが線形であり（そして好ましくはパラメータとダイアログ向上動作の定量的属性との間に線形関係があり）、第二の補間パターンが区分一定である場合には、統合補間パターンは線形であるよう選択されてもよい。
例示的実施形態によれば、予測時点における選択されなかった型のパラメータの値の予測は、選択されなかった型のパラメータについての補間パターンに従ってなされる。これは、予測時点に隣接する、選択されなかった型に関連付けられた集合中の時点において、選択されたなかった型のパラメータの厳密な値を使うことを含みうる。
例示的実施形態によれば、統合処理動作は単一の行列演算として計算され、次いで前記複数のダウンミックス信号の前記部分集合に適用される。好ましくは、アップミックスする段階およびダイアログ向上を適用する段階は、再構成パラメータおよびダイアログ向上のためのパラメータによって定義される行列演算として実行される。統合補間パターンとして、線形補間パターンが選択されてもよく、計算されたそれぞれの統合処理動作の補間された値は線形行列補間によって計算されてもよい。計算量を減らすため、補間は、予測時点と隣接する時点との間で変化する行列要素に制約されてもよい。
例示的実施形態によれば、受領されたダウンミックス信号は時間フレームにセグメント分割されていてもよく、本方法は、定常状態動作では、各時間フレームにおける時点において厳密に適用されるそれぞれのパラメータ型の少なくとも一つの値を受領する段階を含んでいてもよい。本稿での用法では、「定常状態」は、たとえば楽曲の最初および最後の部分の存在を含まない動作およびフレーム細分を必要とする内部過渡成分を含まない動作をいう。
第二の側面によれば、第一の側面の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクトが提供される。コンピュータ可読媒体は非一時的コンピュータ可読媒体またはデバイスであってもよい。
第三の側面によれば、オーディオ・システムにおいてダイアログを向上させるためのデコーダであって；
より多くの複数のチャネルのダウンミックスである複数のダウンミックス信号、
ダイアログ向上のためのパラメータであって、前記パラメータは、ダイアログを含むチャネルを含む前記複数のチャネルの部分集合に関して定義されており、前記複数のチャネルの前記部分集合は前記複数のダウンミックス信号の部分集合にダウンミックスされる、パラメータ、および
前記複数のダウンミックス信号の前記部分集合にダウンミックスされているチャネルのパラメトリック再構成を許容する再構成パラメータを受領するよう構成された受領コンポーネントと；
ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を再構成するために、前記複数のダウンミックス信号の前記部分集合を、前記再構成パラメータに基づいてパラメトリックにアップミックスするよう構成されたアップミックス・コンポーネントと；
ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合に対して、ダイアログ向上のための前記パラメータを使ってダイアログ向上を適用して、少なくとも一つのダイアログ向上された信号を提供するよう構成されたダイアログ向上コンポーネントと；
前記少なくとも一つのダイアログ向上された信号に混合を受けさせて、前記複数のダウンミックス信号の前記部分集合のダイアログ向上されたバージョンを提供するよう構成された混合コンポーネントとを有する、
デコーダが提供される。
一般に、第二の側面および第三の側面は第一の側面と同じ特徴および利点を有することがある。
〈II.例示的実施形態〉
図１のａおよびｂは、三つの前方チャネルL、C、R、二つのサラウンド・チャネルLS、RS、二つの後方チャネルLB、RB、四つの高位チャネルTFL、TFR、TBL、TBRおよび低域効果チャネルLFEをもつ（7.1+4スピーカー構成に対応する）7.1+4チャネル構成を概略的に示している。7.1+4チャネル構成をエンコードするプロセスにおいて、チャネルは典型的にはダウンミックスされる、すなわちダウンミックス信号と称されるより少数の信号に組み合わされる。ダウンミックス・プロセスにおいては、チャネルは種々の仕方で組み合わされて種々のダウンミックス構成を形成しうる。図１のａは、ダウンミックス信号l,c,r,ls,rs,lfeをもつ第一の5.1ダウンミックス構成１００ａを示している。図の円はどのチャネルがどのダウンミックス信号にダウンミックスされているかを示す。図１のｂは、ダウンミックス信号l,c,r,tl,tr,lfeをもつ第二の5.1ダウンミックス構成１００ｂを示している。第二の5.1ダウンミックス構成１００ｂは第一の5.1ダウンミックス構成１００ａとは、チャネルが異なる仕方で組み合わされているという意味で異なっている。たとえば、第一のダウンミックス構成１００ａでは、LおよびTFLチャネルはlダウンミックス信号にダウンミックスされるのに対し、第二のダウンミックス構成１００ｂではL、LS、LBチャネルがlダウンミックス信号にダウンミックスされる。ダウンミックス構成は本稿では時に、どのチャネルがどのダウンミックス信号にダウンミックスされるかを記述するダウンミックス方式と称される。ダウンミックス構成またはダウンミックス方式は、オーディオ符号化システムの時間フレームの間で変わりうるという意味で動的であってもよい。たとえば、いくつかの時間フレームでは第一のダウンミックス方式１００ａが使われてもよく、他の時間フレームでは第二のダウンミックス方式１００ｂが使われてもよい。ダウンミックス方式が動的に変動する場合には、エンコーダは、チャネルをエンコードするときにどのダウンミックス方式が使われたかを示すデータをデコーダに送ってもよい。
図２は、ダイアログ向上のための従来技術のデコーダ２００を示している。デコーダは、受領コンポーネント２０２、アップミックスまたは再構成コンポーネント２０４およびダイアログ向上（DE: dialog enhancement）コンポーネント２０６の三つの主成分を有する。デコーダ２００は、複数のダウンミックス信号２１２を受領し、受領されたダウンミックス信号２１２に基づいてフル・チャネル構成２１８を再構成し、フル・チャネル構成２１８またはその少なくとも部分集合に関してダイアログ向上を実行し、ダイアログ向上されたチャネル２２０のフル構成を出力する型のものである。
より詳細には、受領コンポーネント２０２は、エンコーダからデータ・ストリーム２１０（時にビットストリームと称される）を受領するよう構成されている。データ・ストリーム２１０は異なる型のデータを含んでいてもよく、受領コンポーネント２０２は受領されたデータ・ストリーム２１０を異なる型のデータにデコードしてもよい。この場合、データ・ストリームは複数のダウンミックス信号２１２、再構成パラメータ２１４およびダイアログ向上のためのパラメータ２１６を含む。
次いでアップミックス・コンポーネント２０４は、前記複数のダウンミックス信号２１２および再構成パラメータ２１４に基づいてフル・チャネル構成を再構成する。換言すれば、アップミックス・コンポーネント２０４は、ダウンミックス信号２１２にダウンミックスされたすべてのチャネル２１８を再構成する。たとえば、アップミックス・コンポーネント２０４は、フル・チャネル構成を、再構成パラメータ２１４に基づいてパラメトリックに再構成してもよい。
図示した例では、ダウンミックス信号２１２は図１のａおよびｂの5.1ダウンミックス構成のうちの一つの5.1ダウンミックス構成のダウンミックス信号に対応し、チャネル２１８は図１のａおよびｂの7.1+4チャネル構成のチャネルに対応する。しかしながら、デコーダ２００の原理はもちろん、他のチャネル構成／ダウンミックス構成にも当てはまる。
再構成されたチャネル２１８または再構成されたチャネル２１８の少なくとも部分集合は、次いで、ダイアログ向上コンポーネント２０６によるダイアログ向上を受ける。たとえば、ダイアログ向上コンポーネント２０６は、ダイアログ向上されたチャネルを出力するために、再構成されたチャネル２１８または再構成されたチャネル２１８の少なくとも部分集合に対して行列演算を実行してもよい。そのような行列演算は典型的には、ダイアログ向上パラメータ２１６によって定義される。
例として、ダイアログ向上コンポーネント２０６は、ダイアログ向上されたチャネルCDE、LDE、RDEを提供するために、チャネルC、L、Rにダイアログ向上を受けさせてもよい。一方、他のチャネルは、図２において破線で示されているように、単に素通しにされる。そのような状況においては、ダイアログ向上パラメータは単に、C、L、Rチャネルに関して、すなわち前記複数のチャネル２１８の部分集合に関して定義される。たとえば、ダイアログ向上パラメータ２１６は、C、L、Rのチャネルに適用されうる3×3行列を定義してもよい。
Figure 0006728146
 あるいはまた、ダイアログ向上に関わらないチャネルが、対応する対角位置に1をもち対応する行および列における他のすべての要素では0をもつダイアログ向上行列によって素通しにされてもよい。
Figure 0006728146
 ダイアログ向上コンポーネント２０６は、種々のモードに従ってダイアログ向上を実行しうる。本稿でチャネル独立パラメトリック向上と称される第一のモードが図３に示されている。ダイアログ向上は再構成されたチャネル２１８の少なくとも部分集合、典型的にはダイアログを含むチャネル、ここでチャネルL、R、Cに関して実行される。ダイアログ向上のためのパラメータ２１６は、向上されるべき各チャネルについてパラメータ集合を含む。図示した例では、パラメータ集合は、それぞれチャネルL、R、Cに対応するパラメータp1、p2、p3によって与えられている。原理的には、このモードにおいて伝送されるパラメータは、チャネル中のある時間‐周波数タイルについて、混合エネルギーへのダイアログの相対寄与を表わす。さらに、ダイアログ向上プロセスに関わる利得因子gがある。利得因子gは
g＝10G/20−1
と表わされてもよい。ここで、GはdBで表わしたダイアログ向上利得である。ダイアログ向上利得Gはたとえばユーザーによって入力されてもよく、よって典型的には図２のデータ・ストリーム２１０に含まれない。
チャネル独立パラメトリック向上モードでは、ダイアログ向上コンポーネント２０６は、各チャネルに、その対応するパラメータpiおよび利得因子gを乗算し、次いでその結果をそのチャネルに加え、それによりダイアログ向上されたチャネル２２０、ここではLDE、DDE、CDEを生じる。行列記法を使うと、これは次のように書ける：
Xe＝（I＋diag(p)・g）・X
ここで、Xはチャネル２１８（L、R、C）を行としてもつ行列であり、Xeはダイアログ向上されたチャネル２２０を行としてもつ行列であり、pは各チャネルについてのダイアログ向上パラメータp1、p2、p3に対応するエントリーをもつ行ベクトルであり、dial(p)はpのエントリーを対角線上にもつ対角行列である。
本稿でマルチチャネル・ダイアログ予測と称される第二のダイアログ向上モードが図４に示されている。このモードでは、ダイアログ向上コンポーネント２０６は複数のチャネル２１８を線形結合において組み合わせてダイアログ信号４１９を予測する。複数のチャネルにおけるダイアログの存在のコヒーレントな追加とは別に、この手法は、ダイアログを含むチャネルにおける背景ノイズを、ダイアログのない別のチャネルを使って引き去ることから裨益しうる。この目的のために、ダイアログ向上パラメータ２１６は、線形結合を形成するときに対応するチャネルの係数を定義する、各チャネル２１８についてのパラメータを含む。図示した例では、ダイアログ向上パラメータ２１６はL、R、Cチャネルに対応するパラメータp1、p2、p3を含む。典型的には、エンコーダ側で予測パラメータを生成するために、最小平均二乗誤差（MMSE）最適化アルゴリズムが使われてもよい。
ダイアログ向上コンポーネント２０６は次いで、ダイアログ向上されたチャネル２２０を生じるために、利得因子gの適用によって予測されたダイアログ信号４１９を向上させ、すなわち増強し、向上されたダイアログ信号をチャネル２１８に加えてもよい。向上されたダイアログ信号を正しい空間位置における正しいチャネルに加えるために（そうしないと、期待される利得をもってダイアログを向上させない）、三つのチャネルの間のパンがレンダリング係数、ここではr1,r2,r3によって伝送される。レンダリング係数がエネルギーを保存する、すなわち
r1 2＋r2 2＋r3 2＝1
という制約のもとで、第三のレンダリング係数r3は、最初の二つの係数から
Figure 0006728146
 のように決定されてもよい。
行列記法を使うと、マルチチャネル・ダイアログ予測モードにおけるダイアログ向上２０６コンポーネントによって実行されるダイアログ向上は次のように書かれてもよい。
Figure 0006728146
 ここで、Iは恒等行列、Xはチャネル２１８（L、R、C）を行としてもつ行列、Xeはダイアログ向上されたチャネル２２０を行としてもつ行列、Pは各チャネルについてのダイアログ向上パラメータp1、p2、p3に対応するエントリーをもつ行ベクトル、Hはレンダリング係数r1,r2,r3をエントリーとしてもつ列ベクトル、gは
g＝10G/20−1
となる利得因子である。
本稿で波形パラメトリック・ハイブリッドと称される第三のモードによれば、ダイアログ向上コンポーネント２０６は、第一および第二のモードのいずれかを、ダイアログを表わす追加的なオーディオ信号（波形信号）の伝送と組み合わせてもよい。追加的なオーディオ信号は典型的には低ビットレートで符号化され、別個に聞くと十分に耳に聞こえるアーチファクトを生じる。チャネル２１８およびダイアログの信号属性ならびにダイアログ波形信号符号化に割り当てられるビットレートに依存して、エンコーダは、（第一または第二のモードからの）パラメトリック寄与とダイアログを表わす追加的なオーディオ信号との間で利得寄与がどのように分割されるべきかを示すブレンド・パラメータαcをも決定する。
第二のモードとの組み合わせでは、第三のモードのダイアログ向上は次のように書かれてもよい。
Figure 0006728146
 ここで、dcはダイアログを表わす追加的なオーディオ信号であり、
Figure 0006728146
 である。チャネル独立向上（第一のモード）との組み合わせでは、ダイアログを表わすオーディオ信号dc,iが各チャネル２１８について受領される。
Figure 0006728146
 と書くと、ダイアログ向上は
Xe＝g1・Dc＋(I＋diag(p)・g2)・X
と書かれてもよい。
図５は、例示的実施形態に基づくデコーダ５００を示している。デコーダ５００は、より多くの複数のチャネルのダウンミックスである複数のダウンミックス信号をその後の再生のためにデコードする型のものである。換言すれば、デコーダ５００は、フル・チャネル構成を再構成するよう構成されていないという点で図２のデコーダとは異なっている。
デコーダ５００は受領コンポーネント５０２と、アップミックス・コンポーネント５０４、ダイアログ向上コンポーネント５０６および混合コンポーネント５０８を含むダイアログ向上ブロック５０３とを有する。
図２を参照して説明したように、受領コンポーネント５０２は、データ・ストリーム５１０を受領し、それをその成分、この場合にはより多くの複数のチャネルのダウンミックスである複数のダウンミックス信号５１２（図１のａおよびｂ参照）、再構成パラメータ５１４およびダイアログ向上のためのパラメータ５１６にデコードする。いくつかの場合には、データ・ストリーム５１０はさらに、混合パラメータ５２２を示すデータを含む。たとえば、混合パラメータはダイアログ向上のためのパラメータの一部をなしてもよい。他の場合には、混合パラメータ５２２はデコーダ５００においてすでに利用可能である。たとえば、デコーダ５００にハードコードされていてもよい。他の場合には、混合パラメータ５２２は混合パラメータの複数のセットについて利用可能であり、データ・ストリーム５１０中のデータが混合パラメータのこれら複数のセットのうちのどのセットが使われるかの指示を提供する。
ダイアログ向上のためのパラメータ５１６は典型的には、前記複数のチャネルの部分集合に関して定義される。ダイアログ向上のためのパラメータが定義されている前記複数のチャネルの前記部分集合を同定するデータが、受領されるデータ・ストリーム５１０に、たとえばダイアログ向上のためのパラメータ５１６の一部として、含まれていてもよい。あるいはまた、ダイアログ向上のためのパラメータが定義されている前記複数のチャネルの前記部分集合はデコーダ５００においてハードコードされていてもよい。たとえば、図１のａを参照するに、ダイアログ向上５１６のためのパラメータは、lダウンミックス信号にダウンミックスされるチャネルL、TFL、cダウンミックス信号に含まれるCチャネルおよびrダウンミックス信号にダウンミックスされるR、TFRチャネルに関して定義されていてもよい。例解の目的で、ダイアログはL、CおよびRチャネルにのみ存在するとする。ダイアログ向上のためのパラメータ５１６は、L、C、Rチャネルのようなダイアログを含むチャネルに関して定義されうるが、この例ではTFL、TFRチャネルのようなダイアログを含まないチャネルに関しても定義されてもよい。そのようにして、ダイアログを含むチャネルにおける背景ノイズが、ダイアログを含まない別のチャネルを使って、たとえば引き去られてもよい。
ダイアログ向上のためのパラメータ５１６が定義されているチャネルの前記部分集合は、前記複数のダウンミックス信号５１２の部分集合５１２ａにダウンミックスされている。図示した例では、ダウンミックス信号の部分集合５１２ａは、c、l、rダウンミックス信号を含む。ダウンミックス信号のこの部分集合５１２ａはダイアログ向上ブロック５０３に入力される。ダウンミックス信号の関連する部分集合５１２ａはたとえば、ダイアログ向上のためのパラメータが定義されている前記複数のチャネルの前記部分集合と、ダウンミックス方式との知識に基づいて見出されてもよい。
アップミックス・コンポーネント５１４は、ダウンミックス信号の部分集合５１２ａにダウンミックスされているチャネルの再構成のために当技術分野で既知のパラメトリック技法を使う。再構成は、再構成パラメータ５１４に基づく。特に、アップミックス・コンポーネント５０４は、ダイアログ向上のためのパラメータ５１６が定義されている前記複数のチャネルの前記部分集合を再構成する。いくつかの実施形態では、アップミックス・コンポーネント５０４は、ダイアログ向上のためのパラメータ５１６が定義されている前記複数のチャネルの前記部分集合のみを再構成する。そのような例示的実施形態は図７を参照して記述される。他の実施形態では、アップミックス・コンポーネント５０４は、ダイアログ向上のためのパラメータ５１６が定義されている前記複数のチャネルの前記部分集合に加えて少なくとも一つのチャネルを再構成する。そのような例示的実施形態は図６を参照して記述される。
再構成パラメータは時間変化するだけでなく、周波数依存でもあってもよい。たとえば、再構成パラメータは異なる周波数帯域について異なる値を取ってもよい。これは一般に、再構成されたチャネルの品質を改善する。
当技術分野において知られているように、パラメトリック・アップミックスは一般に、アップミックスにかけられる入力信号から脱相関された信号を形成することを含み、入力信号および脱相関された信号に基づいてパラメトリックに信号を再構成する。たとえば非特許文献１の書籍を参照。しかしながら、アップミックス・コンポーネント５０４は好ましくは、そのような脱相関された信号を使うことなくパラメトリック・アップミックスを実行する。脱相関された信号を使うことによって得られる利点は、この場合、混合コンポーネント５０８において実行されるその後のダウンミックスによって減殺される。よって、脱相関された信号の使用は有利にはアップミックス・コンポーネント５０４によって省略されてもよく、それにより計算量が節約される。実のところ、アップミックスにおける脱相関された信号の使用は、ダイアログに対する脱相関器残響を生じうるので、ダイアログ向上と組み合わさって、より悪い品質につながる。
次いで、ダイアログ向上コンポーネント５０６は、ダイアログ向上のためのパラメータ５１６が定義されている前記複数のチャネルの前記部分集合に対してダイアログ向上を適用して、少なくとも一つのダイアログ向上された信号を生じる。いくつかの実施形態では、ダイアログ向上された信号は、ダイアログ向上のためのパラメータ５１６が定義されている前記複数のチャネルの前記部分集合のダイアログ向上されたバージョンに対応する。これについては図６を参照して下記でより詳細に説明する。他の実施形態では、ダイアログ向上された信号は、ダイアログ向上のためのパラメータ５１６が定義されている前記複数のチャネルの前記部分集合の予測され、向上されたダイアログ成分に対応する。これについては図７を参照して下記でより詳細に説明する。
再構成パラメータと同様に、ダイアログ向上のためのパラメータは時間的に、また周波数とともに変わりうる。より詳細には、ダイアログ向上のためのパラメータは異なる周波数帯域について異なる値を取ってもよい。再構成パラメータが定義される周波数帯域の集合は、ダイアログ向上パラメータが定義されている周波数帯域の集合とは異なっていてもよい。
次いで、混合コンポーネント５０８は、前記少なくとも一つのダイアログ向上された信号に基づいて混合を実行して、ダウンミックス信号の部分集合５１２ａのダイアログ向上されたバージョン５２０を提供する。図示した例では、ダウンミックス信号の部分集合５１２ａのダイアログ向上された（dialog enhanced）バージョン５２０は、それぞれダウンミックス信号c,l,rに対応するcDE、lDE、rDEによって与えられる。
混合は、前記少なくとも一つのダイアログ向上された信号の、ダウンミックス信号の部分集合５１２ａのダイアログ向上されたバージョン５２０への寄与を記述する混合パラメータ５２２に従ってなされてもよい。いくつかの実施形態では（図６参照）、前記少なくとも一つのダイアログ向上された信号は、アップミックス・コンポーネント５０４によって再構成されたチャネルと一緒に混合される。そのような場合、混合パラメータ５２２は、各チャネルがダイアログ向上されたダウンミックス信号５２０のうちのどれに混合されるべきかを記述するダウンミックス方式（図１のａおよびｂ参照）に対応してもよい。他の実施形態では（図７参照）、前記少なくとも一つのダイアログ向上された信号はダウンミックス信号の部分集合５１２ａと一緒に混合される。そのような場合、混合パラメータ５２２は、前記少なくとも一つのダイアログ向上された信号がダウンミックス信号の部分集合５１２ａにどのように重み付けされるべきかを記述する重み付け因子に対応してもよい。
アップミックス・コンポーネント５０４によって実行されるアップミックス動作、ダイアログ向上コンポーネント５０６によって実行されるダイアログ向上動作および混合コンポーネント５０８によって実行される混合動作は典型的には線形演算であり、それぞれ行列演算によって、すなわち行列・ベクトル積によって定義されうる。これは、アップミックス動作において脱相関器信号が省略される場合には少なくとも成り立つ。特に、アップミックス動作に関連する行列（U）が再構成パラメータ５１４によって定義される／から導出されてもよい。これに関し、アップミックス動作における脱相関器信号の使用は可能ではあるが、脱相関された信号の生成はアップミックスのための行列演算の一部ではないことを注意しておく。脱相関器をもつアップミックス動作は、二段階アプローチと見ることができる。第一段階では、入力ダウンミックス信号がプレ脱相関器行列に供給され、プレ脱相関器行列の適用後の出力信号がそれぞれ脱相関器に供給される。第二段階では、入力ダウンミックス信号および脱相関器からの出力信号がアップミックス行列に供給され、入力ダウンミックス信号に対応するアップミックス行列の係数は「ドライ・アップミックス行列」と称されるものをなし、脱相関器からの出力信号に対応する係数は「ウェット・アップミックス行列」と称されるものをなす。脱相関器信号が使われないときは、アップミックス動作に関連する行列は、入力信号５１２ａのみに対する動作のために構成され、脱相関された信号に関係する列（ウェット・アップミックス行列）は行列には含まれない。換言すれば、この場合のアップミックス行列はドライ・アップミックス行列に対応する。しかしながら、上記のように、脱相関器信号の使用はこの場合、典型的にはより悪い品質につながる。
ダイアログ向上動作に関連する行列（M）は、ダイアログ向上のためのパラメータ５１６によって定義される／から導出されてもよく、混合動作に関連する行列（C）は混合パラメータ５２２によって定義される／から導出されてもよい。
アップミックス動作、ダイアログ向上動作および混合動作はみな線形演算なので、対応する行列は行列乗算によって単一の行列Eに組み合わされてもよい（すると、XDE＝E・Xで、E＝C・M・U）。ここで、Xはダウンミックス信号５１２ａの列ベクトルであり、XDEはダイアログ向上されたダウンミックス信号５２０の列ベクトルである。こうして、完全なダイアログ向上ブロック５０３は、ダウンミックス信号の部分集合５１２ａのダイアログ向上されたバージョン５２０を生じるためにダウンミックス信号の部分集合５１２ａに適用される単一の行列演算に対応してもよい。よって、本稿に記載される諸方法は非常に効率的な仕方で実装されうる。
図６は、図５のデコーダ５００のある例示的実施形態に対応するデコーダ６００を示している。デコーダ６００は、受領コンポーネント６０２、アップミックス・コンポーネント６０４、ダイアログ向上コンポーネント６０６および混合コンポーネント６０８を有する。
図５のデコーダ５００と同様に、受領コンポーネント６０２はデータ・ストリーム６１０を受領し、それを複数のダウンミックス信号６１２、再構成パラメータ６１４およびダイアログ向上のためのパラメータ６１６にデコードする。
アップミックス・コンポーネント６０４は前記複数のダウンミックス信号６１２の部分集合６１２ａ（部分集合５１２ａに対応する）を受領する。部分集合６１２ａ内の各ダウンミックス信号について、アップミックス・コンポーネント６０４は、ダウンミックス信号にダウンミックスされたすべてのチャネルを再構成する（Xu＝U・X）。これは、ダイアログ向上のためのパラメータが定義されているチャネル６１８ａと、ダイアログ向上に含まれないチャネル６１８ｂとを含む。図１のｂを参照するに、ダイアログ向上のためのパラメータが定義されているチャネル６１８ａはたとえばL、LS、C、R、RSチャネルに対応することができ、ダイアログ向上に関わらないチャネル６１８ｂはLB、RBチャネルに対応してもよい。
ダイアログ向上のためのパラメータが定義されているチャネル６１８ａ（Xu'）は次いで、ダイアログ向上コンポーネント６０６によるダイアログ向上を受ける（Xe＝M・Xu'）。一方、ダイアログ向上に関わらないチャネル６１８ｂ（Xu"）はダイアログ向上コンポーネント６０６をバイパスする。
ダイアログ向上コンポーネント６０６は、上記のダイアログ向上の第一、第二および第三のモードの任意のものを適用しうる。第三のモードが適用される場合、データ・ストリーム６１０は上記で説明したように、ダイアログ向上において適用されるべきダイアログを表わすオーディオ信号（すなわち、ダイアログを表わす符号化された波形）を、ダイアログ向上のためのパラメータが定義されている前記複数のチャネルの部分集合６１８ａと一緒に含んでいてもよい。
Figure 0006728146
 結果として、ダイアログ向上コンポーネント６０６はダイアログ向上された信号６１９を出力する。ダイアログ向上された信号６１９はこの場合、ダイアログ向上のためのパラメータが定義されているチャネルの部分集合６１８ａに対応する。例として、ダイアログ向上された信号６１９は、図１のｂのL、LS、C、R、RSチャネルのダイアログ向上されたバージョンに対応してもよい。
次いで、混合コンポーネント６０８はダイアログ向上された信号６１９を、ダイアログ向上に関わらなかったチャネル６１９ｂと一緒に混合する。
Figure 0006728146
 ダウンミックス信号の部分集合６１２ａのダイアログ向上されたバージョン６２０を生成するためである。混合コンポーネント６０８は該混合を、図１のｂにおいて示されているダウンミックス方式のような現在のダウンミックス方式に従って行なう。この場合、混合パラメータ６２２はこのように、各チャネル６１９、６１８ｂがどのダウンミックス信号６２０に混合されるべきかを記述するダウンミックス方式に対応する。ダウンミックス方式は静的であってもよく、よってデコーダ６００によって知られていてもよい。つまり、同じダウンミックス方式が常に適用されるのでもよい。あるいはまた、ダウンミックス方式は動的であってもよく、つまりフレームからフレームへと変わってもよい。あるいはまた、デコーダにおいて知られているいくつかの方式のうちの一つであってもよい。この最後の場合には、ダウンミックス方式に関する指標がデータ・ストリーム６１０に含められる。
図６では、デコーダは、任意的なリシャッフル・コンポーネント６３０を備えている。リシャッフル・コンポーネント６３０は、異なるダウンミックス方式の間で変換をするために、たとえば方式１００ｂから方式１００ａに変換するために使われてもよい。リシャッフル・コンポーネント６３０は典型的にはcおよびlfe信号を不変のままにすることを注意しておく。すなわち、これらの信号に関しては素通しコンポーネントとして作用するのである。リシャッフル・コンポーネント６３０は、たとえば再構成パラメータ６１４およびダイアログ向上のためのパラメータ６１６といったさまざまなパラメータを受領し、それに基づいて動作してもよい（図示せず）。
図７は、図５のデコーダ５００のある例示的実施形態に対応するデコーダ７００を示している。デコーダ７００は、受領コンポーネント７０２、アップミックス・コンポーネント７０４、ダイアログ向上コンポーネント７０６および混合コンポーネント７０８を有する。
図５のデコーダ５００と同様に、受領コンポーネント７０２はデータ・ストリーム７１０を受領し、それを複数のダウンミックス信号７１２、再構成パラメータ７１４およびダイアログ向上のためのパラメータ７１６にデコードする。
アップミックス・コンポーネント７０４は前記複数のダウンミックス信号７１２の部分集合７１２ａ（部分集合５１２ａに対応する）を受領する。図６に関して述べた実施形態とは対照的に、アップミックス・コンポーネント７０４は、ダイアログ向上のためのパラメータ７１６が定義されている前記複数のチャネルの前記部分集合７１８ａのみを再構成する（Xu'＝U'・X）。図１のｂを参照するに、ダイアログ向上のためのパラメータが定義されているチャネル７１８ａはたとえばC、L、LS、R、RSチャネルに対応することができる。
次いで、ダイアログ向上コンポーネント７０６が、ダイアログ向上のためのパラメータが定義されているチャネル７１８ａに対してダイアログ向上を実行する（Xd＝Md・Xu'）。この場合、ダイアログ向上コンポーネント７０６は、ダイアログ向上の第二のモードに従って、チャネル７１８ａの線形結合を形成することによって、チャネル７１８ａに基づいてダイアログ成分を予測することに進む。図７ではp1ないしp5によって表わされる線形結合を形成するときに使われる係数が、ダイアログ向上のためのパラメータ７１６に含められる。次いで、予測されたダイアログ成分が、利得因子gの乗算によって向上されて、ダイアログ向上された信号７１９を生成する。利得因子gは
g＝10G/20−1
と表わされてもよい。ここで、GはdBで表わしたダイアログ向上利得である。ダイアログ向上利得Gはたとえばユーザーによって入力されてもよく、よって典型的にはデータ・ストリーム７１０に含まれない。いくつかのダイアログ成分がある場合には、上記の予測および向上手順は、ダイアログ成分ごとに一回適用されてもよいことを注意しておく。
次いで、予測されたダイアログ向上された信号７１９（すなわち、予測され、向上されたダイアログ成分）は、ダウンミックス信号の部分集合７１２ａに混合される。ダウンミックス信号の部分集合７１２ａのダイアログ向上されたバージョン７２０を生成するためである。
Figure 0006728146
 混合は、ダイアログ向上された信号７１９の、ダウンミックス信号の前記部分集合のダイアログ向上されたバージョン７２０への寄与を記述する混合パラメータ７２２に従ってなされる。混合パラメータは典型的にはデータ・ストリーム７１０に含まれる。この場合、混合パラメータ７２２は、前記少なくとも一つのダイアログ向上された信号７１９がダウンミックス信号の部分集合７１２ａの中にどのように重み付けされるべきかを記述する重み付け因子r1,r2,r3に対応する。
Figure 0006728146
 より詳細には、ダイアログ向上された信号７１９が正しい空間位置においてダウンミックス信号７１２ａに加えられるよう、重み付け因子は、ダウンミックス信号の部分集合７１２ａに対する前記少なくとも一つの第ログ向上された信号７１９のパンを記述するレンダリング係数に対応してもよい。
データ・ストリーム７１０におけるレンダリング係数（混合パラメータ７２２）はアップミックスされたチャネル７１８ａに対応してもよい。図示した例では、五つのアップミックスされたチャネル７１８ａがあり、よって五つの対応するレンダリング係数、たとえばrc1,rc2,…,rc5があってもよい。（ダウンミックス信号７１２ａに対応する）r1,r2,r3の値は、ダウンミックス方式との組み合わせにおけるrc1,rc2,…,rc5から計算されてもよい。チャネル７１８ａのうちの複数が同じダウンミックス信号７１２ａに対応するときは、ダイアログ・レンダリング係数は合計されることができる。たとえば、図示した例において、r1＝rc1、r2＝rc2＋rc3およびr3＝rc4＋rc5が成り立つ。これは、チャネルのダウンミックスがダウンミックス係数を使ってなされた場合における重み付けされた総和であってもよい。
この場合にも、ダイアログ向上コンポーネント７０６は、ダイアログを表わす追加的に受領されたオーディオ信号を利用してもよいことを注意しておく。そのような場合、予測されたダイアログ向上された信号７１９は、混合コンポーネント７０８に入力されるのに先立って、ダイアログを表わすオーディオ信号と一緒に重み付けされてもよい（Xd＝(1−αc)・Md・Xu'＋αc・g・Dc）。適切な重み付けは、ダイアログ向上のためのパラメータ７１６に含まれるブレンド・パラメータαcによって与えられる。ブレンド・パラメータαcは、（上記のような）予測されたダイアログ成分７１９とダイアログを表わす追加的なオーディオ信号Dcとの間で利得寄与がどのように分割されるべきかを示す。これは、第二のダイアログ向上モードと組み合わされるときの第三のダイアログ向上モードに関して述べたことと同様である。
図７では、デコーダは任意的なリシャッフル・コンポーネント７３０を備えている。リシャッフル・コンポーネント７３０は、異なるダウンミックス方式の間で変換をするために、たとえば方式１００ｂから方式１００ａに変換するために使われてもよい。リシャッフル・コンポーネント７３０は典型的にはcおよびlfe信号を不変のままにすることを注意しておく。すなわち、これらの信号に関しては素通しコンポーネントとして作用するのである。リシャッフル・コンポーネント７３０は、たとえば再構成パラメータ７１４およびダイアログ向上のためのパラメータ７１６といったさまざまなパラメータを受領し、それに基づいて動作してもよい（図示せず）。
上記は主として7.1+4チャネル構成および5.1ダウンミックスに関して説明してきた。しかしながら、本稿に記載されるデコーダおよびデコード方法の原理は他のチャネルおよびダウンミックス構成にも等しく当てはまることは理解されるものとする。
図８は、デコーダへの伝送のためにデータ・ストリーム８１０を生成するために、複数のチャネル８１８（そのいくつかはダイアログを含む）をエンコードするために使用されうるエンコーダ８００の図解である。エンコーダ８００は、デコーダ２００、５００、６００、７００の任意のものと一緒に使用されうる。エンコーダ８００はダウンミックス・コンポーネント８０５、ダイアログ向上エンコード・コンポーネント８０６、パラメトリック・エンコード・コンポーネント８０４および伝送コンポーネント８０２を有する。
エンコーダ８００は、複数のチャネル８１８を受領する。たとえば図１のａおよびｂにおいて描かれたチャネル構成１００ａ、１００ｂのチャネルである。
ダウンミックス・コンポーネント８０５は前記複数のチャネル８１８を複数のダウンミックス信号８１２にダウンミックスし、該ダウンミックス信号が次いで、データ・ストリーム８１０に含めるために、伝送コンポーネント８０２に供給される。複数のチャネル８１８はたとえば、図１のａまたはｂに示されるようなダウンミックス方式に従ってダウンミックスされてもよい。
前記複数のチャネル８１８およびダウンミックス信号８１２はパラメトリック・エンコード・コンポーネント８０４に入力される。その入力信号に基づいて、パラメトリック・エンコード・コンポーネント８０４は、ダウンミックス信号８１２からのチャネル８１８の再構成を可能にする再構成パラメータ８１４を計算する。再構成パラメータ８１４はたとえば、それ自身としては既知の最小平均二乗誤差（MMSE）最適化アルゴリズムを使って計算されてもよい。再構成パラメータ８１４は次いで、データ・ストリーム８１０に含めるために、伝送コンポーネント８０２に供給される。
ダイアログ向上エンコード・コンポーネント８０６は、前記複数のチャネル８１８の一つまたは複数および一つまたは複数のダイアログ信号８１３に基づいてダイアログ向上のためのパラメータ８１６を計算する。ダイアログ信号８１３は純粋なダイアログを表わす。注意すべきこととして、ダイアログはすでにチャネル８１８の一つまたは複数に混合されている。よってチャネル８１８には、ダイアログ信号８１３に対応する一つまたは複数のダイアログ成分があることがある。典型的には、ダイアログ向上エンコード・コンポーネント８０６は、最小平均二乗誤差（MMSE）最適化アルゴリズムを使ってダイアログ向上のためのパラメータ８１６を計算する。そのようなアルゴリズムは、前記複数のチャネル８１８のいくつかからのダイアログ信号８１３の予測を可能にするパラメータを提供してもよい。このように、ダイアログ向上のためのパラメータ８１６は、前記複数のチャネル８１８の部分集合、つまりそこからダイアログ信号８１３が予測されうるようなチャネルに関して定義されうる。ダイアログ予測のためのパラメータ８１６は、データ・ストリーム８１０に含めるために伝送コンポーネント８０２に入力される。
まとめると、このように、データ・ストリーム８１０は少なくとも、前記複数のダウンミックス信号８１２、再構成パラメータ８１４およびダイアログ向上のためのパラメータ８１６を含む。
デコーダの通常動作の間、異なる型のパラメータ（ダイアログ向上のためのパラメータまたは再構成パラメータなど）の値はデコーダによってあるレートで繰り返し受領される。異なるパラメータ値が受領されるそれらのレートが、デコーダからの出力が計算される必要のあるレートより低い場合には、パラメータの値は補間される必要があることがある。一般的なパラメータpの値が時点t1およびt2においてそれぞれp(t1)およびp(t2)であると知られている場合、中間の時刻t1≦t＜t2におけるパラメータの値p(t)は種々の補間方式を使って計算されうる。本稿で線形補間パターンと称されるそのような方式の一例は、中間の値を線形補間を使って計算してもよい。たとえば、p(t)＝p(t1)＋［p(t2)−p(t1)］(t−t1)/(t2−t1)である。本稿で区分一定補間パターンと称される別のパターンはその代わりに、時間区間全体にわたってパラメータ値を既知の値の一方、たとえばp(t)＝p(t1)またはp(t)＝p(t2)、あるいは既知の値の組み合わせ、たとえば平均値p(t)＝[p(t1)＋p(t2)]/2に固定したままにすることを含む。ある時間区間の間にあるパラメータ型についてどんな補間方式が使われるかについての情報は、デコーダに組み込まれていてもよく、あるいは種々の仕方で、たとえばパラメータ自身と一緒にまたは受領される信号に含まれる追加的情報として、デコーダに提供されてもよい。
ある例解用の例では、デコーダは第一および第二のパラメータ型についてパラメータ値を受領する。各パラメータ型の受領された値はそれぞれ時点の第一（T1＝{t11,t12,t13,…}）および第二（T2＝{t21,t22,t23,…}）の集合において厳密に適用可能であり、デコーダは、対応する集合に存在しない時点において値が推定される必要がある場合に各パラメータ型の値がどのように補間されるべきかについての情報へのアクセスをももつ。パラメータ値は信号に対する数学的演算の定量的属性を制御する。該演算はたとえば行列として表現されてもよい。下記の例では、第一のパラメータ型によって制御される演算は第一の行列Aによって表わされ、第二のパラメータ型によって制御される演算は第二の行列Bによって表わされ、この例では「演算／動作」および「行列」の用語が交換可能に使われることがあるものとする。デコーダからの出力値が計算される必要がある時点において、両方の演算の合成に対応する統合処理動作が計算される。行列Aが（再構成パラメータによって制御される）アップミックスの動作であり、行列Bが（ダイアログ向上のためのパラメータによって制御される）ダイアログ向上を適用する動作であるとすると、結果として、アップミックスにダイアログ向上が続く統合処理動作は行列積BAによって表わされる。
統合処理動作を計算する方法が図９のａ〜ｅにおいて示されている。ここで、時間は横軸に沿って進み、軸の目盛り線は統合処理動作が計算されるべき時点（出力時点）を示す。これらの図において、三角形は行列A（アップミックス動作を表わす）に対応し、円は行列B（ダイアログ向上を適用する動作を表わす）に対応し、四角は統合動作行列BA（アップミックスにダイアログ向上が続く統合動作を表わす）に対応する。黒い三角形および円は、対応する時点においてそれぞれの行列が厳密に知られている（すなわち、その行列が表わす動作を制御するパラメータが厳密に知られている）ことを示す。一方、白い三角形および円は、それぞれの行列の値が（たとえば上記で概説した補間パターンのいずれかを使って）予測または補間されることを示す。黒い四角は統合動作行列BAが、対応する時点において、たとえば行列AおよびBの行列積によって計算されたことを示し、白い四角はBAの値が以前の時点から補間されたことを示す。さらに、破線矢印は、どの時点とどの時点の間で補間が実行されるかを示す。最後に、時点を結ぶ実線の横線は、行列の値がその区間で区分的に一定であると想定されることを示す。
本発明を利用しないで統合処理動作BAを計算する方法が図９のａに示されている。動作AおよびBについての受領された値はそれぞれ時点t11、t21およびt12、t22において厳密に適用され、各出力時点において統合処理動作行列を計算するために、本方法は各行列を個々に補間する。それぞれの時間的に前向きステップを完了するために、統合処理動作を表わす行列が、AおよびBの予測された値の積として計算される。ここで、各行列は、線形補間パターンを使って補間されると想定される。行列AがN'行N列をもち、行列BがM行M'列をもつ場合、それぞれの時間的に前向きステップは（統合処理行列BAを計算するために必要とされる行列乗算を実行するために）パラメータ帯域当たりO(MN'N)回の乗算演算を必要とする。したがって、出力時点の高い密度および／またはパラメータ帯域の多い数は、計算資源に対する高い需要を課すリスクがある（加算演算に比べて乗算演算の計算量が相対的に高いため）。計算量を減らすために、図９ｂに示される代替的な方法が使われてもよい。パラメータ値が変化する（すなわち、t11,t21およびt12,t22において受領された値が厳密に適用可能である）時点においてのみ統合処理動作を計算する（たとえば行列乗算を実行する）ことによって、統合処理動作行列BAは、行列AおよびBを別個に補間する代わりに、直接補間されうる。そうすることにより、動作が行列によって表わされる場合、（厳密なパラメータ値が変化する時点の間の）それぞれの時間的に前向きステップは、パラメータ帯域当たり（行列加算のための）O(NM)回の演算しか必要とせず、低下した計算量は計算資源に対して課す需要も少なくなる。また、行列AおよびBがN'＞N×M/(N＋M)となるものであれば、統合処理動作を表わす行列BAは、個々の行列AおよびBを組み合わせたものに見出されるよりも少数の要素をもつ。しかしながら、行列BAを直接補間する方法はAおよびBの両方が同じ時点で知られていることを必要とする。Aが定義される時点が（少なくとも部分的に）Bが定義される時点と異なっているときは、改善された補間方法が要求される。本発明の例示的実施形態に基づくそのような改善された方法は、図９のｃ〜ｅに示されている。図９のａ〜ｅの議論との関連で、簡単のため、統合処理動作行列BAが、それぞれ（受領されたまたは予測／補間された）パラメータ値に基づいて生成された個々の行列AおよびBの積として計算されることが想定される。他の状況では、行列BAによって表わされる動作を、二つの行列因子としての表現を介することなく、パラメータ値から直接計算することが等しくまたは一層有利であることがありうる。図９のｃ〜ｅを参照して示す技法のいずれかとの組み合わせにおいて、これらのアプローチのそれぞれは本発明の範囲内にはいる。
図９のｃでは、行列Aに対応するパラメータについての時点の集合T1が、集合T2（行列Bに対応するパラメータについての時点）に存在しない時間値t12を含む状況が示されている。両方の行列が線形補間パターンを使って補間されるべきであり、本方法は、行列Bの値が（たとえば補間を使って）予測される必要がある予測時点tp＝t12を同定する。値が見出されたのち、tpにおける統合処理動作行列BAの値がAおよびBをかけ合わせることによって計算されうる。続けると、本方法は隣接する時点ta＝t11におけるBAの値を計算し、次いでtaとtpとの間でBAを補間する。本方法はまた、望むなら、別の隣接する時点ta＝t13においてBAの値を計算し、tpからtaにBAを補間してもよい。（tp＝t12において）追加的な行列乗算が必要とされるものの、この方法は、直接、統合処理動作行列BAを補間することを許容し、たとえば図９のａの方法に比べてやはり計算量を減らす。上記のように、統合処理動作は代替的には、それぞれのパラメータ値に依存する二つの行列の明示的な積としてではなく、（受領されたまたは予測／補間された）パラメータ値から直接計算されてもよい。
上記の場合では、Aに対応するパラメータ型のみが、Bに対応するパラメータ型の時点の間に含まれない時点を有していた。図９のｄでは、集合T2には時点t12がなく、集合T1には時点t22がないという異なる状況が示されている。BAの値がt12とt22の間の中間的な時点t'において計算される場合、本方法は、tp＝t12におけるBの値およびta＝t22におけるAの値の両方を予測してもよい。両方の時刻での統合処理動作行列BAを計算した後、BAはt'におけるその値を見出すために補間されてもよい。一般に、この方法は、パラメータ値が変化する時点において（すなわち、受領された値が厳密に適用可能である集合T1およびT2内の時点において）行列乗算を実行するだけである。中間では、統合処理動作の補間は、対応する乗算よりも計算量が低い行列加算を必要とするだけである。
上記の諸例において、すべての補間パターンは線形であると想定されている。種々の方式を使ってパラメータが初期に補間されるべきであるときの補間方法も図９のｅに示されている。この図では、行列Aに対応するパラメータの値は、値が急激に変化する時点t12まで、区分的に一定に保たれる。パラメータ値がフレームごとに受領される場合、各フレームは、受領された値が厳密に適用される時点を示す合図を担持してもよい。この例では、Bに対応するパラメータはt21およびt22において厳密に適用可能な値を受領しただけであり、本方法はまずt12の直前の時点tpにおけるBの値を予測してもよい。tpおよびta＝t11において統合処理動作行列BAを計算した後、行列BAはtaとtpの間で補間されうる。次いで、本方法は、新たな予測時点tp＝t12においてBの値を予測し、tpおよびta＝t22においてBAの値を計算し、tpとtaの間で直接、BAを補間してもよい。ここでもまた、統合処理動作BAは当該区間にわたって補間され、その値はすべての出力時点において見出されている。AおよびBが個々に補間されてBAが各出力時点におけるAおよびBを乗算することによって計算された図９のａに示した先の状況と比べ、低下した数の行列乗算が必要とされ、計算量が下げられる。
〈等価物、拡張、代替その他〉
上記の記述を吟味すれば、当業者には本開示のさらなる実施形態が明白になるであろう。本稿および図面は実施形態および例を開示しているが、本開示はこれらの個別的な例に制約されるものではない。付属の請求項によって定義される本開示の範囲から外れることなく数多くの修正および変形をなすことができる。請求項に現われる参照符号があったとしても、その範囲を限定するものと理解されるものではない。
さらに、図面、本開示および付属の請求項の吟味から、本開示を実施する当業者によって、開示される実施形態に対する変形が理解され、実施されることができる。請求項において、「有する／含む」の語は他の要素またはステップを排除するものではなく、単数形の表現は複数を排除するものではない。ある種の施策が互いに異なる従属請求項に記載されているというだけの事実がこれらの施策の組み合わせが有利に使用できないことを示すものではない。
上記で開示されたシステムおよび方法は、ソフトウェア、ファームウェア、ハードウェアまたはそれらの組み合わせとして実装されうる。ハードウェア実装では、上記の記述で言及された機能ユニットの間でのタスクの分割は必ずしも物理的なユニットへの分割に対応しない。逆に、一つの物理的コンポーネントが複数の機能を有していてもよく、一つのタスクが協働するいくつかの物理的コンポーネントによって実行されてもよい。ある種のコンポーネントまたはすべてのコンポーネントは、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装されてもよく、あるいはハードウェアとしてまたは特定用途向け集積回路として実装されてもよい。そのようなソフトウェアは、コンピュータ記憶媒体（または非一時的な媒体）および通信媒体（または一時的な媒体）を含みうるコンピュータ可読媒体上で頒布されてもよい。当業者にはよく知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータのような情報の記憶のための任意の方法または技術において実装される揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含む。コンピュータ記憶媒体は、これに限られないが、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク（DVD）または他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイスまたは、所望される情報を記憶するために使用されることができ、コンピュータによってアクセスされることができる他の任意の媒体を含む。さらに、通信媒体が典型的にはコンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータを、搬送波または他の転送機構のような変調されたデータ信号において具現し、任意の情報送達媒体を含むことは当業者にはよく知られている。
いくつかの態様を記載しておく。
〔態様１〕
オーディオ・システムのデコーダにおいてダイアログを向上させる方法であって：
より多くの複数のチャネルのダウンミックスである複数のダウンミックス信号を受領する段階と；
ダイアログを含むチャネルを含む前記複数のチャネルの部分集合に関して定義されている、ダイアログ向上のためのパラメータを受領する段階であって、前記複数のチャネルの前記部分集合は前記複数のダウミックス信号の部分集合にダウンミックスされている、段階と；
前記複数のダウンミックス信号の前記部分集合にダウンミックスされているチャネルのパラメトリック再構成を許容する再構成パラメータを受領する段階と；
ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を再構成するために前記再構成パラメータに基づいてパラメトリックに前記複数のダウンミックス信号の前記部分集合をアップミックスする段階と；
ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合に対して、ダイアログ向上のための前記パラメータを使ってダイアログ向上を適用して、少なくとも一つのダイアログ向上された信号を提供する段階と；
前記少なくとも一つのダイアログ向上された信号に混合を受けさせて、前記複数のダウンミックス信号の前記部分集合のダイアログ向上されたバージョンを提供する段階とを含む、
方法。
〔態様２〕
前記複数のダウンミックス信号の前記部分集合をパラメトリックにアップミックスする段階において、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を再構成するために、脱相関された信号は使われない、態様１記載の方法。
〔態様３〕
前記混合は、前記少なくとも一つのダイアログ向上された信号の、前記複数のダウンミックス信号の前記部分集合のダイアログ向上されたバージョンへの寄与を記述する混合パラメータに従ってなされる、態様１記載の方法。
〔態様４〕
前記複数のダウンミックス信号の前記部分集合をパラメトリックにアップミックスする段階は、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルのほかに少なくとも一つのさらなるチャネルを再構成することを含み、前記混合は前記少なくとも一つのさらなるチャネルを、前記少なくとも一つのダイアログ向上された信号と混合することを含む、態様１ないし３のうちいずれか一項記載の方法。
〔態様５〕
前記複数のダウンミックス信号の前記部分集合をパラメトリックにアップミックスする段階は、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合のみを再構成することを含み、
ダイアログ向上を適用する段階は、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合からのダイアログ成分を、ダイアログ向上のための前記パラメータを使って予測し、向上させ、それにより前記少なくとも一つのダイアログ向上された信号を提供することを含み、
前記混合は、前記少なくとも一つのダイアログ向上された信号を前記複数のダウンミックス信号の前記部分集合と混合することを含む、
態様１ないし３のうちいずれか一項記載の方法。
〔態様６〕
ダイアログを表わすオーディオ信号を受領する段階をさらに含み、ダイアログ向上を適用する段階は、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合に対して、さらに前記ダイアログを表わすオーディオ信号を使ってダイアログ向上を適用することを含む、態様１ないし５のうちいずれか一項記載の方法。
〔態様７〕
前記少なくとも一つのダイアログ向上された信号に混合を受けさせる段階のために混合パラメータを受領することをさらに含む、態様１ないし６のうちいずれか一項記載の方法。
〔態様８〕
前記複数のチャネルのそれぞれがどのダウンミックス信号に混合されるかを記述するダウンミックス方式を記述する混合パラメータを受領することを含む、態様１ないし７のうちいずれか一項記載の方法。
〔態様９〕
前記ダウンミックス方式が時間とともに変化する、態様８記載の方法。
〔態様１０〕
ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を同定するデータを受領することをさらに含む、態様１ないし９のうちいずれか一項記載の方法。
〔態様１１〕
ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を同定する前記データが、前記ダウンミックス方式とともに、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合がダウンミックスされる先の前記複数のダウンミックス信号の前記部分集合を見出すために使われる、態様１０が態様８または９を引用する場合の態様１０記載の方法。
〔態様１２〕
前記複数のダウンミックス信号の前記部分集合をアップミックスする段階、ダイアログ向上を適用する段階および混合する段階は、それぞれ前記再構成パラメータ、ダイアログ向上のための前記パラメータおよび前記混合パラメータによって定義される行列演算として実行される、態様１ないし１１のうちいずれか一項記載の方法。
〔態様１３〕
前記複数のダウンミックス信号の前記部分集合をアップミックスする段階、ダイアログ向上を適用する段階および混合する段階に対応する行列演算を、前記複数のダウンミックス信号の前記部分集合への適用前に、行列乗算によって単一の行列演算に組み合わせることをさらに含む、態様１２記載の方法。
〔態様１４〕
前記ダイアログ向上パラメータおよび前記再構成パラメータが周波数依存である、態様１ないし１３のうちいずれか一項記載の方法。
〔態様１５〕
ダイアログ向上のための前記パラメータは、第一の集合の周波数帯域に関して定義されており、前記再構成パラメータは第二の集合の周波数帯域に関して定義されており、周波数帯域の前記第二の集合は周波数帯域の前記第一の集合とは異なる、態様１４記載の方法。
〔態様１６〕
ダイアログ向上のための前記パラメータの値が繰り返し受領され、それぞれの値が厳密に適用される時点の第一の集合に関連付けられており、連続する時点の間では、あらかじめ定義された第一の補間パターンが実行され、
前記再構成パラメータの値が繰り返し受領され、それぞれの値が厳密に適用される時点の第二の集合に関連付けられており、連続する時点の間では、あらかじめ定義された第二の補間パターンが実行され、
当該方法はさらに：
ダイアログ向上のためのパラメータまたは再構成パラメータのいずれかであるパラメータ型を選択する段階であって、選択された型に関連付けられた時点の集合が、選択されなかった型に関連付けられた集合に存在しない時点である少なくとも一つの予測時点を含む、段階と；
前記予測時点における選択されなかった型のパラメータの値を予測する段階と；
少なくとも選択されなかった型のパラメータの予測された値および選択された型のパラメータの受領された値に基づいて、前記予測時点における前記ダウンミックス信号の前記部分集合のアップミックスおよびそれに続くダイアログ向上を少なくとも表わす統合処理動作を計算する段階と；
少なくともいずれかが受領された値である選択された型のパラメータの値および選択されなかった型のパラメータの値に少なくとも基づいて、前記選択された型または選択されなかった型に関連付けられた集合における隣接する時点における前記統合処理動作を計算する段階とを含み、
前記複数のダウンミックス信号の前記部分集合をアップミックスする段階およびダイアログ向上を適用する段階は、前記予測時点と前記隣接する時点との間で、計算された統合処理動作の補間された値によって実行される、
態様１ないし１５のうちいずれか一項記載の方法。
〔態様１７〕
前記選択された型のパラメータは前記再構成パラメータである、態様１６記載の方法。
〔態様１８〕
前記隣接する時点における前記統合処理動作は、前記選択された型のパラメータの受領された値および前記選択されなかった型のパラメータの予測された値に基づいて計算される；
前記隣接する時点における前記統合処理動作が、前記選択された型のパラメータの予測された値および前記選択されなかった型のパラメータの受領された値に基づいて計算される、
のうちの一方が成り立つ、態様１６または１７記載の方法。
〔態様１９〕
前記隣接する時点における前記統合処理動作は、前記選択された型のパラメータの受領された値および前記選択されなかった型のパラメータの受領された値に基づいて計算される、態様１６または１７記載の方法。
〔態様２０〕
前記第一および第二の補間パターンに基づいて、あらかじめ定義された選択規則に従って統合補間パターンを選択する段階をさらに含み、
計算されたそれぞれの統合処理動作の前記補間は前記統合補間パターンに基づく、
態様１６ないし１９のうちいずれか一項記載の方法。
〔態様２１〕
前記あらかじめ定義された選択規則は、前記第一および第二の補間パターンが異なる場合について定義される、態様２０記載の方法。
〔態様２２〕
前記第一の補間パターンが線形であり、前記第二の補間パターンが区分一定であることに応答して、前記統合補間パターンとして線形補間が選択される、態様２１記載の方法。
〔態様２３〕
前記予測時点における前記選択されなかった型のパラメータの値の予測は、前記選択されなかった型のパラメータについての補間パターンに従ってなされる、態様１６ないし２２のうちいずれか一項記載の方法。
〔態様２４〕
前記統合処理動作は、前記複数のダウンミックス信号の前記部分集合に適用される前に、単一の行列演算として計算される、態様１６ないし２３のうちいずれか一項記載の方法。
〔態様２５〕
前記統合補間パターンとして線形補間が選択され；
計算されたそれぞれの統合処理動作の補間された値は線形行列補間によって計算される、
態様２４記載の方法。
〔態様２６〕
受領されたダウンミックス信号は時間フレームにセグメント分割されており、
当該方法は、定常状態動作では、各時間フレームにおける時点において厳密に適用されるそれぞれのパラメータ型の少なくとも一つの値を受領する段階を含む、
態様１６ないし２５のうちいずれか一項記載の方法。
〔態様２７〕
前記少なくとも一つのダイアログ向上された信号に混合を受けさせる段階が、前記複数のダウンミックス信号の完全でないセレクションに制約される、態様１ないし２６のうちいずれか一項記載の方法。
〔態様２８〕
態様１ないし２７のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
〔態様２９〕
オーディオ・システムにおいてダイアログを向上させるためのデコーダであって；
より多くの複数のチャネルのダウンミックスである複数のダウンミックス信号、
ダイアログ向上のためのパラメータであって、前記パラメータは、ダイアログを含むチャネルを含む前記複数のチャネルの部分集合に関して定義されており、前記複数のチャネルの前記部分集合は前記複数のダウンミックス信号の部分集合にダウンミックスされる、パラメータ、および
前記複数のダウンミックス信号の前記部分集合にダウンミックスされているチャネルのパラメトリック再構成を許容する再構成パラメータを受領するよう構成された受領コンポーネントと；
ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を再構成するために、前記再構成パラメータに基づいて、パラメトリックに前記複数のダウンミックス信号の前記部分集合をアップミックスするよう構成されたアップミックス・コンポーネントと；
ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合に対して、ダイアログ向上のための前記パラメータを使ってダイアログ向上を適用して、少なくとも一つのダイアログ向上された信号を提供するよう構成されたダイアログ向上コンポーネントと；
前記少なくとも一つのダイアログ向上された信号に混合を受けさせて、前記複数のダウンミックス信号の前記部分集合のダイアログ向上されたバージョンを提供するよう構成された混合コンポーネントとを有する、
デコーダ。

Claims (18)

  1. オーディオ・システムのデコーダにおいてダイアログを向上させる方法であって：
    より多くの複数のチャネルのダウンミックスである複数のダウンミックス信号を受領する段階と；
    ダイアログを含むチャネルを含む前記複数のチャネルの部分集合に関して定義されている、ダイアログ向上のためのパラメータを受領する段階であって、前記複数のチャネルの前記部分集合は前記複数のダウンミックス信号の部分集合にダウンミックスされている、段階と；
    前記複数のダウンミックス信号の前記部分集合にダウンミックスされているチャネルのパラメトリック再構成を許容する再構成パラメータを受領する段階と；
    ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を含む前記複数のチャネルの部分集合のみを再構成するために前記再構成パラメータに基づいてパラメトリックに前記複数のダウンミックス信号の前記部分集合のみをアップミックスする段階と；
    ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合に対して、ダイアログ向上のための前記パラメータを使ってダイアログ向上を適用して、少なくとも一つのダイアログ向上された信号を提供する段階と；
    前記少なくとも一つのダイアログ向上された信号を少なくとも一つの他の信号と混合することによって、前記複数のダウンミックス信号の前記部分集合のダイアログ向上されたバージョンを提供する段階とを含む、
    方法。
  2. 前記複数のダウンミックス信号の前記部分集合のみをパラメトリックにアップミックスする段階において、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合を含む前記複数のチャネルの部分集合のみを再構成するために、脱相関された信号は使われない、請求項１記載の方法。
  3. 前記混合は、前記少なくとも一つのダイアログ向上された信号の、前記複数のダウンミックス信号の前記部分集合のダイアログ向上されたバージョンへの寄与を記述する混合パラメータに従ってなされる、請求項１記載の方法。
  4. 前記複数のダウンミックス信号の前記部分集合のみをパラメトリックにアップミックスする段階は、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合のみを再構成することを含み、
    ダイアログ向上を適用する段階は、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合からのダイアログ成分を、ダイアログ向上のための前記パラメータを使って予測し、向上させ、それにより前記少なくとも一つのダイアログ向上された信号を提供することを含み、
    前記混合は、前記少なくとも一つのダイアログ向上された信号を前記複数のダウンミックス信号の前記部分集合と混合することを含む、
    請求項１ないし３のうちいずれか一項記載の方法。
  5. ダイアログを表わすオーディオ信号を受領する段階をさらに含み、ダイアログ向上を適用する段階は、ダイアログ向上のための前記パラメータが定義されている前記複数のチャネルの前記部分集合に対して、さらに前記ダイアログを表わすオーディオ信号を使ってダイアログ向上を適用することを含む、請求項１ないし４のうちいずれか一項記載の方法。
  6. 前記少なくとも一つのダイアログ向上された信号を少なくとも一つの他の信号と混合するために混合パラメータを受領することをさらに含む、請求項１ないし５のうちいずれか一項記載の方法。
  7. 前記複数のダウンミックス信号の前記部分集合のみをアップミックスする段階、ダイアログ向上を適用する段階および混合する段階は、それぞれ前記再構成パラメータ、ダイアログ向上のための前記パラメータおよび前記混合パラメータによって定義される行列演算として実行され、
    任意的に、
    前記複数のダウンミックス信号の前記部分集合のみをアップミックスする段階、ダイアログ向上を適用する段階および混合する段階に対応する行列演算を、前記複数のダウンミックス信号の前記部分集合への適用前に、行列乗算によって単一の行列演算に組み合わせることをさらに含む、
    請求項３または６記載の方法。
  8. 前記ダイアログ向上パラメータおよび前記再構成パラメータが周波数依存であり、
    任意的に、
    ダイアログ向上のための前記パラメータは、第一の集合の周波数帯域に関して定義されており、前記再構成パラメータは第二の集合の周波数帯域に関して定義されており、周波数帯域の前記第二の集合は周波数帯域の前記第一の集合とは異なる、
    請求項１ないし７のうちいずれか一項記載の方法。
  9. ダイアログ向上のための前記パラメータの値が繰り返し受領され、それぞれの値が厳密に適用される時点の第一の集合に関連付けられており、連続する時点の間では、あらかじめ定義された第一の補間パターンが実行され、
    前記再構成パラメータの値が繰り返し受領され、それぞれの値が厳密に適用される時点の第二の集合に関連付けられており、連続する時点の間では、あらかじめ定義された第二の補間パターンが実行され、
    当該方法はさらに：
    ダイアログ向上のためのパラメータまたは再構成パラメータのいずれかであるパラメータ型を選択する段階であって、選択された型に関連付けられた時点の集合が、選択されなかった型に関連付けられた集合に存在しない時点である少なくとも一つの予測時点を含む、段階と；
    前記予測時点における選択されなかった型のパラメータの値を予測する段階と；
    少なくとも選択されなかった型のパラメータの予測された値および選択された型のパラメータの受領された値に基づいて、前記予測時点における前記ダウンミックス信号の前記部分集合のみのアップミックスおよびそれに続くダイアログ向上を少なくとも表わす統合処理動作を計算する段階と；
    少なくともいずれかが受領された値である選択された型のパラメータの値および選択されなかった型のパラメータの値に少なくとも基づいて、前記選択された型または選択されなかった型に関連付けられた集合における隣接する時点における前記統合処理動作を計算する段階とを含み、
    前記複数のダウンミックス信号の前記部分集合のみをアップミックスする段階およびダイアログ向上を適用する段階は、前記予測時点と前記隣接する時点との間で、計算された統合処理動作の補間された値によって実行される、
    請求項１ないし８のうちいずれか一項記載の方法。
  10. 前記選択された型のパラメータは前記再構成パラメータである、請求項９記載の方法。
  11. 前記隣接する時点における前記統合処理動作は、前記選択された型のパラメータの受領された値および前記選択されなかった型のパラメータの受領された値に基づいて計算される、請求項９または１０記載の方法。
  12. 前記第一および第二の補間パターンに基づいて、あらかじめ定義された選択規則に従って統合補間パターンを選択する段階をさらに含み、
    計算されたそれぞれの統合処理動作の前記補間は前記統合補間パターンに基づく、
    請求項９ないし１１のうちいずれか一項記載の方法。
  13. 前記あらかじめ定義された選択規則は、前記第一および第二の補間パターンが異なる場合について定義され、
    任意的に、
    前記第一の補間パターンが線形であり、前記第二の補間パターンが区分一定であることに応答して、前記統合補間パターンとして線形補間が選択される、
    請求項１２記載の方法。
  14. 前記予測時点における前記選択されなかった型のパラメータの値の予測は、前記選択されなかった型のパラメータについての補間パターンに従ってなされる、請求項９ないし１３のうちいずれか一項記載の方法。
  15. 前記統合処理動作は、前記複数のダウンミックス信号の前記部分集合に適用される前に、単一の行列演算として計算される、
    請求項９ないし１４のうちいずれか一項記載の方法。
  16. 前記少なくとも一つのダイアログ向上された信号を少なくとも一つの他の信号と混合することが、前記複数のダウンミックス信号の完全でないセレクションに制約される、請求項１ないし１５のうちいずれか一項記載の方法。
  17. 請求項１ないし１６のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
  18. オーディオ・システムにおいてダイアログを向上させるためのデコーダであって、請求項１ないし１６のうちいずれか一項記載の方法を実行するよう構成された一つまたは複数のコンポーネントを有する、デコーダ。
JP2017517237A 2014-10-02 2015-09-30 ダイアログ向上のためのデコード方法およびデコーダ Active JP6728146B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462059015P 2014-10-02 2014-10-02
US62/059,015 2014-10-02
US201562128331P 2015-03-04 2015-03-04
US62/128,331 2015-03-04
PCT/EP2015/072578 WO2016050854A1 (en) 2014-10-02 2015-09-30 Decoding method and decoder for dialog enhancement

Publications (3)

Publication Number Publication Date
JP2017534904A JP2017534904A (ja) 2017-11-24
JP2017534904A5 JP2017534904A5 (ja) 2018-11-08
JP6728146B2 true JP6728146B2 (ja) 2020-07-22

Family

ID=54199263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017517237A Active JP6728146B2 (ja) 2014-10-02 2015-09-30 ダイアログ向上のためのデコード方法およびデコーダ

Country Status (19)

Country Link
US (1) US10170131B2 (ja)
EP (1) EP3201918B1 (ja)
JP (1) JP6728146B2 (ja)
KR (1) KR102426965B1 (ja)
CN (1) CN106796804B (ja)
AU (1) AU2015326856B2 (ja)
BR (1) BR112017006325B1 (ja)
CA (1) CA2962806C (ja)
DK (1) DK3201918T3 (ja)
ES (1) ES2709327T3 (ja)
IL (1) IL251263B (ja)
MX (1) MX364166B (ja)
MY (1) MY179448A (ja)
PL (1) PL3201918T3 (ja)
RU (1) RU2701055C2 (ja)
SG (1) SG11201702301SA (ja)
TW (1) TWI575510B (ja)
UA (1) UA120372C2 (ja)
WO (1) WO2016050854A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX364166B (es) * 2014-10-02 2019-04-15 Dolby Int Ab Método de decodificación y decodificador para mejora del diálogo.
CN106303897A (zh) 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
CN112218229B (zh) 2016-01-29 2022-04-01 杜比实验室特许公司 用于音频信号处理的系统、方法和计算机可读介质
TWI658458B (zh) * 2018-05-17 2019-05-01 張智星 歌聲分離效能提升之方法、非暫態電腦可讀取媒體及電腦程式產品
WO2020216459A1 (en) * 2019-04-23 2020-10-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method or computer program for generating an output downmix representation

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463410B1 (en) * 1998-10-13 2002-10-08 Victor Company Of Japan, Ltd. Audio signal processing apparatus
US7158933B2 (en) 2001-05-11 2007-01-02 Siemens Corporate Research, Inc. Multi-channel speech enhancement system and method based on psychoacoustic masking effects
US7787640B2 (en) * 2003-04-24 2010-08-31 Massachusetts Institute Of Technology System and method for spectral enhancement employing compression and expansion
KR20050049103A (ko) 2003-11-21 2005-05-25 삼성전자주식회사 포만트 대역을 이용한 다이얼로그 인핸싱 방법 및 장치
ATE527654T1 (de) 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
KR101271069B1 (ko) 2005-03-30 2013-06-04 돌비 인터네셔널 에이비 다중채널 오디오 인코더 및 디코더와, 인코딩 및 디코딩 방법
RU2376655C2 (ru) * 2005-04-19 2009-12-20 Коудинг Текнолоджиз Аб Зависящее от энергии квантование для эффективного кодирования пространственных параметров звука
US7707034B2 (en) 2005-05-31 2010-04-27 Microsoft Corporation Audio codec post-filter
AU2006266655B2 (en) 2005-06-30 2009-08-20 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
US8082157B2 (en) 2005-06-30 2011-12-20 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
US8081764B2 (en) * 2005-07-15 2011-12-20 Panasonic Corporation Audio decoder
DE602006021347D1 (de) * 2006-03-28 2011-05-26 Fraunhofer Ges Forschung Verbessertes verfahren zur signalformung bei der mehrkanal-audiorekonstruktion
WO2007111568A2 (en) 2006-03-28 2007-10-04 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for a decoder for multi-channel surround sound
EP1853092B1 (en) * 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
TWI308739B (en) 2006-06-23 2009-04-11 Mstar Semiconductor Inc Audio processing circuit and method
WO2008006108A2 (en) 2006-07-07 2008-01-10 Srs Labs, Inc. Systems and methods for multi-dialog surround audio
BRPI0716521A2 (pt) 2006-09-14 2013-09-24 Lg Electronics Inc tÉcnicas de melhoria de diÁlogo
US7463170B2 (en) 2006-11-30 2008-12-09 Broadcom Corporation Method and system for processing multi-rate audio from a plurality of audio processing sources
US8050434B1 (en) 2006-12-21 2011-11-01 Srs Labs, Inc. Multi-channel audio enhancement system
DE602008001787D1 (de) * 2007-02-12 2010-08-26 Dolby Lab Licensing Corp Verbessertes verhältnis von sprachlichen zu nichtsprachlichen audio-inhalten für ältere oder hörgeschädigte zuhörer
KR101336237B1 (ko) * 2007-03-02 2013-12-03 삼성전자주식회사 멀티 채널 스피커 시스템의 멀티 채널 신호 재생 방법 및장치
ES2452348T3 (es) 2007-04-26 2014-04-01 Dolby International Ab Aparato y procedimiento para sintetizar una señal de salida
MX2010004220A (es) * 2007-10-17 2010-06-11 Fraunhofer Ges Forschung Codificacion de audio usando mezcla descendente.
EP2373067B1 (en) * 2008-04-18 2013-04-17 Dolby Laboratories Licensing Corporation Method and apparatus for maintaining speech audibility in multi-channel audio with minimal impact on surround experience
US8831936B2 (en) * 2008-05-29 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement
US8315396B2 (en) * 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
US8639502B1 (en) 2009-02-16 2014-01-28 Arrowhead Center, Inc. Speaker model-based speech enhancement system
KR101433701B1 (ko) 2009-03-17 2014-08-28 돌비 인터네셔널 에이비 적응형으로 선택가능한 좌／우 또는 미드／사이드 스테레오 코딩과 파라메트릭 스테레오 코딩의 조합에 기초한 진보된 스테레오 코딩
JP2012525051A (ja) 2009-04-21 2012-10-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号の合成
US8204742B2 (en) 2009-09-14 2012-06-19 Srs Labs, Inc. System for processing an audio signal to enhance speech intelligibility
KR101387195B1 (ko) * 2009-10-05 2014-04-21 하만인터내셔날인더스트리스인코포레이티드 오디오 신호의 공간 추출 시스템
WO2011048117A1 (en) * 2009-10-20 2011-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal encoder, audio signal decoder, method for encoding or decoding an audio signal using an aliasing-cancellation
US9324337B2 (en) * 2009-11-17 2016-04-26 Dolby Laboratories Licensing Corporation Method and system for dialog enhancement
TWI459828B (zh) * 2010-03-08 2014-11-01 Dolby Lab Licensing Corp 在多頻道音訊中決定語音相關頻道的音量降低比例的方法及系統
EP2727369B1 (en) 2011-07-01 2016-10-05 Dolby Laboratories Licensing Corporation Synchronization and switchover methods and systems for an adaptive audio system
EP2727383B1 (en) * 2011-07-01 2021-04-28 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering
US8615394B1 (en) 2012-01-27 2013-12-24 Audience, Inc. Restoration of noise-reduced speech
EP2690621A1 (en) * 2012-07-26 2014-01-29 Thomson Licensing Method and Apparatus for downmixing MPEG SAOC-like encoded audio signals at receiver side in a manner different from the manner of downmixing at encoder side
US9055362B2 (en) 2012-12-19 2015-06-09 Duo Zhang Methods, apparatus and systems for individualizing audio, music and speech adaptively, intelligently and interactively
CA3211308A1 (en) 2013-05-24 2014-11-27 Dolby International Ab Coding of audio scenes
EP2830049A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
MX364166B (es) * 2014-10-02 2019-04-15 Dolby Int Ab Método de decodificación y decodificador para mejora del diálogo.

Also Published As

Publication number Publication date
WO2016050854A1 (en) 2016-04-07
BR112017006325A2 (pt) 2018-01-16
IL251263B (en) 2019-07-31
EP3201918A1 (en) 2017-08-09
MX364166B (es) 2019-04-15
RU2017110842A (ru) 2018-10-01
MX2017004194A (es) 2017-05-19
KR102426965B1 (ko) 2022-08-01
IL251263A0 (en) 2017-05-29
UA120372C2 (uk) 2019-11-25
SG11201702301SA (en) 2017-04-27
RU2017110842A3 (ja) 2019-05-15
CA2962806C (en) 2023-03-14
TW201627983A (zh) 2016-08-01
CA2962806A1 (en) 2016-04-07
US10170131B2 (en) 2019-01-01
EP3201918B1 (en) 2018-12-12
RU2701055C2 (ru) 2019-09-24
DK3201918T3 (en) 2019-02-25
CN106796804A (zh) 2017-05-31
ES2709327T3 (es) 2019-04-16
MY179448A (en) 2020-11-06
AU2015326856A1 (en) 2017-04-06
KR20170063667A (ko) 2017-06-08
US20170309288A1 (en) 2017-10-26
TWI575510B (zh) 2017-03-21
AU2015326856B2 (en) 2021-04-08
CN106796804B (zh) 2020-09-18
PL3201918T3 (pl) 2019-04-30
BR112017006325B1 (pt) 2023-12-26
JP2017534904A (ja) 2017-11-24

Similar Documents

Publication Publication Date Title
JP6728146B2 (ja) ダイアログ向上のためのデコード方法およびデコーダ
RU2625444C2 (ru) Система обработки аудио
JP5158814B2 (ja) 減数されたチャネルへの復号化
TWI485699B (zh) 音訊信號訊框中事件槽位的編碼與解碼技術
CN101151658B (zh) 多声道音频编码和解码方法、编码器和解码器
RU2639952C2 (ru) Гибридное усиление речи с кодированием формы сигнала и параметрическим кодированием
JP6231093B2 (ja) オーディオ信号の符号化及び復号
KR101761569B1 (ko) 오디오 현장의 코딩
JP6732739B2 (ja) オーディオ・エンコーダおよびデコーダ
JP6640849B2 (ja) マルチチャネル・オーディオ信号のパラメトリック・エンコードおよびデコード
KR101756838B1 (ko) 다채널 오디오 신호를 다운 믹스하는 방법 및 장치
CN108028988B (zh) 处理低复杂度格式转换的内部声道的设备和方法
JP6248186B2 (ja) オーディオ・エンコードおよびデコード方法、対応するコンピュータ可読媒体ならびに対応するオーディオ・エンコーダおよびデコーダ
TW202101427A (zh) 降混器及降混方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20170424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180925

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200701

R150 Certificate of patent or registration of utility model

Ref document number: 6728146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250