JP5603499B2 - デジタルレベル正規化を備えるオーディオストリームミキシング - Google Patents

Description

（関連出願の参照）
この出願は、２０１０年９月２２日に出願した米国特許仮出願第６１／３８５，４２８号の優先権を主張し、それらの全文をここに参照として援用する。

この出願は音声信号（オーディオ信号）の分野に関する。具体的には、この出願は音声信号のミキシングに関する。

音声信号と共にメタデータを含めることは、使用者（ユーザ）のリスニング体験の有意な向上を可能にする。快適な使用者体験のためには、異なるプログラムの音響レベル又は音量（ラウドネス）が一定であることが望ましい。しかしながら、異なるプログラムの音声信号は、異なる音源に由来するのが普通であり、異なる制作者（プロデューサ）によってマスターが作成され、話会話(speech dialog)から音楽まで並びに低周波効果を備える映画サウンドトラックまで及ぶ多様なコンテンツを含み得る。この音響レベルの変動の可能性は、再生(playback)中に、そのような多様なプログラムに亘って同じ一般的な音響レベルを維持することを難しくする。実際的な言い方をすれば、異なるプログラムの知覚音響レベルの相違の故に、１つのプログラムが他のプログラムに対してより高音量又は低音量になるよう調節するために、１つのプログラムから他のプログラムに切り換えるときに、聴取者（リスナ）が再生音量を調節する必要を感じることは望ましくない。プログラム間で一定の音響レベルを維持するために音声信号を変更する技法は、信号レベリング(signal leveling)として概ね知られている。会話オーディオトラックの脈絡において、知覚音響レベルに関する尺度は会話レベルとして知られ、それは音声信号の平均加重レベルに基づく。会話レベルはダイアルノームパラメータを使用して特定されることが多く、それはデジタルフルスケールに対するデシベル（ｄＢ）レベルを示す。

過去、音声信号に取り組む放送業者は、その音声レベルが他のプログラムの音声レベルよりも上又は下になるサウンドトラックのような音声信号に特に問題を有し、特に会話のような時間の経過と共に実質的に変化し得る音声に問題を有した。デジタルオーディオ、多重チャンネルオーディオ、特に音声信号と共にメタデータを含ませる能力の発展に伴い、制作者及びオーディオ技術者は、様々な再生システムのための再生レベルを精密に特定するためにメタデータとして信号中に埋め込み得る設定を特定する、広範な選択肢を今や有する。これらの設定を製作後の段階にさえも設け得るので、放送業者は極めて一貫した音声信号を送信することができ、最も重要な音声成分が最終使用者に伝わることを保証することができる。

同様に、音声信号をミキシングするとき、快適な聴取者体験のためには、音声入力信号を単一信号にミキシングするときに同じ知覚音響レベルを維持することも望ましい。この目標を実現する１つの技法は、入力信号がミキシングされるときに、入力信号がどのようにスケーリング（増減）されるべきかを特定するメタデータを含めることである。

多くの現在の音声基準は、コンテンツ制作者が、関連音声信号と共に時間変化メタデータを含む主音声信号と結合される関連音声信号を含めることを可能にする。例えば、コンテンツ制作者は、監督（ディレクタ）の注釈を備えるトラックに、そのような関連音声信号をもたらし得る。関連信号を伴うメタデータは、コンテンツ制作者が、結合再生のためのミキシング中に、主トラックの音声信号が一体どのように調節されることを欲しているかを特定する。例えば、E-AC-3（ドルビーデジタルプラス）及び高効率アドバンスト・オーディオ・コーディング(HE-AAC)が、そのようなミキシングメタデータをもたらす基準の２つの例である。より詳しくは、E-AC-3(Dolby Digital Plus)を記載する”ETSI TS 102 366 v1.2.1 (2008-08): Digital Audio Compression (AC-3, Enhanced-AC-3) Standard”、或いは、高効率アドバンスト・オーディオ・コーディング(HE-AAC)を記載する”ETSI TS 101 154 V1.9.1 (2009-09): Digital Video Broadcasting (DVB); Specification for the use of Video and Audio Coding in Broadcasting Applications based on the MPEG-2 Transport Stream”を参照のこと。それらの両者の全文をここに参照として援用する。

しかしながら、使用者は、関連信号と共に送信されるメタデータによって規定される制作者提供設定から逸脱することを欲するかもしれない。例えば、映画を観ている間に監督の注釈を活性化する使用者は、再生中のある時点で、監督の注釈に優先しないようミキシング中に減衰させられることを制作者がメタデータ中に記したかもしれない当初の会話を聞くかもしれない。

よって、使用者が入力音声信号のミキシングを調節することを可能にしながら、混合信号の知覚音響レベルも維持することによって快適な使用者体験ももたらす調節を提供する必要がある。更に、混合信号に対する追加的なレベリングを行う必要がないように、メタデータからのスケーリング情報及び外部使用者入力が時間と共に変化するとしても、混合信号の一定の知覚音響レベルを維持しながら入力音声信号のミキシングの調節を提供する必要もある。

ミキシングメタデータの使用は、コンテンツ制作者が、再生中に信号がどのように組み合わせられなければならないかを精密に制御し且つ特定することを可能にする。それによって、一定の知覚音響レベルを達成するために、ミキサへの各信号入力が適切にスケーリングされるよう、メタデータによってもたらされるスケーリング情報によるミキシングに先立ち、入力音声信号の音響レベル又はダイアルノームレベルを正規化し得る。このようにして、信号を備えるメタデータ中に含まれるスケーリング情報によって、混合信号に寄与する各入力信号の相対的なレベルがミキシング中に制御される。実際には、この技法は、混合されるべき１つの主信号と１つ又はそれよりも多くの関連信号の特定を含むのが普通である。名称が示唆するように、主信号は、標準的な信号であり、関連信号は、その夫々の主信号に幾分関連する信号である。結果的に、主信号及び関連信号が混合されるとき、メタデータは、関連信号に対する主信号のスケーリングのためのスケーリング情報をもたらす。

例えば、多くの場合には特殊機能として、制作者は、追加的な「監督注釈」音声トラックを、関連信号として映画と共に含めることができる。その場合、使用者は映画の上に実時間で重ね合わせられる監督注釈を聞き得る。よって、使用者は、その原作（オリジナル）の音声及び監督注解を同時に備える映画を観ることができる。再生中、そのような関連信号は、例えば、セットトップボックスのような最終使用者（エンドユーザ）装置の上で、原作の映画の主音声信号と混合されることが意図される。しかしながら、映画の主音声信号の他の会話、効果、及び音楽は極めて高音量であり、よって、関連音声を覆い得る。よって、主音声の上で監督注釈を適切に理解し得るよう、映画の主音声信号はある時点で減少させられ或いは減衰させられるのが概ね望ましい。主信号のこの減衰を、例えば、追加的な関連音声信号を伴うメタデータを提供することによって達成し得る。その場合、メタデータは、主信号がどのように並びにどれだけ減衰させられるべきか正確に特定する。

更に、この減衰は時間と共に変化することが必要であり得る。例えば、アクション映画では、タイヤがキーキーする音を伴う高速走行する車や飛行機及びミサイルの爆発のような特徴を含み得る極めて高音量のシーン中に、主音声信号を甚だしく減衰させることが、信号のミキシングにおいて必要であり、その主音声信号の上では、最終使用者が関連信号からの監督注釈を十分に聞くことが困難であるかもしれない。例えば、監督は、アクションシーン中の大きな爆発が、誘導線及び特別な遠隔カメラを含めてどのように達成されたか、並びに、シーンが背景で流れる間にその特徴がどのような同期されたかを説明することを欲する。この場合、コンテンツ制作者は、会話の通常の音響レベルを依然として維持しながら、低周波効果を甚だしく減衰させることさえも欲するかもしれない。換言すれば、主音声の特定の種類の高い音響レベルは、時折、監督注釈を遮り得る。映画中の静かな親密シーンのような他のときには、例えば、最終使用者が映画の中心シーンにおける重要メッセージの囁きを正確に聞き得るよう、監督は映画の完全な音響レベルを維持することを欲し得る。

しかしながら、使用者はコンテンツ制作者によって提供される設定を調節する能力を欲し得る。例えば、監督注釈を活性化させた状態で映画を観る使用者は、再生中のある時点に、監督注釈よりもむしろ、原作の会話、音楽、音響、及び、効果を聞くことにより重要性を置くことを決定し得る。しかしながら、制作者のメタデータ設定は、監督注釈を無効にしないために、主信号がミキシング中に甚だしく減衰させられるべきことを示し得るので、使用者は、コンテンツ制作者によって提供されるミキシング設定を変更する直接的な方法を有さない（もちろん、使用者は、減衰される音響をより良好に聞くために音量を増大し得るが、他の非減衰音声も同様により高音量になるという望ましくない効果を伴う）。よって、入力音声信号のミキシングをカスタマイズする方法を提供する必要がある。

この機能を達成するために、使用者は、主信号と関連信号との間のバランスを規制する入力制御を備え得る。しかしながら、ミキシングは明らかに音響レベルに影響を及ぼすので、更なる手段を伴わないならば、音響レベルはプロセス中に再調節させられ、使用者入力によって規制される混合信号を備えるプログラムから非混合音声信号を備えるプログラムに切り換わるときに、音量（ラウドネス）の跳躍（ジャンプ）を招き得る。更に、メタデータ及び使用者入力は両方とも時間と共に変化し得るので、注意深く聞かなければ、混合信号の知覚音響レベルも時間と共に変化し得る。よって、プログラムの混合信号の知覚音響レベルが一定なままであるように、ミキシング中に主信号及び関連信号をスケーリングすることが更に必要である。

ある特徴によれば、支配的信号中の音響レベルを混合定数(mix constant)に維持し且つ支配的信号に対する非支配的信号の音響レベルを調節することによって、混合信号のために一定の知覚音響レベルを維持することを可能にする方法が開示される。その方法は、主信号と関連信号との間の調節可能なバランスを示すミキシングバランス入力を受け取ることを更に含む。その方法は、ミキシングバランス入力及びミキシングメタデータに基づき支配的信号を特定することを更に含む。その方法は、混合されるべき音声信号の如何なる分析又は測定をも必要とせずに、非支配的信号のための適切な換算係数(scaling factor)をスケーリング情報から直接的に決定することも更に含む。これらの技法は、音声信号の如何なる分析も測定も要求しないので、その技法を実施するために必要とされるハードウェアは、信号をサンプリングし或いはコンピュータによる集中的な計算を遂行しなければならないハードウェアシステムと比べて、より一層簡単であり得る。同様に、大量のデータをサンプリングし或いは分析することを必要とせずに、全てのデータをすぐさま利用可能であるので、実時間ミキシングを比較的容易に達成し得る。

第１の特徴によれば、２つの入力音声信号をミキシングして一貫した知覚音響レベルを備える単一の混合音声信号にする方法が提供される。このミキシング方法の第１のステップは、主音声信号を受け取ること、関連入力音声信号を受け取ること、スケーリング情報を備えるミキシングメタデータを受け取ること、及び、主信号と関連信号との間の調節可能なバランスを示すミキシングバランス入力を受け取ることを含む。これらの入力から、ミキシングメタデータ及びミキシングバランス入力によって提供されるスケーリング情報に基づき支配的信号を特定する。次に、支配的信号に対して非支配的信号をスケーリングする。最終的に、スケーリング後の非支配的信号を支配的信号と組み合わせて混合信号にする。よって、ミキシングバランス入力の使用を通じて、本方法は、使用者が支配的信号並びに支配的信号に対する非支配的信号のスケーリングレベルを選択することを可能にすることによって、使用者が混合物に影響を及ぼすことを可能にするが、支配的信号に対する非支配的信号のスケーリングによって、混合信号の知覚音響レベルは一定に保持される。

他の特徴によれば、信号の平均加重レベルによって音響レベルを表し得る。更に、音響レベルを信号の会話レベルとしても表現し得る。よって、本方法は、２つの入力音声信号をミキシングして一貫した知覚会話レベルを備えた単一の混合信号にすることに関し得る。更に、各信号と関連するダイアルノーム値によって会話レベルを測定し得る。ダイアルノーム(dialnorm)は、しばしば、復号器利得を制御するためのメタデータパラメータとして提供される。規格文書ETSI TS 102 366 v1.2.1によれば、「ダイアルノーム」メタデータパラメータは、１〜３１（値０は留保される）に亘る５ビットコードである。そのコードは、フルスケールに対して−１ｄＢ〜−３１ｄＢに亘るレベルとして解釈されなければならない。ダイアルノームメタデータパラメータから、換算係数を決定し得る。換算係数は、（３１−ダイアルノーム）ｄＢと等しい。よって、３１のダイアルノーム値は、０ｄＢの換算係数を示すのに対し、１のダイアルノーム値は、−３０ｄＢの換算係数を示す。手短に言えば、ダイアルノームは、３１〜１までの整数値であり、３１の値は、復号器利得が単位利得(unity)に留まり、１の値は、復号器利得が３０ｄＢだけ減少されるべきことを示す。

支配的信号の音響レベルが一貫したままであるならば、非支配的信号のレベルにおける如何なる変動も余り目立たず、混合信号の知覚音響レベル及び知覚会話レベルは一貫したままでなければならない。好ましくは、入力信号は適切に正規化されなければならない。更に、一貫した知覚会話レベルを維持するために、ミキシングするときの入力信号の一貫したダイアルノームに注目が与えられなければならない。最良の結果のために、入力信号のためのコンテンツダイアルノームは、単位利得(unity gain)を示す普通は３１のダイアルノームレベルで、適切に設定されなければならない。しかしながら、ダイアルノームは必ずしも３１に設定される必要はなく、好ましくは、会話正規化が両方の入力信号に対して既に適用されていなければならない。ミキシング中、支配的信号は、一般的にはスケーリングされないのに対し、非支配的入力信号は、決定される換算係数によってスケーリングされる。従って、既述の方法に従った会話音声のミキシング後、支配的信号の会話レベルは一貫したままであるのに対し、ミキシングメタデータ及びミキシングバランス入力からのスケーリング情報を所与として、支配的信号に対する非支配的信号の会話レベルは適切である。

他の特徴によれば、ミキシングバランス入力は、極めて大きな負の値から極めて大きな正の値までの値をもたらす外部使用者入力を更に含み、それによって、ミキシング中に、ミキシングが所望の量だけ関連信号又は主信号のいずれかを優遇することを可能にする。一般的には、ミキシングバランス入力は、正又は負の実数である。このミキシングバランス入力は、２つの入力信号をミキシングするときに、使用者が焦点の所望の信号を所望に調節することを可能にする。更に、ミキシングバランス入力は、ミキシングプロセスにおいて使用者が支配的信号に対する非支配的信号の減衰を精密に特定することを可能にし、典型的には、使用者が無減衰から完全減衰までの完全な範囲から選択することを可能にする。ここに記載する方法の適用は、使用者が主信号の完全減衰から関連信号の完全減衰に混合物を円滑に切り換えることを可能にする。

ある特徴によれば、本方法は、非支配的信号をスケーリングする換算係数を決定するステップを更に含み得る。その場合、換算係数は、ミキシングメタデータ及びミキシングバランス入力に含まれるスケーリング情報から直接的に決定される。次に、本方法は、決定される換算係数を使用した非支配的信号のスケーリングを更に含み得る。更に、ミキシングメタデータは、関連信号に対して主信号をスケーリングするための換算係数を示す、主信号のためのメタデータ換算係数を含み得る。ミキシングメタデータは、主信号に対して関連信号をスケーリングするための換算係数を示す、関連信号のためのメタデータ換算係数を任意的に含み得る。換算係数は、ｄＢ値を更に含み得る。信号のための基準音響レベルは、典型的には、３１のダイアルノーム設定として特定されるので、最良の結果のために、入力信号も、３１のダイアルノーム設定を有するべきである。

本方法は、関連信号のためのメタデータ換算係数がないならば、以下の比較を行うことによって、支配的信号を特定するステップを更に含み得る。即ち、ミキシングバランス入力の値がミキシングメタデータからの主信号のためのメタデータ換算係数よりも大きい場合には、関連信号が支配的信号であると決定される。さもなければ、主信号が支配的信号であると決定される。関連信号が支配的信号であると特定されるならば、本方法は、主信号のための換算係数を決定することを更に含み、それはミキシングメタデータからの主信号のためのメタデータ換算係数とミキシングバランス入力との間の差として計算される。代替的に、主信号が支配的信号であると特定されるならば、本方法は、関連信号のための換算係数を決定することを更に含み、それはミキシングバランス入力と主信号のためのミキシングメタデータからのメタデータ換算係数との間の差として計算される。

関連信号のためのメタデータ換算係数もある場合には、本方法は、以下の比較を行うことによって、支配的信号を特定するステップを更に含み得る。即ち、主信号のためのメタデータ換算係数から関連信号のためのメタデータ換算係数を減算することによって、ミキシングメタデータからの主信号のためのメタデータ換算係数をミキシングメタデータからの関連信号のためのメタデータ換算係数によって調節し得る。ミキシングバランス入力の値が調整後の換算係数よりも大きい場合には、関連信号が支配的信号であると決定される。さもなければ、主信号が支配的信号であると決定される。関連信号が支配的信号であると特定されるならば、本方法は、調節後の換算係数とミキシングバランス入力との間の差として計算される主信号のための換算係数を決定することを更に含み得る。代替的に、主信号が支配的信号であると特定されるならば、本方法は、ミキシングバランス入力と調節後の換算係数との間の差として計算される関連信号のための換算係数を決定することを更に含み得る。

非支配的信号のための換算係数を決定し、どの信号が支配的信号であると決定されたかに基づき入力信号をミキシングすることによって、混合信号の知覚音響レベルを一定に保持しながら、焦点の信号の調節及び非支配的信号の対応するスケーリングの両方を依然として可能にする。換言すれば、それらの信号の少なくとも１つは常に支配的信号であり、それは焦点の信号である。支配的信号は概してスケーリングされないので、メタデータによって提供されるミキシング換算係数とミキシングバランス入力との組み合わせに基づき非支配的信号が支配的信号に対してどれだけ減衰させられるかに拘わらず、混合信号の音響レベルは他のプログラムに対して維持される。

一部の場合には、入力信号を音声データの多重チャンネルで構成し得る。ある代替的な実施態様では、主入力信号の各チャンネルのために、別個の換算係数を決定し得る。ミキシング中、非支配的信号の各チャンネルを、対応して決定されるその換算係数によってスケーリングし得る。そして、前の実施態様におけるように、支配的信号はスケーリングされないままである。よって信号は多重チャンネルも含み得る。その場合、ミキシングメタデータは、関連信号に対する主信号のための一次メタデータ換算係数と、関連信号に対する主信号の各チャンネルのためのメタデータ換算係数とを更に含み得る。

信号の多重チャンネルは、左、右、中央、左サラウンド、右サラウンド、及び低周波効果（ＬＦＥ）チャンネルを備えるサラウンドチャンネルを含み得る。多重チャンネルは、例えば、５．１多重チャンネル信号、３．１多重チャンネル信号、１３．１多重チャンネル信号、又は他の多重チャンネル信号を含み得る。

低周波効果（ＬＦＥ）チャンネルを含む多重チャンネル信号のために、本方法は、ＬＦＥメタデータ換算係数の最小及び主信号の他のチャンネルの最大メタデータ換算係数としてＬＦＥチャンネルのための換算係数を計算することを更に含み得る。この機能は、ＬＦＥチャンネルが過剰に強く混合信号を支配することを防止するよう意図される。

多重チャンネルを含む入力信号のために特に有用なものとして、本方法は、ミキシングバランス入力及び主信号のためのメタデータ換算係数及び関連信号のためのメタデータ換算係数から、支配的信号を以下の通り特定することを更に含み得る。即ち、本方法は、最大二次メタデータ換算係数を、低周波効果（ＬＦＥ）チャンネルを除く主信号の全てのチャンネルのための全てのメタデータ換算係数の最大として決定することを含む。よって、ＬＦＥチャンネルは、もし存在するならば、最大二次メタデータ換算係数を決定することに使用されない。本方法は、この最大二次メタデータ換算係数と主信号のための一次メタデータ換算係数との合計を計算することを更に含む。次に、ミキシングバランス入力値がこの合計よりも大きいならば、関連信号が支配的信号であると決定される。さもなければ、主信号が支配的信号であると決定される。代替的に、関連信号のためのメタデータ換算係数もある場合、支配的信号の上記決定は、ミキシングバランス入力が、関連信号のためのメタデータ換算係数を減じたこの合計よりも大きいか否かを比較することによって決定される。

更に、関連信号が支配的信号であると決定される場合、本方法は、主信号のための一次メタデータ換算係数に対応する主チャンネルのためのメタデータ換算係数を加算し且つミキシングバランス入力を減算した値として計算される、主信号の各チャンネルのための換算係数を計算することを更に含み得る。

主信号が支配的信号であると決定され、関連信号のためのメタデータ換算係数がない場合、本方法は、ミキシングバランス入力の値から主信号のための一次メタデータ換算係数と（低周波効果チャンネルが存在するならば、低周波効果チャンネルを除いた、主信号の全てのチャンネルのための全てのメタデータ換算係数の最大である）最大二次メタデータ換算係数との合計を減算した値として計算される、関連信号のための換算係数を決定することを更に含み得る。

主信号が支配的信号であると決定され、関連信号のためのメタデータ換算係数がある場合、本方法は、ミキシングバランス入力に、関連信号のためのメタデータ換算係数を加算し、主信号のための一次メタデータ換算係数と（低周波効果チャンネルが存在するならば、低周波効果チャンネルを除いた、主信号の全てのチャンネルのための全てのメタデータ換算係数の最大である）最大二次メタデータ換算係数との合計を減算した値として計算される、関連信号のための換算係数を決定することを更に含み得る。

この方法は、主チャンネルのための主換算係数に、主チャンネルのための換算係数を加算し、一次主換算係数と（低周波効果チャンネルが存在するならば、低周波効果チャンネルを除いた、主信号の全てのチャンネルのための全てのメタデータ換算係数の最大である）最大二次メタデータ換算係数との合計を減算した値として計算される、主信号の各チャンネルのための換算係数を計算することを更に含み得る。

ある更なる特徴によれば、信号は、Dolby Digital Plus (DD+)又はDolby Pulse信号を含み得る。同様に、信号をE-AC-3、MPEG-4、HE-ACC、aacPlus、AC-3、Layer 2、MPEG-4 AAC、MPEG-4音声信号の任意の派生物、又は、他の類似の符号化フォーマットとして符号化し得る。よって、メタデータは、DD+信号をミキシングするための、例えば、ETSI TS 102 366 V1.2.2に従ってメタデータをミシンシングするための、ES-Level(Elementary Stream-Level)ミキシングメタデータを含み得る。このES-Level(ES-レベル)メタデータは、多重チャンネル信号のチャンネルのための換算係数、即ち、一次換算係数、並びに、左チャンネル、右チャンネル、中央チャンネル、左サラウンドチャンネル、右サラウンドチャンネル、及び、低周波効果（ＬＦＥ）チャンネルのための換算係数に対応する、extpgmscl、extpgmlscl、extpgmrscl、extpgmcscl、extpgmlsscl、extpgmrsscl、extpgmlfesclを含む。ES-Levelメタデータは、panmean値を更に任意的に含み得る。ES-Levelメタデータは、関連信号のための換算係数に対応するpgmscl値を更に任意的に含み得る。DD+信号に関連する多くの場合には、ミキシングメタデータを関連信号で符号化し或いは関連信号中に埋設し得るが、様々なメタデータ規格及び実施は異なる。例えば、MPEG-4 HE-AACを用いるならば、ミキシングメタデータは、音声データと並んで流れるが、厳格に内側ではない。結果的に、上記技法の適用は、ミキシングメタデータが関連信号中に含まれる場合だけに限定されるべきではない。

他の特徴によれば、メタデータは、Pulse/HE ACC信号、並びに、E-AC-3、MPEG-4 HE-ACC、aacPlus、AC-3、MPEG-1 Layer 2、MPEG-4 AAC、又はMPEG-4音声信号の任意の派生物、例えば、ETSI TS 101 154 V1.9.1 Annex E2に従ったミキシングメタデータをミキシングするための、PES (Packetized Elementary Streams)-Levelミキシングメタデータを含み得る。このPES-Level(PES-レベル)メタデータは、多重チャンネル信号のチャンネルのための換算係数、即ち、一次換算係数、並びに、中央、正面、サラウンド、及びパン(pan)のための換算係数に対応する、AD_fade_byte、AD_gain_byte_center、AD_gain_byte_front、AD_gain_byte_surround、又はAD_pan_byteを更に含み得る。Pulse信号を含む多くの場合では、ミキシングメタデータを関連信号に直接的に関連付け得る。例えば、ミキシングメタデータ及び関連信号を同じ又は関連するストリーム中で共に伝送し得る。しかしながら、ここに記載する技法の適用は、そのような場合に如何様にも限定されるべきではなく、既述の技法は、関連信号に対する主信号のスケーリング情報をもたらすミキシングメタデータの受信を要求するだけである。

他の特徴によれば、本方法は、関連信号がモノラルでない限り、関連信号が主信号中に存在しないチャンネルを含まないという制約を更に含み得る。モノラル信号を、例えば、信号が中央チャンネルのみを有することを示す「音声コーディングモード」又は１のacmod値によって示し得る。それにも拘わらず、関連信号は、モノラル及びＬＥＦチャンネルを更に含み得る。その場合、関連信号のＬＦＥチャンネルは、主信号のＬＦＥチャンネルと混合され、関連信号のモノラルチャンネルは、主信号の主チャンネルの上にパニング(pan)され、パニング(panning)は、信号がどのように分配されるべきかを特定する値、例えば、「panmean」値に従って、信号を多重チャンネルの上に分割又は分配することを含む。

他の特徴によれば、主チャンネルがモノラルではなく、よって、左チャンネル及び右チャンネルを有するが、関連信号はモノラルである（即ち、ステレオ、サラウンド、又は左右構成部品を有さない）とき、関連信号のためのメタデータは、パンメタデータ情報を更に含み得る。例えば、そのようなパンメタデータ情報をミキシングメタデータ中のメタデータキー「panmean」によって提供し得る。次に、その方法は、モノラル関連信号を混合信号の対応する左チャンネル及び右チャンネルの上にパニング(pan)するようパン値(pan value)を使用することを含み、panmean値は、各チャンネルのための換算係数を計算し得る方向を特定する。ETSI TS 102 366 v1.2.1規格の「E.4.3.5 Panning」セクションは、panmean値を適用するための更なる詳細を提供している。この仕様によれば、panmeanは、モノラル関連信号が、復号化される主信号の「空間」内に現れるべき有効角を決定し、０度は、中心であり、＋／−９０度は、フルパニング(full pan)左又は右を示す。パンを３．１、５．１、及び１３．１のような様々な多重チャンネル信号に適用し得る。panmeanのための正確な範囲は、０〜２３９であり、それは１．５度の段階における０〜３５８．５度を表し、０度は、中央スピーカの方向である。例えば、１２１のpanmean値は、次の換算係、即ち、０．０７８左、０．９９７中央、０右、０．７３４左サラウンド、及び０．６７９右サラウンドで、５．１多重チャンネル信号の５つの非ＬＦＥチャンネルに適用される。

更に、他の実施態様では、追加的な換算係数を支配的信号に適用し得る。この換算係数を、メタデータから、追加的な入力制御から、或いは、ミキシング装置内の固定値から決定し得る。しかしながら、一定の知覚音響レベルの維持を一層更に向上させるために、この換算係数を、入力信号の実時間分析からも決定し得る。他の代替は、例えば、追加的な換算係数を、ダイアルノームを使用して、ビットストリームメタデータから派生させ得る。一部の場合において、換算係数は、単位元(unity)であり、この実施態様からの混合信号出力を前の実施態様の出力と同一にさせる。しかしながら、他の場合において、換算係数は、非単位元(non-unity)であり、この実施態様からの混合信号出力は、前の実施態様の出力と異なる。しかしながら、どの実施態様が使用されるかに拘わらず、支配的ストリームの会話レベルは依然として一定であり、混合信号の知覚会話レベルが一定のままであることを保証する。よって、他の特徴によれば、支配的信号に対して換算係数を適用することによっても、支配的信号をスケーリングし得る。支配的信号のこの追加的なスケーリングは、例えば、入力信号がミキシング前に正規化されない事態において、ミキシング装置内の入力音声信号の正規化を統合することを可能にするよう働き得る。

他の特徴によれば、本方法は、入力信号のためのコンテンツダイアルノームが適切に設定されたことを検証し、可能であれば、この条件が満足されなかったときに、ある表示をもたらすステップを更に含み得る。

他の特徴によれば、上述の信号をミキシングする方法を適用する、信号をミキシングする装置も提供される。同様に、上述の信号をミキシングする方法を適用する復号器も提供される。

他の特徴によれば、上述の方法のいずれかのステップを実行するコンピュータ読取り可能な命令を記憶する、プロセッサ読取り可能な記憶装置も提供される。同様に、プロセッサ上で実行されるときに上述の方法のいずれかを遂行するための実行可能な命令を含む、プロセッサ読取り可能なプログラム製品も提供される。

他の特徴によれば、入力音声信号を一貫した知覚音響レベルを備える単一の混合音声信号にミキシングするための装置も提供される。その装置は、主入力音声信号、関連入力音声信号、及びスケーリング情報を備えるミキシングメタデータを受け取るための受信器を含む。その装置は、主信号と関連信号との間の調節可能なバランスを示すミキシングバランス入力を更に含む。その装置は、支配的信号を特定し、入力信号をスケーリングし、且つ、それらの信号を混合信号に組み合わせるよう構成されるミキサを更に含む。支配的信号は、ミキシングメタデータ及びミキシングバランス入力によって提供されるスケーリング情報を分析することによって特定され、非支配的信号は、支配的信号に対してスケーリングされる。更に、入力音声信号を一貫した知覚音響レベルを備える単一の混合音声信号にミキシングするための装置も提供され、非支配的信号のための換算係数は、ミキシングメタデータ及びミキシングバランス入力からのスケーリング情報から直接的に決定される。非支配的信号は、その決定される換算係数を使用してスケーリングされ、そのスケーリングされる非支配的信号は、支配的信号と組み合わせられて、混合信号にされる。

他の特徴によれば、入力音声信号を一貫した知覚音響レベルを粗なる単一の混合音声信号にミキシングするための装置も提供され、それは関連入力音声信号と統合されるミキシングメタデータを受け取るよう構成される。その装置のミキシングバランス入力は、極めて大きな負の値から極めて大きな正の値までの値をもたらす外部使用者入力を更に含み得る。その装置の受信器は、多重チャンネル信号を受け取るよう更に構成されてもよく、ミキシングユニットは、多重チャンネル信号を混合するよう構成される。

上述の技法は、混合信号の一貫した知覚音響レベルを維持するよう設計される。そのような技法を信号レベリングとしても記載し得るので、信号をスケーリングする上述の技法を、信号レベルのレベリング及び調節の関係から見ることもできる。結果的に、その方法の主題が達成する結果に基づき信号をミキシングするための方法の主題を一般化するために、入力信号は、主信号のスケーリングと関連信号のスケーリングとの間の結果的としてスケーリングレベルの差が、本質的に、主信号のためのミキシングメタデータ換算係数と、ミキシングバランス入力値との合計であるようにスケーリングされなければならない。同様に、関連信号のためのミキシングメタデータ換算係数があるならば、主信号のスケーリングと関連信号のスケーリングとの間の結果としてのスケーリングレベルの差は、本質的に、主信号のためのミキシングメタデータ換算係数と関連信号のためのミキシングメタデータ換算係数との間の差と、ミキシングバランス入力値との合計である。

上述の方法を用いるならば、コンテンツ著作者は、主信号と関連信号との間のレベルの差に常に影響を及ぼし得る。結果的に、最終使用者も、主信号と関連信号との間のレベルの差に常に影響を及ぼし得る。更に、ミキシングバランス入力が、０の中性設定にあるとき、信号は正にコンテンツ著作者によって特定されるようにミキシングされる。ここに記載する技法は、唯一の信号としての主信号（その場合、関連信号は完全に減衰させられる）から、関連信号が再生中に存在する唯一の信号である他の極端（その場合、主信号は完全に減衰させられる）まで、ミキシングバランス入力の範囲を通じて、円滑な制御をもたらす。それにも拘わらず、支配的信号はレベリングされ、それが意味するのは、ミキシングメタデータ又はミキシングバランス入力のための値に拘わらず、他のプログラムに切り換えるときに或いは他のプログラムから切り換わるときに、聴取者が音響レベルの有意な変化を知覚してはならないことである。よって、会話音声のために、使用者は焦点の会話を選択し得るし、支配的会話は常にレベリングされる。何故ならば、支配的会話は、支配的信号と関連付けられるからである。

本特許出願中に概説するような実施例及び実施態様を含む方法及び装置を単独（スタンドアローン）で或いは本文書中に開示する他の方法及び装置との組み合わせにおいて使用し得る。更に、本特許出願中に概説する方法及び装置の全ての特徴を任意に組み合わせ得る。具体的には、請求項の機能を当業者に明らかな任意の方法において互いに組み合わせ得る。

添付の図面を参照して、以下の図面によって例示される実施例の使用を通じて、本発明を以下に説明する。

異なる音声プログラムの音響レベルを示すグラフである。 レベリング後の異なる音声プログラムの音響レベルを示すグラフである。 ミキサを備えるセットトップボックスを示すブロック図である。 支配的信号及びミキシング入力信号を特定するためのプロセスを示すプロセス図である。 支配的信号及びミキシングを特定するための流れを示すフロー図である。 主信号及び関連信号のための換算係数のプロットを示すプロット図であり、そこでは、その場合のために、ミキシングメタデータ換算係数は−１０ｄＢである。 主信号及び関連信号の図５Ａの換算係数の読取りのための実施例を示すプロット図であり、そこでは、ミキシングバランス入力が＋５ｄＢである場合のために、ミキシングメタデータ換算係数は−１０ｄＢである。 主信号及び関連信号の図５Ａの換算係数の読取りのための実施例を示すプロット図であり、そこでは、ミキシングバランス入力が−１５ｄＢである場合のために、ミキシングメタデータ換算係数は−１０ｄＢである。 ５．１多重チャンネル信号のミキシングを示す信号ブロック図である。 ５．１多重チャンネル信号をミキシングするためのある実施例を示すフロー図である。 図７のステップ７０３のためのＬＦＥチャンネルのための換算係数を決定するための流れを示すフロー図である。 ５．１多重チャンネル主信号と１．１関連信号（モノラル＋ＬＦＥ）とのミキシングを示す信号ブロック図である。

例えば、デジタル放送環境において、デジタル音声ストリーム内に音声メタデータを埋め込むことは一般的な着想である。そのようなメタデータは、「データについてのデータ」、即ち、ストリーム内のデジタル音声についてのデータである。メタデータは、どのように音声を再生(reproduce)するかについての情報を音声復号器にもたらし得る。そのようなメタデータは、デジタル音声ビットストリームと共に送信されるのが典型的である。このメタデータは、コンテンツ制作者が、ある範囲のリスニング環境内の消費者に最高品質のオーディオを供給するために、前例のない能力をもたらす。それは消費者がそれらの設定を彼らのリスニング環境に最適であるよう調節する選択肢も提供する。

ここに記載する技法を広範囲の音声信号フォーマット及びでコーディング方式に適用し得る。それらの方法を適用するために、それらの信号は、ミキシング情報を提供する音声信号を伴うメタデータを必要とするだけである。入力信号は単一チャンネルであり得るが、多くの場合には多重チャンネルを有し、例えば、周知の５．１マルチチャンネル信号は、６個のチャンネル、即ち、左、右、中央、左サラウンド、右サラウンド、及びＬＦＥ（低周波効果）を備える。そのようなミキシングメタデータのためのそのような音声信号フォーマットの２つの例は、Dolby Digital Plus (DD+又はE-AC-3 (Enhanced AC-3))及びHigh-Efficiency Advanced Audio Coding(HE-AAC)である。

Dolby Digital Plus(DD+又はE-AC-3 (Enhanced AC-3))は、AC-3コーデックに基づく強化された符号化システムであるデジタルオーディオ圧縮方式である。E-AC-3は、6.144Mbit/sピークの符号化ビットレートで、１３全域オーディオチャンネルまでをサポートする。例えば、文献ETSI TS 102 366 v1.2.1は、DD+メタデータを、例えば、「E1.3.1.17 extpgmscl: External Programme Scale Factor – 6 bits: 一部の用途において、２つのビットストリームを符号化し且つ一体に混合し得る。このフィールドはミキシング中に外部プログラム（即ち、別個のビットストリーム又は独立したサブストリームにおいて遂行されるプログラム）に適用されるべき換算係数(scale factor)を特定する。このフィールドは、pgmsclと同じスケールを使用する。」と、詳細に記載している。最も関連するミキシングメタデータは、以下のメタデータキー、即ち、extpgmscl、extpgmlscl、extpgmrscl、extpgmcscl、extpgmlsscl、extpgmrsscl、extpglfescl、pgmsclを含む。一部の場合には、例えば、関連音声信号がモノであるときには、メタデータキーpanmeanも使用し得る。

High-Efficiency Advanced Audio Coding（HE-AAC）は、ISO/IEC14496-3においてMPEG-4オーディオプロファイルとして定められるデジタルオーディオのための損失性データ圧縮方式である。それはストリーミングオーディオのような低ビットレート用途のために最適化された低複雑度AAC（AAC LC）の拡張である。HE-AACバージョン１プロファイル（HE-AAC v1）は、周波数領域内の圧縮効率を強化するためにスペクトル帯域複製（SBR）を使用する。HE-AACバージョン２プロファイル（HE-AAC v2）は、ステレオ信号の圧縮効率を強化するために、SBRをパラメトリックステレオ（PS）と結合させる。それはAACプラスコーデックの標準化及び改良版である。最も関連するミキシングメタデータは、以下のメタデータキー、即ち、AD_fade_byte、AD_gain_byte_center、AD_gain_byte_front、AD_gain_byte_surround、及びAD_pan_byteを含む。HE-AACは、DAB+又はDigital Radio Mondialeのようなデジタルラジオ基準において使用される。

その能力を十分に活用するために、コンテンツ著作者又はプロデューサは、制作中又は製作後に追加されるのが典型的な音声メタデータをしっかりと把握すべきである。

背景技術の部分に記載したように、異なるプログラムの一定の音響レベルを維持するために、最も現代的な音声信号は、音声信号をスケーリング(scaling)するために使用される会話レベルのようなメタデータを含む。そのようなスケーリングは、各信号が、同じ音響レベルも維持しながら高品質及び良好な圧縮を許容する形態において適切に表されることを可能にする。図１ａは、そのようなレベリング又は会話レベル正規化を備えない異なるプログラムの一例を示している。図面から分かるように、プログラムの音響レベルは異なるので、聴取者は１つのプログラムから他のプログラムに切り換わるときに、異なる音響レベルを知覚し得る。図１ａは、例えば、使用者がチャンネルを切り換える或いは新しいプログラムが時間ｔ０、ｔ１、ｔ２、及びｔ３で送信される場合における、４つの異なるプログラムＳ１、Ｓ２、Ｓ３、及びＳ４の音響レベルを例示している。時間の進行を水平軸に示し、音響レベルを垂直軸に示している。水平線Ａ１はプログラムＳ１の音響レベルを示しており、それは時間ｔ０〜ｔ１に進んでいる。同様に、水平線Ａ２、Ａ３、及びＡ４はプログラムＳ２、Ｓ３、及びＳ４の音響レベルをそれぞれ示しており、それらは時間ｔ１〜ｔ２、ｔ２〜ｔ３、及びｔ３〜ｔ４に進んでいる。それらから分かるように、音響レベルＡ１は音響レベルＡ２、Ａ３、及びＡ４よりも高い。

音響レベルの差を矯正するために、プログラム信号はレベリングされるか或いは共通の基準レベルにスケーリングされる。よって、図１ｂは、共通の基準音響レベルにレベリングされた後のプログラム信号を示している。信号のための基準音響レベルは、平均加重レベルとして表されるのが典型的であり、それは３１のダイアルノーム設定としてメタデータ中に特定されることが多い。図１ｂに見ることができるように、音響レベルＡ１’、Ａ２’、Ａ３’、及びＡ４’は全て同じである。よって、プログラム間で切り換わるとき、使用者は音響レベルの有意な変化を知覚しない。

多くの新しい音声信号フォーマットが、１つ又はそれよりも多くの関連信号が主信号とグループ化されることも可能にする。装置設定又は使用者選択のいずれかに基づき、例えば、再生中に、これらの音声信号を活性化し得る。そのような活性化は、関連信号をその対応する主信号と組み合わせることを含むのが典型的である。それらの信号を組み合わせて１つの信号にすることは、ミキシングと呼ばれる。例えば、プロデューサは監督の注解トラックを、例えばＤＶＤビデオの上の、サウンドトラックの上に提供し得る。次に、聴取者はセットトップボックス又はＤＶＤプレーヤを使用してこの関連トラックを活性化し、次に、それは主信号の上に重ね合わせられ、主信号と混合させられる。他のプログラムと同じ知覚音響レベルを維持するために、そのような関連信号は、それらの信号がどのように混合させられるべきかを特定するメタデータを含むのが普通である。このミキシングメタデータは、信号をどのように混合させるかに関する具体的な詳細を提供することによって、プロデューサが信号の混合を精密に制御することを可能にし、多重チャンネル信号を混合させるための詳細を特定する選択肢も含むことが多い。

ミキシングメタデータは、制作者によって構想される混合レベルを記載するが、聴取者は、ある時点で、それらの信号がどのように混合させられるべきかに関する異なる要望を有し得る。よって、聴取者は、他の信号が「焦点の会話」であることを欲することを決定し得る。よって、「焦点の会話」は、混合信号中で優勢でなければならない信号である。しかしながら、この「焦点の会話」は幾分主観的である。コンテンツ著作者は、その信号が焦点にあるべきかの着想を有するが、使用者がそれに対する支配を有することも望ましい。この出願の教示によれば、主信号及び関連信号のミキシングを調節するためのミキシングバランス制御入力の提供によって、「使用者焦点」の表示を達成し得る。

よって、１つの信号を他の信号よりも優遇するよう混合信号を調節することによって、使用者がメタデータによって特定される信号加重から逸脱することを欲する場合のために、ある実施態様は、ミキシングバランス入力の入力を可能にするために、ミキシングバランス制御を提供することを含む。このミキシングバランス制御は、使用者が、それらの信号のうちの１つが混合信号中により多く存在しなければならないこと並びにその信号がどの程度までより優勢でなければならないかを示すことを可能にする。加えて、このミキシングバランス入力は、使用者に焦点の信号に対する即座の制御をもたらす。標準位置において、ミキシングバランス制御は中立であり、それはミキシングがメタデータ中に特定されるように起こることを示す。ミキシングバランス制御が１つの方向（この実施態様では、負の方向）において回転されるとき、主信号は関連信号に対してより高音量にさせられる。バランス制御が他の方向（この実施態様では、正の方向）において回転させられるとき、関連信号は主信号に対してより高音量にさせられる。

しかしながら、そのようなミキシングバランス制御又はミキシングバランス入力が、次に、主信号及び関連信号のレベルを増大又は減少させるために使用されるとき、混合信号の音響レベル又は知覚会話レベルは、それによって変更させられる恐れがある。よって、活性化される関連信号を伴う或いは伴わないグログラム間の切換えは、図１ａに記載するような望ましくない状況を再び招き得る。よって、混合信号の知覚音響レベルも一定に維持されるよう、ミキシングバランス入力の下での関連信号及び主信号のミキシングを提供する必要がある。

ここに記載する技法を、セットトップボックス、非可搬式オーディオプレーヤ、ミキシング装置、ＤＶＤプレーヤ、テレビ、スマートフォン、又はコンピュータシステム用のＴＶ受信装置のような多くの実施態様において実施し得る。更に、個別の特徴をハードウェアシステム及びソフトウェアシステムの組み合わせにおいて実施し得る。ここに記載する技法に従ったミキサを含むセットトップボックスに基づき１つの具体的な実施態様の構成部品をより詳細に記載する。この実施態様のセットトップボックスを図２に例示する。セットトップボックス２００は、受信器２０９と、ミキサ２０４と、プロセッサ２０５とを含む。この実施例はこれらの構成部品を具備して示されているが、ここに記載する技法の適用は、この厳密な構成に限定されるべきではない。例えば、受信器２０９をミキサ２０４に統合し得る。更に、セットトップボックス２００は、プロセッサを有する必要はない。何故ならば、その機能性を従来的な電子回路によって遂行し得るからである。この実施例において、セットトップボックス２００の受信器２０９は、主入力信号２０１と、対応するメタデータを含む関連入力音声信号２０２とを受信するよう構成される。一部の場合、受信器は、別個に送信又は符号化し得るミキシングメタデータを受信するよう更に構成される必要があり得る。必要であれば、信号の復号化に従って入力信号２０１，２０２及び対応するミキシングメタデータ２０２ａを複合するよう受信器２０９を更に構成し得る。加えて、セットトップボックス２００及びミキサ２０４は、ミキシングバランス制御入力２０３を受信するようにも構成される。任意的に、ミキシングバランス制御入力２０３の特別な復号化を遂行するよう受信器２０９を構成し得る。ミキシングバランス制御入力２０３の更なる特徴及び厳密な実施のための様々な選択肢がある。例えば、セットトップボックス２００は、使用者が遠隔制御装置によってアクセスされるメニューを介してこのミキシングバランスレベルを設定することを可能にするよう、この入力を遠隔制御装置とリンク（連結）し得る。もちろん、セットトップボックス２００又はその遠隔制御装置は、ミキシングバランス制御入力を、入力ダイアル、プラス及びマイナスのキー、又は類似の入力装置のような、専用素子で実現し得る。もちろん、ミキシングバランス制御入力２０３を他のシステム又は装置からの信号として受信するようセットトップボックス２００及びミキサ２０４を構成してもよい。いずれにしても、支配的信号２０６は、主入力信号２０１、関連入力音声信号２０２、ミキシングメタデータ２０２ａ、及びミキシングバランス制御入力２０３に基づき、ミキサ２０５のプロセッサ２０４によって特定される、入力信号である。よって、非支配的信号２０７は、支配的信号２０６であると決定されない他の入力信号である。次に、非支配的信号がスケーリングされた後、スケーリングされた非支配的信号２０７ｓは、非支配的信号２０７である。最終的に、支配的信号２０６及びスケーリングされた非支配的信号２０７ｓは、混合信号２０８として混合される。

図２の構成に基づく音声信号のミキシングのためのこの目標を達成する１つの例示的な解決策を図３に例示する。このように、入力は、主入力信号２０１と、関連入力信号２０２と、ミキシングバランス制御入力２０３とで構成される。先ず、ステップ３０１において、ミキサ２０４、セットトップボックス２００、及び／又は受信器２０９によって、主入力信号２０１を受信する。ステップ３０２において、ミキシングメタデータ２０２ａを含む関連入力信号２０２を受信する。関連入力信号２０２内へのミキシングメタデータ２０２ａの包含は、この実施例のためだけであり、その技法の適用を限定するものと解釈されてはならない。何故ならば、他の規格及び信号復号化フォーマットは異なり得るからである。ステップ３０３において、ミキシングバランス制御入力２０３を受信する。これらのステップは、信号のフォーマットを要求し得る如何なる特別な復号化をも含む。次に、ステップ３０４において、混合されるべき入力信号２０１，２０２から支配的信号２０６を特定するために、ミキシングメタデータ２０２ａ及びミキシングバランス制御入力２０３からのスケーリング情報を使用する。このステップを一般的な電子装置又は回路によって遂行し得る。何故ならば、このステップは、入力信号の如何なる高出力計算、測定、徹底分析、又はサンプリングをも必要としないからである。次に、任意的ステップ３０５において、非支配的信号２０７のための換算係数をミキシングメタデータ２０２ａ及びミキシングバランス制御入力２０３から直接的に決定し得る。ステップ３０６において、非支配的信号２０７をスケーリングする。非支配的信号２０７のための換算係数が、ミキシングメタデータ２０２ａ及びミキシングバランス制御入力２０３に基づきステップ３０５において決定される場合、ステップ３０６は、ステップ３０５において決定する換算係数に従った非支配的信号２０７のスケーリングを含む。最終的に、ステップ３０７において、最終ステップ３０８の混合信号２０８として、スケーリングした非支配的信号を支配的信号２０６と組み合わせる。

ある更なる実施態様は、直接的にミキシングメタデータ２０２ａ及びミキシングバランス制御入力２０３に基づく非支配的信号２０７のための換算係数の決定のために、任意的ステップ３０５を含む。図４は、この更なる実施態様のための決定のためのフローチャートを示している。支配的信号２０６の特定は、ミキシングバランス制御入力２０３及びミキシングメタデータ２０２ａに基づく。一部の場合、ミキシングメタデータ２０２ａは、関連信号のための換算係数も含む。このメタデータ値が存在するならば、信号を混合するためにメタデータ換算係数を調節するよう、これを使用し得る。よって、任意的ステップ４０１において、関連信号のための換算係数を主信号のための換算係数から減算することによって、主信号のための換算係数を調節し得る。ステップ４０２において、ミキシングバランス制御入力２０３の値を調節後のメタデータ換算係数と比較する。換算係数がステップ４０１において調節されない場合には、ミキシングバランス制御入力２０３の値をミキシングメタデータ２０２ａからの主信号のための換算係数と比較する。ミキシングバランス制御入力２０３の値がミキシングメタデータ換算係数２０２ａよりも大きい「はい」の場合のために、ステップ４０３ｙにおいて、関連信号２０２は支配的信号２０６であり、主信号２０１は非支配的信号２０７であると決定する。さもなければ、ミキシングバランス制御入力２０３の値がミキシングメタデータ換算係数２０２ａ以下である「いいえ」の場合のために、ステップ４０２ｎにおいて、主信号２０１は支配的信号２０６であり、関連信号２０２は非支配的信号２０７であると決定する。両方のステップ４０３ｙ及び４０３ｎの後にステップ４０４が続き、そこでは、非支配的信号２０７をスケーリングする。ステップ４０５において、支配的信号２０６をスケーリング後の信号２０７ｓと組み合わせて、ステップ４０６の混合信号２０８を形成する。

図５は、関連信号２０２を主信号２０１とミキシングするときに主信号及び関連信号２０１，２０２に適用されるべき換算係数の具体的な実施例を例示するプロット図を示している。この実施例において、関連信号２０２のミキシングメタデータ２０２ａの換算係数は、主信号２０１が−１０ｄＢだけスケーリングされるべきことを特定する。関連信号２０２と混合させられるときの主信号２０１のスケーリングのためのこの−１０ｄＢの換算係数は、マスター製作時にコンテンツ制作者によって設定される所望のミキシング関係を示す。図５の水平軸は、ミキシングバランス制御入力２０３が負の無限大から正の無限大に変化するときの、ミキシングバランス制御入力２０３を示している。垂直軸は、換算係数を、下から上に、−∞ｄＢから０ｄＢまで、ｄＢにおいて示している。図５の２つのプロットは、−∞から＋∞まで、ミキシングバランス制御入力の全ての値のために座標で示した、２つの入力信号のための換算係数を示している（ミキシングバランス制御入力の値は、水平軸の上にある）。２つの線プロット（一方は破線であり、他方は点線である）は、夫々、主信号２０１及び関連信号２０２のための換算係数を表している。よって、破線５０１ａ，５０１ｂのプロットは主信号を示し、点線５０２ａ，５０２ｂのプロットは関連信号を示している。図面から分かるように、ミキシングバランス制御入力２０３が中立設定、即ち、ゼロｄＢにあるとき、ミキシングバランス制御入力２０３は何らの影響も及ぼさず、換算係数は、メタデータ２０２ａ中に特定されるようである。即ち、この実施例において、（関連信号に対する主信号の減衰量を示す）特定されるメタデータ換算係数が−１０ｄＢである場合、関連信号２０２は主信号２０６であり、スケーリングされず、主信号２０１は−１０ｄＢのメタデータ換算係数に従ってスケーリングされる。しかしながら、図面から分かるように、ミキシングバランス制御入力２０３が、ミキシングメタデータ換算係数よりも負に、即ち、−１０ｄＢにされるならば、主信号２０１は支配的信号２０６になる。更に、それらの入力信号のうちの何れが支配的信号であるかを、図５中に印５０１ａ，５０１ｂ及び５０２ａ，５０２ｂによって示す。図５において、水平線５０１ａは、主入力信号２０１が支配的信号２０６であるときの主入力信号２０１を表し、対角線５０１ｂは、主入力信号２０１が非支配的信号２０７であるときの主入力信号２０１を表し、水平線５０２ｂは、関連信号２０２が支配的信号２０６であるときの関連信号２０２を表し、対角線５０２ａは、関連信号２０２が非支配的信号２０７であるときの関連信号２０２を表している。

図５における場合の換算係数を判読するための具体的な実施例のために、図５ａは、ミキシングバランス制御入力２０３が＋５ｄＢの値を有する場合のための換算係数を示しており、図５におけるように、主信号のためのミキシングメタデータ換算係数は−１０ｄＢである。図面から、主信号２０２のための換算係数５０１ａは−１５ｄＢ（−１０ｄＢ−５ｄＢ＝−１５ｄＢ）あるのが分かる。関連信号２０２のための換算係数５０２ａは、０ｄＢである。関連信号２０２は支配的信号２０６であるので、関連信号２０２のための換算係数は１(unity)でなければならないことが予想される。よって、ミキシングバランス制御入力２０３が関連信号２０２を利させるように増大されるならば、関連信号２０２は支配的信号２０６のままであり、関連信号２０２はスケーリングされず、主信号２０１のみがスケーリングされる。

他方、図５ｂは、ミキシングバランス制御入力２０３が−１５ｄＢの値を有する図５の場合のための換算係数を示しており、図５におけるように、主信号のためのミキシングメタデータ換算係数は−１０ｄＢである。図面から、主信号５０１ｂのための換算係数は０ｄＢであり、よって、主信号は支配的信号２０６であるので、主信号２０１はスケーリングされないこと、並びに、関連信号２０２は、−５ｄＢ（−１５ｄＢ−（−１０ｄＢ）＝−５ｄＢ）の関連換算係数によってスケーリングされることが分かる。

更に、図５Ａ、５Ｂ、及び５Ｃから、ミキシングバランス制御入力２０３が正の無限大に設定されるとき、主信号２０１は完全に減衰させられ、関連信号２０２はスケーリングされないことが分かる。逆に、ミキシングバランス制御入力２０３が負の無限大に設定されるとき、主信号はスケーリングされず、関連信号２０２は完全に減衰させられるのが分かる。

多重チャンネル信号をミキシングするためにもここに記載する方法を適用し得る。一般的な多重チャンネル信号に２〜１４の異なるチャンネル（例えば、ステレオのために２チャンネル、モノラル＋ＬＦＥのために２チャンネル、３．１のために４チャンネル、５．１のために６チャンネル、及び１３．１のために１４チャンネル）があるように、多重チャンネル信号のためのミキシングメタデータは多くの異なる形態を有し得るので、ここでは、汎用的なメタデータキーの使用を通じて方法を記載する。実際には、当業者は、以下に列挙する汎用メタデータを、それらの信号によって使用される特定の復号化と置換する必要がある。よって、「sclmain」、「scl[ch]」、及び「pan」の総称を以下に使用し、そこでは、「sclmain」は、主換算係数であり、「scl[ch]」は、各個別のチャンネルの換算係数であって、［ch］は、チャンネルのための指数であり、「pan」は、それらのチャンネルが異なる多数のチャンネルとの混合物にどのように適用されるべきか（例えば、左側チャンネルにモノラル信号の５０％を、右側チャンネルに５０％、他のチャンネルに０％、或いは、左側チャンネルに６０％、中央チャンネルに４０％、右側のＬＦＥ及びサラウンドチャンネルに０％のように、例えば、モノラル信号をどのように５．１信号に適用するべきか）を示す任意的な値である。

表１は、（ES及びPESのために一般的な）ミキシングメタデータを一般化した表示であり、列１は、汎用メタデータキーを示し、列２は、ESのための（例えば、Dolby Digital Plus又はDD+のための）対応するメタデータを示し、列３は、PESのための（例えば、Dolby Pulse又はDVBのための）対応するメタデータを示している。

後続の部分及び以下の擬似コードのために、「Pref」の表現は、主信号２０１と関連信号２０２との間のバランスを調節するためのミキシングバランス制御入力値２０３を示す。ミキシングバランス制御入力２０３の値は、［−∞〜＋∞］の範囲を有し、−∞は、関連信号の完全な減衰に至り、０は、ミキシングメタデータ２０２ａに従ったミキシングに至る中性値であり、無限大は、主信号２０１の完全な減衰に至る。

５．１多重チャンネル主信号２０１と５．１多重チャンネル関連信号２０２とを含むこの実施例において、多重チャンネル信号のための技法の適用は、以下の擬似コードをもたらし、gainA及びgainM[ch]は、関連信号２０２及び主信号２０１のチャンネルに対してそれぞれ適用される換算係数又は有効利得である。

以下の擬似コードは、ｄＢ領域（ドメイン）で作動する。

この擬似コードは、入力信号のための各チャンネルのために実行される。

よって、ミキシングバランスがその最大値である＋∞ｄＢにあるとき、関連信号２０２は支配的信号２０６であり、よって、主信号２０１は完全に減衰させられ、混合信号２０８は本質的にスケーリングされない関連信号２０２である。対照的に、ミキシングバランス２０３がその最小値である−∞ｄＢにあるとき、主信号２０１は支配的信号２０６であり、よって、関連信号２０２は完全に減衰させられ、混合信号２０８は本質的にスケーリングされない主信号２０１である。

この具体的な実施例において、主信号が支配的信号である場合には（その他の項におけるgainM[ch] = sclmain + mainschltotalの線）、支配的信号を僅かにスケーリングしてもよい。これはアルゴリズムが主信号に対する正の利得の適用を防止するのを可能にし、それはＤＤ＋メタデータで可能である。最終結果は、幹線(main)の最も高音量のチャンネルが０ｄＢに限定されることであるべきであり、それは支配的信号が１つの利得を有するべきであるという一般原理と概ね整合する。

この擬似コードを特定のメタデータに適用するために、適切なメタデータ用語は、scl[ch]のような汎用的な変形と置換されなければならない。よって、多数のチャンネル、復号化の種類、及び信号中で利用可能なメタデータを含む、特定の形態の信号に基づき、当業者は、ある特定の場合のために、適切な汎用化されたメタデータキーをマッピングし得なければならない。一部の特定の場合のために、上記に列挙するメタデータの全ては関連しなくてもよい。例えば、５．１多重チャンネル信号をミキシングするために、当業者は、関連信号が主信号と全く同じチャンネルを既に含むので、panメタデータが存在しないか或いは無視されるべきであるかを決定し得なければならない。

関連信号２０２がモノラルであり主信号２０１がモノラルでない場合のために、パニング利得(panning gain)を関連信号２０１に適用可能でなければならない。この場合、関連信号がＬＦＥチャンネルを有するならば、scl[lft]のような上記の擬似コード中に記載するように、ＬＦＥチャンネルを混合し得る。

ESレベルミキシングメタデータを使用してDD+をミキシングするために、以下のESレベルミキシングメタデータキー、即ち、extpgmscl、panmean、extpgmlscl、extpgmrscl、extpgmcscl、extpgmlsscl、extpgmrsscl、extpgmlfescl、pgmsclを使用する。

一般的には、ミキシングにおいて、全ての他のミキシングメタデータは必要とされない。ダウンミキシングのためにメタデータキーdmxsclを追加的に使用し得る。ダウンミキシングは、異なる数のチャンネルを備えるフォーマットへの信号のマッピングである。ミキシング中に主チャンネルのためのメタデータ換算係数を調節するために、関連信号のための換算係数を表すメタデータキーpgmsclを追加的に使用し得る。上記の擬似コードのために、変数sclassoは、pgmsclを表す。擬似コードの線、if (pref > mainscltotal - sclasso）から、DD+においてメタデータキーpgmsclを表すsclassoは、支配的信号を決定するｉｆ比較に影響を及ぼすことが分かる。何故ならば、sclassoは、prefを用いた比較の前に、mainscltotalから減算されるからである。しかしながら、sclassoの使用は任意であり、sclassoが存在しないならば或いはその値を使用することが望ましくないならば、prefは、mainsscltotalと単に比較される。

例えば、DVBにおいて、PESレベルミキシングメタデータを使用してDolby Pulse/HE-AACをミキシングするために、以下のESレベルミキシングメタデータ、即ち、AD_gain_byte_center、AD_gain_byte_front、AD_gain_byte_suroundを使用する。

最良の結果のために、[AD_gain_byte_center + AD_fade_byte]、[AD_gain_byte_front + AD_fade_byte]、[AD_gain_byte_surround + AD_fade_byte]の各々の結果として得られる最大利得は、＋１２ｄＢより高くてあってはならず、AD_gain_byte_center、AD_gain_byte_front、AD_gain_byte_surroundの間の関係は維持されなければならない、即ち、AD_fade_byte = min (12dB、AD_fade_byte + max(AD_gain_byte_center、AD_gain_byte_front、AD_gain_byte_surround))でなければならない。

図６は、５．１多重チャンネル信号６１０を、ミキシングメタデータ６４０、例えば、Dolby Digital Plus (DD+又はE-AC-3 (Enhanced AC-3))信号を含む５．１多重チャンネル関連信号６２０とミキシングするための、ある更なる実施態様を示している。入力は、ミキシングバランス制御入力６０１と、主信号６１０と、ミキシングメタデータ６４０を備える関連信号６２０とを含む。この実施例において、入力主信号６１０は及び出力混合信号６３０は、６チャンネル、即ち、左、右、中央、左サラウンド、右サラウンド、及びＬＦＥ(low-frequency effects)を含む、５．１多重チャンネル信号である。よって、主入力信号６１０は、６つのチャンネル、即ち、左６１１、右６１２、中央６１３、左サラウンド６１４、右サラウンド６１５、及びＬＦＥ(low-frequency effects)６１６を含む。関連信号６２０も、６チャンネル、即ち、左６２１、右６２２、中央６２３、左サラウンド６２４、右サラウンド６２５、及びＬＦＥ(low-frequency effects)６２６を含む。ミキシングメタデータ６４０も、主換算係数６４７と、６チャンネル、即ち、左６４１、右６４２、中央６４３、左サラウンド６４４、右サラウンド６４５、及びＬＦＥ(low-frequency effects)６４６のための換算係数とを含む。一部の場合、ミキシングメタデータは、関連信号６４８のための換算係数を更に含み得る。関連信号のためのこの換算係数が存在しないならば、それは無視されるか或いは単位元(unity)又は０ｄＢとして処理される。ミキサ６００は、ミキシングバランス入力６０１からの入力を受け取るようにも構成される。ミキシングメタデータ６４０及びミキシングバランス入力６０１に基づき、各チャンネル６５１，６５２，６５３，６５４，６５５，６５６のための換算係数が、図７Ａにも示す上記擬似コード中のロジック（論理）に基づき決定され、図７Ａは、各チャンネルのための換算係数がどのように決定されるかを記載するフローチャートである。ミキシング換算係数６５１，６５２，６５３，６５４，６５５，６５６から、入力信号の各チャンネルをスケーリングし、主スケーリングは非支配的信号に起こり、支配的信号は最小にスケーリングされるだけであるか或いは全くスケーリングされない。最終的に、スケーリング後のチャンネル信号６６０，６７０の対応するチャンネルが組み合われて混合チャンネルになり、その場合、６個の混合チャンネル６３１，６３２，６３３，６３４，６３５，６３６は、５．１混合出力信号６３０を含む。よって、出力される混合５．１信号６３０も、６チャンネル、即ち、左６３１、右６３２、中央６３３、左サラウンド６３４、右サラウンド６３５、及びＬＦＥ(low-frequency effects)６１６を含み、それらは、図７Ａのロジックに従ってそれぞれ計算される。

図７Ａは、５．１多重チャンネル入力主信号６１０を５．１多重チャンネル入力関連信号６２０とミキシングするための図６の実施態様を記載するフローチャートを示しており、主信号６１０が支配的信号２０６であるならば、支配的信号２０６を僅かにスケーリングしてもよい。図６に示すように、入力は、ミキシングバランス入力６０１と、主信号６１０と、ミキシングメタデータ６４０を備える関連信号６２０とを含み、入力信号及び混合出力信号６３０は、５．１多重チャンネル信号である。よって、信号６１０，６２０，６３０は、６チャンネルを含み、ミキシングメタデータ６４０は、主換算係数６４７と、６チャンネル、即ち、左６４１、右６４２、中央６４３、左サラウンド６４４、右サラウンド６４５、及びＬＦＥ(low-frequency effects)６４６のための換算係数とを含む。一部の場合、ミキシングメタデータ６４０は、関連信号sclasso６４８のための換算係数を更に含む。sclasso６４８が存在しないか或いはミキシング中に使用されるのが望ましくないならば、sclassoのために０ｄＢの値を使用し、他の換算係数の調節を行わない。ステップ７０１において、５個の「通常チャンネル」、即ち、左６４１、右６４２、中央６４３、左サラウンド６４４、及び右サラウンド６４５の最大換算係数を「maxscl」として決定する。次に、ステップ７０２において、mainscltotalをsclmain６４７及びmaxsclの合計として計算し、そこでは、sclmain６４７は、ミキシングメタデータの主換算係数であり、maxsclは、通常チャンネル６４１，６４２，６４３，６４４，６４５の換算係数の最大である。ＬＦＥ換算係数を決定するステップ７０３を図７Ｂにより詳細に記載する。

図７Ｂは、２つの５．１多重チャンネル信号をミキシングするための図７Ａの実施例に関するＬＦＥチャンネルのための換算係数を決定するための、図７Ａのステップ７０３の詳細を提供するフローチャートを示している。ステップ７０３ａにおいて、ＬＦＥチャンネル６４６のためのミキシングメタデータを、図７Ａのステップ７０１において決定する他のチャンネルのための最大換算係数maxsclと比較する。ＬＦＥ換算係数６４６がmaxscl以上であるならば、ステップ７０３ｙにおいて、ＬＦＥチャンネルのための換算係数gain[lfe]６５６がmaxsclであると決定する。さもなければ、否定的な場合には、ステップ７０３ｎにおいて、ＬＦＥチャンネルのための換算係数gain[lfe]６５６がＬＦＥチャンネル６４６のためのミキシングメタデータからの換算係数であると決定する。次に、ステップ７０３ｎにおいて、ステップ７０３ｙ又は７０３ｎにおいて計算する値からgain[lfe]６５６を決定する。信号をミキシングするためにＬＦＥチャンネルに適用されるべき換算係数であるgain[lfe]６５６を、後に図７Ａのステップ７０７ｎ及び７０７ｙにおいて使用する。

次に、図７Ａを続けると、ステップ７０４において、ミキシングバランス制御入力６０１の値であるprefをmainscltotalから関連信号のための換算係数であるsclasso６４８を減算した値と比較する。sclasso６４８は存在しなくてもよく或いはsclassoを無視してもよく、その場合には、prefをmainscltotalと単に比較することに留意のこと。例えば、DD+信号のために、メタデータキーpgmsclは、sclasso６４８に対応する。pref６０２がmainscltotalからsclasso６４８を減算した値よりも大きいならば、ステップ７０５ｙにおいて、関連信号６２０が支配的信号２０６であると決定する。次に、７０６ｙでは、関連信号は支配的信号であるので、関連信号のための利得はなく、よって、関連信号のための利得は、関連信号がスケーリングされていないことを示す単位元(unity)又は０ｄＢである。次に、７０７ｙにおいて、全てのチャンネル（左、右、中央、左サラウンド、右サラウンド、及びＬＦＥ）のための主信号の各チャンネルのための利得gainM[ch]６５１，６５２，６５３，６５４，６５５を、主換算係数sclmain６４７と通常チャンネルscl[ch]６４１，６４２，６４３，６４４，６５５のための換算係数からｐｒｅｆ６０２を減算しsclassoを減算した値との合計として決定する。７０７ｙにおける計算を主信号の全ての６チャンネルのために反復する。

pref６０２がmainscltotalよりも大きくないので、ステップ７０４における決定が否定的であるならば、ステップ７０５ｎにおいて、主信号が支配的信号であると決定する。次に、７０６ｎにおいて、関連信号の利得係数gainAを、pref６０２からmainscltotalを減算し且つsclasso６４８を加算した値として決定する。この具体的な実施例のこの具体的な場合では、主信号が支配的信号であると決定し、主信号６２０の各チャンネルのための換算係数６５１，６５２，６５３，６５４，６５５，６５６をsclmain６４７に対応するチャンネルscl[ch]６４１，６４２，６４３，６４４，６５５のための換算係数を加算し且つmainscltotalを減算した値として計算するとしても、主信号６１０もスケーリングする。よって、ステップ７０７ｎにおいて、全てのチャンネル（左、右、中央、左サラウンド、右サラウンド、及びＬＦＥ）のための主信号の各チャンネルのための利得gainM[ch]６５１，６５２，６５３，６５４，６５５を、sclmain６４７とscl[ch]６４１，６４２，６４３，６４４，６４５とからmainscltotalを減算した値として決定する。７０７ｎにおける計算を全ての６チャンネルのために反復する。ステップ７０６ｙ，７０７ｙ，７０６ｎ，７０７ｙからの利得並びに入力信号６２０，６１０をステップ７０８に送り、そこでは、主信号６１１，６１２，６１３，６１４，６１５，６１６及び関連信号６２１，６２２，６２３，６２４，６２５，６２６の各々のチャンネルを、決定された換算係数６５１，６５２，６５３，６５４，６５５，６５６に従ってスケーリングする。典型的な場合には、支配的信号のみをスケーリングするが、この特別な場合には、非支配的信号もスケーリングすることに留意のこと。次に、６チャンネルの各々のために反復するステップ７０９では、各チャンネルのためのスケーリング後の関連信号６７０及びスケーリング後の主信号６６０を混合させて、６個の混合チャンネル６３１，６３２，６３３，６３４，６３５，６３６に至らせる。最終的に、ステップ７１０において、６個の混合チャンネル６３１，６３２，６３３，６３４，６３５，６３６を組み合わせて、ステップ７１１の５．１混合出力信号６３０を含むよう単一信号にする。

図８は、５．１多重チャンネル主信号８１０を、ミキシングメタデータ８４０、例えば、Dolby Digital Plus (DD+又はE-AC-3 (Enhanced AC-3))信号を含む２チャンネルモノラル＋ＬＦＥ関連信号８２０とミキシングするためのミキサ８００の、ある更なる実施態様を示している。入力は、ミキシングバランス入力８０１と、主信号８１０と、ミキシングメタデータ８４０を備える関連信号８２０とを含む。この実施例において、入力主信号８１０及び出力混合信号８３０は、６チャンネル、即ち、左、右、中央、左サラウンド、右サラウンド、及びＬＦＥ(low-frequency effects)を含む５．１多重チャンネル信号である。よって、主入力信号８１０は、６チャンネル、即ち、左８１１、右８１２、中央８１３、左サラウンド８１４、右サラウンド８１５、及びＬＦＥ(low-frequency effects)８１６を含む。モノラル＋ＬＦＥ関連信号８２０は、２つのチャンネル、即ち、中央８２３及びＬＦＥ(low-frequency effects)８２６のみを含む。ミキシングメタデータ８４０は、主換算係数８４７と、６チャンネル、即ち、左８４１、右８４２、中央８４３、左サラウンド８４４、右サラウンド８４５、及びＬＦＥ(low-frequency effects)とのためのスケーリング値を備えるメタデータも含む。ミキサ８００は、ミキシングバランス入力８０１からの入力を受け取るためにも構成される。ミキシングメタデータ８４０及びミキシングバランス制御入力８０１に基づき、各チャンネル８５１，８５２，８５３，８５４，８５５，８５６のための換算係数を、図７にも示す上記擬似コード中のロジックに基づき決定する。図７は、各チャンネルのための換算係数をどのように決定するかを記載するフローチャートである。ミキシング換算係数から、非支配的入力信号２０７の各チャンネルをスケーリングし、そこでは、支配的信号２０６を概ね全くスケーリングしないか、或いは、特別な場合において最小にのみスケーリングする。関連信号のモノラル＋ＬＦＥチャンネルのモノラルチャンネルを５．１チャンネルの上にパニング(pan)するために、panmean値を使用する。panmeanは、０．５度段階における０〜３５８．５度を表す０〜２３９の値であり、０度は、中央スピーカの方向である。panmeanの適用に関するより詳細は、ETSI TS 102 366 v1.2.1の”E.4.3.5 Panning”のセクションを参照のこと。最終的に、２つのスケーリング済み入力信号のための６チャンネルの対を、各チャンネルのために２つ１組に組み合わせ、６個の混合チャンネル８３１，８３２，８３３，８３４，８３５，８３６にする。その場合、６個の混合チャンネル８３１，８３２，８３３，８３４，８３５，８３６は、５．１混合出力信号８３０を含む。よって、出力混合５．１信号８３０も、６チャンネル、即ち、左８３１、右８３２、中央８３３、左サラウンド８３４、右サラウンド８３５、及びＬＦＥ(low-frequency effects)を含み、それらは図７のロジックに従ってそれぞれ計算される。

一般的には、最良の結果のために、混合信号のチャンネルモードは、復号する主音声信号と同じであるべきであるが、チャンネルモードを後の段階に変更し得る、例えば、ダウンミックスし得る。殆どの場合、ミキシングバランス入力の値は小さい、一般的には、最大でも１０ｄＢであることが予想されるが、その技法は任意に大きい（及び小さい）値を支持する。

一部の場合には、主信号及び関連信号のチャンネルの数は異なり得る。そのような場合には、ここに記載する技法を依然として適用可能であり、その場合、入力チャンネルの一部は、入力信号内に存在し得る或いは存在し得ない混合信号のチャンネルにマッピングされなければならない。最良の結果のためには、関連信号がモノラル(acmod 1)であるか或いは関連信号のチャンネルを主信号のチャンネルに他の方法で適切にマッピングし得ない限り、関連信号は、主信号中にも存在するチャンネル場所だけを含まなければならない。同様に、主信号も低周波数効果（ＬＦＥ）チャンネルを含むならば、ＬＦＥチャンネルは関連信号内にのみ存在するのが好ましい。さもなければ、関連信号のＬＦＥチャンネルは、ミキシングプロセス中に無視されなければならない。同様に、関連信号がモノラル＋ＬＦＥであるならば、ＬＦＥは、好ましくは、主音声ＬＦＥに混合されるべきであり、モノラルは、好ましくは、主音声信号の主チャンネルの上にパニングされるべきである。

一般的には、ミキシングプロセスのために入力信号が正規化されるのが好ましい。結果は同じなので、支配的信号の決定の前又は後に正規化を適用し得る。実際には、入力信号のコンテンツダイアルノーム値が正しく設定されることを保証し且つ主信号及び関連信号の両方がミキシング前に会話レベル３１にあることを保証するのが好ましい。引き続き、「焦点の信号」と考えられる支配的信号のレベルは、ダイアルノーム３１でミキサから出るのも理想的である。入力信号が正規化されないならば、一般的には、正規化はミキシング前に行われなければならないが、正規化を伴わずにその技法を適用し、必要であれば、混合信号を次に正規化し得る。

多重チャンネル信号をミキシングするとき、scl[ch]の間の関係は、出て行く信号において維持されるのが好ましい。しかしながら、scl[lfe]が全ての他のscl[ch]よりも高い値を有するならば（初期設定では伝送されるか或いはゼロ）、それは他のscl[ch]の最大値に向かって修正される。

Dolby Pulse信号のために、ミキシングメタデータは、Annex E.のETSI TS 101 154 V1.9.1及びETSI TS 102 366 V1.2.1のセクション”E.2”（DVB blue book A0001 r8も参照）に定められるように、サブ音声ストリーム内に含められるのが典型的である。メタデータがストリーム信号中にどのように伝送され或いは圧縮されるかに拘わらず、ミキシングメタデータが利用可能である限り、ここに記載する技法を依然として適用し得る。よって、そのような場合を取り扱うためには、既述の実施態様及び実施例を適切に適合しなければならないかもしれない。

監督の注釈を含む関連トラックを備える上記実施例は、１つの実施例であるに過ぎない。しかしながら、信号に含められるコンテンツに拘わらず、既述の技法を主信号及び関連信号の如何なる混合にも適用し得る。例えば、第１の信号は、ライブのスポーツプログラムを含み、第２の信号は、ローカルな注釈及び／又は代替的な言語の注釈をもたらす。ここには、信号をどのように配給するかについての多数の可能性がある。例えば、第１の信号は、注釈のない一般的なサウンドトラックであり得るし、第２の信号は、ローカルな注釈であり得る。

ここに記載する技法の更なる使用事例は、聴覚障害者のための別個のトラックに関連してもよく、関連信号は、会話の理解を向上するための特別な強化機能を含む。同様に、視覚障害のある視聴者のための助けとして、関連信号は、シーンコンテンツの口語の説明を含み得る。

しかしながら、ここに記載する技法は会話のみに限定されず、音楽のような全ての種類の音声信号にも適用し得る。何故ならば、その技法は知覚音響レベルに基づくからである。例えば、音楽に関して、関連トラックは、音楽のための追加的なオーバーレイ器楽トラック又は音声を含み得る。換言すれば、主トラックは、例えば、ピアノ及びアコースティックギターを用いた基本的な器楽トラックであり、第１の関連トラックが音声オーバーレイを含み、第２の関連トラックがエレキギター及びベースギターを用いたロック音楽、第３の関連トラックが激しく速い(hard fast)ベースビートを用いたテクノオーバーレイを備え、コンテンツ著作者は、各関連トラックがどのように混合されるべきかを特定する所望のミキシング特性を特定する機会を有し、ここに記載する技法は聴取者が、混合信号のためのバランス入力を調節することによって、これらの設定をカスタマイズすることを可能にする。他の実施例として、その技法を、弦楽器又は打楽器及び声楽のような器楽のような、異なるチャンネルが異なる音楽特徴を含む音楽信号にも適用可能であり、そこでは、異なるチャンネルはメタデータ及びミキシングバランス入力を介して混合される。

ここに記載する技法は、混合信号中の支配的信号の決定に依存する。よって、支配的信号であると決定される信号は、最高の複合利得を受け取る。ミキシングバランス入力制御の使用を通じて混合信号の一定の知覚音響レベルを維持することに加えて、使用者は常にミキシングバランスを制御し得る。更に、利得変化も、全範囲を通じて滑らかである。

ここに記載した技法を、会話トラックを含むミキシング多重チャンネル信号のような特別な実施例を用いて例示したが、これらの技法は、これらの実施例又は実施態様に限定されるべきではない。何故ならば、混合信号のための支配的信号を決定するためにミキシングメタデータ及びミキシングバランス入力を使用し得る限り、主信号及び関連信号が極めて異なる組成(composition)を有する状況にもそれらの技法を等しく適用し得るからである。

本文書では音声信号をミキシングするための様々な方法及び構成を記載した。これらの方法及び／又は信号ミキサのような装置を使用するならば、混合信号のために一定の知覚音響レベルを維持しながら、主信号と関連信号との間のバランスの調節を許容することが可能である。入力信号のサンプリング若しくは分析又はハイパワード処理(high powered processing)を行わずに本方法を遂行し得る。何故ならば、比較的単純で基本的な電子装置によって、入力信号を伴うメタデータを使用して、それらの計算を実時間で容易に遂行し得るからである。

本記載及び図面は提案する方法及びシステムの原理を例示するに過ぎないことに留意すべきである。よって、当業者は、ここに明示的に記載され或いは示されていないとしても、提案する方法及びシステムの原理を具体化し且つこの文書の一部と考えられる、様々な構成を案出し得ることが理解されよう。更に、提案する方法及び装置の原理、特徴、及び実施態様、並びにそれらの具体的な実施例を列記する、ここにおける全ての記載は、それらの均等物を包含することを意図する。

更に、ここに列記する全ての実施例は、原理的には、提案される方法及び装置並びに先行技術を促進するために発明者によって寄与される着想を読者が理解するのを助けるという教育的な目的のためだけにあることが、明示的に意図され、そのような具体的に列挙する実施例及び条件に限定されないものとして解釈されるべきである。

更に、ここにおけるあらゆるブロック図は、本発明の原理を具体化する例示的な装置の着想図を提示することに留意すべきである。同様に、あらゆるフローチャート、フロー図、状態移行図、擬似コード等は、コンピュータ読取り可能な媒体中に実質的に提示し且つコンピュータ又はプロセッサが明示的に示されているか否かに拘わらずそのようなコンピュータ又はプロセッサによって実行し得る、様々なプロセスを提示していることが理解されるべきである。

Claims (39)

1. ２つの入力音声信号を単一の混合音声信号にミキシングしながら、該混合音声信号のある知覚音響レベルを維持する方法であって、
   主入力音声信号を受信することを含み、
   関連入力音声信号を受信することを含み、該関連入力音声信号は前記主入力音声信号と結合され、
   ミキシングメタデータを受信することを含み、該ミキシングメタデータは、前記主入力音声信号をスケーリングするためのスケーリング情報を含み、前記知覚音響レベルで混合音声信号を生成するために、前記主入力音声信号と前記関連入力音声信号とがどのように混合されるべきかを特定し、前記ミキシングメタデータからの前記スケーリング情報は、前記関連入力音声信号に対して前記主入力音声信号をスケーリングするために、前記主入力音声信号のためのメタデータ換算係数を含み、
   前記主入力音声信号と前記関連入力音声信号との間の調節可能なバランスを示すミキシングバランス入力を受信することを含み、該ミキシングバランス入力は、前記ミキシングメタデータ中に特定されるような前記混合音声信号中の前記主入力音声信号及び前記関連入力音声信号の加重からの逸脱を可能にするスケーリング情報を含み、
   前記ミキシングメタデータによって提供される前記スケーリング情報から並びに前記ミキシングバランス入力から、支配的信号を前記主入力音声信号又は前記関連入力音声信号のいずれかとして特定することを含み、次に、前記それぞれの他の入力音声信号は、非支配的信号として特定され、前記支配的信号は、前記ミキシングバランス入力を前記主入力音声信号のための前記メタデータ換算係数と比較することによって特定され、
   前記支配的信号に対して前記非支配的信号をスケーリングすることを含み、且つ、
   前記混合音声信号をもたらすよう、前記スケーリング後の非支配的信号を前記支配的信号と組み合わせることを含む、
   方法。
2. 前記ミキシングメタデータからの前記スケーリング情報に基づき並びに前記ミキシングバランス入力に基づき、前記非支配的信号の前記スケーリングのための換算係数を決定することを更に含み、
   該決定される換算係数は、前記非支配的信号の前記スケーリングのために使用される、
   請求項１に記載の方法。
3. 前記ミキシングバランス入力の値が、前記ミキシングメタデータからの前記主入力音声信号のための前記メタデータ換算係数よりも大きいならば、
   前記関連入力音声信号が前記支配的信号であると決定され、
   さもなければ、前記主入力音声信号が前記支配的信号であると決定される、
   請求項１又は２に記載の方法。
4. 前記関連入力音声信号が前記支配的信号であると特定されるならば、
   当該方法は、前記主入力音声信号のための前記換算係数を、前記ミキシングバランス入力の値を減算した、前記ミキシングメタデータからの前記主入力音声信号のための前記メタデータ換算係数として計算することを更に含む、
   請求項２又は請求項２に従属するときの請求項３に記載の方法。
5. 前記主入力音声信号が前記支配的信号であると特定されるならば、
   当該方法は、前記関連入力音声信号のための前記換算係数を、前記ミキシングバランス入力の値から前記主入力音声信号のための前記ミキシングメタデータからの前記メタデータ換算係数を減算したものとして計算することを更に含む、
   請求項２又は請求項２に従属するときの請求項３に記載の方法。
6. 前記ミキシングメタデータは、前記関連入力音声信号内に含まれる、請求項１乃至５のうちのいずれか１項に記載の方法。
7. 前記主入力音声信号は、多重音声チャンネルを含む、請求項１乃至６のうちのいずれか１項に記載の方法。
8. 前記ミキシングメタデータは、
   前記関連入力音声信号に対する前記主入力音声信号のための一次メタデータ換算係数と、
   前記関連入力音声信号に対する前記主入力音声信号の異なるチャンネルのための１つ又はそれよりも多くのチャンネルメタデータ換算係数とを更に含む、
   請求項７に記載の方法。
9. 前記メタデータ換算係数は、ｄＢ値を含む、請求項１乃至８のうちのいずれか１項に記載の方法。
10. 前記支配的信号は、前記ミキシングバランス入力の前記値を、前記主入力音声信号のための前記一次メタデータ換算係数及びチャンネルメタデータ換算係数と比較することによって特定され、
    前記ミキシングバランス入力の前記値が、前記主入力音声信号のための前記一次メタデータ換算係数に、前記主入力音声信号の全てのチャンネルのための全てのチャンネルメタデータ換算係数の最大を加算した合計よりも大きいならば、
    前記関連入力音声信号が前記支配的信号であると決定され、
    さもなければ、前記主入力音声信号が前記支配的信号であると決定される、
    請求項８又は請求項８に従属するときの請求項９に記載の方法。
11. 前記関連入力音声信号が前記支配的信号であると特定されるならば、
    当該方法は、前記主入力音声信号の各チャンネルのためのチャンネル換算係数を計算することを更に含み、あるチャンネルのための前記チャンネル換算係数は、前記主入力音声信号のための前記一次メタデータ換算係数に、前記主入力音声信号の前記対応するチャンネルのための前記チャンネルメタデータ換算係数を加算し、前記ミキシングバランス入力の前記値を減算したものである、
    請求項１０に記載の方法。
12. 前記主入力音声信号が前記支配的信号であると特定されるならば、
    当該方法は、前記ミキシングバランス入力の前記値から、前記主入力音声信号のための前記一次メタデータ換算係数と前記主入力音声信号の全てのチャンネルのための全てのチャンネルメタデータ換算係数の最大との合計を減算したものとして計算される、前記関連入力音声信号のための換算係数を決定すること、及び、
    前記主入力音声信号のための前記一次メタデータ換算係数に、前記主入力音声信号の前記対応するチャンネルのための前記チャンネルメタデータ換算係数を加算し、前記一次メタデータ換算係数と前記主入力音声信号の前記チャンネルのための全てのチャンネルメタデータ換算係数の最大との合計を減算したものとして計算される、前記主入力音声信号の各チャンネルのためのチャンネル換算係数を決定することを更に含む、
    請求項１０に記載の方法。
13. 前記支配的信号を決定するための前記メタデータ換算係数は、調節として使用し得る前記関連入力音声信号のための換算係数を更に含み、前記関連入力音声信号のための前記換算係数は、前記支配的信号の前記決定のために、前記主入力音声信号のための前記メタデータ換算係数から減算される、請求項１０乃至１２のうちのいずれか１項に記載の方法。
14. 前記知覚音響レベルは、前記主入力音声信号及び前記関連入力音声信号の平均加重レベルに基づく、請求項１乃至１３のうちのいずれか１項に記載の方法。
15. 前記知覚音響レベルは、前記主入力音声信号及び前記関連入力音声信号の会話レベルに基づく、請求項１乃至１３のうちのいずれか１項に記載の方法。
16. 前記会話レベルは、ダイアルノームとして測定される、請求項１５に記載の方法。
17. 前記主入力音声信号及び前記関連入力音声信号は、Dolby Digital Plus (DD+) 又は Dolby Pulse信号として符号化される、請求項１乃至１６のうちのいずれか１項に記載の方法。
18. 前記主入力音声信号及び前記関連入力音声信号は、E-AC-3、MPEG-4 HE-AAC、aacPlus、AC-3、MPEG-1 Layer 2、MPEG-4 AAC、又はPMEG-4音声信号の任意の変形として符号化される、請求項１乃至１６のうちのいずれか１項に記載の方法。
19. 前記ミキシングメタデータは、DD+信号をミキシングするためのETSI TS 102 366 v1.2.1 Ch. E. 1.2.2に従ったミキシングメタデータを含む、請求項１７又は１８に記載の方法。
20. 前記ミキシングメタデータは、一次換算係数と、左チャンネル、右チャンネル、中央チャンネル、左サラウンドチャンネル、右サラウンドチャンネル、及び「ＬＦＥ」と呼ばれる低周波効果チャンネルのためのチャンネル換算係数とに対応する、多重音声チャンネルのための換算係数、即ち、extpgmscl、extpgmlscl、extpgmrscl、extpgmcscl、extpgmlsscl、extpgmrsscl、extpgmlfesclを含む、請求項８に従属するときの請求項１９に記載の方法。
21. 前記主入力音声信号は、「ＬＦＥ」と呼ばれる低周波効果チャンネルを更に含み、該ＬＦＥチャンネルのための前記チャンネル換算係数は、前記ＬＦＥチャンネルのための前記チャンネル換算係数の最小、及び前記主入力音声信号の他のチャンネルのための最大のメタデータ換算係数として計算される、請求項２０に記載の方法。
22. 前記ミキシングメタデータは、入力音声信号をミキシングするためのETSI TS 101 154 V1.9.1 Annex E2に従うミキシングメタデータを含む、請求項１７又は１８に記載の方法。
23. 前記ミキシングメタデータは、一次換算係数と、中央チャンネル、１つ又はそれよりも多くの正面チャンネル、１つ又はそれよりも多くのサラウンドチャンネル、及びパンのためのチャンネル換算係数とに対応する、多重音声チャンネルのための換算係数、即ち、AD_fade_byte、AD_gain_byte_center、AD_gain_byte_front、AD_gain_byte_surround、又はAD_pan_byteを含む、請求項８に従属するときの請求項２２に記載の方法。
24. 前記主入力音声信号は、「ＬＦＥ」チャンネルと呼ばれる低周波効果チャンネルを含み、前記ＬＦＥチャンネルは、前記主入力音声信号の全てのチャンネルのための全てのチャンネルメタデータ換算係数の最大から除外されることで、
    前記ミキシングバランス入力の前記値が、前記主入力音声信号のための前記一次メタデータ換算係数に、前記ＬＦＥチャンネルを除く、前記主入力音声信号の全てのチャンネルのための全てのチャンネルメタデータ換算係数の最大を加算した合計よりも大きいならば、
    前記関連入力音声信号が前記支配的信号であると決定され、
    さもなければ、前記主入力音声信号が前記支配的信号であると決定される、
    請求項１０に記載の方法。
25. 前記主入力音声信号は、「ＬＦＥ」チャンネルと呼ばれる低周波効果チャンネルを含み、前記ＬＦＥチャンネルは、前記主入力音声信号の全てのチャンネルのための全てのメタデータ換算係数の最大から除外されることで、
    前記主入力音声信号は、
    前記ミキシングバランス入力の前記値から、前記主入力音声信号のための前記一次メタデータ換算係数と、前記ＬＦＥチャンネルを除く、前記主入力音声信号の全てのチャンネルのための全てのチャンネルメタデータ換算係数の最大との合計を減算したものとして計算される、前記関連入力音声信号のための前記換算係数を決定することによって、及び、
    前記主入力音声信号のための前記一次換算係数に、前記主入力音声信号の前記対応するチャンネルのための前記換算係数を加算し、前記一次メタデータ換算係数と、前記ＬＦＥチャンネルを除く、前記主入力音声信号の前記チャンネルのための全てのチャンネル換算係数の最大との合計を減算したものとして計算される、前記主入力音声信号の各チャンネルのための前記換算係数を決定することによって、
    前記支配的信号であると決定される、
    請求項１２に記載の方法。
26. 前記関連入力音声信号のための前記ミキシングメタデータは、パンメタデータ情報を更に含み、前記関連入力音声信号は、モノラル信号を含み、前記主入力音声信号は、ステレオ又は多重チャンネル信号を含み、
    前記関連入力音声信号は、前記パンメタデータ情報に従って前記主入力音声信号の前記チャンネルと混合される、
    請求項８乃至２５のうちのいずれか１項に記載の方法。
27. 前記ミキシングバランス入力は、負の値から正の値までのある値をもたらす外部使用者入力を含む、請求項１乃至２６のうちのいずれか１項に記載の方法。
28. 前記主入力音声信号の前記多重チャンネル及び前記関連入力音声信号の前記多重チャンネルは、左チャンネル、右チャンネル、中央チャンネル、左サラウンドチャンネル、右サラウンドチャンネル、及び、「ＬＦＥ」と呼ばれる低周波効果チャンネルを備えるサラウンド信号を含む、請求項７に記載の方法。
29. 前記主入力音声信号の前記多重チャンネル及び前記関連入力音声信号の前記多重チャンネルは、５．１、３．１、又は１３．１多重チャンネル信号を含む、請求項２８に記載の方法。
30. 前記関連入力音声信号は、モノラルとＬＦＥチャンネルとを含み、前記関連入力音声信号の前記ＬＦＥチャンネルは、前記主入力音声信号の前記主ＬＦＥチャンネルと混合され、前記関連入力音声信号の前記モノラルチャンネルは、パンメタデータ情報に従って前記主入力音声信号の前記チャンネルの上にパニングされる、請求項２１乃至２９のうちのいずれか１項に記載の方法。
31. 請求項１乃至３０のうちのいずれか１項に記載の信号をミキシングする方法を実行するよう構成された、信号をミキシングするための装置。
32. 一貫した知覚音響レベルを維持しながら、２つの入力音声信号を単一の混合音声信号に復号する、請求項１乃至３０のうちのいずれか１項に記載の信号をミキシングする方法を実行するよう構成された復号器。
33. コンピュータに、請求項１乃至３０のうちのいずれか１項に記載の方法を実行させるためのコンピュータ読取り可能な命令を記憶する、プロセッサ読取り可能な記憶媒体。
34. プロセッサに、請求項１乃至３０のうちのいずれか１項に記載の方法を実行させるための実行可能な命令を含む、プロセッサ読取り可能なプログラム。
35. 入力音声信号を単一の混合音声信号にミキシングしながら、前記混合音声信号のある知覚音響レベルを維持する装置であって、
    主入力音声信号と、関連入力音声信号と、ミキシングメタデータとを受信するための受信器を含み、前記関連入力音声信号は、前記主入力音声信号と結合され、前記ミキシングメタデータは、前記主入力音声信号をスケーリングするためのスケーリング情報を含み、該スケーリング情報は、前記知覚音響レベルで混合音声信号を生成するために、前記主入力音声信号と前記関連入力音声信号とがどのように混合されるべきかを特定し、前記ミキシングメタデータからの前記スケーリング情報は、前記関連入力音声信号に対して前記主入力音声信号をスケーリングするために、前記主入力音声信号のためのメタデータ換算係数を含み、
    前記主入力音声信号と前記関連入力音声信号との間の前記調節可能なバランスを示すミキシングバランス入力を含み、該ミキシングバランス入力は、前記ミキシングメタデータ中に特定されるような前記混合音声信号中の前記主入力音声信号及び前記関連入力音声信号の加重からの逸脱を可能にするスケーリング情報を含み、
    前記ミキシングメタデータによってもたらされる前記スケーリング情報から並びに前記ミキシングバランス入力から、支配的信号を前記主入力音声信号又は前記関連入力音声信号のいずれかとして特定するよう構成されるミキシングユニットを含み、次に、前記それぞれの他の入力音声信号を非支配的信号として特定し、前記支配的信号は、前記ミキシングバランス入力を前記主入力音声信号のための前記メタデータ換算係数と比較することによって特定され、
    前記ミキシングユニットは、前記支配的信号に対して前記非支配的信号をスケーリングするよう更に構成され、且つ、前記混合音声信号をもたらすよう、前記スケーリング後の非支配的信号を前記支配的信号と組み合わせるよう更に構成される、
    装置。
36. 前記非支配的信号のための前記換算係数は、前記ミキシングメタデータ及び前記ミキシングバランス入力からの前記スケーリング情報から直接的に決定され、
    前記非支配的信号は、前記決定される換算係数を使用してスケーリングされ、
    前記スケーリング後の非支配的信号は、前記支配的信号と組み合わされて、前記混合信号になる、
    請求項３５に記載の装置。
37. 前記ミキシングメタデータは、前記関連入力音声信号と統合される、請求項３５又は３６に記載の装置。
38. 前記ミキシングバランス入力は、負の値から正の値までのある値をもたらす外部使用者入力を更に含む、請求項３５乃至３７のうちのいずれか１項に記載の装置。
39. 前記受信器は、多重チャンネル主入力音声信号及び関連入力音声信号を受信するよう更に構成され、前記ミキシングユニットは、前記多重チャンネル主入力音声信号及び関連入力音声信号を混合するよう構成される、請求項３５乃至３８のうちのいずれか１項に記載の装置。

Images