JP7292650B2 - ミキシング装置、ミキシング方法、及びミキシングプログラム - Google Patents

Description

本発明は、入力信号のミキシング技術に関し、特にステレオ（立体音響）でのミキシング技術に関する。

スマートミキサーは、優先音と非優先音を時間周波数平面上で混合することにより、非優先音の音量感を保ったまま、優先音の明瞭度を上げる新しい音混合法である（たとえば特許文献１参照）。時間周波数平面上の各点で信号特性を判断し、その信号特性に応じて優先音の明瞭度を上げる処理が施される。しかし、スマートミキシングで優先音を明瞭に聞かせることに重点がおかれると、非優先音に若干の副作用（音の欠落感の知覚）が生じる。ここで、優先音とは音声、ボーカル、ソロパート等のように、優先的に聞かせたい音である。非優先音とはバックグラウンド音、伴奏音等、優先音以外の音である。

非優先音に生じる欠落感を抑制するために、優先音と非優先音に適用されるゲインを適切な方法で決定して、より自然な混合音を出力する手法が提案されている（たとえば、特許文献２参照）。

図１は、従来のモノラルのミキシング構成を示す図である。優先音を表わす優先信号と非優先音を表わす非優先信号それぞれに、窓関数を掛けて短時間のＦＦＴ（Fast Fourier Transform：高速フーリエ変換）を行って、時間周波数平面上に展開する。時間周波数平面で、優先音と非優先音のそれぞれのパワーを算出して、時間方向に平滑化する。優先音と非優先音の平滑化パワーに基づいて、優先音のためのゲインα１と、非優先音のためのゲインα２が導出される。優先音と非優先音にゲインα１とゲインα２をそれぞれ乗算して加算した後に、時間領域信号に戻して出力する。

ゲインの導出には、「対数強度の和の原理」と、「穴埋めの原理」という２つの基本原理が用いられている。「対数強度の和の原理」とは、出力信号の対数強度を入力信号の対数強度の和を超えない範囲に制限するものである。「対数強度の和の原理」によって、優先音が強調されすぎて混合音に違和感が生じることを抑制する。「穴埋めの原理」とは、非優先音のパワーの減少を、優先音のパワー増加分を超えない範囲に制限するものである。「穴埋めの原理」によって、混合音において非優先音が抑制されすぎて違和感が生じることを抑制する。これらの原理に基づいて合理的にゲインを決定することで、より自然な混合音が出力される。

特許第５０５７５３５号 特開第２０１６－１３４７０６号公報

従来の方法は、モノラル出力を前提としている。モノラル出力とは、一般にスピーカまたは出力端子が一つの場合をいうが、複数の出力端子からまったく同じ音が出力される場合もモノラルに含められることがある。これに対し、複数の出力端子から異なる音が出力される場合をステレオ再生という。

特許文献１のミキシングの手法をステレオに拡張することができれば、ヘッドフォンによる鑑賞から巨大ホールでのコンサート鑑賞まで、どのような形態で聴取されても不具合のないステレオ信号を生成することができる。また、ステレオ化することで、レコーディングスタジオでのミキシング技術にも適用することができる。

しかし、特許文献１の手法をステレオ再生に適用する場合、上記の「対数強度の和の原理」と「穴埋めの原理」をどのように拡張するかは自明ではない。

本発明は、スマートミキシングの手法をステレオ再生に拡張しても、再生音に不具合が生じることを抑制し、自然な音質で再生することのできるミキシング技術を提供することを課題とする。

本発明の第１の態様では、ステレオ出力を有するミキシング装置は、
第１のチャネルで第１信号と第２信号を混合する第１の信号処理部と、
第２のチャネルで第３信号と第４信号を混合する第２の信号処理部と、
前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する第３のチャネルと、
前記第１のチャネルと前記第２のチャネルで共通に用いられるゲインマスクを生成するゲイン導出部と、
を有し、
前記ゲイン導出部は、前記第１のチャネルと、前記第２のチャネルと、前記第３のチャネルのうち、少なくとも前記第１のチャネルと前記第２のチャネルで同時にゲイン生成のための所定の条件が満たされるように、前記第１信号と前記第３信号に共通に適用される第１のゲインと、前記第２信号と前記第４信号に共通に適用される第２のゲインを決定することを特徴とする。

本発明の第２の態様では、ステレオ出力を有するミキシング装置は、
第１のチャネルで第１信号と第２信号を混合する第１の信号処理部と、
第２のチャネルで第３信号と第４信号を混合する第２の信号処理部と、
前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する第３のチャネルと、
前記第１のチャネルで用いられる第１ゲインマスクを生成する第１のゲイン導出部と、
前記第２のチャネルで用いられる第２ゲインマスクを生成する第２のゲイン導出部と、
を有し、
前記第１のゲイン導出部は、前記第３のチャネルでゲイン生成のための所定の条件が満たされるように、前記第１ゲインマスクを生成し、
前記第２のゲイン導出部は、前記第３のチャネルで前記所定の条件が満たされるように前記第２ゲインマスクを生成する、
ことを特徴とする。

上記の構成により、スマートミキシングの手法をステレオ再生に拡張しても、再生音に不具合が生じることを抑制し、自然な音質で再生することができる。

従来のモノラルのミキシング構成を示す図である。 本発明に至る過程で考えられる構成を示す図である。 第１実施形態のミキシング装置１Ａの概略構成図である。 第２実施形態のミキシング装置１Ｂの概略構成図である。 実施形態の穴埋めの原理に基づくゲイン更新のフローチャートである。 実施形態の穴埋めの原理に基づくゲイン更新のフローチャートであり、図５ＡのＳ１８に引き続く工程を示す図である。

図１の従来構成をステレオに拡張する最も簡単な方法は、図１の処理系を２つ並列に並べて、一方を左側のチャネル（Ｌチャネル）専用、他方を右側のチャネル（Ｒチャネル）専用にする構成である。この場合、「対数強度の和の原理」と「穴埋めの原理」は、チャネルごとに適用されるので、片方のチャネルを単独で聴いたときには、それぞれのチャネルで満足のいく結果が得られる。

しかし、この簡易的な構成には、次の問題がある。たとえば、優先音が中央に定位している場合を考える。優先音の時間周波数平面上の点（ｉ，ｋ）におけるＬチャネルのゲインα_1L[ｉ，ｋ]と、同じ点（ｉ，ｋ）のＲチャネルのゲインα_1R[ｉ，ｋ]は、別々の処理系（ブロック）で独立して設定されるため、異なる値となり得る。このようなチャネル間の差異は、時間周波数平面上の点（ｉ，ｋ）ごとに生じ、かつ点（ｉ，ｋ）ごとに差異の大きさも変わり得る。この結果、中央の優先音の定位が偏移する。たとえば、優先音がボーカルであるとすると、ボーカルの定位が時々刻々と変化し、ステレオ再生した場合にボーカルの音が左右に揺れて聴こえる。

図２は、本発明に至る過程で考えられるステレオ化の構成例を示す。図２では、優先音と非優先音に対し、ＬチャネルとＲチャネルで共通化したゲインα₁[ｉ，ｋ]とα₂[ｉ，ｋ]をそれぞれ適用してミキシングを行う。

優先音の定位に揺れを起こさせないためには、優先音の時間周波数平面上の点（ｉ，ｋ）におけるＬチャネルのゲインα_1L[ｉ，ｋ]と、Ｒチャネルのゲインα_1R[ｉ，ｋ]を、常に等しくすることが考えられる。この共通化したゲインをα₁[ｉ，ｋ]とする。

非優先音についても、定位に揺れを生じさせないためには、非優先音のためのＬチャネルのゲインα_2L[ｉ，ｋ]と、Ｒチャネルのゲインα_2R[ｉ，ｋ]を、常に等しくする。この共通化したゲインをα₂[ｉ，ｋ]とする。

優先音と非優先音のそれぞれについて、ＬチャネルとＲチャネルを平均化したモノラルチャネル（Ｍチャネル）を設定し、両チャネル間で共通に用いられるゲインα₁[ｉ，ｋ]、α₂[ｉ，ｋ]を生成する。ＬチャネルとＲチャネルの平均化は、必ずしもチャネル間の平均値をとる必要はなく、加算値を用いてもよい。

ゲインマスクは、Ｍチャネルの信号を用いて、モノラルのスマートミキシングの原理で生成される。すなわち、Ｌチャネルの時間周波数軸上の優先音の信号Ｘ_1L[ｉ，ｋ]とＲチャネルの時間周波数軸上の優先音の信号Ｘ_1R[ｉ，ｋ]の平均値または加算値からパワー（振幅の２乗）を求め、時間方向の平滑化パワーＥ_1M[ｉ，ｋ]を得る。同様に、Ｌチャネルの時間周波数軸上の非優先音の信号Ｘ_2L[ｉ，ｋ]とＲチャネルの時間周波数軸上の優先音の信号Ｘ_2R[ｉ，ｋ]の平均値または加算値からパワーを求め、時間方向の平滑化パワーＥ_2M[ｉ，ｋ]を得る。優先音と非優先音の平滑化パワーＥ_1M[ｉ，ｋ]とＥ_2M[ｉ，ｋ]から、共通のゲインα₁[ｉ，ｋ]とα₂[ｉ，ｋ]を導出する。ゲインα₁[ｉ，ｋ]とα₂[ｉ，ｋ]は、特許文献２に記載されるように、「対数強度の和の原理」と「穴埋めの原理」にしたがって算出される。

得られたゲインα₁[ｉ，ｋ]を、Ｌチャネルの優先音の信号Ｘ_1L[ｉ，ｋ]とＲチャネルの優先音の信号Ｘ_1R[ｉ，ｋ]のそれぞれに乗算する。また、ゲインα₂[ｉ，ｋ]を、Ｌチャネルの非優先音の信号Ｘ_2L[ｉ，ｋ]とＲチャネルの非優先音の信号Ｘ_2R[ｉ，ｋ]のそれぞれに乗算する。ＬチャネルとＲチャネルのそれぞれで、乗算結果を加算し、時間領域に戻して出力することで、出力される混合音に定位の揺れが生じることを防止できる。

しかし、「穴埋めの原理」をＭチャネルに対してのみ適用していることから、別の問題が生じる。たとえば、大きなホールやスタジアムで、一方のチャネル（たとえばＲチャネル）のスピーカの真ん前に立つ観客の立場を考える。この観客にとっては、Ｌチャネルの音はほとんど聴こえず、もっぱらＲチャネルのスピーカの音が聴こえる。

ここで、Ｌチャネルで楽器ＩＬが演奏され、Ｒチャネルで別の楽器ＩＲが演奏されているとする。ある瞬間にボーカル（優先音）がＬチャネルで発声すると、「穴埋めの原理」にしたがって、ＬチャネルとＲチャネルの両方で非優先音のゲイン抑制が行われる。その結果、Ｒチャネルにはボーカル音がほとんど存在しないにもかかわらず、楽器ＩＲは時間周波数平面上で部分的に減衰を受ける。Ｒチャネルのスピーカの前に立つ観客は、楽器ＩＲの音の劣化（欠落感）を知覚する。

このような不具合は、Ｒチャネルから出力される音に関して「穴埋めの原理」が正しく機能していないために生じる。したがって、図２の構成をさらに洗練させた新たな構成が望まれる。

＜第１実施形態＞
図３は、第１実施形態のミキシング装置１Ａの構成例である。上述した考察から、以下のことが導かれる。第１は、スマートミキシングをステレオ化に適用するためには、定位を保つことが重要である。第２は、定位を維持したうえで、片方のスピーカの音だけを聴く観客に対しても非優先音の劣化（欠落感）を感じさせないようにする。

定位を保つためには、共通のゲインマスクを使う必要があり、基本的にはゲイン生成のためのモノラル処理が求められる。一方、非優先音の劣化を防ぐためには、個別のチャネルごとに穴埋めの原理を適用する必要があり、基本的にはステレオ処理が求められる。

この２つの要請を満たすのが、第１実施形態のミキシング装置１Ａである。ミキシング装置１Ａでは、モノラル処理によりＬチャネルとＲチャネルで共通のゲインマスクを生成してこれを用いるが、「穴埋めの原理」を、Ｍチャネルだけではなく、ＬチャネルとＲチャネルにも反映させる。

ミキシング装置１Ａは、Ｌチャネル信号処理部１０Ｌと、Ｒチャネル信号処理部１０Ｒと、ゲインマスク生成部２０を有する。図３の例では、ゲインマスク生成部２０は、Ｍチャネルとして機能するが、ゲイン導出部１９は、必ずしもＭチャネルの処理系の中に配置される必要はなく、Ｍチャネルの処理系の外に配置されていてもよい。

Ｌチャネル信号処理部１０Ｌに、音声等の優先音の信号ｘ_1L［ｎ］と、バックグラウンド音等の非優先音の信号ｘ_2L［ｎ］が入力される。それぞれの入力信号に短時間ＦＦＴ等の周波数解析が適用され、時間周波数平面上の優先音の信号Ｘ_1L[ｉ，ｋ]と非優先音の信号Ｘ_2L[ｉ，ｋ]が生成される。ここで、時間軸上の信号を小文字のｘで表し、時間周波数平面上の信号を大文字のＸで表す。

優先音の信号Ｘ_1L[ｉ，ｋ]と非優先音の信号Ｘ_2L[ｉ，ｋ]は、それぞれゲインマスク生成部２０で実現されるＭチャネルに入力されるとともに、Ｌチャネル信号処理部１０Ｌの内部で、各信号のパワーの算出と、時間方向の平滑化処理を受ける。これにより、優先音と非優先音の時間方向の平滑化パワーＥ_1L[ｉ，ｋ]とＥ_2L[ｉ，ｋ]が得られる。

Ｒチャネル信号処理部１０Ｒには、音声等の優先音の信号ｘ_1R［ｎ］と、バックグラウンド音等の非優先音の信号ｘ_2R［ｎ］が入力される。それぞれの入力信号に短時間ＦＦＴ等の周波数解析が適用され、時間周波数平面上の優先音の信号Ｘ_1R[ｉ，ｋ]と非優先音の信号Ｘ_2R[ｉ，ｋ]が生成される。

優先音の信号Ｘ_1R[ｉ，ｋ]と非優先音の信号Ｘ_2R[ｉ，ｋ]は、それぞれゲインマスク生成部２０で実現されるＭチャネルに入力されるとともに、Ｒチャネル信号処理部１０Ｒの内部で、各信号のパワーの算出と、時間方向の平滑化処理を受ける。これにより、優先音と非優先音の時間方向の平滑化パワーＥ_1R[ｉ，ｋ]とＥ_2R[ｉ，ｋ]が得られる。

Ｍチャネルを形成するゲインマスク生成部２０では、ＬチャネルとＲチャネルの時間周波数平面上の優先音の信号Ｘ_1L[ｉ，ｋ]とＸ_1R[ｉ，ｋ]の平均（または加算値）を用いて、時間方向の平滑化パワーＥ_1M[ｉ，ｋ]が生成される。同様に、ＬチャネルとＲチャネルの時間周波数平面上の非優先音の信号Ｘ_2L[ｉ，ｋ]とＸ_2R[ｉ，ｋ]の平均（または加算値）を用いて、時間方向の平滑化パワーＥ_2M[ｉ，ｋ]が生成される。

すなわち、Ｍチャネル、Ｌチャネル、及びＲチャネルのそれぞれで、時間周波数平面の各点（ｉ，ｋ）における優先音と非優先音の時間方向の平滑化パワーＥ₁[ｉ，ｋ]及びＥ₂[ｉ，ｋ]が得られる（ここで、Ｅ_1M、Ｅ_1L、Ｅ_1Rを総称してＥ₁と書いた。Ｅ₂も同じ）。

ゲイン導出部１９には、３組の平滑化パワーが入力される。すなわち、ゲインマスク生成部２０で得られた平滑化パワーＥ_1M[ｉ，ｋ]とＥ_2M[ｉ，ｋ]、Ｌチャネル信号処理部１０Ｌで得られた平滑化パワーＥ_1L[ｉ，ｋ]とＥ_2L[ｉ，ｋ]、及びＲチャネル信号処理部１０Ｒで得られた平滑化パワーＥ_1R[ｉ，ｋ]とＥ_2R[ｉ，ｋ]である。

ゲイン導出部１９は、入力された３組、６つのパラメータから、共通のゲインマスクであるα₁[ｉ，ｋ]とα₂[ｉ，ｋ]を生成する。ゲインα₁[ｉ，ｋ]とα₂[ｉ，ｋ]の組は、Ｌチャネル信号処理部１０Ｌと、Ｒチャネル信号処理部１０Ｒのそれぞれに供給されて、優先音信号Ｘ₁[ｉ，ｋ]と非優先音信号Ｘ₂[ｉ，ｋ]に対するゲインの乗算に用いられる（ここで、Ｘ_1L、Ｘ_1Rを総称してＸ₁と書いた。Ｘ₂も同じ）。ゲイン乗算後の優先音と非優先音が加算され、時間領域に復元されて、ＬチャネルとＲチャネルから出力される。

この構成では、共通のゲインマスクを前提としつつ、ゲイン導出部１９における穴埋めの原理はＬチャネルとＲチャネルのそれぞれにも適用されてゲインマスク（α₁[ｉ，ｋ]，α₂[ｉ，ｋ]）が生成される。これについて、以下でさらに詳細に説明する。なお、以下の説明で用いる変数を表１に示す。

まず、式（０）のように、最小可聴パワーＡ[ｋ]の逆数である聴感補正係数Ｂ[ｋ]を求める。

ここで、Ｃ_Lp[i]は、等ラウドネス曲線から選ぶ最小可聴曲線（Ｌｐ)の主要部分を抽出してサンプリングしたデータである。定数Ｓは、時間領域での入力信号ｘ_j[ｎ]（ｊ＝１，２）がフルスケールの信号であったときに、その等ラウドネス曲線の縦軸の音圧レベルの何ｄＢに相当させるかを設定するための定数である。

聴感補正係数Ｂ[ｋ]は、入力信号から得られた時間方向の平滑化パワーＥ_j[ｉ，ｋ]を、人間の聴覚に即して処理するための補正係数である。平滑化パワーＥ_j[ｉ，ｋ]を、最小可聴パワーＡ[ｋ]で除算した結果が１よりも大きければ可聴であり、その可聴レベルはＥ_j[ｉ，ｋ]／Ａ[ｋ]で表される。たとえば、Ｅ_j[ｉ，ｋ]／Ａ[ｋ]＝１００であれば、その音は最小可聴の音に比べて１００倍のパワーを持っている。ここでは、Ａ[ｋ]の除算を行うかわりに、Ａ[ｋ]の逆数である聴感補正係数Ｂ[ｋ]を用いている。

聴感補正係数Ｂ[ｋ]を用いて、ゲイン導出部１９に入力された６つの平滑化パワーＥ_j[ｉ，ｋ]から、式（１）～式（６）により６つの聴感補正パワーＰ_j[ｉ，ｋ]を求める。

なお、ミキシングの各時間区間で優先音が有音であり、かつ低ＳＮＲのときにブースト判定が行われるが（特許文献２を参照）、ここでは、簡単化のためにブースト処理を省略する。換言すると、特許文献２のブースト判定式ｂ[ｉ]を常に「１」とする。

次に、入力された６つのパラメータのゲイン更新前の聴感補正パワーＬ_j[ｉ，ｋ]を、式（７）～（１２）に基づいて求める。

ゲイン調整後の聴感補正パワーＬ_j[ｉ，ｋ]は、時間周波数平面の点（ｉ，ｋ）の聴感補正パワーＰ_j[ｉ，ｋ]に、点（ｉ－１，ｋ）で得られたゲインを適用することによって、得られる。

Ｍチャネル、Ｌチャネル、Ｒチャネルのそれぞれで、ミキシング出力の聴感補正パワーＬ_j[ｉ，ｋ]は、優先音と非優先音の寄与の和として、式（１３）～（１５）で表される。

優先音のゲインをΔ₁だけ増加させたときの聴感補正パワーをＬ_1p[ｉ，ｋ]と定義すると、各チャネルでの優先音のゲイン増加後の聴感補正パワーは、式（１６）～（１８）で表される。

ゲイン増加時のミキシング出力の聴感補正パワーをＬ_p[ｉ，ｋ]とすると、各チャネルでのゲイン増加後のミキシング出力の聴感補正パワーは、式（１９）～（２１）のようになる。

一方、非優先音のゲインをΔ₂だけ減少させたときの聴感補正パワーをＬ_2m[ｉ，ｋ]と定義すると、各チャネルでの非優先音のゲイン減少後の聴感補正パワーは、式（２２）～（２４）で表される。

調整後のゲインα₁[ｉ，ｋ]を用いたときの優先音に対する聴覚補正パワーをＬ_1α[ｉ，ｋ]と定義しておくと、各チャネルでの調整後ゲインα₁[ｉ，ｋ]を用いた優先音に対する聴覚補正パワーは、式（２５）～（２７）で表される。

次に、ゲインの更新条件について説明する。優先音のためのα1の増加、すなわちα₁[ｉ，ｋ]＝(１＋Δ₁)α₁[ｉ－１，ｋ]の処理が行われるのは、式（２８）～（３２）の条件がすべて満たされるときである。

式（２８）と式（２９）は、Ｍチャネルで（すなわちＬチャネルとＲチャネルの加重和で）、優先音と非優先音の双方が可聴であるときにだけα1を増加することを意味する。これにより、例えばボーカルが含まれていないときに、優先音の強調と非優先音の減衰が行われないようにする。式（３０）は、混合音の対数強度（パワー）が優先音と非優先音の対数強度の和を上回らないように働く（「対数強度の和の原理」）。

式（３１）のＴ_IHは優先音に対するゲインの上限、式（３２）のＴ_Gは、混合パワーの増幅限界である。Ｔ_IHにより、優先音に対するゲインを一定値以下に抑える。Ｔ_Gにより、単純加算の場合と異なり、時間周波数平面の局所であっても、パワーの上昇を一定の限界（振幅比でＴ_G倍）以下に抑える。

次に、α1の減少、すなわちα₁[ｉ，ｋ]＝(１＋Δ₁)^-1α₁[ｉ－１，ｋ]の処理が行われるのは、式（３３）～（３７）のいずれかが成り立ち、かつ式（３８）が成り立つときである。

式（３３）と式（３４）は、時間周波数平面上の点（ｉ，ｋ）において、優先音と非優先音の少なくとも一方が可聴レベルを満たさない場合は、優先音のゲインを戻す（減らす）ことを意味する。式（３５）は、混合音の対数強度が、優先音の対数強度と非優先音の対数強度の和を上回っている場合に、優先音のゲインを減らす方向に働く。式（３６）はゲインα１が上限Ｔ_１Ｈを超えたときは、その超過を解消する。式（３７）は、単純加算による混合音に所定の倍率（比率）Ｔ_Ｇを乗算したレベルを超える場合に優先音のゲインを戻す方向に働く。式（３８）は、優先音のゲイン値が１よりも大きいときにのみ減少させる。

次に、非優先音のためのα2の減少、すなわちα₂[ｉ，ｋ]＝α₂[ｉ－１，ｋ]－Δ₂の処理が行われるのは、式（３９）～（４２）の条件がすべて満たされるときである。

ここで、Ｔ_2Lは非優先音に対するゲインの下限である。

式（３９）はモノラル（Ｍチャネル）に対する穴埋めの条件、式（４０）はＬチャネルに対する穴埋めの条件、式（４１）はＲチャネルに対する穴埋めの条件をそれぞれ表している。α2を減少できるのは、これら３つの条件がすべて満たされるときに限られ、非優先音が安易に抑制されることが防止される。

最後に、α2の増加、すなわちα₂[ｉ，ｋ]＝α₂[ｉ－１，ｋ]＋Δ₂の処理が行われるのは、式（４３）～（４５）のいずれかが満たされ、かつ式（４６）が満たされるときである。

式（４３）はモノラル（Ｍチャネル）に対する穴埋めの条件、式（４４）はＬチャネルに対する穴埋めの条件、式（４５）はＲチャネルに対する穴埋めの条件をそれぞれ表している。α2を増加できるのは、たとえば、ボーカルのような優先音がなくなったときである。式（４３）～（４５）の３つの条件のうちのひとつでも崩れそうになると、α2の増加が阻止されて、穴埋め条件の崩壊が防止される。

上述した方法は、ＬチャネルとＲチャネルで共通のゲインマスクを用いることを前提として、Ｍチャネル、Ｌチャネル、及びＲチャネルの３つのチャネルについて穴埋めの原理の条件が満たされることを維持しながらゲインを調整するものである。Ｍチャネルの処理は、Ｌチャネルの出力とＲチャネルの出力の加重和（または線形和）についての、穴埋めの原理に基づくゲイン更新である。

一方で、ＬチャネルとＲチャネルの２つのチャネルについて穴埋めの原理を成立させれば、Ｍチャネルについてもほとんどの場合で穴埋めの原理は成立する場合がある。この場合は式（３９）と式（４３）のモノラルに対する穴埋めの条件を省略することができる。すなわち、Ｌチャネルの出力に関する穴埋めの原理と、Ｒチャネルの出力に関する穴埋めの原理の条件を同時に満たすように、ゲインは決定される。

すなわち、Ｍチャネル、Ｌチャネル、及びＲチャネルのうち、少なくともＬチャネルとＲチャネルで穴埋めの原理の条件が同時に満たされるように、ゲインが生成される構成を採用してもよい。

第１実施形態の構成により、優先音の定位を保ち、観客が一方のスピーカの前に立っている場合でも、非優先音の劣化（欠落感）を感じさせないステレオのスマートミキシングが実現される。

＜第２実施形態＞
図４は、第２実施形態のミキシング装置１Ｂの構成例である。第２実施形態では、ＬチャネルとＲチャネルで独立のゲインマスクを用いる。

第１実施形態では、ＬチャネルとＲチャネルで共通のゲインマスクを用いた。これは音の定位を保つためである。大きなホールでは、反響音や残響も大きいため、Ｌチャネルの音とＲチャネルの音が空間内で混ざり、定位感が薄れる。このため定位の揺れはそれほど問題にならない。

このような条件では、ＬチャネルとＲチャネルで独立のゲインマスクを用いても実用に資する場合がある。ただし、従来のモノラル用のスマートミキシングの処理系を単純に２つ並列に並べるだけでは、やはり不十分であり、改良が必要である。

図４では、ゲインマスクはＬチャネルとＲチャネルで独立に生成されるが、穴埋めの原理に基づく処理を、Ｍチャネルの信号を参照して実施する。第２実施形態の構成は、会場の設計や客席の設定等によって、極端に一方のスピーカに接近した位置で聴く観客を考慮する必要のない場合に有効である。

上述のように、ＬチャネルとＲチャネルの音が会場内で混ざり合って定位感が薄れるならば、穴埋めの原理の適用もモノラル（Ｍチャネル）のみで成立させればよい。穴埋めの原理をモノラルのみに適用することで、穴埋め処理で勘案するエネルギー（またはパワー）をＬチャネルとＲチャネルの間で融通または分配することができる。たとえば、Ｌチャネルにボーカルと楽器の音が入っており、Ｒチャネルは楽器のみの場合、Ｌチャネルの楽器の音（非優先音）を減衰させることはもちろん、Ｒチャネルの楽器音も減衰させることができる。これによって、ボーカルの明瞭度を上げることができる（図３の第一実施形態に対する優位性）。あわせて、ＬチャネルとＲチャネル（つまりセンター）にボーカルがあり、Ｌチャネルに大音量の楽器、Ｒチャネルに小音量の楽器がある場合、ＬチャネルのボーカルをＲチャネルのボーカルよりも強めることができる。このように、より精密なゲイン調整が可能となることから、ボーカルの明瞭度をさらに上げることができる（図２の方式に対する優位性）。

ミキシング装置１Ｂは、Ｌチャネル信号処理部３０Ｌと、Ｒチャネル信号処理部３０Ｒと、加重和平滑部４０を有する。Ｌチャネル信号処理部３０Ｌはゲイン導出部１９Ｌを有し、Ｒチャネル信号処理部３０Ｒはゲイン導出部１９Ｒを有する。

Ｌチャネル信号処理部３０Ｌは、入力された優先音の信号ｘ_1L［ｎ］と非優先音の信号ｘ_2L［ｎ］に短時間ＦＦＴ等の周波数解析を施して、時間周波数平面上の優先音の信号Ｘ_1L[ｉ，ｋ]と非優先音の信号Ｘ_2L[ｉ，ｋ]を生成する。優先音の信号Ｘ_1L[ｉ，ｋ]と非優先音の信号Ｘ_2L[ｉ，ｋ]はＬチャネル信号処理部３０Ｌで平滑化パワーＥ_1L[ｉ，ｋ]とＥ_2L[ｉ，ｋ]の算出に用いられるとともに、Ｍチャネルを形成する加重和平滑部４０にも入力される。Ｌチャネル信号処理部３０Ｌで算出された平滑化パワーＥ_1L[ｉ，ｋ]とＥ_2L[ｉ，ｋ]は、ゲイン導出部１９Ｌに入力される。

Ｒチャネル信号処理部３０Ｒは、入力された優先音の信号ｘ_1R［ｎ］と非優先音の信号ｘ_2R［ｎ］に短時間ＦＦＴ等の周波数解析を施して、時間周波数平面上の優先音の信号Ｘ_1R[ｉ，ｋ]と非優先音の信号Ｘ_2R[ｉ，ｋ]を生成する。優先音の信号Ｘ_1R[ｉ，ｋ]と非優先音の信号Ｘ_2R[ｉ，ｋ]はＲチャネル信号処理部３０Ｒで平滑化パワーＥ_1R[ｉ，ｋ]とＥ_2R[ｉ，ｋ]の算出に用いられるとともに、Ｍチャネルを形成する加重和平滑部４０にも入力される。Ｒチャネル信号処理部３０Ｒで算出された平滑化パワーＥ_1R[ｉ，ｋ]とＥ_2R[ｉ，ｋ]は、ゲイン導出部１９Ｒに入力される。

加重和平滑部４０は、ＬチャネルとＲチャネルの時間周波数平面上の優先音の信号Ｘ_1L[ｉ，ｋ]とＸ_1R[ｉ，ｋ]の平均（または加算値）を用いて、時間方向の平滑化パワーＥ_1M[ｉ，ｋ]が生成される。同様に、ＬチャネルとＲチャネルの時間周波数平面上の非優先音の信号Ｘ_2L[ｉ，ｋ]とＸ_2R[ｉ，ｋ]の平均（または加算値）を用いて、時間方向の平滑化パワーＥ_2M[ｉ，ｋ]が生成される。

Ｍチャネルの平滑化パワーＥ_1M[ｉ，ｋ]とＥ_2M[ｉ，ｋ]は、それぞれＬチャネル信号処理部３０Ｌのゲイン導出部１９Ｌと、Ｒチャネル信号処理部３０Ｒのゲイン導出部１９Ｒに供給される。

ゲイン導出部１９Ｌは、４つの平滑化パワーＥ_1L[ｉ，ｋ]、Ｅ_2L[ｉ，ｋ]、Ｅ_1M[ｉ，ｋ]、及びＥ_2M[ｉ，ｋ]を用いて、穴埋めの原理に基づいてゲインマスクα_1L[ｉ，ｋ]とα_2L[ｉ，ｋ]を生成する。時間周波数上の入力信号Ｘ_1L[ｉ，ｋ]とＸ_2L[ｉ，ｋ]に、ゲインα_1L[ｉ，ｋ]とα_2L[ｉ，ｋ]がそれぞれ乗算される。ゲイン適用された優先信号と非優先信号の加算信号（Ｙ_L[ｉ，ｋ]）は、時間領域に復元されて出力される。

ゲイン導出部１９Ｒは、４つの平滑化パワーＥ_1R[ｉ，ｋ]、Ｅ_2R[ｉ，ｋ]、Ｅ_1M[ｉ，ｋ]、及びＥ_2M[ｉ，ｋ]を用いて、穴埋めの原理に基づいてゲインマスクα_1R[ｉ，ｋ]とα_2R[ｉ，ｋ]を生成する。時間周波数上の入力信号Ｘ_1R[ｉ，ｋ]とＸ_2R[ｉ，ｋ]に、ゲインα_1R[ｉ，ｋ]とα_2R[ｉ，ｋ]がそれぞれ乗算される。ゲイン適用された優先信号と非優先信号の加算信号（Ｙ_R[ｉ，ｋ]）は、時間領域に復元されて出力される。

以下で、穴埋めの原理に基づくＬチャネルのゲインマスクα_1L[ｉ，ｋ]とα_2L[ｉ，ｋ]の更新について、より詳細に説明する。Ｒチャネルのゲインマスクα_1R[ｉ，ｋ]とα_2R[ｉ，ｋ]については、Ｌチャネルと同じ処理なので説明を省略する。

優先音のためのゲインα_1Lの増加、すなわちα_1L[ｉ，ｋ]＝(１＋Δ₁)α_1L[ｉ－１，ｋ]の演算を行うのは、式（４７）～（５１）の条件がすべて満たされるときである。

ここで、Ｔ_IHは優先音に対するゲインの上限、Ｔ_Gは混合パワーの増幅限界である。

α_1Lの減少、すなわちα_1L[ｉ，ｋ]＝(１＋Δ₁)^-1α_1L [ｉ－１，ｋ]の演算を行うのは、式（５２）～（５６）のいずれかが成り立ち、かつ式（５７）が成り立つときである。

非優先音のためのα_2Lの減少、すなわちα_2L[ｉ，ｋ]＝α_2L[ｉ－１，ｋ]－Δ₂の処理を行うのは、式（５８）と式（５９）の双方の条件が満たされるときである。

ここで、式（５８）はＬチャネルではなく、Ｍチャネル（モノラル）に対する穴埋め条件になっていることに留意されたい。これによって、穴埋めで移動するエネルギーが、ＬチャネルとＲチャネルの間でフレキシブルに分配される。

α_2Lの増加、すなわちα_2L[ｉ，ｋ]＝α_2L[ｉ－１，ｋ]＋Δ₂の演算を行うのは、式（６０）と式（６１）の双方の条件が満たされるときである。

ここでも、式（６０）がＭチャネル（モノラル）に対する穴埋め条件になっている。穴埋めで移動するエネルギーをＬチャネルとＲチャネルの間で融通しても穴埋めの条件が崩れそうになったときに、α_2Lの増加を停止して穴埋め条件の崩壊を防止する。

第２実施形態では、ＬチャネルとＲチャネルで独立したゲインマスクを用いることを前提として、穴埋めの原理についてはＭチャネルだけを参照することで、反射や残響の大きな大ホールでのミキシングに適用することができる。

図５Ａと図５Ｂは、第１実施形態と第２実施形態で行われる穴埋めの原理に基づくゲインの更新フローを示す。第１実施形態と第２実施形態では、ゲインマスクがＬチャネルとＲチャネルの間で共通に用いられるか、独立して生成されるかの違いはあるが、穴埋めの原理に基づくゲイン更新の基本的なフローは同じである。

まず、Ｌチャネル、Ｒチャネル、Ｍチャネルのそれぞれで、優先音と非優先音の時間方向の平滑化パワーＥj[ｉ，ｋ]（ｊ＝１，２）を求める（Ｓ１１）。ここではチャネルを識別する下付き文字を省略する。

Ｌチャネル、Ｒチャネル、Ｍチャネルのそれぞれで、優先音の聴感補正パワーＰ1、非優先音の聴感補正パワーＰ2、更新前のゲインα1を適用した聴感補正パワーＬ1、更新前のゲインα2を適用した聴感補正パワーＬ2、Ｌ1とＬ1を混合したミキシング出力の聴感補正パワーＬ、優先音のゲイン増加時のミキシング出力の聴感補正パワーＬp、及び非優先音のゲイン減少時のミキシング出力の聴感補正パワーＬmを求める（Ｓ１２）。

優先音のゲインα1の増加条件（式（２８）～（３２）、または式（４７）～（５１）が満たされているか否かが判断され（Ｓ１３）、満たされている場合は、α1を所定のステップサイズで増大して（Ｓ１４）、Ｓ１５へ進む。α1の増加条件が満たされていない場合は（Ｓ１３でＮＯ）、直接ステップＳ１５へ進む。

次に、α1の減少条件（式（３３）～（３８）、または式（５２）～（５７））が満たされているか否かが判断される（Ｓ１５）。α1の減少条件が満たされていない場合は、そのまま図５Ｂの非優先音のゲインα2の処理に移る。α1の減少条件が満たされている場合は（Ｓ１５でＹＥＳ）、α1を所定の割合で減少させ（Ｓ１６）、減少後のα1が１よりも小さくなったか否か（α1＜１）を判断する（Ｓ１７）。α1が１よりも小さい場合は（Ｓ１７でＹＥＳ）、α1＝１に設定して（Ｓ１８）、α2の処理に移る。これにより、α1の減少操作により１未満となったときにα1＝１に回復する。α1が１以上のときは（Ｓ１７でＮＯ）、直接α2の処理に移る。

図５Ｂを参照して、非優先音のゲインα2の減少条件（式（３９）～（４２）、または式（５８）～（５９）が満たされているか否かが判断され（Ｓ２１）、満たされている場合はα2を所定のステップサイズで減少して（Ｓ２２）、Ｓ２３へ進む。α2の減少条件が満たされていない場合は（Ｓ２１でＮＯ）、直接ステップＳ２３へ進む。

次に、α2の増加条件（式（４３）～（４６）、または式（６０）～（６１））が満たされているか否かが判断される（Ｓ２３）。α2の増加条件が満たされている場合は、α2を所定のステップサイズで増加させ（Ｓ２４）、増加後のα2が１よりも大きくなったか否か（α2＞１）を判断する（Ｓ２５）。α2が１を超える場合は（Ｓ２５でＹＥＳ）、α2＝１に設定し（Ｓ２６）、１を超えない場合は（Ｓ２５でＮＯ）、現在の値を維持する。

ステップＳ２３で、α2の増加条件が満たされていない場合は（Ｓ２３でＮＯ）、そのままステップＳ２５に飛んで、現在のα2が１よりも大きいか否か（α2＞１）を判断する（Ｓ２５）。α2が１を超える場合は（Ｓ２５でＹＥＳ）、α2＝１に設定し（Ｓ２６）、１を超えない場合は、現在の値を維持する。

以上の処理を、時間周波数平面上のすべての点について繰り返し行って（Ｓ２７）、処理を終了する。

本発明によれば、共通ゲインマスクを生成する際に、Ｌチャネル出力に関する穴埋めの原理と、Ｒチャネル出力に関する穴埋めの原理と、Ｌチャネル出力とＲチャネル出力の（加重和）に関する穴埋めの原理のうち、少なくともＬチャネル出力とＲチャネル出力に関する穴埋めの原理の条件を同時に満たすようにゲインが決定される（第１実施形態）。

これにより、定位を維持し、かつ、聴取者が片方のスピーカの前に位置する場合でも、非優先音の劣化（欠落感）を感じさせないステレオのスマートミキシングが実現できる。

ＬチャネルとＲチャネルに個別のゲインマスクを用いる場合は、Ｌチャネル出力とＲチャネル出力の加重和（すなわちＭチャネル）に関する穴埋めの原理が満たされるように、ゲインが決定される（第２実施形態）。

これにより、ＬチャネルとＲチャネルの音が強く混合されるホール等において、ＬチャネルとＲチャネルで独立したゲインマスクでより精密なゲイン調整をすることができる。さらに、穴埋めの原理をモノラルで適用することで、優先音をより明瞭に聴かせることのできるステレオのスマートミキシングが実現される。

実施形態のミキシング装置１Ａ及び１Ｂは、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）などのロジックデバイスで実現可能であるが、ミキシングプログラムをプロセッサに実行させることによっても実現可能である。

本発明の構成と手法は、コンサート会場やレコーディングスタジオにおける業務用ミキシング装置だけではなく、アマチュア用のミキサー、ＤＡＷ（Digital Audio Workstation）、スマートフォン用のアプリケーション等のステレオ再生にも応用可能である。

この出願は、２０１８年４月１９日に出願された日本国特許出願第２０１８－０８０６７１号に基づき、その優先権を主張するものであり、その全内容は本件出願中に含まれる。

１、１Ａ、１Ｂ ミキシング装置
１０Ｌ、３０Ｌ Ｌチャネル信号処理部
１０Ｒ、３０Ｒ Ｒチャネル信号処理部
１９、１９Ｌ、１９Ｒ ゲイン導出部
２０ ゲインマスク生成部
４０ 加重和平滑部

Claims (8)

1. ステレオ出力を有するミキシング装置であって、
   第１のチャネルで第１信号と第２信号を混合する第１の信号処理部と、
   第２のチャネルで第３信号と第４信号を混合する第２の信号処理部と、
   前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する第３のチャネルと、
   前記第１のチャネルと前記第２のチャネルで共通に用いられるゲインマスクを生成するゲイン導出部と、
   を有し、
   前記ゲイン導出部は、前記第１のチャネルと、前記第２のチャネルと、前記第３のチャネルのうち、少なくとも前記第１のチャネルと前記第２のチャネルで同時にゲイン生成のための所定の条件が満たされるように、前記第１信号と前記第３信号に共通に適用される第１のゲインと、前記第２信号と前記第４信号に共通に適用される第２のゲインを決定し、
   前記所定の条件は、前記第２信号のパワーの減少が前記第１信号のパワーの増加分を超えず、かつ前記第４信号のパワーの減少が前記第３信号のパワーの増加分を超えない条件であり、
   前記第１の信号処理部は、時間周波数平面上の各点で、前記第１信号と前記第２信号の時間方向の平滑化パワーを含む第１パワー対を算出し、
   前記第２の信号処理部は、前記時間周波数平面上の各点で、前記第３信号と前記第４信号の時間方向の平滑化パワーを含む第２パワー対を算出し、
   前記第３のチャネルは、前記加重和に基づく時間方向の平滑化パワーを含む第３パワー対を算出し、
   前記ゲイン導出部は、前記第１パワー対、前記第２パワー対、及び前記第３パワー対を用いて、前記第１のゲインと前記第２のゲインを決定する
   ことを特徴とするミキシング装置。
2. 前記第１のチャネルと、前記第２のチャネルと、前記第３のチャネルで、前記所定の条件が同時に満たされることを特徴とする請求項１に記載のミキシング装置。
3. ステレオ出力を有するミキシング装置であって、
   第１のチャネルで第１信号と第２信号を混合する第１の信号処理部と、
   第２のチャネルで第３信号と第４信号を混合する第２の信号処理部と、
   前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する第３のチャネルと、
   前記第１のチャネルで用いられる第１ゲインマスクを生成する第１のゲイン導出部と、
   前記第２のチャネルで用いられる第２ゲインマスクを生成する第２のゲイン導出部と、
   を有し、
   前記第１のゲイン導出部は、前記第３のチャネルでゲイン生成のための所定の条件が満たされるように、前記第１ゲインマスクを生成し、
   前記第２のゲイン導出部は、前記第３のチャネルで前記所定の条件が満たされるように前記第２ゲインマスクを生成し、
   前記所定の条件は、前記第２信号と前記第４信号の加重和パワーの減少が、前記第１信号と前記第３信号の加重和パワーの増加分を超えない条件である
   ことを特徴とするミキシング装置。
4. 前記第１の信号処理部は、時間周波数平面上の各点で、前記第１信号と前記第２信号の時間方向の平滑化パワーを含む第１パワー対を算出し、
   前記第２の信号処理部は、前記時間周波数平面上の各点で、前記第３信号と前記第４信号の時間方向の平滑化パワーを含む第２パワー対を算出し、
   前記第３のチャネルは、前記加重和に基づく時間方向の平滑化パワーを含む第３パワー対を算出し、
   前記第１のゲイン導出部は、前記第１パワー対と前記第３パワー対を用いて、前記第１ゲインマスクを生成し、
   前記第２のゲイン導出部は、前記第２パワー対と前記第３パワー対を用いて、前記第２ゲインマスクを生成する、
   ことを特徴とする請求項３に記載のミキシング装置。
5. ステレオ出力を行うミキシング方法であって、
   第１のチャネルに第１信号と第２信号を入力し、
   第２のチャネルで第３信号と第４信号を入力し、
   第３のチャネルで、前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理し、
   前記第１のチャネルの出力と、前記第２のチャネルの出力と、前記第３のチャネルの出力に基づいて、前記第１のチャネルと前記第２のチャネルで共通に用いられるゲインマスクを生成し、
   前記ゲインマスクを前記第１のチャネルに適用して前記第１信号と前記第２信号を混合し、
   前記ゲインマスクを前記第２のチャネルに適用して前記第３信号と前記第４信号を混合し、
   前記ゲインマスクは、前記第１のチャネルと、前記第２のチャネルと、前記第３のチャネルのうち、少なくとも前記第１のチャネルと前記第２のチャネルで同時にゲイン生成のための所定の条件が満たされるように生成され、
   前記所定の条件は、前記第２信号のパワーの減少が前記第１信号のパワーの増加分を超えず、かつ前記第４信号のパワーの減少が前記第３信号のパワーの増加分を超えない条件であり、
   前記第１のチャネルの時間周波数平面上の各点で、前記第１信号と前記第２信号の時間方向の平滑化パワーを含む第１パワー対を算出し、
   前記第２のチャネルの前記時間周波数平面上の各点で、前記第３信号と前記第４信号の時間方向の平滑化パワーを含む第２パワー対を算出し、
   前記第３のチャネルで、前記加重和に基づく時間方向の平滑化パワーを含む第３パワー対を算出し、
   前記第１パワー対、前記第２パワー対、及び前記第３パワー対を用いて、前記第１信号と前記第３信号に共通に適用される第１のゲインと、前記第２信号と前記第４信号に共通に適用される第２のゲインを決定する
   ことを特徴とするミキシング方法。
6. ステレオ出力を行うミキシング方法であって、
   第１のチャネルに第１信号と第２信号を入力し、
   第２のチャネルで第３信号と第４信号を入力し、
   第３のチャネルで、前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理し、
   前記第１のチャネルの出力と前記第３のチャネルの出力に基づいて、前記第１のチャネルで用いられる第１ゲインマスクを生成し、
   前記第２のチャネルの出力と前記第３のチャネルの出力に基づいて、前記第２のチャネルで用いられる第２ゲインマスクを生成し、
   前記第１ゲインマスクと前記第２ゲインマスクは、前記第３のチャネルでゲイン生成のための所定の条件が満たされるように生成され、
   前記所定の条件は、前記第２信号と前記第４信号の加重和パワーの減少が、前記第１信号と前記第３信号の加重和パワーの増加分を超えない条件である
   ことを特徴とするミキシング方法。
7. プロセッサに以下の手順を実行させるミキシングプログラムであって、
   第１のチャネルで第１信号と第２信号を取得する手順と、
   第２のチャネルで第３信号と第４信号を取得する手順と、
   第３のチャネルで前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する手順と、
   前記第１のチャネルの出力と、前記第２のチャネルの出力と、前記第３のチャネルの出力に基づいて、前記第１のチャネルと前記第２のチャネルで共通に用いられるゲインマスクを生成する手順と、
   前記ゲインマスクを前記第１のチャネルに適用して前記第１信号と前記第２信号を混合する手順と、
   前記ゲインマスクを前記第２のチャネルに適用して前記第３信号と前記第４信号を混合する手順と、
   を前記プロセッサに実行させ、
   前記ゲインマスクの生成手順は、前記第１のチャネルと、前記第２のチャネルと、前記第３のチャネルのうち、少なくとも前記第１のチャネルと前記第２のチャネルで同時にゲイン生成のための所定の条件が満たされるように前記ゲインマスクを生成し、
   前記所定の条件は、前記第２信号のパワーの減少が前記第１信号のパワーの増加分を超えず、かつ前記第４信号のパワーの減少が前記第３信号のパワーの増加分を超えない条件であり、
   前記第１のチャネルの時間周波数平面上の各点で、前記第１信号と前記第２信号の時間方向の平滑化パワーを含む第１パワー対を算出し、
   前記第２のチャネルの前記時間周波数平面上の各点で、前記第３信号と前記第４信号の時間方向の平滑化パワーを含む第２パワー対を算出し、
   前記第３のチャネルで、前記加重和に基づく時間方向の平滑化パワーを含む第３パワー対を算出し、
   前記第１パワー対、前記第２パワー対、及び前記第３パワー対を用いて、前記第１信号と前記第３信号に共通に適用される第１のゲインと、前記第２信号と前記第４信号に共通に適用される第２のゲインを決定する
   ことを特徴とするミキシングプログラム。
8. プロセッサに以下の手順を実行させるミキシングプログラムであって、
   第１のチャネルで第１信号と第２信号を取得する手順と、
   第２のチャネルで第３信号と第４信号を取得する手順と、
   第３のチャネルで、前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する手順と、
   前記第１のチャネルの出力と前記第３のチャネルの出力に基づいて、前記第１のチャネルで用いられる第１ゲインマスクを生成する手順と、
   前記第２のチャネルの出力と前記第３のチャネルの出力に基づいて、前記第２のチャネルで用いられる第２ゲインマスクを生成する手順と、
   を前記プロセッサに実行させ、
   前記第１ゲインマスクと前記第２ゲインマスクは、前記第３のチャネルでゲイン生成のための所定の条件が満たされるように生成され、
   前記所定の条件は、前記第２信号と前記第４信号の加重和パワーの減少が、前記第１信号と前記第３信号の加重和パワーの増加分を超えない条件である
   ことを特徴とするミキシングプログラム。
   

Images