JP4887420B2 - 中央チャンネルオーディオのレンダリング - Google Patents

Description

本発明は、オーディオ信号処理に関する。さらに詳細には、２チャンネル立体音響（「ステレオ」）オーディオに応答して、３チャンネル（左、中央、及び右）オーディオにレンダリングする発明に関する。このような構成は、しばしば「ツー・ツー・スリー（２：３）アップミキサー」と称される。本発明の形態には、装置、方法、及び、この方法をコンピュータに実行させるコンピュータ読取可能媒体に記憶させたコンピュータプログラムが含まれる。

「中央リスナー」とは、理想的なリスニング領域（つまり「スイートスポット（sweet spot）」）内にいるリスナーであり、例えば、１対のステレオラウドスピーカに対して等距離の位置にいるリスナーである。「中央から離れた」リスナーとは、このような理想的なリスニング領域の外側に位置するリスナーである。２つのラウドスピーカによるステレオ構成において、中央リスナーは、「幻覚の」又は「仮想的な」サウンドイメージがそのラウドスピーカの間の意図した場所から生じているように感じる一方、中央から離れたリスナーは、そのリスナーに近いほうのラウドスピーカに近寄った位置にそのような仮想的なサウンドイメージを感じる。この現象は、リスナーが中央から離れれば離れるほど増大する（即ち、仮想的なサウンドイメージがより近いほうのラウドスピーカに近寄る。）。

２チャンネルの、左右のステレオオーディオ信号を取り、それから、元の信号の組み合わせから導き出した中央ラウドスピーカへの供給を行うことは公知である。公知のシステムにおいて、その組み合わせは、様々である。ある公知のシステムでは、左右のラウドスピーカへのゲインも変えることができる。このゲインは、一般に種々の経路において、ステレオ入力信号に含まれる指示情報を分析することにより制御される。これについて例えば、米国特許４，０２４，３４４参照のこと。このような、中央チャンネルを導き出す目的は、前記影響を排除して、サウンドイメージ、特に中央サウンドイメージがその意図する所から来ているように、中央から離れたリスナーにも感知されるようにすることである。残念ながら、このように導き出された中央チャンネルが中央リスナーに対してステレオイメージを劣化させる（狭める）という、好ましくない副次的な悪影響がある。即ち、中央から離れたリスナーへのサウンドイメージを改善することにより、中央リスナーに対するサウンドイメージが劣化するのである。中央リスナーには、意図する場所からのサウンドイメージを感知するために、中央チャンネルラウドスピーカを必要としないのである。従って、あるリスナーに対する音場の改善と、他のリスナーに対する音場の劣化とのバランスをとることが必要となる。

本発明は、左立体音響チャンネルから可変割合で左チャンネルを導き出し、右立体音響チャンネルから可変割合で右チャンネルを導き出し、可変割合の左立体音響チャンネルと可変割合の右立体音響チャンネルとを結合したものから中央チャンネルを導き出すことにより、２つの、すなわち、左右の立体音響チャンネルから左チャンネルと、中央チャンネルと、右チャンネルとを導き出す方法を提供する。ここで、各可変割合は、左右の立体音響チャンネルへのゲイン係数により定まる。このゲイン係数は、まず、立体音響チャンネルを左右のラウドスピーカに適用する第１のモデルによる構成における場合と、立体音響チャンネルを左右のラウドスピーカ及び中央ラウドスピーカに適用する第２のモデルによる構成における場合とで、中央に位置するリスナーの耳に生じるサウンドの指標の差を測定し、そしてこの差が最小になるよう、２つの正反対の状態の間でのバランス、すなわち中央ラウドスピーカに信号が適用されない状態と、左右のラウドスピーカに信号が適用されない状態との間でのバランスを制御するような重み付け係数に比例した割り当てとなる、左及び／又は右の立体音響チャンネルの割り当てを、この２つの立体音響チャンネルにおける一定の信号条件において中央ラウドスピーカに同時に適用し、前記第２のモデルにおける、左、中央、及び右のラウドスピーカへ適用する立体音響チャンネルの比率を、ゲイン係数を変えることで、制御することにより、このゲイン係数を導き出すことができる。

本発明の特徴によれば、中央リスナーへのサウンドイメージの劣化を限定することにより、中央から離れたリスナーへのサウンドイメージの改善方法を改良するような方法で、２チャンネルステレオから中央チャンネルが導き出される。

本発明の特徴によれば、重み付けを行った左右チャンネルの和を中央チャンネルに適用することにより、中央から離れたリスニング位置での体感が改善され、ここで、この重み付けは、あるリスナーに対する音場の改善と他のリスナーに対する音場の劣化とがトレードオフとなるような方法で選択される。

本発明の１つの特徴によれば、２チャンネルステレオ信号から中央チャンネル信号を導き出すときに、最適なゲインを計算する新しい方法が提供され、間接的に、中央から離れたリスナーが知覚する音場の改善と、中央チャンネルを採用することに伴う中央リスナーが知覚する音場の劣化との間のバランスを制御可能とする。

模範的な実施の形態において、再生の２つのモデル（システム１及び２）と、中央リスナーに聞こえる結果とを考慮する。システム１は、左右のチャンネル信号を変化させずに受け取る従来の１対のラウドスピーカである。システム２では、左右のチャンネルの結合と左のチャンネルと右のチャンネルとに、時間的に可変な信号に依存するゲインをもたせ、左右の入力チャンネルを結合した中央チャンネルを受け取る。種々の条件と簡略化を行い、この２つのシステムにおいて、中央リスナーの左右の耳に聞こえるサウンドの指標（例えば，指標は振幅又は強度である）を計算する。それにより、この２つのシステム間の差を最小にする値とするためのゲインを設定するための方程式を解くことは可能であるが、そうすることは有益ではない。つまり、その結果は中央チャンネルからサウンドを生じさせないというありきたりな結果となるからである。

したがって、本発明の特徴によれば、さらなる制約を導入している。つまり、左及び／又は右の２チャンネル立体音響入力信号を、一定の条件下で中央チャンネルに適用する。重み付け又は「ペナルティー」係数を選択することは、２つの正反対の条件、すなわち一方は中央チャンネルに信号が入力されず、もう一方は左右のチャンネルに信号が入力されないという条件の間でバランスを取るという役割を果たす。間接的には、この重み付け係数は、あるリスナーにとっての改善と他のリスナーにとっての劣化との間でバランスを取るという役割を果たす。左及び／又は右の２チャンネル立体音響入力信号の制御可能な量を、一定の信号条件の下で中央チャンネルに適用させることで、中央から離れたリスナーが知覚する音場を改善する一方、中央リスナーが知覚する音場の劣化を制限する。

本発明の特徴によれば、中央チャンネルにおける信号を増大させ、従って、中央リスナーのステレオイメージを大きく損なうことなく、中央から離れたリスナーに有利となる、解くことのできるゲインの方程式が得られる。中央から離れたリスナーにとっての音場の改善と、中央リスナーにとっての音場の劣化とのトレードオフ又はバランスは、重み付け又はペナルティー係数λを選択することにより決定される。

すべての計算と実際のオーディオ処理とは、臨界帯域又は臨界帯域より狭い帯域のような、複数の帯域で実行されることが好ましい。あるいは、性能を下げてもよいのならば、少ない周波数帯域を用いて、又は、広帯域を用いてでも行うことができる。

本発明の模範的な実施の形態において、中央から離れたリスナーの耳又は中央リスナーの耳と中央から離れたリスナーの耳の両方ではなく、中央リスナーの耳におけるサウンドの指標のみを考慮して、左、中央、及び右のチャンネルのゲインを計算することが注目される。本発明の知見によれば、中央チャンネルにおける信号が増大するとき中央から離れたリスナーが恩恵を受けるので、中央リスナーに対する理論的な劣化の程度を計算すれば十分である。

以下の説明には、本発明の特徴による３チャンネルレンダリング方法と、発明の概観と、使用可能な時間／周波数変換と、使用可能な帯域構造の計算と、使用可能な動的平滑化システムと、使用可能なチャンネルゲイン計算とが含まれている。

本発明に係る３チャンネルレンダリングの目的は、中央に位置するリスナーのリスニング体験を過度に悪化させることなく中央から離れたリスナーに対する仮想的なサウンドイメージを改善させることである。この目的を達成するために、模範的な実施の形態において、この方法を実行する方法又は装置は、時間単位（例えば、以下に説明するように、ブロック又はフレーム）のスペクトル帯域毎にスペクトル出力チャンネル（Ｇ_Ｌ，Ｇ_Ｒ，_ＧＣＬ，Ｇ_ＣＲ）を制御するために、適応的に４つのゲインを選択する。模範的な実施の形態において、耳の臨界帯域と釣り合った（又はそれより小さい）複数のスペクトル帯域を所定範囲の周波数で採用するが、本発明は、効果が減少するが、少ないスペクトル帯域を採用した実施の形態、又は所定範囲の周波数で広帯域基準で動作する方法又は装置による実施の形態のように、単純化して実施することもできる。ゲインを適合させるのは、ヘッドシャドーイング効果（ｈｅａｄ‐ｓｈａｄｏｗｉｎｇ ｅｆｆｅｃｔｓ）を考慮に入れて、中央に位置するリスナーの耳での信号予測計算に基づいて、行うことが好ましい。

模範的な実施の形態において、本発明に係る方法を実行する方法又は装置は、元のステレオ信号の一部を、制御可能な程度に、一定の信号状態で中央チャンネルに同時に入力させる一方、中央に位置するリスナーの左右の耳に聞こえる信号が、左右のラウドスピーカだけを持つモデルにより再生された元のステレオ信号によるものと可能な限り類似するように、中央ラウドスピーカを持つモデルを採用する。この模範的な実施の形態において、好ましいゲインの解に近似する最小２乗方程式（この方程式において、各帯域での選択可能なペナルティー係数により制御性が表現される）を導く定式化がなされる。

図１は、本発明に係るツー・ツー・スリーチャンネル構成のハイレベル機能ブロック図を概略的に示す。左右の時間領域信号は、時間ブロックに分割することができ、短時間フーリエ変換（ＳＴＦＴ）を用いて周波数領域に変換され、帯域ごとにグループ分けされる。各帯域において、４つのゲイン（Ｇ_Ｌ,Ｇ_Ｒ,Ｇ_ＣＬ,Ｇ_ＣＲ）を算出し、図示のように、４チャンネル出力を生成する。左チャンネル出力はＧ_Ｌで重み付けした元の左ステレオチャンネルである。右チャンネル出力はＧ_Ｒで重み付けした元の右ステレオチャンネルである。中央チャンネル出力は、Ｇ_ＣＬ及びＧ_ＣＲでそれぞれ重み付けした元の左ステレオチャンネル及び右ステレオチャンネルである。信号を最終的に出力する前に、各出力チャンネルに逆ＳＴＦＴを適用することができる。以下に説明するように、４つの重み付けゲイン係数を採用することにより、４次元表現を用いた計算が導かれる。あるいは、この中央チャンネルを元の左右のステレオチャンネルを結合することにより導き、この結合に単一の重み付けゲイン係数を適用することでこの構成を簡易化することができる。これにより、４つの重み付けゲイン係数というよりむしろ３つの重み付けゲイン係数を採用することとなり、３次元表現を用いた計算が導かれることとなる。十分な結果が得られないかもしれないが、処理の複雑さに関していえば、３次元表現のほうが好ましい。

［時間／周波数変換］
フィルターバンクが高速フーリエ変換（ＦＦＴ）により実行されるときは、時間領域入力信号は、連続するブロックにセグメント化され、通常重複したブロック内で処理される。ＦＦＴの離散周波数出力（変換係数）は、ビンと称され、それぞれ実部と虚部とを持つ複素数を有し、おのおの位相成分とＱ成分に対応する。連続する変換ビンは、人間の耳の臨界帯域を近似するサブ帯域にグループ化することができる。複数の連続する時間領域のブロックをフレームにグループ化し、各ブロック値を平均化するか又は、結合するか又は、各フレームを横切って累積する。本発明による形態に従い生成された重み付けゲイン係数は、可聴アーティファクトを生じさせるような急激なゲインの変化を避けるために、複数のブロックで時間平滑化することができる。

本発明に係る３チャンネルレンダリング システムに用いられる時間／周波数変換は、よく知られた短時間フーリエ変換（ＳＴＦＴ）、あるいはよく知られた離散フーリエ変換（ＤＦＴ）に基づいて行うことができる。循環畳み込みの影響を最低限にするために、分析及び合成の両方に７５％の重複を持たせることができる。分析窓及び合成窓を適切に選択することにより、スペクトルに振幅と位相に修正を加えながら、可聴な循環畳み込みの影響を最低限にするために重複させたＤＦＴを用いることができる。図２は、適切な分析／合成窓のペアを示す。

分析窓は、選択した重複部分を一定にするために、分析窓の重複部の総計が等しくなるように設計することができる。適切な選択の１つは、カイザー・ベッセル派生窓の２乗である。このような分析窓により、重複させたＤＦＴに対して修正を加えていなければ、合成窓なしで完全に分析した信号を合成することができる。しかし、振幅と位相の漸減がそのような構成に適用されるため、この合成窓は可聴となってしまうブロックの不連続点を回避するために、合成窓を傾斜させる必要がある。適切な窓の変数は以下の通りである。

ＤＦＴ長さ： ２０４８
分析窓のメインローブ長さ（ＡＷＭＬ）： １０２４
ホップサイズ（ＨＳ）： ５１２
先行するゼロパッド（ＺＰ_ｌｅａｄ）： ２５６
後続のゼロパッド（ＺＰ_ｌａｇ）： ７６８
分析窓の傾き（ＳＷＴ）： １２８

［帯域化］
本発明に係る３チャンネルレンダリングは、ゲイン係数を計算し、半分の臨界帯域幅に近似するスペクトル帯域に適用する。帯域化の構成により、スペクトル係数が各帯域内にグループ化され、同じグループのすべてのビンに同じ処理が適用される。図３は、４４１００Ｈｚのサンプルレートの、ヘルツ（Ｈｚ）単位での各帯域の中央周波数のプロットを示し、表１は、４４１００Ｈｚのサンプルレートの各帯域の中央周波数を与える。

ここで説明した時間／周波数変換は適切なものではあるが、他の時間／周波数変換を採用することもできる。特定の変換を選択することがこの発明の本質ではない。

［信号適応リーク積分器］
本発明に係る３チャンネルレンダリング構成において、統計的な各推定値及び変数（以下の、「チャンネルゲインの解法」参照）は、スペクトル帯域で計算することができ、その後時間平滑する。各変数の時間平滑化は式（１）で示した簡単な１次のＩＩＲフィルターにより行うことができる。しかしながら、式（１）の係数アルファは時間により変化する。オーディオイベントが検出されたとき、係数アルファは低い値に減少し、その後時間と共に高い値に上昇する。オーディオイベント（しばしば「聴覚イベント」と称される）を検出する技術については、２００４年１０月、サンフランシスコの１１７回ＡＥＳ Ｃｏｎｆｅｒｅｎｃｅでの、Ｂ．Ｃｒｏｃｋｅｔｔによる「Improved Transient Pre-Noise Performance of Low Bit Rate Audio Coders Using time Scaling Synthesis」、及びＢｒｅｔｔ Ｇ．Ｃｒｏｃｋｅｔｔによる米国で公開された特許出願２００４／０１６５７３０、表題「Segmenting Audio Signals into Auditory Events」に記載されている。このＡＥＳにおける論文と米国で公開された特許出願は、そのすべてを参照として本願に組み込まれる。このように、本構成により、オーディオにおける変化の結果としてより速く更新する。図４は、聴覚イベントを検出したとき、帯域内の係数アルファの一般的な応答を示す。

Ｃ’（ｎ，ｂ）＝αＣ’（ｎ−１，ｂ）＋（１−α）Ｃ（ｎ，ｂ） （１）

ここで、Ｃ（ｎ，ｂ）は、フレームｎでスペクトル帯域ｂについて計算した変数であり、Ｃ’（ｎ，ｂ）はフレームｎで時間平滑化した後の変数である。

［チャンネルゲインの計算］
本発明の構成により、ゲインについて解くために、元のステレオ配置と新たな３チャンネル構成の両方の場合について中央に位置するリスナーの耳における信号のモデルを構成することにより開始することができる。ラウドスピーカは、釣り合いが取れており、最適な聴取位置に置かれ、リスナーは中央の聴取位置にいることが両方のシステムについて仮定されている。特定のラウドスピーカ及び／又は特定の部屋のモデルを作らなくてもいいように、部屋のインパルス応答とスピーカ伝達関数を考慮していない。図５は、各スピーカから中央に位置するリスナーに届く信号と共に２チャンネル再生システムのモデルを概略的に示す（システム１）。信号Ｌ_ｈ，Ｌ_ｆ，Ｒ_ｈ，及びＲ_ｆは、適切なヘッドシャドーモデル（head-shadow model）を介して左右のスピーカから来た信号である。頭部伝達関数（ＨＲＴＦｓ）をシステム１及びシステム２のモデル（システム２のモデルについては次に説明する）で採用することができるが、ＨＲＴＦｓを単純化又は近似するために、ヘッドシャドーモデルを採用することができる。１９９８年５月の、IEEE Trans, on Speech and Audio Proc, Vol.6, No.5のC. Phillip Brown, Richard O. Dudaによる「A Structural Model for Binaural Sound Synthesis」に記載の技術を用いて適切なヘッドシャドーモデルを生成する。なお、この文献は、そのすべてを参照として本願に組み込む。左耳における信号は、Ｌ_ｈおよびＲ_ｆの結合である一方、右耳における信号は、ＲｈおよびＬｆの結合である。図６は、中央チャンネルを追加した３チャンネル再生システムのモデルを概略的に示す（システム２）。左（Ｌ）および右（Ｒ）の電気信号は、左右のラウドスピーカに入力するゲインを調整し、中央ラウドスピーカに入力するゲインを調整する。処理した信号は、適切なヘッドシャドーモデルを介してリスナーの耳に届く。左耳における信号は、Ｇ_ＬＬ_ｈ、Ｇ_ＲＲ_ｆ、Ｇ_ＣＬＬ_Ｃ、およびＧ_ＣＲＲ_Ｃの結合とみなされる一方、右耳における信号は、Ｇ_ＲＲ_ｈ、Ｇ_ＬＬ_ｆ、Ｇ_ＣＬＬ_Ｃ、およびＧ_ＣＲＲ_Ｃの結合とみなされる。信号ＬＣおよびＲＣは、適切なヘッドシャドーモデルを介して中央スピーカから来た信号である。採用されるヘッドシャドーモデルは、線形畳み込み処理であり、従って、左右の電気信号に適用されるゲインは、続いて左右の耳に適用される。

両方の再生システムに対して、いったんリスナーの耳における信号のモデルを持つと、好ましいゲインを見つけるための１組の方程式を導き出すことができる。これは、２番目のシステムの中央ラウドスピーカにエネルギーを入力するときに、両方のシステムでのリスナーの耳における信号ができるだけ近づくことを確保することによりなされる。２つのシステムが同じように聞こえるようにするには、直接的におよび数学的には、中央ラウドスピーカにエネルギーを入力しないことである。しかし、これは、ごく一般的な答えである。有用で一般的でない答えを出すためには、いくらかのエネルギーを中央に導くことをペナルティー関数により保証するような、ペナルティーを導入することが必要となる。このようなペナルティー関数は、中央リスナー位置での性能と、中央から離れたリスナー位置での性能とのトレードオフの関係を調整する機能を持ち、このトレードオフは、人又は人以外の決定者により経験的に定められる。この問題の定式化により、好ましいゲインの閉形式の解が導かれる。このペナルティーは、各周波数帯域における信号とペナルティー係数の両方の関数であることが好ましい。

［チャンネルゲインの解法］
第１のステップは、ヘッドシャドーイングを行った後中央に位置するリスナーの耳に到達すると思われる信号を導き出すことにより、システム１のモデルとシステム２のモデルとを組み立てることである。この模範的な実施の形態では、スペクトル領域で動作するので、ヘッドシャドーモデルを乗算を実行することにより適用することができる。従って、外耳における信号を以下のように導き出すことができる。

Ｌ_ｈ（ｍ，ｋ）＝Ｌ（ｍ，ｋ）・Ｈ（ｋ） （２）
ここで、ｍは時間指数、ｋはビン指数、Ｌ（ｍ，ｋ）は左スピーカからの信号、Ｌｈ（ｍ，ｋ）は、左耳における左スピーカからの信号、そして、Ｈ（ｋ）は左スピーカから左耳への伝達関数である。

Ｌ_ｆ（ｍ，ｋ）＝Ｌ（ｍ，ｋ）・Ｆ（ｋ） （３）
ここで、ｍは時間指数、ｋはビン指数、Ｌ（ｍ，ｋ）は左スピーカからの信号、Ｌｆ（ｍ，ｋ）は、右耳における左スピーカからの信号、そして、Ｆ（ｋ）は左スピーカから右耳への伝達関数である。

Ｒ_ｈ（ｍ，ｋ）＝Ｒ（ｍ，ｋ）・Ｈ（ｋ） （４）
ここで、ｍは時間指数、ｋはビン指数、Ｒ（ｍ，ｋ）は右スピーカからの信号、Ｒｈ（ｍ，ｋ）は、右耳における右スピーカからの信号、そして、Ｈ（ｋ）は右スピーカから右耳への伝達関数である。

Ｒ_ｆ（ｍ，ｋ）＝Ｒ（ｍ，ｋ）・Ｆ（ｋ） （５）
ここで、ｍは時間指数、ｋはビン指数、Ｒ（ｍ，ｋ）は右スピーカからの信号、Ｒｈ（ｍ，ｋ）は、左耳における右スピーカからの信号、そして、Ｆ（ｋ）は右スピーカから左耳への伝達関数である。

Ｌ_ｃ（ｍ，ｋ）＝Ｌ（ｍ，ｋ）・Ｃ（ｋ） （７）
ここで、ｍは時間指数、ｋはビン指数、Ｌ（ｍ，ｋ）は左スピーカ信号から導き出した中央スピーカに乗せられる信号、Ｌｃ（ｍ，ｋ）は、左耳における中央スピーカからの信号、そして、Ｃ（ｋ）は中央スピーカから左耳への伝達関数である。

Ｒ_ｃ（ｍ，ｋ）＝Ｒ（ｍ，ｋ）・Ｃ（ｋ） （８）
ここで、ｍは時間指数、ｋはビン指数、Ｒ（ｍ，ｋ）は右スピーカ信号から導き出した中央スピーカに乗せられる信号、Ｒ_ｃ（ｍ，ｋ）は、右耳における中央スピーカからの信号、そして、Ｃ（ｋ）は中央スピーカから右耳への伝達関数である。

式（２）〜（７）において、伝達関数Ｈ（ｋ）、Ｆ（ｋ）、およびＣ（ｋ）は、ヘッドシャドーイング効果（head-shadowing effects）を考慮に入れている。あるいは、上述のように、伝達関数を適切なＨＲＴＦｓとしてもよい。頭は左右対称であると仮定できるので、式（２）と（４）、（３）と（５）、および（６）と（７）でそれぞれ同じ伝達関数Ｈ（ｋ）、Ｆ（ｋ）、およびＣ（ｋ）を用いることができる。

次のステップでは、上述したようにスペクトルサンプルを帯域にグループ化する。さらに、以下のようにスペクトルグループを列ベクトルとして表現することができる。

ここで、ｂは帯域指数（band index）、Ｌは帯域ｂの低い帯域、Ｕｂは帯域ｂの高い帯域である。

式（９）〜（１３）を用いることにより、それぞれ図５および図６に示した、２つのリスニング構成を表現することができる。この表現では、ヘッドシャドー信号が直線的ではなく指数的に耳で結合されることが仮定されている。従って位相差は無視される。出力を保持する処理を仮定することは、計算されたゲインが正の実数のみであることを保証するので、一般性を保持するために、部屋の音響効果とスピーカ伝達関数とが無視できる範囲で妥当なことである。問題（１つのリスニング構成間での問題）を最小限にすることは、この問題が一度解けると、閉形式でのゲインの表現形式が存在することである。

システム１における左耳での結合された信号の出力は、式（１４）で与えられると考えられる。

ここで、Ｘ１（ｍ，ｂ）は、時間ｍ帯域ｂについて、システム１における、左耳での結合された信号を含むＮ行２列のマトリックスである。マトリックスの長さ（Ｎ）は、分析される帯域（ｂ）の長さに依存する。

右耳での結合された信号の出力は、式（１５）で与えられると考えられる。

ここで、Ｘ２（ｍ，ｂ）は、時間ｍ帯域ｂについて、システム１における、右耳での結合された信号を含むＮ行２列のマトリックスである。

システム２における左耳での結合された信号の出力は、下式で与えられると考えられる。

右耳での結合された信号の出力は、下式で与えられると考えられる。

あるいは、式（１４）〜（１７）で示したような、出力（すなわち２乗した）領域で各耳における信号の特性を表現する代わりに、振幅（すなわち２乗せずに）領域で特性を表現してもよい。

ここで、以下のように、２つのシステム間の差を最小限にするための式を定式化することができる。

ここで

そして、
Ｅは期待値である、
注記：表記を簡単化するために、時間指標と帯域指標は省略してある。

式（１８）で与えられる最小化問題では、システム１と２とでの左耳に到達すると考えられる信号の差と、システム１と２とでの右耳に到達すると考えられる信号の差とを最小にすることを試みる。しかし式（１８）は、、中央スピーカに信号を入力させない（すなわち、Ｇ_ＣＬ＝Ｇ_ＣＲ＝０）という、価値の無い解を持つ。従って、エネルギーを中央スピーカに強制する、ペナルティー関数を導入しなければならない。ペナルティー関数を導入するために、以下のような定義を行うことができる。

ここで、Ｘ３（ｍ，ｂ）は、時間ｍ帯域ｂについて、システム２における、左右のスピーカからのみの信号のエネルギーを表すＮ行４列のマトリックスである。

ここで、Ｘ４（ｍ，ｂ）は、時間ｍ帯域ｂについて、システム２における、中央スピーカからのみの信号のエネルギーを表すＮ行４列のマトリックスである。

式（１４）〜（１７）が出力の信号の代わりに、振幅信号を採用する場合は、式（１９）と（２０）もまた、振幅によるマトリックス要素を採用すべきである。

システム２において、左右のラウドスピーカと中央スピーカとから左右の耳に到着するエネルギーの差を表現するペナルティー関数は、以下の式により与えられる。

または、ペナルティー関数は、以下の式で表すことができる。

式（１８）をペナルティー関数を含めるよう変形すると、以下の式が得られる。

ここで、λはこの２つのシステム間での差と中央に信号を送らないことの代償とのトレードオフを表す。ペナルティー係数λは（０と１との間の値が実際的な値であるが）０と無限大との間の値をとることができ、周波数帯域毎に、又は周波数帯域のグループごとに異なった値をとることができる。もし、この式のペナルティー関数部分を最小化すると、中央チャンネルのゲイン係数が無限大になる。もし、この式のノンペナルティー関数を最小化すると、中央チャンネルのゲイン係数がゼロになる。ペナルティー係数により、このように、ゼロでない中央チャンネルのゲインを選択することが可能となる。ペナルティー係数λが増大するにつれて、２つの立体音響入力チャンネルにおける信号条件について、最小の中央チャンネルゲインはゼロからますます離れてゆく。λの値が減少するにつれて、中央のイメージの幅が増大する。直感的に、λ係数はスイートスポットでのリスニング性能とスイートスポットではない所でのリスニング性能とのトレードオフをもたらす。係数は、人又は人以外の決定者、例えば再生システムの設計者により経験的に定められる。このために、システムの設計者により適切だとみなされた基準を採用することができる。この判断基準の一部又はすべては主観的なものとなるかもしれない。別の決定者は別のλの値を選択することができる。本発明を実施する実際の装置では、例えば、異なった動作モードに対して異なったλの値を採用することができる。例えば、装置には、「音楽」モードと「映画」モードとを持たせることができる。映画モードでは、大きなλ値を持ち、狭い中央イメージにすることができる（これは、映画のセリフを好ましい中央位置に固定することの助けとなる）。ペナルティー係数λの選択は、装置に具備させるよりも、適切な装置で上演するときに、ソフトウェアを再生するときにそのソフトウェア製作者によるλの選択を実施することができるように、エンターテイメントソフトウェアにより実行できるようにしてもよい。実際の実施の形態において、λの値を０．０８にするのが実用的であることが分かっている。

ここで、以下のように最小問題を解くことができる。

期待値演算子が線形なので、表記を簡単にするために以下の定義を行うことができる。

ここで、Ｒ_ｘｘ１は２行４列のマトリックスである。

ここで、Ｒ_ｘｘ２は２行４列のマトリックスである。

ここで、Ｖ_ｘ１は４行４列のマトリックスである。

ここで、Ｖ_ｘ２は４行４列のマトリックスである。

ここで、Ｖ_ｘ３は４行４列のマトリックスである。

ここで、Ｖ_ｘ４は４行４列のマトリックスである。

式（２５）〜（３０）に対して、期待値演算子（Ｅ）は、上述した信号に適合する漏れのある積分を用いてエミュレートされる。式（２５）〜（３０）を式（２４）に置き換えると、

任意に選んだ特定の条件で、ペナルティー関数の動作を示すために、すべての好ましい値を最適値に設定し、中央のゲインの１つをペナルティー関数と共に、又はペナルティー関数なしで、変更する。次いで、Ｇ_ＣＬのような中央チャンネルゲイン係数の１つに関して、ペナルティー関数と共に、又はペナルティー関数なしで、式（３１）から表現を最小化するように位置づけした場合、ペナルティー関数により、ゲイン係数Ｇ_ＣＬの最小値がＸ軸上で０から離れてゆき、従って、中央チャンネルに、たしかに信号が送られることが分かるであろう。図７は、ペナルティー関数がある場合と無い場合の中央ゲイン係数Ｇ_ＣＬに関する方程式（３１）から、表現を最小化するように位置づけする効果を示す。期待したとおり、最小値はＸ軸から離れてゆく。

Ｇに関し部分偏微分をゼロに設定することにより、式（３０）を得る。

従って、最小２乗法による解は以下で与えられる。

式（３３）は４×４マトリックスを逆変換する必要があるので、逆変換前にマトリックスのランクを調べておくことは重要である。マトリックスを不可逆にする信号条件がある（ランクが４以下であること）。しかしながら、これらの条件は、計算を行う前にその信号に少量のノイズを付加することにより簡単に調整することができる。

式（３３）で計算したゲインは、次いで、すべての出力信号の出力の和が入力信号の出力の和に等しくなるように正規化する。最後に、図１に示したような信号に適用する前に、このゲインを、上述した、信号に適合する漏れのある積分を用いて（１以上のブロック又は１以上のフレームにわたって）平滑化することができる。

最小化について上記の例で計算したが、他の既知の最小化方法を採用することもできる。例えば、勾配探索のような再帰的技法を採用することができる。

信号条件を変えたときの本発明の性能は、図１の構成に等エネルギーを持つ左右の入力テスト信号を加え、これらのテスト信号のチャンネル間の相関を０（完全に無相関）から１（完全な相関関係あり）に変化させることで実証することができる。適切なテスト信号は、例えば、無相関の場合については信号が独立しているホワイトノイズ信号が、そして同じホワイトノイズ信号が完全な相関関係ありの場合に適用される。チャンネル間の相関関係は相関関係なしから完全な相関関係ありの状態に徐々に変化してゆくので、好ましい出力は左右のイメージのみ（相関関係なし）から中央イメージのみ（完全な相関関係あり）へ変化する。このように、結果として生じる中央チャンネルのゲインの和は、チャンネル間の相関関係が低いときにゼロに近く、中央チャンネルのゲインの和は、チャンネル間の相関関係が高いときに１に近くなることが予想される。図８は、中央チャンネルゲインの和に対するチャンネル間の相関をプロットしたものを示す。ゲインの和の変化は、チャンネル間の相関の変化と同程度と思われる。

本発明によれば、これまでのところ、左右信号出力は、それぞれ元の左右立体音響入力信号から可変割合で生成されている。これでうまく行くが、アプリケーションによっては、左右信号出力を、元の左右立体音響入力信号の両方から可変割合で組み立てるほうが好都合かもしれない。この技術分野でよく知られているように、前方からのサウンドステージを広げるために、反対のオーディオチャンネル（左に対して右、及び右に対して左）を、１８０°位相をずらして挿入することができる。従って、本発明の特徴として、図９に概略的に示した、元の左立体音響信号と元の右立体音響信号の両方から左右の出力信号のそれぞれを作り出すことが含まれる。図９において、左の出力信号は元の左の信号に変数Ｇ_ＬＬを乗算したものと、元の右の信号に変数−Ｇ_ＬＲを乗算したものとの結合である。同様に、右の出力信号は元の右の信号に変数Ｇ_ＲＲを乗算したものと、元の左の信号に変数−Ｇ_ＲＬを乗算したものとの結合である。従って、リスナーの左耳における信号は、Ｇ_ＬＬＬ_ｈ、−Ｇ_ＬＲＲ_ｈ、Ｇ_ＲＲＲ_ｆ、−Ｇ_ＲＬＬ_ｆ、Ｇ_ＣＬＬ_ｃ、及びＧ_ＣＲＲ_ｃの結合であると考えられる。同様に、リスナーの右耳における信号は、Ｇ_ＲＲＲ_ｈ、−Ｇ_ＲＬＬ_ｈ、Ｇ_ＬＬＬ_ｆ、−Ｇ_ＬＲＲ_ｆ、Ｇ_ＣＬＬ_ｃ、及びＧ_ＣＲＲ_ｃの結合であると考えられる。

図９に示したシステムの新たなゲインについて解くために、式（１６）を式（３４）に拡張する。

式（１７）を式（３５）に拡張する。

式（３６）で示すように、新たなゲインを取り込むために式（１８）に示したゲインベクトルを修正する必要がある。

最後に、式（１９）と（２０）はそれぞれ式（３７）と（３８）に示すように修正する。

これで、式（２４）に示したものと同じ式に上記の修正した式を挿入したものを用いて式（３６）で与えられる新たなゲインについてとくことができる。

［実施形態］
本発明は、ハードウェア又はソフトウェア又は両方を組み合わせたもの（例えば、プログラマブルロジックアレー）で実施することができる。特に記載がない限り、本発明の一部として含まれているアルゴリズムも、特定のコンピュータや他の装置と関連付けられるものではない。特に、種々の汎用機をこの記載に従って書かれたプログラムと共に用いてもよい、あるいは、要求の方法を実行するために、より特化した装置（例えば、集積回路）を構成することが便利かもしれない。このように、本発明は、それぞれ少なくとも１つのプロセッサ、少なくとも１つの記憶システム（揮発性及び非揮発性メモリー及び／又は記憶素子を含む）、少なくとも１つの入力装置又は入力ポート、及び少なくとも１つの出力装置又は出力ポートを具備する、１つ以上のプログラマブルコンピュータシステム上で実行される１つ以上のコンピュータプログラムにより実現することができる。ここに記載した機能を遂行し、出力情報を出力させるために入力データにプログラムコードを適用する。この出力情報は、公知の方法で、１以上の出力装置に適用される。

このようなプログラムの各々は、コンピュータシステムとの通信のために、必要とされるどんなコンピュータ言語（機械語、アセンブリ、又は、高級な、手続言語、論理型言語、又は、オブジェクト指向言語を含む）ででも実現することができる。いずれにせよ、言語はコンパイル言語であってもインタープリタ言語であってもよい。このようなコンピュータプログラムの各々は、ここに記載の手順を実行するために、コンピュータにより記憶媒体又は記憶装置を読み込んだとき、コンピュータを設定し動作させるための、汎用プログラマブルコンピュータ又は専用プログラマブルコンピュータにより、読み込み可能な記憶媒体又は記憶装置（例えば、半導体メモリー又は半導体媒体、又は磁気又は光学媒体）に保存又はダウンロードすることが好ましい。本発明のシステムはまた、コンピュータプログラムにより構成されるコンピュータにより読み込み可能な記憶媒体として実行することを考えることもできる。ここで、この記憶媒体は、コンピュータシステムを、ここに記載した機能を実行するために、具体的にあらかじめ定めた方法で動作させる。

本発明の多くの実施の形態について記載した。しかしながら、本発明の精神と技術範囲を逸脱することなく多くの修正を加えることができることは明らかであろう。例えば、ここに記載したステップのいくつかの順序は独立であり、従って、記載とは異なる順序で実行することができる。

本発明の特徴による、１チャンネルから３チャンネルへのアップミキシング構成を概略的に示す機能ブロック図である。 本発明の実際の実施の形態における、時間から周波数領域への変換を行うのに有用な、適切な分析／合成窓のペアを示す。 本発明の実際の実施の形態における、スペクトル系数の帯域にグループ分けするのに用いることのできる４４１００Ｈｚのサンプルレートの、ヘルツ（Ｈｚ）単位で各帯域の中央周波数のプロットを示す。 本発明の実際の実施の形態において採用された、ＩＩＲ時間平滑化フィルターのパラメータが、処理中のオーディオにおける聴覚イベントの検出に応答して時間的にどのように変化するかを示す。 各ラウドスピーカから中央に位置するリスナーに届く信号と共に２チャンネル再生システムのモデルを概略的に示す（システム１）。 中央チャンネルラウドスピーカを追加した３チャンネル再生システムのモデルを概略的に示す（システム２）。 ペナルティー関数がある場合と無い場合の中央ゲイン係数Ｇ_ＣＬに関する方程式（３１）から、最小にした表現の位置づけ効果を示す。 中央チャンネルゲインの和に対する左右入力信号間の相関をプロットしたものを示す。 中央チャンネルラウドスピーカを追加し、左右のチャンネルにクロストークを導入した３チャンネル再生システムのモデルを概略的に示す（システム２の変形）。

Claims (25)

1. 左右の立体音響の２つのチャンネルから、左チャンネルと、中央チャンネルと、右チャンネルとの３つのチャンネルを導き出す方法であって、
   左立体音響チャンネルから可変割合で左チャンネルを導き出すステップと、
   右立体音響チャンネルから可変割合で右チャンネルを導き出すステップと、
   可変割合の左立体音響チャンネルと可変割合の右立体音響チャンネルとを結合したものから中央チャンネルを導き出すステップと、
   を具備し、
   前記可変割合の各々は、左右の立体音響チャンネルに適用されるゲイン係数により定まり、
   該ゲイン係数は、
   立体音響チャンネルを左右のラウドスピーカに適用する第１のモデルによる構成における場合と、立体音響チャンネルを左右のラウドスピーカ及び中央ラウドスピーカに適用する第２のモデルによる構成における場合とで、中央に位置するリスナーの耳に生じるサウンドの指標の差を測定するステップと、
   そしてこの差が最小になるよう、２つの正反対の状態の間でのバランス、すなわち中央ラウドスピーカに信号が適用されない状態と、左右のラウドスピーカに信号が適用されない状態との間でのバランスを制御するような重み付け係数に比例した割り当てとなる、左及び／又は右の立体音響チャンネルの割り当てを、中央ラウドスピーカに同時に適用し、
   前記第２のモデルにおける、左、中央、及び右のラウドスピーカへ適用する立体音響チャンネルの比率を、ゲイン係数を変えることで、制御するステップとにより、導き出すこと
   を特徴とする、方法。
2. 前記中央チャンネルを導き出すステップにおいて、前記左立体音響チャンネルの前記可変割合と前記右立体音響チャンネルの前記可変割合とは等しく、
   前記中央チャンネルは、２つ及び全部で３つのゲイン係数を採用することなく１つのゲイン係数を用いることにより導かれることを特徴とする請求項１に記載の方法。
3. 前記中央チャンネルを導き出すステップにおいて、前記左立体音響チャンネルの前記可
   変割合と前記右立体音響チャンネルの前記可変割合とは必ずしも等しくはなく、前記中央チャンネルを導き出すために、２つのゲイン係数を用い全部で４つのゲイン係数を採用することが必要となることを特徴とする請求項１に記載の方法。
4. 前記制御するステップには、前記重み付け係数がペナルティー係数となるペナルティー関数をもつ表現を数学的に最小化することを行うステップが含まれることを特徴とする請求項１乃至請求項３のいずれか１項に記載の方法。
5. 前記サウンドの指標は、音圧の振幅であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の方法。
6. 前記サウンドの指標は、音圧の出力であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の方法。
7. 前記リスナーの耳に生じるサウンドの指標における差を測定するステップには、ヘッドシャドーイング効果を考慮に入れた計算を行うことが含まれることを特徴とする請求項１乃至請求項６のいずれか１項に記載の方法。
8. 前記測定するステップと前記制御するステップとは、周波数領域で行われる計算を用いることを特徴とする請求項１乃至請求項７のいずれか１項に記載の方法。
9. 前記周波数領域で行われる計算は、臨界帯域と同程度又はそれより狭い範囲で複数の周波数帯域において行われることを特徴とする請求項８に記載の方法。
10. 左、中央、及び右のラウドスピーカのチャンネルへ適用する２チャンネルの立体音響信号の量を制御するステップには、前記左、中央、及び右のラウドスピーカに適用する前記２チャンネルの立体音響信号のそれぞれの量を閉形式の解を有する最小２乗法による方程式を解くステップが含まれることを特徴とする請求項１乃至請求項９のいずれか１項に記載の方法。
11. 前記可変割合の右立体音響チャンネルから左チャンネルを導き出すステップと、
    前記可変割合の左立体音響チャンネルから右チャンネルを導き出すステップと、
    をさらに具備することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の方法。
12. 前記左チャンネルを導き出す右立体音響チャンネルは、該右立体音響チャンネルの位相のずれたものであり、
    前記右チャンネルを導き出す左立体音響チャンネルは、該左立体音響チャンネルの位相のずれたものであることを特徴とする請求項１１に記載の方法。
13. 左右の立体音響の２つのチャンネルから、左チャンネルと、中央チャンネルと、右チャンネルとの３つのチャンネルを導き出す装置であって、
    左立体音響チャンネルから可変割合で左チャンネルを導き出す手段と、
    右立体音響チャンネルから可変割合で右チャンネルを導き出す手段と、
    可変割合の左立体音響チャンネルと可変割合の右立体音響チャンネルとを結合したものから中央チャンネルを導き出す手段と、
    を具備し、
    前記可変割合の各々は、左右の立体音響チャンネルに適用されるゲイン係数により定まり、該ゲイン係数は、
    立体音響チャンネルを左右のラウドスピーカに適用する第１のモデルによる構成におけ
    る場合と、立体音響チャンネルを左右のラウドスピーカ及び中央ラウドスピーカに適用する第２のモデルによる構成における場合とで、中央に位置するリスナーの耳に生じるサウンドの指標の差を測定するステップと、
    そしてこの差が最小になるよう、２つの正反対の状態の間でのバランス、すなわち中央ラウドスピーカに信号が適用されない状態と、左右のラウドスピーカに信号が適用されない状態との間でのバランスを制御するような重み付け係数に比例した割り当てとなる、左及び／又は右の立体音響チャンネルの割り当てを、中央ラウドスピーカに同時に適用し、
    前記第２のモデルにおける、左、中央、及び右のラウドスピーカへ適用する立体音響チャンネルの比率を、ゲイン係数を変えることで、制御するステップとにより、導き出すこと
    を特徴とする、装置。
14. 前記中央チャンネルを導き出す手段において、前記左立体音響チャンネルの前記可変割合と前記右立体音響チャンネルの前記可変割合とは等しく、前記中央チャンネルは、２つ及び全部で３つのゲイン係数を採用することなく１つのゲイン係数を用いることにより導かれることを特徴とする請求項１３に記載の装置。
15. 前記中央チャンネルを導き出す手段において、前記左立体音響チャンネルの前記可変割合と前記右立体音響チャンネルの前記可変割合とは必ずしも等しくはなく、前記中央チャンネルを導き出すために、２つのゲイン係数を用い全部で４つのゲイン係数を採用することが必要となることを特徴とする請求項１３に記載の装置。
16. 前記制御するステップには、前記重み付け係数がペナルティー係数となるペナルティー関数をもつ表現を数学的に最小化することを行うステップが含まれることを特徴とする請求項１３乃至請求項１５のいずれか１項に記載の装置。
17. 前記サウンドの指標は、音圧の振幅であることを特徴とする請求項１３乃至請求項１６のいずれか１項に記載の装置。
18. 前記サウンドの指標は、音圧の出力であることを特徴とする請求項１３乃至請求項１６のいずれか１項に記載の装置。
19. 前記リスナーの耳に生じるサウンドの指標における差を測定するステップには、ヘッドシャドーイング効果を考慮に入れた計算を行うことが含まれることを特徴とする請求項１３乃至請求項１８のいずれか１項に記載の装置。
20. 前記測定するステップと前記制御するステップとは、周波数領域で行われる計算を用いることを特徴とする請求項１３乃至請求項１９のいずれか１項に記載の装置。
21. 前記周波数領域で行われる計算は、臨界帯域と同程度又はそれより狭い範囲で複数の周波数帯域において行われることを特徴とする請求項２０に記載の装置。
22. 左、中央、及び右のラウドスピーカのチャンネルへ適用する２チャンネルの立体音響信号の量を制御するステップには、前記左、中央、及び右のラウドスピーカに適用する前記２チャンネルの立体音響信号のそれぞれの量を閉形式の解を有する最小２乗法による方程式を解くステップが含まれることを特徴とする請求項１３乃至請求項２１のいずれか１項に記載の装置。
23. 前記可変割合の右立体音響チャンネルから左チャンネルを導き出すステップと、
    前記可変割合の左立体音響チャンネルから右チャンネルを導き出すステップと、
    をさらに具備することを特徴とする請求項１３乃至請求項２２のいずれか１項に記載の装置。
24. 前記左チャンネルを導き出す右立体音響チャンネルは、該右立体音響チャンネルの位相のずれたものであり、
    前記右チャンネルを導き出す左立体音響チャンネルは、該左立体音響チャンネルの位相のずれたものであることを特徴とする請求項２３に記載の装置。
25. 請求項１乃至請求項１２記載のいずれか１項に記載の方法をコンピュータに実行させる、コンピュータ読取可能媒体に保存したコンピュータプログラム。

Images