JP4580210B2 - 音声信号処理装置および音声信号処理方法 - Google Patents

Description

この発明は、それぞれ複数の音源からの音声信号により構成される２系統（２チャンネル）の入力音声時系列信号から、入力チャンネル数よりも多いチャンネルの音源の音声信号を分離するようにする音声信号処理装置および方法に関する。

また、２チャンネルの入力音声時系列信号から、入力チャンネル数よりも多いチャンネルの音源の音声信号を分離した後、ヘッドホンあるいは２個のスピーカにより再生するための音声信号を生成するようにする音声信号処理装置に関する。

レコードやコンパクトディスク等に記録された左右２チャンネルのステレオ音楽信号の各チャンネルの音声信号には、複数の音源からの音声信号により構成されるものが多数存在する。このようなステレオ音声信号では、２個のスピーカで再生した場合に、前記複数個の音源のそれぞれがスピーカ間に音像として定位するように、レベル差を付加してそれぞれのチャンネルに記録する場合が多い。

例えば、５個の音源ＭＳ１〜ＭＳ５の信号をＳ１〜Ｓ５とし、これを左右２チャンネルの音声信号ＳＬ，ＳＲとして記録する場合に、
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４
のように、各音源ＭＳ１〜ＭＳ５の信号Ｓ１〜Ｓ５は、左右２チャンネルにおいてレベル差を付けて、それぞれのチャンネルの音声信号中に加算混合するようにする。

このようにレベル差が付けられて音源ＭＳ１〜ＭＳ５の信号が左右２チャンネルの音声信号に振り分けられて記録されたステレオ音声信号を、例えば図３２に示すように、２個のスピーカ１Ｌ、１Ｒで再生すると、リスナ２は、各音源ＭＳ１，ＭＳ２，ＭＳ３，ＭＳ４，ＭＳ５に対応した音像Ａ，Ｂ，Ｃ，Ｄ，Ｅを知覚することができる。また、この音像Ａ，Ｂ，Ｃ，Ｄ，Ｅは、スピーカ１Ｌとスピーカ１Ｒとの間に定位することが知られている。

また、図３３に示すように、リスナ２がヘッドホン装置３を装着して、前述した左右２チャンネルのステレオ音声信号を、当該ヘッドホン装置３の左スピーカユニット３Ｌと、右スピーカユニット３Ｒとで再生した場合には、同図に示すように、リスナ２は、各音源ＭＳ１，ＭＳ２，ＭＳ３，ＭＳ４，ＭＳ５に対応した音像Ａ，Ｂ，Ｃ，Ｄ，Ｅを、頭内あるいはその近傍に知覚することができる。

しかし、このような再生方式では、音像は２個のスピーカあるいはスピーカユニット間の狭いエリアでのみ定位し、さらには音像同士が重なって聞こえる場合も多かった。

音像の重なりを回避するために、図３２の場合には、２個のスピーカ１Ｌ，１Ｒの間隔を広げて配置することも考えられるが、その場合には、センター方向の音像（図３２では音像Ｃ）がぼけて、明確な音像定位が得られなかった。また、当然音源に対応する音像を、リスナの後方や側面方あるいは自由な位置に配置して聴くことはできなかった。

また、同じステレオ音声信号をヘッドホン装置３で再生した場合は、音像Ａ〜Ｅは、図３３に示すように、左耳近傍から右耳近傍に至る頭内に定位し、ステレオスピーカ再生よりも更に狭い範囲内に、しかも重なった音像が定位し、不自然な再生音場になるという問題があった。

このような問題に対し、例えば２チャンネルステレオ音声信号から、元の音源の３チャンネル以上の音声信号を疑似マルチチャンネル信号として分離合成して、それら分離合成した多チャンネル音声信号により、それら多チャンネルのそれぞれに対応するスピーカにより再生することにより、自然な再生音場を得ることができる。また、例えば、リスナの後方等にも音像が合成されるようにすることができる。

このような目的を達成する方法には、マトリクス回路および方向性強調回路を使う方法がある。図３４を用いて、この原理を説明する。

予め４種類の音源の信号Ｌ、Ｃ、Ｒ、Ｓを用意し、これらの音源信号を用いて、以下の合成式によりエンコード処理して、２個の音源の信号Ｓｉ１，Ｓｉ２を得る。

Ｓｉ１＝Ｌ＋０．７Ｃ＋０．７Ｓ
Ｓｉ２＝Ｒ＋０．７Ｃ−０．７Ｓ
こうして生成した２個（２チャンネル）の信号Ｓｉ１，Ｓｉ２は、ディスクなどの記録メディア等に記録し、当該記録メディアから再生し、図３４のデコード装置１０の入力端子１１，１２に入力する。そして、このデコード装置１０で、信号Ｓｉ１，Ｓｉ２から、４チャンネルの音源信号Ｌ、Ｃ、Ｒ、Ｓを分離する。

具体的には、入力端子１１，１２を通じた入力信号Ｓｉ１及びＳｉ２は、加算回路１３および減算回路１４に供給されて、互いに加算および減算され、それぞれ加算出力信号ＳaddおよびＳdiffなる信号を生成する。このとき、信号Ｓｉ１，Ｓｉ２および信号Ｓadd，Ｓdiffは、以下のように表される。

Ｓｉ１＝Ｌ＋０．７Ｃ＋０．７Ｓ
Ｓｉ２＝Ｒ＋０．７Ｃ−０．７Ｓ
Ｓadd＝１．４Ｃ＋Ｌ＋Ｒ
Ｓdiff＝１．４Ｓ＋Ｌ−Ｒ
したがって、信号Ｓｉ１においては信号Ｌ、信号Ｓｉ２においては信号Ｒが、信号Ｓaddにおいては信号Ｃが、信号Ｓdiffにおいては信号Ｓが、それぞれ他の音源信号よりも３ｄＢレベルが高く、各音源の特徴を最も保持したチャンネル音声となる。そこで、これらの信号Ｓｉ１，信号Ｓｉ２，信号Ｓaddおよび信号Ｓdiffのそれぞれを出力信号とすれば、元の４チャンネルの音源信号Ｌ、Ｃ、Ｒ、Ｓを分離して出力することができることになる。

しかしながら、このままでは、各チャンネル間での音像のセパレーションが不足する。そのため、図３４の例では、更に、それぞれの信号Ｓｉ１，信号Ｓｉ２，信号Ｓaddおよび信号Ｓdiffは、その入力信号レベルに応じて、出力レベルを増強する方向性強調回路１５１，１５２，１５３，１５４を通して出力端子１６１，１６２，１６３，１６４に出力するようにする。

これらの方向性強調回路１５１，１５２，１５３，１５４のそれぞれは、信号Ｓｉ１，信号Ｓｉ２，信号Ｓaddおよび信号Ｓdiffのいずれかのチャンネル信号が、他のチャンネル信号よりもレベルが大きいときに、この大きいチャンネルの信号を動的に増強し、見掛け上、他のチャンネルとのセパレーションを改善する動作を行なう。

次に、他の従来例を、図３５〜図３７を用いて説明する。この例では、図３５に示すように、デコード装置１０において、図３４の例の方向性強調処理部１５１，１５２，１５３，１５４の代わりに、無相関処理部１７１，１７２，１７３，１７４を設ける。

この無相関処理部１７１〜１７４のそれぞれは、例えば図３６（Ａ），（Ｂ），（Ｃ），（Ｄ）、または、図３７（Ａ），（Ｂ），（Ｃ），（Ｄ）に示すような特性を有するフィルタにより構成される。

図３６（Ａ），（Ｂ），（Ｃ），（Ｄ）では、斜線を施した周波数帯域での位相を、互いにずらすことにより、各チャンネルの無相関化を実現するようにしている。また、図３７（Ａ），（Ｂ），（Ｃ），（Ｄ）では、チャンネル間で異なる帯域を除去することにより、チャンネル間の無相関化を実現するようにしている。

図３５の例のデコード装置１０において生成し、出力端子１６１〜１６４から出力した疑似４チャンネル信号を、それぞれ異なるスピーカで再生すると、各チャンネル間の無相関性が確保されるので、広がり感のある音場再生を実現することが可能となる。

参考となる特許文献は、次の通りである。
特表２００３−５１５７７１号公報

しかしながら、上述した図３４の方法によれば、信号Ｓｉ１、Ｓｉ２からの、エンコードした３チャンネル以上の音源の分離を、或る程度は実現可能であるが、以下のような問題がある。

（１）１個の音源だけが鳴っている状態では良いセパレーションが得られるが、同時に全ての音源が同程度のレベルで鳴るような場合には、各チャンネル間でレベル差は発生せず、従って方向性強調回路１５１〜１５４が動作しない状態となるので、チャンネル間セパレーションは３ｄＢしか確保することができない。

（２）方向性強調回路１５１〜１５４により、各音源の信号のレベルがダイナミックに変動するので、不自然な音の増減が起きやすい。

（３）隣接する２つの音源が鳴っているときに、一方の音源が他方の音源に引っ張られる場合がある。

（４）分離を想定してエンコードした音源以外での分離効果は少ない。

また、上述した図３４の方法の場合にも、次の様な問題がある。すなわち、図３４の例の無相関処理を用いる方法では、音源の種類に関係せず、周波数帯域の位相をずらしたり、帯域を除去したりするので、広がり感のある音場は得られるが、音源の分離はできず、従って明確な音像を構成することはできない。

２チャンネルのステレオ信号から音源を分離しようとした場合、方向性強調回路による方法では、音源が同時に鳴っている場合の音源間のセパレーションが不足したり、不自然な音量変化があったり、不自然な音源の移動があったり、さらに事前にエンコードした音源を用意しないと十分な効果が得られにくいという問題があった。

また、無相関処理を使った疑似マルチチャンネル方式では、音源の音像が明確に定位しないという問題があった。

この発明は、複数の音源の音声信号が含まれている２系統の音声信号から、前記複数の音源の音声信号を良好に分離することができる音声信号処理装置および方法を提供することを目的とする。

上記の課題を解決するために、請求項１の発明による音声信号処理装置は、
３以上の複数の音源の音声信号のそれぞれが、それぞれ、所定のレベル比またはレベル差で、かつ、所定の位相差（位相差無しを含む）で分配された２系統の入力音声信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記レベル算出手段で算出された前記レベル比または前記レベル差が前記３以上の音源の音声信号のうちの、抽出して出力しようする音源の音声信号に応じて予め定めた値およびその近傍となる周波数成分であり、かつ、前記位相差算出手段で算出された前記位相差が前記抽出して出力しようする音源の音声信号に応じて予め定めた値およびその近傍となる周波数成分を、前記２系統の前記周波数分割スペクトルの少なくとも一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に変換する３個以上の逆直交変換手段と、
を備え、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記レベル算出手段で算出されたレベル比またはレベル差の関数として設定され、連続した値を持つ第１の乗算係数の発生手段と、
前記位相差算出手段で算出された位相差の関数として設定され、連続した値を持つ第２の乗算係数の発生手段と、
前記第１の乗算係数の発生手段からの前記第１の乗算係数を、前記第１の直交変換手段および前記第２の直交変換手段から得られる、前記レベル算出手段で前記レベル比またはレベル差が算出された対応する周波数分割スペクトルのそれぞれに乗算する２個の乗算器からなる第１の乗算手段と、
前記第２の乗算係数の発生手段からの前記第２の乗算係数を、前記第１の乗算手段の前記２個の乗算器から得られる、前記位相差算出手段で位相差が算出された対応する周波数分割スペクトラムのそれぞれに乗算する２個の乗算器からなる第２の乗算手段と具備し、
前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする。

この請求項１の発明においては、２系統の入力音声時系列信号は、それぞれ第１および第２の直交変換手段により周波数領域信号に変換されて、それぞれ複数個の周波数分割スペクトルからなる成分に変換される。

そして、請求項１では、周波数分割スペクトル比較手段において、第１の直交変換手段と第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差が比較される。

３個以上の出力制御手段のそれぞれにおいては、周波数分割スペクトル比較手段の比較結果に基づいて、第１の直交変換手段と第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を抽出して出力する。そして、抽出した周波数領域信号が時系列信号に戻される。

したがって、複数個の出力制御手段のそれぞれにおいて、予め定めたレベル比あるいはレベル差が、特定の音源の音声信号が前記２系統の音声信号に混合されているレベル比あるいはレベル差に設定されていれば、それぞれの出力制御手段からは、それぞれに設定された特定の音源の音声信号を構成する周波数領域成分が２系統の音声信号の両方または一方から抽出されて得られる。つまり、３個以上の出力制御手段のそれぞれから、２系統の入力音声時系列信号から抽出された特定の音源の音声信号が得られる。

この発明によれば、２系統の音声信号に対して、所定のレベル比あるいはレベル差、または、所定の位相差をもって、混合された３個以上の複数の音源の音声信号のそれぞれが、前記所定のレベル比あるいはレベル差、または、所定の位相差に基づいて、前記２系統の音声信号の両方または一方から分離されて出力される。

以下、この発明による音声信号処理装置および方法の実施形態を、図を参照しながら説明する。

以下の説明においては、前述もした左チャンネル音声信号ＳＬと、右チャンネル音声信号ＳＲとからなるステレオ音声信号から、音源分離する場合について説明する。

例えば、左チャンネル音声信号ＳＬと、右チャンネル音声信号ＳＲとに、音源ＭＳ１〜ＭＳ５の音声信号Ｓ１〜Ｓ５が、次の（式１）および（式２）に示すような割合で、レベル差が付けられて振り分けられて混合されているものとする。

ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４ ・・・（式１）
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４ ・・・（式２）

この（式１）および（式２）を比べると、各音源ＭＳ１〜ＭＳ５の音声信号Ｓ１〜Ｓ５は、上記のようにレベル差を持って、左チャンネル音声信号ＳＬと右チャンネル音声信号ＳＲとに分配されているので、この分配比率によって、音源を再度、左チャンネル音声信号ＳＬおよび／または右チャンネル音声信号ＳＲとから振り分けることができれば、元の音源は分離できる。

以下の実施形態においては、各音源が、一般的には異なるスペクトラム成分を有していることを利用して、左右２チャンネルステレオ音声信号のそれぞれを十分な解像度を有するＦＦＴ処理により周波数領域に変換して、多数個の周波数分割スペクトル成分に分割する。そして、それぞれのチャンネルの音声信号についての、対応する各周波数分割スペクトル同士のレベル比またはレベル差を求める。

そして、求めたレベル比またはレベル差が、（式１），（式２）において、分離したい音源の音声信号のそれぞれについての分配比に対応する周波数分割スペクトルを検出する。そして、前記分離したい音源の音声信号のそれぞれについてのレベル比またはレベル差となっている周波数分割スペクトル成分を検出したときには、当該検出した周波数分割スペクトル成分を、各音源ごとに分離することにより、他の音源からの影響の少ない音源分離を可能にしている。

［この発明の実施形態が適用される音響再生システムの例］
図２は、この発明による音声信号処理装置の第１の実施形態が適用された音響再生システムの構成を示すブロック図である。この例の音響再生システムは、前述した（式１）、（式２）のような５個の音源信号から構成される左右２チャンネルステレオ信号ＳＬ，ＳＲから、前記５個の音源信号を分離し、分離した５個の音源信号を５個のスピーカＳＰ１〜ＳＰ５のそれぞれにより音響再生する。

すなわち、左チャンネル音声信号ＳＬおよび右チャンネル音声信号ＳＲは、入力端子３１および３２をそれぞれ通じて、音声信号処理装置の実施形態としての音声信号処理装置部１００に供給される。この音声信号処理装置部１００では、後述するようにして、左チャンネル音声信号ＳＬおよび右チャンネル音声信号ＳＲから、５個の音源の音声信号Ｓ１´、Ｓ２´、Ｓ３´、Ｓ４´、Ｓ５´を分離抽出する。

この音声信号処理装置部１００で分離抽出された５個の音源の音声信号Ｓ１´、Ｓ２´、Ｓ３´、Ｓ４´、Ｓ５´のそれぞれは、Ｄ／Ａ変換器３３１，３３２，３３３，３３４，３３５のそれぞれによりアナログ信号に変換された後、アンプ３４１，３４２，３４３，３４４，３４５および出力端子３５１，３４２，３５３，３５４，３５５のそれぞれを通じて、スピーカＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４，ＳＰ５のそれぞれに供給され、音響再生される。

ここで、図２の例では、各スピーカＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４，ＳＰ５のそれぞれは、リスナＭの正面方向をスピーカＳＰ３の方向として、リスナＭに対して、後方左、後方右、前センター、前左、前右の位置にそれぞれに置かれており、５個の音源の音声信号Ｓ１´、Ｓ２´、Ｓ３´、Ｓ４´、Ｓ５´のそれぞれは、後方左（ＬＳ；Ｌｅｆｔ−Ｓｕｒｒｏｕｎｄ）チャンネル用、後方右（ＲＳ；Ｒｉｇｈｔ−Ｓｕｒｒｏｕｎｄ）チャンネル用、センターチャンネル用、左（Ｌ）チャンネル用、右（Ｒ）チャンネル用とされている。

［音声信号処理装置部１００の構成（音声信号処理装置の第１の実施形態）］
図１は、音声信号処理装置部１００の第１の例を示すものである。この音声信号処理装置部１００の第１の例においては、２チャンネルステレオ信号のうちの左チャンネル音声信号ＳＬは、直交変換手段の例としてのＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；高速フーリエ変換）部１０１に供給されて、信号ＳＬがアナログ信号の時にはデジタル信号に変換された後、ＦＦＴ処理（高速フーリエ変換）されて、時系列音声信号が周波数領域データに変換される。なお、信号ＳＬがデジタル信号であるときには、ＦＦＴ部１０１でのアナログ−デジタル変換は不要であることはいうまでもない。

一方、２チャンネルステレオ信号のうちの右チャンネル音声信号ＳＲは、直交変換手段の例としてのＦＦＴ部１０２に供給されて、信号ＳＲがアナログ信号のときにはデジタル信号に変換された後、ＦＦＴ処理（高速フーリエ変換）されて、時系列音声信号が周波数領域データに変換される。なお、信号ＳＲがデジタル信号であるときには、ＦＦＴ部１０２でのアナログ−デジタル変換は不要であることはいうまでもない。

この例のＦＦＴ部１０１および１０２は、同様の構成を備え、各時系列信号ＳＬ，ＳＲを、互いに異なる複数個の周波数の周波数分割スペクトル成分に分割する。ここで、周波数分割スペクトルとして得る周波数分割数は、音源の分離度の精度に応じた多数とされ、例えば５００以上、好ましくは４０００以上の周波数分割数とされる。この周波数分割数は、ＦＦＴ部におけるポイント数に相当する。

各ＦＦＴ部１０１およびＦＦＴ部１０２からの周波数分割スペクトル出力Ｆ１およびＦ２は、それぞれ周波数分割スペクトル比較処理部１０３と、周波数分割スペクトル制御処理部１０４とに供給される。

周波数分割スペクトル比較処理部１０３は、ＦＦＴ部１０１およびＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ１，Ｆ２の、同じ周波数同士のレベル比を算出し、算出したレベル比を周波数分割スペクトル制御処理部１０４に出力する。

周波数分割スペクトル制御処理部１０４は、分離抽出しようとする複数個の音源の音声信号の数に対応する数、この例では、５個の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５を備える。この例では、これら５個の音源分離処理部１０４１〜１０４５にそれぞれには、ＦＦＴ部１０１の出力Ｆ１およびＦＦＴ部１０２の出力Ｆ２と、周波数分割スペクトル比較処理部１０３で算出されたレベル比の情報とが供給される。

音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれは、周波数分割スペクトル比較処理部１０３からのレベル比の情報を受けて、当該レベル比が、分離抽出しようとする音源信号の２チャンネル信号ＳＬ，ＳＲへの分配比と等しいものとなっている周波数分割スペクトル成分のみを、ＦＦＴ部１０１およびＦＦＴ部１０２の出力の少なくとも一方から、この例では両方から抽出し、その抽出結果出力Ｆｅｘ１，Ｆｅｘ２，Ｆｅｘ３，Ｆｅｘ４，Ｆｅｘ５を、それぞれ逆ＦＦＴ部１０５１，１０５２，１０５３，１０５４，１０５５に出力する。

音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれでは、予め、使用者により、分離すべき音源に応じて、どのようなレベル比の周波数分割スペクトル成分を抽出するかが設定されている。これにより、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれからは、使用者が分離したいとして設定されたレベル比で左右２チャンネルに振り分けられている音源の音声信号の周波数分割スペクトル成分のみが抽出されるように構成される。

逆ＦＦＴ部１０５１，１０５２，１０５３，１０５４，１０５５のそれぞれは、周波数分割スペクトル制御処理部１０４の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれからの抽出結果出力Ｆｅｘ１，Ｆｅｘ２，Ｆｅｘ３，Ｆｅｘ４，Ｆｅｘ５の周波数分割スペクトル成分を元の時系列信号に変換し、その変換出力信号を、使用者が分離したいとして設定した５個の音源の音声信号Ｓ１´、Ｓ２´、Ｓ３´、Ｓ４´、Ｓ５´として出力端子１０６１，１０６２，１０６３，１０６４，１０６５を通じて出力する。

［周波数分割スペクトル比較処理部１０３の構成］
周波数分割スペクトル比較処理部１０３は、この例では、機能的には、図３に示すような構成を備える。すなわち、周波数分割スペクトル比較処理部１０３は、レベル検出部４１，４２と、レベル比算出部４３，４４と、セレクタ４５１，４５２，４５３，４５４，４５５とからなる。

レベル検出部４１は、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ１を出力する。また、レベル検出部４２は、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ２を出力する。この例では、各周波数分割スペクトルのレベルは、振幅スペクトルを検出する。なお、各周波数分割スペクトルのレベルとして、パワースペクトルを検出するようにしてもよい。

そして、レベル比算出部４３は、Ｄ２／Ｄ１を算出する。また、レベル比算出部４４は、その逆数のＤ１／Ｄ２を算出する。レベル比算出部４３およびレベル比算出部４４で算出されたレベル比は、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれに供給される。そして、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれから、その一方のレベル比が、出力レベル比ｒ１，ｒ２，ｒ３，ｒ４，ｒ５として取り出される。

セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれには、分離すべきものとして使用者により設定された音源およびそのレベル比に応じて、レベル比算出部４３の出力と、レベル比算出部４４の出力のいずれを選択すべきかを選択制御するための選択制御信号ＳＥＬ１，ＳＥＬ２，ＳＥＬ３，ＳＥＬ４，ＳＥＬ５が供給される。このセレクタ４５１，４５２，４５３，４５４，４５５のそれぞれから得られる出力レベル比ｒは、周波数分割スペクトル制御処理部１０４の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれに供給される。

この例においては、周波数分割スペクトル制御処理部１０４の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれにおいて、分離すべき音源のレベル比として用いられる値は、常に、レベル比≦１とされている。つまり、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれに入力されるレベル比ｒは、レベルの小さい方の周波数分割スペクトルのレベルを、レベルが大きい方の周波数分割スペクトルのレベルで割ったものとされている。

このため、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれでは、左チャンネルの音声信号ＳＬの方に、より多く含まれるように分配されている音源の信号を分離する場合には、レベル比算出部４３からのレベル比算出出力が使用され、逆に、右チャンネルの音声信号ＳＲの方に、より多く含まれるように分配されている音源の信号を分離する場合には、レベル比算出部４４からのレベル比算出出力が使用されるようにされている。

例えば、使用者が、分離すべき音源のレベル比として、左チャンネルおよび右チャンネルの信号の分配率の値ＰＬ，ＰＲ（ＰＬ，ＰＲは１以下の値）をそれぞれ設定入力するように定められているものとしたとき、設定された分配率の値ＰＬ，ＰＲが、ＰＲ／ＰＬ≦１であるときには、選択制御信号ＳＥＬ１，ＳＥＬ２，ＳＥＬ３，ＳＥＬ４，ＳＥＬ５は、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれからレベル比算出部４３の出力（Ｄ２／Ｄ１）を、出力レベル比ｒとして選択する選択制御信号とされ、設定された分配率の値ＰＬ，ＰＲが、ＰＲ／ＰＬ＞１であるときには、選択制御信号ＳＥＬ１，ＳＥＬ２，ＳＥＬ３，ＳＥＬ４，ＳＥＬ５は、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれからレベル比算出部４４の出力（Ｄ１／Ｄ２）を、出力レベル比ｒとして選択する選択制御信号とされる。

なお、使用者により設定された分配率の値ＰＬ，ＰＲが互いに等しい（レベル比ｒ＝１）ときには、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれでは、レベル比算出部４３の出力とレベル比算出部４４の出力とのいずれを選択してもよい。

［周波数分割スペクトル制御処理部１０４の音源分離処理部の構成］
周波数分割スペクトル制御処理部１０４の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれは、同一の構成を有し、この例では、機能的には、図４に示すような構成を備える。すなわち、図４の音源分離処理部１０４ｉは、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５の１つの構成を示したもので、乗算係数発生部５１と、乗算部５２および５３と、加算部５４とからなる。

乗算部５２には、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１が供給されると共に、乗算係数発生部５１からの乗算係数ｗが供給され、両者の乗算結果が、この乗算部５２から加算部５４に供給される。また、乗算部５３には、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２が供給されると共に、乗算係数発生部５１からの乗算係数ｗが供給され、両者の乗算結果が、この乗算部５３から加算部５４に供給される。そして、加算部５４の出力は、音源分離処理部１０４ｉの出力Ｆｅｘｉ（Ｆｅｘｉは、Ｆｅｘ１，Ｆｅｘ２，Ｆｅｘ３，Ｆｅｘ４，Ｆｅｘ５のいずれかである）とされる。

乗算係数発生部５１は、周波数分割スペクトル比較処理部１０３のセレクタ４５ｉ（セレクタ４５ｉは、セレクタ４５１，４５２，４５３，４５４，４５５のいずれかである）からの出力レベル比ｒｉ（ｒｉは、ｒ１，ｒ２，ｒ３，ｒ４，ｒ５のいずれかである）の出力を受けて、当該レベル比ｒｉに応じた乗算係数ｗｉを発生する。乗算係数発生部５１は、例えば、レベル比ｒｉを変数とした乗算係数ｗｉに関する関数発生回路により構成される。乗算係数発生部５１に使用する関数として、どのような関数が選ばれるかは、分離すべき音源に応じて使用者により設定された分配率の値ＰＬ，ＰＲによる。

乗算係数発生部５１に供給されるレベル比ｒｉは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、乗算係数発生部５１からの乗算係数ｗｉも、周波数分割スペクトルの各周波数成分単位で変化することになる。

したがって、乗算部５２では、ＦＦＴ部１０１からの各周波数分割スペクトルのレベルが、乗算係数ｗｉにより制御され、また、乗算部５３では、ＦＦＴ部１０２からの各周波数分割スペクトルのレベルが、乗算係数ｗｉにより制御される。

図５に、乗算係数発生部５１としての関数発生回路に用いられる関数の例を示す。例えば、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルの音像間の中央に定位する音源の音声信号Ｓ３を分離する場合には、乗算係数発生部５１としては、図５（ａ）に示されるような特性の関数発生回路が用いられる。

図５（ａ）の関数の特性は、左右チャンネルのレベル比ｒｉが１、あるいは１に近い場合、つまり、左右チャンネルが同レベルあるいは同レベルに近い周波数分割スペクトル成分では、乗算係数ｗｉは１あるいは１近傍となり、左右チャンネルのレベル比ｒが約０．６以下の領域では、乗算係数ｗｉは０となっている。

したがって、乗算係数発生部５１に入力されるレベル比ｒｉが１、または１近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｉは１、あるいは１に近い値となるので、乗算部５２および５３からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、乗算係数発生部５１に入力されるレベル比ｒｉが、約０．６以下の値となっている周波数分割スペクトル成分に対する乗算係数ｗｉは０となるので、当該周波数分割スペクトル成分の出力レベルが０とされて、乗算部５２および５３からは出力されなくなる。

すなわち、乗算部５２および５３からは、多数個の周波数分割スペクトル成分のうち、左右同レベルおよびその近傍となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル差が大きい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに同レベルで分配された音源の音声信号Ｓ３の周波数分割スペクトル成分のみが加算部５４から得られることになる。

また、例えば、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルの一方側にのみ定位する音源の音声信号Ｓ１またはＳ５を分離する場合には、乗算係数発生部５１としては、図５（ｂ）に示されるような特性の関数発生回路が用いられる。

この場合において、この実施形態においては、音声信号Ｓ１を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝１：０を設定入力する。あるいは、ＰＬ＝１、ＰＲ＝０のように設定入力する。このように使用者が設定すると、セレクタ４５ｉには、レベル比算出部４３からのレベル比を選択するように制御する選択制御信号ＳＥＬｉ（ＳＥＬｉは、ＳＥＬ１，ＳＥＬ２，ＳＥＬ３，ＳＥＬ４，ＳＥＬ５のいずれかである）が与えられる。

一方、音声信号Ｓ５を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝０：１を設定入力する。あるいは、ＰＬ＝０、ＰＲ＝１のように設定入力する。このように使用者が設定すると、セレクタ４５ｉには、レベル比算出部４４からのレベル比を選択するように制御する選択制御信号ＳＥＬｉが与えられる。

図５（ｂ）の関数の特性は、左右チャンネルのレベル比ｒｉが０、あるいは０近傍の周波数分割スペクトル成分では、乗算係数ｗｉは１あるいは１近傍の値となり、左右チャンネルのレベル比ｒｉが約０．４以上の領域では、乗算係数ｗｉは０となっている。

したがって、乗算係数発生部５１に入力されるレベル比ｒｉが０、または０近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｉは１、あるいは１に近い値となるので、乗算部５２および５３からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、乗算係数発生部５１に入力されるレベル比ｒｉが、約０．４以上の値となっている周波数分割スペクトル成分に対する乗算係数ｗｉは０となるので、当該周波数分割スペクトル成分の出力レベルが０とされて、乗算部５２および５３からは出力されなくなる。

すなわち、乗算部５２および５３からは、多数個の周波数分割スペクトル成分のうち、左右チャンネルの一方が他方に比べて非常に大きいレベルとなっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル差が少ない周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲの一方にしか分配されていない音源の音声信号Ｓ１またはＳ５の周波数分割スペクトル成分のみが加算部５４から得られることになる。

また、例えば、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルに所定のレベル差を持って配分されている音源の音声信号Ｓ２またはＳ４を分離する場合には、乗算係数発生部５１としては、図５（ｃ）に示されるような特性の関数発生回路が用いられる。

すなわち、音声信号Ｓ２は、Ｄ２／Ｄ１（＝ＳＲ／ＳＬ）＝０．４／０．９＝０．４４のレベル比で、左右チャンネルに分配されている。また、音声信号Ｓ４は、Ｄ１／Ｄ２（＝ＳＬ／ＳＲ）＝０．４／０．９＝０．４４のレベル比で、左右チャンネルに分配されている。

この場合において、この実施形態においては、音声信号Ｓ２を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝０．９：０．４を設定入力する。あるいは、ＰＬ＝０．９、ＰＲ＝０．４のように設定入力する。このように使用者が設定すると、ＰＲ／ＰＬ＜１であるので、セレクタには、レベル比算出部４３からのレベル比を選択するように制御する選択制御信号が与えられる。

一方、音声信号Ｓ４を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝０．４：０．９を設定入力する。あるいは、ＰＬ＝０．４、ＰＲ＝０．９のように設定入力する。このように使用者が設定すると、ＰＲ／ＰＬ＞１であるので、セレクタ４５ｉには、レベル比算出部４４からのレベル比を選択するように制御する選択制御信号ＳＥＬｉが与えられる。

図５（ｃ）の関数の特性は、左右チャンネルのレベル比ｒｉが、Ｄ２／Ｄ１（＝ＰＲ／ＰＬ）＝０．４／０．９＝０．４４では１、あるいはレベル比ｒｉが０．４４に近い周波数分割スペクトル成分では、乗算係数ｗｉは１あるいは１近傍となり、左右チャンネルのレベル比ｒｉが約０．４４近傍以外の領域では、乗算係数ｗｉは０となっている。

したがって、セレクタ４５ｉからのレベル比ｒｉが０．４４、または０．４４近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｉは１、あるいは１に近い値となるので、乗算部５２および５３からは、当該周波数分割スペクトル成分が、ほぼそのままのレベルで出力される。一方、セレクタ４５ｉからのレベル比ｒｉが、約０．４４近傍以下の値および約０．４４近傍以上の値となっている周波数分割スペクトル成分に対する乗算係数ｗｉは０となるので、乗算部５２および５３からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。

すなわち、乗算部５２および５３からは、多数個の周波数分割スペクトル成分のうち、左右チャンネルのレベル比が０．４４またはその近傍となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル比ｒｉが、約０．４４近傍以下の値および約０．４４近傍以上の値となっている周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。

この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに、レベル比が０．４４で分配された音源の音声信号Ｓ２またはＳ４の周波数分割スペクトル成分のみが加算部５４から得られることになる。

以上のようにして、この実施形態によれば、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれにおいて、左右２チャンネルに、所定の分配比率で分配された音源の音声信号を、その分配比率に基づいて、当該２チャンネルの音声信号から分離することができる。

この場合に、上述の実施形態では、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれにおいて分離したい音源の音声信号は、２チャンネルの音声信号の両方から抽出するようにしたが、必ずしも両チャンネルから分離抽出する必要はなく、分離したい音源の音声信号成分が含まれている一方のチャンネルのみから分離抽出するようにしてもよい。

また、上述の実施形態では、音声信号処理装置部１００においては、２系統の音声信号に対して分配された音源の信号のレベル比に基づいて、当該２系統の音声信号から前記音源の信号を分離するようにしたが、前記音源の信号の、２系統の音声信号に対するレベル差に基づいて、当該音源の信号を当該２系統の音声信号の少なくとも一方から分離抽出するようにすることもできる。

なお、以上の説明では、各音源が（式１）、（式２）に従って左右チャンネルに分配された左右２チャンネルステレオ信号を例にして説明したが、意図的に分配されない通常のステレオ音楽信号においても、図５に示した関数の選択特性に従って該当する音源を分離することができる。

また、例えば、他の例では図５（ｄ），（ｅ）等の様に、関数を変えることにより、分離するレベル比範囲を変える、広くする、狭くするなど、異なる音源選択性を持たせることもできる。

音源のスペクトラム構成に関しても、多くのステレオ音楽信号は異なるスペクトラムを持つ音源から構成されるが、それらの音源についても、上述と同様にして分離することが可能となる。

また、スペクトラム重複部が多い音源同士に関しても、ＦＦＴ部１０１，１０２における周波数分解能を上げることにより、例えば４０００ポイント以上のＦＦＴ回路を用いることにより、音源分離の質を更に向上させることができる。

［第２の実施形態の音声信号処理装置部１００の構成］
上述した第１の実施形態では、分離したい全ての音源の音声信号について音源分離処理部を設け、２系統の音声信号、上述の例では、左右２チャンネルステレオ信号ＳＬ，ＳＲから、分離したい全ての音源の音声信号を、当該音源の音声信号が当該２チャンネルステレオ信号に分配された所定のレベル比あるいはレベル差を用いて、前記２系統の音声信号の一方から分離抽出するようにした。

しかし、全ての音源の音声信号について、そのように分離抽出する必要はなく、一部の音源の音声信号を左あるいは右チャンネルの音声信号から分離抽出したら、当該分離抽出した音源の音声信号を、左チャンネルあるいは右チャンネルから減算することにより、その残差として他の音源の音声信号を分離抽出することもできる。

以下に説明する第２の実施形態は、その場合の例である。図６は、その一例を示すブロック図である。

この図６の例では、左チャンネルの音声信号ＳＬから音源ＭＳ１の音声信号Ｓ１を音源分離処理部を用いて分離抽出するとともに、左チャンネルの音声信号ＳＬから、当該分離抽出した音声信号Ｓ１を減算して、音源ＭＳ２の音声信号Ｓ２と音源ＭＳ３の音声信号Ｓ３の和の信号を得るようにする。

また、右チャンネルの音声信号ＳＲから音源ＭＳ５の音声信号Ｓ５を音源分離処理部を用いて分離抽出するとともに、右チャンネルの音声信号ＳＲから、当該分離抽出した音声信号Ｓ５を減算して、音源ＭＳ４の音声信号Ｓ４と音源ＭＳ３の音声信号Ｓ３の和の信号を得るようにする。

すなわち、図６に示すように、この第２の実施形態では、周波数分割スペクトル制御処理部１０４には、音源分離処理部１０４１および１０４５を設けると共に、残差抽出処理部１０４６および１０４７を設ける。

そして、この第２の実施形態では、音源分離処理部１０４１には、ＦＦＴ部１０１からの左チャンネルの音声信号の周波数領域信号Ｆ１のみが供給されると共に、この信号Ｆ１が残差抽出処理部１０４６に供給される。そして、音源分離処理部１０４１から抽出される音源１の周波数領域信号が残差抽出処理部１０４６に供給されて、周波数領域信号Ｆ１から減算される。

また、音源分離処理部１０４５には、ＦＦＴ部１０２からの右チャンネルの音声信号の周波数領域信号Ｆ２のみが供給されると共に、この信号Ｆ２が残差抽出処理部１０４７に供給される。そして、音源分離処理部１０４５から抽出される音源ＭＳ５の周波数領域信号が残差抽出処理部１０４７に供給されて、周波数領域信号Ｆ２から減算される。

そして、周波数分割スペクトル比較処理部１０３からのレベル比ｒ１が音源分離処理部１０４１に供給され、また、周波数分割スペクトル比較処理部１０３からのレベル比ｒ５が音源分離処理部１０４５に供給される。

したがって、図６の例においては、音源分離処理部１０４１は、図４の乗算係数発生部５１と１個の乗算部５２とからなり、音源分離処理部１０４５は、図４の乗算係数発生部５１と１個の乗算部５３とからなり、加算部５４は、いずれも有しない構成でよい。

また、周波数分割スペクトル比較処理部１０３は、図３の構成において、セレクタ４５１と４５５とを用いるだけでよいので、セレクタ４５２〜４５４は不要となる。

この構成において、音源分離処理部１０４１では、周波数領域信号Ｆ１のみから音源ＭＳ１の周波数領域信号のみが抽出され、それが逆ＦＦＴ部１０５１に供給される。したがって、出力端子１０６１には、音源ＭＳ１の時間領域の音声信号Ｓ１´が得られる。

そして、残差抽出処理部１０４６では、ＦＦＴ部１０１からの周波数領域信号Ｆ１から、音源分離処理部１０４１からの音源ＭＳ１の周波数領域信号が減算され、その残差からなる周波数領域信号が得られる。この残差抽出処理部１０４６からの残差出力としての周波数領域信号は、前記（式１）から、音源ＭＳ２の周波数領域信号と音源ＭＳ３の周波数領域信号との和の信号となる。

この残差抽出処理部１０４６の出力は、逆ＦＦＴ部１０５６に供給され、この逆ＦＦＴ部１０５６からは、音源ＭＳ２の周波数領域信号と音源ＭＳ３の周波数領域信号との和の信号が時間領域の信号に戻された信号、つまり、音源ＭＳ２と音源ＭＳ３の音声信号の和の信号（Ｓ２´＋Ｓ３´）が得られ、出力端子１０６６から導出される。

また、音源分離処理部１０４５では、周波数領域信号Ｆ２のみから音源ＭＳ５の周波数領域信号のみが抽出され、それが逆ＦＦＴ部１０５５に供給される。したがって、出力端子１０６５には、音源ＭＳ５の時間領域の音声信号Ｓ５´が得られる。

そして、残差抽出処理部１０４７では、ＦＦＴ部１０２からの周波数領域信号Ｆ２から、音源分離処理部１０４５からの音源ＭＳ５の周波数領域信号が減算され、その残差からなる周波数領域信号が得られる。この残差抽出処理部１０４７からの残差出力としての周波数領域信号は、前記（式２）から、音源ＭＳ４の周波数領域信号と音源ＭＳ３の周波数領域信号との和の信号となる。

この残差抽出処理部１０４７の出力は、逆ＦＦＴ部１０５７に供給され、この逆ＦＦＴ部１０５７からは、音源ＭＳ４の周波数領域信号と音源ＭＳ３の周波数領域信号との和の信号が時間領域の信号に戻された信号、つまり、音源ＭＳ４と音源ＭＳ３の音声信号の和の信号（Ｓ４´＋Ｓ３´）が得られ、出力端子１０６７から導出される。

そして、この第２の実施形態においては、図２において、例えば、音声信号Ｓ３´に対するＤ／Ａ変換器３３３およびアンプ３４３並びにスピーカＳＰ３が除去されると共に、出力端子１０６１，１０６５，１０６６，１０６７からのデジタル音声信号がそれぞれ次のようにしてスピーカにより音響再生される。

すなわち、出力端子１０６１からのデジタル音声信号Ｓ１´は、D／A変換器３３１によりアナログ音声信号に変換され、アンプ３４１を通じてスピーカＳＰ１に供給されて音響再生され、また、出力端子１０６５からのデジタル音声信号Ｓ５´は、D／A変換器３３５によりアナログ音声信号に変換され、アンプ３４５を通じてスピーカＳＰ５に供給されて音響再生される。

さらに、出力端子１０６６からのデジタル音声信号（Ｓ２´＋Ｓ３´）は、D／A変換器３３２によりアナログ音声信号に変換され、アンプ３４２を通じてスピーカＳＰ２に供給されて音響再生され、また、出力端子１０６７からのデジタル音声信号（Ｓ４´＋Ｓ３´）は、D／A変換器３３４によりアナログ音声信号に変換され、アンプ３４４を通じてスピーカＳＰ４に供給されて音響再生される。この場合、スピーカＳＰ２およびスピーカＳＰ４のリスナＭに対する配置は、第１の実施形態の場合とは変更しても良い。

［第３の実施形態の音声信号処理装置部１００の構成］
第３の実施形態は、第２の実施形態の変形例である。すなわち、第２の実施形態では、ＦＦＴ部１０１またはＦＦＴ部１０２からの周波数領域信号Ｆ１またはＦ２から音源分離処理部で分離抽出した特定の音源の周波数領域信号を、ＦＦＴ部１０１またはＦＦＴ部１０２からの周波数領域信号Ｆ１またはＦ２から減算することにより、前記音源分離抽出した音源の信号以外の信号を、周波数領域信号の状態で得るようにした。このため、第２の実施形態では、残差抽出処理部は、周波数分割スペクトル制御処理部１０４内に設けるようにした。

これに対して、第３の実施形態では、残差抽出処理部は、時間領域において、分離抽出された音源の信号を２系統の入力音声信号の一方から減算するようにするものである。図７は、この第３の実施形態における音声信号処理装置部１００の構成例のブロック図であり、第２の実施形態と同様に、音源ＭＳ１およびＭＳ５の音声成分は、周波数分割スペクトル制御処理部１０４の音源分離処理部で分離抽出するが、他の音源の音声成分は入力音声信号との残差として抽出する場合の例である。

すなわち、図７に示すように、この第３の実施形態では、周波数分割スペクトル比較処理部１０３は第２の実施形態と同様の構成であるが、周波数分割スペクトル制御処理部１０４は、第２の実施形態とは異なり、音源分離処理部１０４１と音源分離処理部１０４５とからなり、残差抽出処理部は、この周波数分割スペクトル制御処理部１０４には設けられない。

そして、第３の実施形態では、入力端子３１からに左チャンネルの音声信号ＳＬは、遅延器１０７１を通じて時間領域での信号の残差を抽出する残差抽出処理部１０７２に供給される。そして、逆ＦＦＴ部１０５１からの音源Ｓ１の時間領域の音声信号Ｓ１´が、この残差抽出処理部１０７２に供給されて、遅延器１０７１からの左チャンネルの音声信号ＳＬから減算される。

したがって、この残差抽出処理部１０７２からの残差出力は、前記（式１）の信号ＳＬから音源ＭＳ１の時間領域の信号Ｓ１´が減算された結果の、音源ＭＳ２の時間領域信号と音源ＭＳ３の時間領域信号との和のデジタル音声信号（Ｓ２´＋Ｓ３´）となる。そして、この和のデジタル音声信号（Ｓ２´＋Ｓ３´）が出力端子１０６８を通じて出力される。

同様にして、入力端子３２からに右チャンネルの音声信号ＳＲは、遅延器１０７３を通じて時間領域での信号の残差を抽出する残差抽出処理部１０７４に供給される。そして、逆ＦＦＴ部１０５５からの音源Ｓ５の時間領域の音声信号Ｓ５´が、この残差抽出処理部１０７４に供給されて、遅延器１０７３からの右チャンネルの音声信号ＳＲから減算される。

したがって、この残差抽出処理部１０７４からの残差出力は、前記（式２）の信号ＳＲから音源ＭＳ５の時間領域の信号Ｓ５´が減算された結果の、音源ＭＳ４の時間領域信号と音源ＭＳ３の時間領域信号との和のデジタル音声信号（Ｓ４´＋Ｓ３´）となる。そして、この和のデジタル音声信号（Ｓ４´＋Ｓ３´）が出力端子１０６９を通じて出力される。

なお、遅延器１０７１および１０７３は、周波数分割スペクトル比較処理部１０３および周波数分割スペクトル制御処理部１０４での処理遅延を考慮して、残差抽出処理部１０７２および１０７４において、減算演算を行なう２信号のタイミングを合致させるようにするために設けられている。

この第３の実施形態では、図２の音響再生システムにおいて、出力端子１０６１および出力端子１０６５からのデジタル音声信号Ｓ１´およびＳ５´は、第２の実施形態と同様に、D／A変換器３３１および３３５によりアナログ音声信号に変換され、アンプ３４１および３４５を通じてスピーカＳＰ１およびＳＰ５に供給されて音響再生され、また、出力端子１０６８からのデジタル音声信号（Ｓ２´＋Ｓ３´）は、D／A変換器３３２によりアナログ音声信号に変換され、アンプ３４２を通じてスピーカＳＰ２に供給されて音響再生され、さらに、出力端子１０６９からのデジタル音声信号（Ｓ４´＋Ｓ３´）は、D／A変換器３３４によりアナログ音声信号に変換され、アンプ３４４を通じてスピーカＳＰ４に供給されて音響再生される。

この第３の実施形態によれば、残差抽出処理部１０７２および１０７４は、時間領域で残差を抽出するものであるため、第２の実施形態における逆ＦＦＴ部１０５６および１０５７が不要であり、構成が簡単になるという効果がある。

［第４の実施形態の音声信号処理装置部１００の構成］
以上の実施形態においては、２チャンネルの音声信号に、各音源の音声信号が分配されるときの位相は、２チャンネルで同相としたが、逆相で音源の音声信号が分配される場合もある。一例として、次の（式３）および（式４）のように、６個の音源ＭＳ１〜ＭＳ６からの音声信号Ｓ１〜Ｓ６が左右２チャンネルに分配されたステレオ音声信号ＳＬ，ＳＲを考える。

ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４＋０．７Ｓ６ ・・・（式３）
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４−０．７Ｓ６ ・・・（式４）

すなわち、音源ＭＳ３の音声信号Ｓ３と、音源ＭＳ６の音声信号Ｓ６とは、左右チャンネルに、それぞれ同レベルで分配されているが、音源ＭＳ３の音声信号Ｓ３は、左右チャンネルに同相で分配されているのに対して、ＭＳ６の音声信号Ｓ６は、左右チャンネルに逆相で分配されている。

このため、上述の実施形態と同様にして、位相を考慮せず、レベル比あるいはレベル差のみを用いて音源ＭＳ３の音声信号Ｓ３または音源ＭＳ６の音声信号Ｓ６のいずれかを、周波数分割スペクトル制御処理部１０４の各音源分離処理部で分離抽出しようとしても、音声信号Ｓ３とＳ６とは、同レベルで左右チャンネルに分配されているので、いずれか一方を分離抽出することはできない。

そこで、この第４の実施形態では、周波数分割スペクトル制御処理部１０４の各音源分離処理部では、レベル比あるいはレベル差を用いて音声成分を上述の実施形態と同様にして分離した後、位相差を用いて更なる分離をすることにより、（式３）、（式４）のような場合における音源ＭＳ３の音声信号Ｓ３と音源ＭＳ６の音声信号Ｓ６をも分離して出力することができるようにする。

図８は、この第４の実施形態の音声信号処理装置部１００の要部の構成例を示すブロック図である。この図８は、周波数分割スペクトル制御処理部１０４の１つの音源分離処理部についての構成を示したものに相当している。

この第４の実施形態の音声信号処理装置部１００における周波数分割スペクトル比較処理部１０３は、レベル比較処理部１０３１と、位相比較処理部１０３２とを備える。

また、この第４の実施形態における周波数分割スペクトル制御処理部１０４は、第１周波数分割スペクトル制御処理部１０４Ａと、位相差に基づいた音源分離処理を実行するための第２の周波数分割スペクトル制御処理部１０４Ｐとを備える。この場合、周波数分割スペクトル制御処理部１０４の各音源分離処理部１０４ｉが、第１周波数分割スペクトル制御処理部１０４Ａの部分と、位相差に基づいた音源分離処理を実行するための第２の周波数分割スペクトル制御処理部１０４Ｐの部分とを備えるものである。

図９は、この第４の実施形態における周波数分割スペクトル比較処理部１０３と、周波数分割スペクトル制御処理部１０４の、１つの音源分離処理部についての詳細構成例を示すブロック図である。

すなわち、周波数分割スペクトル比較処理部１０３のレベル比較処理部１０３１は、前述した第１の実施形態の周波数分割スペクトル比較処理部１０３と同様の構成の備え、レベル検出部４１，４２と、レベル比算出部４３，４４と、セレクタ４５とからなる。図３に示したように、セレクタ４５は、周波数分割スペクトル制御処理部１０４が複数個の音源分離処理部を備える場合には、その音源分離処理部の数だけ設けられるのは、前述した通りである。

そして、周波数分割スペクトル制御処理部１０４の第１周波数分割スペクトル制御処理部１０４Ａも、図４に示した前述の第１の実施形態の周波数分割スペクトル制御処理部１０４における各音源分離処理部１０４ｉとほぼ同様の構成を備え（ただし、加算部５４は有しない）、乗算係数発生部５１と、乗算部５２および５３とからなる音源分離部の構成とされている。

そして、図８および図９に示すように、レベル比較処理部１０３１からのレベル比出力ｒｉは、第１の実施形態と全く同様にして、第１周波数分割スペクトル制御処理部１０４Ａの乗算係数発生部５１に供給され、この乗算係数発生部５１から当該乗算係数発生部５１に設定された関数に応じた乗算係数ｗｒが発生し、乗算部５２，５３に供給される。

乗算部５２には、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１が供給されており、当該周波数分割スペクトル成分Ｆ１と乗算係数ｗｒとの乗算結果が、この乗算部５２から得られる。また、乗算部５３には、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２が供給されており、当該周波数分割スペクトル成分Ｆ２と乗算係数ｗｒとの乗算結果が、この乗算部５３から得られる。

すなわち、乗算部５２，５３からは、ＦＦＴ部１０１，１０２からの周波数分割スペクトル成分Ｆ１，Ｆ２のそれぞれが、乗算係数発生部５１からの乗算係数ｗｒに応じてレベル制御された状態の出力が得られる。

前述したように、乗算係数発生部５１は、レベル比ｒｉを変数とした乗算係数ｗｒに関する関数発生回路により構成される。乗算係数発生部５１に使用する関数として、どのような関数が選ばれるかは、分離すべき音源の左右２チャンネルの音声信号への分配率による。

例えば、乗算係数発生部５１には、図５に示したような特性の、乗算係数ｗｒのレベル比ｒｉに関する関数が設定される。例えば、左右２チャンネルに同レベルで分配される音源の音声信号を分離抽出する場合には、前述したように、図５（ａ）に示した特定の関数が、乗算係数発生部５１に設定される。

そして、この第４の実施形態では、乗算部５２，５３の出力は、それぞれ周波数分割スペクトル比較処理部１０３の位相比較処理部１０３２に供給されると共に、第２周波数分割スペクトル制御処理部１０４Ｐに供給される。

位相比較処理部１０３２は、図９に示すように、乗算部５２，５３の出力の位相差φを検出する位相差検出部４６からなり、その位相差φの情報を第２周波数分割スペクトル制御処理部１０４Ｐに供給する。この位相差検出部２６は、各音源分離処理部にそれぞれ設けられるものである。

第２周波数分割スペクトル制御処理部１０４Ｐは、２個の乗算係数発生部６１および６５と、乗算部６２，６３および乗算部６６，６７と、加算部６４および６８とからなる。

そして、乗算部６２には、第１周波数分割スペクトル制御処理部１０４Ａの乗算部５２の出力が供給されると共に、乗算係数発生部６１からの乗算係数ｗｐ１が供給され、両者の乗算結果が、この乗算部６２から加算部６４に供給される。また、乗算部６３には、第１周波数分割スペクトル制御処理部１０４Ａの乗算部５３の出力が供給されると共に、乗算係数発生部６１からの乗算係数ｗｐ１が供給され、両者の乗算結果が、この乗算部６３から加算部６４に供給される。そして、加算部６４の出力は、第１の出力Ｆｅｘ１とされる。

また、乗算部６６には、第１周波数分割スペクトル制御処理部１０４Ａの乗算部５２の出力が供給されると共に、乗算係数発生部６５からの乗算係数ｗｐ２が供給され、両者の乗算結果が、この乗算部６６から加算部６８に供給される。また、乗算部６７には、第１周波数分割スペクトル制御処理部１０４Ａの乗算部５３の出力が供給されると共に、乗算係数発生部６５からの乗算係数ｗｐ２が供給され、両者の乗算結果が、この乗算部６７から加算部６８に供給される。そして、加算部６８の出力は、第２の出力Ｆｅｘ２とされる。

乗算係数発生部６１および６５は、位相差検出部４６からの位相差φの情報を受けて、当該受けた位相差φに応じた乗算係数ｗｐ１およびｗｐ２を発生する。乗算係数発生部６１および６５は、位相差φを変数とした乗算係数ｗｐに関する関数発生回路により構成される。乗算係数発生部６１および６５に使用する関数として、どのような関数が選ばれるかは、分離すべき音源の前記２チャンネルに対する位相差に応じて、使用者により設定される。

乗算係数発生部６１および６５に供給される位相差φは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、乗算係数発生部６１および６５からの乗算係数ｗｐ１およびｗｐ２も、周波数分割スペクトルの各周波数成分単位で変化することになる。

したがって、乗算部６２および乗算部６６では、乗算部５２からの各周波数分割スペクトルのレベルが、乗算係数ｗｐ１およびｗｐ２により制御され、また、乗算部６３および乗算部６７では、乗算部５３からの各周波数分割スペクトルのレベルが、乗算係数ｗｐ１およびｗｐ２により制御される。

図１０に、乗算係数発生部３０１および３０５としての関数発生回路に用いられる関数の例を示す。

図１０（ａ）の関数の特性は、左右チャンネルの位相差φが０、あるいは０に近い場合、つまり、左右チャンネルが同相あるいは同相に近い周波数分割スペクトル成分では、乗算係数ｗｐ（ｗｐ１またはｗｐ２に相当）は１あるいは１近傍となり、左右チャンネルの位相差φが約π／４以上の領域では、乗算係数ｗｐは０となっている。

例えば乗算係数発生部６１に、この図１０（ａ）の特性の関数が設定されている場合において、位相差検出部４６からの位相差φが０、または０近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｐは１、あるいは１に近い値となるので、乗算部６２、６３からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部４６からの位相差φが、約π／４以上の値となっている周波数分割スペクトル成分に対する乗算係数ｗｐは０となるので、乗算部６２，６３からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。

すなわち、乗算部６２，６３からは、多数個の周波数分割スペクトル成分のうち、左右同相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルの位相差が大きい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに同相で分配された音源の音声信号の周波数分割スペクトル成分のみが加算部６４から得られることになる。

つまり、この図１０（ａ）の特性の関数は、左右２チャンネルに同相で分配されている音源の信号を抽出する際に用いられる。

また、図１０（ｂ）の関数の特性は、左右チャンネルの位相差φがπ、あるいはπに近い場合、つまり、左右チャンネルが逆相あるいは逆相に近い周波数分割スペクトル成分では、乗算係数ｗｐは１あるいは１近傍となり、左右チャンネルの位相差φが約３π／４以下の領域では、乗算係数ｗｐは０となっている。

例えば乗算係数発生部６１に、この図１０（ｂ）の特性の関数が設定されている場合において、位相差検出部２６からの位相差φがπ、またはπ近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｐは１、あるいは１に近い値となるので、乗算部６２、６３からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部２６からの位相差φが、約３π／４以下の値となっている周波数分割スペクトル成分に対する乗算係数ｗｐは０となるので、乗算部６２，６３からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。

すなわち、乗算部６２，６３からは、多数個の周波数分割スペクトル成分のうち、左右逆相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルの位相差が小さい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに逆相で分配された音源の音声信号の周波数分割スペクトル成分のみが加算部６４から得られることになる。

つまり、この図１０（ｂ）の特性の関数は、左右２チャンネルに逆相で分配されている音源の信号を抽出する際に用いられる。

同様にして、図１０（ｃ）の特性の関数は、左右チャンネルの位相差φが約π／２、あるいは約π／２に近い場合の周波数分割スペクトル成分では、乗算係数ｗｐは１あるいは１近傍となり、その他の位相差φの領域では、乗算係数ｗｐは０となっている。したがって、この図１０（ｃ）の特性の関数は、左右２チャンネルに、互いに約π／２だけ異なる位相で分配されている音源の信号を抽出する際に用いられる。

その他、乗算係数発生部６１および６５には、分離する音源の音声信号の２チャンネルへ分配する際の位相差に応じて、図１０（ｄ）や（ｅ）に示すような特性の関数を設定することもできる。

以上のようにして、周波数分割スペクトル制御処理部１０４の１つの音源分離処理部から得られる第１の出力Ｆｅｘ１および第２の出力Ｆｅｘ２は、逆ＦＦＴ部１５０ａおよび１５０ｂにそれぞれ供給されて、元の時系列の音声信号に戻され、第１および第２の出力信号ＳＯａおよびＳＯｂとして導出される。これら第１および第２の出力信号ＳＯａおよびＳＯｂをアナログ信号として導出する場合には、逆ＦＦＴ部１５０ａおよび１５０ｂの出力段にＤ／Ａ変換器が設けられる。

この第４の実施形態において、例えば、前記（式３）および（式４）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、同レベルであるが、同相で左右チャンネルに分配された音源ＭＳ３の音声信号Ｓ３と、逆相で左右チャンネルに分配された音源ＭＳ６の音声信号Ｓ６とを、出力Ｆｅｘ１およびＦｅｘ２として分離する場合には、乗算係数発生部５１には、図５（ａ）に示したような特定の関数が設定され、また、乗算係数発生部６１には、図１０（ａ）に示すような特性となる関数が設定され、さらに乗算係数発生部６５には、図１０（ｂ）に示すような特性となる関数が設定される。

すると、図８および図９に示すように、周波数分割スペクトル制御処理部１０４の第１周波数分割スペクトル制御処理部１０４Ａの乗算部５２からは、左チャンネルの音声信号ＳＬをＦＦＴ処理した信号（周波数分割スペクトル）のうちの、（Ｓ３＋Ｓ６）なる周波数分割スペクトル成分が得られ、また、乗算部５３からは、右チャンネルの音声信号ＳＲをＦＦＴ処理した信号（周波数分割スペクトル）のうちの、（Ｓ３−Ｓ６）なる周波数分割スペクトル成分が得られる。つまり、信号Ｓ３とＳ６とは、左右チャンネルに同レベルで分配されているので、第１周波数分割スペクトル制御処理部１０４Ａでは、分離できずに出力されることになる。

しかし、この第４の実施形態では、信号Ｓ３と信号Ｓ６とが逆相で左右チャンネルに分配されていることを利用して、次のようにして、当該信号Ｓ３と、信号Ｓ６とが分離される。

すなわち、乗算部５２および５３の出力は、周波数分割スペクトル比較処理部１０３の位相比較処理部１０３２を構成する位相差検出部２６に供給されて、両出力の位相差φが検出される。そして、この位相差検出部２６で検出された位相差φの情報は、乗算係数発生部６１に供給されるとともに、乗算係数発生部６５に供給される。

乗算係数発生部６１では、図１０（ａ）に示すような特性の関数が設定されていることから、乗算部６２，６３では、左右チャンネルに同相で分配されている音源の音声信号を抽出する。すなわち、周波数分割スペクトル成分（Ｓ３＋Ｓ６）と、周波数分割スペクトル成分（Ｓ３−Ｓ６）のうちの、同相関係にある音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分のみが乗算部６２および６３のそれぞれから得られ、加算部６４に供給される。

したがって、加算部６４からは、音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分が、出力信号Ｆｅｘ１として導出され、逆ＦＦＴ部１５０ａに供給される。そして、分離された音声信号Ｓ３は、逆ＦＦＴ部１５０ａで時系列信号に戻され、出力信号ＳＯａとして出力される。

一方、乗算係数発生部６５では、図１０（ｂ）に示すような特性の関数が設定されていることから、乗算部６６，６７では、左右チャンネルに逆相で分配されている音源の音声信号を抽出する。すなわち、周波数分割スペクトル成分（Ｓ３＋Ｓ６）と、周波数分割スペクトル成分（Ｓ３−Ｓ６）のうちの、逆相関係にある音源ＭＳ６の音声信号Ｓ６の周波数分割スペクトル成分のみが乗算部６６および６７のそれぞれから得られ、加算部６８に供給される。

したがって、加算部６８からは、音源ＭＳ６の音声信号Ｓ６の周波数分割スペクトル成分が、出力信号Ｆｅｘ２として導出され、逆ＦＦＴ部１５０ｂに供給される。そして、分離された音声信号Ｓ６は、逆ＦＦＴ部１５０ｂで時系列信号に戻され、出力信号ＳＯｂとして出力される。

なお、図８および図９に示した実施形態では、第２周波数分割スペクトル制御処理部１０４Ｐでは、第１周波数分割スペクトル制御処理部１０４Ａにおいてレベル比を用いては分離できない２つの信号、上述の例では、同相の信号Ｓ３と、逆相の信号Ｓ６とを、それぞれ乗算係数および乗算部を用いて、それぞれ分離するようにしたが、それらレベル比を用いては分離できない２つの信号の一方を、位相差φと乗算係数を用いて分離したら、当該分離した信号を、第１周波数分割スペクトル制御処理部１０４Ａからの信号の和（乗算部５２の出力と乗算部５３の出力を加算した信号）から減算することにより、前記２つの信号の他方の信号を、分離するようにすることもできる。

なお、図８、図９の実施形態では、２個の分離音源信号を得るようにしたが、出力する分離音源信号は、１個でもよい。また、位相差φと乗算係数を用いて、より多数個の音源の音声信号を同時に分離する場合にも、この第４の実施形態を適用することができるのは言うまでもない。

また、図８、図９の実施形態は、２系統の周波数分割スペクトルのレベル比に基づいて、２系統の音声信号に同レベルで分配されている音源成分を抽出した後、その抽出結果の２系統の周波数分割スペクトルについての位相差に基づいて、所望の音源分離を行なうようにしたが、例えば入力音声信号が、（Ｓ３＋Ｓ６）および（Ｓ３−Ｓ６）のような、２系統の音声信号の場合には、位相差のみに基づいて、音源分離を行なうことができることは言うまでもない。

［第５の実施形態］
以上の実施の形態は、２チャンネルステレオ信号が５個の音源の音声信号からなる場合であって、それら５個の音源の音声信号をそれぞれ分離したり、一部、他の音源信号との和として分離したりする場合であった。

この第５の実施形態は、上述の実施形態の音源分離の方法は、そのまま用いると共に、低域信号のみのチャンネルの音声信号をも２チャンネルステレオ信号から生成して、いわゆる５．１チャンネルの音声信号を生成し、生成した６個の音声信号により６個のスピーカをドライブするようにするマルチチャンネル音響再生システムの場合である。

図１１は、この第５の実施形態の場合における音響再生システムの構成例を示すブロック図である。また、図１２は、この図１１の音響再生システムにおける音声信号処理装置部１００の構成例のブロック図である。

この第５の実施形態では、前述の実施形態の場合における図２に示した５個のスピーカＳＰ１〜ＳＰ５のほかに、低域再生用のスピーカＳＰ６を設ける。そして、この第５の実施形態における音声信号処理装置部１００においては、スピーカＳＰ１〜スピーカＳＰ５に供給する音声信号Ｓ１´〜Ｓ５´は、２チャンネルステレオ信号ＳＬおよびＳＲの高域成分から、前述した第１の実施形態の方法を用いて分離抽出すると共に、低域再生用のスピーカＳＰ６に供給する音声信号Ｓ６´は、２チャンネルステレオ信号ＳＬおよびＳＲの低域成分から生成するようにする。

すなわち、図１２に示すように、この第５の実施形態においては、ＦＦＴ部１０１からの周波数領域信号Ｆ１は、ハイパスフィルタ１０８１を通じて高域成分のみとされた後、周波数分割スペクトル比較処理部１０３に供給されると共に、周波数分割スペクトル制御処理部１０４に供給される。また、ＦＦＴ部１０２からの周波数領域信号Ｆ２は、ハイパスフィルタ１０８２を通じて高域成分のみとされた後、周波数分割スペクトル比較処理部１０３に供給されると共に、周波数分割スペクトル制御処理部１０４に供給される。

そして、周波数分割スペクトル比較処理部１０３および周波数分割スペクトル制御処理部１０４において、第１の実施形態で説明したようにして、５個の音源ＭＳ１〜ＭＳ５の周波数領域の音声信号成分が分離抽出され、それらが逆ＦＦＴ部１０５１〜１０５５により時間領域の信号Ｓ１´〜Ｓ５´に戻されて、出力端子１０６１〜１０６５に導出される。

そして、この第５の実施形態においては、ＦＦＴ部１０１からの周波数領域信号Ｆ１は、ローパスフィルタ１０８４を通じて低域成分のみとされた後、加算部１０８５に供給されると共に、ＦＦＴ部１０２からの周波数領域信号Ｆ２は、ローパスフィルタ１０８４を通じて低域成分のみとされた後、加算部１０８５に供給されて、ローパスフィルタ１０８４からの低域成分と加算される。つまり、信号Ｆ１およびＦ２の低域成分の和が、加算部１０８５から得られる。

この加算部１０８５からの信号Ｆ１およびＦ２の低域成分の和は、逆ＦＦＴ部１０８６により時間領域の信号Ｓ６´とされ、出力端子１０８７に導出される。つまり、左右２チャンネルの音声信号ＳＬ，ＳＲの低域成分の和Ｓ６´が、この出力端子１０８７に導出される。そして、この低域成分の和Ｓ６´が、信号ＬＥＦ（Ｌｏｗ Ｅｆｆｅｃｔ Ｆｒｅｑｕｅｎｃｙ）として出力され、Ｄ／Ａ変換器３３６およびアンプ３４６を通じてスピーカＳＰ６に供給される。

以上のようにして、２チャンネルステレオ音声信号ＳＬ，ＳＲから、５．１チャンネル信号を取り出すマルチチャンネルシステムを実現することができる。

［第６の実施形態］
この第６の実施形態は、第５の実施形態の音声信号処理装置部１００で生成した５．１チャンネル信号を、さらに信号処理をすることにより、新たに、ＳＢ（Ｓｏｕｎｄ Ｂａｃｋ）チャンネルを分離し、６．１チャンネル信号として出力する例を示している。

図１３は、音響再生システムにおいて、音声信号処理装置部１００の後段の構成のブロック図である。この第６の実施形態では、前述の第５の実施形態のスピーカＳＰ１〜ＳＰ６に加えて、ＳＢチャンネル再生用のスピーカＳＰ７を設ける。

そして、音声信号処理装置部１００の後段に、後段信号処理部２００を設け、この後段信号処理部２００において、音声信号処理装置部１００からの５．１チャンネルの音声信号から、ＳＢチャンネルの音声信号を加えた６．１チャンネルの音声信号を生成する。そして、後段信号処理部２００からの５．１チャンネルの音声信号に対して、Ｄ／Ａ変換器３３１〜３３６と、アンプ３４１〜３４６とを設けると共に、加えたＳＢチャンネルのデジタル音声信号をアナログ音声信号に変換するＤ／Ａ変換器３３７と、アンプ３４７とを設ける。

図１４は、後段信号処理部２００の内部構成例で、デジタル信号Ｓ１´，Ｓ５´は、第２の音声信号処理装置部４００に供給され、この第２の音声信号処理装置部４００において、信号ＬＳ´と、信号ＲＳ´と、信号ＳＢ´が分離されて、出力される。また、後段信号処理部２００では、デジタル音声信号Ｓ２´，Ｓ３´，Ｓ４´およびＳ６´に対しては、遅延器２０１，２０２，２０３，２０４が設けられ、デジタル音声信号Ｓ２´，Ｓ３´，Ｓ４´およびＳ６´は、これらの遅延器２０１，２０２，２０３，２０４により第２の音声信号処理装置部４００での処理遅延時間に対応する時間だけ遅延されて、出力される。

第２の音声信号処理装置部４００は、音声信号処理装置部１００と基本的な構成は、同一である。この第2の音声信号処理装置部４００では、デジタル信号Ｓ１´，Ｓ５´に同相、同レベルで分配されている信号、つまり，レベル比が１：１となっている信号としてデジタル信号Ｓ１´，Ｓ５´からＳＢ信号を分離抽出する。また、デジタル信号Ｓ１´，Ｓ５´のそれぞれから、デジタル信号Ｓ１´，Ｓ５´の一方に主として含まれている信号として、つまり、レベル比が１：０となっている信号としてデジタル信号ＬＳおよびＲＳを分離抽出する。

この第２の音声信号処理装置部４００の構成例のブロック図を、図１５に示す。この図１５に示すように、第２の音声信号処理装置部４００においては、デジタル音声信号Ｓ１´は、ＦＦＴ部４０１に供給されて、ＦＦＴ処理されて、時系列音声信号が周波数領域データに再変換される。また、デジタル音声信号Ｓ５´は、ＦＦＴ部４０２に供給されて、ＦＦＴ処理されて、時系列音声信号が周波数領域データに再変換される。

ＦＦＴ部４０１および４０２は、前述の実施形態のＦＦＴ部１０１および１０２と同様の構成を備える。各ＦＦＴ部４０１およびＦＦＴ部４０２からの周波数分割スペクトル出力Ｆ３およびＦ４は、それぞれ周波数分割スペクトル比較処理部４０３と、周波数分割スペクトル制御処理部４０４とに供給される。

周波数分割スペクトル比較処理部４０３は、ＦＦＴ部４０１およびＦＦＴ部４０２からの周波数分割スペクトル成分Ｆ３，Ｆ４の、同じ周波数同士のレベル比を算出し、算出したレベル比を周波数分割スペクトル制御処理部４０４に出力する。

周波数分割スペクトル比較処理部４０３は、前述の実施形態の周波数分割スペクトル比較処理部１０３と同様の構成を備えるもので、この例では、レベル検出部４０３１，４０３２と、レベル比算出部４０３３，４０３４と、セレクタ４０３５，４０３６，４０３７とからなる。

レベル検出部４０３１は、ＦＦＴ部４０１からの周波数分割スペクトル成分Ｆ３のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ３を出力する。また、レベル検出部４０３２は、ＦＦＴ部４０２からの周波数分割スペクトル成分Ｆ４のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ４を出力する。この例では、各周波数分割スペクトルのレベルは、振幅スペクトルを検出する。なお、各周波数分割スペクトルのレベルとして、パワースペクトルを検出するようにしてもよい。

そして、レベル比算出部４０３３は、Ｄ３／Ｄ４を算出する。また、レベル比算出部４０３４は、その逆数のＤ４／Ｄ３を算出する。レベル比算出部４０３３およびレベル比算出部４０３４で算出されたレベル比は、セレクタ４０３５，４０３６，４０３７のそれぞれに供給される。そして、セレクタ４０３５，４０３６，４０３７のそれぞれから、その一方のレベル比が、出力レベル比ｒ６，ｒ７，ｒ８として取り出される。

セレクタ４０３５，４０３６，４０３７のそれぞれには、分離すべきものとして使用者により設定された音源およびそのレベル比に応じて、レベル比算出部４０３３の出力と、レベル比算出部４０３４の出力のいずれを選択すべきかを選択制御するための選択制御信号ＳＥＬ６，ＳＥＬ７，ＳＥＬ８が供給される。このセレクタ４０３５，４０３６，４０３７のそれぞれから得られる出力レベル比ｒ６、ｒ７、ｒ８は、周波数分割スペクトル制御処理部４０４に供給される。

周波数分割スペクトル制御処理部４０４は、前述したように、分離抽出しようとする複数個の音源の音声信号の数に対応する数、この例では、３個の音源分離処理部４０４１，４０４２，４０４３を備える。

この例では、音源分離処理部４０４１にはＦＦＴ部４０１の出力Ｆ３が供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３５から得られる出力レベル比ｒ６が供給される。また、音源分離処理部４０４２にはＦＦＴ部４０２の出力Ｆ４が供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３６から得られる出力レベル比ｒ７が供給される。また、音源分離処理部４０４３には、ＦＦＴ部４０１の出力Ｆ３およびＦＦＴ部４０２の出力Ｆ４が供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３７から得られる出力レベル比ｒ８が供給される。

この例では、音源分離処理部４０４１は、乗算係数発生部４１１と乗算部４１２とからなり、また、音源分離処理部４０４２は、乗算係数発生部４２１と乗算部４２２とからなる。また、音源分離処理部４０４３は、乗算係数発生部４３１と、乗算部４３２，４３３と、加算部４３４とからなる。

そして、音源分離処理部４０４１においては、ＦＦＴ部４０１の出力Ｆ３が乗算部４１２に供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３５から得られる出力レベル比ｒ６が乗算係数発生部４１１に供給される。乗算係数発生部４１１からは、上述と同様にして、入力レベル比ｒ６に応じた乗算係数ｗｉが得られ、乗算部４１２に供給される。

また、音源分離処理部４０４２においては、ＦＦＴ部４０２の出力Ｆ４が乗算部４２２供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３６から得られる出力レベル比ｒ７が乗算係数発生部４２１に供給される。乗算係数発生部４１１からは、上述と同様にして、入力レベル比ｒ７に応じた乗算係数ｗｉが得られ、乗算部４２２に供給される。

また、音源分離処理部４０４３においては、ＦＦＴ部４０１の出力Ｆ３が乗算部４３２に供給され、ＦＦＴ部４０２の出力Ｆ４が乗算部４３３に供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３６から得られる出力レベル比ｒ８が乗算係数発生部４３１に供給される。乗算係数発生部４１１からは、上述と同様にして、入力レベル比ｒ８に応じた乗算係数ｗｉが得られ、乗算部４３２および４３３に供給される。そして、乗算部４３２および４３３の出力は、加算部４３４で加算された後、出力される。

音源分離処理部４０４１，４０４２，４０４３のそれぞれは、周波数分割スペクトル比較処理部４０３からのレベル比ｒ６、ｒ７、ｒ８の情報を受けて、当該レベル比が、分離抽出しようとする音源信号の２チャンネル信号Ｓ１´，Ｓ５´への分配比と等しいものとなっている周波数分割スペクトル成分のみを、ＦＦＴ部４０１およびＦＦＴ部４０２の出力の一方または両方から抽出し、その抽出結果出力Ｆｅｘ１１，Ｆｅｘ１２，Ｆｅｘ１３を、それぞれ逆ＦＦＴ部１１０１，１１０２，１１０３に出力する。

音源分離処理部４０４１の乗算係数発生部４１１には、セレクタ４０３５からのＤ４／Ｄ３なるレベル比ｒ６が供給される。この乗算係数発生部４１１には、図５（ｂ）に示すような関数発生回路が設定され、乗算部４１２からは、主として、信号Ｓ１´のみに含まれる周波数成分が得られ、これが音源分離処理部４０４２の出力信号Ｆｅｘ１１として出力される。

音源分離処理部４０４２の乗算係数発生部４２１には、セレクタ４０３６からのＤ３／Ｄ４なるレベル比ｒ７が供給される。この乗算係数発生部４２１には、図５（ｂ）に示すような関数発生回路が設定され、乗算部４２２からは、主として、信号Ｓ５´のみに含まれる周波数成分が得られ、これが音源分離処理部４０４２の出力信号Ｆｅｘ１２として出力される。

音源分離処理部４０４３の乗算係数発生部４３１には、セレクタ４０３７からのＤ４／Ｄ３またはＤ３／Ｄ４のいずれかからなるレベル比ｒ８が供給される。この乗算係数発生部４３１には、図５（ａ）に示すような関数発生回路が設定される。したがって、乗算部４３２および４３３からは、主として、信号Ｓ１´と信号Ｓ５´とに同相、同レベルで含まれる周波数成分が出力され、加算部４３４からは、これら乗算部４３２および４３３からの出力信号の加算出力が得られ、これが音源分離処理部４０４３の出力信号Ｆｅｘ１３として出力される。

逆ＦＦＴ部１１０１，１１０２，１１０３のそれぞれは、周波数分割スペクトル制御処理部４０４の音源分離処理部４０４１，４０４２，４０４３のそれぞれからの抽出結果出力Ｆｅｘ１１，Ｆｅｘ１２，Ｆｅｘ１３の周波数分割スペクトル成分を元の時系列信号に変換し、その変換出力信号を、使用者が分離したいとして設定した３個の音源の音声信号ＬＳ´、ＲＳ´、ＳＢとして出力端子１２０１，１２０２，１２０３を通じて出力する。

以上のようにして、この第６の実施形態によれば、５．１チャンネルの音声信号から、６．１チャンネルの音声信号が生成され、７個のスピーカＳＰ１〜ＳＰ７により再生されるシステムが実現される。

なお、上述の第6の実施形態の説明では、信号ＬＳ´、ＲＳ´は、レベル比を用いて音源分離処理部を用いて音源分離するようにしたが、第３または第４の実施形態と同様に、信号ＳＢを分離した残差として取り出すこともできる。このような構成によれば、ＳＢチャンネルに限らず、マルチチャンネルで入力された音声信号から、更に多くの音源を分離し、再配置することにより、より分離のよい音像定位を持つマルチチャンネルシステムを構成することが可能となる。

［第７の実施形態］
第７の実施形態の構成例を図１６に示す。この第７の実施形態は、２チャンネルステレオ音声信号ＳＬ，ＳＲを、音声信号処理装置部５００で信号処理して、その信号処理結果の音声信号をヘッドホンにて聞くシステムである。

図１６に示すように、この第７の実施形態では、２チャンネルステレオ音声信号ＳＬ，ＳＲは、入力端子５１１および５１２をそれぞれ通じて音声信号処理装置部５００に入力される。音声信号処理装置部５００は、第１の信号処理部５０１と、第２の信号処理部５０２からなる。

第１の信号処理部５０１は、前述した実施形態の音声信号処理装置部１００と同様に構成される。すなわち、第１の信号処理部５０１においては、入力された２チャンネルステレオ信号ＳＬ，ＳＲが、例えば第１の実施形態と同様にして、３チャンネル以上の多チャンネル、例えば５チャンネルのマルチチャンネル信号に変換される。

次に、第２の信号処理部５０２では、この第１の信号処理部５０１からのマルチチャンネル音声信号を入力として受け、マルチチャンネルの各チャンネルの音声信号に対して、任意の位置に置かれたスピーカからリスナの両耳に至る伝達関数と同等の特性を付加され、再度、２チャンネルの信号ＳＬｏおよびＳＲｏに纏められる。

そして、第２の信号処理部５０２からの出力信号ＳＬｏおよびＳＲｏが、音声信号処理装置部５００の出力とされて、Ｄ／Ａ変換器５１３および５１４に供給されて、アナログ音声信号に変換され、アンプ５１５および５１６を通じて出力端子５１７および５１８に出力される。そして、出力端子５１７および５１８に接続されるヘッドホン５２０により、音声信号ＳＬｏおよびＳＲｏが音響再生される。

この、ヘッドホン５２０で、スピーカ再生と同等の特性を実現する原理は以下のようになる。

図１７は、そのようなヘッドホン装置の一例のブロック図を示すもので、アナログ音声信号ＳＡが、入力端子５２１を通じてＡ／Ｄ変換器５２２に供給されてデジタル音声信号ＳＤに変換される。そして、このデジタル音声信号ＳＤが、デジタルフィルタ５２３および５２４に供給される。

このデジタルフィルタ５２３および５２４のそれぞれは、図１８に示すように、複数個のサンプル遅延器５３１，５３２・・・５３（ｎ−１）と、フィルタ係数乗算器５４１，５４２、・・・５４ｎと、加算器５５１，５５２、・・・５５（ｎ−１）（ｎは２以上の整数）、からなるＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタにより構成され、このデジタルフィルタ５２３，５２４のそれぞれにおいて音像の頭外定位のための処理が行われる。

すなわち、例えば図１９に示すように、リスナＭの前方に音源ＳＰが配置されているとき、この音源ＳＰから出力される音は、伝達関数ＨＬ、ＨＲを持つ経路を通じてリスナＭの左耳および右耳に伝達される。

そこで、デジタルフィルタ５２３および５２４には、信号ＳＤに対して、伝達関数ＨＬ、ＨＲを時間軸に変換したインパルス応答が畳み込まれる。つまり、伝達関数ＨＬ，ＨＲに対応するフィルタ係数Ｗ１，Ｗ２，・・・，Ｗｎが求められ、音源ＳＰの音声がリスナＭの左耳、右耳に伝達されたときの音声となるような処理がデジタルフィルタ５２３および５２４において行なわれる。なお、デジタルフィルタ５２３，５２４に畳み込まれるインパルス応答は、あらかじめ測定することにより、あるいは計算することにより、算出され、フィルタ係数Ｗ１，Ｗ２，・・・，Ｗｎに変換されて、デジタルフィルタ５２３，５２４に与えられる。

そして、この処理結果の信号ＳＤ１，ＳＤ２が、Ｄ／Ａコンバータ回路５２５，５２６に供給されてアナログ音声信号ＳＡ１、ＳＡ２に変換され、この信号ＳＡ１、ＳＡ２が、ヘッドホンアンプ５２７および５２８を通じてヘッドホン５２０の左および右の音響ユニット（電気・音響変換素子）に供給されて音響再生される。

したがって、ヘッドホンの左および右の音響ユニットによる再生音は、伝達関数ＨＬ、ＨＲを持つ経路を通じた音となるので、リスナＭが、ヘッドホン５２０を装着してその再生音を聴くとき、図１９に示すように、その音像ＳＰが頭外に定位する状態が再現される。

なお、図１７〜図１９を用いて説明した以上の説明は、第１の信号処理部５０１からの１チャンネルの音声信号に対する処理の説明に対応するもので、第２の信号処理部５０２では、第１の信号処理部５０１からのマルチチャンネルの各チャンネルの音声信号に対して、上述の処理を施すものである。そして、左チャンネルあるいは右チャンネルの信号とすべき信号は、それぞれ多チャンネルの信号同士で加算して、それぞれ生成するものである。

なお、図１７では、Ａ／Ｄ変換器を設けたが、第１の信号処理部５０１の出力は、デジタル音声信号であるので、第２の信号処理部５０２においては、Ａ／Ｄ変換器は不要であることは言うまでもない。

以上のようにして、第１の信号処理部５０１で分離された複数チャンネルの各音源に対して、第２の信号処理部５０２で上述のようなデジタルフィルタ処理を行なうことにより、複数チャンネルの各音源が任意の位置に音像定位するように、ヘッドホン５２０にて受聴することが可能となる。

［第８の実施形態］
第８の実施形態の構成例を図２０に示す。この第８の実施形態は、２チャンネルステレオ音声信号ＳＬ，ＳＲを、音声信号処理装置部６００で信号処理して、その信号処理結果の音声信号を、２個のスピーカＳＰＬ，ＳＰＲにて聞くシステムである。

図２０に示すように、この第８の実施形態では、第７の実施形態と同様に、２チャンネルステレオ音声信号ＳＬ，ＳＲは、入力端子６１１および６１２をそれぞれ通じて音声信号処理装置部６００に入力される。音声信号処理装置部６００は、第１の信号処理部６０１と、第２の信号処理部６０２からなる。

第１の信号処理部６０１は、第７の実施形態の第１の信号処理部５０１と全く同様であり、入力された２チャンネルステレオ信号ＳＬ，ＳＲを、例えば第１の実施形態と同様にして、３チャンネル以上の多チャンネル、例えば５チャンネルのマルチチャンネル信号に変換する。

そして、第２の信号処理部６０２では、第１の信号処理部６０１からのマルチチャンネル音声信号を入力として受け、マルチチャンネルの各チャンネルの音声信号に対して、任意の位置に置かれたスピーカからリスナの両耳に至る伝達関数と同等の特性を、２個のスピーカＳＰＬ，ＳＰＲで再現する特性が付加される。そして、再度、２チャンネルの信号ＳＬｓｐおよびＳＲｓｐに纏められる。

そして、第２の信号処理部６０２からの出力信号ＳＬｓｐおよびＳＲｓｐが、音声信号処理装置部６００の出力とされて、Ｄ／Ａ変換器６１３および６１４に供給されて、アナログ音声信号に変換され、アンプ６１５および６１６を通じて出力端子６１７および６１８に出力される。そして、出力端子６１７および６１８に接続されるスピーカＳＰＬおよびＳＰＲにより、音声信号ＳＬｓｐおよびＳＲｓｐが音響再生される。

この、２個のスピーカＳＰＬ，ＳＰＲで、任意の位置のスピーカ再生と同等の特性を実現する原理は以下のようになる。

図２１は、２個のスピーカにより、任意の位置に音像を定位させるようにする信号処理装置の構成例のブロック図である。

すなわち、アナログ音声信号ＳＡが、入力端子６２１を通じてＡ／Ｄ変換器６２２に供給されてデジタル音声信号ＳＤに変換される。そして、このデジタル音声信号ＳＤが、例えば前述の図１８に示したデジタルフィルタにより構成されるデジタル処理回路６２３および６２４に供給される。そして、このデジタル処理回路６２３および６２４においては、信号ＳＤに対して、後述する伝達関数を時間軸に変換したインパルス応答が畳み込まれる。

そして、この処理結果の信号ＳＤＬ、ＳＤＲが、Ｄ／Ａコンバータ回路６２５、６２６に供給されて、アナログ音声信号ＳＡＬ、ＳＡＲに変換され、この信号ＳＡＬ、ＳＡＲが、スピーカアンプ６２７、６２８を通じて、リスナＭの左前方および右前方に配置された左および右チャンネルのスピーカＳＰＬ、ＳＰＲに供給される。

ここで、デジタル処理回路６２３、６２４における処理は、次のような内容とされる。すなわち、今、図２２に示すように、リスナＭの左前方および右前方に音源ＳＰＬ、ＳＰＲを配置し、これら音源ＳＰＬ、ＳＰＲにより、任意の位置に音源ＳＰＸを等価的に再現する場合を考える。

そして、
ＨLL：音源ＳＰＬからリスナＭの左耳に至る伝達関数
ＨLR：音源ＳＰＬからリスナＭの右耳に至る伝達関数
ＨRL：音源ＳＰＲからリスナＭの左耳に至る伝達関数
ＨRR：音源ＳＰＲからリスナＭの右耳に至る伝達関数
ＨXL：音源ＳＰＸからリスナＭの左耳に至る伝達関数
ＨXR：音源ＳＰＸからリスナＭの右耳に至る伝達関数
とすると、音源ＳＰＬ、ＳＰＲは、
ＳＰＬ＝（ＨXL×ＨRR−ＨXR×ＨRL）／（ＨLL×ＨRR−ＨLR×ＨRL）×ＳＰＸ
・・・（式５）
ＳＰＲ＝（ＨXR×ＨLL−ＨXL×ＨLR）／（ＨLL×ＨRR−ＨLR×ＨRL）×ＳＰＸ
・・・（式６）
のように表すことができる。

したがって、音源ＳＰＸに対応する入力音声信号ＳXAを、（式５）の伝達関数部分を実現するフィルタを通じて音源ＳＰＬの位置に配置したスピーカに供給するとともに、信号ＳXAを、（式６）の伝達関数部分を実現するフィルタを通じて音源ＳＰＲの位置に配置したスピーカに供給すれば、音源ＳＰＸの位置に、音声信号ＳＸによる音像を定位させることができる。

そこで、デジタル処理回路６２３，６２４には、これに供給されたデジタル音声信号ＳＤに対して、（式５）、（式６）の伝達関数部分と同様の伝達関数を時間軸に変換したインパルス応答が畳み込まれる。なお、デジタル処理回路６２３，６２４を構成するデジタルフィルタに畳み込まれるインパルス応答は、あらかじめ測定することにより、あるいは計算することにより、算出され、フィルタ係数Ｗ１，Ｗ２，・・・，Ｗｎに変換されて、デジタル処理回路６２３，６２４に与えられる。

そして、このデジタル処理回路６２３，６２４の処理結果の信号ＳＤＬ，ＳＤＲが、Ｄ／Ａコンバータ回路６２５，６２６に供給されてアナログ音声信号ＳＡＬ、ＳＡＲに変換され、この信号ＳＡＬ、ＳＡＲが、アンプ６２７および６２８を通じてスピーカＳＰＬ、ＳＰＲに供給されて音響再生される。

したがって、２個のスピーカＳＰＬ，ＳＰＲの再生音により、アナログ音声信号ＳＡによる音像を、図２２に示すような音源ＳＰＸの位置に定位させることができる。

なお、図２０〜図２２を用いて説明した以上の説明は、第１の信号処理部６０１からの１チャンネルの音声信号に対する処理の説明に対応するもので、第２の信号処理部６０２では、第１の信号処理部６０１からのマルチチャンネルの各チャンネルの音声信号に対して、上述の処理を施すものである。そして、左チャンネルあるいは右チャンネルの信号とすべき信号は、それぞれ多チャンネルの信号同士で加算して、それぞれ生成するものである。

なお、図２１では、Ａ／Ｄ変換器を設けたが、第１の信号処理部６０１の出力は、デジタル音声信号であるので、第２の信号処理部６０２においては、Ａ／Ｄ変換器は不要であることは言うまでもない。

以上のようにして、第１の信号処理部６０１で分離された複数チャンネルの各音源に対して、第２の信号処理部６０２で上述のようなデジタルフィルタ処理を行なうことにより、複数チャンネルの各音源が任意の位置に音像定位するように、２個のスピーカＳＰＬ，ＳＰＲで再現することが可能となる。

［第９の実施形態］
第９の実施形態の構成例を図２３に示す。この第９の実施形態は、この図２３に示すように、エンコード装置部７１０と、伝送手段７２０と、デコード装置部７３０とからなるエンコード／デコード装置の例である。

すなわち、この第９の実施形態においては、エンコード装置部７１０で、多チャンネル音声信号を２チャンネルの信号ＳＬ，ＳＲにエンコードし、当該エンコードした２チャンネルの信号の信号ＳＬ，ＳＲを、伝送手段７２０において記録再生、あるいは信号伝送等をした後、デコード装置部７３０により、元の多チャンネル信号を再合成するものである。

ここで、エンコード装置部７１０は、例えば、図２４に示すような構成とされる。図２４では、入力された多チャンネルの音声信号Ｓ１，Ｓ２，・・・，Ｓｎは、それぞれ減衰器７４１Ｌ、７４２Ｌ、７４３Ｌ、・・・、７４ｎＬによりレベル調整されて、加算器７５１に供給されると共に、それぞれ減衰器７４１Ｒ、７４２Ｒ、７４３Ｒ、・・・、７４ｎＲによりレベル調整されて、加算器７５２に供給される。そして、加算器７５１および７５２から、２チャンネルの信号ＳＬおよびＳＲとして出力される。

すなわち、多チャンネルの音声信号Ｓ１，Ｓ２，・・・，Ｓｎのそれぞれは、減衰器７４１Ｌ、７４２Ｌ、７４３Ｌ、・・・、７４ｎＬと、減衰器７４１Ｒ、７４２Ｒ、７４３Ｒ、・・・、７４ｎＲとで、異なる比でレベル差が付加され、２チャンネル信号ＳＬ，ＳＲに合成されて、出力される。すなわち、減衰器７４１Ｌ、７４２Ｌ、７４３Ｌ、・・・、７４ｎＬでは、各チャンネルの入力信号を、ｋＬ１、ｋＬ２、ｋＬ３、・・・、ｋＬｎ（ｋＬ１、ｋＬ２、ｋＬ３、・・・、ｋＬｎ≦１）倍のレベルとして出力する。また、減衰器７４１Ｒ、７４２Ｒ、７４３Ｒ、・・・、７４ｎＲでは、各チャンネルの入力信号を、ｋＲ１、ｋＲ２、ｋＲ３、・・・、ｋＲｎ（ｋＲ１、ｋＲ２、ｋＲ３、・・・、ｋＲｎ≦１）倍のレベルとして出力する。

合成された２チャンネル信号ＳＬ，ＳＲは、例えば光ディスクなどの記録媒体に記録される。そして、当該記録媒体から再生されて伝送される、あるいは、通信回線を通じて伝送される。伝送手段７２０は、そのための記録再生装置や、通信回線を通じて送受する手段からなる。

伝送手段７２０を通じて伝送された２チャンネルの音声信号ＳＬ，ＳＲは、デコード装置部７３０に与えられ、ここで元の音源が再合成された出力される。このデコード装置部７３０は、上述した第１〜第３の実施形態の音声信号処理装置部１００を含むもので、２チャンネルの音声信号から、エンコード装置部７１０でエンコードされたときの各音源の２チャンネルの音声信号ＳＬ，ＳＲへの混合の際のレベル比を基準にして、もとの多チャンネルの信号を分離復元し、多数個のスピーカにより再生する。

上述の例では、エンコード装置部７１０では、信号の位相については考慮しなかったが、２チャンネルの信号ＳＬ，ＳＲを生成する際に、位相を考慮することもできる。図２５は、その場合のエンコード装置部７１０の構成例である。

図２５に示すように、この場合のエンコード装置部７１０においては、減衰器７４１Ｌ、７４２Ｌ、７４３Ｌ、・・・、７４ｎＬと加算器７５１との間には移相器７６１Ｌ、７６２Ｌ、７６３Ｌ、・・・、７６ｎＬが設けられ、減衰器７４１Ｒ、７４２Ｒ、７４３Ｒ、・・・、７４ｎＲと加算器７５２との間には、移相器７６１Ｒ、７６２Ｒ、７６３Ｒ、・・・、７６ｎＲが設けられる。そして、これら移相器７６１Ｌ、７６２Ｌ、７６３Ｌ、・・・、７６ｎＬと、移相器７６１Ｒ、７６２Ｒ、７６３Ｒ、・・・、７６ｎＲとにより、各チャンネルの信号を２チャンネル信号ＳＬ，ＳＲに合成する際において、当該２チャンネル信号ＳＬ，ＳＲ間に位相差を付けることができるようにされている。

この例の場合には、デコード装置部７３０は、例えば第４の実施形態の音声信号処理装置部１００が用いられる。

以上のような音響再生システムによれば、音源間のセパレーションに優れたエンコード・デコードシステムを構成することが可能となる。

［第１０の実施形態］
第１０の実施形態の構成例を図２６に示す。この第１０の実施形態は、２チャンネルステレオ音声入力信号ＳＬ，ＳＲを、音声信号処理装置部８００で信号処理して、その信号処理結果の音声信号を、ヘッドホンあるいは２個のスピーカにて聞くシステムである。

第７の実施形態および第８の実施形態では、音声信号処理装置部では、第１の信号処理部と、第２の信号処理部とを設けて、第１の信号処理部により、入力ステレオ信号をマルチチャンネル信号に変換し、また、第２の信号処理部では、このマルチチャンネル音声信号を入力として、当該マルチチャンネルの音声信号に対して、任意の位置に置かれたスピーカからリスナの両耳に至る伝達関数と同等の特性や２個のスピーカで任意の位置で定位する音源が得られるような特性を付加するようにした。

この第１０の実施形態では、これらの第１の信号処理部での処理と、第２の信号処理部での処理を独立に行なうのでなく、一回の時間領域から周波数領域の変換過程で全て行なうものである。

図２６において、２チャンネルの音声信号ＳＬ，ＳＲを周波数領域の信号に変換し、例えば５チャンネルの周波数領域の音声信号成分に分離するまでの構成は、図１に示したものと同様である。すなわち、この図２６の実施形態においては、ＦＦＴ部１０１および１０２、周波数分割スペクトル比較処理部１０３、周波数分割スペクトル制御処理部１０４までの構成部分を備える。

そして、周波数分割スペクトル制御処理部１０４からの出力信号を時間領域に変換する前に、この第１０の実施形態では、前述した第７の実施形態の第２の信号処理あるいは第８の実施形態の第２の信号処理に対応する処理を行なう信号処理部９００を設ける。

この信号処理部９００は、周波数分割スペクトル制御処理部１０４からの５チャンネルの音声信号のそれぞれに対して、左チャンネル信号生成用の係数乗算部９１Ｌ、９２Ｌ，９３Ｌ，９４Ｌ、９５Ｌと、右チャンネル信号生成用の係数乗算部９１Ｒ、９２Ｒ，９３Ｒ，９４Ｒ、９５Ｒとを備える。そして、信号処理部９００は、さらに、左チャンネル信号生成用の係数乗算部９１Ｌ、９２Ｌ，９３Ｌ，９４Ｌ、９５Ｌの出力信号を合成するための加算器９６Ｌと、右チャンネル信号生成用の係数乗算部９１Ｒ、９２Ｒ，９３Ｒ，９４Ｒ、９５Ｒの出力信号を合成するための加算器９６Ｒとを備える。

係数乗算部９１Ｌ、９２Ｌ，９３Ｌ，９４Ｌ、９５Ｌおよび係数乗算部９１Ｒ、９２Ｒ，９３Ｒ，９４Ｒ、９５Ｒの乗算係数としては、前述した第７の実施形態の第２の信号処理部のデジタルフィルタのフィルタ係数、あるいは、前述した第８の実施形態の第２の信号処理部のデジタル処理回路のフィルタ係数に対応した乗算係数が設定される。

時間領域での畳み込み積分は、周波数領域では乗算により実現できるので、この第１０の実施形態では、図２６では係数乗算部９１Ｌ、９２Ｌ，９３Ｌ，９４Ｌ、９５Ｌおよび係数乗算部９１Ｒ、９２Ｒ，９３Ｒ，９４Ｒ、９５Ｒにより、分離された各信号に対し、一対の伝達特性を再現する係数が乗算される。

また、乗算された結果は、加算部９６Ｌおよび９６Ｒでヘッドホンあるいはスピーカに出力するチャンネル同士が加算された後、逆ＦＦＴ部１２０１および１２０２に供給され、時系列データに戻され、２チャンネルの音声信号ＳＬ´およびＳＲ´として出力される。

そして、逆ＦＦＴ部１２０１および１２０２からの時系列データＳＬ´およびＳＲ´は、図示は省略するが、さらに、Ｄ／Ａ変換器によりそれぞれアナログ信号に戻されて、ヘッドホンあるいは２個のスピーカに供給され、音響再生される。

このような構成によれば、逆ＦＦＴ処理の回数を減らせると同時に、周波数領域で伝達特性の付加が行なえるので、ロングタップの特性を少ない処理時間で付加することができ、効率的なマルチチャンネル再生システムを構築することが可能となる。

［第１１の実施形態の音声信号処理装置］
図２７は、第１１の実施形態の音声信号処理装置部の構成例の一部を示すブロック図である。この図２７は、左右２チャンネルの音声信号ＳＬ、ＳＲの一方、左チャンネルの音声信号ＳＬから、デジタルフィルタを用いて、左右チャンネルに所定のレベル比あるいはレベル差で分配された１つの音源の音声信号を分離する構成を示すものである。

すなわち、左チャンネルの音声信号（この例ではデジタル信号）ＳＬは、タイミング調整用の遅延部１３０１を通じてデジタルフィルタ１３０２に供給される。このデジタルフィルタ１３０２には、後述するようにして、分離したい音源の音声信号の、左右チャンネルに対するレベル比に基づいて形成されるフィルタ係数が供給されて、前記分離したい音源の音声信号が、このデジタルフィルタ１３０２から抽出されるようにされる。

前記フィルタ係数は、次のようにして形成される。先ず、左右チャンネルの音声信号ＳＬおよびＳＲ（デジタル信号）は、ＦＦＴ部１３０３およびＦＦＴ部１３０４にそれぞれに供給されて、ＦＦＴ処理されて時系列音声信号が周波数領域データに変換され、ＦＦＴ部１３０３およびＦＦＴ部１３０４のそれぞれから、周波数が互いに異なる多数個の周波数分割スペクトル成分が出力される。

ＦＦＴ部１３０３および１３０４のそれぞれからの周波数分割スペクトル成分のそれぞれは、レベル検出部１３０５，１３０６に供給されて、その振幅スペクトルあるいはパワースペクトルが検出されることにより、そのレベルが検出される。そして、レベル検出部１３０５，１３０６の各々で検出されたレベル値Ｄ１，Ｄ２は、レベル比算出部１３０７に供給され、そのレベル比Ｄ１／Ｄ２またはＤ２／Ｄ１の一方が算出される。

このレベル比算出部１３０７で算出されたレベル比の値は、重み付け係数発生部１３０８に供給される。この重み付け係数発生部１３０８は、前述の実施形態の乗算係数発生部に対応するものであり、分離したい音源の音声信号の、左右２チャンネルの音声信号に対する混合レベル比およびその近傍のレベル比では大きな値の重み付け係数を出力し、その他のレベル比では小さな重み付け係数を出力する。この重み付け係数は、ＦＦＴ部１３０３，１３０４の出力である周波数分割スペクトル成分の各周波数ごとに得られる。

この重み付け係数発生部１３０８からの周波数領域の重み付け係数は、フィルタ係数生成部１３０９に供給され、時間軸領域のフィルタ係数に変換される。このフィルタ係数生成部１３０９は、周波数領域の重み付け係数を、逆ＦＦＴを行なうことにより、デジタルフィルタ１３０２に供給するフィルタ係数を得る

そして、このフィルタ係数生成部１３０９からのフィルタ係数が、デジタルフィルタ１３０２に供給されて、デジタルフィルタ１３０２から、重み付け係数発生部１３０８に設定された関数に応じた音源の音声信号成分が分離抽出されて、出力ＳＯとされる。なお、遅延部１３０１は、デジタルフィルタ１３０２に供給されるフィルタ係数が生成されるまでの処理遅延時間を調整するためのものである。

図２７の例は、レベル比のみを考慮したものであるが、位相差のみ、またレベル比と位相差を合わせて考慮する構成とすることもできる。すなわち、例えばレベル比と位相差とを合わせて考慮する場合には、図示は省略するが、ＦＦＴ部１３０３および１３０４の出力を位相差検出部にも供給すると共に、検出した位相差をも、重み付け係数発生部に供給する。この例の場合の重み付け係数発生部は、分離する音源の左右２チャンネルの音声信号に対するレベル差のみではなく、位相差をも変数として重み付け係数を発生する関数発生回路の構成とされる。

つまり、この場合の重み付け係数発生部は、分離しようとする音源の音声信号の、左右２チャンネルにおけるレベル比およびその近傍のレベル比のときであって、前記、分離しようとする音源の音声信号の、左右２チャンネルにおける位相差およびその近傍の位相差のときには、大きい重み付け係数を発生し、その他では小さい係数を発生するような関数に設定される。

そして、その重み付け係数発生部からの重み付け係数が逆ＦＦＴされることにより、デジタルフィルタ１３０２のフィルタ係数とされるものである。

なお、図２７では、左チャンネルのみから希望する音源の音声信号を分離するようにしたが、右チャンネルの音声信号についても、フィルタ係数を発生する系を、別個に同様に設けることにより、同様に所定の音源の音声信号を分離することができる。

なお、２チャンネルステレオ信号ＳＬ，ＳＲから３チャンネル以上の多チャンネルの音源信号を分離抽出するためには、図２７の構成部分を、対応するチャンネル数分だけ設ければよい。その場合において、ＦＦＴ部１３０３，１３０４、レベル検出部１３０５，１３０６およびレベル比算出部１３０７は、各チャンネルにおいて共通とすることができる。

［その他の実施形態の音声信号処理装置］
上述の実施形態において、入力音声信号をＦＦＴする場合、楽音のように長い時系列信号をそのままＦＦＴ処理することは困難なので、所定分析区間に区分けして、当該分析区間ごとの区分データを得ることによりＦＦＴ処理を行なう。

しかしながら、時系列データを単純に一定の長さだけ取り出し、音源分離処理を行った後、逆ＦＦＴ変換して結合した場合、その結合点において波形の不連続点を発生し、音として聞いた場合、ノイズを発生すると言う問題がある。

そこで、第１２の実施形態では、区分データを取り出すのに、図２８に示すように、区間１、区間２、区間３、区間４、・・・の長さを、それぞれ同じ長さの単位区間とするが、隣り合う区間では、前記単位区間の長さの例えば１／２の区間分を、互いに重複するように各区間を設定して、各区間の区分データを取り出すようにする。なお、図２８において、ｘ１、ｘ２、ｘ３、・・・、ｘｎは、デジタル音声信号のサンプルデータを示している。

このようにして処理すると、上述の実施形態のようにして音源分離処理され、逆ＦＦＴ 変換された時系列データも、図２９に示す出力区分データ１，２のように、重複区間を持つことになる。

そして、この第８の実施形態では、図２９に示すように、重複区間を持って隣り合う出力区分データ、例えば出力区分データ１，２の重複区間に対して、図２９に示すような三角窓の特性となる窓関数１、２の処理を行ない、各出力区分データ１，２の重複区間における同時刻データ同士を加算することにより、図２９に示すような出力合成データを得るようにする。これにより、波形の不連続点の無い、すなわちノイズの無い、分離された出力音声信号が得られる。

さらに、第１３の実施形態では、区分データを取り出すのに、図３０に示すように、隣り合う区分データの一定区間として、区間１、区間２、区間３、区間４のように、互いに重複して取り出すようにすると同時に、これらの各区間の区分データを、ＦＦＴ処理する前に、図３０に示すような三角窓の窓関数１，２，３，４の、窓関数処理を行なう。

そして、この図３０に示すような窓関数処理を行なった後、ＦＦＴ変換処理を行なうようにする。そして、しかるべき音源分離処理された信号を、逆ＦＦＴ変換すると、図３１に示すような出力区分データ１、２が得られる。この出力区分データは、既に重複部において窓関数処理されたデータになっているので、出力部では、各重複区分データ部を加算するだけで、波形の不連続点のないノイズの無い、分離された音声信号を得ることが可能となる。

なお、上述の窓関数としては、三角窓の他、ハニング窓またはハミング窓、あるいはブラックマン窓、などを用いることができる。

また、上述の実施形態では、時間離散信号を直交変換することにより、周波数領域の信号に変換し、ステレオチャンネル間の周波数分割スペクトルを比較するようにしたが、原理的には時間領域で信号を多数のバンドバスフィルタにより細分化し、各周波数バンドについて同様の処理を行なうように構成するようにしてもよい。ただし、上述の実施形態のように、ＦＦＴ処理をする方が、周波数分解能を上げることが容易であり、分離する音源の分離度を向上させることができるので、実用性が大きい。

なお、上述の実施形態では、この発明が適用される２系統の音声信号として、２チャンネルステレオ信号について説明したが、この発明は、音源の音声信号が所定のレベル比あるいはレベル差で分配される２つの音声信号であれば、どのような２系統の音声信号であっても適用可能である。位相差についても同様である。

また、上述の実施形態では、２系統の音声信号についての周波数分割スペクトルのレベル比を求め、乗算係数発生部は、レベル比対乗算係数の関数を用いるようにしたが、２系統の音声信号についての周波数分割スペクトルのレベル差を求め、乗算係数発生部は、当該レベル差対乗算係数の関数を用いるようにしてもよい。

また、時系列信号を周波数領域の信号に変換する直交変換手段としては、ＦＦＴ処理手段に限られるものではなく、周波数分割スペクトルのレベルや位相を比較することができるものであれば、どのようなものであってもよい。

この発明による音声信号処理装置の第１の実施形態の構成例を示すブロック図である。 第１の実施形態が適用された音響再生システムの構成例を示すブロック図である。 図１の一部である周波数分割スペクトル比較処理部の構成例を示すブロック図である。 図１の一部である周波数分割スペクトル制御処理部の構成例を示すブロック図である。 周波数分割スペクトル制御処理部の乗算係数発生部５１に設定される関数の幾つかの例を示す図である。 この発明による音声信号処理装置の第２の実施形態の構成例を示すブロック図である。 この発明による音声信号処理装置の第３の実施形態の構成例を示すブロック図である。 この発明による音声信号処理装置の第４の実施形態の構成例を示すブロック図である。 図８の一部の周波数分割スペクトル比較処理部および周波数分割スペクトル制御処理部の構成例を示すブロック図である。 図９の乗算係数発生部６１，６５に設定される関数の幾つかの例を示す図である。 この発明の第５の実施形態が適用される音響再生システムの構成例を示すブロック図である。 この発明による音声信号処理装置の第５の実施形態の構成例を説明するための図である。 この発明の第６の実施形態が適用される音響再生システムの構成例を示すブロック図である。 この発明による音声信号処理装置の第６の実施形態の構成例を説明するための図である。 この発明による音声信号処理装置の第６の実施形態の一部の構成例を説明するための図である。 この発明による音声信号処理装置の第７の実施形態の構成例を説明するための図である。 第７の実施形態を説明するための図である。 第７の実施形態を説明するための図である。 第７の実施形態を説明するための図である。 この発明による音声信号処理装置の第８の実施形態の構成例を説明するための図である。 第８の実施形態を説明するための図である。 第８の実施形態を説明するための図である。 この発明による音声信号処理装置の第９の実施形態の構成例を説明するための図である。 図２３の一部の構成例を示すブロック図である。 図２３の一部の他の構成例を示すブロック図である。 この発明による音声信号処理装置の第１０の実施形態の構成例を説明するための図である。 この発明による音声信号処理装置の第１１の実施形態の構成例を説明するための図である。 この発明による音声信号処理装置の第１２の実施形態の構成例を説明するための図である。 この発明による音声信号処理装置の第１２の実施形態の構成例を説明するための図である。 この発明による音声信号処理装置の第１３の実施形態の構成例を説明するための図である。 この発明による音声信号処理装置の第１３の実施形態の構成例を説明するための図である。 複数の音源からなる２チャンネルの信号による音像定位を説明するための図である。 複数の音源からなる２チャンネルの信号による音像定位を説明するための図である。 従来の、特定音源の音声信号の分離装置を説明するためのブロック図である。 従来の、特定音源の音声信号の分離装置を説明するためのブロック図である。 従来の、特定音源の音声信号の分離装置を説明するためのブロック図である。 従来の、特定音源の音声信号の分離装置を説明するためのブロック図である。

符号の説明

１００…音声信号処理装置、１０１，１０２…ＦＦＴ部、１０３…周波数分割スペクトル比較処理部、１０４…周波数分割スペクトル制御処理部、１０４１、１０４２，１０４３，１０４４，１０４５…音源分離処理部、１０５１，１０５２，１０５３，１０５４，１０５５…逆ＦＦＴ部、４１，４２…レベル検出部、４３，４４…レベル比算出部、４５１，４５２，４５３，４５４，４５５…セレクタ、５１…乗算係数発生部、５２，５３…乗算部、５４…加算部、１０３２…位相比較処理部

Claims (3)

1. ３以上の複数の音源の音声信号のそれぞれが、それぞれ、所定のレベル比またはレベル差で、かつ、所定の位相差（位相差無しを含む）で分配された２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
   前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出手段と、
   前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
   前記レベル算出手段で算出された前記レベル比または前記レベル差が前記３以上の音源の音声信号のうちの、抽出して出力しようする音源の音声信号に応じて予め定めた値およびその近傍となる周波数成分であり、かつ、前記位相差算出手段で算出された前記位相差が前記抽出して出力しようする音源の音声信号に応じて予め定めた値およびその近傍となる周波数成分を、前記２系統の前記周波数分割スペクトルの少なくとも一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
   前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に変換する３個以上の逆直交変換手段と、
   を備え、
   前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
   前記レベル算出手段で算出されたレベル比またはレベル差の関数として設定され、連続した値を持つ第１の乗算係数の発生手段と、
   前記位相差算出手段で算出された位相差の関数として設定され、連続した値を持つ第２の乗算係数の発生手段と、
   前記第１の乗算係数の発生手段からの前記第１の乗算係数を、前記第１の直交変換手段および前記第２の直交変換手段から得られる、前記レベル算出手段で前記レベル比またはレベル差が算出された対応する周波数分割スペクトルのそれぞれに乗算する２個の乗算器からなる第１の乗算手段と、
   前記第２の乗算係数の発生手段からの前記第２の乗算係数を、前記第１の乗算手段の前記２個の乗算器から得られる、前記位相差算出手段で位相差が算出された対応する周波数分割スペクトラムのそれぞれに乗算する２個の乗算器からなる第２の乗算手段と具備し、
   前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得る音声信号処理装置。
2. 請求項１記載の音声信号処理装置において、
   ２系統の入力音声時系列信号は、所定分析区間に区分けして区分データを得ると同時に、所定区分区間はオーバラップして取り出し、出力時系列信号は窓関数処理し、同時刻の時系列データ同士を加算して出力する
   ことを特徴とする音声信号処理装置。
3. 請求項１記載の音声信号処理装置において、
   ２系統の入力音声時系列信号を、所定区間に区分けして区分データとすると共に、隣り合う区分データは一部の区間はオーバラップさせて、前記区分データを前記第１および第２の直交変換手段に供給する区分化手段と、
   前記逆直交変換手段からの、各区分データに対応する出力時系列信号を窓関数処理した後、直交変換し、出力時系列信号は、逆直交変換して時系列信号に変換後、連続する分析区間の同時刻の時系列信号同士を加算して出力する出力手段と
   を備えることを特徴とする音声信号処理装置。

Images