以下、この発明による音声信号処理装置および方法の実施形態を、図を参照しながら説明する。
以下の説明においては、前述もした左チャンネル音声信号SLと、右チャンネル音声信号SRとからなるステレオ音声信号から、音源分離する場合について説明する。
例えば、左チャンネル音声信号SLと、右チャンネル音声信号SRとに、音源MS1〜MS5の音声信号S1〜S5が、次の(式1)および(式2)に示すような割合で、レベル差が付けられて振り分けられて混合されているものとする。
SL=S1+0.9S2+0.7S3+0.4S4 ・・・(式1)
SR=S5+0.4S2+0.7S3+0.9S4 ・・・(式2)
この(式1)および(式2)を比べると、各音源MS1〜MS5の音声信号S1〜S5は、上記のようにレベル差を持って、左チャンネル音声信号SLと右チャンネル音声信号SRとに分配されているので、この分配比率によって、音源を再度、左チャンネル音声信号SLおよび/または右チャンネル音声信号SRとから振り分けることができれば、元の音源は分離できる。
以下の実施形態においては、各音源が、一般的には異なるスペクトラム成分を有していることを利用して、左右2チャンネルステレオ音声信号のそれぞれを十分な解像度を有するFFT処理により周波数領域に変換して、多数個の周波数分割スペクトル成分に分割する。そして、それぞれのチャンネルの音声信号についての、対応する各周波数分割スペクトル同士のレベル比またはレベル差を求める。
そして、求めたレベル比またはレベル差が、(式1),(式2)において、分離したい音源の音声信号のそれぞれについての分配比に対応する周波数分割スペクトルを検出する。そして、前記分離したい音源の音声信号のそれぞれについてのレベル比またはレベル差となっている周波数分割スペクトル成分を検出したときには、当該検出した周波数分割スペクトル成分を、各音源ごとに分離することにより、他の音源からの影響の少ない音源分離を可能にしている。
[この発明の実施形態が適用される音響再生システムの例]
図2は、この発明による音声信号処理装置の第1の実施形態が適用された音響再生システムの構成を示すブロック図である。この例の音響再生システムは、前述した(式1)、(式2)のような5個の音源信号から構成される左右2チャンネルステレオ信号SL,SRから、前記5個の音源信号を分離し、分離した5個の音源信号を5個のスピーカSP1〜SP5のそれぞれにより音響再生する。
すなわち、左チャンネル音声信号SLおよび右チャンネル音声信号SRは、入力端子31および32をそれぞれ通じて、音声信号処理装置の実施形態としての音声信号処理装置部100に供給される。この音声信号処理装置部100では、後述するようにして、左チャンネル音声信号SLおよび右チャンネル音声信号SRから、5個の音源の音声信号S1´、S2´、S3´、S4´、S5´を分離抽出する。
この音声信号処理装置部100で分離抽出された5個の音源の音声信号S1´、S2´、S3´、S4´、S5´のそれぞれは、D/A変換器331,332,333,334,335のそれぞれによりアナログ信号に変換された後、アンプ341,342,343,344,345および出力端子351,342,353,354,355のそれぞれを通じて、スピーカSP1,SP2,SP3,SP4,SP5のそれぞれに供給され、音響再生される。
ここで、図2の例では、各スピーカSP1,SP2,SP3,SP4,SP5のそれぞれは、リスナMの正面方向をスピーカSP3の方向として、リスナMに対して、後方左、後方右、前センター、前左、前右の位置にそれぞれに置かれており、5個の音源の音声信号S1´、S2´、S3´、S4´、S5´のそれぞれは、後方左(LS;Left−Surround)チャンネル用、後方右(RS;Right−Surround)チャンネル用、センターチャンネル用、左(L)チャンネル用、右(R)チャンネル用とされている。
[音声信号処理装置部100の構成(音声信号処理装置の第1の実施形態)]
図1は、音声信号処理装置部100の第1の例を示すものである。この音声信号処理装置部100の第1の例においては、2チャンネルステレオ信号のうちの左チャンネル音声信号SLは、直交変換手段の例としてのFFT(Fast Fourier Transform;高速フーリエ変換)部101に供給されて、信号SLがアナログ信号の時にはデジタル信号に変換された後、FFT処理(高速フーリエ変換)されて、時系列音声信号が周波数領域データに変換される。なお、信号SLがデジタル信号であるときには、FFT部101でのアナログ−デジタル変換は不要であることはいうまでもない。
一方、2チャンネルステレオ信号のうちの右チャンネル音声信号SRは、直交変換手段の例としてのFFT部102に供給されて、信号SRがアナログ信号のときにはデジタル信号に変換された後、FFT処理(高速フーリエ変換)されて、時系列音声信号が周波数領域データに変換される。なお、信号SRがデジタル信号であるときには、FFT部102でのアナログ−デジタル変換は不要であることはいうまでもない。
この例のFFT部101および102は、同様の構成を備え、各時系列信号SL,SRを、互いに異なる複数個の周波数の周波数分割スペクトル成分に分割する。ここで、周波数分割スペクトルとして得る周波数分割数は、音源の分離度の精度に応じた多数とされ、例えば500以上、好ましくは4000以上の周波数分割数とされる。この周波数分割数は、FFT部におけるポイント数に相当する。
各FFT部101およびFFT部102からの周波数分割スペクトル出力F1およびF2は、それぞれ周波数分割スペクトル比較処理部103と、周波数分割スペクトル制御処理部104とに供給される。
周波数分割スペクトル比較処理部103は、FFT部101およびFFT部102からの周波数分割スペクトル成分F1,F2の、同じ周波数同士のレベル比を算出し、算出したレベル比を周波数分割スペクトル制御処理部104に出力する。
周波数分割スペクトル制御処理部104は、分離抽出しようとする複数個の音源の音声信号の数に対応する数、この例では、5個の音源分離処理部1041,1042,1043,1044,1045を備える。この例では、これら5個の音源分離処理部1041〜1045にそれぞれには、FFT部101の出力F1およびFFT部102の出力F2と、周波数分割スペクトル比較処理部103で算出されたレベル比の情報とが供給される。
音源分離処理部1041,1042,1043,1044,1045のそれぞれは、周波数分割スペクトル比較処理部103からのレベル比の情報を受けて、当該レベル比が、分離抽出しようとする音源信号の2チャンネル信号SL,SRへの分配比と等しいものとなっている周波数分割スペクトル成分のみを、FFT部101およびFFT部102の出力の少なくとも一方から、この例では両方から抽出し、その抽出結果出力Fex1,Fex2,Fex3,Fex4,Fex5を、それぞれ逆FFT部1051,1052,1053,1054,1055に出力する。
音源分離処理部1041,1042,1043,1044,1045のそれぞれでは、予め、使用者により、分離すべき音源に応じて、どのようなレベル比の周波数分割スペクトル成分を抽出するかが設定されている。これにより、音源分離処理部1041,1042,1043,1044,1045のそれぞれからは、使用者が分離したいとして設定されたレベル比で左右2チャンネルに振り分けられている音源の音声信号の周波数分割スペクトル成分のみが抽出されるように構成される。
逆FFT部1051,1052,1053,1054,1055のそれぞれは、周波数分割スペクトル制御処理部104の音源分離処理部1041,1042,1043,1044,1045のそれぞれからの抽出結果出力Fex1,Fex2,Fex3,Fex4,Fex5の周波数分割スペクトル成分を元の時系列信号に変換し、その変換出力信号を、使用者が分離したいとして設定した5個の音源の音声信号S1´、S2´、S3´、S4´、S5´として出力端子1061,1062,1063,1064,1065を通じて出力する。
[周波数分割スペクトル比較処理部103の構成]
周波数分割スペクトル比較処理部103は、この例では、機能的には、図3に示すような構成を備える。すなわち、周波数分割スペクトル比較処理部103は、レベル検出部41,42と、レベル比算出部43,44と、セレクタ451,452,453,454,455とからなる。
レベル検出部41は、FFT部101からの周波数分割スペクトル成分F1のそれぞれの周波数成分のレベルを検出し、その検出出力D1を出力する。また、レベル検出部42は、FFT部102からの周波数分割スペクトル成分F2のそれぞれの周波数成分のレベルを検出し、その検出出力D2を出力する。この例では、各周波数分割スペクトルのレベルは、振幅スペクトルを検出する。なお、各周波数分割スペクトルのレベルとして、パワースペクトルを検出するようにしてもよい。
そして、レベル比算出部43は、D2/D1を算出する。また、レベル比算出部44は、その逆数のD1/D2を算出する。レベル比算出部43およびレベル比算出部44で算出されたレベル比は、セレクタ451,452,453,454,455のそれぞれに供給される。そして、セレクタ451,452,453,454,455のそれぞれから、その一方のレベル比が、出力レベル比r1,r2,r3,r4,r5として取り出される。
セレクタ451,452,453,454,455のそれぞれには、分離すべきものとして使用者により設定された音源およびそのレベル比に応じて、レベル比算出部43の出力と、レベル比算出部44の出力のいずれを選択すべきかを選択制御するための選択制御信号SEL1,SEL2,SEL3,SEL4,SEL5が供給される。このセレクタ451,452,453,454,455のそれぞれから得られる出力レベル比rは、周波数分割スペクトル制御処理部104の音源分離処理部1041,1042,1043,1044,1045のそれぞれに供給される。
この例においては、周波数分割スペクトル制御処理部104の音源分離処理部1041,1042,1043,1044,1045のそれぞれにおいて、分離すべき音源のレベル比として用いられる値は、常に、レベル比≦1とされている。つまり、音源分離処理部1041,1042,1043,1044,1045のそれぞれに入力されるレベル比rは、レベルの小さい方の周波数分割スペクトルのレベルを、レベルが大きい方の周波数分割スペクトルのレベルで割ったものとされている。
このため、音源分離処理部1041,1042,1043,1044,1045のそれぞれでは、左チャンネルの音声信号SLの方に、より多く含まれるように分配されている音源の信号を分離する場合には、レベル比算出部43からのレベル比算出出力が使用され、逆に、右チャンネルの音声信号SRの方に、より多く含まれるように分配されている音源の信号を分離する場合には、レベル比算出部44からのレベル比算出出力が使用されるようにされている。
例えば、使用者が、分離すべき音源のレベル比として、左チャンネルおよび右チャンネルの信号の分配率の値PL,PR(PL,PRは1以下の値)をそれぞれ設定入力するように定められているものとしたとき、設定された分配率の値PL,PRが、PR/PL≦1であるときには、選択制御信号SEL1,SEL2,SEL3,SEL4,SEL5は、セレクタ451,452,453,454,455のそれぞれからレベル比算出部43の出力(D2/D1)を、出力レベル比rとして選択する選択制御信号とされ、設定された分配率の値PL,PRが、PR/PL>1であるときには、選択制御信号SEL1,SEL2,SEL3,SEL4,SEL5は、セレクタ451,452,453,454,455のそれぞれからレベル比算出部44の出力(D1/D2)を、出力レベル比rとして選択する選択制御信号とされる。
なお、使用者により設定された分配率の値PL,PRが互いに等しい(レベル比r=1)ときには、セレクタ451,452,453,454,455のそれぞれでは、レベル比算出部43の出力とレベル比算出部44の出力とのいずれを選択してもよい。
[周波数分割スペクトル制御処理部104の音源分離処理部の構成]
周波数分割スペクトル制御処理部104の音源分離処理部1041,1042,1043,1044,1045のそれぞれは、同一の構成を有し、この例では、機能的には、図4に示すような構成を備える。すなわち、図4の音源分離処理部104iは、音源分離処理部1041,1042,1043,1044,1045の1つの構成を示したもので、乗算係数発生部51と、乗算部52および53と、加算部54とからなる。
乗算部52には、FFT部101からの周波数分割スペクトル成分F1が供給されると共に、乗算係数発生部51からの乗算係数wが供給され、両者の乗算結果が、この乗算部52から加算部54に供給される。また、乗算部53には、FFT部102からの周波数分割スペクトル成分F2が供給されると共に、乗算係数発生部51からの乗算係数wが供給され、両者の乗算結果が、この乗算部53から加算部54に供給される。そして、加算部54の出力は、音源分離処理部104iの出力Fexi(Fexiは、Fex1,Fex2,Fex3,Fex4,Fex5のいずれかである)とされる。
乗算係数発生部51は、周波数分割スペクトル比較処理部103のセレクタ45i(セレクタ45iは、セレクタ451,452,453,454,455のいずれかである)からの出力レベル比ri(riは、r1,r2,r3,r4,r5のいずれかである)の出力を受けて、当該レベル比riに応じた乗算係数wiを発生する。乗算係数発生部51は、例えば、レベル比riを変数とした乗算係数wiに関する関数発生回路により構成される。乗算係数発生部51に使用する関数として、どのような関数が選ばれるかは、分離すべき音源に応じて使用者により設定された分配率の値PL,PRによる。
乗算係数発生部51に供給されるレベル比riは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、乗算係数発生部51からの乗算係数wiも、周波数分割スペクトルの各周波数成分単位で変化することになる。
したがって、乗算部52では、FFT部101からの各周波数分割スペクトルのレベルが、乗算係数wiにより制御され、また、乗算部53では、FFT部102からの各周波数分割スペクトルのレベルが、乗算係数wiにより制御される。
図5に、乗算係数発生部51としての関数発生回路に用いられる関数の例を示す。例えば、前記(式1)および(式2)で示された左右2チャンネルの音声信号SLおよびSRから、左右チャンネルの音像間の中央に定位する音源の音声信号S3を分離する場合には、乗算係数発生部51としては、図5(a)に示されるような特性の関数発生回路が用いられる。
図5(a)の関数の特性は、左右チャンネルのレベル比riが1、あるいは1に近い場合、つまり、左右チャンネルが同レベルあるいは同レベルに近い周波数分割スペクトル成分では、乗算係数wiは1あるいは1近傍となり、左右チャンネルのレベル比rが約0.6以下の領域では、乗算係数wiは0となっている。
したがって、乗算係数発生部51に入力されるレベル比riが1、または1近傍となっている周波数分割スペクトル成分に対する乗算係数wiは1、あるいは1に近い値となるので、乗算部52および53からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、乗算係数発生部51に入力されるレベル比riが、約0.6以下の値となっている周波数分割スペクトル成分に対する乗算係数wiは0となるので、当該周波数分割スペクトル成分の出力レベルが0とされて、乗算部52および53からは出力されなくなる。
すなわち、乗算部52および53からは、多数個の周波数分割スペクトル成分のうち、左右同レベルおよびその近傍となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル差が大きい周波数分割スペクトル成分は、出力レベルが0とされて出力されなくなる。この結果、左右2チャンネルの音声信号SL,SRに同レベルで分配された音源の音声信号S3の周波数分割スペクトル成分のみが加算部54から得られることになる。
また、例えば、前記(式1)および(式2)で示された左右2チャンネルの音声信号SLおよびSRから、左右チャンネルの一方側にのみ定位する音源の音声信号S1またはS5を分離する場合には、乗算係数発生部51としては、図5(b)に示されるような特性の関数発生回路が用いられる。
この場合において、この実施形態においては、音声信号S1を分離する場合には、使用者は、分離する音源に対する左右分配率PL:PR=1:0を設定入力する。あるいは、PL=1、PR=0のように設定入力する。このように使用者が設定すると、セレクタ45iには、レベル比算出部43からのレベル比を選択するように制御する選択制御信号SELi(SELiは、SEL1,SEL2,SEL3,SEL4,SEL5のいずれかである)が与えられる。
一方、音声信号S5を分離する場合には、使用者は、分離する音源に対する左右分配率PL:PR=0:1を設定入力する。あるいは、PL=0、PR=1のように設定入力する。このように使用者が設定すると、セレクタ45iには、レベル比算出部44からのレベル比を選択するように制御する選択制御信号SELiが与えられる。
図5(b)の関数の特性は、左右チャンネルのレベル比riが0、あるいは0近傍の周波数分割スペクトル成分では、乗算係数wiは1あるいは1近傍の値となり、左右チャンネルのレベル比riが約0.4以上の領域では、乗算係数wiは0となっている。
したがって、乗算係数発生部51に入力されるレベル比riが0、または0近傍となっている周波数分割スペクトル成分に対する乗算係数wiは1、あるいは1に近い値となるので、乗算部52および53からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、乗算係数発生部51に入力されるレベル比riが、約0.4以上の値となっている周波数分割スペクトル成分に対する乗算係数wiは0となるので、当該周波数分割スペクトル成分の出力レベルが0とされて、乗算部52および53からは出力されなくなる。
すなわち、乗算部52および53からは、多数個の周波数分割スペクトル成分のうち、左右チャンネルの一方が他方に比べて非常に大きいレベルとなっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル差が少ない周波数分割スペクトル成分は、出力レベルが0とされて出力されなくなる。この結果、左右2チャンネルの音声信号SL,SRの一方にしか分配されていない音源の音声信号S1またはS5の周波数分割スペクトル成分のみが加算部54から得られることになる。
また、例えば、前記(式1)および(式2)で示された左右2チャンネルの音声信号SLおよびSRから、左右チャンネルに所定のレベル差を持って配分されている音源の音声信号S2またはS4を分離する場合には、乗算係数発生部51としては、図5(c)に示されるような特性の関数発生回路が用いられる。
すなわち、音声信号S2は、D2/D1(=SR/SL)=0.4/0.9=0.44のレベル比で、左右チャンネルに分配されている。また、音声信号S4は、D1/D2(=SL/SR)=0.4/0.9=0.44のレベル比で、左右チャンネルに分配されている。
この場合において、この実施形態においては、音声信号S2を分離する場合には、使用者は、分離する音源に対する左右分配率PL:PR=0.9:0.4を設定入力する。あるいは、PL=0.9、PR=0.4のように設定入力する。このように使用者が設定すると、PR/PL<1であるので、セレクタには、レベル比算出部43からのレベル比を選択するように制御する選択制御信号が与えられる。
一方、音声信号S4を分離する場合には、使用者は、分離する音源に対する左右分配率PL:PR=0.4:0.9を設定入力する。あるいは、PL=0.4、PR=0.9のように設定入力する。このように使用者が設定すると、PR/PL>1であるので、セレクタ45iには、レベル比算出部44からのレベル比を選択するように制御する選択制御信号SELiが与えられる。
図5(c)の関数の特性は、左右チャンネルのレベル比riが、D2/D1(=PR/PL)=0.4/0.9=0.44では1、あるいはレベル比riが0.44に近い周波数分割スペクトル成分では、乗算係数wiは1あるいは1近傍となり、左右チャンネルのレベル比riが約0.44近傍以外の領域では、乗算係数wiは0となっている。
したがって、セレクタ45iからのレベル比riが0.44、または0.44近傍となっている周波数分割スペクトル成分に対する乗算係数wiは1、あるいは1に近い値となるので、乗算部52および53からは、当該周波数分割スペクトル成分が、ほぼそのままのレベルで出力される。一方、セレクタ45iからのレベル比riが、約0.44近傍以下の値および約0.44近傍以上の値となっている周波数分割スペクトル成分に対する乗算係数wiは0となるので、乗算部52および53からは、当該周波数分割スペクトル成分は、出力レベルが0とされて、出力されなくなる。
すなわち、乗算部52および53からは、多数個の周波数分割スペクトル成分のうち、左右チャンネルのレベル比が0.44またはその近傍となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル比riが、約0.44近傍以下の値および約0.44近傍以上の値となっている周波数分割スペクトル成分は、出力レベルが0とされて出力されなくなる。
この結果、左右2チャンネルの音声信号SL,SRに、レベル比が0.44で分配された音源の音声信号S2またはS4の周波数分割スペクトル成分のみが加算部54から得られることになる。
以上のようにして、この実施形態によれば、音源分離処理部1041,1042,1043,1044,1045のそれぞれにおいて、左右2チャンネルに、所定の分配比率で分配された音源の音声信号を、その分配比率に基づいて、当該2チャンネルの音声信号から分離することができる。
この場合に、上述の実施形態では、音源分離処理部1041,1042,1043,1044,1045のそれぞれにおいて分離したい音源の音声信号は、2チャンネルの音声信号の両方から抽出するようにしたが、必ずしも両チャンネルから分離抽出する必要はなく、分離したい音源の音声信号成分が含まれている一方のチャンネルのみから分離抽出するようにしてもよい。
また、上述の実施形態では、音声信号処理装置部100においては、2系統の音声信号に対して分配された音源の信号のレベル比に基づいて、当該2系統の音声信号から前記音源の信号を分離するようにしたが、前記音源の信号の、2系統の音声信号に対するレベル差に基づいて、当該音源の信号を当該2系統の音声信号の少なくとも一方から分離抽出するようにすることもできる。
なお、以上の説明では、各音源が(式1)、(式2)に従って左右チャンネルに分配された左右2チャンネルステレオ信号を例にして説明したが、意図的に分配されない通常のステレオ音楽信号においても、図5に示した関数の選択特性に従って該当する音源を分離することができる。
また、例えば、他の例では図5(d),(e)等の様に、関数を変えることにより、分離するレベル比範囲を変える、広くする、狭くするなど、異なる音源選択性を持たせることもできる。
音源のスペクトラム構成に関しても、多くのステレオ音楽信号は異なるスペクトラムを持つ音源から構成されるが、それらの音源についても、上述と同様にして分離することが可能となる。
また、スペクトラム重複部が多い音源同士に関しても、FFT部101,102における周波数分解能を上げることにより、例えば4000ポイント以上のFFT回路を用いることにより、音源分離の質を更に向上させることができる。
[第2の実施形態の音声信号処理装置部100の構成]
上述した第1の実施形態では、分離したい全ての音源の音声信号について音源分離処理部を設け、2系統の音声信号、上述の例では、左右2チャンネルステレオ信号SL,SRから、分離したい全ての音源の音声信号を、当該音源の音声信号が当該2チャンネルステレオ信号に分配された所定のレベル比あるいはレベル差を用いて、前記2系統の音声信号の一方から分離抽出するようにした。
しかし、全ての音源の音声信号について、そのように分離抽出する必要はなく、一部の音源の音声信号を左あるいは右チャンネルの音声信号から分離抽出したら、当該分離抽出した音源の音声信号を、左チャンネルあるいは右チャンネルから減算することにより、その残差として他の音源の音声信号を分離抽出することもできる。
以下に説明する第2の実施形態は、その場合の例である。図6は、その一例を示すブロック図である。
この図6の例では、左チャンネルの音声信号SLから音源MS1の音声信号S1を音源分離処理部を用いて分離抽出するとともに、左チャンネルの音声信号SLから、当該分離抽出した音声信号S1を減算して、音源MS2の音声信号S2と音源MS3の音声信号S3の和の信号を得るようにする。
また、右チャンネルの音声信号SRから音源MS5の音声信号S5を音源分離処理部を用いて分離抽出するとともに、右チャンネルの音声信号SRから、当該分離抽出した音声信号S5を減算して、音源MS4の音声信号S4と音源MS3の音声信号S3の和の信号を得るようにする。
すなわち、図6に示すように、この第2の実施形態では、周波数分割スペクトル制御処理部104には、音源分離処理部1041および1045を設けると共に、残差抽出処理部1046および1047を設ける。
そして、この第2の実施形態では、音源分離処理部1041には、FFT部101からの左チャンネルの音声信号の周波数領域信号F1のみが供給されると共に、この信号F1が残差抽出処理部1046に供給される。そして、音源分離処理部1041から抽出される音源1の周波数領域信号が残差抽出処理部1046に供給されて、周波数領域信号F1から減算される。
また、音源分離処理部1045には、FFT部102からの右チャンネルの音声信号の周波数領域信号F2のみが供給されると共に、この信号F2が残差抽出処理部1047に供給される。そして、音源分離処理部1045から抽出される音源MS5の周波数領域信号が残差抽出処理部1047に供給されて、周波数領域信号F2から減算される。
そして、周波数分割スペクトル比較処理部103からのレベル比r1が音源分離処理部1041に供給され、また、周波数分割スペクトル比較処理部103からのレベル比r5が音源分離処理部1045に供給される。
したがって、図6の例においては、音源分離処理部1041は、図4の乗算係数発生部51と1個の乗算部52とからなり、音源分離処理部1045は、図4の乗算係数発生部51と1個の乗算部53とからなり、加算部54は、いずれも有しない構成でよい。
また、周波数分割スペクトル比較処理部103は、図3の構成において、セレクタ451と455とを用いるだけでよいので、セレクタ452〜454は不要となる。
この構成において、音源分離処理部1041では、周波数領域信号F1のみから音源MS1の周波数領域信号のみが抽出され、それが逆FFT部1051に供給される。したがって、出力端子1061には、音源MS1の時間領域の音声信号S1´が得られる。
そして、残差抽出処理部1046では、FFT部101からの周波数領域信号F1から、音源分離処理部1041からの音源MS1の周波数領域信号が減算され、その残差からなる周波数領域信号が得られる。この残差抽出処理部1046からの残差出力としての周波数領域信号は、前記(式1)から、音源MS2の周波数領域信号と音源MS3の周波数領域信号との和の信号となる。
この残差抽出処理部1046の出力は、逆FFT部1056に供給され、この逆FFT部1056からは、音源MS2の周波数領域信号と音源MS3の周波数領域信号との和の信号が時間領域の信号に戻された信号、つまり、音源MS2と音源MS3の音声信号の和の信号(S2´+S3´)が得られ、出力端子1066から導出される。
また、音源分離処理部1045では、周波数領域信号F2のみから音源MS5の周波数領域信号のみが抽出され、それが逆FFT部1055に供給される。したがって、出力端子1065には、音源MS5の時間領域の音声信号S5´が得られる。
そして、残差抽出処理部1047では、FFT部102からの周波数領域信号F2から、音源分離処理部1045からの音源MS5の周波数領域信号が減算され、その残差からなる周波数領域信号が得られる。この残差抽出処理部1047からの残差出力としての周波数領域信号は、前記(式2)から、音源MS4の周波数領域信号と音源MS3の周波数領域信号との和の信号となる。
この残差抽出処理部1047の出力は、逆FFT部1057に供給され、この逆FFT部1057からは、音源MS4の周波数領域信号と音源MS3の周波数領域信号との和の信号が時間領域の信号に戻された信号、つまり、音源MS4と音源MS3の音声信号の和の信号(S4´+S3´)が得られ、出力端子1067から導出される。
そして、この第2の実施形態においては、図2において、例えば、音声信号S3´に対するD/A変換器333およびアンプ343並びにスピーカSP3が除去されると共に、出力端子1061,1065,1066,1067からのデジタル音声信号がそれぞれ次のようにしてスピーカにより音響再生される。
すなわち、出力端子1061からのデジタル音声信号S1´は、D/A変換器331によりアナログ音声信号に変換され、アンプ341を通じてスピーカSP1に供給されて音響再生され、また、出力端子1065からのデジタル音声信号S5´は、D/A変換器335によりアナログ音声信号に変換され、アンプ345を通じてスピーカSP5に供給されて音響再生される。
さらに、出力端子1066からのデジタル音声信号(S2´+S3´)は、D/A変換器332によりアナログ音声信号に変換され、アンプ342を通じてスピーカSP2に供給されて音響再生され、また、出力端子1067からのデジタル音声信号(S4´+S3´)は、D/A変換器334によりアナログ音声信号に変換され、アンプ344を通じてスピーカSP4に供給されて音響再生される。この場合、スピーカSP2およびスピーカSP4のリスナMに対する配置は、第1の実施形態の場合とは変更しても良い。
[第3の実施形態の音声信号処理装置部100の構成]
第3の実施形態は、第2の実施形態の変形例である。すなわち、第2の実施形態では、FFT部101またはFFT部102からの周波数領域信号F1またはF2から音源分離処理部で分離抽出した特定の音源の周波数領域信号を、FFT部101またはFFT部102からの周波数領域信号F1またはF2から減算することにより、前記音源分離抽出した音源の信号以外の信号を、周波数領域信号の状態で得るようにした。このため、第2の実施形態では、残差抽出処理部は、周波数分割スペクトル制御処理部104内に設けるようにした。
これに対して、第3の実施形態では、残差抽出処理部は、時間領域において、分離抽出された音源の信号を2系統の入力音声信号の一方から減算するようにするものである。図7は、この第3の実施形態における音声信号処理装置部100の構成例のブロック図であり、第2の実施形態と同様に、音源MS1およびMS5の音声成分は、周波数分割スペクトル制御処理部104の音源分離処理部で分離抽出するが、他の音源の音声成分は入力音声信号との残差として抽出する場合の例である。
すなわち、図7に示すように、この第3の実施形態では、周波数分割スペクトル比較処理部103は第2の実施形態と同様の構成であるが、周波数分割スペクトル制御処理部104は、第2の実施形態とは異なり、音源分離処理部1041と音源分離処理部1045とからなり、残差抽出処理部は、この周波数分割スペクトル制御処理部104には設けられない。
そして、第3の実施形態では、入力端子31からに左チャンネルの音声信号SLは、遅延器1071を通じて時間領域での信号の残差を抽出する残差抽出処理部1072に供給される。そして、逆FFT部1051からの音源S1の時間領域の音声信号S1´が、この残差抽出処理部1072に供給されて、遅延器1071からの左チャンネルの音声信号SLから減算される。
したがって、この残差抽出処理部1072からの残差出力は、前記(式1)の信号SLから音源MS1の時間領域の信号S1´が減算された結果の、音源MS2の時間領域信号と音源MS3の時間領域信号との和のデジタル音声信号(S2´+S3´)となる。そして、この和のデジタル音声信号(S2´+S3´)が出力端子1068を通じて出力される。
同様にして、入力端子32からに右チャンネルの音声信号SRは、遅延器1073を通じて時間領域での信号の残差を抽出する残差抽出処理部1074に供給される。そして、逆FFT部1055からの音源S5の時間領域の音声信号S5´が、この残差抽出処理部1074に供給されて、遅延器1073からの右チャンネルの音声信号SRから減算される。
したがって、この残差抽出処理部1074からの残差出力は、前記(式2)の信号SRから音源MS5の時間領域の信号S5´が減算された結果の、音源MS4の時間領域信号と音源MS3の時間領域信号との和のデジタル音声信号(S4´+S3´)となる。そして、この和のデジタル音声信号(S4´+S3´)が出力端子1069を通じて出力される。
なお、遅延器1071および1073は、周波数分割スペクトル比較処理部103および周波数分割スペクトル制御処理部104での処理遅延を考慮して、残差抽出処理部1072および1074において、減算演算を行なう2信号のタイミングを合致させるようにするために設けられている。
この第3の実施形態では、図2の音響再生システムにおいて、出力端子1061および出力端子1065からのデジタル音声信号S1´およびS5´は、第2の実施形態と同様に、D/A変換器331および335によりアナログ音声信号に変換され、アンプ341および345を通じてスピーカSP1およびSP5に供給されて音響再生され、また、出力端子1068からのデジタル音声信号(S2´+S3´)は、D/A変換器332によりアナログ音声信号に変換され、アンプ342を通じてスピーカSP2に供給されて音響再生され、さらに、出力端子1069からのデジタル音声信号(S4´+S3´)は、D/A変換器334によりアナログ音声信号に変換され、アンプ344を通じてスピーカSP4に供給されて音響再生される。
この第3の実施形態によれば、残差抽出処理部1072および1074は、時間領域で残差を抽出するものであるため、第2の実施形態における逆FFT部1056および1057が不要であり、構成が簡単になるという効果がある。
[第4の実施形態の音声信号処理装置部100の構成]
以上の実施形態においては、2チャンネルの音声信号に、各音源の音声信号が分配されるときの位相は、2チャンネルで同相としたが、逆相で音源の音声信号が分配される場合もある。一例として、次の(式3)および(式4)のように、6個の音源MS1〜MS6からの音声信号S1〜S6が左右2チャンネルに分配されたステレオ音声信号SL,SRを考える。
SL=S1+0.9S2+0.7S3+0.4S4+0.7S6 ・・・(式3)
SR=S5+0.4S2+0.7S3+0.9S4−0.7S6 ・・・(式4)
すなわち、音源MS3の音声信号S3と、音源MS6の音声信号S6とは、左右チャンネルに、それぞれ同レベルで分配されているが、音源MS3の音声信号S3は、左右チャンネルに同相で分配されているのに対して、MS6の音声信号S6は、左右チャンネルに逆相で分配されている。
このため、上述の実施形態と同様にして、位相を考慮せず、レベル比あるいはレベル差のみを用いて音源MS3の音声信号S3または音源MS6の音声信号S6のいずれかを、周波数分割スペクトル制御処理部104の各音源分離処理部で分離抽出しようとしても、音声信号S3とS6とは、同レベルで左右チャンネルに分配されているので、いずれか一方を分離抽出することはできない。
そこで、この第4の実施形態では、周波数分割スペクトル制御処理部104の各音源分離処理部では、レベル比あるいはレベル差を用いて音声成分を上述の実施形態と同様にして分離した後、位相差を用いて更なる分離をすることにより、(式3)、(式4)のような場合における音源MS3の音声信号S3と音源MS6の音声信号S6をも分離して出力することができるようにする。
図8は、この第4の実施形態の音声信号処理装置部100の要部の構成例を示すブロック図である。この図8は、周波数分割スペクトル制御処理部104の1つの音源分離処理部についての構成を示したものに相当している。
この第4の実施形態の音声信号処理装置部100における周波数分割スペクトル比較処理部103は、レベル比較処理部1031と、位相比較処理部1032とを備える。
また、この第4の実施形態における周波数分割スペクトル制御処理部104は、第1周波数分割スペクトル制御処理部104Aと、位相差に基づいた音源分離処理を実行するための第2の周波数分割スペクトル制御処理部104Pとを備える。この場合、周波数分割スペクトル制御処理部104の各音源分離処理部104iが、第1周波数分割スペクトル制御処理部104Aの部分と、位相差に基づいた音源分離処理を実行するための第2の周波数分割スペクトル制御処理部104Pの部分とを備えるものである。
図9は、この第4の実施形態における周波数分割スペクトル比較処理部103と、周波数分割スペクトル制御処理部104の、1つの音源分離処理部についての詳細構成例を示すブロック図である。
すなわち、周波数分割スペクトル比較処理部103のレベル比較処理部1031は、前述した第1の実施形態の周波数分割スペクトル比較処理部103と同様の構成の備え、レベル検出部41,42と、レベル比算出部43,44と、セレクタ45とからなる。図3に示したように、セレクタ45は、周波数分割スペクトル制御処理部104が複数個の音源分離処理部を備える場合には、その音源分離処理部の数だけ設けられるのは、前述した通りである。
そして、周波数分割スペクトル制御処理部104の第1周波数分割スペクトル制御処理部104Aも、図4に示した前述の第1の実施形態の周波数分割スペクトル制御処理部104における各音源分離処理部104iとほぼ同様の構成を備え(ただし、加算部54は有しない)、乗算係数発生部51と、乗算部52および53とからなる音源分離部の構成とされている。
そして、図8および図9に示すように、レベル比較処理部1031からのレベル比出力riは、第1の実施形態と全く同様にして、第1周波数分割スペクトル制御処理部104Aの乗算係数発生部51に供給され、この乗算係数発生部51から当該乗算係数発生部51に設定された関数に応じた乗算係数wrが発生し、乗算部52,53に供給される。
乗算部52には、FFT部101からの周波数分割スペクトル成分F1が供給されており、当該周波数分割スペクトル成分F1と乗算係数wrとの乗算結果が、この乗算部52から得られる。また、乗算部53には、FFT部102からの周波数分割スペクトル成分F2が供給されており、当該周波数分割スペクトル成分F2と乗算係数wrとの乗算結果が、この乗算部53から得られる。
すなわち、乗算部52,53からは、FFT部101,102からの周波数分割スペクトル成分F1,F2のそれぞれが、乗算係数発生部51からの乗算係数wrに応じてレベル制御された状態の出力が得られる。
前述したように、乗算係数発生部51は、レベル比riを変数とした乗算係数wrに関する関数発生回路により構成される。乗算係数発生部51に使用する関数として、どのような関数が選ばれるかは、分離すべき音源の左右2チャンネルの音声信号への分配率による。
例えば、乗算係数発生部51には、図5に示したような特性の、乗算係数wrのレベル比riに関する関数が設定される。例えば、左右2チャンネルに同レベルで分配される音源の音声信号を分離抽出する場合には、前述したように、図5(a)に示した特定の関数が、乗算係数発生部51に設定される。
そして、この第4の実施形態では、乗算部52,53の出力は、それぞれ周波数分割スペクトル比較処理部103の位相比較処理部1032に供給されると共に、第2周波数分割スペクトル制御処理部104Pに供給される。
位相比較処理部1032は、図9に示すように、乗算部52,53の出力の位相差φを検出する位相差検出部46からなり、その位相差φの情報を第2周波数分割スペクトル制御処理部104Pに供給する。この位相差検出部26は、各音源分離処理部にそれぞれ設けられるものである。
第2周波数分割スペクトル制御処理部104Pは、2個の乗算係数発生部61および65と、乗算部62,63および乗算部66,67と、加算部64および68とからなる。
そして、乗算部62には、第1周波数分割スペクトル制御処理部104Aの乗算部52の出力が供給されると共に、乗算係数発生部61からの乗算係数wp1が供給され、両者の乗算結果が、この乗算部62から加算部64に供給される。また、乗算部63には、第1周波数分割スペクトル制御処理部104Aの乗算部53の出力が供給されると共に、乗算係数発生部61からの乗算係数wp1が供給され、両者の乗算結果が、この乗算部63から加算部64に供給される。そして、加算部64の出力は、第1の出力Fex1とされる。
また、乗算部66には、第1周波数分割スペクトル制御処理部104Aの乗算部52の出力が供給されると共に、乗算係数発生部65からの乗算係数wp2が供給され、両者の乗算結果が、この乗算部66から加算部68に供給される。また、乗算部67には、第1周波数分割スペクトル制御処理部104Aの乗算部53の出力が供給されると共に、乗算係数発生部65からの乗算係数wp2が供給され、両者の乗算結果が、この乗算部67から加算部68に供給される。そして、加算部68の出力は、第2の出力Fex2とされる。
乗算係数発生部61および65は、位相差検出部46からの位相差φの情報を受けて、当該受けた位相差φに応じた乗算係数wp1およびwp2を発生する。乗算係数発生部61および65は、位相差φを変数とした乗算係数wpに関する関数発生回路により構成される。乗算係数発生部61および65に使用する関数として、どのような関数が選ばれるかは、分離すべき音源の前記2チャンネルに対する位相差に応じて、使用者により設定される。
乗算係数発生部61および65に供給される位相差φは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、乗算係数発生部61および65からの乗算係数wp1およびwp2も、周波数分割スペクトルの各周波数成分単位で変化することになる。
したがって、乗算部62および乗算部66では、乗算部52からの各周波数分割スペクトルのレベルが、乗算係数wp1およびwp2により制御され、また、乗算部63および乗算部67では、乗算部53からの各周波数分割スペクトルのレベルが、乗算係数wp1およびwp2により制御される。
図10に、乗算係数発生部301および305としての関数発生回路に用いられる関数の例を示す。
図10(a)の関数の特性は、左右チャンネルの位相差φが0、あるいは0に近い場合、つまり、左右チャンネルが同相あるいは同相に近い周波数分割スペクトル成分では、乗算係数wp(wp1またはwp2に相当)は1あるいは1近傍となり、左右チャンネルの位相差φが約π/4以上の領域では、乗算係数wpは0となっている。
例えば乗算係数発生部61に、この図10(a)の特性の関数が設定されている場合において、位相差検出部46からの位相差φが0、または0近傍となっている周波数分割スペクトル成分に対する乗算係数wpは1、あるいは1に近い値となるので、乗算部62、63からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部46からの位相差φが、約π/4以上の値となっている周波数分割スペクトル成分に対する乗算係数wpは0となるので、乗算部62,63からは、当該周波数分割スペクトル成分は、出力レベルが0とされて、出力されなくなる。
すなわち、乗算部62,63からは、多数個の周波数分割スペクトル成分のうち、左右同相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルの位相差が大きい周波数分割スペクトル成分は、出力レベルが0とされて出力されなくなる。この結果、左右2チャンネルの音声信号SL,SRに同相で分配された音源の音声信号の周波数分割スペクトル成分のみが加算部64から得られることになる。
つまり、この図10(a)の特性の関数は、左右2チャンネルに同相で分配されている音源の信号を抽出する際に用いられる。
また、図10(b)の関数の特性は、左右チャンネルの位相差φがπ、あるいはπに近い場合、つまり、左右チャンネルが逆相あるいは逆相に近い周波数分割スペクトル成分では、乗算係数wpは1あるいは1近傍となり、左右チャンネルの位相差φが約3π/4以下の領域では、乗算係数wpは0となっている。
例えば乗算係数発生部61に、この図10(b)の特性の関数が設定されている場合において、位相差検出部26からの位相差φがπ、またはπ近傍となっている周波数分割スペクトル成分に対する乗算係数wpは1、あるいは1に近い値となるので、乗算部62、63からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部26からの位相差φが、約3π/4以下の値となっている周波数分割スペクトル成分に対する乗算係数wpは0となるので、乗算部62,63からは、当該周波数分割スペクトル成分は、出力レベルが0とされて、出力されなくなる。
すなわち、乗算部62,63からは、多数個の周波数分割スペクトル成分のうち、左右逆相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルの位相差が小さい周波数分割スペクトル成分は、出力レベルが0とされて出力されなくなる。この結果、左右2チャンネルの音声信号SL,SRに逆相で分配された音源の音声信号の周波数分割スペクトル成分のみが加算部64から得られることになる。
つまり、この図10(b)の特性の関数は、左右2チャンネルに逆相で分配されている音源の信号を抽出する際に用いられる。
同様にして、図10(c)の特性の関数は、左右チャンネルの位相差φが約π/2、あるいは約π/2に近い場合の周波数分割スペクトル成分では、乗算係数wpは1あるいは1近傍となり、その他の位相差φの領域では、乗算係数wpは0となっている。したがって、この図10(c)の特性の関数は、左右2チャンネルに、互いに約π/2だけ異なる位相で分配されている音源の信号を抽出する際に用いられる。
その他、乗算係数発生部61および65には、分離する音源の音声信号の2チャンネルへ分配する際の位相差に応じて、図10(d)や(e)に示すような特性の関数を設定することもできる。
以上のようにして、周波数分割スペクトル制御処理部104の1つの音源分離処理部から得られる第1の出力Fex1および第2の出力Fex2は、逆FFT部150aおよび150bにそれぞれ供給されて、元の時系列の音声信号に戻され、第1および第2の出力信号SOaおよびSObとして導出される。これら第1および第2の出力信号SOaおよびSObをアナログ信号として導出する場合には、逆FFT部150aおよび150bの出力段にD/A変換器が設けられる。
この第4の実施形態において、例えば、前記(式3)および(式4)で示された左右2チャンネルの音声信号SLおよびSRから、同レベルであるが、同相で左右チャンネルに分配された音源MS3の音声信号S3と、逆相で左右チャンネルに分配された音源MS6の音声信号S6とを、出力Fex1およびFex2として分離する場合には、乗算係数発生部51には、図5(a)に示したような特定の関数が設定され、また、乗算係数発生部61には、図10(a)に示すような特性となる関数が設定され、さらに乗算係数発生部65には、図10(b)に示すような特性となる関数が設定される。
すると、図8および図9に示すように、周波数分割スペクトル制御処理部104の第1周波数分割スペクトル制御処理部104Aの乗算部52からは、左チャンネルの音声信号SLをFFT処理した信号(周波数分割スペクトル)のうちの、(S3+S6)なる周波数分割スペクトル成分が得られ、また、乗算部53からは、右チャンネルの音声信号SRをFFT処理した信号(周波数分割スペクトル)のうちの、(S3−S6)なる周波数分割スペクトル成分が得られる。つまり、信号S3とS6とは、左右チャンネルに同レベルで分配されているので、第1周波数分割スペクトル制御処理部104Aでは、分離できずに出力されることになる。
しかし、この第4の実施形態では、信号S3と信号S6とが逆相で左右チャンネルに分配されていることを利用して、次のようにして、当該信号S3と、信号S6とが分離される。
すなわち、乗算部52および53の出力は、周波数分割スペクトル比較処理部103の位相比較処理部1032を構成する位相差検出部26に供給されて、両出力の位相差φが検出される。そして、この位相差検出部26で検出された位相差φの情報は、乗算係数発生部61に供給されるとともに、乗算係数発生部65に供給される。
乗算係数発生部61では、図10(a)に示すような特性の関数が設定されていることから、乗算部62,63では、左右チャンネルに同相で分配されている音源の音声信号を抽出する。すなわち、周波数分割スペクトル成分(S3+S6)と、周波数分割スペクトル成分(S3−S6)のうちの、同相関係にある音源MS3の音声信号S3の周波数分割スペクトル成分のみが乗算部62および63のそれぞれから得られ、加算部64に供給される。
したがって、加算部64からは、音源MS3の音声信号S3の周波数分割スペクトル成分が、出力信号Fex1として導出され、逆FFT部150aに供給される。そして、分離された音声信号S3は、逆FFT部150aで時系列信号に戻され、出力信号SOaとして出力される。
一方、乗算係数発生部65では、図10(b)に示すような特性の関数が設定されていることから、乗算部66,67では、左右チャンネルに逆相で分配されている音源の音声信号を抽出する。すなわち、周波数分割スペクトル成分(S3+S6)と、周波数分割スペクトル成分(S3−S6)のうちの、逆相関係にある音源MS6の音声信号S6の周波数分割スペクトル成分のみが乗算部66および67のそれぞれから得られ、加算部68に供給される。
したがって、加算部68からは、音源MS6の音声信号S6の周波数分割スペクトル成分が、出力信号Fex2として導出され、逆FFT部150bに供給される。そして、分離された音声信号S6は、逆FFT部150bで時系列信号に戻され、出力信号SObとして出力される。
なお、図8および図9に示した実施形態では、第2周波数分割スペクトル制御処理部104Pでは、第1周波数分割スペクトル制御処理部104Aにおいてレベル比を用いては分離できない2つの信号、上述の例では、同相の信号S3と、逆相の信号S6とを、それぞれ乗算係数および乗算部を用いて、それぞれ分離するようにしたが、それらレベル比を用いては分離できない2つの信号の一方を、位相差φと乗算係数を用いて分離したら、当該分離した信号を、第1周波数分割スペクトル制御処理部104Aからの信号の和(乗算部52の出力と乗算部53の出力を加算した信号)から減算することにより、前記2つの信号の他方の信号を、分離するようにすることもできる。
なお、図8、図9の実施形態では、2個の分離音源信号を得るようにしたが、出力する分離音源信号は、1個でもよい。また、位相差φと乗算係数を用いて、より多数個の音源の音声信号を同時に分離する場合にも、この第4の実施形態を適用することができるのは言うまでもない。
また、図8、図9の実施形態は、2系統の周波数分割スペクトルのレベル比に基づいて、2系統の音声信号に同レベルで分配されている音源成分を抽出した後、その抽出結果の2系統の周波数分割スペクトルについての位相差に基づいて、所望の音源分離を行なうようにしたが、例えば入力音声信号が、(S3+S6)および(S3−S6)のような、2系統の音声信号の場合には、位相差のみに基づいて、音源分離を行なうことができることは言うまでもない。
[第5の実施形態]
以上の実施の形態は、2チャンネルステレオ信号が5個の音源の音声信号からなる場合であって、それら5個の音源の音声信号をそれぞれ分離したり、一部、他の音源信号との和として分離したりする場合であった。
この第5の実施形態は、上述の実施形態の音源分離の方法は、そのまま用いると共に、低域信号のみのチャンネルの音声信号をも2チャンネルステレオ信号から生成して、いわゆる5.1チャンネルの音声信号を生成し、生成した6個の音声信号により6個のスピーカをドライブするようにするマルチチャンネル音響再生システムの場合である。
図11は、この第5の実施形態の場合における音響再生システムの構成例を示すブロック図である。また、図12は、この図11の音響再生システムにおける音声信号処理装置部100の構成例のブロック図である。
この第5の実施形態では、前述の実施形態の場合における図2に示した5個のスピーカSP1〜SP5のほかに、低域再生用のスピーカSP6を設ける。そして、この第5の実施形態における音声信号処理装置部100においては、スピーカSP1〜スピーカSP5に供給する音声信号S1´〜S5´は、2チャンネルステレオ信号SLおよびSRの高域成分から、前述した第1の実施形態の方法を用いて分離抽出すると共に、低域再生用のスピーカSP6に供給する音声信号S6´は、2チャンネルステレオ信号SLおよびSRの低域成分から生成するようにする。
すなわち、図12に示すように、この第5の実施形態においては、FFT部101からの周波数領域信号F1は、ハイパスフィルタ1081を通じて高域成分のみとされた後、周波数分割スペクトル比較処理部103に供給されると共に、周波数分割スペクトル制御処理部104に供給される。また、FFT部102からの周波数領域信号F2は、ハイパスフィルタ1082を通じて高域成分のみとされた後、周波数分割スペクトル比較処理部103に供給されると共に、周波数分割スペクトル制御処理部104に供給される。
そして、周波数分割スペクトル比較処理部103および周波数分割スペクトル制御処理部104において、第1の実施形態で説明したようにして、5個の音源MS1〜MS5の周波数領域の音声信号成分が分離抽出され、それらが逆FFT部1051〜1055により時間領域の信号S1´〜S5´に戻されて、出力端子1061〜1065に導出される。
そして、この第5の実施形態においては、FFT部101からの周波数領域信号F1は、ローパスフィルタ1084を通じて低域成分のみとされた後、加算部1085に供給されると共に、FFT部102からの周波数領域信号F2は、ローパスフィルタ1084を通じて低域成分のみとされた後、加算部1085に供給されて、ローパスフィルタ1084からの低域成分と加算される。つまり、信号F1およびF2の低域成分の和が、加算部1085から得られる。
この加算部1085からの信号F1およびF2の低域成分の和は、逆FFT部1086により時間領域の信号S6´とされ、出力端子1087に導出される。つまり、左右2チャンネルの音声信号SL,SRの低域成分の和S6´が、この出力端子1087に導出される。そして、この低域成分の和S6´が、信号LEF(Low Effect Frequency)として出力され、D/A変換器336およびアンプ346を通じてスピーカSP6に供給される。
以上のようにして、2チャンネルステレオ音声信号SL,SRから、5.1チャンネル信号を取り出すマルチチャンネルシステムを実現することができる。
[第6の実施形態]
この第6の実施形態は、第5の実施形態の音声信号処理装置部100で生成した5.1チャンネル信号を、さらに信号処理をすることにより、新たに、SB(Sound Back)チャンネルを分離し、6.1チャンネル信号として出力する例を示している。
図13は、音響再生システムにおいて、音声信号処理装置部100の後段の構成のブロック図である。この第6の実施形態では、前述の第5の実施形態のスピーカSP1〜SP6に加えて、SBチャンネル再生用のスピーカSP7を設ける。
そして、音声信号処理装置部100の後段に、後段信号処理部200を設け、この後段信号処理部200において、音声信号処理装置部100からの5.1チャンネルの音声信号から、SBチャンネルの音声信号を加えた6.1チャンネルの音声信号を生成する。そして、後段信号処理部200からの5.1チャンネルの音声信号に対して、D/A変換器331〜336と、アンプ341〜346とを設けると共に、加えたSBチャンネルのデジタル音声信号をアナログ音声信号に変換するD/A変換器337と、アンプ347とを設ける。
図14は、後段信号処理部200の内部構成例で、デジタル信号S1´,S5´は、第2の音声信号処理装置部400に供給され、この第2の音声信号処理装置部400において、信号LS´と、信号RS´と、信号SB´が分離されて、出力される。また、後段信号処理部200では、デジタル音声信号S2´,S3´,S4´およびS6´に対しては、遅延器201,202,203,204が設けられ、デジタル音声信号S2´,S3´,S4´およびS6´は、これらの遅延器201,202,203,204により第2の音声信号処理装置部400での処理遅延時間に対応する時間だけ遅延されて、出力される。
第2の音声信号処理装置部400は、音声信号処理装置部100と基本的な構成は、同一である。この第2の音声信号処理装置部400では、デジタル信号S1´,S5´に同相、同レベルで分配されている信号、つまり,レベル比が1:1となっている信号としてデジタル信号S1´,S5´からSB信号を分離抽出する。また、デジタル信号S1´,S5´のそれぞれから、デジタル信号S1´,S5´の一方に主として含まれている信号として、つまり、レベル比が1:0となっている信号としてデジタル信号LSおよびRSを分離抽出する。
この第2の音声信号処理装置部400の構成例のブロック図を、図15に示す。この図15に示すように、第2の音声信号処理装置部400においては、デジタル音声信号S1´は、FFT部401に供給されて、FFT処理されて、時系列音声信号が周波数領域データに再変換される。また、デジタル音声信号S5´は、FFT部402に供給されて、FFT処理されて、時系列音声信号が周波数領域データに再変換される。
FFT部401および402は、前述の実施形態のFFT部101および102と同様の構成を備える。各FFT部401およびFFT部402からの周波数分割スペクトル出力F3およびF4は、それぞれ周波数分割スペクトル比較処理部403と、周波数分割スペクトル制御処理部404とに供給される。
周波数分割スペクトル比較処理部403は、FFT部401およびFFT部402からの周波数分割スペクトル成分F3,F4の、同じ周波数同士のレベル比を算出し、算出したレベル比を周波数分割スペクトル制御処理部404に出力する。
周波数分割スペクトル比較処理部403は、前述の実施形態の周波数分割スペクトル比較処理部103と同様の構成を備えるもので、この例では、レベル検出部4031,4032と、レベル比算出部4033,4034と、セレクタ4035,4036,4037とからなる。
レベル検出部4031は、FFT部401からの周波数分割スペクトル成分F3のそれぞれの周波数成分のレベルを検出し、その検出出力D3を出力する。また、レベル検出部4032は、FFT部402からの周波数分割スペクトル成分F4のそれぞれの周波数成分のレベルを検出し、その検出出力D4を出力する。この例では、各周波数分割スペクトルのレベルは、振幅スペクトルを検出する。なお、各周波数分割スペクトルのレベルとして、パワースペクトルを検出するようにしてもよい。
そして、レベル比算出部4033は、D3/D4を算出する。また、レベル比算出部4034は、その逆数のD4/D3を算出する。レベル比算出部4033およびレベル比算出部4034で算出されたレベル比は、セレクタ4035,4036,4037のそれぞれに供給される。そして、セレクタ4035,4036,4037のそれぞれから、その一方のレベル比が、出力レベル比r6,r7,r8として取り出される。
セレクタ4035,4036,4037のそれぞれには、分離すべきものとして使用者により設定された音源およびそのレベル比に応じて、レベル比算出部4033の出力と、レベル比算出部4034の出力のいずれを選択すべきかを選択制御するための選択制御信号SEL6,SEL7,SEL8が供給される。このセレクタ4035,4036,4037のそれぞれから得られる出力レベル比r6、r7、r8は、周波数分割スペクトル制御処理部404に供給される。
周波数分割スペクトル制御処理部404は、前述したように、分離抽出しようとする複数個の音源の音声信号の数に対応する数、この例では、3個の音源分離処理部4041,4042,4043を備える。
この例では、音源分離処理部4041にはFFT部401の出力F3が供給されると共に、周波数分割スペクトル比較処理部403のセレクタ4035から得られる出力レベル比r6が供給される。また、音源分離処理部4042にはFFT部402の出力F4が供給されると共に、周波数分割スペクトル比較処理部403のセレクタ4036から得られる出力レベル比r7が供給される。また、音源分離処理部4043には、FFT部401の出力F3およびFFT部402の出力F4が供給されると共に、周波数分割スペクトル比較処理部403のセレクタ4037から得られる出力レベル比r8が供給される。
この例では、音源分離処理部4041は、乗算係数発生部411と乗算部412とからなり、また、音源分離処理部4042は、乗算係数発生部421と乗算部422とからなる。また、音源分離処理部4043は、乗算係数発生部431と、乗算部432,433と、加算部434とからなる。
そして、音源分離処理部4041においては、FFT部401の出力F3が乗算部412に供給されると共に、周波数分割スペクトル比較処理部403のセレクタ4035から得られる出力レベル比r6が乗算係数発生部411に供給される。乗算係数発生部411からは、上述と同様にして、入力レベル比r6に応じた乗算係数wiが得られ、乗算部412に供給される。
また、音源分離処理部4042においては、FFT部402の出力F4が乗算部422供給されると共に、周波数分割スペクトル比較処理部403のセレクタ4036から得られる出力レベル比r7が乗算係数発生部421に供給される。乗算係数発生部411からは、上述と同様にして、入力レベル比r7に応じた乗算係数wiが得られ、乗算部422に供給される。
また、音源分離処理部4043においては、FFT部401の出力F3が乗算部432に供給され、FFT部402の出力F4が乗算部433に供給されると共に、周波数分割スペクトル比較処理部403のセレクタ4036から得られる出力レベル比r8が乗算係数発生部431に供給される。乗算係数発生部411からは、上述と同様にして、入力レベル比r8に応じた乗算係数wiが得られ、乗算部432および433に供給される。そして、乗算部432および433の出力は、加算部434で加算された後出、出力される。
音源分離処理部4041,4042,4043のそれぞれは、周波数分割スペクトル比較処理部403からのレベル比r6、r7、r8の情報を受けて、当該レベル比が、分離抽出しようとする音源信号の2チャンネル信号S1´,S5´への分配比と等しいものとなっている周波数分割スペクトル成分のみを、FFT部401およびFFT部402の出力の一方または両方から抽出し、その抽出結果出力Fex11,Fex12,Fex13を、それぞれ逆FFT部1101,1102,1103に出力する。
音源分離処理部4041の乗算係数発生部411には、セレクタ4035からのD4/D3なるレベル比r6が供給される。この乗算係数発生部411には、図5(b)に示すような関数発生回路が設定され、乗算部412からは、主として、信号S1´のみに含まれる周波数成分が得られ、これが音源分離処理部4042の出力信号Fex11として出力される。
音源分離処理部4042の乗算係数発生部421には、セレクタ4036からのD3/D4なるレベル比r7が供給される。この乗算係数発生部421には、図5(b)に示すような関数発生回路が設定され、乗算部422からは、主として、信号S5´のみに含まれる周波数成分が得られ、これが音源分離処理部4042の出力信号Fex12として出力される。
音源分離処理部4043の乗算係数発生部431には、セレクタ4037からのD4/D3またはD3/D4のいずれかからなるレベル比r8が供給される。この乗算係数発生部431には、図5(a)に示すような関数発生回路が設定される。したがって、乗算部432および433からは、主として、信号S1´と信号S5´とに同相、同レベルで含まれる周波数成分が出力され、加算部434からは、これら乗算部432および433からの出力信号の加算出力が得られ、これが音源分離処理部4043の出力信号Fex13として出力される。
逆FFT部1101,1102,1103のそれぞれは、周波数分割スペクトル制御処理部404の音源分離処理部4041,4042,4043のそれぞれからの抽出結果出力Fex11,Fex12,Fex13の周波数分割スペクトル成分を元の時系列信号に変換し、その変換出力信号を、使用者が分離したいとして設定した3個の音源の音声信号LS´、RS´、SBとして出力端子1201,1202,1203を通じて出力する。
以上のようにして、この第6の実施形態によれば、5.1チャンネルの音声信号から、6.1チャンネルの音声信号が生成され、7個のスピーカSP1〜SP7により再生されるシステムが実現される。
なお、上述の第6の実施形態の説明では、信号LS´、RS´は、レベル比を用いて音源分離処理部を用いて音源分離するようにしたが、第3または第4の実施形態と同様に、信号SBを分離した残差として取り出すこともできる。このような構成によれば、SBチャンネルに限らず、マルチチャンネルで入力された音声信号から、更に多くの音源を分離し、再配置することにより、より分離のよい音像定位を持つマルチチャンネルシステムを構成することが可能となる。
[第7の実施形態]
第7の実施形態の構成例を図16に示す。この第7の実施形態は、2チャンネルステレオ音声信号SL,SRを、音声信号処理装置部500で信号処理して、その信号処理結果の音声信号をヘッドホンにて聞くシステムである。
図16に示すように、この第7の実施形態では、2チャンネルステレオ音声信号SL,SRは、入力端子511および512をそれぞれ通じて音声信号処理装置部500に入力される。音声信号処理装置部500は、第1の信号処理部501と、第2の信号処理部502からなる。
第1の信号処理部501は、前述した実施形態の音声信号処理装置部100と同様に構成される。すなわち、第1の信号処理部501においては、入力された2チャンネルステレオ信号SL,SRが、例えば第1の実施形態と同様にして、3チャンネル以上の多チャンネル、例えば5チャンネルのマルチチャンネル信号に変換される。
次に、第2の信号処理部502では、この第1の信号処理部501からのマルチチャンネル音声信号を入力として受け、マルチチャンネルの各チャンネルの音声信号に対して、任意の位置に置かれたスピーカからリスナの両耳に至る伝達関数と同等の特性を付加され、再度、2チャンネルの信号SLoおよびSRoに纏められる。
そして、第2の信号処理部502からの出力信号SLoおよびSRoが、音声信号処理装置部500の出力とされて、D/A変換器513および514に供給されて、アナログ音声信号に変換され、アンプ515および516を通じて出力端子517および518に出力される。そして、出力端子517および518に接続されるヘッドホン520により、音声信号SLoおよびSRoが音響再生される。
この、ヘッドホン520で、スピーカ再生と同等の特性を実現する原理は以下のようになる。
図17は、そのようなヘッドホン装置の一例のブロック図を示すもので、アナログ音声信号SAが、入力端子521を通じてA/D変換器522に供給されてデジタル音声信号SDに変換される。そして、このデジタル音声信号SDが、デジタルフィルタ523および524に供給される。
このデジタルフィルタ523および524のそれぞれは、図18に示すように、複数個のサンプル遅延器531,532・・・53(n−1)と、フィルタ係数乗算器541,542、・・・54nと、加算器551,552、・・・55(n−1)(nは2以上の整数)、からなるFIR(Finite Impulse Response)フィルタにより構成され、このデジタルフィルタ523,524のそれぞれにおいて音像の頭外定位のための処理が行われる。
すなわち、例えば図19に示すように、リスナMの前方に音源SPが配置されているとき、この音源SPから出力される音は、伝達関数HL、HRを持つ経路を通じてリスナMの左耳および右耳に伝達される。
そこで、デジタルフィルタ523および524には、信号SDに対して、伝達関数HL、HRを時間軸に変換したインパルス応答が畳み込まれる。つまり、伝達関数HL,HRに対応するフィルタ係数W1,W2,・・・,Wnが求められ、音源SPの音声がリスナMの左耳、右耳に伝達されたときの音声となるような処理がデジタルフィルタ523および524において行なわれる。なお、デジタルフィルタ523,524に畳み込まれるインパルス応答は、あらかじめ測定することにより、あるいは計算することにより、算出され、フィルタ係数W1,W2,・・・,Wnに変換されて、デジタルフィルタ523,524に与えられる。
そして、この処理結果の信号SD1,SD2が、D/Aコンバータ回路525,526に供給されてアナログ音声信号SA1、SA2に変換され、この信号SA1、SA2が、ヘッドホンアンプ527および528を通じてヘッドホン520の左および右の音響ユニット(電気・音響変換素子)に供給されて音響再生される。
したがって、ヘッドホンの左および右の音響ユニットによる再生音は、伝達関数HL、HRを持つ経路を通じた音となるので、リスナMが、ヘッドホン520を装着してその再生音を聴くとき、図19に示すように、その音像SPが頭外に定位する状態が再現される。
なお、図17〜図19を用いて説明した以上の説明は、第1の信号処理部501からの1チャンネルの音声信号に対する処理の説明に対応するもので、第2の信号処理部502では、第1の信号処理部501からのマルチチャンネルの各チャンネルの音声信号に対して、上述の処理を施すものである。そして、左チャンネルあるいは右チャンネルの信号とすべき信号は、それぞれ多チャンネルの信号同士で加算して、それぞれ生成するものである。
なお、図17では、A/D変換器を設けたが、第1の信号処理部501の出力は、デジタル音声信号であるので、第2の信号処理部502においては、A/D変換器は不要であることは言うまでもない。
以上のようにして、第1の信号処理部501で分離された複数チャンネルの各音源に対して、第2の信号処理部502で上述のようなデジタルフィルタ処理を行なうことにより、複数チャンネルの各音源が任意の位置に音像定位するように、ヘッドホン520にて受聴することが可能となる。
[第8の実施形態]
第8の実施形態の構成例を図20に示す。この第8の実施形態は、2チャンネルステレオ音声信号SL,SRを、音声信号処理装置部600で信号処理して、その信号処理結果の音声信号を、2個のスピーカSPL,SPRにて聞くシステムである。
図20に示すように、この第8の実施形態では、第7の実施形態と同様に、2チャンネルステレオ音声信号SL,SRは、入力端子611および612をそれぞれ通じて音声信号処理装置部600に入力される。音声信号処理装置部600は、第1の信号処理部601と、第2の信号処理部602からなる。
第1の信号処理部601は、第7の実施形態の第1の信号処理部501と全く同様であり、入力された2チャンネルステレオ信号SL,SRを、例えば第1の実施形態と同様にして、3チャンネル以上の多チャンネル、例えば5チャンネルのマルチチャンネル信号に変換する。
そして、第2の信号処理部602では、第1の信号処理部601からのマルチチャンネル音声信号を入力として受け、マルチチャンネルの各チャンネルの音声信号に対して、任意の位置に置かれたスピーカからリスナの両耳に至る伝達関数と同等の特性を、2個のスピーカSPL,SPRで再現する特性が付加される。そして、再度、2チャンネルの信号SLspおよびSRspに纏められる。
そして、第2の信号処理部602からの出力信号SLspおよびSRspが、音声信号処理装置部600の出力とされて、D/A変換器613および614に供給されて、アナログ音声信号に変換され、アンプ615および616を通じて出力端子617および618に出力される。そして、出力端子617および618に接続されるスピーカSPLおよびSPRにより、音声信号SLspおよびSRspが音響再生される。
この、2個のスピーカSPL,SPRで、任意の位置のスピーカ再生と同等の特性を実現する原理は以下のようになる。
図21は、2個のスピーカにより、任意の位置に音像を定位させるようにする信号処理装置の構成例のブロック図である。
すなわち、アナログ音声信号SAが、入力端子621を通じてA/D変換器622に供給されてデジタル音声信号SDに変換される。そして、このデジタル音声信号SDが、例えば前述の図18に示したデジタルフィルタにより構成されるデジタル処理回路623および624に供給される。そして、このデジタル処理回路623および624においては、信号SDに対して、後述する伝達関数を時間軸に変換したインパルス応答が畳み込まれる。
そして、この処理結果の信号SDL、SDRが、D/Aコンバータ回路625、626に供給されて、アナログ音声信号SAL、SARに変換され、この信号SAL、SARが、スピーカアンプ627、628を通じて、リスナMの左前方および右前方に配置された左および右チャンネルのスピーカSPL、SPRに供給される。
ここで、デジタル処理回路623、624における処理は、次のような内容とされる。すなわち、今、図22に示すように、リスナMの左前方および右前方に音源SPL、SPRを配置し、これら音源SPL、SPRにより、任意の位置に音源SPXを等価的に再現する場合を考える。
そして、
HLL:音源SPLからリスナMの左耳に至る伝達関数
HLR:音源SPLからリスナMの右耳に至る伝達関数
HRL:音源SPRからリスナMの左耳に至る伝達関数
HRR:音源SPRからリスナMの右耳に至る伝達関数
HXL:音源SPXからリスナMの左耳に至る伝達関数
HXR:音源SPXからリスナMの右耳に至る伝達関数
とすると、音源SPL、SPRは、
SPL=(HXL×HRR−HXR×HRL)/(HLL×HRR−HLR×HRL)×SPX
・・・(式5)
SPR=(HXR×HLL−HXL×HLR)/(HLL×HRR−HLR×HRL)×SPX
・・・(式6)
のように表すことができる。
したがって、音源SPXに対応する入力音声信号SXAを、(式5)の伝達関数部分を実現するフィルタを通じて音源SPLの位置に配置したスピーカに供給するとともに、信号SXAを、(式6)の伝達関数部分を実現するフィルタを通じて音源SPRの位置に配置したスピーカに供給すれば、音源SPXの位置に、音声信号SXによる音像を定位させることができる。
そこで、デジタル処理回路623,624には、これに供給されたデジタル音声信号SDに対して、(式5)、(式6)の伝達関数部分と同様の伝達関数を時間軸に変換したインパルス応答が畳み込まれる。なお、デジタル処理回路623,624を構成するデジタルフィルタに畳み込まれるインパルス応答は、あらかじめ測定することにより、あるいは計算することにより、算出され、フィルタ係数W1,W2,・・・,Wnに変換されて、デジタル処理回路623,624に与えられる。
そして、このデジタル処理回路623,624の処理結果の信号SDL,SDRが、D/Aコンバータ回路625,626に供給されてアナログ音声信号SAL、SARに変換され、この信号SAL、SARが、アンプ627および628を通じてスピーカSPL、SPRに供給されて音響再生される。
したがって、2個のスピーカSPL,SPRの再生音により、アナログ音声信号SAによる音像を、図22に示すような音源SPXの位置に定位させることができる。
なお、図20〜図22を用いて説明した以上の説明は、第1の信号処理部601からの1チャンネルの音声信号に対する処理の説明に対応するもので、第2の信号処理部602では、第1の信号処理部601からのマルチチャンネルの各チャンネルの音声信号に対して、上述の処理を施すものである。そして、左チャンネルあるいは右チャンネルの信号とすべき信号は、それぞれ多チャンネルの信号同士で加算して、それぞれ生成するものである。
なお、図21では、A/D変換器を設けたが、第1の信号処理部601の出力は、デジタル音声信号であるので、第2の信号処理部602においては、A/D変換器は不要であることは言うまでもない。
以上のようにして、第1の信号処理部601で分離された複数チャンネルの各音源に対して、第2の信号処理部602で上述のようなデジタルフィルタ処理を行なうことにより、複数チャンネルの各音源が任意の位置に音像定位するように、2個のスピーカSPL,SPRで再現することが可能となる。
[第9の実施形態]
第9の実施形態の構成例を図23に示す。この第9の実施形態は、この図23に示すように、エンコード装置部710と、伝送手段720と、デコード装置部730とからなるエンコード/デコード装置の例である。
すなわち、この第9の実施形態においては、エンコード装置部710で、多チャンネル音声信号を2チャンネルの信号SL,SRにエンコードし、当該エンコードした2チャンネルの信号の信号SL,SRを、伝送手段720において記録再生、あるいは信号伝送等をした後、デコード装置部730により、元の多チャンネル信号を再合成するものである。
ここで、エンコード装置部710は、例えば、図24に示すような構成とされる。図24では、入力された多チャンネルの音声信号S1,S2,・・・,Snは、それぞれ減衰器741L、742L、743L、・・・、74nLによりレベル調整されて、加算器751に供給されると共に、それぞれ減衰器741R、742R、743R、・・・、74nRによりレベル調整されて、加算器752に供給される。そして、加算器751および752から、2チャンネルの信号SLおよびSRとして出力される。
すなわち、多チャンネルの音声信号S1,S2,・・・,Snのそれぞれは、減衰器741L、742L、743L、・・・、74nLと、減衰器741R、742R、743R、・・・、74nRとで、異なる比でレベル差が付加され、2チャンネル信号SL,SRに合成されて、出力される。すなわち、減衰器741L、742L、743L、・・・、74nLでは、各チャンネルの入力信号を、kL1、kL2、kL3、・・・、kLn(kL1、kL2、kL3、・・・、kLn≦1)倍のレベルとして出力する。また、減衰器741R、742R、743R、・・・、74nRでは、各チャンネルの入力信号を、kR1、kR2、kR3、・・・、kRn(kR1、kR2、kR3、・・・、kRn≦1)倍のレベルとして出力する。
合成された2チャンネル信号SL,SRは、例えば光ディスクなどの記録媒体に記録される。そして、当該記録媒体から再生されて伝送される、あるいは、通信回線を通じて伝送される。伝送手段720は、そのための記録再生装置や、通信回線を通じて送受する手段からなる。
伝送手段720を通じて伝送された2チャンネルの音声信号SL,SRは、デコード装置部730に与えられ、ここで元の音源が再合成された出力される。このデコード装置部730は、上述した第1〜第3の実施形態の音声信号処理装置部100を含むもので、2チャンネルの音声信号から、エンコード装置部710でエンコードされたときの各音源の2チャンネルの音声信号SL,SRへの混合の際のレベル比を基準にして、もとの多チャンネルの信号を分離復元し、多数個のスピーカにより再生する。
上述の例では、エンコード装置部710では、信号の位相については考慮しなかったが、2チャンネルの信号SL,SRを生成する際に、位相を考慮することもできる。図25は、その場合のエンコード装置部710の構成例である。
図25に示すように、この場合のエンコード装置部710においては、減衰器741L、742L、743L、・・・、74nLと加算器751との間には移相器761L、762L、763L、・・・、76nLが設けられ、減衰器741R、742R、743R、・・・、74nRと加算器752との間には、移相器761R、762R、763R、・・・、76nRが設けられる。そして、これら移相器761L、762L、763L、・・・、76nLと、移相器761R、762R、763R、・・・、76nRとにより、各チャンネルの信号を2チャンネル信号SL,SRに合成する際において、当該2チャンネル信号SL,SR間に位相差を付けることができるようにされている。
この例の場合には、デコード装置部730は、例えば第4の実施形態の音声信号処理装置部100が用いられる。
以上のような音響再生システムによれば、音源間のセパレーションに優れたエンコード・デコードシステムを構成することが可能となる。
[第10の実施形態]
第10の実施形態の構成例を図26に示す。この第10の実施形態は、2チャンネルステレオ音声入力信号SL,SRを、音声信号処理装置部800で信号処理して、その信号処理結果の音声信号を、ヘッドホンあるいは2個のスピーカにて聞くシステムである。
第7の実施形態および第8の実施形態では、音声信号処理装置部では、第1の信号処理部と、第2の信号処理部とを設けて、第1の信号処理部により、入力ステレオ信号をマルチチャンネル信号に変換し、また、第2の信号処理部では、このマルチチャンネル音声信号を入力として、当該マルチチャンネルの音声信号に対して、任意の位置に置かれたスピーカからリスナの両耳に至る伝達関数と同等の特性や2個のスピーカで任意の位置で定位する音源が得られるような特性を付加するようにした。
この第10の実施形態では、これらの第1の信号処理部での処理と、第2の信号処理部での処理を独立に行なうのでなく、一回の時間領域から周波数領域の変換過程で全て行なうものである。
図26において、2チャンネルの音声信号SL,SRを周波数領域の信号に変換し、例えば5チャンネルの周波数領域の音声信号成分に分離するまでの構成は、図1に示したものと同様である。すなわち、この図26の実施形態においては、FFT部101および102、周波数分割スペクトル比較処理部103、周波数分割スペクトル制御処理部104までの構成部分を備える。
そして、周波数分割スペクトル制御処理部104からの出力信号を時間領域に変換する前に、この第10の実施形態では、前述した第7の実施形態の第2の信号処理あるいは第8の実施形態の第2の信号処理に対応する処理を行なう信号処理部900を設ける。
この信号処理部900は、周波数分割スペクトル制御処理部104からの5チャンネルの音声信号のそれぞれに対して、左チャンネル信号生成用の係数乗算部91L、92L,93L,94L、95Lと、右チャンネル信号生成用の係数乗算部91R、92R,93R,94R、95Rとを備える。そして、信号処理部900は、さらに、左チャンネル信号生成用の係数乗算部91L、92L,93L,94L、95Lの出力信号を合成するための加算器96Lと、右チャンネル信号生成用の係数乗算部91R、92R,93R,94R、95Rの出力信号を合成するための加算器96Rとを備える。
係数乗算部91L、92L,93L,94L、95Lおよび係数乗算部91R、92R,93R,94R、95Rの乗算係数としては、前述した第7の実施形態の第2の信号処理部のデジタルフィルタのフィルタ係数、あるいは、前述した第8の実施形態の第2の信号処理部のデジタル処理回路のフィルタ係数に対応した乗算係数が設定される。
時間領域での畳み込み積分は、周波数領域では乗算により実現できるので、この第10の実施形態では、図26では係数乗算部91L、92L,93L,94L、95Lおよび係数乗算部91R、92R,93R,94R、95Rにより、分離された各信号に対し、一対の伝達特性を再現する係数が乗算される。
また、乗算された結果は、加算部96Lおよび96Rでヘッドホンあるいはスピーカに出力するチャンネル同士が加算された後、逆FFT部1201および1202に供給され、時系列データに戻され、2チャンネルの音声信号SL´およびSR´として出力される。
そして、逆FFT部1201および1202からの時系列データSL´およびSR´は、図示は省略するが、さらに、D/A変換器によりそれぞれアナログ信号に戻されて、ヘッドホンあるいは2個のスピーカに供給され、音響再生される。
このような構成によれば、逆FFT処理の回数を減らせると同時に、周波数領域で伝達特性の付加が行なえるので、ロングタップの特性を少ない処理時間で付加することができ、効率的なマルチチャンネル再生システムを構築することが可能となる。
[第11の実施形態の音声信号処理装置]
図27は、第11の実施形態の音声信号処理装置部の構成例の一部を示すブロック図である。この図27は、左右2チャンネルの音声信号SL、SRの一方、左チャンネルの音声信号SLから、デジタルフィルタを用いて、左右チャンネルに所定のレベル比あるいはレベル差で分配された1つの音源の音声信号を分離する構成を示すものである。
すなわち、左チャンネルの音声信号(この例ではデジタル信号)SLは、タイミング調整用の遅延部1301を通じてデジタルフィルタ1302に供給される。このデジタルフィルタ1302には、後述するようにして、分離したい音源の音声信号の、左右チャンネルに対するレベル比に基づいて形成されるフィルタ係数が供給されて、前記分離したい音源の音声信号が、このデジタルフィルタ1302から抽出されるようにされる。
前記フィルタ係数は、次のようにして形成される。先ず、左右チャンネルの音声信号SLおよびSR(デジタル信号)は、FFT部1303およびFFT部1304にそれぞれに供給されて、FFT処理されて時系列音声信号が周波数領域データに変換され、FFT部1303およびFFT部1304のそれぞれから、周波数が互いに異なる多数個の周波数分割スペクトル成分が出力される。
FFT部1303および1304のそれぞれからの周波数分割スペクトル成分のそれぞれは、レベル検出部1305,1306に供給されて、その振幅スペクトルあるいはパワースペクトルが検出されることにより、そのレベルが検出される。そして、レベル検出部1305,1306の各々で検出されたレベル値D1,D2は、レベル比算出部1307に供給され、そのレベル比D1/D2またはD2/D1の一方が算出される。
このレベル比算出部1307で算出されたレベル比の値は、重み付け係数発生部1308に供給される。この重み付け係数発生部1308は、前述の実施形態の乗算係数発生部に対応するものであり、分離したい音源の音声信号の、左右2チャンネルの音声信号に対する混合レベル比およびその近傍のレベル比では大きな値の重み付け係数を出力し、その他のレベル比では小さな重み付け係数を出力する。この重み付け係数は、FFT部1303,1304の出力である周波数分割スペクトル成分の各周波数ごとに得られる。
この重み付け係数発生部1308からの周波数領域の重み付け係数は、フィルタ係数生成部1309に供給され、時間軸領域のフィルタ係数に変換される。このフィルタ係数生成部1309は、周波数領域の重み付け係数を、逆FFTを行なうことにより、デジタルフィルタ1302に供給するフィルタ係数を得る。
そして、このフィルタ係数生成部1309からのフィルタ係数が、デジタルフィルタ1302に供給されて、デジタルフィルタ1302から、重み付け係数発生部1308に設定された関数に応じた音源の音声信号成分が分離抽出されて、出力SOとされる。なお、遅延部1301は、デジタルフィルタ1302に供給されるフィルタ係数が生成されるまでの処理遅延時間を調整するためのものである。
図27の例は、レベル比のみを考慮したものであるが、位相差のみ、またレベル比と位相差を合わせて考慮する構成とすることもできる。すなわち、例えばレベル比と位相差とを合わせて考慮する場合には、図示は省略するが、FFT部1303および1304の出力を位相差検出部にも供給すると共に、検出した位相差をも、重み付け係数発生部に供給する。この例の場合の重み付け係数発生部は、分離する音源の左右2チャンネルの音声信号に対するレベル差のみではなく、位相差をも変数として重み付け係数を発生する関数発生回路の構成とされる。
つまり、この場合の重み付け係数発生部は、分離しようとする音源の音声信号の、左右2チャンネルにおけるレベル比およびその近傍のレベル比のときであって、前記、分離しようとする音源の音声信号の、左右2チャンネルにおける位相差およびその近傍の位相差のときには、大きい重み付け係数を発生し、その他では小さい係数を発生するような関数に設定される。
そして、その重み付け係数発生部からの重み付け係数が逆FFTされることにより、デジタルフィルタ1302のフィルタ係数とされるものである。
なお、図27では、左チャンネルのみから希望する音源の音声信号を分離するようにしたが、右チャンネルの音声信号についても、フィルタ係数を発生する系を、別個に同様に設けることにより、同様に所定の音源の音声信号を分離することができる。
なお、2チャンネルステレオ信号SL,SRから3チャンネル以上の多チャンネルの音源信号を分離抽出するためには、図27の構成部分を、対応するチャンネル数分だけ設ければよい。その場合において、FFT部1303,1304、レベル検出部1305,1306およびレベル比算出部1307は、各チャンネルにおいて共通とすることができる。
[その他の実施形態の音声信号処理装置]
上述の実施形態において、入力音声信号をFFTする場合、楽音のように長い時系列信号をそのままFFT処理することは困難なので、所定分析区間に区分けして、当該分析区間ごとの区分データを得ることによりFFT処理を行なう。
しかしながら、時系列データを単純に一定の長さだけ取り出し、音源分離処理を行った後、逆FFT変換して結合した場合、その結合点において波形の不連続点を発生し、音として聞いた場合、ノイズを発生すると言う問題がある。
そこで、第12の実施形態では、区分データを取り出すのに、図28に示すように、区間1、区間2、区間3、区間4、・・・の長さを、それぞれ同じ長さの単位区間とするが、隣り合う区間では、前記単位区間の長さの例えば1/2の区間分を、互いに重複するように各区間を設定して、各区間の区分データを取り出すようにする。なお、図28において、x1、x2、x3、・・・、xnは、デジタル音声信号のサンプルデータを示している。
このようにして処理すると、上述の実施形態のようにして音源分離処理され、逆FFT 変換された時系列データも、図29に示す出力区分データ1,2のように、重複区間を持つことになる。
そして、この第8の実施形態では、図29に示すように、重複区間を持って隣り合う出力区分データ、例えば出力区分データ1,2の重複区間に対して、図29に示すような三角窓の特性となる窓関数1、2の処理を行ない、各出力区分データ1,2の重複区間における同時刻データ同士を加算することにより、図29に示すような出力合成データを得るようにする。これにより、波形の不連続点の無い、すなわちノイズの無い、分離された出力音声信号が得られる。
さらに、第13の実施形態では、区分データを取り出すのに、図30に示すように、隣り合う区分データの一定区間として、区間1、区間2、区間3、区間4のように、互いに重複して取り出すようにすると同時に、これらの各区間の区分データを、FFT処理する前に、図30に示すような三角窓の窓関数1,2,3,4の、窓関数処理を行なう。
そして、この図30に示すような窓関数処理を行なった後、FFT変換処理を行なうようにする。そして、しかるべき音源分離処理された信号を、逆FFT変換すると、図31に示すような出力区分データ1、2が得られる。この出力区分データは、既に重複部において窓関数処理されたデータになっているので、出力部では、各重複区分データ部を加算するだけで、波形の不連続点のないノイズの無い、分離された音声信号を得ることが可能となる。
なお、上述の窓関数としては、三角窓の他、ハニング窓またはハミング窓、あるいはブラックマン窓、などを用いることができる。
また、上述の実施形態では、時間離散信号を直交変換することにより、周波数領域の信号に変換し、ステレオチャンネル間の周波数分割スペクトルを比較するようにしたが、原理的には時間領域で信号を多数のバンドバスフィルタにより細分化し、各周波数バンドについて同様の処理を行なうように構成するようにしてもよい。ただし、上述の実施形態のように、FFT処理をする方が、周波数分解能を上げることが容易であり、分離する音源の分離度を向上させることができるので、実用性が大きい。
なお、上述の実施形態では、この発明が適用される2系統の音声信号として、2チャンネルステレオ信号について説明したが、この発明は、音源の音声信号が所定のレベル比あるいはレベル差で分配される2つの音声信号であれば、どのような2系統の音声信号であっても適用可能である。位相差についても同様である。
また、上述の実施形態では、2系統の音声信号についての周波数分割スペクトルのレベル比を求め、乗算係数発生部は、レベル比対乗算係数の関数を用いるようにしたが、2系統の音声信号についての周波数分割スペクトルのレベル差を求め、乗算係数発生部は、当該レベル差対乗算係数の関数を用いるようにしてもよい。
また、時系列信号を周波数領域の信号に変換する直交変換手段としては、FFT処理手段に限られるものではなく、周波数分割スペクトルのレベルや位相を比較することができるものであれば、どのようなものであってもよい。
100…音声信号処理装置、101,102…FFT部、103…周波数分割スペクトル比較処理部、104…周波数分割スペクトル制御処理部、1041、1042,1043,1044,1045…音源分離処理部、1051,1052,1053,1054,1055…逆FFT部、41,42…レベル検出部、43,44…レベル比算出部、451,452,453,454,455…セレクタ、51…乗算係数発生部、52,53…乗算部、54…加算部、1032…位相比較処理部