JP3905364B2 - ステレオ音像制御装置および多対地間通話システムにおける対地側装置 - Google Patents
ステレオ音像制御装置および多対地間通話システムにおける対地側装置 Download PDFInfo
- Publication number
- JP3905364B2 JP3905364B2 JP2001366148A JP2001366148A JP3905364B2 JP 3905364 B2 JP3905364 B2 JP 3905364B2 JP 2001366148 A JP2001366148 A JP 2001366148A JP 2001366148 A JP2001366148 A JP 2001366148A JP 3905364 B2 JP3905364 B2 JP 3905364B2
- Authority
- JP
- Japan
- Prior art keywords
- sound image
- signal
- ground
- channel
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic System (AREA)
Description
【発明の属する技術分野】
この発明は、左右2チャンネル信号を用いて、音像発生範囲を伸縮したり、音像位置を移動したりするためのステレオ音像制御装置に関し、例えば、2ヶ所以上の互いに異なる対地が2チャンネル伝送路で相互に接続されている通話システムにおいて、2チャンネルステレオ再生により、話者の音像定位をそれぞれ変えることにより、通話相手が誰であるのかを容易に知覚できるようになる高臨場感遠隔会議での音像定位通話システムに適用できるステレオ音像制御装置に関する。また、この発明は、多対地間通話システムにおける対地側装置に関する。
【0002】
【従来の技術】
音像発生範囲を伸縮させる技術に関する文献としては、「Michael A. GERZON:"Applications of Blumleion Schuffling to Stereo Microphone Techniques",J.Audio Eng.Soc., Vol.42, No.6,pp.435-453,1994 」がある。
【0003】
この文献では、ブラムライン(Blumlein)が提唱したシャッフル技術を用いて、2つのマイク間の音波の到達時間をステレオスピーカ間の振幅差に変換すること、および様々な音像を拡大縮小(伸縮)させることについて述べられている。その中の一例をとって、以下に説明する。
【0004】
図1は、ブラムライン・シャッフリングと呼ばれる動作原理を用いて音像を伸縮させるための音像制御回路の構成を示している。
【0005】
左マイク1と右マイク2とは、間隔d(≒20cm)をおいて配置されている。左マイク1によって得られた左チャンネルの入力信号Lと、右マイク2によって得られた右チャンネルの入力信号Rとは、第1の和差回路3に入力される。第1の和差回路3は、両チャンネルの入力信号L、Rの和に1/√2を乗算した信号M(=(L+R)/√2)と、両チャンネルの入力信号L、Rの差に1/√2を乗算した信号S(=(R−L)/√2)とを出力する。
【0006】
信号Sは、ハイパスフィルタ4を介して、時定数τをもった利得等化器5に入力される。利得等化器5の特性は、1+1/(jωτ)である。信号Mは、ハイパスフィルタ4と同じ位相を有しかつ利得が1の移相器6に入力される。
【0007】
利得等化器5の出力信号S’と、移相器6の出力信号M’とは、第2の和差回路7に入力される。第2の和差回路7は、両信号S’、M’の差に1/√2を乗算した信号L’(=(M’−S’)/√2)と、両信号S’、M’の和に1/√2を乗算した信号R’(=(M’+S’)/√2)とを出力する。
【0008】
図1に示した音像制御回路では、マイク1、2に入力された信号の位相差をTとしたときに時定数τを変化させ、これによって出力信号L’、R’に振幅差を生じさせることにより、音像発生範囲を変化させている。ハイパスフィルタ4は、利得等化器5が低域では利得を生じるので、これを補正するために設けられている。また、ハイパスフィルタ4と利得等価器5とによって、信号S’と信号Mとの間に位相差が生じるので、それらの信号の位相差をなくすために、移相器6が挿入されている。
【0009】
この音像制御回路では、各チャンネル信号の振幅はそれぞれ対処的な方法で処理されているので、振幅成分に歪みが生じる。このため、得られる音声の品質は櫛形フィルタを通過したような響きのある音質となり、音の明瞭性に欠けるといった欠点を有していた。
【0010】
次に、従来のステレオ対向通話システムを、図2を用いて説明する。
【0011】
A対地とB対地とがステレオ対向通話システムを構成しているとすると、A対地の左マイク11および右マイク12は、それぞれB対地の右スピーカ24および左スピーカ23に接続され、B対地の左マイク21および右マイク22は、それぞれA対地の右スピーカ14および左スピーカ13に接続されている。
【0012】
この場合、A対地においてスピーカ13、14からマイク11、12に回り込む音響エコー経路によって複数のループが形成され、またB対地においてスピーカ23、24からマイク21、22に回り込む音響エコー経路によって複数のループが形成され、音量を上げるとエコーが発生し、さらに最悪の場合にはハウリングを生じることになる。
【0013】
図3は、エコー消去やハウリング防止のために、エコー消去装置を導入した場合のB対地側の構成を示している。
【0014】
ステレオ多対地用のエコー消去装置に関する参考文献としては、「藤井哲郎、島田正治:”多チャンネル適応ディジタルフィルタ”、電子通信学会論文誌、Vol.J69-1,No.10,pp.1226 〜1233,1986(10) 」がある。
【0015】
スピーカ24から放射された音波はマイク22、21に入射するので、その音響エコーを消去するために、音響エコー消去装置31、32がそれぞれ必要となる。同様に、スピーカ23から放射された音波はマイク21、22に入射するので、その音響エコーを消去するために、音響エコー消去装置33、34がそれぞれ必要となる。従って、総計4つの音響エコー消去装置が必要となる。
【0016】
図4および図5は、このステレオ対向通話システムを3対地間の通話システムに拡張した場合の構成例を示している。
【0017】
通常、このようなシステムでは、各対地において、他の対地の画像も送られて表示されることが多い。例えば、B対地においてA2 対地の画像が画面の左側に、A1 対地の画像が画面の右側に表示される。
【0018】
この例では、各対地での音響エコー消去装置の数を極力少なくするために、各対地毎に加算器71を設けて、各対地でのスピーカの数を減らしている。この場合には、図5に示すように、B対地においては、マイク61には3つのスピーカ63、64、65からの音響エコーが入射し、マイク62にもまた3つのスピーカ63、64、65からの音響エコーが入射するので、計6つの音響エコー消去装置72〜77が必要となる。
【0019】
このように、図3に示す対向通話システムでは1対地当たり音響エコー消去装置が4つ必要となり、また図5に示す3対地間の通話システムでは1対地当たり音響エコー消去装置が6つ必要となり、対地が1つ増加する毎に1対地当たりの音響エコー消去装置数が2ずつ増加することになる。つまり、対地数をnとすると、1対地当たりに必要な音響エコー消去装置の数は2nとなる。従って、このようなシステム構成では音響エコー消去装置の増加を招き、コストが嵩む。
【0020】
さらに、ステレオ対向通話システムでは受聴者にとって、通常2つのスピーカと受聴者とが正三角形の頂点に配置されることがもっとも望ましいとされている。図6は、図4のB対地におけるスピーカ配置と受聴者の位置関係の例を示している。図6において、ハッチングは、音像発生範囲を示している。
【0021】
3対地の例においては、図6に示すように、左右分離した位置にそれぞれ3つのスピーカ63、64、65を配置しなければならない。本来スピーカ65と64とは、中央の受聴者に対して開口角度60度の位置にあり、中央の受聴者とそれらのスピーカとが正三角形の頂点に配置されることが最も望ましいが、多対地ではA1 対地用の2つのスピーカ65、64とA2 対地用の2つのスピーカ63、64とを30度ずつ空間分割して配置しなければばらなくなる。
【0022】
このため、2つのスピーカ65、64を、受聴者に対して正面と右30度の位置に設置しなければならない。したがって、2つのスピーカを対称配置して受聴すべきところが、非対称配置して受聴せざるを得なくなる。このようなスピーカ配置に対する検討は既に、参考文献「高橋哲也、穂刈治英、島田正治”非対称スピーカ配置の音像定位感に関する一検討”、信学技法、EA96-55,pp.25-31,1996.10」でなされている。この参考文献では、スピーカ65、64を図6のように配置した場合には、音像定位はスピーカ65の方向に移動して知覚することが証明されている。従って、相手画像と一緒に形成されているシステムでは、画面に投影された相手画像の位置と音像の位置とが一致しなくなり、受聴者にとって奇異を感じてしまう。
【0023】
【発明が解決しようとする課題】
上述したように、従来技術であるブラムライン・シャッフル技術を用いると音質が劣化し、通話の明瞭性に欠けるという欠点がある。また、多対地間通話システムにステレオ対向通話システムを適用すると、音響エコー消去装置の必要台数が増加し、システムが高価となるとともに、音声にあわせて画像をも伝送するシステムの場合、音像定位位置と画像表示位置とが一致しなくなるという欠点がある。
【0024】
この発明は、音像範囲の伸縮・回転をディジタル信号処理により、実時間に近い処理で演算できかつ音質劣化がほとんどないステレオ音像制御装置を提供することを目的とする。
【0025】
また、この発明は、3以上の多対地間通話システムを各対地で2つのスピーカで実現せしめ、多数必要とした音響エコー消去装置を対向通話システムにおけるエコー消去装置と同数(4個)に減少させることができるステレオ音像制御装置を提供することを目的とする。
【0026】
【課題を解決するための手段】
請求項1に記載の発明は、ステレオ音像制御装置において、2つのマイクによって収音された2チャンネルのステレオディジタル信号を、それぞれ所定時間幅の時間信号として切り出す信号切出手段、信号切出手段によって切り出された各チャンネルの所定時間幅の信号を、それぞれ周波数軸の信号に変換する時間−周波数変換手段、時間−周波数変換手段によって得られる2チャンネルの信号間の位相の主値を算出する位相検出手段、時間−周波数変換手段によって得られる2チャンネルの信号、位相検出手段によって算出された2チャンネルの信号間の位相の主値およびあらかじめ設定された音場の伸縮率に基づいて、音像発生範囲を伸縮する音像伸縮手段、音像伸縮手段の出力、あらかじめ設定された移動回転角度および上記2つのマイクの間隔に基づいて、音像を移動させる音像移動手段、音像移動手段から出力される各チャンネルの信号を、それぞれ時間軸の信号に変換する周波数−時間軸変換手段、ならびに周波数−時間軸変換手段によって得られる各チャンネルの所定時間幅の信号を、チャンネル信号毎に接続する合成手段を備えていることを特徴とする。
【0027】
請求項2に記載の発明は、ステレオ音像制御装置において、2つのマイクによって収音された2チャンネルのステレオ信号をそれぞれディジタル信号に変換するAD変換手段、AD変換手段によって得られた各チャンネルのディジタル信号を、それぞれ所定時間幅の時間信号として切り出す信号切出手段、信号切出手段によって切り出された各チャンネルの所定時間幅の信号を、それぞれ周波数軸の信号に変換する時間−周波数変換手段、時間−周波数変換手段によって得られる2チャンネルの信号間の位相の主値を算出する位相検出手段、時間−周波数変換手段によって得られる2チャンネルの信号、位相検出手段によって算出された2チャンネルの信号間の位相の主値およびあらかじめ設定された音場の伸縮率に基づいて、音像発生範囲を伸縮する音像伸縮手段、音像伸縮手段の出力、あらかじめ設定された移動回転角度および上記2つのマイクの間隔に基づいて、音像を移動させる音像移動手段、音像移動手段から出力される各チャンネルの信号を、それぞれ時間軸の信号に変換する周波数−時間軸変換手段、ならびに周波数−時間軸変換手段によって得られる各チャンネルの所定時間幅の信号を、チャンネル信号毎に接続する合成手段を備えていることを特徴とする。
【0028】
請求項3に記載の発明は、多対地間通話システムにおける対地側装置において、通話相手対地毎に設けられたステレオ音像制御装置、各ステレオ音像制御装置から出力される左チャンネル信号を加算して第1のスピーカに出力する第1加算器、各ステレオ音像制御装置から出力される右チャンネル信号を加算して第2のスピーカに出力する第2加算器を備えており、各ステレオ音像制御装置としては請求項1に記載のものが用いられており、各ステレオ音像制御装置には、再生音像範囲が通話相手対地ごとに分割されるように、音場の伸縮率と移動回転角度が設定されていることを特徴とする。
【0029】
請求項4に記載の発明は、多対地間通話システムにおける対地側装置において、通話相手対地毎に設けられたステレオ音像制御装置、各ステレオ音像制御装置から出力される左チャンネル信号を加算して第1のスピーカに出力する第1加算器、各ステレオ音像制御装置から出力される右チャンネル信号を加算して第2のスピーカに出力する第2加算器を備えており、各ステレオ音像制御装置としては請求項2に記載のものが用いられており、各ステレオ音像制御装置には、再生音像範囲が通話相手対地ごとに分割されるように、音場の伸縮率と移動回転角度が設定されていることを特徴とする。
【0030】
【発明の実施の形態】
以下、図7〜図9を参照して、この発明の実施の形態について説明する。
【0031】
〔1〕ステレオ音像制御装置の構成の説明
【0032】
図7は、本発明のステレオ音像制御装置の構成を示している。
【0033】
左右2チャンネルの音声信号R、Lは、それぞれAD変換器81R 、81L に送られ、ディジタル信号に変換される。両チャンネルのディジタル信号は、それぞれ時間窓分解回路82R 、82L に入力される。
【0034】
各時間窓分解回路82R 、82L は、ある時間の長さごとにシフトしながら、入力信号に時間窓を乗じることにより、所定時間幅の信号を切り出す。切り出した各チャンネルの信号は、フーリエ変換(DFT)回路83R 、83L に入力される。各DFT回路83R 、83L は、入力された時間軸の信号を周波数軸の信号に変換する。
【0035】
各DFT回路83R 、83L から出力される周波数軸の信号XA R (ω) 、XA L (ω)は、2チャンネル間の位相差の主値(φ(ω)=Arg(XA R (ω)/ XA L (ω)) を求めるための位相検出回路84に入力される。
【0036】
位相検出回路84の出力Φ(ω)は、各DFT回路83R 、83L から出力される周波数軸の信号XA R (ω) 、XA L (ω)とともに、音像発生範囲を制御するための音像伸縮回路85に入力される。そして、音像伸縮回路85の出力は、音像発生位置を制御するための音像移動回路86に入力される。なお、音像伸縮回路85および音像移動回路86の構成については後述する。
【0037】
音像移動回路86から出力される2チャンネルの周波数軸の信号は、それぞれ逆フーリエ変換回路(IDFT)87R 、87L に送られ、時間軸の信号に変換される。各IDFT87R 、87L によって得られた所定時間幅の信号は、それぞれ時間窓合成回路88R 、88L に送られる。
【0038】
各時間窓合成回路88R 、88L は、入力する所定時間区切りの信号を時刻を併せて合成する。各時間窓合成回路88R 、88L によって得られたディジタル信号は、それぞれDA変換器89R 、89L に送られ、アナログ信号R',L’に変換されて出力される。
【0039】
〔2〕ステレオ音像制御装置の基本的な動作原理の説明
【0040】
ステレオ音像制御装置の基本的な動作原理について説明する。以下の説明において、明細書で用いられる記号 " smal " 、" *" および" ∧" は、次のような規則に基づいて使用されているものとする。
【0041】
" smal " :ギリシア文字を添字として使用する場合に、そのギリシア文字の前にこの記号 smal を付す。例えば、文字Hにαを添字として付ける場合には、Hsmalαと表現する。
【0042】
" *" :ゴシック体の文字(ベクトルを表す文字)を表す場合に、その文字の前側にこの記号*を付す。例えば、文字hがゴシック体である場合には、*hと表現する。
【0043】
" ∧" : 上側にハットが付けられている文字については、その文字の前側にこの号∧を付す。例えば、文字Hの上側にハットが付けられている場合には、∧Hと表現する。
【0044】
図8は、音像の伸縮移動回転を理論的に説明するための図である。図8において、1、2は左右のマイクであり、Sは音源信号をフーリエ変換したものを表している。
【0045】
自由音場において、理想的な点音源と音響的に透明な無指向性のマイクとを想定すると、音源からマイクまでの音圧の伝達特性は、伝搬遅延とレベル減衰のみの特性に近似できる。これを伝達関数で表現すると次式(1)で与えられる。
【0046】
【数1】
【0047】
ここで、uは点音源からマイクまでの距離〔m〕、cは音速である。伝搬特性が上記式(1)で与えられる場合、図8において、音源の位置情報は、2個のマイク1、2への音波の到達時間差と、2個のマイク1、2の存在する位置でのレベル減衰の差として表現されることになる。
【0048】
図8(a)に示すように、音源の位置が、両マイク1、2間の中心位置までの距離u>0と、両マイク1、2間の中心位置に対する入射角度α∈[−π/2,π/2]によって規定される座標系を考える。このような座標系において、音源から2個のマイク1、2までの音圧の伝達関数*hsmalα=(Hsmalα R,Hsmalα L)T は、2つのマイク1、2間の中心を原点として考えると、その相対的な伝搬遅延から、次式(2)のように表現できる。
【0049】
【数2】
【0050】
音場に音源が1つしかないとすれば、マイク1、2への入力信号*xsmalα=(XsmalαR , XsmalαL )T は、次式(3)に示すようになる。
【0051】
【数3】
【0052】
ここで、Sは上述したように音源の信号をフーリエ変換したものを示している。上記式(2)、(3)より、2個のマイク1、2への入力信号は、入射角度αに依存した時間差を持つことがわかる。また、音源がマイク1、2から遠方にある場合には、2個のマイク1、2への入力信号は、レベル差を持たないことがわかる。
【0053】
すなわち、音源の位置情報は、ほとんどの場合、時間差に集約されることがわかる。ここでさらに、上記式(2)においてsin αを−π/2からπ/2まで直線近似すると、時間差τsmalαと入射角度αは、次式(4)に示すように、線形の関係とみなすことができる。
【0054】
【数4】
【0055】
標準的なステレオ受聴において、ステレオ信号の時間差と知覚される音像位置との関係は、信号の種類によって若干変化するものの、大まかに言えば、音像位置は、信号が早く放射されたスピーカの方に知覚され、時間差が大きくなればなるほどその偏りが大きくなる。
【0056】
このような知見と上記式(4)とを考慮すると、入射角度αの変化は、再生側の音像定位の変化に、ほぼ直線的に対応すると考えられる。
【0057】
以上の考察に基づき、この入射角度αを、2個のマイク1、2で集音される音場の位置を表現する1次元パラメータとする。
【0058】
次に音場の伸縮と移動を、次式(5)で示すαからβへの入射角度の変換で定義する。ここでβは、仮想音場での音源の位置(入射角度)を示している。
【0059】
【数5】
【0060】
ここで、κ(=θsmalβ/θsmalα)は音場の伸縮率で、θは音場の移動量(移動回転角度)である。つまり、収音側の音源位置を移動させた仮想音場を創成することで、再生側の音像発生範囲を制御する。
【0061】
図8は原音場座標系から仮想音場座標系への変換のイメージを示している。上記式(4)の近似を用いれば、上記式(5)に示される入射角の変換は、上記式(2)で示される原音場の伝達関数*hsmalαを次式(6)に示すような仮想音場の伝達関数*hsmalβ=(HsmalβR , Hsmalβ L)T に変換することに等しい。
【0062】
【数6】
【0063】
ここで、τsmalβは、次式(7)で表される。
【0064】
【数7】
【0065】
上記式(6)の変換は、次式(8)のように表現できる。
【0066】
【数8】
【0067】
ここで、*Tsmalθは次式(9)で表され、Ksmalκ{*hsmalα}は、次式(10)で表される。
【0068】
【数9】
【0069】
すなわち、音場の伸縮は伝達関数*hsmalαの線形スケーリングKsmalκ{*hsmalα}で実現され、音像の移動は線形スケーリングした伝達関数Ksmalκ{*hsmalα}を*Tsmalθで線形変換することで実現される。
【0070】
音場に音源がN個あって、その音源をSk (k=1,2,…N)とし、これらの音源から左右マイクまでの原音場における伝達関数を*hsmalαk =(Hsmalαk R , Hsmalαk L )T とすれば、原音場を録音した場合のマイクへの入力信号*xA =(XA R , X A L ) T は次式(11)のようになる。
【0071】
【数10】
【0072】
ここで、*hA および*sは、次式(12)で表される。
【0073】
【数11】
【0074】
同様に、N個の音源Sk ( k=1,2,…N)から左右マイクまでの仮想音場における伝達関数を*hsmalβk =(Hsmalβk R , Hsmalβk L )T とすれば、仮想音場を録音した場合のマイクへの入力信号*xB =(XB R , X B L ) T は次式(13)のようになる。
【0075】
【数12】
【0076】
ここで、*hB は、次式(14)で表される。
【0077】
【数13】
【0078】
仮想音場の伝達関数*hsmalβk =(Hsmalβk R , Hsmalβk L )T ( k=1,2,…N)は原音場の伝達関数*hsmalαk =(Hsmalαk R , Hsmalαk L )T を、それぞれ上記式(8)のように変換したものであるから、*hB は次式(15)のように表すことができる。
【0079】
【数14】
【0080】
ここで、Ksmalκ{*hA }は、次式(16)で表される。
【0081】
【数15】
【0082】
従って、仮想音場を録音した場合のマイクへの入力信号*xB =(XB R , XB L ) T も、次式(17)のように表すことができる。
【0083】
【数16】
【0084】
すなわち、音場に複数の音源が存在する場合における仮想音場創成の問題は、上記式(11)の入力信号から上記式(17)を得る問題に帰着する。
【0085】
従って、最初に*hA ・*sからKsmalκ{*hA }・*sのような変換を行い、その次に回転移動の*Tsmalθをベクトルに掛け合わせればよい。そこで、図7に示す音像制御回路では、音像伸縮回路85が音像移動回路86の前段に設けられているのである。
【0086】
つまり、音像伸縮回路85は、*hA ・*sからKsmalκ{*hA }・*sのような変換を行う。その後、音像移動回路86は、音像伸縮回路85の出力信号に*Tsmalθを乗算する。なお、音像伸縮回路85には、音場の伸縮率κが予め設定される。また、音像移動回路86には、移動回転角θが予め設定される。
【0087】
〔3〕音像伸縮回路85の説明
音像伸縮回路85は、乗算器101R 、101L 、102R 、102L 、103R 、103L 、104R 、104L 、105R 、105L 、106R 、106L 、107R 、107L 、演算器102R 、102L 、103R 、103L および加算器108R 、108L から構成されている。
【0088】
乗算器101R は、位相検出回路84の出力Φ(ω)に(1+κ)/2を乗算する。乗算器101L は、位相検出回路84の出力Φ(ω)に(1−κ)/2を乗算する。
【0089】
演算器102R は、乗算器101L の出力qを用いて、e-jq を演算する。演算器103R は、乗算器101R の出力pを用いて、e-jp を演算する。演算器102L は、乗算器101R の出力pを用いて、e+jp を演算する。演算器103L は、乗算器101L の出力qを用いて、e+jq を演算する。
【0090】
乗算器104R は、DFT83R の出力XA R (ω)にe-jq を乗算する。乗算器105R は、DFT83R の出力XA R (ω)にe-jp を乗算する。乗算器104L は、DFT83L の出力XA L (ω)にe+jp を乗算する。乗算器105L は、DFT83L の出力XA L (ω)にe+jq を乗算する。
【0091】
乗算器106R は、乗算器104R の出力 XA R (ω)・e-jq に(1+κ)/2を乗算する。乗算器107R は、乗算器105R の出力 XA R (ω)・e-jp に(1−κ)/2を乗算する。乗算器106L は、乗算器104L の出力XA L (ω)・e+jp に(1−κ)/2を乗算する。乗算器107L は、乗算器105L の出力 XA L (ω)・e+jq に(1+κ)/2を乗算する。
【0092】
加算器108R は、乗算器106R の出力XA R (ω)・{(1+κ)/2}・e-jq と、乗算器106L の出力XA L (ω)・{(1−κ)/2}・e+jp とを加算する。加算器108L は、乗算器107R の出力XA R (ω)・{(1−κ)/2}・e-jp と、乗算器107L の出力XA L (ω)・{(1+κ)/2}・e+jq とを加算する。
【0093】
音像伸縮回路85の動作原理について説明する。
【0094】
上記式(17)の伸縮の項、すなわち、{*hA }・*sからKsmalκ{*hA }・*sへの変換は*hA と*sの情報を必要とするために、実現が困難であるので近似を考えることにする。
【0095】
この変換は伝達関数*ha の変換である。例えば、複数の音源が存在する場合の入力信号*xA を2行2列の行列*Kで線形変換すると、次式(18)が得られる。
【0096】
【数17】
【0097】
これは、次式(19)に示すように、原音場における複数の伝達関数をそれぞれ線形変換することと等価である。
【0098】
【数18】
【0099】
上記式(19)において、∧*hB は、次式(20)で表される。
【0100】
【数19】
【0101】
この実施の形態における音像伸縮回路85では、伝達関数の式(10)の線形スケーリングを厳密に行う代わりに、インパルス応答におけるエネルギーの中心の平均、つまり平均時間の変換で代用している。このような変換は後で示すように線形変換で実現できるが、左右信号の干渉によりスペクトル構造に変化を与えてしまうため、音色が変化する。そこで、ステレオ信号の全体的な音色を変化させないために、この線形変換を信号に依存して適応的に処理する。
【0102】
今、行列*Ksmalκ, smalΦにより、伝達関数*hsmalαを∧*hsmalβ=(∧HsmalβR , ∧HsmalβL ) へ変換することを考えると、この変換は次式(21)で表される。
【0103】
【数20】
【0104】
ここで、*Ksmalκ, smalΦは次式(22)、(23)で表される。
【0105】
【数21】
【0106】
なお、図7の音像伸縮回路85は上記式(18)の演算を行っている。式(18)の*Kとしては式(22)の*Ksmalκ,smal Φが用いられる。つまり、音像伸縮回路85内の乗算器101R は、{(1+κ)/2}×Φ(ω)=aΦ(ω)=pを、つまり、式(22)内のaΦ(ω)を算出している。同様に、乗算器101L は、{(1−κ)/2}×Φ(ω)=bΦ(ω)=qを、つまり、式(22)内のbΦ(ω)を算出している。
【0107】
演算器102R はexp(−jq) =exp(−jbΦ(ω)) を、演算器103R はexp(−jp) =exp(−jaΦ(ω)) を、演算器102L はexp(jp)=exp(jaΦ(ω)) を、演算器103L はexp(jq)=exp(jbΦ(ω)) を、それぞれ演算している。
【0108】
乗算器104R はXA R (ω)・exp(−jq) =XA R (ω)・exp(−jbΦ(ω)) を、乗算器105R はXA R (ω)・exp(−jp) =XA R (ω)・exp(−jaΦ(ω)) を、乗算器104L はXA L (ω)・exp(jp)=XA L (ω)・exp(jaΦ(ω)) を、乗算器105L はXA L (ω)・exp(jq)=XA L (ω)・exp(jbΦ(ω)) を、それぞれ演算している。
【0109】
乗算器106R はXA R (ω)・aexp(−jbΦ(ω)) を、乗算器107R はXA R (ω)・bexp(−jaΦ(ω)) を、乗算器106L はXA L (ω)・bexp(jaΦ(ω)) を、乗算器107L はXA L (ω)・aexp(jbΦ(ω)) を、それぞれ演算している。
【0110】
加算器108R は、XA R (ω)・aexp(−jbΦ(ω)) +XA L (ω)・bexp(jaΦ(ω)) =∧XB R (ω)を、加算器108L は、XA R (ω)・bexp(−jaΦ(ω)) +XA L (ω)・aexp(jbΦ(ω)) =∧XB L (ω)を、それぞれ演算している。
【0111】
〔4〕音像移動回路86の説明
音像移動回路86は、音像伸縮回路85内の加算器108R の出力∧XB R (ω)にexp (jdθω/2c π) を乗算する乗算器111R と、音像伸縮回路85内の加算器108L の出力∧XB L (ω)にexp (−jdθω/2c π) を乗算する乗算器111L とから構成されている。
【0112】
音像移動回路86の動作原理について説明する。
【0113】
音像移動回路86内の乗算器111R は、音像伸縮回路85から出力される右チャンネルの信号∧XB R (ω)にexp j(dθω/2cπ)の演算を行っている。また、音像移動回路86内の乗算器111L は、音像伸縮回路85から出力される左チャンネルの信号∧XB L (ω)にexp −j(dθω/2cπ)の演算を行っている。
【0114】
つまり、音像移動回路86は、音像伸縮回路85の出力信号に式(9)で表される*Tsmalθを乗算している。
【0115】
〔5〕音像伸縮回路85および音像移動回路86によって音像を制御しても、音色が変化しないことについての説明
【0116】
∧HsmalβR 、∧HsmalβL それぞれの平均時間<t>smalβR 、<t>smalβL を解析的に求めると、次式(24)、(25)で示すようになる。
【0117】
【数22】
【0118】
ここで、次式(26)に示すような近似を行えば、上記式(24)は次式(27)に示すように簡単化できる。
【0119】
【数23】
【0120】
【数24】
【0121】
したがって、次式(28)が成り立てば、次式(29)が得られる。
【0122】
【数25】
【0123】
【数26】
【0124】
すなわち、Φ(ω)の導関数の平均がτsmalαであれば、平均時間の差は元の時間差のκ倍となる。
【0125】
また、次式(30)が成り立てば、次式(31)が得られる。
【0126】
【数27】
【0127】
【数28】
【0128】
すなわち、Φ(ω)の導関数の平均が0であれば、平均時間の差は元の時間差の2κ/(1+κ2 )倍となる。
【0129】
上記式(28)の条件は、音源が少なくて他からの干渉が僅かなときに満たされると考えられる。また、上記式(30)の条件は、音源数が無限で、Φ(ω)が周波数軸上でランダムに変化し、[ −π,π] の範囲の値を一様にとるときに満たされると考えられる。したがって、この実施の形態では、音源が少なければ、音場の縮小と拡大とを実現することができる。また、音源が多いときでも、音場の縮小であれば実現できる。
【0130】
上記変換前と変換後の振幅は、次式(32)、(33)で示すように、線形補間の関係となる。
【0131】
【数29】
【0132】
したがって、聴覚の音色知覚が短時間スペクトルの振幅に対応しているとすれば、上記実施の形態による処理によって音色変化は発生しない。
【0133】
〔6〕多対地間通話システムに上記音像制御装置を適用した場合の説明
【0134】
図9は、多対地間通話システムに上記音像制御装置を適用した場合の対地側装置の構成を示している。すなわち、複数の対地A1,A2,…An からのステレオ2チャンネル信号をB対地で音像再生するためのB対地側装置の構成を示している。
【0135】
各通話相手対地(A1,A2,…An )からのステレオ2チャンネル信号Q_i (i=1,2,…n)は、それぞれ対応する音像制御装置200_iに入力される。各音像制御装置200_iは、B対地において2チャンネルのスピーカ203、204間の空間が他の通話対地(A1,A2,…An )毎に分割されるように、対応する他の対地(A1,A2,…An )からの音像発生範囲を伸縮移動させる。つまり、B対地において2チャンネルのスピーカ203、204間の空間が他の通話対地(A1,A2,…An )毎に分割されるように、各音像制御装置200_iには、伸縮率κと移動回転角度θとが予め設定されている。
【0136】
各音像制御装置200_iから出力される右チャンネル信号R’は加算器201によって加算されて、左スピーカ203に送られる。同様に、各音像制御装置200_iから出力される左チャンネル信号L’は加算器202によって加算され、右スピーカ204に送られる。
【0137】
このようにB対地においては、通常の2チャンネルステレオと同様に2つのスピーカ203、204を設けるだけでよいので、図2に示したステレオ対向通話システムと同じように音響エコー消去装置を4つだけ設ければよく、経済的な負担が軽減される。
【0138】
【発明の効果】
この発明によれば、音像範囲の伸縮・回転をディジタル信号処理により、実時間に近い処理で演算できかつ音質劣化がほとんどない音像制御装置が実現する。
【0139】
また、この発明によれば、3以上の多対地間通話システムを各対地で2つのスピーカで実現せしめ、多数必要とした音響エコー消去装置を対向通話システムにおけるエコー消去装置と同数(4個)に減少させることができるようになる。
【図面の簡単な説明】
【図1】ブラムライン・シャッフリングと呼ばれる動作原理を用いて音像を伸縮させるための回路の構成を示すブロック図である。
【図2】従来のステレオ対向通話システムの構成を示す模式図である。
【図3】図2のステレオ対向通話システムにおいて、エコー消去やハウリング防止のために、エコー消去装置を導入した場合のB対地側の構成を示すブロック図である。
【図4】ステレオ対向通話システムを3対地間の通話システムに拡張した場合の構成例を示す模式図である。
【図5】図4の3対地間の通話システムにおいて、エコー消去やハウリング防止を行うために、エコー消去装置を導入した場合のB対地側の構成を示すブロック図である。
【図6】図4のB対地におけるスピーカ配置と受聴者の位置関係の例を示す模式図である。
【図7】本発明のステレオ音像制御装置の構成を示すブロック図である。
【図8】音像の伸縮移動回転を理論的に説明するための図である。
【図9】多対地間通話システムに図7の音像制御装置を適用したときの対地側装置の構成を示すブロック図である。
【符号の説明】
81R 、81L AD変換器
82R 、82L 時間窓分解回路
83R 、83L フーリエ変換(DFT)回路
54 位相検出回路
85 音像伸縮回路
86 音像移動回路
87R 、87L 逆フーリエ変換回路(IDFT)
88R 、88L 時間窓合成回路
89R 、89L DA変換器
Claims (4)
- 2つのマイクによって収音された2チャンネルのステレオディジタル信号を、それぞれ所定時間幅の時間信号として切り出す信号切出手段、
信号切出手段によって切り出された各チャンネルの所定時間幅の信号を、それぞれ周波数軸の信号に変換する時間−周波数変換手段、
時間−周波数変換手段によって得られる2チャンネルの信号間の位相の主値を算出する位相検出手段、
時間−周波数変換手段によって得られる2チャンネルの信号、位相検出手段によって算出された2チャンネルの信号間の位相の主値およびあらかじめ設定された音場の伸縮率に基づいて、音像発生範囲を伸縮する音像伸縮手段、
音像伸縮手段の出力、あらかじめ設定された移動回転角度および上記2つのマイクの間隔に基づいて、音像を移動させる音像移動手段、
音像移動手段から出力される各チャンネルの信号を、それぞれ時間軸の信号に変換する周波数−時間軸変換手段、ならびに
周波数−時間軸変換手段によって得られる各チャンネルの所定時間幅の信号を、チャンネル信号毎に接続する合成手段、
を備えているステレオ音像制御装置。 - 2つのマイクによって収音された2チャンネルのステレオ信号をそれぞれディジタル信号に変換するAD変換手段、
AD変換手段によって得られた各チャンネルのディジタル信号を、それぞれ所定時間幅の時間信号として切り出す信号切出手段、
信号切出手段によって切り出された各チャンネルの所定時間幅の信号を、それぞれ周波数軸の信号に変換する時間−周波数変換手段、
時間−周波数変換手段によって得られる2チャンネルの信号間の位相の主値を算出する位相検出手段、
時間−周波数変換手段によって得られる2チャンネルの信号、位相検出手段によって算出された2チャンネルの信号間の位相の主値およびあらかじめ設定された音場の伸縮率に基づいて、音像発生範囲を伸縮する音像伸縮手段、
音像伸縮手段の出力、あらかじめ設定された移動回転角度および上記2つのマイクの間隔に基づいて、音像を移動させる音像移動手段、
音像移動手段から出力される各チャンネルの信号を、それぞれ時間軸の信号に変換する周波数−時間軸変換手段、ならびに
周波数−時間軸変換手段によって得られる各チャンネルの所定時間幅の信号を、チャンネル信号毎に接続する合成手段、
を備えているステレオ音像制御装置。 - 多対地間通話システムにおける対地側装置において、通話相手対地毎に設けられたステレオ音像制御装置、各ステレオ音像制御装置から出力される左チャンネル信号を加算して第1のスピーカに出力する第1加算器、各ステレオ音像制御装置から出力される右チャンネル信号を加算して第2のスピーカに出力する第2加算器を備えており、各ステレオ音像制御装置としては請求項1に記載のものが用いられており、各ステレオ音像制御装置には、再生音像範囲が通話相手対地ごとに分割されるように、音場の伸縮率と移動回転角度が設定されていることを特徴とする多対地間通話システムにおける対地側装置。
- 多対地間通話システムにおける対地側装置において、通話相手対地毎に設けられたステレオ音像制御装置、各ステレオ音像制御装置から出力される左チャンネル信号を加算して第1のスピーカに出力する第1加算器、各ステレオ音像制御装置から出力される右チャンネル信号を加算して第2のスピーカに出力する第2加算器を備えており、各ステレオ音像制御装置としては請求項2に記載のものが用いられており、各ステレオ音像制御装置には、再生音像範囲が通話相手対地ごとに分割されるように、音場の伸縮率と移動回転角度が設定されていることを特徴とする多対地間通話システムにおける対地側装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001366148A JP3905364B2 (ja) | 2001-11-30 | 2001-11-30 | ステレオ音像制御装置および多対地間通話システムにおける対地側装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001366148A JP3905364B2 (ja) | 2001-11-30 | 2001-11-30 | ステレオ音像制御装置および多対地間通話システムにおける対地側装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003169399A JP2003169399A (ja) | 2003-06-13 |
JP3905364B2 true JP3905364B2 (ja) | 2007-04-18 |
Family
ID=19176091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001366148A Expired - Fee Related JP3905364B2 (ja) | 2001-11-30 | 2001-11-30 | ステレオ音像制御装置および多対地間通話システムにおける対地側装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3905364B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019065447A1 (ja) * | 2017-09-29 | 2019-04-04 | Kddi株式会社 | 音響信号のミキシング装置及びコンピュータ可読記憶媒体 |
US11356774B2 (en) | 2018-09-27 | 2022-06-07 | Kddi Corporation | Acoustic signal mixing apparatus and non-transitory computer readable storage medium |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101158709B1 (ko) * | 2004-09-06 | 2012-06-22 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 신호 강화 |
JP4594681B2 (ja) * | 2004-09-08 | 2010-12-08 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
JP4495704B2 (ja) * | 2006-08-29 | 2010-07-07 | 日本電信電話株式会社 | 音像定位強調再生方法、及びその装置とそのプログラムと、その記憶媒体 |
CN101960866B (zh) * | 2007-03-01 | 2013-09-25 | 杰里·马哈布比 | 音频空间化及环境模拟 |
JP6087760B2 (ja) * | 2013-07-29 | 2017-03-01 | 日本電信電話株式会社 | 音場収音再生装置、方法及びプログラム |
JP6931296B2 (ja) * | 2017-06-05 | 2021-09-01 | キヤノン株式会社 | 音声処理装置及びその制御方法 |
US20210185174A1 (en) * | 2018-07-27 | 2021-06-17 | Sharp Kabushiki Kaisha | Call terminal, call system, control method of call terminal, and non-transitory recording medium |
JP7212747B2 (ja) * | 2019-03-06 | 2023-01-25 | Kddi株式会社 | 音響信号の合成装置及びプログラム |
JP7065801B2 (ja) * | 2019-03-06 | 2022-05-12 | Kddi株式会社 | 音響信号の合成装置及びプログラム |
-
2001
- 2001-11-30 JP JP2001366148A patent/JP3905364B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019065447A1 (ja) * | 2017-09-29 | 2019-04-04 | Kddi株式会社 | 音響信号のミキシング装置及びコンピュータ可読記憶媒体 |
JP2019068210A (ja) * | 2017-09-29 | 2019-04-25 | Kddi株式会社 | 音響信号のミキシング装置及びプログラム |
US10951984B2 (en) | 2017-09-29 | 2021-03-16 | Kddi Corporation | Acoustic signal mixing device and computer-readable storage medium |
US11356774B2 (en) | 2018-09-27 | 2022-06-07 | Kddi Corporation | Acoustic signal mixing apparatus and non-transitory computer readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2003169399A (ja) | 2003-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3320692B1 (en) | Spatial audio processing apparatus | |
EP1832104B1 (en) | Audio system and method for acoustic echo cancellation | |
Jot et al. | Digital signal processing issues in the context of binaural and transaural stereophony | |
JP6466968B2 (ja) | インフォームド空間のフィルタリングに基づく矛盾しない音響場面再生のためのシステムおよび装置および方法 | |
US4118599A (en) | Stereophonic sound reproduction system | |
EP0434691B1 (en) | Improvements in or relating to sound reproduction systems | |
JP4986857B2 (ja) | パンされたステレオオーディオコンテンツについての改善された頭部伝達関数 | |
WO1997030566A1 (en) | Sound recording and reproduction systems | |
JP2010109579A (ja) | 音響出力素子アレイ及び音響出力方法 | |
EP1282335B1 (en) | Sound reproduction device | |
EP1700465B1 (en) | System and method for enchanced subjective stereo audio | |
US8488820B2 (en) | Spatial audio processing method, program product, electronic device and system | |
JP3905364B2 (ja) | ステレオ音像制御装置および多対地間通話システムにおける対地側装置 | |
JPH10136497A (ja) | 音像定位装置 | |
JP2000333297A (ja) | 立体音生成装置、立体音生成方法及び立体音を記録した媒体 | |
JP2009219101A (ja) | 音響出力素子アレイ及び音響出力方法 | |
JP3090416B2 (ja) | 音像制御装置及び音像制御方法 | |
JPH0746700A (ja) | 信号処理装置及びこれを使用した音場処理装置 | |
US11665498B2 (en) | Object-based audio spatializer | |
US11924623B2 (en) | Object-based audio spatializer | |
WO2023210699A1 (ja) | 音声生成装置、音声再生装置、音声生成方法、及び音声信号処理プログラム | |
JP2766887B2 (ja) | 反響消去装置 | |
JP2002262385A (ja) | 音像定位信号の生成方法、及び音像定位信号生成装置 | |
JPH09307999A (ja) | 音場拡大装置 | |
JP2023164284A (ja) | 音声生成装置、音声再生装置、音声生成方法、及び音声信号処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060531 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070111 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |