JP3905364B2 - ステレオ音像制御装置および多対地間通話システムにおける対地側装置 - Google Patents

ステレオ音像制御装置および多対地間通話システムにおける対地側装置 Download PDF

Info

Publication number
JP3905364B2
JP3905364B2 JP2001366148A JP2001366148A JP3905364B2 JP 3905364 B2 JP3905364 B2 JP 3905364B2 JP 2001366148 A JP2001366148 A JP 2001366148A JP 2001366148 A JP2001366148 A JP 2001366148A JP 3905364 B2 JP3905364 B2 JP 3905364B2
Authority
JP
Japan
Prior art keywords
sound image
signal
ground
channel
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001366148A
Other languages
English (en)
Other versions
JP2003169399A (ja
Inventor
正治 島田
治英 穂刈
立裕 馬屋原
光徳 水町
哲 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2001366148A priority Critical patent/JP3905364B2/ja
Publication of JP2003169399A publication Critical patent/JP2003169399A/ja
Application granted granted Critical
Publication of JP3905364B2 publication Critical patent/JP3905364B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、左右2チャンネル信号を用いて、音像発生範囲を伸縮したり、音像位置を移動したりするためのステレオ音像制御装置に関し、例えば、2ヶ所以上の互いに異なる対地が2チャンネル伝送路で相互に接続されている通話システムにおいて、2チャンネルステレオ再生により、話者の音像定位をそれぞれ変えることにより、通話相手が誰であるのかを容易に知覚できるようになる高臨場感遠隔会議での音像定位通話システムに適用できるステレオ音像制御装置に関する。また、この発明は、多対地間通話システムにおける対地側装置に関する。
【0002】
【従来の技術】
音像発生範囲を伸縮させる技術に関する文献としては、「Michael A. GERZON:"Applications of Blumleion Schuffling to Stereo Microphone Techniques",J.Audio Eng.Soc., Vol.42, No.6,pp.435-453,1994 」がある。
【0003】
この文献では、ブラムライン(Blumlein)が提唱したシャッフル技術を用いて、2つのマイク間の音波の到達時間をステレオスピーカ間の振幅差に変換すること、および様々な音像を拡大縮小(伸縮)させることについて述べられている。その中の一例をとって、以下に説明する。
【0004】
図1は、ブラムライン・シャッフリングと呼ばれる動作原理を用いて音像を伸縮させるための音像制御回路の構成を示している。
【0005】
左マイク1と右マイク2とは、間隔d(≒20cm)をおいて配置されている。左マイク1によって得られた左チャンネルの入力信号Lと、右マイク2によって得られた右チャンネルの入力信号Rとは、第1の和差回路3に入力される。第1の和差回路3は、両チャンネルの入力信号L、Rの和に1/√2を乗算した信号M(=(L+R)/√2)と、両チャンネルの入力信号L、Rの差に1/√2を乗算した信号S(=(R−L)/√2)とを出力する。
【0006】
信号Sは、ハイパスフィルタ4を介して、時定数τをもった利得等化器5に入力される。利得等化器5の特性は、1+1/(jωτ)である。信号Mは、ハイパスフィルタ4と同じ位相を有しかつ利得が1の移相器6に入力される。
【0007】
利得等化器5の出力信号S’と、移相器6の出力信号M’とは、第2の和差回路7に入力される。第2の和差回路7は、両信号S’、M’の差に1/√2を乗算した信号L’(=(M’−S’)/√2)と、両信号S’、M’の和に1/√2を乗算した信号R’(=(M’+S’)/√2)とを出力する。
【0008】
図1に示した音像制御回路では、マイク1、2に入力された信号の位相差をTとしたときに時定数τを変化させ、これによって出力信号L’、R’に振幅差を生じさせることにより、音像発生範囲を変化させている。ハイパスフィルタ4は、利得等化器5が低域では利得を生じるので、これを補正するために設けられている。また、ハイパスフィルタ4と利得等価器5とによって、信号S’と信号Mとの間に位相差が生じるので、それらの信号の位相差をなくすために、移相器6が挿入されている。
【0009】
この音像制御回路では、各チャンネル信号の振幅はそれぞれ対処的な方法で処理されているので、振幅成分に歪みが生じる。このため、得られる音声の品質は櫛形フィルタを通過したような響きのある音質となり、音の明瞭性に欠けるといった欠点を有していた。
【0010】
次に、従来のステレオ対向通話システムを、図2を用いて説明する。
【0011】
A対地とB対地とがステレオ対向通話システムを構成しているとすると、A対地の左マイク11および右マイク12は、それぞれB対地の右スピーカ24および左スピーカ23に接続され、B対地の左マイク21および右マイク22は、それぞれA対地の右スピーカ14および左スピーカ13に接続されている。
【0012】
この場合、A対地においてスピーカ13、14からマイク11、12に回り込む音響エコー経路によって複数のループが形成され、またB対地においてスピーカ23、24からマイク21、22に回り込む音響エコー経路によって複数のループが形成され、音量を上げるとエコーが発生し、さらに最悪の場合にはハウリングを生じることになる。
【0013】
図3は、エコー消去やハウリング防止のために、エコー消去装置を導入した場合のB対地側の構成を示している。
【0014】
ステレオ多対地用のエコー消去装置に関する参考文献としては、「藤井哲郎、島田正治:”多チャンネル適応ディジタルフィルタ”、電子通信学会論文誌、Vol.J69-1,No.10,pp.1226 〜1233,1986(10) 」がある。
【0015】
スピーカ24から放射された音波はマイク22、21に入射するので、その音響エコーを消去するために、音響エコー消去装置31、32がそれぞれ必要となる。同様に、スピーカ23から放射された音波はマイク21、22に入射するので、その音響エコーを消去するために、音響エコー消去装置33、34がそれぞれ必要となる。従って、総計4つの音響エコー消去装置が必要となる。
【0016】
図4および図5は、このステレオ対向通話システムを3対地間の通話システムに拡張した場合の構成例を示している。
【0017】
通常、このようなシステムでは、各対地において、他の対地の画像も送られて表示されることが多い。例えば、B対地においてA2 対地の画像が画面の左側に、A1 対地の画像が画面の右側に表示される。
【0018】
この例では、各対地での音響エコー消去装置の数を極力少なくするために、各対地毎に加算器71を設けて、各対地でのスピーカの数を減らしている。この場合には、図5に示すように、B対地においては、マイク61には3つのスピーカ63、64、65からの音響エコーが入射し、マイク62にもまた3つのスピーカ63、64、65からの音響エコーが入射するので、計6つの音響エコー消去装置72〜77が必要となる。
【0019】
このように、図3に示す対向通話システムでは1対地当たり音響エコー消去装置が4つ必要となり、また図5に示す3対地間の通話システムでは1対地当たり音響エコー消去装置が6つ必要となり、対地が1つ増加する毎に1対地当たりの音響エコー消去装置数が2ずつ増加することになる。つまり、対地数をnとすると、1対地当たりに必要な音響エコー消去装置の数は2nとなる。従って、このようなシステム構成では音響エコー消去装置の増加を招き、コストが嵩む。
【0020】
さらに、ステレオ対向通話システムでは受聴者にとって、通常2つのスピーカと受聴者とが正三角形の頂点に配置されることがもっとも望ましいとされている。図6は、図4のB対地におけるスピーカ配置と受聴者の位置関係の例を示している。図6において、ハッチングは、音像発生範囲を示している。
【0021】
3対地の例においては、図6に示すように、左右分離した位置にそれぞれ3つのスピーカ63、64、65を配置しなければならない。本来スピーカ65と64とは、中央の受聴者に対して開口角度60度の位置にあり、中央の受聴者とそれらのスピーカとが正三角形の頂点に配置されることが最も望ましいが、多対地ではA1 対地用の2つのスピーカ65、64とA2 対地用の2つのスピーカ63、64とを30度ずつ空間分割して配置しなければばらなくなる。
【0022】
このため、2つのスピーカ65、64を、受聴者に対して正面と右30度の位置に設置しなければならない。したがって、2つのスピーカを対称配置して受聴すべきところが、非対称配置して受聴せざるを得なくなる。このようなスピーカ配置に対する検討は既に、参考文献「高橋哲也、穂刈治英、島田正治”非対称スピーカ配置の音像定位感に関する一検討”、信学技法、EA96-55,pp.25-31,1996.10」でなされている。この参考文献では、スピーカ65、64を図6のように配置した場合には、音像定位はスピーカ65の方向に移動して知覚することが証明されている。従って、相手画像と一緒に形成されているシステムでは、画面に投影された相手画像の位置と音像の位置とが一致しなくなり、受聴者にとって奇異を感じてしまう。
【0023】
【発明が解決しようとする課題】
上述したように、従来技術であるブラムライン・シャッフル技術を用いると音質が劣化し、通話の明瞭性に欠けるという欠点がある。また、多対地間通話システムにステレオ対向通話システムを適用すると、音響エコー消去装置の必要台数が増加し、システムが高価となるとともに、音声にあわせて画像をも伝送するシステムの場合、音像定位位置と画像表示位置とが一致しなくなるという欠点がある。
【0024】
この発明は、音像範囲の伸縮・回転をディジタル信号処理により、実時間に近い処理で演算できかつ音質劣化がほとんどないステレオ音像制御装置を提供することを目的とする。
【0025】
また、この発明は、3以上の多対地間通話システムを各対地で2つのスピーカで実現せしめ、多数必要とした音響エコー消去装置を対向通話システムにおけるエコー消去装置と同数(4個)に減少させることができるステレオ音像制御装置を提供することを目的とする。
【0026】
【課題を解決するための手段】
請求項1に記載の発明は、ステレオ音像制御装置において、2つのマイクによって収音された2チャンネルのステレオディジタル信号を、それぞれ所定時間幅の時間信号として切り出す信号切出手段、信号切出手段によって切り出された各チャンネルの所定時間幅の信号を、それぞれ周波数軸の信号に変換する時間−周波数変換手段、時間−周波数変換手段によって得られる2チャンネルの信号間の位相の主値を算出する位相検出手段、時間−周波数変換手段によって得られる2チャンネルの信号、位相検出手段によって算出された2チャンネルの信号間の位相の主値およびあらかじめ設定された音場の伸縮率に基づいて、音像発生範囲を伸縮する音像伸縮手段、音像伸縮手段の出力あらかじめ設定された移動回転角度および上記2つのマイクの間隔に基づいて、音像を移動させる音像移動手段、音像移動手段から出力される各チャンネルの信号を、それぞれ時間軸の信号に変換する周波数−時間軸変換手段、ならびに周波数−時間軸変換手段によって得られる各チャンネルの所定時間幅の信号を、チャンネル信号毎に接続する合成手段を備えていることを特徴とする。
【0027】
請求項2に記載の発明は、ステレオ音像制御装置において、2つのマイクによって収音された2チャンネルのステレオ信号をそれぞれディジタル信号に変換するAD変換手段、AD変換手段によって得られた各チャンネルのディジタル信号を、それぞれ所定時間幅の時間信号として切り出す信号切出手段、信号切出手段によって切り出された各チャンネルの所定時間幅の信号を、それぞれ周波数軸の信号に変換する時間−周波数変換手段、時間−周波数変換手段によって得られる2チャンネルの信号間の位相の主値を算出する位相検出手段、時間−周波数変換手段によって得られる2チャンネルの信号、位相検出手段によって算出された2チャンネルの信号間の位相の主値およびあらかじめ設定された音場の伸縮率に基づいて、音像発生範囲を伸縮する音像伸縮手段、音像伸縮手段の出力あらかじめ設定された移動回転角度および上記2つのマイクの間隔に基づいて、音像を移動させる音像移動手段、音像移動手段から出力される各チャンネルの信号を、それぞれ時間軸の信号に変換する周波数−時間軸変換手段、ならびに周波数−時間軸変換手段によって得られる各チャンネルの所定時間幅の信号を、チャンネル信号毎に接続する合成手段を備えていることを特徴とする。
【0028】
請求項3に記載の発明は、多対地間通話システムにおける対地側装置において、通話相手対地毎に設けられたステレオ音像制御装置、各ステレオ音像制御装置から出力される左チャンネル信号を加算して第1のスピーカに出力する第1加算器、各ステレオ音像制御装置から出力される右チャンネル信号を加算して第2のスピーカに出力する第2加算器を備えており、各ステレオ音像制御装置としては請求項1に記載のものが用いられており、各ステレオ音像制御装置には、再生音像範囲が通話相手対地ごとに分割されるように、音場の伸縮率と移動回転角度が設定されていることを特徴とする。
【0029】
請求項4に記載の発明は、多対地間通話システムにおける対地側装置において、通話相手対地毎に設けられたステレオ音像制御装置、各ステレオ音像制御装置から出力される左チャンネル信号を加算して第1のスピーカに出力する第1加算器、各ステレオ音像制御装置から出力される右チャンネル信号を加算して第2のスピーカに出力する第2加算器を備えており、各ステレオ音像制御装置としては請求項2に記載のものが用いられており、各ステレオ音像制御装置には、再生音像範囲が通話相手対地ごとに分割されるように、音場の伸縮率と移動回転角度が設定されていることを特徴とする。
【0030】
【発明の実施の形態】
以下、図7〜図9を参照して、この発明の実施の形態について説明する。
【0031】
〔1〕ステレオ音像制御装置の構成の説明
【0032】
図7は、本発明のステレオ音像制御装置の構成を示している。
【0033】
左右2チャンネルの音声信号R、Lは、それぞれAD変換器81R 、81L に送られ、ディジタル信号に変換される。両チャンネルのディジタル信号は、それぞれ時間窓分解回路82R 、82L に入力される。
【0034】
各時間窓分解回路82R 、82L は、ある時間の長さごとにシフトしながら、入力信号に時間窓を乗じることにより、所定時間幅の信号を切り出す。切り出した各チャンネルの信号は、フーリエ変換(DFT)回路83R 、83L に入力される。各DFT回路83R 、83L は、入力された時間軸の信号を周波数軸の信号に変換する。
【0035】
各DFT回路83R 、83L から出力される周波数軸の信号XA R (ω) 、XA L (ω)は、2チャンネル間の位相差の主値(φ(ω)=Arg(XA R (ω)/ XA L (ω)) を求めるための位相検出回路84に入力される。
【0036】
位相検出回路84の出力Φ(ω)は、各DFT回路83R 、83L から出力される周波数軸の信号XA R (ω) 、XA L (ω)とともに、音像発生範囲を制御するための音像伸縮回路85に入力される。そして、音像伸縮回路85の出力は、音像発生位置を制御するための音像移動回路86に入力される。なお、音像伸縮回路85および音像移動回路86の構成については後述する。
【0037】
音像移動回路86から出力される2チャンネルの周波数軸の信号は、それぞれ逆フーリエ変換回路(IDFT)87R 、87L に送られ、時間軸の信号に変換される。各IDFT87R 、87L によって得られた所定時間幅の信号は、それぞれ時間窓合成回路88R 、88L に送られる。
【0038】
各時間窓合成回路88R 、88L は、入力する所定時間区切りの信号を時刻を併せて合成する。各時間窓合成回路88R 、88L によって得られたディジタル信号は、それぞれDA変換器89R 、89L に送られ、アナログ信号R',L’に変換されて出力される。
【0039】
〔2〕ステレオ音像制御装置の基本的な動作原理の説明
【0040】
ステレオ音像制御装置の基本的な動作原理について説明する。以下の説明において、明細書で用いられる記号 " smal " 、" *" および" ∧" は、次のような規則に基づいて使用されているものとする。
【0041】
" smal " :ギリシア文字を添字として使用する場合に、そのギリシア文字の前にこの記号 smal を付す。例えば、文字Hにαを添字として付ける場合には、Hsmalαと表現する。
【0042】
" *" :ゴシック体の文字(ベクトルを表す文字)を表す場合に、その文字の前側にこの記号*を付す。例えば、文字hがゴシック体である場合には、*hと表現する。
【0043】
" ∧" : 上側にハットが付けられている文字については、その文字の前側にこの号∧を付す。例えば、文字Hの上側にハットが付けられている場合には、∧Hと表現する。
【0044】
図8は、音像の伸縮移動回転を理論的に説明するための図である。図8において、1、2は左右のマイクであり、Sは音源信号をフーリエ変換したものを表している。
【0045】
自由音場において、理想的な点音源と音響的に透明な無指向性のマイクとを想定すると、音源からマイクまでの音圧の伝達特性は、伝搬遅延とレベル減衰のみの特性に近似できる。これを伝達関数で表現すると次式(1)で与えられる。
【0046】
【数1】
Figure 0003905364
【0047】
ここで、uは点音源からマイクまでの距離〔m〕、cは音速である。伝搬特性が上記式(1)で与えられる場合、図8において、音源の位置情報は、2個のマイク1、2への音波の到達時間差と、2個のマイク1、2の存在する位置でのレベル減衰の差として表現されることになる。
【0048】
図8(a)に示すように、音源の位置が、両マイク1、2間の中心位置までの距離u>0と、両マイク1、2間の中心位置に対する入射角度α∈[−π/2,π/2]によって規定される座標系を考える。このような座標系において、音源から2個のマイク1、2までの音圧の伝達関数*hsmalα=(Hsmalα R,Hsmalα LT は、2つのマイク1、2間の中心を原点として考えると、その相対的な伝搬遅延から、次式(2)のように表現できる。
【0049】
【数2】
Figure 0003905364
【0050】
音場に音源が1つしかないとすれば、マイク1、2への入力信号*xsmalα=(XsmalαR , smalαL T は、次式(3)に示すようになる。
【0051】
【数3】
Figure 0003905364
【0052】
ここで、Sは上述したように音源の信号をフーリエ変換したものを示している。上記式(2)、(3)より、2個のマイク1、2への入力信号は、入射角度αに依存した時間差を持つことがわかる。また、音源がマイク1、2から遠方にある場合には、2個のマイク1、2への入力信号は、レベル差を持たないことがわかる。
【0053】
すなわち、音源の位置情報は、ほとんどの場合、時間差に集約されることがわかる。ここでさらに、上記式(2)においてsin αを−π/2からπ/2まで直線近似すると、時間差τsmalαと入射角度αは、次式(4)に示すように、線形の関係とみなすことができる。
【0054】
【数4】
Figure 0003905364
【0055】
標準的なステレオ受聴において、ステレオ信号の時間差と知覚される音像位置との関係は、信号の種類によって若干変化するものの、大まかに言えば、音像位置は、信号が早く放射されたスピーカの方に知覚され、時間差が大きくなればなるほどその偏りが大きくなる。
【0056】
このような知見と上記式(4)とを考慮すると、入射角度αの変化は、再生側の音像定位の変化に、ほぼ直線的に対応すると考えられる。
【0057】
以上の考察に基づき、この入射角度αを、2個のマイク1、2で集音される音場の位置を表現する1次元パラメータとする。
【0058】
次に音場の伸縮と移動を、次式(5)で示すαからβへの入射角度の変換で定義する。ここでβは、仮想音場での音源の位置(入射角度)を示している。
【0059】
【数5】
Figure 0003905364
【0060】
ここで、κ(=θsmalβ/θsmalα)は音場の伸縮率で、θは音場の移動量(移動回転角度)である。つまり、収音側の音源位置を移動させた仮想音場を創成することで、再生側の音像発生範囲を制御する。
【0061】
図8は原音場座標系から仮想音場座標系への変換のイメージを示している。上記式(4)の近似を用いれば、上記式(5)に示される入射角の変換は、上記式(2)で示される原音場の伝達関数*hsmalαを次式(6)に示すような仮想音場の伝達関数*hsmalβ=(HsmalβR , smalβ LT に変換することに等しい。
【0062】
【数6】
Figure 0003905364
【0063】
ここで、τsmalβは、次式(7)で表される。
【0064】
【数7】
Figure 0003905364
【0065】
上記式(6)の変換は、次式(8)のように表現できる。
【0066】
【数8】
Figure 0003905364
【0067】
ここで、*Tsmalθは次式(9)で表され、Ksmalκ{*hsmalα}は、次式(10)で表される。
【0068】
【数9】
Figure 0003905364
【0069】
すなわち、音場の伸縮は伝達関数*hsmalαの線形スケーリングKsmalκ{*hsmalα}で実現され、音像の移動は線形スケーリングした伝達関数Ksmalκ{*hsmalα}を*Tsmalθで線形変換することで実現される。
【0070】
音場に音源がN個あって、その音源をSk (k=1,2,…N)とし、これらの音源から左右マイクまでの原音場における伝達関数を*hsmalαk =(Hsmalαk R , smalαk L T とすれば、原音場を録音した場合のマイクへの入力信号*xA =(XA R , X A L ) T は次式(11)のようになる。
【0071】
【数10】
Figure 0003905364
【0072】
ここで、*hA および*sは、次式(12)で表される。
【0073】
【数11】
Figure 0003905364
【0074】
同様に、N個の音源Sk ( k=1,2,…N)から左右マイクまでの仮想音場における伝達関数を*hsmalβk =(Hsmalβk R , Hsmalβk L T とすれば、仮想音場を録音した場合のマイクへの入力信号*xB =(XB R , X B L ) T は次式(13)のようになる。
【0075】
【数12】
Figure 0003905364
【0076】
ここで、*hB は、次式(14)で表される。
【0077】
【数13】
Figure 0003905364
【0078】
仮想音場の伝達関数*hsmalβk =(Hsmalβk R , Hsmalβk L T ( k=1,2,…N)は原音場の伝達関数*hsmalαk =(Hsmalαk R , smalαk L T を、それぞれ上記式(8)のように変換したものであるから、*hB は次式(15)のように表すことができる。
【0079】
【数14】
Figure 0003905364
【0080】
ここで、Ksmalκ{*hA }は、次式(16)で表される。
【0081】
【数15】
Figure 0003905364
【0082】
従って、仮想音場を録音した場合のマイクへの入力信号*xB =(XB R , XB L ) T も、次式(17)のように表すことができる。
【0083】
【数16】
Figure 0003905364
【0084】
すなわち、音場に複数の音源が存在する場合における仮想音場創成の問題は、上記式(11)の入力信号から上記式(17)を得る問題に帰着する。
【0085】
従って、最初に*hA ・*sからKsmalκ{*hA }・*sのような変換を行い、その次に回転移動の*Tsmalθをベクトルに掛け合わせればよい。そこで、図7に示す音像制御回路では、音像伸縮回路85が音像移動回路86の前段に設けられているのである。
【0086】
つまり、音像伸縮回路85は、*hA ・*sからKsmalκ{*hA }・*sのような変換を行う。その後、音像移動回路86は、音像伸縮回路85の出力信号に*Tsmalθを乗算する。なお、音像伸縮回路85には、音場の伸縮率κが予め設定される。また、音像移動回路86には、移動回転角θが予め設定される。
【0087】
〔3〕音像伸縮回路85の説明
音像伸縮回路85は、乗算器101R 、101L 、102R 、102L 、103R 、103L 、104R 、104L 、105R 、105L 、106R 、106L 、107R 、107L 、演算器102R 、102L 、103R 、103L および加算器108R 、108L から構成されている。
【0088】
乗算器101R は、位相検出回路84の出力Φ(ω)に(1+κ)/2を乗算する。乗算器101L は、位相検出回路84の出力Φ(ω)に(1−κ)/2を乗算する。
【0089】
演算器102R は、乗算器101L の出力qを用いて、e-jq を演算する。演算器103R は、乗算器101R の出力pを用いて、e-jp を演算する。演算器102L は、乗算器101R の出力pを用いて、e+jp を演算する。演算器103L は、乗算器101L の出力qを用いて、e+jq を演算する。
【0090】
乗算器104R は、DFT83R の出力XA R (ω)にe-jq を乗算する。乗算器105R は、DFT83R の出力XA R (ω)にe-jp を乗算する。乗算器104L は、DFT83L の出力XA L (ω)にe+jp を乗算する。乗算器105L は、DFT83L の出力XA L (ω)にe+jq を乗算する。
【0091】
乗算器106R は、乗算器104R の出力 XA R (ω)・e-jq に(1+κ)/2を乗算する。乗算器107R は、乗算器105R の出力 XA R (ω)・e-jp に(1−κ)/2を乗算する。乗算器106L は、乗算器104L の出力XA L (ω)・e+jp に(1−κ)/2を乗算する。乗算器107L は、乗算器105L の出力 XA L (ω)・e+jq に(1+κ)/2を乗算する。
【0092】
加算器108R は、乗算器106R の出力XA R (ω)・{(1+κ)/2}・e-jq と、乗算器106L の出力XA L (ω)・{(1−κ)/2}・e+jp とを加算する。加算器108L は、乗算器107R の出力XA R (ω)・{(1−κ)/2}・e-jp と、乗算器107L の出力XA L (ω)・{(1+κ)/2}・e+jq とを加算する。
【0093】
音像伸縮回路85の動作原理について説明する。
【0094】
上記式(17)の伸縮の項、すなわち、{*hA }・*sからKsmalκ{*hA }・*sへの変換は*hA と*sの情報を必要とするために、実現が困難であるので近似を考えることにする。
【0095】
この変換は伝達関数*ha の変換である。例えば、複数の音源が存在する場合の入力信号*xA を2行2列の行列*Kで線形変換すると、次式(18)が得られる。
【0096】
【数17】
Figure 0003905364
【0097】
これは、次式(19)に示すように、原音場における複数の伝達関数をそれぞれ線形変換することと等価である。
【0098】
【数18】
Figure 0003905364
【0099】
上記式(19)において、∧*hB は、次式(20)で表される。
【0100】
【数19】
Figure 0003905364
【0101】
この実施の形態における音像伸縮回路85では、伝達関数の式(10)の線形スケーリングを厳密に行う代わりに、インパルス応答におけるエネルギーの中心の平均、つまり平均時間の変換で代用している。このような変換は後で示すように線形変換で実現できるが、左右信号の干渉によりスペクトル構造に変化を与えてしまうため、音色が変化する。そこで、ステレオ信号の全体的な音色を変化させないために、この線形変換を信号に依存して適応的に処理する。
【0102】
今、行列*Ksmalκ, smalΦにより、伝達関数*hsmalαを∧*hsmalβ=(∧HsmalβR , ∧HsmalβL ) へ変換することを考えると、この変換は次式(21)で表される。
【0103】
【数20】
Figure 0003905364
【0104】
ここで、*Ksmalκ, smalΦは次式(22)、(23)で表される。
【0105】
【数21】
Figure 0003905364
【0106】
なお、図7の音像伸縮回路85は上記式(18)の演算を行っている。式(18)の*Kとしては式(22)の*Ksmalκ,smal Φが用いられる。つまり、音像伸縮回路85内の乗算器101R は、{(1+κ)/2}×Φ(ω)=aΦ(ω)=pを、つまり、式(22)内のaΦ(ω)を算出している。同様に、乗算器101L は、{(1−κ)/2}×Φ(ω)=bΦ(ω)=qを、つまり、式(22)内のbΦ(ω)を算出している。
【0107】
演算器102R はexp(−jq) =exp(−jbΦ(ω)) を、演算器103R はexp(−jp) =exp(−jaΦ(ω)) を、演算器102L はexp(jp)=exp(jaΦ(ω)) を、演算器103L はexp(jq)=exp(jbΦ(ω)) を、それぞれ演算している。
【0108】
乗算器104R はXA R (ω)・exp(−jq) =XA R (ω)・exp(−jbΦ(ω)) を、乗算器105R はXA R (ω)・exp(−jp) =XA R (ω)・exp(−jaΦ(ω)) を、乗算器104L はXA L (ω)・exp(jp)=XA L (ω)・exp(jaΦ(ω)) を、乗算器105L はXA L (ω)・exp(jq)=XA L (ω)・exp(jbΦ(ω)) を、それぞれ演算している。
【0109】
乗算器106R はXA R (ω)・aexp(−jbΦ(ω)) を、乗算器107R はXA R (ω)・bexp(−jaΦ(ω)) を、乗算器106L はXA L (ω)・bexp(jaΦ(ω)) を、乗算器107L はXA L (ω)・aexp(jbΦ(ω)) を、それぞれ演算している。
【0110】
加算器108R は、XA R (ω)・aexp(−jbΦ(ω)) +XA L (ω)・bexp(jaΦ(ω)) =∧XB R (ω)を、加算器108L は、XA R (ω)・bexp(−jaΦ(ω)) +XA L (ω)・aexp(jbΦ(ω)) =∧XB L (ω)を、それぞれ演算している。
【0111】
〔4〕音像移動回路86の説明
音像移動回路86は、音像伸縮回路85内の加算器108R の出力∧XB R (ω)にexp (jdθω/2c π) を乗算する乗算器111R と、音像伸縮回路85内の加算器108L の出力∧XB L (ω)にexp (−jdθω/2c π) を乗算する乗算器111L とから構成されている。
【0112】
音像移動回路86の動作原理について説明する。
【0113】
音像移動回路86内の乗算器111R は、音像伸縮回路85から出力される右チャンネルの信号∧XB R (ω)にexp j(dθω/2cπ)の演算を行っている。また、音像移動回路86内の乗算器111L は、音像伸縮回路85から出力される左チャンネルの信号∧XB L (ω)にexp −j(dθω/2cπ)の演算を行っている。
【0114】
つまり、音像移動回路86は、音像伸縮回路85の出力信号に式(9)で表される*Tsmalθを乗算している。
【0115】
〔5〕音像伸縮回路85および音像移動回路86によって音像を制御しても、音色が変化しないことについての説明
【0116】
∧HsmalβR 、∧HsmalβL それぞれの平均時間<t>smalβR 、<t>smalβL を解析的に求めると、次式(24)、(25)で示すようになる。
【0117】
【数22】
Figure 0003905364
【0118】
ここで、次式(26)に示すような近似を行えば、上記式(24)は次式(27)に示すように簡単化できる。
【0119】
【数23】
Figure 0003905364
【0120】
【数24】
Figure 0003905364
【0121】
したがって、次式(28)が成り立てば、次式(29)が得られる。
【0122】
【数25】
Figure 0003905364
【0123】
【数26】
Figure 0003905364
【0124】
すなわち、Φ(ω)の導関数の平均がτsmalαであれば、平均時間の差は元の時間差のκ倍となる。
【0125】
また、次式(30)が成り立てば、次式(31)が得られる。
【0126】
【数27】
Figure 0003905364
【0127】
【数28】
Figure 0003905364
【0128】
すなわち、Φ(ω)の導関数の平均が0であれば、平均時間の差は元の時間差の2κ/(1+κ2 )倍となる。
【0129】
上記式(28)の条件は、音源が少なくて他からの干渉が僅かなときに満たされると考えられる。また、上記式(30)の条件は、音源数が無限で、Φ(ω)が周波数軸上でランダムに変化し、[ −π,π] の範囲の値を一様にとるときに満たされると考えられる。したがって、この実施の形態では、音源が少なければ、音場の縮小と拡大とを実現することができる。また、音源が多いときでも、音場の縮小であれば実現できる。
【0130】
上記変換前と変換後の振幅は、次式(32)、(33)で示すように、線形補間の関係となる。
【0131】
【数29】
Figure 0003905364
【0132】
したがって、聴覚の音色知覚が短時間スペクトルの振幅に対応しているとすれば、上記実施の形態による処理によって音色変化は発生しない。
【0133】
〔6〕多対地間通話システムに上記音像制御装置を適用した場合の説明
【0134】
図9は、多対地間通話システムに上記音像制御装置を適用した場合の対地側装置の構成を示している。すなわち、複数の対地A1,2,…An からのステレオ2チャンネル信号をB対地で音像再生するためのB対地側装置の構成を示している。
【0135】
各通話相手対地(A1,2,…An )からのステレオ2チャンネル信号Q_i (i=1,2,…n)は、それぞれ対応する音像制御装置200_iに入力される。各音像制御装置200_iは、B対地において2チャンネルのスピーカ203、204間の空間が他の通話対地(A1,2,…An )毎に分割されるように、対応する他の対地(A1,2,…An )からの音像発生範囲を伸縮移動させる。つまり、B対地において2チャンネルのスピーカ203、204間の空間が他の通話対地(A1,2,…An )毎に分割されるように、各音像制御装置200_iには、伸縮率κと移動回転角度θとが予め設定されている。
【0136】
各音像制御装置200_iから出力される右チャンネル信号R’は加算器201によって加算されて、左スピーカ203に送られる。同様に、各音像制御装置200_iから出力される左チャンネル信号L’は加算器202によって加算され、右スピーカ204に送られる。
【0137】
このようにB対地においては、通常の2チャンネルステレオと同様に2つのスピーカ203、204を設けるだけでよいので、図2に示したステレオ対向通話システムと同じように音響エコー消去装置を4つだけ設ければよく、経済的な負担が軽減される。
【0138】
【発明の効果】
この発明によれば、音像範囲の伸縮・回転をディジタル信号処理により、実時間に近い処理で演算できかつ音質劣化がほとんどない音像制御装置が実現する。
【0139】
また、この発明によれば、3以上の多対地間通話システムを各対地で2つのスピーカで実現せしめ、多数必要とした音響エコー消去装置を対向通話システムにおけるエコー消去装置と同数(4個)に減少させることができるようになる。
【図面の簡単な説明】
【図1】ブラムライン・シャッフリングと呼ばれる動作原理を用いて音像を伸縮させるための回路の構成を示すブロック図である。
【図2】従来のステレオ対向通話システムの構成を示す模式図である。
【図3】図2のステレオ対向通話システムにおいて、エコー消去やハウリング防止のために、エコー消去装置を導入した場合のB対地側の構成を示すブロック図である。
【図4】ステレオ対向通話システムを3対地間の通話システムに拡張した場合の構成例を示す模式図である。
【図5】図4の3対地間の通話システムにおいて、エコー消去やハウリング防止を行うために、エコー消去装置を導入した場合のB対地側の構成を示すブロック図である。
【図6】図4のB対地におけるスピーカ配置と受聴者の位置関係の例を示す模式図である。
【図7】本発明のステレオ音像制御装置の構成を示すブロック図である。
【図8】音像の伸縮移動回転を理論的に説明するための図である。
【図9】多対地間通話システムに図7の音像制御装置を適用したときの対地側装置の構成を示すブロック図である。
【符号の説明】
81R 、81L AD変換器
82R 、82L 時間窓分解回路
83R 、83L フーリエ変換(DFT)回路
54 位相検出回路
85 音像伸縮回路
86 音像移動回路
87R 、87L 逆フーリエ変換回路(IDFT)
88R 、88L 時間窓合成回路
89R 、89L DA変換器

Claims (4)

  1. 2つのマイクによって収音された2チャンネルのステレオディジタル信号を、それぞれ所定時間幅の時間信号として切り出す信号切出手段、
    信号切出手段によって切り出された各チャンネルの所定時間幅の信号を、それぞれ周波数軸の信号に変換する時間−周波数変換手段、
    時間−周波数変換手段によって得られる2チャンネルの信号間の位相の主値を算出する位相検出手段、
    時間−周波数変換手段によって得られる2チャンネルの信号、位相検出手段によって算出された2チャンネルの信号間の位相の主値およびあらかじめ設定された音場の伸縮率に基づいて、音像発生範囲を伸縮する音像伸縮手段、
    音像伸縮手段の出力あらかじめ設定された移動回転角度および上記2つのマイクの間隔に基づいて、音像を移動させる音像移動手段、
    音像移動手段から出力される各チャンネルの信号を、それぞれ時間軸の信号に変換する周波数−時間軸変換手段、ならびに
    周波数−時間軸変換手段によって得られる各チャンネルの所定時間幅の信号を、チャンネル信号毎に接続する合成手段、
    を備えているステレオ音像制御装置。
  2. 2つのマイクによって収音された2チャンネルのステレオ信号をそれぞれディジタル信号に変換するAD変換手段、
    AD変換手段によって得られた各チャンネルのディジタル信号を、それぞれ所定時間幅の時間信号として切り出す信号切出手段、
    信号切出手段によって切り出された各チャンネルの所定時間幅の信号を、それぞれ周波数軸の信号に変換する時間−周波数変換手段、
    時間−周波数変換手段によって得られる2チャンネルの信号間の位相の主値を算出する位相検出手段、
    時間−周波数変換手段によって得られる2チャンネルの信号、位相検出手段によって算出された2チャンネルの信号間の位相の主値およびあらかじめ設定された音場の伸縮率に基づいて、音像発生範囲を伸縮する音像伸縮手段、
    音像伸縮手段の出力あらかじめ設定された移動回転角度および上記2つのマイクの間隔に基づいて、音像を移動させる音像移動手段、
    音像移動手段から出力される各チャンネルの信号を、それぞれ時間軸の信号に変換する周波数−時間軸変換手段、ならびに
    周波数−時間軸変換手段によって得られる各チャンネルの所定時間幅の信号を、チャンネル信号毎に接続する合成手段、
    を備えているステレオ音像制御装置。
  3. 多対地間通話システムにおける対地側装置において、通話相手対地毎に設けられたステレオ音像制御装置、各ステレオ音像制御装置から出力される左チャンネル信号を加算して第1のスピーカに出力する第1加算器、各ステレオ音像制御装置から出力される右チャンネル信号を加算して第2のスピーカに出力する第2加算器を備えており、各ステレオ音像制御装置としては請求項1に記載のものが用いられており、各ステレオ音像制御装置には、再生音像範囲が通話相手対地ごとに分割されるように、音場の伸縮率と移動回転角度が設定されていることを特徴とする多対地間通話システムにおける対地側装置。
  4. 多対地間通話システムにおける対地側装置において、通話相手対地毎に設けられたステレオ音像制御装置、各ステレオ音像制御装置から出力される左チャンネル信号を加算して第1のスピーカに出力する第1加算器、各ステレオ音像制御装置から出力される右チャンネル信号を加算して第2のスピーカに出力する第2加算器を備えており、各ステレオ音像制御装置としては請求項2に記載のものが用いられており、各ステレオ音像制御装置には、再生音像範囲が通話相手対地ごとに分割されるように、音場の伸縮率と移動回転角度が設定されていることを特徴とする多対地間通話システムにおける対地側装置。
JP2001366148A 2001-11-30 2001-11-30 ステレオ音像制御装置および多対地間通話システムにおける対地側装置 Expired - Fee Related JP3905364B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001366148A JP3905364B2 (ja) 2001-11-30 2001-11-30 ステレオ音像制御装置および多対地間通話システムにおける対地側装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001366148A JP3905364B2 (ja) 2001-11-30 2001-11-30 ステレオ音像制御装置および多対地間通話システムにおける対地側装置

Publications (2)

Publication Number Publication Date
JP2003169399A JP2003169399A (ja) 2003-06-13
JP3905364B2 true JP3905364B2 (ja) 2007-04-18

Family

ID=19176091

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001366148A Expired - Fee Related JP3905364B2 (ja) 2001-11-30 2001-11-30 ステレオ音像制御装置および多対地間通話システムにおける対地側装置

Country Status (1)

Country Link
JP (1) JP3905364B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019065447A1 (ja) * 2017-09-29 2019-04-04 Kddi株式会社 音響信号のミキシング装置及びコンピュータ可読記憶媒体
US11356774B2 (en) 2018-09-27 2022-06-07 Kddi Corporation Acoustic signal mixing apparatus and non-transitory computer readable storage medium

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101158709B1 (ko) * 2004-09-06 2012-06-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 신호 강화
JP4594681B2 (ja) * 2004-09-08 2010-12-08 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP4495704B2 (ja) * 2006-08-29 2010-07-07 日本電信電話株式会社 音像定位強調再生方法、及びその装置とそのプログラムと、その記憶媒体
CN101960866B (zh) * 2007-03-01 2013-09-25 杰里·马哈布比 音频空间化及环境模拟
JP6087760B2 (ja) * 2013-07-29 2017-03-01 日本電信電話株式会社 音場収音再生装置、方法及びプログラム
JP6931296B2 (ja) * 2017-06-05 2021-09-01 キヤノン株式会社 音声処理装置及びその制御方法
US20210185174A1 (en) * 2018-07-27 2021-06-17 Sharp Kabushiki Kaisha Call terminal, call system, control method of call terminal, and non-transitory recording medium
JP7212747B2 (ja) * 2019-03-06 2023-01-25 Kddi株式会社 音響信号の合成装置及びプログラム
JP7065801B2 (ja) * 2019-03-06 2022-05-12 Kddi株式会社 音響信号の合成装置及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019065447A1 (ja) * 2017-09-29 2019-04-04 Kddi株式会社 音響信号のミキシング装置及びコンピュータ可読記憶媒体
JP2019068210A (ja) * 2017-09-29 2019-04-25 Kddi株式会社 音響信号のミキシング装置及びプログラム
US10951984B2 (en) 2017-09-29 2021-03-16 Kddi Corporation Acoustic signal mixing device and computer-readable storage medium
US11356774B2 (en) 2018-09-27 2022-06-07 Kddi Corporation Acoustic signal mixing apparatus and non-transitory computer readable storage medium

Also Published As

Publication number Publication date
JP2003169399A (ja) 2003-06-13

Similar Documents

Publication Publication Date Title
EP3320692B1 (en) Spatial audio processing apparatus
EP1832104B1 (en) Audio system and method for acoustic echo cancellation
Jot et al. Digital signal processing issues in the context of binaural and transaural stereophony
JP6466968B2 (ja) インフォームド空間のフィルタリングに基づく矛盾しない音響場面再生のためのシステムおよび装置および方法
US4118599A (en) Stereophonic sound reproduction system
EP0434691B1 (en) Improvements in or relating to sound reproduction systems
JP4986857B2 (ja) パンされたステレオオーディオコンテンツについての改善された頭部伝達関数
WO1997030566A1 (en) Sound recording and reproduction systems
JP2010109579A (ja) 音響出力素子アレイ及び音響出力方法
EP1282335B1 (en) Sound reproduction device
EP1700465B1 (en) System and method for enchanced subjective stereo audio
US8488820B2 (en) Spatial audio processing method, program product, electronic device and system
JP3905364B2 (ja) ステレオ音像制御装置および多対地間通話システムにおける対地側装置
JPH10136497A (ja) 音像定位装置
JP2000333297A (ja) 立体音生成装置、立体音生成方法及び立体音を記録した媒体
JP2009219101A (ja) 音響出力素子アレイ及び音響出力方法
JP3090416B2 (ja) 音像制御装置及び音像制御方法
JPH0746700A (ja) 信号処理装置及びこれを使用した音場処理装置
US11665498B2 (en) Object-based audio spatializer
US11924623B2 (en) Object-based audio spatializer
WO2023210699A1 (ja) 音声生成装置、音声再生装置、音声生成方法、及び音声信号処理プログラム
JP2766887B2 (ja) 反響消去装置
JP2002262385A (ja) 音像定位信号の生成方法、及び音像定位信号生成装置
JPH09307999A (ja) 音場拡大装置
JP2023164284A (ja) 音声生成装置、音声再生装置、音声生成方法、及び音声信号処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070111

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees