JP5086768B2 - 通話装置 - Google Patents

通話装置 Download PDF

Info

Publication number
JP5086768B2
JP5086768B2 JP2007271640A JP2007271640A JP5086768B2 JP 5086768 B2 JP5086768 B2 JP 5086768B2 JP 2007271640 A JP2007271640 A JP 2007271640A JP 2007271640 A JP2007271640 A JP 2007271640A JP 5086768 B2 JP5086768 B2 JP 5086768B2
Authority
JP
Japan
Prior art keywords
sound
unit
dead point
output
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007271640A
Other languages
English (en)
Other versions
JP2009100372A (ja
Inventor
実 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007271640A priority Critical patent/JP5086768B2/ja
Publication of JP2009100372A publication Critical patent/JP2009100372A/ja
Application granted granted Critical
Publication of JP5086768B2 publication Critical patent/JP5086768B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)

Description

本発明は、通話装置に関するものである。
従来から、音声が変換された電気信号である音声信号を音声に変換する受話部と、音声を音声信号に変換する送話部と、送話部が出力した音声信号を増幅して外部に出力するとともに外部から入力された音声信号を増幅して受話部に入力する入出力部とを備える通話装置が、例えばインターホンシステムに用いられている。
この種の通話装置では、受話部から出力された音声が送話部に入力されて音声信号として入出力部で増幅され受話部から再び音声として出力されるというループで発生する発振により異常な音が発生する、いわゆるハウリングと呼ばれる現象を抑制する必要がある。
そして、ハウリングの発生を抑えるために、図7に示すように、スピーカーからなる受話部1に近接配置され主に受話部1から出力された音が入力される第1のマイクロホンM1と、第1のマイクロホンよりも受話部1から離れた位置に配置され話者の音声が受話部1からの音とともに入力される第2のマイクロホンM2と、第2のマイクロホンの出力M2から第1のマイクロホンの出力M1と共通する成分を低減させることにより受話部1の出力の寄与を低減した音声信号を生成する音声処理部(図示せず)とで送話部を構成した通話装置が提案されている(例えば、特許文献1参照)。
上記の通話装置によれば、受話部1の出力した音声に対応する成分が音声信号から除去されることになるから、ハウリングの発生は抑制される。
特開2007−151135号公報
しかし、第1のマイクロホンM1の出力には、音声信号に含むべき話者の音声も含まれるため、上記の通話装置では受話部1で発生した音だけでなく話者の音声まで抑制されることになり、結果として通話の音質が低下してしまうという問題があった。
また、本発明者の実験によれば、上記方法により音声信号において受話部1からの音に対応する成分が抑制される程度は、音の周波数に依存することが判明している。
本発明は、上記事由に鑑みて為されたものであり、その目的は、ハウリングを抑制しながらも音質を向上することができる通話装置を提供することにある。
請求項1の発明は、音声が変換された電気信号である音声信号を音声に変換する受話部と、音声を音声信号に変換する送話部と、送話部が出力した音声信号を増幅して外部に出力するとともに外部から入力された音声信号を増幅して受話部に入力する入出力部と、受話部と送話部とがそれぞれ固定されたハウジングとを備える通話装置であって、送話部は、入射した音の音圧と前記音圧の時間微分値と二次元直交座標系の各軸方向についての前記音圧の空間微分値とをそれぞれ出力する受音手段と、受音手段が出力した音圧と時間微分値と空間微分値とを用いて時空間勾配法による所定の不感点形成処理を行うことにより感度が最小となる不感点が受話部の位置に形成されるような音声信号を生成して入出力部へ出力する送話信号生成手段とを有し、送話部は、動作モードの切換の指示が入力される指示入力手段を有し、送話信号生成手段は、指示入力手段に入力された指示に応じて、受話部の位置に不感点を形成する不感点形成モードに加えて、受音手段が出力した音圧と時間微分値と空間微分値とを用いた時空間勾配法により予め設定された目標位置に不感点を形成するように生成された音声信号と、受音手段が出力した音圧のみに基いた音声信号とを用い、前記目標位置近傍の音源からの音による音圧を選択的に反映した音声信号を生成して出力する集音エリア形成モードにも、動作モードを切換可能であることを特徴とする。
この発明によれば、ハウリングを抑制しながらも、時空間勾配法を用いない場合に比べて音質を向上することができる。また、この発明によれば、話者の位置を目標位置として不感点形成モードで動作させることにより、話者の周囲の雑音が音声信号に与える影響を低減することができる。
請求項2の発明は、請求項1の発明において、送話部は、送話部の受音手段の位置に対する受話部の相対的な位置が入力される位置入力手段と、位置入力手段に位置が入力されたときに、音声信号において形成される不感点の位置が位置入力手段に入力された位置となるように、送話信号生成手段が不感点形成処理に用いるべきパラメータを演算するとともに、送話信号生成手段が不感点形成処理に用いるパラメータを、前記演算によって得られたパラメータに更新させるパラメータ演算手段とを有することを特徴とする。
この発明によれば、位置入力手段に位置を入力することにより、送話部と受話部との位置関係が異なる複数種類の通話装置で送話部を共用可能となる。
請求項3の発明は、請求項1又は請求項2の発明において、送話部は1個の半導体チップに構成されていることを特徴とする。
この発明によれば、送話部を構成する受音手段や送話信号生成手段を個々の部品で構成する場合に比べて小型化が可能となる。
請求項4の発明は、請求項1〜3のいずれかの発明において、送話部の少なくとも受音部と受話部とがそれぞれ固定されるとともにハウジングに固定されたケースを備えることを特徴とする。
この発明によれば、製造時には、送話部の少なくとも受音部と受話部とがそれぞれケースに固定されたものを1個の通話モジュールとして扱うことにより、受話部と送話部の受音部との位置関係が共通する複数種類の通話装置で、通話モジュールを構成する部品や、通話モジュールの製造用の製造設備を共用とし、製造コストを低減することができる。
請求項5の発明は、請求項1〜4のいずれかの発明において、受音手段は、通話装置のハウジングに対して直接的又は間接的に固定される被支持部及び被支持部に対しジンバル構造を介して揺動可能に支持され音圧を受ける振動部とを有する振動板と、それぞれ振動板の互いに異なる箇所に設けられて振動板の振動部が入射した音の音圧により受けた力を電気信号に変換する複数個の音圧検出部と、複数個の音圧検出部の出力を用いて音圧と空間微分値と時間微分値とを得る時空間勾配測定処理部とを有することを特徴とする。
請求項6の発明は、請求項1〜4のいずれかの発明において、受音手段は、矩形の頂点の配置で設けられそれぞれ入射した音の音圧を電気信号に変換する4個のマイクロホンと、各マイクロホンの出力を用いた演算により音圧と空間微分値と時間微分値とを得る時空間勾配測定処理部とを有することを特徴とする。
請求項7の発明は、請求項1〜6のいずれかの発明において、送話部は、動作モードの切換の指示が入力される指示入力手段を有し、送話信号生成手段は、指示入力手段に入力された指示に応じて、受話部の位置に不感点を形成する不感点形成モードに加えて、不感点形成処理を行わず受音手段が出力した音圧のみに基いた音声信号を生成する無指向性モードにも、動作モードを切換可能であることを特徴とする。
この発明によれば、ハウリングが発生するおそれがない場合には動作モードを無指向性モードに切り換えることにより、音源の位置に関わりなく受音手段に入力される全ての音声を出力可能とし、また、損失を低減して音質を向上することができる。
請求項1の発明によれば、送話部が、入射した音の音圧と前記音圧の時間微分値と二次元直交座標系の各軸方向についての前記音圧の空間微分値とをそれぞれ出力する受音手段と、受音手段が出力した音圧と時間微分値と空間微分値とを用いて時空間勾配法による所定の不感点形成処理を行うことにより感度が最小となる不感点が受話部の位置に形成されるような音声信号を生成して入出力部へ出力する送話信号生成手段とを有するので、ハウリングを抑制しながらも、時空間勾配法を用いない場合に比べて音質を向上することができる。また、請求項1の発明によれば、受音手段が出力した音圧と時間微分値と空間微分値とを用いた時空間勾配法により予め設定された目標位置に不感点を形成するように生成された音声信号と、受音手段が出力した音圧のみに基いた音声信号とを用い、前記目標位置近傍の音源からの音による音圧を選択的に反映した音声信号を生成して出力する集音エリア形成モードにも、動作モードを切換可能であるので、話者の位置を目標位置として不感点形成モードで動作させることにより、話者の周囲の雑音が音声信号に与える影響を低減することができる。
請求項2の発明によれば、送話部は、送話部の受音手段の位置に対する受話部の相対的な位置が入力される位置入力手段と、位置入力手段に位置が入力されたときに、音声信号において形成される不感点の位置が位置入力手段に入力された位置となるように、送話信号生成手段が不感点形成処理に用いるべきパラメータを演算するとともに、送話信号生成手段が不感点形成処理に用いるパラメータを、前記演算によって得られたパラメータに更新させるパラメータ演算手段とを有するので、位置入力手段に位置を入力することにより、送話部と受話部との位置関係が異なる複数種類の通話装置で送話部を共用可能となる。
請求項3の発明によれば、送話部は1個の半導体チップに構成されているので、送話部を構成する受音手段や送話信号生成手段を個々の部品で構成する場合に比べて小型化が可能となる。
請求項4の発明によれば、製造時には、送話部の少なくとも受音部と受話部とがそれぞれケースに固定されたものを1個の通話モジュールとして扱うことにより、受話部と送話部の受音部との位置関係が共通する複数種類の通話装置で、通話モジュールを構成する部品や、通話モジュールの製造用の製造設備を共用とし、製造コストを低減することができる。
請求項7の発明によれば、不感点形成処理を行わず受音手段が出力した音圧のみに基いた音声信号を生成する無指向性モードにも、動作モードを切換可能であるので、ハウリングが発生するおそれがない場合には動作モードを無指向性モードに切り換えることにより、音源の位置に関わりなく受音手段に入力される全ての音声を出力可能とし、また、損失を低減して音質を向上することができる。
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
本実施形態は、図1に示すように、音声が変換された電気信号である音声信号を音声に変換する受話部1と、音声を音声信号に変換する送話部2と、送話部2が出力した音声信号を増幅して外部に出力するとともに外部から入力された音声信号を増幅して受話部1に入力する入出力部3とを備える。受話部1と送話部2とはそれぞれハウジング4に固定されており、互いの位置関係が変化することはない。
受話部1は、例えば周知のスピーカーからなる。
入出力部3は、例えば信号線(図示せず)を介して通話対象の機器に接続される通信部31と、送話部2が出力した音声信号を増幅して通信部31を介して外部に出力するとともに外部から通信部31に入力された音声信号を増幅して受話部1に入力する通話処理部32とからなる。本実施形態をインターホンシステムの子器として用いる場合には、通信部31が接続される通話対象の機器はインターホンシステムの親機となる。通話処理部32は、通信部31から入力された音声信号を増幅する第1の受話側増幅器32aと、第1の受話側増幅器32aが出力した音声信号を減衰させる受話側減衰器ILRと、受話側減衰器ILRが出力した音声信号を増幅して受話部1に入力する第2の受話側増幅器32bと、送話部2から入力された音声信号を増幅する第1の送話側増幅器32cと、第1の送話側増幅器32cが出力した音声信号を減衰させる送話側減衰器ILTと、送話側減衰器ILTが出力した音声信号を増幅して通信部31を介して外部へ出力する第2の送話側増幅器32dと、通話処理部32の各減衰器ILR,ILTの減衰率をそれぞれ制御する減衰制御部32eとからなる。減衰制御部32eは、受話側減衰器ILRを通過する音声信号(以下、「受話信号」と呼ぶ。)の強度と送話側減衰器ILTを通過する音声信号(以下、「送話信号」と呼ぶ。)の強度とを比較し、減衰器ILR,ILTのうち、より強度の低い音声信号が通過する一方の減衰器ILR,ILTの減衰率を、他方の減衰器ILR,ILTの減衰率よりも高くする。つまり、通話処理部32は、受話部1に入力される音声信号の音量(受話音量)と送話部2から出力される音声信号の音量(送話音量)とのうち小さい方をより小さくすることにより、ループゲインを低くしてハウリングを抑制するのであり、通話処理部32は全体としていわゆるボイススイッチとなっている。
送話部2は、図2に示すように、入射した音の音圧と前記音圧の時間微分値と二次元直交座標系の各軸方向についてそれぞれ前記音圧の空間微分値とを出力する受音部5と、受音部5が出力した音圧と時間微分値と空間微分値とを用いて時空間勾配法による所定の不感点形成処理を行うことにより感度が最小となる不感点が受話部1の位置に形成されるような音声信号を生成して入出力部3の通話処理部32へ出力する送話信号生成手段としての音声信号生成部6とを有する。
詳しく説明すると、受音部5は、三次元直交座標系のx軸に平行な向きとy軸に平行な向きとにそれぞれ2列ずつ並ぶように正方形の頂点の配置で設けられた無指向性の4個のマイクロホン50A,50B,50C,50Dと、マイクロホン50A〜50Dの出力信号fA(t),fB(t),fC(t),fD(t)に対して時空間勾配測定処理を行う時空間勾配測定処理部51とを具備する。時空間勾配測定処理部51では、各マイクロホン50A〜50Dの出力信号fA(t),fB(t),fC(t),fD(t)から音圧の同相成分M(t)、時間微分値(時間勾配成分)Mt(t)、x軸方向空間微分値(x軸方向空間勾配成分)Mx(t)、y軸方向空間微分値(y軸方向空間勾配成分)My(t)をそれぞれ下式より求める。
M(t)=fA(t)+fB(t)+fC(t)+fD(t)
t(t)=dfA(t)/dt+dfB(t)/dt+dfC(t)/dt+dfD(t)/dt
x(t)=fA(t)+fB(t)−fC(t)−fD(t)
y(t)=fA(t)−fB(t)+fC(t)−fD(t)
音声信号生成部6は、受音部5から出力される同相成分M(t)、時間微分値Mt(t)、x軸方向空間微分値Mx(t)、y軸方向空間微分値My(t)を用いて、時空間勾配法を応用することで不感点を形成するものである。
ここで、音声信号生成部6による不感点形成処理を説明するに当たって、初めに時空間勾配法について詳しく説明する。
時空間勾配法とは、そもそも動画像中の見かけの速度場であるオプティカルフローを決定する手法の一つとして提案されたものである(参考文献1参照)。動画像中の濃淡パターンの特徴を表す画像関数f(x,y,t)が、運動に際し不変に保たれるとの仮定(f(x,y,t)=f(x+δx,y+δy,t+δt))より、ある点(x,y)におけるオプティカルフローの速度と、動画像の濃淡分布の空間勾配および時間勾配を関係付ける式をもとにした解析手法である。以下、この手法について詳しく解説する。
時刻t+δtにおいて、座標(x+δx,y+δy)での濃淡パターンf(x+δx,y+δy,t+δt)を(x,y,t)のまわりでテーラー展開すると、
f(x+δx,y+δy,t+δt)=f(x,y,t)+fxδx+fyδy+ftδt+O(δx+δy+δt)…(1)
となる。ここで、O(δx+δy+δt)はδx,δy,δtの2次以上の項であるが、微小量であ
るために以降では無視する。この時、時刻tにおいて座標(x,y)にある濃淡パターンが、
δt時刻経過した後に座標(x+δx,y+δy)にその濃度値分布を一定に保ったまま移動した時、その対応付けから次式が成り立つ。
f(x,y,t)=f(x+δx,y+δy,t+δt)
=f(x,y,t)+fxδx+fyδy+ftδt …(2)
xδx+fyδy+ftδt=0 …(3)
式(3)の両辺をδtで割ると、
xδx/δt+fyδy/δt+ft=0 …(4)
を得る。ここで、δtが無限小であると仮定して、δt→0とすると次式を得る。
xdx/dt+fydy/dt+ft=0 …(5)
オプティカルフロー速度v=(u,v)=(dx/dt,dy/dt)を用いると、式(5)は、
ufx+vfy+ft=0 …(6)
となり、式(6)は動画像の濃淡値の時間、空間に関する勾配とオプティカルフロー速度vとを関係付ける式である。
次に、「ある着目点の近傍領域Γにおいて速度場はほぼ一定であると近似できる」という仮定を行う。この時、領域Γ内のいたるところで式(6)が成立しなければならない。そこで、式(6)の左辺の2乗積分(下記の式(7))を用いて評価し、最小自乗法によって速度場を求める。
Figure 0005086768
式(7)をu,vに関して微分し、0とおくと、
uSxx+vSxy+Sxt=0,uSxy+vSyy+Syt=0 …(8)
Figure 0005086768
が得られる。式(8)を解くと速度ベクトル(u,v)は
u=(SytSxy-SxtSyy)/(SxxSyy-S2 xy),v=(SxtSxy-SytSxx)/(SxxSyy-S2 xy) …(10)
のように求められる。
次に、上述の動画像中のオプティカルフロー速度を求める時空間勾配法を応用して、音源が空間中に作る音場のある1点における音圧とその時空間勾配の間に成り立つ線形関係に基づいて、音源位置を定位する手法について説明する(参考文献2参照)。
図3に示すように観測点を原点とする三次元直交座標系を取り、その前方(z>0)に互いに無相関な点音源が複数個あるとする。音速をc、i番目の音源の座標を(xi,yi,zi)、音源と観測点との距離をRi=(xi 2+yi 2+zi 2)1/2、音源音をgi(t)、各音源が観測点に形成する音場をfi(t)とすると、観測点に形成される合成音場fはこれらからの球面波の和として、
Figure 0005086768
と表される。これを偏微分することにより、観測点での音場のx,y微分、時間微分は下記
の式(12),(13),(14)で表される。
Figure 0005086768
ここで、
ξi x=xi/Ri 2i y=yi/Ri 2 …(15)
は強度勾配と呼ばれ、
τi x=xi/cRii y=yi/cRi …(16)
はx,y方向時間勾配と呼ばれる。
次に簡単のため、1音源の場合の音源定位手法について述べる。1音源の場合、式(12),(13)は
fx=-ξxf-τxft,fy=-ξyf-τyft …(17)
となり、式(1)と同様に最小自乗法を適用してτxyxyを求める。短時間の時間窓Γにおいて評価関数を
J=∫Γ{(fxxf+τxft)2+(fyyf+τyft)2}dt …(18)
とする。式(18)をτxyxyに関して偏微分し、0とおくと下式が得られる。
∂J/∂τx=∫Γ2(fxxf+τxft)・ftdt=0,∂J/∂τy=∫Γ2(fyyf+τyft)・ftdt=0
…(19)
∂J/∂ξx=∫Γ2(fxxf+τxft)・ftdt=0,∂J/∂ξy=∫Γ2(fyyf+τyft)・ftdt=0
…(20)
ここで、観測窓Γから推定される共分散行列を
Figure 0005086768
とおくと、式(19),(20)は
SxtxStxStt=0,SytyStyStt=0 …(22)
SxxS+τxSt=0,SyyS+τySt=0 …(23)
と書き直される。式(22),(23)を解くことにより、τx,τy,ξx,ξyが次式のように求め
られる。
τx=(SxSt-SSxt)/(SStt-St 2),τy=(SySt-SSyt)/(SStt-St 2) …(24)
ξx=(SxtSt-SxStt)/(SStt-St 2),ξy=(SytSt-SyStt)/(SStt-St 2) …(25)
音源の方位角(x/R,y/R)=(cτx,cτy)については式(21),(24)から求められる。音源までの距離Rについては、式(15),(16)から最小自乗法を適用することにより求められる。評価関数を
Figure 0005086768
とし、これを1/Rで偏微分して0とおくと
Figure 0005086768
となる。これを解くと
R=c(τx 2y 2)/(τxξxyξy) …(28)
のように音源までの距離が求められる。
次に、音場の時空間勾配を利用して、指向性制御を行う手法について解説する(参考文献3〜5参照)。今、1音源の場合を仮定すると、観測点における音圧信号f(t)のx,y方向の空間勾配は式(12),(13)より
Figure 0005086768
となる。この式を音源から観測点に向かうベクトルr=(x,y,z)を用いて書き直すと
Figure 0005086768
となる。次にf(t),ft(t),∇f(t)が観測される時、これらの荷重和は
Figure 0005086768
と表される。ただし、u,utは実数定数、w=(wx,wy,0)は観測点を原点とし、任意の方向を
向いている単位ベクトルである。式(30)を式(31)に代入すると、
Figure 0005086768
となる。よって時空間勾配の荷重和は、f(t),ft(t)に対してそれぞれ異なる指向特性H(r),Ht(r)をもつフィルタの和として表される。H(r)=αのとき、式(33)は
Figure 0005086768
と変形できる。ここで、2つのベクトルa,bの成す角をθとすると以下の公式が成り立つ。
Figure 0005086768
式(38)の公式を用いると式(36)は次式のように書き換えられる。
Figure 0005086768
ここで、|w|=1より、
Figure 0005086768
という球の方程式で表される。u+α=0の場合には、式(35)は
r・w=0 …(42)
となる。また、Ht(r)=αの時には式(34)は
Figure 0005086768
となるので、ベクトルrとwの成す角をθ(r)とすると|w|=1より
Figure 0005086768
となる。よって、式(43)は
Figure 0005086768
となる。
式(41)、(42)、(45)より、H(r),Ht(r)について次のような性質を得る。
1)2つの指向特性H(r),Ht(r)はwを軸とする回転対称体をもつ
2)H(r)=0の時、rの分布は直径1/u(u≠0)の球面または平面(u=0)を成す
3)Ht(r)=0の時、rの分布は頂角2cut(ut≠0)の円錐面または平面(ut=0)を成す
4)H(r)=0とHt(r)=0の時のrの分布の交わりは円または平面を成す
式(32)を周波数領域に変換すると、
Figure 0005086768
を得る。よって音源rからs(t)への周波数応答T(r,w)は、
T(r,w)=H(r)+jωHt(r) …(47)
となり、H(r),Ht(r)が実数であればT(r,w)=0となる場合には
H(r)=0,Ht(r)=0 …(48)
となる。故に、式(47)からS(ω)=0となる零点分布は、周波数ωに依存せず、音源位置rのみに依存することが分かる。したがって、観測点における音圧の時間勾配とx,y方向の空間勾配が得られる時に、零感度領域(不感点)を形成するには、ある瞬間においてf,ft,fx,fyの荷重和を取り、補償フィルタ処理(低域通過フィルタ処理)を施すだけでよい。
本実施形態の音声信号生成部6は、受音部5から出力される同相成分M(t)、時間微分値Mt(t)、x軸方向空間微分値Mx(t)、y軸方向空間微分値My(t)を要素とするベクトルM=(M(t) Mt(t) Mx(t) My(t))Tを定義し、これらに対する荷重を要素とする係数ベクトルW=(W Wtxy)Tとの荷重和を演算した後、低域通過フィルタ61aを通すことによって、予め決められた任意位置に不感点を形成する不感点形成部61を有する。具体的には、上述の指向特性H(r),Ht(r)をそれぞれH1(ri),H2(ri)と置き換えて下記のように定義する(但し、riは音源iの位置ベクトル、nix,niyはそれぞれri/|ri|のx成分とy成分である。)。
Figure 0005086768
さらに、これらのH1(ri),H2(ri)に対して、下記の式(51),(52)のような2つの拘束条件をおく。
WHH1(ri)=p …(51)
WHH2(ri)=q …(52)
ここで、p,qはそれぞれ正の実数定数である。すると、係数ベクトルWを用いた荷重和によるゲインは係数ベクトルWには依存せずp+jωqとなるので、これを補償するために、図2の不感点形成部61においては、荷重和をとる段の後段に、(p+jωq)-1という1次の低域通過フィルタ61aを設けている。これにより、位置riにある音源iに対して不感点形成部61全体でのゲインは1となっている。さらに、送話部2の受音部5の位置に対し、想定される話者の位置を示すベクトルをr1とおき、p,qはそれぞれ例えばp=1/|r1|,q=1/cとする。
すると、係数ベクトルWは、式(51),(52)の条件のもとで、観測時間区間Γにおける不感点形成部61の出力パワー
Figure 0005086768
を最小化するというMinimum Variance Beamformer(MV法)を用いることにより得られる。この解は、下記の式(54),(55)のように表される。
Figure 0005086768
但し、式(55)のBij(i,j=a,x,y)は式(56)で表されるものであり、式(56)のba(t),bx(t),by(t)はそれぞれ式(57)〜(59)で表されるものである。
なお、低域通過フィルタ61aを用いる代わりに、WHH1(ri)=0かつWHH2(ri)=0となるような係数ベクトルWを選択してもよい。この場合、音源iの位置riに、周波数に依存しない不感点が形成できる。つまり、不感点形成部61の出力O(t)には不感点に存在する音源から発せられる音の音圧が含まれない。
本実施形態は、不感点形成部61が、上記の不感点形成処理に用いる係数ベクトルW等のパラメータ(以下、単に「パラメータ」と呼ぶ。)として、受話部1において音が発生する範囲の中心の位置(以下、単に「受話部1の位置」と呼ぶ。)に不感点が形成されるように選択されたものを用い、音声信号生成部6が、不感点形成部61の出力O(t)を音声信号生成部6の出力として入出力部3の通話処理部32に入力する不感点形成モードでの動作が可能となっている。
すなわち、不感点形成モードでは、受話部1の位置に不感点が形成されることにより、全ての周波数にわたってループゲインが低減され、ハウリングが抑制される。また、従来例のように時空間勾配法を用いない場合に比べ、受話部1以外の音源からの音に関しては損失が低減されるから、音質を向上することが可能となっている。さらに、従来例と違い、受話部1で発生した音が周波数によらず除去されるから、従来例に比べてハウリングマージンが増加している。
また、上記のような不感点形成処理によりハウリングが抑制されるから、本実施形態では、通話処理部32の減衰器ILR,ILTでの減衰によるハウリングの抑制の必要性が薄くなっている。図4は、送話信号の強度に対する受話信号の強度の比を横軸にとり、縦軸に減衰器ILR,ILTのゲインをとったグラフであり、右上がりの実線及び破線がそれぞれ受話側減衰器ILRのゲインを示し、右下がりの実線及び破線がそれぞれ送話側減衰器ILTのゲインを示す。不感点形成部61を用いない場合には破線で示すように全体的に各減衰器ILR,ILTのゲインを低く(減衰率を高く)とる必要があるのに対し、本実施形態では上記のように通話処理部32の減衰器ILR,ILTでの減衰によるハウリングの抑制の必要性が薄くなっているから、実線で示すように全体的に各減衰器ILR,ILTのゲインを高くし(減衰率を低く抑え)、これによって音質の向上が可能となっているのである。また、本実施形態では、送話信号と受話信号とのうち強度がより低い音声信号についても通話処理部32での減衰率が比較的に低く抑えられていることにより、双方向同時通話が可能となっている。
さらに、本実施形態は、上記の不感点形成モード以外の動作モードでの動作も可能となっている。詳しく説明すると、本実施形態の音声信号生成部6は、受音部5の出力M(t)と、不感点形成部61の出力O(t)とを用いて、不感点形成モードとは逆に、不感点形成部61において不感点とされる位置の音源からの音が主に反映され周囲の音源からの音の影響が低減された音声信号S(t)を抽出して出力する集音エリア形成部62と、入出力部3の通話処理部32への入力を、動作モードに応じて、不感点形成部61の出力O(t)と集音エリア形成部62の出力S(t)と受音部5の出力M(t)とのいずれかに択一的に切り換える切換部63とを有する。すなわち、不感点形成部61の出力O(t)が入出力部3に入力される状態が不感点形成モードである。また、以下では、集音エリア形成部62の出力S(t)が入出力部3に入力される状態を集音エリア形成モードと呼び、受音部5の出力M(t)が入出力部3に入力される状態を無指向性モードと呼ぶ。さらに、送話部2は、動作モードの切り換えの指示が入力される指示入力部81と、指示入力部81に入力された指示に従って切換部63を制御するとともに不感点形成部61に対しパラメータを指示する送話制御部7とを有する。指示入力部81は、例えば押釦スイッチを有して動作モードの切換を指示する操作入力を受け付けるものであってもよいし、他の機器(例えばインターホンシステムの親機)から周知の多重化通信技術によって音声信号に重畳して送信されてきた電気信号を受け付けるものであってもよい。
不感点形成モード以外の動作モードについて説明する。まず、無指向性モードは、受音部5で得られた音声信号がそのまま入出力部3に出力されるモードであり、例えば、受音部5に入力された音声を、通信部31に接続された他の機器において録音する場合など、受話部1に音声信号が入力されず(別の言い方をすれば受話信号が存在せず)、不感点形成部61による処理を行わずともハウリングのおそれがない場合に用いられる。このような無指向性モードを用いれば、音源の位置に関わりなく受音部5に入力される全ての音声を出力可能であるほか、他の動作モードを用いる場合に比べて損失が少ないことにより、音質の向上が可能であるという利点がある。
次に、集音エリア形成モードについて説明する。集音エリア形成モードでの動作は、本発明者が特願2007−149570において提案したものである。具体的に説明すると、集音エリア形成モードでは、不感点形成部61が形成する不感点の位置が、受話部1の位置ではなく、受音部5に音声を入力すべき音源たる話者の位置として想定される所定の目標位置となるように、不感点形成部61に対し送話制御部7によってパラメータが指定される。
集音エリア形成部62は、目標位置の音源(話者)からの音(以下、「目的音」と呼ぶ。)と目標位置の周囲の音源からの雑音とがともに反映された音声信号である受音部5の出力の同相成分(以下、集音エリア形成モードの説明中では「全体音圧」と呼ぶ。)M(t)と、目標位置の周囲の音源からの雑音が主に反映された音声信号である不感点形成部61の出力(以下、集音エリア形成モードの説明中では「雑音成分」と呼ぶ。)O(t)とに対し、従来周知のスペクトル・サブトラクション法(参考文献6参照)を適用することにより、目的音が主に反映された音声信号S(t)を抽出する処理を行うものである。
以下、集音エリア形成部62の動作を説明する。まず、用いられる各出力M(t),O(t)をそれぞれフレーム分割部62aにて単位時間(フレーム時間)毎に分割し、分割された各出力M(t,k),O(t,k)をそれぞれ高速フーリエ変換部(FFT)62bで時間領域から周波数領域に変換する(ここで、kはフレーム番号を示す)。そして、雑音成分O(f,k)の平均振幅μ(=E{|O(f,k|})を雑音平均振幅算出部62cで算出し、振幅算出部62dで算出した全体音圧M(f,k)の振幅値|M(f,k)|から雑音成分O(f,k)の平均振幅μを減算するとともに、減算した値(|M(f,k)|−μ)に、位相算出部62eで算出した全体音圧M(f,k)の位相(=exp{j∠M(f,k)})を乗算することで雑音が含まれていない出力S(f,k)=(|M(f,k)|−μ)・exp{j∠M(f,k)}を取り出し、この出力S(f,k)を高速フーリエ逆変換して周波数領域から時間領域に戻すことで、話者の周囲の雑音が抑制され目的音が強調された音声信号S(t)を得る。
このように集音エリア形成モードでは、集音エリア形成部62によって目標位置(不感点)に存在する音源から発せられる目的音が強調された音声信号S(f,k)を生成するので、目標位置の方向に雑音の音源が存在する場合であっても、目標位置に存在する音源から発せられる音のみを強調して入出力部3へ出力することができる。図5は受音部5が出力する全体音圧M(f)、不感点形成部61が出力する雑音成分O(f)、集音エリア形成部62が出力する音声信号S(f)の振幅(音圧)の周波数特性の一例を示しており、集音エリア形成部62の出力S(f)では雑音成分が十分に抑圧されていることが判る。つまり、集音エリア形成モードを用いれば、周囲騒音の大きい環境下であっても話者の音声を抽出して通話することが可能となる。また、通常の使用状態ならば、目標位置は受話部1から十分に離れた位置とされるので、集音エリア形成モードでもハウリングを抑制する効果が得られる。さらに、集音エリア形成モードでは、受話部1から受音部5に直接到達した音だけでなく室内での反射を経た音も抑制されるから、残響音によるハウリングも抑制される。
ここで、集音エリア形成部62において上記のように目標位置の周囲の雑音が低減された音声信号S(t)を得る方法としては、上記のようなスペクトル・サブトラクション法の代わりに、周知の独立成分分析(ICA:Independent Component Analysis)の手法を利用してもよい。さらに、集音エリア形成モードで不感点形成部61が用いるパラメータを一定とする代わりに、送話制御部7が、集音エリア形成モードでの動作中の所定のタイミングで、不感点形成部61を制御し、受音部5の出力する同相成分M(t)、時間微分値Mt(t)、x軸方向空間微分値Mx(t)、y軸方向空間微分値My(t)を用いた周知の音源定位方法により話者の位置を検出させるとともに、目標位置(不感点の位置)が検出された話者の位置となるようにパラメータを変更させることで、目標位置を話者の位置に自動的に調整するようにしてもよい。
また、本実施形態は、受音部5の位置(厳密には例えばマイクロホン50A〜50Dに囲まれた範囲の中心の位置)に対する受話部1の位置が入力される位置入力部82を有する。送話制御部7は、位置入力部82に受話部1の位置が入力されたときに、位置入力部82に入力された受話部1の位置に不感点が形成されるようなパラメータを演算し、不感点形成モードでは該パラメータを用いるように不感点形成部61に指示する。つまり、送話制御部7が請求項におけるパラメータ演算手段である。位置入力部82は、例えば押釦スイッチを有して受話部1の位置を示す操作入力を受け付けるものであってもよいし、設定用の機器が接続される端子であってもよい。
ところで、受音部5において、上記のような4個のマイクロホン50A〜50Dによって音を受ける代わりに、図6(a)に示すような1枚の振動板52で音を受ける図6(b)に示すような1個のマイクロホン50Eを用いてもよい(参考文献7,8参照)。この振動板52は、全体として薄い円板からなり、ハウジング4に対して固定される被支持部52aと、被支持部52aの径方向の外向きであって互いに反対方向(図6(a)の上下両側)にそれぞれ突設された第1の連結部52bと、円環形状であって内周の直径方向の両端部がそれぞれ第1の連結部52bに連結された中間部52cと、中間部52cから径方向であって第1の連結部52bの突出方向に直交する方向(図6(a)の左右両側)にそれぞれ突設された第2の連結部52dと、円環形状であって内周の直径方向の両端部がそれぞれ第2の連結部52dに連結された振動部52eとを有する。また、図6(a)(b)に示すマイクロホン50Eは、振動板52が収納される収納凹部53aを有してハウジング4に固定されるパッケージ53と、パッケージ53の収納凹部53aの底面から突設され振動板52の厚さ方向を収納凹部53aの深さ方向に向ける形で振動板52の被支持部52aに固定された支柱54とを有する。さらに、振動板52の各連結部52b,52dはそれぞれ捩れるような弾性変形が可能となっている。つまり、振動部52eは、いわゆる2軸直交型のジンバル構造を介して被支持部52aに対して支持されているのであり、被支持部52aに対し、図6(a)の左右方向については第1の連結部52bが捩れることによりシーソー動可能であり、図6(a)の上下方向については第2の連結部52dが捩れることによりシーソー動可能であることにより、全方向にシーソー動(揺動)可能となっている。また、振動部52eは、中央部に対して周縁部を厚さ方向に変位させるような弾性変形も可能となっている。このような振動板52を用いれば、振動部52eに入射した音の音圧により振動部52eが受けた力を電気信号に変換する(例えば振動部52eの振動に基いて音圧を検出する)音圧検出部を振動板52の複数箇所にそれぞれ設けることにより、同相成分M(t)、時間微分値Mt(t)、x軸方向空間微分値Mx(t)、y軸方向空間微分値My(t)を1枚の振動板52から得ることができる。この場合、上記のx軸とy軸との向きは、それぞれ、弾性復帰した状態の振動板52の厚さ方向に対し直交する向きとなる。音圧検出部としては、例えば、一方の電極が振動板52の振動部52eに設けられて他方の電極がパッケージ53の収納凹部53aの底面に設けられ振動部52eの変位に伴って静電容量が変化するコンデンサや、振動板52に生じたひずみを検出(つまり電気信号に変換)する圧電素子を用いることができる。また、音圧検出部の出力から同相成分M(t)、時間微分値Mt(t)、x軸方向空間微分値Mx(t)、y軸方向空間微分値My(t)を得る時空間勾配測定処理部については、周知技術で実現可能であるので説明を省略する。
上記のような送話部2の各構成は、周知の半導体プロセス技術を用いて1個の半導体チップに集積し、いわゆるMEMS (Micro Electro Mechanical Systems)と呼ばれる1個のデバイスとして構成することが可能であり、また、そのようにすることが小型化の観点からは望ましい。
さらに、受話部1と送話部2の少なくとも受音部5とをそれぞれ共通のケース(図示せず)に固定するとともに、製造時にはケースを介して一体化された受話部1と送話部2の受音部5とを全体として1個の通話モジュールとしてハウジング4に収納すれば、製造時には、受話部1と送話部2の受音部5との位置関係が共通する複数種類の通話装置で通話モジュール用の部品や製造設備を共用とし、製造コストを低減することができるから望ましい。
<参考文献一覧>
参考文献1:安藤 繁 「画像の時空間微分算法を用いた速度ベクトル分布計測システム」 計測自動制御学会論文集 22-12,1330/1336(1986)
参考文献2:安藤 繁・篠田 裕之・小川 勝也・光山 訓 「時空間勾配法に基づく3次元音源定位センサシステム」 計測自動制御学会論文集 第29巻第5号,p520~528,1993
参考文献3:N. Ono, T. Arita, Y. Senjo, and S. Ando, “Directivity steeringprinciple for biomimicry silicon microphone”, Proc. Int. Conf. Solid State Sensors,
Actuators, and Microsystems (Transducers'05), pp. 792-795, 2005.
参考文献4:小野, 安藤, “音場の計測と指向性制御, 第22回センシングフォーラム資料, pp. 305-310,2005.
参考文献5:小野, 有田, 千條, 安藤, “時空間勾配計測に基づく指向性制御と音源分離の理論, 日本音響学会2005年春季研究発表会講演論文集, 2-6-13, pp. 607-608, 2005.
参考文献6:S.F.Boll "Suppression of Acoustic Noise in Speech. usingSpectral Subtraction" IEEE Trans.on.Acoustics,Speech and Signal ProcessingVol.ASSP-27,No.2,pp.113-1,1979
参考文献7:小野 順貴,斎藤 章人,安藤 繁「ヤドリバエを模倣した超小型音源定位セン
サの理論と実験(第2報)」,第19回センシングフォーラム,pp.379-382,2002
参考文献8:小野 順貴,斎藤 章人,安藤 繁「ヤドリバエを模倣した微分検出型音源定位
センサの理論と実験」,聴覚研究会資料,pp.187-192,2002
本発明の実施形態を示すブロック図である。 同上の送話部を示すブロック図である。 同上における時空間勾配法を説明するための説明図である。 同上の効果を示す説明図である。 同上の集音エリア形成モードの効果を示す説明図である。 (a)(b)はそれぞれ同上の別の形態におけるマイクロホンを示し、(a)は振動板の平面図、(b)は断面図である。 従来例を示す斜視図である。
符号の説明
1 受話部
2 送話部
3 入出力部
4 ハウジング
5 受音部
6 音声信号生成部(請求項における送話信号生成手段)
7 送話制御部(請求項におけるパラメータ演算手段)
50A〜50D マイクロホン
51 時空間勾配測定処理部
52 振動板
52a 被支持部
52e 振動部
81 指示入力部
82 位置入力部

Claims (7)

  1. 音声が変換された電気信号である音声信号を音声に変換する受話部と、音声を音声信号に変換する送話部と、送話部が出力した音声信号を増幅して外部に出力するとともに外部から入力された音声信号を増幅して受話部に入力する入出力部と、受話部と送話部とがそれぞれ固定されたハウジングとを備える通話装置であって、
    送話部は、入射した音の音圧と前記音圧の時間微分値と二次元直交座標系の各軸方向についての前記音圧の空間微分値とをそれぞれ出力する受音手段と、受音手段が出力した音圧と時間微分値と空間微分値とを用いて時空間勾配法による所定の不感点形成処理を行うことにより感度が最小となる不感点が受話部の位置に形成されるような音声信号を生成して入出力部へ出力する送話信号生成手段とを有し、
    送話部は、動作モードの切換の指示が入力される指示入力手段を有し、
    送話信号生成手段は、指示入力手段に入力された指示に応じて、受話部の位置に不感点を形成する不感点形成モードに加えて、受音手段が出力した音圧と時間微分値と空間微分値とを用いた時空間勾配法により予め設定された目標位置に不感点を形成するように生成された音声信号と、受音手段が出力した音圧のみに基いた音声信号とを用い、前記目標位置近傍の音源からの音による音圧を選択的に反映した音声信号を生成して出力する集音エリア形成モードにも、動作モードを切換可能であることを特徴とする通話装置。
  2. 送話部は、送話部の受音手段の位置に対する受話部の相対的な位置が入力される位置入力手段と、
    位置入力手段に位置が入力されたときに、音声信号において形成される不感点の位置が位置入力手段に入力された位置となるように、送話信号生成手段が不感点形成処理に用いるべきパラメータを演算するとともに、送話信号生成手段が不感点形成処理に用いるパラメータを、前記演算によって得られたパラメータに更新させるパラメータ演算手段とを有することを特徴とする請求項1記載の通話装置。
  3. 送話部は1個の半導体チップに構成されていることを特徴とする請求項1又は請求項2記載の通話装置。
  4. 送話部の少なくとも受音部と受話部とがそれぞれ固定されるとともにハウジングに固定されたケースを備えることを特徴とする請求項1〜3のいずれか1項に記載の通話装置。
  5. 受音手段は、通話装置のハウジングに対して直接的又は間接的に固定される被支持部及び被支持部に対しジンバル構造を介して揺動可能に支持され音圧を受ける振動部とを有する振動板と、それぞれ振動板の互いに異なる箇所に設けられて振動板の振動部が入射した音の音圧により受けた力を電気信号に変換する複数個の音圧検出部と、複数個の音圧検出部の出力を用いて音圧と空間微分値と時間微分値とを得る時空間勾配測定処理部とを有することを特徴とする請求項1〜4のいずれか1項に記載の通話装置。
  6. 受音手段は、矩形の頂点の配置で設けられそれぞれ入射した音の音圧を電気信号に変換する4個のマイクロホンと、各マイクロホンの出力を用いた演算により音圧と空間微分値と時間微分値とを得る時空間勾配測定処理部とを有することを特徴とする請求項1〜4のいずれか1項に記載の通話装置。
  7. 送話部は、動作モードの切換の指示が入力される指示入力手段を有し、
    送話信号生成手段は、指示入力手段に入力された指示に応じて、受話部の位置に不感点を形成する不感点形成モードに加えて、不感点形成処理を行わず受音手段が出力した音圧のみに基いた音声信号を生成する無指向性モードにも、動作モードを切換可能であることを特徴とする請求項1〜6のいずれか1項に記載の通話装置
JP2007271640A 2007-10-18 2007-10-18 通話装置 Expired - Fee Related JP5086768B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007271640A JP5086768B2 (ja) 2007-10-18 2007-10-18 通話装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007271640A JP5086768B2 (ja) 2007-10-18 2007-10-18 通話装置

Publications (2)

Publication Number Publication Date
JP2009100372A JP2009100372A (ja) 2009-05-07
JP5086768B2 true JP5086768B2 (ja) 2012-11-28

Family

ID=40702925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007271640A Expired - Fee Related JP5086768B2 (ja) 2007-10-18 2007-10-18 通話装置

Country Status (1)

Country Link
JP (1) JP5086768B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5060438B2 (ja) * 2008-09-10 2012-10-31 パナソニック株式会社 収音装置
JP5985172B2 (ja) * 2011-10-31 2016-09-06 アイホン株式会社 音響帰還量抑制装置
JP2017034490A (ja) * 2015-08-03 2017-02-09 パナソニックIpマネジメント株式会社 インターホン装置
CN110189770B (zh) * 2019-06-18 2021-06-25 北京达佳互联信息技术有限公司 语音数据处理方法、装置、终端、服务器及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3411475B2 (ja) * 1997-06-23 2003-06-03 日本電信電話株式会社 収音装置
JP2007005969A (ja) * 2005-06-22 2007-01-11 Yamaha Corp マイクロフォンアレイ装置

Also Published As

Publication number Publication date
JP2009100372A (ja) 2009-05-07

Similar Documents

Publication Publication Date Title
US9980075B1 (en) Audio source spatialization relative to orientation sensor and output
US7613310B2 (en) Audio input system
KR101761312B1 (ko) 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법
JP4293377B2 (ja) 音声入力装置及びその製造方法、並びに、情報処理システム
US20160165341A1 (en) Portable microphone array
US20160165350A1 (en) Audio source spatialization
JP5114106B2 (ja) 音声入出力装置及び通話装置
US8472656B2 (en) Microphone unit , voice input device, and method of manufacturing microphone unit
CN106872945B (zh) 声源定位方法、装置和电子设备
JP2010515335A (ja) 音源追跡マイクロフォン
JP5129024B2 (ja) 音声入力装置及び音声会議システム
CN113692750A (zh) 使用声音场景分析和波束形成的声传递函数个性化
US20160165338A1 (en) Directional audio recording system
WO2009145096A1 (ja) 音声入力装置及びその製造方法、並びに、情報処理システム
US20160161594A1 (en) Swarm mapping system
US20160161595A1 (en) Narrowcast messaging system
JP5166117B2 (ja) 音声入力装置及びその製造方法、並びに、情報処理システム
EP3755004A1 (en) Directional acoustic sensor, and methods of adjusting directional characteristics and attenuating acoustic signal in specific direction using the same
JP5086768B2 (ja) 通話装置
JP2009239631A (ja) マイクロフォンユニット、接話型の音声入力装置、情報処理システム、及びマイクロフォンユニットの製造方法
JP2008154224A (ja) 集積回路装置及び音声入力装置、並びに、情報処理システム
JP7426512B2 (ja) 振動伝達関数を取得する方法及びシステム
JP2009296517A (ja) 音声入力装置及び音声リモコンシステム
JP2008304555A (ja) 音響入力装置
JP4212635B1 (ja) 音声入力装置及びその製造方法、並びに、情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100518

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20120112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120815

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120907

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees