JP3630553B2 - マイクロフォンの指向特性を制御する装置 - Google Patents
マイクロフォンの指向特性を制御する装置 Download PDFInfo
- Publication number
- JP3630553B2 JP3630553B2 JP10288898A JP10288898A JP3630553B2 JP 3630553 B2 JP3630553 B2 JP 3630553B2 JP 10288898 A JP10288898 A JP 10288898A JP 10288898 A JP10288898 A JP 10288898A JP 3630553 B2 JP3630553 B2 JP 3630553B2
- Authority
- JP
- Japan
- Prior art keywords
- microphone
- directivity
- microphones
- controlling
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
【発明の属する技術分野】
本発明は自動車に使用される音声認識装置に設けられるマイクロフォンの制御方法及び装置に関する。
【0002】
【従来の技術】
音声認識装置は、話者が発した単語、文章を認識するものであり、音声認識装置に対する音声の入力には認識率の向上のためにヘッドセットのマイクロフォンが使用される。近年、自動車にも音声認識装置が搭載され、例えば、の音声ダイアル等に使用するために種々の開発が行われている。このハンズフリー電話システムでは、運転手がヘッドセットを付けると、運転に支障があるので、一定の場所に固定されたマイクロフォンが使用される。
【0003】
【発明が解決しようとする課題】
しかし、固定されたマイクロフォンには話者と固定マイクロフォンとの間に一定の距離が生じるため自動車の走行時に発生する車室内の騒音が入って来て音声認識装置の認識率の向上が困難になるという問題がある。
この問題の解決方法として指向特性のあるマイクロフォンが使用されるが、必ずしも必要な指向性が得られず、特に、話者に対して感度がピークとなり、車室内の騒音に対して感度がディップとなる条件のマイクロフォンを得ることができない。
【0004】
さらに、複数のマイクロフォンより入力された信号をデジタル的に信号処理することにより、ノイズの除去する方法もあるが、高性能なCPU(中央演算装置)を必要とするため、コスト的に実現段階で問題が発生する。
したがって、本発明は、上記問題点に鑑み、騒音到来方向に感度がディップとなり、話者方向に感度がピークとなるように指向特性を制御してS/Nを改善しつつ低廉なコストを実現できるマイクロフォン指向特性の制御方法及び装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
前記問題点を解決するために、本発明では、騒音下で話者の音声を抽出するマイクロフォンの指向特性を制御する装置において、直線的で等間隔に配置され、且つ平面音波を入力する複数のマイクロフォンを備え、さらに、前記複数のマイクロフォンのうち、中央に位置する第1マイクロフォンの両隣に配置された第2及び第3マイクロフォンの出力信号の差を取り、該差分信号を出力する差分手段と、前記第1マイクロフォンの出力信号と前記差分信号とを加算する加算手段とを有するマイクロフォン回路を備え、前記各出力信号の利得を調整することにより、前記マイクロフォンの指向特性を制御するようにした。
また、本発明では、騒音下で話者の音声を抽出するマイクロフォンの指向特性を制御する装置において、直線的に等間隔で配置され、前記音声による平面音波を入力する複数のマイクロフォンを備え、さらに、前記複数のマイクロフォンのうち、中央に位置する第1マイクロフォンの両隣に配置された第2及び第3マイクロフォンの出力信号の差を取り、差分信号を出力する差分手段と、前記差分信号を積分し、積分信号を出力する積分手段と、前記第1マイクロフォンの出力信号と前記積分信号とを加算する加算手段とを有するマイクロフォン回路を備えることとし、前記差分手段と前記加算手段との利得を調整することにより、前記マイクロフォンの指向特性を制御するようにした。
そして、前記マイクロフォン回路は、前記第1のマイクロフォンの左右に配置された第2及び第3マイクロフォンの出力信号の差を取ることにより、前記第2及び第3マイクロフォン間の中央の対称軸で8の字型で正負極を有する8の字型指向特性を形成する差動増幅器と、前記差動増幅器により得られた結果を積分して前記差動増幅器により得られる低周波数での指向特性の低下を回復する積分器と、前記積分器の出力信号と前記第1マイクロフォンの出力信号を加算し、前記差動増幅器で得られる前記8の字型指向特性の一方の極を消去して他方の極を強調して指向特性を鋭くする加算器とを備えることとした。
前記差動増幅器と前記積分器との間に低域通過フィルタを設け、前記差動増幅器により得られた指向特性の高周波数の補償を行とした。或いは、前記積分器に含まれるオペアンプに係る帰還抵抗の中間点と接地との間を交流的に短絡するようにし、前記低域通過フィルタに含まれるオペアンプの容量帰還部が、容量分割回路であることとした。
また、前記複数のマイクロフォンは、前記第1マイクロフォン、該第1マイクロフォンを挟む左右の第2及び第3マイクロフォン、該第2及び第3マイクロフォンの外側に配置された左右の第4及び第5マイクロフォンからなり、前記音声の平面音波が各々のマイクロフォンに入力され、前記マイクロフォン回路は、前記各マイクロフォンの出力信号を処理して、8の字型で且つ対称軸で正負極を有する第1の8の字型指向特性を形成し、該第1の8の字型指向特性の一方の極を消去して他方の極を強調し、さらに、消去、強調した指向特性に第2の8の字型指向特性を掛けた新たな指向特性を形成するようにした。
そして、前記マイクロフォン回路は、前記第1乃至第5マイクロフォンについて、前記第2マイクロフォンと前記第1マイクロフォンとの平面音波を共通にし、且つ前記第3マイクロフォンと前記第5マイクロフォンの平面音波を共通にし、3つの中央及び左右のマイクロフォンの出力信号として処理し、前記新たな指向特性を近似的に求めることとし、或いは、前記マイクロフォン回路は、前記第3マイクロフォンと前記第1マイクロフォンとの平面音波を共通にし、且つ前記第2マイクロフォンと前記第4マイクロフォンの平面音波を共通にし、3つの中央及び左右のマイクロフォンの出力信号として処理し、前記新たな指向特性を近似的に求めることとした。
また、前記マイクロフォン回路は、前記第5マイクロフォンと前記第3マイクロフォンとの平面音波を共通にし、且つ前記第4マイクロフォンと前記第2マイクロフォンの平面音波を共通にし、3つの中央及び左右のマイクロフォンの出力信号として処理し、前記新たな指向特性を近似的に求めることとし、前記マイクロフォン回路は、前記中央マイクロフォンと前記左及び右マイクロフォンからなる前記3つのマイクロフォンの出力信号について、前記中央マイクロフォンの出力信号に利得2を掛け、前記左及び右マイクロフォンの各々の出力信号に利得−1を掛けて、第1の加算を行い、さらに、第1の積分処理を行 い、前記左マイクロフォンの出力信号に利得1を掛け、前記右マイクロフォンの出力信号に利得−1を掛けて、前記第1の積分処理結果に第2の加算を行い、さらに、第2の積分を行うようにした。
前記各マイクロフォンの相互の間隔を狭めることにより、高周波数の指向特性を高めることとし、または、自動車の車室内における前記複数のマイクロフォンの取付位置によって、マイクロフォンの指向特性におけるディップ方向が特定されるようにし、前記マイクロフォン回路は、前記第1乃至第3マイクロフォンの各利得を変えることにより、マイクロフォンの指向特性におけるディップの方向を可変にすることとした。
【0006】
【発明の実施の形態】
本発明の実施の形態に係るマイクロフォン指向特性の制御方法及び装置は、前述のように、自動車に使用される音声認識装置に適用され、例えば、周波数範囲300Hzから5kHzまでの音放射に関して、複数の、例えば、2〜3個のマイクロフォンを等間隔に直線配置にして、話者方向に対しては感度をピークにし自動車の床方向に対しては感度をディップにする指向特性を有することにより、1個のマイクロフォンの使用と比較して、以下のように、S/Nの改善を行う。
【0007】
マイクロフォン2ペアの指向特性
図1は本発明に係る2個のマイクロフォンの直線配置の指向特性例を説明する図である。本図に示す如く、距離dだけ離れた2つのマイクロフォンMIC1及びMIC2が直線上に配置され、角度θ方向から平面波が到来しているとする。2つのマイクロフォンMIC1及びMIC2の間の中心位置Oを基準点(注目点)、各マイクロフォンMIC1及びMIC2の音圧は、次式(1)のように、示される。Rは距離、またk=(ω/c)は波長定数である(cは音速)。
【0008】
【数1】
【0009】
2つのマイクロフォンの出力の和
マイクロフォンMIC1とMIC2の各出力の和を、次式(2)のように、全体の出力とする場合を考える。ここで、マイクロフォンMIC1とMIC2の感度の大きさは特に指定しないで両者は等しいとする。
【0010】
【数2】
【0011】
したがって、指向性関数Dは次式(3)のようになる。
【0012】
【数3】
【0013】
図2は式(3)の指向特性の概略を説明する図である。本図に示すkdは、d=4cm、c=340m/sとすると、次式(4)で示される。
【0014】
【数4】
【0015】
上式(4)から、それぞれの周波数のkdの値は下記表1のようになる。
【0016】
【表1】
【0017】
したがって、上記表1からも分かるように、単純加算の場合、周波数f=1500Hz以上では指向特性が強い楕円になるが、周波数f=1500Hz未満の低周波では一方向の指向特性が弱い円になり一方向の指向特性を強くすることが困難である。
2つのマイクロフォンの出力の差
マイクロフォンMC2の出力からマイクロフォンMC1の出力の差を全体の出力とする場合を考える。この場合の指向性関数Dは、次式(5)で与えられる。
【0018】
【数5】
【0019】
図3は式(5)の指向特性の概略を説明する図である。本図に示すように、上記式(5)は8の字型で対称軸に対して正負極の指向特性を有するが、指向特性の大きさは低い周波数域では、周波数に比例して小さくなる。それゆえ、2つのマイクロフォンの出力差を取る方式では、その後に積分器が不可欠となる。1/jωτの利得の積分器を用いると、指向性関数Dは次式(6)のようになる。
【0020】
【数6】
【0021】
ビームフォーマ
以上の式(3)、式(6)の2つの指向性関数Dが、以下にビームフォーマを考えるときの基本要素といえる。
一方に位相器を付加した2つのマイクロフォンの出力の和
図4は、指向性形成のブロックダイヤグラム1であって、2つのマイクロフォンの出力の和を取る方式に位相器を付加した構成例を示す図である。本図に示す如く、マイクロフォン回路10ではマイクロフォンMIC2の出力にAll Pass(全域通過)の遅延回路を付加してその出力とマイクロフォンMIC1の出力との和が取られる。この場合の指向特性関数Dは次式(7)、(8)で示される。
【0022】
【数7】
【0023】
図5、図6は、図4の指向特性について、d=4cm、τ=135μsecとして、式(8)の各周波数の数値計算結果例を説明する図である。図5、図6に示す如く、本方式では、低周波数で、特定方向への指向性は実現不可能である。構成が簡単であるが、
|D|=2cos{(kd/2)cosθ+tan−1ωτ}の形であるから低い周波数でのある特定方向への指向特性を大きく取れない欠点がある。この方式により、広い周波数範囲で、図5(d)のような指向特性を実現するには、All Passによる位相推移でなく、各周波数に対して、それぞれ適切な位相推移を与える必要がある。
【0024】
一方に位相器を付加した2つのマイクロフォンの出力の差に積分器の付加
図7は、指向性形成のブロックダイヤグラム2であって、図5、6に式(6)を基本として位相推移を付加した構成例を示す図である。本図のマイクロフォン回路10より得られる指向特性Dは、次式(9)、(10)で示される。
【0025】
【数8】
【0026】
ここで、図4、式(7)、(8)に用いられているτをτ=CRとして示す。
図8、図9は、図7の指向特性について、d=6cm、CR=63μsec、τ=87μsecとして、式(10)の各周波数での数値計算結果例を説明する図である。CRの値は、θ=45°で、Dがディップを有するように設定している。
【0027】
この(1/ωτ)sin〔(kd/2)cosθ−tan−1ωCR〕の形は、cos〔(kd/2)cosθ+tan−1ωτ〕よりは、低周波数で良好な指向性が得やすい。
2つのマイクロフォンの出力の差の特性に正値を加算
図10は指向性形成のブロックダイヤグラム3を示す図である。式(6)は、図3に示すように、原点を中心とする対称軸に対して横8の字の指向性を有するので、図4、図7の位相器を使わずに、本図に示すマイクロフォン回路10では、8の字のマイナス(負)側を正値で打ち消し、プラス(正)側を強調したビームフォーマが考えられる。
【0028】
図10において、Dは次式(11)となる。
【0029】
【数9】
【0030】
図11、図12は、図10の指向特性について、d=6cm、τ=120μsecとして、式(11)の各周波数での数値計算結果例を説明する図である。なお、τの値は、θ=45°でDがディップを有するように設定している。本図により、図10の本方式は、本方式を含めて、図4、図7との3通りの方式中で、低い周波数からかなり高い周波数まで最も良好な指向性が実現可能であることがわかる。
【0031】
3マイクロフォン直線配置積分方式
図10で示した3マイクロフォン積分方式が低い周波数からかなり高い周波数まで、広範囲に良好な指向特性が得られるから、これについて以下に詳細に検討を行う。
図13は3マイクロフォン直線配置積分方式を採用する基本構成を説明する図である。本図に示すように、3つのマイクロフォンが等間隔に直線配置され、マイクロフォン回路10では、それぞれの出力は積分器、加算器を用いて、合成して所望の出力が得られる。後述するように、利得を適当に調整することにより感度のディップ点は任意に設定できる。なお、LPF(低域通過フィルタ)は、後述するように、高い周波数での指向特性の劣化を補償するものである。説明の都合上、LPFを用いない場合について、再度、詳しく述べる。図13でLPFを用いない場合の指向性関数Dは、次式(12)のようになる。
【0032】
【数10】
【0033】
kd/2≪1、すなわち、低い周波数では、指向性関数Dは次式(13)のようになる。
【0034】
【数11】
【0035】
図14は式(13)の概略を説明する図である。τ=c/dとすると、θに対する式(13)の指向性関数|D|の分布は本図に示すようになる。
図15はωに対する2sin〔(kd/2)cosθ〕/ωτの変化を説明する図である。ωに対する2sin〔(kd/2)cosθ〕/ωτの変化を各θにおいて調べると、本図に示すようになる。ただし、ここではτの値はθ=0°で|D|が零となるように設定している。
【0036】
図15の1)d=4cmにおいて、θ=0°で2sin〔(kd/2)cosθ〕/ωτは1で式(12)は0となる。そして、周波数が1kHz弱までは、各θに対する値はf=0のときとほぼ同じであるから、その指向特性は図14のようになる。
図16は指向特性の劣化の概要を説明する図である。しかし、さらに、上記周波数1kHzよりも高くなると、|D|の分布は、概略、図16(a)のように劣化する。
【0037】
また、図15の3)d=8cmにおいて、周波数4kHz以上になると、図16(b)のように、さらに指向特性が劣化する。したがって、dを大きくするほど、高い周波数の指向特性は劣化が生じ易くなる。
次にLPFを用いて、高い周波数での指向特性を補償することを考える。
図14の目標とする指向特性を高い周波数で実現するには、各θでの2sin〔(kd/2)cosθ〕/ωτの値をθ=0のときの値にそろえることが必要である。そこで、ここでは、図13に示す如くLPFを設けて、高い周波数での2sin〔(kd/2)cosθ〕/ωτの値の大きさの低下を、LPFの共振特性によるピーキングで補償する考えを取る。
【0038】
上記のLPFの伝達関数は次式(14)のようになる。
【0039】
【数12】
【0040】
したがって、周波数が低い方からf0 までの大きさの拡大を利用して、指向特性の補償が行われる。しかしながら、図14の3)d=8cmの場合は、周波数約4kHz以上では、本方法をもってしても、補償は不可能である。
図17は式(14)の振幅特性を説明する図である。LPFを用いた場合は、本図に示すように、指向性関数Dは次式(15)のようになる。
【0041】
【数13】
【0042】
もともとの低周波数において、(c:音速)次の関係の式(16)のように、
【0043】
【数14】
【0044】
とすればよい。
指向特性の数値計算例
LPFを用いない場合のd=6cmについて、指向特性を計算した結果は、前述の図11、図12に掲げている。ただし、θ=45°でディップをもたせるためにτ=120μsecとしている。
【0045】
図18、図19は、d=6cmにおいて、LPFを用い周波数での特性改善を図った計算結果例を説明する図である。本図(a)から(g)の結果から、LPFによる特性改善がよく分かる。ここに、LPFにおいて、f0 =6800Hz、Q=20、d=6cm、τ=120μsecである。
次に、d=4cmとして、θ=0°でディップを与える場合を取り上げる。式(16)からτ≒120μsecと求まる。この場合のLPFを用いて高周波補償を施した。
【0046】
図20、図21は図13の指向性関数Dの数値計算結果例を説明する図である。本図に示すように、d=6cmからd=4cmに変更したことによって、かなり高い周波数まで良好な指向特性が得られている。
図22は、d=6cm、θ=45°ディップ又はd=4cm、θ=0°ディップの場合に図13の基本的構成を具体化したマイクロフォン回路10の構成例を示す図である。ただし、図13の基本構成の各経路に−1を乗じた形となっている。本図に示すマイクロフォン回路10は、マイクロフォンMC2とMC3とからの出力信号を入力してこれらの差を形成する差動増幅器11と、差動増幅器11の出力に接続されて高周波補償を行うLPF12と、LPF12に接続されて積分を行う積分器13と、積分13の出力とマイクロフォンMC1の出力とを加算する加算器14とからなる。図22に示される差動増幅器11、LPF12、積分器13、加算器14を形成する、トランジスタ、オペアンプの種類、抵抗、コンデンサ等の値は一例である。ここで、d=6cm、θ=45°でディップをもたせるものとして、τ=120μsecである(d=4cm、θ=0°でディップの場合も本回路構成となる)。
【0047】
次に、積分器13として、従来の積分器をそのまま使用すると、その構成には、2つの問題があった。積分器13を構成するオペアンプ(OP)のオフセットを取るための帰還抵抗は、理想に近い積分特性実現のために高抵抗値を与えている。しかし、
▲1▼ それでも低周波(300Hz付近以下)では、理想の積分特性を実際に得ることが相当に難しい。他方、帰還抵抗大である。
【0048】
▲2▼ そのため、前段の僅かなオフセット誤差(差動増幅器11を構成するOP1に積分特性をもたせた場合は、直流差動誤差)によっても、積分器13の出力に大きな直流誤差を生ずる。
以上の問題点の解決方法として、図22の回路図に示すように、積分器13の帰還抵抗の中間点と接地間を交流点に短絡するにしてある。ただし、RC2、RC3に比べて、短絡用容量(インピーダンス)は十分に小さくする必要がある。
【0049】
次に、図22のマイクロフォン回路の各回路の動作を説明する。
図23は図22の差動増幅回路11を説明する図である。本図の点Pにおいて、次式(17)、(18)が成立する。
【0050】
【数15】
【0051】
上式において、次式(19):
【0052】
【数16】
【0053】
の条件が満足されるとすれば、次式(20)が成立する。
【0054】
【数17】
【0055】
ここで、RA1=RA2 RA3=RA4とすると、次式(21)が成立する。
【0056】
【数18】
【0057】
図24は図22の高QのLPF12を説明する図である。本図に、安定な動作が期待できる多重帰還形LPFが示される。ここで、CB4とCB5の容量分割回路を用いることによって、従来、困難であったQの高Q化が実現できる。本構成の場合、有限GB積の影響は無視できない。
図24において、次式(22)が成立する。
【0058】
【数19】
【0059】
また、図24の点Pにおいて、次式(23)が成立する。
【0060】
【数20】
【0061】
それゆえ、本LPF12の伝達関数は次式(24)の通りになる。
【0062】
【数21】
【0063】
そして、周波数域を分母3次の項が無視できる範囲とするならば、次式(25)のように簡略化される。
【0064】
【数22】
【0065】
ただし、式(26)の関係がある。
【0066】
【数23】
【0067】
図25は図22の低周波数域まで動作可能な積分回路13を説明する図である。本図の積分回路13において、本来、C’は電界コンデンサの大きな容量を用い、交流的には零インピーダンスを目標としている。しかしながら、ここで、この容量C’の影響を、以下に、調査する。
有限GB積を無視して、点Pの電流の連続性を取ると、次式(27)、(28)が成立する。
【0068】
【数24】
【0069】
したがって、次式(29):
【0070】
【数25】
【0071】
の理想の積分特性を得るための十分条件は、次式(30):
【0072】
【数26】
【0073】
となる。
図26は図22の加算回路14を説明する図である。本図のP点において、次式(31)、(32)が成立する。
【0074】
【数27】
【0075】
したがって、次式(33)、(34)が成立する。
【0076】
【数28】
【0077】
以上の各回路を結合した図22において、式(35)、(36)が成立する。
【0078】
【数29】
【0079】
ただし、ω0 とQは式(26)に表示している。
このように、複数のマイクロフォンとアナログ回路を用いることで、低コストで所望のマイクロフォンの指向特性を得ることが可能になる。
ビームフォーマの尖鋭化
基本的考え方
図27は自由空間内の半分に指向特性をもつマルチマイクロフォンのシステムとして3マイクロフォン直線配置積分方式の例を示す図である。本図に示すマイクロフォン回路10では、自由空間内の半分に指向特性を有するマルチマイクロフォンのシステム、例えば、図13(図27に再掲)の指向特性にsin(kdcosθ)、つまり横8の字を掛けることにより、さらにビームを鋭くすることを考えた。なお、低い周波数ではsin(kdcosθ)の値が小さくなるから、指向特性が小さくなる。したがって、その後には積分器を用いて増幅させることが必要となる。
【0080】
この場合、指向性関数Dは次式(37)となる。
【0081】
【数30】
【0082】
図28、図29は式(37)の指向特性を示す図である。本図に示すように、式(37)の指向特性が示される。
式(37)をさらに展開すると次式(38)となる。
【0083】
【数31】
【0084】
実数部の値が零で、この式の値が虚数部の値となるマイクロフォン配置を考え、この結果に基づく次式(39)を示す。
【0085】
【数32】
【0086】
図30は式(39)の指向特性を実現するマイクロフォンの配置を示す図である。本図に示すように、式(39)を完全に満足するように5つのマイクロフォンの直列配置が行われる。
尖鋭化したビームの3マイクロフォンによる実現
しかし、図30のようにマイクロフォンを5つも使用することは望ましくない。そこで、
〔1〕マイクロフォンMIC2とMIC3を右にdだけ移動して3マイクロフォンを実現する;
〔2〕マイクロフォンMIC2とMIC3を左にdだけ移動して3マイクロフォンを実現する;
〔3〕マイクロフォンMIC5を右にdだけ、MIC4を左にdだけ移動して3マイクロフォンを実現する;ことを考えることにした。
【0087】
図31は〔1〕のマイクロフォン配置で尖鋭化した指向特性を実現する図である。本図に示すマイクロフォン回路10により得られる指向特性は次式(40)のようになる。
【0088】
【数33】
【0089】
〔2〕の場合には、指向特性は次式(41)のようになる。
【0090】
【数34】
【0091】
指向特性の絶対値は、〔1〕のときと同じである。
図32は〔3〕のマイクロフォン配置で尖鋭化した指向特性を実現する図である。本図に示すマイクロフォン回路10により得られる指向特性は次式(42)のようになる。
【0092】
【数35】
【0093】
さらに式(42)を変形すると、次式(43)のようになる。
【0094】
【数36】
【0095】
となり、式(37)にかなり近い形となっていることが分かる。
以上、3通りの3マイクロフォン化を考えたが、その中で〔3〕の場合について、さらに検討していく。なお、実際には、図32の出力には、さらなる積分回路を必要となる。
図33、図34は〔3〕の場合の指向特性を示す図である。ただし、d=2.5cm、τ=30μsecとする。本図に示すように、f=2000Hz以上から、指向特性の鋭さが減少し始める。そこで、式(43)に注目し、cos(kd/2cosθ)、1/ωτsin(kd/2)cosθの周波数に対する変化を調べる。
【0096】
図35は式(43)のcos(kd/2)cosθ、1/ωτsin(kd/2cosθ)の数値計算結果を示す図である。図35(b)から、式(43)の1/ωτsin(kd/2cosθ)によって、周波数が低いときは、指向特性が鋭くなることが分かる。また、図35(b)の各大きさの周波数に対する減少は、f=4000Hzくらいまでは少ない。しかし、それ以上の周波数では、指向特性鈍化の原因となる。
【0097】
ところが、式(43)の〔〕内のcos(kd/2cosθ)は図35(a)に示すごとく、かなり低い周波数から減少し始めている。また、高い周波数で、左側に指向特性が表れ始めているのも、cos(kd/2cosθ)が減少することにある。
図36、図37は図32で、d=2.5cmから2cmに変更した指向特性を示す図である。本図に示すように、f=5000Hzまで良好な指向特性の鋭さが維持され、かなり高い周波数まで尖鋭化が実現される。ただし、τ=30μsecである。
【0098】
図38は図32の出力に1/jωτ’を付加してビームを鋭くした構成例を示す図である。式(43)を参照すると、図38に示すマイクロフォン回路10により得られる指向性関数Dは次式(44)のごとく表される。
【0099】
【数37】
【0100】
それゆえに、次の関係の式(45)が成立する。
【0101】
【数38】
【0102】
図39は図32、図38を基にした具体的なマイクロフォン回路10の構成例を示す図である。本図に示す回路素子値は、図22のおおよその参考として、設定されている。本図において、回路素子間には、次の条件(46)を必要とする。
【0103】
【数39】
【0104】
ここで、オペアンプ(op)の理想形として、図39の回路において、次式(47)が成立する。
【0105】
【数40】
【0106】
そして、式(46)の条件が満足すると、式(47)は次式(48)、(49)のようになる。
【0107】
【数41】
【0108】
図40、41、42は図39の回路に各入力に対する伝送|V0 /ViM|、|V0 /ViL|、|V0 /ViR|の大きさのシミュレーション結果をそれぞれ示す図である。なお、オペアンプはTL−061である。f=300Hz以上では、ほぼ目標の特性が得られている。実際には、利得水準を20から30dBダウンとなるように回路素子値を設定してもよい。
【0109】
なお、図40、41、42の300Hz以下の低域で積分特性の劣化は、積分回路の電界コンデンサのインピーダンスによる。しかし、特に問題とはならない。
5マイクロフォンによるビームの尖鋭化
前述した自由空間の半分に感度を有する指向特性に、1−cos(kdcosθ)を掛け算すると、以下に説明するように、その指向特性はより尖鋭化する。しかし、この場合は、5マイクロフォンの入力となる。
【0110】
式(12)に1−cos(kdcosθ)を掛け算した指向性関数Dは次式(50)のようになる。
【0111】
【数42】
【0112】
式(50)を変形すると、次式(51)のようになる。
【0113】
【数43】
【0114】
図43は、式(51)の指向特性を満足する5つのマイクロフォンの直線配置を示す図である。本図に示すように、5つのマイクロフォンが等間隔で直線に配置され、マイクロフォン回路10の構成が形成される。
図44、図45は図43で、d=2cm、τ=120μsecとした指向特性を示す図である。本図に示すように、指向特性は3マイクロフォンよりも尖鋭化される。
【0115】
さらに、前述の式(10)に1−cos(kdcosθ)を掛け算した指向性関数Dは次式(52)のようになる。
【0116】
【数44】
【0117】
式(52)を変形すると、次式(53)のようになる。
【0118】
【数45】
【0119】
図46は式(53)の指向特性を満足する5つのマイクロフォンの直線配置を示す図である。本図に示すように、5つのマイクロフォンが等間隔で直線に配置され、マイクロフォン回路10の構成が形成される。
図47、図48は図46で、d=2cm、τ=50μsec、CR=30μsecとした指向特性を示す図である。本図に示すように、指向特性は3マイクロフォンよりも尖鋭化される。
【0120】
図49は、本発明に係る直線配置のマルチマイクロフォンを自動車に配置する例を示す図である。本図に示すように、自動車において話者の前方に位置し、垂直に対して、例えば、45°の角度をなすAピラー(前方のピラー)に直線配置の複数の(マルチ)マイクロフォンを取り付ける場合には、複数のマイクロフォンの高さを話者の口元の高さに合わせ、マルチマイクロフォンの指向特性のピークを方向を135°とし、マルチマイクロフォンの指向特性のディップ方向を自動車の床方向の45°方向とする。自動車ごとに、マイクロフォンの指向特性を最適化することで、音声認識装置に入力される音声のS/Nを確保できる。
【0121】
図50は、図13の構成を例として、マイクロフォンに対する利得の制御により指向特性のディップを制御する例を示す図である。本図(a)に示すように、マイクロフォン1、2、3が直線配置されて、それぞれに利得G1、G2、G3の初期値が設定され、本図(b)の左側に示す下方向にディップが向いているとする。この場合、利得G2を初期値よりも小さくすると、本図(b)の右側示すように、ディップの向きが上方向に移動する。このようにして、話者の口元の位置に合わせて、マイクロフォンの指向特性のディップ位置を変えることで、話者が変わっても、音声認識装置に入力される音声のS/Nレベルを保持でき、安定した音声認識処理が行える。
【0122】
図51は、複数の(マルチ)マイクロフォンの配置の別の例を示す図である。本図に示すように、自動車の運転に使用するルームミラーの裏側に複数のマイクロフォンを取り付けてもよい。このようにして、複数のマイクロフォンの取付けスペースの制約を拡大できる。また、車内側から見た場合のマイクロフォンの取付けによる内装へのデザイン的影響を軽減できる。
【0123】
なお、上記の複数のマイクロフォンの各々は無指向特性であってもよい。
【0124】
【発明の効果】
以上の説明により本発明によれば、音声認識に使用される周波数の範囲でマイクロフォンの指向特性を尖鋭化することが可能になり、さらに、話者に対して感度がピークになり、騒音に対して感度がディップとなるように指向特性を制御することが可能になった。
【図面の簡単な説明】
【図1】本発明に係る2個のマイクロフォンの直線配置の指向特性例を説明する図である。
【図2】式(3)の指向特性の概略を説明する図である。
【図3】式(5)の指向特性の概略を説明する図である。
【図4】指向性形成のブロックダイヤグラム1であって、2つのマイクロフォンの出力の和を取る方式に位相器を付加した構成例を示す図である。
【図5】図4の指向特性について、d=4cm、τ=135μsecとして、式(8)の各周波数の数値計算結果例を説明する図である。
【図6】図4の指向特性について、d=4cm、τ=135μsecとして、式(8)の各周波数の数値計算結果例を説明する図である。
【図7】指向性形成のブロックダイヤグラム2であって、図5、6に式(6)を基本として位相推移を付加した構成例を示す図である。
【図8】図7の指向特性について、d=6cm、CR=63μsec、τ=87μsecとして、式(10)の各周波数での数値計算結果例を説明する図である。
【図9】図7の指向特性について、d=6cm、CR=63μsec、τ=87μsecとして、式(10)の各周波数での数値計算結果例を説明する図である。
【図10】指向性形成のブロックダイヤグラム3を示す図である。
【図11】図10の指向特性について、d=6cm、τ=120μsecとして、式(11)の各周波数での数値計算結果例を説明する図である。
【図12】図10の指向特性について、d=6cm、τ=120μsecとして、式(11)の各周波数での数値計算結果例を説明する図である。
【図13】3マイクロフォン直線配置積分方式を採用する基本構成を説明する図である。
【図14】式(13)の概略を説明する図である。
【図15】ωに対する2sin〔(kd/2)cosθ〕/ωτの変化を説明する図である。
【図16】指向特性の劣化の概要を説明する図である。
【図17】式(14)の振幅特性を説明する図である。
【図18】d=6cmにおいて、LPFを用い周波数での特性改善を図った計算結果例を説明する図である。
【図19】d=6cmにおいて、LPFを用い周波数での特性改善を図った計算結果例を説明する図である。
【図20】図13の指向性関数Dの数値計算結果例を説明する図である。
【図21】図13の指向性関数Dの数値計算結果例を説明する図である。
【図22】d=6cm、θ=45°ディップ又はd=4cm、θ=0°ディップの場合に図13の基本的構成を具体化したマイクロフォン回路10の構成例を示す図である。
【図23】図22の差動増幅回路11を説明する図である。
【図24】図22の高QのLPF12を説明する図である。
【図25】図22の低周波数域まで動作可能な積分回路13を説明する図である。
【図26】図22の加算回路14を説明する図である。
【図27】自由空間内の半分に指向特性をもつマルチマイクロフォンのシステムとして3マイクロフォン直線配置積分方式の例を示す図である。
【図28】式(37)の指向特性を示す図である。
【図29】式(37)の指向特性を示す図である。
【図30】式(39)の指向特性を実現するマイクロフォンの配置を示す図である。
【図31】〔1〕のマイクロフォン配置で尖鋭化した指向特性を実現する図である。
【図32】〔3〕のマイクロフォン配置で尖鋭化した指向特性を実現する図である。
【図33】〔3〕の場合の指向特性を示す図である。
【図34】〔3〕の場合の指向特性を示す図である。
【図35】式(43)のcos(kd/2)cosθ、1/ωτsin(kd/2cosθ)の数値計算結果を示す図である。
【図36】図32で、d=2.5cmから2cmに変更した指向特性を示す図である。
【図37】図32で、d=2.5cmから2cmに変更した指向特性を示す図である。
【図38】図32の出力に1/jωτ’を付加してビームを鋭くした構成例を示す図である。
【図39】図32、図38を基にした具体的なマイクロフォン回路10の構成例を示す図である。
【図40】図39の回路に各入力に対する伝送|V0 /ViM|、|V0 /ViL|、|V0 /ViR|の大きさのシミュレーション結果をそれぞれ示す図である。
【図41】図39の回路に各入力に対する伝送|V0 /ViM|、|V0 /ViL|、|V0 /ViR|の大きさのシミュレーション結果をそれぞれ示す図である。
【図42】図39の回路に各入力に対する伝送|V0 /ViM|、|V0 /ViL|、|V0 /ViR|の大きさのシミュレーション結果をそれぞれ示す図である。
【図43】式(51)の指向特性を満足する5つのマイクロフォンの直線配置を示す図である。
【図44】図43で、d=2cm、τ=120μsecとした指向特性を示す図である。
【図45】図43で、d=2cm、τ=120μsecとした指向特性を示す図である。
【図46】式(53)の指向特性を満足する5つのマイクロフォンの直線配置を示す図である。
【図47】図46で、d=2cm、τ=50μsec、CR=30μsecとした指向特性を示す図である。
【図48】図46で、d=2cm、τ=50μsec、CR=30μsecとした指向特性を示す図である。
【図49】本発明に係る直線配置のマルチマイクロフォンを自動車に配置する例を示す図である。
【図50】図13の構成を例として、マイクロフォンに対する利得の制御により指向特性のディップを制御する例を示す図である。
【図51】複数の(マルチ)マイクロフォンの配置の別の例を示す図である。
【符号の説明】
MIC1、2、3、4、5…マイクロフォン
10…マイクロフォン回路
Claims (19)
- 騒音下で話者の音声を抽出するマイクロフォンの指向特性を制御する装置において、
直線的に等間隔で配置され、前記音声による平面音波を入力する複数のマイクロフォンを備え、
前記複数のマイクロフォンのうち、中央に位置する第1マイクロフォンの両隣に配置された第2及び第3マイクロフォンの出力信号の差を取り、差分信号を出力する差分手段と、
前記第1マイクロフォンの出力信号と前記差分信号とを加算する加算手段とを有するマイクロフォン回路を備え、
前記各出力信号の利得を調整することにより、前記マイクロフォンの指向特性を制御することを特徴とするマイクロフォンの指向特性を制御する装置。 - 騒音下で話者の音声を抽出するマイクロフォンの指向特性を制御する装置において、
直線的に等間隔で配置され、前記音声による平面音波を入力する複数のマイクロフォンを備え、
前記複数のマイクロフォンのうち、中央に位置する第1マイクロフォンの両隣に配置された第2及び第3マイクロフォンの出力信号の差を取り、差分信号を出力する差分手段と、
前記差分信号を積分し、積分信号を出力する積分手段と、
前記第1マイクロフォンの出力信号と前記積分信号とを加算する加算手段とを有するマイクロフォン回路を備え、
前記差分手段と前記加算手段との利得を調整することにより、前記マイクロフォンの指向特性を制御することを特徴とするマイクロフォンの指向特性を制御する装置。 - 前記マイクロフォン回路は、
前記第1のマイクロフォンの左右に配置された第2及び第3マイクロフォンの出力信号の差を取ることにより、前記第2及び第3マイクロフォン間の中央の対称軸で8の字型で正負極を有する8の字型指向特性を形成する差動増幅器と、
前記差動増幅器により得られた結果を積分して前記差動増幅器により得られる低周波数での指向特性の低下を回復する積分器と、
前記積分器の出力信号と前記第1マイクロフォンの出力信号を加算し、前記差動増幅器で得られる前記8の字型指向特性の一方の極を消去して他方の極を強調して指向特性を鋭くする加算器と、
を備えることを特徴とする請求項2に記載のマイクロフォンの指向特性を制御する装置。 - 前記差動増幅器と前記積分器との間に低域通過フィルタを設け、前記差動増幅器により得られた指向特性の高周波数の補償を行うことを特徴とする請求項3に記載のマイクロフォンの指向特性を制御する装置。
- 前記積分器に含まれるオペアンプに係る帰還抵抗の中間点と接地との間を交流的に短絡することを特徴とする請求項3に記載のマイクロフォンの指向特性を制御する装置。
- 前記低域通過フィルタに含まれるオペアンプの容量帰還部が、容量分割回路であることを特徴とする、請求項4に記載のマイクロフォンの指向特性を制御する装置。
- 前記加算器から出力される指向特性Dは、角周波数をω、音速をc、前記マイクロフォンの間隔をd、前記平面音波の入力角度をθ、積分定数をτとし、k=ω/cであるとき、
D=1−(2/ωτ)sin(kdcosθ)
で表現されることを特徴とする請求項3に記載のマイクロフォンの指向特性を制御する装置。 - 前記複数のマイクロフォンは、前記第1マイクロフォン、該第1マイクロフォンを挟む左右の第2及び第3マイクロフォン、該第2及び第3マイクロフォンの外側に配置された左右の第4及び第5マイクロフォンからなり、前記音声の平面音波が各々のマイクロフォンに入力され、
前記マイクロフォン回路は、前記各マイクロフォンの出力信号を処理して、8の字型で且つ対称軸で正負極を有する第1の8の字型指向特性を形成し、該第1の8の字型指向特性の一方の極を消去して他方の極を強調し、さらに、消去、強調した指向特性に第2の8の字型指向特性を掛けた新たな指向特性を形成する請求項3に記載のマイクロフォンの指向特性を制御する装置。 - 前記新たな指向特性Dは、角周波数をω、音速をc、前記マイクロフォンの間隔をd、前記平面音波の入力角度をθ、積分定数をτとし、k=ω/cであるとき、
D={1−(2/ωτ)sin(kdcosθ)}・sin(kdcosθ)
で表現されることを特徴とする請求項8に記載のマイクロフォンの指向特性を制御する装置。 - 前記マイクロフォン回路は、前記新たな指向特性に積分処理を行うことを特徴とする請求項8に記載のマイクロフォンの指向特性を制御する装置。
- 前記マイクロフォン回路は、前記第1乃至第5マイクロフォンについて、前記第2マイクロフォンと前記第1マイクロフォンとの平面音波を共通にし、且つ前記第3マイクロフォンと前記第5マイクロフォンの平面音波を共通にし、3つの中央及び左右のマイクロフォンの出力信号として処理し、前記新たな指向特性を近似的に求めることを特徴とする請求項8に記載のマイクロフォンの指向特性を制御する装置。
- 前記マイクロフォン回路は、前記第3マイクロフォンと前記第1マイクロフォンとの平面音波を共通にし、且つ前記第2マイクロフォンと前記第4マイクロフォンの平面音波を共通にし、3つの中央及び左右のマイクロフォンの出力信号として処理し、前記新たな指向特性を近似的に求めることを特徴とする請求項8に記載のマイクロフォンの指向特性を制御する装置。
- 前記マイクロフォン回路は、前記第5マイクロフォンと前記第3マイクロフォンとの平面音波を共通にし、且つ前記第4マイクロフォンと前記第2マイクロフォンの平面音波を共通にし、3つの中央及び左右のマイクロフォンの出力信号として処理し、前記新たな指向特性を近似的に求めることを特徴とする請求項8に記載のマイクロフォンの指向特性を制御する装置。
- 前記マイクロフォン回路は、前記中央マイクロフォンと前記左及び右マイクロフォンからなる前記3つのマイクロフォンの出力信号について、前記中央マイクロフォンの出力信号に利得2を掛け、前記左及び右マイクロフォンの各々の出力信号に利得−1を掛けて、第1の加算を行い、さらに、第1の積分処理を行い、前記左マイクロフォンの出力信号に利得1を掛け、前記右マイクロフォンの出力信号に利得−1を掛けて、前記第1の積分処理結果に第2の加算を行い、さらに、第2の積分を行うことを特徴とする請求項13に記載のマイクロフォンの指向特性を制御する装置。
- 前記新たな指向特性Dは、角周波数をω、音速をc、前記マイクロフォンの間隔をd、前記平面音波の入力角度をθ、積分定数をτとし、k=ω/cであるとき、
D={1−(2/ωτ)sin(kdcosθ)}・ {1−cos(kdcosθ)}
で表現されることを特徴とする請求項8に記載のマイクロフォンの指向特性を制御する装置。 - 前記新たな指向特性Dは、角周波数をω、音速をc、前記マイクロフォンの間隔をd、前記平面音波の入力角度をθ、積分定数をτ、遅延定数をCRとし、
k=ω/cであるとき、
D=(−j4/ωτ)sin(kd/2cosθ−tan−1ωCR)・ {1−cos(kd/2cosθ)}
で表現されることを特徴とする請求項8に記載のマイクロフォンの指向特性を制御する装置。 - 前記各マイクロフォンの相互の間隔を狭めることにより高周波数の指向特性を高めることを特徴とする、請求項3、8及び13のいずれか一項に記載のマイクロフォンの指向特性を制御する装置。
- 自動車の車室内における前記複数のマイクロフォンの取付位置によって、マイクロフォンの指向特性におけるディップ方向が特定されることを特徴とする請求項1乃至17のいずれか一項に記載のマイクロフォンの指向特性を制御する装置。
- 前記マイクロフォン回路は、前記第1乃至第3マイクロフォンの各利得を変えることにより、マイクロフォンの指向特性におけるディップの方向を可変にすることを特徴とする請求項1乃至18のいずれか一項に記載のマイクロフォンの指向特性を制御する装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10288898A JP3630553B2 (ja) | 1998-04-14 | 1998-04-14 | マイクロフォンの指向特性を制御する装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10288898A JP3630553B2 (ja) | 1998-04-14 | 1998-04-14 | マイクロフォンの指向特性を制御する装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11298988A JPH11298988A (ja) | 1999-10-29 |
JP3630553B2 true JP3630553B2 (ja) | 2005-03-16 |
Family
ID=14339410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10288898A Expired - Fee Related JP3630553B2 (ja) | 1998-04-14 | 1998-04-14 | マイクロフォンの指向特性を制御する装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3630553B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6278377B1 (en) | 1999-08-25 | 2001-08-21 | Donnelly Corporation | Indicator for vehicle accessory |
WO2008062850A1 (fr) | 2006-11-22 | 2008-05-29 | Funai Electric Advanced Applied Technology Research Institute Inc. | Dispositif d'entrée vocale, procédé de production de ce dernier et système de traitement d'informations |
WO2008062848A1 (fr) | 2006-11-22 | 2008-05-29 | Funai Electric Advanced Applied Technology Research Institute Inc. | Dispositif d'entrée vocale, procédé de production de ce dernier et système de traitement d'informations |
JP5114106B2 (ja) * | 2007-06-21 | 2013-01-09 | 株式会社船井電機新応用技術研究所 | 音声入出力装置及び通話装置 |
JP5272920B2 (ja) | 2009-06-23 | 2013-08-28 | 富士通株式会社 | 信号処理装置、信号処理方法、および信号処理プログラム |
JP5493850B2 (ja) | 2009-12-28 | 2014-05-14 | 富士通株式会社 | 信号処理装置、マイクロホン・アレイ装置、信号処理方法、および信号処理プログラム |
JP5558251B2 (ja) * | 2010-07-30 | 2014-07-23 | 日置電機株式会社 | 積分回路および電圧検出装置 |
-
1998
- 1998-04-14 JP JP10288898A patent/JP3630553B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11298988A (ja) | 1999-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7106876B2 (en) | Microphone for simultaneous noise sensing and speech pickup | |
US10904396B2 (en) | Multi-channel residual echo suppression | |
US7778427B2 (en) | Phase compensation techniques to adjust for speaker deficiencies | |
EP1858295B1 (en) | Equalization in acoustic signal processing | |
WO2019070722A1 (en) | SPACE DIAGRAM DETECTOR | |
US20030021428A1 (en) | Sound reproduction device | |
US20090208028A1 (en) | Adaptive filter in a sensor array system | |
JP3630553B2 (ja) | マイクロフォンの指向特性を制御する装置 | |
JP2002539492A (ja) | 変換器装置の空間受信増巾特性の整形方法及び変換器装置 | |
US8767973B2 (en) | Adaptive filter in a sensor array system | |
JP2667403B2 (ja) | 音響装置 | |
US6788791B2 (en) | Delay network microphones with harmonic nesting | |
JP2861011B2 (ja) | 音声入力方法及び装置 | |
US7191022B1 (en) | Public addressing system | |
JP3026078B2 (ja) | 車載用警報音装置 | |
CN112218194B (zh) | 拾音装置及车载卡拉ok装置 | |
JP2017034519A (ja) | 音声処理装置、音声処理システム及び音声処理方法 | |
JP3815947B2 (ja) | 狭角度指向性マイクロフォンシステム | |
JP4345349B2 (ja) | 車載用音響再生装置 | |
JP3221835B2 (ja) | 車載用音響再生装置 | |
KR102053109B1 (ko) | 마이크 어레이를 이용한 지향성 빔포밍 방법 및 장치 | |
JPH05137193A (ja) | スピーカ装置 | |
JP3106649B2 (ja) | マイクロホン装置 | |
JP2000069583A (ja) | 音声入力装置 | |
JPS60193781U (ja) | 車載用音場補正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040607 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040706 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040903 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040903 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041214 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |