JP3797751B2 - マイクロホンシステム - Google Patents

マイクロホンシステム Download PDF

Info

Publication number
JP3797751B2
JP3797751B2 JP15524697A JP15524697A JP3797751B2 JP 3797751 B2 JP3797751 B2 JP 3797751B2 JP 15524697 A JP15524697 A JP 15524697A JP 15524697 A JP15524697 A JP 15524697A JP 3797751 B2 JP3797751 B2 JP 3797751B2
Authority
JP
Japan
Prior art keywords
microphone
microphones
pair
output
microphone pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15524697A
Other languages
English (en)
Other versions
JPH10215497A (ja
Inventor
文彦 中沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP15524697A priority Critical patent/JP3797751B2/ja
Priority to US08/965,191 priority patent/US6069961A/en
Publication of JPH10215497A publication Critical patent/JPH10215497A/ja
Application granted granted Critical
Publication of JP3797751B2 publication Critical patent/JP3797751B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Description

【0001】
【発明の属する技術分野】
本発明は、話者とパーソナルコンピュータとのインタフェース技術に用いられるマイクロホンシステムに関し、特に発音者(話者)の位置を入力データとしてパーソナルコンピュータに入力し、発音の検出信号の信号対雑音比(S/N)を改善して次段の音の処理(例えば、音声認識)の改善を行うマイクロホンシステムに関するものである。
【0002】
【従来の技術】
複数のマイクロホンを用いて音源方向を検出する従来の技術として、例えば、特開平4−72525号、特開平5−207117号、特開平7−336790号があげられる。
【0003】
特開平4−72525号は、球体の表面に球体中心から見て90°の間隔で6つの無指向性のマイクロホンを配置した一体構造の球状受信音検出部を用いて、各マイクロホンの受音圧レベルを検出し、対向するマイクロホンの差信号を検出し、この2つの受音圧レベルと差信号にもとづいて音源方向を演算し、3次元空間内に存在する音源方向を、簡単で精度よく算出するようにしたものである。
【0004】
本方式では、6つの無指向性のマイクロホンを用いて音源方向のみを検出しており、目的音の抽出にS/Nの改善を行うことについての記載がない。
特開平5−207117号は、自動車電話機に入力させる話者即ち運転者の音声を、少なくとも3つ以上の位置検出用のマイクロホンで受信し、各音声信号間の時間差を検出し、その時間差にもとづいて話者の位置を検出し、さらに話者の方向に指向性マイクロホンを向け、雑音の影響を少なくして話者の音声の認識を高めるようにしたものである。
【0005】
本方式では、目的音の抽出用のマイクロホンとして3つ以上の超指向性マイクロホンを使用し、この3つの超指向性マイクロホンを話者の方向に向けている。
一般的に超指向性マイクロホンは鋭い指向性を得るため、全長が50cm以上と長くなる。さらに、目的音の抽出にS/Nの改善を行うことについての記載がない。
【0006】
特開平7−336790号は、複数のマイクロホンを配置し、その出力が最大値となるマイクロホンもしくは発生のタイミングが最も早かったマイクロホンを選択するようにし、マイクロホンの人手操作、音声信号の混信、ミキシングの人手操作を自動化し、改善するようにしたものである。
【0007】
本方式では、音源方向の抽出および目的音の抽出に単一のマイクロホン出力を用いており、目的音の抽出にS/Nの改善を行うことについての記載がない。
【0008】
【発明が解決しようとする課題】
従って、従来例のマイクロホンシステムにおいては、かならずしも小型で簡単な構成でなく、また、音源方向の目的音を高いS/Nで抽出できないという課題がある。
【0009】
本発明は、小型で簡単な構成を有し、かつ音源方向の検出と高いS/Nで目的音の抽出を可能にするマイクロホンシステムを提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明は、所定の間隔離して配置される2つの無指向性マイクロホンからなるマイクロホン対が、マイクロホン対の2つのマイクロホンを結ぶ線分とそれに隣接するマイクロホン対の2つのマイクロホンを結ぶ線分との交角が60°以下となるように、同一平面上に複数配置された複数のマイクロホン対と、該各マイクロホン対における2つのマイクロホンの差信号を演算する複数の第一の演算手段と、該各マイクロホン対における2つのマイクロホンの和信号を演算する複数の第二の演算手段と、前記複数の第一の演算手段の各出力から最小値出力を検出する検出手段と、検出された該最小値出力のマイクロホン対の和信号を選択し音情報として出力する選択手段と、を設けたことを特徴とするマイクロホンシステムである。
【0011】
上記構成のマイクロホンシステムにおいては、選択手段から出力されたマイクロホン対の和信号を加算する加算手段を設け、選択手段が、差信号の最小値に対応する和信号に加えて2番目に小さい差信号に対応する和信号も選択して、これらの信号を加算手段に入力するように構成してもよい。
【0012】
上記した複数のマイクロホン対は、マイクロホンが同一円周上に位置するように、マイクロホン対を形成する2つのマイクロホンを結ぶ線分の中間点を中心として60°以下の交角ずつずらして配置することが望ましい。
【0013】
また、上記構成においては、第一の演算手段から出力される差信号を、音速Vとマイクロホン対における2つのマイクロホン間の距離Dとの関係においてV/2D=Fで示されるカットオフ周波数Fにてろ波する低域通過フィルタをマイクロホン対毎に備え、検出手段が低域通過フィルタの出力を検出するように構成することが望ましい。
【0014】
この発明は、また、所定の間隔離して2つの無指向性マイクロホンが配置された第1のマイクロホン対と、その第1のマイクロホン対の2つのマイクロホンの中間で第1のマイクロホン対と直交し第1のマイクロホン対と同一の第2のマイクロホン対とからなるマイクロホンを一組とし、その一組のマイクロホンが第1のマイクロホン対と第2のマイクロホン対との交点を中心として同一平面上に45°以下の交角で複数配置されたマイクロホンアレイと、各マイクロホン対における2つのマイクロホンの差信号を演算する複数の第一の演算手段と、複数の第一の演算手段の各出力から最小値出力を検出する検出手段と、検出された該最小値出力のマイクロホン対に直交するマイクロホン対における2つのマイクロホンの出力電圧の比を演算する第二の演算手段と、マイクロホン対の2つのマイクロホン間の距離と第二の演算手段によって演算された出力電圧の比とに基づいてマイクロホンアレイから音源までの距離を算出する算出手段とを備えたことを特徴とするマイクロホンシステムである。
【0015】
上記構成のマイクロホンシステムにおいては、マイクロホンアレイの各マイクロホンは、その感度が、マイクロホンアレイが配置された面に垂直でかつマイクロホンアレイの中心を通る線上に配置された音源からの音に対して各マイクロホンの出力が同一となるように調整されたものであることが望ましい。
【0016】
【発明の実施の形態】
以下において、図1〜図5により本発明の実施の形態例について説明する。
まず、発明にかかわる基本事項について、図1と図2により説明する。
【0017】
図1は、2つの無指向性マイクロホンからなるマイクロホン対の指向特性を示す図であり、図1(1) は2つの無指向性マイクロホン(以下において、マイクロホンと略称する)が同相(加算)で用いられる場合を示し、図1(2)は逆相(減算)で用いられる場合を示す。
【0018】
なお、2つのマイクロホンは、同一の特性(感度の指向性と周波数特性)を有しており、Dの間隔で配置されているものとする。
図1に示すように、2つのマイクロホン1a,1b を同軸上に配置して1つのマイクロホン対を形成した場合、図1(1) に示すように、2つのマイクロホン1a,1b が同相(加算)の際には、音の到来方向θに対する2つのマイクロホン1a,1b の和信号の指向特性は楕円形になる。
【0019】
従って、0°の方向(マイクロホン1a,1b の配置の方向と直角の方向)の利得と90°の方向(マイクロホン1a,1b の配置方向)の利得の間に大きな差異は生じず、鋭い指向特性が得られない。
【0020】
しかしながら、図1(2) に示すように、2つのマイクロホン1a,1b が逆相(減算)の際には、0°の方向の利得は抑圧され、2つのマイクロホン1a,1b の差信号の指向特性は略8字の形になる。
【0021】
従って、0°の方向の利得と90°の方向の利得の間には大きな差異が生じ、鋭い指向特性が得られるようになる。
本発明は、この逆相(減算)の際の鋭い抑圧指向性を利用して、音源方向を検出するようにしたものである。
【0022】
次に、図2について説明する。図2はマイクロホン対の差信号と和信号の特性を示す図である。
図2(1) は差信号であり、2つのマイクロホンが逆相で用いられる場合の指向特性(音源方向と利得)の実測値を示す。
【0023】
なお、両マイクロホンの間隔Dは20cmであり、音の周波数は200Hz 、398.828Hz および697.07Hz である。
図2(1) では、測定角度はマイクロホン対の配置方向を90°としている。図示のごとく、0°で利得が最小であり、角度の増加に伴い利得は増加する。
【0024】
なお、0°から30°までの範囲では、角度10°の増加に対して利得は少なくとも4dB以上は変化する。しかしながら、30°以上になると、角度10°の増加に対して利得は2dB以下程度しか変化せず、かつ30°〜90°の範囲での利得の変化は6dB程度である。
【0025】
即ち、マイクロホン対の正面方向から30°以上傾いた方向から音が到来した場合、角度が変化しても利得の変化は小さく出力も殆ど変化しない。
従って、音源方向がともに30°以上傾いた2つのマイクロホン対の差信号を比較した場合、どちらのマイクロホン対の傾きに近いかを正確に判断できない。即ち、音源方向の正確な検出が出来なくなる。
【0026】
このことは、マイクロホン対の音源方向からの角度は、最悪でも30°以下になるように設定する必要があることを示している。即ち、正確な音源方向を検出するためには、2つのマイクロホン対の交角は60°以下になるように設定する必要がある。
【0027】
次に、図2(2) について説明する。図2(2) は2つのマイクロホン対1、2の和信号を加算した加算和信号を示す図である。
いま、2つのマイクロホン1a,1b は同相であり、2つのマイクロホン2a,2b もまた同相であるとする。従って、2つのマイクロホン対1、2は同一の特性となる。なお、その交角を60°に配置する。
【0028】
図2(2) に示すごとく、マイクロホン対1の和信号の方向Aは、マイクロホン対2の配置方向から時計方向に30°の方向であり、その大きさは、例えばマイクロホン1aの出力の略2倍である。
【0029】
同様に、マイクロホン対2の和信号の方向Bは、マイクロホン対1の配置方向から反時計方向に30°であり、その大きさは、例えばマイクロホン1aの出力の略2倍である。
【0030】
従って、2つのマイクロホン対1、2の加算和信号の方向は、方向Aから時計方向に向かって30°で方向Bから反時計方向に向かって30°であり、その大きさは、例えばマイクロホン1aの出力の略4倍になる。
【0031】
一般に、n個の信号を同期加算すると振幅はn倍になるが、ランダムな騒音をn個加算すると振幅は該nの平方根倍になる。
例えば、2つのマイクロホン対1、2が同じ音源方向を向いているならば、音源からの音は同期加算となり、その加算出力の振幅は加算するマイクロホンの数の倍数になる。また、騒音はランダムなので、騒音の振幅は加算するマイクロホンの数の平方根倍になる。
【0032】
上記の説明をもとに、例えばマイクロホン1aの出力のS/Nとマイクロホン対1の出力のS/Nを比較した場合、Sは最大2倍になるがNは1.414 倍にしかならならないので、S/Nでは1.414 倍の最大3dBの改善となる。
【0033】
従って、2つのマイクロホン対1、2の場合においては、マイクロホン1aに対して最大6dBの改善となる。
つぎに、本発明の実施例について、図3〜図5により説明する。
【0034】
図3は本発明のマイクロホン対の実施例1の構成と特性を示す図であり、図3(1) は構成を示し、図3(2) は特性を示す。また、図4は本発明のマイクロホン対検出回路の一実施例の回路構成を示す図であり、図3に示す7つのマイクロホン対1〜マイクロホン対7に対応するように構成されている。さらに、図5は本発明のマイクロホン対の実施例2の構成を示す図である。
【0035】
〔実施例1〕
図3では、7つのマイクロホン対1(マイクロホン1aとマイクロホン1b)〜マイクロホン対7(マイクロホン7aとマイクロホン7b)を備えており、隣接するマイクロホン対の交角は、例えば15°としている。
【0036】
図3(1) に示す矢印の方向から音が到来した場合、7つのマイクロホン対1〜マイクロホン対7の差信号のそれぞれのレベルは、図3(2) に示すグラフのようになる。
【0037】
図3(1) に示すように3番目のマイクロホン対3の配置方向は音の到来方向に対して略直角であり、その差信号のレベルは図3(2) に示すように最も小さくなる。
【0038】
さらに、例えばマイクロホン対2、マイクロホン対4、マイクロホン対1、マイクロホン対5、・・・、マイクロホン対7の順に、その差信号のレベルは大きくなっていく。
【0039】
即ち、マイクロホン対1〜マイクロホン対7の差信号のレベルを比較し、最も小さいマイクロホン対3を選べば、音の到来方向が検出できるのである。
音の到来方向を検出したら、次に目的音を検出する。目的音の検出には、音の到来方向を検出したマイクロホン対の和信号の加算を行う。
【0040】
マイクロホン対の差信号からつくられる減算出力は、低域通過フィルタでろ波する。該低域通過フィルタのカットオフ周波数Fと音速Vおよびマイクロホン対の間隔Dとの間に、次の関係がある。
【0041】
F=V/2D
上記に示すカットオフ周波数Fより高い周波数の音が到来した場合、図1(2) に示した8字の指向特性に落ち込み(dip)が生じて指向性は8字形ではなくなり、正確な音源方向が検出できなくなることが知られている。このため低域通過フィルタでカットオフ周波数Fより高い周波数成分をカットする。
【0042】
上記したマイクロホン対の出力信号の処理について、図4により説明する。
図4において、1a,1b は図3(1) に示すマイクロホン対1を形成するマイクロホンである。同様に、2a,2b 〜7a,7b はマイクロホン対2〜マイクロホン対7を形成するマイクロホンである。
【0043】
11〜17はマイクロホン1a,1b 〜マイクロホン7a,7b からの出力を入力とし、回路11a 〜11f を有する同一構成のマイクロホン対検出回路である。
11a は第1の演算手段対応の減算回路(SUB)であり、11e は第2の演算手段対応の加算回路(ADD)であり、11b は低域通過フィルタ(LPF)であり、11c はピークホールド回路(PKH)であり、11d はアナログ/ディジタルコンバータ(A/D)であり、11f はスイッチ(SW)である。
【0044】
また、20は信号処理を行うホスト装置としてのMPU(マイクロプロセッサユニット)であり、21は複数の入力信号を加算する加算回路(ADD)であり、22は低速インタフェースのRS232Cドライバである。
【0045】
さらに、11c,11d および20の各回路が、音源方向情報を検出する検出手段に対応している。
例えば、マイクロホン(M)1a,1b で受信されたそれぞれの音の出力は、両出力の減算演算を行うSUB11a および加算演算を行うADD11e に入力される。このSUB11a とADD11e はオペアンプなどを用いて公知の技術で構成する。
【0046】
SUB11a からの減算出力(差信号に対応)は、前記カットオフ周波数F(F=V/2D)をもつLPF11b に入力され、該LPF11b の出力はPKH11c で最大値に保持される。
【0047】
このPKH11c で保持された最大値は、A/D11d でアナログ/ディジタル変換データ(A/DDATA) に変換され、MPU20に入力される。
同様に、マイクロホン2a,2b 〜マイクロホン7a,7b からの出力は、マイクロホン対検出回路12〜マイクロホン対検出回路17に入力されて6つのA/DDATA がつくられ、それぞれはMPU20に入力される。
【0048】
MPU20では、これらの7つのA/DDATA の値の大小を判断し、その最小値から方向信号をつくり、検出された音源の方向信号としてRS232Cドライバ22経由で出力される。
【0049】
さらに、MPU20では、この7つのA/DDATA の値の大小の判断結果をもとに、最小値のA/DDATA の加算出力(和信号)および、必要に応じてこのA/DDATA の中の2番目、3番目、・・・に小さい値に対応する加算出力(和信号)を選択するMIC選択の出力を送出してSW11f をオンにし、これらの和信号を通過させてADD21に加える。
【0050】
もし、この7つのA/DDATA の中の2番目と3番目に小さい値が同一値であると判断された場合、どちらか1つが選択されるようにSW11f は制御される。
ADD21では、複数のSW11f がオンされて通過した少なくも1つ以上の和信号を用いてS/Nの改善を行い、該S/Nの改善を行った所望のマイクロホンの検出信号として次段へ送出される。
【0051】
一般に、加算対象のマイクロホン対の数は、マイクロホンの検出対象周波数とマイクロホン対の配置角度と間隔より決定されるが、その詳細記載は省略する。なお、1つのマイクロホン出力の加算によりS/Nは3dB改善されるので、差信号の最小値を与えるマイクロホン対の検出信号は1つのマイクロホンの検出信号に比較して最大3dB改善される。
【0052】
従って、差信号の最小値と2番目に小さい値のそれぞれに対応したマイクロホン対の両検出信号を加算した場合、最大で6dBの改善が得られる。
【0053】
〔実施例2〕
次に、図5について説明する。図5はマイクロホン配置の実施例2の構成を示す図である。
【0054】
図5の第1例では、8つのマイクロホンを2列に分けて配置している。
【0055】
マイクロホン対の組み合わせは、マイクロホン1aとマイクロホン1b〜マイクロホン1aとマイクロホン4bの4通り、マイクロホン1bとマイクロホン2a〜マイクロホン1bとマイクロホン4aの3通りの合計7通りからなるようにする。
【0056】
この7通りの組み合わせの選択により、図3の実施例と同様に音源方向の検出目的音のS/Nの改善が実現できる。この場合、必要なマイクロホンの数は8つと図3の実施例に比べて少なくできる。
【0057】
なお、音源の検出範囲は、マイクロホン1bとマイクロホン4aとの配置方向に直交する方向からマイクロホン1aとマイクロホン4bとの配置方向に直交する方向までの範囲となる。
【0058】
図5の第2例では、4つのマイクロホン1a〜マイクロホン4aを1列に配置するとともに、マイクロホン1aの両側に2つのマイクロホン1bとマイクロホン1cを配置している。
【0059】
マイクロホン対の組み合わせは、例えばマイクロホン1bとマイクロホン1a〜マイクロホン1bとマイクロホン4aの4通り、およびマイクロホン1cとマイクロホン2a〜マイクロホン1cとマイクロホン4aの3通り、の合計7通りからなるようにする。
【0060】
そして第1例と同様に、この7通りの組み合わせの選択により、図3の実施例と同様に音源方向の検出および目的音のS/Nの改善が実現できる。この場合には、必要なマイクロホンの数は6つと図3の実施例および前記第1例に比べて少なくできる。
【0061】
なお、音源の検出範囲は、マイクロホン1cとマイクロホン4aとの配置方向に直交する方向からマイクロホン1bとマイクロホン4aとの配置方向に直交する方向までの範囲となる。
【0062】
〔実施例3〕
図6はマイクロホン対の実施例3の構成を示す図である。本実施例では、直交する2対のマイクロホンを1組とし、この1組のマイクロホンを45°以下の交角で配置したマイクロホンアレイの例を示している。
【0063】
この図に示すように、本例では、16個のマイクロホンを同心円上に22.5°の角度を隔てて配置したマイクロホンアレイで、音源方向と音源までの距離を検出するようにしている。
【0064】
すなわち、マイクロホンN1aとマイクロホンN1bとをマイクロホン対N1とし、マイクロホンN2aとマイクロホンN2bとをマイクロホン対N2とし、マイクロホンN3aとマイクロホンN3bとをマイクロホン対N3とし、マイクロホンN4aとマイクロホンN4bとをマイクロホン対N4とし、マイクロホンN5aとマイクロホンN5bとをマイクロホン対N5とし、マイクロホンN6aとマイクロホンN6bとをマイクロホン対N6とし、マイクロホンN7aとマイクロホンN7bとをマイクロホン対N7とし、マイクロホンN8aとマイクロホンN8bとをマイクロホン対N8とする。
【0065】
マイクロホンの組に関しては、マイクロホン対N1とこれに直交するマイクロホン対N5とをマイクロホン組N1,N5とし、マイクロホン対N2とこれに直交するマイクロホン対N6とをマイクロホン組N2,N6とし、マイクロホン対N3とこれに直交するマイクロホン対N7とをマイクロホン組N3,N7とし、マイクロホン対N4とこれに直交するマイクロホン対N8とをマイクロホン組N4,N8とする。
【0066】
そして、マイクロホン組N1,N5に対して、同心円上に22.5°ずらしてマイクロホン組N2,N6を配置し、さらに22.5°ずらしてマイクロホン組N3,N7を配置し、さらに22.5°ずらしてマイクロホン組N4,N8を配置している。したがって、本例では、マイクロホン対の交角は22.5°となっている。
【0067】
音源Sの位置とマイクロホンアレイの位置とは、図に示す関係にあるものとする。すなわち、音源Sの位置は、マイクロホンアレイと同一平面上で、かつマイクロホン対N1の延長線上にあるものとする。
【0068】
このような位置に音源Sがある場合には、音源方向は、マイクロホン対N1〜N8のうち、マイクロホン対の差分出力が最小となるマイクロホン対N5により検出できる。
【0069】
次に、音源までの距離の検出方法について説明する。
音の大きさは音源からの距離に反比例するので、マイクロホン対の間隔を2Rとし(すなわち、マイクロホンアレイの半径をRとしている)、マイクロホンアレイの中心位置から音源Sまでの距離をLとすると、マイクロホン対N5に直交するマイクロホン対N1で検出される音圧出力の比は、以下のような関係となる。ここで、マイクロホンN1aの音圧出力をN1aOUTとし、マイクロホンN1bの音圧出力をN1bOUTとする。
N1aOUT/N1bOUT=(L+R)/(L−R)
したがって、マイクロホンアレイの中心位置から音源Sまでの距離Lは、
L=(N1aOUT+N1bOUT)/(N1aOUT−N1bOUT)
にて求めることができる。
【0070】
なお、このマイクロホンアレイに用いるマイクロホンは、360度の方向に対して感度が一定な無指向性マイクロホンを用い、図7に示すような方法でマイクロホンの感度を調整する。
【0071】
すなわち、各マイクロホンの感度は、音源Sから各マイクロホンまでの距離が一定となるようにマイクロホンアレイの中心軸上に音源Sを配置し、各マイクロホンの出力が同一となる様に感度を調整する。
【0072】
図8は信号処理回路のブロック図である。以下このブロック図に基づいて信号処理について説明する。
図において、31はマイクロホン対N1に対応するマイクロホン対検出回路、32はマイクロホン対N2、33はマイクロホン対N3、34はマイクロホン対N4、35はマイクロホン対N5、36はマイクロホン対N6、37はマイクロホン対N7、38はマイクロホン対N8、にそれぞれ対応するマイクロホン対検出回路である。各マイクロホン対検出回路は同じ回路であるため、マイクロホン対検出回路31だけ内部回路を示した。
【0073】
各マイクロホン対検出回路31〜38からの出力データは、図4の回路と同様に、MPU20に入力され、MPU20からはRS232Cドライバ22を介してデータが出力される。MPU20にはROM23とRAM24が設けられている。
【0074】
各マイクロホン対検出回路31〜38は同じ機能を有しているため、マイクロホン対検出回路31を例に挙げて説明する。
マイクロホン対N1の出力、つまりマイクロホンN1aの出力とマイクロホンN1bの出力は、それぞれAMPで示される増幅器11gに入力されて増幅されるとともに、SUBで示される減算回路11aに入力される。この減算回路11aはオペアンプ等を用いて公知の技術で構成する。
【0075】
減算回路11aからの出力は、特定のカットオフ周波数Fを持つLPFにて示されるローパスフィルタ11bに入力される。
すなわち、前述したように、ローパスフィルタ11bのカットオフ周波数Fと音速Vおよびマイクロホン対の間隔D(=2R)とには、F=V/2Dの関係があり、このカットオフ周波数Fより高い周波数の音が到来した場合、正確な音源方向が検出できなくなるため、ローパスフィルタ11bでカットオフ周波数Fより高い周波数成分をカットしている。
【0076】
ローパスフィルタ11bからの出力は、PKHで示されるピークホールド回路11cで最大値が保持され、保持された最大値はA/Dで示されるアナログ−デジタルコンバータ11dでデジタルの減算データに変換され、MPU20に入力される。
【0077】
また、増幅器11gからの各出力は、それぞれPKHで示されるピークホールド回路11hで最大値が保持され、保持された最大値はA/Dで示されるアナログ−デジタルコンバータ11iでデジタルデータに変換され、MPU20に入力される。
【0078】
MPU20は、マイクロホン対N1〜N8までの全ての減算データを比較し、減算データが最小であるマイクロホン対を選択してRAM24に記憶し、これにより音源Sの方向を検出する。
【0079】
次に、マイクロホン対N1〜N8の内から、減算データが最小のマイクロホン対と直交するマイクロホン対を選択し、その選択したマイクロホン対の出力データをRAM24に記憶する。そして、このマイクロホン対の出力データに基づいて、上述した数式により、マイクロホンアレイの中心位置から音源Sまでの距離Lを算出する。
【0080】
ROM23には、このような演算プログラムが記憶されており、この内蔵したプログラムにより距離Lの算出を行う。
MPU20は、検出した音源Sの方向データと距離データとを、RS232Cドライバ22を介してパーソナルコンピュータ等の後方処理装置へ送出する。
【0081】
このようにして、2つのマイクロホン対を直交させた十字形のマイクロホン組を同心円上に22.5°の角度を隔てて配置したマイクロホンアレイを用いることにより、音源方向と音源までの距離を検出することができる。
【0082】
なお、本例においては、マイクロホン組を同心円上に4組配置してマイクロホン対の交角を22.5°としているが、このマイクロホン組は、45°以下の交角でマイクロホン対を配置したものであればよい。すなわち、交角が45°以下であるという条件さえ満たせば、マイクロホン組は、同心円上に等間隔で複数組配置したものであればよく、例えば、マイクロホン組を2組配置してマイクロホン対の交角を45°としたもの、あるいはマイクロホン組を3組配置してマイクロホン対の交角を30°としたもの、あるいはマイクロホン組を5組配置してマイクロホン対の交角を18°としたもの等であってもよい。
【0083】
以上の説明においては、マイクロホンアレイを1つだけ用いたが、音源Sの方向を検出可能なマイクロホンアレイを2つ用いて音源Sの方向と距離を算出することもできる。以下、これを実施例4として説明する。
【0084】
〔実施例4〕
図9はマイクロホン対の実施例4の構成を示す図である。本実施例では、マイクロホンアレイを2つ用いた場合の配置例を示している。
【0085】
本例では、2個のマイクロホンアレイ40とマイクロホンアレイ42とを距離r離して配置する。このマイクロホンアレイは、図3の(1)で示したマイクロホンアレイや、図5の〔第1例〕または〔第2例〕で示したマイクロホンアレイを用いることができる。また、図6で示したマイクロホンアレイを用いてもよい。
【0086】
図9に示すように、2つのマイクロホンアレイ40,42間の距離をr、2つのマイクロホンアレイ40,42によって形成されるマイクロホンアレイ面から音源Sまでの距離をL、マイクロホンアレイ42からマイクロホンアレイ面の中心位置までの距離をH、マイクロホンアレイ40で検出した音源Sの方向とマイクロホンアレイ42で検出した音源Sの方向をそれぞれθ1、θ2とすると、
L/(r+H)=tanθ1
L/H=tanθ2
である。
【0087】
これにより、マイクロホンアレイ面から音源Sまでの距離Lは、
L=r(tanθ1/(1−tanθ1/tanθ2))
として算出することができる。
【0088】
また、マイクロホンアレイ42からマイクロホンアレイ面の中心位置までの距離Hは、
H=r(tanθ1/(tanθ2−tanθ1))
として算出することができる。そして、音源方向θは、
tanθ=1/(r/2+1/tanθ2)
として算出することができる。
【0089】
2つのマイクロホンアレイ40,42間の距離rは、あらかじめ記憶したものを用いる。また、マイクロホンアレイから音源Sまでの距離は、距離Lと距離Hのうち長いほうを選択する。
【0090】
図10はマイクロホンアレイを2つ用いた場合の回路構成を示す説明図である。図において、43および44はマイクロホンアレイとマイクロホン対検出回路とMPUからなる音源方向識別装置、45は演算装置である。
【0091】
音源方向識別装置43,44としては、図4で示した回路を用いることができる。音源方向識別装置43,44は、マイクロホンアレイの出力から音源Sの方向データθ1,θ2を検出し、このデータを演算装置45に出力する。
【0092】
演算装置45では、この音源Sの方向データθ1,θ2とあらかじめ記憶している2つのマイクロホンアレイ間の距離rとにより、マイクロホンアレイ面から音源Sまでの距離Lあるいはマイクロホンアレイからマイクロホンアレイ面の中心位置までの距離Hと、音源方向θとを求め、このデータをパーソナルコンピュータ等の後方処理装置(ホスト装置)へ出力する。
【0093】
このようにして、2つのマイクロホンアレイを用いることにより、音源方向と音源までの距離を検出することができる。
この音源方向と音源までの距離を検出する技術については、例えばパーソナルコンピュータと、パーソナルコンピュータの前に位置する発音者(話者)との間のコミュニケーションを演出するソフトウエア等に利用することができる。具体的には、画面に人間あるいは鳥等の動物を表示しておき、発音者の発生する音源の方向にその動物を向かせる等の各種のコミュニケーションソフトウエアに利用が可能である。
【0094】
【発明の効果】
以上の説明から明らかなように本発明によれば、小型で簡単な構成による音源方向の検出に加え、高い信号対雑音比による目的音の抽出が可能となるという効果を奏する。
【図面の簡単な説明】
【図1】 2つの無指向性マイクロホンからなるマイクロホン対の指向特性を示す図。
【図2】 マイクロホン対の差信号と和信号の特性を示す図。
【図3】 本発明のマイクロホン対の実施例1の構成と特性を示す図。
【図4】 本発明のマイクロホン対検出回路の一実施例の回路構成を示す図。
【図5】 本発明のマイクロホン対の実施例2の構成を示す図。
【図6】 本発明のマイクロホン対の実施例3の構成を示す図。
【図7】 本発明のマイクロホンの感度調整を示す説明図。
【図8】 本発明の実施例の3の信号処理回路のブロック図。
【図9】 本発明のマイクロホン対の実施例4の構成を示す図。
【図10】 本発明のマイクロホンアレイを2つ用いた場合の回路構成を示す説明図。
【符号の説明】
1〜7 マイクロホン対
1a,1b マイクロホン



7a,7b マイクロホン
1c マイクロホン
11〜17, 31〜38 マイクロホン対検出回路
11a 減算回路(SUB)
11b 低域通過フィルタ(LPF)
11c,11h ピークホールド回路(PKH)
11d,11i アナログ/ディジタルコンバータ(A/D)
11e 加算回路(ADD)
11f スイッチ(SW)
11g 増幅器(AMP)
20 マイクロプロセッサユニット(MPU)
21 加算回路(ADD)
22 RS232Cドライバ
23 ROM
24 RAM
40,42 マイクロホンアレイ
43,44 音声方向識別装置
45 演算装置
N1〜N8 マイクロホン対
N1a,N1b マイクロホン



N8a,N8b マイクロホン

Claims (4)

  1. 所定の間隔離して配置される2つの無指向性マイクロホンからなるマイクロホン対が、マイクロホン対の2つのマイクロホンを結ぶ線分とそれに隣接するマイクロホン対の2つのマイクロホンを結ぶ線分との交角が60°以下となるように、同一平面上に複数配置された複数のマイクロホン対と
    該各マイクロホン対における2つのマイクロホンの差信号を演算する複数の第一の演算手段と、
    該各マイクロホン対における2つのマイクロホンの和信号を演算する複数の第二の演算手段と、
    前記複数の第一の演算手段の各出力から最小値出力を検出する検出手段と、
    検出された該最小値出力のマイクロホン対の和信号を選択し音情報として出力する選択手段と、
    を設けたことを特徴とするマイクロホンシステム。
  2. 前記選択手段から出力されたマイクロホン対の和信号を加算する加算手段をさらに備え、前記選択手段は、差信号の最小値に対応する和信号に加えて2番目に小さい差信号に対応する和信号も選択して、これらの信号を加算手段に入力することを特徴とする請求項1記載のマイクロホンシステム。
  3. 前記複数のマイクロホン対を、マイクロホンが同一円周上に位置するように、マイクロホン対を形成する2つのマイクロホンを結ぶ線分の中間点を中心として60°以下の交角ずつずらして配置したことを特徴とする請求項1記載のマイクロホンシステム。
  4. 前記第一の演算手段から出力される差信号を、音速Vとマイクロホン対における2つのマイクロホン間の距離Dとの関係においてV/2D=Fで示されるカットオフ周波数Fにてろ波する低域通過フィルタをマイクロホン対毎に備え、前記検出手段が低域通過フィルタの出力を検出することを特徴とする請求項1記載のマイクロホンシステム。
JP15524697A 1996-11-27 1997-06-12 マイクロホンシステム Expired - Fee Related JP3797751B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP15524697A JP3797751B2 (ja) 1996-11-27 1997-06-12 マイクロホンシステム
US08/965,191 US6069961A (en) 1996-11-27 1997-11-06 Microphone system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8-316567 1996-11-27
JP31656796 1996-11-27
JP15524697A JP3797751B2 (ja) 1996-11-27 1997-06-12 マイクロホンシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006083598A Division JP4167694B2 (ja) 1996-11-27 2006-03-24 マイクロホンシステム

Publications (2)

Publication Number Publication Date
JPH10215497A JPH10215497A (ja) 1998-08-11
JP3797751B2 true JP3797751B2 (ja) 2006-07-19

Family

ID=26483298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15524697A Expired - Fee Related JP3797751B2 (ja) 1996-11-27 1997-06-12 マイクロホンシステム

Country Status (2)

Country Link
US (1) US6069961A (ja)
JP (1) JP3797751B2 (ja)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996013958A1 (en) * 1994-10-31 1996-05-09 Mike Godfrey Global sound microphone system
KR100566466B1 (ko) * 1995-01-31 2006-03-31 가부시끼가이샤 히다치 세이사꾸쇼 반도체 메모리 장치
US6526147B1 (en) * 1998-11-12 2003-02-25 Gn Netcom A/S Microphone array with high directivity
JP3789685B2 (ja) 1999-07-02 2006-06-28 富士通株式会社 マイクロホンアレイ装置
JP3863323B2 (ja) * 1999-08-03 2006-12-27 富士通株式会社 マイクロホンアレイ装置
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
US6959095B2 (en) * 2001-08-10 2005-10-25 International Business Machines Corporation Method and apparatus for providing multiple output channels in a microphone
JP4752153B2 (ja) * 2001-08-14 2011-08-17 ソニー株式会社 情報処理装置および方法、情報生成装置および方法、記録媒体、並びにプログラム
US20030059061A1 (en) * 2001-09-14 2003-03-27 Sony Corporation Audio input unit, audio input method and audio input and output unit
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US20030125959A1 (en) * 2001-12-31 2003-07-03 Palmquist Robert D. Translation device with planar microphone array
JP2003244008A (ja) * 2002-02-15 2003-08-29 Audio Technica Corp ワイヤレスマイクロホン用受信機の自動周波数設定方法
EP1351544A3 (en) * 2002-03-08 2008-03-19 Gennum Corporation Low-noise directional microphone system
KR100499124B1 (ko) * 2002-03-27 2005-07-04 삼성전자주식회사 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법
US7084801B2 (en) * 2002-06-05 2006-08-01 Siemens Corporate Research, Inc. Apparatus and method for estimating the direction of arrival of a source signal using a microphone array
US7852369B2 (en) * 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
DE10313331B4 (de) * 2003-03-25 2005-06-16 Siemens Audiologische Technik Gmbh Verfahren zur Bestimmung einer Einfallsrichtung eines Signals einer akustischen Signalquelle und Vorrichtung zur Durchführung des Verfahrens
JP5123843B2 (ja) * 2005-03-16 2013-01-23 コクス,ジェイムズ マイクロフォンアレイおよびデジタル信号処理システム
JP4929685B2 (ja) * 2005-11-15 2012-05-09 ヤマハ株式会社 遠隔会議装置
JP5028833B2 (ja) * 2006-03-17 2012-09-19 ヤマハ株式会社 放収音装置
CA2629801C (en) 2005-11-15 2011-02-01 Yamaha Corporation Remote conference apparatus and sound emitting/collecting apparatus
JP4816221B2 (ja) * 2006-04-21 2011-11-16 ヤマハ株式会社 収音装置および音声会議装置
JP4177452B2 (ja) * 2006-11-09 2008-11-05 松下電器産業株式会社 音源位置検知装置
DK2123113T3 (en) 2006-12-15 2018-05-07 Sonova Ag Hearing system with improved noise reduction and method of operating the hearing system
JP5157572B2 (ja) * 2007-03-26 2013-03-06 ヤマハ株式会社 音処理装置およびプログラム
JP5338040B2 (ja) * 2007-06-04 2013-11-13 ヤマハ株式会社 音声会議装置
CN101980890B (zh) * 2008-09-26 2013-04-24 松下电器产业株式会社 死角车辆检测装置以及检测方法
US8724829B2 (en) * 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
US8620672B2 (en) * 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
US20110200205A1 (en) * 2010-02-17 2011-08-18 Panasonic Corporation Sound pickup apparatus, portable communication apparatus, and image pickup apparatus
US8897455B2 (en) * 2010-02-18 2014-11-25 Qualcomm Incorporated Microphone array subset selection for robust noise reduction
US9031256B2 (en) * 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
JPWO2012124422A1 (ja) * 2011-03-11 2014-07-17 三洋電機株式会社 録音装置
US9031259B2 (en) * 2011-09-15 2015-05-12 JVC Kenwood Corporation Noise reduction apparatus, audio input apparatus, wireless communication apparatus, and noise reduction method
US8879761B2 (en) 2011-11-22 2014-11-04 Apple Inc. Orientation-based audio
US8903108B2 (en) 2011-12-06 2014-12-02 Apple Inc. Near-field null and beamforming
US9020163B2 (en) 2011-12-06 2015-04-28 Apple Inc. Near-field null and beamforming
US9424859B2 (en) * 2012-11-21 2016-08-23 Harman International Industries Canada Ltd. System to control audio effect parameters of vocal signals
US10233742B2 (en) 2013-10-31 2019-03-19 Halliburton Energy Services, Inc. Downhole acoustic ranging utilizing gradiometric data
US9426568B2 (en) * 2014-04-15 2016-08-23 Harman International Industries, LLC Apparatus and method for enhancing an audio output from a target source
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9788109B2 (en) 2015-09-09 2017-10-10 Microsoft Technology Licensing, Llc Microphone placement for sound source direction estimation
CN105182852B (zh) * 2015-09-16 2018-02-06 上海艾斯玛特智能科技有限公司 一种音源智能切换装置及其切换方法
CN108886599B (zh) * 2015-12-11 2021-04-27 索尼公司 信息处理装置、信息处理方法和程序
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
EP3410747B1 (en) * 2017-06-02 2023-12-27 Nokia Technologies Oy Switching rendering mode based on location data
US10264354B1 (en) 2017-09-25 2019-04-16 Cirrus Logic, Inc. Spatial cues from broadside detection
US10313786B1 (en) * 2018-03-20 2019-06-04 Cisco Technology, Inc. Beamforming and gainsharing mixing of small circular array of bidirectional microphones
CN112335261B (zh) 2018-06-01 2023-07-18 舒尔获得控股公司 图案形成麦克风阵列
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN112889296A (zh) 2018-09-20 2021-06-01 舒尔获得控股公司 用于阵列麦克风的可调整的波瓣形状
JP7245034B2 (ja) * 2018-11-27 2023-03-23 キヤノン株式会社 信号処理装置、信号処理方法およびプログラム
US11303981B2 (en) 2019-03-21 2022-04-12 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
US11438691B2 (en) 2019-03-21 2022-09-06 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
TW202101422A (zh) 2019-05-23 2021-01-01 美商舒爾獲得控股公司 可操縱揚聲器陣列、系統及其方法
EP3977449A1 (en) 2019-05-31 2022-04-06 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
JP6885483B1 (ja) * 2020-02-07 2021-06-16 沖電気工業株式会社 収音装置、収音プログラム及び収音方法
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
JP2024505068A (ja) 2021-01-28 2024-02-02 シュアー アクイジッション ホールディングス インコーポレイテッド ハイブリッドオーディオビーム形成システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729507A (en) * 1985-05-13 1998-03-17 Massa Products Corporation Directional energy receiving systems for use in the indication of the direction of arrival of the received signal
JPH0728470B2 (ja) * 1989-02-03 1995-03-29 松下電器産業株式会社 アレイマイクロホン
US5193117A (en) * 1989-11-27 1993-03-09 Matsushita Electric Industrial Co., Ltd. Microphone apparatus
JPH0472525A (ja) * 1990-07-13 1992-03-06 Nippon Telegr & Teleph Corp <Ntt> 音源方向識別センサ
EP0509742B1 (en) * 1991-04-18 1997-08-27 Matsushita Electric Industrial Co., Ltd. Microphone apparatus
FR2682251B1 (fr) * 1991-10-02 1997-04-25 Prescom Sarl Procede et systeme de prise de son, et appareil de prise et de restitution de son.
JPH05207117A (ja) * 1992-01-30 1993-08-13 Mazda Motor Corp マイクロホンの指向性制御装置
JPH07336790A (ja) * 1994-06-13 1995-12-22 Nec Corp マイクロホンシステム

Also Published As

Publication number Publication date
JPH10215497A (ja) 1998-08-11
US6069961A (en) 2000-05-30

Similar Documents

Publication Publication Date Title
JP3797751B2 (ja) マイクロホンシステム
CN104936091B (zh) 基于圆形麦克风阵列的智能交互方法及系统
JP4873913B2 (ja) 音源分離システムおよび音源分離方法、並びに音響信号取得装置
US6137887A (en) Directional microphone system
US9432769B1 (en) Method and system for beam selection in microphone array beamformers
EP1489596B1 (en) Device and method for voice activity detection
JP5123843B2 (ja) マイクロフォンアレイおよびデジタル信号処理システム
JP5543023B2 (ja) 目的音強調装置およびカーナビゲーションシステム
JP6789690B2 (ja) 信号処理装置、信号処理方法、及びプログラム
JPH08505514A (ja) 傾斜指向性マイクロホン・システムとその方法
JP3548706B2 (ja) ゾーン別収音装置
EP0902264B1 (en) System and method of measuring noise of mobile body using a plurality of microphones
JP4167694B2 (ja) マイクロホンシステム
JP3531084B2 (ja) 指向性マイクロフォン装置
CN111142072B (zh) 用于声源定位的传声器阵列优化方法
EP2214420A1 (en) Sound emission and collection device
CN110876100B (zh) 一种音源定向方法与系统
JP2001154688A (ja) 車両用音声入力装置
JP2845220B2 (ja) 音源方位検出装置
JP3527792B2 (ja) 水中探査装置
JP2003529045A (ja) 方位決定方法、方位決定装置及びこれらの補聴器への適用
JP2001051039A (ja) 信号処理方式
KR20150049231A (ko) 다수의 무지향성 하이드로폰을 이용한 벡터 빔형성 방법
JP4780497B2 (ja) 信号受信装置及び方法
Omoto et al. Sound Field Reproduction by Convolving Directional Dry Signals and Directional Impulse Responses

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051025

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060418

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees