JP3679298B2 - Video camera with microphone - Google Patents

Video camera with microphone Download PDF

Info

Publication number
JP3679298B2
JP3679298B2 JP2000051936A JP2000051936A JP3679298B2 JP 3679298 B2 JP3679298 B2 JP 3679298B2 JP 2000051936 A JP2000051936 A JP 2000051936A JP 2000051936 A JP2000051936 A JP 2000051936A JP 3679298 B2 JP3679298 B2 JP 3679298B2
Authority
JP
Japan
Prior art keywords
microphone
light
video camera
signal
light emitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000051936A
Other languages
Japanese (ja)
Other versions
JP2001245187A (en
Inventor
貴久 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kenwood KK
Original Assignee
Kenwood KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kenwood KK filed Critical Kenwood KK
Priority to JP2000051936A priority Critical patent/JP3679298B2/en
Publication of JP2001245187A publication Critical patent/JP2001245187A/en
Application granted granted Critical
Publication of JP3679298B2 publication Critical patent/JP3679298B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Electrostatic, Electromagnetic, Magneto- Strictive, And Variable-Resistance Transducers (AREA)
  • Photo Coupler, Interrupter, Optical-To-Optical Conversion Devices (AREA)
  • Studio Devices (AREA)
  • Semiconductor Lasers (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はマイクロフォン付ビデオカメラに係り、特に画像のフォーカシングに同期して音声のフォーカシングを行うことの可能なマイクロフォン付ビデオカメラに関する。
【0002】
【従来の技術】
図10は従来のマイクロフォン付ビデオカメラ200の概略構成を示す外観図である。
カメラ本体201には被写体からの画像を入力するためのレンズ202と、被写体から発せられる音声を入力するためのマイクロフォン203とが取付けられている。
このようなビデオカメラに装着されるマイクロフォン203としては、従来、ステレオ型マイクロフォンやモノラル型マイクロフォンが用いられていた。
このようなビデオカメラに装着されるマイクロフォンは、屋外での使用に際して風圧による雑音の発生を防止するための改良や被写体の状況に応じて、単一指向性に切り替えたり無指向性に切り替えたりする等の工夫がなされていた。
【0003】
一方、ビデオカメラは被写体の距離に応じてレンズ202を調節することにより被写体へのフォーカシングを行い、最適な画像信号を得るように操作される。
また、ズームレンズを用いた場合、遠距離にある被写体の画像を近距離に拡大(ズームアップ)もしくは近距離にある被写体の画像を遠距離に縮小(ズームダウン)して得ることができる。
一方、マイクロフォン203ではレンズ202の操作とは別途の操作を行い、ズームレンズから捕えられる画像の拡大もしくは縮小に関係なく、ワンポイントマイクロフォンまたはステレオマイクロフォンで周囲の音声を収音していた。
また、近年小型マイクロフォン素子として光マイクロフォン素子が注目されており、特に発光素子として垂直空洞表面発光型レーザー(以下VCSELという)を用いたものは、より一層の小型化が実現できる。
【0004】
【発明が解決しようとする課題】
このように従来のマイクロフォン付ビデオカメラにおいては、被写体画像がズームにより拡大又は縮小されても、被写体から収録される音声はこれに連動したものではなく単に周囲の音声しかとらえることができなかった。
従って、カメラによりズーミングを行って拡大した画像をとらえても被写体からの音声は遠くから聞こえるというような現象が発生した。これはビデオカメラに装着されているマイクロフォンが単一指向性又は無指向性のマイクロフォンであったために、画像のズーミングに連動して音声の感度を切り替えることができなかったためである。
【0005】
従ってマイクロフォン付ビデオカメラにおいては、画像が拡大された時には近距離からの音声として捕えられ、画像が縮小された時には遠距離からの音声として捕えられるマイクロフォンが必要とされていた。
発明者等はVCSELを用いた光マイクロフォン素子が超小型化に適しているだけでなく、指向性の調整をも簡単に実現できることに着目して本願発明をなすに到った。
したがって本発明は、画像の拡大縮小のズーミングに連動してマイクロフォンの音声のズーミングも可能な光マイクロフォン素子を用いたマイクロフォン付ビデオカメラを提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するための本発明のマイクロフォン付ビデオカメラは、指向特性を制御できるマイクロフォンを備え、ビデオカメラの被写体へのフォーカシングに同期して前記指向特性を前記被写体へフォーカシングするマイクロフォン付ビデオカメラにおいて、前記マイクロフォンとして、発光強度分布が同心円状にほぼ均一な垂直空洞表面発光型レーザー発光素子を配置し、前記発光素子の放射光を受光する為の受光素子を配置した基板と、前記基板に対向する位置にほぼ平行に、かつ近接して設置され、音圧により振動するとともに、前記発光素子からの光を反射させて前記受光素子に放射する振動板と、前記発光素子に駆動電流を供給する光源駆動回路と、前記受光素子から出力される信号レベルが小さいほど増幅度が大きくなる小信号増幅回路を含み、前記小信号増幅回路の出力に基づいた負帰還信号として前記光源駆動回路に供給する負帰還回路とを具備する光マイクロフォンを用い、前記ビデオカメラの被写体へのズーミング量を示すズーミング信号により前記負帰還信号の大きさを変化させることにより前記光マイクロフォンの前記指向特性を制御する。
また、本発明のマイクロフォン付ビデオカメラにおいては、前記ズーミング信号が前記ビデオカメラのズームレンズの変化量を示すズーム量変化信号とすることも出来る。
【0007】
【発明の実施の形態】
本発明によるマイクロフォン付ビデオカメラでは、ズーム画像の拡大縮小に合わせてマイクロフォンから収録される音声もこれに同期をとって拡大縮小することにより、指向性を変化させ縮小されて遠くに映される画像からの音声は遠くから聞こえるように、また拡大されて大きく映される画像に対応する音声は近くから聞こえるようにする。さらに、このような目的に使用されるマイクロフォンとしてVCSELを用いた光マイクロフォンを用いている。
まず、本発明のマイクロフォン付ビデオカメラの実施の形態を説明するに先立って本発明で使用されるVCSELを用いた光マイクロフォンの基本動作及びその構成について説明する。
【0008】
図2は光マイクロフォン素子の基本構造を示す図である。
図2(a)は断面形状を示したもので容器1の底面8に電子回路基板12を設置し、この基板12上に発光素子と受光素子とを配置した基板9を取り付ける。取り付けは、基板9と基板12とを例えばフリップチップボンディングで電気的に接続することにより行うことも出来る。また底面8をシリコンなどの半導体基板で構成すれば、この上に電子回路を構成できるので電子回路基板12を省略することも出来る。なお、図2に示す例では発光素子として垂直空洞面発光レーザダイオードLDを、受光素子としてフォトダイオードPDを用いている。基板9の中央に円形形状の面発光レーザダイオードLDを配置し、この面発光レーザダイオードLDを取り巻くように同心円状に受光素子PDを配置する。
【0009】
図2(b)は図2(a)中に点線で囲んで示した受発光素子が搭載された基板9の受発光部を拡大して示した平面図である。
図に示すように中心部に円形形状の発光素子LDを配置し、これを取り囲むように同心円状に受光素子PD1,PD2,…PDnを配置する。なおここで用いられる発光素子LDとしては垂直空洞表面発光型レーザを用いることができる。
この発光素子LDと受光素子PDとはガリウム砒素ウェファ上に同時に半導体製造工程により作製することができる。
従って発光素子LDと受光素子PDとの位置合わせ精度は半導体製造工程に用いられるマスクの精度によって決められるため、その合わせ精度を1μm以下とすることができ、従来の光マイクロフォン素子の受発光素子の位置合わせ精度に比べて百分の1以下の高精度で実現が可能である。
【0010】
一般に、垂直空洞表面発光型発光素子は発光強度分布が同心円状にほぼ均一な特性を持っている。従って、中心部に設置された発光素子LDから所定の角度で振動板2に向かって放射された放射光は同心円状に同一強度を持って反射し、音波7の受波により振動板2が振動することにより反射角度が変化し受光素子PDに同心円状に到達する。
従って、同心円状に配列された受光素子PD1〜PDnの受光光量の変化を検出することにより振動板2の振動変位を検出することができる。これにより入射音波7の強弱を検知することができるため、光マイクロフォン素子として使用可能となる。
なお発光素子LDや受光素子PDを駆動、もしくは入射光量の検出のために電極11が形成されている。
【0011】
次に本発明で用いられる発光素子である垂直空洞表面発光型レーザ(以下VCSELという)について説明する。
図3はVCSELの発光強度分布を示したもので、図に示すように放射強度分布は核内に対するガウス分布として与えられる。
発光強度分布P0(θ)は(1)式で示される。
【数1】
Po(θ)=exp(−α2 θ2 ) …(1)
θ:発光面に立てた垂線からの角度変位
(単位ラジアン)
α:発光広がり角を規定する係数
(本来は「1/α2 」計算上簡略化)
【0012】
この発光分布係数αの算出を1次元の場合について計算すると(2)式のように表わされる。
【数2】
α2 =−[ln(h)]/(FAHM/2)2 …(2)
h:レーザーの発光分布を実測して与えられる相対強度
垂直で1。半値=0.5。1/e=0.3183。1/e2=0.135335
FAHM:通常メーカーからは半値全角(FAHM)値が提供される。
h=0.5、FAHM=9度(角度入)なら
rad(9/2)=0.07854
α2 =−[(ln(0.5)]/(0.07854)2 =112.369
そしてこれを使って発光強度分布を指定された方位について計算すると図3に示すような分布が得られる。
【0013】
図4は発光強度分布を2次元について計算して図示した場合の図である。
この場合、2次元の発光強度分布P0(θ)は(3)式で与えられる。
【数3】
Po(θ)=exp(−α2 θ2 )・exp(−β2 ψ2 ) …(3)
【0014】
θ方向とψ方向につき分布算出係数αとβと同様な方法で算出する。発光分布係数αは(4)式で与えられ、発光分布係数βは(5)式で与えられる。
【数4】
α2 =−[ln(h)]/(FAHM/2)2 …(4)
h=0.5、FAHM=9度なら
rad(9/2)=0.07854
α2 =−[(ln(0.5)]/(0.07854)2 =112.369
【0015】
【数5】
β2 =−[ln(h)]/(FAHM/2)2 …(5)
h=0.5、FAHM=9度なら
rad(9/2)=0.07854
β2 =−[(ln(0.5)]/(0.07854)2 =112.369
【0016】
このようにして得られた2次元の発光強度分布から明らかなように、垂直空洞表面発光型レーザでは発光素子の強度分布が同心円状にほぼ均一となっている。
このことからレーザ発光を振動板2の偏倚(変位)として効率的に受光するためには、受光素子を同心円状に配置するのが最適となる。そして同心円状に配置された異なる同心円に属する受光素子が検出した信号の差動信号が音圧変化を与える信号となる。
【0017】
ここで受波信号のダイナミックレンジを制限したり、選別したりするためには受光素子を同心円状に2つ以上設けることによりそれが可能となる。
ここで、図2に示す光マイクロフォンでは騒音低減効果はさほど期待できない。すなわち振動板2に到達する騒音によっても振動板2は振動し、これが雑音信号として通常の音波7による振動に重畳されてしまうからである。
この騒音の影響を低減させ更に騒音低減効果を図った光マイクロフォンとして図5に示すような構造のものが知られている。
【0018】
図5に示す構造では音波7によって振動する振動板2を容器1のほぼ中央部分に張設している。そして容器1の両側に振動板2に対して互いに対象位置となるように第1開口部15及び第2開口部16を設ける。
このように構成することにより音波7はいずれの開口部15,16から容器1内に侵入し振動板2を振動させる。
なお図5においては説明の都合上発光素子LDと受光素子PDとを分離した構造を示しているが、実際には、発光素子LDと受光素子PDとを一体として基板9上に形成した図2に示す構造のものを用いる。
【0019】
図5に示す光マイクロフォン素子50において第1開口部15から侵入する音波と第2開口部16から侵入する音波のそれぞれの音圧が等しい場合、これらの2つの音波は振動板2の両面2a,2bにおいて互いに打ち消しあって振動板2を振動させることはない。
2つの受波感度の等しいマイクロフォン素子を近接して配置し、遠距離で発生した音波を受波した場合、2つのマイクロフォン素子は到来音波を等しく検出することが知られている。
一般に音波はマイクロフォン素子から近距離だけ離れた人の口から発生する。即ち、音声はこのマイクロフォン素子から近距離の所で発生する。この近距離の人の音声は円形曲線により示されるように球形場特性を有している。
【0020】
これに対して遠距離で発生する、例えば、騒音音響による音波は平面場の特性を有している。球状波の音響強度はその球面又は崩落線に沿ってほぼ同一であって、その球の半径に沿って変化するが、平面波の場合には音響強度は平面の全ての点でほぼ同一となる。
従って図5に示すような光マイクロフォン素子は2つのマイクロフォン素子を結合したものと考えることができるため、これが遠距離場に置かれた場合には第1開口部15と第2開口部16からほぼ同一の強度と位相特性を持った音波が振動板2に到来することになり、前述したように互いに打ち消しあってその影響は低減される。
一方、近距離場からの音波は第1開口部15又は第2開口部16から不均一に入射するため振動板2を振動させ、発光素子PDから信号として取り出される。このようにして騒音の影響をより低減させることのできる光マイクロフォン素子が図5の構造により得られる。
【0021】
図6は図2および図5に示す光マイクロフォン素子の指向性パターンを示す図である。
(A)は図2に示す光マイクロフォン素子の指向性パターンを示したもので、開口部(図の左側方向)に向かって振動板2に垂直な方向に最大感度を有するほぼ円形状の指向性パターンを有する。
(B)は図5に示す光マイクロフォン素子の指向性パターンを示したもので、開口部15及び16の両方向に最大感度を有するほぼ8の字状の指向性パターンを有する。
ここで図2及び図5に示す光マイクロフォン素子の指向性ビームパターンを図7及び図8に示すように、最大感度を示す軸方向に伸長させ、また、軸に直交する方向で絞り込むように変化させることができる。
【0022】
このように指向性のビームパターンを変化させるためには受光素子PDからの検出出力の一部を負帰還回路を用いて発光素子LDを駆動する光源駆動回路へフィードバックさせればよい。図9はビームパターンを図7又は図8のように変化させるための帰還回路100を用いた光マイクロフォン装置の概略構成を示す図である。
受光素子PDからの出力はフィルタ回路18を介して取り出され、増幅器19により増幅されてマイク出力となる。フィルタ回路18は希望周波数範囲の信号成分のみを取り出すために用いられる。
ここで図9に示す光マイクロフォン装置ではこの受光素子PDから取り出される出力信号の一部を負帰還(ネガティブフィードバックドットNFB)回路100を介して発光素子LDに所定電流を供給し、この発光素子LDを駆動している光源駆動回路13に負帰還信号として供給するように構成している。
【0023】
負帰還回路100は小信号増幅回路10とその出力から希望周波数範囲の信号成分のみを取り出すフィルタ回路14と比較器20とから構成される。比較器20の非反転入力端子には基準電圧となる基準電源14が接続される。フィルタ回路17を介して取り出された信号は比較器20の反転入力端子に供給される。
小信号増幅回路10は所定レベル以下の信号のみを増幅する。
このように構成すると比較器20はフィルタ回路17の出力が大きいほど小さな出力レベルを出力し、これにより光源駆動回路13は発光素子LDに供給する電流を減らすように動作する。
【0024】
ここで小信号増幅回路10は入力信号レベルが所定レベル以下の場合のみその信号を増幅し、あるレベル以上の信号は増幅しない。従って入力信号レベルはあるレベル以上の場合には出力信号レベルは変化せず増幅度(利得)0となる。また、入力信号が所定の信号レベル以下の時には、信号レベルが小さいほど増幅度が大きくなるように増幅する。さらに、入力信号に対する出力信号の増加率は入力信号レベルが小さいほど高くなる。
【0025】
ここで受光素子PDからの出力は受波音量に比例しているため、小信号増幅回路10の出力は小音量ほど大きく増幅されて出力される。これはフィルタ回路17を介して比較器20の反転入力端子に入力されているため、比較器20の出力は逆に小音量ほどその出力レベルは低下する。
その結果、発光素子LDに供給される電流は小音量ほど発光素子LDの光出力を低下させるように動作する。すなわち小音量ほどマイクロフォンの感度は低下することになる。また所定レベル以上の信号は増幅されないため、その信号レベルでは光出力は制限されない。そのためマイクロフォンの感度も低下することはない。
【0026】
振動板に直交する軸方向から来た音でマイクロフォンの感度低下が発生しないような大きさの音に対して、その音を軸方向からずらして行くと本来の指向曲線によって感度は徐々に低下していく。そしてあるレベル以下になると小信号増幅回路10が増幅度を持つようになり、光源駆動回路13の供給電流制御が働いて更にマイクロフォンの感度は低下する。
この結果、負帰還回路100を有する光マイクロフォン装置では図7あるいは図8に示すように感度の指向性パターンの指向性ビームの幅がより絞られたパターンとなる。
【0027】
図7及び図8は負帰還量を変化させたことによる指向性のパターン変化を示している。
(A)は負帰還をかけない場合の指向性パターンを示しており、この場合にはほぼ円形の指向性パターンとなる。次に負帰還をかけた場合の指向性パターンを(B)および(C)に示している。
(B)の場合には負帰還量が小さく、(C)の場合には負帰還量が大きい。このように小信号増幅回路10の増幅度を可変することにより負帰還量を変化させて感度の指向性パターンを最大感度の軸方向に伸長させ、軸に直交する方向に絞り込むように変化させることができる。
このようにして光マイクロフォンの感度の指向特性を変化させることができる。
【0028】
本発明にかかる収音装置ではこのような指向性のビームパターンを変化させることのできる光マイクロフォン素子を用いて選択されたマイクロフォンの指向特性を変化させるようにしている。
図1は本発明によるマイクロフォン付ビデオカメラの一実施形態を示す構成図である。
図10に示す従来のカメラにおけるマイクロフォン203の代わりに光マイクロフォン素子50、光源駆動回路13及び負帰還回路100から成る光マイクロフォン300を用いている。
カメラ部の構成は入力画像27を入力するレンズ202のズーム量を調節するズーム量調節手段28からの信号をCCD等の画像検出素子29と増幅回路30とを介してズーム量変換手段31により取り出す。
即ち、ズーム量調節手段31により被写体に対して拡大あるいは縮小のズーミングを行うと、その被写体からの画像を検出することにより拡大及び縮小の程度を示すズーム量がズーム量変化信号としてズーム量変換回路31の出力に得られる。
【0029】
このズーム量変化信号を負帰還回路100の負帰還量を変化させるための制御信号として用いる。
即ち、ズーミングアップして画像を拡大した場合にはズーム量変換回路31からの出力信号であるズーム量変化信号に応答して負帰還回路100の負帰還量を増大させ、光マイクロフォン素子50の指向性ビーム幅をシャープにして周囲の音声の影響を低減させ、被写体からの信号のみをピックアップして収録するようにする。
逆にズームダウンして画像を縮小させた場合には、負帰還量を小さくあるいは負帰還回路の動作を停止させて単一指向性とし、周辺の音声の影響に考慮した収音を行う。
【0030】
なお、図1に示す実施の形態ではビデオカメラの被写体へのズーミング量を撮像素子からの画像信号に基づいてズーム量調節手段28の出力により得ているが、ズーム量の検出方法はこれに限定されるものではない。
即ちズーム量調節手段18の機械的変化を直接検出し、これを変換してズーム量変化信号として電気的に検出し、負帰還回路100の制御信号として使用することも可能である。
また本発明に用いられる光マイクロフォン300の光マイクロフォン素子50としては、原理的には図2に示す構造のものも図5に示す構造のものもいずれも使用することができるが、実用上は図5に示す構造のものを使用するのが好ましい。
【0031】
【発明の効果】
以上実施の形態に基づいて詳細に説明したように、本発明ではビデオカメラに装着されるマイクロフォンとして音波に対する指向特性を変化させることのできるVCSELを用いた光マイクロフォンを用い、ビデオカメラの被写体へのズーミング量に応答して負帰還回路の負帰還量を変化させることによりマイクロフォンの指向性を変化させ、画像の拡大縮小に対応して音声の収録状況を変化させるようにしているため、拡大画像に対応しては音声が近くで発せられたように、縮小画像に対しては音声が遠くで発せられたように、即ち自然に近い状態で画像及び音声を収録することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係るマイクロフォン付ビデオカメラの要部構成を示す回路図。
【図2】光マイクロフォン素子の電圧構造を示す図。
【図3】本発明に用いられるVCSELの発光強度分布を示す図。
【図4】本発明に用いられるVCSELの発光強度分布を2次元について計算して示した図。
【図5】本発明に用いる他の光マイクロフォン素子の構造を示す図。
【図6】本発明に用いられる光マイクロフォン素子の指向特性パターン図。
【図7】本発明に用いる光マイクロフォン素子の指向性パターンの変化を示す図。
【図8】図5の光マイクロフォン素子の指向性パターンの変化図。
【図9】本発明に用いる光マイクロフォン装置の概略構成を示す回路図。
【図10】従来のマイクロフォン付ビデオカメラの概略構成を示す外観図。
【符号の説明】
2 振動板
LD 発光素子
PD 受光素子
7 音波
13 光源駆動回路
28 ズーム量調節手段
29 撮像素子(画像検出素子)
30 増幅器
31 ズーム量調節手段
50 光マイクロフォン素子
100 負帰還回路
300 光マイクロフォン
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video camera with a microphone, and more particularly to a video camera with a microphone capable of performing voice focusing in synchronization with image focusing.
[0002]
[Prior art]
FIG. 10 is an external view showing a schematic configuration of a conventional video camera 200 with a microphone.
A camera body 201 is provided with a lens 202 for inputting an image from a subject and a microphone 203 for inputting sound emitted from the subject.
Conventionally, a stereo microphone or a monaural microphone has been used as the microphone 203 attached to such a video camera.
The microphone attached to such a video camera can be switched to unidirectional or non-directional depending on the situation of the subject and the improvement to prevent noise generation due to wind pressure when used outdoors. Etc. have been made.
[0003]
On the other hand, the video camera is operated to focus on the subject by adjusting the lens 202 according to the distance of the subject and obtain an optimal image signal.
In addition, when a zoom lens is used, an image of a subject at a long distance can be obtained by zooming in on a short distance (zooming up) or an image of a subject at a short distance can be reduced (zoom down).
On the other hand, the microphone 203 is operated separately from the operation of the lens 202, and the surrounding sound is collected by the one-point microphone or the stereo microphone regardless of the enlargement or reduction of the image captured from the zoom lens.
In recent years, an optical microphone element has attracted attention as a small-sized microphone element. In particular, an apparatus using a vertical cavity surface emitting laser (hereinafter referred to as VCSEL) as a light emitting element can achieve further miniaturization.
[0004]
[Problems to be solved by the invention]
As described above, in the conventional video camera with a microphone, even if the subject image is enlarged or reduced by zooming, the sound recorded from the subject is not linked to this and can only capture the surrounding sound.
Therefore, a phenomenon has occurred in which sound from a subject can be heard from a distance even if an enlarged image is obtained by zooming with a camera. This is because the microphone mounted on the video camera is a unidirectional or omnidirectional microphone, and thus the sound sensitivity cannot be switched in conjunction with image zooming.
[0005]
Therefore, a video camera with a microphone needs a microphone that can be captured as a sound from a short distance when the image is enlarged, and can be captured as a sound from a long distance when the image is reduced.
The inventors have made the present invention noting that an optical microphone element using a VCSEL is suitable not only for ultra-miniaturization but also that directivity can be easily adjusted.
Accordingly, an object of the present invention is to provide a video camera with a microphone using an optical microphone element capable of zooming in and out of a microphone in conjunction with zooming in / out of an image.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, a video camera with a microphone according to the present invention comprises a microphone capable of controlling directional characteristics, and in the video camera with a microphone that focuses the directional characteristics on the subject in synchronization with the focusing of the video camera on the subject. As the microphone, a vertical cavity surface emitting laser light emitting element having a substantially uniform emission intensity distribution is arranged concentrically, a substrate on which a light receiving element for receiving the emitted light of the light emitting element is arranged, and the substrate A vibration plate that is installed substantially parallel to and close to the position to be vibrated and that vibrates due to sound pressure, reflects light from the light emitting element and radiates it to the light receiving element, and supplies a driving current to the light emitting element. a light source driving circuit, a small amplification degree increases as the signal level is small, which is outputted from the light receiving element No. amplifying include circuitry, the use of a optical microphone having a negative feedback circuit that supplies to the light source drive circuit as a negative feedback signal based on the output of the small signal amplifier circuit, shows a zooming of the subject of the video camera The directivity characteristic of the optical microphone is controlled by changing the magnitude of the negative feedback signal using a zooming signal.
In the video camera with a microphone according to the present invention, the zooming signal may be a zoom amount change signal indicating a change amount of a zoom lens of the video camera.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
In the video camera with a microphone according to the present invention, the sound recorded from the microphone is enlarged / reduced in synchronization with the enlargement / reduction of the zoom image, thereby changing the directivity and reducing the image displayed far away. The sound corresponding to the image that is magnified and enlarged is heard from near. Furthermore, an optical microphone using a VCSEL is used as a microphone used for such a purpose.
First, prior to describing an embodiment of a video camera with a microphone according to the present invention, a basic operation and configuration of an optical microphone using a VCSEL used in the present invention will be described.
[0008]
FIG. 2 is a diagram showing a basic structure of the optical microphone element.
FIG. 2A shows a cross-sectional shape. An electronic circuit board 12 is installed on the bottom surface 8 of the container 1, and a substrate 9 on which a light emitting element and a light receiving element are arranged is attached on the substrate 12. The attachment can also be performed by electrically connecting the substrate 9 and the substrate 12 by, for example, flip chip bonding. Further, if the bottom surface 8 is formed of a semiconductor substrate such as silicon, an electronic circuit can be formed thereon, so that the electronic circuit substrate 12 can be omitted. In the example shown in FIG. 2, a vertical cavity surface emitting laser diode LD is used as a light emitting element, and a photodiode PD is used as a light receiving element. A circular surface emitting laser diode LD is arranged at the center of the substrate 9, and light receiving elements PD are arranged concentrically around the surface emitting laser diode LD.
[0009]
FIG. 2B is an enlarged plan view showing the light emitting / receiving section of the substrate 9 on which the light emitting / receiving element shown by the dotted line in FIG. 2A is mounted.
As shown in the figure, a circular light emitting element LD is arranged at the center, and light receiving elements PD1, PD2,... PDn are arranged concentrically so as to surround the light emitting element LD. A vertical cavity surface emitting laser can be used as the light emitting element LD used here.
The light emitting element LD and the light receiving element PD can be simultaneously formed on the gallium arsenide wafer by a semiconductor manufacturing process.
Therefore, since the alignment accuracy between the light emitting element LD and the light receiving element PD is determined by the accuracy of the mask used in the semiconductor manufacturing process, the alignment accuracy can be set to 1 μm or less, and the conventional light receiving / emitting element of the optical microphone element can be reduced. It can be realized with high accuracy of 1/100 or less compared with the alignment accuracy.
[0010]
In general, the vertical cavity surface-emitting light emitting device has a characteristic that the light emission intensity distribution is substantially uniform in a concentric manner. Therefore, the radiated light radiated from the light emitting element LD installed at the center toward the diaphragm 2 at a predetermined angle is reflected concentrically with the same intensity, and the diaphragm 2 vibrates by receiving the sound wave 7. As a result, the reflection angle changes and reaches the light receiving element PD concentrically.
Accordingly, the vibration displacement of the diaphragm 2 can be detected by detecting the change in the amount of light received by the light receiving elements PD1 to PDn arranged concentrically. As a result, the intensity of the incident sound wave 7 can be detected, so that it can be used as an optical microphone element.
An electrode 11 is formed for driving the light emitting element LD and the light receiving element PD or detecting the amount of incident light.
[0011]
Next, a vertical cavity surface emitting laser (hereinafter referred to as VCSEL) which is a light emitting element used in the present invention will be described.
FIG. 3 shows the emission intensity distribution of the VCSEL. As shown in the figure, the radiation intensity distribution is given as a Gaussian distribution in the nucleus.
The light emission intensity distribution P0 (θ) is expressed by equation (1).
[Expression 1]
Po (θ) = exp (−α 2 θ 2 ) (1)
θ: Angular displacement (per unit radians) from the vertical line on the light-emitting surface
α: Coefficient that defines the emission divergence angle (originally simplified in the calculation of “1 / α 2 ”)
[0012]
When the light emission distribution coefficient α is calculated for the one-dimensional case, it is expressed by the following equation (2).
[Expression 2]
α 2 = − [ln (h)] / (FAHM / 2) 2 (2)
h: 1 in the relative intensity vertical direction obtained by actually measuring the light emission distribution of the laser. Half value = 0.5, 1 / e = 0.3183, 1 / e2 = 0.135335
FAHM: The full width at half maximum (FAHM) value is usually provided by the manufacturer.
If h = 0.5, FAHM = 9 degrees (with angle), rad (9/2) = 0.07854
α 2 = − [(ln (0.5)] / (0.07854) 2 = 112.369
Then, when this is used to calculate the emission intensity distribution for the designated direction, a distribution as shown in FIG. 3 is obtained.
[0013]
FIG. 4 is a diagram in the case where the emission intensity distribution is calculated and illustrated in two dimensions.
In this case, the two-dimensional emission intensity distribution P0 (θ) is given by equation (3).
[Equation 3]
Po (θ) = exp (−α 2 θ 2 ) · exp (−β 2 ψ 2 ) (3)
[0014]
Calculation is performed in the same way as the distribution calculation coefficients α and β in the θ direction and the ψ direction. The emission distribution coefficient α is given by equation (4), and the emission distribution coefficient β is given by equation (5).
[Expression 4]
α 2 = − [ln (h)] / (FAHM / 2) 2 (4)
If h = 0.5 and FAHM = 9 degrees, rad (9/2) = 0.07854
α 2 = − [(ln (0.5)] / (0.07854) 2 = 112.369
[0015]
[Equation 5]
β 2 = − [ln (h)] / (FAHM / 2) 2 (5)
If h = 0.5 and FAHM = 9 degrees, rad (9/2) = 0.07854
β 2 = − [(ln (0.5)] / (0.07854) 2 = 112.369
[0016]
As is apparent from the two-dimensional emission intensity distribution obtained in this way, in the vertical cavity surface emitting laser, the intensity distribution of the light emitting elements is substantially uniform in a concentric manner.
For this reason, in order to efficiently receive laser light emission as a deviation (displacement) of the diaphragm 2, it is optimal to arrange the light receiving elements concentrically. A differential signal of signals detected by light receiving elements belonging to different concentric circles arranged concentrically becomes a signal giving a change in sound pressure.
[0017]
Here, in order to limit or select the dynamic range of the received signal, it is possible to provide two or more light receiving elements concentrically.
Here, the noise reduction effect cannot be expected so much with the optical microphone shown in FIG. That is, the diaphragm 2 also vibrates due to the noise reaching the diaphragm 2, and this is superimposed on the vibration caused by the normal sound wave 7 as a noise signal.
An optical microphone having a structure as shown in FIG. 5 is known as an optical microphone that reduces the influence of noise and further reduces noise.
[0018]
In the structure shown in FIG. 5, the diaphragm 2 that vibrates by the sound wave 7 is stretched substantially at the center of the container 1. And the 1st opening part 15 and the 2nd opening part 16 are provided in the container 1 so that it may become an object position mutually with respect to the diaphragm 2.
With this configuration, the sound wave 7 enters the container 1 through any of the openings 15 and 16 and vibrates the diaphragm 2.
5 shows a structure in which the light emitting element LD and the light receiving element PD are separated for convenience of explanation, actually, the light emitting element LD and the light receiving element PD are integrally formed on the substrate 9 in FIG. The structure shown in FIG.
[0019]
When the sound pressures of the sound wave entering from the first opening 15 and the sound wave entering from the second opening 16 are equal in the optical microphone element 50 shown in FIG. The vibration plates 2 are not vibrated by canceling each other in 2b.
It is known that when two microphone elements having the same reception sensitivity are arranged close to each other and a sound wave generated at a long distance is received, the two microphone elements detect the incoming sound wave equally.
Generally, sound waves are generated from a person's mouth that is a short distance away from the microphone element. That is, sound is generated at a short distance from the microphone element. This short-distance human voice has a spherical field characteristic as indicated by a circular curve.
[0020]
On the other hand, for example, a sound wave generated by a long distance, such as noise sound, has a plane field characteristic. The acoustic intensity of a spherical wave is substantially the same along the spherical surface or collapse line and varies along the radius of the sphere, but in the case of a plane wave, the acoustic intensity is substantially the same at all points on the plane.
Accordingly, since the optical microphone element as shown in FIG. 5 can be considered as a combination of two microphone elements, when the optical microphone element is placed in the far field, the first opening 15 and the second opening 16 are almost Sound waves having the same intensity and phase characteristics arrive at the diaphragm 2 and cancel each other as described above, thereby reducing the influence.
On the other hand, since the sound wave from the near field is incident from the first opening 15 or the second opening 16 nonuniformly, the vibration plate 2 is vibrated and extracted from the light emitting element PD as a signal. In this way, an optical microphone element that can further reduce the influence of noise can be obtained by the structure of FIG.
[0021]
FIG. 6 is a diagram showing the directivity pattern of the optical microphone element shown in FIGS.
(A) shows the directivity pattern of the optical microphone element shown in FIG. 2, and has a substantially circular directivity having maximum sensitivity in the direction perpendicular to the diaphragm 2 toward the opening (left side in the figure). Has a pattern.
FIG. 5B shows the directivity pattern of the optical microphone element shown in FIG. 5, which has a substantially 8-shaped directivity pattern having maximum sensitivity in both directions of the openings 15 and 16.
Here, the directional beam pattern of the optical microphone element shown in FIGS. 2 and 5 is changed so as to extend in the axial direction indicating the maximum sensitivity as shown in FIGS. 7 and 8 and to narrow down in the direction orthogonal to the axis. Can be made.
[0022]
In order to change the directional beam pattern in this way, a part of the detection output from the light receiving element PD may be fed back to the light source driving circuit for driving the light emitting element LD using a negative feedback circuit. FIG. 9 is a diagram showing a schematic configuration of an optical microphone device using a feedback circuit 100 for changing the beam pattern as shown in FIG. 7 or FIG.
The output from the light receiving element PD is taken out through the filter circuit 18 and amplified by the amplifier 19 to become a microphone output. The filter circuit 18 is used to extract only signal components in the desired frequency range.
Here, in the optical microphone device shown in FIG. 9, a predetermined current is supplied to the light emitting element LD via a negative feedback (negative feedback dot NFB) circuit 100 for a part of the output signal taken out from the light receiving element PD, and the light emitting element LD. Is supplied as a negative feedback signal to the light source driving circuit 13 driving the.
[0023]
The negative feedback circuit 100 includes a small signal amplification circuit 10, a filter circuit 14 that extracts only a signal component in a desired frequency range from its output, and a comparator 20. A reference power supply 14 serving as a reference voltage is connected to a non-inverting input terminal of the comparator 20. The signal taken out through the filter circuit 17 is supplied to the inverting input terminal of the comparator 20.
The small signal amplifying circuit 10 amplifies only a signal below a predetermined level.
With this configuration, the comparator 20 outputs a smaller output level as the output of the filter circuit 17 is larger, and thus the light source driving circuit 13 operates so as to reduce the current supplied to the light emitting element LD.
[0024]
Here, the small signal amplifying circuit 10 amplifies the signal only when the input signal level is equal to or lower than a predetermined level, and does not amplify the signal above a certain level. Therefore, when the input signal level is higher than a certain level, the output signal level does not change and the amplification degree (gain) becomes zero. When the input signal is below a predetermined signal level, amplification is performed so that the degree of amplification increases as the signal level decreases. Furthermore, the increase rate of the output signal with respect to the input signal increases as the input signal level decreases.
[0025]
Here, since the output from the light receiving element PD is proportional to the received sound volume, the output of the small signal amplifier circuit 10 is amplified and output as the volume decreases. Since this is input to the inverting input terminal of the comparator 20 via the filter circuit 17, the output level of the comparator 20 conversely decreases with decreasing volume.
As a result, the current supplied to the light emitting element LD operates so as to decrease the light output of the light emitting element LD as the volume decreases. That is, the sensitivity of the microphone decreases with decreasing volume. Further, since a signal exceeding a predetermined level is not amplified, the optical output is not limited at the signal level. Therefore, the sensitivity of the microphone does not decrease.
[0026]
When the sound is from the axial direction perpendicular to the diaphragm and does not cause a decrease in microphone sensitivity, if the sound is shifted from the axial direction, the sensitivity gradually decreases due to the original directivity curve. To go. When the level is below a certain level, the small signal amplifying circuit 10 has an amplification factor, the supply current control of the light source driving circuit 13 is activated, and the sensitivity of the microphone further decreases.
As a result, in the optical microphone device having the negative feedback circuit 100, as shown in FIG. 7 or FIG. 8, the directional beam width of the sensitive directional pattern becomes a narrower pattern.
[0027]
7 and 8 show the directivity pattern change caused by changing the negative feedback amount.
(A) shows the directivity pattern when negative feedback is not applied. In this case, the directivity pattern is substantially circular. Next, directivity patterns when negative feedback is applied are shown in (B) and (C).
In the case of (B), the negative feedback amount is small, and in the case of (C), the negative feedback amount is large. In this way, by changing the amplification factor of the small signal amplifying circuit 10, the negative feedback amount is changed, and the directivity pattern of sensitivity is extended in the axial direction of the maximum sensitivity and is changed so as to narrow down in the direction orthogonal to the axis. Can do.
In this way, the directivity characteristic of the sensitivity of the optical microphone can be changed.
[0028]
In the sound pickup apparatus according to the present invention, the directivity characteristics of the selected microphone are changed using the optical microphone element that can change the beam pattern having such directivity.
FIG. 1 is a block diagram showing an embodiment of a video camera with a microphone according to the present invention.
In place of the microphone 203 in the conventional camera shown in FIG. 10, an optical microphone 300 including the optical microphone element 50, the light source driving circuit 13, and the negative feedback circuit 100 is used.
The configuration of the camera unit is such that a signal from a zoom amount adjusting unit 28 that adjusts a zoom amount of a lens 202 that inputs an input image 27 is extracted by a zoom amount converting unit 31 via an image detection element 29 such as a CCD and an amplifier circuit 30. .
That is, when zooming is performed on the subject by the zoom amount adjusting means 31, the zoom amount indicating the degree of enlargement or reduction is detected as a zoom amount change signal by detecting an image from the subject. 31 outputs are obtained.
[0029]
This zoom amount change signal is used as a control signal for changing the negative feedback amount of the negative feedback circuit 100.
That is, when zooming up and enlarging an image, the negative feedback amount of the negative feedback circuit 100 is increased in response to the zoom amount change signal that is an output signal from the zoom amount conversion circuit 31, and the optical microphone element 50 is directed. The beam width is sharpened to reduce the influence of surrounding sound, and only the signal from the subject is picked up and recorded.
Conversely, when the image is reduced by zooming down, the negative feedback amount is reduced or the operation of the negative feedback circuit is stopped to achieve unidirectionality, and sound collection is performed in consideration of the influence of surrounding sounds.
[0030]
In the embodiment shown in FIG. 1, the zooming amount to the subject of the video camera is obtained by the output of the zoom amount adjusting means 28 based on the image signal from the image sensor, but the method for detecting the zoom amount is limited to this. Is not to be done.
That is, it is also possible to directly detect a mechanical change of the zoom amount adjusting means 18, convert it and electrically detect it as a zoom amount change signal, and use it as a control signal for the negative feedback circuit 100.
As the optical microphone element 50 of the optical microphone 300 used in the present invention, either the structure shown in FIG. 2 or the structure shown in FIG. 5 can be used in principle. It is preferable to use the structure shown in FIG.
[0031]
【The invention's effect】
As described above in detail based on the above embodiments, in the present invention, an optical microphone using a VCSEL capable of changing the directivity characteristic with respect to sound waves is used as a microphone attached to the video camera, and the object to the subject of the video camera is used. By changing the negative feedback amount of the negative feedback circuit in response to the amount of zooming, the directivity of the microphone is changed, and the sound recording status is changed in response to the enlargement / reduction of the image. Correspondingly, it is possible to record images and sounds as if the sound was emitted in the vicinity, as if the sound was emitted in the distance with respect to the reduced image, that is, in a state close to nature.
[Brief description of the drawings]
FIG. 1 is a circuit diagram showing a main configuration of a video camera with a microphone according to an embodiment of the present invention.
FIG. 2 is a diagram showing a voltage structure of an optical microphone element.
FIG. 3 is a graph showing a light emission intensity distribution of a VCSEL used in the present invention.
FIG. 4 is a diagram showing a two-dimensional calculation of the emission intensity distribution of a VCSEL used in the present invention.
FIG. 5 is a diagram showing the structure of another optical microphone element used in the present invention.
FIG. 6 is a directional characteristic pattern diagram of an optical microphone element used in the present invention.
FIG. 7 is a diagram showing a change in directivity pattern of an optical microphone element used in the present invention.
8 is a change diagram of the directivity pattern of the optical microphone element of FIG. 5. FIG.
FIG. 9 is a circuit diagram showing a schematic configuration of an optical microphone device used in the present invention.
FIG. 10 is an external view showing a schematic configuration of a conventional video camera with a microphone.
[Explanation of symbols]
2 Diaphragm LD Light emitting element PD Light receiving element 7 Sound wave 13 Light source driving circuit 28 Zoom amount adjusting means 29 Imaging element (image detecting element)
30 Amplifier 31 Zoom amount adjusting means 50 Optical microphone element 100 Negative feedback circuit 300 Optical microphone

Claims (1)

指向特性を制御できるマイクロフォンを備え、ビデオカメラの被写体へのフォーカシングに同期して前記指向特性を前記被写体へフォーカシングするマイクロフォン付ビデオカメラにおいて、
前記マイクロフォンとして、
発光強度分布が同心円状にほぼ均一な垂直空洞表面発光型レーザー発光素子を配置し、前記発光素子の放射光を受光する為の受光素子を配置した基板と、
前記基板に対向する位置にほぼ平行に、かつ近接して設置され、音圧により振動するとともに、前記発光素子からの光を反射させて前記受光素子に放射する振動板と、
前記発光素子に駆動電流を供給する光源駆動回路と、
前記受光素子から出力される信号レベルが小さいほど増幅度が大きくなる小信号増幅回路を含み、前記小信号増幅回路の出力に基づいた負帰還信号として前記光源駆動回路に供給する負帰還回路を具備する光マイクロフォンを用い、
前記ビデオカメラの被写体へのズーミング量を示すズーミング信号により前記負帰還信号の大きさを変化させることにより前記光マイクロフォンの前記指向特性を制御することを特徴とするマイクロフォン付ビデオカメラ。
In a video camera with a microphone that includes a microphone that can control directivity, and that focuses the directivity on the subject in synchronization with focusing on the subject of the video camera.
As the microphone,
A vertical cavity surface emitting laser light emitting element having a substantially uniform emission intensity distribution in a concentric manner, and a substrate on which a light receiving element for receiving the emitted light of the light emitting element is disposed;
A vibration plate that is installed substantially parallel to and close to a position facing the substrate, vibrates due to sound pressure, and reflects light from the light emitting element to radiate to the light receiving element;
A light source driving circuit for supplying a driving current to the light emitting element;
A small-signal amplifier circuit that increases the degree of amplification as the signal level output from the light-receiving element decreases, and includes a negative feedback circuit that supplies the light source drive circuit as a negative feedback signal based on the output of the small-signal amplifier circuit Using an optical microphone
A video camera with a microphone, wherein the directivity characteristic of the optical microphone is controlled by changing the magnitude of the negative feedback signal according to a zooming signal indicating a zooming amount to a subject of the video camera.
JP2000051936A 2000-02-28 2000-02-28 Video camera with microphone Expired - Fee Related JP3679298B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000051936A JP3679298B2 (en) 2000-02-28 2000-02-28 Video camera with microphone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000051936A JP3679298B2 (en) 2000-02-28 2000-02-28 Video camera with microphone

Publications (2)

Publication Number Publication Date
JP2001245187A JP2001245187A (en) 2001-09-07
JP3679298B2 true JP3679298B2 (en) 2005-08-03

Family

ID=18573524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000051936A Expired - Fee Related JP3679298B2 (en) 2000-02-28 2000-02-28 Video camera with microphone

Country Status (1)

Country Link
JP (1) JP3679298B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100628569B1 (en) * 2002-02-09 2006-09-26 삼성전자주식회사 Camcoder capable of combination plural microphone
JP4112505B2 (en) * 2004-01-14 2008-07-02 株式会社東芝 Optical microphone and manufacturing method thereof
JP5801026B2 (en) * 2009-05-28 2015-10-28 株式会社ザクティ Image sound processing apparatus and imaging apparatus
JP6898584B2 (en) * 2017-04-07 2021-07-07 日産自動車株式会社 Power generation panel

Also Published As

Publication number Publication date
JP2001245187A (en) 2001-09-07

Similar Documents

Publication Publication Date Title
US8391517B2 (en) Optical microphone packaging
US7391976B2 (en) Optical acoustoelectric transducer
KR100629048B1 (en) Acoustoelectric transducer using optical device
JP3679298B2 (en) Video camera with microphone
JP2001119783A (en) Video camera with microphone
JP3576915B2 (en) Mobile phone equipment
JP2001119785A (en) Sound collection device
EP1150547A1 (en) Optical microphone portable telephone
WO2014001010A1 (en) Microphone arrangement comprising a stack of mems -microphone and interface - chip
JP3593295B2 (en) Acoustoelectric conversion device
JP3481177B2 (en) Optical microphone element and optical microphone device
JP2001119784A (en) Optical microphone system
JP3481179B2 (en) Acoustic-electric converter
JP4249875B2 (en) Acoustoelectric converter
JP3481180B2 (en) Acoustic-electric converter
JP3639484B2 (en) Acoustoelectric converter
EP1152636A1 (en) Sound-collecting device
JP2001119782A (en) Sound collection device
JP2024506621A (en) electroacoustic transducer
JP3907413B2 (en) Sound detection device
JP2024538815A (en) Audio capture method, microphone, and electronic device
JPH0440199A (en) Speaker device
JP3911433B2 (en) Optical acoustoelectric signal converter

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050512

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080520

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090520

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110520

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees