JP3824920B2 - マイクロホンユニット及び音源方向同定システム - Google Patents
マイクロホンユニット及び音源方向同定システム Download PDFInfo
- Publication number
- JP3824920B2 JP3824920B2 JP2001374891A JP2001374891A JP3824920B2 JP 3824920 B2 JP3824920 B2 JP 3824920B2 JP 2001374891 A JP2001374891 A JP 2001374891A JP 2001374891 A JP2001374891 A JP 2001374891A JP 3824920 B2 JP3824920 B2 JP 3824920B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound source
- microphone
- reverberation
- microphone unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/403—Linear arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Landscapes
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Manipulator (AREA)
- Stereophonic Arrangements (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音源の位置や方向を同定するために用いるマイクロホンユニット及びこれを用いて音を受音して音源の方向を同定する音源方向同定システムに関する。
【０００２】
【従来の技術】
従来、所定の空間内において、それぞれが異なる位置に配設された複数のマイクロホンによって受音される音声等の音情報から、各マイクロホン同士の位相差等を算出し、その算出結果に基づいて音源の位置や方向を同定するシステムがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来のシステムでは、空間内を伝搬する音情報は距離の二乗に比例して減衰するため、それぞれが異なる位置に配設された複数のマイクロホンに到達する音情報はその位置によって減衰量が異なる。従って、受音された音の波形がマイクロホンの位置によって著しく異なるときには位相差の算出等が不正確となり、音源の位置や方向を同定するのが困難となる場合がある。
【０００４】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたもので、受音する音情報のマイクロホンの配設位置間距離による減衰量の差を抑えることが可能なマイクロホンユニット及びこれを用いて音源の方向を同定する音源方向同定システムを提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る請求項１記載のマイクロホンユニットは、円形の反響面同士を平行に対向させて形成され且つ全周に渡って開放された隙間内における、前記反響面の一の直径の端部近傍における中心から同距離の位置に、複数のマイクロホンをそれぞれ互いに距離をおいて配設したことを特徴としている。
このような構成であれば、音源からの音は、マイクロホンに到達する前に反響面に到達し、そこで反射された音がマイクに到達することになる。つまり、マイクロホンは、対向する反響面によって形成される隙間に配設された構成となっているので、反響面に到達した音は、一方の反響面と他方の反響面との間で反射しながらマイクロホンに到達する。このため、反響面からマイクロホンに到達するまでの音のエネルギの拡散方向を一次元の方向に抑えることが可能となるので、空間内に直接マイクロホンを配設した場合に較べて、マイクロホンの配設位置間距離による音の減衰量の差を低減することが可能となる。
また、対向する反響面の一方の面と他方の面とを平行にすることにより、平行にした場合と対向する反響面に角度をつけた場合とで音源の方向によって生じるマイクロホンに入力される音の減衰量の差を減少させるのに役立つ。
また、反響面を円形とし、マイクロホンを一方の反響面の直径端部近傍における中心から同距離の位置に配設することで、マイクロホンに到達する音に対して、音源から反響面までの到達距離をほぼ一定にしたので、反響面に到達するまでの音の減衰量をほぼ一定と見なすことが可能となり、且つ、反響面によって隙間内を伝搬する音の減衰量を小さくできるので、同じ音源からの音の波形を見分けやすくなる。更に、マイクロホンを直径端部近傍に配設することにより、マイクロホン同士を近づけて配設したときよりも各マイクロホンに受音される音情報に差が生じるので、位相差等を算出するときに便利である。
また、対向する反響面によって形成される隙間は、全周に渡って開放された状態で形成されており、この隙間内に複数のマイクロフォンを配設するようにしたので、これにより、３６０°の方向からの音情報をマイクロホンによって受音することが可能となる。
【０００９】
また、請求項２に係る発明は、請求項１に記載のマイクロホンユニットと、このマイクロホンユニットを構成する複数のマイクロホンに入力された音情報とに基づいて音源の方向を同定する音源方向同定手段と、を備えたことを特徴としている。
つまり、請求項１に記載のマイクロホンユニットによって、音源からの音情報を受音し、音源方向同定手段によって、受音した音情報に基づいて音源の方向を同定するものである。
【００１０】
このシステムは、例えば、ペット型ロボットなどに応用することで、ペット型ロボットに持ち主の音声に反応して行動を起こさせるようなことが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図１乃至図８は、本発明に係るマイクロホンユニットを利用した音源方向同定システムをロボットの頭部の稼動制御に適用した頭部稼動制御システムの実施の一形態例を示す図である。
まず、本発明に係るマイクロホンユニットの構成を図２に基づいて説明する。図２（ａ）は、本発明に係るマイクロホンユニット２を横正面から見た平面図であり、図２（ｂ）は上面からみた平面図である。
【００１２】
図２（ａ）に示すように、マイクロホンユニット２は、球形の第１のマイクロホン２ａ及び第２のマイクロホン２ｂとを、円板形状の第１の反響板２ｃと、同じく円板形状の第２の反響板２ｄとを対向させて形成した隙間に配設する構成となっており、更に、第１の反響板２ｃと、第２の反響板２ｄとが平行となるように対向させた構成となっている。
更に、第１のマイクロホン２ａと、第２のマイクロホン２ｂとは各反響板２ｃ、２ｄにおける図２（ｂ）に示すように中心から同距離の直径端部近傍にそれぞれが配設されている。更に、本実施の形態において、第１、第２の反響板２ｃ、２ｄは、音を反響する性質を有した素材（例えば、アクリル樹脂等）でできており、それら反響板２ｃ、２ｄの互いに対向する側の面が本発明における反響面を形成している。
【００１３】
次に、マイクロホンユニット２と音源との位置関係による音の拡散について図３、５、６に基づいて説明する。図３は、音源から発せられて反響板２ｃ、２ｄに到達した音の到達位置から各マイクロホン２ａ、２ｂに至るまでの距離の関係を示す図であり、図５は、マイクロホンユニット２内に音源６があった場合の音の拡散を示す図であり、図６は自由音場における音源からの音の拡散及び拡散した音がマイクロホンユニット２内を伝搬してマイクロホン２ａ、２ｂに到達する様子を示す図である。
【００１４】
図３に示すように、音源６からの音は空間を伝搬してマイクロホンユニット２に到達し、その到達位置からＬ１の距離で第１のマイクロホン２ａに到達し、Ｌ２の距離で第２のマイクロホン２ｂに到達する。
ここで、第１の反響板２ａと、第２の反響板２ｂとの隙間を伝搬する音について説明する。図５に示すように、第１の反響板２ｃと、第２の反響板２ｄとの隙間の幅をＤとし、音源６を半径ｒの円形面を有する反響板の中心位置に配設したとして、反響板同士で形成される高さＤの円柱側面の面積は２πｒＤとなるので、音源６を無指向性音源としてその音響出力をＷ1、音源６から距離ｒ離れた地点の音の強さをＩ1とすると、Ｉ1は以下の式（１）のようになる。
【００１５】
Ｉ1＝Ｗ1／２πｒＤ・・・・・・・・・（１）
つまり、音響出力Ｗ1を半径ｒの円柱の側面積（２πｒＤ）で割算したものが音源から距離ｒ離れた地点の音の強さとなる。
更に、自由音場における無指向性音源からの音の拡散について図６に基づいて説明する。無指向性の音源６からの音の拡散は、音源６の音響出力をＷ2とし、音源６からＲ離れた地点の音の強さをＩ2とすると、Ｉ2は以下の式（２）のようになる。
【００１６】
Ｉ2＝Ｗ2／４πＲ2・・・・・・・・・（２）
つまり、音響出力Ｗ2を半径Ｒの球の表面積（４πＲ2）で割算したものが音源６から距離Ｒ離れた地点の音の強さＩ2となる。
従って、図６に示すように、自由音場において音源６から距離Ｒの地点にマイクロホンユニット２があるとすると、反響板に対する音の到達地点から距離ｘの地点にマイクロホンがあるとして、反響板間の距離をＤとし、マイクロホンに到達した地点の音の強さをＩ3とすると、Ｉ3は以下の式（３）のようになる。
【００１７】
Ｉ3＝Ｉ2／２πｘＤ・・・・・・・・・（３）
つまり、式（２）によって求まる自由音場における音源６からの距離Ｒの地点の音の強さＩ2を、式（１）における音響出力Ｗ1とし、式（１）によってそこから距離ｘ離れた地点の音の強さを求めることになる。
更に、頭部稼動制御システムの構成を図１及び図４に基づいて説明する。図１は、本発明に係る頭部稼動制御システムの構成を示すブロック図であり、図４は、マイクロホンユニット２の搭載されたロボットを示す図である。
【００１８】
頭部稼動制御システム１は、音源６からの音を受音するためのマイクロホンシステム２と、受音した音情報を取得して音源６の方向を同定するための音源方向同定部３と、同定された音源方向の情報を取得して後述する頭部稼動用モータ５に適切な制御命令を生成して命令を与えるモータ制御部４と、モータ制御部４からの制御命令を受信して命令に応じた方向にロボットの頭部を稼動させる頭部稼動用モータ５とから構成される。
【００１９】
また、図４に示すように、マイクロホンユニット２は、ロボット７の頭部８に搭載される。このとき、第１、第２の反響板２ｃ、２ｄ間に形成された隙間は音の伝搬が可能な状態にしておく。
具体的な動作を説明すると、まず、このシステムは、ロボット７が、人の声や物音など、近くで発生する音に反応して頭部８を、その音源方向に向けるものである。
【００２０】
マイクロホンユニット２は、上記したように、第１の反響板２ｃと、第２の反響板２ｄとを対向させて形成した隙間内に、第１のマイクロホン２ａと、第２のマイクロホン２ｂとを、図２に示すような位置に配設する構成となっている。従って、音源６から出力された音は空間を伝搬してマイクロホンユニット２に到達すると、そこから先は第１、第２の反響板２ｃ、２ｄ間の隙間を反射を繰り返しながら伝搬し、音の拡散を一次元の方向のみにして第１、第２のマイクロホン２ａ、２ｂへと到達する。
【００２１】
更に、音源方向同定部３は、第１のマイクロホン２ａ及び第２のマイクロホン２ｂに到達し受音された音情報を取得すると、両者の音の位相差を算出する。ここで、図８に基づいて位相差について説明する。図８は、第１、第２のマイクロホン２ａ、２ｂに到達する音の位相差を示す図である。９は、第１のマイクロホン２ａによって受音された第１の受音波形であり、１０は、第２のマイクロホン２ｂで受音された第２の受音波形である。つまり、音が第１又は第２のマイクロホン２ａ又は２ｂに受音された時点の時間を０とし、受音される音の波形データを一定時間記憶し、そのデータに基づいて第１の受音波形９と、第２の受音波形１０との位相差を算出する。つまり、位相差は、波形の到達時間差となるので、図８に示すδが位相差として算出されることになる。
【００２２】
そして、位相差δが算出されると、予めデータベースとして記憶されている位相差δに対する音源の方向データからこの位相差δに対応する音源６の方向データを検出する。
更に、検出された音源６の方向データは、モータ制御部４に伝送され、そこで方向データに対応した制御命令を生成して、頭部稼動用モータ５に対して制御命令を伝送する。
【００２３】
頭部稼動用モータ５は、制御命令を受信すると、その命令に応じてモータを駆動し、ロボットの頭部８を音源方向に稼動させる。
更に、頭部稼動制御システム１の動作の流れを図７に基づいて説明する。図７は、ロボット７の頭部稼動制御システム１の動作処理を示すフローチャートである。
図７に示すように、まず、ステップＳ７００に移行し、マイクロホンユニット２が受音したか否かを判定し、受音したと判定された場合(Yes)はステップＳ７０２に移行し、そうでない場合(No)は受音するまで待機する。
【００２４】
ステップＳ７０２に移行した場合は、音源方向同定部３によって、第１及び第２のマイクロホン２ａ及び２ｂによって受音した音情報を取得してステップＳ７０４に移行する。
ステップＳ７０４では、音源方向同定部３によって取得した音情報を解析して音の波形を抽出してステップＳ７０６に移行する。
ステップＳ７０６に移行すると、第１のマイクロホン２ａ及び第２のマイクロホン２ｂによって受音した音情報から抽出した音の位相差を算出してステップＳ７０８に移行する。
【００２５】
ステップＳ７０８では、算出した位相差によって、位相差に対応した音源の方向のデータが格納された図示しない音源方向データベースから、対応する音源方向のデータを検出し、検出したデータをモータ制御部４に伝送してステップＳ７１０に移行する。
ステップＳ７１０に移行すると、モータ制御部４によって、音源方向データに基づいてモータへの適切な制御命令を生成し、これを頭部稼動用モータ５に伝送してステップＳ７１２に移行する。
【００２６】
ステップＳ７１２に移行すると、頭部稼動用モータ５は、受信した制御命令に基づいてモータを駆動してロボット７の頭部８を音源方向へと向くように稼動させる。
以上、本発明に係るマイクロホンユニット２及びこれを利用した頭部稼動制御システム１を説明したが、マイクロホンユニット２は、第１、第２の反響板２ｃ、２ｄを対向させて形成される隙間に第１、第２のマイクロホン２ａ、２ｂを配設する構成となっているので、空間を伝搬してきた音は、マイクロホンユニット２の第１、第２の反響板２ｃ、２ｄ間を伝搬するときに、反響板によって音が反響するので、拡散方向が一次元の方向となり、空間を伝搬する音の減衰量に較べて、その量を低減させることが可能となる。
【００２７】
また、第１、第２の反響板２ｃ、２ｄの形状を円板形状にすることで、反響板に到達する音の時間差を低減させるようにしたので、位相差の算出結果の正確さが増す。
また、音源方向同定部３によって、算出された位相差に基づいて、予め位相差に対する音源の方向データの記憶されたデータベースから、対応する音源の方向データを検出して、音源の方向を同定するようにしたので、第１、第２のマイクロホン２ａ、２ｂによって受音された音の位相差を算出するだけで、簡易に音源の方向を同定することが可能となるので、ロボットなどに、音に反応した動作をさせる場合などに役立つ。
【００２８】
ここで、図１に示す、音源方向同定部３は、請求項２記載の音源方向同定手段に対応し、図２に示す、第１の反響板２ｃ及び第２の反響板２ｄは、請求項１に記載の反響面に対応する。
なお、上記実施の形態においては、マイクロホンユニット２を構成するマイクロホンを２つとしているが、これに限らず、マイクロホンの数を３つ以上にしても良いし、更に、第１、第２の反響板２ｃ、２ｄによって形成される隙間を全周に渡って開放することで、全方位からの音の受音を可能とするようにしても良い。
【００２９】
また、上記実施の形態においては、第１、第２の反響板２ｃ、２ｄの形状を円板形としているが、これに限らず、四角い板状にするなど、本発明の主旨を逸脱しない範囲でどのような形状にしても良い。
また、上記実施の形態においては、音源方向の同定を音の位相差によって行っているが、これに限らず、相関関数を用いるなど、どのような同定手段を用いても良い。
【００３０】
また、上記実施の形態においては、第１、第２の反響板２ｃ、２ｄはアクリル製としているが、これに限らず、音を反響する部材であればどのようなものを用いても良い。
また、上記実施の形態においては、位相差を算出して、位相差に対応した音源の方向データの予め記憶されたデータベースから、算出結果に対応した音源の方向データを検出し、その音源方向にロボット７の頭部８を動作させる制御を行っているが、これに限らず、位相差があるか否かを見て、位相差がある場合に、位相差の減少する方向にロボット７の頭部８を動作させ、位相差が０になった時点で停止するような制御を行うようにしても良い。
【００３１】
また、上記実施の形態においては、音に反応してロボット７の頭部８を音源方向に動作させる制御に本発明を適用しているが、これに限らず、本発明の主旨を逸脱しない範囲で、監視カメラやペット型ロボット等の制御などに適用しても良い。
【００３２】
【発明の効果】
以上説明したように、本発明に係る請求項１記載のマイクロホンユニットによれば、複数のマイクロホンを、反響板を対向させて形成した隙間に配設する構成としたので、反響板間を伝搬してマイクロホンに到達する音の拡散を一次元の方向のみに抑えることが可能となり、減衰量の差を低減することが可能となる。
また、対向する反響板を平行となるようにしたので、音源の方位による音の減衰量の差を低減するのに役立つ。
また、反響面を円形とし、マイクロホンを一方の反響面における中心から同距離の位置に配設することで、マイクロホンに到達する音に対して、音源から反響面までの到達距離をほぼ一定にするものである。従って、反響面に到達するまでの音の減衰量はほぼ一定と見なすことが可能となり、且つ、反響面によって隙間内を伝搬する音の減衰量が小さくできるので、同じ音源からの音の波形を見分けやすくなる。更に、マイクロホンを直径端部近傍に配設することにより、マイクロホン同士を近づけて配設したときよりも各マイクロホンに受音される音情報に差が生じるので、位相差等を算出するときに便利である。
また、対向する反響面によって形成される隙間を、全周に渡って開放された状態とし、その隙間内に複数のマイクロフォンを配設するようにしたので、３６０°の方向からの音情報をマイクロホンによって受音することが可能となる。
【００３４】
また、請求項２記載の音源方向同定システムによれば、請求項１に記載のマイクロホンユニットを用いて音情報を取得し、その音情報に基づいて、音源の方向を同定するようにしたので、同定に用いるデータが、空間内に直接マイクロホンを設置して受音したものと較べて正確な同定結果を算出するのに役立つ。
【図面の簡単な説明】
【図１】本発明に係る頭部稼動制御システムの構成を示すブロック図である。
【図２】図２（ａ）は、本発明に係るマイクロホンユニット２を横正面から見た平面図であり、図２（ｂ）は上面からみた平面図である。
【図３】音源から発せられて反響板２ｃ、２ｄに到達した音の到達位置から各マイクロホン２ａ、２ｂに至るまでの距離の関係を示す図である。
【図４】マイクロホンユニットの搭載されたロボットを示す図である。
【図５】マイクロホンユニット２内に音源があった場合の音の拡散を示す図である。
【図６】自由音場における音源からの音の拡散及び拡散した音がマイクロホンユニット２内を伝搬してマイクロホンに到達する様子を示す図である。
【図７】ロボット７の頭部稼動制御システム１の動作の流れを示すフローチャートである。
【図８】第１、第２のマイクロホン２ａ、２ｂに到達する音の位相差を示す図である。
【符号の説明】
１ 頭部稼動制御システム
２ マイクロホンユニット
３ 音源方向同定部
４ モータ制御部
５ 頭部稼動用モータ
６ 音源
７ ロボット
８ 頭部
９ 第１の受音波形
１０ 第２の受音波形
【発明の属する技術分野】
本発明は、音源の位置や方向を同定するために用いるマイクロホンユニット及びこれを用いて音を受音して音源の方向を同定する音源方向同定システムに関する。
【０００２】
【従来の技術】
従来、所定の空間内において、それぞれが異なる位置に配設された複数のマイクロホンによって受音される音声等の音情報から、各マイクロホン同士の位相差等を算出し、その算出結果に基づいて音源の位置や方向を同定するシステムがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来のシステムでは、空間内を伝搬する音情報は距離の二乗に比例して減衰するため、それぞれが異なる位置に配設された複数のマイクロホンに到達する音情報はその位置によって減衰量が異なる。従って、受音された音の波形がマイクロホンの位置によって著しく異なるときには位相差の算出等が不正確となり、音源の位置や方向を同定するのが困難となる場合がある。
【０００４】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたもので、受音する音情報のマイクロホンの配設位置間距離による減衰量の差を抑えることが可能なマイクロホンユニット及びこれを用いて音源の方向を同定する音源方向同定システムを提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る請求項１記載のマイクロホンユニットは、円形の反響面同士を平行に対向させて形成され且つ全周に渡って開放された隙間内における、前記反響面の一の直径の端部近傍における中心から同距離の位置に、複数のマイクロホンをそれぞれ互いに距離をおいて配設したことを特徴としている。
このような構成であれば、音源からの音は、マイクロホンに到達する前に反響面に到達し、そこで反射された音がマイクに到達することになる。つまり、マイクロホンは、対向する反響面によって形成される隙間に配設された構成となっているので、反響面に到達した音は、一方の反響面と他方の反響面との間で反射しながらマイクロホンに到達する。このため、反響面からマイクロホンに到達するまでの音のエネルギの拡散方向を一次元の方向に抑えることが可能となるので、空間内に直接マイクロホンを配設した場合に較べて、マイクロホンの配設位置間距離による音の減衰量の差を低減することが可能となる。
また、対向する反響面の一方の面と他方の面とを平行にすることにより、平行にした場合と対向する反響面に角度をつけた場合とで音源の方向によって生じるマイクロホンに入力される音の減衰量の差を減少させるのに役立つ。
また、反響面を円形とし、マイクロホンを一方の反響面の直径端部近傍における中心から同距離の位置に配設することで、マイクロホンに到達する音に対して、音源から反響面までの到達距離をほぼ一定にしたので、反響面に到達するまでの音の減衰量をほぼ一定と見なすことが可能となり、且つ、反響面によって隙間内を伝搬する音の減衰量を小さくできるので、同じ音源からの音の波形を見分けやすくなる。更に、マイクロホンを直径端部近傍に配設することにより、マイクロホン同士を近づけて配設したときよりも各マイクロホンに受音される音情報に差が生じるので、位相差等を算出するときに便利である。
また、対向する反響面によって形成される隙間は、全周に渡って開放された状態で形成されており、この隙間内に複数のマイクロフォンを配設するようにしたので、これにより、３６０°の方向からの音情報をマイクロホンによって受音することが可能となる。
【０００９】
また、請求項２に係る発明は、請求項１に記載のマイクロホンユニットと、このマイクロホンユニットを構成する複数のマイクロホンに入力された音情報とに基づいて音源の方向を同定する音源方向同定手段と、を備えたことを特徴としている。
つまり、請求項１に記載のマイクロホンユニットによって、音源からの音情報を受音し、音源方向同定手段によって、受音した音情報に基づいて音源の方向を同定するものである。
【００１０】
このシステムは、例えば、ペット型ロボットなどに応用することで、ペット型ロボットに持ち主の音声に反応して行動を起こさせるようなことが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図１乃至図８は、本発明に係るマイクロホンユニットを利用した音源方向同定システムをロボットの頭部の稼動制御に適用した頭部稼動制御システムの実施の一形態例を示す図である。
まず、本発明に係るマイクロホンユニットの構成を図２に基づいて説明する。図２（ａ）は、本発明に係るマイクロホンユニット２を横正面から見た平面図であり、図２（ｂ）は上面からみた平面図である。
【００１２】
図２（ａ）に示すように、マイクロホンユニット２は、球形の第１のマイクロホン２ａ及び第２のマイクロホン２ｂとを、円板形状の第１の反響板２ｃと、同じく円板形状の第２の反響板２ｄとを対向させて形成した隙間に配設する構成となっており、更に、第１の反響板２ｃと、第２の反響板２ｄとが平行となるように対向させた構成となっている。
更に、第１のマイクロホン２ａと、第２のマイクロホン２ｂとは各反響板２ｃ、２ｄにおける図２（ｂ）に示すように中心から同距離の直径端部近傍にそれぞれが配設されている。更に、本実施の形態において、第１、第２の反響板２ｃ、２ｄは、音を反響する性質を有した素材（例えば、アクリル樹脂等）でできており、それら反響板２ｃ、２ｄの互いに対向する側の面が本発明における反響面を形成している。
【００１３】
次に、マイクロホンユニット２と音源との位置関係による音の拡散について図３、５、６に基づいて説明する。図３は、音源から発せられて反響板２ｃ、２ｄに到達した音の到達位置から各マイクロホン２ａ、２ｂに至るまでの距離の関係を示す図であり、図５は、マイクロホンユニット２内に音源６があった場合の音の拡散を示す図であり、図６は自由音場における音源からの音の拡散及び拡散した音がマイクロホンユニット２内を伝搬してマイクロホン２ａ、２ｂに到達する様子を示す図である。
【００１４】
図３に示すように、音源６からの音は空間を伝搬してマイクロホンユニット２に到達し、その到達位置からＬ１の距離で第１のマイクロホン２ａに到達し、Ｌ２の距離で第２のマイクロホン２ｂに到達する。
ここで、第１の反響板２ａと、第２の反響板２ｂとの隙間を伝搬する音について説明する。図５に示すように、第１の反響板２ｃと、第２の反響板２ｄとの隙間の幅をＤとし、音源６を半径ｒの円形面を有する反響板の中心位置に配設したとして、反響板同士で形成される高さＤの円柱側面の面積は２πｒＤとなるので、音源６を無指向性音源としてその音響出力をＷ1、音源６から距離ｒ離れた地点の音の強さをＩ1とすると、Ｉ1は以下の式（１）のようになる。
【００１５】
Ｉ1＝Ｗ1／２πｒＤ・・・・・・・・・（１）
つまり、音響出力Ｗ1を半径ｒの円柱の側面積（２πｒＤ）で割算したものが音源から距離ｒ離れた地点の音の強さとなる。
更に、自由音場における無指向性音源からの音の拡散について図６に基づいて説明する。無指向性の音源６からの音の拡散は、音源６の音響出力をＷ2とし、音源６からＲ離れた地点の音の強さをＩ2とすると、Ｉ2は以下の式（２）のようになる。
【００１６】
Ｉ2＝Ｗ2／４πＲ2・・・・・・・・・（２）
つまり、音響出力Ｗ2を半径Ｒの球の表面積（４πＲ2）で割算したものが音源６から距離Ｒ離れた地点の音の強さＩ2となる。
従って、図６に示すように、自由音場において音源６から距離Ｒの地点にマイクロホンユニット２があるとすると、反響板に対する音の到達地点から距離ｘの地点にマイクロホンがあるとして、反響板間の距離をＤとし、マイクロホンに到達した地点の音の強さをＩ3とすると、Ｉ3は以下の式（３）のようになる。
【００１７】
Ｉ3＝Ｉ2／２πｘＤ・・・・・・・・・（３）
つまり、式（２）によって求まる自由音場における音源６からの距離Ｒの地点の音の強さＩ2を、式（１）における音響出力Ｗ1とし、式（１）によってそこから距離ｘ離れた地点の音の強さを求めることになる。
更に、頭部稼動制御システムの構成を図１及び図４に基づいて説明する。図１は、本発明に係る頭部稼動制御システムの構成を示すブロック図であり、図４は、マイクロホンユニット２の搭載されたロボットを示す図である。
【００１８】
頭部稼動制御システム１は、音源６からの音を受音するためのマイクロホンシステム２と、受音した音情報を取得して音源６の方向を同定するための音源方向同定部３と、同定された音源方向の情報を取得して後述する頭部稼動用モータ５に適切な制御命令を生成して命令を与えるモータ制御部４と、モータ制御部４からの制御命令を受信して命令に応じた方向にロボットの頭部を稼動させる頭部稼動用モータ５とから構成される。
【００１９】
また、図４に示すように、マイクロホンユニット２は、ロボット７の頭部８に搭載される。このとき、第１、第２の反響板２ｃ、２ｄ間に形成された隙間は音の伝搬が可能な状態にしておく。
具体的な動作を説明すると、まず、このシステムは、ロボット７が、人の声や物音など、近くで発生する音に反応して頭部８を、その音源方向に向けるものである。
【００２０】
マイクロホンユニット２は、上記したように、第１の反響板２ｃと、第２の反響板２ｄとを対向させて形成した隙間内に、第１のマイクロホン２ａと、第２のマイクロホン２ｂとを、図２に示すような位置に配設する構成となっている。従って、音源６から出力された音は空間を伝搬してマイクロホンユニット２に到達すると、そこから先は第１、第２の反響板２ｃ、２ｄ間の隙間を反射を繰り返しながら伝搬し、音の拡散を一次元の方向のみにして第１、第２のマイクロホン２ａ、２ｂへと到達する。
【００２１】
更に、音源方向同定部３は、第１のマイクロホン２ａ及び第２のマイクロホン２ｂに到達し受音された音情報を取得すると、両者の音の位相差を算出する。ここで、図８に基づいて位相差について説明する。図８は、第１、第２のマイクロホン２ａ、２ｂに到達する音の位相差を示す図である。９は、第１のマイクロホン２ａによって受音された第１の受音波形であり、１０は、第２のマイクロホン２ｂで受音された第２の受音波形である。つまり、音が第１又は第２のマイクロホン２ａ又は２ｂに受音された時点の時間を０とし、受音される音の波形データを一定時間記憶し、そのデータに基づいて第１の受音波形９と、第２の受音波形１０との位相差を算出する。つまり、位相差は、波形の到達時間差となるので、図８に示すδが位相差として算出されることになる。
【００２２】
そして、位相差δが算出されると、予めデータベースとして記憶されている位相差δに対する音源の方向データからこの位相差δに対応する音源６の方向データを検出する。
更に、検出された音源６の方向データは、モータ制御部４に伝送され、そこで方向データに対応した制御命令を生成して、頭部稼動用モータ５に対して制御命令を伝送する。
【００２３】
頭部稼動用モータ５は、制御命令を受信すると、その命令に応じてモータを駆動し、ロボットの頭部８を音源方向に稼動させる。
更に、頭部稼動制御システム１の動作の流れを図７に基づいて説明する。図７は、ロボット７の頭部稼動制御システム１の動作処理を示すフローチャートである。
図７に示すように、まず、ステップＳ７００に移行し、マイクロホンユニット２が受音したか否かを判定し、受音したと判定された場合(Yes)はステップＳ７０２に移行し、そうでない場合(No)は受音するまで待機する。
【００２４】
ステップＳ７０２に移行した場合は、音源方向同定部３によって、第１及び第２のマイクロホン２ａ及び２ｂによって受音した音情報を取得してステップＳ７０４に移行する。
ステップＳ７０４では、音源方向同定部３によって取得した音情報を解析して音の波形を抽出してステップＳ７０６に移行する。
ステップＳ７０６に移行すると、第１のマイクロホン２ａ及び第２のマイクロホン２ｂによって受音した音情報から抽出した音の位相差を算出してステップＳ７０８に移行する。
【００２５】
ステップＳ７０８では、算出した位相差によって、位相差に対応した音源の方向のデータが格納された図示しない音源方向データベースから、対応する音源方向のデータを検出し、検出したデータをモータ制御部４に伝送してステップＳ７１０に移行する。
ステップＳ７１０に移行すると、モータ制御部４によって、音源方向データに基づいてモータへの適切な制御命令を生成し、これを頭部稼動用モータ５に伝送してステップＳ７１２に移行する。
【００２６】
ステップＳ７１２に移行すると、頭部稼動用モータ５は、受信した制御命令に基づいてモータを駆動してロボット７の頭部８を音源方向へと向くように稼動させる。
以上、本発明に係るマイクロホンユニット２及びこれを利用した頭部稼動制御システム１を説明したが、マイクロホンユニット２は、第１、第２の反響板２ｃ、２ｄを対向させて形成される隙間に第１、第２のマイクロホン２ａ、２ｂを配設する構成となっているので、空間を伝搬してきた音は、マイクロホンユニット２の第１、第２の反響板２ｃ、２ｄ間を伝搬するときに、反響板によって音が反響するので、拡散方向が一次元の方向となり、空間を伝搬する音の減衰量に較べて、その量を低減させることが可能となる。
【００２７】
また、第１、第２の反響板２ｃ、２ｄの形状を円板形状にすることで、反響板に到達する音の時間差を低減させるようにしたので、位相差の算出結果の正確さが増す。
また、音源方向同定部３によって、算出された位相差に基づいて、予め位相差に対する音源の方向データの記憶されたデータベースから、対応する音源の方向データを検出して、音源の方向を同定するようにしたので、第１、第２のマイクロホン２ａ、２ｂによって受音された音の位相差を算出するだけで、簡易に音源の方向を同定することが可能となるので、ロボットなどに、音に反応した動作をさせる場合などに役立つ。
【００２８】
ここで、図１に示す、音源方向同定部３は、請求項２記載の音源方向同定手段に対応し、図２に示す、第１の反響板２ｃ及び第２の反響板２ｄは、請求項１に記載の反響面に対応する。
なお、上記実施の形態においては、マイクロホンユニット２を構成するマイクロホンを２つとしているが、これに限らず、マイクロホンの数を３つ以上にしても良いし、更に、第１、第２の反響板２ｃ、２ｄによって形成される隙間を全周に渡って開放することで、全方位からの音の受音を可能とするようにしても良い。
【００２９】
また、上記実施の形態においては、第１、第２の反響板２ｃ、２ｄの形状を円板形としているが、これに限らず、四角い板状にするなど、本発明の主旨を逸脱しない範囲でどのような形状にしても良い。
また、上記実施の形態においては、音源方向の同定を音の位相差によって行っているが、これに限らず、相関関数を用いるなど、どのような同定手段を用いても良い。
【００３０】
また、上記実施の形態においては、第１、第２の反響板２ｃ、２ｄはアクリル製としているが、これに限らず、音を反響する部材であればどのようなものを用いても良い。
また、上記実施の形態においては、位相差を算出して、位相差に対応した音源の方向データの予め記憶されたデータベースから、算出結果に対応した音源の方向データを検出し、その音源方向にロボット７の頭部８を動作させる制御を行っているが、これに限らず、位相差があるか否かを見て、位相差がある場合に、位相差の減少する方向にロボット７の頭部８を動作させ、位相差が０になった時点で停止するような制御を行うようにしても良い。
【００３１】
また、上記実施の形態においては、音に反応してロボット７の頭部８を音源方向に動作させる制御に本発明を適用しているが、これに限らず、本発明の主旨を逸脱しない範囲で、監視カメラやペット型ロボット等の制御などに適用しても良い。
【００３２】
【発明の効果】
以上説明したように、本発明に係る請求項１記載のマイクロホンユニットによれば、複数のマイクロホンを、反響板を対向させて形成した隙間に配設する構成としたので、反響板間を伝搬してマイクロホンに到達する音の拡散を一次元の方向のみに抑えることが可能となり、減衰量の差を低減することが可能となる。
また、対向する反響板を平行となるようにしたので、音源の方位による音の減衰量の差を低減するのに役立つ。
また、反響面を円形とし、マイクロホンを一方の反響面における中心から同距離の位置に配設することで、マイクロホンに到達する音に対して、音源から反響面までの到達距離をほぼ一定にするものである。従って、反響面に到達するまでの音の減衰量はほぼ一定と見なすことが可能となり、且つ、反響面によって隙間内を伝搬する音の減衰量が小さくできるので、同じ音源からの音の波形を見分けやすくなる。更に、マイクロホンを直径端部近傍に配設することにより、マイクロホン同士を近づけて配設したときよりも各マイクロホンに受音される音情報に差が生じるので、位相差等を算出するときに便利である。
また、対向する反響面によって形成される隙間を、全周に渡って開放された状態とし、その隙間内に複数のマイクロフォンを配設するようにしたので、３６０°の方向からの音情報をマイクロホンによって受音することが可能となる。
【００３４】
また、請求項２記載の音源方向同定システムによれば、請求項１に記載のマイクロホンユニットを用いて音情報を取得し、その音情報に基づいて、音源の方向を同定するようにしたので、同定に用いるデータが、空間内に直接マイクロホンを設置して受音したものと較べて正確な同定結果を算出するのに役立つ。
【図面の簡単な説明】
【図１】本発明に係る頭部稼動制御システムの構成を示すブロック図である。
【図２】図２（ａ）は、本発明に係るマイクロホンユニット２を横正面から見た平面図であり、図２（ｂ）は上面からみた平面図である。
【図３】音源から発せられて反響板２ｃ、２ｄに到達した音の到達位置から各マイクロホン２ａ、２ｂに至るまでの距離の関係を示す図である。
【図４】マイクロホンユニットの搭載されたロボットを示す図である。
【図５】マイクロホンユニット２内に音源があった場合の音の拡散を示す図である。
【図６】自由音場における音源からの音の拡散及び拡散した音がマイクロホンユニット２内を伝搬してマイクロホンに到達する様子を示す図である。
【図７】ロボット７の頭部稼動制御システム１の動作の流れを示すフローチャートである。
【図８】第１、第２のマイクロホン２ａ、２ｂに到達する音の位相差を示す図である。
【符号の説明】
１ 頭部稼動制御システム
２ マイクロホンユニット
３ 音源方向同定部
４ モータ制御部
５ 頭部稼動用モータ
６ 音源
７ ロボット
８ 頭部
９ 第１の受音波形
１０ 第２の受音波形
Claims (2)
- 円形の反響面同士を平行に対向させて形成され且つ全周に渡って開放された隙間内における、前記反響面の一の直径の端部近傍における中心から同距離の位置に、複数のマイクロホンをそれぞれ互いに距離をおいて配設したことを特徴とするマイクロホンユニット。
- 請求項１に記載のマイクロホンユニットと、このマイクロホンユニットを構成する複数のマイクロホンに入力された音情報とに基づいて音源の方向を同定する音源方向同定手段と、を備えたことを特徴とする音源方向同定システム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001374891A JP3824920B2 (ja) | 2001-12-07 | 2001-12-07 | マイクロホンユニット及び音源方向同定システム |
| US10/314,425 US20030133577A1 (en) | 2001-12-07 | 2002-12-06 | Microphone unit and sound source direction identification system |
| US12/169,075 US20080279391A1 (en) | 2001-12-07 | 2008-07-08 | Microphone unit and sound source direction identification system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001374891A JP3824920B2 (ja) | 2001-12-07 | 2001-12-07 | マイクロホンユニット及び音源方向同定システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003172773A JP2003172773A (ja) | 2003-06-20 |
| JP3824920B2 true JP3824920B2 (ja) | 2006-09-20 |
Family
ID=19183370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001374891A Expired - Fee Related JP3824920B2 (ja) | 2001-12-07 | 2001-12-07 | マイクロホンユニット及び音源方向同定システム |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US20030133577A1 (ja) |
| JP (1) | JP3824920B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60141403D1 (de) * | 2000-06-09 | 2010-04-08 | Japan Science & Tech Agency | Hörvorrichtung für einen Roboter |
| JP4373903B2 (ja) | 2004-12-14 | 2009-11-25 | 本田技研工業株式会社 | 自律移動ロボット |
| US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
| DE102005057569A1 (de) * | 2005-12-02 | 2007-06-06 | Robert Bosch Gmbh | Einrichtung zur Überwachung mit mindestens einer Videokamera |
| JP2008008643A (ja) * | 2006-06-27 | 2008-01-17 | Hitachi Ltd | 方位角検出装置 |
| EP1901089B1 (en) * | 2006-09-15 | 2017-07-12 | VLSI Solution Oy | Object tracker |
| WO2008073088A1 (en) * | 2006-12-13 | 2008-06-19 | Thomson Licensing | System and method for acquiring and editing audio data and video data |
| CN101910807A (zh) * | 2008-01-18 | 2010-12-08 | 日东纺音响工程株式会社 | 声源识别测定装置、系统及方法 |
| CN101610360A (zh) * | 2008-06-19 | 2009-12-23 | 鸿富锦精密工业（深圳）有限公司 | 自动追踪声源的摄像装置 |
| DE102008029352A1 (de) * | 2008-06-20 | 2009-12-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zum Lokalisieren einer Schallquelle |
| US20120029665A1 (en) * | 2010-07-27 | 2012-02-02 | Tim Perry | Intelligent Device Control System & Method |
| TW201208335A (en) * | 2010-08-10 | 2012-02-16 | Hon Hai Prec Ind Co Ltd | Electronic device |
| CN104065798B (zh) * | 2013-03-21 | 2016-08-03 | 华为技术有限公司 | 声音信号处理方法及设备 |
| KR102392113B1 (ko) * | 2016-01-20 | 2022-04-29 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 음성 명령 처리 방법 |
| CN107331390A (zh) * | 2017-05-27 | 2017-11-07 | 芜湖星途机器人科技有限公司 | 机器人语音识别召唤者的主动跟随系统 |
| CN110221628A (zh) * | 2019-06-20 | 2019-09-10 | 吉安职业技术学院 | 一种单片机控制随声源自动移动的话筒 |
| CN110534105B (zh) * | 2019-07-24 | 2021-10-15 | 珠海格力电器股份有限公司 | 一种语音控制方法及装置 |
| CN113436630A (zh) * | 2020-03-08 | 2021-09-24 | 广东毓秀科技有限公司 | 基于多模态语音交互模型的地铁智能语音购票系统 |
| CN114242072A (zh) * | 2021-12-21 | 2022-03-25 | 上海帝图信息科技有限公司 | 一种用于智能机器人的语音识别系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3020247C2 (de) * | 1980-05-28 | 1982-09-02 | Franz Vertriebsgesellschaft mbH, 7634 Kippenheim | Verfahren und Anordnung zur Umwandlung von Schallwellen in digitale elektrische Signale mit Hilfe von elektroakustischen Wandlern |
| CA1297578C (en) * | 1988-02-26 | 1992-03-17 | Mark Walter Pocock | Modular microphone assembly |
| FR2682251B1 (fr) * | 1991-10-02 | 1997-04-25 | Prescom Sarl | Procede et systeme de prise de son, et appareil de prise et de restitution de son. |
| US5881156A (en) * | 1995-06-19 | 1999-03-09 | Treni; Michael | Portable, multi-functional, multi-channel wireless conference microphone |
| US5748757A (en) * | 1995-12-27 | 1998-05-05 | Lucent Technologies Inc. | Collapsible image derived differential microphone |
| US6285772B1 (en) * | 1999-07-20 | 2001-09-04 | Umevoice, Inc. | Noise control device |
| JP2002049385A (ja) * | 2000-08-07 | 2002-02-15 | Yamaha Motor Co Ltd | 音声合成装置、疑似感情表現装置及び音声合成方法 |
| JP2002131072A (ja) * | 2000-10-27 | 2002-05-09 | Yamaha Motor Co Ltd | 位置案内システム、位置案内シミュレーションシステム及びナビゲーションシステム、並びに位置案内方法 |
-
2001
- 2001-12-07 JP JP2001374891A patent/JP3824920B2/ja not_active Expired - Fee Related
-
2002
- 2002-12-06 US US10/314,425 patent/US20030133577A1/en not_active Abandoned
-
2008
- 2008-07-08 US US12/169,075 patent/US20080279391A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003172773A (ja) | 2003-06-20 |
| US20080279391A1 (en) | 2008-11-13 |
| US20030133577A1 (en) | 2003-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3824920B2 (ja) | マイクロホンユニット及び音源方向同定システム | |
| US9820036B1 (en) | Speech processing of reflected sound | |
| EP3400718B1 (en) | An audio communication system and method | |
| Argentieri et al. | A survey on sound source localization in robotics: From binaural to array processing methods | |
| EP3566224A1 (en) | An audio communication system and method | |
| EP1720374B1 (en) | Mobile body with superdirectivity speaker | |
| CN1762179B (zh) | 阵列型声系统调定方法 | |
| US8116478B2 (en) | Apparatus and method for beamforming in consideration of actual noise environment character | |
| JP2006516373A5 (ja) | ||
| EP3457719B1 (en) | Ultrasonic wave-based voice signal transmission system and method | |
| JP5543106B2 (ja) | 空間オーディオ信号再生装置及び空間オーディオ信号再生方法 | |
| US8995700B2 (en) | Acoustic transducer | |
| US8369550B2 (en) | Artificial ear and method for detecting the direction of a sound source using the same | |
| CN112672251A (zh) | 一种扬声器的控制方法和系统、存储介质及扬声器 | |
| US11262234B2 (en) | Directional acoustic sensor and method of detecting distance from sound source using the directional acoustic sensor | |
| CN108933983B (zh) | 扬声器 | |
| JP7095863B2 (ja) | 音響システム、音響処理方法、及びプログラム | |
| JP2006162461A (ja) | 音源位置検出装置及び方法 | |
| CN104166133A (zh) | 用于通过自适应的波束成形检测对象的方法 | |
| KR101483271B1 (ko) | 음원 위치 추정에 있어 대표 점 선정 방법 및 그 방법을이용한 음원 위치 추정 시스템 | |
| CN211669969U (zh) | 一种语音识别设备 | |
| Martinson | Acoustical awareness for intelligent robotic action | |
| JP7344085B2 (ja) | 電子機器および電子機器における超音波送受信方法 | |
| JP7095857B2 (ja) | 音響システム、音響処理方法、及びプログラム | |
| WO2023243348A1 (ja) | 物体位置解析装置、および物体位置解析方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040802 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060320 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060628 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |