JP4618029B2 - Array microphone system - Google Patents

Array microphone system Download PDF

Info

Publication number
JP4618029B2
JP4618029B2 JP2005208321A JP2005208321A JP4618029B2 JP 4618029 B2 JP4618029 B2 JP 4618029B2 JP 2005208321 A JP2005208321 A JP 2005208321A JP 2005208321 A JP2005208321 A JP 2005208321A JP 4618029 B2 JP4618029 B2 JP 4618029B2
Authority
JP
Japan
Prior art keywords
microphone
array
unit
units
microphone device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005208321A
Other languages
Japanese (ja)
Other versions
JP2007028267A (en
Inventor
利晃 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2005208321A priority Critical patent/JP4618029B2/en
Priority to US11/988,625 priority patent/US8320596B2/en
Priority to EP06730162A priority patent/EP1909531B1/en
Priority to CN200680025242.XA priority patent/CN101218847B/en
Priority to PCT/JP2006/306214 priority patent/WO2007007446A1/en
Publication of JP2007028267A publication Critical patent/JP2007028267A/en
Application granted granted Critical
Publication of JP4618029B2 publication Critical patent/JP4618029B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

この発明は、指向制御可能なアレイマイクシステムに関し、特に指向制御可能周波数帯域を向上したアレイマイクシステムに関する。   The present invention relates to an array microphone system capable of directivity control, and more particularly to an array microphone system having an improved frequency band capable of directivity control.

通信会議等においては、発話者の音声を的確にマイクで収音することが要求される。そのため、指向性マイクを用い、発話者の方向の音声を効率よく収音することが行われている。   In communication conferences and the like, it is required to accurately collect the voice of a speaker with a microphone. Therefore, a directional microphone is used to efficiently collect voice in the direction of the speaker.

また、複数のマイクユニットからなる(ライン)アレイマイクを用いて、それぞれのマイクユニットの出力に遅延時間を設定し、指向性を制御する収音装置が提案されている(例えば特許文献1参照)。   Further, there has been proposed a sound collection device that uses a (line) array microphone composed of a plurality of microphone units, sets a delay time for the output of each microphone unit, and controls directivity (see, for example, Patent Document 1). .

図7に、ラインアレイマイクの構造を示す。このラインアレイマイクは、細長い筐体に複数のマイクユニット21(21−1〜21−n)をライン上に配列して構成される。各マイクユニット21は、間隔dで等距離に配置されており、アレイマイクの幅はLとなる。   FIG. 7 shows the structure of the line array microphone. This line array microphone is configured by arranging a plurality of microphone units 21 (21-1 to 21-n) on a line in an elongated casing. The microphone units 21 are arranged equidistantly at an interval d, and the width of the array microphone is L.

複数のマイクユニット21の前方から垂直に到来する平面音波(同位相の音波)を、それぞれのマイクユニット21で収音し、それぞれのマイクユニット21が出力する音声信号を合成すると、同位相であるために強め合う。一方で、前面以外(例えばラインアレイマイクの横方向)から到来する音波は、それぞれのマイクユニット21で出力する音声信号の位相が異なるために、合成することで打ち消し合う。したがって、アレイマイクの感度はビーム状に絞り込まれて、前方にのみ主感度(主ビーム)を形成する。   When plane sound waves (sound waves having the same phase) vertically coming from the front of the plurality of microphone units 21 are picked up by the respective microphone units 21 and the audio signals output from the respective microphone units 21 are synthesized, they have the same phase. To strengthen each other. On the other hand, sound waves coming from other than the front surface (for example, the lateral direction of the line array microphone) cancel each other out by being synthesized because the phases of the audio signals output from the respective microphone units 21 are different. Therefore, the sensitivity of the array microphone is reduced to a beam shape, and the main sensitivity (main beam) is formed only in the front.

ここで、それぞれのマイクユニット21から出力する音声信号を一端から他端に向けて順次遅延すると、最大レベルとなる収音方向がその遅延時間に応じて傾斜し、主ビームを斜め方向に向けることができる。   Here, when the audio signals output from the respective microphone units 21 are sequentially delayed from one end to the other end, the sound collecting direction at the maximum level is inclined according to the delay time, and the main beam is directed obliquely. Can do.

このように、複数のマイクユニットが出力する音声信号の遅延量を制御することで、目的の方向から音声を収音する(指向特性を制御する)ことが可能である。
特開平5−91588号公報
As described above, by controlling the delay amount of the audio signal output from the plurality of microphone units, it is possible to collect the sound from the target direction (control the directivity).
JP-A-5-91588

図7に示したようなラインアレイマイクにおいては、アレイマイクの幅Lを大きく(マイクユニットの数を多く)すると指向特性が鋭くなり、目的の方向に主ビームを集中することができる。また、アレイマイクの幅Lを大きくすると、より低周波数帯域側まで指向制御が可能となる。   In the line array microphone as shown in FIG. 7, when the width L of the array microphone is increased (the number of microphone units is increased), the directivity becomes sharp and the main beam can be concentrated in the target direction. Further, when the width L of the array microphone is increased, the directivity control can be performed to the lower frequency band side.

主ビームのビーム幅は以下の数式1で決められる(ただし、vは音速、fは周波数を表す)。   The beam width of the main beam is determined by Equation 1 below (where v is the speed of sound and f is the frequency).

θ=sin−1(v/fdn) ・・・ 数式1
マイクアレイの幅Lを大きくするためには、マイクユニットの数を増やしたり、また、同数で実施するにはマイクユニットの間隔dを大きくすればよい。しかし、マイクユニットの間隔dを大きくすると、空間的折り返し現象により、目的とする方向以外にも別の主ビームが生じるという問題が発生するため、高周波数帯域の指向制御が困難となる。別の主ビームを生じさせないためには、以下の数式2の条件を満たすようにdを設定しなければならない。
θ = sin −1 (v / fdn) Equation 1
In order to increase the width L of the microphone array, the number of microphone units may be increased, or the distance d between the microphone units may be increased to implement the same number. However, if the distance d between the microphone units is increased, a problem arises in that another main beam is generated in addition to the target direction due to the spatial folding phenomenon, which makes it difficult to control the directivity in the high frequency band. In order not to generate another main beam, it is necessary to set d so as to satisfy the condition of Equation 2 below.

d<v/2f ・・・ 数式2
例えば、マイクユニットの間隔d=4.5cm、マイクアレイの幅L=67.5cmとした場合の指向制御可能となる周波数帯域の低域周波数側は、数式1より、約500Hzとなり、高域周波数側は、数式2より、約4kHzとなる。よって、指向制御可能となる周波数帯域は、約500〜約4kHz程度となり、電話音声程度の帯域収音はできるが、音楽録音用途に求められる帯域収音(例えば約250Hz〜12kHz)を実現することができなかった。これを実現させるためには、マイクユニットの数を増やさなければならないが、マイクユニットの数を多くするとコストがかかるという問題がある。
d <v / 2f Equation 2
For example, the low frequency side of the frequency band in which the directivity control is possible when the microphone unit interval d = 4.5 cm and the microphone array width L = 67.5 cm is about 500 Hz from Equation 1, and the high frequency is The side is about 4 kHz from Equation 2. Therefore, the frequency band in which the directivity can be controlled is about 500 to about 4 kHz, and the band sound can be collected as much as telephone voice, but the band sound collection (for example, about 250 Hz to 12 kHz) required for music recording is realized. I could not. In order to realize this, the number of microphone units must be increased, but there is a problem that the cost increases when the number of microphone units is increased.

このように、指向制御可能周波数の向上とコストを抑制することとはトレードオフの関係にあった。   As described above, there is a trade-off between improving the directivity controllable frequency and suppressing the cost.

この発明は、必要となる周波数帯域に応じて、指向制御可能周波数帯域を任意に設計することができるアレイマイクシステムを提供することを目的とする。   It is an object of the present invention to provide an array microphone system that can arbitrarily design a directivity controllable frequency band according to a required frequency band.

この発明のアレイマイクシステムは、複数のマイクユニットを直線上に配列したラインアレイユニットを、前記直線と直交する方向である上下方向、または前記直線の方向である左右方向に複数連結してなることを特徴とする。   In the array microphone system of the present invention, a plurality of line array units in which a plurality of microphone units are arranged on a straight line are connected in a vertical direction that is a direction orthogonal to the straight line or a horizontal direction that is the direction of the straight line. It is characterized by.

この発明では、ラインアレイユニットを上下、または左右に連結する。例えば左右に2つアレイマイクを並列すると、見かけ上のアレイマイクの幅Lが2倍となり、指向制御可能となる下限周波数が2倍となる。   In the present invention, the line array units are connected vertically or horizontally. For example, when two array microphones are arranged in parallel on the left and right, the apparent width L of the array microphone is doubled, and the lower limit frequency at which directivity control is possible is doubled.

この発明は、さらに、上下方向に配置される複数のラインアレイユニットは、「各マイクユニットの間隔/配列段数」ずつ左右にずらして連結されることを特徴とする。   The present invention is further characterized in that the plurality of line array units arranged in the vertical direction are connected to each other by being shifted to the left and right by “the interval of each microphone unit / the number of arrangement stages”.

この発明では、ラインアレイユニットを上下方向にn数重設する場合、マイクユニットの間隔の1/nだけずらして重設する。マイクユニットの間隔の1/nだけずらして重設すると、見かけ上のマイクの間隔dが1/n倍となり、指向制御可能となる上限周波数がn倍になる。   In the present invention, when n number of line array units are provided in the vertical direction, the line array units are provided by being shifted by 1 / n of the interval between the microphone units. When the microphone units are shifted by 1 / n of the interval between the microphone units, the apparent microphone interval d becomes 1 / n times, and the upper limit frequency at which directivity control is possible becomes n times.

この発明は、さらに、複数のラインアレイユニットを左右方向に連結し、該左右方向の配置の中央部に他のラインアレイユニットを上下に連結したことを特徴とする。   The present invention is further characterized in that a plurality of line array units are connected in the left-right direction, and another line array unit is connected vertically in the central portion of the arrangement in the left-right direction.

この発明では、ラインアレイユニットを左右に並列して連結し、その中央部に他のラインアレイユニットを重設する。低周波数側の指向制御可能帯域は、アレイマイクの幅を大きくすれば向上し、マイクユニットの間隔は影響しないので、ラインアレイユニット左右端側の上下にラインアレイユニットを連結する必要はない。   In the present invention, line array units are connected in parallel on the left and right, and another line array unit is overlapped at the center. The direction controllable band on the low frequency side is improved if the width of the array microphone is increased, and the interval between the microphone units is not affected. Therefore, it is not necessary to connect the line array units vertically on the left and right ends of the line array unit.

この発明のラインアレイユニットは、請求項1乃至請求項3に記載のアレイマイクシステムに用いるラインアレイユニットであって、直線上に配列した複数のマイクユニットと、各マイクユニットに、各マイクユニットが出力するオーディオ信号をそれぞれ所定時間遅延して、ラインアレイユニットの指向性を制御する信号処理手段と、オーディオ信号を外部に出力する出力手段と、連結の形態とその中での位置を検出する連結検出手段と、前記連結検出手段が検出した連結形態と連結位置に応じて前記信号処理手段の遅延量を設定する制御手段と、を備えたことを特徴とする。   The line array unit of the present invention is a line array unit used in the array microphone system according to any one of claims 1 to 3, wherein a plurality of microphone units arranged in a straight line, and each microphone unit includes a microphone unit. A signal processing means for controlling the directivity of the line array unit by delaying each output audio signal by a predetermined time; an output means for outputting the audio signal to the outside; And a control means for setting a delay amount of the signal processing means in accordance with a connection form and a connection position detected by the connection detection means.

この発明では、連結形態と、その中での位置を検出し、その位置に応じて各マイクユニットの遅延量を設定する。これにより、アレイマイクシステム全体で指向特性が制御される。それぞれの制御手段が独立して遅延量を設定するようにしてもよいし、連結されているラインアレイユニットのうちいずれか1つの制御手段がアレイマイクシステム全体の遅延量を設定するようにしてもよい。   In this invention, a connection form and the position in it are detected, and the delay amount of each microphone unit is set according to the position. Thereby, the directivity is controlled in the entire array microphone system. Each control means may set the delay amount independently, or any one of the connected line array units may set the delay amount of the entire array microphone system. Good.

この発明によれば、複数のラインアレイユニットを連結して、見かけ上のアレイマイクの幅や、マイクユニットの間隔を変更することができるので、必要となる周波数帯域に応じて、指向制御可能な周波数帯域を任意に設計することができる。   According to the present invention, it is possible to connect a plurality of line array units to change the apparent width of the array microphone and the interval between the microphone units. Therefore, it is possible to control the direction according to the required frequency band. The frequency band can be designed arbitrarily.

図1は本発明の実施形態に係るアレイマイクシステムの構成を示した概略図である。同図に示すように、このアレイマイクシステムは、複数のマイク装置1A〜Dを備えている。   FIG. 1 is a schematic diagram showing the configuration of an array microphone system according to an embodiment of the present invention. As shown in the figure, this array microphone system includes a plurality of microphone devices 1A to 1D.

マイク装置1Aとマイク装置1Bは左右方向に並んで連結されている。マイク装置1Cは、マイク装置1Aとマイク装置1Bの上方に連結されており、マイク装置1Dはマイク装置1Aとマイク装置1Bの下方に連結されている。   The microphone device 1A and the microphone device 1B are connected side by side in the left-right direction. The microphone device 1C is connected above the microphone device 1A and the microphone device 1B, and the microphone device 1D is connected below the microphone device 1A and the microphone device 1B.

各マイク装置1は、それぞれ8個のマイクユニット11−1〜11−8を間隔dでライン状に等間隔に配置した構成であり、本発明のラインアレイユニットに相当する。マイクユニットは、一般的にはダイナミックマイクユニットを用いるが、コンデンサマイクユニット等、その他の形式を用いてもよい。一方の端部のマイクユニット11−1から他方の端部のマイクユニット11−8までの距離はLとなる。この距離Lをマイク装置1の幅Lとする。ここで、本実施形態のアレイマイクシステムは、マイク装置1Aとマイク装置1Bを左右方向に並べて連結しているので、このアレイマイクシステムの見かけ上の幅は2Lとなる。なお、この例においては、8個のマイクユニットを配置したマイク装置について示しているが、さらに複数のマイクユニットを配置してもよいし、少なくしてもよい。   Each microphone device 1 has a configuration in which eight microphone units 11-1 to 11-8 are arranged at equal intervals in a line at intervals d, and corresponds to a line array unit of the present invention. As the microphone unit, a dynamic microphone unit is generally used, but other types such as a capacitor microphone unit may be used. The distance from the microphone unit 11-1 at one end to the microphone unit 11-8 at the other end is L. This distance L is defined as the width L of the microphone device 1. Here, in the array microphone system of this embodiment, the microphone device 1A and the microphone device 1B are connected side by side in the left-right direction, so the apparent width of this array microphone system is 2L. In this example, a microphone device in which eight microphone units are arranged is shown, but a plurality of microphone units may be arranged, or may be reduced.

また、マイク装置1Cは、マイク装置1Aおよびマイク装置1Bに対し、マイクの水平方向の位置がd/3右にずれるように中央上方に接続されている。マイク装置1Dは、マイク装置1Aおよびマイク装置1Bに対し、マイクの水平方向の位置がd/3左にずれるように中央下方に接続されている。図2は、マイク装置の重設について説明する図である。同図に示すように、マイク装置1Cは、マイク装置1A(およびマイク装置1B)の上方に距離d/3だけ右方向にずれて重設されている。同様に、マイク装置1Dは、マイク装置1A(およびマイク装置1B)の下方に距離d/3だけ左方向にずれて重設されている。したがって、この重設された箇所については、アレイマイクシステムの見かけ上のマイクユニットの間隔は距離d/3となる。   Further, the microphone device 1C is connected to the upper center of the microphone device 1A and the microphone device 1B so that the horizontal position of the microphone is shifted to the right by d / 3. The microphone device 1D is connected to the lower center of the microphone device 1A and the microphone device 1B so that the horizontal position of the microphone is shifted to the left by d / 3. FIG. 2 is a diagram for explaining the overlapping of the microphone device. As shown in the figure, the microphone device 1C is placed above the microphone device 1A (and the microphone device 1B) so as to be shifted to the right by a distance d / 3. Similarly, the microphone device 1D is placed below the microphone device 1A (and the microphone device 1B) so as to be shifted leftward by a distance d / 3. Therefore, the apparent distance between the microphone units of the array microphone system is the distance d / 3 for the overlapped portion.

ここで、アレイマイクの原理について説明する。図3は、アレイマイクの原理を説明するための図である。   Here, the principle of the array microphone will be described. FIG. 3 is a diagram for explaining the principle of the array microphone.

同図(A)には、全てのマイクユニット11に前方から同位相で音波が到来した場合を示している。全てのマイクユニット11に同位相で音波が到来すると、個別のマイクユニット11から出力されたオーディオ信号は、合成によって強められる。一方で、これ以外の方向から音波が到来すると、各マイクユニット11から出力されるオーディオ信号はそれぞれ位相が異なるために合成されることによって弱められる。したがって、アレイマイクの感度はビーム状に絞り込まれて前方にのみ主感度(主ビーム)を形成する。   FIG. 2A shows a case where sound waves arrive at all microphone units 11 in the same phase from the front. When sound waves arrive at all the microphone units 11 in the same phase, the audio signals output from the individual microphone units 11 are strengthened by synthesis. On the other hand, when sound waves arrive from other directions, the audio signals output from the microphone units 11 are weakened by being synthesized because they have different phases. Therefore, the sensitivity of the array microphone is narrowed down into a beam shape, and the main sensitivity (main beam) is formed only in the front.

同図(B)は、主ビームを斜めにする場合を示している。同図(B)では、主ビームを、正面から右方向のθの角度に形成している。この場合、主ビームの方向の端部(右端)から音波が到来し、主ビーム方向と反対の端部(左端)に最後に音波が到来するので、左側のマイクユニット11から時間τが経過する毎に順次右隣のマイクユニット11からオーディオ信号を出力するようにする。この遅延時間は、各マイクユニット11に接続されている指向性制御部(後述する)によって制御される。このように、一列に並んでいるマイクユニット11から出力するオーディオ信号を一端から他端に向けて順次遅延することにより、主ビームは、図示のようにその遅延時間に応じて傾斜する。   FIG. 5B shows a case where the main beam is inclined. In FIG. 5B, the main beam is formed at an angle θ in the right direction from the front. In this case, since the sound wave comes from the end (right end) in the main beam direction and finally comes to the end (left end) opposite to the main beam direction, time τ elapses from the left microphone unit 11. Every time, an audio signal is output from the microphone unit 11 on the right side. This delay time is controlled by a directivity control unit (described later) connected to each microphone unit 11. In this way, by sequentially delaying the audio signals output from the microphone units 11 arranged in a row from one end to the other end, the main beam is inclined according to the delay time as shown in the figure.

この傾斜角度θは、音速をvとすると、sinθ=vτ/dの関係になる。したがって、τを制御することによって主ビームの角度θを制御できることになる。   The inclination angle θ has a relationship of sin θ = vτ / d where the sound speed is v. Therefore, the angle θ of the main beam can be controlled by controlling τ.

図4は、主ビーム制御角度の例を示した図である。同図(A)に示すグラフの横軸はθ、縦軸はアレイマイクのゲイン(Gとする)を表す。同図(A)は、一例としてマイクユニットの数n=16、マイクユニットの間隔d=4.5cm、アレイマイクの幅L=67.5cmの場合について、角度θとゲインGの関係を示す。   FIG. 4 is a diagram showing an example of the main beam control angle. In the graph shown in FIG. 6A, the horizontal axis represents θ, and the vertical axis represents the gain (G) of the array microphone. FIG. 6A shows the relationship between the angle θ and the gain G when the number of microphone units n = 16, the distance between microphone units d = 4.5 cm, and the width L of the array microphone L = 67.5 cm as an example.

同図(A)において、θ=0を目的の主ビーム方向とし、ゲインGは、θ=0で最大となる。θ=0から離れるにつれて、各マイクユニットから出力されたオーディオ信号が打ち消されてゲインGは低下し、θ=±θ1で零となる。目的の主ビーム方向θ=0を挟んでゲインGが零になるまでの幅をビーム幅とする。このゲインGが零となるθ1、つまり主ビームの幅は、周波数をfとすると、上述した数式1より、θ1=sin−1(v/fdn)で決定される。 In FIG. 9A, θ = 0 is set as the target main beam direction, and the gain G becomes maximum when θ = 0. As the distance from θ = 0 increases, the audio signal output from each microphone unit is canceled and the gain G decreases, and becomes zero when θ = ± θ1. The width until the gain G becomes zero across the target main beam direction θ = 0 is defined as the beam width. Θ1 at which the gain G becomes zero, that is, the width of the main beam is determined by θ1 = sin −1 (v / fdn) from Equation 1 described above, where f is the frequency.

同図(A)においては、周波数f=1kHzについての例を示している。ここで本実施形態においては、各マイクユニットが間隔dで等距離に配置されているので、アレイマイクの幅Lは、L=d(n−1)で表され、ビーム幅θ1は、数式1により、マイクユニットの間隔d、アレイマイクの幅L、および周波数fによって表される。   FIG. 2A shows an example for the frequency f = 1 kHz. Here, in the present embodiment, since the microphone units are arranged equidistantly at the interval d, the width L of the array microphone is represented by L = d (n−1), and the beam width θ1 is expressed by Equation 1. Is expressed by the distance d between the microphone units, the width L of the array microphone, and the frequency f.

同図(B)は、同図(A)の条件において、マイクユニットの数nを4倍であるn=64とした場合の角度θとゲインGの関係を示した図である。同図(B)に示すグラフにおいても横軸はθ、縦軸はゲインを表す。同図(B)においてビーム幅は、同図(A)に示したビーム幅よりも小さく、目的の方向に鋭い指向特性を有している。また、sinθ1=v/fdnの関係から、周波数fを4倍、または、マイクユニットの幅dを4倍としても同図(B)に示すようなビーム幅が得られる。   FIG. 7B is a diagram showing the relationship between the angle θ and the gain G when the number n of microphone units is four times n = 64 under the condition of FIG. In the graph shown in FIG. 5B, the horizontal axis represents θ and the vertical axis represents gain. In FIG. 5B, the beam width is smaller than the beam width shown in FIG. 5A and has a sharp directivity in the target direction. Further, from the relationship of sin θ1 = v / fdn, the beam width as shown in FIG. 5B can be obtained even when the frequency f is quadrupled or the microphone unit width d is quadrupled.

同図(C)は、同図(A)の条件において、周波数fを1/4であるf=250Hzとした場合の角度θとゲインGの関係を示した図である。同図(C)に示すグラフにおいても横軸はθ、縦軸はゲインを表す。同図(C)においては、ゲインGが零となるθ1が存在しない。   FIG. 10C is a diagram showing the relationship between the angle θ and the gain G when the frequency f is 1/4, f = 250 Hz, under the conditions shown in FIG. In the graph shown in FIG. 5C, the horizontal axis represents θ and the vertical axis represents gain. In FIG. 5C, there is no θ1 at which the gain G becomes zero.

同図(D)は、同図(A)の条件において、周波数fを8倍であるf=8kHzとした場合の角度θとゲインGの関係を示した図である。同図(D)に示すグラフにおいても横軸はθ、縦軸はゲインを表す。同図(D)においては、θ=0以外の方向にも主ビームが生じている。これはいわゆる空間の折り返し現象と呼ばれるものであり、d≧v/2fとなる周波数において同図(D)に示すような現象が発生する。   FIG. 4D is a diagram showing the relationship between the angle θ and the gain G when the frequency f is 8 times f = 8 kHz under the condition of FIG. Also in the graph shown in FIG. 4D, the horizontal axis represents θ and the vertical axis represents gain. In FIG. 4D, main beams are also generated in directions other than θ = 0. This is called a so-called space folding phenomenon, and the phenomenon shown in FIG. 4D occurs at a frequency where d ≧ v / 2f.

このように、アレイマイクは、主ビームの幅に周波数依存性を有しており、上記例のように、マイクユニットの数n=16、マイクユニットの間隔d=4.5cm、アレイマイクの幅L=67.5cmの場合においては、指向制御可能となる周波数帯域は約500Hz〜約4kHz程度となる。この周波数帯域よりも低い周波数では図4(C)のように指向特性が無くなり、高い周波数では図4(D)のように、目的の方向以外にも主ビームが生じてしまう。   As described above, the array microphone has frequency dependency on the width of the main beam. As in the above example, the number of microphone units n = 16, the interval d of microphone units d = 4.5 cm, and the width of the array microphone. In the case of L = 67.5 cm, the frequency band in which the directivity can be controlled is about 500 Hz to about 4 kHz. At a frequency lower than this frequency band, the directivity characteristics are lost as shown in FIG. 4C, and at a higher frequency, the main beam is generated in a direction other than the target direction as shown in FIG. 4D.

上述したように、ゲインGが零となるθ1は、sinθ1=v/fdnで表されるので、周波数f、マイクユニットの間隔d、マイクユニットの数nがθ1に及ぼす影響は等価である。つまり、マイクユニットの間隔dを小さくし、さらにマイクユニットの数nを増やすことによりアレイマイクの幅Lを大きくすることで、指向制御可能な周波数帯域幅を広げることができる。   As described above, θ1 at which the gain G becomes zero is expressed by sin θ1 = v / fdn. Therefore, the influence of the frequency f, the distance d between microphone units, and the number n of microphone units on θ1 is equivalent. That is, by reducing the distance d between the microphone units and further increasing the number L of the microphone units to increase the width L of the array microphone, the frequency bandwidth capable of directing control can be increased.

ここで、本実施形態のアレイマイクシステムは、マイク装置1Aとマイク装置1Bを左右方向に並べて連結しているので、このアレイマイクシステムの見かけ上のマイクユニットの数nは2倍、すなわちアレイマイクの幅Lが2倍となり、指向制御可能となる周波数帯域は低域側に2倍に広がる。また、マイク装置1Cとマイク装置1Dを、上下方向にd/3だけ左右方向にずれて重設しているので、このアレイマイクシステムの見かけ上のマイクユニットの間隔はd/3となり、指向制御可能となる周波数帯域は高域側に3倍に広がる。   Here, in the array microphone system of the present embodiment, the microphone device 1A and the microphone device 1B are connected side by side in the left-right direction, so the apparent number n of microphone units in this array microphone system is double, that is, the array microphone. , The frequency band in which the directivity can be controlled is doubled to the low frequency side. Further, since the microphone device 1C and the microphone device 1D are overlapped with each other by being shifted in the horizontal direction by d / 3 in the vertical direction, the apparent distance between the microphone units of this array microphone system is d / 3, and the directivity control is performed. The possible frequency band is expanded three times to the high frequency side.

したがって、本発明のアレイマイクシステムは、マイクユニットの数を少なくし、コストを抑えた単一のマイク装置を設計しておき、必要となる周波数帯域に応じて上記例のように複数のマイク装置を連結することで、容易に指向制御可能周波数帯域を向上させることができる。   Therefore, in the array microphone system of the present invention, a single microphone device is designed in which the number of microphone units is reduced and the cost is reduced, and a plurality of microphone devices are used as in the above example according to the required frequency band. By connecting these, it is possible to easily improve the direction controllable frequency band.

次に、本実施形態のアレイマイクシステムの各マイク装置の構成について詳細に説明する。図5は、各マイク装置の構成を示すブロック図である。同図に示すように、このマイク装置1は、n個のマイクユニット11−1〜11−n、指向性制御部12、制御部13、クロック切換部14、連結検出部15、および変換部16を備えている。   Next, the configuration of each microphone device of the array microphone system of this embodiment will be described in detail. FIG. 5 is a block diagram showing a configuration of each microphone device. As shown in the figure, the microphone device 1 includes n microphone units 11-1 to 11-n, a directivity control unit 12, a control unit 13, a clock switching unit 14, a connection detection unit 15, and a conversion unit 16. It has.

n個のマイクユニット11−1〜11−nは、指向性制御部12に接続され、指向性制御部12は、制御部13、クロック切換部14、変換部16に接続されている。また、制御部13には連結検出部15が接続されている。   The n microphone units 11-1 to 11-n are connected to the directivity control unit 12, and the directivity control unit 12 is connected to the control unit 13, the clock switching unit 14, and the conversion unit 16. In addition, a connection detection unit 15 is connected to the control unit 13.

指向性制御部12、制御部13、およびクロック切換部14は、それぞれ他のマイク装置1の指向性制御部12、制御部13、およびクロック切換部14に接続されている。指向性制御部12、制御部13、およびクロック切換部14は、他のマイク装置1と単一の接続線(接続端子)を共有して接続されるようにしてもよいし、それぞれに専用の接続線(接続端子)で接続されるようにしてもよい。   The directivity control unit 12, the control unit 13, and the clock switching unit 14 are respectively connected to the directivity control unit 12, the control unit 13, and the clock switching unit 14 of the other microphone device 1. The directivity control unit 12, the control unit 13, and the clock switching unit 14 may be connected to the other microphone device 1 by sharing a single connection line (connection terminal), or dedicated to each. You may make it connect with a connection line (connection terminal).

指向性制御部12は、マイクユニット11−1〜11−nから出力されたオーディオ信号をそれぞれ所定の遅延量で出力し、アレイマイクの指向性を制御する。それぞれの遅延量は制御部13によって設定される。指向性制御部12の出力信号は、音声データ(オーディオ信号)として所定の遅延量で変換部16と他のマイク装置に出力される。   The directivity control unit 12 outputs the audio signals output from the microphone units 11-1 to 11-n with predetermined delay amounts, and controls the directivity of the array microphone. Each delay amount is set by the control unit 13. The output signal of the directivity control unit 12 is output as audio data (audio signal) to the conversion unit 16 and other microphone devices with a predetermined delay amount.

制御部13は、クロック切換部14と指向性制御部12の制御を行い、接続された他のマイク装置1の制御部13にコントロールコマンドを送信して他の制御部13の制御も行う。   The control unit 13 controls the clock switching unit 14 and the directivity control unit 12 and transmits a control command to the control unit 13 of another connected microphone device 1 to control the other control unit 13.

クロック切換部14は、マイク装置内蔵の水晶発振子(図示せず)と接続されており、指向性制御部12に基準クロックを供給する。指向性制御部12は、この基準クロックに基づいて動作する。また、クロック切換部14が、他のマイク装置1のクロック切換部14に接続されている場合、他のマイク装置1のクロック切換部14に基準クロックを送信する。また、他のマイク装置1から基準クロックを受信した場合、指向性制御部12に受信した基準クロック、または内蔵の水晶発振子の基準クロックのいずれかを選択的に供給する。   The clock switching unit 14 is connected to a crystal oscillator (not shown) built in the microphone device and supplies a reference clock to the directivity control unit 12. The directivity control unit 12 operates based on this reference clock. When the clock switching unit 14 is connected to the clock switching unit 14 of the other microphone device 1, the reference clock is transmitted to the clock switching unit 14 of the other microphone device 1. When a reference clock is received from another microphone device 1, either the reference clock received by the directivity control unit 12 or the reference clock of the built-in crystal oscillator is selectively supplied.

変換部16は、指向性制御部12から入力される音声データをアナログ音声信号に変換するA/D変換機能を備えている。変換したアナログ音声信号はオーディオ機器(録音機器)等、外部に出力する。なお、変換部16は、このマイク装置1の基準サンプリング周波数(例えば48kHz)からCD等のサンプリング周波数(例えば44.1kHz)に変換する周波数変換機能も備えており、オーディオ機器等にデジタル音声信号として出力することもできる。   The conversion unit 16 has an A / D conversion function for converting audio data input from the directivity control unit 12 into an analog audio signal. The converted analog audio signal is output to an external device such as an audio device (recording device). The conversion unit 16 also has a frequency conversion function for converting the reference sampling frequency (for example, 48 kHz) of the microphone device 1 into a sampling frequency such as a CD (for example, 44.1 kHz). It can also be output.

連結検出部15は、各マイク装置1の接続状態を検出し、アレイマイクシステム内のどの位置に自己のマイク装置1が接続されているかを制御部13に伝達する。この連結検出部15は、図6に示すように、マイク装置1の周囲に複数設置された連結端子15−sからなる。各マイク装置1は、側面右側、側面左側、上面右側、上面中央右側、上面中央左側、上面左側、下面右側、下面中央右側、下面中央左側、および下面左側にそれぞれ連結端子15−sが設置されている。どの連結端子15−sが他のマイク装置1の連結端子15−sに接続されたかによって接続位置を検出することができる。例えば同図において、マイク装置1Aは、側面右側の端子、上面右側の端子、上面中央右側の端子、下面右側の端子、および下面中央右側の端子が接続されることとなり、この接続配置であれば、連結検出部15は、このマイク装置1がアレイマイクシステム内において中段の左側に位置すると判断する。これにより、アレイマイクシステム内の連結位置を検出することができる。なお、これらの連結端子15−sは、上述したようにマイクユニット11が上下方向にd/3ずつずれて連結されるような位置に設置されている。また、この連結端子15−sによって、上述した指向性制御部12、制御部13、およびクロック切換部14が他の指向性制御部12、制御部13、およびクロック切換部14に接続されている。   The connection detection unit 15 detects the connection state of each microphone device 1 and transmits to the control unit 13 at which position in the array microphone system the own microphone device 1 is connected. As shown in FIG. 6, the connection detection unit 15 includes a plurality of connection terminals 15-s installed around the microphone device 1. Each microphone device 1 is provided with connecting terminals 15-s on the right side, the left side, the top right side, the top center right, the top center left, the top left side, the bottom right side, the bottom center right, the bottom center left, and the bottom left side. ing. The connection position can be detected depending on which connection terminal 15-s is connected to the connection terminal 15-s of the other microphone device 1. For example, in the same figure, the microphone device 1A is connected to the right side terminal, the upper right terminal, the upper center right terminal, the lower right terminal, and the lower center right terminal. The connection detection unit 15 determines that the microphone device 1 is located on the left side of the middle stage in the array microphone system. Thereby, the connection position in the array microphone system can be detected. Note that these connection terminals 15-s are installed at positions where the microphone unit 11 is connected by being shifted by d / 3 in the vertical direction as described above. In addition, the directivity control unit 12, the control unit 13, and the clock switching unit 14 described above are connected to the other directivity control unit 12, the control unit 13, and the clock switching unit 14 by the connection terminal 15-s. .

なお、連結位置の検出手法はこの例に限るものではない。例えばユーザがマニュアルでマイク装置1の位置を指定するようにしてもよい。   In addition, the detection method of a connection position is not restricted to this example. For example, the user may specify the position of the microphone device 1 manually.

次に、このアレイマイクシステムの指向性制御について詳細に説明する。ユーザがいずれか1つのマイク装置1にオーディオ機器を接続すると、このマイク装置1はアレイマイクシステムのマスタマイク装置となる。このマスタマイク装置が、連結されている他のマイク装置1を制御する。なお、オーディオ機器と直接接続されるマイク装置1をマスタマイク装置としてもよいし、他のマイク装置1をマスタマイク装置としてもよい。オーディオ機器と直接接続されたマイク装置がマスタマイク装置として自動選択されるようにしてもよいし、ユーザがマニュアルで選択するようにしてもよい。   Next, directivity control of this array microphone system will be described in detail. When the user connects an audio device to any one of the microphone devices 1, the microphone device 1 becomes a master microphone device of the array microphone system. This master microphone device controls another connected microphone device 1. Note that the microphone device 1 directly connected to the audio device may be a master microphone device, and another microphone device 1 may be a master microphone device. The microphone device directly connected to the audio device may be automatically selected as the master microphone device, or may be manually selected by the user.

マスタマイク装置となったマイク装置1の制御部13は、クロック切換部14に内蔵水晶発振子から基準クロックを読み取るように設定する。マスタマイク装置の指向性制御部12は、この内蔵水晶発振子から供給される基準クロックで動作する。また、制御部13はクロック切換部14に、他のマイク装置1に基準クロックを送信するように指示する。他のマイク装置1の指向性制御部12は、このマスタマイク装置が送信する基準クロックに基づいて動作する。   The control unit 13 of the microphone device 1 serving as the master microphone device sets the clock switching unit 14 to read the reference clock from the built-in crystal oscillator. The directivity control unit 12 of the master microphone device operates with a reference clock supplied from the built-in crystal oscillator. Further, the control unit 13 instructs the clock switching unit 14 to transmit the reference clock to the other microphone device 1. The directivity control unit 12 of the other microphone device 1 operates based on the reference clock transmitted by the master microphone device.

また、他のマイク装置において、各マイクユニット11から指向性制御部12に出力された音声データは、マスタマイク装置の指向性制御部12に入力される。他のマイク装置における指向性制御部12は、マスタマイク装置から送信された基準クロックを読み出して動作し、マスタマイク装置に音声データを供給する。これによりマスタマイク装置には、全てのマイク装置1から同期された音声データが供給されることとなる。マスタマイク装置1の指向性制御部12に入力された音声データは、直接接続されているオーディオ機器に出力される。   In another microphone device, the audio data output from each microphone unit 11 to the directivity control unit 12 is input to the directivity control unit 12 of the master microphone device. The directivity control unit 12 in another microphone device operates by reading the reference clock transmitted from the master microphone device and supplies audio data to the master microphone device. Thereby, the audio data synchronized from all the microphone devices 1 is supplied to the master microphone device. The audio data input to the directivity control unit 12 of the master microphone device 1 is output to the directly connected audio device.

なお、オーディオ機器と全てのマイク装置1をそれぞれ接続し、それぞれのマイク装置1からオーディオ機器に音声データを出力するようにしてもよい。   Note that audio devices and all the microphone devices 1 may be connected to each other, and audio data may be output from the respective microphone devices 1 to the audio devices.

マスタマイク装置の制御部13は、指向性制御部12にそれぞれのマイクユニット11が出力する音声データの遅延量を設定する。また、連結されている全てのマイク装置1の制御部13に対して、そのマイク装置1の指向性制御部12にそれぞれのマイクユニット11が出力する音声データの遅延量を設定するように指示する。ここで、マスタマイク装置は、マイクユニット全体を1つのアレイマイクとしてその指向特性を制御する。つまり、図1において、マイク装置1Aのマイクユニット11−1から順にマイク装置1Bのマイクユニット11−8まで、所定の遅延量で音声データを出力するようにする。このとき、マイク装置1C、およびマイク装置1Dは、マイク装置1A、およびマイク装置1Bと同一のライン上に存在するとみなして、それぞれの遅延量を設定する。これにより、アレイマイクシステム全体の指向特性を制御することができる。   The control unit 13 of the master microphone device sets the delay amount of the audio data output from each microphone unit 11 in the directivity control unit 12. Further, the controller 13 of all the connected microphone devices 1 is instructed to set the delay amount of the audio data output from each microphone unit 11 to the directivity control unit 12 of the microphone device 1. . Here, the master microphone device controls the directivity of the entire microphone unit as one array microphone. That is, in FIG. 1, audio data is output with a predetermined delay amount from the microphone unit 11-1 of the microphone device 1A to the microphone unit 11-8 of the microphone device 1B in order. At this time, the microphone device 1C and the microphone device 1D are assumed to exist on the same line as the microphone device 1A and the microphone device 1B, and set their respective delay amounts. Thereby, the directivity characteristics of the entire array microphone system can be controlled.

なお、上記例では、マスタマイク装置が連結されている全てのマイク装置の遅延量を設定するように説明したが、それぞれのマイク装置が独立して遅延量を設定するようにしてもよい。この場合、アレイマイクシステム全体で主ビームが形成されるように、各マイク装置間でビーム方向を規定する情報を送受信するものとする。   In the above example, the delay amount of all the microphone devices connected to the master microphone device is set. However, each microphone device may set the delay amount independently. In this case, information defining the beam direction is transmitted and received between the microphone devices so that the main beam is formed in the entire array microphone system.

以上のようにして、本実施形態におけるアレイマイクシステムは、複数のマイク装置1A〜Dを連結して全てのマイク装置を同期し、その連結位置を検出する。このアレイマイクシステムの見かけ上の幅は2倍となり、マイクユニットの間隔は1/3倍となるので、単一のマイク装置1に対し、このマイクユニットの指向制御可能となる周波数帯域は低域側に2倍、高域側に3倍に向上することとなる。   As described above, the array microphone system according to the present embodiment connects the plurality of microphone devices 1A to 1D, synchronizes all the microphone devices, and detects the connection position. Since the apparent width of the array microphone system is doubled and the interval between the microphone units is 1/3, the frequency band in which the microphone unit can be controlled for a single microphone device 1 is low. It will improve twice on the side and three times on the high frequency side.

なお、本実施形態においては、左右方向に2つ、上下方向に3段を連結したアレイマイクシステムについて説明したが、本発明はこの構成例に限るものではない。上下方向に4段連結するようにしてもよいし、2段連結するようにしてもよい。上下に重設する数に応じて、マイクユニットの幅をずらして重設すればよい。指向制御が必要となる周波数帯域に応じて連結するマイクユニットの数を変更するので、コストを抑えたアレイマイクでありながら、容易に指向制御可能な周波数帯域を向上させることができる。   In the present embodiment, the array microphone system in which two stages in the left-right direction and three stages in the up-down direction are connected has been described. However, the present invention is not limited to this configuration example. Four stages may be connected in the vertical direction, or two stages may be connected. The microphone units may be placed by shifting the width of the microphone units according to the number of the top and bottom. Since the number of microphone units to be connected is changed according to the frequency band that requires directivity control, it is possible to improve the frequency band in which directivity control can be easily performed while using an array microphone with reduced cost.

アレイマイクシステムの構成を示した概略図Schematic showing the configuration of the array microphone system マイク装置の重設について説明する図The figure explaining the overlap of a microphone apparatus アレイマイクの原理を説明するための図Diagram for explaining the principle of array microphone 音声ビーム制御角度の例を示した図Figure showing an example of the sound beam control angle マイク装置の構成を示すブロック図Block diagram showing the configuration of the microphone device 連結端子を示す概略図Schematic showing the connection terminal 従来のラインアレイマイクユニットを示すブロック図Block diagram showing a conventional line array microphone unit

符号の説明Explanation of symbols

1−マイク装置
11−マイクユニット
12−指向性制御部
13−制御部
14−クロック切換部
15−連結検出部
16−変換部
1-microphone device 11-microphone unit 12-directivity control unit 13-control unit 14-clock switching unit 15-connection detection unit 16-conversion unit

Claims (3)

複数のマイクユニットを直線上に配列したラインアレイユニットを、前記直線と直交する方向である上下方向、または前記直線の方向である左右方向に複数連結してなるアレイマイクシステムであって、
前記ラインアレイユニットは、
前記直線上に配列した前記複数のマイクユニットと、
各マイクユニットに、各マイクユニットが出力するオーディオ信号をそれぞれ所定時間遅延して、ラインアレイユニットの指向性を制御する信号処理手段と、
オーディオ信号を外部に出力する出力手段と、
連結の形態とその中での位置を検出する連結検出手段と、
前記連結検出手段が検出した連結形態と連結位置に応じて前記信号処理手段の遅延量を設定する制御手段と、
を備えたことを特徴とするアレイマイクシステム
An array microphone system in which a plurality of microphone array units arranged in a straight line are connected in the vertical direction, which is a direction orthogonal to the straight line, or in the horizontal direction, which is the direction of the straight line ,
The line array unit is
The plurality of microphone units arranged on the straight line;
A signal processing means for controlling the directivity of the line array unit by delaying an audio signal output from each microphone unit for a predetermined time to each microphone unit,
An output means for outputting an audio signal to the outside;
A connection detecting means for detecting a connection form and a position in the connection form;
Control means for setting a delay amount of the signal processing means according to the connection form and connection position detected by the connection detection means;
An array microphone system comprising:
上下方向に連結される複数のラインアレイユニットは、「各マイクユニットの間隔/配列段数」ずつ左右にずらして連結される請求項1に記載のアレイマイクシステム。   2. The array microphone system according to claim 1, wherein the plurality of line array units connected in the vertical direction are connected to each other while being shifted to the left and right by “interval of each microphone unit / number of arrangement stages”. 複数のラインアレイユニットを左右方向に連結し、該左右方向の配置の中央部に他のラインアレイユニットを上下に連結した請求項1、または請求項2に記載のアレイマイクシステム。   The array microphone system according to claim 1 or 2, wherein a plurality of line array units are connected in the left-right direction, and another line array unit is connected in the vertical direction at the center of the arrangement in the left-right direction.
JP2005208321A 2005-07-14 2005-07-19 Array microphone system Expired - Fee Related JP4618029B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005208321A JP4618029B2 (en) 2005-07-19 2005-07-19 Array microphone system
US11/988,625 US8320596B2 (en) 2005-07-14 2006-03-28 Array speaker system and array microphone system
EP06730162A EP1909531B1 (en) 2005-07-14 2006-03-28 Array speaker system and array microphone system
CN200680025242.XA CN101218847B (en) 2005-07-14 2006-03-28 Array speaker system and array microphone system
PCT/JP2006/306214 WO2007007446A1 (en) 2005-07-14 2006-03-28 Array speaker system and array microphone system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005208321A JP4618029B2 (en) 2005-07-19 2005-07-19 Array microphone system

Publications (2)

Publication Number Publication Date
JP2007028267A JP2007028267A (en) 2007-02-01
JP4618029B2 true JP4618029B2 (en) 2011-01-26

Family

ID=37788431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005208321A Expired - Fee Related JP4618029B2 (en) 2005-07-14 2005-07-19 Array microphone system

Country Status (1)

Country Link
JP (1) JP4618029B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200904222A (en) * 2007-02-26 2009-01-16 Yamaha Corp Sensitive silicon microphone with wide dynamic range
WO2009143434A2 (en) 2008-05-23 2009-11-26 Analog Devices, Inc. Wide dynamic range microphone
JP7051876B6 (en) * 2017-01-27 2023-08-18 シュアー アクイジッション ホールディングス インコーポレイテッド Array microphone module and system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5941995A (en) * 1982-09-01 1984-03-08 Victor Co Of Japan Ltd Directional microphone device
JP2004032314A (en) * 2002-06-25 2004-01-29 Fuji Xerox Co Ltd Microphone array

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5941995A (en) * 1982-09-01 1984-03-08 Victor Co Of Japan Ltd Directional microphone device
JP2004032314A (en) * 2002-06-25 2004-01-29 Fuji Xerox Co Ltd Microphone array

Also Published As

Publication number Publication date
JP2007028267A (en) 2007-02-01

Similar Documents

Publication Publication Date Title
EP1909531B1 (en) Array speaker system and array microphone system
KR930001076B1 (en) Array microphone
JP4618028B2 (en) Array speaker system
JP4760160B2 (en) Sound collector
WO2014199446A1 (en) Microphone device
EP3661178B1 (en) Method for playing sound and multi-screen terminal
JP2007005969A (en) Microphone array device
JP2007013707A (en) Wireless speaker system, audio signal transmitter, reproduced sound phase synchronizing device, reproduced sound phase synchronizing method and reproduced sound phase synchronization program
JP4618029B2 (en) Array microphone system
JP2001204092A (en) Each zone sound collection device
JP5032960B2 (en) Acoustic input device
JP2010063875A5 (en)
EP1699260A2 (en) Microphone array signal processing apparatus, microphone array signal processing method, and microphone array system
US9521482B2 (en) Sound receiving device
JP6085465B2 (en) Microphone array device
JP2008061186A (en) Directional characteristic control apparatus, sound collecting device and sound collecting system
JP2006332736A (en) Microphone array apparatus
JP4772627B2 (en) Mixed signal separation and extraction device
JP2006191285A (en) Array speaker system and its audio signal processor
JP2006211047A (en) Multichannel sound field sound collection apparatus and method
JP3960600B2 (en) Direction finding device
JP4367286B2 (en) Receiver array
JPS5983496A (en) Micophone device
JPH07318631A (en) Orientation discrimination system
JP5889217B2 (en) Sound signal synchronized sound collection and reproduction system and devices constituting the system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100729

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees