JP4184992B2 - 音響処理装置、音響処理方法および製造方法 - Google Patents

音響処理装置、音響処理方法および製造方法 Download PDF

Info

Publication number
JP4184992B2
JP4184992B2 JP2004040223A JP2004040223A JP4184992B2 JP 4184992 B2 JP4184992 B2 JP 4184992B2 JP 2004040223 A JP2004040223 A JP 2004040223A JP 2004040223 A JP2004040223 A JP 2004040223A JP 4184992 B2 JP4184992 B2 JP 4184992B2
Authority
JP
Japan
Prior art keywords
microphone
user
speaker
signal
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004040223A
Other languages
English (en)
Other versions
JP2005236407A (ja
Inventor
亮典 小柴
皇 天田
聡典 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004040223A priority Critical patent/JP4184992B2/ja
Publication of JP2005236407A publication Critical patent/JP2005236407A/ja
Application granted granted Critical
Publication of JP4184992B2 publication Critical patent/JP4184992B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、外部から取得した音響信号を処理する音響処理装置、音響処理方法および製造方法に関するものである。
近年、インターネットのような電気通信回線網の発達によって、パーソナルコンピュータ等を用いたVoice over IP(VoIP)による通話システムが普及し始めている。これらのシステムでは、通話のためにユーザの発話を受音すると同時に、通話相手の発話を出力する音響入出力手段を備えることが必須の構成要件となる。この音響入出力手段としては、一般にヘッドセットが用いられることが多い。
しかし、ヘッドセットは、ユーザに対して、その動きを制限するという肉体的負担を与えるという問題がある。また、通話のたびにヘッドセットを装着しなければならないという精神的負担も与えるという問題がある。
そこで、これらの問題を解決するために、ハンズフリー環境で音声の入出力を行うことへの期待が高まっている。ここでハンズフリー環境とは、あらかじめパソコン等の機器にマイクロホンやスピーカなどの音響入出力機器を装備しておき、当該マイクロホンやスピーカを使って通話を行うことができる環境のことをいう。
ハンズフリー環境では、ヘッドセットのような特殊な機器を装着する必要がない。また、一般の電話機のように受話機を耳と口に近づけた状態で保持する必要もない。このように、通話の際のユーザの肉体的、精神的負担を著しく軽減することができる。
しかし、ハンズフリー環境で通話を行う場合、スピーカから出力された通話相手の発話がマイクロホンにまわり込んで入力されることがある。マイクロホンから通話相手の発話が通話相手に折り返して伝わると「こだま」のように聞こえてしまい、好ましくない。また、通話相手もハンズフリー環境を利用した場合、通話相手側に折り返された発話がさらに折り返されて伝わり、ハウリングのような現象が生じる場合もある。このような現象は音響エコーとして知られている。
以上のような問題を解決するために、スピーカから出力される信号をマイクロホンに入力された信号から減算し、音響エコーを低減するというエコーキャンセル技術が提案されている(非特許文献1参照)。
エコーキャンセル技術では、スピーカの出力信号に適当な重みをかけてマイクロホンに入力された信号から引去る。すなわち、マイクロホンに入力された信号のうち、スピーカの出力信号に該当する成分を削除する。これにより、音響エコーを抑制することができる。
しかし、当該スピーカの出力信号とマイクロホンに入力された信号は必ずしも一致しない。したがって、エコーキャンセルにより、完全に音響エコーを消し去るのは困難である。
大賀ほか著、「音響システムとデジタル処理」、電子情報通信学会
マイクロホンアレーを用いた音響処理装置によれば、特定の方向に指向特性を持たせることによって、指定した特定方向からの音響信号のみを取り出すことが可能であるため、雑音信号を低減できるという利点がある。
しかしながら、マイクロホンアレーを用いて、雑音信号を低減させる場合、マイクロホンの指向特性と雑音の発生源の配置の関係が適切でない場合、雑音信号を十分に低減できない場合がある。逆に、マイクロホンアレーの指向特性と合致する方向に雑音の発生源が配置されている場合には、雑音信号が増幅されてマイクロホンに入力される場合もある。このような場合には、マイクロホンアレーを用いない場合よりも大きな音響エコーが生じてしまい望ましくない。従って、雑音信号を効率的に低減させることのできる技術が望まれていた。
本発明は、上記に鑑みてなされたものであって、マイクロホンに入力される雑音信号を低減することができる音響処理装置を提供することを目的とする。
上記課題を解決すべく、複数マイクロホンを用いてマイクロホンアレー処理を行い、特定の方向に指向特性を持たせることによって、指定した特定方向からの音響信号のみを取り出す方法を利用することを検討し、以下の発明に想到した。
すなわち、上述した課題を解決し、目的を達成するために、本発明は、利用者の音声を受音して処理する音響処理装置であって、筐体と、予め定められた角度範囲で前記利用者の方向を追尾する追尾手段と、前記筐体における前記追尾手段による追尾範囲内に配置され、前記音声を受音する複数のマイクロホンが配置されるマイクロホンアレーと、前記追尾範囲内に指向特性を形成させて、前記マイクロホンアレーが受音した音響信号を処理する信号処理手段と、前記筐体上であって、前記指向特性外に配置される雑音源とを備えことを特徴とする。
本発明にかかる音響処理装置は、予め定められた角度範囲で利用者の方向を追尾する追尾手段による追尾範囲内であって筐体上に配置されるマイクロホンアレーが受音した音響信号を、追尾範囲内に指向特性を形成させて処理するとともに、雑音源を筐体上であって指向特性外に配置することにより、マイクロホンに入力される雑音信号を低減することができるという効果を奏する。
以下に、本発明にかかる音響処理装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
(実施の形態1)
図1−1は、本発明にかかる音響処理装置の外観図である。音響処理装置10は、ノート型のパーソナルコンピュータである。音響処理装置10の筐体100には、第1マイクロホン200、第2マイクロホン210(例えば、無指向性マイクロホン等)およびスピーカ300が配置されている。
第1マイクロホン200、第2マイクロホン210およびスピーカ300は、いずれも表示画面120が配置された面上に配置さている。第1マイクロホン200および第2マイクロホン210は、音響信号、すなわち主に利用者からの音声を入力する。また、スピーカ300は、音声信号を出力する。利用者は、第1マイクロホン200等を利用して例えばVoIPによる通話を行うことができる。
利用者は、図1−2に示すように表示面100に対面して、音響処理装置10を利用する。そこで、利用者からの音声を効率的に受音し、また、利用者に向けて音声を出力すべく、第1マイクロホン200および第2マイクロホン210と、スピーカ300とは、いずれも当該音響処理装置10が利用される場合に、利用者に対面する位置に配置されている。
図2は、信号処理部400の機能構成を示すブロック図である。信号処理部400は、遅延器410と増幅器420とを有している。遅延器410は、第1マイクロホン200が受音した音響信号に対して遅延処理を施す。また、増幅器420は、遅延器410により遅延処理が施された音響信号と、第2マイクロホン210が受音した音響信号とを加算して出力する。
以下、信号処理部400における処理について詳述する。目的信号は2つのマイクロホン200,210に対して図2に示すΘsの方向から到来する。ここで、目的信号とは、第1マイクロホン200および第2マイクロホン210が受音する音響信号のうち利用者により発せられた音声信号である。
第2マイクロホン210が目的信号を受音するタイミングは、第1マイクロホン200が目的信号を受音するタイミングより、τsだけ遅延する。ここで、τsは次式で示される。
τs=d・sinΘs/c ・・・(式1)
式1において、dは第1マイクロホン200と第2マイクロホン210との間の間隔を表す。また、cは音速を表す。
上記到達時間の遅延により、第1マイクロホン200が受音した目的信号と第2マイクロホン210が受音した目的信号の位相にずれが生じている。そこで、遅延器410により第1マイクロホン200により受音された目的信号に、位相差τsに対応するD1(=τs)の遅延処理を付加する。これにより、第1マイクロホン200および第2マイクロホン210によりそれぞれ受音された2つの目的信号の位相を一致させることができる。
さらに、増幅器420が遅延器410による遅延処理後の目的信号と第2マイクロホン210が受音した目的信号とを加算することにより、第1マイクロホン200および第2マイクロホン210に対して、Θsの方向から到来した目的信号を強調することができる。
以上のように、遅延器410により一方の目的信号に対して遅延処理を施し、その後、2つの目的信号を加算することにより、特定方向に指向特性を形成することが可能になる。
一方、当該特定方向以外から入力される信号、すなわち雑音信号は、目的信号とΘsの値が異なる。従って、遅延器410により遅延処理が施されても目的信号のように同位相化されることはない。従って、加算処理により強調されることはない。これにより結果として、特定方向以外の方向に指向特性の死角が形成される。
信号処理部400による以上の処理により、遅延和アレー方式によって特定方向、すなわち利用者の方向に指向特性を形成することができるので、特定方向からの音響信号のみを強調することができる。さらに指向特性の死角方向から到来する音響信号を低減させることができる。
図3および図4は、第1マイクロホン200および第2マイクロホン210と、スピーカ300との位置関係を説明するための図である。図2を参照しつつ説明したように、目的信号のみを強調し、雑音信号を低減するためには、の第1マイクロホン200および第2マイクロホン210のそれぞれに到達する目的信号の位相差と、雑音信号の第1マイクロホン200および第2マイクロホン210における信号の位相差とが異なっているのが望ましい。
音響処理装置10においては、スピーカ300が主な雑音源となる。従って、スピーカ300の配置位置を、第1マイクロホン200および第2マイクロホン210の配置位置との関係で定める必要がある。具体的には、スピーカ300からの音響信号と目的信号の位相差が異なるようにスピーカ300を配置する。
以下、スピーカ300の具体的な位置を説明する。まず、前提として、図3において第1マイクロホン200と第2マイクロホン210を結ぶ線分dの垂直2等分線hからΘsの方向に目的信号の指向性を形成するものとする。この場合、目的信号と雑音信号の位相差が同一となるのは、目的信号となる音声を発する利用者と線分dの中点cとを通る直線k上の位置にスピーカが配置された場合である。
厳密には図4に示すように、上記Θsと、第1マイクロホン200と利用者とを通る直線mと直線hとが成す角Θs1と、第2マイクロホン210と利用者とを通る直線nと直線hとが成す角Θs2はそれぞれ異なるが、本実施の形態においては第1マイクロホン200と第2マイクロホン210との間の距離、すなわち、直線dの距離は、直線dの中点cと利用者との間の距離に比べて十分に小さいと仮定することで、Θs1≒Θs2≒Θsとみなすこととする。
従って、雑音信号の発声源となるスピーカを直線k上の位置に配置した場合には、目的信号と雑音信号の位相差が一致するので、雑音信号も強調されてしまう。一方、直線k上の位置とは異なる位置に配置した場合には、目的信号の位相差と雑音信号の位相差が異なるので、目的信号のみを強調することができる。
すなわち、図3及び図4に示した、マイクロホンアレーの指向性により定まる直線k上の位置以外の位置にスピーカ300を配置することにより、信号処理部400は、スピーカ300から出力される音響信号を効果的に低減することができる。
さらに、スピーカから出力され、マイクロホンに入力される音響信号を低減させることができるので、通話相手に当該通話相手の発話が折り返してしまう、という問題を解決することができる。
図5は、スピーカ300の配置位置の例を示す図である。図5に示すスピーカ300a,300bは、直線k上の位置以外の位置に配置されている。このように、2つのマイクロホンから指向特性に対応する特定方向に延びる直線上にスピーカ300を配置することにより、スピーカ300による雑音信号を低減し、目的信号のみを増幅することができる。
一方、図5に示すスピーカ300c,300dは、直線k上の位置に配置されている。このように、指向特性を示す方向に沿ってスピーカ300を配置した場合には、スピーカ300による雑音信号と目的信号に位相差が生じないので、雑音信号を低減することができず、望ましくない。
図1に示したスピーカ300の位置は、図5において示す直線k上の位置と異なる位置に相当する。従って、本実施の形態にかかる音響処理装置10においては、効率的に雑音信号を低減することができる。
なお、本実施の形態においては、まず、利用者に対面する位置に第1マイクロホン200および第2マイクロホン210を配置する。そして、第1マイクロホン200および第2マイクロホン210により形成されるマイクロホンアレーの指向特性に基づいてスピーカ300の配置位置を決定する。
他の例としては、まずスピーカ300の位置を定めてもよい。図6を参照しつつ、この場合の第1マイクロホン200および第2マイクロホン210の位置について説明する。
利用者の位置とスピーカ300の位置が、図6に示すような関係にある場合に、第1マイクロホン200aおよび第2マイクロホン210aを配置すると、スピーカ300と中点cとスピーカ300とを結ぶ直線pは、中点cと利用者とを結ぶ直線kに一致する。すなわち、スピーカ300は、直線k上の位置に配置される。従って、スピーカ300からの雑音信号と利用者からの目的信号の位相差が生じないため、雑音信号を低減することができない。
一方、第1マイクロホン200bおよび第2マイクロホン210bを配置した場合には、第2マイクロホン210bおよび第2マイクロホン210bを結ぶ直線d’の中点c’とスピーカ300とを結ぶ直線p’は、中点c’と利用者とを結ぶ直線k’と一致しない。従って、スピーカ300からの雑音信号と利用者からの目的信号の位相差が生じる。従って、信号処理部400による処理により雑音信号を低減することができる。
以上のように、第2マイクロホン210bおよび第2マイクロホン210bを結ぶ直線の中点とスピーカ300とを結ぶ直線が、中点と利用者とを結ぶ直線k、すなわち第1マイクロホン200から特定方向に延びる直線上の位置以外の位置に第1マイクロホン200および第2マイクロホン210を配置するのが望ましい。
なお、ここで、特定方向に伸びる直線の基準となる複数の無指向性マイクロホンの位置とは、例えば2つの無指向性マイクロホンの場合、これらの中点位置であってもよい。または、任意の1つの無指向性マイクロホンの位置であってもよい。このように、複数の無指向性マイクロホンのうちいずれか一の無指向性マイクロホンの位置であってもよく、またはこれらの中間位置であってもよい。
このように、スピーカ300の位置を定め、スピーカ300の位置に基づいて第1マイクロホン200および第2マイクロホン210の位置を定めてもよい。これにより、スピーカ300を配置すべき位置が制限されている場合であっても、第1マイクロホン200および第2マイクロホン210の位置をスピーカ300の位置に応じて定めることにより、効率的に雑音信号を低減することができる。
(実施の形態2)
実施の形態2にかかる音響処理装置10は、利用者追尾型アレー方式に対応する。実施の形態1にかかる音響処理装置10は、遅延和アレー方式によって、マイクロホンアレーの指向特性を形成した。すなわち、当該指向特性により定まる直線上以外の位置にスピーカを配置することによって、スピーカから出力される雑音信号を低減した。
実施の形態2にかかる音響処理装置10は、この利用者追尾型マイクロホンアレーにより形成される受音信号の指向特性に基づいて、第1マイクロホン200、第2マイクロホン210およびスピーカ300の配置位置を定めている。この点で、本実施の形態にかかる音響処理装置10は、実施の形態1にかかる音響処理装置10と異なっている。
遅延和アレー方式によるマイクロホンアレーにおいては、利用者が特定の方向のみに存在することを前提とする。従って、利用者が移動してしまい、利用者の方向を一方向に特定できない場合には利用できない。
この問題を解決するため提案されているのが利用者追尾型アレー方式である。この方式によれば、利用者が一定の範囲内で移動するような場合に、その動きを追尾して逐次的に指向特性を形成することができる(永田ほか著、「利用者追尾2チャネルマイクロホンアレーに関する検討」、電子情報通信学会論文誌、A Vol.J82−A No.6 pp.860−866、1999)。
図7は、利用者追尾型マイクロホンアレーにより形成される受音信号の指向特性について説明するための図である。ここで、Θtは追尾する範囲を表している。スピーカ300は、この追尾範囲外の位置に配置される。
追尾範囲内からの音響信号は、追尾手段によって追尾されてマイクロホンにより受音される。従って、雑音信号の位相差と目的信号の位相差を異ならせるためには、スピーカ300を追尾範囲外に配置する必要がある。
図8は、スピーカ300の配置位置の例を示す図である。図8に示すスピーカ300a,300bは、追尾範囲500の外側に配置されている。このように、追尾範囲500の外側にスピーカ300を配置することにより、雑音信号の位相差と目的信号の位相差を異ならせることができる。従って、スピーカ300による雑音信号を低減し、目的信号のみを増幅することができる。
一方、図8に示すスピーカ300g,300hは、追尾範囲500の内側に配置されている。このように、追尾範囲500の内側にスピーカ300が配置されている場合には、スピーカ300による雑音信号の位相差と目的信号の位相差が同一になるので、雑音信号を低減することができず、望ましくない。
このように、利用者追尾型マイクロホンアレーによる場合には、位相差が生じない位置に幅があるので、この領域を避けてスピーカ300を配置することにより、実施の形態1にかかる音響処理装置10と同様に、スピーカ300による雑音信号を低減し、目的信号のみを増幅することができる。
以上のように、本発明にかかる音響処理装置は、外部から音声信号を取得するのに有用であり、特に、雑音信号を低減し、目的信号を強調するのに適している。
音響処理装置10の外観図である。 利用者が音響処理装置10を利用している様子を示す図である。 信号処理部400の機能構成を示すブロック図である。 第1マイクロホン200および第2マイクロホン210と、スピーカ300との位置関係を説明するための図である。 第1マイクロホン200および第2マイクロホン210と、スピーカ300との位置関係を説明するための図である。 スピーカ300の配置位置の例を示す図である。 他の例にかかる、第1マイクロホン200および第2マイクロホン210の位置について説明するための図である。 利用者追尾型マイクロホンアレーにより形成される受音信号の指向特性について説明するための図である。 スピーカ300の配置位置の例を示す図である。
符号の説明
10 音響処理装置
100 表示面
120 表示画面
200,210 マイクロホン
300 スピーカ
400 信号処理部
410 遅延器
420 増幅器

Claims (4)

  1. 利用者の音声を受音して処理する音響処理装置であって、
    筐体と、
    予め定められた角度範囲で前記利用者の方向を追尾する追尾手段と、
    前記筐体における前記追尾手段による追尾範囲内に配置され、前記音声を受音する複数のマイクロホンが配置されるマイクロホンアレーと、
    前記追尾範囲内に指向特性を形成させて、前記マイクロホンアレーが受音した音響信号を処理する信号処理手段と、
    前記筐体上であって、前記指向特性外に配置される雑音源と
    を備えことを特徴とする音響処理装置。
  2. 前記雑音源は、スピーカである、
    ことを特徴とする請求項1に記載の音響処理装置。
  3. 利用者の音声を受音して処理する音響処理方法であって、
    予め定められた角度範囲で前記利用者の方向を追尾するステップと、
    筐体に配置されて前記音声を受音する複数のマイクロホンが配置されるマイクロホンアレーが受音した音響信号を、前記追尾範囲内に指向特性を形成させて処理するステップと、
    を含み、
    前記筐体上における前記指向特性外に、前記マイクロホンアレーに対する雑音源を配置する、
    ことを特徴とする音響処理方法。
  4. 利用者の音声を受音して処理する音響処理装置を製造する製造方法であって、
    筐体における予め定められた角度範囲で前記利用者の方向を追尾する追尾手段による追尾範囲内に、前記音声を受音する複数のマイクロホンが配置されるマイクロホンアレーを配置するマイクロホン配置工程と、
    前記マイクロホンアレーが受音した音響信号を処理する信号処理手段により前記追尾範囲内に形成される指向特性外に、前記マイクロホンアレーに対する雑音源を配置する雑音源配置工程と
    を含むことを特徴とする製造方法。
JP2004040223A 2004-02-17 2004-02-17 音響処理装置、音響処理方法および製造方法 Expired - Fee Related JP4184992B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004040223A JP4184992B2 (ja) 2004-02-17 2004-02-17 音響処理装置、音響処理方法および製造方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004040223A JP4184992B2 (ja) 2004-02-17 2004-02-17 音響処理装置、音響処理方法および製造方法

Publications (2)

Publication Number Publication Date
JP2005236407A JP2005236407A (ja) 2005-09-02
JP4184992B2 true JP4184992B2 (ja) 2008-11-19

Family

ID=35018950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004040223A Expired - Fee Related JP4184992B2 (ja) 2004-02-17 2004-02-17 音響処理装置、音響処理方法および製造方法

Country Status (1)

Country Link
JP (1) JP4184992B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5032959B2 (ja) * 2007-11-28 2012-09-26 パナソニック株式会社 音響入力装置
WO2012096073A1 (ja) * 2011-01-13 2012-07-19 日本電気株式会社 音声処理装置及びその制御方法とその制御プログラムを格納した記憶媒体、該音声処理装置を備えた車両、情報処理装置及び情報処理システム
JP5936069B2 (ja) * 2011-01-13 2016-06-15 日本電気株式会社 音声処理装置及びその制御方法とその制御プログラム、該音声処理装置を備えた車両、情報処理装置及び情報処理システム
WO2014103066A1 (ja) * 2012-12-28 2014-07-03 共栄エンジニアリング株式会社 音源分離方法、装置、及びプログラム
JP7248048B2 (ja) * 2021-04-28 2023-03-29 沖電気工業株式会社 収音装置、収音プログラム及び収音方法、並びに、キーボード

Also Published As

Publication number Publication date
JP2005236407A (ja) 2005-09-02

Similar Documents

Publication Publication Date Title
US9313572B2 (en) System and method of detecting a user's voice activity using an accelerometer
US9438985B2 (en) System and method of detecting a user's voice activity using an accelerometer
US9532131B2 (en) System and method of improving voice quality in a wireless headset with untethered earbuds of a mobile device
US10269369B2 (en) System and method of noise reduction for a mobile device
US8150063B2 (en) Stabilizing directional audio input from a moving microphone array
JP4348706B2 (ja) アレイ装置および携帯端末
US8180067B2 (en) System for selectively extracting components of an audio input signal
US20140270231A1 (en) System and method of mixing accelerometer and microphone signals to improve voice quality in a mobile device
US8542843B2 (en) Headset with integrated stereo array microphone
US9232309B2 (en) Microphone array processing system
US20120128175A1 (en) Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
US20120269332A1 (en) Method for encoding multiple microphone signals into a source-separable audio signal for network transmission and an apparatus for directed source separation
US9386391B2 (en) Switching between binaural and monaural modes
US9812149B2 (en) Methods and systems for providing consistency in noise reduction during speech and non-speech periods
KR101982812B1 (ko) 헤드셋 및 그의 음질 향상 방법
US20180182414A1 (en) Method and System for Reducing Background Sounds in a Noisy Environment
JP4184992B2 (ja) 音響処理装置、音響処理方法および製造方法
JP2014112830A (ja) 携帯装置における強化ステレオ録音システム及び方法
JP5082878B2 (ja) 音声会議装置
WO2019119376A1 (en) Earphone and method for uplink cancellation of an earphone
JP5105336B2 (ja) 音源分離装置、プログラム及び方法
WO2017056288A1 (ja) 音響信号処理装置、音響処理方法、監視装置および監視方法
JP2006270876A (ja) 音声入出力装置
JP2017040752A (ja) 音声判定装置、方法及びプログラム、並びに、音声信号処理装置
WO2023065317A1 (zh) 会议终端及回声消除方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080904

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110912

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110912

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110912

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120912

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120912

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130912

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees