JP3725052B2 - 音声通信システム - Google Patents

音声通信システム Download PDF

Info

Publication number
JP3725052B2
JP3725052B2 JP2001227819A JP2001227819A JP3725052B2 JP 3725052 B2 JP3725052 B2 JP 3725052B2 JP 2001227819 A JP2001227819 A JP 2001227819A JP 2001227819 A JP2001227819 A JP 2001227819A JP 3725052 B2 JP3725052 B2 JP 3725052B2
Authority
JP
Japan
Prior art keywords
echo
noise
received signal
learning
canceling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001227819A
Other languages
English (en)
Other versions
JP2002118504A (ja
Inventor
由利子 塚原
重信 南
裕二 奥田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2001227819A priority Critical patent/JP3725052B2/ja
Publication of JP2002118504A publication Critical patent/JP2002118504A/ja
Application granted granted Critical
Publication of JP3725052B2 publication Critical patent/JP3725052B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、音声通信システムにおける雑音抑圧方式の改良に関する。
【0002】
【従来の技術】
CELP等の低ビツトレート音声符号化器は、自動車の車内など背景雑音が大きい環境下では雑音により符号化品質が劣化する。これを防ぐため、特別な参照音声を用いる事なしにノイズを抑圧する技術が提案されている。これはノイズキャンセラと呼ばれている。この従来例としては、例えば、「移動体通信における背景雑音軽減法の検討」(三木他、電子情報通信学会1993年秋季全国大会B-287)がある。
【0003】
一方、自動車電話でハンズフリー通話を可能にするエコーキャンセラも通話品質の向上に有効な技術である。ハンズフリー通話モードでは、ハンドセットとは別に、ダッシュボード等に受話用のスピーカと送話用のマイクロホンを設置し、これらのスピーカとマイクロホンを送受話器として用いて通話するようにする。このハンズフリー通話モードを使用すると、話者はハンドセットを持たずに通話でき、通話中でも片手運転になること無く通話でき運転中の安全の面で有効である。しかしこの様なハンズフリー通話中にはスピーカからの受話音声がマイクロホンに回り込み、これが相手形に送られて音響エコーが発生する事がある。このエコーによる通話品質の劣化を防止するため、受話音声の回り込みを打ち消すエコーキャンセラが必要になる。
【0004】
エコーキャンセラの従来例としては、適応フィルタを使って受信信号と送信入力信号に混入されるエコーとの関係を学習し、エコーキャンセラの入力である受信信号から学習内容を用いて疑似エコーを発生させ、これを送信入力信号から減算する方式がある。
【0005】
このように自動車車内等からハンズフリー通話を行う場合には、背景雑音対策としてノイズキャンセラが、エコー対策としてエコーキャンセラが必要になる。
【0006】
図11〜13にノイズキャンセラおよびエコーキャンセラを含んだ従来の通信システムを示す。
【0007】
図11は、上記文献に示されたノイズキャンセラのみが含まれた構成である。ノイズキャンセラ110に入力される信号は送信入力信号であって、状態判定部112でこの入力を参照にしてこの入力が有雑音か無雑音かを判定し、同時に有声か無声かを検出する。次に、入力パラメータ計算部111において、判定結果に応じて雑音および音声に付いてその分散と相関係数などのパラメータが推定され、これらのパラメータを基にノイズキャンセルフィルタ113の係数を決定し、このフィルタ113を作用させることによりノイズのキャンセルを行う。なお、無雑音と判定された場合はフィルタリングは行わない。
【0008】
図12は、ノイズキャンセラおよびエコーキャンセラを含み、ノイズを先にキャンセルした後、エコーをキャンセルする通信システムである。ノイズキャンセラ110は図11のノイズキャンセラ110と同様の機能を持つ。エコーキャンセラ120の入力は受話信号(以下入力Aと呼ぶ)と送信入力信号のノイズキャンセラ110出力(以下入力Bと呼ぶ)であって、受話/送話判定部121において入力Aと入力Bを参照に受話/送話判定を行い、受話かつ非送話の場合のみ、入力Aと入力Bを用いて適応フィルタ122の学習を行う。この学習によって求めた適応フィルタ122の係数を用いた適応フィルタ122に受話信号を作用させて疑似エコーを発生させ、入力Bから減算することで、エコーがキャンセルされる。
【0009】
図13は、エコーを先にキャンセルした後、ノイズをキャンセルする通信システムである。ノイズキャンセラ110、エコーキャンセラ120は、ノイズキャンセラ110の入力が送信入力信号のエコーキャンセラ120出力、エコーキャンセラ120入力が受話信号と送信入力信号である以外は図12と同様である。
【0010】
この様に従来例では、ノイズキャンセラに対する入力は送信入力信号かエコーキャンセラ出力のいずれかのみであった。また、ノイズキャンセラ、エコーキャンセラは互いの判定部で独自に判定を行うのみで結果を共有することがなかった。
【0011】
【発明が解決しようとする課題】
上述のごとく、従来の方式では、ノイズのみをキャンセルする場合には、ノイズキャンセラに対する入力は送信入力信号かあるいはこれに準ずる信号のみであるため、ノイズキャンセラの雑音除去特性には受信信号の状態が全く考慮されていなかった。従って、エコーが送信入力信号に混入している場合にエコーを雑音または音声と誤判断し状態判定およびパラメータ判定に誤りが生ずることがある。
【0012】
ノイズを先にキャンセルした後でエコーをキャンセルする場合は、ノイズをキャンセルするフィルタが時間によって変化するため、エコーを学習する際、ノイズキャンセラの影響が入って正確な学習ができないと言う問題がある。また、ノイズキャンセラはエコーキャンセラによるエコーキャンセル効果を利用することが出来ない。
【0013】
また、エコーを先にキャンセルした後でノイズをキャンセルする場合には、エコーキャンセラが学習中はエコーキャンセラ出力に誤差が多く残り、これを雑音または音声と誤判断し状態判定およびパラメータ推定に誤りが生ずる。
【0014】
従って本発明は、受信信号の状態が考慮された雑音除去特性をノイズキャンセラに与え、エコーキャンセラにはノイズキャンセラの影響が、ノイズキャンセラにはエコーキャンセラの影響が入らないようにし、エコー抑圧とノイズ抑圧の効果を向上させる事を目的とする。
【0015】
【課題を解決するための手段】
上記目的を達成するため、本発明は、受信信号を再生する再生手段と、送信入力信号から送信信号を生成する送信手段と、該受信信号と該送信入力信号に混入された該受信信号のエコーとの関係を学習して、該受信信号から推定される疑似エコーを発生させ、該送信入力信号から該疑似エコーを減算することによりエコーを抑圧するエコーキャンセル手段と、該エコーキャンセル手段出力に混入する雑音を抑圧するノイズキャンセル手段とを有する音声通信システムにおいて、前記エコーキャンセル手段で学習が行われているかどうかによって前記ノイズキャンセル手段の特性を変化させることを特徴とする。
【0016】
また、本発明は、受信信号を再生する再生手段と、送信入力信号から送信信号を生成する送信手段と、該送信入力信号に混入する雑音を抑圧するノイズキャンセル手段と、前記受信信号と該ノイズキャンセル手段出力に混入された前記受信信号のエコーとの関係を学習して、前記受信信号から推定される疑似エコーを発生させ、該ノイズキャンセル手段出力から該疑似エコーを減算することによりエコーを抑圧するエコーキャンセル手段とを有する音声通信システムにおいて、前記エコーキャンセル手段で学習が行われている間は前記ノイズキャンセル手段の特性を変化させないことを特徴とする。
【0018】
【作用】
本発明によれば、以上のように受信信号の状態を考慮した雑音除去特性をノイズキャンセラに与え、また、エコーキャンセル手段で学習が行われているかどうかをノイズキャンセル手段に反映させるようにする。
【0019】
【実施例】
以下、本発明にかかるノイズキャンセラを添付図面を参照にして詳細に説明する。
【0020】
図1は、本発明の第一の実施例を示すブロック図である。
【0021】
ノイズキャンセラ10に対する入力は受信信号(以下入力Aと呼ぶ)と送信入力信号(以下入力Bと呼ぶ)であって、1フレーム(1フレームは例えば320サンプル)ずつ入力されるとする。状態判定部12において、入力Bが有雑音か無雑音かを判定し、同時に入力A、Bが有声か無声かを検出する。
【0022】
図2にこの実施例における状態判定部12の判定フローチャートを示す。このフローチャートでは入力Aが有声と判定された場合には、有雑音か無雑音かの判定は行わず、前フレームの判定結果を維持し、入力Bの有声か無声かの判定は強制的に無声とする。また、入力Bの有声/無声の判定に用いる可変スレショルドは更新しないでおく。
【0023】
次に、入力パラメータ計算部11において判定結果に応じて雑音および音声の分散と相関係数が推定される。図3に入力パラメータ計算部11での入力パラメータ計算のフローチャートを示す。入力パラメータ計算部11では入力Bの1次の相関係数と、相関を取り除く逆フィルタをかけた後の分散値を計算し、入力Bが有声/無声の場合に応じて、雑音および音声の分散と相関を推定する。入力Aの音声検出結果が有声の場合は、パラメータを更新せず前フレームの値を維持する。
【0024】
こうして求められたパラメータを基にノイズキャンセルフィルタ13の係数を決定し、入力信号にこの係数を持つフィルタ13を作用させることによりノイズがキャンセルされる。ノイズキャンセルフィルタ13は雑音および音声の分散と相関係数によって雑音を抑制するフィルタであって、例えば、フィルタ出力と音声の誤差分散を最少にするカルマンフィルタ等で実現できる。尚、無雑音と判定された場合は、フィルタリングは行わず入力Bをそのまま出力する。
【0025】
本例では、この様に受信信号の有声部を検出し検出結果をノイズキャンセラ10に参照させることにより、ノイズキャンセラ10のエコーによる誤動作を防止することができる。
【0026】
図4は、本発明の第二の実施例を示すブロック図で、エコーを先にキャンセルした後ノイズをキャンセルする通信システムである。
【0027】
エコーキャンセラ20は従来例で用いられるものと同じであるので説明は省略する。
【0028】
ノイズキャンセラ10に対する入力は、エコーキャンセラ20の受話/送話判定部21の判定結果に従って当該フレーム中にエコー学習があったかどうかを表す信号(以下LFと呼ぶ)とエコーキャンセラ20の出力(以下入力Bと呼ぶ)であって、1フレーム(1フレームは例えば320サンプル)ずつ入力されるものとする。ノイズキャンセラ10の状態判定部12では、入力Bが有雑音か無雑音かを判定し、同時に入力Bが有声か無声かを検出する。
【0029】
図5に、状態判定部12の判定フローチャートを示す。このフローチャートではLFがエコー学習中を表す場合には、雑音有/無の判定は行わず、前フレームの結果を維持し、入力Bの有声/無声検出は強制的に無声とする。また、入力Bの有声/無声検出に用いる可変スレショルドは更新しない。
【0030】
次に入力パラメータ計算部11において、状態判定部12の判定結果に応じて雑音および音声の分散と相関係数が推定される。図6に相関係数を1次まで取る場合の入力パラメータ計算部11のフローチャートを示す。入力Bの1次の相関係数と、相関を取り除く逆フィルタをかけた後の分散値を計算し、入力Bが有声/無声の場合に応じて雑音および音声の分散と相関を推定する。
【0031】
こうして求められたパラメータを基にノイズキャンセルフィルタ13の係数を決定し、入力信号にこの係数を持つフィルタ13を作用させることによりノイズがキャンセルされる。ノイズキャンセルフィルタ13は実施例1のフィルタ13と同じ物で良い。
【0032】
本例では、この様にエコーキャンセラ20の学習状況をノイズキャンセラ10に参照させることにより、ノイズキャンセラ10のエコー学習中の誤動作を防止することができる。
【0033】
図7は、本発明の第三の実施例を示すブロック図で、ノイズを先にキャンセルした後エコーをキャンセルする通信システムである。
【0034】
エコーキャンセラ20は、従来例で用いられるものとほぼ同じである。ただし、入力がノイズキャンセラ出力と受信信号であるため、ノイズキャンセラによる信号の特性変化を考え、受信信号に対し当該ノイズキャンセルフィルタ13と同じフィルタ係数をもつフィルタ24を作用させた信号を適応フィルタ22への入力とする。また、ノイズキャンセラ10による遅延に合わせて適応フィルタ22への学習フラグを遅延器25により1フレーム分遅延させている。受話/送話判定部21は、送信入力信号を参照している。
【0035】
ノイズキャンセラ10に対する入力は、受話/送話判定部21判定結果に従って当該フレーム中にエコー学習があったかどうかを表す信号(以下LFと呼ぶ)と送信入力信号(以下入力Bと呼ぶ)であって、1フレーム(1フレームは例えば80サンプル)ずつ入力されるものとする。ノイズキャンセラ10は、パラメータ計算部11を除けば図4におけるノイズキャンセラ10と同じ物で良い。図8にパラメータ計算部11の処理フローチャートを示す。このフローチャートではLFがエコー学習中を表す場合には、パラメータの更新を行わず、ノイズキャンセラフィルタ13の特性の変化を防止する。
【0036】
この様にエコーキャンセラ20の学習状況をノイズキャンセラ10に参照させることにより、ノイズキャンセラ10のエコー学習に対する影響を防止することができる。またエコーキャンセラ20に用いる信号にノイズキャンセルフィルタ24を作用させることによりノイズキャンセラ10による信号の伝達特性の変化の影響を少なくすることができる。なお、エコーキャンセラにノイズキャンセルフィルタを作用させる際には、適応フィルタの入力側でなく出力側にしても差支えない。図9は、適応フィルタの出力側にノイズキャンセルフィルタを作用させた例である。
【0037】
図10は、本発明の第四の実施例を示すブロック図である。本例では、エコーキャンセラ20の前後にノイズキャンセラ10および30を設けている。
【0038】
ノイズキャンセラ10はノイズキャンセルフィルタ10を除いて図7に示したノイズキャンセラ10とほぼ同じ物である。ノイズキャンセルフィルタ13は図7のノイズキャンセルフィルタ13で電力利得が常に1になるように調整された係数を用いるようにしたものである。
【0039】
エコーキャンセラ20は、図7に示したエコーキャンセラ20と同じ物を用いることが出来る。ただし、ノイズキャンセラ10の出力に利得変化がないため信号の特性変化が微少と考えて、ノイズキャンセルフィルタ24の変わりに受信信号の遅延を常に1フレーム分遅延する遅延器26を用いても良い。
【0040】
ノイズキャンセラ30に対する入力は、エコーキャンセラ20出力とノイズキャンセルフィルタ13において用いられた利得調整値である。ノイズキャンセラ30はエコーキャンセラ20出力にノイズキャンセルフィルタ13において用いられたと同じ利得調整値を乗算して出力する。
【0041】
この様にエコーキャンセラ20の前後にノイズキャンセラ10および30を配し、特に送信入力信号の電力利得をエコーキャンセル後に変化させることによりノイズキャンセラのエコー学習にたいする影響を防止することができる。
【0042】
【発明の効果】
以上説明したように本発明では、受信信号を再生する再生手段と、送信入力信号から送信信号を生成する送信手段と、受信信号と該送信入力信号に混入された受信信号のエコーとの関係を学習して、受信信号から推定される疑似エコーを発生させ、送信入力信号から該疑似エコーを減算することによりエコーを抑圧するエコーキャンセル手段と、エコーキャンセル手段出力に混入する雑音を抑圧するノイズキャンセル手段とを有する音声通信システムにおいて、エコーキャンセル手段で学習が行われているかどうかによってノイズキャンセル手段の特性を変化させるようにしたので、不必要な雑音除去処理を無くし、受信信号、送信入力信号に応じた最適の雑音除去を実現することができる。
【0043】
また、前記エコーキャンセル手段で学習が行われている間はノイズキャンセル手段の特性を変化させないようにしたので、エコーキャンセル手段の動作をノイズキャンセル手段に反映させる事ができ、エコーキャンセラにはノイズキャンセラの影響が、ノイズキャンセラにはエコーキャンセラの影響が入らないようにして、エコー抑圧とノイズ抑圧の効果を向上させる事が出来る。
【図面の簡単な説明】
【図1】本発明の第一の実施例を示すブロック図。
【図2】図1の実施例における状態判定の一例を示すフローチャート。
【図3】図1の実施例におけるパラメータ計算の一例を示すフローチャート。
【図4】本発明の第二の実施例を示すブロック図。
【図5】図4の実施例における状態判定の一例を示すフローチャート。
【図6】図4の実施例におけるパラメータ計算の一例を示すフローチャート。
【図7】本発明の第三の実施例を示すブロック図。
【図8】図7の実施例におけるパラメータ計算の一例を示すフローチャート。
【図9】本発明の第三の実施例の他の構成を示すブロック図。
【図10】本発明の第四の実施例を示すブロック図。
【図11】ノイズキャンセラの従来例を示すブロック図。
【図12】ノイズキャンセラとエコーキャンセラの従来例を示すブロック図。
【図13】ノイズキャンセラとエコーキャンセラの他の従来例を示すブロック図。
【符号の説明】
1 スピーカ
2 マイクロホン
10、30 ノイズキャンセラ
11 パラメータ計算部
12 状態判定部
13、24 ノイズキャンセルフィルタ
20 エコーキャンセラ
21 受話/送話判定部
22 適応フィルタ
23 加算器
25、26 1フレーム遅延器

Claims (6)

  1. 受信信号を再生する再生手段と、
    送信入力信号から送信信号を生成する送信手段と、
    該受信信号と該送信入力信号に混入された該受信信号のエコーとの関係を学習して、該受信信号から推定される疑似エコーを発生させ、該送信入力信号から該疑似エコーを減算することによりエコーを抑圧するエコーキャンセル手段と、
    該エコーキャンセル手段出力に混入する雑音を抑圧するノイズキャンセル手段と
    を有する音声通信システムにおいて、
    前記エコーキャンセル手段で学習が行われているかどうかによって前記ノイズキャンセル手段の特性を変化させることを特徴とする音声通信システム。
  2. 前記ノイズキャンセル手段が
    前記エコーキャンセル手段で学習が行われているかどうかを判定する判定手段と、
    前記エコーキャンセル手段出力の特性を推定する推定手段と、
    前記推定手段の推定結果にしたがって前記ノイズキャンセル手段のノイズ除去特性を可変する可変手段と
    を有し、
    前記エコーキャンセル手段が学習中は前記推定手段は推定を行わないことを特徴とする請求項1記載の音声通信システム。
  3. 前記ノイズキャンセル手段が
    前記エコーキャンセル手段出力の有声/無声を検出する送信検出手段と、
    前記エコーキャンセル手段で学習が行われているかどうかを判定する判定手段と、
    前記送信検出手段の検出結果および前記判定手段の判定結果にしたがって前記ノイズキャンセル手段のノイズ除去特性を可変する可変手段と
    を有し、
    前記可変手段は前記判定手段の判定結果が学習中である場合には前記送信検出手段の検出結果が無声であった場合と同じノイズ除去特性を前記ノイズキャンセル手段に与えることを特徴とする請求項1記載の音声通信システム。
  4. 受信信号を再生する再生手段と、
    送信入力信号から送信信号を生成する送信手段と、
    該送信入力信号に混入する雑音を抑圧するノイズキャンセル手段と、
    前記受信信号と該ノイズキャンセル手段出力に混入された前記受信信号のエコーとの関係を学習して、前記受信信号から推定される疑似エコーを発生させ、該ノイズキャンセル手段出力から該疑似エコーを減算することによりエコーを抑圧するエコーキャンセル手段と
    を有する音声通信システムにおいて、
    前記エコーキャンセル手段で学習が行われている間は前記ノイズキャンセル手段の特性を変化させないことを特徴とする音声通信システム。
  5. 前記エコーキャンセル手段は、
    前記受信信号と前記エコーキャンセル手段自身の出力に混入された前記受信信号のエコーとの関係を学習して、前記受信信号から推定される疑似エコーを発生させ、該疑似エコーに前記ノイズキャンセル手段出力に用いられたと同じ特性のノイズキャンセル処理を行わせたものを前記ノイズキャンセル手段出力から減算することを特徴とする請求項4記載の音声通信システム。
  6. 前記エコーキャンセル手段は、
    前記受信信号に前記ノイズキャンセル手段出力に用いられたと同じ特性のノイズキャンセル処理を行わせたものと前記エコーキャンセル手段自身の出力に混入された前記受信信号のエコーとの関係を学習して、前記受信信号から推定される疑似エコーを発生させ、該疑似エコーを前記ノイズキャンセル手段出力から減算することを特徴とする請求項4記載の音声通信システム。
JP2001227819A 2001-07-27 2001-07-27 音声通信システム Expired - Lifetime JP3725052B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001227819A JP3725052B2 (ja) 2001-07-27 2001-07-27 音声通信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001227819A JP3725052B2 (ja) 2001-07-27 2001-07-27 音声通信システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP03016894A Division JP3233525B2 (ja) 1994-02-28 1994-02-28 音声通信システム

Publications (2)

Publication Number Publication Date
JP2002118504A JP2002118504A (ja) 2002-04-19
JP3725052B2 true JP3725052B2 (ja) 2005-12-07

Family

ID=19060423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001227819A Expired - Lifetime JP3725052B2 (ja) 2001-07-27 2001-07-27 音声通信システム

Country Status (1)

Country Link
JP (1) JP3725052B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065206B2 (en) 2003-11-20 2006-06-20 Motorola, Inc. Method and apparatus for adaptive echo and noise control
JP5293342B2 (ja) * 2009-03-30 2013-09-18 沖電気工業株式会社 音声通信装置、方法及びプログラム

Also Published As

Publication number Publication date
JP2002118504A (ja) 2002-04-19

Similar Documents

Publication Publication Date Title
JP4282260B2 (ja) エコーキャンセラ
EP1298815B1 (en) Echo processor generating pseudo background noise with high naturalness
JP2538176B2 (ja) エコ―制御装置
US7856097B2 (en) Echo canceling apparatus, telephone set using the same, and echo canceling method
WO2010035308A1 (ja) エコー消去装置
JP2008141734A (ja) エコーキャンセラ及び通話音声処理装置
JP3597671B2 (ja) ハンズフリー電話機
JP2008141735A (ja) エコーキャンセラ及び通話音声処理装置
JPH09139696A (ja) 適応識別とそれに関する適応エコーキャンセラのための方法と装置
JP4410819B2 (ja) エコーキャンセラ
JP4607015B2 (ja) エコー抑圧装置
JP2009094802A (ja) 通信装置
KR100547765B1 (ko) 동시통화구간 검출에 따른 음향 반향 제거 방법 및 장치
JP4345208B2 (ja) 反響及び雑音除去装置
US8369511B2 (en) Robust method of echo suppressor
JP3725052B2 (ja) 音声通信システム
JP4475155B2 (ja) エコーキャンセラ
JP3335764B2 (ja) 音声通信システム
JP3233525B2 (ja) 音声通信システム
JP2004147069A (ja) 音声スイッチ方法、音声スイッチ及び音声スイッチプログラム、そのプログラムを記録した記録媒体
JP2009218849A (ja) 音響エコー・キャンセル制御方法と装置。
JP2003218745A (ja) ノイズキャンセラ及び音声検出装置
JP3404236B2 (ja) 拡声通話装置
KR20060099644A (ko) 차량용 핸즈 프리 시스템 및 그것의 음성신호 처리방법
KR100329427B1 (ko) 스테레오 음향반향 제거기 및 그 제거방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050920

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080930

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090930

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090930

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100930

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110930

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110930

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110930

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120930

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120930

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130930

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130930

Year of fee payment: 8

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

EXPY Cancellation because of completion of term