JP3184441B2 - 音声帯域信号再生方法及び音声帯域信号伝送方法 - Google Patents

音声帯域信号再生方法及び音声帯域信号伝送方法

Info

Publication number
JP3184441B2
JP3184441B2 JP31895395A JP31895395A JP3184441B2 JP 3184441 B2 JP3184441 B2 JP 3184441B2 JP 31895395 A JP31895395 A JP 31895395A JP 31895395 A JP31895395 A JP 31895395A JP 3184441 B2 JP3184441 B2 JP 3184441B2
Authority
JP
Japan
Prior art keywords
cell
band signal
signal
audio band
reproduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP31895395A
Other languages
English (en)
Other versions
JPH09162883A (ja
Inventor
直孝 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP31895395A priority Critical patent/JP3184441B2/ja
Publication of JPH09162883A publication Critical patent/JPH09162883A/ja
Application granted granted Critical
Publication of JP3184441B2 publication Critical patent/JP3184441B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Use Of Switch Circuits For Exchanges And Methods Of Control Of Multiplex Exchanges (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は音声信号や各種デ
ータをモデムにより音声回線伝送用に変換されたモデム
信号などの音声帯域信号をディジタル信号とし、更にセ
ル化してATM通信方式で送信し、受信側で受信パケッ
トから元音声帯域信号を再生する音声帯域信号伝送方
法、及びその受信側における音声帯域信号再生方法に関
する。
【0002】
【従来の技術】従来において、64kb/sのPCM音
声信号の伝送にはAALタイプ1が適用され、受信側で
セル損失が検出されると、あらかじめ規定されたダミー
データが挿入されることが勧告化されている。また送信
側でセルが無音状態のものと判定されると、そのセルを
送出せず、受信側でその送出されなかった無音セルに対
して予め規定したダミーデータを挿入することにより、
伝送データ量を圧縮することが検討されている。
【0003】
【発明が解決しようとする課題】有音部分のセルが損失
した場合に、オール0といった固定パターンのダミーデ
ータを挿入すると、音声の連続性が保証されず、著しく
品質が劣化する。また無音セルの送出停止による伝送デ
ータ量の圧縮や、無音部分のセル損失により受信側でオ
ール0といった固定パターンをダミーデータとして挿入
する場合は、背景雑音がないため、品質劣化が生じる。
音声信号の場合に限らず、モデム信号の伝送において
も、セル損失に対しダミーデータの挿入は波形の連続性
が保証されず、データ誤りを生じるおそれがあった。
【0004】
【課題を解決するための手段】この発明の音声帯域信号
再生方法はセル損失が検出されると、それまでに受信再
生された音声帯域信号からその周期情報を抽出し、その
抽出された周期情報にもとづき、上記受信再生された音
声帯域信号を用いて補完信号を生成し、その補完信号を
用いて上記損失セルに対する再生信号として補完する。
【0005】上記補完信号の生成は、損失セルの抽出1
周期前からその以前の数サンプルを再生音声帯域信号よ
り抽出し、また、損失セルの直前の再生音声帯域信号の
抽出1周期分と、その対応部分に上記抽出数サンプルと
を合成して上記補完信号を得る。また再生音声帯域信号
の損失セル直前の部分に上記抽出した数サンプルを合成
して補正する。
【0006】セル損失検出後にセル受信が検出される
と、その受信セルの上記抽出1周期前からその以後の数
サンプルを上記補完信号から抽出し、その補完信号から
抽出された数サンプルと上記受信セルの再生音声帯域信
号の始めの部分とを合成して補償する。各受信セルにつ
いてそれが無音状態であることが検出されると、上記補
完信号に雑音を重畳して補完信号とする。
【0007】この発明の音声帯域信号伝送方法は送信側
で上記ディジタル音声帯域信号中の波形が繰り返される
部分のセルの一部の送出を停止し、受信側でセル損失を
検出すると、再生音声帯域信号から損失セルに対する再
生音声帯域信号を補完する。またこの発明の伝送方法は
ディジタル音声帯域信号の無音状態でそのセルの送出を
停止し、受信側で無音状態の停止セルに対し、直前の受
信セルの再生音声帯域信号を用いて補完を行い、かつ送
信側で無音状態においても、所定の間隔で無音状態をセ
ル化して少くとも1つのセルを送出する。
【0008】
【発明の実施の形態】まずこの発明による伝送方法及び
再生方法に用いられるシステムの機能的例を図1を参照
して説明する。送信側11の送信側装置12においてデ
ィジタル信号処理部13で音声信号、モデム信号などの
音声帯域信号が例えば64kb/sのPCM信号(ディ
ジタル信号)に変換され、このディジタル信号はセル分
割・組立部14において例えば48バイトのペイロード
(セル中の利用者情報部分)が作成され、この発明の伝
送方法ではこのペイロード(セル)はセル削除部15で
後述するように必要に応じて削除され、残りのペイロー
ドはセル送出部16でヘッダ(制御情報)が付けられて
完成セル、つまりATM通信におけるセルとして送出さ
れる。
【0009】この発明方法では例えばディジタル信号処
理部13からディジタル音声帯域信号が繰り返し部検出
部17にも入力され、ディジタル音声帯域信号中の有音
区間で同一波形が繰り返される状態が検出される。また
ディジタル音声帯域信号無音状態検出部18にも供給さ
れ、無音状態検出部18で無音区間が検出される。これ
らの検出はセル分割・組立部14から信号を受けて行っ
てもよい。繰り返し部が検出されると、その最初の1繰
り返し波形分のセルは送出するが、その後の同一の繰り
返し部のセルの送出を停止し、また無音状態が検出され
ると、同様に最初の無音状態部分のセルは送出するがこ
れに続く無音状態のセルの送出は停止することがセル削
除部で行われる。
【0010】受信側21の受信側装置22では伝送路よ
りのATMセルはセル受信部23で受信され、その受信
セルはセル分割・組立部24でディジタル音声帯域信号
(PCM信号)に変換され、この発明では波形補完部2
5で、損失セルに対するディジタル信号の補完がなされ
てディジタル信号処理部26へ供給される。セル受信部
23中のセル損失検出部27でセル損失が検出される
と、ディジタル信号処理部26内に一時記憶されている
再生ディジタル音声帯域信号を用いて補完信号生成部2
8で補完信号(波形)が生成され、この補完信号が欠損
セルと対応する再生ディジタル信号として補完される。
また各受信セルが無音状態であるか否かの判断が無音状
態検出部29で行われ、無音状態のセルであることが検
出され、かつセル損失が検出された場合は、雑音源31
から雑音を発生させ、補完信号に重畳して波形補完部2
5へ供給する。
【0011】次にこの発明による音声帯域信号再生方法
の実施例、つまり請求項1乃至3の発明の実施例を図2
Aの流れ図を参照して説明する。セル損失があるかを常
時監視する(S1 )、例えば64kb/sPCM信号
で、ペイロードが48バイトの場合、例えば6ミリ秒ご
とにセルが受信されるはずであるが、1つのセルの受信
後、6ミリ秒を経過しても次のセルが受信されない場合
セル損失とされる。
【0012】セル損失が検出されると、それまでに受信
再生されたディジタル音声帯域信号からその繰り返し周
期、つまり音声信号の場合はピッチ、モデム信号の場合
はその周期を抽出する(S2 )。この周期情報にもとづ
き、それまでの再生ディジタル音声帯域信号から補完信
号(波形)を生成する(S3 )。例えば再生ディジタル
音声帯域信号からセル損失直前の1周期分を抽出して補
完信号とする(S31)。セル41i-1 ,41i の各再生
音声帯域信号40が例えば図3Aに示すような波形であ
り、セル41i+1 が損失となった場合、ピッチ(周期)
p が抽出され、セル41i の再生音声帯域信号の終
り、つまり損失セル41i+1 の直前の1周期Tp の再生
音声帯域信号を補完信号42とする。
【0013】この補完信号42を損失セル41i+1 の再
生音声帯域信号として図3Bに示すように補完する(S
4 )。損失セル41i+1 に対する再生信号の期間が1周
期Tp より長い場合は図3Bに示すように補完信号42
をその欠損部分を満すまで繰り返す。図3Aから1周期
分取り出した補完信号42の始めのレベルL1 は終りの
レベルL2 と必ずしも一致しない。場合によると比較的
大きくずれることがあり、この場合はセル41i の再生
音声帯域信号とセル41i+1 の対応補完信号との滑らか
な接続が行われず、かつ補完信号42を繰り返し接続す
る場合に滑らかな接続が行われず、音声信号の場合歪と
なったり、モデム信号の場合データ誤りとなるおそれが
ある。このような点から請求項の発明では再生音声帯
域信号中のセル損失の直前の1周期Tp からその以前の
部分43の数サンプル、例えば5サンプルを取り出し
(S32)、この数サンプルを、先に取り出した1周期T
p 分の信号の部分42aの周期的に同一の位置に合成し
て補完信号42′とする(S33)。部分42aのサンプ
ルA(j)(j=1,2,・・・,n、nは部分42a
と部分43のサンプル数)、と部分43のサンプルC
(j)との合成は例えば次式により求める。
【0014】 A′(j)=(1−(j/n)×A(j)+(j/n)×C(j)…(1) 従って補完信号42′は再生音声帯域信号と全く同一で
ある始めからの大部分Bと、残りの合成部A′とよりな
り、合成部A′の始めは部分Bの終りと一致し、終りは
部分Bの始めと一致し、繰り返し接続した場合に連続性
がよくなる。図3Bに示すように、ステップS32で抽出
した部分43(C(j))を再生音声帯域信号の最後の
部分42a(A(j))に対し同様に(式(1)のよう
に)合成してA′(j)とすると(S34)、セル41i
と損失セル41i+1 との再生音声帯域信号の連続性がよ
くなる。
【0015】損失セルに対する補完処理を行っている間
において、セルが受信されたかを監視し(S5 )、セル
が受信されない間はステップS4 の補完が行われる。セ
ル受信が検出されると、その受信セルの直前の損失セル
に対する補完信号による再生音声帯域信号の終りから1
周期Tp 前より以後数サンプルを抽出し(S6 )、その
数サンプルを受信セルの再生音声帯域信号の始めの部分
合成補償する(S7 )。
【0016】例えば図3Dに示すようにセル41i+1
損失し、その次のセル41i+2 が受信された場合、損
失セル41i+1 に対する補完信号の終りから1周期Tp
前より以後の部分44の数サンプル、例えば5サンプ
抽出し、これを、セル41i+2 の再生音声帯域信号の
始めの部分45と合成する。この合成は部分44の各サ
ンプルG(j)(j=1,2,・・,m、mは部分44
のサンプル数)と部分45の各サンプルE(j)とを次
のように合成する。
【0017】 E′(j)=(1−(j/m)×G(j)+(j/m)×E(j) …(2) この合成により図3Dに示すように、セル41i+2 の再
生音声帯域信号の始めの数サンプルはE′(j)に補正
され、E′(j)の始めは部分44(G(j))の始め
と一致し、セル41j+1 に対する補完信号とよく連続
し、E′(j)の終りでは受信信号部分45(E
(j))と等しくなる。
【0018】以上のように受信側でセル損失を検出する
と、損失セルと対応する再生音声帯域信号を良好に補完
することができる。よって送信側のセル削除部15(図
1)において例えば図4Aに示すように、まず処理パラ
メータiを0とし(S1 )、iが所定数N(例えば10
乃至数10)となったかを調べ(S2 )、i=Nでなけ
ればセルを送出し(S3 )、iを+1してステップS2
に戻る(S4 )。ステップS2 でi=Nの場合はセル送
出を停止してステップS1 に戻る(S5 )。従ってセル
をN回送出するごとに1回セルの送出が停止され、それ
だけ全体として伝送データ量を少なくすることができ
る。しかも受信側では再生音声帯域信号の品質をそれ程
劣化させない。
【0019】また図1中の繰り返し部検出部17で入力
音声帯域信号の波形が複数セルにわたって繰り返される
ような部分が検出されると、つまり図4Bに示すように
このような波形繰り返し部を監視し(S1 )、波形繰り
返し部が検出されると、セル削除部15に通知され、1
セル送出を1回停止してステップS1 に戻る(S2 )。
つまり繰り返し部についてはその最初の少くとも1回繰
り返し波形の単位がセル化されて送出された後、その繰
り返し波形が繰り返されている間はセルの送出は停止さ
れ、繰り返し波形でなくなると、毎回セルが送出され
る。このようにして伝送データ量を減少するが、受信側
では良好に補完され、再生音声帯域信号の品質の劣化は
無視できる。
【0020】同様に無音状態において無音状態セルの送
出を停止しても受信側では良好な無音状態を補完により
再生することができる。この無音圧縮においては時々セ
ルを送って送信側の無音状態に近ずけるとよい。つまり
無音状態でも送信側での背景雑音が変化している場合、
受信側でこの変化にある程度追従させた方がよいまた
受信側前記補完を行うと、同一無音状態がセル単位で
繰り返され、その繰り返し音が混入して違和感を与える
おそれがある。
【0021】従って図4Cに示すように入力音声帯域信
号が無音状態であるかを無音状態検出部18(図1)で
監視し(S1 )、無音状態であればiを0とし(S
2 )、iが所定値M(例えば10乃至数10程度)とな
ったかを調べ(S3 )、i=Mでなければセルの送出を
1回停止する(S4 )。その後iを+1してステップS
1に戻る(S5 )。ステップS3 でi=Mの場合はその
時の無音状態をセル化したものを送出し(S6 )、iを
ゼロとしてステップS1 に戻る(S7 )。
【0022】無音圧縮を行うと、最初の無音状態セルか
ら前述したように、補完信号を作っても、これが無音圧
縮の間繰り返されると通常の雑音と可成り異なって来
る。従って受信側で図1中の無音状態検出部29で各受
信セルが無音状態かを例えば受信音声帯域信号のパワー
の大きさが所定値以下かにより監視すると共に、図2A
の処理手順においてステップS1 でセル損失が検出さ
れ、ステップS3 で補完信号が生成されるが、図2Bに
示すようにそのセル損失の直前の受信セルが無音状態か
を調べ(S8 )無音状態であれば、雑音源31(図1)
から雑音を発生して雑音をステップS3 で生成した補完
信号に重畳して補完信号として(S9 )、図2Aのステ
ップS4 の損失セルに対応した補完を行う。セル損失の
直前のセルが無音状態かのチェックは図2A中のステッ
プS2 とS3 との間で行ってもよい。
【0023】図2Aにおいて、ステップS5 でセル受信
を検出すると、ステップS6 ,S7を省略して、補完信
号に対し、受信セルの再生音声帯域信号を連続させても
よい。
【0024】
【発明の効果】以上述べたようにこの発明の音声帯域信
号再生方法によれば損失セルと対応する再生音声帯域信
号をその直前の再生音声帯域信号を1周期分取り出して
補完信号として補完するため、損失セルが、有音セルで
も、無音セルでもまたモデム信号セルでも良好な補完が
なされ、品質が良い再生信号が得られる。
【0025】請求項の発明によると、その補完信号が
繰り返された際に連続性がよくなり、請求項の発明に
よると、直前の再生音声帯域信号と補完信号の連続性が
よくなる。請求項の発明によれば補完信号とその後の
受信セルの再生音声帯域信号との連続性がよくなる。ま
た、実施例に示したように無音状態を送出を行わず、デ
ータ圧縮した場合に無音状態の補完信号に雑音が重畳さ
れ、無音状態としての違和感が生じるおそれがない。
【0026】請求項の発明によれば、受信側で請求項
1乃至の発明における補完がなされるため、音声帯域
信号中の繰り返し部分の送出を停止し、送出データ量を
減少しても、品質が良い再生音声帯域信号が得られる。
また、実施例に示したように送信側で無音圧縮して送出
データ量を減少しても、請求項1乃至の発明における
損失セルに対する補完を行い、良品質の再生信号が得ら
れるが、連続する無音状態の途中でその無音状態の内容
が1乃至数個のセルとして送出されるため、送信側の無
音状態における変化と追従し、また無音状態の始めの送
出セル中に有音の一部が混入し、その影響を受けた補完
信号が繰り返されるという問題も解消される。
【図面の簡単な説明】
【図1】この発明の方法が適用されるシステムの送信側
装置及び受信側装置の各機能的構成例を示すブロック
図。
【図2】Aは請求項1乃至の発明の実施例の手順を示
す流れ図、Bは参考実施例の要部を示す流れ図である。
【図3】この発明の実施例による損失セルに対する補完
の様子を波形(音声帯域信号)例で示す図。
【図4】Aは送出セルを周期的に停止する処理手順の例
を示す流れ図、Bは請求項の発明において入力音声帯
域信号の繰り返し部分のセル送出を停止する処理手順の
例を示す流れ図、Cは参考実施例において無音圧縮中に
周期的にセル送出を行う処理手順の例を示す流れ図であ
る。

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 セル化されたディジタル音声帯域信号を
    受信し、そのセルを分割・組立てディジタル音声帯域信
    号を再生する音声帯域信号再生方法において、 セル損失を検出するステップと、 セル損失が検出されると、それまでに受信再生された音
    声帯域信号からその周期情報を抽出するステップと、 上記抽出された周期情報にもとづき、上記受信再生され
    た音声帯域信号を用いて補完信号を生成するステップ
    と、 上記生成された補完信号を用いて上記損失セルに対する
    再生信号として補完するステップとを有し、 上記補完信号生成ステップは、上記損失セルの上記抽出
    1周期前からその以前のn個のサンプルC(j)(j=
    1、2、・・n)を上記再生音声帯域信号より抽出する
    ステップと、 上記損失セルの直前の上記再生音声帯域信号の上記抽出
    1周期分と、その最終部分のnサンプルA(j)(j=
    1、2、・・n)に上記抽出したサンプルC(j)(j
    =1、2、・・n)とを式A´(j)=(1−(j/n))A(j)+(j/n)
    C(j) で合成した、A´(j)で置換して 上記補完信号を得る
    ステップとよりなることを特徴とする音声帯域信号再生
    方法。
  2. 【請求項2】 上記再生音声帯域信号の損失セル直前の
    部分上記合成したA´(j)で置換するステップを含
    むことを特徴とする請求項記載の音声帯域信号再生方
    法。
  3. 【請求項3】 上記セル損失検出後にセル受信を検出す
    るステップと、 上記セル損失後にセル受信が検出されると、その受信セ
    ルの上記抽出1周期前からそれ以後のm個のサンプルG
    (j)(j=1、2、・・m)を上記補完信号から抽出
    するステップと、 上記補完信号から抽出されたG(j)(j=1、2、・
    ・m)と上記受信セルの再生音声帯域信号の先頭部分の
    m個のサンプルE(j)(j=1、2、・・m )とを
    E´(j)=(1−(j/m))G(j)+(j/m)
    E(j) で合成した、サンプルE´(j)で上記受信セルの再生
    音声帯域信号の先頭部分のm個のサンプルを置換する
    テップと、 を含むことを特徴とする請求項1または2に記載の音声
    帯域信号再生方法。
  4. 【請求項4】 送信側でディジタル音声帯域信号をセル
    に分割・組立て、セルとして送出し、受信側で受信セル
    を分割・組立てディジタル音声帯域信号を再生する音声
    帯域信号伝送方法において、 上記送信側で上記ディジタル音声帯域信号中の波形が繰
    り返される部分を検出するステップと、 上記分割・組立てられたセルのうち、上記検出された部
    分に対応するセルの一部の送出を停止するステップと、 上記受信側ではセル損失を検出するステップと、前記請求項1乃至3に記載の音声帯域信号再生方法によ
    り上記損失セルに対する再生信号を補完するステップと
    を有する、 ことを特徴とする音声帯域信号伝送方法。
JP31895395A 1995-12-07 1995-12-07 音声帯域信号再生方法及び音声帯域信号伝送方法 Expired - Lifetime JP3184441B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31895395A JP3184441B2 (ja) 1995-12-07 1995-12-07 音声帯域信号再生方法及び音声帯域信号伝送方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31895395A JP3184441B2 (ja) 1995-12-07 1995-12-07 音声帯域信号再生方法及び音声帯域信号伝送方法

Publications (2)

Publication Number Publication Date
JPH09162883A JPH09162883A (ja) 1997-06-20
JP3184441B2 true JP3184441B2 (ja) 2001-07-09

Family

ID=18104839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31895395A Expired - Lifetime JP3184441B2 (ja) 1995-12-07 1995-12-07 音声帯域信号再生方法及び音声帯域信号伝送方法

Country Status (1)

Country Link
JP (1) JP3184441B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4971213B2 (ja) * 2008-01-31 2012-07-11 パナソニック株式会社 Ip電話装置およびそのパケットロス補償方法

Also Published As

Publication number Publication date
JPH09162883A (ja) 1997-06-20

Similar Documents

Publication Publication Date Title
US4809271A (en) Voice and data multiplexer system
US6154466A (en) Data transmitting system
US5999985A (en) Method and apparatus for storing, searching and playback of items of information of a multimedia electronic mail system
US7099820B1 (en) Method and apparatus for concealing jitter buffer expansion and contraction
JPH0767087A (ja) 多重化信号のシリアル伝送方法、多重化信号のシリアル送信装置、受信装置及び送受信装置
JPS5915544B2 (ja) デイジタル信号多重伝送方式
JP3870490B2 (ja) 音楽演奏情報伝送方式
JP2001344905A (ja) データ再生装置、その方法及び記録媒体
KR20020002241A (ko) 디지털 오디오장치
EP0829875B1 (en) Method and device for encoding audio signal and method and device for decoding audio signal
JP4413852B2 (ja) 非同期式オーディオストリームを処理するための方法及び装置
JP3184441B2 (ja) 音声帯域信号再生方法及び音声帯域信号伝送方法
US20060143001A1 (en) Method for the adaptation of comfort noise generation parameters
US20020181606A1 (en) Embedding a first digital information signal into a second digital information signal for transmission via a transmission medium
KR100265234B1 (ko) Hd-dvcr을 위한 3중 에러정정 방법 및 그장치
JP3286110B2 (ja) 音声パケット補間装置
JP3977784B2 (ja) リアルタイムパケット処理装置及びその方法
JP2004518350A (ja) データストリームのロスレス伝送を保護する方法及び装置
KR0154005B1 (ko) 시스템 부호화기를 위한 재생시간정보 발생장치
JPH09205625A (ja) 映像音声多重化伝送装置の同期方法
JP2588529B2 (ja) 音声圧縮伝送装置
JPH0832621A (ja) 画像音声符号化データ伝送装置
JPH05244201A (ja) 音声セル送受信システム
JPH0936866A (ja) データ伝送システムおよびデータ伝送方法
JPH0936867A (ja) データ伝送方法およびその装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090427

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090427

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100427

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100427

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110427

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120427

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130427

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140427

Year of fee payment: 13

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term