JP3690428B2 - 音声応答処理システム - Google Patents

音声応答処理システム Download PDF

Info

Publication number
JP3690428B2
JP3690428B2 JP00628996A JP628996A JP3690428B2 JP 3690428 B2 JP3690428 B2 JP 3690428B2 JP 00628996 A JP00628996 A JP 00628996A JP 628996 A JP628996 A JP 628996A JP 3690428 B2 JP3690428 B2 JP 3690428B2
Authority
JP
Japan
Prior art keywords
voice
data
processing unit
memory
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00628996A
Other languages
English (en)
Other versions
JPH09198090A (ja
Inventor
毅 内海
博之 曽根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Nippon Telegraph and Telephone Corp
Original Assignee
Fujitsu Ltd
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Nippon Telegraph and Telephone Corp filed Critical Fujitsu Ltd
Priority to JP00628996A priority Critical patent/JP3690428B2/ja
Publication of JPH09198090A publication Critical patent/JPH09198090A/ja
Application granted granted Critical
Publication of JP3690428B2 publication Critical patent/JP3690428B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は音声応答処理システムに関し、更に詳しくは交換機網の音声応答サービスを提供する音声応答処理システムに関する。
【0002】
近年の音声応答サービスの多様化に伴い、音声応答処理システムに要求される機能が高度化している。このため、音声サービス時間の増加に伴うメモリ装置の容量の増大を抑制する必要がある。
【0003】
【従来の技術】
図8は従来システムの構成例を示すブロック図である。図において、1は各種音声データを格納するボイスメモリ(VM)、2は転送する音声データを記憶する中間メモリ、3は音声サービス要求を受けて音声データの組み合わせ順序を編集し、前記中間メモリ上にボイスメモリ1から読み出した音声データを記憶させる音声編集処理部、4は中間メモリ2に記憶されている音声データを出力回線に送出する音声転送処理部である。ボイスメモリ1には、音声データがPCM形式で格納されている。このように構成されたシステムの動作を説明すれば、以下のとおりである。
【0004】
音声サービス要求が来ると、音声編集処理部3は音声サービス要求に従って音声データを中間メモリ2に設定する。例えば、音声データ#1を▲1▼、音声データ#2を▲2▼として、▲1▼+▲2▼を3回繰り返す場合の中間メモリ2への音声データの設定は図9に示すようになる。即ち、音声編集処理部3は、ボイスメモリ1から▲1▼と▲2▼を読み出して、中間メモリ2内に順序格納していく。つまり、▲1▼,▲2▼,▲1▼,▲2▼,▲1▼,▲2▼という具合である。このようにして、中間メモリ2に音声データが設定されると、音声転送処理部4は、中間メモリ2に記憶された順に、出力回線に送出していく。
【0005】
【発明が解決しようとする課題】
前述した従来の音声データ転送の場合、音声データはデータ量が大きいため、繰り返し等を含む音声サービス時間の長いメッセージを実現するためには、時間長に比例した相当量の中間メモリが必要となる。また、部分的な繰り返し処理を実行する場合、繰り返しの先頭から最後の間にネストして部分的な繰り返しを指定した場合、時間長の制限が不可能になり、中間メモリ容量の算出が困難であった。ここで、ネストとは、繰り返し処理の中に更に別の繰り返し処理を含むことをいう。
【0006】
従って、中間メモリ容量によって、提供できる音声サービス時間に制限があり、また部分繰り返し処理内にネストして繰り返し処理を指定する音声サービスを提供できないという問題があった。
【0007】
本発明はこのような課題に鑑みてなされたものであって、音声サービスの長いメッセージ及び音声サービス内の部分的な繰り返しのネストを許容可能とし、転送処理速度を劣化することなく、中間メモリ容量を削減することができる音声応答処理システムを提供することを目的としている。
【0008】
【課題を解決するための手段】
図1は本発明の原理ブロック図である。図8と同一のものは、同一の符号を付して示す。図において、1は各種音声データを格納するボイスメモリ、2は転送する音声データに関する制御情報と繰り返し回数を記憶する中間メモリ、10は音声サービス要求を受けて音声データの組み合わせ順序を編集し、前記中間メモリ2上に設定する音声編集処理部、11は前記中間メモリ2に記憶されている情報に従ってボイスメモリ1を参照して音声データを読み出し送出する転送処理部である。
【0009】
この発明の構成によれば、前記音声編集処理部10は、音声サービス要求に従って中間メモリ2に音声データをそのまま格納していくのではなく、中間メモリ2には、ボイスメモリ1に記憶されている音声データを読み出していく順序や、繰り返し回数を格納する。従って、音声データをそのまま格納する従来のシステムに比較して、中間メモリ2の容量を削減することができる。また、前記音声編集処理部10は、音声サービス要求に従って中間メモリ2に音声データをそのまま格納していくのではなく、中間メモリ2には、ボイスメモリ1に記憶されている音声データを読み出していく順序や、繰り返し回数を格納する方式を採用するので、音声サービスの長いメッセージ及び音声サービス内の部分的な繰り返しのネストを許容可能とし、転送処理速度を劣化することがない。
【0010】
また、前記中間メモリ2は、前記ボイスメモリ1より送出する音声データを参照可能とするアドレス情報と、部分的な繰り返し要求に対応するための繰り返し回数、繰り返し先頭アドレスとで構成されることにより、音声転送処理部11は、この中間メモリ2に記憶されている内容に従って、ボイスメモリ1を参照して音声データを読み出し、出力回線へ送出することができる。
【0012】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態例を詳細に説明する。
図2は本発明の一実施の形態例を示すブロック図である。図1と同一のものは、同一の符号を付して示す。図において、20は音声応答処理システムに対して音声サービス要求を行なう制御装置、21は音声応答処理システムからの音声データを受けて音声を復元する音声復元装置である。その他の構成は、図1と同じである。このように構成されたシステムの動作を説明すれば、以下の通りである。
【0013】
制御装置20から音声サービス要求が、音声編集処理部10に出される。この時、音声サービス要求には、どのような音声データを何回繰り返すかということが、具体的な情報として出される。音声編集処理部10はこの音声サービス要求を受けると、該音声サービス要求を分析し、音声サービスを構成するための各種音声PCMデータをボイスメモリ1から検索し、そのアドレス情報とデータサイズを中間メモリ2に音声復元装置21への送出順に設定する。その後、制御装置20に音声サービス要求受け付けを応答する。
【0014】
なお、中間メモリ2上にはアドレス情報とデータサイズの他に付加情報を格納するエリアが設けられており(図3参照)、音声編集処理部10は、制御装置20から送出される音声サービス要求情報中の音声応答サービス内に部分的な繰り返しの先頭位置を検出した場合には、繰り返し回数を付加情報に設定し、最終位置を検出した場合には、繰り返し回数を初期化すると共に、中間メモリ2上の繰り返し先頭位置を付加情報に設定する。
【0015】
一方、音声転送処理部11は、音声PCMデータのサンプリング周期毎に周期的に起動され、中間メモリ2上に設定された音声データのアドレスよりボイスメモリ1内の音声データを参照して読み出し、出力回線に転送を行なう。そして、音声PCMデータを全て音声復元装置21に転送し終えた時点で、音声転送処理部11は制御装置20に対して音声サービス終了通知を行なう。なお、音声データの転送処理において、音声転送処理部11が部分繰り返し終了位置を検出した場合には、音声編集処理部10で付加された繰り返し回数をデクリメントし、繰り返し回数が残っている場合に、音声編集処理部10で付加された繰り返し開始位置のアドレスに従い、部分繰り返し開始位置まで戻り音声データを読み出す。
【0016】
また、繰り返し回数については、最終位置検出時点で中間メモリ2上の付加情報に更新した値を設定することで転送回数を制御し、部分繰り返し回数を満たした時点で、付加情報域を初期化することにより、繰り返しのネストにも対応可能となる。
【0017】
以上の説明より、音声応答サービスにおいて使用される中間メモリ量は、使用する音声データのサイズには依存せず、使用する音声データの数に依存することになる。また、部分繰り返しを含む音声応答サービス要求の場合には、中間メモリ2上には、音声データの数が固定されることになり、固定されたデータを必要回数だけ繰り返すことになる。従って、中間メモリ領域の削減が可能となる。
【0018】
このようにして、音声転送処理部11から読み出された音声データは、音声復元装置21に送出され、該音声復元装置21で音声として復元される。
図3は本発明で用いる中間メモリの構成例を示す図である。図において、30は記憶される音声データに関する音声データ単位で、音声データ先頭アドレス31と、音声データサイズ32と、個別情報1記憶部32と、個別情報2記憶部33より構成されている。このような音声データ単位30が必要な数(n個)だけ設定され、記憶されている。個別情報1には、部分繰り返し回数が設定され、個別情報2には、部分繰り返し先頭アドレスが設定される。
【0019】
このように、本発明によれば、前記中間メモリ2は、前記ボイスメモリ1より送出する音声データを参照可能とするアドレス情報と、部分的な繰り返し要求に対応するための繰り返し回数、繰り返し先頭アドレス情報とで構成されることを特徴としている。これにより、音声転送処理部11は、この中間メモリ2に記憶されている内容に従って、ボイスメモリ1を参照して音声データを読み出し、出力回線へ送出することができる。
【0020】
次に、音声データの繰り返し転送方法について、具体的に説明する。図4は本発明の動作説明図である。(a)は音声編集処理部10により中間メモリ2に設定された情報を、(b)はこの情報に基づいて音声データを転送する様子を示す。中間メモリ2において、▲1▼,▲2▼,▲3▼は転送する音声データの種類を示す。▲1▼において、A1は音声データ▲1▼の先頭アドレス、Q1は転送データ量、3は部分繰り返し回数であり、×はデータ無しを示す。▲2▼において、A2は音声データ▲2▼の先頭アドレス、Q2は転送データ量、2は部分繰り返し回数、A2は部分繰り返し先頭アドレスである。▲3▼において、A3は音声データ▲3▼の先頭アドレス、Q3は転送データ量、3は部分繰り返し回数、A1は部分繰り返し先頭アドレスを示す。図5は対応するボイスメモリ1の構成例を示す図である。先頭アドレスA1からデータ量Q1までは音声データ▲1▼、先頭アドレスA2から音声データQ2までは音声データ▲2▼、先頭アドレスA3からデータ量Q3までは音声データ▲3▼が記憶されている。このように構成された状態で、▲1▼+▲2▼+▲2▼+▲3▼(途中▲2▼が2回繰り返し)という音声データを3回繰り返す場合について説明する。
【0021】
音声転送処理部11は、先ず▲1▼の先頭アドレスA1を参照してボイスメモリ1をアクセスし、アドレスA1からデータ量Q1の音声データを読み出して送出する。この時、部分繰り返し回数データ3は1だけダウンカウントされ2になる。次に、音声転送処理部11は▲2▼の先頭アドレスA2を参照してボイスメモリ1をアクセスし、アドレスA2からデータ量Q2の音声データを読み出して送出する。この時、部分折り返し回数データ2は1だけダウンカウントされ1になる。次に、音声転送処理部11は▲2▼の部分繰り返し先頭アドレスがA2であることを認識すると、ボイスメモリ1をアクセスし、アドレスA2からデータ量Q2の音声データを読み出して送出する。そして、▲2▼の部分繰り返し回数データを1だけダウンカウントする。これにより、部分折り返しデータは0になる。部分折り返しデータが0であることを認識すると、音声転送処理部11は、この部分折り返し回数データを2に初期化する。
【0022】
次に、音声転送処理部11は、▲3▼の音声データの転送処理に入る。先ず、▲3▼の先頭アドレスA3を参照してボイスメモリ1をアクセスし、アドレスA3からデータ量Q3の音声データを読み出して送出する。この時、部分繰り返し回数データ3は1だけダウンカウントされ2になる。次に、▲3▼の部分折り返し先頭アドレスがA1になっているので、▲1▼に戻る。そして、ボイスメモリ1をアクセスし、アドレスA1からデータ量Q1の音声データを読み出して送出する。この時、部分繰り返し回数データ3は1だけダウンカウントされ1になる。
【0023】
次に、音声転送処理部11は▲2▼の先頭アドレスA2を参照してボイスメモリ1をアクセスし、アドレスA2からデータ量Q2の音声データを読み出して送出する。この時、部分折り返し回数データ2は1だけダウンカウントされ1になる。次に、音声転送処理部11は▲2▼の部分繰り返し先頭アドレスがA2であることを認識すると、ボイスメモリ1をアクセスし、アドレスA2からデータ量Q2の音声データを読み出して送出する。そして、▲2▼の部分繰り返し回数データを1だけダウンカウントする。これにより、部分折り返しデータは0になる。部分折り返しデータが0であることを認識すると、音声転送処理部11は、この部分折り返し回数データを2に初期化する。
【0024】
次に、音声転送処理部11は、▲3▼の音声データの転送処理に入る。先ず、先ず▲3▼の先頭アドレスA3を参照してボイスメモリ1をアクセスし、アドレスA3からデータ量Q3の音声データを読み出して送出する。この時、部分繰り返し回数データ3は1だけダウンカウントされ1になる。次に、▲3▼の部分折り返し先頭アドレスがA1になっているので、▲1▼に戻る。そして、ボイスメモリ1をアクセスし、アドレスA1からデータ量Q1の音声データを読み出して送出する。この時、部分繰り返し回数データ3は1だけダウンカウントされ0になる。
【0025】
次に、音声転送処理部11は▲2▼の部分繰り返し先頭アドレスがA2であることを認識すると、ボイスメモリ1をアクセスし、アドレスA2からデータ量Q2の音声データを読み出して送出する。そして、▲2▼の部分繰り返し回数データを1だけダウンカウントする。この時、部分折り返し回数データ2は1だけダウンカウントされ1になる。次に、音声転送処理部11は▲2▼の部分繰り返し先頭アドレスがA2であることを認識すると、ボイスメモリ1をアクセスし、アドレスA2からデータ量Q2の音声データを読み出して送出する。そして、▲2▼の部分繰り返し回数データを1だけダウンカウントする。これにより、部分折り返しデータは0になる。部分折り返しデータが0であることを認識すると、音声転送処理部11は、この部分折り返し回数データを2に初期化する。
【0026】
次に、音声転送処理部11は、▲3▼の音声データの転送処理に入る。先ず、先ず▲3▼の先頭アドレスA3を参照してボイスメモリ1をアクセスし、アドレスA3からデータ量Q3の音声データを読み出して送出する。この時、部分繰り返し回数データ3は1だけダウンカウントされ0になる。この時点で、全て音声データの転送が終了したことになる。音声転送処理部11は、制御装置20に音声サービス終了通知を出す。
【0027】
このように、本発明によれば、ネストして繰り返し処理を指定する音声サービスを実現できることになる。
図6,図7は本発明の動作シーケンスを示す図である。制御装置20(図2参照)から音声編集処理部10に音声サービス要求が来る(S1)。該音声サービス要求には種々の要求が入っている。該音声編集処理部10はボイスメモリ1にアクセスし、音声データを検索する(S2)。該音声編集処理部10は、ボイスメモリ1の検索結果に基づいて中間メモリ2に音声データの先頭アドレスを設定する(S3)。次に、音声応答サービス内に部分繰り返し先頭位置があるかどうかチェックする(S4)。部分繰り返し先頭位置がある場合には、音声編集処理部10は、中間メモリ2に部分繰り返し回数を付加情報として設定する(S5)。
【0028】
次に、音声編集処理部10は、音声応答サービス内に部分繰り返し最終位置があるかどうかチェックする(S6)。最終位置の音声データ(例えば、図2の音声データ#n)であった時には、音声編集処理部10は、その部分の音声データの部分繰り返し回数を中間メモリ2に設定し(S7)、次に部分繰り返し先頭位置を中間メモリ2に設定する(S8)。次に、音声編集処理部10は、音声応答サービス中の転送音声データの最終であるかどうかをチェックし(S9)、そうである場合には、制御装置20に対して音声サービス要求受け付けを返す(S10)。そうでない時には、ステップS2に戻り、音声データの検索を行なう。以上が音声編集処理部10による中間メモリ2への編集動作である。
【0029】
一方、音声転送処理部11は、周期的に起動されており、駆動がかかると、音声転送処理部11は、中間メモリ2の音声データアドレスを参照する(S11)。そして、参照結果に基づき、ボイスメモリ1を検索し(S12)、該ボイスメモリ1から音声データを取得する(S13)。音声転送処理部11は取得された音声データを音声復元装置21(図2参照)に転送する(S14)。次に、音声転送処理部11は部分繰り返し最終位置があるかどうかチェックする(S15)。ある場合には、中間メモリ2の部分繰り返し回数を1だけダウンカウントする設定を行なう(S16)。次に、中間メモリ2の部分繰り返し先頭位置を取得する(S17)。次に、音声転送処理部11は、部分繰り返し回数がOKか、つまり所定の値になったかどうかチェックする(S18)。所定の値になった場合には、部分繰り返しが終了したことになるので、部分繰り返し回数を初期化する(S19)。
【0030】
【発明の効果】
以上、詳細に説明したように、本発明によれば、各種音声データを格納するボイスメモリと、転送する音声データに関する制御情報と繰り返し回数を記憶する中間メモリと、音声サービス要求を受けて音声データの組み合わせ順序を編集し、前記中間メモリ上に設定する音声編集処理部と、前記中間メモリに記憶されている情報に従ってボイスメモリを参照して音声データを読み出し送出する転送処理部とを設けることにより、前記音声編集処理部は、音声サービス要求に従って中間メモリに音声データをそのまま格納していくのではなく、中間メモリには、ボイスメモリに記憶されている音声データを読み出していく順序や、繰り返し回数を格納するものであり、音声データをそのまま格納する従来のシステムに比較して、中間メモリの容量を削減することができる。また、前記音声編集処理部は、音声サービス要求に従って中間メモリに音声データをそのまま格納していくのではなく、中間メモリには、ボイスメモリに記憶されている音声データを読み出していく順序や、繰り返し回数を格納する方式を採用するので、音声サービスの長いメッセージ及び音声サービス内の部分的な繰り返しのネストを許容可能とし、転送処理速度を劣化することがない。
【0031】
また、前記中間メモリは、前記ボイスメモリより送出する音声データを参照可能とするアドレス情報と、部分的な繰り返し要求に対応するための繰り返し回数、繰り返し先頭アドレス情報とで構成されるので、音声転送処理部は、この中間メモリに記憶されている内容に従って、ボイスメモリを参照して音声データを読み出し、出力回線へ送出することができる。
【0032】
このように、本発明によれば、音声サービスの長いメッセージ及び音声サービス内の部分的な繰り返しのネストを許容可能とし、転送処理速度を劣化することなく、中間メモリ容量を削減することができる音声応答処理システムを提供することができる。
【図面の簡単な説明】
【図1】本発明の原理ブロック図である。
【図2】本発明の一実施の形態例を示すブロック図である。
【図3】本発明で用いる中間メモリの構成例を示す図である。
【図4】本発明の動作説明図である。
【図5】ボイスメモリの構成例を示す図である。
【図6】本発明の動作シーケンス例を示す図である。
【図7】本発明の動作シーケンス例を示す図である。
【図8】従来システムの構成例を示すブロック図である。
【図9】従来システムにおける繰り返し転送時の中間メモリの構成を示す図である。
【符号の説明】
1 ボイスメモリ
2 中間メモリ
10 音声編集処理部
11 音声転送処理部

Claims (1)

  1. 各種音声データを格納するボイスメモリと、
    該ボイスメモリより送出する音声データを参照可能とする音声データ先頭アドレス情報と、音声データサイズと、部分繰り返し回数と、部分繰り返し先頭アドレスを記憶する中間メモリと、
    音声サービス要求を受けて音声データの組み合わせ順序を編集し、前記中間メモリ上に設定する音声編集処理部と、
    前記中間メモリに記憶されている情報に従ってボイスメモリを参照して音声データを読み出し送出する音声転送処理部と
    を具備し、
    前記音声転送処理部が部分繰り返し位置を検出した場合には、音声編集処理部で付加された繰り返し回数をデクレメントし、繰り返し回数が残っていた場合に、音声編集処理部で付加された繰り返し開始位置のアドレスに従い、部分繰り返し位置まで戻り音声データを読み出し、
    また、前記繰り返し回数については、最終位置検出時点で中間メモリ上の付加情報に更新した値を設定することで転送回数を制御し、部分繰り返し回数を満たした時点で、付加情報を初期化するように構成されたことを特徴とする音声応答処理システム。
JP00628996A 1996-01-18 1996-01-18 音声応答処理システム Expired - Fee Related JP3690428B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00628996A JP3690428B2 (ja) 1996-01-18 1996-01-18 音声応答処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00628996A JP3690428B2 (ja) 1996-01-18 1996-01-18 音声応答処理システム

Publications (2)

Publication Number Publication Date
JPH09198090A JPH09198090A (ja) 1997-07-31
JP3690428B2 true JP3690428B2 (ja) 2005-08-31

Family

ID=11634237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00628996A Expired - Fee Related JP3690428B2 (ja) 1996-01-18 1996-01-18 音声応答処理システム

Country Status (1)

Country Link
JP (1) JP3690428B2 (ja)

Also Published As

Publication number Publication date
JPH09198090A (ja) 1997-07-31

Similar Documents

Publication Publication Date Title
JPH0630511B2 (ja) 局順可変の環状伝送システム
EP1508100A2 (en) Inter-chip processor control plane
JP3690428B2 (ja) 音声応答処理システム
JPS6054549A (ja) デ−タ伝送方法および装置
JP3395700B2 (ja) アドレステーブル2層化方法及びスイッチングハブ装置
CS602090A3 (en) Method of packet communication in information system
JP2953362B2 (ja) Lanのスイッチング装置
JPS5838016B2 (ja) 自動宛先付加装置
JP2953933B2 (ja) 網管理システムにおける受信メッセージの多段階データベース作成方式
JP3414486B2 (ja) ノードの通信装置
JP2602946B2 (ja) データ受信方式
JPH07143133A (ja) メモリ共用多層プロトコル処理装置
JPH0231904B2 (ja)
JPH1023101A (ja) データ転送インタフェース回路及びデータ転送方法
JP2002215567A (ja) Usb制御装置
JP2785322B2 (ja) 通信制御処理装置
JPH0369244A (ja) データ受信制御回路
JPH0683733A (ja) 受信制御方式
KR970057780A (ko) 셋탑 유닛 시스템에서의 스케줄러 데이타 이용방법
JPH0275248A (ja) パケット交換制御装置
JPH0440551A (ja) データ転送方式
JP2002135270A (ja) データの非同期転送方式
JPH1011394A (ja) メッセージ転送方法
JPH04290034A (ja) パケット交換方式
JPS62175043A (ja) ル−プ型通信システムにおける送受信制御方式

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050426

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050607

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090624

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100624

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120624

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120624

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130624

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees