JPH11261648A - データ中継装置およびデータ中継方法 - Google Patents

データ中継装置およびデータ中継方法

Info

Publication number
JPH11261648A
JPH11261648A JP6114698A JP6114698A JPH11261648A JP H11261648 A JPH11261648 A JP H11261648A JP 6114698 A JP6114698 A JP 6114698A JP 6114698 A JP6114698 A JP 6114698A JP H11261648 A JPH11261648 A JP H11261648A
Authority
JP
Japan
Prior art keywords
data
relay
multiplexed
stream
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6114698A
Other languages
English (en)
Other versions
JP3663893B2 (ja
Inventor
Keiko Tanigawa
桂子 谷川
Koji Tsukada
晃司 塚田
Toru Hoshi
徹 星
Toshimitsu Hayashi
俊光 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP6114698A priority Critical patent/JP3663893B2/ja
Priority to US09/252,283 priority patent/US6618368B1/en
Publication of JPH11261648A publication Critical patent/JPH11261648A/ja
Application granted granted Critical
Publication of JP3663893B2 publication Critical patent/JP3663893B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

(57)【要約】 【課題】電話の中継回線としてインターネットを利用
し、中継装置に多数の電話網を収容する音データ中継シ
ステムにおいて、同じ中継装置間に複数の中継ストリー
ムが生じた場合、対象ストリームを多重化して中継する
中継装置と、該GWの稼動状況を監視するコントロール
装置を提供する。 【解決手段】インターネットと公衆電話網との接点に音
通話を中継するGWを設置する。GWは電話から接続要
求を受信すると、中継先のGWを検索し、当該GW間で
通話を中継する。通信先GWとの間に複数のストリーム
が存在する場合、対象トリームの多重化を、予めネゴシ
エーションする手段と、対象ストリームを同一パケット
化する手段により、通信先アドレス情報等冗長なヘッダ
情報を削減する。インターネットに接続するコントロー
ル装置は、GWの稼動状況を定期的に収集し、運用管理
者へ通知することにより、運用管理者は各GWの稼動状
況を常に把握する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、マルチメディア通
信システムにおける、データ中継装置、データ中継方法
及びデータ中継多重化フォーマットに関する。
【0002】
【従来の技術】TCP/IPをベースとするインターネ
ットが急速に普及している。WWW(World Wid
e Web)という全世界的な情報通信システムがインタ
ーネットの普及にさらに拍車をかけている。
【0003】このような背景において、インターネット
に通信端末を接続し、音データをリアルタイムに送受信
し、電話同様の通話を提供するインターネット電話とい
われる通信システムが出始めており、通話をインターネ
ット上に統合しようという動きが活発になってきてい
る。特に、一般の電話機からインターネット内のアクセ
スポイントにアクセスし、そのアクセスポイントから電
話をかけたい相手に近いアクセスポイントまでをインタ
ーネットで、相手側のアクセスポイントからは公衆電話
網で電話をかけるタイプのインターネット電話が注目を
浴びている。インターネット電話については、“インタ
ーネット利用の格安電話 東京ー大阪間3分55円も登
場”(日経コミュニケーション 97/2/3)、“インタ
ーネット電話とテレビ電話”(PCWAVE 97/3 p
p.81)にまとめられている。
【0004】
【発明が解決しようとする課題】上記文献に記載の従来
の通信システムでは、1台の音データ中継装置(GW:
Gate Way)に複数の回線が収容されている場合、
各回線毎に音ストリームを生成して中継処理を行ってい
る。音情報をインターネット上に流す場合、音情報の他
に、これら通信システムが独自に、あるいは標準化団体
が規定したヘッダ、通信プロトコルの各レイヤが付加し
ていくヘッダ情報等、を付加してパケット化する。音情
報自体は、数十msとごく短い時間を単位としてパケッ
ト化する。このため、付加情報の方が音情報よりも数倍
大きくなってしまう。ある相手先GWとの間で複数の音
ストリームを中継する場合、各ストリームの付加情報の
内、共通の情報が多いにもかかわらず、必要以上の帯域
を取っていることになる。
【0005】例えば、インターネットで広く用いられて
いる通信プロトコルUDP/IPと業界標準化団体IE
TF(The Internet Engeneerin
g Task Force)で規定されたリアルタイム通
信プロトコルRTP(Real−Time Protoc
ol)をベースとしたパケットを見ると、音情報は30
ms分(符号化方式をG.723.1の5.3kbpsとす
ると)の20B、RTPヘッダが12B、UDPヘッダ
が8B、IPヘッダが20Bであるため、ヘッダ情報4
0Bは音情報の2倍のデータ長になってしまう。これに
各アプリケーションが付加するヘッダ情報があれば、ヘ
ッダが占める帯域が増加する。
【0006】本発明の目的は、多数回線を収容するGW
について、通信先GWが同じ複数のストリームについ
て、多重化できるストリームについて、多重化処理を行
うかどうかを通信相手のGWとネゴシエーションして、
通信相手が多重化処理をサポートしているかどうかを確
認するデータ中継方法及びデータ中継装置を提供するこ
とに有る。また、本発明の他の目的は、上記データ中継
装置を用い、該データ中継装置の動作状況を運用管理す
るためのコントロール装置を提供することにある。
【0007】
【課題を解決するための手段】上記課題を解決するため
に、本発明のデータ中継装置は、多重化したストリーム
のパケットフォーマットに、少なくとも該パケットが多
重化ストリームであるかどうかを示す識別子を有し、さ
らに同一通信相手との間に新たにストリームが発生した
際に多重化処理を行うかどうかをネゴシエーションする
手段とを備えることを特徴とする。また、このデータ中
継システムは、前記データ中継装置を運用管理するため
のコントロール装置を有し、該コントロール装置は前記
各データ中継装置が正常稼動しているかを監視する手段
と、前記各データ中継装置の中継ログ(電話をかけてき
た利用者の電話番号、電話をかけたい相手の電話番号、
通話開始時刻、通話終了時刻等)、中継パケットロスや
中継パケット通信遅延の状況を定期的に収集する手段
と、さらには前記各データ中継装置の稼動スケジューリ
ング情報を通知する手段とを備えることを特徴とする。
【0008】
【発明の実施の形態】まず、本発明の実施形態につい
て、図1ないし図9および図12ないし図19を参照し
て説明する。図1は、本発明の実施形態に関わる音デー
タ中継システムの構成例で、インターネット101と公
衆電話網102との接続点に音データ中継装置(以下、
GW)103が、インターネット101にコントロール
装置104が、公衆電話網に電話機105あるいは通信
端末106が接続されている。図2に、GW103及び
コントロール装置104の内部構成を示す。図2におい
て、GW103は、通信プログラム等が格納されている
メモリ201と、メモリ201のプログラムに基づく処
理を行なうCPU202と、蓄積装置203と、インタ
ーネット101や公衆電話網102で通信を行なうため
の通信網インターフェース制御部204と、発信側の電
話機105から受信したアナログ音データをディジタル
データヘ、通話中継相手のGW103から受信したディ
ジタルデータをアナログ音データヘ変換するディジタル
アナログ変換部205と、キーボードやマウス、ペン等
の入力装置206と、ディスプレイやスピーカ等の出力
装置207と、以上の各部を接続する内部バス208と
により構成される。前記蓄積装置203には、少なくと
も各GWが担当するエリアの電話番号とGWのアドレス
が組で登録されている。CPU202は、メモリ201
の通信プログラムを実行することで、図3に示す各制御
部、300の機能を実現する。コントロール装置104
は、前記GWを構成する機能のうち、ディジタルアナロ
グ変換部205以外を有する。
【0009】図3に示す、GW103の通信制御部30
0は、電話機接続処理部301、検索部302、コネク
ション設定部303、通話中継処理部304、中継状況
処理部305、管理データ処理部306、コネクション
管理テーブル307により構成される。通信制御部30
0において、電話機接続処理部301は、公衆電話網1
02から電話機105がアクセスしてきた場合は通話相
手の電話番号を取得し、前記電話機105から通話終了
通知を受信した場合は通話中継処理を終了してコネクシ
ョンを切断する。検索部302は、通話中継要求を受信
した場合、上記接続要求に含まれる相手電話機105の
電話番号から前記蓄積装置203内に格納されている通
話相手の端末を収容するGWのアドレス情報を検索す
る。コネクション設定部303は、通話中継相手のGW
との間のコネクションを設定し、通話中継相手のGW1
03から通話終了通知を受信した場合は通話中継処理を
終了してコネクションを切断する。通話中継処理部30
4は、前記ディジタルアナログ変換部205においてデ
ィジタル化された音データを通話中継相手のGW103
へ中継する。中継状況処理部305は、IPパケット通
信遅延やパケットロス等の中継品質を監視し、定期的に
再計算する。管理データ処理部306は、前記コントロ
ール装置104からのスケジュール情報や通信中継パラ
メータ等の管理データを受付ける。コネクション管理テ
ーブル307は、中継中の音データストリームの中継先
GW103のアドレス、該音データストリームは多重化
対象かどうか、どの回線が使用されているか、どの回線
が使用できないか等を格納するテーブルである。
【0010】図4は、前記通話中継処理部304の内部
構成を示す図で、通話中継処理部304は、前記ディジ
タルアナログ変換部205より受け取るディジタルデー
タを一時格納する入力バッファ402と、入力バッファ
402内に格納されているデータの内で行き先が同じデ
ータを多重化する多重化処理部403と、多重化処理を
実行するタイミングを保持する多重化タイミング取得部
404と、多重化タイミング取得部404が参照する現
在時刻情報を入手する時刻入手部405と、多重化した
ストリームあるいは各ストリームデータを通信網インタ
フェース制御部204を介してインターネット101へ
送信する送信処理部406と、通信網インタフェース制
御部204を経由してインターネット101からデータ
を受信する受信処理部407と、受信したデータが多重
化ストリームの場合に各ストリームへ分解する分解処理
部408と、分解処理部408において各ストリームへ
分けられたデータをディジタルアナログ変換部205へ
出力する前に一時格納する出力バッファ409により構
成される。ディジタルアナログ変換部205において
は、アナログデータをディジタルデータへ変換して圧縮
処理を行う符号化処理部401と、圧縮ディジタルデー
タを伸長してアナログデータへ変換する復号化処理部4
10とを有する。
【0011】図5は、前記中継状況処理部305の内部
構成を示す図で、中継状況処理部305は、現在時刻を
入手する時刻入手部501と、前記受信処理部407に
より受信したIPパケットが前記分解処理部408にて
各ストリームへ分解された後、各ストリームデータのロ
スを検出するパケットロス検出部502と、該ストリー
ムデータが遅延しているかどうかを判定するパケット遅
延判定部503と、パケットロス検出部502およびパ
ケット遅延判定部503より音データ中継状況を取得
し、前記コントロール装置104に中継状況を通知する
データを加工し、生成する中継状況通知処理部504に
より構成される。
【0012】図6に示す、コントロール装置104の通
信管理部600は、イベント取得部601、解析部60
2、中継品質パラメータ生成部603、スケジューリン
グ604、データ転送部605、中継状況データ収集部
606、中継状況データ加工部607、中継状況データ
出力部608により構成される。通信制御部600にお
いて、イベント取得部601は、該コントロール装置1
04を使用する運用管理者が前記入力装置206を用い
て何らかのイベントを入力した場合、該イベントを取得
する。解析部602は、イベント取得部601により取
得したユーザ入力イベントを解析し、内容によって各々
処理する処理部へ振り分ける。例えば、入力されたイベ
ントがあるGW103の稼動スケジュール変更要求コマ
ンドであった場合、スケジューリング処理を行うスケジ
ューリング処理部604へ、該稼動スケジュール変更要
求コマンドを渡す。中継品質パラメータ生成部603
は、入力されたイベントが前記解析部602により解析
された結果、あるGW103への中継品質に関するコマ
ンドである場合、要求に対する中継品質を表わすパラメ
ータを生成する。スケジューリング処理部604は、入
力されたイベントが前記解析部602により解析された
結果、あるGW103へのスケジューリングに関するコ
マンドである場合、要求に対するスケジュール設定、変
更等の該GW103へのコマンドを生成する。データ転
送部605は、中継品質パラメータ生成部603あるい
はスケジューリング処理部604から、各GW103へ
の何らかのデータ転送要求を受けた場合、該データを該
GW103へ送信する。中継状況データ収集部606
は、各GW103より定期的に送信されてくる中継状況
データを受付ける。中継状況データ加工部607は、中
継状況データ収集部606により集められた各GW10
3のIPパケット中継状況データを出力装置207に出
力する形式にするために解析し、加工する。中継状況デ
ータ出力部608は、前記中継状況データ加工部607
により解析し、加工されたデータを出力装置207への
出力処理を行う。例えば、出力装置としてディスプレイ
を用いている場合、ディスプレイへの表示処理を行う。
【0013】GW103が送受信するIPパケットに格
納する中継音データのパケットフォーマットの例を、図
12ないし図18に示す。図12において、1201は
本パケットがネットワーク上を流れる際のハードウェア
が付加するヘッダ情報であり、例えばEthernet
に接続している場合は、Ethernetのヘッダが付
加される。1202はIPレイヤが付加するヘッダ、1
203はUDPレイヤが付加するヘッダ、1204は当
該中継音パケットが多重化した音データを格納している
ことを示す識別子、1205は多重化した各音データの
識別子、1206は多重化した各音データの音データの
サイズ、1207は多重化した各音データである。多重
化しない場合は、1201から1203までのヘッダ情
報が1207の音データに対して別個に付加されること
になる。図13は、図12の中継音パケットフォーマッ
トの代替フォーマットの例である。1301は多重化さ
れている各音データの符号化方式を示す識別子である。
図14は、図12あるいは図13の中継音パケットフォ
ーマットの代替フォーマットの例である。1401は該
中継音パケットに多重化されているストリーム数を示
す。図15は、図12ないし図14の中継音パケットフ
ォーマットの代替フォーマットの一例である。1501
は該中継音パケットのパケットサイズを示す。なお該パ
ケットサイズには、1201ないし1203までのヘッ
ダのサイズは含まなくてもよい。図16は、図12ない
し図15の中継音パケットフォーマットの代替フォーマ
ットの一例である。1601は該中継音パケットに多重
化されている各音ストリームにおけるシーケンス番号を
示す。図17は、図12ないし図16の中継音パケット
フォーマットの代替フォーマットの一例である。170
1は該中継音パケットに多重化されている各音ストリー
ムにおける音データの発生タイムスタンプを示す。
【0014】図18は、図12ないし図16の中継音パ
ケットフォーマットの代替フォーマットの一例である。
本中継音パケットフォーマットは、標準化団体IETF
において規定されているリアルタイムプロトコルRTP
をベースにしたものである。1801はRTPのバージ
ョン情報、1802は該RTPパケット内パディングデ
ータの有無、1803は該RTPパケットのヘッダ部分
が拡張されているかどうか示すエリア、1804はマル
チキャスト環境での参加ホスト数、1805はマーカビ
ット、1806は該RTPパケットに格納されているデ
ータのペイロードタイプを示し、多重化パケットの場合
は多重化ストリームを格納していることを示すペイロー
ドタイプを示す。1801ないし1806は標準RTP
フォーマットである。1807ないし1812までは多
重化されている内の各音ストリームに関するエリアであ
り、多重化ストリーム数分1807ないし1812まで
が繰り返される。1807は各音ストリームのペイロー
ドタイプ(主に符号化方式を示す)を示すものであり、例
えば音データや映像データの場合、符号化方式を示す。
1808は各音ストリームにおけるシーケンス番号、1
809は各音ストリームにおけるタイムスタンプ、18
10は各音ストリームの発信者識別子、1811は各音
ストリームにおける音データのデータサイズ、1812
は各音ストリームにおける音データである。1801の
前にUDP、IP、ネットワーク各ヘッダが付く。
【0015】図19は、コネクション管理テーブル30
7のフォーマットの一例で、使用回線番号1901は前
記GWが収容する回線のシーケンス番号、1902は現
在この回線が使用されているかどうかを示し、1903
はこの回線が現在使用可能かどうかを示し、1904は
この回線の通話中継における通信遅延時間の許容時間
を、1905はこの回線のディジタル音データ送信用の
ポート番号を、1906は中継相手から中継されてくる
ディジタル音データ受信用のポート番号を、1907は
送信しているディジタル音データストリームの識別子
を、1908は中継先のGWのIPアドレスを、190
9は該ディジタル音データストリームが多重化対象スト
リームであるかどうかを示し、1910は該ディジタル
音データストリームの識別子を、1911は該ディジタ
ル音データストリームのIPパケットロス率を、191
2は該ディジタル音データストリームのIPパケットの
平均通信遅延時間を、1913は該ディジタル音データ
の符号化方式を示す。前記ロス率1911や平均遅延時
間1912は、前記中継状況処理部305にて定期的に
再計算し、前記コントロール装置へ中継品質状況データ
として通知する。
【0016】図7、図8に、GW103の通話中継処理
部304の処理の流れの一例を示す。図7は、インター
ネット101への発信側処理の流れを示し、図8は、イ
ンターネット101からの着信側処理の流れを示す。図
7において、GW103は、前記蓄積装置203に格納
されているGW通話中継プログラムが起動される等で通
話中継処理が開始されると(ステップ701)、複数の前
記ディジタルアナログ変換処理部205の内の各符号化
処理部401から符号化データを取得したら、取得デー
タが複数ストリームあるのかどうかを検出し(ステップ
702、yes)、取得した1つ以上のデータを前記入
力バッファ402へ一時格納する(ステップ703)。現
在時刻を入手し(ステップ704)、多重化タイミングに
なった場合(ステップ705、yes)、前記入力バッフ
ァ402内に取得したデータが存在するかどうかを検出
し(ステップ706、yes)、データがある場合は一つ
データを取り出す(ステップ707)。取り出したデータ
が前記コネクション管理テーブル307より中継先のG
W103への最初のストリームの場合(ステップ70
8、yes)、中継先GW103のアドレス情報や、送
信する音データに関するヘッダを付加してパケットを生
成する(ステップ711)。ステップ711で生成したパ
ケットを前記送信処理部406へ渡し(ステップ71
2)、通信プロトコルTCP(UDP)/IPを用いてイン
ターネット101へ送信する(ステップ713)。一方、
ステップ708において、既に同じ中継先GW103へ
のストリームが存在する場合、既に多重パケット化パケ
ットへの多重化処理をしたデータのうちで同じ中継先G
W103へのストリームに対応するデータが存在するか
どうかを検出し、該当するデータが存在する場合(ステ
ップ709、yes)、該当するパケットへ多重化する
(ステップ710)し、ステップ706以降の処理を実行
する。GW通話中継プログラム終了等のなんらかの終了
通知を受けた場合(ステップ714、yes)、一連の処
理を終了する。
【0017】図8において、GW103は、通話中継処
理が開始されると(ステップ801)、インターネット1
01からのパケット通信遅延の判定基準値を初期化し
(ステップ802)、インターネット101からのパケッ
ト到着を監視して、パケットの受信を待つ。パケットを
受信した場合(ステップ803、yes)、受信パケット
が多重化パケットかどうかを判定し、多重化パケットの
場合(ステップ804、yes)、前記分解処理部408
において各ストリームに分解し(ステップ805)、1ス
トリームになったデータを前記出力バッファ409へ一
時格納する(ステップ806)。現在時刻を入手し(ステ
ップ807)、前記復号化処理部410への出力タイミ
ングになるまで格納しておき、出力タイミングになった
場合は(ステップ808、yes)、復号化処理部410
へデータを出力し、復号化してディジタルデータをアナ
ログデータへ変換する(ステップ809)。前記中継状況
処理部305にて、受信パケットに格納されている情
報、例えばシーケンス番号やタイムスタンプからパケッ
トロスがあったかどうかを検出する(ステップ810)。
さらに、該パケットが遅延しているかどうかをステップ
802にて設定した判定基準と比較することにより、遅
延の有無を判定する(ステップ811)。ステップ807
にて入手した現在時刻より、前記コントロール装置10
4への中継状況データ通知タイミングになった場合(ス
テップ812、yes)、ステップ810およびステッ
プ811にて検出したパケットロス、パケット遅延状況
の通知データを生成して前記コネクション管理テーブル
307へデータを更新し(ステップ813)、前記コント
ロール装置104へ送信する(ステップ814)。
【0018】図9は、コントロール装置104の通信処
理部600の処理の流れの一例を示す図で、コントロー
ル装置104は、前記蓄積装置203に格納されている
音中継コントロールプログラムが起動される等で中継運
用管理が開始されると(ステップ901)、各GW103
それぞれに中継用初期パラメータを設定し、送信する
(ステップ902)。該中継用パラメータは、例えば、メ
ンテナンスのため2:00am..に中継処理を一時停止
する等のスケジューリングに関するものであったり、I
P音パケットの通信遅延の許容範囲や、あるGW103
の中継品質が悪化しているため、該GW103がサポー
トする回線数を減少させる等の中継品質に関するもの、
その他該音中継システムを運用する上で必要なデータを
示す。該コントロール装置104を管理する運用管理者
より、前記入力装置206を通して、何らかのイベント
入力があったかどうかを検出し、イベントが入力された
場合(ステップ903、yes)、該イベントを取得する
(ステップ904)。ステップ904にて取得したイベン
トの内容を解析し(ステップ905)、イベントに含まれ
ている該当GW103に対して、イベント内容による制
御データを生成し、TCP/IPで必要なヘッダ情報を
付加してパケット化する(ステップ906)。ステップ9
06にて生成された制御情報データを、前記データ転送
部605にて該当GW103に対し送信する(ステップ
907)。また、各GW103より、中継状況通知を受
信したかどうかを監視し、中継状況通知を受信した場合
(ステップ908、yes)、各GW103対応に該中継
状況通知から中継状況データを収集し、解析する(ステ
ップ909)。ステップ909にて解析された中継状況
データは、該コントロール装置を104を運用する運用
管理者が必要とする情報へ加工し(ステップ910)、加
工したデータを、該コントロール装置104が有する出
力装置207で出力可能な形式へ変換し、例えばディス
プレイ表示の場合は、加工した中継状況データを表示プ
ログラムが扱えるように処理し(ステップ911)、該出
力装置207へ出力する(ステップ912)。
【0019】本実施形態の音データ中継システムによれ
ば、前記コントロール装置が各GWの中継品質状況を監
視し、回線やGWダウン等トラブル発生時や、各GWへ
の稼動スケジューリング等を管理することが可能とな
る。
【0020】次に、本発明の他の実施形態を図10、図
11を参照して説明する。
【0021】本実施形態の音データ中継装置は、中継先
が同じ音データ中継装置のストリームが発生した場合、
中継先の音データ中継装置と該ストリームを多重化する
かどうかをネゴシエーションする処理を上記実施形態の
GW103に追加したものである。本方式を実現するシ
ステムの全体構成や、GW、コントロール装置の処理な
どは、上記実施形態(図1ないし図9、図12ないし図
19)と同じである。
【0022】図10は、本実施形態のGW103のコネ
クション設定部303の内部構成を示す図で、前記電話
機接続処理部301にて電話機105から中継要求を受
けつけた場合、前記検索部302にて中継先GW103
を検索した結果得られた該当GW103のアドレス情報
を入手して、該GW103に対してインターネット10
1を介して接続要求の発信処理を行う接続要求発信処理
部1001と、中継着信側GW103において、前記発
信側GW103からの接続要求を受付ける接続要求着信
処理部1002と、自GW103に接続している電話機
105あるいは中継相手のGW103からの接続終了通
知を受付け、コネクションの切断処理を行う接続終了着
信処理部1003と、前記接続要求発信処理部1001
あるいは前記接続要求着信処理部1002において受け
付けた新規コネクションを設定する際に、該コネクショ
ンは多重化処理を行うかどうかの判定を行い、中継先G
W103との間でネゴシエーションを行う多重化判定部
1004とを有する。
【0023】図11は、本実施形態のGW103のコネ
クション設定部303の発信側の処理の流れの一例を示
す図で、ステップ701で通話中継処理が開始された後
に、ある電話機105より電話がかかってきて、新規中
継ストリーム要求が発生した場合(ステップ1101、
yes)、前記多重化判定部1004において中継先G
W103との間で、該ストリームは多重化処理を行うか
どうかをネゴシエーションする(ステップ1102)。ス
テップ709で中継先が同じGW103へのデータが存
在する場合(ステップ708、yes)、当該ストリーム
は多重化処理対象ストリームかどうかを判定し、多重化
処理対象ストリームの場合(ステップ1103、ye
s)、以降の一連の多重化処理を行う。
【0024】なお、多重化処理のネゴシエーション方式
には、あらかじめ定めておくコマンドをやり取りする方
式以外にも、音情報の圧縮方式のネゴシエーション時に
合わせて行ったり、また各IPパケットのヘッダ部分の
バージョン情報を含める等で行っても良い。本実施形態
の音データ中継装置によれば、各中継ストリームを多重
化するか否かをあらかじめ中継先GW103とネゴシエ
ーションするため、多重化処理をサポートしてない音デ
ータ中継装置との間でも電話呼の中継を行うことが可能
となる。
【0025】次に、本発明のさらに他の実施形態を図2
0ないし図23を参照して説明する。本実施形態の音デ
ータ中継装置は、多重化データを送受信する場合、該多
重化データに含まれるいづれかの音ストリームに割り当
てられているUDPポートを使用して送受信する処理
を、上記実施形態のGW103に追加したものである。
本方式を実現するシステムの全体構成や、GW、コント
ロール装置の処理、パケットフォーマットなどは、上記
実施形態と同じである。図20は、本実施形態のGW1
03の通話中継処理部304の内部構成を示す図で、多
重対象の複数の音データを格納できるサイズを持つ、自
GW103が収容する回線数分あるいはさらに多重化デ
ータ用に該音データ中継システムに設置されているGW
103の設置数分の送信バッファ2001と、前記受信
処理部407において受信した多重データあるいは単一
の音データを一時格納する受信バッファ2002とをさ
らに有する。
【0026】図21は、本実施形態のGW103の発信
側の処理の流れの一例を示す。図21において、ステッ
プ701で通話中継処理が開始された後、自GW103
が収容する回線数分の送信バッファを初期化する(ステ
ップ2101)。各回線に対応する送信バッファのサイ
ズは、ネットワーク上でセグメント化されない値とす
る。該送信バッファにバッファリング(多重)される音デ
ータ数は、各音データの符号化方式により1ストリーム
時のパケット単位サイズが異なるため、不定である。ス
テップ709にて、取得した音データについて、中継先
GW103が同じ音データが存在すると判定された場
合、該取得音データのヘッダ情報を付加し(ステップ2
102)、該音データの中継先GW103に対する前記
送信バッファ2001へキューイングする(ステップ2
103)。ステップ2102で各音データに付加するヘ
ッダ情報は、例えばパケットフォーマットを図18で示
したRTP拡張フォーマットを取る場合、ペイロードタ
イプ1807に該音データの音符号化方式、例えばG.
723.1を用いている場合は「12」を、シーケンス
番号1808に該音データ送信を開始してからのパケッ
トシーケンス番号を、タイムスタンプ1809に該音デ
ータ送信を開始してからの音データのサンプル数を、S
SRC1810に該音データの送信者識別子を、サイズ
1811に該音データのデータサイズを設定する。この
場合、ステップ711で付加するヘッダ情報は、RTP
で規定されているヘッダ情報のうちで、バージョン情報
1801と、パディングの有無1802と、拡張の有無
1803と、貢献者数1804と、マーカビット180
5、多重の有無1806の6つの情報を示す。ステップ
2103で多重対象データをキューイングする送信バッ
ファ2001は、既に送信バッファへのキューイング処
理が終了している、同じ中継先へのデータがキューイン
グされている送信バッファを使用し、処理済の音データ
に続けてキューイングする。多重データの送信に用いる
UDPポートは、該多重対象データをキューイングした
送信バッファに対応している中継ストリームに割り当て
られているものを使用する。あるいは、多重データがキ
ューイングされている送信バッファの最後にキューイン
グされた多重対象データに割り当てられているものを使
用しても良い。なお、UDPポートの扱いに関して、送
信及び受信それぞれに使用するUDPポートを常に同じ
に値に設定すれば、単一ストリーム、多重化ストリーム
に関わらず、送信、受信それぞれ一つずつのUDPポー
トを使用することもできる。この際、送信ポート、受信
ポートは別ではなく同じでも構わない。
【0027】図22に、本実施形態のGW103の多重
化データの送受信に使用するUDPポートの設定方法の
変形例の発信側の処理の流れの一例を示す。本処理は、
多重化データ用のUDPポートを、該音データ中継シス
テム内に設置されているGW103の設置数分持ち、多
重化データが発生した場合、単一のストリームとして送
受信に使用していたUDPポートから、該多重化用のU
DPポートに変更するものである。図22において、ス
テップ701で通話中継処理が開始された後、自GW1
03が収容する回線数と該音データ中継システム内に設
置されているGW103の設置数分の送信バッファ20
01を初期化し、送信バッファ2001数分のUDPポ
ートを確保する(ステップ2201)。この際、各多重化
データ送受信用のポートと当該ポートを使用する中継先
の音データ中継装置のIPアドレスとを対応づけて組と
して保持する。ステップ709にて、取得したデータと
同じ中継先GW103のデータが存在すると判定した場
合、ステップ2102において取得データに対して該取
得データに対応するヘッダ情報を付加した後、ステップ
709にて判定された中継先GW103が同じデータを
中継先GW103に対応する多重化用の送信バッファ2
001へ移行し、該取得データを同じ多重化用の送信バ
ッファ2001へキューイングする(ステップ220
2)。この際、取得データが、多重対象ストリームの3
本目以降のストリームである場合、既に2本目のストリ
ームまでの多重化用送信バッファ2001への移行は処
理されているため、取得データのみのキューイング処理
を行う。
【0028】本実施形態の音データ中継装置によれば、
図21の送信方法の場合は、多重化用のリソース(ポー
ト、バッファ)を特に必要とせず、各ストリームを個別
に送信する場合と同じリソースで多重ストリームを中継
することが可能である。図22の送信方法の場合は、多
重化ストリームと単一ストリームのUDPポートが分け
られているため、例えば、多重化ストリームに割り当て
られているポート番号を使用することにより、多重化ス
トリームへの優先制御や帯域制御を容易に行うことが可
能である。
【0029】以上説明した各実施形態においては、音デ
ータについて述べたが、これに限らず、ディジタル化さ
れた各種マルチメディアデータたとえば、動画データ、
または、音と動画とを含むデータに、同様に適用できる
ことは明らかである。上述の各実施形態を実現するプロ
グラムは、フロッピーディスク、CD−ROMなどの記
憶媒体に格納して配付することが可能である。
【0030】
【発明の効果】本発明によれば、多数の回線を収容する
GWについて、あるGW間にストリーム中継要求が発生
した場合、該ストリームの多重化処理を行うかどうかを
ネゴシエーションすることにより、多重化機能を持たな
いGWとの単独ストリームの相互接続が可能となる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る音データ中継装置の全
体構成図である。
【図2】GWおよびコントロール装置の構成図である。
【図3】GWの通信制御部の構成図である。
【図4】GWの通話中継処理部の構成図である。
【図5】GWの中継状況処理部の構成図である。
【図6】コントロール装置の通信制御部の構成図であ
る。
【図7】GWの通話中継処理部のインターネットへの発
信側処理の流れ図である。
【図8】GWの通話中継処理部のインターネットからの
受信側処理の流れ図である。
【図9】コントロール装置の中継状況管理処理の流れ図
である。
【図10】他の実施形態のGWのコネクション設定部の
構成図である。
【図11】他の実施形態のGWのコネクション設定部お
よび通話中継処理部のインターネットへの送信側処理の
流れ図である。
【図12】本発明の実施形態に用いる中継音パケットフ
ォーマット例である。
【図13】本発明の実施形態に用いる中継音パケットフ
ォーマット例である。
【図14】本発明の実施形態に用いる中継音パケットフ
ォーマット例である。
【図15】本発明の実施形態に用いる中継音パケットフ
ォーマット例である。
【図16】本発明の実施形態に用いる中継音パケットフ
ォーマット例である。
【図17】本発明の実施形態の中継音パケットフォーマ
ット例である。
【図18】本発明の実施形態の中継音パケットフォーマ
ット例である。
【図19】本発明の実施形態に用いるコネクション管理
テーブルフォーマットの一例である。
【図20】本発明の実施形態に用いる通話中継処理部の
構成図である。
【図21】他の実施形態のGWの通話中継処理部のイン
ターネットへの送信側処理の一例である。
【図22】他の実施形態に用いるGWの通話中継処理部
のインターネットへの送信側処理の一例である。
【符号の説明】
101・・・インターネット、102・・・公衆電話
網、103・・・GW、104・・・コントロール装
置、300・・・通信制御部、303・・・コネクショ
ン設定部、304・・・通話中継処理部、600・・・
通信管理部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI H04L 12/56 H04L 11/08 H04M 3/00 11/20 102A 3/42 11/00 303 (72)発明者 林 俊光 神奈川県海老名市下今泉810番地 株式会 社日立製作所オフィスシステム事業部内

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】公衆電話網間をインターネットで接続して
    データストリームをIPパケット化して中継するデータ
    中継システムであって、中継する複数のデータストリー
    ムのうち、通信相手のIPアドレスが共通するストリー
    ムが存在する場合、該共通するIPアドレスに、非共通
    部を多重化した多重化データを付加して送信するデータ
    中継装置と、前記データ中継装置の運用管理を行うコン
    トロール装置とを備え、 前記データ中継装置は、入力装置と、出力装置と、アナ
    ログ音をディジタルデータへ、ディジタルデータをアナ
    ログ音へ変換するディジタルアナログ変換部と、前記公
    衆電話網やインターネット等の通信網からのデータの受
    信処理、前記通信網へのデータ送信処理を行う通信網イ
    ンタフェース制御部と、前記公衆電話網を介して電話機
    との通信制御を行う電話機接続処理部と、発信側の電話
    機から受けた電話番号から中継先の前記データ中継装置
    を検索する検索部と、前記検索部による結果得られた中
    継先データ中継装置との間で前記インターネットを介し
    て呼制御を行うコネクション設定部と、中継先データ中
    継装置との間で前記インターネットを介してデータの多
    重化処理を行って送受信する通話中継処理部と、前記通
    話中継処理部により受信したデータの受信状況を監視す
    る中継状況処理部と、前記中継状況処理部により得られ
    た中継状況を前記コントロール装置へ、前記コントロー
    ル装置からの通話中継に必要なデータを取得して前記通
    話中継処理部へ反映させる管理データ処理部とを行う通
    信制御とを備え、 前記コントロール装置は、キーボード、マウス、マイク
    等の入力装置と、ディスプレイ、スピーカ等の出力装置
    と、前記インターネットとのデータ送受信処理を行う通
    信網インタフェース制御部と、前記入力装置から入力さ
    れたイベントを解析し、前記入力イベントが前記データ
    中継装置へ転送するデータである場合は前記インターネ
    ットを介してデータを転送し、前記データ中継装置から
    前記インターネットを介してデータを受信し、該受信デ
    ータを加工し、前記出力装置への出力処理を行う通信管
    理部とを備え、 前記コントロール装置は、前記各データ中継装置が正常
    稼動しているかを監視する手段と、前記データ中継装置
    間のデータ通信状況、少なくとも、前記各データ中継装
    置の稼動状況、受信パケットのパケットロス状況、パケ
    ット遅延状況、電話をかけてきた時刻及び切断時刻、電
    話をかけてきたユーザの電話番号及び電話をかける相手
    の電話番号を定期的に収集する手段と、収集した情報を
    加工する手段と、前記ディスプレイに表示する等、該デ
    ータ中継システムを運用管理する管理者に現在のデータ
    通信状況を通知する手段と、該データ中継システムを運
    用管理する管理者からの情報を前記入力装置を介して取
    得する手段と、該取得情報を前記データ中継装置に通知
    する手段と有することを特徴とするデータ中継システ
    ム。
  2. 【請求項2】請求項1記載のデータ中継システムに用い
    る前記コントロール装置において、 前記コントロール装置が管理する情報は、さらに前記各
    データ中継装置の運転スケジューリング情報であること
    を、特徴とするコントロール装置。
  3. 【請求項3】インターネットで公衆電話網間を接続し
    て、IPパケットでデータストリームを中継する方法で
    あって、 複数のデータストリームを中継している際に、通信相手
    のIPアドレスが共通するストリームが新たに発生した
    場合、該通信相手のデータ中継装置との間で、該新しい
    ストリームを多重化して中継するかどうかのネゴシエー
    ションを行い、ネゴシエーションの結果、多重化すると
    判定された場合に、前記多重化データを生成して送受信
    するデータ中継方法。
  4. 【請求項4】請求項1記載のデータ中継システムに用い
    る多重化データ構造において、前記多重化データは、少
    なくとも、多重化データであることを示す識別子と、各
    ストリームの識別子と、各ストリームのデータと、各ス
    トリームのデータ長とから構成されることを特徴とする
    多重化データ構造。
  5. 【請求項5】請求項4記載の多重化データ構造におい
    て、前記多重化データは、各ストリームの音符号化方式
    を示す識別子を有することを特徴とする多重化データ構
    造。
  6. 【請求項6】請求項4または5記載の多重化データ構造
    において、前記多重化データは、該多重化データに含ま
    れるストリーム数を示すフィールドを有することを特徴
    とする多重化データ構造。
  7. 【請求項7】請求項4ないし6いずれか一記載の多重化
    データ構造において、前記多重化データは、該多重化デ
    ータのデータ長を示すフィールドを有することを特徴と
    する多重化データ構造。
  8. 【請求項8】請求項4ないし7いずれか一記載の多重化
    データ構造において、前記多重化データは、該多重化デ
    ータ内に含まれる各ストリーム毎にシーケンス番号を示
    すフィールドを有することを特徴とする多重化データ構
    造。
  9. 【請求項9】請求項4ないし8いずれか一記載の多重化
    データ構造において、前記多重化データは、該多重化デ
    ータ内に含まれる各ストリーム毎に時間情報を示すフィ
    ールドを有することを特徴とする多重化データ構造。
  10. 【請求項10】請求項4ないし9いずれか一記載の多重
    化データ構造において、該データ中継装置が音のみなら
    ず映像や他のメディアの中継をも兼ねる場合、前記多重
    化データは、映像データや他のメディアデータを格納す
    るフィールドを有することを特徴とする多重化マルチメ
    ディアデータ構造。
  11. 【請求項11】請求項1ないし3いずれか一記載のデー
    タ中継装置において、 中継データをUDPを用いて送受信する場合、新たに中
    継要求が発生した際、 前記コネクション設定部に、該新データストリームに他
    の既に存在する複数のデータストリームとは異なる個別
    のUDPポートを割り当てる手段と、前記通話中継処理
    部に、前記複数のデータストリームの内で、通信先のデ
    ータ中継装置が同じで多重化対象となるデータストリー
    ムが存在する場合に、該多重化データの送受信に使用す
    るUDPポートには、該多重化データに含まれる各デー
    タストリームのいずれかに割り当てられているUDPポ
    ートを選択する手段と、該多重化データを選択したUD
    Pポートを使用して送信する手段とを有することを特徴
    とするデータ中継装置。
  12. 【請求項12】請求項1ないし3いずれか一記載のデー
    タ中継装置及びコントロール装置を持つデータ中継シス
    テムにおいて、 前記コントロール装置は、前記通信管理部に、管理する
    該データ中継システム内に接続するデータ中継装置の数
    を使用者が入力したデータより取得する手段と、前記入
    力手段により取得した前記データ中継装置数を含むコマ
    ンドをIPパケットへパケット化する手段と、前記手段
    によりパケット化されたデータ中継装置数を前記各デー
    タ中継装置へ通知する手段と、 前記各データ中継装置は、前記コントロール装置から通
    知される前記データ中継装置を通知するIPパケットを
    受付ける手段と、前記手段により受けたIPパケットに
    パケット化されているデータを解析する手段と、前記手
    段により解析されたIPパケットに含まれるデータがデ
    ータ中継装置数の場合、多重化データ送受信用のポート
    を当該データ中継装置数分保持する手段と、少なくと
    も、各多重化データ送受信用のポートと当該ポートを使
    用する中継先のデータ中継装置の何らかの識別子とを対
    応づけて組として保持する手段と、新たな中継要求が発
    生した際、当該中継データの中継先との間に既に中継し
    ているデータが存在する場合、各中継先のデータ中継装
    置に対応する前記多重化用のUDPポートを取得する手
    段と、前記既に中継していた非多重化ストリームが使用
    していたUDPポートから、前記手段により取得した、
    中継先のデータ中継装置毎に設定されている多重化用の
    UDPポートへ変更する手段と、前記多重化データの送
    受信には前記手段により変更した各データ中継装置に対
    応づけられた多重化用の各ポートを使用して送受信する
    手段とを有することを、特徴するデータ中継システム。
  13. 【請求項13】請求項1ないし3いずれか一記載のデー
    タ中継装置に関して、 前記各データ中継装置は、他のデータ中継装置とのデー
    タ送受信に使用するUDPポートとして、多重化、非多
    重化に関わらず、送信用受信用各一つのUDPポートを
    使用することを特徴とするデータ中継装置。
  14. 【請求項14】請求項1ないし13いずれか一記載のデ
    ータ中継システムに用いられる該データ中継プログラム
    を格納する記憶媒体。
JP6114698A 1998-02-19 1998-03-12 データ中継システム Expired - Fee Related JP3663893B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP6114698A JP3663893B2 (ja) 1998-03-12 1998-03-12 データ中継システム
US09/252,283 US6618368B1 (en) 1998-02-19 1999-02-18 Data gateway and method for relaying data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6114698A JP3663893B2 (ja) 1998-03-12 1998-03-12 データ中継システム

Publications (2)

Publication Number Publication Date
JPH11261648A true JPH11261648A (ja) 1999-09-24
JP3663893B2 JP3663893B2 (ja) 2005-06-22

Family

ID=13162687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6114698A Expired - Fee Related JP3663893B2 (ja) 1998-02-19 1998-03-12 データ中継システム

Country Status (1)

Country Link
JP (1) JP3663893B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151174A (ja) * 2003-11-14 2005-06-09 Sharp Corp 通信監視装置およびデータ端末装置
US6987771B2 (en) 2000-05-30 2006-01-17 Mitsubishi Denki Kabushiki Kaisha Route optimization method and agent apparatus
US7397819B2 (en) 2002-11-08 2008-07-08 Nec Infrontia Corporation Packet compression system, packet restoration system, packet compression method, and packet restoration method
JP2009524960A (ja) * 2006-01-27 2009-07-02 シーメンス アクチエンゲゼルシヤフト 少なくとも1つのペイロードデータコネクションを少なくとも1つのマルチプレックスコネクションへ割り当てるための方法
JP2014212373A (ja) * 2013-04-17 2014-11-13 防衛省技術研究本部長 多重分離伝送システム
JP2018019116A (ja) * 2016-07-25 2018-02-01 サクサ株式会社 VoIP(Voice over Internet Protocol)装置
JP2021534618A (ja) * 2018-08-03 2021-12-09 中興通訊股▲ふん▼有限公司Zte Corporation トラフィック伝送方法、装置及びコンピュータ記憶媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6987771B2 (en) 2000-05-30 2006-01-17 Mitsubishi Denki Kabushiki Kaisha Route optimization method and agent apparatus
US7397819B2 (en) 2002-11-08 2008-07-08 Nec Infrontia Corporation Packet compression system, packet restoration system, packet compression method, and packet restoration method
JP2005151174A (ja) * 2003-11-14 2005-06-09 Sharp Corp 通信監視装置およびデータ端末装置
JP2009524960A (ja) * 2006-01-27 2009-07-02 シーメンス アクチエンゲゼルシヤフト 少なくとも1つのペイロードデータコネクションを少なくとも1つのマルチプレックスコネクションへ割り当てるための方法
JP2014212373A (ja) * 2013-04-17 2014-11-13 防衛省技術研究本部長 多重分離伝送システム
JP2018019116A (ja) * 2016-07-25 2018-02-01 サクサ株式会社 VoIP(Voice over Internet Protocol)装置
JP2021534618A (ja) * 2018-08-03 2021-12-09 中興通訊股▲ふん▼有限公司Zte Corporation トラフィック伝送方法、装置及びコンピュータ記憶媒体

Also Published As

Publication number Publication date
JP3663893B2 (ja) 2005-06-22

Similar Documents

Publication Publication Date Title
US6618368B1 (en) Data gateway and method for relaying data
US7656861B2 (en) Method and apparatus for interleaving text and media in a real-time transport session
US7548539B2 (en) Method and apparatus for Voice-over-IP call recording
KR100551859B1 (ko) 패킷 처리 장치
US7970014B2 (en) Method of providing a real-time communication connection
US7283517B2 (en) Stand alone multi-media terminal adapter with network address translation and port partitioning
US6173044B1 (en) Multipoint simultaneous voice and data services using a media splitter gateway architecture
US6389038B1 (en) Voice IP bandwidth utilization
US20050180397A1 (en) Call processing system and method in a voice and data integrated switching system
US5610920A (en) Coupling of voice and computer resources over networks
US20020078151A1 (en) System for communicating messages of various formats between diverse communication devices
CN1777152B (zh) 媒体网关和服务器之间的数据传输
JP4167985B2 (ja) パケット・ヘッダを圧縮する方法と装置
JP2001186193A (ja) Ip通信インタフェース装置、回線交換機及びip通信ネットワークシステム
US7486629B2 (en) System for controlling conference circuit in packet-oriented communication network
JPH11261648A (ja) データ中継装置およびデータ中継方法
CN1761241B (zh) 利用加密在分组通信网络中处理语音数据
US20050053052A1 (en) Client-server architecture for the delivery of broadband services
JP4275265B2 (ja) 呼制御サーバおよび音声データ通信方法
US20050135346A1 (en) Transmitting apparatus
EP1475929B1 (en) Control component removing encoded frames from isochronous telecommunication stream
JP4212380B2 (ja) データパケット送信装置
JPH11234338A (ja) データ中継方法及び中継装置
CN116582521A (zh) 一种多人视频端会议数据处理系统及方法
JP2004336144A (ja) マルチメディア情報通信システムとその構内交換装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090408

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090408

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100408

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110408

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120408

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120408

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130408

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees