JP3777279B2 - データ通信システム並びにデータ受信端末及びデータ送信端末 - Google Patents

データ通信システム並びにデータ受信端末及びデータ送信端末 Download PDF

Info

Publication number
JP3777279B2
JP3777279B2 JP36125699A JP36125699A JP3777279B2 JP 3777279 B2 JP3777279 B2 JP 3777279B2 JP 36125699 A JP36125699 A JP 36125699A JP 36125699 A JP36125699 A JP 36125699A JP 3777279 B2 JP3777279 B2 JP 3777279B2
Authority
JP
Japan
Prior art keywords
data
quality
transmission
terminal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP36125699A
Other languages
English (en)
Other versions
JP2001177573A (ja
Inventor
英明 渡辺
崇 浜野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP36125699A priority Critical patent/JP3777279B2/ja
Priority to US09/735,887 priority patent/US7061863B2/en
Publication of JP2001177573A publication Critical patent/JP2001177573A/ja
Application granted granted Critical
Publication of JP3777279B2 publication Critical patent/JP3777279B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/64Hybrid switching systems
    • H04L12/6418Hybrid transport
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/64Hybrid switching systems
    • H04L12/6418Hybrid transport
    • H04L2012/6472Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/64Hybrid switching systems
    • H04L12/6418Hybrid transport
    • H04L2012/6475N-ISDN, Public Switched Telephone Network [PSTN]

Description

【0001】
【発明の属する技術分野】
本発明は、データ通信システム並びにデータ受信端末及びデータ送信端末に関し、特に、データ受信端末において受信データのリアルタイム出力と蓄積とを並行して行なうのに好適な、データ通信システム並びにデータ受信端末及びデータ送信端末に関する。
【0002】
【従来の技術】
図10はTCP/IP(Transmission Control Protocol/Internet Protocol)ネットワークを利用したデータ通信システムの構成を示すブロック図で、この図10に示すデータ通信システム100は、それぞれTCP/IPに準拠した複数の通信ネットワーク101と複数のルータ102とで構築されたTCP/IPネットワーク105に、送信端末103と複数の受信端末104とが接続されて成っており、例えば、送信端末103から、或るサービス〔例えば、VOD(Video On Demand)〕についてのデータを複数の受信端末104へ配信することができるようになっている。
【0003】
ここで、このように、或る送信端末103から複数の受信端末104へ同じデータを送信(配信)する場合、TCP/IPでは、受信端末104毎にデータの送信を行なうのではなく、マルチキャストと呼ばれる技術を適用して、受信端末104の数が増加しても送信端末103自身のデータ送信量は増やさないようにするのが一般的である。
【0004】
具体的には、各ルータ102がマルチキャストデータを受信すべき端末104の存在する(接続されている)ネットワーク101を把握し、必要に応じて、各ルータ102が、受信したマルチキャストデータを複製して他の通信ネットワーク101へ配送することが行なわれる。従って、送信端末103は、マルチキャストデータを1度だけ送信すれば、各ルータ102においてそのマルチキャストデータが必要な数だけ複製・転送されてゆき、最終的に、必要台数分のマルチキャストデータがTCP/IPネットワーク105内で生成されて、各受信端末104に配信されることになる。
【0005】
ところで、TCP/IPネットワーク(以下、単に「ネットワーク」という)105では、データ転送中に様々な要因により伝送エラーが生じ、受信端末104で得られたデータ中にデータ欠落が起こる場合がある。このようなネットワーク105におけるデータ損失については、TCPにおける再送処理プロトコル(アプリケーション)を適用することで解決することが可能である。
【0006】
しかしながら、例えば図11に示すように、上記のデータ通信システム100が、送信端末103からネットワーク105を介して或る受信端末104へAV(Audio & Video) データ(マルチメディアデータ)を送信し、受信端末104において、そのAVデータをリアルタイムに再生して表示装置(ディスプレイ等)104aやスピーカ104bへ出力するようなAVデータ配信システムとして構築される場合、AVデータは次のような特徴をもつため、再送処理はなるべく行なわないようにするのが一般的である。
【0007】
▲1▼AVデータはデータ量が非常に多いため、再送処理を繰り返すと、受信端末104の数に比例して、送信端末103の送信処理負荷が増大する。また、ネットワーク帯域が圧迫され、同じネットワーク105を使った他のデータ通信に及ぼす影響が大きい。
▲2▼再送が完了するまで受信端末104はAVデータを再生できないので、大きな遅延時間が生じる(リアルタイム通信の意義が薄れる)。
【0008】
▲3▼AVデータの場合、受信端末104でデータの欠落があっても再生画像や音声の品質が一時的に少し低下する程度であれば運用上は問題なしとみなすことができる。
このため、AVデータは、多くの場合、TCP/IPプロトコルファミリーである、仕様自体に再送制御が含まれていないUDP(User Datagram Protocol)と呼ばれるプロトコルを用いて伝送される。ただし、本UDPを使う場合でもその上位層(例えば、アプリケーション層)でデータの再送制御機能を実装することは可能である。
【0009】
このようにUDPによるデータ伝送に再送制御機能を実装した場合、受信端末104の数が多くなってくると、1つの送信端末103では再送処理が事実上不可能となるため、マルチキャスト技術の分野では、高信頼マルチキャスト技術(Reliable Multicast)と呼ばれる様々な方式が提案されている。例えば、受信端末104からの再送要求をネットワークの中間に位置する装置でまとめてから送信端末103へ再送要求を送信することで、送信端末103における再送処理の回数を減らす方法や、送信端末103と受信端末104との間(ネットワーク105内)に位置する装置(ルータ102等)が要求された再送データをもっていれば、送信端末103に変わって再送を代行するローカルペリアと呼ばれる技術等がある。
【0010】
ところで、このようなAVデータ配信システム100において、会議の状況や監視カメラの画像,音声情報などを送信端末103がAVデータとして受信端末104へリアルタイムに伝送するような場合、送信端末103が送信したデータが受信端末104で再生されるまでの遅延時間を極力短縮することが要求される。特に、音声データを送信する場合は、受信データが途切れると再生音も途切れて聴取者が違和感を覚えるため、なるべくデータが途絶えないように伝送しなければならない。
【0011】
しかし、例えば、同じネットワーク105を使って他のデータ通信が行なわれ、ネットワーク帯域が圧迫されている状況では、送信するAVデータのレート(送信データ量)を下げないと、受信側での再生音が途切れ、その時間分だけ再生遅延時間が増加することになる。
このような事態を避けるには、送信端末103側にAVデータ転送に使うネットワーク帯域が狭くなっていることを検出する手段を設け、利用可能な帯域が狭くなっている場合には送信端末103側で送出するデータのレートを下げる制御を行なうことが有効である。
【0012】
例えば、送信端末103が、音声データを、通常時は44.1kHzでサンプリングし圧縮符号化して、ステレオ2チャンネル(256kbps)で送信していると仮定する。そして、この送信中に、送信端末103が、受信端末104との間で利用可能なネットワーク帯域が減少してきたことを検出すると、例えば、送信データの品質をステレオ2チャンネル(128kbps)→モノラル(46kbps)というように段階的に落とす。
【0013】
これにより、送信端末103からの送信データ量が減るため、受信端末104側での再生音の遅延を防止することができる。また、送信データ品質を段階的に落とすことで、聴取者に品質の変動を意識させないようにすることができる。なお、ネットワーク105の混雑が回復すれば、上記とは逆に、送信データ品質を段階的に上げることで、本来の品質でデータが再生されるようにする。
【0014】
ところで、利用可能なネットワーク帯域の減少に伴って送信データ量を削減する手法としては、上述したようなレート制御以外に、例えば、特開平7−75092号公報に示されるように、送信レートはそのままで動画像データの解像度を落とす手法も提案されている。即ち、利用可能なネットワーク帯域が減少してくると、送信すべき動画像データの高周波数成分をカットすることにより、送信データの周波数成分の範囲を制限して単位時間当たりの送信データ量を削減するのである。
【0015】
ここで、データ送信に利用可能なネットワーク帯域が減少(あるいは拡大)しているかどうかは、送信端末103,受信端末104間の伝送遅延量の変化を測定することで推測可能である。この測定方法としては、例えば、RTP(Real-Time Transport Protocol)と呼ばれるデータ転送プロトコルの仕様に含まれるRTCP(Real-Time Control Protocol)のSR/RRパケットを利用する方法が知られている。図12によりこの伝送遅延測定について説明する。
【0016】
まず、送信端末103は、通常のAVデータ(パケット)111を送信する動作と並行して定期的にSR(Sender Report)パケット112と呼ばれるデータを送信する。このSRパケット112には、自身(SRパケット112)が送信端末103から送信された時刻情報等が格納されている。
そして、受信端末104にてこのSRパケット112が受信されると、受信端末104は、これに応答して、RR(Receiver Report)パケット113を生成して送信端末103に送信(返信)する。このとき、受信端末104は、このRRパケット113を送信する際、(a)SRパケット112に格納されていたSRパケット送信時刻情報と、(b)受信端末104でSRパケット112を受信してからその応答としてのRRパケット113を送信するまでに、受信端末104内で経過した時間(遅延時間)情報との2種の情報をRRパケット113に格納する。
【0017】
これにより、最終的に、送信端末103が受信端末104からのRRパケット113を受信した時点で、送信端末103は、その受信時刻を基に次のようにして送信端末103−受信端末104間の往復伝送遅延量を求めることができる。
「往復伝送遅延量」=「RRパケット受信時刻」−「RRパケット113に格納されているSRパケット送信時刻」−「RRパケット113に格納されている受信端末104でのRRパケット送信までの遅延時間」
このようにして、送信端末103−受信端末104間の往復伝送遅延量が求められ、AVデータ伝送に使用しているネットワーク105が混雑しつつあるか空きつつあるかをこの伝送遅延量の変化を基に判断できる。また、この伝送遅延量が、極端に増減しない安定した状態に送信レートを制御することで、受信側での再生遅延時間が一定に保たれると考えられる。
【0018】
次に、上述したようなAVデータ配信システム100において、例えば図13に示すように、或る受信端末104で受信したAVデータをHDD(Hard Disk Drive) 等の蓄積媒体(受信データ蓄積部)104cに蓄積し、後でこれを取り出して再生したり編集したりするアプリケーションについて考える。なお、受信したAVデータを蓄積する端末は、全受信端末104のうちの何台かの端末(最低1台)であるとする。
【0019】
このようなシステム構成は、例えば、監視システムにおいてメリットがある。即ち、送信端末103は、監視地点に設置されたビデオカメラで撮影したデータを送信し、通常の監視は各受信端末104でリアルタイムに再生される画像や音声をモニタすることで行なわれ、何か異常が起こったことが判明した場合には、後で受信データを蓄積媒体104cで蓄積している受信端末104の蓄積画像・音声を再生して解析することができる。なお、図13には図示を省略しているが、送信端末103は、実際には、監視地点数分だけ複数分、ネットワーク105に接続されているものとする。
【0020】
【発明が解決しようとする課題】
しかしながら、このような監視システムにおいても、受信端末104での再生遅延時間を改善するために、送信端末103に、前述したようなネットワーク105の混み具合に応じて送信品質を可変にする方式を適用した場合、受信データの蓄積を行なっている受信端末104にとっては、本来、必要としている品質のデータが受信できないことがあり、これが問題となる場合がある。
【0021】
例えば、リアルタイム再生では、前述したごとく、ステレオ音声がモノラルになったり、256kbpsの符号化送信レートが128kbpsになったりしても、再生品質が一時的に低下するだけで、それらを視聴する人間が気にしなければさほど問題にはならないが、蓄積して2次利用する場合は、データ全体に渡って本来必要としている品質が維持されていることが絶対条件である場合が考えられるからである。
【0022】
なお、上述した再送制御機能は、本来、パケット損失が生じた場合に損失パケットと全く同じパケットの再送を要求する機能であるので、このような品質変化に応じた再送要求は行なえない。
本発明は、このような課題に鑑み創案されたもので、データ受信端末におけるデータの低遅延再生と高品質なデータ蓄積とを両立できるようにした、データ通信システム並びにデータ受信端末及びデータ送信端末を提供することを目的とする。
【0023】
【課題を解決するための手段】
上記の目的を達成するために、本発明のデータ通信システム(請求項1)は、データ送信端末とデータ受信端末とをそなえて成り、それぞれに、以下に示すものがそなえられていることを特徴としている。
・データ受信端末(請求項2)
(1)データ送信端末から受信されるデータの品質が所定の蓄積品質を満足しているか否かを監視する受信データ品質監視部
(2)この受信データ品質監視部にて或る区間の受信済みの受信データ品質が蓄積品質を満足していないと判定されると、その蓄積品質を満足していない区間の受信済みのデータについて蓄積品質を満足するデータ品質の代替データの送信をデータ送信端末に要求する代替データ送信要求部
(3)上記の受信データ品質監視部により蓄積品質を満足していると判定された受信データと、上記の代替データ送信要求部による要求に対してデータ送信端末から送信されてくる代替データとを蓄積する受信データ蓄積部
・データ送信端末(請求項6)
(1)上記のデータ受信端末の代替データ送信要求部から上記区間の蓄積品質を満足するデータ品質の代替データの送信要求を受信する代替データ送信要求受信部
(2)上記のデータ受信端末への送信データをデータ受信端末からの上記送信要求に応じてデータ受信端末へ送信しうるデータとして蓄積する送信データ蓄積部と、
(3)この代替データ送信要求受信部にて送信要求が受信されると、前記区間の該蓄積品質を満足するデータ品質のデータを送信データ蓄積部の蓄積内容から得てデータ受信端末へ該代替データとして送信する代替データ送信部
ここで、上記のデータ受信端末における代替データ送信要求部は、上記の蓄積品質を満足していない区間のデータについて既に受信したデータと組み合わせることによりその蓄積品質を満足する差分データを代替データとして要求する差分データ送信要求部として構成されていてもよい(請求項3)。
【0024】
また、上記のデータ送信端末は、データ受信端末での蓄積品質判定の基となる、送信データ品質情報をデータ受信端末へ送信する送信データ品質情報送信部をそなえていてもよい(請求項8)。この場合、データ受信端末における受信データ品質監視部は、このデータ送信端末から送信される送信データ品質情報に基づいて受信データの蓄積品質を監視する(請求項4)。
【0025】
さらに、上記のデータ送信端末は、データ受信端末で満足すべき蓄積品質の決定の基となる、データ受信端末へ送信しうる送信データについての品質種類情報を予めデータ受信端末へ送信する品質種類情報送信部をそなえていてもよい(請求項9)。この場合、データ受信端末における受信データ品質監視部は、データ送信端末からの品質種類情報を予めデータ送信端末から受信し、その品質種類情報に基づいて満足すべき蓄積品質を決定する(請求項5)。
【0026】
また、上記のデータ送信端末における送信データ蓄積部は、既に送信したデータと組み合わせることにより異なる品質の送信データを形成しうる差分データを蓄積しうる差分データ蓄積部として構成されていてもよく、この場合、上記の代替データ送信部は、上記の代替データ送信要求受信部にて、データ受信端末から上記の蓄積品質を満足していない区間のデータについて既に受信したデータと組み合わせることによりその蓄積品質を満足する差分データについての送信要求が受信されると、上記の差分データ蓄積部から該当差分データを得てデータ受信端末へ送信する差分データ送信部として構成されるのがよい(請求項7)。
【0027】
さらに、上記のデータ送信端末は、上記の送信データ蓄積部に蓄積された送信データを一定時間経過したものから削除する蓄積制御部をそなえていてもよい(請求項10)。
また、本発明のデータ受信端末(請求項11)は、次の各部をそなえていることを特徴としている。
【0028】
(1)受信データの品質が所定品質を満足しているか否かを監視する受信データ品質監視部
(2)この受信データ品質監視部にて或る区間の受信済みの受信データ品質が上記の所定品質を満足していないと判定されると、その区間の受信済みのデータについて上記の所定品質を満足するデータ品質の代替データの送信を他の端末に要求する代替データ送信要求部
さらに、本発明のデータ送信端末(請求項12)は、次の各部をそなえていることを特徴としている。
【0029】
(1)データ受信端末において或る区間の受信済みの受信データ品質が所定品質を満足していないと判定された場合にそのデータ受信端末から送信される上記の区間の受信済みのデータについての上記所定品質を満足するデータ品質の代替データの送信要求を受信する代替データ送信要求受信部
(2)この代替データ送信要求受信部にて上記送信要求が受信されると、前記区間の上記の所定品質を満足するデータ品質のデータを上記データ受信端末へ該代替データとして送信する代替データ送信部
【0030】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
(A)第1実施形態の説明
図1は本発明の第1実施形態としてのデータ通信システムの構成を示すブロック図で、この図1に示すデータ通信システム1は、送信端末(データ送信端末)2と受信端末(データ受信端末)3とが、図10により前述したものと同様のTCP/IPネットワーク4を介して相互に通信可能に接続された構造になっている。
【0031】
なお、この図1では、TCP/IPネットワーク4に、それぞれ1台ずつの送信端末2及び受信端末3とが接続されている状態を示しているが、勿論、送信端末2,受信端末3は、実際には、それぞれ適宜の数だけTCP/IPネットワーク4(以下、単に「ネットワーク4」ということがある)に接続されているものとする。
【0032】
そして、この図1に示すように、上記の送信端末2は、本実施形態の要部の構成に着目すると、符号化部21,22,ネットワークインタフェース(I/F)部23,再送用データ蓄積部24及び再送用データ蓄積制御部25をそなえており、同様に、受信端末3は、本実施形態の要部の構成に着目すると、ネットワークインタフェース(I/F)部31,復号部32,受信データ品質監視部33,受信データ蓄積制御部34,受信データ蓄積部35及び再送要求情報蓄積部36をそなえて構成されている。
【0033】
ここで、まず、送信端末2において、上記の符号化部21は、例えばビデオカメラ等から入力されたAVデータを所定の符号化方式(符号化レート)で符号化して所定品質「1」の送信データを得るものであり、符号化部22は、上記のAVデータを例えば符号化部21での符号化レートよりも低いレートで符号化して上記の品質「1」よりも品質の低い品質「2」の送信データを得るものである。つまり、本送信端末2は、入力されたAVデータを品質「1」,「2」という2種類の品質で送信することができるようになっている。
【0034】
次に、ネットワークインタフェース部23は、IPパケット変換機能を有し、これらの各符号化部21,22によって得られた各送信データのいずれかをIPパケット化して選択的にTCP/IPネットワーク4へ送出するもので、本実施形態では、例えば、通常運用時には、符号化部21によって得られた品質「1」の送信データを送出し、ネットワーク4の負荷(受信端末3へのネットワーク帯域の圧迫度)が高い場合には符号化部22によって得られた品質「2」の送信データを送出するようになっている。
【0035】
つまり、本ネットワークインタフェース部23は、品質「1」,品質「2」の2種類の品質で同じAVデータを送信することができ、例えば、ネットワーク4の負荷が増大し受信端末3へのネットワーク帯域が狭くなってくると、本来はAVデータを品質「1」で送りたいところを、品質「2」に落として送信するのである。
【0036】
このため、ネットワークインタフェース部23及び受信端末3側のネットワークインタフェース部31には、例えば、前述したRTCP等を利用した送信端末2−受信端末3間の伝送遅延測定機能(SRパケット生成・送信機能)が実装されており、この機能により、送信端末2は、ネットワーク4の負荷(混雑)状況(受信端末3へのネットワーク帯域の拡大/縮小)を認識し、これに基づいて、送信データの品質選択を行なえるようになっている。
【0037】
また、再送用データ蓄積部(送信データ蓄積部)24は、符号化部21での符号化によって得られた品質「1」の送信データをTCP/IPネットワーク4への送信と並行して蓄積しておくためのものであり、例えば、HDDやRAM,MO(光磁気ディスク)等の記録媒体によって構成されている。
さらに、再送用データ蓄積制御部25は、この再送用データ蓄積部24に対するデータ蓄積/取り出しを制御するためのもので、本実施形態では、後述するように、受信端末3において受信データが所定の品質(蓄積品質)を満足していないと判定された場合にその受信端末から送信される或る区間の送信データについての再送要求(上記の蓄積品質を満足する代替データの送信要求)がネットワークインタフェース部23にて受け付けられると、該当する送信データを再送用データ蓄積部24の蓄積内容から得てネットワークインタフェース部23へ渡すようになっている。
【0038】
つまり、上記の再送用データ蓄積部24は、受信端末3への送信データを受信端末3からの再送要求に応じて受信端末3へ送信しうる代替データとして蓄積するようになっているのである。そして、ネットワークインタフェース部23は、受信端末3からの上記再送要求を受信する代替データ送信要求受信部26としての機能も果たしており、さらには、上記の再送用データ蓄積制御部25と協動して動作することにより、上記の再送要求が受信されると、上記の蓄積品質を満足する代替データを再送用データ蓄積部24の蓄積内容から得て受信端末3へ送信する代替データ送信部27としての機能も果たしていることになる。
【0039】
なお、この代替データの送信は、本実施形態では、受信端末3との間の伝送遅延量が所定値を超えている場合には、その伝送遅延量が所定値以下になるまで待ってから実施される。
一方、受信端末3において、ネットワークインタフェース部31は、ネットワーク4を通じて送信端末3からIPパケットとして送信されてくるデータ(AVデータ)を受信するものであり、復号部32は、ネットワークインタフェース部31で受信されたAVデータを送信端末2側の符号化方式に応じた復号方式で復号することにより、符号化AVデータを再生するものである。
【0040】
また、受信データ品質監視部33は、ネットワークインタフェース部31で受信されたAVデータの品質が所定の蓄積品質を満足しているか否かを監視(判定)するもので、ここでは、例えば、送信端末2のネットワークインタフェース部23から送信されたAVデータに付加されている現在送信中のデータ送信品質を示す情報(送信データ品質情報)を参照し、これに基づいて、受信データ品質を認識するようになっている。
【0041】
つまり、前述した送信端末2のネットワークインタフェース部23は、例えば、送信中のAVデータにその品質(品質「1」,「2」)を表す情報を付加することにより、受信端末3での受信データの蓄積品質判定の基となる、送信データ品質情報を受信端末3へ送信する送信データ品質情報送信部28としても機能するのである。
【0042】
なお、受信端末3での蓄積品質は、本実施形態では、送信端末2から通信開始前に予め送信されてくる送信端末2側でのデータ品質可変範囲情報(送信端末2が送信しうる品質種類情報;この場合は品質「1」,「2」)を受けて、その中で適当な品質を選択することで設定(決定)されるようになっており、以下では、例えば、前記の品質「1」が受信端末3での蓄積品質として設定されているものとする。
【0043】
そして、例えば、上述したこの受信データ品質監視部33において、受信データの品質が所定の蓄積品質(品質「1」)を満足していない(つまり、この場合は受信データ品質が品質「2」である)と判定されると、受信データ品質監視部33は、ネットワークインタフェース部31へ、蓄積品質未満と判定した区間情報を含む再送要求情報を生成するようになっている。
【0044】
また、再送要求情報蓄積部36は、この再送要求情報を一時的に蓄積するもので、この再送要求情報を基に、ネットワークインタフェース部31が、蓄積品質未満と判定された区間のデータについて蓄積品質を満足する代替データ(品質「1」のデータ)の送信を送信端末2に要求する送信端末2宛の再送要求パケットを生成してネットワーク4へ送出するようになっている。
【0045】
つまり、受信端末3におけるネットワークインタフェース部31は、受信データ品質監視部33にて受信データ品質が蓄積品質を満足していないと判定されると、その区間のデータについて蓄積品質を満足する代替データの送信を送信端末2に要求する代替データ送信要求部37としても機能するのである。ただし、この送信要求は、送信端末2との間の伝送遅延量が所定値を超えている場合には、その伝送遅延量が所定値以下になるまで待ってから実施される。
【0046】
さらに、受信データ蓄積部35は、上記の受信データ品質監視部33で上記の蓄積品質を満足していると判定された区間の受信データと、代替データ送信要求部37として機能するネットワークインタフェース部31から送信された上記の送信要求に対して送信端末2から送信されてくる(蓄積品質未満と判定された区間についての)代替データとを蓄積するものである。なお、上記の各蓄積部35,36も、例えば、HDDやRAM,MO(光磁気ディスク)等の記録媒体によって構成されている。
【0047】
また、受信データ蓄積制御部34は、この受信データ蓄積部35に対するデータ蓄積/取り出しを制御するもので、本実施形態では、受信データ品質監視部33により蓄積品質を満足していると判定された受信データ(「品質「1」のデータ)と、上記の代替データ送信要求部37(ネットワークインタフェース部31)による要求に対して送信端末2から送信されてくる代替データ(品質「1」のデータ)とを受信データ蓄積部35に蓄積させるようになっている。
【0048】
なお、この受信データ蓄積制御部34は、受信データ蓄積部35に蓄積されたAVデータの2次利用のために外部から入力される蓄積データ要求情報に応じて、該当する蓄積データ取り出して要求元へ出力することができるようにもなっている。
以下、上述のごとく構成された本実施形態のデータ通信システム1(送信端末2,受信端末3)の動作について、図2を参照しながら詳述する。
【0049】
まず、送信端末2は、AVデータの送信に先だって、送信データ品質情報送信部28として機能するネットワークインタフェース部23により、送信データの品質が変化する範囲についての情報(この場合は、送信データの品質が品質「1」,品質「2」のいずれかであることを示す情報)をIPパケットにより受信端末3へ送信する(ステップA1)。
【0050】
受信端末3は、このパケットを受信すると(ステップA2)、そのパケットにより通知された品質可変範囲内で、受信データの蓄積品質を決定する(ここでは、蓄積品質を品質「1」に決定したとする:ステップA3)。その後、送信端末2は、品質「1」でAVデータの送信を開始する(このとき、送信中のAVデータが品質「1」であることを示す送信データ品質情報も送信される:ステップA4,A6,A8)。
【0051】
受信端末3では、ネットワークインタフェース部31にて送信端末2から送信されたAVデータを受信したら(ステップA5,A7,A9)、その受信データを復号部32と受信データ品質監視部32へそれぞれ出力する。復号部32ではネットワークインタフェース部31から入力された受信データを復号して、ビデオ信号及び音声信号を再生して表示装置及びスピーカへ出力する。
【0052】
一方、受信データ品質監視部32では、受信データの品質が受信端末3で設定されている蓄積品質(品質「1」)を満たしているかどうかを監視しており、品質「1」を満たしている場合は、受信データを受信データ蓄積制御部34へ出力して、受信データ蓄積部35に蓄積させる。このようにして、受信端末3では、AVデータのリアルタイム再生と蓄積動作とが並行して行なわれる。
【0053】
そして、或る時点で送信端末2(ネットワークインタフェース部23)が、受信端末3との間の伝送遅延の増加を検出し(ステップA10)、遅延改善のために、送信データの品質を品質「1」から品質「2」に切り替えたとする。すると、送信端末2は、ネットワークインタフェース部23を通じてAVデータを品質「2」で送信し始める(ステップA11)。
【0054】
その後、送信端末2は、受信端末3との間の伝送遅延が改善したことを検出した時点で、送信データ品質を元の品質「1」に戻して、品質「1」でのAVデータの送信を再開する(ステップA13,A15,A18,A22)。
一方、受信端末3では、上記のステップA11において送信端末2から送信された品質「2」のAVデータを受信することにより、受信データ品質監視部33が、受信中のAVデータの品質が所定の蓄積品質「1」よりも低下した(品質「2」のAVデータを受信した)ことを検出すると、再送要求情報(蓄積品質を満足しない区間情報を含む)をネットワークインタフェース部31へ入力する。
すると、ネットワークインタフェース部31は、入力された再送要求情報を基に送信端末2宛の再送要求用のパケットを生成して送信することで、送信端末2に対して、上記のステップA11において品質「2」で送信した区間のAVデータについて、品質「1」で送信しなおすように要求(代替データの送信要求)を送出する(ステップA12)。
【0055】
ただし、この際、ネットワークインタフェース部31は、送信端末2との間の伝送遅延量が所定値を超えている場合には、その伝送遅延量が所定値以下になるまで待ってから、この要求を行なう。なお、その後も、受信端末3は、上記のステップA13,A15,A18,A22において送信端末2から送信された品質「1」のAVデータについての受信(リアルタイム再生)・蓄積は継続して行なう(ステップA14,A16,A19,A23)。
【0056】
一方、送信端末2は、品質「1」でのAVデータの送信中に、受信端末3からの送信要求(パケット)を受信すると(ステップA17)、要求された区間のAVデータについて品質「1」で送信し直す(ステップA20)。即ち、送信端末2は、再送用データ蓄積制御部25により、受信端末3から要求された区間のデータについて、符号化部21で符号化された品質「1」のAVデータを品質「2」で送信したAVデータの代替データとして取り出して、ネットワークインタフェース部23を通じて受信端末3へ向けて送信する。
【0057】
ただし、この際、ネットワークインタフェース部23は、受信端末3との間の伝送遅延量が所定値を超えている場合には、その伝送遅延量が所定値以下になるまで待ってから、代替データの送信を行なう。
そして、受信端末3では、この品質「1」で送信し直されたAVデータを受信すると(ステップA21)、受信データ蓄積制御部34によって、そのAVデータを受信データ蓄積部34に蓄積する。
【0058】
このようにして、受信端末3は、送信端末2でのネットワーク状況(送受端末間伝送遅延量)に応じた制御に従った品質のAVデータをリアルタイム再生しながら、受信データ蓄積部34に、全区間について当初想定した品質「1」のAVデータを蓄積することができる。従って、受信データのリアルタイム再生と高品質蓄積とを両立することができる。
【0059】
また、受信端末3から送信端末2に対する代替データの送信要求の送出、送信端末2から受信端末3への要求された代替データの送出は、いずれも、送信端末2−受信端末3間の伝送遅延量(ネットワーク負荷)が所定値以下である場合に行なわれるので、不用意にネットワーク負荷を増大させることが無く、代替データの要求及び送信による受信端末3でのリアルタイム再生に対する影響も最小限に抑制されている。
【0060】
さらに、受信端末3での蓄積品質の決定は、送信端末2から予め通知される品質可変範囲内で行なわれるので、送信端末2でサポートしていない送信品質が受信端末3での基準品質として決定されることが無く、常に適正な品質が受信端末3で設定される。
なお、上述した例では、送信端末2から現在のデータ送信品質についての情報を受信端末3へ送信することにより、受信端末3での品質監視(品質低下検出)を行なえるようにしているが、例えば、受信端末3において、或る区間における受信データ量を監視することで、独自に、受信データの品質低下検出を行なうことも可能である。
【0061】
即ち、例えば、送信端末2において、AVデータの1フレームがUDPの1パケットに相当するようにデータを格納して送信するようにした場合、図3に示すように、各送信パケットにシーケンス番号(連続番号)を付加しておき、受信端末3(受信データ品質監視部33)では、同じ受信パケット数での受信データ量が少なくなった場合に、受信データの品質が低下したと判定するのである。なお、この場合、上記のシーケンス番号は例えばUDPヘッダの後(RTPをUDP上で使用してデータを送信する場合等はRTPヘッダ)に付加する。
【0062】
また、例えば図4に示すように、UDPパケットの後に送信側で格納されているデータの再生時刻を表すタイムスタンプを付加(RTPでMPEGシステムストリームを送信する場合などは90kHz精度のタイムスタンプをRTPヘッダに付加)して送信し、受信端末3(受信データ品質監視部33)では、そのタイムスタンプを参照して、再生時間が一定期間のデータ量を監視することでも受信データ品質の変化を検出することができる。
【0063】
ところで、上記の送信端末2において、再送用データ蓄積部24が受信端末3への送信データの全てを蓄積するだけの容量を予め有している場合は、受信端末3からの代替データの送信要求に常に応えることができるので問題ない。しかし、再送用データ蓄積部24の蓄積容量には限りがあるので、本実施形態では、再送用データ蓄積制御部25によって、蓄積済の送信データのうち、受信端末3から送信要求が受信されており、尚且つ、まだその要求に対する送信処理が完了していないデータ以外を破棄する操作を行なう。
【0064】
具体的には、再送用データ蓄積制御部25は、今後、受信端末3から送信要求が受信される確率が低い、もしくは、送信要求が受信されても送信の必要性が薄いデータについて優先的に廃棄してゆく。
例えば、受信端末3から送信要求が受信されていない区間のデータで、送信から一定時間が経過しているものは受信端末3からの送信要求が受信される可能性が低いので、破棄しても問題ないと推測される。また、画像データでフレーム間予測符号化を行なっている場合は、復号時に他のフレームに参照されないフレームのデータは重要度が低いとみなして破棄する順位を高めることも考えられる。
さらに、音声データの場合は、無音が記録されていることが分かっている区間のデータについては破棄して、受信端末3からの送信要求が受信されても送信をキャンセルするようにすることが考えられる。
【0065】
(A′)第1実施形態の変形例の説明
図5は上述した第1実施形態の変形例としてのデータ通信システムの構成を示すブロック図で、この図5に示すデータ通信システム1は、図1により前述したものに比して、主に、送信端末2に、符号化部21に代えて符号化部21Aがそなえられるとともに、受信端末3に、想定品質未満受信データ蓄積部35′とデータ再構成部38と差分データ要求情報蓄積部39とがそなえられている点が異なる。
【0066】
ここで、送信端末2において、符号化部21Aは、入力AVデータと符号化部22により得られる品質「2」のAVデータとの差分データを符号化部21Aで符号化するもので、これにより得られた差分データと符号化部22によって得られた品質「2」のAVデータとをネットワークインタフェース部23にて組み合わせる(多重化する)ことで、品質「1」のAVデータが得られるようになっている。つまり、本変形例の送信端末2は、入力AVデータの符号化方式に階層符号化方式を適用した構成になっている。
【0067】
従って、受信端末3からの要求に応じて品質「1」のAVデータを送信する必要がある場合にも、送信端末2は、上記の差分データ(符号化部21Aの出力)のみを蓄積しておけば対応できることになり、このため、本変形例の再送用データ蓄積制御部25は、上記の差分データのみを再送用データ蓄積部24に蓄積するようになっている。
【0068】
一方、これに伴い、受信端末3は、受信データ品質監視部33にて受信データ品質データが所定の蓄積品質未満であった場合、その区間のAVデータについて、上記の差分データのみを上述した第1実施形態と同様に代替データとして送信し直すよう要求することになる。即ち、受信データ品質監視部33は、或る区間の受信データの品質が蓄積品質未満であると、その区間の差分データについての代替データの要求(差分データ要求情報)を生成する。
【0069】
この差分データ要求情報は、一旦、差分データ要求情報蓄積部39に蓄積され、ネットワークインタフェース部31が、この差分データ要求情報に基づいて差分データの送信を要求する送信端末2宛の差分データ送信要求パケットを生成する。
そして、この差分データの送信要求(パケット)に対して送信端末2から差分データが送信されてくると、受信端末3では、この差分データと、想定品質未満受信データ蓄積部35′(HDDやRAM,MO等)に蓄積されている受信済の蓄積品質未満のAVデータとをデータ再構成部38によって組み合わせる(多重化する)ことで、品質「1」のAVデータが得られ、これが、受信データ蓄積部35に、受信データ品質監視部33で蓄積品質以上と判定された区間のAVデータとともに蓄積される。
【0070】
なお、このように送信端末2と受信端末3との間で遣り取りされる情報が差分データについてのものである点以外、他の構成及び動作については、上述した第1実施形態と同様である。
従って、本変形例によれば、上述した第1実施形態と同様の作用効果が得られるほか、送信端末2の再送用データ蓄積部24に必要な蓄積容量を削減することができるとともに、TCP/IPネットワーク4へ送出される代替データ量(つまり、ネットワーク4のトラフィック量)を削減してネットワーク負荷の増大をさらに抑制することができる。
【0071】
(B)第2実施形態の説明
図6は本発明の第2実施形態としてのデータ通信システムの構成を示すブロック図で、この図6に示すデータ通信システム1Aも、送信端末(データ送信端末)5と受信端末(データ受信端末)6とが、図10により前述したものと同様のTCP/IPネットワーク4を介して相互に通信可能に接続されて構成されている。なお、この図6においても、図示は省略しているが、送信端末5,受信端末6は、実際には、適宜の数だけネットワーク4に接続されているものとする。
【0072】
そして、この図6に示すように、本第2実施形態の送信端末5は、符号化部51,ネットワークインタフェース(I/F)部52,再送用データ蓄積制御部53及び再送用データ蓄積部54をそなえており、受信端末6は、ネットワークインタフェース(I/F)部61,復号部62,受信データエラー監視部63,受信データ蓄積制御部64,受信データ蓄積部65及び再送要求情報蓄積部66をそなえて構成されている。
【0073】
ここで、送信端末5において、符号化部51は、入力AVデータを所定の符号化方式で符号化するものであり、ネットワークインタフェース部52は、この符号化部51によって得られた符号化AVデータをパケット化してTCP/IPネットワーク4へ送出する一方、後述するように受信端末6から送信されてくる再送要求パケットを受信するものである。
【0074】
また、再送用データ蓄積制御部53は、符号化部51により得られた符号化AVデータを受信端末6から再送が要求されうる代替データとしてネットワークインタフェース部52からの送信と並行して再送用データ蓄積部53に蓄積する一方、ネットワークインタフェース部52にて上記の再送要求パケットが受信されると、そのパケットにより要求されている区間のデータを再送用データ蓄積部53から取り出してネットワークインタフェース部52へ渡すものである。
【0075】
つまり、本第2実施形態においても、ネットワークインタフェース部52は、受信端末6からの上記再送要求を受信する代替データ送信要求受信部26としての機能も果たしており、さらには、再送用データ蓄積制御部53と協動して動作することにより、上記の再送要求が受信されると、上記の蓄積品質を満足する代替データを再送用データ蓄積部54(HDDやRAM,MO等)の蓄積内容から得て受信端末6へ送信する代替データ送信部27としての機能も果たしている。
【0076】
一方、受信端末6において、ネットワークインタフェース部61は、本実施形態においても、ネットワーク4を通じて送信端末5からIPパケットとして送信されてくるデータ(AVデータ:SRパケットも含む)を受信するものであり、復号部62は、このネットワークインタフェース部61で受信されたAVデータを送信端末5側(符号化部51)の符号化方式に応じた復号方式で復号することにより、符号化AVデータを再生するものである。
【0077】
また、受信データエラー監視部63は、ネットワークインタフェース部61からの受信データ(符号化AVデータ)にエラーが無いかどうかを検出することで、受信データの品質監視を行なうもので、この受信データエラー監視部63にてエラーが検出されると、そのエラー区間についてのAVデータの蓄積品質が所定の蓄積品質を満足していないものとして、第1実施形態と同様にそのエラー区間についてのAVデータ(代替データ)の再送要求情報がネットワークインタフェース部61へ出力されるようになっている。
【0078】
これにより、この場合も、ネットワークインタフェース部61は、エラー区間のAVデータについての送信端末5宛の再送要求パケットを生成してネットワーク4へ送出することになる。つまり、本実施形態においても、ネットワークインタフェース部61は、受信データエラー監視部63にて受信データエラーが検出されて受信データ品質が蓄積品質を満足していないと判定されると、そのエラー区間のデータについて蓄積品質を満足する代替データの送信を送信端末5に要求する代替データ送信要求部37として機能するのである。
【0079】
なお、上記の受信データエラー監視部63で監視する「受信データのエラー」とは、本実施形態では、パケットを使って送信されてきたAVデータの連続性が失われていないかどうかといった上位レベル(パケット内容について)のエラーであり、既存の再送制御対象となるUDP等のパケット伝送プロトコルレベルでの受信エラーについてはネットワークインタフェース部61にて検出/排除するものとする。
【0080】
このため、本実施形態のネットワークインタフェース部61は、パケット伝送プロトコルレベルでの単位時間当たりのパケットエラー量を常に測定する機能を有している。そして、本実施形態では、このエラー量測定機能によって測定されたエラー量が所定値以下に収まっていることを条件として、上記の再送要求情報蓄積部66から再送要求情報がネットワークインタフェース部61によって読み出されて再送要求パケットの生成・送信が行なわれるようになっている。
【0081】
さらに、受信データ蓄積制御部64は、上記の受信データエラー監視部63にて受信エラーが検出されなかった(蓄積品質を満足している)AVデータについてはそのまま受信データ蓄積部65(HDDやRAM,MO等)へ蓄積し、受信データエラー監視部63にて受信エラーが検出された(蓄積品質未満の)AVデータについては、送信端末2から上記の再送要求パケットに対して送信されてくる代替データを代わりに受信データ蓄積部65に蓄積するものである。
【0082】
なお、本実施形態においても、この受信データ蓄積制御部64は、受信データ蓄積部65に蓄積されたAVデータの2次利用のために外部から入力される蓄積データ要求情報に応じて、該当する蓄積データ取り出して要求元へ出力きるようにもなっている。
以下、上述のごとく構成された本第2実施形態のデータ通信システム(送信端末5,受信端末6)の動作について、図7を参照しながら詳述する。
【0083】
まず、送信端末5は、符号化部51によって符号化したAVデータ(1〜m:mは自然数)をネットワークインタフェース部52においてパケット化して、順次、ネットワーク4へ送出する(ステップB1,B3,B5)。
受信端末6では、このように送信端末5から送信されたパケット(AVデータ)がネットワークインタフェース部61にて受信されると(ステップB2,B4,B6)、パケット分解処理が施されたのち、復号部62と受信データエラー監視部63とのそれぞれに出力される。
【0084】
そして、復号部62では、このネットワークインタフェース部61からの受信データを復号してAVデータを再生し表示装置やスピーカへ出力する。一方、受信データエラー監視部63では、上述したごとく受信データにエラーが無いかどうかを監視し、エラーの検出されなかったデータについてはそのまま受信データ蓄積制御部64へ出力し、受信データ蓄積部65に蓄積させる。
【0085】
ここで、例えば、受信データ(1〜m)のうち受信データ(m)にエラーが発生していることを受信データエラー監視部63が検出したとする(ステップB6′)。すると、受信データエラー監視部63は、エラーが検出されたAVデータ(m)については送信端末5へ再送要求を送出すべく、必要な情報(区間情報等の再送要求情報)を生成する。この再送要求情報は、一旦、再送要求情報蓄積部66に蓄積される。
【0086】
ネットワークインタフェース部61は、このように再送要求情報が再送要求情報蓄積部66に蓄積されると、前記のエラー量測定機能によって測定したエラー量が所定値以下に収まっているときに、再送要求情報蓄積部66から再送要求情報を読み出し、それに基づいて送信端末5宛の再送要求パケットを生成してネットワーク4へ送出する(ステップB7)。
【0087】
なお、この間も、送信端末5は、AVデータ(m+1〜m+5)の送信を継続しており(ステップB8,B10,B13,B16,B18)、受信端末6は、そのAVデータ(m+1〜m+5)を、順次、受信して、受信データエラー監視部63でエラーが検出されない限り、受信データ蓄積部65に蓄積している(ステップB9,B11,B15,B17,B19)。
【0088】
そして、上記の受信端末6からの再送要求(パケット)が送信端末5において例えばAVデータ(m+2)の送信後に受信されたとすると(ステップB12)、送信端末5は、再送用データ蓄積制御部53によって、要求された区間のデータ〔代替データ:AVデータ(m)〕を受信データ蓄積部54から取り出して、受信端末6へ送信しようとする。
【0089】
ところが、例えば、送信端末5(ネットワークインタフェース部52)が、AVデータ(m+3)を送信した(ステップB13)後、受信端末6との間の伝送遅延量の増加(所定値を超えたこと)を検出したとする(ステップB14)。すると、ネットワークインタフェース部52は、その時点では、代替データ〔AVデータ(m)〕の送信は行なわず、伝送遅延が所定値以下になり回復するまで待ってから、この送信を行なう(ステップB20)。
【0090】
受信端末6は、このAVデータ(m)を受信すると(ステップB21)、受信データ蓄積制御部64によって、エラーの検出されなかったAVデータ(1〜m−1,m+1〜m+5)とともに、受信データ蓄積部65に蓄積させる。これにより、受信端末6の受信データ蓄積部65にはエラーの無い状態で送信端末5から送信された全区間のAVデータが蓄積される。
【0091】
以上のように、本第2実施形態においても、受信端末6は、送信端末5からのAVデータをリアルタイム再生しながら、受信データ蓄積部65に、通信中の全区間について当初想定した品質の(エラーの無い)AVデータを蓄積することができるので、受信データのリアルタイム再生と高品質蓄積とを両立することができる。
【0092】
また、受信端末6から送信端末5に対する代替データの送信要求の送出は、それまでの或る一定期間の受信データのエラー率が所定値以下であることを条件として行なわれるので、送信端末5に対する上記の送信要求を確実に行なうことができる。一方、送信端末2から受信端末3への代替データの送出は、この場合も、受信端末3との間の伝送遅延量が所定値以下であることを条件として行なわれるので、不用意にネットワーク負荷を増大させることが無く、代替データ送信による受信端末6でのリアルタイム再生に対する影響も最小限に抑制される。
【0093】
(C)その他
なお、前述した第1実施形態において、受信端末3への送信データの品質を変更するのは、必ずしも、送信端末2ではなく、送信端末2以外の端末(代理端末)である場合もある。
例えば、図8に示すように、TCP/IPネットワーク4に代理端末(品質変換端末)7が接続されて、この品質変換端末7にて、送信端末2で生成された送信データ(AVデータ等)の品質がネットワーク4の負荷状況に応じた品質に変換されて受信端末3へ提供されるようなシステム構成を考える。なお、この図8に示すデータ通信システム1Bにおいても、送信端末2,受信端末3は、実際には、それぞれ適宜の数だけネットワーク4に接続されているものとする。
【0094】
この場合、送信端末2では、送信データ生成部20で生成した送信データ(AVデータ等)をそのままネットワークインタフェース(I/F)部23Aを通じて品質変換端末7へ送出するとともに、その送信データを送信データ蓄積制御部25Aによって送信データ蓄積部24Aに蓄積しておく。
そして、品質変換端末7では、送信端末2からのAVデータをネットワークインタフェース(I/F)部71にて受信すると、その受信データを受信端末3へ転送するのだが、このとき、受信端末3との間の伝送遅延量を計測して、伝送遅延量が増加している(ネットワーク帯域が圧迫されている)ことを検出すると、品質変換部72により、受信データを元の品質よりも低い品質に変換して受信端末3へ送信する。
【0095】
受信端末3は、図1に示すものと同様の構成を有しており、前述した第1実施形態と同様に、品質変換端末7から受信したAVデータの品質を監視して、所定の蓄積品質を満足している受信データについてはそのまま蓄積を行ない、蓄積品質未満の受信データについては送信端末2に対して蓄積品質以上の代替データの送信要求を行なって、これに応答して送信端末2から送信されてくる代替データを他の蓄積品質以上の受信データとともに蓄積する。
【0096】
なお、受信端末3が受信データの品質が所定の蓄積品質未満であると判断した場合に代替データの送信を要求する相手端末は、上記の送信端末2ではなく代理端末7である場合も考えられる。ただし、この場合、送信端末2の送信データ蓄積部24Aで蓄積しておいた送信データを代理端末7へ転送しておく、もしくは、代理端末7において送信端末2から受信した品質変換前のオリジナルのAVデータを順次蓄積しておく必要がある。
【0097】
また、上述したような品質変換端末7を有するシステム構成においても、前述した第1実施形態の変形例と同様に、例えば、品質変換処理に階層符号化を適用して、送信対象の代替データを差分データのみとすることも可能である。
例えば、図9に示すように、品質変換端末7において、送信端末2からのAVデータを品質変換部72Aで階層符号化により符号化することで、或る符号化データと差分データとの組み合わせで異なる品質の符号化データを生成して、これを受信端末3へ送信する一方、上記の差分データを再送用の代替データとして差分データ蓄積部73に蓄積しておく。
【0098】
そして、受信端末3(構成は図5に示すものと同様)において、受信データの品質が所定の蓄積品質以下であると判断されて、蓄積品質以上の代替データの送信要求が品質変換端末7で受信されると、品質変換端末7は、差分データ蓄積部73から該当する代替データ(差分データ)を取り出して受信端末3へ送信する。これにより、この場合も、差分データ蓄積部73に必要な蓄積容量が最小限に抑えられるとともに、ネットワーク4のトラフィック量が削減される。
【0099】
また、上述した例では、いずれの場合も、送信端末2(5)から送信されるデータをAVデータとしているが、本発明はこれに限定されず、リアルタイム再生と蓄積とを行なう可能性のあるデータであれば、どのような形式のデータであってもよい。
また、上述した例では、受信端末3(6)から送信端末2(5)への代替データの送信要求や、それに対する送信端末2(5)から受信端末3(6)への代替データの送信タイミングを、ネットワーク4の負荷状況(伝送エラー率)に応じて後にずらすように制御しているが、勿論、このような制御は省略してもよい(再送要求情報蓄積部36や66は省略してもよい)。
【0100】
さらに、上述した例(第1実施形態)では、送信端末2が品質「1」,品質「2」の2種類の品質でデータ送信を行なう場合について説明したが、勿論、送信端末2は3種類以上の品質でデータ送信を行なえるようにしてもよい。この場合、受信端末3が受信データの品質が所定の蓄積品質を満足していないと判断したときに送信端末2に要求する代替データは、その蓄積品質を満足する品質以上のデータであればどの品質のデータでもよい。
【0101】
例えば、送信データの品質が品質「1」〜「5」まで存在し、受信端末3において満足すべき受信データの蓄積品質が品質「3」であると仮定した場合、受信端末3は、品質「1」〜「3」の代替データであればどのデータでも蓄積を行なう。ただし、品質「1」〜「5」が順番に変化する(品質「1」での送信状態が、突然、品質「3」での送信状態になることはない)場合、蓄積品質を満足しないと判定する直前まで受信していた品質の代替データを要求するようにすれば、代替データの再送制御が単純になる。また、受信端末3側での蓄積品質を或る一定品質に揃えたいような場合には、常に、その一定品質の代替データを送信端末2に要求するようにすればよい。
【0102】
さらに、上述した例では、利用可能なネットワーク帯域の減少(拡大)に伴って送信データの品質を落とす(上げる)のに、データ送信レート(符号化レート)を下げる(上げる)手法を適用しているが、本発明はこれに限定されず、前述した解像度を落とす(上げる)手法をはじめ、送信データ量を削減できる手法であればどのような手法を適用してもよい。
【0103】
また、上述した例では、いずれも、受信データの蓄積を受信端末3(6)において行なっている〔受信端末3(6)に受信データ蓄積部35や35′,65を設けている〕が、本発明はこれに限定されず、例えば、受信端末3(6)以外の他の端末や装置で行なうようにしてもよい。
さらに、上述した例では、いずれも、受信端末3(6)において受信データの蓄積を目的としているが、本発明は、これに限定されず、蓄積以外の目的で受信端末3(6)がデータを受信する場合にも適用できる。即ち、受信端末3(5)は、受信データの或る区間の品質が所定品質を満足していなければ、その区間についての上記所定品質を満足する代替データの送信を送信端末2(5)や他の代替端末7等に要求して取得することができる。
【0104】
また、上述した実施形態では、受信データ品質監視(第1実施形態)及び受信データエラー監視(第2実施形態)のいずれか一方のみを行なう場合について説明したが、勿論、これらの双方の監視を行なって、一定品質未満の送信データについての代替データの送信を要求できるようにしてもよい。
さらに、上述した例では、いずれも、送信端末2(5),受信端末3(6)の接続されたネットワークがTCP/IPネットワーク4である場合について説明したが、本発明はこれに限定されず、ATM(Asynchronous Transfer Mode)ネットワーク等の他の伝送方式やプロトコルに準拠したネットワークであってもよい。
【0105】
そして、本発明は、上述した各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
【0106】
【発明の効果】
以上詳述したように、本発明によれば、データ受信端末において、データ送信端末から受信した或る区間の受信済みのデータ品質が所定の蓄積品質を満足していないと、その区間のデータについて、蓄積品質を満足するデータ品質の代替データをデータ送信端末に要求して取得するので、例えば、ネットワークの混雑等の理由によりデータ送信端末がデータ送信品質を落とした場合でも、データ受信端末では、常に、一定の蓄積品質を満足するデータを蓄積することができる。従って、データ受信端末におけるデータの低遅延再生と高品質なデータ蓄積とを両立することが可能である(請求項1,2,6)。
【0107】
ここで、データ受信端末は、上記の蓄積品質を満足していない区間の受信済みのデータについて既に受信したデータと組み合わせることによりその蓄積品質を満足するデータ品質の差分データを代替データとして要求するようにすれば、データ送信端末から送信してもらうデータ量を削減することができるので、ネットワーク負荷を軽減することができる。また、データ送信端末において代替データ用に蓄積しておくべきデータ量も削減される(請求項3,7)。
【0108】
また、データ送信端末からデータ受信端末へ送信データ品質情報を送信するようにし、データ受信端末では、このデータ送信端末からの送信データ品質情報に基づいて受信データの蓄積品質を判定するようにすれば、受信データ品質判定を容易、且つ、確実に行なうことができる(請求項4,8)。
さらに、データ送信端末から、データ受信端末へ送信しうる送信データについての品質種類情報を予めデータ受信端末へ送信するようにし、データ受信端末では、このデータ送信端末からの品質種類情報に基づいて満足すべき蓄積品質を決定するようにすれば、データ送信端末でサポートしていないデータ送信品質がデータ受信端末での基準品質として決定されることが無く、常に、適正な蓄積品質がデータ受信端末において設定される(請求項5,9)。
【0109】
さらに、データ送信端末では、代替データ用に蓄積された送信データを一定時間経過したものから削除するようにすれば、不要な送信データをいつまでも蓄積することが無く、最小限の蓄積容量で代替データ用の送信データを蓄積することができる(請求項10)。
なお、本発明は、蓄積を目的とする場合のみならず、それ以外の目的でデータ受信端末においてデータを受信する場合にも適用できる。即ち、データ受信端末は、受信データの或る区間の受信済みの受信データ品質が所定品質を満足していなければ、その区間の受信済みのデータについて上記所定品質を満足するデータ品質の代替データの送信を要求して取得することができる(請求項11,12)。
【図面の簡単な説明】
【図1】本発明の第1実施形態としてのデータ通信システムの構成を示すブロック図である。
【図2】第1実施形態のデータ通信システム(送信端末,受信端末)の動作を説明するためのシーケンス図である。
【図3】第1実施形態に係る受信データ品質変化の検出方法を説明するための図である。
【図4】第1実施形態に係る受信データ品質変化の検出方法を説明するための図である。
【図5】第1実施形態の変形例としてのデータ通信システムの構成を示すブロック図である。
【図6】本発明の第2実施形態としてのデータ通信システムの構成を示すブロック図である。
【図7】第2実施形態のデータ通信システム(送信端末,受信端末)の動作を説明するためのシーケンス図である。
【図8】データ通信システムの他の構成例を示すブロック図である。
【図9】データ通信システムの他の構成例を示すブロック図である。
【図10】TCP/IPネットワークを利用したデータ通信システムの構成を示すブロック図である。
【図11】TCP/IPネットワークを利用したAVデータ配信システムの構成を示すブロック図である。
【図12】RTCPを用いた送受端末間伝送遅延測定方法を説明するための図である。
【図13】TCP/IPネットワークを利用したAVデータ配信システムにおいて、リアルタイム再生のみを行なう端末と、リアルタイム再生と蓄積とを行なう端末とが混在する場合の構成を示すブロック図である。
【符号の説明】
1,1A,1B データ通信システム
2,5 送信端末(データ送信端末)
3,6 受信端末(データ受信端末)
4 TCP/IPネットワーク
7 代理端末(品質変換端末)
20 送信データ生成部
21,21A,22,51 符号化部
23,23A,31,52,61,71 ネットワークインタフェース(I/F)部
24,54 再送用データ蓄積部(送信データ蓄積部)
25,53 再送用データ蓄積制御部
26 代替データ送信要求受信部
27 代替データ送信部
28 送信データ品質情報送信部
32,62 復号部
33 受信データ品質監視部
34,64 受信データ蓄積制御部
35,65 受信データ蓄積部
35′ 想定品質未満受信データ蓄積部
36,66 再送要求情報蓄積部
37 代替データ送信要求部
38 データ再構成部
63 受信データエラー監視部
72,72A 品質変換部
73 差分データ蓄積部

Claims (12)

  1. データ送信端末とデータ受信端末とをそなえて成るデータ通信システムにおいて、
    該データ受信端末が、
    該データ送信端末から受信されるデータの品質が所定の蓄積品質を満足しているか否かを監視する受信データ品質監視部と、
    該受信データ品質監視部にて或る区間の受信済みの受信データ品質が該蓄積品質を満足していないと判定されると、その区間の受信済みデータについて該蓄積品質を満足するデータ品質の代替データの送信を該データ送信端末に要求する代替データ送信要求部と、
    該受信データ品質監視部により該蓄積品質を満足していると判定された受信データと、該代替データ送信要求部による要求に対して該データ送信端末から送信されてくる代替データとを蓄積する受信データ蓄積部とをそなえるとともに、
    該データ送信端末が、
    該データ受信端末の該代替データ送信要求部から該蓄積品質を満足する代替データの送信要求を受信する代替データ送信要求受信部と、
    該データ受信端末への送信データを該データ受信端末からの該送信要求に応じて該データ受信端末へ送信しうるデータとして蓄積する送信データ蓄積部と、
    該代替データ送信要求受信部にて該送信要求が受信されると、前記区間の該蓄積品質を満足するデータ品質のデータを該送信データ蓄積部の蓄積内容から得て該データ受信端末へ該代替データとして送信する代替データ送信部とをそなえていることを特徴とする、データ通信システム。
  2. データ送信端末から受信されるデータの品質が所定の蓄積品質を満足しているか否かを監視する受信データ品質監視部と、
    該受信データ品質監視部にて或る区間の受信済みの受信データ品質が該蓄積品質を満足していないと判定されると、その区間の受信済みのデータについて該蓄積品質を満足するデータ品質の代替データの送信を該データ送信端末に要求する代替データ送信要求部と、
    該受信データ品質監視部により該蓄積品質を満足していると判定された受信データと、該代替データ送信要求部による要求に対して該データ送信端末から送信されてくる代替データとを蓄積する受信データ蓄積部とをそなえたことを特徴とする、データ受信端末。
  3. 該代替データ送信要求部が、
    該蓄積品質を満足していない区間のデータについて既に受信したデータと組み合わせることにより該蓄積品質を満足する差分データを該代替データとして要求する差分データ送信要求部として構成されたことを特徴とする、請求項2記載のデータ受信端末。
  4. 該受信データ品質監視部が、
    該データ送信端末から送信される送信データ品質情報に基づいて該受信データの蓄積品質を監視するように構成されたことを特徴とする、請求項2記載のデータ受信端末。
  5. 該受信データ品質監視部が、
    該データ送信端末が送信しうる送信データについての品質種類情報を予め該データ送信端末から受信し、該品質種類情報に基づいて満足すべき蓄積品質を決定するように構成されたことを特徴とする、請求項2記載のデータ受信端末。
  6. データ受信端末において或る区間の受信済みの受信データ品質が所定の蓄積品質を満足していないと判定された場合に該データ受信端末から送信されるその区間の受信済みのデータについての該蓄積品質を満足するデータ品質の代替データの送信要求を受信する代替データ送信要求受信部と、
    該データ受信端末への送信データを該送信要求に応じて該データ受信端末へ送信しうるデータとして蓄積する送信データ蓄積部と、
    該代替データ送信要求受信部にて該送信要求が受信されると、前記区間の該蓄積品質を満足するデータ品質のデータを該送信データ蓄積部の蓄積内容から得て該データ受信端末へ該代替データとして送信する代替データ送信部とをそなえたことを特徴とする、データ送信端末。
  7. 該送信データ蓄積部が、
    既に送信したデータと組み合わせることにより異なる品質の送信データを形成しうる差分データを蓄積しうる差分データ蓄積部として構成されるとともに、
    該代替データ送信部が、
    該代替データ送信要求受信部にて、該データ受信端末から該蓄積品質を満足していない区間のデータについて既に受信したデータと組み合わせることにより該蓄積品質を満足する差分データについての送信要求が受信されると、該差分データ蓄積部から該当差分データを得て該データ受信端末へ送信する差分データ送信部として構成されていることを特徴とする、請求項6記載のデータ送信端末。
  8. 該データ受信端末での蓄積品質判定の基となる、送信データ品質情報を該データ受信端末へ送信する送信データ品質情報送信部をそなえていることを特徴とする、請求項6記載のデータ送信端末。
  9. 該データ受信端末で満足すべき蓄積品質の決定の基となる、該データ受信端末へ送信しうる送信データについての品質種類情報を予め該データ受信端末へ送信する品質種類情報送信部をそなえていることを特徴とする、請求項6記載のデータ送信端末。
  10. 該送信データ蓄積部に蓄積された送信データを一定時間経過したものから削除する蓄積制御部をそなえていることを特徴とする、請求項6記載のデータ送信端末。
  11. 受信データの品質が所定品質を満足しているか否かを監視する受信データ品質監視部と、
    該受信データ品質監視部にて或る区間の受信済みの受信データ品質が該所定品質を満足していないと判定されると、その区間の受信済みのデータについて該所定品質を満足するデータ品質の代替データの送信を他の端末に要求する代替データ送信要求部とをそなえたことを特徴とする、データ受信端末。
  12. データ受信端末において或る区間の受信済みの受信データ品質が所定品質を満足していないと判定された場合に該データ受信端末から送信されるその区間の受信済みのデータについての該所定品質を満足するデータ品質の代替データの送信要求を受信する代替データ送信要求受信部と、
    該代替データ送信要求受信部にて該送信要求が受信されると、前記区間の該所定品質を満足するデータ品質のデータを該データ受信端末へ該代替データとして送信する代替データ送信部とをそなえたことを特徴とする、データ送信端末。
JP36125699A 1999-12-20 1999-12-20 データ通信システム並びにデータ受信端末及びデータ送信端末 Expired - Lifetime JP3777279B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP36125699A JP3777279B2 (ja) 1999-12-20 1999-12-20 データ通信システム並びにデータ受信端末及びデータ送信端末
US09/735,887 US7061863B2 (en) 1999-12-20 2000-12-13 Data communication system, data receiving terminal and data sending terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36125699A JP3777279B2 (ja) 1999-12-20 1999-12-20 データ通信システム並びにデータ受信端末及びデータ送信端末

Publications (2)

Publication Number Publication Date
JP2001177573A JP2001177573A (ja) 2001-06-29
JP3777279B2 true JP3777279B2 (ja) 2006-05-24

Family

ID=18472838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36125699A Expired - Lifetime JP3777279B2 (ja) 1999-12-20 1999-12-20 データ通信システム並びにデータ受信端末及びデータ送信端末

Country Status (2)

Country Link
US (1) US7061863B2 (ja)
JP (1) JP3777279B2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4282207B2 (ja) * 2000-05-31 2009-06-17 日本電気株式会社 サーバ装置、クライアント装置、クライアントサーバ通信システム及びそれらに用いるサーバ特定方式
US7327676B2 (en) * 2001-10-11 2008-02-05 Nippon Telegraph And Telephone Corporation Data transmission control method, program therefor and data transmission unit using the same
US7133368B2 (en) 2002-02-01 2006-11-07 Microsoft Corporation Peer-to-peer method of quality of service (QoS) probing and analysis and infrastructure employing same
JP2003309541A (ja) * 2002-04-15 2003-10-31 Sony Corp データ転送システム、データ転送装置及びデータ転送方法、並びにコンピュータ・プログラム
US7499407B2 (en) * 2002-09-20 2009-03-03 Nortel Networks Limited System and method for managing an optical networking service
US6934751B2 (en) * 2002-11-29 2005-08-23 Motorola, Inc. Method and device for providing more accurate subscriber device billing
FR2849733A1 (fr) * 2003-01-02 2004-07-09 Thomson Licensing Sa Dispositif et procede d'ajustement de debit d'un flux de contenus et produits associes
US8295175B2 (en) * 2003-09-30 2012-10-23 Ciena Corporation Service metrics for managing services transported over circuit-oriented and connectionless networks
WO2005088931A1 (en) * 2004-02-13 2005-09-22 Nokia Corporation Timing of quality of experience metrics
JPWO2005099250A1 (ja) * 2004-04-06 2008-03-06 松下電器産業株式会社 プログラム実行装置
JP4265781B2 (ja) * 2004-06-01 2009-05-20 シャープ株式会社 音楽データ送信装置、音楽データ再生装置及び音楽データ通信システム
US8036123B1 (en) 2005-01-07 2011-10-11 Marvell International Ltd. Integrated circuit for network stress testing
JP5072261B2 (ja) * 2006-05-02 2012-11-14 キヤノン株式会社 撮像装置、通信装置、システム、通信方法及びプログラム
KR100765540B1 (ko) * 2006-05-26 2007-10-10 엘지전자 주식회사 이동통신단말기의 응답 메시지 전송방법 및 이를 수행하기위한 이동통신단말기
US8600528B2 (en) * 2006-09-18 2013-12-03 The Research Foundation Of State University Of New York Real-time, packet-level quality assurance of electromechanical device control data
JP2008131106A (ja) * 2006-11-16 2008-06-05 Software Kitchen:Kk 通信会議システム
JP5207895B2 (ja) * 2008-09-17 2013-06-12 キヤノン株式会社 送信装置、受信装置、及び方法、プログラム
US9461760B2 (en) * 2008-10-29 2016-10-04 At&T Intellectual Property I, L.P. Remediation of television signals using a network back-channel
JP2011010091A (ja) * 2009-06-26 2011-01-13 Toshiba Corp 出力情報制御装置および出力情報制御方法
KR101345098B1 (ko) * 2009-12-18 2013-12-26 한국전자통신연구원 실시간 영상품질 측정 장치 및 방법
JPWO2011099254A1 (ja) * 2010-02-15 2013-06-13 パナソニック株式会社 データ処理装置及びデータ符号化装置
CN102714626B (zh) * 2010-06-28 2016-04-06 松下知识产权经营株式会社 通信终端、通信方法以及集成电路
US8909762B2 (en) * 2011-03-17 2014-12-09 Hewlett-Packard Development Company, L.P. Network system management
JP5861085B2 (ja) * 2011-06-09 2016-02-16 パナソニックIpマネジメント株式会社 通信端末、通信制御方法及びプログラム
US9135071B2 (en) * 2011-08-19 2015-09-15 Hewlett-Packard Development Company, L.P. Selecting processing techniques for a data flow task
JP2013207465A (ja) 2012-03-28 2013-10-07 Brother Ind Ltd 会議システム、端末装置および会議方法
JP2013211784A (ja) * 2012-03-30 2013-10-10 Sharp Corp コンテンツデータ記録装置およびコンテンツデータ記録方法
JP6093317B2 (ja) * 2014-02-18 2017-03-08 日本電信電話株式会社 ノンフリーズ型映像配信ネットワークシステム
JP2015092697A (ja) * 2014-12-09 2015-05-14 日立マクセル株式会社 データ送信装置
JP2017040768A (ja) * 2015-08-19 2017-02-23 ヤマハ株式会社 コンテンツ送信装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0775092A (ja) 1993-07-14 1995-03-17 Hitachi Ltd ディジタル動画圧縮装置およびこれを用いたリアルタイム動画通信システム
JP3588522B2 (ja) 1995-09-04 2004-11-10 株式会社東芝 リアルタイムデータ用情報中継システムおよびリアルタイムデータ伝送用情報提供システム
JPH10164553A (ja) 1996-11-29 1998-06-19 Canon Inc 映像サーバ及びクライアント及び制御方法及び記憶媒体
JPH10243373A (ja) 1997-02-27 1998-09-11 Ricoh Co Ltd 通信システム
US5903673A (en) * 1997-03-14 1999-05-11 Microsoft Corporation Digital video signal encoder and encoding method
US6587985B1 (en) * 1998-11-30 2003-07-01 Matsushita Electric Industrial Co., Ltd. Data transmission method, data transmission apparatus, data receiving apparatus, and packet data structure
US6637031B1 (en) * 1998-12-04 2003-10-21 Microsoft Corporation Multimedia presentation latency minimization

Also Published As

Publication number Publication date
US7061863B2 (en) 2006-06-13
US20010004352A1 (en) 2001-06-21
JP2001177573A (ja) 2001-06-29

Similar Documents

Publication Publication Date Title
JP3777279B2 (ja) データ通信システム並びにデータ受信端末及びデータ送信端末
JP4405875B2 (ja) エラー訂正用データの生成方法及び生成装置並びに生成プログラム及び同プログラムを格納したコンピュータ読み取り可能な記録媒体
JP4426316B2 (ja) データストリーミングシステムおよび方法
JP4000905B2 (ja) 情報処理システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム
KR101242663B1 (ko) 패킷 송신 장치, 통신 시스템 및 컴퓨터 판독가능한 기록매체
JP3757857B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US8804754B1 (en) Communication system and techniques for transmission from source to destination
EP1309151A2 (en) System and method of network adaptive real-time multimedia streaming
US20050021830A1 (en) Data communications method and system using buffer size to calculate transmission rate for congestion control
JP2003152752A (ja) データ送受信方法
JP2005522115A (ja) データストリーミングシステムのためのデータ構造
JP2010074366A (ja) 送信装置、受信装置、及び方法、プログラム
JP4170942B2 (ja) モバイルアドホックネットワーク環境での効率的なデータ送受信のためのネットワーク装置及びデータ転送方法
Chakareski et al. RaDiO Edge: Rate-distortion optimized proxy-driven streaming from the network edge
JP2005033556A (ja) データ送信装置、データ送信方法、データ受信装置、データ受信方法
JP4445012B2 (ja) パケットの配信帯域制御方法、配信装置及び映像配信システム
JP5031230B2 (ja) データ送信装置及び方法
JP4909590B2 (ja) メディア信号の受信装置、送信装置及び送受信システム
Ghimire et al. Enhanced the Quality of telemedicine Real-Time Video Transmission and Distortion Minimization in Wireless Network
Apostolopoulos et al. Broadband in the last mile: Current and future applications�
THANH Packet prioritizing and delivering for multimedia streaming
Argyriou Transport layer optimizations for heterogeneous wireless multimedia networks
Schulzrinne Transport protocols for multimedia
AU2002337730A1 (en) Communication system and techniques for transmission from source to destination

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100303

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100303

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110303

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110303

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 7