JP4883801B2 - 通信制御装置、通信制御方法、及びコンピュータプログラム - Google Patents

通信制御装置、通信制御方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP4883801B2
JP4883801B2 JP2007211388A JP2007211388A JP4883801B2 JP 4883801 B2 JP4883801 B2 JP 4883801B2 JP 2007211388 A JP2007211388 A JP 2007211388A JP 2007211388 A JP2007211388 A JP 2007211388A JP 4883801 B2 JP4883801 B2 JP 4883801B2
Authority
JP
Japan
Prior art keywords
packet
packets
transmission
communication control
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007211388A
Other languages
English (en)
Other versions
JP2009049506A (ja
JP2009049506A5 (ja
Inventor
章佳 浜中
亨 強矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007211388A priority Critical patent/JP4883801B2/ja
Priority to US12/190,768 priority patent/US8107500B2/en
Publication of JP2009049506A publication Critical patent/JP2009049506A/ja
Publication of JP2009049506A5 publication Critical patent/JP2009049506A5/ja
Application granted granted Critical
Publication of JP4883801B2 publication Critical patent/JP4883801B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/30Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Communication Control (AREA)

Description

本発明は、通信制御装置、通信制御方法、及びコンピュータプログラムに関し、特に、パケットを送信する際の送信レートを制御するために用いて好適なものである。
に関する。
従来から、全体的又は局所的に送信レートを制御する方法として、高精度クロックにより、1パケット毎の送信間隔を制御する方法が提唱されていた(特許文献1を参照)。
また、局所的に変動するトラフィックが、回線容量を超過しないように、単位時間あたりの送信データ量を調整する方法が提唱されている。この方法では、送信休止開始時刻と送信再開時刻とを指定することにより、任意の単位でまとまって送信されるデータ単位の間に送信休止期間を設け、前記送信休止期間を制御することにより、前記送信レートを制御する(特許文献2を参照)。
特開2003−169090号公報 特開2006−87010号公報
しかしながら、前述した従来の方法では、送信レートを無段階に制御する必要があった。その為に、前記送信休止期間又はパケット送信間隔を、非常に高周波数且つ高精度のクロックで制御することが必要であった。
また、1パケット毎の送信間隔を制御する場合、1パケット毎に送信開始時刻を指定する必要がある。その為に、送信開始時刻を指定するための演算負荷が大きいという問題点があった。
本発明は、このような問題点に鑑みてなされたものであり、高周波数且つ高精度のクロックを用いずに、従来よりも小さな演算負荷で送信レートを制御できるようにすることを目的とする。
本発明の通信制御装置は、符号化済みのデータに基づくパケットを生成する生成手段と、前記符号化済みのデータの符号量、前記パケットの送信先である受信装置におけるパケットの受信状態に関する受信状態情報、前記パケットの送信に用いられる通信経路の速度に関する情報、及び前記パケットの通信のために確保可能な通信路の容量に関する情報のうち、少なくとも何れか1つを用いて、システム・クロックに応じて連続して送信するパケット数を指定する指定手段と、前記指定手段により指定されたパケット数のパケットを、前記システム・クロックに応じたタイミングで連続して送信する送信手段とを有し、前記送信手段は、前記指定手段により指定されたパケット数のパケットの連続した送信を、1フレーム時間内に、システム・クロックに応じたタイミングで複数回行うことを特徴とする。
本発明の通信制御方法は、通信制御装置が行う通信制御方法であって、符号化済みのデータに基づくパケットを生成する生成ステップと、前記符号化済みのデータの符号量、前記パケットの送信先である受信装置におけるパケットの受信状態に関する受信状態情報、前記パケットの送信に用いられる通信経路の速度に関する情報、及び前記パケットの通信のために確保可能な通信路の容量に関する情報のうち、少なくとも何れか1つを用いて、システム・クロックに応じて連続して送信するパケット数を指定する指定ステップと、前記指定ステップにより指定されたパケット数のパケットを、前記システム・クロックに応じたタイミングで連続して送信する送信ステップとを有し、前記送信ステップは、前記指定ステップにより指定されたパケット数のパケットの連続した送信を、1フレーム時間内に、システム・クロックに応じたタイミングで複数回行うことを特徴とする。
本発明のコンピュータプログラムは、符号化済みのデータに基づくパケットを生成する生成ステップと、前記符号化済みのデータの符号量、前記パケットの送信先である受信装置におけるパケットの受信状態に関する受信状態情報、前記パケットの送信に用いられる通信経路の速度に関する情報、及び前記パケットの通信のために確保可能な通信路の容量に関する情報のうち、少なくとも何れか1つを用いて、システム・クロックに応じて連続して送信するパケット数を指定する指定ステップと、前記指定ステップにより指定されたパケット数のパケットを、前記システム・クロックに応じたタイミングで連続して送信する送信ステップとをコンピュータに実行させ、前記送信ステップは、前記指定ステップにより指定されたパケット数のパケットの連続した送信を、1フレーム時間内に、システム・クロックに応じたタイミングで複数回行うことを特徴とする。
本発明によれば、高周波数且つ高精度のクロックを用いずに、従来よりも小さな演算負荷で送信レートを制御できる。
以下に、図面を参照しながら、本発明の一実施形態について説明する。
図1は、通信制御装置の構成の一例を示した図である。
図1において、通信制御装置200は、符号化装置201と、パケット化装置202と、パケットスケジューラ203と、NIC(Network Interface Card)204と、制御装置205と、入力端子206とを備えて構成されている。
入力端子206から入力されたディジタル動画像信号は、符号化装置201にて所定の符号化フォーマットで符号化処理され、符号化ディジタル動画像信号として、パケット化装置202に出力される。尚、ディジタル動画像信号と共にディジタル音声信号が、入力端子206から入力されるようにしてもよい。
図2は、符号化ディジタル動画像信号がパケット化装置202でパケット化される様子の一例を概念的に示す図である。
図2に示すように、パケット化装置202に入力された符号化ディジタル動画像信号301a、301bは、フレーム番号(Frame Number)の小さいものから順に、任意の一定バイト数(N[Bytes])毎に分割される。そして、夫々の先頭に所定のパケットヘッダ302a〜302dが付与されたパケット303a〜303dとして出力される。パケット303(パケット化された符号化ディジタル動画像信号)は、パケットスケジューラ203へ入力される。
パケットスケジューラ203は、図1に示すような内部構造を持っており、バッファ・メモリ203aとコントローラ203bとを有している。パケットスケジューラ203へ入力された各パケット303a〜303dは、バッファ・メモリ203aに一時的に記憶(保持)される。コントローラ203bは、後述するようにして制御装置205から指定されたバースト数(L(Lは自然数))に従って、バッファ・メモリ203aに一時的に記憶されているパケット303を、入力順でL個ずつ読み出して、NIC204へ出力する。ここで、前記バースト数とは、まとまったパケットを一度に集中して送信するバースト送信における、1送信単位のパケット数のことである。
ここで、図2に示した、フレーム番号が0(Frame Number = 0)のフレームに対応する発生符号量(符号化ディジタル動画像信号301aの符号量)が、20パケット相当量であると仮定する。更に、制御装置205からコントローラ203bに指定されるバースト数が5(L=5)であると仮定する。
そうすると、コントローラ203bは、制御装置205から指定されたバースト数(L=5)に従って、コントローラ203bに入力された順に、5つのパケット303をバッファ・メモリ203aから読み出す。
図3は、通信制御装置から送信されるパケットの送信パターンの一例を示す図である。具体的に図3(a)は、本実施形態の通信制御装置200から送信されるパケット303の送信パターンの一例を示し、システム・クロック101と、送信レートを制御してパケット303を送信する場合の送信パターン102a、102bとを示している。尚、送信パターン102aは、符号化ディジタル動画像信号301の符号量が相対的に小さい場合の送信パターンであり、送信パターン102bは、符号化ディジタル動画像信号301の符号量が相対的に大きい場合の送信パターンである。一方、図3(b)は、従来のパケットの送信パターンを示し、送信レートを制御せずにパケットを送信する場合の通常の送信パターン103と、システム・クロック104と、送信レートを制御してパケットを送信する場合の従来の送信パターン105を示している。
図3(b)に示すように、従来は、高精度なシステム・クロック104が必要であった。これに対し、図3(a)に示すように、本実施形態の通信制御装置200では、通信制御装置200に常設される通常のシステム・クロック101に同期して、パケット303がバッファ・メモリ203aから読み出されるように構成されている。このように本実施形態では、従来よりも低周波数且つ低精度のシステム・クロック101で、通信レート(送信レート)を制御することができる。
本実施形態の通信制御装置200に常設されているシステム・クロック101の周波数としては、例えば、次の(1)〜(4)のような周波数等が考えられる。
(1) 90×N[KHz]又は90×1/N[KHz](N:正の整数)
(2) 44.1×N[KHz]又は44.1×1/N[KHz](N:正の整数)
(3) 48×N[KHz]又は48×1/N[KHz](N:正の整数)
(4) 動画像信号の水平同期周波数(NTSCの場合は、15.736[KHz])×N[kHz]又は動画像信号の水平同期周波数×1/N[kHz](N:正の整数)
ただし、システム・クロック101の周波数はこのようなものに限定されない。パケット303の送信レートを制御するために使用することが可能であるならば、どのような周波数をシステム・クロック101として採用してもよい。ビデオの標本化周波数(例えば27[MHz]、13.5[MHz])を任意の分周比で分周した周波数をシステム・クロック101として採用してもよい。更に、44.1[KHz]、48[KHz]以外の音声標本化周波数を任意の倍率又は分周比で逓倍又は分周した周波数をシステム・クロック101として採用してもよい。
また、複数の周波数の中から、システム・クロック101を選択するようにしてもよい。例えば、48[KHz]と、そのN逓倍又は1/N分周した周波数とを選択することが可能となるようにしたり、48[KHz]と44.1[KHz]とを選択したりすることが可能となるようにしてもよい。このようにする場合、システム・クロック101をダイナミックに切り換え可能な構成としてもよい。
図4は、バッファ・メモリ203aから読み出されるパケットと、NIC204から連続して送信(バースト送信)されるパケットとの関係の一例を示す図である。
図4に示すように、時刻t0において、コントローラ203bは、バッファ・メモリ203aから、制御装置205から指定されたバースト数に相当する5個のパケットP1〜P5を、バッファ・メモリ203aに入力された順に読み出す。そして、コントローラ203bは、読み出したパケットP1〜P5を、NIC204へ出力する。
NIC204に入力された5個のパケットP1〜P5は、NIC204の内部に設けられているバッファに書き込まれる。そのバッファに書き込まれたパケットP1〜P5は、次にシステム・クロック101が立ち上がるタイミングになる(次にシステム・クロック101の立ち上がりエッジが現れる)まで一時的に記憶される。尚、以下の説明では、システム・クロック101が立ち上がるタイミング(システム・クロック101立ち上がりエッジが現れるタイミング)を、必要に応じて、クロックタイミングと称する。
図4に示す例では、次のクロックタイミングである時刻t1で、5個のパケットP1〜P5は、NIC204の内部に設けられたバッファから読み出される。読み出された5個のパケットP1〜P5は、NIC204のハードウェアロジック又はドライバソフトの制御により、通信回線207(ネットワーク)へ送出される。このようにしてネットワークへパケットを送出する際のパケット間隔は、NIC204に固有のクロックと、ハードウェアロジック又はドライバソフトのプログラミングの内容とにより決定される。
図3(a)(又は図4)に示すように、時刻t1において、パケットスケジューラ203内部のバッファ・メモリ203aから、バッファ・メモリ203aに入力された順に、次の5個のパケットP6〜P10が読み出され、NIC204に入力される。そして、NIC204に入力されたパケットP6〜P10は、次のクロックタイミング(バースト送信タイミング)である時刻t2になるまでの間、NIC204の内部に設けられたバッファに一時的に記憶される。
時刻t2になると、NIC204の内部に設けられたバッファから、バーストフレーム数に相当する5個のパケットP6〜P10が読み出され、読み出された5個のパケットP6〜P10が通信回線207(ネットワーク)へ送出(バースト送信)される。以上の動作が繰り返し行われる。
尚、図3(a)及び図4に示すシステム・クロック101は同一のものである。また、図4に示したパケットP1〜P15は、図2に示した1つのパケット303a〜303dに対応する。
図1の説明に戻り、制御装置205は、パケットの送信先である受信端末装置(受信装置)から送られてくる受信状態情報の全部又は一部を、任意の統計的解析手法を用いて処理する。受信状態情報は、任意の通信手段又はRTCP(RTP Control Protocol)の付加情報を用いることにより、前記受信端末装置から制御装置205に送られる。制御装置205は、この処理を行うことより、例えば、システム・クロック101の周期Tでバースト送信を実施した際にパケットロスの発生確率が最小となるバースト数Liを算出することができる。そして、制御装置205は、算出したバースト数Liで1フレーム期間内に送信可能な最大符号量Rxを算出する。
ここで、受信状態情報は、例えば、パケットロス率(又はパケットロス数)、エラー率、欠落パケット数、受信バッファの占有率、受信ビットレートの最大値、最小値、平均値の少なくとも何れか1つを含む情報である。
次に、制御装置205は、送信対象である任意のフレームの符号量Rrと、前記1フレーム期間内に送信可能な最大符号量Rxとを比較する。制御装置205は、比較の結果、前記1フレーム期間内に送信可能な最大符号量Rxが、前記送信対象である任意のフレームの符号量Rr以上である(Rx≧Rr)と判定した場合、バースト数Lを、前述したようにして算出したバースト数Liとする(L=Li)。一方、前記1フレーム期間内に送信可能な最大符号量Rxが、前記送信対象である任意のフレームの符号量Rrより小さい(Rx<Rr)と判定した場合、制御装置205は、Rx≧Rrを満たすバースト数Lxを算出する。そして、バースト数Lを算出したバースト数Lxとする(L=Lx)。
制御装置205は、以上のようにして得られたバースト数Lをパケットスケジューラ203へ指示する。
バースト数Liの算出処理及びバースト数Lxの算出処理は、基本的にフレーム毎に実施可能である。ただし、制御装置205の処理負荷を軽減することと、画質的な安定を図ることとを実現するために、バースト数Li、Lxの算出処理を次のようにして行ってもよい。すなわち、任意に設定されたフレーム数を周期としてバースト数Li、Lxの算出処理を行ってもよい。また、符号化モードがイントラ(Intra)であるフレーム毎、又は符号量の変化が任意に設定された閾値を超過したフレーム毎にバースト数Li、Lxの算出処理を行ってもよい。
以上説明したように本実施形態では、システム・クロック101が立ち上がるタイミングでバースト送信を開始する。そして、制御装置205から指定されたバースト数Lに等しい数のパケットを連続して送信した後、システム・クロック101が次に立ち上がるまでは、自動的に送信休止期間となるようにしている。
次に、バースト数Lを算出してバースト送信する際の通信制御装置200の動作の一例を図5のフローチャートを参照して説明する。
前述したように、バースト数Lの変更は、任意の単位でダイナミックに行うことが可能であるが、発生符号量が増大するイントラ符号化フレームの単位で変更するのが実用上合理的であり、好ましい。
まず、制御装置205は、処理対象のフレームにおける、フレーム単位の符号化モード(Mode)を判定する(ステップS601)。この判定の結果、符号化モードが、イントラ(Intra)と判定された場合、制御装置205は、イントラ符号化フレームの符号量を符号化装置201から取得する(ステップS602)。
次に、制御装置205は、前記受信端末装置からNIC204が受信した前記受信状態情報を参照し、以下の第1〜第3の処理(ステップS603〜608)を並列的に又は時系列的に実行し、バースト数L1〜L3を算出する。
第1の処理として、制御装置205は、パケットロス率と受信レートの時系列的な変動とを比較する(ステップS603)。そして、制御装置205は、比較した結果に基づいて、パケットロス率が最小となるバースト数L1を求める(ステップS606)。
尚、この第1の処理を行うに際し、受信レートと、パケットロス率と、それに対応するバースト数とから定まる点を3次元座標上にプロットし、プロットしたデータをデータベースとして任意の保存期間保存しておくようにする。制御装置205は、例えば、ステップS602でイントラ符号化フレームの全符号量を取得した後、前記データベースからパケットロス率が最小となる受信レートRとバースト数L1を読み出すことで、ステップS603、S606を実現できる。
第2の処理として、制御装置205は、受信バッファ占有率とパケットロス率の時系列的な変動とを比較する(ステップS604)。そして、制御装置205は、比較した結果に基づいて、パケットロス率が最小となるバースト数L2を求める(ステップS607)。
尚、この第2の処理を行うに際し、受信バッファ占有率と、パケットロス率と、それに対応するバースト数とから定まる点を3次元座標上にプロットし、プロットしたデータをデータベースとして任意の保存期間保存しておくようにする。制御装置205は、例えば、ステップS602でイントラ符号化フレームの全符号量を取得した後、前記データベースからパケットロス率が最小となる受信バッファ占有率Qとバースト数L2を読み出すことで、ステップ604、S607を実現できる。
第3の処理として、制御装置205は、受信バッファの占有率と受信レートの時系列的な変動とを比較する(ステップS605)。そして、制御装置205は、比較した結果に基づいて、前記受信バッファのオーバーフロー(OF)及びアンダーフロー(UF)の発生確率が最小となるバースト数L3を求める(ステップS608)。
尚、この第3の処理を行うに際し、受信レートと、バッファ占有率と、それに対応するバースト数とから定まる点を3次元座標上にプロットし、プロットしたデータをデータベースとして任意の保存期間保存しておくようにする。制御装置205は、例えば、ステップS602でイントラ符号化フレームの全符号量を取得した後、前記データベースから、オーバーフローやアンダーフローの発生しない範囲で最大のバースト数L3を読み出すことで、ステップS605、S608を実現できる。
以上のように本実施形態では、第1〜第3の処理を行うことにより、受信状態情報の全部又は一部を、統計的解析手法を用いて処理するようにしている。
バースト数L1〜L3を求めると、制御装置205は、それら3つのバースト数L1〜L3の夫々を用いて、前記イントラ符号化フレームの符号量をバースト送信した場合の所要時間TL(L1)、TL(L2)、TL(L3)を算出する(ステップS609)。
次に、制御装置205は、ステップS609で算出した所要時間TL(L1)、TL(L2)、TL(L3)と1フレーム時間(1FrameTime;フレームレートの逆数[sec])とを比較する。そして、制御装置205は、所要時間TL(L1)、TL(L2)、TL(L3)が、1フレーム時間以内であるバースト数LX(X:1,2,3)を選択する(ステップS610)。
そして、選択したバースト数LXが1つである場合、制御装置205は、バースト数Lに選択したバースト数LXを代入し、そのバースト数をパケットスケジューラ203に対して指定する。また、選択したバースト数LXが2つ以上ある場合、制御装置205は、選択したバースト数LXの最小値をバースト数Lに代入し、そのバースト数をパケットスケジューラ203に対して指定する(ステップS611)。
そして、パケットスケジューラ203は、指定されたバースト数Lに基づいて、パケットをNIC204に出力し、パケットのバースト送信を指示する。そして、NIC204は、そのパケットのバースト送信を実施する(ステップS612)。これにより、通信制御装置200から通信回線207を経由して前記受信端末装置にパケットがバースト送信される。
一方、ステップS610の比較の結果、所要時間TL(L1)、〜TL(L3)が1フレーム時間以内のバースト数LXがない場合、制御装置205は、次の処理を行う。すなわち、制御装置205は、所要時間TL(Lt)が1フレーム時間以下になる(TL(Lt)≦(1フレーム時間))バースト数Ltを別途算出する。そして、制御装置205は、算出したバースト数Ltをバースト数Lに代入し、そのバースト数をパケットスケジューラ203に対して指定する(ステップS613)。
ここで、バースト数Ltは、例えば次のようにして求めることができる。
1フレーム相当時間をTf、図1(a)に示したシステム・クロック101の周期をT、任意のイントラ符号化フレームの発生符号量をRi、1パケットあたりに伝送可能な符号量をRpとする。そうすると、1フレーム時間内でバースト送信を実施可能な回数Nbは、以下の(1)式、(2)式で表される。
Nb=(Tf/T) ・・・(1)
Nb=(Tf/T)+1 ・・・(2)
ここで、(1)式は、1フレーム相当時間Tfをシステム・クロック101の周期Tで割ったときの余りが0である場合の値である。一方、(2)式は、1フレーム相当時間Tfをシステム・クロック101の周期Tで割ったときの余りが0より大きい場合の値である。
また、任意のイントラ符号化フレームの全符号量を伝送するために必要なパケット数Npは、以下の(3)式、(4)式で表される。
Np=(Ri/Rp) ・・・(3)
Np=(Ri/Rp)+1 ・・・(4)
ここで、(3)式は、任意のイントラ符号化フレームの発生符号量Riを、1パケットあたりに伝送可能な符号量Rpで割ったときの余りが0である場合の値である。一方、(4)式は、任意のイントラ符号化フレームの発生符号量Riを、1パケットあたりに伝送可能な符号量Rpで割ったときの余りが0より大きい場合の値である。
1フレーム時間内でバースト送信を実施可能な回数Nbと、任意のイントラ符号化フレームの全符号量を伝送するために必要なパケット数Npとを用いると、バースト数Ltは、以下の(5)式、(6)式で表される。
Lt=(Np/Nb) ・・・(5)
Lt=(Np/Nb)+1 ・・・(6)
ここで、(5)式は、任意のイントラ符号化フレームの全符号量を伝送するために必要なパケット数Npを、1フレーム時間内でバースト送信を実施可能な回数Nbで割ったときの余りが0である場合の値である。一方、(6)式は、任意のイントラ符号化フレームの全符号量を伝送するために必要なパケット数Npを、1フレーム時間内でバースト送信を実施可能な回数Nbで割ったときの余りが0より大きい場合の値である。
制御装置205は、以上の(1)式〜(6)式の計算を行うことにより、バースト数Ltを算出する。
本実施形態では、ステップS611、S613で決定(算出)されたバースト数Lは、基本的に次のイントラ符号化フレームが出現するまで更新されない構成になっている。したがって、ステップS613で算出されたバースト数Ltは、前記イントラ符号化フレームに限定して使用する。そして、次のイントラ符号化フレームまでの非イントラ符号化フレームのバースト送信に対しては、バースト数Ltでバースト送信される1つ前に算出(更新)されたバースト数L(バースト数Ltが適用されるまで適用されていたバースト数L)を使用する。
ただし、イントラ符号化フレームの送信にバースト数Ltが用いられた場合は、アプリケーションに応じて、次のようにしてもよい。すなわち、バースト数Lに、ステップS613で算出されたバースト数Ltを代入(L=Lt)して、次のイントラ符号化フレームでバースト数Lが更新されるまでは、バースト数Ltを採用するように、制御装置205を構成又はプログラムミングしてもよい。
制御装置205は、NIC204からの信号に基づいて、前記イントラ符号化フレームの符号量に対する送信完了を検出すると、送信完了を検出したフレームが、最終フレームであるか否かを、NIC204からの信号に基づいて判定する(ステップS614)。この判定の結果、最終フレームであった場合には処理を終了する。一方、最終フレームでなかった場合には、制御装置205は、次のフレームに処理を移行し(ステップS615)、前記次のフレームに対する符号化モードの判定を実施する(ステップS601)。
ここで、送信完了を検出したフレームが、最終フレームであるか否かの判定は、例えば、次のようにして行うことができる。符号化装置201は、自身の入力バッファが空であるか否かを判定し、入力バッファが空である場合に、送信完了を検出したフレームが、最終フレームであることを示すフラグ又はコードを制御装置205に示す。制御装置205は、このフラグ又はコードに基づいて、送信完了を検出したフレームが、最終フレームであると判定することができる。
また、符号化装置201は、次の符号化対象フレームのデータがある一定時間入力されなかった場合、直前のフレームを、最終フレームと判断し、直前のフレームが、最終フレームであることを示すフラグ又はコードを制御装置205に示す。制御装置205は、このフラグ又はコードに基づいて、直前のフレームが、最終フレームであると判定することができる。
この他、符号化装置201の入力バッファの状態(占有率)を示すバッファ状態情報を、符号化装置201から制御装置205へ任意の時間間隔で出力し、そのバッファ状態情報に基づいて、制御装置205が最終フレームであるか否かを判定することもできる。
以上のように本実施形態では、1回のバースト送信で連続して送信するバースト数(パケットの数)を、例えばイントラ符号化フレームを処理するたびに、前記受信端末装置の受信状態情報に基づいて算出する。そして、算出したバースト数のパケットを、システム・クロック101が立ち上がるタイミングに同期させてバースト送信するようにした。そして、次にシステム・クロック101が立ち上がるタイミングまでは、バースト送信せずに、自動的に送信休止期間となるようにした。したがって、送信休止及び送信再開のタイミングを算出することによって送信レートを制御しなくても、全体的又は局所的な送信レートの制御を適切に実現することができる。よって、演算負荷を低減すると共に、高周波数且つ高精度のクロックを不要にすることができる。
前述したように、本実施形態では、前記受信端末装置から受信した前記受信状態情報に基づいて、1回のバースト送信で送信するバースト数を算出するようにした。しかしながら、必ずしも前記受信状態情報に基づいてバースト数を算出しなくてもよい。前記受信状態情報に代えて、又は前記受信状態情報に加えて、パケットの通信に利用する通信回線207の実効速度、及び確保可能な通信路容量の少なくとも何れか一方に基づいてバースト数を算出してもよい。
例えば、制御装置205は、NIC204から以下の(1)、(2)の情報を取得して、通信回線207の現在の実効速度を予測することができる。
(1)単位時間あたりの発生符号量又は単位時間あたりバッファに書き込まれるデータ量の推移情報
(2)送信ビットレート情報又は送信ビットレートの推移情報
図6は、制御装置205がNIC204から取得する「単位時間あたりの発生符号量(発生符号レート)の推移情報」の一例を示す図である。この図6に示す情報が、前記(1)に対応する情報である。また、図7は、制御装置205がNIC204から取得する「単位時間あたりの送信データ量(送信データレート)の推移情報」の一例を示す図である。この図7に示す情報が、前記(2)に対応する情報である。
そして、制御装置205は、取得した前記(1)の情報と前記(2)の情報との組み合わせにより、現在時刻t1における通信回線207の実効速度を予測する。
図8は、制御装置205が通信回線207の実効速度を予測する際に使用するテーブルの一例を示す図である。
例えば、図6(a)、図7(a)に示す情報を取得した場合、制御装置205は、発生符号レート及び送信データレートは一定であると判断することができる。この場合、制御装置205は、テーブル800の"a"の欄と"d"の欄とを参照し、通信回線207の現在時刻t1における実効速度(回線速度)が、α[bps]以上であると予測する。
また、図6(a)、図7(b)に示す情報を取得した場合、制御装置205は、発生符号レートは一定であるのに対し、送信データレートは低下していると判断することができる。この場合、制御装置205は、テーブル800の"a"の欄と"e"の欄とを参照し、通信回線207の現在時刻t1における実効速度(回線速度)が、β[bps]以下であると予測する。
また、図6(a)、図7(c)に示す情報を取得した場合、制御装置205は、発生符号レートは一定であるのに対し、送信データレートは増大していると判断することができる。この場合、制御装置205は、テーブル800の"a"の欄と"f"の欄とを参照し、通信回線207の現在時刻t1における実効速度(回線速度)が、α[bps]以上であると予測する。
そして、その他の組合せにおいても同様にして通信回線207の現在時刻t1における実効速度(回線速度)を予測することができる。
また、確保可能な通信路容量については、次のようにして取得することができる。例えば、通信制御装置200と前記受信端末装置と無線アクセスポイントとが"IEEE 802.11e"規格に準拠しているとする。そして、通信制御装置200と前記受信端末装置との間で動画像コンテンツをストリーミング配信する場合を考える。この場合、通信制御装置200は、前記無線アクセスポイントに対して必要な回線容量を要求する。この要求を受けた前記無線アクセスポイントは、通信制御装置200のプライオリティを加味して、現状確保可能な回線容量と前記要求を吟味した上で、確保した回線容量を通信制御装置200に通知する。この場合、通信制御装置200のプライオリティが低い場合は、ベストエフォートとなる。以上のようにして、通信制御装置200は、確保可能な通信路容量を取得することができる。
尚、フレーム単位の発生符号量が、予測可能又は既知である場合、バースト数Lの更新(算出)は、次のようにして行うようにしてもよい。まず、前記フレーム単位の発生符号量、又は前記フレーム単位の発生符号量に関する変化の割合(傾き)に対して、任意の閾値を設ける。そして、現在のフレームの発生符号量が、前記任意の閾値を越えるか、又は前のフレームの符号量に対する現在のフレームの符号量の変化の割合が、前記任意の閾値を越えると判定された場合に、バースト数Lを更新(算出)する。
また、本実施形態では、図3及び図4に示したように、システム・クロック101の立ち上がりエッジが出現するのに同期して動作する系を例に挙げて説明したが、必ずしもこのようにする必要はない。例えば、システム・クロック101の立ち下がりエッジの出現に同期して動作する系、又は立ち上がりと立ち下がり両エッジの出現に同期して動作する系として構成することも可能である。また、システム・クロック101から、バースト送信するタイミングを算出するようにすることも可能である。すなわち、システム・クロック101に基づいてバースト送信するようにしていれば、バースト送信するタイミングは、どのようにして決定してもよい。
(本発明の他の実施形態)
前述した本発明の実施形態における通信制御装置を構成する各手段、並びに通信制御方法の各ステップは、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図5に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
尚、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
本発明の実施形態を示し、通信制御装置の構成の一例を示した図である。 本発明の実施形態を示し、符号化ディジタル動画像信号がパケット化装置でパケット化される様子の一例を概念的に示す図である。 本発明の実施形態を示し、通信制御装置から送信されるパケットの送信パターンの一例を示す図である。 本発明の実施形態を示し、バッファ・メモリから読み出されるパケットと、NICから送信(バースト送信)されるパケットとの関係の一例を示す図である。 本発明の実施形態を示し、バースト数を算出してバースト送信する際の通信制御装置の動作の一例を図5のフローチャートである。 本発明の実施形態を示し、単位時間あたりの発生符号量(発生符号レート)の推移情報の一例を示す図である。 本発明の実施形態を示し、単位時間あたりの送信データ量(送信データレート)の推移情報の一例を示す図である。 本発明の実施形態を示し、制御装置が通信回線の実効速度を予測する際に使用するテーブルの一例を示す図である。
符号の説明
101 システム・クロック
102 パケットの送信パターン
200 通信制御装置
201 符号化装置
202 パケット化装置
203 パケットスケジューラ
204 NIC
205 制御装置
301 符号化ディジタル動画像信号
303 パケット

Claims (11)

  1. 符号化済みのデータに基づくパケットを生成する生成手段と、
    前記符号化済みのデータの符号量、前記パケットの送信先である受信装置におけるパケットの受信状態に関する受信状態情報、前記パケットの送信に用いられる通信経路の速度に関する情報、及び前記パケットの通信のために確保可能な通信路の容量に関する情報のうち、少なくとも何れか1つを用いて、システム・クロックに応じて連続して送信するパケット数を指定する指定手段と、
    前記指定手段により指定されたパケット数のパケットを、前記システム・クロックに応じたタイミングで連続して送信する送信手段とを有し、
    前記送信手段は、前記指定手段により指定されたパケット数のパケットの連続した送信を、1フレーム時間内に、システム・クロックに応じたタイミングで複数回行うことを特徴とする通信制御装置。
  2. 前記指定手段は、イントラフレームの符号量と、1フレーム時間当たりのシステム・クロックの回数とを用いて、前記連続して送信するパケット数を指定することを特徴とする請求項1に記載の通信制御装置。
  3. 前記符号化済みの動画データからイントラフレームを検出する検出手段を有し、
    前記指定手段は、前記イントラフレームの検出に応じて、前記連続して送信するパケット数を指定することを特徴とする請求項1又は2に記載の通信制御装置。
  4. 前記パケットの送信先である受信装置におけるパケットの受信状態に関する受信状態情報を取得する取得手段を有し、
    前記指定手段は、前記取得された受信状態情報を用いて、前記連続して送信するパケット数を指定することを特徴とする請求項1乃至3のいずれか1項に記載の通信制御装置。
  5. 前記受信状態情報はパケットロス数に関する情報を含み、
    前記指定手段により過去に指定された第1のパケット数と、当該第1のパケット数で連続して送信したときの第1のパケットロス数に関する情報とを相互に対応付けて記憶すると共に、前記指定手段により過去に指定された第2のパケット数と、当該第2のパケット数で連続して送信したときの第2のパケットロス数に関する情報とを相互に対応付けて記憶する記憶手段を有し、
    前記指定手段は、前記第2のパケットロス数よりも少ない前記第1のパケットロス数に対応付けられた前記第1のパケット数で未送信のイントラフレームのパケットを送信した場合にかかる送信時間が、フレームレートに応じたフレーム時間よりも短い場合、前記第1のパケット数を指定することを特徴とする請求項4に記載の通信制御装置。
  6. 前記受信状態情報は前記受信装置の受信バッファの占有率に関する情報を含み、
    前記指定手段により過去に指定された第1のパケット数と、当該第1のパケット数で連続して送信したときの第1のバッファ占有率に関する情報とを相互に対応付けて記憶すると共に、前記指定手段により過去に指定された第2のパケット数と、当該第2のパケット数で連続して送信したときの第2のバッファ占有率に関する情報とを相互に対応付けて記憶する記憶手段を有し、
    前記指定手段は、前記第2のバッファ占有率よりもバッファオーバーフロー及びバッファアンダーフローの発生率が低い前記第1のバッファ占有率に対応付けられた前記第1のパケット数で未送信のイントラフレームのパケットを送信した場合にかかる時間が、フレームレートに応じたフレーム時間よりも短い場合、前記第1のパケット数を指定することを特徴とする請求項4に記載の通信制御装置。
  7. 前記指定手段は、前記取得手段により取得された受信状態情報の全部又は一部を、統計的解析手法を用いて処理することにより算出されたパケット数を、前記連続して送信するパケットの数として指定することを特徴とする請求項4乃至6のいずれか1項に記載の通信制御装置。
  8. 音声標本化周波数、動画像信号の水平同期周波数、90[KHz]、及びそれらをN(Nは正の整数)倍又はN(Nは正の整数)分周した周波数の何れかをシステム・クロックとして使用することを特徴とする請求項1乃至7の何れか1項に記載の通信制御装置。
  9. 通信制御装置が行う通信制御方法であって、
    符号化済みのデータに基づくパケットを生成する生成ステップと、
    前記符号化済みのデータの符号量、前記パケットの送信先である受信装置におけるパケットの受信状態に関する受信状態情報、前記パケットの送信に用いられる通信経路の速度に関する情報、及び前記パケットの通信のために確保可能な通信路の容量に関する情報のうち、少なくとも何れか1つを用いて、システム・クロックに応じて連続して送信するパケット数を指定する指定ステップと、
    前記指定ステップにより指定されたパケット数のパケットを、前記システム・クロックに応じたタイミングで連続して送信する送信ステップとを有し、
    前記送信ステップは、前記指定ステップにより指定されたパケット数のパケットの連続した送信を、1フレーム時間内に、システム・クロックに応じたタイミングで複数回行うことを特徴とする通信制御方法。
  10. 前記パケットの送信先である受信装置におけるパケットの受信状態に関する受信状態情報を取得する取得ステップを有し、
    前記指定ステップは、前記取得された受信状態情報を用いて、前記連続して送信するパケット数を指定することを特徴とする請求項9に記載の通信制御方法。
  11. 符号化済みのデータに基づくパケットを生成する生成ステップと、
    前記符号化済みのデータの符号量、前記パケットの送信先である受信装置におけるパケットの受信状態に関する受信状態情報、前記パケットの送信に用いられる通信経路の速度に関する情報、及び前記パケットの通信のために確保可能な通信路の容量に関する情報のうち、少なくとも何れか1つを用いて、システム・クロックに応じて連続して送信するパケット数を指定する指定ステップと、
    前記指定ステップにより指定されたパケット数のパケットを、前記システム・クロックに応じたタイミングで連続して送信する送信ステップとをコンピュータに実行させ
    前記送信ステップは、前記指定ステップにより指定されたパケット数のパケットの連続した送信を、1フレーム時間内に、システム・クロックに応じたタイミングで複数回行うことを特徴とするコンピュータプログラム。
JP2007211388A 2007-08-14 2007-08-14 通信制御装置、通信制御方法、及びコンピュータプログラム Active JP4883801B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007211388A JP4883801B2 (ja) 2007-08-14 2007-08-14 通信制御装置、通信制御方法、及びコンピュータプログラム
US12/190,768 US8107500B2 (en) 2007-08-14 2008-08-13 Communication control apparatus, communication control method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007211388A JP4883801B2 (ja) 2007-08-14 2007-08-14 通信制御装置、通信制御方法、及びコンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2009049506A JP2009049506A (ja) 2009-03-05
JP2009049506A5 JP2009049506A5 (ja) 2010-09-16
JP4883801B2 true JP4883801B2 (ja) 2012-02-22

Family

ID=40362925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007211388A Active JP4883801B2 (ja) 2007-08-14 2007-08-14 通信制御装置、通信制御方法、及びコンピュータプログラム

Country Status (2)

Country Link
US (1) US8107500B2 (ja)
JP (1) JP4883801B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969355A (zh) * 2009-07-27 2011-02-09 英业达股份有限公司 网络传输速度测试方法及其网络装置
EP2323316B1 (en) 2009-11-16 2013-02-06 Alcatel Lucent Method and device for segmentation of data
JP5780353B2 (ja) 2012-03-02 2015-09-16 富士通株式会社 画像送信方法、プログラム、及び装置
JP5935602B2 (ja) 2012-08-30 2016-06-15 富士通株式会社 転送装置、転送方法および転送プログラム
CN116667978A (zh) * 2022-02-18 2023-08-29 微芯片技术股份有限公司 开始带预定开始极性的帧的传输及相关系统、方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4866704A (en) * 1988-03-16 1989-09-12 California Institute Of Technology Fiber optic voice/data network
DE19528563C2 (de) * 1995-08-03 1997-11-06 Siemens Ag Verfahren zur Bewertung von mindestens zwei mehrteiligen Kommunikationsverbindungen zwischen zwei Kommunikationspartnern in einem Mehrknotennetzwerk
KR100252108B1 (ko) * 1997-12-20 2000-04-15 윤종용 Mpeg 압축부호화 및 복호화기를 채용한 디지털 기록 재생장치 및 그 방법
US6549587B1 (en) * 1999-09-20 2003-04-15 Broadcom Corporation Voice and data exchange over a packet based network with timing recovery
KR100431003B1 (ko) * 2001-10-31 2004-05-12 삼성전자주식회사 데이터 송수신 시스템 및 방법
JP2003169090A (ja) * 2001-11-30 2003-06-13 Fujitsu Ltd 伝送システム
JP3730974B2 (ja) * 2002-06-14 2006-01-05 松下電器産業株式会社 メディア伝送方法及びその送信装置
JP4429095B2 (ja) * 2004-06-25 2010-03-10 富士通株式会社 障害解析プログラム、障害解析装置、記録媒体及び障害解析方法
US7733919B2 (en) * 2004-07-12 2010-06-08 General Instrument Corporation Method and apparatus for processing transport stream packets to compensate for jitter
JP2006087010A (ja) * 2004-09-17 2006-03-30 National Institute Of Advanced Industrial & Technology 通信路制御装置およびそれを用いたネットワークシステム
JP4697525B2 (ja) * 2005-04-20 2011-06-08 ソニー株式会社 送受信システム、送信装置および送信方法、受信装置および受信方法、並びにプログラム
JP2006332966A (ja) * 2005-05-25 2006-12-07 Matsushita Electric Ind Co Ltd データ伝送装置
JP2006332967A (ja) * 2005-05-25 2006-12-07 Matsushita Electric Ind Co Ltd データ伝送装置

Also Published As

Publication number Publication date
JP2009049506A (ja) 2009-03-05
US20090046744A1 (en) 2009-02-19
US8107500B2 (en) 2012-01-31

Similar Documents

Publication Publication Date Title
RU2367011C2 (ru) Устройство и способ передачи сигналов с упреждающей адаптацией скорости
JP5339697B2 (ja) 送信装置、送信方法、及びコンピュータプログラム
EP1471707B1 (en) Data reception and playback apparatus, method, processing program
US7433946B2 (en) Mechanism for transmitting elementary streams in a broadcast environment
US8219701B2 (en) Apparatus and method for controlling communication
US11206431B2 (en) Systems and methods for selecting an initial streaming bitrate
JP2004172830A (ja) 動画像符号化ビットレート選択方式
JP4883801B2 (ja) 通信制御装置、通信制御方法、及びコンピュータプログラム
JP2003244695A (ja) 映像情報伝送方式、それに用いられる装置およびプログラム
JP2004015111A (ja) データ配信システム
EP3471422B1 (en) Video playback method and apparatus for selecting a video frame discarding scheme
JP3668110B2 (ja) 画像伝送システムおよび画像伝送方法
WO2008076537A1 (en) Method and system for providing adaptive trick play control of streaming digital video
KR20140025572A (ko) 다중경로 레이트 적응
JP2009207084A (ja) 送信装置、送信プログラム、受信装置及び受信プログラム
CN104581340A (zh) 客户端、流媒体数据接收方法和流媒体数据传输系统
JP2007318470A (ja) サーバ装置、送信順序決定方法およびコンテンツ配信システム
JPH11215480A (ja) 映像通信システム及び映像送信装置及び映像受信装置及びそれらの制御方法及び記憶媒体
JP3931642B2 (ja) ストリーム配信システム、ストリーム送信装置、及び、中継装置
JP4000046B2 (ja) 通信システム、無線通信端末、データ配信装置及び通信方法
JP4596766B2 (ja) メディア通信制御方法、メディア通信制御装置、および、メディア提供システム、ならびに、メディア通信制御プログラム、および、その記憶媒体
US20190182520A1 (en) Bitrate instruction device, bitrate instruction method, and non-transitory recording medium
JP2006041819A (ja) ストリーム配信サーバ、移動端末、ストリーム配信システム、およびストリーム配信方法
JP2004153617A (ja) 通信システム、無線通信端末、データ配信装置及び通信方法
US7301955B1 (en) Method for smoothing the transmission of a time-sensitive file

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4883801

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3