JP5768292B2 - 経時変化するトランスポートメディアによるデータのストリーミング - Google Patents
経時変化するトランスポートメディアによるデータのストリーミング Download PDFInfo
- Publication number
- JP5768292B2 JP5768292B2 JP2014009236A JP2014009236A JP5768292B2 JP 5768292 B2 JP5768292 B2 JP 5768292B2 JP 2014009236 A JP2014009236 A JP 2014009236A JP 2014009236 A JP2014009236 A JP 2014009236A JP 5768292 B2 JP5768292 B2 JP 5768292B2
- Authority
- JP
- Japan
- Prior art keywords
- metric
- value
- metrics
- connection
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000006163 transport media Substances 0.000 title description 2
- 238000005259 measurement Methods 0.000 claims description 138
- 238000000034 method Methods 0.000 claims description 94
- 238000012546 transfer Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 37
- 239000002131 composite material Substances 0.000 claims description 14
- 238000013461 design Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 26
- 238000011144 upstream manufacturing Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 14
- 239000002609 medium Substances 0.000 description 13
- 230000003044 adaptive effect Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2416—Real-time traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
- H04L43/0829—Packet loss
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0888—Throughput
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/38—Flow control; Congestion control by adapting coding or compression rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Communication Control (AREA)
Description
符号フローレート:符号化される信号のビットレートは経時的に変動するので、本明細書では、符号化される信号の最大ビットレートをフローレートと称することにする。
適応符号器:適応符号器は、信号を、予め定義されたフローレート範囲内の特定のフローレートに符号化する機能を有するデバイスのことである。符号化により、符号化および信号の忠実度(encode-signal fidelity)が最大化されるよう試みられる。
公称フローレート:クライアントとストリーミングサーバとの間で交渉されたフローレート、あるいは、クライアントの知っている範囲でストリーミングサーバが自動的に決定するフローレートを、本明細書では公称フローレートと称する。
符号化係数:Eで表される符号化係数は、ストリーミングサーバとクライアントとの間の接続の現在の状態に適合する好適なフローレートを決定するための、公称フローレートで乗算されたスケールファクタである。
接続トランスミッタンス(connection transmittance):ストリーミングサーバからクライアントまでの接続を、所期のパフォーマンス上の目的に背くことなく維持することのできる最大フローレートのことを、本明細書では接続トランスミッタンスと称する。
パフォーマンス特性:本明細書では、パフォーマンス特性は、転送遅延の変化、データ損失比率、信号歪曲等の計測値可能な接続特性として定義される。
スカラー計測値:1つの接続特性に関する接続計測値を、スカラー計測値と称する。
ベクトル計測値:ベクトル計測値は、同時発生する複数の接続計測値により構成される。
統計値:統計値とは、データサンプル1セットから導出される値(例えば平均値)である。
メトリック:メトリックとは、電話通信ネットワークにおける経路または接続の品質の計測値のことである。メトリックは、経路または経路内の接続のレインテンシー、信頼性、容量等の接続特性に関するものであってよい。
スカラーメトリック:ある接続特性に関するメトリックのことを本明細書ではスカラーメトリックと称する。スカラーメトリックは、複数のスカラー計測値から決定される。
ベクトルメトリック:少なくとも2つの接続特性に関するメトリックのことを本明細書ではベクトルメトリックと称する。ベクトルメトリックは複数のベクトル計測値から決定される。
許容インターバル:許容可能な経路または接続パフォーマンスを示すと考えられる、予め定義された低いほうの限界値と予め定義された高いほうの限界値との間のメトリックの範囲が、本明細書でいうところの許容インターバルである。
ダウンストリーム制御パケット:ストリーミングサーバからクライアントに送られる制御パケットがダウンストリーム制御信号である。
アップストリーム制御パケット:クライアントからストリーミングサーバに送られる制御パケットがアップストリーム制御信号である。
勾配(gradient):従来、連続関数の2つの変数の間の傾き(slope)が勾配として知られている。サンプルの関数の場合の勾配は、少数のサンプルにおける傾きを決定することで近似することができる。本明細書でいうところの勾配は、少数のサンプルをカバーする期間における計測値サンプルの傾きのこととする。
回帰線:1セットのデータを通るように引かれ、且つ、一定の基準(例えば、直線からのデータの偏差の二乗和を最小とするような基準)により決定される直線が回帰線である。回帰線の傾きは、データの分散が一定の条件を満たすときにはデータの傾向を示す信頼できる指標となりうる。
リアルタイムトランスポートプロトコル(RTP):RTPは、オーディオおよびビデオをインターネットで配信する標準的なパケットフォーマットを定義する(IETF(Internet Engineering Task Force)による定義、RFC3550)。
リアルタイムトランスポート制御プロトコル(RTCP):RTCPは、RTPフローのアウトオブバンド制御情報を提供し、ストリーミングセッションで制御パケットを送信するために期間的に利用される。RTCPの主な役割は、接続品質に対するフィードバックを提供することである。
より小さい場合には、符号化係数は更新せず、ステップ522に戻る。さもなくば、ステップ532で、線形回帰法により最新のW個の計測値の傾向を判断する。ステップ540で、αで表される回帰線の傾きの絶対値を、第2の予め定義された閾値
と比較する。αの絶対値(|α|で表す)が
より小さい場合には、ステップ522に戻り、フローコントローラが受信した新たな制御パケットからスカラー計測値またはベクトル計測値を得て格納する。一方
である場合には、ステップ542で、予め定義された関数Г(α,β)によって新たな符号化係数Eを決定して、インデックスを0にリセットする。ステップ546で、Eの値を予め定義された最小値Eminより大きく予め定義された最大値Emaxより小さい範囲に設定する。
図17に示したメトリックμは、転送遅延、データ損失比率、または復号器240におけるバッファ占有率等の接続パフォーマンスの複数の態様の1つを表すスカラーである。従って、限界点μ1およびμ2もまたスカラーである。符号化係数を修正する基準は、符号化係数を修正し(図18および図19)、メトリックの現在の値と、該メトリックの許容可能な範囲との偏差の関数である、係数x1およびx2を有するあるパフォーマンスに関する接続メトリックμに基づいて決定されてよい。接続パフォーマンスの複数の態様を考慮に入れるために、対応するメトリックを正規化して、複合メトリックを、このようにして選択した限界点μ1およびμ2を有する複数の正規化メトリックとの重み付け合計として定義することができる。例えば、遅延メトリックを複数の公称遅延値(例えば、対象となる接続に推定される最小遅延)に関して正規化して、サイズをなくす(becoming dimensionless)ことができる。その性質上サイズのないデータ損失メトリックを正規化メトリックとして利用することができ、バッファ占有率メトリックを(これもサイズがない)各バッファの容量に関して正規化することができる。例えば、遅延、データ損失比率、バッファ占有率に関して同時発生した計測値がそれぞれ20ミリ秒、0.02、および200であったとする。この場合に、20ミリセカンドの遅延メトリックは、公称(参照)遅延10ミリセカンドに基づいて値2.0に正規化することができ、200ユニットのデータのバッファ占有率は、250ユニットのデータのバッファ容量に基づいて0.8と正規化することができる。複合メトリックμ*は、μ*=μdelay+a×μloss+b×μbufferとして定義することができ、本式においてμdelay、μloss、μbufferは、それぞれ、正規化された遅延ベースのメトリック、データ損失メトリック、および、正規化されたバッファ占有率メトリックを表す。パラメータaおよびbをそれぞれ80.0および2.5とすると、上述した例におけるメトリックの複合メトリックμ*は、μ*=2.0+80.0×0.02+2.5×0.8=5.6となる。
本発明の例を下記の各項目として示す。
[項目1]
容量が経時変化する接続により、データストリーミングサーバからクライアントデバイスへ送信される信号の適合可能な符号化レートを決定する方法であって、
前記接続の現在の符号化レートを決定する段階と、
第1の時点と第2の時点との間のW個の計測値を含む時間窓における前記接続の特定の特徴の計測値を得る段階と、
前記計測値から前記特定の特徴のメトリックを決定する段階と、
前記メトリックの値が、下限値と上限値とを有する予め定義された許容インターバル内にあることを条件に、前記現在の符号化レートを許容する段階と、
前記メトリックの値が前記許容インターバル外であることを条件に、前記メトリックの値が前記下限値を下回っている場合には第1の係数により、前記メトリックの値が前記上限値を上回っている場合には第2の係数により、前記現在の符号化レートを調節する段階と
を備え、
前記第1の係数を、前記メトリックの値と前記下限値との偏差の関数として決定し、
前記第2の係数を、前記メトリックの値と前記上限値との偏差の関数として決定する
方法。
[項目2]
前記特定の特徴は、前記接続における転送遅延であり、
前記メトリックを決定する段階は、
前記転送遅延の計測値σを得る段階と、
前記計測値σを加算して循環アレイVの現在のインデックスのエントリを減算することにより総計Σを更新する段階であって、前記循環アレイは、ゼロに初期化されるエントリの個数が前記時間窓内の前記計測値σの個数と少なくとも等しいものである段階と、
前記循環アレイの前記現在のインデックスに前記計測値σを格納する段階と、
前記現在のインデックスを、1増分する段階と、
前記循環アレイの前記現在のインデックスが前記Wの値に達すると前記現在のインデックスをゼロにリセットする段階と、
計測値の累積数を表すカウンタを1増分する段階と、
前記カウンタが所定の閾値P*未満である場合、前記得る段階を繰り返す段階と、
前記カウンタが前記閾値P*に少なくとも等しい場合、前記メトリックを前記総計Σとして決定する段階とをさらに有する項目1に記載の方法。
[項目3]
前記下限値を、Wで乗算された許容可能な転送遅延の下限値として決定して、前記上限値を、Wで乗算された許容可能な転送遅延の上限値として決定する項目2に記載の方法。
[項目4]
前記現在の符号化レートを調節する段階の後に、前記カウンタをゼロにリセットする段階をさらに備える項目2または3に記載の方法。
[項目5]
前記閾値P*を、前記現在の符号化レートを調節する任意の連続する2つの段階間の時間間隔が予め定義された最小の時間間隔より大きくなるよう決定する段階をさらに備える項目2から項目4のいずれか一項に記載の方法。
[項目6]
前記特定の特徴がデータ損失比率であり、前記メトリックは、前記時間窓において決定されたデータ損失比率Θであり、前記下限値と前記上限値は、許容可能なデータ損失比率の限界値であり、前記第1の係数は、Θが前記下限値未満であるとき1より大きい所定の乗数として決定され、前記第2の係数は、Θが前記上限値より大きいとき(1−Θ)として決定される項目1から項目5のいずれか一項に記載の方法。
[項目7]
容量が経時変化する接続により符号器から復号器へデータをストリーミングする方法であって、
前記符号器の出力のフローレートを決定する符号化係数を前記接続に関連付ける段階と、
転送遅延、データ損失、及び前記接続により受信したデータを保持する復号器のバッファの占有率を含む複数のパフォーマンス特性を、前記接続と関連付ける段階と、
前記複数のパフォーマンス特性と一対一の関係にある複数のパフォーマンスメトリックを定義する段階と、
現在の符号化係数で、時間窓における同時発生した前記接続のパフォーマンス計測値の複数のセットを得る段階であって、パフォーマンス計測値の各セットが、前記複数のパフォーマンス特性のいずれか1つに対応している段階と、
各パフォーマンスメトリックの現在の値を、パフォーマンス計測値の対応するセットを用いて決定して、パフォーマンスメトリックの現在の値のセットを生成する段階と、
好適な符号化係数を、各パフォーマンスメトリックの前記現在の値に従って決定する段階と
を備え、
前記複数のパフォーマンスメトリックには、
前記時間窓中の前記符号器から前記復号器への転送遅延の関数と、
前記時間窓中のデータ損失の値と、
前記時間窓中の前記復号器のバッファの占有率の関数とが含まれる
方法。
[項目8]
許容インターバルのセットを定義する段階であって、各許容インターバルがそれぞれ下限値および上限値を有し、前記複数のパフォーマンスメトリックのそれぞれに対応する段階と、
前記パフォーマンスメトリックの現在の値のセットの各エレメントが、対応する許容インターバルの下限値を下回る場合、前記現在の符号化係数を、1より大きい第1の係数で乗算して、前記好適な符号化係数を生成する段階と、
前記パフォーマンスメトリックの現在の値のセットの少なくとも1つのエレメントが、対応する許容インターバルの上限値を上回る場合、前記現在の符号化係数を、1より小さい第2の係数で乗算して、前記好適な符号化係数を生成する段階とをさらに備える項目7に記載の方法。
[項目9]
前記第1の係数および前記第2の係数の積が1未満である項目8に記載の方法。
[項目10]
前記時間窓を、少なくとも予め定義された最小時間間隔をおいて前の時間窓に後続するように選択する段階をさらに備える項目7から項目9のいずれか一項に記載の方法。
[項目11]
前記パフォーマンス計測値の複数のセットは、リアルタイムトランスポートプロトコル(RTP)およびリアルタイムトランスポート制御プロトコル(RTCP)を利用する前記符号器と前記復号器との間の制御データの交換により得られる項目7から項目10のいずれか一項に記載の方法。
[項目12]
容量が経時変化する接続により符号器から復号器へデータをストリーミングする方法であって、
前記符号器の出力のフローレートを決定する符号化係数を前記符号器に関連付ける段階と、
前記接続のパフォーマンスメトリックを定義する段階と、
下限値と上限値とを有する前記パフォーマンスメトリックの許容インターバルを定義する段階と、
現在の符号化係数で、時間窓における前記接続のパフォーマンス計測値の1つのセットを得る段階と、
前記計測値の1つのセットに従って前記接続の前記メトリックの現在の値を決定する段階と、
前記メトリックの前記現在の値が前記下限値を下回る場合、前記現在の符号化係数を1より大きい第1の係数で乗算して、好適な符号化係数を生成する段階、および、前記メトリックの前記現在の値が前記上限値を上回る場合、前記現在の符号化係数を、1より小さい第2の係数で乗算して、前記好適な符号化係数を生成する段階の2つのステップのいずれかにより前記好適な符号化係数を決定する段階と
を備え、
前記第1の係数を、前記メトリックの現在の値と前記下限値との間の差異の関数として決定し、
前記第2の係数を、前記メトリックの現在の値と前記上限値との間の差異の関数として決定する
方法。
[項目13]
前記符号器に命じて、前記好適な符号化係数および公称符号化レートに従って信号を符号化させる段階をさらに備える項目12に記載の方法。
[項目14]
前記メトリックは、前記時間窓中の転送遅延の平均値、前記時間窓中のデータ損失の平均値、または前記時間窓の最後に計測された復号器のバッファの占有率の値のいずれか1つであり、前記復号器のバッファは、前記接続により受信したデータを保持する項目12または13に記載の方法。
[項目15]
容量が経時変化する接続により、データストリーミングサーバからクライアントデバイスへ送信される信号の適合可能な符号化レートを決定する方法であって、
前記接続の現在の符号化レートを決定する段階と、
第1の時点と第2の時点との間のW個の計測値を含む時間窓における前記接続の特定の特徴の計測値を得る段階と、
前記計測値から前記特定の特徴のメトリックμを決定する段階と、
μの値が、下限値μ 1 と上限値μ 2 とを有する予め定義された許容インターバル内にあることを条件に、前記現在の符号化レートを許容する段階と、
μの値が前記許容インターバルの前記上限値μ 2 を上回っている場合には、前記現在の符号化レートを係数x 2 <1で調節して、μの値が前記許容インターバルの前記下限値μ 1 を下回っている場合には、前記現在の符号化レートを係数x 1 >1で調節する段階と
を備え、
前記特定の特徴は、前記接続における転送遅延であり、
前記メトリックを決定する段階は、
前記転送遅延の計測値を得る段階と、
前記計測値を加算して循環アレイVの現在のインデックスのエントリを減算することにより総計Σを更新する段階であって、前記循環アレイは、ゼロに初期化されるエントリの個数が前記時間窓内の前記計測値の個数と少なくとも等しいものである段階と、
前記循環アレイの前記現在のインデックスに前記計測値を格納する段階と、
前記現在のインデックスを、1増分する段階と、
前記循環アレイの前記現在のインデックスが前記Wの値に達すると前記現在のインデックスをゼロにリセットする段階と、
計測値の累積数を表すカウンタを1増分する段階と、
前記カウンタが所定の閾値P * 未満である場合、前記得る段階を繰り返す段階と、
前記カウンタが前記閾値P * に少なくとも等しい場合、前記メトリックを前記総計Σとして決定する段階と
を備える方法。
[項目16]
容量が経時変化する接続により、データストリーミングサーバからクライアントデバイスへ送信される信号の適合可能な符号化レートを決定する方法であって、
前記接続の現在の符号化レートを決定する段階と、
第1の時点と第2の時点との間のW個の計測値を含む時間窓における前記接続の特定の特徴の計測値を得る段階と、
前記計測値から前記特定の特徴のメトリックμを決定する段階と、
μの値が、下限値μ 1 と上限値μ 2 とを有する予め定義された許容インターバル内にあることを条件に、前記現在の符号化レートを許容する段階と、
μの値が前記許容インターバルの前記上限値μ 2 を上回っている場合には、前記現在の符号化レートを係数x 2 <1で調節して、μの値が前記許容インターバルの前記下限値μ 1 を下回っている場合には、前記現在の符号化レートを係数x 1 >1で調節する段階と
を備え、
前記特定の特徴がデータ損失比率であり、前記メトリックは、前記時間窓において決定されたデータ損失比率Θであり、μ 1 およびμ 2 >μ 1 は、許容可能なデータ損失比率の限界値であり、前記係数x 1 は、Θがμ 1 未満であるとき所定の乗数x>1として決定され、前記係数x 2 は、Θ>μ 2 であるとき(1−Θ)として決定される
方法。
[項目17]
容量が経時変化する接続により符号器から復号器へデータをストリーミングする方法であって、
前記符号器の出力のフローレートを決定する符号化係数を前記符号器に関連付ける段階と、
前記接続のパフォーマンスメトリックを定義する段階と、
下限値と上限値とを有する前記パフォーマンスメトリックの許容インターバルを定義する段階と、
現在の符号化係数で、時間窓における前記接続のパフォーマンス計測値の1つのセットを得る段階と、
前記計測値の1つのセットに従って前記接続の前記メトリックの現在の値を決定する段階と、
前記メトリックの前記現在の値が前記下限値を下回る場合、前記現在の符号化係数を1より大きい第1の係数で乗算して、好適な符号化係数を生成する段階、および、前記メトリックの前記現在の値が前記上限値を上回る場合、前記現在の符号化係数を、1より小さい第2の係数で乗算して、前記好適な符号化係数を生成する段階の2つのステップのいずれかにより前記好適な符号化係数を決定する段階と
を備え、
前記メトリックは、前記時間窓中の転送遅延の平均値、前記時間窓中のデータ損失の平均値、または前記時間窓の最後に計測された復号器のバッファの占有率の値のいずれか1つであり、前記復号器のバッファは、前記接続により受信したデータを保持する
方法。
Claims (18)
- 容量が経時変化する接続により、プロセッサを有する符号器から復号器へデータをストリーミングする方法であって、
複数の計測可能な接続特性と一対一の関係にある複数のメトリックを定義する段階と、
前記複数のメトリックの予め定義された関数として、複合メトリックを定義する段階と、
前記複合メトリックの下限値と上限値とによって境界付けされた許容インターバルを定義する段階と、
現在の符号化レートで、選択した時間窓における前記接続の計測値の複数のセットを得る段階であって、前記計測値の各セットが、前記複数の計測可能な接続特性のいずれか1つに対応している段階と、
前記複数のメトリックの現在の値を、前記計測値の対応するセットを用いて決定する段階と、
前記複数のメトリックの前記予め定義された関数と前記現在の値とに基づいて、前記複合メトリックの評価を決定する段階と、
前記複合メトリックの評価と前記許容インターバルに基づき、前記許容インターバルからの前記複合メトリックの前記評価の偏差の関数に従って、前記現在の符号化レートを修正して好適な符号化レートを決定する段階と
を備える方法。 - 前記複数のメトリックの各メトリックを、正規化されてサイズのないメトリックとして決定する段階をさらに有する請求項1に記載の方法。
- 前記計測値の複数のセットは、同時発生した計測値を含む請求項1または2に記載の方法。
- 前記選択された時間窓における、転送遅延、データ損失、及び前記復号器の前にある復号器のバッファの占有率のうちのいずれか2つの計測値として、前記計測値の前記セットを選択する段階をさらに有する請求項1から3のいずれか1項に記載の方法。
- 前記複数のメトリックは、公称遅延値に対する転送遅延メトリックの比として決定された正規化転送遅延メトリックを含む請求項2から4のいずれか1項に記載の方法。
- 前記複数のメトリックは、送信されたパケットの数に対する損失パケットの比として決定されたデータ損失メトリックを含む請求項2から4のいずれか1項に記載の方法。
- 前記複数のメトリックは、前記復号器のバッファの容量に対する前記復号器のバッファの占有率の比として決定された正規化されたバッファ占有率メトリックを含む請求項2から4のいずれか1項に記載の方法。
- 前記複数のメトリックは、公称遅延値に対する転送遅延メトリックの比として決定された正規化転送遅延メトリックと、送信されたパケットの数に対する損失パケットの比として決定されたデータ損失メトリックと、前記復号器のバッファの容量に対する前記復号器のバッファの占有率の比として決定された正規化されたバッファ占有率メトリックとを含み、
前記予め定義された関数は、前記複数のメトリックの重み付け合計である請求項2から4のいずれか1項に記載の方法。 - 前記複合メトリックは、以下の式で決定される請求項8に記載の方法。
μ*=μdelay+a×μloss+b×μbuffer
上記式において、μ*は前記複合メトリックを表し、aとbはスカラー設計パラメータであり、μdelayは前記正規化転送遅延メトリックを表し、μlossは前記データ損失メトリックを表し、μbufferは前記正規化されたバッファ占有率メトリックを表す。 - 前記正規化転送遅延メトリックを、転送遅延計測値の移動平均に基づいて決定する段階と、
前記正規化されたバッファ占有率メトリックを、前記復号器のバッファの占有率の移動平均に基づいて決定する段階と
をさらに備える請求項8に記載の方法。 - 前記選択された時間窓は、連続且つ重複する時間窓に属する請求項1から10のいずれか1項に記載の方法。
- 前記計測値の複数のセットは、リアルタイムトランスポートプロトコル(RTP)およびリアルタイムトランスポート制御プロトコル(RTCP)を利用する前記符号器と前記復号器との間の制御データの交換により得られる請求項1から11のいずれか1項に記載の方法。
- データストリーミングのシステムであって、
符号器、プロセッサ、及びメモリ素子を有するストリーミングサーバと、
復号器をそれぞれ有する複数のクライアントデバイスと
を備え、前記システムは前記符号器に結合されたフローコントローラにより特徴付けられ、
前記フローコントローラは、
複数の計測可能な接続特性と一対一の関係にある複数のメトリックを定義する手段と、
現在の符号化レートで、選択した時間窓における接続の計測値の複数のセットを得る手段であって、前記計測値の各セットが、前記複数の計測可能な接続特性のいずれか1つに対応している手段と、
前記複数のメトリックの現在の値を、前記計測値の対応するセットを用いて決定する手段と、
前記複数のメトリックの予め定義された関数として、複合メトリックを定義する手段と、
前記複数のメトリックの前記予め定義された関数と前記現在の値とに基づいて、前記複合メトリックの評価を決定する手段と、
前記複合メトリックの予め定義された許容インターバルからの前記複合メトリックの評価の偏差の関数に従って、前記現在の符号化レートを修正して好適な符号化レートを決定する手段と
を備えるシステム。 - 前記複数のメトリックの各メトリックを、正規化されてサイズのないメトリックとして決定する手段をさらに有する請求項13に記載のシステム。
- 前記計測値の複数のセットは、同時発生した計測値を含む請求項13または14に記載のシステム。
- 前記複数のメトリックを選択して、前記符号器から前記各復号器に結合されたユーザまでのエンドツーエンド接続状態を示す手段を更に備え、
前記エンドツーエンド接続状態は、前記符号器に結合されたトランスミッタと前記各復号器の復号器バッファに結合されたレシーバとの間の通信チャネルのネットワークの状態、及び、クライアントデバイスの状態のうちの少なくとも一方を含む請求項13から15のいずれか1項に記載のシステム。 - 前記ネットワークの状態は、選択された時間窓中の前記通信チャネルにおける転送遅延のメトリック、及び前記選択された時間窓中のデータ損失のメトリックのうちの少なくとも一方により示され、
前記クライアントデバイスの状態は、前記選択された時間窓の最後における、前記通信チャネルによって受信されたデータを保持する前記復号器バッファの占有率のメトリックによって示される請求項16に記載のシステム。 - 前記接続はビデオ信号を搬送し、前記現在の符号化レートを修正する手段は、前記符号器に、前記ビデオ信号のフレームレート及びフレーム毎の内容の少なくとも一方を修正させる手段を有する請求項13から17のいずれか1項に記載のシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/180,704 US7844725B2 (en) | 2008-07-28 | 2008-07-28 | Data streaming through time-varying transport media |
US12/180,697 US8001260B2 (en) | 2008-07-28 | 2008-07-28 | Flow-rate adaptation for a connection of time-varying capacity |
US12/180,704 | 2008-07-28 | ||
US12/180,697 | 2008-07-28 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011520286A Division JP5465723B2 (ja) | 2008-07-28 | 2008-10-16 | 経時変化するトランスポートメディアによるデータのストリーミング |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014123957A JP2014123957A (ja) | 2014-07-03 |
JP5768292B2 true JP5768292B2 (ja) | 2015-08-26 |
Family
ID=41609870
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011520286A Active JP5465723B2 (ja) | 2008-07-28 | 2008-10-16 | 経時変化するトランスポートメディアによるデータのストリーミング |
JP2011520285A Active JP5536059B2 (ja) | 2008-07-28 | 2008-10-16 | 経時変化する容量を有する接続のフローレート適合 |
JP2014009236A Active JP5768292B2 (ja) | 2008-07-28 | 2014-01-22 | 経時変化するトランスポートメディアによるデータのストリーミング |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011520286A Active JP5465723B2 (ja) | 2008-07-28 | 2008-10-16 | 経時変化するトランスポートメディアによるデータのストリーミング |
JP2011520285A Active JP5536059B2 (ja) | 2008-07-28 | 2008-10-16 | 経時変化する容量を有する接続のフローレート適合 |
Country Status (7)
Country | Link |
---|---|
EP (2) | EP2308199B1 (ja) |
JP (3) | JP5465723B2 (ja) |
KR (2) | KR101399509B1 (ja) |
CN (2) | CN102106113B (ja) |
CA (2) | CA2723628C (ja) |
IL (2) | IL209628A (ja) |
WO (2) | WO2010012067A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2493504B (en) * | 2011-07-25 | 2017-11-29 | Qualcomm Technologies Int Ltd | Data flow control |
US9306994B2 (en) * | 2012-06-06 | 2016-04-05 | Cisco Technology, Inc. | Stabilization of adaptive streaming video clients through rate limiting |
WO2015034405A1 (en) * | 2013-09-05 | 2015-03-12 | Telefonaktiebolaget L M Ericsson (Publ) | Adaptive multimedia codec parameter adaptation |
GB2524958A (en) * | 2014-04-03 | 2015-10-14 | Orbital Multi Media Holdings Corp | Data flow control method |
JP5896055B2 (ja) * | 2015-02-24 | 2016-03-30 | 住友電気工業株式会社 | 優先度設定装置及びコンピュータプログラム |
US20160259453A1 (en) | 2015-03-06 | 2016-09-08 | Sony Computer Entertainment America Llc | Dynamic adjustment of cloud game data streams to output device and network quality |
US10135890B2 (en) * | 2015-03-06 | 2018-11-20 | Sony Interactive Entertainment LLC | Latency-dependent cloud input channel management |
US10756997B2 (en) | 2015-09-28 | 2020-08-25 | Cybrook Inc. | Bandwidth adjustment for real-time video transmission |
US10506257B2 (en) | 2015-09-28 | 2019-12-10 | Cybrook Inc. | Method and system of video processing with back channel message management |
US10516892B2 (en) | 2015-09-28 | 2019-12-24 | Cybrook Inc. | Initial bandwidth estimation for real-time video transmission |
CN107438187B (zh) * | 2015-09-28 | 2020-06-30 | 苏州踪视通信息技术有限公司 | 实时视频传输的带宽调整 |
US9397973B1 (en) * | 2015-10-16 | 2016-07-19 | Machine Zone, Inc. | Systems and methods for transferring message data |
CA3042326A1 (en) * | 2015-11-02 | 2017-05-11 | Vantrix Corporation | Method and system for flow-rate regulation in a content-controlled streaming network |
CN107170460B (zh) * | 2017-06-30 | 2020-12-08 | 深圳Tcl新技术有限公司 | 音质调整方法、系统、主机端、及存储介质 |
KR102119661B1 (ko) * | 2018-10-31 | 2020-06-08 | 한국전력공사 | 회전기기 고장 예지를 위한 건전성 지표 추이 및 잔존수명 예측 기법 |
CN110113777B (zh) * | 2019-04-29 | 2022-03-01 | 深圳广熵科技有限公司 | 一种数据采集方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6400954B1 (en) * | 1998-05-15 | 2002-06-04 | Tlelefonaktiebolaget Lm Ericsson (Publ) | Methods and systems for mode selection based on access network capacity |
JP3520986B2 (ja) * | 2000-12-08 | 2004-04-19 | タイコエレクトロニクスアンプ株式会社 | 電気コネクタ |
JP3900413B2 (ja) * | 2002-02-14 | 2007-04-04 | Kddi株式会社 | 映像情報伝送方式およびプログラム |
KR20030095995A (ko) * | 2002-06-14 | 2003-12-24 | 마츠시타 덴끼 산교 가부시키가이샤 | 미디어 전송방법 및 그 송신장치 및 수신장치 |
SG111978A1 (en) * | 2002-11-20 | 2005-06-29 | Victor Company Of Japan | An mpeg-4 live unicast video streaming system in wireless network with end-to-end bitrate-based congestion control |
JP4069444B2 (ja) * | 2002-12-10 | 2008-04-02 | ソニー株式会社 | 符号化制御方法及び符号化制御プログラム |
EP1576754A1 (en) | 2002-12-18 | 2005-09-21 | Koninklijke Philips Electronics N.V. | Adaptive encoding of digital multimedia information |
JP2004215224A (ja) * | 2002-12-20 | 2004-07-29 | Nippon Telegr & Teleph Corp <Ntt> | 符号誤り訂正方法、符号誤り訂正システム、プログラム及びそのプログラムを記録した記録媒体 |
JP3769752B2 (ja) * | 2002-12-24 | 2006-04-26 | ソニー株式会社 | 情報処理装置および情報処理方法、データ通信システム、並びに、プログラム |
JP3894130B2 (ja) * | 2003-02-13 | 2007-03-14 | 日本電信電話株式会社 | パス容量増減判断方法 |
JP2006525693A (ja) * | 2003-02-13 | 2006-11-09 | ノキア コーポレイション | マルチメディア・ストリーミングにおけるクライアント速度機能のシグナリング方法 |
US7647614B2 (en) * | 2004-06-07 | 2010-01-12 | Sling Media, Inc. | Fast-start streaming and buffering of streaming content for personal media player |
KR100608821B1 (ko) * | 2004-07-22 | 2006-08-08 | 엘지전자 주식회사 | 휴대단말기의 왕복지연시간 측정장치 및 방법 |
JP2006129439A (ja) * | 2004-09-28 | 2006-05-18 | Kyocera Corp | 通信システム、基地局装置、サーバ装置、移動局装置、及び送信データ量決定方法 |
WO2006054442A1 (ja) * | 2004-11-17 | 2006-05-26 | Sharp Kabushiki Kaisha | 送信装置、受信装置及び通信システム |
KR100631514B1 (ko) * | 2004-12-16 | 2006-10-09 | 엘지전자 주식회사 | 실시간 스트리밍 서비스의 전송률 제어 방법 |
GB2423219B (en) * | 2005-02-10 | 2007-04-18 | Motorola Inc | A network proxy client, a communication system and a method for providing a service between a server and an end client |
JP4697525B2 (ja) * | 2005-04-20 | 2011-06-08 | ソニー株式会社 | 送受信システム、送信装置および送信方法、受信装置および受信方法、並びにプログラム |
US8842555B2 (en) * | 2005-10-21 | 2014-09-23 | Qualcomm Incorporated | Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems |
US8381047B2 (en) * | 2005-11-30 | 2013-02-19 | Microsoft Corporation | Predicting degradation of a communication channel below a threshold based on data transmission errors |
-
2008
- 2008-10-16 EP EP08876641.5A patent/EP2308199B1/en active Active
- 2008-10-16 JP JP2011520286A patent/JP5465723B2/ja active Active
- 2008-10-16 CA CA2723628A patent/CA2723628C/en active Active
- 2008-10-16 CN CN200880130542.3A patent/CN102106113B/zh not_active Expired - Fee Related
- 2008-10-16 KR KR1020117004353A patent/KR101399509B1/ko active IP Right Grant
- 2008-10-16 JP JP2011520285A patent/JP5536059B2/ja active Active
- 2008-10-16 EP EP08876642.3A patent/EP2308200B1/en active Active
- 2008-10-16 KR KR1020117004344A patent/KR101519903B1/ko active IP Right Grant
- 2008-10-16 WO PCT/CA2008/001824 patent/WO2010012067A1/en active Application Filing
- 2008-10-16 WO PCT/CA2008/001823 patent/WO2010012066A1/en active Application Filing
- 2008-10-16 CN CN200880130541.9A patent/CN102106112B/zh not_active Expired - Fee Related
- 2008-10-16 CA CA2723788A patent/CA2723788C/en active Active
-
2010
- 2010-11-29 IL IL209628A patent/IL209628A/en active IP Right Grant
- 2010-12-02 IL IL209722A patent/IL209722A/en active IP Right Grant
-
2014
- 2014-01-22 JP JP2014009236A patent/JP5768292B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CA2723788A1 (en) | 2010-02-04 |
CN102106112B (zh) | 2014-07-09 |
KR20110044258A (ko) | 2011-04-28 |
IL209722A0 (en) | 2011-02-28 |
EP2308199B1 (en) | 2013-12-18 |
IL209722A (en) | 2014-12-31 |
EP2308200A1 (en) | 2011-04-13 |
JP2011529307A (ja) | 2011-12-01 |
CA2723628A1 (en) | 2010-02-04 |
JP5536059B2 (ja) | 2014-07-02 |
WO2010012067A1 (en) | 2010-02-04 |
WO2010012066A1 (en) | 2010-02-04 |
KR20110044257A (ko) | 2011-04-28 |
CN102106113B (zh) | 2014-06-11 |
EP2308199A1 (en) | 2011-04-13 |
IL209628A0 (en) | 2011-02-28 |
EP2308199A4 (en) | 2012-03-21 |
JP2011529306A (ja) | 2011-12-01 |
KR101399509B1 (ko) | 2014-05-27 |
JP2014123957A (ja) | 2014-07-03 |
CA2723628C (en) | 2015-12-22 |
EP2308200B1 (en) | 2013-12-11 |
EP2308200A4 (en) | 2012-03-21 |
CA2723788C (en) | 2016-10-04 |
CN102106113A (zh) | 2011-06-22 |
CN102106112A (zh) | 2011-06-22 |
IL209628A (en) | 2017-04-30 |
JP5465723B2 (ja) | 2014-04-09 |
KR101519903B1 (ko) | 2015-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5768292B2 (ja) | 経時変化するトランスポートメディアによるデータのストリーミング | |
US8255559B2 (en) | Data streaming through time-varying transport media | |
US9112947B2 (en) | Flow-rate adaptation for a connection of time-varying capacity | |
JP4513725B2 (ja) | パケット送信装置、通信システム及びプログラム | |
CN110192394B (zh) | 通过网络传送媒体内容的方法和服务器 | |
US20030165150A1 (en) | Multi-threshold smoothing | |
JP2005513876A (ja) | クライアント又はネットワーク環境に基づいて映像ストリームを修正するシステム及び方法 | |
JP4834013B2 (ja) | 送信装置、送信プログラム、受信装置及び受信プログラム | |
JP2011259239A (ja) | 通信処理装置、通信処理システム、通信処理方法及びプログラム | |
WO2022168306A1 (ja) | 伝送システム、伝送方法、および、伝送プログラム | |
Sullivan | A protocol for simultaneous real time playback and full quality storage of streaming media |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5768292 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |