JP4658082B2 - ストリーム伝送品質測定装置、ストリーム伝送品質測定方法、ストリーム伝送品質測定システムおよびプログラム - Google Patents

ストリーム伝送品質測定装置、ストリーム伝送品質測定方法、ストリーム伝送品質測定システムおよびプログラム Download PDF

Info

Publication number
JP4658082B2
JP4658082B2 JP2007055775A JP2007055775A JP4658082B2 JP 4658082 B2 JP4658082 B2 JP 4658082B2 JP 2007055775 A JP2007055775 A JP 2007055775A JP 2007055775 A JP2007055775 A JP 2007055775A JP 4658082 B2 JP4658082 B2 JP 4658082B2
Authority
JP
Japan
Prior art keywords
packet
buffer
data amount
stream
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007055775A
Other languages
English (en)
Other versions
JP2008219596A (ja
Inventor
一成 牛木
智子 伊藤
岳彦 渡邉
誠 中村
圭輔 橋本
成哲 小河原
淳 志賀
Original Assignee
エヌ・ティ・ティ・コムウェア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌ・ティ・ティ・コムウェア株式会社 filed Critical エヌ・ティ・ティ・コムウェア株式会社
Priority to JP2007055775A priority Critical patent/JP4658082B2/ja
Publication of JP2008219596A publication Critical patent/JP2008219596A/ja
Application granted granted Critical
Publication of JP4658082B2 publication Critical patent/JP4658082B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ストリーム伝送品質測定装置、ストリーム伝送品質測定方法、ストリーム伝送品質測定システムおよびプログラムム、特にパケット通信路を介したストリームの伝送品質を測定するストリーム伝送品質測定装置、ストリーム伝送品質測定方法、ストリーム伝送品質測定システムおよびプログラムに関する。
従来の映像伝送品質評価基準(MDI:非特許文献1参照)は、IP(Internet Protocol)ネットワーク上をUDP(User Data Protocol)を用いて伝送されるMPEG(Moving Picture Experts Group)−TS(Transport Stream)などのストリームの伝送品質についての評価基準を提供している。この映像伝送品質評価基準が提供する評価基準にVB(Virtual Buffer:仮想バッファ)容量およびDF(Delay Factor:遅延量)がある。受信側では、伝送時に発生するジッタ(ゆらぎ)などにより、ストリームを構成するパケットを、送信時とは異なる間隔で受信することになる。受信側は、ストリームを復号する復号手段の前段にバッファを設けることでこのジッタを吸収する。ここで、パケットを受信すると該パケットが格納され、復号手段によりストリームの再生速度でデータが読み出される仮想的なバッファを考える。遅延量DFとは、この仮想的なバッファのVB容量を再生速度MRで割った値であり、ストリームのデータがバッファに滞留する時間の最大値である。すなわち、遅延量DFは、受信側が備えるバッファのバッファ時間である。
仮想バッファの容量であるVB容量は、VB(max)とVB(min)との差である。
遅延量DFは、以下の式(1)にて算出される。
DF=(VB(max)−VB(min))/MR ・・・(1)
ここで、式(1)のMRは、ストリームの再生速度(ビットレートなど)であり、配信速度と等しい。VBは、ストリームを再生するデコーダのバッファに蓄積されているストリームのデータ量(バイト数など)を表す。
また、i番目のパケットを受信する直前におけるバッファに蓄積されているデータ量VB(i,pre)は以下の式(2)で算出される。
VB(i,pre)=sum(Sj)−MR×Ti;where j=1…i−1
・・・(2)
ここで、Sjは、j番目のパケットのバイト数であり、Tiはi番目のパケットを受信するまでの経過時間である。
また、i番目のパケットを受信した直後におけるバッファに蓄積されているデータ量VB(i,post)は以下の式(3)で算出される。
VB(i,post)=VB(i,pre)+Si ・・・(3)
これらの式(2)(3)にて算出されたVB(i,pre)、VB(i,post)から、VBの最大値であるVB(max)と最小値であるVB(min)を選び出して、これらの差をとることで、バッファ容量VBを算出し、式(1)に代入することで遅延量DFを算出する。
"A Proposed Media Delivery Index (MDI)"、rfc4445、Network Working Group、[online]、April 2006、[平成19年2月5日検索]、インターネット、<URL:http://www.ietf.org/rfc/rfc4445.txt>
しかしながら、上述の映像伝送品質評価基準にあっては、評価基準値の一つであるバッファ容量VBを算出する際の前提として再生速度MRが固定値であり、再生速度MRが時間によって変化する可変ビットレート(VBR:Variable Bit Rate)のストリームに関する伝送品質の評価基準には適さないという問題がある。
本発明は、このような事情に鑑みてなされたもので、その目的は、可変ビットレートのストリームに関する伝送品質を測定することができるストリーム伝送品質測定装置、ストリーム伝送品質測定方法、ストリーム伝送品質測定システムおよびプログラムを提供することにある。
この発明は上述した課題を解決するためになされたもので、本発明のストリーム伝送品質測定装置は、識別情報が付与された識別パケットを一定の時間間隔で挿入されたストリームを受信して、該ストリームの伝送品質を測定するストリーム伝送品質測定装置であって、前記ストリームを構成するパケットを受信する受信手段と、前記パケットの中から識別パケットを検出するとともに、前記識別パケット間の前記ストリームのデータ量を算出し、該データ量を前記時間間隔を示す値で割って、各時間帯における再生速度を算出するレート算出手段と、所定の値をバッファデータ量の初期値とし、該バッファデータ量に対して、前記受信手段がパケットを受信した経過時間に該パケットのデータ量を加算して、該パケット受信後のバッファデータ量を算出することと、該算出したバッファデータ量に、次のパケットを受信するまでの経過時間と該経過時間帯の前記再生速度とに基づき、該パケットが読み出されるデータ量を減算して、前記次のパケットを受信する際のバッファデータ量を算出することとを測定時間帯にわたって繰り返したときのバッファデータ量の最大値と最小値とを算出し、該最大値から該最小値を減算してバッファ容量を算出するバッファ容量算出手段とを具備することを特徴とする。
また、本発明のストリーム伝送品質測定装置は、上述のストリーム伝送品質測定装置であって、前記バッファ容量のストリームを前記再生速度にて再生する時間を算出して、バッファ時間とするバッファ時間算出手段を具備することを特徴とする。
また、本発明のストリーム伝送品質測定装置は、上述のストリーム伝送品質測定装置であって、前記バッファ容量算出手段は、開始時間の異なる複数の測定時間帯各々に対して、バッファデータ量の最大値と最小値とを算出し、前記最大値から前記最小値を減算して算出したバッファ容量のうち、最も大きな値のバッファ容量を選択し、前記バッファ時間算出手段は、前記複数の測定時間帯各々に対してバッファ時間を算出し、算出したバッファ時間のうち最も大きい値のものを選択することを特徴とする。
また、本発明のストリーム伝送品質測定装置は、上述のいずれかのストリーム伝送品質測定装置であって、前記バッファ時間算出手段は、バッファデータ量が最大値となった時点からバッファデータ量が最小値となるまで、当該時間帯の再生速度にて再生する時間を算出して、バッファ時間とすることを特徴とする。
また、本発明のストリーム伝送品質測定装置は、上述のいずれかのストリーム伝送品質測定装置であって、前記バッファ時間算出手段は、バッファデータ量が最小値となった時点までの間に、バッファデータ量が最大値からバッファデータ量が最小値となるまで当該時間帯の再生速度にて再生する時間を算出して、バッファ時間とすることを特徴とする。
また、本発明のストリーム伝送品質測定装置は、上述のいずれかのストリーム伝送品質測定装置であって、前記バッファ時間算出手段は、前記バッファ容量のストリームを前記測定時間帯中の再生速度のうちの最小値にて再生する時間を算出して、バッファ時間とすることを特徴とする。
また、本発明のストリーム伝送品質測定装置は、上述のいずれかのストリーム伝送品質測定装置であって、前記レート算出手段は、前記算出した再生速度を、算出の基になったパケットの受信時刻から予め決められたバッファ遅延時間後の再生速度とすることを特徴とする。
また、本発明のストリーム伝送品質測定装置は、上述のいずれかのストリーム伝送品質測定装置であって、前記レート算出手段は、前記受信したパケットのパケット種別の並びから識別パケットを推定し、識別パケットの受信抜けを補完することを特徴とする。
また、本発明のストリーム伝送品質測定装置は、上述のいずれかのストリーム伝送品質測定装置であって、前記受信するストリームは、該ストリームを構成するパケットに通し番号を付されており、前記レート算出手段は、前記通し番号の連続性を監視して、前記パケットの受信抜けを検出し、前記識別パケット間の前記ストリームのデータ量を測定する際に、前記受信抜けしたパケットのデータ量を、当該識別パケット間に受信したパケットのデータ量の平均値とすることを特徴とする。
また、本発明のストリーム伝送品質測定方法は、識別情報が付与された識別パケットを一定の時間間隔で挿入されたストリームを受信して、該ストリームの伝送品質を測定するストリーム伝送品質測定装置におけるストリーム伝送品質測定方法であって、前記ストリーム伝送品質測定装置が、前記ストリームを構成するパケットを受信する第1の過程と、前記ストリーム伝送品質測定装置が、前記パケットの中から識別パケットを検出するとともに、前記識別パケット間の前記ストリームのデータ量を測定し、該データ量を前記時間間隔を示す値で割って、各時間帯における再生速度を算出する第2の過程と、前記ストリーム伝送品質測定装置が、所定の値をバッファデータ量の初期値とし、該バッファデータ量に対して、前記受信手段がパケットを受信した経過時間に該パケットのデータ量を加算して、該パケット受信後のバッファデータ量を算出することと、該算出したバッファデータ量に、次のパケットを受信するまでの経過時間と該経過時間帯の前記再生速度とに基づき、該パケットが読み出されるデータ量を減算して、前記次のパケットを受信する際のバッファデータ量を算出することとを測定時間帯にわたって繰り返したときのバッファデータ量の最大値と最小値とを算出し、該最大値から該最小値を減算してバッファ容量を算出する第3の過程とを備えることを特徴とする。
また、本発明のストリーム伝送品質測定システムは、識別情報が付与された識別パケットを一定の時間間隔で挿入したストリームを送信するストリーム送信装置と、該ストリームを受信して、該ストリームの伝送品質を測定するストリーム伝送品質測定装置とからなるストリーム伝送品質測定システムであって、前記ストリーム伝送品質測定装置は、前記ストリームを構成するパケットを受信する受信手段と、前記パケットの中から識別パケットを検出するとともに、前記識別パケット間の前記ストリームのデータ量を算出し、該データ量を前記時間間隔を示す値で割って、各時間帯における再生速度を算出するレート算出手段と、所定の値をバッファデータ量の初期値とし、該バッファデータ量に対して、前記受信手段がパケットを受信した経過時間に該パケットのデータ量を加算して、該パケット受信後のバッファデータ量を算出することと、該算出したバッファデータ量に、次のパケットを受信するまでの経過時間と該経過時間帯の前記再生速度とに基づき、該パケットが読み出されるデータ量を減算して、前記次のパケットを受信する際のバッファデータ量を算出することとを測定時間帯にわたって繰り返したときのバッファデータ量の最大値と最小値とを算出し、該最大値から該最小値を減算してバッファ容量を算出するバッファ容量算出手段とを具備することを特徴とする。
また、本発明のプログラムは、識別情報が付与された識別パケットを一定の時間間隔で挿入されたストリームを受信して、該ストリームの伝送品質を測定するストリーム伝送品質測定装置が具備するコンピュータを、前記ストリームを構成するパケットを受信する受信手段、前記パケットの中から識別パケットを検出するとともに、前記識別パケット間の前記ストリームのデータ量を算出し、該データ量を前記時間間隔を示す値で割って、各時間帯における再生速度を算出するレート算出手段、所定の値をバッファデータ量の初期値とし、該バッファデータ量に対して、前記受信手段がパケットを受信した経過時間に該パケットのデータ量を加算して、該パケット受信後のバッファデータ量を算出することと、該算出したバッファデータ量に、次のパケットを受信するまでの経過時間と該経過時間帯の前記再生速度とに基づき、該パケットが読み出されるデータ量を減算して、前記次のパケットを受信する際のバッファデータ量を算出することとを測定時間帯にわたって繰り返したときのバッファデータ量の最大値と最小値とを算出し、該最大値から該最小値を減算してバッファ容量を算出するバッファ容量算出手段として機能させる。
この発明によれば、各時間帯における再生速度を算出し、該再生速度を用いることで、ストリームの伝送品質の評価基準値の一つであるバッファ容量を、可変ビットレートのストリームに対しても測定することができる。
以下、図面を参照して、本発明の第1の実施形態について説明する。図1は、この発明の第1の実施形態によるストリーム伝送品質測定システムの構成を示す概略ブロック図である。100は、動画のストリームであるMPEGストリーム(ストリームデータ)を送信するストリーム送信装置である。200は、TCP/IP(Transmission Control Protocol/Internet Protocol)を用いて通信するネットワークである。300は、ストリーム送信装置100が送信したMPEGストリームを、ネットワーク200を介して受信して、遅延量DF(バッファ時間)を測定するストリーム伝送品質測定装置である。ここで測定する遅延量DFは、IPパケットを受信すると該IPパケットが格納され、MPEGストリームの再生速度MRでデータが読み出される仮想的なバッファを考えたときの、この仮想的なバッファにおける遅延量DFである。このバッファ時間DFが、ネットワーク200におけるMPEGストリームの伝送品質の指標となる。ストリーム送信装置100が送信するMPEGストリームは、可変ビットレートのMPEGストリームであり、0.5秒で1つのGOP(Group Of Picture)を構成している。以降、この1つのGOPを構成している時間(0.5秒)を、名目GOP周期という。
ストリーム伝送品質測定装置300は、パケット記憶部310と、受信部320と、レート算出部330と、バッファ容量算出部340と、バッファ時間算出部350とを具備する。パケット記憶部310は、受信したパケット毎に、受信時刻とパケットのデータ量と該パケットに含まれるデータの識別と再生速度MRと受信直前に仮想的なバッファに蓄積されているデータ量と受信直後のバッファに蓄積されているデータ量とを対応付けて記憶する。受信部(受信手段)320は、ストリーム送信装置100が送信したMPEGストリームを構成するIPパケットを受信し、IPパケットを受信した時刻とIPパケットのデータ量と該IPパケットに含まれるデータの種別とをパケット記憶部310に格納する。レート算出部(レート算出手段)330は、パケット記憶部310からGOPの先頭を表すデータを含むIPパケットの種別である種別G(種別については、図2にて詳述する)を検出し、種別GのIPパケットから次の種別GのIPパケットの直前までの間のIPパケットのデータ量の合計を算出する。さらに、レート算出部330は、この合計値を名目GOP周期で割って、再生速度MRを算出する。この再生速度MRを適用する範囲は、種別GのIPパケットの1つ前のIPパケットを受信してから、次の種別GのIPパケットの1つ前のIPパケットを受信するまでの時間帯(以降、実GOP周期という)である。
バッファ容量算出部(バッファ容量算出手段)340は、測定開始時点での仮想的なバッファのデータ量の初期値を「0」として、この初期値「0」に、受信部320がパケットを受信した時刻に該パケットのデータ量を加算することと、次のパケットを受信する直前までの経過時間と該経過時間帯の再生速度MRとに応じたデータ量を減算することとを測定時間帯にわたって繰り返したときのバッファデータ量の最大値と最小値とを算出する。バッファ容量算出部340は、この最大値からこの最小値を減算してバッファ容量VBを算出する。ここで、測定時間帯とは、測定開始時点からオペレータにより指定された長さの時間、あるいは予め決められた時間である。また、測定開始時点は、G識別のIPパケット(識別パケット)の1つ前のIPパケットを受信した時点である。実GOP周期も名目GOP周期も、この測定開始時点を開始点とする。
バッファ時間算出部(バッファ時間算出手段)350は、バッファ容量算出部340が算出したバッファ容量VB分のMPEGストリームを、レート算出部330にて算出した再生速度MRにて再生する時間、すなわち遅延量DF(バッファ時間)を算出して、この算出結果をバッファ時間とする。
図2は、ストリーム送信装置100が送信するMPEGストリームの構成を説明する図である。ストリーム送信装置100が送信するMPEGストリームは、名目GOP周期(本実施形態では、0.5秒)毎にGOPを構成している。このMPEGストリームは、188バイト毎に分割されて、各々はTS(Transport Stream)パケットに格納されている。さらにこのTSパケットは、7つ毎にIPパケットに格納されており、ストリーム送信装置100は、このIPパケットをネットワーク200にて送信する。GOPとは、MPEGストリームにおいて独立して復号することができる単位である。独立して復号することができるとは、あるGOPを復号するのに他のGOPのデータを必要としないことを表す。GOPは、GOPの開始を表すGOP開始情報と、Iピクチャ、Bピクチャ、Pピクチャからなる。これらの情報の先頭部には、以降に続くデータが、GOP開始情報、Iピクチャ、Bピクチャ、Pピクチャのいずれであるかを示す識別情報が格納されている。以降、これらの識別情報を格納したIPパケット各々、G識別パケット、I識別パケット、B識別パケット、P識別パケットという。また、これらの識別情報のいずれも格納していないIPパケットを、以降、0識別パケットという。
図3は、パケット記憶部310に記憶内容例を示した図である。パケット記憶部310は、図3に例示するように、IPパケットの受信毎に、測定時間帯の開始から受信までの経過時間、受信したIPパケットのデータ量、受信したIPパケットの種別、該IPパケット受信時の再生速度MR、該IPパケット受信直前の時点でのバッファデータ量(VB(pre))、該IPパケット受信直後の時点でのバッファデータ量(VB(post))とを記憶する。このうち、経過時間、データ量、種別については、受信部320が格納する。すなわち、受信部320は、IPパケットを受信すると、パケット記憶部310に1行追加して、測定時間帯の開始時刻から受信時点までの経過時間と、受信したIPパケットのデータ量と、受信したIPパケットがG識別パケット、I識別パケット、B識別パケット、P識別パケット、0識別パケットのいずれであるかを表す種別(「G」、「I」、「B]、「P」、「0」)とを、この追加した行に格納する。再生速度MRについては、レート算出部330が格納する。バッファデータ量VB(pre)およびVB(post)については、バッファ容量算出部340が格納する。
図4は、レート算出部330による再生速度MRの算出方法を説明する図である。図4は、横軸に測定時間帯開始からの経過時間をとり、横軸上にIPパケットの受信タイミングと、受信タイミングにおける経過時間と、実GOP周期と、名目GOP周期との関係を示している。実GOP周期は、G識別パケットの1つ前のIPパケットの受信直後から次のG識別パケットの1つ前のIPパケットの受信直後までである。これに対して、名目GOP周期は、測定時間帯開始からストリーム送信装置100が送信するMPEGストリームのGOP周期毎にとった時間帯である。レート算出部330は、各実GOP周期について、当該実GOP周期の時間帯に受信したIPパケットのデータ量をパケット記憶部310から読み出し、これらのデータ量の合計を算出し、この合計を名目GOP周期にて割ることで、当該実GOP周期の再生速度MRを算出する。レート算出部330は、パケット記憶部310に記憶されているIPパケットの情報のうち、この再生速度MRに対応する実GOP周期内のIPパケットの情報に対応付けて、この算出した再生速度MRを格納する。
図3のパケット記憶部310の内容例では、経過時間0.10秒と0.75秒に受信したIPパケットがG識別パケットであるので、レート算出部330は、経過時間0.10秒から0.60秒の間に受信したIPパケットのデータ量「1357バイト」、「1162バイ」、「1246バイト」、「1443バイト」、「1194バイト」の合計「6402バイト」を算出し、さらにこの合計を名目GOP周期「0.5秒」で割り、再生速度MRとして「12804バイト/秒」を得て、これを経過時間0.10秒と0.75秒との間のIPパケットの再生速度MRに格納する。
図5は、バッファ容量算出部340によるバッファ容量VBの算出方法を説明する図である。図5は、横軸に測定時間帯開始からの経過時間をとり、縦軸に仮想的なバッファに蓄積されているデータ量をとったグラフの例である。図5に示すように仮想的なバッファに蓄積されているデータは、再生速度MRでバッファから排出され、IPパケットを受信したタイミングで、該IPパケットのデータ量分のデータが追加される。図3のパケット記憶部310の内容例では、経過時間0.00秒において受信前の仮想的なバッファのデータ量VB(pre)を0バイトとすると、バッファ容量算出部340は、この0バイトに、受信したデータ量1234バイトを加算して、0+1234=1234バイトを受信後のデータ量VB(post)に格納する。次に、バッファ容量算出部340は、次の経過時間0.10秒までの0.10秒間に再生速度MR=12804バイト/秒を掛けた1280.4バイトを経過時間0.00秒における受信後のデータ量VB(post)=1234バイトから減算して、1234−1280.4=−46.4バイトを経過時間0.10秒における受信前のデータ量VB(pre)に格納する。
このようにして、バッファ容量算出部340は、受信したIPパケットのデータ量を加算することと、次のIPパケットを受信する直前までの経過時間と該経過時間帯の再生速度MRとを乗じたデータ量を減算することとを測定時間帯にわたって繰り返して、これらの算出結果をパケット記憶部310に格納する。バッファ容量算出部340は、これらパケット記憶部310に格納したデータ量VB(pre)、VB(post)のうち、最大の値をVB(max)、最小の値をVB(min)として、その差であるVB(max)−VB(min)を算出して、この算出結果をバッファ容量VBとする。
図6は、バッファ時間算出部350による第1のバッファ時間算出方法を説明する図である。図6に示す例では、データ量VB(max)の時点から該時点を含む名目GOP周期1では、名目GOP周期1における再生速度MR=1Kbyte/sでデータ量がVB(min)と等しくなるまで仮想的なバッファからデータを排出する。ここでは、名目GOP周期1の期間内にデータ量がVB(min)に達しないので、さらに次の名目GOP周期2で、名目GOP周期2における再生速度MR=2Kbyte/sでデータ量がVB(min)と等しくなるまで仮想的なバッファからデータを排出する。このようにして仮想的なバッファのデータ量がVB(max)となった時点からVB(min)と等しくなるまで、各名目GOP周期の再生速度MRにてデータを排出したときの時間を、バッファ時間算出部350は算出して、バッファ時間(=遅延量DF)とする。
図7は、バッファ時間算出部350による第2のバッファ時間算出方法を説明する図である。図7に示す例では、データ量VB(min)の時点まで該時点を含む名目GOP周期2における再生速度MR=2Kbyte/sで仮想的なバッファからデータを排出している。このとき名目GOP周期2内では、仮想的なバッファに蓄積されているデータのデータ量がVB(max)とならないので、さらに前の名目GOP周期1にて、その再生速度MR=1Kbyte/sで仮想的なバッファからデータを排出しているとして、仮想的なバッファに蓄積されているデータのデータ量がVB(max)となる時点を算出し、該時点からデータ量VB(min)となっている時点までの時間を、バッファ時間算出部350は算出して、遅延量DFとする。
図8は、バッファ時間算出部350による第3のバッファ時間の算出方法を説明する図である。第3のバッファ時間算出方法では、バッファ時間算出部350は、測定時間帯の中で再生速度MRが最も小さい実GOP周期を選び出し、該実GOP周期内におけるバッファデータ量の最大値VB’(max)から最小値VB’(min)を減算し、この減算結果を、再生速度MRにて割った値を、遅延量DFとする。図8に示す例では、実GOP周期3における再生速度MR=0.5Kbyte/sが再生速度MRの最小値なので、バッファ時間算出部350は、実GOP周期3を選び出し、実GOP周期3におけるバッファデータ量の最大値VB’(max)から最小値VB’(min)を減算し、この減算結果を、再生速度MR=0.5Kbyte/sにて割った値を、遅延量DFとする。
このように、再生速度MRを名目GOP周期毎に求め、この再生速度MRに基づき遅延量DFを算出しているので、再生速度MRが一定でなく変化する可変ビットレートのMPEGストリームについても、バッファ容量VBおよび遅延量DFを算出して、伝送路品質を確認することができる。
[第2の実施形態]
以下、図面を参照して、本発明の第2の実施形態について説明する。第2の実施形態は、レート算出部330の動作のみが第1の実施形態と異なり、その他の部分については、第1の実施形態と同様である。第1の実施形態においては、仮想的なバッファは、受信した時点でIPパケットが格納され、該時間帯に受信したデータ量に基づき算出した再生速度MRにてデータが読み出されるとして説明した。
しかし、図9に例示するように、受信したIPパケットはバッファで滞留すること、例えば、1秒間滞留することを考慮すると、名目GOP周期が0.5秒であれば、名目GOP周期4のIPパケットを受信しているときは、その1秒前に受信した名目GOP周期2のデータが読み出される。このとき、読み出される速度である再生速度MRは、名目GOP周期2のIPパケットに基づき算出された再生速度MRとなる。以降、受信したIPパケットがバッファで滞留する時間(ここでは1秒)を、バッファ遅延時間という。
そこで、本実施形態におけるレート算出部330は、予めバッファ遅延時間を設定され、第1の実施形態と同様に各実GOP周期のIPパケットに基づき再生速度MRを算出し、算出した結果を、パケット記憶部310のうち、バッファ遅延時間を名目GOP周期で割った値だけ後の実GOP周期のIPパケットの再生速度MRの欄に格納する。この結果、図10に例示するように、バッファデータ量の遷移を表すグラフは、第1の実施形態では、グラフG1のようになるのに対し、本実施形態ではグラフG2のようになり、バッファデータ量の最大値VB(max)および最小値VB(min)ともに、第1の実施形態とは異なった値となる。この最大値VB(max)と最小値VB(min)の差をとった結果が、バッファ容量VBとなる。
このように、各実GOP周期のIPパケットに基づき算出した再生速度MRをバッファ遅延時間だけ後の名目GOP周期の再生速度MRとすることで、バッファ遅延時間を考慮したバッファ容量VBおよび遅延量DFを算出することができる。
[第3の実施形態]
以下、図面を参照して、本発明の第3の実施形態について説明する。第3の実施形態は、パケット記憶部310、受信部320、レート算出部330が第1の実施形態と異なり、その他の部分については、第1の実施形態と同様である。
本実施形態におけるパケット記憶部310は、第1の実施形態におけるパケット記憶部310が記憶する内容に加えて、図11に例示するように、各IPパケットのシーケンス番号を記憶する。ここで、シーケンス番号とは、送信順に各IPパケットに付与される連続した番号であり、IPパケットのヘッダ部に含まれる情報である。図11の例では、経過時間0.25秒のシーケンス番号が「1063」に対し、次の経過時間0.30秒のシーケンス番号が「1067」であり、シーケンス番号が飛んでいることから、シーケンス番号「1064」から「1066」までのIPパケットを受信していないこと、すなわち受信漏れが発生していることがわかる。本実施形態における受信部320は、IPパケットを受信し、該IPパケットを受信した経過時間、データ量、種別をパケット記憶部310に格納する際に、併せて、該IPパケットのシーケンス番号を格納する。
本実施形態におけるレート算出部330は、各実GOP周期のIPパケットのデータ量の合計の算出を以下のような方法で行なう。まず、レート算出部330は、1つ目の実GOP周期の開始を表すG識別パケットの1つ前のIPパケットのシーケンス番号(図11では、「1058」)と次のG識別パケットの1つ前のIPパケットのシーケンス番号(図11では、「1068」)とをパケット記憶部310から読み出し、これらの差を算出する(図11では、1068−1058=10)。この算出結果は、実GOP周期のIPパケットの数である。次に、レート算出部330は、パケット記憶部310に記憶されている当該実GOP周期の全てのIPパケットのデータ量を読出し、その平均値を求める。図11では、(1357+1162+1246+1443+1194)÷5=1280.4バイトである。レート算出部330は、このデータ量の平均値「1280.4」を、先に求めたIPパケットの数「10」に掛けて、当該実GOP周期のデータ量の合計値「12804バイト」を算出する。レート算出部330は、この合計値「12804」を名目GOP周期「0.5秒」で割って、再生速度MR=25608バイト/秒を得る。
このように、IPパケットのシーケンス番号を参照して、実GOP周期のIPパケット数を算出することで、IPパケットの受信漏れが発生していても、再生速度MRを算出することができる。
なお、本実施形態は、第1の実施形態に対して、パケット記憶部310、受信部320、レート算出部330が異なるとして説明したが、第2の実施形態に適用して、第2の実施形態に対して、パケット記憶部310、受信部320、レート算出部330が本実施形態と同様に動作するようにしてもよい。
[第4の実施形態]
以下、図面を参照して、本発明の第4の実施形態について説明する。第4の実施形態は、レート算出部330が第1の実施形態と異なり、その他の部分については、第1の実施形態と同様である。本実施形態におけるレート算出部330は、G識別パケットについて受信漏れを起こしている場合に、IPパケットの種別の並びに基づき、G識別パケットを推定する。
図12(a)は、ストリーム伝送品質測定装置300が受信したIPパケットをその種別を付して時間軸上に並べた図である。本実施形態におけるレート算出部330は、0識別パケットを除くと、MPEGストリームのGOPは、IPパケットの種別の並びが“GIBBPBB”の順であることを予め記憶しており、この記憶に基づき、図12(a)の並び順において、B識別のIPパケットP1とI識別のIPパケットP2との間に、G識別のIPパケットが存在していることを推定し、図12(b)に例示するように、IPパケットP1とIPパケットP2との中間点に、G識別のIPパケットIP1を補完する。レート算出部330は、この補完したG識別のIPパケットIP1の経過時間、データ量、種別を、パケット記憶部310に格納し、以降、第1の実施形態におけるレート算出部330と同様に動作する。このとき、IPパケットIP1のデータ量は、該当する実GOP周期のIPパケットのデータ量の平均値でもよいし、その他のG識別のIPパケットのデータ量を用いても良い。
このように、IPパケットの種別の並びから、受信漏れしたG識別のIPパケットを推定して、G識別のIPパケットの受信抜けを補完することで、IPパケットの受信漏れが発生していても、再生速度MRを算出することができる。
なお、本実施形態は、第1の実施形態に対して、レート算出部330が異なるとして説明したが、第2もしくは第3の実施形態に適用して、第2もしくは第3の実施形態に対して、レート算出部330が本実施形態と同様に動作するようにしてもよい。
[第5の実施形態]
以下、図面を参照して、本発明の第5の実施形態について説明する。第5の実施形態は、バッファ容量算出部340およびバッファ時間算出部350が第1の実施形態と異なり、その他の部分については、第1の実施形態と同様である。図13に例示するように、本実施形態におけるバッファ容量算出部340は、開始時間の異なる(例えば、名目GOP周期をk等分したΔtずつ開始時間をずらした)複数の測定時間帯M1、M2、M3、M4について、それぞれバッファデータの最大値と最小値とを算出し、その最大値から最小値を減算して算出したバッファ容量VBのうち、最も大きな値のバッファ容量VBを選択する。さらに本実施形態のバッファ時間算出部350は、複数の測定時間帯M1、M2、M3、M4について、それぞれ遅延時間DFを算出し、算出した遅延時間DFのうち、最も大きい値のものを選択する。
このように、計測時間帯の開始時間をずらすことで、バッファデータの最大値と最小値の組合せを変えて、最も大きなバッファ容量VBおよび遅延時間DFを算出することができる。
なお、本実施形態は、第1の実施形態に対して、バッファ容量算出部340およびバッファ時間算出部350が異なるとして説明したが、第2から第4のいずれかの実施形態に適用して、第2から第4のいずれかの実施形態に対して、バッファ容量算出部340およびバッファ時間算出部350が本実施形態と同様に動作するようにしてもよい。
なお、上述の第1から第5の実施形態において、パケット記憶部310は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、CR−ROM等の読み出しのみが可能な記憶媒体、RAM(Random Access Memory)のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
また、上述の第1から第5の実施形態において、ストリーム送信装置100およびストリーム伝送品質測定装置300には、周辺機器として入力装置、表示装置等(いずれも図示せず)が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスのことをいう。表示装置とはCRT(Cathode Ray Tube)や液晶表示装置等のことをいう。
また、上述の第1から第5の実施形態において、レート算出部330は、G識別のIPパケットを基準にして、実GOP周期を検出しているが、GOPの中に一つのみ存在する例えば、I識別のIPパケットを基準にして実GOP周期を検出してもよい。また、測定対象をMPEGストリームとしているが、周期的に該周期を識別可能な情報を含むストリームであれば、G識別の情報に変えて、識別可能な情報を用いることで、MPEGストリーム以外のストリームを対象とすることができる。
また、図1における受信部320、レート算出部330、バッファ容量算出部340、バッファ時間算出部350の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりこれら各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、可変ビットレートのMPEG2ストリームを、ネットワークにて配信する際の伝送品質の測定に用いて好適であるが、これに限定されない。
この発明の第1の実施形態によるストリーム伝送品質測定システムの構成を示す概略ブロック図である。 同実施形態におけるストリーム送信装置100が送信するMPEGストリームの構成を説明する図である。 同実施形態におけるパケット記憶部310に記憶内容例を示した図である。 同実施形態におけるレート算出部330による再生速度MRの算出方法を説明する図である。 同実施形態におけるバッファ容量算出部340によるバッファ容量VBの算出方法を説明する図である。 同実施形態におけるバッファ時間算出部350による第1のバッファ時間算出方法を説明する図である。 同実施形態におけるバッファ時間算出部350による第2のバッファ時間算出方法を説明する図である。 同実施形態におけるバッファ時間算出部350による第3のバッファ時間算出方法を説明する図である。 この発明の第2の実施形態による仮想的なバッファのモデルを説明する図である。 同実施形態におけるバッファデータ量の遷移を表すグラフG2を第1の実施形態のグラフG1と比較する図である。 この発明の第3の実施形態によるパケット記憶部310に記憶内容例を示した図である。 この発明の第4の実施形態によるストリーム伝送品質測定装置300が受信したIPパケットをその種別を付して時間軸上に並べた図である。 この発明の第5の実施形態によるバッファ時間の算出方法を説明する図である。
符号の説明
100…ストリーム送信装置
200…ネットワーク
300…ストリーム伝送品質測定装置
310…パケット記憶部
320…受信部
330…レート算出部
340…バッファ容量算出部
350…バッファ時間算出部

Claims (12)

  1. 識別情報が付与された識別パケットを一定の時間間隔で挿入されたストリームを受信して、該ストリームの伝送品質を測定するストリーム伝送品質測定装置であって、
    前記ストリームを構成するパケットを受信する受信手段と、
    前記パケットの中から識別パケットを検出するとともに、前記識別パケット間の前記ストリームのデータ量を算出し、該データ量を前記時間間隔を示す値で割って、各時間帯における再生速度を算出するレート算出手段と、
    所定の値をバッファデータ量の初期値とし、該バッファデータ量に対して、前記受信手段がパケットを受信した経過時間に該パケットのデータ量を加算して、該パケット受信後のバッファデータ量を算出することと、該算出したバッファデータ量に、次のパケットを受信するまでの経過時間と該経過時間帯の前記再生速度とに基づき、該パケットが読み出されるデータ量を減算して、前記次のパケットを受信する際のバッファデータ量を算出することとを測定時間帯にわたって繰り返したときのバッファデータ量の最大値と最小値とを算出し、該最大値から該最小値を減算してバッファ容量を算出するバッファ容量算出手段と
    を具備することを特徴とするストリーム伝送品質測定装置。
  2. 前記バッファ容量のストリームを前記再生速度にて再生する時間を算出して、バッファ時間とするバッファ時間算出手段を具備することを特徴とする請求項1に記載のストリーム伝送品質測定装置。
  3. 前記バッファ容量算出手段は、開始時間の異なる複数の測定時間帯各々に対して、バッファデータ量の最大値と最小値とを算出し、前記最大値から前記最小値を減算して算出したバッファ容量のうち、最も大きな値のバッファ容量を選択し、
    前記バッファ時間算出手段は、前記複数の測定時間帯各々に対してバッファ時間を算出し、算出したバッファ時間のうち最も大きい値のものを選択すること
    を特徴とする請求項2に記載のストリーム伝送品質測定装置。
  4. 前記バッファ時間算出手段は、バッファデータ量が最大値となった時点からバッファデータ量が最小値となるまで、当該時間帯の再生速度にて再生する時間を算出して、バッファ時間とすることを特徴とする請求項2または請求項3に記載のストリーム伝送品質測定装置。
  5. 前記バッファ時間算出手段は、バッファデータ量が最小値となった時点までの間に、バッファデータ量が最大値からバッファデータ量が最小値となるまで当該時間帯の再生速度にて再生する時間を算出して、バッファ時間とすることを特徴とする請求項2または請求項3に記載のストリーム伝送品質測定装置。
  6. 前記バッファ時間算出手段は、前記バッファ容量のストリームを前記測定時間帯中の再生速度のうちの最小値にて再生する時間を算出して、バッファ時間とすることを特徴とする請求項2または請求項3に記載のストリーム伝送品質測定装置。
  7. 前記レート算出手段は、前記算出した再生速度を、算出の基になったパケットの受信時刻から予め決められたバッファ遅延時間後の再生速度とすることを特徴とする請求項1から請求項6のいずれかの項に記載のストリーム伝送品質測定装置。
  8. 前記レート算出手段は、前記受信したパケットのパケット種別の並びから識別パケットを推定し、識別パケットの受信抜けを補完することを特徴とする請求項1から請求項7のいずれかの項に記載のストリーム伝送品質測定装置。
  9. 前記受信するストリームは、該ストリームを構成するパケットに通し番号を付されており、
    前記レート算出手段は、前記通し番号の連続性を監視して、前記パケットの受信抜けを検出し、前記識別パケット間の前記ストリームのデータ量を測定する際に、前記受信抜けしたパケットのデータ量を、当該識別パケット間に受信したパケットのデータ量の平均値とすること
    を特徴とする請求項1から請求項8のいずれかの項に記載のストリーム伝送品質測定装置。
  10. 識別情報が付与された識別パケットを一定の時間間隔で挿入されたストリームを受信して、該ストリームの伝送品質を測定するストリーム伝送品質測定装置におけるストリーム伝送品質測定方法であって、
    前記ストリーム伝送品質測定装置が、前記ストリームを構成するパケットを受信する第1の過程と、
    前記ストリーム伝送品質測定装置が、前記パケットの中から識別パケットを検出するとともに、前記識別パケット間の前記ストリームのデータ量を算出し、該データ量を前記時間間隔を示す値で割って、各時間帯における再生速度を算出する第2の過程と、
    前記ストリーム伝送品質測定装置が、所定の値をバッファデータ量の初期値とし、該バッファデータ量に対して、前記第1の過程にてパケットを受信した経過時間に該パケットのデータ量を加算して、該パケット受信後のバッファデータ量を算出することと、該算出したバッファデータ量に、次のパケットを受信するまでの経過時間と該経過時間帯の前記再生速度とに基づき、該パケットが読み出されるデータ量を減算して、前記次のパケットを受信する際のバッファデータ量を算出することとを測定時間帯にわたって繰り返したときのバッファデータ量の最大値と最小値とを算出し、該最大値から該最小値を減算してバッファ容量を算出する第3の過程と
    を備えることを特徴とするストリーム伝送品質測定方法。
  11. 識別情報が付与された識別パケットを一定の時間間隔で挿入したストリームを送信するストリーム送信装置と、該ストリームを受信して、該ストリームの伝送品質を測定するストリーム伝送品質測定装置とからなるストリーム伝送品質測定システムであって、
    前記ストリーム伝送品質測定装置は、
    前記ストリームを構成するパケットを受信する受信手段と、
    前記パケットの中から識別パケットを検出するとともに、前記識別パケット間の前記ストリームのデータ量を算出し、該データ量を前記時間間隔を示す値で割って、各時間帯における再生速度を算出するレート算出手段と、
    所定の値をバッファデータ量の初期値とし、該バッファデータ量に対して、前記受信手段がパケットを受信した経過時間に該パケットのデータ量を加算して、該パケット受信後のバッファデータ量を算出することと、該算出したバッファデータ量に、次のパケットを受信するまでの経過時間と該経過時間帯の前記再生速度とに基づき、該パケットが読み出されるデータ量を減算して、前記次のパケットを受信する際のバッファデータ量を算出することとを測定時間帯にわたって繰り返したときのバッファデータ量の最大値と最小値とを算出し、該最大値から該最小値を減算してバッファ容量を算出するバッファ容量算出手段と
    を具備することを特徴とするストリーム伝送品質測定システム。
  12. 識別情報が付与された識別パケットを一定の時間間隔で挿入されたストリームを受信して、該ストリームの伝送品質を測定するストリーム伝送品質測定装置が具備するコンピュータを、
    前記ストリームを構成するパケットを受信する受信手段、
    前記パケットの中から識別パケットを検出するとともに、前記識別パケット間の前記ストリームのデータ量を算出し、該データ量を前記時間間隔を示す値で割って、各時間帯における再生速度を算出するレート算出手段、
    所定の値をバッファデータ量の初期値とし、該バッファデータ量に対して、前記受信手段がパケットを受信した経過時間に該パケットのデータ量を加算して、該パケット受信後のバッファデータ量を算出することと、該算出したバッファデータ量に、次のパケットを受信するまでの経過時間と該経過時間帯の前記再生速度とに基づき、該パケットが読み出されるデータ量を減算して、前記次のパケットを受信する際のバッファデータ量を算出することとを測定時間帯にわたって繰り返したときのバッファデータ量の最大値と最小値とを算出し、該最大値から該最小値を減算してバッファ容量を算出するバッファ容量算出手段
    として機能させるプログラム。
JP2007055775A 2007-03-06 2007-03-06 ストリーム伝送品質測定装置、ストリーム伝送品質測定方法、ストリーム伝送品質測定システムおよびプログラム Expired - Fee Related JP4658082B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007055775A JP4658082B2 (ja) 2007-03-06 2007-03-06 ストリーム伝送品質測定装置、ストリーム伝送品質測定方法、ストリーム伝送品質測定システムおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007055775A JP4658082B2 (ja) 2007-03-06 2007-03-06 ストリーム伝送品質測定装置、ストリーム伝送品質測定方法、ストリーム伝送品質測定システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2008219596A JP2008219596A (ja) 2008-09-18
JP4658082B2 true JP4658082B2 (ja) 2011-03-23

Family

ID=39839083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007055775A Expired - Fee Related JP4658082B2 (ja) 2007-03-06 2007-03-06 ストリーム伝送品質測定装置、ストリーム伝送品質測定方法、ストリーム伝送品質測定システムおよびプログラム

Country Status (1)

Country Link
JP (1) JP4658082B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300530B2 (en) * 2007-02-08 2012-10-30 Ixia Detecting media rate for measuring network jitter
JP5692680B2 (ja) * 2010-12-07 2015-04-01 住友電工システムソリューション株式会社 データ伝送装置、プログラム、及びデータ伝送方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005236416A (ja) * 2004-02-17 2005-09-02 Sharp Corp 伝送装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005236416A (ja) * 2004-02-17 2005-09-02 Sharp Corp 伝送装置

Also Published As

Publication number Publication date
JP2008219596A (ja) 2008-09-18

Similar Documents

Publication Publication Date Title
JP4838273B2 (ja) メディア内同期化のための適応型メディア再生方法および装置
US11528540B2 (en) System and method for decreasing an initial buffering period of an adaptive streaming system
EP2830317B1 (en) Method and device for detecting frame type and frame size of video stream
JP5673538B2 (ja) 配信システム
US8064470B2 (en) Transmitting recorded material
EP2413564B1 (en) Method and apparatus for transmitting and receiving streaming data based on RTSP sessions
JP5427238B2 (ja) ビデオストリームの品質値を判定する方法及びシステム
JP5300278B2 (ja) ネットワークジッターを測定するメディアレートを検出する方法
US20130282871A1 (en) Streaming service transmitting/receiving device and method
JP2007511948A (ja) トリックプレイ信号の再生
JP4658082B2 (ja) ストリーム伝送品質測定装置、ストリーム伝送品質測定方法、ストリーム伝送品質測定システムおよびプログラム
US7912974B2 (en) Transmitting over a network
TWI431986B (zh) Information processing apparatus and method, and program
TWI395487B (zh) 應用於網狀點對點串流系統之播放延遲時間之調整方法及其電腦程式產品
US8483289B2 (en) Method and system for fast channel change
US8650289B2 (en) Estimating bandwidth based on server IP address
JP5987798B2 (ja) 情報処理システム、情報処理装置及びプログラム
JP5144593B2 (ja) ユーザ体感品質推定システムおよび方法
Mushtaq et al. Regulating QoE for adaptive video streaming using BBF method
JP5806981B2 (ja) 再生状態推定装置及び方法及びプログラム
JP5591892B2 (ja) コンテンツ配信サーバ装置及びその制御方法
JP6660357B2 (ja) 品質推定装置、品質推定方法及びプログラム
JP2011010238A (ja) パケット転送品質制御システムおよび方法
JP2018037793A (ja) ストリーム送信装置、ストリーム処理システムおよびストリーム処理プログラム
KR101700370B1 (ko) 지터 보정 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4658082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150107

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees