JP4190428B2 - データ伝送方法およびデータ伝送機 - Google Patents
データ伝送方法およびデータ伝送機 Download PDFInfo
- Publication number
- JP4190428B2 JP4190428B2 JP2004006793A JP2004006793A JP4190428B2 JP 4190428 B2 JP4190428 B2 JP 4190428B2 JP 2004006793 A JP2004006793 A JP 2004006793A JP 2004006793 A JP2004006793 A JP 2004006793A JP 4190428 B2 JP4190428 B2 JP 4190428B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- encoding
- data
- bit string
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
て伝送するデータ伝送方法およびデータ伝送機に関する。
H.264(ISO/IEC14496−10)などの視覚情報(画像)符号化方法や、
MPEG2−TS(MPEG2-Transport Stream)(ISO/IEC13818−1
)などの伝送プロトコルが規格化されている。そして、この方法は、ディジタル放送、イ
ンターネット通信、携帯電話通信等といったような様々な分野で用いられている。
MPEG4エンコーダで符号化したエレメンタリーストリーム(Elementary Stream)
をMPEG2−PES(MPEG2-Packetized Elementary Stream)パケットへ変
換し、MPEG2−TS MUXで多重化して伝送する方法が用いられている(例えば、
特許文献1参照)。
システムは、符号化器101からのMPEG4ストリームSTM10をパケット化装置1
02に供給し、MPEG2−PESパケットに変換する。この変換されたMPEG2−P
ESパケットのストリームSTM11は多重化装置103に供給され、MPEG2−TS
形式のストリームSTM12に形成されて無線送信される。
0からヘッダを検出する。そして、ヘッダ情報の複製情報はヘッダバッファ部112へ蓄
積され、入力されたデータはバッファ部115へ蓄積される。その後、時間情報生成部1
13は、ヘッダバッファ部112に蓄積されたヘッダの複製情報を解析して、Video O
bject Layerヘッダ、Video Object Planeヘッダから所定の時間情報を検出し、
そのデータよりDTS(Decoding Time Stamp)、PTS(Presentation Time
Stamp)などの時間情報を生成する。そして、PESヘッダ生成部114はこの時間情報
を挿入したPESヘッダを生成する。PES化部116は、このようにPESヘッダ生成
部114で生成されたPESヘッダを、バッファ部115に蓄積されたMPEG4ストリ
ームSTM10に付加して、MPEG2−PESパケットを順次構成し、ストリームST
M11を生成して多重化装置103へ出力する。
符号化データのヘッダ情報を参照して、MPEG2−PESパケットのヘッダを生成し、
MPEG2−PESパケット生成する技術を、H.264符号化データからMPEG2−
TSなどへの変換に用いた場合について考えてみる。
2−TSプロトコルで伝送する場合にも、前記MPEG4の場合と同様に、H.264符
号化データにMPEG2−PESヘッダを付加してMPEG2−PESパケットを生成し
、無線通信することになる。
たヘッダを解析して所定の情報を検出し、その情報を使用してDTS、PTSの時間情報
を時間情報生成部にて生成するが、H.264符号化データ(以下、H.264エレメン
タリーストリーム(Elementary Stream)とする)の場合、その所定の情報とは、SE
I NAL unit(Supplemental Enhancement Information Network Abstract
ion Layer)内の時間情報がそれにあたり、時間情報とは20種類のSEI message
情報のうち、Buffering period SEI message、Picture timing SEI messa
geがそれにあたるものである(以下、SEI時間情報とする)。
レイヤを形成して伝送する場合、PESパケットヘッダ内のDTS、PTSなどの時間情
報を生成するためにH.264エレメンタリーストリーム内のSEI時間情報を参照した
以後は、上位レイヤのSEI時間情報を全く参照、又は使用しないため、一つのPESあ
たり数十バイトの無駄なSEI時間情報を伝送しているという問題点が生じることになる
。
イヤを形成した場合、上位レイヤにおいて冗長となる情報を削除し、その削除した情報容
量分だけ他の情報の発生符号量を増加させて伝送することができるデータ伝送方法および
データ伝送機を提供することを目的とする。
ストリームを伝送プロトコルにあわせてパケット化して伝送するデータ伝送方法であって
、
入力データの主情報を所定の発生符号量で符号化するステップと、前記主情報の附属情報
を符号化するステップと、符号化された前記主情報及び前記附属情報を組み合わせてビッ
ト列を作成するステップと、前記ビット列中の前記附属情報の少なくとも一部を参照して
前記伝送プロトコルに合致したパケットのヘッダを作成するステップと、前記ビット列中
から少なくとも一部の前記附属情報を削除したビット列に前記ヘッダを付加してパケット
化するステップとを有することを特徴とする。
コルにあわせてパケット化して伝送するデータ伝送機であって、入力データの主情報を所
定の符号発生量で符号化した符号化主情報と、前記主情報の附属情報を符号化した符号化
附属情報を組み合わせて所定長のビット列を出力するエンコード手段と、前記ビット列中
の前記附属情報の少なくとも一部を参照して前記伝送プロトコルに合致したパケットのヘ
ッダを作成すると共に、前記ビット列中から少なくとも一部の前記附属情報を削除したビ
ット列に前記ヘッダを付加してパケット化するパケット手段とを有することを特徴とする
。
除し、その削除分の情報容量分だけ他の情報の発生符号量を増加させて伝送することがで
きる。
Sシステムにてパケット化して伝送する例を説明する。
る。図3は、H.264エンコーダ3の内部構成を示したブロック図である。図4は、パ
ケット化部4の内部構造を示したブロック図である。データ伝送機1は、映像入力部2と
、H.264エンコーダ3と、パケット化部4と、MUX5と、制御部6と、送信部7な
どから構成される。そして、それぞれ映像入力部2、H.264エンコーダ3、パケット
化部4、MUX5、送信部7は、制御部6によって動作制御が行われている。
成され、制御部6による起動によって作動する。そして、映像入力部2で入力された映像
情報はH.264エンコーダ3へ送られる。
2、附属情報符号化部13、符号量調整部14等によって構成され、附属情報符号化部1
3から映像情報符号化部12へは、符号化レート、プロファイル、レベル、その他符号化
に関するデータなどが送られ、映像情報符号化部12から附属情報符号化部13へは、画
像のスキップ情報や、符号化終了情報などが送られる。そして、映像情報符号化部12は
、映像入力部2より送られてきた映像情報を、上記の附属情報符号化部13から送られて
くる符号化に関するデータに基づき、また符号量調整部14により発生する符号量を調整
されながらH.264符号化方式にて符号化する機能を有する。また、附属情報符号化部
13は時間情報、符号化レート、プロファイル、レベル、その他符号化に関するデータな
どの附属情報などの附属情報を符号化する機能を有する。そして、それぞれの符号化部に
おいて、H.264符号化方式で符号化された符号化データは、パケット化部4に映像ス
トリームSTM1として送られる。
部22と、PESパケット生成部23と、SEI NALユニットバッファ部24と、時
間情報生成部25と、PESヘッダ作成部26と、削除部27等によって構成され、H.
264エンコーダ3から送られてきた映像ストリームSTM1をMPEG2−TSシステ
ムで伝送するためのPESパケットを生成する。このパケット化部4で生成されたPES
パケットは、映像ストリームSTM2としてMUX5に送られる。
TSシステムにて伝送するために、映像ストリームSTM2をTSパケットに分割したり
、他のストリームSTM3と多重化したりする機能を有する。ここで多重化されたデータ
はストリームSTM4として送信部7へ一定ビットレートで送られる。
通信によって伝送する機能を有する。
乃至図5を参照して説明する。図2は本発明の実施の形態において、H.264エレメン
タリーストリームがMPEG2−TSシステムに合致するようにPESパケットに変換さ
れるH.264エレメンタリーストリームの1AUの状態を示したものである。また、図
5は、本発明の実施の形態におけるデータ伝送機の動作を示したフローチャートである。
力されると(図5のステップ31a)、A/D変換を行い、その情報を映像情報符号化部
12に送る(図5のステップ32)。その後、映像情報符号化部12は、附属情報符号化
部13から送られる符号化レート、プロファイル、レベル、その他符号化に関するデータ
などの附属情報や(ステップ33bからの矢印)、以下に説明する符号量調整部14から
送られる符号量発生許可情報に基づき、映像情報の符号化を行う(図5のステップ33a
)。また、映像情報の符号化が行われると、画像のスキップ情報や符号化終了情報が送ら
れる(図5のステップ33aからステップ33bへの矢印)。
ける符号量を調整する機能を有している。符号量調整部14は、後に削除部27によって
削除される(a)buffering period SEI messageおよび(b)picture timing
SEI message(以下、それらをSEI時間情報という)の容量サイズを、附属情報符
号化部13で符号化している段階で附属情報符号化部13より受け取ると、あらかじめ定
められた1アクセスユニット(以下、1AUという)の情報容量(図2の(1)参照)よ
りサイズmだけ多い符号化情報の発生を映像情報符号化部12へ許可する。これにより、
映像情報符号化部12は1AUに対する情報をサイズm分だけ多く符号化する(図2の(
2)参照)。
予め設定される。また、稼動時に映像情報符号化部12に対してSEI時間情報のサイズ
に基づいた値を設定するようにしても良い。この場合、それぞれのアクセスユニットに増
加するサイズmはアクセスユニット毎に異なっても良いが(mは0以上の値)、必ず増加
するサイズmの合計は、削除されるSEI時間情報のサイズの合計と同じでなければなら
ないし、かつ、それぞれの増加するサイズmは、H.264エンコーダ3及びパケット化
部4内部の全てのバッファ(図示しないものも含む)が破綻しないように設定しなければ
ならない。
プロファイル、レベル、その他符号化に関するデータなどの附属情報が決定されると(図
5のステップ31b)、その符号化を行う(図5のステップ33b)。また、符号化レー
ト、プロファイル、レベル、その他符号化に関するデータなどの符号化された情報を映像
情報符号化部12へ送る(図5のステップ33bからステップ33aへの矢印)。その後
、図2の(2)に示すように、ステップ33aで映像情報を符号化したものをVCL N
AL units of a primary coded pictureへ格納し、ステップ33bで符号化レー
ト、プロファイル、レベル、その他符号化に関するデータなどの附属情報を符号化したも
のをAccess Unit Delimiter NAL unit、Sequence Parameter Set NA
L unit、Picture Parameter Set NAL unit、及びSEI NAL unitに格
納し、1AUごとに組み合わせて、H.264エレメンタリーストリームを形成する。こ
のエレメンタリーストリームが作られると、H.264エンコーダ3からパケット化部4
へ映像ストリームSTM1として送られる(図5のステップ34)。
映像ストリームSTM1を受け取ると、その映像ストリームSTM1からSEI NAL
unitを検出する。そして、そのSEI NAL unit中のSEI時間情報の複製情報を
作成してSEI NALユニットバッファ部24へ送り、SEI時間情報の複製情報を一
時蓄積する。また、SEI NALユニット検出部21は検出されたSEI NAL un
itにSEI時間情報以外の情報が含まれるか否かを判断する(図5のステップ35)。
係わらず、SEI NALユニットバッファ部24に一時蓄積されたSEI時間情報の複
製情報は、時間情報生成部25に出力される。そして、時間情報生成部25は、SEI
NAL unit内にあるSEI時間情報を参照して、PESヘッダとなるPTS,DTSの
各情報を作成し、それらの情報をPESヘッダ作成部26へ送る。
個別のストリームを識別するストリームID、PESパケットのサイズ情報、スクランブ
ルの有無、アライメント方法、著作権情報の有無などの情報から構成されるPESヘッダ
を作成する(図5のステップ36a)。そして、そのPESヘッダはPESパケット生成
部23に送られる。
が含まれることを検出した場合(図5のステップ35のYes)、まず、SEI NAL
ユニット検出部21は送られてきたストリームSTM1を削除部27に送出する。その後
、削除部27はストリームSTM1の一部であるSEI NAL unitからSEI時間情
報を削除すると共に、SEI時間情報以外のSEI NAL unitに存在していた情報に
よってSEI NAL unitを形成する(図5のステップ36b)。そして、ステップ3
6bで生成されたエレメンタリーストリームはバッファ部22に送られる。そして、この
エレメンタリーストリームはバッファ部22で一時蓄積され、その後、PESパケット生
成部23に送られる。
が含まれていないことが検出された場合(図5のステップ35のNo)、SEI NAL
ユニット検出部21は送られてきたストリームSTM1を削除部27に送出する。その後
、削除部27はSEI NAL unitを削除する。そして、削除されたSEI NAL
unit以外のエレメンタリーストリームはバッファ部22に送られる。そして、このエレ
メンタリーストリームはバッファ部22で一時蓄積され、その後、PESパケット生成部
23に送られる(図5のステップ36c)。
ッダと、バッファ部22から出力されたエレメンタリーストリームとを受け取ると、エレ
メンタリーストリームの先頭にPESヘッダを付加したPESパケットを生成する(図2
の(3)参照)(図5のステップ37)。
TM2としてMUX5に送られ、前述の通り、MUX5ではTSパケットへの分割、多重
化が行われ、そのストリームSTM4が送信部7に送られる(図5のステップ38)。こ
こで、TSパケットとは、PESパケットを188バイトごとに分割し、TSヘッダと呼
ばれるPIDなどが含まれたヘッダを付したものである(図2の(4)参照)。そして、
送信部7では、ストリームSTM4に対して変調等を行い、無線通信によって伝送する(
図5のステップ39)。
蓄積処理の前にSEI NAL unitあるいはSEI時間情報を削除する削除部27を設
けたが、PESパケットを作成する方法はこれに限定することなく、PESパケット生成
の際に、PESヘッダ内に含まれる時間情報(PTS,DTSなど)がH.264エレメ
ンタリーストリームのSEI NAL unit内にあるSEI時間情報を参照して作られて
いること、およびPESパケット生成部23に送られるエレメンタリーストリームにSE
I時間情報が削除されている状態になっていることの二点が満たされているならば、実施
例以外の構成でも構わない。
Uの映像情報符号化量を多くすることを許容することに限定するとなく、Iフレーム以外
のフレームを符号化する時にはサイズmの半分を許容し、Iフレームを符号化するときに
は最大限のサイズを許容するなど、MUX5から送信部7へ送られるSTM4の情報量が
一定ビットレートに制御できる方法であり、かつ、H.264エンコーダ3及びパケット
化部4内部の全てのバッファ(図示しないものも含む)が破綻しないような符号量調整方
法であるならば、他に応用可能である。
って符号化された映像情報をMPEG2−TSシステムに合致したパケットを生成して伝
送する場合を紹介したが、H.264符号化方式、MPEG2−TSシステムに限定する
ことなく、上位レイヤに存在する符号化データの中で、その情報が取り除くことができ、
かつ下位レイヤの符号化データで代替可能な符号化データがある場合にも、適用すること
が可能である。また、実施形態に示したデータ伝送方法およびデータ伝送機の伝送対象は
、入力映像情報に限定していたが、これに限定されることなく、どのようなデータでも良
い。
データをMPEG2−TSシステムに合致するパケットを生成して伝送する際、PESパ
ケット作成後に冗長となる時間情報を削除することができる上、その削除する時間情報の
データ分を映像データの符号量を多く増やせるため、映像画質がより良いデータを伝送す
る事ができる。
2 映像入力部
3 H.264エンコーダ
4 パケット化部
5 MUX
6 制御部
7 送信部
11 A/D変換部
12 映像情報符号化部
13 附属情報符号化部
14 符号量調整部
21 SEI NALユニット検出部
22 バッファ部
23 PESパケット生成部
24 SEI NALユニットバッファ部
25 時間情報生成部
26 PESヘッダ作成部
27 削除部
Claims (8)
- データを符号化した後、そのストリームを伝送プロトコルにあわせてパケット化して伝
送するデータ伝送方法であって、
入力データの主情報を所定の発生符号量で符号化するステップと、
前記主情報の附属情報を符号化するステップと、
符号化された前記主情報及び前記附属情報を組み合わせてビット列を作成するステップと
、
前記ビット列中の前記附属情報の少なくとも一部を参照して前記伝送プロトコルに合致し
たパケットのヘッダを作成するステップと、
前記ビット列中から少なくとも一部の前記附属情報を削除したビット列に前記ヘッダを付
加してパケット化するステップと
を有することを特徴とするデータ伝送方法。 - 前記主情報の符号化は、予め定められた1アクセスユニットより所定のサイズだけ多い
符号量で符号化することを特徴とする請求項1に記載のデータ伝送方法。 - 前記所定サイズは、前記削除される前記附属情報のサイズに基づいたサイズであること
を特徴とする請求項2に記載のデータ伝送方法。 - データをH.264符号化方式で符号化した後、そのストリームを伝送プロトコルにあ
わせてパケット化して伝送するデータ伝送方法であって、
入力データの主情報をH.264符号化方式に基づき所定の符号発生量で符号化するステ
ップと、
前記主情報の附属情報をH.264符号化方式に基づき符号化するステップと、
符号化された前記主情報及び前記附属情報を組み合わせてビット列を作成するステップと
、
前記ビット列中の前記附属情報の少なくとも一部を参照して前記伝送プロトコルに合致し
たパケットのヘッダを作成するステップと、
前記ビット列中から少なくとも一部の前記附属情報を削除した情報に前記ヘッダを付加し
てパケット化するステップと、
を有することを特徴とするデータ伝送方法。 - データを符号化した後、そのストリームを伝送プロトコルにあわせてパケット化して伝
送するデータ伝送機であって、
入力データの主情報を所定の符号発生量で符号化した符号化主情報と、前記主情報の附属
情報を符号化した符号化附属情報を組み合わせて所定長のビット列を出力するエンコード
手段と、
前記ビット列中の前記附属情報の少なくとも一部を参照して前記伝送プロトコルに合致し
たパケットのヘッダを作成すると共に、前記ビット列中から少なくとも一部の前記附属情
報を削除したビット列に前記ヘッダを付加してパケット化するパケット手段と
を有することを特徴とするデータ伝送機。 - 前記エンコード手段は、前記主情報を予め定められた1アクセスユニットより所定のサ
イズだけ多く符号化することを特徴とする請求項5に記載のデータ伝送機。 - 前記所定サイズは、前記削除される前記附属情報のサイズに基づいたサイズであること
を特徴とする請求項6に記載のデータ伝送機。 - データをH.264符号化方式によって符号化した後、そのストリームを伝送プロトコ
ルにあわせてパケット化して伝送するデータ伝送機であって、
入力データの主情報をH.264符号化方式に基づき所定の符号発生量で符号化した符号
化主情報と、前記主情報の附属情報を前記H.264符号化方式に基づき符号化した符号
化附属情報を組み合わせて所定長のビット列を出力するエンコード手段と、
前記ビット列中の前記附属情報の少なくとも一部を参照して前記伝送プロトコルに合致し
たパケットのヘッダを作成すると共に、前記ビット列中から少なくとも一部の前記附属情
報を削除したビット列に前記ヘッダを付加してパケット化するパケット手段と、
を有することを特徴とするデータ伝送機。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004006793A JP4190428B2 (ja) | 2004-01-14 | 2004-01-14 | データ伝送方法およびデータ伝送機 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004006793A JP4190428B2 (ja) | 2004-01-14 | 2004-01-14 | データ伝送方法およびデータ伝送機 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005203950A JP2005203950A (ja) | 2005-07-28 |
JP4190428B2 true JP4190428B2 (ja) | 2008-12-03 |
Family
ID=34820655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004006793A Expired - Fee Related JP4190428B2 (ja) | 2004-01-14 | 2004-01-14 | データ伝送方法およびデータ伝送機 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4190428B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101072341B1 (ko) | 2007-01-18 | 2011-10-11 | 노키아 코포레이션 | Rtp 페이로드 포맷에서의 sei 메시지들의 전송 |
US10432951B2 (en) * | 2014-06-24 | 2019-10-01 | Qualcomm Incorporated | Conformance and inoperability improvements in multi-layer video coding |
CN106131666A (zh) * | 2016-07-18 | 2016-11-16 | 杭州当虹科技有限公司 | 一种基于多音轨视频合成技术的机顶盒视频导航系统 |
-
2004
- 2004-01-14 JP JP2004006793A patent/JP4190428B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005203950A (ja) | 2005-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3886906B2 (ja) | Mpeg−2データにmpeg−4データを同期化させて伝送する装置及びその方法 | |
US7379463B2 (en) | Data transmission device and data transmission method | |
KR100398610B1 (ko) | 멀티미디어 컨텐츠에 동기화된 메타데이터 전송 장치 및방법 | |
CN110099289B (zh) | 数据发送方法、数据再现方法、数据发送装置及数据再现装置 | |
KR100954290B1 (ko) | Dmb 방송 시스템에서 고품질 미디어 데이터 처리 방법및 장치 | |
WO2009093292A1 (ja) | 動画像送受信システム | |
US8219701B2 (en) | Apparatus and method for controlling communication | |
US20070002902A1 (en) | Audio and video synchronization | |
EP2077669A2 (en) | Transcoder and receiver | |
CN105594219A (zh) | 用于广播信号的发射/接收处理的设备和方法 | |
JP2003304288A (ja) | Rtpパケット生成/復元装置及び方法 | |
JP2007258796A (ja) | Ip送信装置およびip送信方法 | |
KR20060011937A (ko) | 데이터 송신 장치 | |
JP4190428B2 (ja) | データ伝送方法およびデータ伝送機 | |
CN1862693A (zh) | 再现方法 | |
JP4192766B2 (ja) | 受信装置および方法、記録媒体、並びにプログラム | |
JP2008245061A (ja) | Ipストリーム伝送におけるpcr再生方式 | |
KR100760260B1 (ko) | 타이밍정보의 효율적 전송을 위한 전송스트림 생성 장치및 그 방법과, 그를 이용한 디엠비 전송 시스템 | |
JP2010028642A (ja) | 画像伝送システム | |
KR101148072B1 (ko) | 멀티미디어 지원 시스템 및 그 지원방법 | |
JP4559878B2 (ja) | デジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法 | |
JP5171413B2 (ja) | コンテンツ送信装置、コンテンツ受信装置及びコンテンツ送信方法 | |
JP2003204361A (ja) | 復号化装置および符号化装置 | |
WO2002091740A1 (fr) | Systeme et procede de transmission de donnees sur support | |
JP2007288276A (ja) | ストリームレート変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080912 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080916 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |