JP3538033B2 - マルチチャンネルデコード方法 - Google Patents

マルチチャンネルデコード方法

Info

Publication number
JP3538033B2
JP3538033B2 JP23531798A JP23531798A JP3538033B2 JP 3538033 B2 JP3538033 B2 JP 3538033B2 JP 23531798 A JP23531798 A JP 23531798A JP 23531798 A JP23531798 A JP 23531798A JP 3538033 B2 JP3538033 B2 JP 3538033B2
Authority
JP
Japan
Prior art keywords
decoding
reference time
bit stream
value
difference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23531798A
Other languages
English (en)
Other versions
JP2000069437A (ja
Inventor
修司 阿部
道弘 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP23531798A priority Critical patent/JP3538033B2/ja
Publication of JP2000069437A publication Critical patent/JP2000069437A/ja
Application granted granted Critical
Publication of JP3538033B2 publication Critical patent/JP3538033B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数個の符号化さ
れた画像データを復号するマルチチャンネルデコード方
法に関する。
【0002】
【従来の技術】近年米国でのディジタル地上波放送、国
内でのBSディジタル放送への動きが活発になっている
が、国内では既にディジタルCS(通信衛星)放送が開
始されている。
【0003】ディジタル放送では、映像はディジタル化
した画像データをMPEG等の符号化方式を用い、音声
はAC−3等の符号化方式を用いて元のデータ量を圧縮
する為、従来のアナログ放送1チャンネルの帯域内に複
数のチャンネルを送ることが可能になる。各チャンネル
の符号化データは、MPEG規格のビットストリーム上
で多重して伝送されている。
【0004】受信機側では、複数チャンネルが多重化さ
れた上記ビットストリームを受信し、特定のチャンネル
の映像・音声データを抽出し、それぞれ復号化して表示
装置に表示する。
【0005】ビットストリームを受信して各符号化デー
タを復号する際には、以下の処理が必要になる。
【0006】(1)PCR(program cloc
k reference)の抽出。
【0007】(2)STC(system time
clock)のカウント。
【0008】(3)システムタイムクロック(STC)
の生成。
【0009】ビットストリームには、受信機のシステム
タイムクロック生成の為にPCRが付加されており、シ
ステムタイムクロックでカウントアップするSTCカウ
ンタの値が受信機の基準時刻となる。またビットストリ
ーム中に含まれている各符号化データには表示時刻情
報、復号開始時刻情報などのタイムスタンプが付加され
ている。復号器は表示時刻情報、復号開始時刻情報とS
TCカウンタの示す基準時刻を比較し、復号制御を行
う。
【0010】現在のテレビでは複数チャンネルのアナロ
グ放送を受信し、複数画面を同時に表示する機能を持っ
たものが存在する。ディジタル放送の場合には、多重化
された1つのビットストリームから複数のチャンネルを
抽出し、それぞれを復号化して合成する必要がある。
【0011】
【発明が解決しようとする課題】しかしながら、従来の
マルチチャンネルデコード方法では、復号化するだけの
数のSTCカウンタが必要であった。
【0012】そこで本発明は、1つのSTCカウンタに
より、複数個の符号化された画像データを復号可能なマ
ルチチャンネルデコード方法を提供することを目的とす
る。
【0013】
【課題を解決するための手段】複数の符号化された画像
データを含むビットストリームが入力され、前記ビット
ストリーム中に含まれる基準時間情報を抽出して基準時
刻を再生し、特定のビットストリームの前記基準時間情
報に基づいてシステムタイムクロックを再生し、各画像
データを各々の前記基準時刻に基づいて復号するマルチ
チャンネルデコード方法において、システムタイムクロ
ックでカウントアップするカウントアップステップと、
各ビットストリーム毎の前記基準時刻と前記カウントア
ップ値との差分値を保持する差分値保持ステップと、前
記各ビットストリームに対応する前記差分値と前記カウ
ントアップ値を加算した後、前記ビットストリーム中か
ら抽出した前記基準時間情報との減算を行い、前記基準
時刻のずれを検出する検出ステップと、特定の前記ビッ
トストリームの前記基準時刻のずれをもとに、前記シス
テムタイムクロックを再生するシステムタイムクロック
再生ステップと、前記基準時間情報と前記カウントアッ
プ値をもとに、前記保持された差分値を補正する補正ス
テップと、入力された前記各ビットストリームに含まれ
ている復号開始時刻情報と、前記カウントアップ値と各
ビットストリーム毎に保持している前記差分値の加算値
とを比較する比較ステップと、前記比較結果に従って前
記各画像データをそれぞれ復号する復号ステップとを具
備したことを特徴とする。
【0014】
【発明の実施の形態】図1に、本発明のマルチチャンネ
ルデコード方法を実行するマルチチャンネルデコード装
置の一実施の形態の構成を示す。本実施の形態では、M
PEGで符号化された4つ画像データ(チャンネル0か
らチャンネル3)を多重化したビットストリームが入力
される。
【0015】1は、符号化された画像データを4チャン
ネル分多重したビットストリームの入力部である。PC
R検出部3は、入力されたビットストリーム中に含まれ
ているPCRを抽出し、記憶部5に保存する。
【0016】7は、システムタイムクロックでカウント
アップしている1つのFree STCカウンタであ
り、PCR検出部3でPCRを検出した時点でのFre
e STCカウンタ7のカウンタ値がレジスタ5に保存
される。
【0017】11は、各画像符号化データのストリーム
の基準時刻とFree STCカウンタ7の値の差分値
を保持している記憶部である。
【0018】加算器15は、レジスタ9の値と記憶部1
1からの差分値の値を加算し、PCR検出時点での各画
像符号化データのストリームの基準時刻を得る。
【0019】システムタイムクロックの生成の為に使用
するマスターストリームの場合には、加算器15で得た
PCR検出時の基準時刻と、記憶部5に保存しているP
CRの値の差分を減算器17で求め、その差分値はシス
テムタイムクロックの補正の為に、システムタイムクロ
ック生成部19に与えられる。システムタイムクロック
生成部19で生成されたシステムタイムクロックは、F
ree STCカウンタ7に常に与えられる。
【0020】記憶部5に取り込んだPCRの値と、その
時にレジスタ9に取り込んだカウンタ値の値を、減算器
13で減算した値で、記憶部11の差分値を書き換え
る。
【0021】入力部1から入力されたビットストリーム
中に含まれている画像符号化データは、図示していない
画像復号化部で復号されて画像として表示装置に出力さ
れる。
【0022】同期信号発生部21は、システムタイムク
ロック生成部19で生成されたシステムタイムクロック
をもとに、復号同期信号を生成する。同期信号発生部2
1で生成された復号同期信号はレジスタ23に与えら
れ、復号同期時点のFreeSTCカウンタ7の値を、
レジスタ23が取り込む。
【0023】レジスタ23のこの値と記憶部11の差分
値を、加算器25で加算することによって、復号同期時
点での各画像符号化データのストリームの基準時刻を得
ることができる。加算器25で得た復号同期時点の基準
時刻は、図示しない画像復号化部に与えられ、画像復号
化部は、各画像符号化データに含まれる復号開始時刻情
報(以下、DTSという)との比較を行い、復号制御を
行う。
【0024】具体的にいえば、DTSの値が加算器25
からの基準時刻より小さければ、その時点で、画像復号
化部は、その画像符号化データのストリームの復号を開
始する。DTSの値が加算器25からの基準時刻よりも
大きければ、それ以降に発生される復号同期信号で、D
TSの値が加算器25からの基準時刻よりも小さくなる
まで、画像復号化部は、その画像符号化データのストリ
ームの復号動作を停止する。
【0025】このようにすることによって、例えば4チ
ャンネルのマルチデコードを行う場合、従来4つのST
Cカウンタを持つ必要があったが、4つの差分値を保持
することによってSTCカウンタを1つに削減すること
ができる。
【0026】以下で、詳細な動作を説明する。
【0027】ある時刻tでの4つのそれぞれの基準時刻
をSTC0(t)、STC1(t)STC2(t)、S
TC3(t)とし、Free STCカウンタ7の値を
FreeSTC(t)とする。
【0028】まず最初に、時刻t0の時刻に入力ストリ
ームのうちのチャンネル0のPCRが検出されると、そ
のPCRの値はPCR0(t0)であり、PCR0(t
0)−FreeSTC(t0)の値を差分値diff0
として保持する。
【0029】これによって、t0の時刻でのチャンネル
0の基準時刻はFreeSTC(t0)+diff0で
あり、PCR(t0)と一致している。
【0030】それ以降t1の時刻に、チャンネル0のP
CRが検出されその時の値がPCR(t1)であれば、
そのタイミングでの復号器の基準時刻は、FreeST
C(t1)+diff0である。しかし、Free S
TCカウンタ7は、システムタイムクロック生成部19
で発生するシステムタイムクロックでカウントアップす
る為、FreeSTC(t1)+diff0の値は、必
ずしもPCR0(t1)と一致しているわけではない。
その為、この時のPCR(t1)−FreeSTC(t
1)の値を、新たな差分値としてdiff0を書き替え
る。
【0031】システムタイムクロックの生成に使用する
マスターストリームがチャンネル0のデータの場合に
は、修正前の差分値diff0を用いて、FreeST
C(t1)+diff0の値とPCR0(t)の差分値
がシステムタイムクロックの誤差分である為、システム
タイムクロック生成部19に送られる。システムタイム
クロック生成部19では、これに従ってシステムタイム
クロックの補正を行う。
【0032】マスターストリームでない他のチャンネル
に関しても同様で、最初に入力されたタイミングでdi
ff1、diff2、diff3を保持する。それ以降
検出したPCRに対しては、diff1、diff2、
diff3の補正だけを行う。
【0033】時刻t2の復号同期時点の各チャンネルの
基準時刻は、FreeSTC(t2)の値と、その時に
保持しているdiff0、diff1、diff2、d
iff3の値を加算することによって得ることができ、
その復号同期時点での各チャンネルの基準時刻とDTS
を比較して画像の復号を行う。
【0034】マスターストリームを切り替えた場合、例
えばマスターストリームをチャンネル0からチャンネル
1に切り替えた場合については、切り替え前はFree
STC+diff0とPCR0の差分値をシステムタイ
ムクロック生成部19に与えていたが、切り替え後はF
reeSTC+diff1とPCR1の差分値を与え
る。
【0035】このようにすることによって、マスタース
トリームを切り替えた場合でもシステムタイムクロック
の補正が変わるだけで、Free STCカウンタ7は
常に動作している為、各ストリームの基準時刻に大きく
変動することがなくなり(通常のdiffの補正程度の
変動)、加算器25からの各チャンネルの基準時刻と各
チャンネルのDTSの比較に従った復号制御を行うこと
ができる。
【0036】また、マスターストリームのチャンネルの
基準時刻の不連続が発生した場合でも、加算器25から
の基準時刻が不連続になるのはマスターストリームだけ
であり、他のストリームの基準時刻には不連続は発生し
ない。マスターストリームの復号を中止する場合も、マ
スターストリームの切り替えを行うだけでよく、基準時
刻の乱れは発生しない。
【0037】これまではビットストリームの入力端子は
1つを前提として説明してきたが、多重化されていない
入力の場合は、図1の入力部1とPCR検出部3を複数
個設ければ上記説明と同じように他のブロックが動作す
ることによって同様の効果を得ることができる。
【0038】また、複数個の入力部1からビットストリ
ームがそれぞれ入力される場合、特定のストリームを特
殊再生することもありうる。ここでは、チャンネル0、
1、2のストリームは通常再生しており、チャンネル3
のストリームだけを特殊再生、例えば2倍速で再生する
場合について説明する。画像の復号同期信号を60Hz
とし、システムタイムクロックを27MHzとする。
【0039】この場合、Free STCカウンタ7の
動作はそのままで、復号同期信号毎に27MHz/60
Hz=450000の値を差分値diff3に加算する
ことによって、復号同期同期信号毎に基準時刻を参照す
る際には、ストリーム3の基準時刻は2倍の速度で動作
しているのと同じになる。なおこの際はストリーム3の
PCR入力は無視し、diff3の補正を行わない。
【0040】通常再生状態では復号同期信号毎に、加算
器25から出力される各チャンネルのストリームの基準
時刻は450000だけ進んでいるので、n倍速の高速
再生時は450000×(n−1)の値を復号同期信号
毎に差分値diff3に加算することで対応が可能であ
る。
【0041】スチル再生の場合は、逆に復号同期信号毎
に450000だけdiff3から減算すればよい。1
/n倍のスロー再生の場合には、450000(n−
1)/nの値を復号同期信号毎に差分値diff3から
減算すれば対応可能になる。
【0042】ただし上記特殊再生時の差分値の補正は、
加算器25からの基準時刻とDTS比較の際に不都合が
ないようにするものであるが、全ての符号化された画像
1枚毎にDTSが付加されているとは限らない為、図示
していない画像復号化部では特殊再生に応じた復号処理
が必要である。
【0043】
【発明の効果】以上説明したように、本発明によれば、
複数の画像符号化データのストリームを復号するマルチ
チャンネルデコードの際、システムタイムクロックでカ
ウントアップするFree STCカウンタを持ち、全
てのストリームの基準時刻はFree STCカウンタ
との差分値で保持することにより、どのストリームの基
準時刻が不連続になっても他のストリームの基準時刻を
乱すことがなく復号を継続することができ、STCカウ
ンタの数を1つに削減することができるようになる。
【図面の簡単な説明】
【図1】本発明のマルチチャンネルデコード方法を実行
するマルチチャンネルデコード装置の一実施の形態の構
成を示す図である。
【符号の説明】
3・・・PCR検出部、5・・・記憶部、7・・・Fr
ee STCカウンタ、9・・・レジスタ、11・・・
記憶部、13・・・減算器、15・・・加算器、17・
・・減算器、19・・・システムタイムクロック生成
部、21・・・同期信号発生部、23・・・レジスタ、
25・・・加算器。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平9−130765(JP,A) 特開 平10−32815(JP,A) 特開 平9−65300(JP,A) 特開 平5−292490(JP,A) 特開 平6−303543(JP,A) 特開 平11−252543(JP,A) 特開 平11−187396(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/00 - 7/088 H04N 7/12 H04N 7/24 - 7/68 H04N 5/38 - 5/46

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 複数の符号化された画像データを含むビ
    ットストリームが入力され、前記ビットストリーム中に
    含まれる基準時間情報を抽出して基準時刻を再生し、特
    定のビットストリームの前記基準時間情報に基づいてシ
    ステムタイムクロックを再生し、各画像データを各々の
    前記基準時刻に基づいて復号するマルチチャンネルデコ
    ード方法において、 システムタイムクロックでカウントアップするカウント
    アップステップと、 各ビットストリーム毎の前記基準時刻と前記カウントア
    ップ値との差分値を保持する差分値保持ステップと、 前記各ビットストリームに対応する前記差分値と前記カ
    ウントアップ値を加算した後、前記ビットストリーム中
    から抽出した前記基準時間情報との減算を行い、前記基
    準時刻のずれを検出する検出ステップと、 特定の前記ビットストリームの前記基準時刻のずれをも
    とに、前記システムタイムクロックを再生するシステム
    タイムクロック再生ステップと、 前記基準時間情報と前記カウントアップ値をもとに、前
    記保持された差分値を補正する補正ステップと、 入力された前記各ビットストリームに含まれている復号
    開始時刻情報と、前記カウントアップ値と各ビットスト
    リーム毎に保持している前記差分値の加算値とを比較す
    る比較ステップと、 前記比較結果に従って前記各画像データをそれぞれ復号
    する復号ステップとを具備したことを特徴とするマルチ
    チャンネルデコード方法。
  2. 【請求項2】 再生された前記システムタイムクロック
    を基準に復号同期信号を生成する復号同期信号生成ステ
    ップを具備し、 前記比較ステップは、前記復号同期信号に合わせて比較
    を行うことを特徴とする請求項1に記載のマルチチャン
    ネルデコード方法。
  3. 【請求項3】 複数の前記ビットストリームは時間軸多
    重されて入力されることを特徴とする請求項1または2
    に記載のマルチチャンネルデコード方法。
  4. 【請求項4】 前記入力ビットストリームを特殊再生復
    号する際には、前記復号同期信号に合わせて、保持して
    いる前記差分値を補正することを特徴とする請求項1ま
    たは2に記載のマルチチャンネルデコード方法。
JP23531798A 1998-08-21 1998-08-21 マルチチャンネルデコード方法 Expired - Fee Related JP3538033B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23531798A JP3538033B2 (ja) 1998-08-21 1998-08-21 マルチチャンネルデコード方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23531798A JP3538033B2 (ja) 1998-08-21 1998-08-21 マルチチャンネルデコード方法

Publications (2)

Publication Number Publication Date
JP2000069437A JP2000069437A (ja) 2000-03-03
JP3538033B2 true JP3538033B2 (ja) 2004-06-14

Family

ID=16984325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23531798A Expired - Fee Related JP3538033B2 (ja) 1998-08-21 1998-08-21 マルチチャンネルデコード方法

Country Status (1)

Country Link
JP (1) JP3538033B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100752482B1 (ko) * 2001-07-07 2007-08-28 엘지전자 주식회사 멀티채널 스트림 기록 재생장치 및 방법
KR20040000290A (ko) 2002-06-24 2004-01-03 엘지전자 주식회사 고밀도 광디스크의 멀티 경로 데이터 스트림 관리방법
JP4399568B2 (ja) 2002-06-24 2010-01-20 エルジー エレクトロニクス インコーポレイティド 多重タイトルビデオデータの再生を管理するためのデータ構造を有する記録媒体とそれによる記録及び再生方法と装置
US7889968B2 (en) 2002-06-24 2011-02-15 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple reproduction path video data for at least a segment of a title recorded thereon and recording and reproducing methods and apparatuses
CN100380496C (zh) 2002-06-24 2008-04-09 Lg电子株式会社 具有用于管理记录在其上面的多个标题视频数据的再现的数据结构的记录介质以及记录和再现方法及装置
RU2334286C2 (ru) 2002-06-28 2008-09-20 Эл Джи Электроникс Инк. Носитель записи со структурой данных для управления записью и воспроизведением записанных на нем данных нескольких каналов и способы и устройства записи и воспроизведения
CA2459070C (en) 2002-06-28 2013-10-22 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple playback path video data recorded thereon and recording and reproducing methods and apparatuses
WO2004042723A1 (en) 2002-11-08 2004-05-21 Lg Electronics Inc. Method and apparatus for recording a multi-component stream and a high-density recording medium having a multi-component stream recorded theron and reproducing method and apparatus of said recording medium
US7720356B2 (en) 2002-11-12 2010-05-18 Lg Electronics Inc Recording medium having data structure for managing reproduction of multiple reproduction path video data recorded thereon and recording and reproducing methods and apparatuses
US7783160B2 (en) 2002-11-20 2010-08-24 Lg Electronics Inc. Recording medium having data structure for managing reproduction of interleaved multiple reproduction path video data recorded thereon and recording and reproducing methods and apparatuses
US7809775B2 (en) 2003-02-27 2010-10-05 Lg Electronics, Inc. Recording medium having data structure for managing playback control recorded thereon and recording and reproducing methods and apparatuses
WO2004077417A1 (en) 2003-02-28 2004-09-10 Lg Electronics Inc. Recording medium having data structure for managing random/shuffle reproduction of video data recorded thereon and recording and reproducing methods and apparatuses
KR100753293B1 (ko) * 2006-07-07 2007-08-29 엘지전자 주식회사 멀티채널 스트림 기록 재생장치 및 방법
JP5032179B2 (ja) * 2007-03-30 2012-09-26 株式会社東芝 ストリーム再生装置及びメディアデータ復号方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3161017B2 (ja) * 1992-04-16 2001-04-25 ソニー株式会社 動画像復号化装置
JP3221524B2 (ja) * 1993-04-13 2001-10-22 株式会社日立製作所 ディジタルテレビジョン放送受信機および放送システム
JPH0965300A (ja) * 1995-08-29 1997-03-07 Toshiba Corp 情報送受信システムとこのシステムに用いられる送信情報生成装置及び受信情報再生装置
JPH09130765A (ja) * 1995-11-01 1997-05-16 Mitsubishi Electric Corp 多重チャンネル受信装置
JPH1032815A (ja) * 1996-07-16 1998-02-03 Toshiba Corp 画面合成装置
JPH11252543A (ja) * 1998-03-02 1999-09-17 Toshiba Corp デコード処理回路
JP3830645B2 (ja) * 1997-12-19 2006-10-04 株式会社東芝 画像復号化方法及び装置

Also Published As

Publication number Publication date
JP2000069437A (ja) 2000-03-03

Similar Documents

Publication Publication Date Title
KR100661895B1 (ko) 영상 데이터 처리 장치 및 처리 방법
JP3215087B2 (ja) オーディオとビデオの同期方法及びデジタルビデオプロセッサ
JP3538033B2 (ja) マルチチャンネルデコード方法
US7330640B2 (en) Display of closed caption and sub-picture information during limited speedup video trick modes
JP2010508733A (ja) 資源の効率的な使用によるデジタル・ビデオ・レコーダにおけるトリック再生機能の実行
JP2001054031A (ja) ディジタル放送受信装置及びその半導体デバイス
WO2000060872A1 (fr) Procede et dispositif de decodage continu de flux video comprenant des sequences de donnees ayant des frequences de trame differentes
JPH10262208A (ja) 同期ずれ制御装置及び方法
US20060177199A1 (en) Information recording medium, information reproducing apparatus, information recording method and reproducing method
US6912352B2 (en) Digital data recording and reproducing system capable of detecting discontinuity of data
JP2000287149A (ja) 受信装置および方法、並びに提供媒体
KR100539731B1 (ko) 전송스트림저장장치및방법
WO2006075457A1 (ja) 記録装置
JP3557874B2 (ja) デジタル放送受信機
KR20120135856A (ko) 디지털 방송 수신기의 영상 재생 장치
JP2003188865A (ja) データ処理装置及びデータ処理方法
JPH1093876A (ja) ディジタル放送受信装置におけるavデコーダ制御方法とその装置
KR100506592B1 (ko) Pes 및 컨텐츠 데이터의 저장 및 재생방법
JPH0877708A (ja) 記録装置と再生装置
JP4354590B2 (ja) 蓄積型情報受信装置
JP2002033983A (ja) 画像記録装置、画像記録方法および記録媒体
KR19980035945A (ko) 디스크 재생시스템의 피아이피(pip)장치
JP3248456B2 (ja) ディジタル映像信号記録方法及び装置
JP3248351B2 (ja) ディジタルデータ記録再生装置及びディジタルデータ記録再生方法
JP3252761B2 (ja) ディジタル映像信号記録方法、記録装置及び出力装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080326

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090326

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100326

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100326

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110326

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120326

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees