JPH09139916A - 画像データ符号化装置 - Google Patents

画像データ符号化装置

Info

Publication number
JPH09139916A
JPH09139916A JP29855695A JP29855695A JPH09139916A JP H09139916 A JPH09139916 A JP H09139916A JP 29855695 A JP29855695 A JP 29855695A JP 29855695 A JP29855695 A JP 29855695A JP H09139916 A JPH09139916 A JP H09139916A
Authority
JP
Japan
Prior art keywords
image data
frame
picture
data
gop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29855695A
Other languages
English (en)
Other versions
JP3658815B2 (ja
Inventor
Kenji Uehara
健志 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP29855695A priority Critical patent/JP3658815B2/ja
Publication of JPH09139916A publication Critical patent/JPH09139916A/ja
Application granted granted Critical
Publication of JP3658815B2 publication Critical patent/JP3658815B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 処理用の画像データの編集点のGOP位相と
異なるGOP位相の画像データを挿入編集しても不具合
の生じない画像データ符号化装置を提供する。 【解決手段】 時間軸方向の相関を利用した動き補償を
用いて所定の単位でデータ量が一定となるように符号化
する画像データ符号化装置において、上記入力された画
像データを挿入編集する際に、該入力された画像データ
の編集点のフレームのピクチャタイプ(PCT)と、挿
入する画像データのフレームのPCTとを比較し、PC
Tが一致しないときに、上記挿入する画像データで、I
ピクチャ又はPピクチャであるフレームのPCTを変更
せず、BピクチャであるフレームのPCTをPピクチャ
に変更して、上記編集点に該変更後の画像データを挿入
する処理部1及びメモリ2と、処理部1からの出力デー
タを、上記所定の単位で符号化処理するエンコーダ3と
を有することを特徴としている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、時間軸方向の相関
を利用した動き補償を用いて所定の単位でデータ量が一
定となるように符号化する画像データ符号化装置に関す
る。
【0002】
【従来の技術】近年において、画像データはデジタル化
して取り扱われている。そこで、画像データをデジタル
化すると情報量が極端に増えるため、画像データを圧縮
処理している。この圧縮処理のアルゴリズムとして、国
際標準化機構(ISO:International organization f
or standardization)で規格化されているいわゆるMP
EG(moving picture experts group)方式が、広く用
いられている。
【0003】このMPEG方式において、画像データ
は、図6に示すように、GOP(group of pictures )
101と呼ばれる構造をとっており、このGOPを構成
する要素またはフレーム102には、フレーム内符号化
画像いわゆるIピクチャ(intra-picture )と、双方向
予測符号化画像いわゆるBピクチャ(bidirectionallyp
redictive-picture )と、図示はされていないが順方向
予測符号化画像いわゆるPピクチャ(predictive-pictu
re)とがある。なお、図6において、GOPは2フレー
ム単位で構成され、かつIピクチャとBピクチャとから
構成される例が示されている。
【0004】
【発明が解決しようとする課題】ところで、MPEG方
式にて符号化され記録媒体に記録された画像データ(以
下記録データという)を処理する際に、該記録データを
一旦復号化して得られる一連の画像データのある画像と
ある画像との間の編集点に、任意の画像データを挿入し
て置き換える編集いわゆる挿入編集がなされることがあ
る。
【0005】この挿入編集時において、上記編集点にて
挿入する画像データは単数または複数のGOPで構成さ
れるデータとされている。
【0006】そこで、図7のaに示すように、処理対象
となる画像データいわゆる下地画像データ110と、下
地画像データ110の編集点103に挿入する画像デー
タいわゆる挿入画像データ120とで、対応する各フレ
ームのピクチャタイプが一致する場合を考える。ここ
で、画像データのピクチャタイプのデータ列をGOP位
相という。すなわち、図7のaは互いの画像データのG
OP位相が揃っている例を示している。
【0007】図7のaにおいて、下地画像データ110
の編集点103と挿入画像データ120とは、共にBピ
クチャ−Iピクチャ−Bピクチャ−Iピクチャ(以下単
にBIBIという)の2つのGOPから成るGOP位相
を有している。そこで、処理後の画像データ(以下編集
画像データという)130は、図7のbに示すように、
挿入画像データ120のGOP位相がそのまま編集画像
データ130のGOP位相になっている。
【0008】図7のbによれば、下地画像データの編集
点のGOP位相と、挿入画像データのGOP位相とが一
致する場合、当該編集点を上記挿入画像データで置き換
えても得られる編集画像データを、元の下地画像データ
を符号化したときと同じ方法で再符号化するので大幅な
画像の劣化が生じる可能性が低い。
【0009】次に、図8のa、b、cを用いて、下地画
像データの編集点と、挿入画像データとでGOP位相が
一致しない場合について説明する。ここでは、上記挿入
画像データのGOP位相を上記編集点のGOP位相に変
換してから挿入編集する方法と、上記挿入画像データの
GOP位相を保持してそのまま上記編集点に挿入して置
き換える方法とを示す。
【0010】図8のaにおいて、下地画像データ111
の編集点104は、BIBIBIBIから成るGOP位
相を有しているが、挿入画像データ121はIBIBI
BIBから成るGOP位相を有している。ここで、BI
を単位当たりのGOP101とすると、1フレームだけ
GOP位相がずれていることになる。
【0011】そこで、図8のbに示すように、挿入画像
データを、例えば1番目のIピクチャをBピクチャに変
換し(以下単にI1 →B1 というように変換操作を矢印
で示す)、B2 →I2 …を行い、すなわち上記編集点1
04のGOP位相に変換してから該編集点104に挿
入、置換する。
【0012】しかし、一度Bピクチャとして符号化され
たフレームはIピクチャに、また、一度Iピクチャとし
て符号化されたフレームはBピクチャに、それぞれ再符
号化されることになり、前回の符号化過程とは全く異な
る過程で符号化されるため、得られる編集画像データが
画質劣化する問題が生じる。
【0013】また、図8のcに示すように、挿入画像デ
ータのGOP位相を保持して上記編集点104に挿入編
集すると、得られる編集画像データ132には、例えば
IピクチャとIピクチャとの間のフレーム数が3となる
GOPすなわち3フレームから成るGOP105が生じ
てしまう。
【0014】また、例えばIピクチャとBピクチャとか
ら成るとともに単位当たり2フレームであるGOPから
成る画像データを処理するシステムでは、システム遅延
を1フレーム分とるように設計されている。ところが、
このシステムに3フレームで1GOPを形成する画像デ
ータが入力されると、システム遅延が増えてしまい、不
具合が生じてしまう。
【0015】また、上記3フレームで1GOPとなる部
分が生じることを回避するために、挿入画像データの末
尾のピクチャタイプに対して、図9のaに示すように、
B→Iなる処理を行った後挿入編集して得られた編集画
像データ133を再符号化する場合を考える。なお、図
9のa、b、cにおいて、各フレームに伏した番号は再
生する際に処理する順序(以下時間的順序という)を示
す。
【0016】図9のbは、編集画像データ133を符号
化する順序に並べ換えて、挿入画像データ121の部分
を2フレーム毎にブロック化して得られた符号化用デー
タ134を示す図である。
【0017】図9のbによれば、例えばブロック141
においては時間的順序が3番目のフレームの次に5番目
のフレームが符号化されることが示される。他の全ての
ブロック142、143、144においても時間的順序
が連続しないフレームが同一のブロックに存在すること
が示される。これにより、符号化の効率を悪化させると
ともに、この編集画像データを下地画像データとして用
いた挿入編集が困難になることが示唆される。
【0018】また、図9のcは、上記符号化用データ1
34において挿入画像データ121の部分の時間的順序
が連続となるように、2フレーム単位でブロック化した
ものを示す図である。
【0019】図9のcによれば、下地画像データでは4
ブロックあった編集点に、挿入画像データ121を用い
て挿入編集すると、この挿入画像データ121部分にブ
ロック151乃至155の5ブロックが入ることにな
る。一方、記録媒体には通常ブロック単位で記録領域が
確保されているため、例えば該記録媒体に図9のcの符
号化用データ134を符号化した後記録する際に、1ブ
ロック分のデータが欠落する、すなわち1フレーム若し
くは2フレームが欠落することになる。
【0020】そこで、本発明は上述の実情に鑑みてなさ
れたものであり、編集用の画像データの編集点のGOP
位相と異なるGOP位相の画像データを挿入編集しても
不具合の生じない画像データ符号化装置を提供すること
を目的とする。
【0021】
【課題を解決するための手段】本発明に係る画像データ
符号化装置は、時間軸方向の相関を利用した動き補償を
用いて所定の単位でデータ量が一定となるように符号化
する画像データ符号化装置において、上記入力された画
像データを挿入編集する際に、該入力された画像データ
の編集点のフレームのピクチャタイプと、挿入する画像
データのフレームのピクチャタイプとを比較し、ピクチ
ャタイプが一致しないときに、上記挿入する画像データ
で、フレーム内符号化画像又は順方向予測符号化画像で
あるフレームのピクチャタイプを変更せず、双方向予測
符号化画像であるフレームのピクチャタイプを順方向予
測符号化画像に変更して、上記編集点に該変更後の画像
データを挿入する画像データ処理手段と、上記画像デー
タ処理手段からの出力データを、上記所定の単位で符号
化処理する符号化手段とを有することを特徴とすること
で、上述の問題を解決する。
【0022】
【発明の実施の形態】以下、本発明に係る画像データ符
号化装置が適用されて好ましい具体例について、図面を
参照しながら説明する。
【0023】上記画像データ符号化装置は、図1に示す
ように、時間軸方向の相関を利用した動き補償を用いて
所定の単位でデータ量が一定となるように符号化する画
像データ符号化装置において、上記入力された画像デー
タを挿入編集する際に、該入力された画像データの編集
点のフレームのピクチャタイプ(PCT:picture codi
ng type )と、挿入する画像データのフレームのPCT
とを比較し、PCTが一致しないときに、上記挿入する
画像データで、Iピクチャ又はPピクチャであるフレー
ムのPCTを変更せず、BピクチャであるフレームのP
CTをPピクチャに変更して、上記編集点に該変更後の
画像データを挿入する画像データ処理手段としての処理
部1及びメモリ2と、上記画像データ処理手段からの出
力データを、上記所定の単位で符号化処理するエンコー
ダ3とを有することを特徴としている。
【0024】また、上記データ処理手段は、2つのフレ
ーム内符号化画像の間隔が2フレームとなるデータ単位
すなわち2フレームで1GOPから成るところを編集点
として処理することが挙げられる。
【0025】図1において、スイッチ11は、下地画像
データ入力端子4あるいは挿入画像データ入力端子5を
切り換えて、先頭フレーム判定部12に送る画像データ
を選択する。
【0026】ここで、下地画像データ入力端子4より入
力される下地画像データ21は、後述する編集点30に
おいて、例えば図2に示すように、…BIBIBIBI
BIBI…というようにBピクチャとIピクチャとから
成るGOP位相を有しており、2フレームで1GOPを
構成している。なお、図2では、挿入画像データ22
は、下地画像データ21と同様にBピクチャとIピクチ
ャとから成るGOP位相を有しているが、これに限定さ
れることはなく、2フレームで1GOPを構成する限
り、他のGOP位相であっても差し支えない。
【0027】先頭フレーム判定部12は、スイッチ11
にて切り換え選択して送られる画像データと、GOP位
相入力端子6から送られる該画像データのGOP位相デ
ータとに基づいて、送られてくる下地画像データあるい
は挿入画像データのフレームが各GOP内で時間的に先
頭となるフレームすなわち先頭フレームであるか否かを
判定し、この判定結果と上記GOP位相データから成る
GOP位相情報データを処理部1に送るとともに、下地
画像データあるいは挿入画像データを処理部1に送る。
【0028】処理部1は、挿入編集の対象となる上記下
地画像データの編集点30と、挿入画像データとを比較
して、両画像データのGOP位相が一致する場合は、上
記編集点30に上記挿入画像データを挿入置換処理を
し、メモリ2はこの置換処理の際に、置換処理対象とな
るフレームと、該置換処理対象となるフレームの時間的
に1つ前のフレームとを処理部1とやり取りを行うため
に設けられている。
【0029】また、両画像データのGOP位相が一致し
ない場合、後述するように、挿入画像データのIピクチ
ャ若しくはPピクチャはピクチャタイプの変換いわゆる
PCT変換を行わず、BピクチャのみPピクチャにPC
T変換する。このように、所定のフレームのPCT変換
を行った後、PCT変換後に得られた挿入画像データを
上記編集点30に挿入置換する処理を行う。
【0030】また、処理部1にて得られた編集画像デー
タと、この編集画像データの各フレームのPCTデータ
とがエンコーダ3に送られる。
【0031】ここで、上記先頭フレーム判定部12と処
理部1との動作を、図3に示すフローチャートを用いて
説明する。
【0032】ステップS1では、先頭フレーム判定部1
2にて判定対象となっているフレーム(以下現フレーム
という)がGOPの最初のフレームすなわち先頭フレー
ムであるか否かが判別される。この判別結果がYES、
すなわち上記現フレームが先頭フレームである場合ステ
ップS2に進む。
【0033】ステップS2では、処理部1にて、現フレ
ームに対応するPCT変換前の挿入画像データ(以下元
の挿入画像データという)の先頭フレームのPCTがI
ピクチャであるか否かが判別される。ステップS2での
判別結果がYES、すなわち上記元の挿入画像データの
先頭フレームのPCTがIピクチャである場合、ステッ
プS3に進み、この先頭フレームはIピクチャになる。
また、ステップS2での判別結果がNO、すなわち上記
元の挿入画像データの先頭フレームのPCTがIピクチ
ャでない場合、ステップS4に進み、この先頭フレーム
のPCTはBピクチャになる。
【0034】また、ステップS1での判別結果がNO、
すなわち上記現フレームが先頭フレームでない場合、ス
テップS5に進む。
【0035】ステップS5では、上記現フレームの時間
的に1つ前のフレーム(以下前フレームという)がIピ
クチャであるか否かが判別される。
【0036】ステップS5での判別結果がYES、すな
わち上記前フレームがIピクチャである場合、ステップ
S6に進んで、PピクチャにPCT変換される。また、
ステップS5での判別結果がNO、すなわち上記前フレ
ームがIピクチャでない場合、ステップS7に進んで、
このフレームがIピクチャにPCT変換される。
【0037】図1に戻り、エンコーダ3は、処理部1よ
り送られる上記編集画像データと、上記PCTデータと
を用いてMPEGのアルゴリズムにて符号化処理し、得
られる符号化信号を出力端子7に送る。
【0038】ここで、処理部1から出力される編集画像
データを図4に示し、また、エンコーダ3から出力され
る符号化信号を図5に示す。
【0039】図4において、編集画像データ31の編集
点に挿入された挿入画像データ22部分で、挿入置換前
に行われたPCT変換が各フレーム内に示される。例え
ば、挿入画像データの先頭のフレームはI→I(Iピク
チャからIピクチャ)のPCT変換が、また、2番目の
フレームはB→P(BピクチャからPピクチャ)のPC
T変換がそれぞれ行われる。また、各フレームに伏した
数字は、時間的順序を表している。
【0040】図5において、上記編集画像データ31を
符号化した符号化信号32は、符号化するフレーム順に
並べ換えられており、さらに、符号化単位が2フレーム
単位でブロック41乃至43に示されている。
【0041】以上のようにすることで、下地画像データ
の編集点でのGOP位相と異なるGOP位相の挿入画像
データで置換処理する挿入編集時に、I→I、P→P、
B→PというPCT変換をフレーム毎に行うことで、挿
入画像データを上記編集点に挿入置換して得られた編集
画像データを符号化する際に大幅な画質劣化が生じる可
能性が低くなる。しかも、時間相関が強い程画質劣化が
小さくなる。また、上記下地画像データの符号化単位の
ブロック数と、編集画像データの符号化単位のブロック
数とが等しいため、1フレームも欠落することなく記録
媒体に記録可能な画像データの処理を行うことが可能で
ある。
【0042】以上、本発明を適用した具体例について説
明したが、これら具体例に限定されなず、種々の変更が
可能である。
【0043】例えば、挿入画像データのPCT変換を行
う際に、各フレームの変換後のPCTを決定するのに、
現フレームがGOPの先頭フレームであるか否かを判定
してから上記各フレームのPCTを決定する例を挙げた
が、先頭フレームを基準にしなくても各フレームのPC
Tを決定することも可能である。
【0044】また、2フレームで1GOPを構成してい
る例を挙げたが、これに限定されることはなく、例えば
下地画像データは3フレームで1GOPの画像データで
あってもよい。
【0045】
【発明の効果】以上説明したように、本発明に係る画像
データ符号化装置によれば、下地画像データの編集点で
のGOP位相と異なるGOP位相の挿入画像データで置
換処理して得られた編集画像データを符号化する際に、
元の画像データを符号化する過程と略同じ過程を経て符
号化することができるため、編集画像データを符号化し
ても大幅な画質劣化が生じる虞がない。また、上記下地
画像データの符号化単位のブロック数と、編集画像デー
タの符号化単位のブロック数とが等しくなるため、1フ
レームも欠落することなく記録媒体に記録可能な画像デ
ータの処理を行うことが可能である。
【図面の簡単な説明】
【図1】本発明に係る画像データ符号化装置の具体的な
構成の一例を示すブロック図である。
【図2】上記画像データ符号化装置に入力される画像デ
ータのGOP位相の一例を示す図である。
【図3】上記画像データ符号化装置の動作を説明するフ
ローチャートである。
【図4】上記画像データ符号化装置にて得られた編集画
像データを示す図である。
【図5】上記編集画像データを符号化する順序に並べ換
えて示す図である。
【図6】画像データの一例を示す図である。
【図7】下地画像データの編集点と挿入画像データと
で、GOP位相が合っている場合の挿入編集を説明する
図である。
【図8】上記GOP位相が合っていない場合の挿入編集
を説明する図である。
【図9】上記GOP位相が合っていない場合に行う挿入
編集の問題点を説明する図である。
【符号の説明】
1 処理部 2 メモリ 3 エンコーダ

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 時間軸方向の相関を利用した動き補償を
    用いて所定の単位でデータ量が一定となるように符号化
    する画像データ符号化装置において、 上記入力された画像データを挿入編集する際に、該入力
    された画像データの編集点のフレームのピクチャタイプ
    と、挿入する画像データのフレームのピクチャタイプと
    を比較し、ピクチャタイプが一致しないときに、上記挿
    入する画像データで、フレーム内符号化画像又は順方向
    予測符号化画像であるフレームのピクチャタイプを変更
    せず、双方向予測符号化画像であるフレームのピクチャ
    タイプを順方向予測符号化画像に変更して、上記編集点
    に該変更後の画像データを挿入する画像データ処理手段
    と、 上記画像データ処理手段からの出力データを、上記所定
    の単位で符号化処理する符号化手段とを有することを特
    徴とする画像データ符号化装置。
  2. 【請求項2】 上記データ処理手段は、2つのフレーム
    内符号化画像の間隔が2フレームとなるデータ単位から
    成るところを編集点として処理することを特徴とする請
    求項1記載の画像データ符号化装置。
  3. 【請求項3】 上記データ処理手段は、フレーム内符号
    化画像と、双方向予測符号化画像とから成るところを編
    集点として処理することを特徴とする請求項1記載の画
    像データ符号化装置。
JP29855695A 1995-11-16 1995-11-16 画像データ符号化装置 Expired - Fee Related JP3658815B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29855695A JP3658815B2 (ja) 1995-11-16 1995-11-16 画像データ符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29855695A JP3658815B2 (ja) 1995-11-16 1995-11-16 画像データ符号化装置

Publications (2)

Publication Number Publication Date
JPH09139916A true JPH09139916A (ja) 1997-05-27
JP3658815B2 JP3658815B2 (ja) 2005-06-08

Family

ID=17861274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29855695A Expired - Fee Related JP3658815B2 (ja) 1995-11-16 1995-11-16 画像データ符号化装置

Country Status (1)

Country Link
JP (1) JP3658815B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7933494B2 (en) 2005-09-08 2011-04-26 Sony Corporation Recording apparatus and method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7933494B2 (en) 2005-09-08 2011-04-26 Sony Corporation Recording apparatus and method, and program

Also Published As

Publication number Publication date
JP3658815B2 (ja) 2005-06-08

Similar Documents

Publication Publication Date Title
US5386234A (en) Interframe motion predicting method and picture signal coding/decoding apparatus
JP3019912B2 (ja) 画像データ編集装置
JPH10145798A (ja) デジタル符号化信号処理方式
US6754274B2 (en) Video data recording method and apparatus for high-speed reproduction
US6271774B1 (en) Picture data processor, picture data decoder and picture data encoder, and methods thereof
KR20040094441A (ko) 인코딩된 오디오/비디오 시퀀스의 편집
US6118928A (en) Video signal compression-encoding apparatus, recording medium and video signal reproducing apparatus
US5793894A (en) Image data editing apparatus and decoding apparatus
US6591014B1 (en) Apparatus for coding moving picture
KR100226563B1 (ko) 동화상 데이타 복호화장치
EP0881839A2 (en) Variable bit rate encoder.
JP3182329B2 (ja) 符号化データ編集装置とデータ復号装置
JPH08251582A (ja) 符号化データ編集装置
JP2005516495A (ja) 既圧縮マルチメディアのビットレートの低減
JPH09168148A (ja) 動画像符号化方法及び装置、並びに記録媒体
JP3200199B2 (ja) 動画像圧縮符号化方法
JP2882294B2 (ja) 映像信号符号化装置
JP3189252B2 (ja) 画像データエンコーダおよびデコーダ
JP3591893B2 (ja) 画像データ記録装置
JP2000197010A (ja) 画像デ―タ編集装置
JPH09139916A (ja) 画像データ符号化装置
JP2002199408A (ja) 動画像符号化方法および動画像符号化装置
JPH0888854A (ja) 動画像符号化方式
JP3188081B2 (ja) 画像符号化方法および画像符号化装置
JP2000023096A (ja) データ符号化方法、復号化方法及び装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050307

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080325

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090325

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100325

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100325

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110325

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees