JP2899478B2 - 画像符号化方法及び画像符号化装置 - Google Patents

画像符号化方法及び画像符号化装置

Info

Publication number
JP2899478B2
JP2899478B2 JP16720192A JP16720192A JP2899478B2 JP 2899478 B2 JP2899478 B2 JP 2899478B2 JP 16720192 A JP16720192 A JP 16720192A JP 16720192 A JP16720192 A JP 16720192A JP 2899478 B2 JP2899478 B2 JP 2899478B2
Authority
JP
Japan
Prior art keywords
field
frame
image
encoding
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP16720192A
Other languages
English (en)
Other versions
JPH0630394A (ja
Inventor
廉 穎川
正博 本城
秀樹 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP16720192A priority Critical patent/JP2899478B2/ja
Publication of JPH0630394A publication Critical patent/JPH0630394A/ja
Application granted granted Critical
Publication of JP2899478B2 publication Critical patent/JP2899478B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、デジタル画像をDC
T、量子化、動き補償、或いは双方向予測等の手段によ
り情報量を圧縮して伝送、記録する際に用いる画像符号
化方法及び画像符号化装置に関し、特に双方向予測を用
いるインターレース画像の符号化処理に有用なものであ
る。
【0002】
【従来の技術】第一の従来のインターレース画像の符号
化方法として、フレームを近接する複数の画素からなる
ブロックに分割し、参照フレームおよび参照フレームを
用いた予測フレームをブロック毎にフレーム符号化処理
する方法が行われている。
【0003】また、第二の従来のインターレース画像の
符号化方法としては、参照フレーム或いは予測フレーム
に関わらず全てのフレームを参照フィールド或いは予測
フィールドに分離し、各々のフィールド内において、近
接する複数の画素からなるブロックに分割し、参照フィ
ールドおよび参照フィールドを用いた予測フィールドを
ブロック毎にフィールド符号化処理する方法が行われて
いる。
【0004】
【発明が解決しようとする課題】しかしながら、前述の
第一の従来方法ではデータのエラー等により参照フレー
ムに誤りが発生した場合、次の復元可能な参照フレーム
までの間が長く、その間に放棄されるフレームが多数発
生する。つまり、個々の参照フレームの誤りによる予測
フレームへの悪影響が多大であるという問題点と、前記
の第一の従来方法では任意のフレームの検索を速やかに
行うことが困難であるという二つの問題点を有してい
た。これらは、参照フレームが予測フレームより情報量
を多く必要とし、一定の情報量内での画像符号化におい
て、必然的に参照フレーム数を予測フレーム数より少な
く分配する為発生する問題である。
【0005】また、前述の第二の従来方法においては、
前述の第一の従来方法の二つの問題点をある程度改善す
るが、第二の従来方法では全ての画像をフィールド単位
で処理する為、画像の相関性の低下等により、第一の従
来方法と同等の画質を維持することは困難とされてい
る。
【0006】本発明はかかる点に鑑み、個々の参照フレ
ーム画像の誤りによる他フレーム画像への悪影響を著し
く低下させ、また迅速なフレーム画像の検索を可能と
し、且つ第一の従来方法と同等或いはそれ以上の画質の
再生を可能とする高能率且つ高画質画像符号化を実現す
る画像符号化方法および画像符号化装置を提供すること
を目的とする。
【0007】本発明は、時間的に過去に位置する一の参
照フレームおよび未来に位置する他の参照フレームを互
いに独立に符号化処理し、前記2つの参照フレームの間
に位置する予測フレームを前記2つの参照フレームを用
いて予測して符号化処理するインターレース画像の符号
化方法であって、前記一の参照フレームの符号化処理に
ついては、その第一フィールドを、その画素のみを含む
ブロックに分割して独立に符号化処理し、その第二フィ
ールドを、その画素のみを含むブロックに分割し、前記
一の参照フレームの第一フィールドを参照画像として予
測して符号化処理し、前記他の参照フレームの符号化処
理については、その第一フィールドを、その画素のみを
含むブロックに分割して独立に符号化処理し、その第二
フィールドを、その画素のみを含むブロックに分割し、
前記他の参照フレームの第一フィールドを参照画像とし
て予測して符号化処理し、前記2つの参照フレームの間
に位置する予測フレームの符号化処理については、当該
予測フレームの第一フィールドの画素のみを含むブロッ
クおよび第二フィールドの画素のみを含むブロックに分
割して、前記2つの参照フレームの第一フィールドおよ
び第二フィールドより予測して符号化するか、または、
当該予測フレームの第一フィールドおよび第二フィール
ドの双方の画素を含むブロックに分割して、前記2つの
参照フレームより予測して符号化処理するかを、画像の
動きに応じて適応的に切り替えることを特徴とする。
【0008】また、本発明の画像符号化装置は前述の画
像符号化方法を実現するための装置であり、インターレ
ース画像を近接する複数の画素からなるブロックに分割
し、時間的に過去に位置する一のフレームおよび未来に
位置する他のフレームを互いに独立に符号化処理する参
照フレーム符号化器と、前記2つの参照フレームの間に
位置する予測フレームを前記2つの参照フレームを用い
て予測して符号化処理する予測フレーム符号化器とを備
えた画像符号化装置であって、前記参照フレーム符号化
器は、前記一の参照フレームの符号化処理については、
その第一フィールドを、その画素のみを含むブロックに
分割して独立に符号化処理し、その第二フィールドを、
その画素のみを含むブロックに分割し、前記一の参照フ
レームの第一フィールドを参照画像として予測して符号
化処理し、前記他の参照フレームの符号化処理について
は、その第一フィールドを、その画素のみを含むブロッ
クに分割して独立に符号化処理し、その第二フィールド
を、その画素のみを含むブロックに分割し、前記他の参
照フレームの第一フィールドを参照画像として予測して
符号化処理する符号化手段を有し、前記予測フレーム符
号化器は、前記2つの参照フレームの間に位置する予測
フレームの符号化処理について、当該予測フレームの第
一フィールドの画素のみを含むブロックおよび第二フィ
ールドの画素のみを含むブロックに分割して、前記2つ
の参照フレームの第一フィールドおよび第二フィールド
より予測して符号化するか、または、当該予測フレーム
の第一フィールドおよび第二フィールドの双方の画素を
含むブロックに分割して、前記2つの参照フレームより
予測して符号化処理するかを、画像の動きに応じて適応
的に切り替えて符号化処理を行う符号化手段を有するこ
とを特徴とするものである。
【0009】
【作用】本発明は上記した構成により、画質を劣化せず
に参照フレームを少量の情報量で画像符号化することが
可能となり、それに伴い予測フレーム数に対する参照フ
レーム数が増加し、従って個々の参照フレーム画像の誤
りによる予測フレームへの悪影響は著しく低下し、また
迅速なフレーム画像の検索を可能とすることができる。
【0010】
【実施例】以下本発明の画像符号化方法及び画像符号化
装置の一実施例について、図面を参照しながら詳細に説
明する。
【0011】まず、図1において、本発明の画像符号化
処理方式の基本構成のー実施例を示している。
【0012】図1において、フレーム1及びフレーム6
は参照フレームであり、それぞれ二つのフィールドに分
離され、時間的に先方のフィールドであるフィールド2
とフィールド7を独立フィールドとし、如何なる画像に
も依存せずブロック毎に独立符号化処理し、また時間的
に後方のフィールドであるフィールド3とフィールド8
を参照フィールドとし、参照フィールド3は独立フィー
ルド2を予測画像として用い、既に復元されている独立
フィールド2の再生画像からブロック毎に動き補償を行
って得られた予測信号ブロックに依って参照フィールド
3内の符号化対象ブロックを予測し、その予測誤差信号
をブロック毎に符号化する方法を用い、参照フィールド
8は独立フィールド7を予測画像として用い、既に復元
されている独立フィールド7の再生画像からブロック毎
に動き補償を行って得られた予測信号ブロックによって
参照フィールド8内の符号化対象ブロックを予測し、そ
の予測誤差信号をブロック毎に符号化する方法を用い
る。
【0013】また、フレーム4およびフレーム5は予測
フレームであり、それぞれ適応的にフレーム単位のブロ
ック或いはフィールド単位のブロックに分割された後、
フレーム単位に符号化処理される。予測フレーム4及び
予測フレーム5はそれぞれ参照フレーム1及び参照フレ
ーム6の両フレームを参照画像として用い、すでに復元
されている参照フレーム1と参照フレーム6の再生画像
からそれぞれブロック毎に動き補償を行って得られた予
測信号ブロックによって予測フレーム4若しくは予測フ
レーム5の符号化対象ブロックを予測し、その予測誤差
信号をブロック毎に符号化する構成になっている。
【0014】なお、ここでは二つの参照フレームを用い
て予測フレームを予測符号化しているが、参照フレーム
数はこれに限ることなく、参照フレーム数を適応的に変
えても構わない。また、ここでは参照フレーム間に二つ
の予測フレームを設けているが、これに限ることなく参
照フレーム間の予測フレーム数の設定を適応的に変えて
も構わない。更に、ここでは参照フィールドの同一フレ
ームの時間的に先方の独立フィールドを参照画像として
用い参照フィールドを予測しているが、参照画像はこれ
らに限ること無く、単数のフレーム、複数のフレーム、
複数のフィールドなど適応的に如何なる画像を選択して
も構わない。
【0015】また、ここでは時間的に先方のフィールド
を独立フィールドとし後方のフィールドを参照フィール
ドとしているが、二つのフィールドが共に独立フィール
ド、共に参照フィールド、或いは時間的に先方のフィー
ルドを参照フィールドとし後方のフィールドを独立フィ
ールドとするような構成であっても構わない。
【0016】次に、図2において、図1を参照しながら
参照フレームの符号化装置の一実施例について説明す
る。
【0017】図2において、参照フレームは図1に示す
参照フレーム1或いは参照フレーム6であり、参照フレ
ーム分離器9はこの参照フレームを二つのフィールドに
分離し、時間的に先方となる独立フィールド2或いは独
立フィールド7を第一フィールドとし、そして時間的に
後方となる参照フィールド3或いは参照フィールド8を
第二フィールドとして出力するものである。
【0018】また第一フィールドブロック化器10は第
一フィールドを第一フィールド内の近接する複数の画素
からなるブロックに分割し、第二フィールドブロック化
器11は第二フィールドを第二フィールド内の近接する
複数の画素からなるブロックに分割する。フィールドブ
ロック独立符号化器12は第一フィールドの各ブロック
を如何なる画像にも依存せず独立にブロック毎に符号化
した結果であるフィールドブロック独立符号を出力し、
フィールドブロック予測符号化器13は既に復元されて
いる第一フィールドの再生画像からブロック毎に動き補
償を行って得られた予測信号ブロックに依って第二フィ
ールドの各ブロックを予測し、その予測誤差信号をブロ
ック毎に符号化した結果であるフィールドブロック予測
符号を出力し、参照フレームの符号化を終了する。
【0019】このように参照フレームを二つのフィール
ドに分離し、各フィールドを単一の画像として扱い、独
立に符号化された第一フィールドを用いて第二フィール
ドを予測することによって参照フレームの符号化に必要
とされる情報量を減少し、参照フレーム画像数の比率を
高めることが可能となる。
【0020】次に図3において、図1を参照しながら予
測フレームの符号化装置の一実施例について説明する。
【0021】図3において、予測フレームは図1に示す
予測フレーム4或いは予測フレーム5である。予測フレ
ームは適応フレームブロック化器14に入力され、前記
予測フレーム内に存在する二つのフィールドの両フィー
ルドの画素を共に含むブロック或いはどちらかのフィー
ルドの画素だけを含むブロックに適応的に分割される。
ここで、適応的に分割されるとは、画像電子学会誌第2
0巻第4号(1991)PP352-359などに示されているよう
に、画像の動きに応じて分割されることを意味する。す
なわち、画像の動きが小さい場合には、両フィールドの
画素を共に含むブロックに分割され、画像の動きが大き
い場合には、どちらかのフィールドの画素だけを含むブ
ロックに適応的に分割される。フレームブロック予測符
号化器15は、既に復元されている参照フレームの再生
画像からブロック毎に動き補償を行って得られた予測信
号ブロックによって適応フレームブロック化器14より
出力されたブロックを予測し、その予測誤差信号をブロ
ック毎に符号化した結果のフレームブロック予測符号を
出力し、予測フレームの符号化を終了する。
【0022】このように予測フレームをフィールド単位
ではなくフレーム単位で画像符号化することに依って、
画像の相関性を失わずに符号化することが可能となり、
フィールド単位で予測符号化する符号化器に比べ、高画
質画像を再生することができる。
【0023】なお、フレームブロック予測符号化器15
は、符号化が困難な予測誤差信号に対してはその予測誤
差信号を符号化せずに、適応フレームブロック化器14
より出力されたブロックを直接符号化する場合も有り得
る。
【0024】
【発明の効果】以上のように本発明の画像符号化方法
は、時間的に過去に位置する参照フレーム、未来に位置
する参照フレームをブロック毎に符号化処理し、前記参
照フレーム間の予測フレームを単数もしくは複数の前記
参照フレームを用いて予測しブロック毎に符号化処理す
るインターレース画像の符号化方法であって、前記参照
フレームの第一、第二フィールドのうち、どちらか一方
のフィールドの画素だけを含むブロックに分割してブロ
ック毎に符号化処理するとともに、前記予測フレーム
第一、第二フィールドのうちどちらかのフィールドの画
素だけを含むブロック、或いは両フィールドの画素を共
に含むブロックに適応的に分割してブロック毎に符号化
処理するように構成することによって、画質を劣化せず
に参照フレームを少量の情報量で画像符号化することが
可能となり、それに伴い予測フレーム数に対する参照フ
レーム数が増加し、従って個々の参照フレーム画像の誤
りによる予測フレームへの悪影響は著しく低下し、また
迅速なフレーム画像の検索を可能とすることができる。
【0025】また、本発明の画像符号化装置は、インタ
ーレース画像を近接する複数の画素からなるブロックに
分割し、時間的に過去に位置するフレーム或いは未来に
位置するフレームを参照フレームとしてブロック毎に符
号化処理する参照フレーム符号化器と、前記参照フレー
ム間のフレームを予測フレームとして単数もしくは複数
の前記参照フレームを用いて前記予測フレームを予測し
ブロック毎に符号化処理する予測フレーム符号化器を具
備してなる画像符号化装置であって、前記参照フレーム
符号化器は、前記参照フレームの第一、第二フィールド
のうち、どちらか一方のフィールドの画素だけを含むブ
ロックに分割してブロック毎に符号化処理する符号化手
段を有し、前記予測フレーム符号化器は、前記予測フレ
ームの第一、第二フィールドのうちどちらかのフィール
ドの画素だけを含むブロック、或いは両フィールドの画
素を共に含むブロックに適応的に分割してブロック毎に
符号化処理する符号化手段を有することによって、画質
を劣化せずに参照フレームを少量の情報量で画像符号化
することが可能となり、それに伴い予測フレーム数に対
する参照フレーム数が増加し、従って個々の参照フレー
ム画像の誤りによる予測フレームへの悪影響は著しく低
下し、また迅速なフレーム画像の検索を可能とすること
ができる。
【図面の簡単な説明】
【図1】本発明の画像符号化方法の基本構成の一実施例
を示す概念図
【図2】本発明の参照フレーム符号化器の一実施例のブ
ロック図
【図3】本発明の予測フレーム符号化器の一実施例のブ
ロック図
【符号の説明】
1 参照フレーム 2 独立フィールド 3 予測フィールド 4 予測フレーム 5 予測フレーム 6 参照フレーム 7 独立フィールド 8 予測フィールド 9 参照フレーム分離器 10 第一フィールドブロック化器 11 第二フィールドブロック化器 12 フィールドブロック独立符号化器 13 フィールドブロック予測符号化器 14 適応フレームブロック化器 15 フレームブロック予測符号化器
フロントページの続き (72)発明者 福田 秀樹 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平4−369192(JP,A) 画像電子学会誌第20巻第4号(1991, PP.346−351) 画像電子学会誌第20巻第4号(1991, PP.352−359) 画像電子学会誌第20巻第4号(1991, PP.340−345) (58)調査した分野(Int.Cl.6,DB名) H04N 7/137 G06F 15/66

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 時間的に過去に位置する一の参照フレー
    および未来に位置する他の参照フレームを互いに独立
    符号化処理し、前記2つの参照フレームに位置す
    予測フレームを前記2つの参照フレームを用いて予測
    符号化処理するインターレース画像の符号化方法で
    あって、 前記一の参照フレームの符号化処理については、その第
    一フィールドを、その画素のみを含むブロックに分割し
    て独立に符号化処理し、その第二フィールドを、その画
    素のみを含むブロックに分割し、前記一の参照フレーム
    の第一フィールドを参照画像として予測して符号化処理
    し、 前記他の参照フレームの符号化処理については、その第
    一フィールドを、その画素のみを含むブロックに分割し
    て独立に符号化処理し、その第二フィールドを、その画
    素のみを含むブロックに分割し、前記他の参照フレーム
    の第一フィールドを参照画像として予測して 符号化処理
    、 前記2つの参照フレームの間に位置する予測フレーム
    符号化処理については、当該予測フレームの第一フィー
    ルドの画素のみを含むブロックおよび第二フィールドの
    画素のみを含むブロックに分割して、前記2つの参照フ
    レームの第一フィールドおよび第二フィールドより予測
    して符号化するか、または、当該予測フレームの第一フ
    ィールドおよび第二フィールドの双方の画素を含むブロ
    ックに分割して、前記2つの参照フレームより予測して
    符号化処理するかを、画像の動きに応じて適応的に切り
    替えることを特徴とする画像符号化方法。 【請求項】 インターレース画像を近接する複数の画
    素からなるブロックに分割し、時間的に過去に位置する
    一のフレームおよび未来に位置する他のフレームを互い
    に独立に符号化処理する参照フレーム符号化器と、 前記2つの参照フレームに位置する予測フレーム
    前記2つの参照フレームを用いて予測し符号化処理す
    る予測フレーム符号化器を備えた画像符号化装置であ
    って、 前記参照フレーム符号化器は、前記一の参照フレーム
    符号化処理については、その第一フィールドを、その画
    素のみを含むブロックに分割して独立に符号化処理し、
    その第二フィールドを、その画素のみを含むブロックに
    分割し、前記一 の参照フレームの第一フィールドを参照
    画像として予測して符号化処理し、 前記他の参照フレームの符号化処理については、その第
    一フィールドを、その画素のみを含むブロックに分割し
    て独立に符号化処理し、その第二フィールドを、その画
    素のみを含むブロックに分割し、前記他の参照フレーム
    の第一フィールドを参照画像として予測して 符号化処理
    する符号化手段を有し、 前記予測フレーム符号化器は、前記2つの参照フレーム
    の間に位置する予測フレームの符号化処理について、当
    該予測フレームの第一フィールドの画素のみを含むブロ
    ックおよび第二フィールドの画素のみを含むブロックに
    分割して、前記2つの参照フレームの第一フィールドお
    よび第二フィールドより予測して符号化するか、また
    は、当該予測フレームの第一フィールドおよび第二フィ
    ールドの双方の画素を含むブロックに分割して、前記2
    つの参照フレームより予測して符号化処理するかを、画
    像の動きに応じて適応的に切り替えて符号化処理を行う
    符号化手段を有することを特徴とする画像符号化装置。
JP16720192A 1992-06-25 1992-06-25 画像符号化方法及び画像符号化装置 Expired - Lifetime JP2899478B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16720192A JP2899478B2 (ja) 1992-06-25 1992-06-25 画像符号化方法及び画像符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16720192A JP2899478B2 (ja) 1992-06-25 1992-06-25 画像符号化方法及び画像符号化装置

Publications (2)

Publication Number Publication Date
JPH0630394A JPH0630394A (ja) 1994-02-04
JP2899478B2 true JP2899478B2 (ja) 1999-06-02

Family

ID=15845302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16720192A Expired - Lifetime JP2899478B2 (ja) 1992-06-25 1992-06-25 画像符号化方法及び画像符号化装置

Country Status (1)

Country Link
JP (1) JP2899478B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US7961786B2 (en) 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8107531B2 (en) 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
JP2007104012A (ja) * 2005-09-30 2007-04-19 Fujitsu Ltd 動画像符号化装置および動画像符号化方法
JP2008078977A (ja) * 2006-09-21 2008-04-03 Victor Co Of Japan Ltd 画像符号化装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
画像電子学会誌第20巻第4号(1991,PP.340−345)
画像電子学会誌第20巻第4号(1991,PP.346−351)
画像電子学会誌第20巻第4号(1991,PP.352−359)

Also Published As

Publication number Publication date
JPH0630394A (ja) 1994-02-04

Similar Documents

Publication Publication Date Title
US5386234A (en) Interframe motion predicting method and picture signal coding/decoding apparatus
JP3888597B2 (ja) 動き補償符号化装置、及び動き補償符号化復号化方法
JP2570384B2 (ja) 動画像信号の符号化・復号化方式
US4281344A (en) Video interframe transform coding technique
JP2000125297A (ja) 連続画像の符号化方法及び復号化方法
JPH0529172B2 (ja)
KR100272120B1 (ko) 양자화 컨트롤 회로
JP4284265B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
JPH0564177A (ja) 画像符号化装置
US5982439A (en) Coding image data
JP2899478B2 (ja) 画像符号化方法及び画像符号化装置
JP2864725B2 (ja) 画像信号の高能率符号化装置
CN1159236A (zh) 用于再生紧凑运动矢量场的方法与装置
JPH01144875A (ja) 画像処理装置
KR20060069227A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
JPH09284777A (ja) 動きベクトルなしで動き補償を用いるビデオ符号化方法とその装置
JP3164056B2 (ja) 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体
JP3063380B2 (ja) 高能率符号化装置
JPH0750839A (ja) 動画像の符号化方法
JP3171951B2 (ja) 画像符号化/復号化装置及び画像符号化/復号化方法
US6233281B1 (en) Video signal processing apparatus, and video signal processing method
JP3907623B2 (ja) 映像信号符号化・復号化装置及び符号化・復号化方法
JPH1023415A (ja) 画像符号化復号方法および装置
JPH08149481A (ja) 映像信号符号化・復号化装置及び符号化・復号化方法
JP3669536B2 (ja) 画像符号化復号化装置及びその方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080312

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090312

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100312

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110312

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110312

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120312

Year of fee payment: 13

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 14

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 14