JP3756029B2 - 動画像信号の符号化/復号化方法及び符号化/復号化装置 - Google Patents

動画像信号の符号化/復号化方法及び符号化/復号化装置 Download PDF

Info

Publication number
JP3756029B2
JP3756029B2 JP32036399A JP32036399A JP3756029B2 JP 3756029 B2 JP3756029 B2 JP 3756029B2 JP 32036399 A JP32036399 A JP 32036399A JP 32036399 A JP32036399 A JP 32036399A JP 3756029 B2 JP3756029 B2 JP 3756029B2
Authority
JP
Japan
Prior art keywords
bit
decoding
picture
length
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP32036399A
Other languages
English (en)
Other versions
JP2000188755A (ja
Inventor
豊 町田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP29931695A external-priority patent/JP3118170B2/ja
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP32036399A priority Critical patent/JP3756029B2/ja
Publication of JP2000188755A publication Critical patent/JP2000188755A/ja
Application granted granted Critical
Publication of JP3756029B2 publication Critical patent/JP3756029B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Error Detection And Correction (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、テレビ電話、テレビ会議などに利用する、ディジタル動画像信号の符号化/復号化方法と、それを実施する装置とに関し、特に、受信ストリームに含まれる同期語を的確に識別して、良好な復号動画像が得られるようにしたものである。
【0002】
【従来の技術】
ディジタル動画像信号の符号化及び復号化の規格として、1993年3月にITU−T Recommendation H.261が勧告され、この規格に準拠して符号化/復号化を行なう装置が製品化されている。
【0003】
従来のこの装置は、符号化側には、図5に示すように、入力したディジタル動画像信号から時間的、空間的な冗長性を除いて、入力信号を発生頻度に偏りがある信号の列に変換する情報源符号化手段501と、情報源符号化手段501から出力された信号を可変長符号列に変換する可変長符号化手段502と、この可変長符号列の先頭にピクチャーの開始を表わす同期語を付加する同期語付加手段503とを備えている。
【0004】
一方、復号化側には、図7に示すように、入力したビットストリームから同期語を検出して、入力ビットストリームの出力を開始する同期語検出手段701と、可変長符号列を復号する可変長復号手段702と、1ピクチャー分の可変長符号に引き続いて同期語が出現するかどうかを識別し「同期外れ」の有無を判定する同期語評価手段703と、同期外れの無い符号列を復号する情報源復号手段704とを備えている。
【0005】
この装置の符号化側では、情報源符号化手段501が、入力されたP番目のピクチャーのディジタル動画像信号から時間的、空間的な冗長性を除去して、この信号を発生頻度に偏りがある記号の列に変換する。次いで、可変長符号化手段502が、前記記号のうち発生頻度が高いものには短い符号を、発生頻度が低いものには長い符号を割り当てることにより可変長符号列に変換する。さらに同期語付加手段503は、この可変長符号列の先頭にピクチャーの開始を表わす20ビットの同期語‘00000000000000010000’を付与し、P番目のピクチャーに対応するビットストリームとして出力する。以下、P+1、P+2、‥、P+n番目のピクチャーについても、同様の方法でビットストリームに変換する。
【0006】
一般に、各ピクチャーのビットストリーム長は、可変長符号化されているために、互いに異なる。また、可変長符号化手段502は、同期語と同じビットパターンの符号列を生成しないよう構成されている。
【0007】
図6は、入力ディジタル動画像信号と、これをH.261の方法で符号化したときの出力ビットストリームとを示している。
【0008】
一方、H.261の復号方法を採る復号化側では、図8に示す手順でビットストリームの復号を行なう。
【0009】
ステップ1:まず、同期語検出手段701は、入力したビットストリームをサーチし、
ステップ2:P番目のピクチャーの開始を表す20ビットの同期語の検出に成功したときは、「同期確立」と見て、入力する可変長符号列の出力を開始する。ステップ3:可変長復号手段702は、出力された可変長符号列を1ピクチャー分可変長復号し、記号列を出力する。
【0010】
ステップ4:同期語評価手段703は、同期語検出手段701の出力を監視しながら、1ピクチャー分の可変長符号に引き続く20ビットが同期語であるかどうかを評価し、それが同期語であれば「同期確立中」と見て、可変長復号手段702から入力した記号列をそのまま出力し、
ステップ5:情報源復号手段704は、この記号列を情報源復号し、P番目のピクチャーとして出力する。
【0011】
ステップ6:ビットストリームが終了していなければ、終了するまで、ステップ3〜ステップ6の手順を繰り返し、P+1、P+2、‥、P+n番目のピクチャーを順次出力する。
【0012】
また、ステップ4において、同期語評価手段703は、1ピクチャー分の可変長符号に引き続く20ビットが同期語でなければ、「同期外れ」と見て、可変長復号手段702から出力された記号列を次に送ることをせずに、同期語検出手段701を制御して再び入力ビットストリームから同期語を検出させる。
【0013】
【発明が解決しようとする課題】
従来のディジタル動画像信号の符号化方法では、出力されたビットストリームの伝送または蓄積時にビット誤りが発生すると、ビットストリームの一部に、ピクチャーの開始を表わす同期語と同じビットパターンが発生する可能性がある。この場合、従来のディジタル動画像信号の復号方法では、ビット誤りによって発生した偽同期語に基づいて同期確立が行なわれる、という問題点がある。
【0014】
また、ビットストリーム中の同期語にビット誤りが発生した場合には、同期外れと判定されて少なくとも1ピクチャーが情報源復号されなくなる、という問題点がある。
【0015】
本発明は、こうした従来の問題点を解決するものであり、ビットストリームでのビット誤りの発生により同期確立を誤ったり、また、同期語でのビット誤りの発生により、ピクチャー情報を復号せずに無駄にしてしまう、という事態が少ないディジタル動画像信号の符号化/復号化方法及びそれを実施する装置を提供することを目的としている。
【0016】
【課題を解決するための手段】
そこで、本発明では、ディジタル動画像信号の符号化に際して、1ピクチャーのビットストリームのビット長を表わすレングス情報などの情報を、符号長Nビットのブロック符号により誤り訂正符号化し、このブロック符号をSビットの同期語と各ピクチャーの可変長符号列との間に挿入してビットストリームを形成している。復号に際しては、検出された同期語の後のNビットを誤り訂正復号し、誤りが無ければ、検出された同期語が正しいものとして同期を確立し、誤りが有れば、同期語の検出をやり直す。
【0017】
また、誤りの無いレングス情報が得られたときは、ビットストリーム上で同期語の位置にあるSビットを同期語のビットパターンと比較し、それらの間の差異が所定ビット数以下であれば、Sビットを同期語として扱うことにより、同期語にビット誤りが含まれる場合の同期外れを抑えている。
【0018】
【発明の実施の形態】
本発明の請求項1に記載の発明は、各ピクチャーのディジタル動画像信号を可変長符号化し、各ピクチャーの可変長符号列のそれぞれがSビットの同期語の後に続くようにビットストリームを形成し、復号時には、入力ビットストリームから前記同期語を検出して同期を確立し、各ピクチャーの可変長符号列の復号結果を同期確立を確認しながら出力する動画像信号の符号化/復号化方法において、ビットストリーム上で、各同期語の後に各ピクチャーの可変長符号列のビット長を表すレングス情報を誤り訂正符号化したNビットのブロック符号が続き、このブロック符号の後に各ピクチャーの可変長符号列が続くように符号化し、復号に際して、同期語が検出されたとき、その同期語に続くNビットを誤り訂正復号し、この誤り訂正復号により誤りが検出されたときは同期語の再検出を行い、この誤り訂正復号により誤りが検出されなかったときは、レングス情報の示すビット長のビットストリームに続くSビットが同期語のビットパターンと予め定めたビット数より少ない数だけ異なっていても、前記Sビットを同期語とみなして、前記Nビットの後に続く各ピクチャーの可変長符号列の復号結果を出力するようにしたものであり、同期語にビット誤りが発生した場合でも、信頼性の高いレングス情報を利用して同期語の推定を行ない、同期外れになるケースを減らしている。
【0019】
請求項2に記載の発明は、入力するビットストリームから同期語を検出して同期を確立する同期語検出手段と、各ピクチャーの可変長符号化された動画像信号を可変長復号する可変長復号化手段と、各ピクチャーの動画像信号の後に続く同期語を識別し、同期確立中であることを確認して、復号された各ピクチャーの動画像信号を出力する同期語評価手段とを具備する動画像信号の復号化装置において、Sビットの各同期語の後に、後続する各ピクチャーの可変長符号列のビット長を表すレングス情報を誤り訂正符号化したNビットのブロック符号が続き、このブロック符号の後に各ピクチャーの可変長符号列が続くビットストリームが入力し、このビットストリームの各同期語に続くNビットを誤り訂正復号する誤り訂正復号手段を設け、誤り訂正復号手段が誤り訂正復号により誤りを発見したとき、同期語検出手段が同期語の再検出を行い、誤り訂正復号手段が誤り訂正復号により誤りを発見しなかったとき、同期語評価手段が、レングス情報の示すビット長のビットストリームに続くSビットと同期語のビットパターンとを比較し、その異なるビット数が予め定めたビット数より少ない場合に、Sビットを同期語とみなして復号された各ピクチャーの動画像信号を出力するように構成したものであり、同期語に誤りビットが含まれる場合でも、同期語として推定することにより、同期外れを減らしている。
【0020】
以下、本発明の実施の形態について図面を用いて説明する。
【0021】
本発明の符号化/復号化方法を実施する装置は、符号化側には、図1に示すように、入力したディジタル動画像信号から時間的、空間的な冗長性を除いて、入力信号を発生頻度に偏りがある信号の列に変換する情報源符号化手段101と、情報源符号化手段101から出力された信号を可変長符号列に変換する可変長符号化手段102と、各ピクチャーの可変長符号列全体の長さをカウントし、その値をレングス情報として出力するビット数カウント手段103と、レングス情報をブロック符号により誤り訂正符号化する誤り訂正符号化手段104と、各ピクチャーの可変長符号列の先頭に誤り訂正符号化したレングス情報を付加してフレームを構成するフレーム構成手段105と、このフレームの先頭に同期語を付与してビットストリームとして出力する同期語付加手段106とを備えている。
【0022】
一方、復号化側には、図3に示すように、入力するビットストリームから同期語を検出して、入力ビットストリームの出力を開始する同期語検出手段301と、レングス情報の誤り訂正復号を行なう誤り訂正復号手段302と、レングス情報が与えられるごとに、そのレングス長(1ピクチャー分)の可変長符号を復号する可変長復号手段303と、1ピクチャー分の可変長符号に引き続く符号列を同期語のビットパターンと比較評価して同期外れの有無を判定する同期語評価手段304と、同期外れの無い符号列を復号する情報源復号手段305とを備えている。
【0023】
この装置の符号化側では、まず、情報源符号化手段101が、入力されたディジタル動画像信号のP番目のピクチャーの時間的、空間的な冗長性を除去し、発生頻度に偏りがある記号の列に変換する。次いで、可変長符号化手段102が、この記号のうち、発生頻度の高いものには短い符号を、発生頻度の低いものには長い符号を割り当てることにより、可変長符号列に変換する。
【0024】
ビット数カウント手段103は、可変長符号化手段102から出力されるP番目のピクチャーの可変長符号列全体の長さをカウントし、その値をレングス情報として出力する。このとき、レングス情報を、例えば、レングス情報長K=20ビットによって表す。
【0025】
誤り訂正符号化手段104は、この20ビットのレングス情報に対して、ブロック符号による誤り訂正符号化を行なう。誤り訂正符号には、例えばリードソロモン符号RS(15、5)を用いる。これは符号長N=60ビット、その内の情報長が20ビットの符号であり、連続20ビットまでのバースト誤り訂正が可能である。
【0026】
フレーム構成手段105は、P番目のピクチャーの可変長符号列の先頭に、このレングス情報を誤り訂正符号化したブロック符号を付加して、フレームを構成する。同期語付加手段106は、このフレームの先頭にピクチャーの開始を表わすSビットの同期語、例えば20ビットの‘00000000000000010000’を付与し、P番目のピクチャーに対応するビットストリームとして出力する。
【0027】
図2には、本発明の動画像信号の符号化方法によって出力されるP番目のピクチャーに対応するビットストリームを示している。
【0028】
一方、復号化側では、図4に示す手順でビットストリームの復号を行なう。
【0029】
ステップ11:同期語検出手段301は、入力されたビットストリームからピクチャーの開始を表す20ビットの同期語をサーチし、
ステップ12:同期語の検出に成功したときは、引き続くビットストリームを出力する。
【0030】
ステップ13:誤り訂正復号手段302は、同期語に続くN=60ビットの誤り訂正符号RS(15、5)の復号を行ない、
ステップ14:誤り訂正復号の結果、誤りが検出されたときは、この同期語は偽同期語と判断し、同期語検出手段301を制御して再び入力ビットストリームから同期語を検出させる。一方、誤りが検出されなかったときは、
ステップ15:誤り訂正復号手段302は、この同期語により「同期確立」されたものと判断し、誤り訂正復号で得られたK=20ビットのレングス情報を可変長復号手段303と同期語評価手段304とに伝える。
【0031】
ステップ16:可変長復号手段303は、このレングス情報で示されるビット長の可変長符号を1ピクチャー分として可変長復号し、1ピクチャー分の記号列を出力する。
【0032】
ステップ17:同期語評価手段304は、誤り訂正復号手段302から出力されるビットストリームを監視し、1ピクチャー分の可変長符号に引き続く20ビットと同期語とをビット単位で比較評価し、異なるビット数が、予め設定した値H、例えばH=3ビット、より少なければ「同期確立中」として、可変長復号手段303から入力した記号列をそのまま出力し、異なるビット数が3ビット以上であれば「同期外れ」として、この記号列は出力せずに、同期語検出手段301を制御して再び入力ビットストリームから同期語を検出させる。
【0033】
ステップ18:情報源復号手段305は、同期語評価手段304から出力された記号列を情報源復号し、P番目のピクチャーとして出力する。
【0034】
ステップ19:ビットストリームが終了するまで、ステップ13〜ステップ19の手順を繰返し、P+1、P+2、‥、P+n番目のピクチャーを順次出力する。
【0035】
このように、この符号化方法では、1ピクチャーのビットストリームの先頭にSビットの同期語とNビットのブロック符号化したレングス情報とを付加しているため、復号に際して、同期語の検出の適否をブロック符号の誤り訂正復号結果に基づいてチェックすることができる。検出された同期語がビットストリームの伝送時または蓄積時のビット誤りから生じた偽の同期語である場合には、それに引き続くNビットの誤り訂正復号において、誤りが検出される確率が高いから、偽同期語に基づく同期確立を阻止することができる。
【0036】
なお、この場合、ブロック符号化する情報としては、レングス情報以外の情報を用いることも可能である。
【0037】
また、この復号方法では、レングス情報の示すビット長のビットストリームに続いて出力されるSビットを同期語のビットパターンと比較し、所定数以下のビット誤りしか含まれていないときには、そのSビットを同期語と見なして、動画像信号の復号を続けている。こうした措置は、誤り訂正された信頼性の高いレングス情報を用いることにより可能となる。
【0038】
その結果、復号されずに廃棄されるピクチャーの数を減らすことができ、鮮明な画像の再生が可能となる。
【0039】
【発明の効果】
以上の説明から明らかなように、本発明の動画像信号の符号化/復号化方法では、伝送や蓄積の際に、ビットストリームにビット誤りが発生した場合でも、偽同期語によって誤った同期が確立されることを防ぐことができる。
【0040】
また、同期語にビット誤りが含まれる場合でも、同期外れを抑えて、復号されないピクチャー数を減らすことが可能となり、良好な復号動画像を得ることができる。
【0041】
また、本発明の動画像信号の符号化/復号化装置は、こうした符号化/復号化方法の実施を可能にする。
【図面の簡単な説明】
【図1】本発明の動画像信号の符号化方法を実施する符号化装置の一形態を示すブロック図、
【図2】前記符号化方法により符号化されたビットストリームを示す図、
【図3】本発明の動画像信号の復号方法を実施する復号化装置の一形態を示すブロック図、
【図4】本発明の動画像信号の復号方法の一実施形態を示す流れ図、
【図5】従来の動画像信号の符号化方法を実施する装置の構成を示すブロック図、
【図6】従来の動画像信号の符号化方法で符号化されたビットストリームと入力ディジタル動画像信号とを示す図、
【図7】従来の動画像信号の復号方法を実施する装置の構成を示すブロック図、
【図8】従来の動画像信号の復号方法を示す流れ図である。
【符号の説明】
101、501 情報源符号化手段
102、502 可変長符号化手段
103 ビット数カウント手段
104 誤り訂正符号化手段
105 フレーム構成手段
106、503 同期語付加手段
301、701 同期語検出手段
302 誤り訂正復号手段
303、702 可変長復号手段
304、703 同期語評価手段
305、704 情報源復号手段

Claims (2)

  1. 各ピクチャーのディジタル動画像信号を可変長符号化し、各ピクチャーの可変長符号列のそれぞれがSビットの同期語の後に続くようにビットストリームを形成し、復号時には、入力ビットストリームから前記同期語を検出して同期を確立し、各ピクチャーの可変長符号列の復号結果を同期確立を確認しながら出力する動画像信号の符号化/復号化方法において、
    前記ビットストリーム上で、前記各同期語の後に前記各ピクチャーの可変長符号列のビット長を表すレングス情報を誤り訂正符号化したNビットのブロック符号が続き、前記ブロック符号の後に前記各ピクチャーの可変長符号列が続くように符号化し、
    復号に際して、前記同期語が検出されたとき、前記同期語に続くNビットを誤り訂正復号し、前記誤り訂正復号により誤りが検出されたときは同期語の再検出を行い、前記誤り訂正復号により誤りが検出されなかったときは、前記レングス情報の示すビット長のビットストリームに続くSビット同期語のビットパターンと予め定めたビット数より少ない数だけ異なっていても、前記Sビットを前記同期語とみなして、前記Nビットの後に続く各ピクチャーの可変長符号列の復号結果を出力することを特徴とする動画像信号の符号化/復号化方法。
  2. 入力するビットストリームから同期語を検出して同期を確立する同期語検出手段と、各ピクチャーの可変長符号化された動画像信号を可変長復号する可変長復号化手段と、各ピクチャーの動画像信号の後に続く同期語を識別し、同期確立中であることを確認して、復号された各ピクチャーの動画像信号を出力する同期語評価手段とを具備する動画像信号の復号化装置において、
    Sビットの各同期語の後に、後続する各ピクチャーの可変長符号列のビット長を表すレングス情報を誤り訂正符号化したNビットのブロック符号が続き、前記ブロック符号の後に前記各ピクチャーの可変長符号列が続くビットストリームが入力し、
    このビットストリームの前記各同期語に続くNビットを誤り訂正復号する誤り訂正復号手段を備え、
    前記誤り訂正復号手段が前記誤り訂正復号により誤りを発見したとき、前記同期語検出手段が前記同期語の再検出を行い、前記誤り訂正復号手段が前記誤り訂正復号により誤りを発見しなかったとき、前記同期語評価手段が、前記レングス情報の示すビット長のビットストリームに続くSビットと前記同期語のビットパターンとを比較し、その異なるビット数が予め定めたビット数より少ない場合に、前記Sビットを前記同期語とみなして復号された各ピクチャーの動画像信号を出力することを特徴とする動画像信号の復号化装置。
JP32036399A 1995-10-25 1999-11-10 動画像信号の符号化/復号化方法及び符号化/復号化装置 Expired - Lifetime JP3756029B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32036399A JP3756029B2 (ja) 1995-10-25 1999-11-10 動画像信号の符号化/復号化方法及び符号化/復号化装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP29931695A JP3118170B2 (ja) 1995-10-25 1995-10-25 動画像信号の符号化/復号化方法及び符号化/復号化装置
JP32036399A JP3756029B2 (ja) 1995-10-25 1999-11-10 動画像信号の符号化/復号化方法及び符号化/復号化装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP29931695A Division JP3118170B2 (ja) 1995-10-25 1995-10-25 動画像信号の符号化/復号化方法及び符号化/復号化装置

Publications (2)

Publication Number Publication Date
JP2000188755A JP2000188755A (ja) 2000-07-04
JP3756029B2 true JP3756029B2 (ja) 2006-03-15

Family

ID=18120650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32036399A Expired - Lifetime JP3756029B2 (ja) 1995-10-25 1999-11-10 動画像信号の符号化/復号化方法及び符号化/復号化装置

Country Status (1)

Country Link
JP (1) JP3756029B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115378533B (zh) * 2021-05-20 2024-10-15 海能达通信股份有限公司 一种提高帧同步率的方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
JP2000188755A (ja) 2000-07-04

Similar Documents

Publication Publication Date Title
KR101050830B1 (ko) Crc 패리티 코드를 사용하는 비디오 에러 검출 기술
JP2005102296A (ja) 符号化方法及び装置
US7134064B2 (en) Error detecting method and apparatus
JP3135242B2 (ja) 誤り検出訂正復号化装置及び方法
JP3118170B2 (ja) 動画像信号の符号化/復号化方法及び符号化/復号化装置
US6226768B1 (en) Coded frame synchronizing method and circuit
JP3756029B2 (ja) 動画像信号の符号化/復号化方法及び符号化/復号化装置
JP3373745B2 (ja) 可変長フレーム同期方法およびその装置ならびに可変長フレーム送信側装置
JPH0666777B2 (ja) デジタル情報信号の同期方法および同期装置
JP2002247577A (ja) 動画像伝送方法
JP3118233B2 (ja) 動画像信号の符号化/復号化方法及び符号化/復号化装置
JP5474896B2 (ja) Crcパリティコードを利用したビデオエラー検出技術
JPH1013238A (ja) 復号化装置およびその復号方法
JP2001103476A (ja) 動画像信号の符号化方法及び装置
JP2001103492A (ja) 動画像信号の符号化方法及び装置
JPH10200595A (ja) 可変長符号化データ伝送装置、送信側装置、受信側装置およびその方法
JPH04115628A (ja) 可変長符号化のビット長推定回路
JP3135241B2 (ja) 誤り検出訂正復号化装置
JP2833005B2 (ja) フレーム分解回路及び方法
JP2871495B2 (ja) 誤り訂正符号の復号方法
JPH0267838A (ja) データ伝送方式
JPH0440123A (ja) 画像データ伝送方式
JP2002084268A (ja) フレーム同期回路および同期方法、ならびにそのプログラムを記録した記録媒体
JPH02270430A (ja) デイジタル信号伝送装置
JPH05114864A (ja) 情報伝送記録装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050426

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051220

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100106

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110106

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120106

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130106

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130106

Year of fee payment: 7

EXPY Cancellation because of completion of term