JPH11239353A - 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法 - Google Patents

映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法

Info

Publication number
JPH11239353A
JPH11239353A JP4001398A JP4001398A JPH11239353A JP H11239353 A JPH11239353 A JP H11239353A JP 4001398 A JP4001398 A JP 4001398A JP 4001398 A JP4001398 A JP 4001398A JP H11239353 A JPH11239353 A JP H11239353A
Authority
JP
Japan
Prior art keywords
frame
motion vector
video signal
video
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4001398A
Other languages
English (en)
Other versions
JP3523481B2 (ja
Inventor
Keiichi Hibi
慶一 日比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP04001398A priority Critical patent/JP3523481B2/ja
Publication of JPH11239353A publication Critical patent/JPH11239353A/ja
Application granted granted Critical
Publication of JP3523481B2 publication Critical patent/JP3523481B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 映像符号化及び復号化における動き補償フレ
ーム間予測に際し、一度伝送誤りが生じると、間違った
情報からの予測を行いつづけることになり、その影響が
後続する画像フレームに波及して、著しい映像品質の劣
化を引き起こすこととなってしまう。 【解決手段】 符号化対象フレームに対する第1動きベ
クトル情報と、既に符号化された画像フレームに対する
第2動きベクトル情報との両方を伝送することによっ
て、伝送誤りなどのために、予測の参照フレームが正し
く復元できなかった場合でも、当該画像フレームの符号
化映像場訪中の第2動きベクトル情報を用いて参照フレ
ームを復元することにより、誤りによる映像品質の劣化
を防止して、符号化映像品質の向上を図る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は映像(動画像)信号
に含まれる情報量を圧縮削減して、符号化するための映
像符号化装置及び、符号化された情報を復号して映像信
号を復元するための映像復号化装置に関するものであ
り、特にモバイル通信網など、伝送誤りに耐性が必要な
装置に関する。
【0002】
【従来の技術】近年、PHS(Personal Handy phone S
ystem)やデジタルセルラー等の移動体通信網の整備、
普及が急速に進展しており、従来ISDNなどの有線網
が中心であった画像通信を、移動体通信にも適用するこ
とが行われている。
【0003】一般に、映像情報に含まれる情報量は非常
に多いために、特に移動体通信等の情報量の小さい伝送
路で、映像信号をそのまま伝送することは不可能であ
る。そこで、映像信号にはその情報に多くの冗長性が含
まれているために、この冗長度を取り除くことによっ
て、情報量を削減する(圧縮する)ことが可能である。
このために、高能率な映像の(圧縮)符号化技術が重要
となる。そのため、ITU−TやISO/IECでは超
低ビットレートでの映像符号化方式の国際標準化作業が
進められている。
【0004】映像信号には、映像に含まれる動きなどの
変化による時間的な情報と、1枚の画像(画像フレーム
または画像フィールド、以下両方を合わせて画像フレー
ムという)信号の内容に関する空間的な情報の2つが存
在し、それぞれが冗長性を有している。
【0005】動き補償フレーム間予測直交変換符号化方
法では、動き補償フレーム間予測によって、空間的な冗
長度を取り除いた後に、更にフレーム間予測誤差信号に
対して直交変換符号化によって、空間的な冗長度を取り
除くというハイブリッド構成となっている。
【0006】上述の動き補償フレーム間予測直交変換符
号化方法の原理を図4に示す。動き補償フレーム間予測
部41では、フレームメモリ43に記憶されている既に
符号化された映像信号から、入力された映像信号の予測
値を作成し、該予測値と入力映像信号との差分を予測誤
差信号として出力する。このとき、予測値を作成するた
めに利用する動き情報である動きベクトル情報も出力す
る。
【0007】予測誤差符号化部42では、前記予測誤差
信号を直交変換などの手法を用いて符号化し、更に冗長
度を抑圧する。この符号化された予測誤差信号は、局部
復号され、フレームメモリ43に格納され、次の画像フ
レームの予測に利用される。
【0008】図5は、上記図4の動き補償フレーム間予
測部41の構成を示す図である。動き補償フレーム間予
測部は、既に符号化された映像信号を記憶するためのフ
レームメモリ部51、入力された映像信号と前記フレー
ムメモリ部51から読み出された映像信号との間で単位
領域毎に動きベクトルを求める動きベクトル検出部5
2、該動きベクトルを用いて前記フレームメモリ部51
から読み出された映像信号から予測画像信号を作成する
予測画像作成部53とから構成されている。
【0009】以下に、各部の動作を説明する。フレーム
メモリ部51には、既に符号化された映像信号が、フレ
ーム間予測のための参照フレームとして格納されてい
る。動きベクトル検出部52には、現在の符号化対象で
ある画像フレーム信号が入力されるとともに、フレーム
メモリ部51に格納されている参照フレームを読み出
す。
【0010】該動きベクトル検出部52は、符号化対象
画像フレームを単位領域に分割し、参照フレーム中で当
該領域と最も似通った部分を、単位領域毎に探索する。
その結果として、符号化対象フレーム内領域の位置と、
探索された参照フレーム内領域の位置との変異を動きベ
クトルとして出力する。この領域探索時には、領域同士
が似通っていることの評価尺度として、領域内各画素値
の差分絶対値和や差分自乗和などが用いられる。
【0011】次に、前記動きベクトルは、予測画像作成
部53に入力される、該予測画像作成部53では、該動
きベクトルを注目領域における参照フレームからの変位
として、フレームメモリ部51から対応する位置の領域
の各画素値が予測値として読み出されて、予測フレーム
が構成される。
【0012】図6は、映像復号化装置における動き補償
フレーム間予測部の構成を示す図である。映像復号化装
置における動き補償フレーム間予測部では、すでに復号
化された映像信号を記憶しておくためのフレームメモリ
部61と、単位領域毎に入力される動きベクトルを用い
て前記フレームメモリ部61から読み出された映像信号
から予測画像信号を作成する予測画像作成部62とから
構成されている。
【0013】フレームメモリ部61、予測画像作成部6
2は映像復号化装置におけるフレームメモリ部51、予
測画像作成部53の構成と同様である。復号側におい
て、符号化側と同様に予測フレームが作成される。
【0014】さて、上記したように、移動体通信など、
伝送路の状態が不安定な場合は、伝送誤りによる問題が
発生する。上記のように、映像の符号化では、映像信号
に含まれる冗長度を抑圧するため、情報を削減している
ために、誤りが生じると影響が大きくなってしまうとい
う問題がある。
【0015】また、映像の符号化では、上記のような動
き補償フレーム間予測を行っているため、符号化側と復
号側で同一の予測値を作成する必要がある。しかし、伝
送誤りが生じて復号側で誤った情報を受信すると、符号
化映像信号を正しく復元することができなくなってしま
う。この時、相手に正しく情報が伝送されたことを想定
している符号化側と、誤った情報を受信している復号側
とで、全く異なる映像信号が復元されることとなり、予
測値の不一致を生じる。
【0016】このような不一致が一度生じると、間違っ
た情報からの予測を行いつづけることになり、その影響
が後続する画像フレームに波及して、著しい映像品質劣
化を引き起こすことになる。
【0017】このような問題を解決する一手段として、
図7に示すように、動きベクトル情報を重複して伝送す
る手段がある。これは、動きベクトルの誤りは、その映
像品質への影響が大きいために、このような重要な情報
は複数回繰り返して伝送することにより、複数回のう
ち、どれか一度でも正しく伝送できれば、復号側でその
情報を用いて正しい映像信号を復元できるようにするも
のである。
【0018】
【発明が解決しようとする課題】しかしながら、上記し
たように、動きベクトル情報を重複して伝送する方式で
は、確かに確率的には誤りが生じる可能性を低減できる
にしても、その確率はやはり0ではなく、また、画像フ
レーム開始符号での誤りなどにより、画像フレーム全体
が正常に複合できない場合では、重複して伝送すること
による効果は得られないため、従来からの問題である、
符号化側と復号側での予測値の不一致を回復することは
やはり不可能であり、映像品質は劣化したままであると
いう問題点は、何ら改善されない。
【0019】また、動きベクトル情報を重複して伝送す
ることは全く同一の情報を複数回伝送するために、伝送
情報量が増加してしまい、符号化効率を落としてしまう
という問題があった。
【0020】そこで、本発明はこのような問題点を解決
するものであり、既に符号化された映像フレームに対す
る動きベクトルを一時的に保存し、次のフレーム符号化
映像情報を伝送する際に、該記憶された動きベクトル情
報を合わせて伝送することにより、伝送誤りによって、
ある符号化画像フレームが正しく復元できなかった場合
にも、次の符号化画像情報と共に伝送される以前の画像
フレームに対する動きベクトル情報を用いて、誤った画
像フレームを再構成することによって、後続の画像フレ
ームに伝送誤りの影響が波及せずに、映像品質劣化を小
さくするものである。
【0021】さらに、記憶しておいた前回の動きベクト
ル情報を合わせて伝送する際に、符号化対象映像フレー
ムの動きベクトルとの差分値を符号化することによっ
て、さらに情報量の増加を少なくし、符号化映像品質を
向上させるものである。
【0022】
【課題を解決するための手段】本発明の請求項1に係る
発明は、過去に符号化されたフレームn−1の映像信号
を記憶しておくためのフレームメモリと、画像フレーム
を入力する画像フレーム入力手段と、新たに入力された
フレームnの映像信号と前記フレームメモリに記憶され
ているフレームn−1の映像信号とを比較し、単位領域
毎に動きベクトルMVを求め、前記フレームメモリに記
憶されているフレームn−1の映像信号と、前記動きベ
クトルMVとから、新たに入力されたフレームnの映像
信号の予測画像信号を作成する動き補償フレーム間予測
部と、前記フレームnの映像信号の予測画像信号と新た
に入力されたフレームnの映像信号との誤差を符号化し
た符号化映像信号を求める予測誤差符号化部と、動きベ
クトルMVと符号化映像信号を出力する伝送符号出力手
段とを備える映像符号化装置であって、前記動き補償フ
レーム間予測部において、フレームn−2の映像信号と
フレームn−1の映像信号間の動きベクトルを動きベク
トルMV’として記憶する動きベクトル記憶部を備え、
新たにフレームnの映像信号が入力されると、前記伝送
符号出力手段において、前記フレームnの映像信号の予
測画像信号と新たに入力されたフレームnの映像信号と
の誤差を符号化した符号化映像信号とともに、動きベク
トルMV及び動きベクトルMV’とを伝送することによ
り、上記課題を解決する。
【0023】本発明の請求項2に係る発明では、前記伝
送符号出力手段において、動きベクトルMV’は動きベ
クトルMVとの差分値として出力することにより、上記
課題を解決する。
【0024】本発明の請求項3に係る発明では、過去に
復号化されたフレームn−1の映像信号を記憶する第1
フレームメモリと、フレームn−1とフレームn間の動
きベクトルMVと、フレームnの映像信号の予測画像信
号とフレームnの映像信号との誤差が符号化された符号
化映像信号とを入力する伝送符号入力手段と、前記第1
フレームメモリから読み出されたフレームn−1の映像
信号と動きベクトルMVとに基づいて、フレームnの予
測画像信号を作成する第1予測画像作成手段と、前記符
号化映像信号とフレームnの予測画像信号からフレーム
nの画像フレームを復号して出力する画像フレーム出力
手段を備える映像復号化装置であって、前記伝送符号入
力手段において、動きベクトルMVとともにフレームn
−2とフレームn−1間の動きベクトルMV’を入力
し、フレームn−2の映像信号を記憶する第2フレーム
メモリと、前記第1フレームメモリから読み出されたフ
レームn−1が正常に復号化されているか否かを判断す
る復号化判断手段と、前記復号化判断手段において、フ
レームn−1が正常に復号化されていなかった場合、前
記第2フレームメモリからフレームn−2を読み出し、
フレームn−2の映像信号と、前記動きベクトルMV’
とに基づいて、フレームn−1の予測画像信号を作成し
て、前記第1フレームメモリに格納する第2予測画像作
成手段とを備えることによって、上記課題を解決する。
【0025】本発明の請求項4に係る発明では、前記第
1フレームメモリに復号化されたフレームn−1の映像
信号を格納する際に、正常に復号できた部分は、該復号
データを格納し、正常に復号できなかった部分は、異常
であることを示す情報をその位置に格納し、前記復号化
判断手段により、フレームn−1の異常がある部分を判
断し、前記第2予測画像作成手段において、前記復号化
判断手段により判断された、異常がある部分のみ、前記
第2フレームメモリからフレームn−2を読み出し、フ
レームn−2の映像信号と、前記動きベクトルMV’と
に基づいて、フレームn−1の予測画像信号を作成し
て、前記第1フレームメモリに格納することにより、上
記課題を解決する。
【0026】本発明の請求項5に係る発明では、前記伝
送符号入力手段において、ベクトルMV’は動きベクト
ルMVとの差分情報として入力されることにより、上記
課題を解決する。
【0027】本発明の請求項6に係る発明では、入力さ
れたフレームnの映像信号と過去に符号化されたフレー
ムn−1の映像信号とを比較し、単位領域毎に動きベク
トルMVを求め、フレームn−1の映像信号と、前記動
きベクトルMVとから、新たに入力されたフレームnの
映像信号の予測画像信号を作成し、前記フレームnの映
像信号の予測画像信号と新たに入力されたフレームnの
映像信号との誤差を符号化した符号化映像信号を求め、
動きベクトルMVと符号化映像信号を出力する映像符号
化方法において、フレームn−2の映像信号とフレーム
n−1の映像信号間の動きベクトルを動きベクトルM
V’として記憶し、新たにフレームnの映像信号が入力
されると、フレームnの映像信号の予測画像信号とフレ
ームnの映像信号との誤差を符号化した符号化映像信号
とともに、動きベクトルMV及び動きベクトルMV’と
を伝送することにより、上記課題を解決する。
【0028】本発明の請求項7に係る発明では、前記動
きベクトルMV’は動きベクトルMVとの差分値として
出力することにより、上記課題を解決する。
【0029】本発明の請求項8に係る発明では、フレー
ムn−1とフレームn間の動きベクトルMVと、フレー
ムnの映像信号の予測画像信号と新たに入力されたフレ
ームnの映像信号との誤差が符号化された符号化映像信
号とを入力し、過去に復号化されたフレームn−1の映
像信号と動きベクトルMVとに基づいて、フレームnの
予測画像信号を作成し、前記符号化映像信号とフレーム
nの予測画像信号からフレームnの画像フレームを復号
して出力する映像復号化方法であって、動きベクトルM
Vとともにフレームn−2とフレームn−1間の動きベ
クトルMV’を入力し、フレームn−1が正常に復号化
されているか否かを判断し、フレームn−1が正常に復
号化されていなかった場合、さらにフレームn−2を読
み出し、フレームn−2の映像信号と、前記動きベクト
ルMV’とに基づいて、フレームn−1の予測画像信号
を作成することにより、上記課題を解決する。
【0030】本発明の請求項9に係る発明によれば、符
号化されたフレームを記憶する際に、正常に復号できた
部分は該復号データを格納し、正常に復号できなかった
部分は、異常であることを示す情報をその位置に格納
し、フレームn−1が正常に復号化されているか否か判
断するとともに、異常がある部分を判断し、異常がある
部分のみ、フレームn−2を読み出し、フレームn−2
の映像信号と、前記動きベクトルMV’とに基づいて、
フレームn−1の予測画像信号を作成することにより、
上記課題を解決する。
【0031】本発明の請求項10にかかる発明によれ
ば、前記動きベクトルMV’は動きベクトルMVとの差
分値として入力することにより、上記課題を解決する。
【0032】
【発明の実施の形態】以下、本発明の一実施例を図面を
参照して説明する。図1は本発明の映像符号化装置のフ
レーム間予測部の構成例を示す。
【0033】図1の映像符号化装置は、既に符号化され
た映像信号を記憶しておくためのフレームメモリ部1
1、入力された映像信号と前記フレームメモリ部11か
ら読み出された映像信号との間で単位領域毎に動きベク
トルを求める動きベクトル検出部12、該単位領域の動
きベクトルを用いて前記フレームメモリ部11から読み
出された映像信号から予測画像信号を作成する予測画像
作成部13、既に符号化された映像信号に対する動きベ
クトルを記憶しておく動きベクトル記憶部14とから構
成されている。
【0034】これらのうち、フレームメモリ部11、動
きベクトル検出部12、予測画像作成部13の動作は、
従来の映像符号化装置と同様である。本発明の映像符号
化装置は、動きベクトルを次の符号化対象画像フレーム
が処理されるまで記憶しておく動きベクトル記憶部14
を備える点で、従来の映像符号化装置と異なるものであ
る。
【0035】以下に、本発明の映像符号化装置の主要部
の動作を説明する。図8に本発明の映像符号化装置にお
ける動き補償フレーム間予測部の動作の流れを示す。ま
ず、ステップS1(以下単にSxとする)において、符
号化対象画像フレーム信号を入力し、S2ではフレーム
メモリ11から参照画像フレームを読み出す。
【0036】次に、S3において、動きベクトル検出部
12は符号化対象画像を単位領域毎に分割して、S4で
参照画像フレーム中で最も似通った位置を探索し、S5
で動きベクトルを求める。ここで求められる動きベクト
ルは今回入力された符号化対象画像と、参照画像に対す
る動きベクトルであり、これを動きベクトルMVとす
る。S6において、予測画像作成部13によって動きベ
クトルMVを用いて予測画像フレームが作成される。
【0037】S7では、動きベクトル記憶部14に記憶
されている前回の動きベクトル(この動きベクトルを動
きベクトルMV’とする)を読み出す。そして、S8で
動きベクトル検出部12で求めた動きベクトルMVを動
きベクトル記憶部14に記憶したのち、S9で今回求め
た動きベクトルMV、前回の動きベクトルMV’と予測
画像フレームを出力する。S10では画像フレーム処理
がまだあるか否かを判断して、ある場合はS1に処理を
戻し、無い場合は処理を終了する。
【0038】図2(a)に、本発明の映像符号化装置か
ら出力される1画像フレーム分の符号化映像情報の伝送
フォーマットの一例を示す。図2(a)には、符号化映
像情報の先頭で動きベクトル記憶部14から読み出され
た動きベクトル情報MV’を動きベクトル情報MVとフ
レーム間予測誤差の符号化情報とともに伝送する例を示
している。この例では、符号化映像情報の先頭で動きベ
クトルMV’を伝送する例を示しているが、該動きベク
トル情報MV’の伝送位置は、別の位置、例えば符号化
映像情報の末尾、中間など、特に限定する必要はない。
【0039】図2(b)は、符号化対象映像フレーム
と、予測を行う参照フレームとの対応関係、またその時
の動きベクトルMV、MV’との関係を示す図である。
このように、動きベクトルMV’は、フレームn−2と
フレームn−1間の動きベクトルであり、動きベクトル
MVは、フレームn−1とフレームn間の動きベクトル
である。
【0040】また、前記動きベクトル情報MV’を伝送
するに当たっては、MV’の値を符号化して伝送するだ
けでなく、現在の画像フレームに対する動きベクトル情
報MVとの差分、つまり、 PMV’=MV’−MV ・・・(1) を計算して、MV’の代わりにPMV’の値を符号化し
て伝送することもできる。これは、図2(b)に示すよ
うに、MV’とMVが隣接する符号化画像フレームに対
する動きベクトルであるため、画像フレーム間で大きな
動きの変化がない限りは、この差分値PMV’は、ほと
んどの場合に値が0になるか、0近傍に集中して分布す
るため、効率的に符号化して伝送することが可能であ
る。
【0041】更に、単純な差分ではなく、周辺の単位領
域の動きベクトルMVの値などを用いてより高度な予
測、例えば、 PMV’=MV’−f(MV) ・・・(2) [f:MVからMV’の予測値を求める関数]のように
することも可能である。
【0042】次に図3を用いて、本発明の映像復号化装
置のフレーム間予測部の構成を説明する。図3の映像復
号化装置は、一つ前に復号化された映像信号を記憶して
おくための第1フレームメモリ部31、単位領域毎に入
力される第1動きベクトル(前記説明における動きベク
トルMV)を用いて前記フレームメモリ部31から映像
信号を読み出して予測画像信号を作成する第1予測画像
作成部32、二つ以上前に復号化された映像信号を記憶
しておくための第2フレームメモリ部33、単位領域毎
に入力される第2動きベクトル(動きベクトルMV’)
を用いて、前記第2フレームメモリ部33から映像信号
を読み出して予測画像信号を作成する第2予測画像作成
部34、第1フレームメモリから読み出された映像信号
が正しく復号化されているか否か判断する復号化判断部
35とから構成されている。
【0043】これらのうち、第1フレームメモリ部3
1、第1予測画像作成部32の動作は、従来からの一般
的な映像復号化装置と同様な動作を行う。本発明の映像
復号化装置は、これらの構成に加えて以前に復号された
映像信号を記憶する第2フレームメモリを備える点、第
2の動きベクトル(動きベクトルMV’)と第2フレー
ムメモリ部33から読み出した映像信号から、予測画像
信号を作成する第2予測画像作成部34を備える点、第
1フレームメモリから読み出された映像信号が正しく符
号化されているか否かを判断する復号化判断部35を備
える点で、従来の映像復号化装置とは異なっている。
【0044】以下に、本発明の主要部である、第2フレ
ームメモリ部33、第2予測画像作成部34の動作を説
明する。
【0045】図9は本発明の映像復号化装置の動き補償
フレーム間予測部の動作を示すフローチャートである。
S21では、復号化判断部35によって、まず伝送誤り
などが無く、伝送されてきた符号化映像情報が正常に復
号できたか否かを判断する。正常に復号されている場合
は、S26において、第1予想画像作成部32におい
て、第1動きベクトル(動きベクトルMV)を入力し
て、S27で第1フレームメモリ部31から参照画像フ
レームを読み出す。この第1動きベクトルと、参照画像
フレームから予測画像フレームを作成するが、その前に
S28で第1フレームメモリ部31の内容を第2フレー
ムメモリ33に転送する。
【0046】S29で第1予測画像作成部32におい
て、入力された第1動きベクトル情報と、第1フレーム
メモリ部31から読み出された参照画像フレームとか
ら、予測画像フレームを作成する。S30で予測画像フ
レームを出力し、S31でS30で作成された予測画像
フレームを第1フレームメモリ部31へ出力する。ここ
までで、1フレームの処理が終了したので、S32でま
だ処理するデータがあるか否か判断し、なければ処理を
終了し、あれば、S20に処理を戻す。
【0047】S21において、伝送誤りがある場合の処
理を説明する。図2(b)に示すn−1番目の画像フレ
ームが、誤りによって正しく復号できなかったとする。
このとき、復号できなかった画像フレームn−1は、第
1フレームメモリ部31には格納しない。あるいは、誤
りの影響を受けずに正常に復号化できた部分のみが第1
フレームメモリ部31に記憶され、誤った部分の映像信
号は、第1フレームメモリ部31に記憶せずに、異常が
発生したとの情報が記録される。
【0048】つづいて、図2(b)のn番目の画像フレ
ームの符号化映像情報が伝送されてきて、画像フレーム
nの復号が開始されるが、上述の通り、画像フレームn
−1の復号時に誤りがあったため、画像フレームnの復
号における予測参照フレームとなるべき画像フレームn
−1の全部あるいは一部が第1フレームメモリ部31に
記憶されていないため、第1予測画像作成部32には、
予測画像信号を作成できない。
【0049】そこで、第2予測画像作成部34では、画
像フレームnの符号化映像情報と共に伝送されてくる第
2動きベクトル情報MV’をS22において記憶手段1
4から入力し、S23において、第2フレームメモリ部
33に記憶されている画像フレームn−2を参照フレー
ムとして読み出し、S24で予測画像フレームを作成す
る。この予測画像フレームは図2(b)における画像フ
レームn−1に相当する映像信号として第1フレームメ
モリ部31に格納する。
【0050】このようにして、第1フレームメモリ部3
1には、画像フレームn−1の全体の映像信号が格納さ
れることになり、第1フレームメモリ部31、第1予測
画像作成部32は、前記伝送誤りが無く正常に復号でき
た場合と同様に、S26以降の処理を行い、画像フレー
ムnの復号処理を行うことができる。
【0051】ここで、前述したように、第1フレームメ
モリ部31には、誤りによって正しく復号されなかった
画像フレームn−1の一部分が格納されていない場合に
は、当該部分についてのみ、第2予測画像作成部34で
作成された映像信号が格納され、それ以外の正常に復号
できた部分については、第1フレームメモリ部31に格
納されている画像フレームn−1の復号時に復元された
映像信号がそのまま用いられる。
【0052】また、前記動きベクトル情報MV’の値が
符号化されて伝送されるのではなく、現在の画像フレー
ムに対する動きベクトル情報との差分PMV’が伝送さ
れる場合には、動きベクトルMV’の値を復元するため
に、符号化装置側で行った(1)式と逆の処理である、 MV’=PMV’+MV ・・・(3) が計算される。さらに、単純な差分ではなく、符号化装
置側で(2)式のように、周辺の単位領域の動きベクト
ルMVの値などを用いて予測を行っている場合、動きベ
クトルMV’の値を復元するためには、例えば、 MV’=PMV’+f(MV) ・・・(4) [f:MVからMV’の予測値を求める関数]のように
する。
【0053】図10(a)は本発明にかかる映像化符号
化装置の装置構成図である。51は画像フレーム入力手
段であり、この画像フレーム入力手段で入力されたデー
タが52の動き補償フレーム間予測部に入力される。
【0054】動き補償フレーム間予測部52にはプログ
ラムメモリ54及びデータメモリ55を有している。プ
ログラムメモリ54には、図1に示す動きベクトル検出
部12及び予測画像作成部13に対応する処理を行うプ
ログラムなどが格納されている。データメモリ55は図
1のフレームメモリ部11、動きベクトル記憶部14の
ように、各種データの記憶に用いられる。
【0055】このプログラムメモリ54に格納されてい
るプログラムは、図示しない演算装置(CPU等)によ
り実行される。
【0056】この動き補償フレーム間予測部52で符号
化されたデータが伝送符号出力手段53によって出力さ
れる。
【0057】プログラムメディア56は前記プログラム
メモリ54に格納されるべき各種プログラムが記録され
ている。この画像符号化装置においては、プログラムメ
ディア56から図示しないプログラム読み込み手段を用
いて、前記プログラムメモリ54及びデータメモリ55
に、本発明を機能させるに必要な各プログラム及びデー
タが格納される。
【0058】プログラムメディア56はこの画像符号化
装置とは分離可能に構成される情報記録媒体であり、例
えばCD−ROM、フロッピーディスク、ICカードな
どが考えられる。
【0059】図10(b)は同様に、本発明にかかる映
像復号化装置の装置構成図である。61は伝送されてき
た符号を入力する伝送符号入力手段、62は動き補償フ
レーム間予測部、63は復号化された画像フレームを出
力する画像フレーム出力手段である。プログラムメモリ
64、データメモリ65、プログラムメディア66は図
10(a)の構成と同様であるので説明は省略する。
【0060】このように、本発明を機能させるに必要な
各プログラム及びデータを本体と着脱自在な情報記録媒
体という形とすることも可能である。
【0061】
【発明の効果】本発明の請求項1及び6によれば、動き
ベクトル記憶部において、既に符号化された画像フレー
ムに対する動きベクトルを記憶しておき、現在の符号化
対象フレームの符号化映像情報と共に伝送することによ
り、伝送誤りなどによって、当該符号化映像情報が正確
に伝送できない場合でも、次の画像フレームの符号化映
像情報と共に伝送される、記憶された動きベクトル情報
を用いて、誤りが生じた画像フレームを復元することが
できるため、簡易な手段で伝送誤りの影響を減少させ、
特に後続の画像フレームの誤りの波及を防ぐことができ
る。従って、誤りに強く映像品質の良い映像符号化処理
を実現することができる。
【0062】本発明の請求項2及び7によれば、請求項
1及び5の効果に加え、動きベクトル記憶部に記憶され
た動きベクトルを伝送する際に、現在の符号化対象画像
フレームに対する動きベクトルとの差分情報を符号化し
て伝送することにより、動きベクトルの情報量を大幅に
減少させて、符号化効率の向上を簡易な方式で実現する
ことができる。
【0063】本発明の請求項3及び8によれば、第2予
測画面作成手段において、現在の復号化対象フレームの
符号化映像情報と共に伝送されてきた第2動きベクトル
情報と第2フレームメモリ手段に格納された参照フレー
ムとを用いて、現在の復号化対象フレームに対する参照
フレームを作成することにより、伝送誤りなどによっ
て、符号化映像情報が正しく復号できず、次の符号化画
像フレームに対する正しい参照フレームが復号できない
場合でも、次の画像フレームの符号化映像情報と共に伝
送される前記第2動きベクトル情報を用いて、誤りが生
じた画像フレームを復元して参照フレームとして当該復
号化対象フレームの予測に利用することができるため、
簡易な手段で伝送誤りの影響を減少させ、特に後続の画
像フレームへの誤りの波及を防ぎ、誤りによる映像品質
劣化を防止することができる。従って、誤りに強く映像
品質の良い映像符号化を実現することができる。
【0064】本発明の請求項4及び9によれば、画像フ
レームの中で正常に復号できた部分は第1フレームメモ
リ手段に記憶しておき、誤りがあった部分は画像信号を
第1フレームメモリ手段に格納する代わりに、誤りがあ
ったことを記憶しておくことにより、次の符号化画像フ
レームを復号するとき、前記第2予測画像作成手段にお
いて、誤りのために第1フレームメモリ手段に記憶され
ていない部分のみを復元すればよいため、復号の際の処
理量を削減し、高速な復号処理を実現することができ
る。
【0065】また、誤りが無かった部分に関しては、第
1フレームメモリ手段に格納されている映像信号を参照
フレームとして利用することができるため、復号された
映像品質を向上することができる。
【0066】本発明の請求項5及び10によれば、第2
動きベクトルが第1動きベクトルとの差分情報として符
号化されて伝送することにより、動きベクトルの情報量
を減少させて符号化効率の向上を実現することができ
る。
【図面の簡単な説明】
【図1】本発明における映像符号化装置の一実施形態を
示す概略ブロック図である。
【図2】本発明における符号化映像情報の伝送フォーマ
ットの例及び符号化画像フレームと参照フレーム、動き
ベクトルとの関係を示す図である。
【図3】本発明における映像復号化装置の一実施形態を
示す概略ブロック図である。
【図4】動き補償フレーム間予測直交変換符号化方式の
原理を説明するためのブロック図である。
【図5】従来の映像符号化装置のフレーム間予測部の構
成例を示すブロック図である。
【図6】従来の映像復号化装置のフレーム間予測部の構
成例を示すブロック図である。
【図7】従来の映像符号化装置における動きベクトル情
報を繰り返して伝送する伝送フォーマットの例を示す図
である。
【図8】本発明の映像符号化装置における動き補償フレ
ーム間予測部の動作を示すフローチャートである。
【図9】本発明の映像復号化装置における動き補償フレ
ーム間予測部の動作を示すフローチャートである。
【図10】本発明の映像符号化装置及び映像復号化装置
の装置構成例を示す図である。
【符号の説明】
11 フレームメモリ部 12 動きベクトル検出部 13 予想画像作成部 14 動きベクトル記憶部 31 第1フレームメモリ部 32 第1予測画像作成部 33 第2フレームメモリ部 34 第2予想画像作成部

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 過去に符号化されたフレームn−1の映
    像信号を記憶しておくためのフレームメモリと、 画像フレームを入力する画像フレーム入力手段と、 新たに入力されたフレームnの映像信号と前記フレーム
    メモリに記憶されているフレームn−1の映像信号とを
    比較し、単位領域毎に動きベクトルMVを求め、前記フ
    レームメモリに記憶されているフレームn−1の映像信
    号と、前記動きベクトルMVとから、新たに入力された
    フレームnの映像信号の予測画像信号を作成する動き補
    償フレーム間予測部と、 前記フレームnの映像信号の予測画像信号と新たに入力
    されたフレームnの映像信号との誤差を符号化した符号
    化映像信号を求める予測誤差符号化部と、 動きベクトルMVと符号化映像信号を出力する伝送符号
    出力手段とを備える映像符号化装置であって、 前記動き補償フレーム間予測部において、フレームn−
    2の映像信号とフレームn−1の映像信号間の動きベク
    トルを動きベクトルMV’として記憶する動きベクトル
    記憶部を備え、 新たにフレームnの映像信号が入力されると、前記伝送
    符号出力手段において、前記フレームnの映像信号の予
    測画像信号と新たに入力されたフレームnの映像信号と
    の誤差を符号化した符号化映像信号とともに、動きベク
    トルMV及び動きベクトルMV’とを伝送することを特
    徴とする映像符号化装置。
  2. 【請求項2】 前記伝送符号出力手段において、動きベ
    クトルMV’は動きベクトルMVとの差分値として出力
    することを特徴とする前記請求項1記載の映像符号化装
    置。
  3. 【請求項3】 過去に復号化されたフレームn−1の映
    像信号を記憶する第1フレームメモリと、 フレームn−1とフレームn間の動きベクトルMVと、
    フレームnの映像信号の予測画像信号とフレームnの映
    像信号との誤差が符号化された符号化映像信号とを入力
    する伝送符号入力手段と、 前記第1フレームメモリから読み出されたフレームn−
    1の映像信号と動きベクトルMVとに基づいて、フレー
    ムnの予測画像信号を作成する第1予測画像作成手段
    と、 前記符号化映像信号とフレームnの予測画像信号からフ
    レームnの画像フレームを復号して出力する画像フレー
    ム出力手段を備える映像復号化装置であって、 前記伝送符号入力手段において、動きベクトルMVとと
    もにフレームn−2とフレームn−1間の動きベクトル
    MV’を入力し、 フレームn−2の映像信号を記憶する第2フレームメモ
    リと、 前記第1フレームメモリから読み出されたフレームn−
    1が正常に復号化されているか否かを判断する復号化判
    断手段と、 前記復号化判断手段において、フレームn−1が正常に
    復号化されていなかった場合、前記第2フレームメモリ
    からフレームn−2を読み出し、フレームn−2の映像
    信号と、前記動きベクトルMV’とに基づいて、フレー
    ムn−1の予測画像信号を作成して、前記第1フレーム
    メモリに格納する第2予測画像作成手段とを備えること
    を特徴とする映像復号化装置。
  4. 【請求項4】 前記第1フレームメモリに復号化された
    フレームn−1の映像信号を格納する際に、正常に復号
    できた部分は該復号データを格納し、正常に復号できな
    かった部分は、異常であることを示す情報をその位置に
    格納し、 前記復号化判断手段により、フレームn−1の異常があ
    る部分を判断し、 前記第2予測画像作成手段において、前記復号化判断手
    段により判断された、異常がある部分のみ、前記第2フ
    レームメモリからフレームn−2を読み出し、フレーム
    n−2の映像信号と、前記動きベクトルMV’とに基づ
    いて、フレームn−1の予測画像信号を作成して、前記
    第1フレームメモリに格納することを特徴とする前記請
    求項3記載の映像復号化装置。
  5. 【請求項5】 前記伝送符号入力手段において、ベクト
    ルMV’は動きベクトルMVとの差分情報として入力さ
    れることを特徴とする前記請求項3又は4記載の映像復
    号化装置。
  6. 【請求項6】 入力されたフレームnの映像信号と過去
    に符号化されたフレームn−1の映像信号とを比較し、
    単位領域毎に動きベクトルMVを求め、 フレームn−1の映像信号と、前記動きベクトルMVと
    から、新たに入力されたフレームnの映像信号の予測画
    像信号を作成し、 前記フレームnの映像信号の予測画像信号と新たに入力
    されたフレームnの映像信号との誤差を符号化した符号
    化映像信号を求め、 動きベクトルMVと符号化映像信号を出力する映像符号
    化方法において、 フレームn−2の映像信号とフレームn−1の映像信号
    間の動きベクトルを動きベクトルMV’として記憶し、
    新たにフレームnの映像信号が入力されると、フレーム
    nの映像信号の予測画像信号とフレームnの映像信号と
    の誤差を符号化した符号化映像信号とともに、動きベク
    トルMV及び動きベクトルMV’とを伝送することを特
    徴とする映像符号化方法。
  7. 【請求項7】 前記動きベクトルMV’は動きベクトル
    MVとの差分値として出力することを特徴とする前記請
    求項6記載の映像符号化方法。
  8. 【請求項8】 フレームn−1とフレームn間の動きベ
    クトルMVと、フレームnの映像信号の予測画像信号と
    新たに入力されたフレームnの映像信号との誤差が符号
    化された符号化映像信号とを入力し、 過去に復号化されたフレームn−1の映像信号と動きベ
    クトルMVとに基づいて、フレームnの予測画像信号を
    作成し、 前記符号化映像信号とフレームnの予測画像信号からフ
    レームnの画像フレームを復号して出力する映像復号化
    方法であって、 動きベクトルMVとともにフレームn−2とフレームn
    −1間の動きベクトルMV’を入力し、 フレームn−1が正常に復号化されているか否かを判断
    し、 フレームn−1が正常に復号化されていなかった場合、
    さらにフレームn−2を読み出し、フレームn−2の映
    像信号と、前記動きベクトルMV’とに基づいて、フレ
    ームn−1の予測画像信号を作成することを特徴とする
    映像復号化方法。
  9. 【請求項9】 符号化されたフレームを記憶する際に、
    正常に復号できた部分は該符号データを格納し、正常に
    復号できなかった部分は、異常であることを示す情報を
    その位置に格納し、 フレームn−1が正常に復号化されているか否か判断す
    るとともに、異常がある部分を判断し、 異常がある部分のみ、フレームn−2を読み出し、フレ
    ームn−2の映像信号と、前記動きベクトルMV’とに
    基づいて、フレームn−1の予測画像信号を作成するこ
    とを特徴とする前記請求項8記載の映像復号化方法。
  10. 【請求項10】 前記動きベクトルMV’は動きベクト
    ルMVとの差分値として入力することを特徴とする前記
    請求項8又は請求項9記載の映像復号化方法。
JP04001398A 1998-02-23 1998-02-23 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法 Expired - Fee Related JP3523481B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04001398A JP3523481B2 (ja) 1998-02-23 1998-02-23 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04001398A JP3523481B2 (ja) 1998-02-23 1998-02-23 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法

Publications (2)

Publication Number Publication Date
JPH11239353A true JPH11239353A (ja) 1999-08-31
JP3523481B2 JP3523481B2 (ja) 2004-04-26

Family

ID=12569035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04001398A Expired - Fee Related JP3523481B2 (ja) 1998-02-23 1998-02-23 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法

Country Status (1)

Country Link
JP (1) JP3523481B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028617A (ja) * 2005-07-13 2007-02-01 Polycom Inc ビデオ誤り隠蔽法
US7664180B2 (en) 2002-03-04 2010-02-16 Panasonic Corporation Moving picture coding method and moving picture decoding method for performing inter picture prediction coding and inter picture predection decoding using previously processed pictures as reference pictures
US7733960B2 (en) 2002-04-19 2010-06-08 Panasonic Corporation Motion vector calculation method
KR20110087001A (ko) * 2010-01-25 2011-08-02 엘지전자 주식회사 화질 개선 방법 및 그에 따른 영상 표시 장치
WO2011142221A1 (ja) * 2010-05-11 2011-11-17 シャープ株式会社 符号化装置、および、復号装置
JP2021072091A (ja) * 2019-10-30 2021-05-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856060B2 (en) 2002-03-04 2010-12-21 Panasonic Corporation Moving picture coding method and moving picture decoding method for performing inter picture prediction coding and inter picture prediction decoding using previously processed pictures as reference pictures
US7664180B2 (en) 2002-03-04 2010-02-16 Panasonic Corporation Moving picture coding method and moving picture decoding method for performing inter picture prediction coding and inter picture predection decoding using previously processed pictures as reference pictures
US8718141B2 (en) 2002-03-04 2014-05-06 Panasonic Corporation Moving picture coding method and moving picture decoding method for performing inter picture prediction coding and inter picture prediction decoding using previously processed pictures as reference pictures
US7742526B2 (en) 2002-03-04 2010-06-22 Panasonic Corporation Moving picture coding method and moving picture decoding method for performing inter picture prediction coding and inter picture prediction decoding using previously processed pictures as reference pictures
US7801219B2 (en) 2002-03-04 2010-09-21 Panasonic Corporation Moving picture coding method and moving picture decoding method for performing inter picture prediction coding and inter picture prediction decoding using previously processed pictures as reference pictures
US9723323B2 (en) 2002-04-19 2017-08-01 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US9516338B2 (en) 2002-04-19 2016-12-06 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US10440386B2 (en) 2002-04-19 2019-10-08 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US10404995B2 (en) 2002-04-19 2019-09-03 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US8290049B2 (en) 2002-04-19 2012-10-16 Panasonic Corporation Motion vector calculation method
US10397602B2 (en) 2002-04-19 2019-08-27 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US8605789B2 (en) 2002-04-19 2013-12-10 Panasonic Corporation Motion vector calculation method
US7733960B2 (en) 2002-04-19 2010-06-08 Panasonic Corporation Motion vector calculation method
US8929453B2 (en) 2002-04-19 2015-01-06 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US8958480B2 (en) 2002-04-19 2015-02-17 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US8964848B2 (en) 2002-04-19 2015-02-24 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US8971411B2 (en) 2002-04-19 2015-03-03 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US9083980B2 (en) 2002-04-19 2015-07-14 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US9264730B2 (en) 2002-04-19 2016-02-16 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US9485519B2 (en) 2002-04-19 2016-11-01 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US7940845B2 (en) 2002-04-19 2011-05-10 Panasonic Corporation Motion vector calculating method
US10097855B2 (en) 2002-04-19 2018-10-09 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US9693074B2 (en) 2002-04-19 2017-06-27 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US9723324B2 (en) 2002-04-19 2017-08-01 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US9955181B2 (en) 2002-04-19 2018-04-24 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US9723325B2 (en) 2002-04-19 2017-08-01 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US9729896B2 (en) 2002-04-19 2017-08-08 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US9948947B2 (en) 2002-04-19 2018-04-17 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
US9948948B2 (en) 2002-04-19 2018-04-17 Panasonic Intellectual Property Corporation Of America Motion vector calculation method
JP2007028617A (ja) * 2005-07-13 2007-02-01 Polycom Inc ビデオ誤り隠蔽法
US9661376B2 (en) 2005-07-13 2017-05-23 Polycom, Inc. Video error concealment method
JP2012231532A (ja) * 2005-07-13 2012-11-22 Polycom Inc ビデオ誤り隠蔽法
KR20110087001A (ko) * 2010-01-25 2011-08-02 엘지전자 주식회사 화질 개선 방법 및 그에 따른 영상 표시 장치
WO2011142221A1 (ja) * 2010-05-11 2011-11-17 シャープ株式会社 符号化装置、および、復号装置
JP2021072091A (ja) * 2019-10-30 2021-05-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム

Also Published As

Publication number Publication date
JP3523481B2 (ja) 2004-04-26

Similar Documents

Publication Publication Date Title
KR100603175B1 (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체, 및 동화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US8553780B2 (en) Motion vector encoding device and decoding device
KR101422422B1 (ko) Dmvd 처리 향상을 위한 시스템 및 방법
US11057546B2 (en) Video encoding and decoding
US20100232507A1 (en) Method and apparatus for encoding and decoding the compensated illumination change
US7899117B2 (en) Apparatus and method for encoding motion vector, and program and medium therefor
US5978034A (en) Moving picture encoding method and apparatus, moving picture decoding method and apparatus and recording medium
JPH0779441A (ja) 画像データの復号化方法
JPH10276440A (ja) 映像信号の形状情報予測符号化方法及び装置
JPH11239353A (ja) 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法
KR100587274B1 (ko) 엠펙­2 압축복원시스템에서의 오류 은폐방법
US6091770A (en) Image coding and decoding method and related apparatus
KR100212556B1 (ko) 영상복호화시스템에 있어서 차이영상에 대한 비트에러복원장치
KR100229794B1 (ko) 움직임 벡터 정보에 대한 오류 복원기능을 갖는영상복호화기
JPH05336510A (ja) 動き補償符号化装置と動き補償復号化装置
JPH07264585A (ja) 動画像処理装置
JPH05292488A (ja) 動画像符号化・復号装置
JPS63204823A (ja) 映像信号の予測符号化装置
JPH10294944A (ja) 動画像符号化装置及び方法、動画像復号装置及び方法、並びに記録媒体
JPH07264593A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040206

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080220

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees