JP3294510B2 - 動画像符号化装置及び動画像復号装置 - Google Patents

動画像符号化装置及び動画像復号装置

Info

Publication number
JP3294510B2
JP3294510B2 JP25563596A JP25563596A JP3294510B2 JP 3294510 B2 JP3294510 B2 JP 3294510B2 JP 25563596 A JP25563596 A JP 25563596A JP 25563596 A JP25563596 A JP 25563596A JP 3294510 B2 JP3294510 B2 JP 3294510B2
Authority
JP
Japan
Prior art keywords
frequency band
unit
image signal
frame
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25563596A
Other languages
English (en)
Other versions
JPH10108195A (ja
Inventor
聖二 佐藤
慶一 日比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP25563596A priority Critical patent/JP3294510B2/ja
Priority to US08/937,619 priority patent/US6144769A/en
Publication of JPH10108195A publication Critical patent/JPH10108195A/ja
Application granted granted Critical
Publication of JP3294510B2 publication Critical patent/JP3294510B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像信号に含まれ
る冗長量を削減して圧縮符号化する動画像符号化装置及
びその復号装置に関し、特に、動画像信号に対して動き
補償フレーム間予測を行ない、それによって得られた予
測誤差信号をいくつかの周波数帯域成分に分割して、各
周波数帯域毎に符号化を行なう階層符号化方式の動画像
符号化装置及び動画像復号装置に関するものである。
【0002】
【従来の技術】近年のマルチメディアサービスの整備・
普及に伴い、画像処理技術の重要性は高まりつつあり、
各方面でさまざまな研究が行なわれている。一般に、画
像情報に含まれる情報量は非常に多く、例えば、画像信
号をそのまま通信回線を使って伝送しようとすると、非
常に広帯域の伝送容量が必要となるため、現実的ではな
い。しかしながら、画像信号には、その情報に冗長性が
含まれており、この冗長性を利用して情報量の削減を行
なうことが可能である。そこで、画像信号を効率よく扱
うことを目的として、画像の圧縮符号化(符号化)技術
が広く用いられている。
【0003】図9はフレーム間予測直交変換符号化方式
を用いた従来の動画像符号化装置の構成を示す。図9に
示すように、入力画像信号は、画像フレーム毎に動き補
償フレーム間予測部901によって動き補償フレーム間
予測符号化され、動きベクトルが出力されるが、この動
き補償フレーム間予測部901では、フレームメモリ部
902に格納されている、1画像分前に符号化および復
号された画像を予測画像信号として読み出し、差分演算
部903で入力画像信号とフレームメモリ部902から
読み出した予測画像信号との差分である予測誤差信号を
求めて、時間的冗長度を取り除く。
【0004】差分演算部903から出力される予測誤差
信号は、直交変換部904に送られて、直交変換が施さ
れ、空間的冗長度を取り除かれ、その結果として変換係
数が出力される。直交変換部904から出力された変換
係数は、符号化部905で量子化および符号化されて、
情報量が圧縮される。
【0005】符号化部905からの出力は、符号化情報
として外部に出力されるとともに、復号部906にも送
られる。復号部906では、符号化部905とは逆の処
理が行なわれて、変換係数が出力され、逆直交変換部9
07で逆直交変換が施される。
【0006】逆直交変換部907からの出力は、加算部
908でフレームメモリ部902から読み出された予測
画像信号と加算された後、フレームメモリ部902に格
納されて、次の入力画像信号のフレーム間予測に使用さ
れる。入力画像信号は、このようにループ状の構成(符
号化ループ)に従って符号化される。
【0007】上述したように、従来の動画像符号化装置
では、動き補償フレーム間予測によって画像情報に含ま
れる時間的冗長度を取り除き、さらに直交変換によって
空間的冗長度を取り除いた後に符号化するので、効率良
く符号化を行なうことができる。 しかし、上記のよう
な従来の技術では、1画像単位で符号化を行なうため、
通信伝送路での伝送誤りや、情報の欠落などが発生した
場合、その画像信号全体の復号が正確に行なえなくな
る。さらに、フレーム間予測符号化を使用しているた
め、ある画像に復号誤りが発生すると、その後の画像に
もその復号誤りが伝搬するという問題があった。
【0008】この問題点を解決する手段として、画像信
号を階層化し、各階層毎に符号化を行うことにより、あ
る階層中に復号誤りが発生しても、それ以外の階層の符
号化情報のみを復号することによって、復号画像の品質
劣化を最低限に抑える階層符号化方式という技術があ
る。
【0009】図10に周波数帯域分割を利用した階層符
号化方式の動画像符号化装置の例を示す。上記従来技術
と同様に、入力画像信号は、画像フレーム毎に動き補償
フレーム間予測部1001によって動き補償フレーム間
予測符号化され、差分演算部1003から予測誤差信号
が出力される。
【0010】差分演算部1003から出力される予測誤
差信号は、帯域分割部1004によって周波数帯域分割
を施され、各周波数帯域毎に出力される。帯域分割部1
004から出力される予測誤差信号の各周波数帯域成分
は、符号化部1005a〜1005nによって各周波数
帯域毎に符号化され、符号化情報a〜nとして外部に出
力されるとともに、復号部1006a〜1006nにも
送られる。
【0011】復号部1006a〜1006nでは、符号
化部1005a〜1005nとは逆の処理が行なわれ、
予測誤差信号の各周波数帯域毎の成分が出力される。一
方、フレームメモリ部1002から読み出された予測画
像信号は、帯域分割部1007によって周波数帯域分割
を施され、各周波数帯域毎に出力される。この帯域分割
部1007から出力された予測画像信号の各周波数帯域
成分と、復号部1006a〜1006nから出力された
予測誤差信号の各周波数帯域成分が、加算部1008a
〜1008nによって各周波数帯域毎に加算され、復号
画像信号が各周波数帯域成分毎に出力される。
【0012】この復号画像信号の各周波数帯域成分は、
合成部1010によって周波数帯域分割と逆の処理を施
され、復号画像信号となる。これがフレームメモリ部1
002に格納されて、次の入力画像信号のフレーム間予
測に使用される。
【0013】以上の処理によって、ある周波数帯域中に
復号誤りが生じても、その周波数帯域中に誤りを閉じる
ことができるので、伝送路における情報の誤りや欠落に
よる動画像品質の劣化を最小限に抑えることが可能とな
る。
【0014】
【発明が解決しようとする課題】しかしながら、上記従
来の階層符号化方式の動画像符号化・復号装置では、通
信路における伝送誤りや情報欠落が発生すると、たとえ
階層内に誤りを閉じ込めたとしても、その後の画像への
復号誤りの伝搬を完全には防ぐことはできないという問
題があった。本発明は上記の問題点に鑑み、通信路にお
ける伝送誤りや情報欠落が発生しても、最低限の動画像
品質を維持し、さらに復号誤りのその後の画像への伝搬
を防止することが可能な動画像符号化装置及び動画像復
号装置を提供するものである。
【0015】
【課題を解決するための手段】本願の第1の発明は、動
き補償フレーム間予測を行うことにより得た予測画像信
号と入力画像信号との差を予測誤差情報として符号化す
る動画像符号化装置であって、前記入力画像信号をいく
つかの周波数帯域成分に分割する入力画像信号帯域分割
部と、前記予測誤差信号をいくつかの周波数帯域成分に
分割する予測誤差信号帯域分割部と、前記入力画像信号
帯域分割部から出力される入力画像信号の各周波数帯域
成分を、それぞれの周波数帯域成分毎に符号化するフレ
ーム内符号化部と、前記予測誤差信号帯域分割部から出
力される予測誤差信号の各周波数帯域成分を、それぞれ
の周波数帯域成分毎に符号化するフレーム間符号化部
と、各周波数帯域成分のそれぞれに対して、前記フレー
ム内符号化部から出力されるフレーム内符号化情報と、
前記フレーム間符号化部から出力されるフレーム間符号
化情報とのいずれかを切り替えて出力する符号化方式選
択部と、前記符号化方式選択部を、各周波数帯域毎に切
替制御する階層リフレッシュ制御部とを備えたことを特
徴とする
【0016】本願の第2の発明は、動き補償フレーム間
予測を行うことにより得た予測画像信号と入力画像信号
との差を予測誤差情報として符号化する動画像符号化装
置であって、前記入力画像信号をいくつかの周波数帯域
成分に分割する入力画像信号帯域分割部と、前記予測誤
差信号をいくつかの周波数帯域成分に分割する予測誤差
信号帯域分割部と、各周波数帯域成分のそれぞれに対し
て、前記入力画像信号帯域分割部から出力される入力画
像信号の当該周波数帯域成分と、前記予測誤差信号帯域
分割部から出力される予測誤差信号の当該周波数帯域成
分とのいずれかを切り替えて出力する符号化方式選択部
と、前記符号化方式選択部から出力される入力画像信号
または予測誤差信号の各周波数帯域成分を、それぞれの
周波数帯域成分毎に符号化して、フレーム内符号化情報
またはフレーム間符号化情報として出力する符号化部
と、前記符号化方式選択部を、各周波数帯域毎に切替制
御する階層リフレッシュ制御部とを備えたことを特徴と
する
【0017】本願の第3の発明は、前記階層リフレッシ
ュ制御部が、各周波数帯域成分を均一にリフレッシュす
るために、リフレッシュする周波数帯域成分を周期的に
変化させるよう制御することを特徴とする
【0018】本願の第4の発明は、前記階層リフレッシ
ュ制御部が、各周波数帯域成分のリフレッシュの頻度を
適応的に変化させるよう制御することを特徴とする
【0019】本願の第5の発明は、前記階層リフレッシ
ュ制御部が、リフレッシュ時の符号量がほぼ一定になる
ように、リフレッシュを行なう周波数帯域成分を適宜選
択するよう制御することを特徴とする
【0020】本願の第6の発明は、動き補償フレーム間
予測を行うことにより得た予測画像信号を用いて画像符
号化情報を復号する動画像復号化装置であって、各周波
数帯域成分のそれぞれについて、フレーム内符号化情報
の場合はフレーム内復号化部へ フレーム間符号化情報
の場合はフレーム間復号部へ切り替えて出力する符号化
方式選択部と、前記符号化方式選択部から出力されたフ
レーム内符号化情報を復号するフレーム内復号部と、前
記符号化方式選択部から出力されたフレーム間符号化情
報を復号するフレーム間復号部と、前記予測画像信号を
いくつかの周波数帯域成分に分割する予測画像信号帯域
分割部と、前記フレーム間復号部から出力された予測誤
差信号の各周波数帯域成分と、前記予測画像信号帯域分
割部から出力された予測画像信号の各周波数帯域成分と
を加算する加算部と、各周波数帯域成分のそれぞれにつ
いて 前記フレーム内復号部から出力された復号画像信
号の当該周波数帯域成分と、前記加算部から出力された
復号画像信号の当該周波数帯域成分とのいずれかを切り
替えて出力する復号画像信号選択部と、前記復号画像信
号選択部から出力された復号画像信号の各周波数帯域成
分を合成する合成部と、前記符号化方式選択部及び前記
復号画像信号選択部を、各周波数帯域毎に切替制御する
階層リフレッシュ制御部とを備えたことを特徴とする
【0021】
【発明の実施の形態】以下、図面を参照して本発明によ
る動画像符号化装置および動画像復号装置を詳述する。
図1に本発明による動画像符号化装置の第1の実施の形
態を示す。
【0022】図1において、101は入力画像信号帯域
分割部、102は予測誤差信号帯域分割部、103a〜
103nはフレーム内符号化部、104a〜104nは
フレーム間符号化部、105はリフレッシュ制御部、1
06はフレームメモリ部、107は動き補償予測部、1
08は差分演算部、109a〜109nおよび110a
〜110nは符号化方式選択部、111a〜111nは
フレーム内復号部、112a〜112nはフレーム間復
号部、113は予測画像信号帯域分割部、114a〜1
14nは加算部、115a〜115nは復号信号選択
部、116は合成部である。
【0023】各構成部の詳細を以下に示す。入力画像信
号帯域分割部101は、入力画像信号をn個の周波数帯
域成分に分割し、その各周波数帯域毎にフレーム内符号
化部103a〜103nに出力する。 予測誤差信号帯
域分割部102は、差分演算部108から出力された予
測誤差信号(後述する)をn個の周波数帯域成分に分割
し、各周波数帯域毎にフレーム間符号化部104a〜1
04nに出力する。
【0024】フレーム内符号化部103a〜103n
は、入力画像信号帯域分割部101から出力された入力
画像信号の各周波数帯域成分を、各周波数帯域毎に量子
化および符号化を行なう。その結果として、各周波数帯
域毎のフレーム内符号化情報が出力される。
【0025】フレーム間符号化部104a〜104n
は、予測誤差信号帯域分割部102から出力された予測
誤差信号の各周波数帯域成分を、各周波数帯域毎に量子
化および符号化を行なう。その結果として、各周波数帯
域毎のフレーム間予測符号化情報が出力される。
【0026】リフレッシュ制御部105は、各周波数帯
域毎にフレーム内符号化モードかフレーム間予測符号化
モードのどちらで符号化するかを決定し、フレーム内符
号化モードのときはリフレッシュ命令を符号化方式選択
部109a〜109n、110a〜110n、及び復号
信号選択部115a〜115nに出力する。このリフレ
ッシュ命令は、各周波数帯域毎に出力される。この各周
波数帯域毎のリフレッシュ命令の送出方法の詳細は、後
述する。
【0027】フレームメモリ部106は、現在の入力画
像信号より1つ前に符号化され、復号された画像信号を
蓄積する。動き補償予測部107は、フレームメモリ部
106に蓄積されている1つ前に符号化および復号され
た画像信号を用いて、入力画像信号の動き補償予測を行
ない、その結果として動きベクトルを出力し、またフレ
ームメモリ部106から予測信号を読み出す。
【0028】差分演算部108は、入力画像信号とフレ
ームメモリ部106から読み出された予測信号の差分を
取り、その結果を予測誤差信号として予測誤差信号帯域
分割部102に出力する。符号化方式選択部109a〜
109nは、リフレッシュ制御部105から出力された
リフレッシュ命令の有無によって、フレーム内符号化部
103a〜103nから出力される符号化情報またはフ
レーム間符号化部104a〜104nから出力される符
号化情報のどちらかを選択し、符号化情報a〜nとして
外部に出力する。
【0029】符号化方式選択部110a〜110nは、
前記符号化方式選択部109a〜109nと連動してお
り、フレーム内符号化モードのときはフレーム内符号化
情報をフレーム内復号部111a〜111nに出力し、
フレーム間予測符号化モードのときはフレーム間予測符
号化情報をフレーム間復号部112a〜112nに出力
する。
【0030】フレーム内復号部111a〜111nは、
符号化方式選択部110a〜110nから出力されたフ
レーム内符号化情報を復号し、復号画像の各周波数帯域
成分信号を出力する。ただし、符号化方式選択部110
a〜110nからフレーム内符号化情報が送られない場
合、なにも出力しない。
【0031】フレーム間復号部112a〜112nは、
符号化方式選択部110a〜110nから出力されたフ
レーム間予測符号化情報を復号し、復号された予測誤差
信号の各周波数帯域成分信号を出力する。ただし、符号
化方式選択部110a〜110nから符号化情報が送ら
れない場合、なにも出力しない。
【0032】予測画像信号帯域分割部113は、動き補
償予測部107によってフレームメモリ部106から読
み出された予測信号を、n個の周波数帯域成分に分割
し、各周波数帯域毎に加算部114a〜114nに出力
する。
【0033】加算部114a〜114nは、予測画像信
号帯域分割部113から出力された予測画像信号の各周
波数成分と、フレーム間復号部112a〜112nから
の復号された予測誤差信号の各周波数帯域成分を加算
し、復号画像の各周波数帯域成分信号を出力する。
【0034】復号信号選択部115a〜115nは、前
記符号化方式選択部109a〜109nおよび符号化方
式選択部110a〜110nと連動しており、フレーム
内符号化モードのときはフレーム内復号部111a〜1
11nからの復号画像の各周波数帯域成分信号を合成部
116に出力し、フレーム間予測符号化モードのときは
加算部114a〜114nからの復号画像の各周波数帯
域成分信号を合成部116に出力する。
【0035】合成部116は、復号信号選択部115a
〜115nから出力された復号画像の各周波数帯域成分
信号を合成し、復号画像信号を出力する。
【0036】図2に入力画像信号帯域分割部101、予
測誤差信号帯域分割部102、予測画像信号帯域分割部
113において、入力信号が周波数帯域分割される様子
の一例を示す。
【0037】この図2では、入力信号を水平方向および
垂直方向にそれぞれ2つ、合計4つの周波数帯域に分割
した後、さらにもっとも低い周波数帯域を同様に4つの
周波数帯域に分割し、全部で7つの周波数帯域に分割し
ている。
【0038】図1の画像符号化装置の処理の流れを、図
3を用いて説明する。まず、画像信号が入力されると
(S1)、リフレッシュ制御部が各周波数帯域毎にフレ
ーム内符号化モードかフレーム間予測符号化モードかを
決定し、フレーム内符号化モードの周波数帯域に対応す
る符号化方式選択部109a〜109n、110a〜1
10nおよび復号信号選択部115a〜115nにリフ
レッシュ命令を出力する(S2)。
【0039】フレーム内符号化モードの周波数帯域の場
合、入力画像信号を入力画像信号帯域分割部101がn
個の周波数帯域成分に分割し、該当する周波数帯域成分
毎にフレーム内符号化部103a〜103nに出力する
(S3)。次に、フレーム内符号化部103a〜103
nが入力画像信号帯域分割部101から出力された入力
画像信号の各周波数帯域成分を、それぞれの周波数帯域
毎に量子化および符号化を行ない(S4)、符号化方式
選択部109a〜109nが外部に出力する(S5)。
【0040】一方、フレーム間符号化モードの周波数帯
域の場合、動き補償予測部107が、フレームメモリ部
106に蓄積されている1つ前に符号化および復号され
た画像信号を用いて入力画像信号の動き補償予測を行な
い、動きベクトルを外部に、また予測画像信号を差分演
算部108および予測画像信号帯域分割部113に出力
する(S6)。
【0041】次に、差分演算部108によって、入力画
像信号とフレームメモリ部106から読み出された予測
画像信号の差分が計算され、その結果として予測誤差信
号が予測誤差信号帯域分割部102に出力される(S
7)。この予測誤差信号は、予測誤差帯域分割部102
によってn個の周波数帯域成分に分割され、該当する周
波数帯域成分毎にフレーム間符号化部104a〜104
nに出力される(S8)。 次に、フレーム間符号化部
104a〜104nが予測誤差信号帯域分割部102か
ら出力された、予測誤差信号の該当する周波数帯域成分
を、それぞれの周波数帯域毎に量子化および符号化を行
ない(S9)、符号化方式選択部109a〜109nが
外部に出力する(S10)。
【0042】一方、符号化方式選択部109a〜109
nから出力された各周波数帯域毎の符号化情報は、符号
化方式選択部110a〜110nにも送られる。符号化
方式選択部110a〜110nは、フレーム内符号化モ
ードの周波数帯域のときにはその周波数帯域の符号化情
報をフレーム内復号部111a〜111nに出力し、フ
レーム間予測符号化モードの周波数帯域のときにはその
周波数帯域の符号化情報をフレーム間復号部112a〜
112nに出力する(S11)。
【0043】フレーム内復号部111a〜111nは、
符号化方式選択部110a〜110nからのフレーム内
符号化情報の符号化情報が送られてくると、その符号化
情報を復号し、復号画像信号の各周波数帯域成分を復号
画像信号選択部115a〜115nに出力する(S1
2)。
【0044】また、フレーム間復号部112a〜112
nは、符号化方式選択部110a〜110nからのフレ
ーム間予測符号化モードの符号化情報が送られてくる
と、その符号化情報を復号し、予測誤差信号の各周波数
帯域成分を加算部114a〜114nに出力する(S1
3)。
【0045】一方、動き補償予測部107によってフレ
ームメモリ部106から読み出された予測画像信号は、
予測画像信号帯域分割部113によってn個の周波数帯
域成分に分割され、各周波数帯域毎に加算部114a〜
114nに出力される(S14)。
【0046】加算部114a〜114nは、フレーム間
復号部112a〜112nから出力された予測誤差信号
の各周波数帯域成分と、予測画像信号帯域分割部113
から出力された予測画像信号の各周波数帯域成分を、各
周波数帯域毎に加算し、復号画像信号の各周波数帯域成
分を復号画像信号選択部115a〜115nに出力する
(S15)。復号画像信号選択部115a〜115n
は、フレーム内符号化モードの周波数帯域の場合、フレ
ーム内復号部111a〜111nからの復号画像信号の
各周波数帯域成分を合成部116に出力し、フレーム間
予測符号化モードの周波数帯域の場合は、加算部114
a〜114nからの復号画像信号の各周波数帯域成分を
合成部116に出力する。
【0047】上記S2からS15までの処理は周波数帯
域の数だけ並行に行なわれるか、あるいは繰り返され、
すべての周波数帯域について処理が完了すると、復号画
像信号選択部115a〜115nからの復号画像信号の
各周波数帯域成分が合成部116によって復号画像信号
として合成される(S16)。そして、合成部116で
合成された復号画像信号はフレームメモリ部116に蓄
積され、次の入力画像信号の符号化に用いられる。
【0048】以上S1からS16までの処理が最後の入
力画像信号の符号化が終了するまで繰り返され(S1
7)、処理は終了する。
【0049】次に、リフレッシュ制御部105の各周波
数帯域毎のリフレッシュ命令の送出方法について、図4
を用いて詳述する。図4の(a)は、各周波数帯域を均
等にリフレッシュする様子を表している。これにより、
予測不可能な伝送誤りや情報欠落が発生しても、周期的
に各周波数帯域のリフレッシュを行なえる。
【0050】また、各周波数帯域毎にリフレッシュの頻
度を制御することができる。例えば、低周波数帯域の復
号誤りほど、復号画像の見ための品質に大きく影響する
ことに着目し、低周波数帯域のリフレッシュの回数を増
やし、逆に高周波数帯域のリフレッシュの回数を減らす
方法を、図4(b)に示す。これにより、復号画像の最
低限の見ための品質を保つことができる。
【0051】また、低周波数帯域ほど、符号化情報量が
大きくなることに着目し、1画面分の符号化情報中のリ
フレッシュに割り当てられる符号量が、常に一定となる
ように、リフレッシュを行なう周波数帯域を組み合わせ
る方法を図4(c)に示す。
【0052】以上のように、リフレッシュ制御部105
は、各周波数帯域毎に個別にリフレッシュ命令を送出す
ることができるため、さまざまなパターンのリフレッシ
ュ命令送出方法を選択できる。
【0053】次に、図5を用いて、本発明による動画像
符号化装置の第2の実施の形態を説明する。図5におい
て、101は入力画像信号帯域分割部、102は予測誤
差信号帯域分割部、105はリフレッシュ制御部、10
6はフレームメモリ部、107は動き補償予測部、10
8は差分演算部、109a〜109nは符号化方式選択
部、113は予測画像信号帯域分割部、114a〜11
4nは加算部、115a〜115nは復号信号選択部、
116は合成部、501a〜501nは符号化部、50
2a〜502nは復号部である。各構成部の詳細を以下
に示す。ただし、図1と同じ番号のものは説明を省略す
る。
【0054】符号化部501a〜501nは、符号化方
式選択部109a〜109nから出力された入力画像信
号または予測誤差信号の各周波数帯域成分を、量子化お
よび符号化し、その結果として、各周波数毎のフレーム
内符号化情報またはフレーム間予測符号化情報が出力さ
れる。復号部502a〜502nは、符号化部501a
〜501nから出力された各周波数帯域毎のフレーム内
符号化情報あるいはフレーム間予測符号化情報を復号す
る。
【0055】図5の動画像符号化装置の処理の流れを、
図6を用いて説明する。まず、画像信号が入力されると
(T1)、入力画像信号帯域分割部101が入力画像信
号を周波数帯域分割し、符号化方式選択部109a〜1
09nに出力する(T2)。一方、動き補償予測部10
7がフレームメモリ部106に蓄積されている1つ前に
符号化および復号された画像信号を用いて入力画像信号
の動き補償予測を行ない、動きベクトルを外部に、また
予測画像信号を差分演算部108および予測画像信号帯
域分割部113に出力する(T3)。
【0056】次に、差分演算部108によって、入力画
像信号とフレームメモリ部106から読み出された予測
画像信号の差分が計算され、その結果として予測誤差信
号が予測誤差信号帯域分割部102に出力される(T
4)。この予測誤差信号は、予測誤差信号帯域分割部1
02によってn個の周波数帯域成分に分割され(T
5)、符号化方式選択部109a〜109nに出力す
る。
【0057】次に、リフレッシュ制御部105がリフレ
ッシュを行なう周波数帯域を決定し、該当する符号化方
式選択部109a〜109nおよび復号信号選択部11
5a〜115nにリフレッシュ命令を送出する(T
6)。符号化方式選択部109a〜109nは、リフレ
ッシュ制御部105から出力されたリフレッシュ命令の
有無を調べ(T7)、リフレッシュ命令がある場合は、
ステップT2で出力された入力画像信号の周波数帯域成
分を符号化部501a〜501nに出力し、符号化部5
01a〜501nはその入力画像信号の周波数帯域成分
をフレーム内符号化モードで量子化および符号化する
(T8)。リフレッシュ命令がない場合は、ステップT
5で出力された予測誤差信号の周波数帯域成分を符号化
部501a〜501nに出力し、符号化部501a〜5
01nはその予測誤差信号の周波数帯域成分をフレーム
間符号化モードで量子化および符号化する(T9)。
【0058】そして、ステップT8あるいはT9におい
て符号化部501a〜501nから出力された符号化情
報は外部に出力されるとともに(T10)、復号部50
2a〜502nによって復号され(T11)、符号化モ
ードによって以下の2つの処理のいづれかを施される
(T12)。フレーム内符号化モードの周波数帯域の場
合、ステップT11において出力された復号信号を、復
号信号選択部115a〜115nが合成部116にその
まま出力する。フレーム間符号化モードの周波数帯域の
場合、ステップT3において出力された予測画像信号を
予測画像信号帯域分割部113が周波数帯域分割し(T
13)、その周波数帯域成分と復号部502a〜502
nからの出力を加算部114a〜114nが加算し、復
号信号選択部115a〜115nによって合成部116
に出力される。
【0059】上記ステップT7からT14までは各周波
数帯域毎に順次、あるいは並行に行なわれる。そして、
すべての周波数帯域について処理が完了すると、復号画
像信号の各周波数帯域成分は合成部116によって復号
画像信号として合成され、フレームメモリ部106に蓄
積され、次の入力画像の予測に用いられる(T15)。
以上T1からT15までの処理が最後の入力画像信号の
符号化が完了するまで繰り返され(T16)、処理は終
了する。
【0060】次に、図7に本発明による動画像復号装置
の実施の形態を示す。図7において、701はリフレッ
シュ制御部、702a〜702nは符号化方式選択部、
703a〜703nおよび704a〜704nは復号
部、705はフレームメモリ部、706は動き補償部、
707は帯域分割部、708a〜708nは加算部、7
09a〜709nは復号信号選択部、710は合成部で
ある。
【0061】各構成部の詳細を以下に示す。
【0062】リフレッシュ制御部701は、周波数帯域
毎の符号化情報から各周波数帯域の復号モードをフレー
ム内モードかフレーム間予測モードに決定し、フレーム
内モードの周波数帯域に対応する符号化方式選択部70
2a〜702nおよび復号信号選択部709a〜709
nにリフレッシュ命令を送出する。
【0063】符号化方式選択部702a〜702nは、
リフレッシュ制御部701からのリフレッシュ命令を検
出した場合、符号化情報をフレーム内復号部703a〜
703nへ出力し、リフレッシュ命令を検出しなかった
場合、符号化情報をフレーム間復号部704a〜704
nへ出力する。
【0064】フレーム内復号部703a〜703nは、
符号化方式選択部702a〜702nから出力されたフ
レーム内符号化情報を復号し、復号画像の各周波数帯域
成分信号を出力する。ただし、符号化方式選択部702
a〜702nから符号化情報が送られない場合、なにも
出力しない。
【0065】フレーム間復号部704a〜704nは、
符号化方式選択部702a〜702nから出力されたフ
レーム間予測符号化情報を復号し、復号された予測誤差
信号の各周波数帯域成分信号を出力する。ただし、符号
化方式選択部702a〜702nから符号化情報が送ら
れない場合、なにも出力しない。
【0066】フレームメモリ部705は、1つ前に復号
された画像信号を蓄積する。動き補償部706は、外部
から入力される動きベクトルを用いて、動き補償処理を
行ない、フレームメモリ部705から予測画像信号を読
み出す。
【0067】帯域分割部707は、動き補償部706に
よってフレームメモリ部705から読み出された予測画
像信号を、n個の周波数帯域成分に分割し、各周波数帯
域毎に加算部708a〜708nに出力する。加算部7
08a〜708nは、帯域分割部707から出力された
予測信号の各周波数成分と、復号部704a〜704n
からの復号された予測誤差信号の各周波数帯域成分を加
算し、復号画像の各周波数帯域成分信号を出力する。
【0068】復号画像信号選択部709a〜709n
は、リフレッシュ制御部701からのリフレッシュ命令
を検出した場合、復号部703a〜703nからの復号
画像信号の各周波数帯域成分を合成部710に出力し、
リフレッシュ命令が検出しされなかった場合、加算部7
08a〜708nからの復号画像信号の各周波数帯域成
分を合成部710に出力する。合成部710は、復号画
像信号選択部709a〜709nから出力された復号画
像の各周波数帯域成分信号を合成し、復号画像信号を出
力する。
【0069】図7の動画像復号装置の処理の流れを、図
8を用いて説明する。まず、階層化された符号化情報が
入力されると(U1)、リフレッシュ制御部701が各
周波数帯域の符号化情報を読み取って、リフレッシュす
る周波数帯域を決定し、その周波数帯域に対応する符号
化方式選択部702a〜702nおよび復号画像信号選
択部709a〜709nにリフレッシュ命令を送出す
る。
【0070】符号化方式選択部702a〜702nは、
リフレッシュ制御部701からのリフレッシュ命令を検
出した場合、その周波数帯域の符号化情報をフレーム内
復号部703a〜703nに出力し、リフレッシュ命令
を検出しなかった場合、フレーム間復号部704a〜7
04nに出力する(U2)。
【0071】フレーム内復号部703a〜703nは、
符号化方式選択部702a〜702nからフレーム内符
号化情報が送られてくると、その符号化情報を復号し、
復号画像信号の各周波数帯域成分を復号画像信号選択部
709a〜709nに出力する(U3)。符号化方式選
択部702a〜702nからの出力がない場合、復号画
像信号選択部709a〜709nには何も出力されな
い。
【0072】また、フレーム間復号部704a〜704
nは、符号化方式選択部702a〜702nからフレー
ム間予測符号化情報が送られてくると、その符号化情報
を復号し、予測誤差信号の各周波数帯域成分を加算部7
08a〜708nに出力する(U4)。
【0073】符号化方式選択部702a〜702nから
の出力がない場合、加算部708a〜708nには何も
出力されない。一方、動き補償部706は、外部から入
力される動きベクトルを用いて、フレームメモリ部10
6から予測画像信号を読み出す(U5)。この予測画像
信号は、帯域分割部707によってn個の周波数帯域成
分に分割され、各周波数帯域毎に加算部708a〜70
8nに出力される(U6)。
【0074】加算部708a〜708nは、復号部70
4a〜704nから出力された予測誤差信号の各周波数
帯域成分と、帯域分割部707から出力された予測画像
信号の各周波数帯域成分を、各周波数帯域毎に加算し、
復号画像信号の各周波数帯域成分を復号画像信号選択部
709a〜709nに出力する(U7)。
【0075】復号画像信号選択部709a〜709n
は、リフレッシュ制御部701からのリフレッシュ命令
を検出した場合は、復号部703a〜703nから出力
される復号画像信号の各周波数帯域成分を合成部710
に出力し、リフレッシュ命令を検出しなかった場合は、
加算部708a〜708nからの復号画像信号の各周波
数帯域成分を合成部710に出力する。
【0076】前記U2からU7の処理は、周波数帯域の
数だけ並行に行なわれるか、あるいは繰り返される。そ
して、すべての周波数帯域の符号化情報の復号が終了す
ると、合成部710は復号画像信号の各周波数帯域成分
を合成し、復号画像信号を外部に出力する(U8)。こ
の復号画像信号はフレームメモリ部705にも蓄積さ
れ、次の階層化された符号化情報の復号に用いられる。
以上U1からU8までの処理が最後の符号化情報の復号
が終了するまで繰り返され(U9)、処理は終了する。
【0077】
【発明の効果】以上、説明したとおり、請求項1の発明
によれば、階層リフレッシュ制御部が、各周波数帯域毎
フレーム内符号化部から出力される符号化情報と、前
記フレーム間符号化部から出力される符号化情報とを切
り替えて出力するよう制御するので、各周波数帯域成分
毎にフレーム内符号化を行なうことができ、効率的に復
号誤りの伝搬を防ぐことが可能である。
【0078】請求項2の発明によれば、階層リフレッシ
ュ制御部が各周波数帯域毎に入力画像信号または予測
誤差信号の各周波数帯域成分を、それぞれの周波数帯域
成分毎にフレーム内符号化またはフレーム間符号化して
出力するよう制御するので、各周波数帯域毎にフレーム
内符号化を行なうことができ、効率的に復号誤りの伝搬
を防ぐことが可能である。請求項3の発明によれば、階
層リフレッシュ制御部が、各周波数帯域成分を均一にリ
フレッシュするために、リフレッシュする周波数帯域
を周期的に変化させるよう制御するので、伝送誤りが
いかなる周波数帯域成分に発生しても、周期的に取り除
くことができる。
【0079】請求項4の発明によれば、階層リフレッシ
ュ制御部が、各周波数帯域成分毎にリフレッシュの頻度
を適応的に変化させるよう制御するので、見ための復号
動画像品質を向上させるために低周波数帯域のリフレッ
シュ頻度を増やすなどの、効果的なリフレッシュを行な
うことができる。
【0080】請求項5の発明によれば、階層リフレッシ
ュ制御部が、リフレッシュ時の符号量がほぼ一定になる
ように、リフレッシュを行なう周波数帯域成分を適宜選
択するよう制御するので、リフレッシュ時の符号量の変
化を抑えることができる。
【0081】請求項6の発明によれば、階層リフレッシ
ュ制御部が、各周波数帯域成分毎にフレーム内符号化情
報またはフレーム間符号化情報を切り替えて復号し、各
周波数帯域成分毎に適切な復号画像信号を選択合成する
よう制御するので、効率的に復号誤りの伝搬を防ぎ、復
号画像品質を向上させることが可能である
【図面の簡単な説明】
【図1】本発明に係る階層リフレッシュ制御手段を備え
た動画像符号化装置の第1の実施の形態の構成ブロック
図である。
【図2】本発明に係る動画像符号化装置の周波数帯域分
割部において入力信号が周波数帯域分割される様子を表
した図である。
【図3】図1の動画像符号化装置の処理の流れを説明す
るためのフローチャート図である。
【図4】本発明に係る階層リフレッシュ制御手段を備え
た動画像符号化装置におけるリフレッシュ制御部の動作
を説明するための図である。
【図5】本発明に係る階層リフレッシュ手段を備えた動
画像符号化装置の第2の実施の形態の構成ブロック図で
ある。
【図6】図5の動画像符号化装置の処理の流れを説明す
るためのフローチャート図である。
【図7】本発明に係る動画像復号装置の実施の形態の構
成ブロック図である。
【図8】図7の動画像復号装置の処理の流れを説明する
ためのフローチャート図である。
【図9】従来のフレーム間予測直交変換符号化方式を用
いた動画像符号化装置の構成ブロック図である。
【図10】周波数帯域分割を利用した従来の動画像階層
符号化方式の構成ブロック図である。
【符号の説明】
101 入力画像信号帯域分割部 102 予測誤差信号帯域分割部 103a〜103n フレーム内符号化部 104a〜104n フレーム間符号化部 105 リフレッシュ制御部 106 フレームメモリ部 107 動き補償予測部 108 差分演算部 109a〜109n、110a〜110n 符号化方式
選択部 111a〜111n フレーム内復号部 112a〜112n フレーム間復号部 113 予測画像信号帯域分割部 114a〜114n 加算部 115a〜115n 復号信号選択部 116 合成部 501a〜501n 符号化部 502a〜502n 復号部 701 リフレッシュ制御部 702a〜702n 符号化方式選択部 703a〜703n フレーム内復号部 704a〜704n フレーム間復号部 705 フレームメモリ部 706 動き補償予測部 707 帯域分割部 708a〜708n 加算部 709a〜709n 復号信号選択部 710 合成部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 JICSTファイル(JOIS) WPI(DIALOG)

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】き補償フレーム間予測を行うことによ
    り得た予測画像信号と入力画像信号との差を予測誤差情
    報として符号化する動画像符号化装置であって、 前記入力画像信号をいくつかの周波数帯域成分に分割す
    る入力画像信号帯域分割部と、 前記 予測誤差信号をいくつかの周波数帯域成分に分割
    る予測誤差信号帯域分割部と、 前記入力画像信号帯域分割部から出力される入力画像信
    号の各周波数帯域成分を、それぞれの周波数帯域成分毎
    に符号化するフレーム内符号化部と、 前記予測誤差信号帯域分割部から出力される予測誤差信
    号の各周波数帯域成分を、それぞれの周波数帯域成分毎
    に符号化するフレーム間符号化部と、 各周波数帯域成分のそれぞれに対して、前記フレーム内
    符号化部から出力されるフレーム内符号化情報と、前記
    フレーム間符号化部から出力されるフレーム間符号化情
    報とのいずれかを切り替えて出力する符号化方式選択部
    と、 前記符号化方式選択部を、各周波数帯域毎に切替制御す
    階層リフレッシュ制御部とを備えたことを特徴とする
    動画像符号化装置。
  2. 【請求項2】 動き補償フレーム間予測を行うことによ
    り得た予測画像信号と入力画像信号との差を予測誤差情
    報として符号化する動画像符号化装置であって、 前記入力画像信号をいくつかの周波数帯域成分に分割す
    る入力画像信号帯域分割部と、 前記予測誤差信号をいくつかの周波数帯域成分に分割す
    る予測誤差信号帯域分割部と、 各周波数帯域成分のそれぞれに対して、前記入力画像信
    号帯域分割部から出力される入力画像信号の当該周波数
    帯域成分と、前記予測誤差信号帯域分割部から出力され
    る予測誤差信号の当該周波数帯域成分とのいずれかを切
    り替えて出力する符号化方式選択部と、 前記符号化方式選択部から出力される入力画像信号また
    は予測誤差信号の各周 波数帯域成分を、それぞれの周波
    数帯域成分毎に符号化して、フレーム内符号化情報また
    はフレーム間符号化情報として出力する符号化部と、 前記符号化方式選択部を、各周波数帯域毎に切替制御す
    る階層リフレッシュ制御部とを備えたことを特徴とする
    動画像符号化装置
  3. 【請求項3】 前記階層リフレッシュ制御は、各周波
    数帯域成分を均一にリフレッシュするために、リフレッ
    シュする周波数帯域成分を周期的に変化させるよう制御
    することを特徴とする前記請求項1または2に記載の動
    画像符号化装置。
  4. 【請求項4】 前記階層リフレッシュ制御は、各周波
    数帯域成分のリフレッシュの頻度を適応的に変化させる
    よう制御することを特徴とする前記請求項1または2に
    記載の動画像符号化装置。
  5. 【請求項5】 前記階層リフレッシュ制御は、リフレ
    ッシュ時の符号量がほぼ一定になるように、リフレッシ
    ュを行なう周波数帯域成分を適宜選択するよう制御する
    ことを特徴とする前記請求項1または2に記載の動画像
    符号化装
  6. 【請求項6】 動き補償フレーム間予測を行うことによ
    り得た予測画像信号を用いて画像符号化情報を復号する
    動画像復号化装置であって、 各周波数帯域成分のそれぞれについて、フレーム内符号
    化情報の場合はフレーム内復号化部へ フレーム間符号
    化情報の場合はフレーム間復号部へ切り替えて出力する
    符号化方式選択部と、 前記符号化方式選択部から出力されたフレーム内符号化
    情報を復号するフレーム内復号部と、 前記符号化方式選択部から出力されたフレーム間符号化
    情報を復号するフレーム間復号部と、 前記予測画像信号をいくつかの周波数帯域成分に分割す
    る予測画像信号帯域分割部と、 前記フレーム間復号部から出力された予測誤差信号の各
    周波数帯域成分と、前記予測画像信号帯域分割部から出
    力された予測画像信号の各周波数帯域成分とを加算する
    加算部と、 各周波数帯域成分のそれぞれについて 前記フレーム内
    復号部から出力された 復号画像信号の当該周波数帯域成
    分と、前記加算部から出力された復号画像信号の当該周
    波数帯域成分とのいずれかを切り替えて出力する復号画
    像信号選択部と、 前記復号画像信号選択部から出力された復号画像信号の
    各周波数帯域成分を合成する合成部と、 前記符号化方式選択部及び前記復号画像信号選択部を、
    各周波数帯域毎に切替制御する 階層リフレッシュ制御部
    を備えたことを特徴とする動画像復号装置。
JP25563596A 1996-09-27 1996-09-27 動画像符号化装置及び動画像復号装置 Expired - Fee Related JP3294510B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP25563596A JP3294510B2 (ja) 1996-09-27 1996-09-27 動画像符号化装置及び動画像復号装置
US08/937,619 US6144769A (en) 1996-09-27 1997-09-25 Video coding device and decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25563596A JP3294510B2 (ja) 1996-09-27 1996-09-27 動画像符号化装置及び動画像復号装置

Publications (2)

Publication Number Publication Date
JPH10108195A JPH10108195A (ja) 1998-04-24
JP3294510B2 true JP3294510B2 (ja) 2002-06-24

Family

ID=17281491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25563596A Expired - Fee Related JP3294510B2 (ja) 1996-09-27 1996-09-27 動画像符号化装置及び動画像復号装置

Country Status (2)

Country Link
US (1) US6144769A (ja)
JP (1) JP3294510B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3606306B2 (ja) * 1998-10-08 2005-01-05 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
KR100425676B1 (ko) * 2001-03-15 2004-04-03 엘지전자 주식회사 비디오 전송 시스템의 에러 복구 방법
US20030161406A1 (en) * 2002-02-26 2003-08-28 Chulhee Lee Methods for objective measurement of video quality
JP2004015501A (ja) 2002-06-07 2004-01-15 Nec Corp 動画像符号化装置および動画像符号化方法
JP2006279850A (ja) * 2005-03-30 2006-10-12 Sanyo Electric Co Ltd 画像処理装置
JP4993676B2 (ja) * 2006-09-01 2012-08-08 キヤノン株式会社 画像符号化装置及び画像符号化方法
US8295356B2 (en) * 2008-03-07 2012-10-23 International Business Machines Corporation Method and system for coding mode selection in video compression systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105300A (ja) * 1992-09-21 1994-04-15 Matsushita Electric Ind Co Ltd 画像符号化装置
JP3093494B2 (ja) * 1992-11-18 2000-10-03 株式会社東芝 多様性信号処理装置
US5602589A (en) * 1994-08-19 1997-02-11 Xerox Corporation Video image compression using weighted wavelet hierarchical vector quantization
DE69619002T2 (de) * 1995-03-10 2002-11-21 Toshiba Kawasaki Kk Bildkodierungs-/-dekodierungsvorrichtung
US5740283A (en) * 1995-07-06 1998-04-14 Rubin, Bednarek & Associates, Inc. Digital video compression utilizing mixed vector and scalar outputs

Also Published As

Publication number Publication date
JPH10108195A (ja) 1998-04-24
US6144769A (en) 2000-11-07

Similar Documents

Publication Publication Date Title
JP2962012B2 (ja) 動画像符号化装置及びその復号装置
US7310371B2 (en) Method and/or apparatus for reducing the complexity of H.264 B-frame encoding using selective reconstruction
US7359558B2 (en) Spatial scalable compression
CN102150428B (zh) 用于使用自适应分段的视频编码的系统和方法
KR100569613B1 (ko) 신호부호화방법,신호부호화장치,신호기록매체및신호전송방법
JPH05137131A (ja) フレーム間動き予測方法
JPH1023423A (ja) 画像符号化装置および画像復号化装置
JPH0556275A (ja) 画像符号化装置及び画像復号装置
KR20010031222A (ko) 트랜스코딩 방법 및 장치
AU2003203271A1 (en) Image coding method and apparatus and image decoding method and apparatus
JP2006279573A (ja) 符号化装置と方法、ならびに復号装置と方法
JPH02192378A (ja) フレーム間予測符号化装置及び復号装置
US20050265444A1 (en) Moving image encoding/decoding apparatus and method
US6091775A (en) Video-coding device and video-decoding device
US7702017B2 (en) Moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program
WO2013071721A1 (en) Method and apparatus of video encoding with partitioned bitstream
JP3294510B2 (ja) 動画像符号化装置及び動画像復号装置
JP2006340183A (ja) 画像符号化装置及び画像符号化方法
JPH05153574A (ja) 動画像データ復号化装置
JP2003348594A (ja) 画像復号装置及び方法
JPH02301280A (ja) 動画像信号の符号化・復号化方式
MX2014004501A (es) Metodo de codificacion con prediccion de video de movimiento, dispositivo de codificacion con prediccion de video de movimiento, programa de codificacion con prediccion de video de movimiento, metodo para descifrar con prediccion de video de movimiento, dispositivo para descifrar con prediccion de video de movimiento, y programa para descifrar con prediccion de video de movimiento.
JP2006324888A (ja) 動画像符号化装置
US6091770A (en) Image coding and decoding method and related apparatus
JPH04268892A (ja) フレーム間適応予測符号化方式

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080405

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090405

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090405

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100405

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100405

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110405

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees