JP3523481B2 - 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法 - Google Patents
映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法Info
- Publication number
- JP3523481B2 JP3523481B2 JP04001398A JP4001398A JP3523481B2 JP 3523481 B2 JP3523481 B2 JP 3523481B2 JP 04001398 A JP04001398 A JP 04001398A JP 4001398 A JP4001398 A JP 4001398A JP 3523481 B2 JP3523481 B2 JP 3523481B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- motion vector
- video signal
- video
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は映像（動画像）信号
に含まれる情報量を圧縮削減して、符号化するための映
像符号化装置及び、符号化された情報を復号して映像信
号を復元するための映像復号化装置に関するものであ
り、特にモバイル通信網など、伝送誤りに耐性が必要な
装置に関する。
に含まれる情報量を圧縮削減して、符号化するための映
像符号化装置及び、符号化された情報を復号して映像信
号を復元するための映像復号化装置に関するものであ
り、特にモバイル通信網など、伝送誤りに耐性が必要な
装置に関する。
【０００２】
【従来の技術】近年、ＰＨＳ（Personal Handy phone S
ystem）やデジタルセルラー等の移動体通信網の整備、
普及が急速に進展しており、従来ＩＳＤＮなどの有線網
が中心であった画像通信を、移動体通信にも適用するこ
とが行われている。
ystem）やデジタルセルラー等の移動体通信網の整備、
普及が急速に進展しており、従来ＩＳＤＮなどの有線網
が中心であった画像通信を、移動体通信にも適用するこ
とが行われている。
【０００３】一般に、映像情報に含まれる情報量は非常
に多いために、特に移動体通信等の情報量の小さい伝送
路で、映像信号をそのまま伝送することは不可能であ
る。そこで、映像信号にはその情報に多くの冗長性が含
まれているために、この冗長度を取り除くことによっ
て、情報量を削減する（圧縮する）ことが可能である。
このために、高能率な映像の（圧縮）符号化技術が重要
となる。そのため、ＩＴＵ−ＴやＩＳＯ／ＩＥＣでは超
低ビットレートでの映像符号化方式の国際標準化作業が
進められている。
に多いために、特に移動体通信等の情報量の小さい伝送
路で、映像信号をそのまま伝送することは不可能であ
る。そこで、映像信号にはその情報に多くの冗長性が含
まれているために、この冗長度を取り除くことによっ
て、情報量を削減する（圧縮する）ことが可能である。
このために、高能率な映像の（圧縮）符号化技術が重要
となる。そのため、ＩＴＵ−ＴやＩＳＯ／ＩＥＣでは超
低ビットレートでの映像符号化方式の国際標準化作業が
進められている。
【０００４】映像信号には、映像に含まれる動きなどの
変化による時間的な情報と、１枚の画像（画像フレーム
または画像フィールド、以下両方を合わせて画像フレー
ムという）信号の内容に関する空間的な情報の２つが存
在し、それぞれが冗長性を有している。
変化による時間的な情報と、１枚の画像（画像フレーム
または画像フィールド、以下両方を合わせて画像フレー
ムという）信号の内容に関する空間的な情報の２つが存
在し、それぞれが冗長性を有している。
【０００５】動き補償フレーム間予測直交変換符号化方
法では、動き補償フレーム間予測によって、空間的な冗
長度を取り除いた後に、更にフレーム間予測誤差信号に
対して直交変換符号化によって、空間的な冗長度を取り
除くというハイブリッド構成となっている。
法では、動き補償フレーム間予測によって、空間的な冗
長度を取り除いた後に、更にフレーム間予測誤差信号に
対して直交変換符号化によって、空間的な冗長度を取り
除くというハイブリッド構成となっている。
【０００６】上述の動き補償フレーム間予測直交変換符
号化方法の原理を図４に示す。動き補償フレーム間予測
部４１では、フレームメモリ４３に記憶されている既に
符号化された映像信号から、入力された映像信号の予測
値を作成し、該予測値と入力映像信号との差分を予測誤
差信号として出力する。このとき、予測値を作成するた
めに利用する動き情報である動きベクトル情報も出力す
る。
号化方法の原理を図４に示す。動き補償フレーム間予測
部４１では、フレームメモリ４３に記憶されている既に
符号化された映像信号から、入力された映像信号の予測
値を作成し、該予測値と入力映像信号との差分を予測誤
差信号として出力する。このとき、予測値を作成するた
めに利用する動き情報である動きベクトル情報も出力す
る。
【０００７】予測誤差符号化部４２では、前記予測誤差
信号を直交変換などの手法を用いて符号化し、更に冗長
度を抑圧する。この符号化された予測誤差信号は、局部
復号され、フレームメモリ４３に格納され、次の画像フ
レームの予測に利用される。
信号を直交変換などの手法を用いて符号化し、更に冗長
度を抑圧する。この符号化された予測誤差信号は、局部
復号され、フレームメモリ４３に格納され、次の画像フ
レームの予測に利用される。
【０００８】図５は、上記図４の動き補償フレーム間予
測部４１の構成を示す図である。動き補償フレーム間予
測部は、既に符号化された映像信号を記憶するためのフ
レームメモリ部５１、入力された映像信号と前記フレー
ムメモリ部５１から読み出された映像信号との間で単位
領域毎に動きベクトルを求める動きベクトル検出部５
２、該動きベクトルを用いて前記フレームメモリ部５１
から読み出された映像信号から予測画像信号を作成する
予測画像作成部５３とから構成されている。
測部４１の構成を示す図である。動き補償フレーム間予
測部は、既に符号化された映像信号を記憶するためのフ
レームメモリ部５１、入力された映像信号と前記フレー
ムメモリ部５１から読み出された映像信号との間で単位
領域毎に動きベクトルを求める動きベクトル検出部５
２、該動きベクトルを用いて前記フレームメモリ部５１
から読み出された映像信号から予測画像信号を作成する
予測画像作成部５３とから構成されている。
【０００９】以下に、各部の動作を説明する。フレーム
メモリ部５１には、既に符号化された映像信号が、フレ
ーム間予測のための参照フレームとして格納されてい
る。動きベクトル検出部５２には、現在の符号化対象で
ある画像フレーム信号が入力されるとともに、フレーム
メモリ部５１に格納されている参照フレームを読み出
す。
メモリ部５１には、既に符号化された映像信号が、フレ
ーム間予測のための参照フレームとして格納されてい
る。動きベクトル検出部５２には、現在の符号化対象で
ある画像フレーム信号が入力されるとともに、フレーム
メモリ部５１に格納されている参照フレームを読み出
す。
【００１０】該動きベクトル検出部５２は、符号化対象
画像フレームを単位領域に分割し、参照フレーム中で当
該領域と最も似通った部分を、単位領域毎に探索する。
その結果として、符号化対象フレーム内領域の位置と、
探索された参照フレーム内領域の位置との変異を動きベ
クトルとして出力する。この領域探索時には、領域同士
が似通っていることの評価尺度として、領域内各画素値
の差分絶対値和や差分自乗和などが用いられる。
画像フレームを単位領域に分割し、参照フレーム中で当
該領域と最も似通った部分を、単位領域毎に探索する。
その結果として、符号化対象フレーム内領域の位置と、
探索された参照フレーム内領域の位置との変異を動きベ
クトルとして出力する。この領域探索時には、領域同士
が似通っていることの評価尺度として、領域内各画素値
の差分絶対値和や差分自乗和などが用いられる。
【００１１】次に、前記動きベクトルは、予測画像作成
部５３に入力される、該予測画像作成部５３では、該動
きベクトルを注目領域における参照フレームからの変位
として、フレームメモリ部５１から対応する位置の領域
の各画素値が予測値として読み出されて、予測フレーム
が構成される。
部５３に入力される、該予測画像作成部５３では、該動
きベクトルを注目領域における参照フレームからの変位
として、フレームメモリ部５１から対応する位置の領域
の各画素値が予測値として読み出されて、予測フレーム
が構成される。
【００１２】図６は、映像復号化装置における動き補償
フレーム間予測部の構成を示す図である。映像復号化装
置における動き補償フレーム間予測部では、すでに復号
化された映像信号を記憶しておくためのフレームメモリ
部６１と、単位領域毎に入力される動きベクトルを用い
て前記フレームメモリ部６１から読み出された映像信号
から予測画像信号を作成する予測画像作成部６２とから
構成されている。
フレーム間予測部の構成を示す図である。映像復号化装
置における動き補償フレーム間予測部では、すでに復号
化された映像信号を記憶しておくためのフレームメモリ
部６１と、単位領域毎に入力される動きベクトルを用い
て前記フレームメモリ部６１から読み出された映像信号
から予測画像信号を作成する予測画像作成部６２とから
構成されている。
【００１３】フレームメモリ部６１、予測画像作成部６
２は映像復号化装置におけるフレームメモリ部５１、予
測画像作成部５３の構成と同様である。復号側におい
て、符号化側と同様に予測フレームが作成される。
２は映像復号化装置におけるフレームメモリ部５１、予
測画像作成部５３の構成と同様である。復号側におい
て、符号化側と同様に予測フレームが作成される。
【００１４】さて、上記したように、移動体通信など、
伝送路の状態が不安定な場合は、伝送誤りによる問題が
発生する。上記のように、映像の符号化では、映像信号
に含まれる冗長度を抑圧するため、情報を削減している
ために、誤りが生じると影響が大きくなってしまうとい
う問題がある。
伝送路の状態が不安定な場合は、伝送誤りによる問題が
発生する。上記のように、映像の符号化では、映像信号
に含まれる冗長度を抑圧するため、情報を削減している
ために、誤りが生じると影響が大きくなってしまうとい
う問題がある。
【００１５】また、映像の符号化では、上記のような動
き補償フレーム間予測を行っているため、符号化側と復
号側で同一の予測値を作成する必要がある。しかし、伝
送誤りが生じて復号側で誤った情報を受信すると、符号
化映像信号を正しく復元することができなくなってしま
う。この時、相手に正しく情報が伝送されたことを想定
している符号化側と、誤った情報を受信している復号側
とで、全く異なる映像信号が復元されることとなり、予
測値の不一致を生じる。
き補償フレーム間予測を行っているため、符号化側と復
号側で同一の予測値を作成する必要がある。しかし、伝
送誤りが生じて復号側で誤った情報を受信すると、符号
化映像信号を正しく復元することができなくなってしま
う。この時、相手に正しく情報が伝送されたことを想定
している符号化側と、誤った情報を受信している復号側
とで、全く異なる映像信号が復元されることとなり、予
測値の不一致を生じる。
【００１６】このような不一致が一度生じると、間違っ
た情報からの予測を行いつづけることになり、その影響
が後続する画像フレームに波及して、著しい映像品質劣
化を引き起こすことになる。
た情報からの予測を行いつづけることになり、その影響
が後続する画像フレームに波及して、著しい映像品質劣
化を引き起こすことになる。
【００１７】このような問題を解決する一手段として、
図７に示すように、動きベクトル情報を重複して伝送す
る手段がある。これは、動きベクトルの誤りは、その映
像品質への影響が大きいために、このような重要な情報
は複数回繰り返して伝送することにより、複数回のう
ち、どれか一度でも正しく伝送できれば、復号側でその
情報を用いて正しい映像信号を復元できるようにするも
のである。
図７に示すように、動きベクトル情報を重複して伝送す
る手段がある。これは、動きベクトルの誤りは、その映
像品質への影響が大きいために、このような重要な情報
は複数回繰り返して伝送することにより、複数回のう
ち、どれか一度でも正しく伝送できれば、復号側でその
情報を用いて正しい映像信号を復元できるようにするも
のである。
【００１８】
【発明が解決しようとする課題】しかしながら、上記し
たように、動きベクトル情報を重複して伝送する方式で
は、確かに確率的には誤りが生じる可能性を低減できる
にしても、その確率はやはり０ではなく、また、画像フ
レーム開始符号での誤りなどにより、画像フレーム全体
が正常に複合できない場合では、重複して伝送すること
による効果は得られないため、従来からの問題である、
符号化側と復号側での予測値の不一致を回復することは
やはり不可能であり、映像品質は劣化したままであると
いう問題点は、何ら改善されない。
たように、動きベクトル情報を重複して伝送する方式で
は、確かに確率的には誤りが生じる可能性を低減できる
にしても、その確率はやはり０ではなく、また、画像フ
レーム開始符号での誤りなどにより、画像フレーム全体
が正常に複合できない場合では、重複して伝送すること
による効果は得られないため、従来からの問題である、
符号化側と復号側での予測値の不一致を回復することは
やはり不可能であり、映像品質は劣化したままであると
いう問題点は、何ら改善されない。
【００１９】また、動きベクトル情報を重複して伝送す
ることは全く同一の情報を複数回伝送するために、伝送
情報量が増加してしまい、符号化効率を落としてしまう
という問題があった。
ることは全く同一の情報を複数回伝送するために、伝送
情報量が増加してしまい、符号化効率を落としてしまう
という問題があった。
【００２０】そこで、本発明はこのような問題点を解決
するものであり、既に符号化された映像フレームに対す
る動きベクトルを一時的に保存し、次のフレーム符号化
映像情報を伝送する際に、該記憶された動きベクトル情
報を合わせて伝送することにより、伝送誤りによって、
ある符号化画像フレームが正しく復元できなかった場合
にも、次の符号化画像情報と共に伝送される以前の画像
フレームに対する動きベクトル情報を用いて、誤った画
像フレームを再構成することによって、後続の画像フレ
ームに伝送誤りの影響が波及せずに、映像品質劣化を小
さくするものである。
するものであり、既に符号化された映像フレームに対す
る動きベクトルを一時的に保存し、次のフレーム符号化
映像情報を伝送する際に、該記憶された動きベクトル情
報を合わせて伝送することにより、伝送誤りによって、
ある符号化画像フレームが正しく復元できなかった場合
にも、次の符号化画像情報と共に伝送される以前の画像
フレームに対する動きベクトル情報を用いて、誤った画
像フレームを再構成することによって、後続の画像フレ
ームに伝送誤りの影響が波及せずに、映像品質劣化を小
さくするものである。
【００２１】さらに、記憶しておいた前回の動きベクト
ル情報を合わせて伝送する際に、符号化対象映像フレー
ムの動きベクトルとの差分値を符号化することによっ
て、さらに情報量の増加を少なくし、符号化映像品質を
向上させるものである。
ル情報を合わせて伝送する際に、符号化対象映像フレー
ムの動きベクトルとの差分値を符号化することによっ
て、さらに情報量の増加を少なくし、符号化映像品質を
向上させるものである。
【００２２】
【課題を解決するための手段】本発明の請求項１に係る
発明は、過去に符号化されたフレームｎ−１の映像信号
を記憶しておくためのフレームメモリと、画像フレーム
を入力する画像フレーム入力手段と、新たに入力された
フレームｎの映像信号と前記フレームメモリに記憶され
ているフレームｎ−１の映像信号とを比較し、単位領域
毎に動きベクトルＭＶを求め、前記フレームメモリに記
憶されているフレームｎ−１の映像信号と、前記動きベ
クトルＭＶとから、新たに入力されたフレームｎの映像
信号の予測画像信号を作成する動き補償フレーム間予測
部と、前記フレームｎの映像信号の予測画像信号と新た
に入力されたフレームｎの映像信号との誤差を符号化し
た符号化映像信号を求める予測誤差符号化部と、動きベ
クトルＭＶと符号化映像信号を出力する伝送符号出力手
段とを備える映像符号化装置であって、前記動き補償フ
レーム間予測部において、フレームｎ−２の映像信号と
フレームｎ−１の映像信号間の動きベクトルを動きベク
トルＭＶ’として記憶する動きベクトル記憶部を備え、
新たにフレームｎの映像信号が入力されると、前記伝送
符号出力手段において、動きベクトルＭＶと、前記予測
誤差符号化部から出力される符号化映像信号に加えて、
動きベクトルＭＶ’とからフレームｎに対する符号化映
像情報を構成して伝送することにより上記課題を解決す
る。
発明は、過去に符号化されたフレームｎ−１の映像信号
を記憶しておくためのフレームメモリと、画像フレーム
を入力する画像フレーム入力手段と、新たに入力された
フレームｎの映像信号と前記フレームメモリに記憶され
ているフレームｎ−１の映像信号とを比較し、単位領域
毎に動きベクトルＭＶを求め、前記フレームメモリに記
憶されているフレームｎ−１の映像信号と、前記動きベ
クトルＭＶとから、新たに入力されたフレームｎの映像
信号の予測画像信号を作成する動き補償フレーム間予測
部と、前記フレームｎの映像信号の予測画像信号と新た
に入力されたフレームｎの映像信号との誤差を符号化し
た符号化映像信号を求める予測誤差符号化部と、動きベ
クトルＭＶと符号化映像信号を出力する伝送符号出力手
段とを備える映像符号化装置であって、前記動き補償フ
レーム間予測部において、フレームｎ−２の映像信号と
フレームｎ−１の映像信号間の動きベクトルを動きベク
トルＭＶ’として記憶する動きベクトル記憶部を備え、
新たにフレームｎの映像信号が入力されると、前記伝送
符号出力手段において、動きベクトルＭＶと、前記予測
誤差符号化部から出力される符号化映像信号に加えて、
動きベクトルＭＶ’とからフレームｎに対する符号化映
像情報を構成して伝送することにより上記課題を解決す
る。
【００２３】本発明の請求項２に係る発明では、前記伝
送符号出力手段において、動きベクトルＭＶ’は動きベ
クトルＭＶとの差分値として出力することにより、上記
課題を解決する。
送符号出力手段において、動きベクトルＭＶ’は動きベ
クトルＭＶとの差分値として出力することにより、上記
課題を解決する。
【００２４】本発明の請求項３に係る発明は、過去に復
号化されたフレームｎ−１の映像信号を記憶する第１フ
レームメモリと、フレームｎ−１とフレームｎ間の動き
ベクトルＭＶと、フレームｎの映像信号の予測画像信号
とフレームｎの映像信号との誤差が符号化された符号化
映像信号とを入力する伝送符号入力手段と、前記第１フ
レームメモリから読み出されたフレームｎ−１の映像信
号と動きベクトルＭＶとに基づいて、フレームｎの予測
画像信号を作成する第１予測画像作成手段と、前記符号
化映像信号とフレームｎの予測画像信号からフレームｎ
の画像フレームを復号して出力する画像フレーム出力手
段を備える映像復号化装置であって、前記伝送符号入力
手段において、フレームｎに対する符号化映像情報とし
て、動きベクトルＭＶと符号化映像信号とともに伝送さ
れるフレームｎ−２とフレームｎ−１間の動きベクトル
ＭＶ’を入力し、フレームｎ−１に対する予測画像の作
成に利用されたフレームｎ−２の映像信号を記憶する第
２フレームメモリと、前記第１フレームメモリから読み
出されたフレームｎ−１が正常に復号化されているか否
かを判断する復号化判断手段と、前記復号化判断手段に
おいて、フレームｎ−１が正常に復号化されていなかっ
た場合、前記第２フレームメモリからフレームｎ−２を
読み出し、フレームｎ−２の映像信号と、前記動きベク
トルＭＶ’とに基づいて、フレームｎ−１の予測画像信
号を作成して、前記第１フレームメモリに格納する第２
予測画像作成手段とを備えることにより上記課題を解決
する。
号化されたフレームｎ−１の映像信号を記憶する第１フ
レームメモリと、フレームｎ−１とフレームｎ間の動き
ベクトルＭＶと、フレームｎの映像信号の予測画像信号
とフレームｎの映像信号との誤差が符号化された符号化
映像信号とを入力する伝送符号入力手段と、前記第１フ
レームメモリから読み出されたフレームｎ−１の映像信
号と動きベクトルＭＶとに基づいて、フレームｎの予測
画像信号を作成する第１予測画像作成手段と、前記符号
化映像信号とフレームｎの予測画像信号からフレームｎ
の画像フレームを復号して出力する画像フレーム出力手
段を備える映像復号化装置であって、前記伝送符号入力
手段において、フレームｎに対する符号化映像情報とし
て、動きベクトルＭＶと符号化映像信号とともに伝送さ
れるフレームｎ−２とフレームｎ−１間の動きベクトル
ＭＶ’を入力し、フレームｎ−１に対する予測画像の作
成に利用されたフレームｎ−２の映像信号を記憶する第
２フレームメモリと、前記第１フレームメモリから読み
出されたフレームｎ−１が正常に復号化されているか否
かを判断する復号化判断手段と、前記復号化判断手段に
おいて、フレームｎ−１が正常に復号化されていなかっ
た場合、前記第２フレームメモリからフレームｎ−２を
読み出し、フレームｎ−２の映像信号と、前記動きベク
トルＭＶ’とに基づいて、フレームｎ−１の予測画像信
号を作成して、前記第１フレームメモリに格納する第２
予測画像作成手段とを備えることにより上記課題を解決
する。
【００２５】本発明の請求項４に係る発明は、前記第１
フレームメモリに復号化されたフレームｎ−１の映像信
号を格納する際に、正常に復号できた部分は該復号デー
タを格納し、正常に復号できなかった部分は、当該部分
の復号データの代わりに異常であることを示す情報を格
納し、前記復号化判断手段により、フレームｎ−１の異
常がある部分を判断し、前記第２予測画像作成手段にお
いて、前記復号化判断手段により判断された、異常があ
る部分のみ、前記第２フレームメモリからフレームｎ−
２を読み出し、フレームｎ−２の映像信号と、前記動き
ベクトルＭＶ’とに基づいて、フレームｎ−１の予測画
像信号を作成して、フレームｎ−１の映像信号とて前記
第１フレームメモリに格納することにより上記課題を解
決する。
フレームメモリに復号化されたフレームｎ−１の映像信
号を格納する際に、正常に復号できた部分は該復号デー
タを格納し、正常に復号できなかった部分は、当該部分
の復号データの代わりに異常であることを示す情報を格
納し、前記復号化判断手段により、フレームｎ−１の異
常がある部分を判断し、前記第２予測画像作成手段にお
いて、前記復号化判断手段により判断された、異常があ
る部分のみ、前記第２フレームメモリからフレームｎ−
２を読み出し、フレームｎ−２の映像信号と、前記動き
ベクトルＭＶ’とに基づいて、フレームｎ−１の予測画
像信号を作成して、フレームｎ−１の映像信号とて前記
第１フレームメモリに格納することにより上記課題を解
決する。
【００２６】本発明の請求項５に係る発明では、前記伝
送符号入力手段において、ベクトルＭＶ’は動きベクト
ルＭＶとの差分情報として入力されることにより、上記
課題を解決する。
送符号入力手段において、ベクトルＭＶ’は動きベクト
ルＭＶとの差分情報として入力されることにより、上記
課題を解決する。
【００２７】本発明の請求項６に係る発明は、入力され
たフレームｎの映像信号と過去に符号化されたフレーム
ｎ−１の映像信号とを比較し、単位領域毎に動きベクト
ルＭＶを求め、フレームｎ−１の映像信号と、前記動き
ベクトルＭＶとから、新たに入力されたフレームｎの映
像信号の予測画像信号を作成し、前記フレームｎの映像
信号の予測画像信号と新たに入力されたフレームｎの映
像信号との誤差を符号化した符号化映像信号を求め、動
きベクトルＭＶと符号化映像信号を出力する映像符号化
方法において、フレームｎ−２の映像信号とフレームｎ
−１の映像信号間の動きベクトルを動きベクトルＭＶ’
として記憶し、新たにフレームｎの映像信号が入力され
ると、動きベクトルＭＶ’と動きベクトルＭＶと、フレ
ームｎの映像信号の予測画像信号とフレームｎの映像信
号との誤差を符号化した符号化映像信号に加えて、動き
ベクトルＭＶ’とからフレームｎに対する符号化映像情
報を構成して伝送することにより上記課題を解決する。
たフレームｎの映像信号と過去に符号化されたフレーム
ｎ−１の映像信号とを比較し、単位領域毎に動きベクト
ルＭＶを求め、フレームｎ−１の映像信号と、前記動き
ベクトルＭＶとから、新たに入力されたフレームｎの映
像信号の予測画像信号を作成し、前記フレームｎの映像
信号の予測画像信号と新たに入力されたフレームｎの映
像信号との誤差を符号化した符号化映像信号を求め、動
きベクトルＭＶと符号化映像信号を出力する映像符号化
方法において、フレームｎ−２の映像信号とフレームｎ
−１の映像信号間の動きベクトルを動きベクトルＭＶ’
として記憶し、新たにフレームｎの映像信号が入力され
ると、動きベクトルＭＶ’と動きベクトルＭＶと、フレ
ームｎの映像信号の予測画像信号とフレームｎの映像信
号との誤差を符号化した符号化映像信号に加えて、動き
ベクトルＭＶ’とからフレームｎに対する符号化映像情
報を構成して伝送することにより上記課題を解決する。
【００２８】本発明の請求項７に係る発明では、前記動
きベクトルＭＶ’は動きベクトルＭＶとの差分値として
出力することにより、上記課題を解決する。
きベクトルＭＶ’は動きベクトルＭＶとの差分値として
出力することにより、上記課題を解決する。
【００２９】本発明の請求項８に係る発明は、フレーム
ｎ−１とフレームｎ間の動きベクトルＭＶと、フレーム
ｎの映像信号の予測画像信号と新たに入力されたフレー
ムｎの映像信号との誤差が符号化された符号化映像信号
とを入力し、過去に復号化されたフレームｎ−１の映像
信号と動きベクトルＭＶとに基づいて、フレームｎの予
測画像信号を作成し、前記符号化映像信号とフレームｎ
の予測画像信号からフレームｎの画像フレームを復号し
て出力する映像復号化方法であって、フレームｎに対す
る符号化映像情報として、動きベクトルＭＶと符号化映
像信号とともに伝送されたフレームｎ−２とフレームｎ
−１間の動きベクトルＭＶ’を入力し、フレームｎ−１
が正常に復号化されているか否かを判断し、フレームｎ
−１が正常に復号化されていなかった場合、さらにフレ
ームｎ−１に対する予測画像の作成に利用されたフレー
ムｎ−２を読み出し、フレームｎ−２の映像信号と、前
記動きベクトルＭＶ’とに基づいて、フレームｎ−１の
予測画像信号を作成し、フレームｎ−１の映像信号とし
てフレームｎの予測画像信号の作成に利用することによ
り上記課題を解決する。
ｎ−１とフレームｎ間の動きベクトルＭＶと、フレーム
ｎの映像信号の予測画像信号と新たに入力されたフレー
ムｎの映像信号との誤差が符号化された符号化映像信号
とを入力し、過去に復号化されたフレームｎ−１の映像
信号と動きベクトルＭＶとに基づいて、フレームｎの予
測画像信号を作成し、前記符号化映像信号とフレームｎ
の予測画像信号からフレームｎの画像フレームを復号し
て出力する映像復号化方法であって、フレームｎに対す
る符号化映像情報として、動きベクトルＭＶと符号化映
像信号とともに伝送されたフレームｎ−２とフレームｎ
−１間の動きベクトルＭＶ’を入力し、フレームｎ−１
が正常に復号化されているか否かを判断し、フレームｎ
−１が正常に復号化されていなかった場合、さらにフレ
ームｎ−１に対する予測画像の作成に利用されたフレー
ムｎ−２を読み出し、フレームｎ−２の映像信号と、前
記動きベクトルＭＶ’とに基づいて、フレームｎ−１の
予測画像信号を作成し、フレームｎ−１の映像信号とし
てフレームｎの予測画像信号の作成に利用することによ
り上記課題を解決する。
【００３０】本発明の請求項９に係る発明は、符号化さ
れたフレームを記憶する際に、正常に復号できた部分は
該復号データを格納し、正常に復号できなかった部分
は、当該部分の復号データの代わりに異常であることを
示す情報を格納し、フレームｎ−１が正常に復号化され
ているか否か判断するとともに、異常がある部分を判断
し、異常がある部分のみ、フレームｎ−２を読み出し、
フレームｎ−２の映像信号と、前記動きベクトルＭＶ’
とに基づいて、フレームｎ−１の予測画像信号を作成す
ることにより上記課題を解決する。
れたフレームを記憶する際に、正常に復号できた部分は
該復号データを格納し、正常に復号できなかった部分
は、当該部分の復号データの代わりに異常であることを
示す情報を格納し、フレームｎ−１が正常に復号化され
ているか否か判断するとともに、異常がある部分を判断
し、異常がある部分のみ、フレームｎ−２を読み出し、
フレームｎ−２の映像信号と、前記動きベクトルＭＶ’
とに基づいて、フレームｎ−１の予測画像信号を作成す
ることにより上記課題を解決する。
【００３１】本発明の請求項１０にかかる発明によれ
ば、前記動きベクトルＭＶ’は動きベクトルＭＶとの差
分値として入力することにより、上記課題を解決する。
ば、前記動きベクトルＭＶ’は動きベクトルＭＶとの差
分値として入力することにより、上記課題を解決する。
【００３２】
【発明の実施の形態】以下、本発明の一実施例を図面を
参照して説明する。図１は本発明の映像符号化装置のフ
レーム間予測部の構成例を示す。
参照して説明する。図１は本発明の映像符号化装置のフ
レーム間予測部の構成例を示す。
【００３３】図１の映像符号化装置は、既に符号化され
た映像信号を記憶しておくためのフレームメモリ部１
１、入力された映像信号と前記フレームメモリ部１１か
ら読み出された映像信号との間で単位領域毎に動きベク
トルを求める動きベクトル検出部１２、該単位領域の動
きベクトルを用いて前記フレームメモリ部１１から読み
出された映像信号から予測画像信号を作成する予測画像
作成部１３、既に符号化された映像信号に対する動きベ
クトルを記憶しておく動きベクトル記憶部１４とから構
成されている。
た映像信号を記憶しておくためのフレームメモリ部１
１、入力された映像信号と前記フレームメモリ部１１か
ら読み出された映像信号との間で単位領域毎に動きベク
トルを求める動きベクトル検出部１２、該単位領域の動
きベクトルを用いて前記フレームメモリ部１１から読み
出された映像信号から予測画像信号を作成する予測画像
作成部１３、既に符号化された映像信号に対する動きベ
クトルを記憶しておく動きベクトル記憶部１４とから構
成されている。
【００３４】これらのうち、フレームメモリ部１１、動
きベクトル検出部１２、予測画像作成部１３の動作は、
従来の映像符号化装置と同様である。本発明の映像符号
化装置は、動きベクトルを次の符号化対象画像フレーム
が処理されるまで記憶しておく動きベクトル記憶部１４
を備える点で、従来の映像符号化装置と異なるものであ
る。
きベクトル検出部１２、予測画像作成部１３の動作は、
従来の映像符号化装置と同様である。本発明の映像符号
化装置は、動きベクトルを次の符号化対象画像フレーム
が処理されるまで記憶しておく動きベクトル記憶部１４
を備える点で、従来の映像符号化装置と異なるものであ
る。
【００３５】以下に、本発明の映像符号化装置の主要部
の動作を説明する。図８に本発明の映像符号化装置にお
ける動き補償フレーム間予測部の動作の流れを示す。ま
ず、ステップＳ１（以下単にＳｘとする）において、符
号化対象画像フレーム信号を入力し、Ｓ２ではフレーム
メモリ１１から参照画像フレームを読み出す。
の動作を説明する。図８に本発明の映像符号化装置にお
ける動き補償フレーム間予測部の動作の流れを示す。ま
ず、ステップＳ１（以下単にＳｘとする）において、符
号化対象画像フレーム信号を入力し、Ｓ２ではフレーム
メモリ１１から参照画像フレームを読み出す。
【００３６】次に、Ｓ３において、動きベクトル検出部
１２は符号化対象画像を単位領域毎に分割して、Ｓ４で
参照画像フレーム中で最も似通った位置を探索し、Ｓ５
で動きベクトルを求める。ここで求められる動きベクト
ルは今回入力された符号化対象画像と、参照画像に対す
る動きベクトルであり、これを動きベクトルＭＶとす
る。Ｓ６において、予測画像作成部１３によって動きベ
クトルＭＶを用いて予測画像フレームが作成される。
１２は符号化対象画像を単位領域毎に分割して、Ｓ４で
参照画像フレーム中で最も似通った位置を探索し、Ｓ５
で動きベクトルを求める。ここで求められる動きベクト
ルは今回入力された符号化対象画像と、参照画像に対す
る動きベクトルであり、これを動きベクトルＭＶとす
る。Ｓ６において、予測画像作成部１３によって動きベ
クトルＭＶを用いて予測画像フレームが作成される。
【００３７】Ｓ７では、動きベクトル記憶部１４に記憶
されている前回の動きベクトル（この動きベクトルを動
きベクトルＭＶ’とする）を読み出す。そして、Ｓ８で
動きベクトル検出部１２で求めた動きベクトルＭＶを動
きベクトル記憶部１４に記憶したのち、Ｓ９で今回求め
た動きベクトルＭＶ、前回の動きベクトルＭＶ’と予測
画像フレームを出力する。Ｓ１０では画像フレーム処理
がまだあるか否かを判断して、ある場合はＳ１に処理を
戻し、無い場合は処理を終了する。
されている前回の動きベクトル（この動きベクトルを動
きベクトルＭＶ’とする）を読み出す。そして、Ｓ８で
動きベクトル検出部１２で求めた動きベクトルＭＶを動
きベクトル記憶部１４に記憶したのち、Ｓ９で今回求め
た動きベクトルＭＶ、前回の動きベクトルＭＶ’と予測
画像フレームを出力する。Ｓ１０では画像フレーム処理
がまだあるか否かを判断して、ある場合はＳ１に処理を
戻し、無い場合は処理を終了する。
【００３８】図２（ａ）に、本発明の映像符号化装置か
ら出力される１画像フレーム分の符号化映像情報の伝送
フォーマットの一例を示す。図２（ａ）には、符号化映
像情報の先頭で動きベクトル記憶部１４から読み出され
た動きベクトル情報ＭＶ’を動きベクトル情報ＭＶとフ
レーム間予測誤差の符号化情報とともに伝送する例を示
している。この例では、符号化映像情報の先頭で動きベ
クトルＭＶ’を伝送する例を示しているが、該動きベク
トル情報ＭＶ’の伝送位置は、別の位置、例えば符号化
映像情報の末尾、中間など、特に限定する必要はない。
ら出力される１画像フレーム分の符号化映像情報の伝送
フォーマットの一例を示す。図２（ａ）には、符号化映
像情報の先頭で動きベクトル記憶部１４から読み出され
た動きベクトル情報ＭＶ’を動きベクトル情報ＭＶとフ
レーム間予測誤差の符号化情報とともに伝送する例を示
している。この例では、符号化映像情報の先頭で動きベ
クトルＭＶ’を伝送する例を示しているが、該動きベク
トル情報ＭＶ’の伝送位置は、別の位置、例えば符号化
映像情報の末尾、中間など、特に限定する必要はない。
【００３９】図２（ｂ）は、符号化対象映像フレーム
と、予測を行う参照フレームとの対応関係、またその時
の動きベクトルＭＶ、ＭＶ’との関係を示す図である。
このように、動きベクトルＭＶ’は、フレームｎ−２と
フレームｎ−１間の動きベクトルであり、動きベクトル
ＭＶは、フレームｎ−１とフレームｎ間の動きベクトル
である。
と、予測を行う参照フレームとの対応関係、またその時
の動きベクトルＭＶ、ＭＶ’との関係を示す図である。
このように、動きベクトルＭＶ’は、フレームｎ−２と
フレームｎ−１間の動きベクトルであり、動きベクトル
ＭＶは、フレームｎ−１とフレームｎ間の動きベクトル
である。
【００４０】また、前記動きベクトル情報ＭＶ’を伝送
するに当たっては、ＭＶ’の値を符号化して伝送するだ
けでなく、現在の画像フレームに対する動きベクトル情
報ＭＶとの差分、つまり、 ＰＭＶ’＝ＭＶ’−ＭＶ ・・・（１） を計算して、ＭＶ’の代わりにＰＭＶ’の値を符号化し
て伝送することもできる。これは、図２（ｂ）に示すよ
うに、ＭＶ’とＭＶが隣接する符号化画像フレームに対
する動きベクトルであるため、画像フレーム間で大きな
動きの変化がない限りは、この差分値ＰＭＶ’は、ほと
んどの場合に値が０になるか、０近傍に集中して分布す
るため、効率的に符号化して伝送することが可能であ
る。
するに当たっては、ＭＶ’の値を符号化して伝送するだ
けでなく、現在の画像フレームに対する動きベクトル情
報ＭＶとの差分、つまり、 ＰＭＶ’＝ＭＶ’−ＭＶ ・・・（１） を計算して、ＭＶ’の代わりにＰＭＶ’の値を符号化し
て伝送することもできる。これは、図２（ｂ）に示すよ
うに、ＭＶ’とＭＶが隣接する符号化画像フレームに対
する動きベクトルであるため、画像フレーム間で大きな
動きの変化がない限りは、この差分値ＰＭＶ’は、ほと
んどの場合に値が０になるか、０近傍に集中して分布す
るため、効率的に符号化して伝送することが可能であ
る。
【００４１】更に、単純な差分ではなく、周辺の単位領
域の動きベクトルＭＶの値などを用いてより高度な予
測、例えば、 ＰＭＶ’＝ＭＶ’−ｆ（ＭＶ） ・・・（２） ［ｆ：ＭＶからＭＶ’の予測値を求める関数］のように
することも可能である。
域の動きベクトルＭＶの値などを用いてより高度な予
測、例えば、 ＰＭＶ’＝ＭＶ’−ｆ（ＭＶ） ・・・（２） ［ｆ：ＭＶからＭＶ’の予測値を求める関数］のように
することも可能である。
【００４２】次に図３を用いて、本発明の映像復号化装
置のフレーム間予測部の構成を説明する。図３の映像復
号化装置は、一つ前に復号化された映像信号を記憶して
おくための第１フレームメモリ部３１、単位領域毎に入
力される第１動きベクトル（前記説明における動きベク
トルＭＶ）を用いて前記フレームメモリ部３１から映像
信号を読み出して予測画像信号を作成する第１予測画像
作成部３２、二つ以上前に復号化された映像信号を記憶
しておくための第２フレームメモリ部３３、単位領域毎
に入力される第２動きベクトル（動きベクトルＭＶ’）
を用いて、前記第２フレームメモリ部３３から映像信号
を読み出して予測画像信号を作成する第２予測画像作成
部３４、第１フレームメモリから読み出された映像信号
が正しく復号化されているか否か判断する復号化判断部
３５とから構成されている。
置のフレーム間予測部の構成を説明する。図３の映像復
号化装置は、一つ前に復号化された映像信号を記憶して
おくための第１フレームメモリ部３１、単位領域毎に入
力される第１動きベクトル（前記説明における動きベク
トルＭＶ）を用いて前記フレームメモリ部３１から映像
信号を読み出して予測画像信号を作成する第１予測画像
作成部３２、二つ以上前に復号化された映像信号を記憶
しておくための第２フレームメモリ部３３、単位領域毎
に入力される第２動きベクトル（動きベクトルＭＶ’）
を用いて、前記第２フレームメモリ部３３から映像信号
を読み出して予測画像信号を作成する第２予測画像作成
部３４、第１フレームメモリから読み出された映像信号
が正しく復号化されているか否か判断する復号化判断部
３５とから構成されている。
【００４３】これらのうち、第１フレームメモリ部３
１、第１予測画像作成部３２の動作は、従来からの一般
的な映像復号化装置と同様な動作を行う。本発明の映像
復号化装置は、これらの構成に加えて以前に復号された
映像信号を記憶する第２フレームメモリを備える点、第
２の動きベクトル（動きベクトルＭＶ’）と第２フレー
ムメモリ部３３から読み出した映像信号から、予測画像
信号を作成する第２予測画像作成部３４を備える点、第
１フレームメモリから読み出された映像信号が正しく符
号化されているか否かを判断する復号化判断部３５を備
える点で、従来の映像復号化装置とは異なっている。
１、第１予測画像作成部３２の動作は、従来からの一般
的な映像復号化装置と同様な動作を行う。本発明の映像
復号化装置は、これらの構成に加えて以前に復号された
映像信号を記憶する第２フレームメモリを備える点、第
２の動きベクトル（動きベクトルＭＶ’）と第２フレー
ムメモリ部３３から読み出した映像信号から、予測画像
信号を作成する第２予測画像作成部３４を備える点、第
１フレームメモリから読み出された映像信号が正しく符
号化されているか否かを判断する復号化判断部３５を備
える点で、従来の映像復号化装置とは異なっている。
【００４４】以下に、本発明の主要部である、第２フレ
ームメモリ部３３、第２予測画像作成部３４の動作を説
明する。
ームメモリ部３３、第２予測画像作成部３４の動作を説
明する。
【００４５】図９は本発明の映像復号化装置の動き補償
フレーム間予測部の動作を示すフローチャートである。
Ｓ２１では、復号化判断部３５によって、まず伝送誤り
などが無く、伝送されてきた符号化映像情報が正常に復
号できたか否かを判断する。正常に復号されている場合
は、Ｓ２６において、第１予想画像作成部３２におい
て、第１動きベクトル（動きベクトルＭＶ）を入力し
て、Ｓ２７で第１フレームメモリ部３１から参照画像フ
レームを読み出す。この第１動きベクトルと、参照画像
フレームから予測画像フレームを作成するが、その前に
Ｓ２８で第１フレームメモリ部３１の内容を第２フレー
ムメモリ３３に転送する。
フレーム間予測部の動作を示すフローチャートである。
Ｓ２１では、復号化判断部３５によって、まず伝送誤り
などが無く、伝送されてきた符号化映像情報が正常に復
号できたか否かを判断する。正常に復号されている場合
は、Ｓ２６において、第１予想画像作成部３２におい
て、第１動きベクトル（動きベクトルＭＶ）を入力し
て、Ｓ２７で第１フレームメモリ部３１から参照画像フ
レームを読み出す。この第１動きベクトルと、参照画像
フレームから予測画像フレームを作成するが、その前に
Ｓ２８で第１フレームメモリ部３１の内容を第２フレー
ムメモリ３３に転送する。
【００４６】Ｓ２９で第１予測画像作成部３２におい
て、入力された第１動きベクトル情報と、第１フレーム
メモリ部３１から読み出された参照画像フレームとか
ら、予測画像フレームを作成する。Ｓ３０で予測画像フ
レームを出力し、Ｓ３１でＳ３０で作成された予測画像
フレームを第１フレームメモリ部３１へ出力する。ここ
までで、１フレームの処理が終了したので、Ｓ３２でま
だ処理するデータがあるか否か判断し、なければ処理を
終了し、あれば、Ｓ２０に処理を戻す。
て、入力された第１動きベクトル情報と、第１フレーム
メモリ部３１から読み出された参照画像フレームとか
ら、予測画像フレームを作成する。Ｓ３０で予測画像フ
レームを出力し、Ｓ３１でＳ３０で作成された予測画像
フレームを第１フレームメモリ部３１へ出力する。ここ
までで、１フレームの処理が終了したので、Ｓ３２でま
だ処理するデータがあるか否か判断し、なければ処理を
終了し、あれば、Ｓ２０に処理を戻す。
【００４７】Ｓ２１において、伝送誤りがある場合の処
理を説明する。図２（ｂ）に示すｎ−１番目の画像フレ
ームが、誤りによって正しく復号できなかったとする。
このとき、復号できなかった画像フレームｎ−１は、第
１フレームメモリ部３１には格納しない。あるいは、誤
りの影響を受けずに正常に復号化できた部分のみが第１
フレームメモリ部３１に記憶され、誤った部分の映像信
号は、第１フレームメモリ部３１に記憶せずに、異常が
発生したとの情報が記録される。
理を説明する。図２（ｂ）に示すｎ−１番目の画像フレ
ームが、誤りによって正しく復号できなかったとする。
このとき、復号できなかった画像フレームｎ−１は、第
１フレームメモリ部３１には格納しない。あるいは、誤
りの影響を受けずに正常に復号化できた部分のみが第１
フレームメモリ部３１に記憶され、誤った部分の映像信
号は、第１フレームメモリ部３１に記憶せずに、異常が
発生したとの情報が記録される。
【００４８】つづいて、図２（ｂ）のｎ番目の画像フレ
ームの符号化映像情報が伝送されてきて、画像フレーム
ｎの復号が開始されるが、上述の通り、画像フレームｎ
−１の復号時に誤りがあったため、画像フレームｎの復
号における予測参照フレームとなるべき画像フレームｎ
−１の全部あるいは一部が第１フレームメモリ部３１に
記憶されていないため、第１予測画像作成部３２には、
予測画像信号を作成できない。
ームの符号化映像情報が伝送されてきて、画像フレーム
ｎの復号が開始されるが、上述の通り、画像フレームｎ
−１の復号時に誤りがあったため、画像フレームｎの復
号における予測参照フレームとなるべき画像フレームｎ
−１の全部あるいは一部が第１フレームメモリ部３１に
記憶されていないため、第１予測画像作成部３２には、
予測画像信号を作成できない。
【００４９】そこで、第２予測画像作成部３４では、画
像フレームｎの符号化映像情報と共に伝送されてくる第
２動きベクトル情報ＭＶ’をＳ２２において記憶手段１
４から入力し、Ｓ２３において、第２フレームメモリ部
３３に記憶されている画像フレームｎ−２を参照フレー
ムとして読み出し、Ｓ２４で予測画像フレームを作成す
る。この予測画像フレームは図２（ｂ）における画像フ
レームｎ−１に相当する映像信号として第１フレームメ
モリ部３１に格納する。
像フレームｎの符号化映像情報と共に伝送されてくる第
２動きベクトル情報ＭＶ’をＳ２２において記憶手段１
４から入力し、Ｓ２３において、第２フレームメモリ部
３３に記憶されている画像フレームｎ−２を参照フレー
ムとして読み出し、Ｓ２４で予測画像フレームを作成す
る。この予測画像フレームは図２（ｂ）における画像フ
レームｎ−１に相当する映像信号として第１フレームメ
モリ部３１に格納する。
【００５０】このようにして、第１フレームメモリ部３
１には、画像フレームｎ−１の全体の映像信号が格納さ
れることになり、第１フレームメモリ部３１、第１予測
画像作成部３２は、前記伝送誤りが無く正常に復号でき
た場合と同様に、Ｓ２６以降の処理を行い、画像フレー
ムｎの復号処理を行うことができる。
１には、画像フレームｎ−１の全体の映像信号が格納さ
れることになり、第１フレームメモリ部３１、第１予測
画像作成部３２は、前記伝送誤りが無く正常に復号でき
た場合と同様に、Ｓ２６以降の処理を行い、画像フレー
ムｎの復号処理を行うことができる。
【００５１】ここで、前述したように、第１フレームメ
モリ部３１には、誤りによって正しく復号されなかった
画像フレームｎ−１の一部分が格納されていない場合に
は、当該部分についてのみ、第２予測画像作成部３４で
作成された映像信号が格納され、それ以外の正常に復号
できた部分については、第１フレームメモリ部３１に格
納されている画像フレームｎ−１の復号時に復元された
映像信号がそのまま用いられる。
モリ部３１には、誤りによって正しく復号されなかった
画像フレームｎ−１の一部分が格納されていない場合に
は、当該部分についてのみ、第２予測画像作成部３４で
作成された映像信号が格納され、それ以外の正常に復号
できた部分については、第１フレームメモリ部３１に格
納されている画像フレームｎ−１の復号時に復元された
映像信号がそのまま用いられる。
【００５２】また、前記動きベクトル情報ＭＶ’の値が
符号化されて伝送されるのではなく、現在の画像フレー
ムに対する動きベクトル情報との差分ＰＭＶ’が伝送さ
れる場合には、動きベクトルＭＶ’の値を復元するため
に、符号化装置側で行った（１）式と逆の処理である、 ＭＶ’＝ＰＭＶ’＋ＭＶ ・・・（３） が計算される。さらに、単純な差分ではなく、符号化装
置側で（２）式のように、周辺の単位領域の動きベクト
ルＭＶの値などを用いて予測を行っている場合、動きベ
クトルＭＶ’の値を復元するためには、例えば、 ＭＶ’＝ＰＭＶ’＋ｆ（ＭＶ） ・・・（４） ［ｆ：ＭＶからＭＶ’の予測値を求める関数］のように
する。
符号化されて伝送されるのではなく、現在の画像フレー
ムに対する動きベクトル情報との差分ＰＭＶ’が伝送さ
れる場合には、動きベクトルＭＶ’の値を復元するため
に、符号化装置側で行った（１）式と逆の処理である、 ＭＶ’＝ＰＭＶ’＋ＭＶ ・・・（３） が計算される。さらに、単純な差分ではなく、符号化装
置側で（２）式のように、周辺の単位領域の動きベクト
ルＭＶの値などを用いて予測を行っている場合、動きベ
クトルＭＶ’の値を復元するためには、例えば、 ＭＶ’＝ＰＭＶ’＋ｆ（ＭＶ） ・・・（４） ［ｆ：ＭＶからＭＶ’の予測値を求める関数］のように
する。
【００５３】図１０（ａ）は本発明にかかる映像化符号
化装置の装置構成図である。５１は画像フレーム入力手
段であり、この画像フレーム入力手段で入力されたデー
タが５２の動き補償フレーム間予測部に入力される。
化装置の装置構成図である。５１は画像フレーム入力手
段であり、この画像フレーム入力手段で入力されたデー
タが５２の動き補償フレーム間予測部に入力される。
【００５４】動き補償フレーム間予測部５２にはプログ
ラムメモリ５４及びデータメモリ５５を有している。プ
ログラムメモリ５４には、図１に示す動きベクトル検出
部１２及び予測画像作成部１３に対応する処理を行うプ
ログラムなどが格納されている。データメモリ５５は図
１のフレームメモリ部１１、動きベクトル記憶部１４の
ように、各種データの記憶に用いられる。
ラムメモリ５４及びデータメモリ５５を有している。プ
ログラムメモリ５４には、図１に示す動きベクトル検出
部１２及び予測画像作成部１３に対応する処理を行うプ
ログラムなどが格納されている。データメモリ５５は図
１のフレームメモリ部１１、動きベクトル記憶部１４の
ように、各種データの記憶に用いられる。
【００５５】このプログラムメモリ５４に格納されてい
るプログラムは、図示しない演算装置（ＣＰＵ等）によ
り実行される。
るプログラムは、図示しない演算装置（ＣＰＵ等）によ
り実行される。
【００５６】この動き補償フレーム間予測部５２で符号
化されたデータが伝送符号出力手段５３によって出力さ
れる。
化されたデータが伝送符号出力手段５３によって出力さ
れる。
【００５７】プログラムメディア５６は前記プログラム
メモリ５４に格納されるべき各種プログラムが記録され
ている。この画像符号化装置においては、プログラムメ
ディア５６から図示しないプログラム読み込み手段を用
いて、前記プログラムメモリ５４及びデータメモリ５５
に、本発明を機能させるに必要な各プログラム及びデー
タが格納される。
メモリ５４に格納されるべき各種プログラムが記録され
ている。この画像符号化装置においては、プログラムメ
ディア５６から図示しないプログラム読み込み手段を用
いて、前記プログラムメモリ５４及びデータメモリ５５
に、本発明を機能させるに必要な各プログラム及びデー
タが格納される。
【００５８】プログラムメディア５６はこの画像符号化
装置とは分離可能に構成される情報記録媒体であり、例
えばＣＤ−ＲＯＭ、フロッピーディスク、ＩＣカードな
どが考えられる。
装置とは分離可能に構成される情報記録媒体であり、例
えばＣＤ−ＲＯＭ、フロッピーディスク、ＩＣカードな
どが考えられる。
【００５９】図１０（ｂ）は同様に、本発明にかかる映
像復号化装置の装置構成図である。６１は伝送されてき
た符号を入力する伝送符号入力手段、６２は動き補償フ
レーム間予測部、６３は復号化された画像フレームを出
力する画像フレーム出力手段である。プログラムメモリ
６４、データメモリ６５、プログラムメディア６６は図
１０（ａ）の構成と同様であるので説明は省略する。
像復号化装置の装置構成図である。６１は伝送されてき
た符号を入力する伝送符号入力手段、６２は動き補償フ
レーム間予測部、６３は復号化された画像フレームを出
力する画像フレーム出力手段である。プログラムメモリ
６４、データメモリ６５、プログラムメディア６６は図
１０（ａ）の構成と同様であるので説明は省略する。
【００６０】このように、本発明を機能させるに必要な
各プログラム及びデータを本体と着脱自在な情報記録媒
体という形とすることも可能である。
各プログラム及びデータを本体と着脱自在な情報記録媒
体という形とすることも可能である。
【００６１】
【発明の効果】本発明の請求項１及び６によれば、動き
ベクトル記憶部において、既に符号化された画像フレー
ムに対する動きベクトルを記憶しておき、現在の符号化
対象フレームの符号化映像情報と共に伝送することによ
り、伝送誤りなどによって、当該符号化映像情報が正確
に伝送できない場合でも、次の画像フレームの符号化映
像情報と共に伝送される、記憶された動きベクトル情報
を用いて、誤りが生じた画像フレームを復元することが
できるため、簡易な手段で伝送誤りの影響を減少させ、
特に後続の画像フレームの誤りの波及を防ぐことができ
る。従って、誤りに強く映像品質の良い映像符号化処理
を実現することができる。
ベクトル記憶部において、既に符号化された画像フレー
ムに対する動きベクトルを記憶しておき、現在の符号化
対象フレームの符号化映像情報と共に伝送することによ
り、伝送誤りなどによって、当該符号化映像情報が正確
に伝送できない場合でも、次の画像フレームの符号化映
像情報と共に伝送される、記憶された動きベクトル情報
を用いて、誤りが生じた画像フレームを復元することが
できるため、簡易な手段で伝送誤りの影響を減少させ、
特に後続の画像フレームの誤りの波及を防ぐことができ
る。従って、誤りに強く映像品質の良い映像符号化処理
を実現することができる。
【００６２】本発明の請求項２及び７によれば、請求項
１及び５の効果に加え、動きベクトル記憶部に記憶され
た動きベクトルを伝送する際に、現在の符号化対象画像
フレームに対する動きベクトルとの差分情報を符号化し
て伝送することにより、動きベクトルの情報量を大幅に
減少させて、符号化効率の向上を簡易な方式で実現する
ことができる。
１及び５の効果に加え、動きベクトル記憶部に記憶され
た動きベクトルを伝送する際に、現在の符号化対象画像
フレームに対する動きベクトルとの差分情報を符号化し
て伝送することにより、動きベクトルの情報量を大幅に
減少させて、符号化効率の向上を簡易な方式で実現する
ことができる。
【００６３】本発明の請求項３及び８によれば、第２予
測画面作成手段において、現在の復号化対象フレームの
符号化映像情報と共に伝送されてきた第２動きベクトル
情報と第２フレームメモリ手段に格納された参照フレー
ムとを用いて、現在の復号化対象フレームに対する参照
フレームを作成することにより、伝送誤りなどによっ
て、符号化映像情報が正しく復号できず、次の符号化画
像フレームに対する正しい参照フレームが復号できない
場合でも、次の画像フレームの符号化映像情報と共に伝
送される前記第２動きベクトル情報を用いて、誤りが生
じた画像フレームを復元して参照フレームとして当該復
号化対象フレームの予測に利用することができるため、
簡易な手段で伝送誤りの影響を減少させ、特に後続の画
像フレームへの誤りの波及を防ぎ、誤りによる映像品質
劣化を防止することができる。従って、誤りに強く映像
品質の良い映像符号化を実現することができる。
測画面作成手段において、現在の復号化対象フレームの
符号化映像情報と共に伝送されてきた第２動きベクトル
情報と第２フレームメモリ手段に格納された参照フレー
ムとを用いて、現在の復号化対象フレームに対する参照
フレームを作成することにより、伝送誤りなどによっ
て、符号化映像情報が正しく復号できず、次の符号化画
像フレームに対する正しい参照フレームが復号できない
場合でも、次の画像フレームの符号化映像情報と共に伝
送される前記第２動きベクトル情報を用いて、誤りが生
じた画像フレームを復元して参照フレームとして当該復
号化対象フレームの予測に利用することができるため、
簡易な手段で伝送誤りの影響を減少させ、特に後続の画
像フレームへの誤りの波及を防ぎ、誤りによる映像品質
劣化を防止することができる。従って、誤りに強く映像
品質の良い映像符号化を実現することができる。
【００６４】本発明の請求項４及び９によれば、画像フ
レームの中で正常に復号できた部分は第１フレームメモ
リ手段に記憶しておき、誤りがあった部分は画像信号を
第１フレームメモリ手段に格納する代わりに、誤りがあ
ったことを記憶しておくことにより、次の符号化画像フ
レームを復号するとき、前記第２予測画像作成手段にお
いて、誤りのために第１フレームメモリ手段に記憶され
ていない部分のみを復元すればよいため、復号の際の処
理量を削減し、高速な復号処理を実現することができ
る。
レームの中で正常に復号できた部分は第１フレームメモ
リ手段に記憶しておき、誤りがあった部分は画像信号を
第１フレームメモリ手段に格納する代わりに、誤りがあ
ったことを記憶しておくことにより、次の符号化画像フ
レームを復号するとき、前記第２予測画像作成手段にお
いて、誤りのために第１フレームメモリ手段に記憶され
ていない部分のみを復元すればよいため、復号の際の処
理量を削減し、高速な復号処理を実現することができ
る。
【００６５】また、誤りが無かった部分に関しては、第
１フレームメモリ手段に格納されている映像信号を参照
フレームとして利用することができるため、復号された
映像品質を向上することができる。
１フレームメモリ手段に格納されている映像信号を参照
フレームとして利用することができるため、復号された
映像品質を向上することができる。
【００６６】本発明の請求項５及び１０によれば、第２
動きベクトルが第１動きベクトルとの差分情報として符
号化されて伝送することにより、動きベクトルの情報量
を減少させて符号化効率の向上を実現することができ
る。
動きベクトルが第１動きベクトルとの差分情報として符
号化されて伝送することにより、動きベクトルの情報量
を減少させて符号化効率の向上を実現することができ
る。
【図１】本発明における映像符号化装置の一実施形態を
示す概略ブロック図である。
示す概略ブロック図である。
【図２】本発明における符号化映像情報の伝送フォーマ
ットの例及び符号化画像フレームと参照フレーム、動き
ベクトルとの関係を示す図である。
ットの例及び符号化画像フレームと参照フレーム、動き
ベクトルとの関係を示す図である。
【図３】本発明における映像復号化装置の一実施形態を
示す概略ブロック図である。
示す概略ブロック図である。
【図４】動き補償フレーム間予測直交変換符号化方式の
原理を説明するためのブロック図である。
原理を説明するためのブロック図である。
【図５】従来の映像符号化装置のフレーム間予測部の構
成例を示すブロック図である。
成例を示すブロック図である。
【図６】従来の映像復号化装置のフレーム間予測部の構
成例を示すブロック図である。
成例を示すブロック図である。
【図７】従来の映像符号化装置における動きベクトル情
報を繰り返して伝送する伝送フォーマットの例を示す図
である。
報を繰り返して伝送する伝送フォーマットの例を示す図
である。
【図８】本発明の映像符号化装置における動き補償フレ
ーム間予測部の動作を示すフローチャートである。
ーム間予測部の動作を示すフローチャートである。
【図９】本発明の映像復号化装置における動き補償フレ
ーム間予測部の動作を示すフローチャートである。
ーム間予測部の動作を示すフローチャートである。
【図１０】本発明の映像符号化装置及び映像復号化装置
の装置構成例を示す図である。
の装置構成例を示す図である。
１１ フレームメモリ部
１２ 動きベクトル検出部
１３ 予想画像作成部
１４ 動きベクトル記憶部
３１ 第１フレームメモリ部
３２ 第１予測画像作成部
３３ 第２フレームメモリ部
３４ 第２予想画像作成部
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 7/24 - 7/68
Claims (10)
- 【請求項１】 過去に符号化されたフレームｎ−１の映
像信号を記憶しておくためのフレームメモリと、 画像フレームを入力する画像フレーム入力手段と、 新たに入力されたフレームｎの映像信号と前記フレーム
メモリに記憶されているフレームｎ−１の映像信号とを
比較し、単位領域毎に動きベクトルＭＶを求め、前記フ
レームメモリに記憶されているフレームｎ−１の映像信
号と、前記動きベクトルＭＶとから、新たに入力された
フレームｎの映像信号の予測画像信号を作成する動き補
償フレーム間予測部と、 前記フレームｎの映像信号の予測画像信号と新たに入力
されたフレームｎの映像信号との誤差を符号化した符号
化映像信号を求める予測誤差符号化部と、 動きベクトルＭＶと符号化映像信号を出力する伝送符号
出力手段とを備える映像符号化装置であって、 前記動き補償フレーム間予測部において、フレームｎ−
２の映像信号とフレームｎ−１の映像信号間の動きベク
トルを動きベクトルＭＶ’として記憶する動きベクトル
記憶部を備え、 新たにフレームｎの映像信号が入力されると、前記伝送
符号出力手段において、動きベクトルＭＶと、前記予測
誤差符号化部から出力される符号化映像信号に加えて、
動きベクトルＭＶ’とからフレームｎに対する符号化映
像情報を構成して伝送することを特徴とする映像符号化
装置。 - 【請求項２】 前記伝送符号出力手段において、動きベ
クトルＭＶ’は動きベクトルＭＶとの差分値として出力
することを特徴とする前記請求項１記載の映像符号化装
置。 - 【請求項３】 過去に復号化されたフレームｎ−１の映
像信号を記憶する第１フレームメモリと、 フレームｎ−１とフレームｎ間の動きベクトルＭＶと、
フレームｎの映像信号の予測画像信号とフレームｎの映
像信号との誤差が符号化された符号化映像信号とを入力
する伝送符号入力手段と、 前記第１フレームメモリから読み出されたフレームｎ−
１の映像信号と動きベクトルＭＶとに基づいて、フレー
ムｎの予測画像信号を作成する第１予測画像作成手段
と、 前記符号化映像信号とフレームｎの予測画像信号からフ
レームｎの画像フレームを復号して出力する画像フレー
ム出力手段を備える映像復号化装置であって、前記伝送
符号入力手段において、フレームｎに対する符号化映像
情報として、動きベクトルＭＶと符号化映像信号ととも
に伝送されるフレームｎ−２とフレームｎ−１間の動き
ベクトルＭＶ’を入力し、フレームｎ−１に対する予測画像の作成に利用された フ
レームｎ−２の映像信号を記憶する第２フレームメモリ
と、 前記第１フレームメモリから読み出されたフレームｎ−
１が正常に復号化されているか否かを判断する復号化判
断手段と、 前記復号化判断手段において、フレームｎ−１が正常に
復号化されていなかった場合、前記第２フレームメモリ
からフレームｎ−２を読み出し、フレームｎ−２の映像
信号と、前記動きベクトルＭＶ’とに基づいて、フレー
ムｎ−１の予測画像信号を作成して、前記第１フレーム
メモリに格納する第２予測画像作成手段とを備えること
を特徴とする映像復号化装置。 - 【請求項４】 前記第１フレームメモリに復号化された
フレームｎ−１の映像信号を格納する際に、正常に復号
できた部分は該復号データを格納し、正常に復号できな
かった部分は、当該部分の復号データの代わりに異常で
あることを示す情報を格納し、 前記復号化判断手段により、フレームｎ−１の異常があ
る部分を判断し、 前記第２予測画像作成手段において、前記復号化判断手
段により判断された、異常がある部分のみ、前記第２フ
レームメモリからフレームｎ−２を読み出し、フレーム
ｎ−２の映像信号と、前記動きベクトルＭＶ’とに基づ
いて、フレームｎ−１の予測画像信号を作成して、フレ
ームｎ−１の映像信号とて前記第１フレームメモリに格
納することを特徴とする前記請求項３記載の映像復号化
装置。 - 【請求項５】 前記伝送符号入力手段において、ベクト
ルＭＶ’は動きベクトルＭＶとの差分情報として入力さ
れることを特徴とする前記請求項３又は４記載の映像復
号化装置。 - 【請求項６】 入力されたフレームｎの映像信号と過去
に符号化されたフレームｎ−１の映像信号とを比較し、
単位領域毎に動きベクトルＭＶを求め、 フレームｎ−１の映像信号と、前記動きベクトルＭＶと
から、新たに入力されたフレームｎの映像信号の予測画
像信号を作成し、 前記フレームｎの映像信号の予測画像信号と新たに入力
されたフレームｎの映像信号との誤差を符号化した符号
化映像信号を求め、 動きベクトルＭＶと符号化映像信号を出力する映像符号
化方法において、 フレームｎ−２の映像信号とフレームｎ−１の映像信号
間の動きベクトルを動きベクトルＭＶ’として記憶し、 新たにフレームｎの映像信号が入力されると、動きベク
トルＭＶ’と動きベクトルＭＶと、フレームｎの映像信
号の予測画像信号とフレームｎの映像信号との誤差を符
号化した符号化映像信号に加えて、動きベクトルＭＶ’
とからフレームｎに対する符号化映像情報を構成して伝
送することを特徴とする映像符号化方法。 - 【請求項７】 前記動きベクトルＭＶ’は動きベクトル
ＭＶとの差分値として出力することを特徴とする前記請
求項６記載の映像符号化方法。 - 【請求項８】 フレームｎ−１とフレームｎ間の動きベ
クトルＭＶと、フレームｎの映像信号の予測画像信号と
新たに入力されたフレームｎの映像信号との誤差が符号
化された符号化映像信号とを入力し、 過去に復号化されたフレームｎ−１の映像信号と動きベ
クトルＭＶとに基づいて、フレームｎの予測画像信号を
作成し、 前記符号化映像信号とフレームｎの予測画像信号からフ
レームｎの画像フレームを復号して出力する映像復号化
方法であって、フレームｎに対する符号化映像情報として、 動きベクト
ルＭＶと符号化映像信号とともに伝送されたフレームｎ
−２とフレームｎ−１間の動きベクトルＭＶ’を入力
し、 フレームｎ−１が正常に復号化されているか否かを判断
し、 フレームｎ−１が正常に復号化されていなかった場合、
さらにフレームｎ−１に対する予測画像の作成に利用さ
れたフレームｎ−２を読み出し、フレームｎ−２の映像
信号と、前記動きベクトルＭＶ’とに基づいて、フレー
ムｎ−１の予測画像信号を作成し、フレームｎ−１の映
像信号としてフレームｎの予測画像信号の作成に利用す
ることを特徴とする映像復号化方法。 - 【請求項９】 符号化されたフレームを記憶する際に、
正常に復号できた部分は該復号データを格納し、正常に
復号できなかった部分は、当該部分の復号データの代わ
りに異常であることを示す情報を格納し、 フレームｎ−１が正常に復号化されているか否か判断す
るとともに、異常がある部分を判断し、 異常がある部分のみ、フレームｎ−２を読み出し、フレ
ームｎ−２の映像信号と、前記動きベクトルＭＶ’とに
基づいて、フレームｎ−１の予測画像信号を作成するこ
とを特徴とする前記請求項８記載の映像復号化方法。 - 【請求項１０】 前記動きベクトルＭＶ’は動きベクト
ルＭＶとの差分値として入力することを特徴とする前記
請求項８又は請求項９記載の映像復号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04001398A JP3523481B2 (ja) | 1998-02-23 | 1998-02-23 | 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04001398A JP3523481B2 (ja) | 1998-02-23 | 1998-02-23 | 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11239353A JPH11239353A (ja) | 1999-08-31 |
| JP3523481B2 true JP3523481B2 (ja) | 2004-04-26 |
Family
ID=12569035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04001398A Expired - Fee Related JP3523481B2 (ja) | 1998-02-23 | 1998-02-23 | 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3523481B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004088722A (ja) | 2002-03-04 | 2004-03-18 | Matsushita Electric Ind Co Ltd | 動画像符号化方法および動画像復号化方法 |
| ES2742799T3 (es) | 2002-04-19 | 2020-02-17 | Panasonic Ip Corp America | Procedimiento de cálculo de vectores de movimiento |
| US9661376B2 (en) * | 2005-07-13 | 2017-05-23 | Polycom, Inc. | Video error concealment method |
| KR101666897B1 (ko) * | 2010-01-25 | 2016-10-24 | 엘지전자 주식회사 | 화질 개선 방법 및 그에 따른 영상 표시 장치 |
| WO2011142221A1 (ja) * | 2010-05-11 | 2011-11-17 | シャープ株式会社 | 符号化装置、および、復号装置 |
| CN112639735A (zh) | 2019-10-30 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 计算量分配 |
-
1998
- 1998-02-23 JP JP04001398A patent/JP3523481B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11239353A (ja) | 1999-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5580453B2 (ja) | 直接モード符号化及び復号化装置 | |
| US8599923B2 (en) | Motion vector encoding device and decoding device | |
| US6421383B2 (en) | Encoding digital signals | |
| US7486734B2 (en) | Decoding and coding method of moving image signal, and decoding and coding apparatus of moving image signal using the same | |
| US11057546B2 (en) | Video encoding and decoding | |
| JP2000102018A (ja) | 動画像復号方法及び装置 | |
| EP2919462A1 (en) | Video encoding method, video encoding device, and video encoding program | |
| US20110135006A1 (en) | Moving image encoding device and moving image decoding device | |
| JP3523481B2 (ja) | 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法 | |
| US7899117B2 (en) | Apparatus and method for encoding motion vector, and program and medium therefor | |
| KR100587274B1 (ko) | 엠펙２ 압축복원시스템에서의 오류 은폐방법 | |
| JP5183309B2 (ja) | 映像復号化装置及び方法 | |
| JP3150627B2 (ja) | 復号信号の再符号化方法 | |
| JP3171951B2 (ja) | 画像符号化／復号化装置及び画像符号化／復号化方法 | |
| KR100229794B1 (ko) | 움직임 벡터 정보에 대한 오류 복원기능을 갖는영상복호화기 | |
| JP4154772B2 (ja) | 画像情報変換装置および変換方法 | |
| KR100212556B1 (ko) | 영상복호화시스템에 있어서 차이영상에 대한 비트에러복원장치 | |
| KR100209133B1 (ko) | 움직임 벡터정보에 대한 오류 복원기능을 갖는 영상 복호화기 | |
| CN117241030A (zh) | 视频数据流的生成方法、解码方法及相关装置 | |
| JP2006311603A (ja) | 動画像符号化方法と装置及び動画像復号化方法と装置 | |
| JP2831509B2 (ja) | 高能率符号化装置及び高能率符号化方法 | |
| KR100275543B1 (ko) | 고속 변환파라미터 검출 장치 및 검출 방법 | |
| JPH07264585A (ja) | 動画像処理装置 | |
| JPH1051786A (ja) | シーンチェンジ検出方法及びその装置 | |
| JPH05336510A (ja) | 動き補償符号化装置と動き補償復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040206 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |