JPH08265765A - イメージ符号化システムとこれに用いる動き補償装置 - Google Patents
イメージ符号化システムとこれに用いる動き補償装置Info
- Publication number
- JPH08265765A JPH08265765A JP13296695A JP13296695A JPH08265765A JP H08265765 A JPH08265765 A JP H08265765A JP 13296695 A JP13296695 A JP 13296695A JP 13296695 A JP13296695 A JP 13296695A JP H08265765 A JPH08265765 A JP H08265765A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- signal
- predicted
- displacement vector
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/008—Vector quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Abstract
(57)【要約】
【目的】 二方向性の予測フレーム(Ｂフレーム)の入
力ディジタルビデオ信号に対する予測済みのフレーム信
号を提供して、全体の画質を向上させる動き補償装置を
提供することを目的とする。 【構成】 Ｂフレームを第２セットの探索ブロックを
有するフレームに変換するブロック構成変換回路１５３
ｂと、第１変位ベクトルを推定し、Ｂフレームに対する
第１の予測フレーム信号を与える第１動き補償ユニット
１５１と、第２変位ベクトルを推定し、変換されたＢフ
レームに対する第２の予測フレーム信号を与える動き補
償ユニット１５３と、オーバラップ領域に対応する領域
に位置する第１及び第２の予測フレーム信号を平均化し
て、第３の予測フレーム信号を発生する共通予測信号発
生器１５６と、第１の予測フレーム信号または第３の予
測フレーム信号を制御信号に応答して選択的に発生する
セレクタ１５８とを有する。
力ディジタルビデオ信号に対する予測済みのフレーム信
号を提供して、全体の画質を向上させる動き補償装置を
提供することを目的とする。 【構成】 Ｂフレームを第２セットの探索ブロックを
有するフレームに変換するブロック構成変換回路１５３
ｂと、第１変位ベクトルを推定し、Ｂフレームに対する
第１の予測フレーム信号を与える第１動き補償ユニット
１５１と、第２変位ベクトルを推定し、変換されたＢフ
レームに対する第２の予測フレーム信号を与える動き補
償ユニット１５３と、オーバラップ領域に対応する領域
に位置する第１及び第２の予測フレーム信号を平均化し
て、第３の予測フレーム信号を発生する共通予測信号発
生器１５６と、第１の予測フレーム信号または第３の予
測フレーム信号を制御信号に応答して選択的に発生する
セレクタ１５８とを有する。
Description
【０００１】
【産業上の利用分野】本発明はイメージ符号化システム
で用いる動き補償装置に関し、とくに、ブロック構成変
換技法を用いることによって、二方向性の予測フレーム
(Ｂフレーム)の入力ディジタルビデオ信号に対する予測
済みのフレーム信号を与えるための改善された動き補償
装置及びイメージ符号化システムに関する。
で用いる動き補償装置に関し、とくに、ブロック構成変
換技法を用いることによって、二方向性の予測フレーム
(Ｂフレーム)の入力ディジタルビデオ信号に対する予測
済みのフレーム信号を与えるための改善された動き補償
装置及びイメージ符号化システムに関する。
【０００２】
【従来の技術】周知のように、ディジタル化されたビデ
オ信号の伝送は、アナログ信号の伝送より良好な画質を
保持しうる。一連のイメージフレームからなるイメージ
信号がディジタル形態で表現された際に、より詳細に
は、高精細度テレビジョンの場合において、大量のデー
タが発生される。しかし、通常の伝送チャネルの利用可
能な周波数帯域幅は制限されているため、その帯域を通
じてデータを伝送するためには、大量のディジタルデー
タを圧縮するか、または減少しなければならないことが
必要となる。多様なビデオ圧縮技法中、時間的かつ空間
的な圧縮技法と共に統計的符号化技法などを組み合わせ
る、いわゆる、ハイブリッド符号化技法（ｈｙｂｒｉｄ
ｃｏｄｉｎｇ ｔｅｃｈｎｉｑｕｅ）が最も効果的で
あることが知られている。
オ信号の伝送は、アナログ信号の伝送より良好な画質を
保持しうる。一連のイメージフレームからなるイメージ
信号がディジタル形態で表現された際に、より詳細に
は、高精細度テレビジョンの場合において、大量のデー
タが発生される。しかし、通常の伝送チャネルの利用可
能な周波数帯域幅は制限されているため、その帯域を通
じてデータを伝送するためには、大量のディジタルデー
タを圧縮するか、または減少しなければならないことが
必要となる。多様なビデオ圧縮技法中、時間的かつ空間
的な圧縮技法と共に統計的符号化技法などを組み合わせ
る、いわゆる、ハイブリッド符号化技法（ｈｙｂｒｉｄ
ｃｏｄｉｎｇ ｔｅｃｈｎｉｑｕｅ）が最も効果的で
あることが知られている。
【０００３】大部分のハイブリッド符号化技法などは、
適応的インタ／イントラモード符号化（ｉｎｔｅｒ／ｉ
ｎｔｒａ ｍｏｄｅ ｃｏｄｉｎｇ）、直交変換、変換
係数の量子化及び可変長さ符号化（ＶＬＣ）を採用す
る。この適応的インタ／イントラモード符号化は、現フ
レームのパルス符号変調（ＰＣＭ）または差分パルス符
号変調（ＤＰＣＭ）からの２つのビデオ信号のうち何れ
か１つをビデオ信号の分散値に基づいて適応的に選択す
る方法である。インタモード符号化は、予測方法として
もよく知られており、この符号化法は複数の隣接するフ
レームの間の冗長度を低減することを目的とするもので
あって、現フレームとその１つ以上の隣接フレームとの
間の物体の動きを決定すると共に、物体の動きの流れに
よって現フレームを予測して、現フレームとその予測さ
れたフレームとの間の差を表すエラー信号を与えるため
の方法である。かかる符号化方法は、例えば、Ｓｔａｆ
ｆａｎ Ｅｒｉｃｓｓｏｎの「ハイブリッド予測／変換
符号化のための固定及び適応予測器（Ｆｉｘｅｄ ａｎ
ｄ Ａｄａｐｔｅｄ Ｐｒｅｄｉｃｔｏｒｓ ｆｏｒＨ
ｙｂｒｉｄ ｐｒｅｄｉｃｔｉｖｅ／Ｔｒａｎｓｆｏｒ
ｍ Ｃｏｄｉｎｇ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉ
ｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ
−３３，Ｎｏ．１２（１９８５年１２月）と、またＮｉ
ｎｏｍｉｙａとＯｈｔｓｕｋａの「テレビジョン画面な
どのための動き補償されたインタフレーム符号化方法
（Ａ Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ Ｉｎｔ
ｅｒｆｒａｍｅ Ｃｏｄｉｎｇ Ｓｃｈｅｍｅ ｆｏｒ
Ｔｅｌｅｖｉｓｉｏｎ Ｐｉｃｔｕｒｅｓ）」，ＩＥ
ＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎ
ｉｃａｔｉｏｎｓ，ＣＯＭ−３０，Ｎｏ．１（１９８２
年１月）とに開示されており、本願に参考文献としてと
もに引用されている。
適応的インタ／イントラモード符号化（ｉｎｔｅｒ／ｉ
ｎｔｒａ ｍｏｄｅ ｃｏｄｉｎｇ）、直交変換、変換
係数の量子化及び可変長さ符号化（ＶＬＣ）を採用す
る。この適応的インタ／イントラモード符号化は、現フ
レームのパルス符号変調（ＰＣＭ）または差分パルス符
号変調（ＤＰＣＭ）からの２つのビデオ信号のうち何れ
か１つをビデオ信号の分散値に基づいて適応的に選択す
る方法である。インタモード符号化は、予測方法として
もよく知られており、この符号化法は複数の隣接するフ
レームの間の冗長度を低減することを目的とするもので
あって、現フレームとその１つ以上の隣接フレームとの
間の物体の動きを決定すると共に、物体の動きの流れに
よって現フレームを予測して、現フレームとその予測さ
れたフレームとの間の差を表すエラー信号を与えるため
の方法である。かかる符号化方法は、例えば、Ｓｔａｆ
ｆａｎ Ｅｒｉｃｓｓｏｎの「ハイブリッド予測／変換
符号化のための固定及び適応予測器（Ｆｉｘｅｄ ａｎ
ｄ Ａｄａｐｔｅｄ Ｐｒｅｄｉｃｔｏｒｓ ｆｏｒＨ
ｙｂｒｉｄ ｐｒｅｄｉｃｔｉｖｅ／Ｔｒａｎｓｆｏｒ
ｍ Ｃｏｄｉｎｇ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉ
ｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ
−３３，Ｎｏ．１２（１９８５年１２月）と、またＮｉ
ｎｏｍｉｙａとＯｈｔｓｕｋａの「テレビジョン画面な
どのための動き補償されたインタフレーム符号化方法
（Ａ Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ Ｉｎｔ
ｅｒｆｒａｍｅ Ｃｏｄｉｎｇ Ｓｃｈｅｍｅ ｆｏｒ
Ｔｅｌｅｖｉｓｉｏｎ Ｐｉｃｔｕｒｅｓ）」，ＩＥ
ＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎ
ｉｃａｔｉｏｎｓ，ＣＯＭ−３０，Ｎｏ．１（１９８２
年１月）とに開示されており、本願に参考文献としてと
もに引用されている。
【０００４】また、直交変換は、現フレームのパルス符
号変調データあるいは動き補償されたＤＰＣＭデータの
ようなイメージデータ間の空間的相関関係を用いて、そ
の間において空間的冗長度を低減または除去する方法で
あって、ディジタルイメージデータの１つのブロックを
変換係数の１つのセットに変換する。かかる方法は、Ｃ
ｈｅｎとＰｒａｔｔの「画像適応的符号化器（Ｓｃｅｎ
ｅ ＡｄａｐｔｉｖｅＣｏｄｅｒ）」，ＩＥＥＥ Ｔｒ
ａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉ
ｏｎｓ，ＣＯＭ−３２，Ｎｏ．３（１９８４年３月）に
開示されている。そのような変換係数データは、量子
化、ジグザグ走査、及び可変長さ符号化にて処理するこ
とによって、伝送されるべき大量のデータを効果的に圧
縮しうる。
号変調データあるいは動き補償されたＤＰＣＭデータの
ようなイメージデータ間の空間的相関関係を用いて、そ
の間において空間的冗長度を低減または除去する方法で
あって、ディジタルイメージデータの１つのブロックを
変換係数の１つのセットに変換する。かかる方法は、Ｃ
ｈｅｎとＰｒａｔｔの「画像適応的符号化器（Ｓｃｅｎ
ｅ ＡｄａｐｔｉｖｅＣｏｄｅｒ）」，ＩＥＥＥ Ｔｒ
ａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉ
ｏｎｓ，ＣＯＭ−３２，Ｎｏ．３（１９８４年３月）に
開示されている。そのような変換係数データは、量子
化、ジグザグ走査、及び可変長さ符号化にて処理するこ
とによって、伝送されるべき大量のデータを効果的に圧
縮しうる。
【０００５】より詳しくは、動き補償ＤＰＣＭにおい
て、現フレームデータは現フレームと１つ以上の基準フ
レームとの間の動きの推定に基づいて、現フレームに対
応する１つ以上の隣接する基準フレームから予測され
る。このように推定された動きは、基準フレームと現フ
レームとの間の画素の変位を表す２次元動きベクトルに
よって説明されうる。
て、現フレームデータは現フレームと１つ以上の基準フ
レームとの間の動きの推定に基づいて、現フレームに対
応する１つ以上の隣接する基準フレームから予測され
る。このように推定された動きは、基準フレームと現フ
レームとの間の画素の変位を表す２次元動きベクトルに
よって説明されうる。
【０００６】ビデオシーケンスにおいて、物体の変位を
推定するために幾つかの方法が提案されてきた。一般
に、次の２つの形態に分類しうる。即ち、画素繰り返し
アルゴリズムとブロックマッチングアルゴリズムである
（例えば、Ｊ．Ｒ．Ｊａｉｎらの「インタフレームイメ
ージ符号化における変位測定とその応用（Ｄｉｓｐｌａ
ｃｅｍｅｎｔ Ｍｅａｓｕｒｅｍｅｎｔ ａｎｄ Ｉｔ
ｓ Ａｐｐｌｉｃａｔｉｏｎ ｉｎ Ｉｎｔｅｒｆｒａ
ｍｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ）」，ＩＥＥＥＴｒａ
ｎｓａｃｔｉｏｎｓ ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏ
ｎｓ，ＣＯＭ−２９，Ｎｏ．１２（１９８１年１２月）
参照）。
推定するために幾つかの方法が提案されてきた。一般
に、次の２つの形態に分類しうる。即ち、画素繰り返し
アルゴリズムとブロックマッチングアルゴリズムである
（例えば、Ｊ．Ｒ．Ｊａｉｎらの「インタフレームイメ
ージ符号化における変位測定とその応用（Ｄｉｓｐｌａ
ｃｅｍｅｎｔ Ｍｅａｓｕｒｅｍｅｎｔ ａｎｄ Ｉｔ
ｓ Ａｐｐｌｉｃａｔｉｏｎ ｉｎ Ｉｎｔｅｒｆｒａ
ｍｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ）」，ＩＥＥＥＴｒａ
ｎｓａｃｔｉｏｎｓ ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏ
ｎｓ，ＣＯＭ−２９，Ｎｏ．１２（１９８１年１２月）
参照）。
【０００７】より広く用いられている、ブロックマッチ
ングアルゴリズムによれば、１つの現フレームは複数の
探索ブロックに分けられている。１つの探索ブロックの
大きさは、典型的に８×８と３２×３２画素の間の値を
有する。現フレームにおける１つの探索ブロックに対す
る動きベクトルを特定するために、現フレームの探索ブ
ロックと同一の大きさの複数の候補ブロックの各々との
間の類似度計算が行われるが、該候補ブロックの各々は
基準フレーム内における、一般により大きい探索領域に
含まれている。現フレームの探索ブロックと探索領域内
における各候補ブロックとの間の類似度を測定するため
に、平均絶対誤差あるいは平均二乗誤差（ＭＳＥ）のよ
うな誤差関数が用いられる。定義によれば、動きベクト
ルは探索ブロックと最小の誤差関数をもたらす候補ブロ
ックとの間の変位を表す。
ングアルゴリズムによれば、１つの現フレームは複数の
探索ブロックに分けられている。１つの探索ブロックの
大きさは、典型的に８×８と３２×３２画素の間の値を
有する。現フレームにおける１つの探索ブロックに対す
る動きベクトルを特定するために、現フレームの探索ブ
ロックと同一の大きさの複数の候補ブロックの各々との
間の類似度計算が行われるが、該候補ブロックの各々は
基準フレーム内における、一般により大きい探索領域に
含まれている。現フレームの探索ブロックと探索領域内
における各候補ブロックとの間の類似度を測定するため
に、平均絶対誤差あるいは平均二乗誤差（ＭＳＥ）のよ
うな誤差関数が用いられる。定義によれば、動きベクト
ルは探索ブロックと最小の誤差関数をもたらす候補ブロ
ックとの間の変位を表す。
【０００８】かかるブロックマッチング技法は、ＩＳＯ
／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１，「Ｐａｒｔ
２，ビデオ提案（Ｖｉｄｅｏ Ｐｒｏｐｏｓａｌ）」、
ＣＤ−１１１７２−３（１９９１）に説明された、いわ
ゆる、ＭＰＥＧ（Ｍｏｖｉｎｇｐｉｃｔｕｒｅｓ Ｅｘ
ｐｅｒｔ Ｇｒｏｕｐ）−ビデオアルゴリズム）に開示
されたビデオシーケンスに含まれたＰフレームとＢフレ
ームなどを予測するのに用いられる。ここでＰフレーム
あるいは予測フレームはその前の基準フレームから予測
された予測済みのフレームを表わし、Ｂフレームあるい
は二方向性の予測フレームは、その前の基準フレームと
将来の基準フレームから予測されたフレームを表す。よ
り詳しくは、いわゆるＢフレームを符号化する場合にお
いて、二方向性の動き推定技法は、前方及び後方の動き
ベクトルを求めるために用いられる。ここで前方の動き
ベクトルはＢフレームとその前のイントラ（Ｉｎｔｒ
ａ：Ｉ）フレームまたは予測（Ｐｒｅｄｉｃｔｉｖｅ：
Ｐ）フレームのと間の物体の動きを推定することによっ
て得られ、かつ後方の動きベクトルはＢフレームとその
将来のＩフレームあるいはＰフレームに基づいて決定さ
れる。かかる技法は、動き推定のために過去、及び将来
の基準フレームが用いられるので高い圧縮率を与えるこ
とが知られている。
／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１，「Ｐａｒｔ
２，ビデオ提案（Ｖｉｄｅｏ Ｐｒｏｐｏｓａｌ）」、
ＣＤ−１１１７２−３（１９９１）に説明された、いわ
ゆる、ＭＰＥＧ（Ｍｏｖｉｎｇｐｉｃｔｕｒｅｓ Ｅｘ
ｐｅｒｔ Ｇｒｏｕｐ）−ビデオアルゴリズム）に開示
されたビデオシーケンスに含まれたＰフレームとＢフレ
ームなどを予測するのに用いられる。ここでＰフレーム
あるいは予測フレームはその前の基準フレームから予測
された予測済みのフレームを表わし、Ｂフレームあるい
は二方向性の予測フレームは、その前の基準フレームと
将来の基準フレームから予測されたフレームを表す。よ
り詳しくは、いわゆるＢフレームを符号化する場合にお
いて、二方向性の動き推定技法は、前方及び後方の動き
ベクトルを求めるために用いられる。ここで前方の動き
ベクトルはＢフレームとその前のイントラ（Ｉｎｔｒ
ａ：Ｉ）フレームまたは予測（Ｐｒｅｄｉｃｔｉｖｅ：
Ｐ）フレームのと間の物体の動きを推定することによっ
て得られ、かつ後方の動きベクトルはＢフレームとその
将来のＩフレームあるいはＰフレームに基づいて決定さ
れる。かかる技法は、動き推定のために過去、及び将来
の基準フレームが用いられるので高い圧縮率を与えるこ
とが知られている。
【０００９】しかし、同一の探索ブロック構成がＢフレ
ームの前方の動き及び後方の動きを推定するために用い
られるので、そのような動き推定技法を用いる通常的な
動き補償装置は、あるブロックの境界面でブロッキング
現像をもたらして画質を低下させることがある。
ームの前方の動き及び後方の動きを推定するために用い
られるので、そのような動き推定技法を用いる通常的な
動き補償装置は、あるブロックの境界面でブロッキング
現像をもたらして画質を低下させることがある。
【００１０】
【発明が解決しようとする課題】従って、本発明の主な
目的はイメージ符号化システムで用いる装置であって、
ブロック構成変換技法を用いて、二方向性の予測フレー
ムの入力ディジタルビデオ信号に対する予測済みのフレ
ーム信号を提供することによって、全体の画質を向上さ
せる動き補償装置を提供するにある。
目的はイメージ符号化システムで用いる装置であって、
ブロック構成変換技法を用いて、二方向性の予測フレー
ムの入力ディジタルビデオ信号に対する予測済みのフレ
ーム信号を提供することによって、全体の画質を向上さ
せる動き補償装置を提供するにある。
【００１１】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明のある実施態様によれば、イメージ符号化
システムで用いられ、二方向性の予測フレーム（Ｂフレ
ーム）の入力ディジタルビデオ信号に対する予測済みの
フレーム信号を、該Ｂフレームの二つの隣なるフレーム
に基づいて与える装置であって、該Ｂフレームは第１セ
ットの探索ブロックを有し、かつ該入力ディジタルビデ
オ信号は複数のフレームを備える動き補償装置であっ
て、前記Ｂフレームを第２セットの探索ブロックを有す
る、変換されたフレームに変換する手段であって、該Ｂ
フレーム及び変換されたフレームはオーバラップ領域を
有する該変換手段と、前記Ｂフレームと前記Ｂフレーム
の第１隣接フレームとの間の変位を表す第１変位ベクト
ルを推定し、かつその推定された第１変位ベクトルに基
づいて前記Ｂフレームに対する第１の予測済みのフレー
ム信号を与える第１予測手段と、前記変換されたフレー
ムと前記変換されたフレームの第２の隣接フレームとの
間の変位を表す第２変位ベクトルを推定し、かつその推
定された第２変位ベクトルに基づいて、前記変換された
フレームに対する第２の予測済みのフレーム信号を与え
る第２予測手段と、前記オーバラップ領域に対応するエ
リアに位置した前記第１及び第２の予測済みのフレーム
信号を平均化することによって、第３の予測済みのフレ
ーム信号を発生する第３予測手段と、前記第１及び第３
の予測済みのフレーム信号のフレームタイプに対応する
制御信号に応答して、前記第１の予測済みのフレーム信
号または第３の予測済みのフレーム信号を選択的に発生
する選択手段とからなることを特徴としている。
めに、本発明のある実施態様によれば、イメージ符号化
システムで用いられ、二方向性の予測フレーム（Ｂフレ
ーム）の入力ディジタルビデオ信号に対する予測済みの
フレーム信号を、該Ｂフレームの二つの隣なるフレーム
に基づいて与える装置であって、該Ｂフレームは第１セ
ットの探索ブロックを有し、かつ該入力ディジタルビデ
オ信号は複数のフレームを備える動き補償装置であっ
て、前記Ｂフレームを第２セットの探索ブロックを有す
る、変換されたフレームに変換する手段であって、該Ｂ
フレーム及び変換されたフレームはオーバラップ領域を
有する該変換手段と、前記Ｂフレームと前記Ｂフレーム
の第１隣接フレームとの間の変位を表す第１変位ベクト
ルを推定し、かつその推定された第１変位ベクトルに基
づいて前記Ｂフレームに対する第１の予測済みのフレー
ム信号を与える第１予測手段と、前記変換されたフレー
ムと前記変換されたフレームの第２の隣接フレームとの
間の変位を表す第２変位ベクトルを推定し、かつその推
定された第２変位ベクトルに基づいて、前記変換された
フレームに対する第２の予測済みのフレーム信号を与え
る第２予測手段と、前記オーバラップ領域に対応するエ
リアに位置した前記第１及び第２の予測済みのフレーム
信号を平均化することによって、第３の予測済みのフレ
ーム信号を発生する第３予測手段と、前記第１及び第３
の予測済みのフレーム信号のフレームタイプに対応する
制御信号に応答して、前記第１の予測済みのフレーム信
号または第３の予測済みのフレーム信号を選択的に発生
する選択手段とからなることを特徴としている。
【００１２】また、本発明の他の実施態様によれば、二
方向性の予測フレーム（Ｂフレーム）の入力ディジタル
ビデオ信号に対する予測済みのフレーム信号を、該Ｂフ
レームの２つの隣接するフレームに基づいて符号化する
イメージ符号化システムであって、該Ｂフレームは第１
セットの探索ブロックを有し、かつ該入力ディジタルビ
デオ信号は複数のフレームを備えるイメージ符号化シス
テムであって、前記Ｂフレームを第２セットの探索ブロ
ックを有する、変換されたフレームに変換する手段であ
って、該Ｂフレーム及び変換されたフレームはオーバラ
ップ領域を有する該変換手段と、前記Ｂフレームと前記
Ｂフレームの第１の隣接フレームとの間の変位を表す第
１変位ベクトルを推定し、かつその推定された第１変位
ベクトルに基づいて前記Ｂフレームに対する第１の予測
済みのフレーム信号を与える第１予測手段と、前記変換
されたフレームと前記変換されたフレームの第２の隣接
フレームとの間の変位を表す第２変位ベクトルを推定
し、かつその推定された第２変位ベクトルに基づいて、
前記変換されたフレームに対する第２の予測フレーム信
号を与える第２予測手段と、前記オーバラップ領域に対
応するエリアに位置した前記第１及び第２の予測済みの
フレーム信号を平均化することによって、第３の予測済
みのフレーム信号を発生する第３予測手段と、前記第１
及び第３の予測済みのフレーム信号のフレームタイプに
対応する制御信号に応答して、前記第１の予測済みのフ
レーム信号または第３の予測済みのフレーム信号を選択
的に発生する選択手段と、対応する入力ディジタルビデ
オ信号から第１及び第３の予測フレーム信号うちの何れ
か１つを減算して差分信号を与えると共に、該差分信号
と推定された変位ベクトルとを符号化することによっ
て、符号化済みのディジタルビデオ信号を与える手段と
からなることを特徴としている。
方向性の予測フレーム（Ｂフレーム）の入力ディジタル
ビデオ信号に対する予測済みのフレーム信号を、該Ｂフ
レームの２つの隣接するフレームに基づいて符号化する
イメージ符号化システムであって、該Ｂフレームは第１
セットの探索ブロックを有し、かつ該入力ディジタルビ
デオ信号は複数のフレームを備えるイメージ符号化シス
テムであって、前記Ｂフレームを第２セットの探索ブロ
ックを有する、変換されたフレームに変換する手段であ
って、該Ｂフレーム及び変換されたフレームはオーバラ
ップ領域を有する該変換手段と、前記Ｂフレームと前記
Ｂフレームの第１の隣接フレームとの間の変位を表す第
１変位ベクトルを推定し、かつその推定された第１変位
ベクトルに基づいて前記Ｂフレームに対する第１の予測
済みのフレーム信号を与える第１予測手段と、前記変換
されたフレームと前記変換されたフレームの第２の隣接
フレームとの間の変位を表す第２変位ベクトルを推定
し、かつその推定された第２変位ベクトルに基づいて、
前記変換されたフレームに対する第２の予測フレーム信
号を与える第２予測手段と、前記オーバラップ領域に対
応するエリアに位置した前記第１及び第２の予測済みの
フレーム信号を平均化することによって、第３の予測済
みのフレーム信号を発生する第３予測手段と、前記第１
及び第３の予測済みのフレーム信号のフレームタイプに
対応する制御信号に応答して、前記第１の予測済みのフ
レーム信号または第３の予測済みのフレーム信号を選択
的に発生する選択手段と、対応する入力ディジタルビデ
オ信号から第１及び第３の予測フレーム信号うちの何れ
か１つを減算して差分信号を与えると共に、該差分信号
と推定された変位ベクトルとを符号化することによっ
て、符号化済みのディジタルビデオ信号を与える手段と
からなることを特徴としている。
【００１３】
【実施例】以下、本発明の動き補償装置とこれに用いる
イメージ符号化システムについて以下図面を参照しなが
らより詳しく説明する。
イメージ符号化システムについて以下図面を参照しなが
らより詳しく説明する。
【００１４】図１には、本発明の動き補償デバイス１５
０を用いるイメージ符号化システムのブロック図が示さ
れている。
０を用いるイメージ符号化システムのブロック図が示さ
れている。
【００１５】イメージ符号化システムはフレーム再配列
回路１０１、減算器１０２、イメージ信号符号化器１０
５、イメージ信号復号化器１１３、加算器１１５、切り
換え回路１１８、フレームメモリデバイス１２０、エン
トロピー符号化器１０７及び動き補償デバイス１５０か
らなる。
回路１０１、減算器１０２、イメージ信号符号化器１０
５、イメージ信号復号化器１１３、加算器１１５、切り
換え回路１１８、フレームメモリデバイス１２０、エン
トロピー符号化器１０７及び動き補償デバイス１５０か
らなる。
【００１６】最初、入力ディジタルビデオ信号は、フレ
ーム再配列回路１０１へ加えられる。この入力ディジタ
ルビデオ信号は複数のピクチャ群からなるり、各ピクチ
ャ群は複数のフレーム（またはピクチャ）を有し、前記
において各群はＩ１、Ｂ１、Ｐ１、Ｂ２、Ｐ２、Ｂ３、
Ｐ３、Ｂ４、Ｐ４の順で一連の複数のフレーム、即ち、
１つのイントラフレーム（Ｉフレーム）Ｉ１と、４つの
二方向性の予測フレーム（Ｂフレーム）Ｂ１、Ｂ２、Ｂ
３及びＢ４と、４つの予測フレーム（Ｐフレーム）Ｐ
１、Ｐ２、Ｐ３及びＰ４とからなる。フレーム再配列回
路１０１は、Ｂフレームに対する予測済みのフレーム信
号を求めるために、その入力ビデオシーケンスを例え
ば、Ｉ１、Ｐ１、Ｂ１、Ｐ２、Ｂ２、Ｐ３、Ｂ３、Ｐ４
及びＢ４の再列されたシーケンスに変換する働きをす
る。その後、その再配列されたディジタルビデオ信号
は、減算器１０２と動き補償デバイス１５０へ与えられ
る。
ーム再配列回路１０１へ加えられる。この入力ディジタ
ルビデオ信号は複数のピクチャ群からなるり、各ピクチ
ャ群は複数のフレーム（またはピクチャ）を有し、前記
において各群はＩ１、Ｂ１、Ｐ１、Ｂ２、Ｐ２、Ｂ３、
Ｐ３、Ｂ４、Ｐ４の順で一連の複数のフレーム、即ち、
１つのイントラフレーム（Ｉフレーム）Ｉ１と、４つの
二方向性の予測フレーム（Ｂフレーム）Ｂ１、Ｂ２、Ｂ
３及びＢ４と、４つの予測フレーム（Ｐフレーム）Ｐ
１、Ｐ２、Ｐ３及びＰ４とからなる。フレーム再配列回
路１０１は、Ｂフレームに対する予測済みのフレーム信
号を求めるために、その入力ビデオシーケンスを例え
ば、Ｉ１、Ｐ１、Ｂ１、Ｐ２、Ｂ２、Ｐ３、Ｂ３、Ｐ４
及びＢ４の再列されたシーケンスに変換する働きをす
る。その後、その再配列されたディジタルビデオ信号
は、減算器１０２と動き補償デバイス１５０へ与えられ
る。
【００１７】本発明の動き補償デバイス１５０は、Ｐフ
レームとＢフレームに対する動きベクトルを推定し、か
つそのＰフレームとＢフレームに対する予測済みのフレ
ーム信号を推定された動きベクトルを用いることによっ
て特定する。その動きベクトルと予測済みのフレーム信
号は、エントロピー符号化器１０７、減算器１０２及び
加算器１１５へ各々与えられる。Ｂフレームに対する動
きベクトルの推定と予測済みのフレーム信号の特定は、
図２、図３Ａ、及び図３Ｂを参照して以降で詳細に説明
されるように、本発明による新規なブロック構成変換技
法を用いることによって行われる。
レームとＢフレームに対する動きベクトルを推定し、か
つそのＰフレームとＢフレームに対する予測済みのフレ
ーム信号を推定された動きベクトルを用いることによっ
て特定する。その動きベクトルと予測済みのフレーム信
号は、エントロピー符号化器１０７、減算器１０２及び
加算器１１５へ各々与えられる。Ｂフレームに対する動
きベクトルの推定と予測済みのフレーム信号の特定は、
図２、図３Ａ、及び図３Ｂを参照して以降で詳細に説明
されるように、本発明による新規なブロック構成変換技
法を用いることによって行われる。
【００１８】続いて、減算器１０２にて、動き補償デバ
イス１５０からの予測済みのフレーム信号は、フレーム
再配列回路１０１からの対応する現フレーム信号から減
算される。また、その結果データとして、即ち、差分画
素値を表すエラー信号は、イメージ信号符号化器１０５
へ供給され、該エラー信号は、例えば、離散的コサイン
変換（ＤＣＴ）と公知の量子化技法のうち何れか１つを
用いて、量子化済みの変換係数の複数のセットにブロッ
ク単位で符号化される。そののち、量子化済みの変換係
数は、次のような２つの信号経路を通じて伝送される。
即ち、量子化済みの変換係数は第１信号経路を通じてエ
ントロピー符号化器１０７へ伝送されて、例えば、ラン
レングス符号化と可変長さ符号化との組み合わせを用い
て、動き補償デバイス１５０からの動きベクトルととも
に符号化されて、その伝送のために伝送機（図示せず）
へ与えられる。一方、量子化済みの変換係数は第２信号
経路を通じてイメージ信号復号化器１１３へ与えられ
て、逆量子化と逆離散的コサイン変換を用いて再構成さ
れたエラー信号に再変換される。かかるエラー信号の再
構成は符号化器にとって対応する受信機における復号化
器の動作状態を追跡して、符号化器で再構成された信号
が復号化器で再構成された信号からずれの発生を防止す
るための信号処理過程である。
イス１５０からの予測済みのフレーム信号は、フレーム
再配列回路１０１からの対応する現フレーム信号から減
算される。また、その結果データとして、即ち、差分画
素値を表すエラー信号は、イメージ信号符号化器１０５
へ供給され、該エラー信号は、例えば、離散的コサイン
変換（ＤＣＴ）と公知の量子化技法のうち何れか１つを
用いて、量子化済みの変換係数の複数のセットにブロッ
ク単位で符号化される。そののち、量子化済みの変換係
数は、次のような２つの信号経路を通じて伝送される。
即ち、量子化済みの変換係数は第１信号経路を通じてエ
ントロピー符号化器１０７へ伝送されて、例えば、ラン
レングス符号化と可変長さ符号化との組み合わせを用い
て、動き補償デバイス１５０からの動きベクトルととも
に符号化されて、その伝送のために伝送機（図示せず）
へ与えられる。一方、量子化済みの変換係数は第２信号
経路を通じてイメージ信号復号化器１１３へ与えられ
て、逆量子化と逆離散的コサイン変換を用いて再構成さ
れたエラー信号に再変換される。かかるエラー信号の再
構成は符号化器にとって対応する受信機における復号化
器の動作状態を追跡して、符号化器で再構成された信号
が復号化器で再構成された信号からずれの発生を防止す
るための信号処理過程である。
【００１９】イメージ信号復号化器１１３からの再構成
済みのエラー信号と動き補償デバイス１５０からの予測
済みのフレーム信号とは、加算器１１５で組み合わせら
れて、一つの再構成済みのフレーム信号が切り換え回路
１１８へ供給される。加算器１１５とフレームメモリデ
バイス１２０との間の結合は、イメージ符号化システム
内に組み込まれたシステム制御器（図示せず）から与え
られた制御信号、例えば、ＳＣ１に応答して、切り換え
回路１１８により制御される。ここで、該制御信号ＳＣ
１は加算器１１５からの再構成済みのフレーム信号のフ
レームタイプに対応する信号を表す。即ち、切り換え回
路１１８の切り換え動作を通じて、ＩフレームとＰフレ
ームに対する再構成済みのフレーム信号は、フレームメ
モリデバイス１２０に入力されて格納される。一方で
は、Ｂフレームに対する再構成済みのフレーム信号は、
フレームメモリデバイス１２０から分離される。なぜな
らば、Ｂフレームはその予測のための基準信号として用
いられないためである。フレームメモリデバイス１２
０、例えば、直列に連結された２つのフレームメモリ１
２１及び１２２を含む。即ち、加算器１１５からの再構
成済みのフレーム信号は、最初に第１フレームメモリ１
２１に格納された後、もし加算器１１５から次の再構成
済みのフレーム信号が第１フレームメモリ１２１へ印加
されれば、ラインＬ１０を通じて動き補償デバイス１５
０へ与えられる同時に、第２フレームメモリ１２２へも
フレーム単位でシフトされる。かかる処理は、イメージ
符号化システムの動作が行われる間繰り返して行われ
る。
済みのエラー信号と動き補償デバイス１５０からの予測
済みのフレーム信号とは、加算器１１５で組み合わせら
れて、一つの再構成済みのフレーム信号が切り換え回路
１１８へ供給される。加算器１１５とフレームメモリデ
バイス１２０との間の結合は、イメージ符号化システム
内に組み込まれたシステム制御器（図示せず）から与え
られた制御信号、例えば、ＳＣ１に応答して、切り換え
回路１１８により制御される。ここで、該制御信号ＳＣ
１は加算器１１５からの再構成済みのフレーム信号のフ
レームタイプに対応する信号を表す。即ち、切り換え回
路１１８の切り換え動作を通じて、ＩフレームとＰフレ
ームに対する再構成済みのフレーム信号は、フレームメ
モリデバイス１２０に入力されて格納される。一方で
は、Ｂフレームに対する再構成済みのフレーム信号は、
フレームメモリデバイス１２０から分離される。なぜな
らば、Ｂフレームはその予測のための基準信号として用
いられないためである。フレームメモリデバイス１２
０、例えば、直列に連結された２つのフレームメモリ１
２１及び１２２を含む。即ち、加算器１１５からの再構
成済みのフレーム信号は、最初に第１フレームメモリ１
２１に格納された後、もし加算器１１５から次の再構成
済みのフレーム信号が第１フレームメモリ１２１へ印加
されれば、ラインＬ１０を通じて動き補償デバイス１５
０へ与えられる同時に、第２フレームメモリ１２２へも
フレーム単位でシフトされる。かかる処理は、イメージ
符号化システムの動作が行われる間繰り返して行われ
る。
【００２０】図２には、図１に示された動き補償デバイ
ス１５０の詳細なブロック図が示されている。この動き
補償デバイス１５０は切り換え回路１５２、第１及び第
２動き補償ユニット１５１及び１５３、共通予測信号発
生器１５６及びセレクタ１５８からなる。ここで、第１
動き補償ユニット１５１は動き推定器１５１ａ、動き補
償器１５１ｂを備え、かつ第２動き補償ユニット１５３
は切り換え回路１５３ａ、ブロック構成変換回路１５３
ｂ、動き推定器１５３ｃ及び動き補償器１５３ｄを備え
る。第１動き補償ユニット１５１は、ＰフレームとＢフ
レームに対する前方への予測済みのフレーム信号を提供
する反面、第２動き補償ユニット１５３は、Ｂフレーム
に対する後方への予測済みのフレーム信号のみを発生す
る働きをする。
ス１５０の詳細なブロック図が示されている。この動き
補償デバイス１５０は切り換え回路１５２、第１及び第
２動き補償ユニット１５１及び１５３、共通予測信号発
生器１５６及びセレクタ１５８からなる。ここで、第１
動き補償ユニット１５１は動き推定器１５１ａ、動き補
償器１５１ｂを備え、かつ第２動き補償ユニット１５３
は切り換え回路１５３ａ、ブロック構成変換回路１５３
ｂ、動き推定器１５３ｃ及び動き補償器１５３ｄを備え
る。第１動き補償ユニット１５１は、ＰフレームとＢフ
レームに対する前方への予測済みのフレーム信号を提供
する反面、第２動き補償ユニット１５３は、Ｂフレーム
に対する後方への予測済みのフレーム信号のみを発生す
る働きをする。
【００２１】フレーム再配列回路１０１からのビデオ信
号が、Ｉフレーム信号（例えば、Ｉ１フレーム信号）の
場合、切り換え回路１５２はシステム制御器からの制御
信号ＳＣ２に応答して開放され、よって、Ｉフレームの
動き補償は動き補償デバイス１５０で行われない。
号が、Ｉフレーム信号（例えば、Ｉ１フレーム信号）の
場合、切り換え回路１５２はシステム制御器からの制御
信号ＳＣ２に応答して開放され、よって、Ｉフレームの
動き補償は動き補償デバイス１５０で行われない。
【００２２】もし、動き補償デバイス１５０への入力が
再配列されたビデオシーケンス内におけるＰフレーム信
号のうちの１つ、例えば、Ｐ１フレーム信号の場合、切
り換え回路１５２は短絡され、切り換え回路１５３ａ
は、Ｐ１フレーム信号が第１動き補償ユニット１５１の
みへ供給されるように開放されるが、この切り換え回路
１５３ａは、システムコントローラからの制御信号ＳＣ
３により制御される。動き推定器１５１ａは、Ｐ１フレ
ームに含まれた探索ブロックの各々に対して動きベクト
ルを求める通常のブロックマッチング技法を用いて、Ｐ
１フレームとその前基準フレーム、例えば、Ｉ１フレー
ムとの間に、入力Ｐフレーム、例えば、Ｐ１フレームの
動き推定を行い、該前基準フレームは図１に示された第
２フレームメモリ１２２に格納されている。Ｐ１フレー
ムに含まれた探索ブロックの各々に対して動きベクトル
を求める通常のブロックマッチング技法を用いて。その
のち、その動きベクトル信号は動き補償器１５１ｂと図
１のエントロピー符号化器１０７へ供給される。その動
き補償器１５１ｂは動き推定器１５１ａからの動きベク
トル信号に応答して、第２フレームメモリ１２２からの
Ｉ１フレームデータをラインＬ１１を通じて選択的に取
り出し、Ｐ１フレームに対する予測済みのフレーム信号
を減算器１０２と加算器１１５へ出力する。
再配列されたビデオシーケンス内におけるＰフレーム信
号のうちの１つ、例えば、Ｐ１フレーム信号の場合、切
り換え回路１５２は短絡され、切り換え回路１５３ａ
は、Ｐ１フレーム信号が第１動き補償ユニット１５１の
みへ供給されるように開放されるが、この切り換え回路
１５３ａは、システムコントローラからの制御信号ＳＣ
３により制御される。動き推定器１５１ａは、Ｐ１フレ
ームに含まれた探索ブロックの各々に対して動きベクト
ルを求める通常のブロックマッチング技法を用いて、Ｐ
１フレームとその前基準フレーム、例えば、Ｉ１フレー
ムとの間に、入力Ｐフレーム、例えば、Ｐ１フレームの
動き推定を行い、該前基準フレームは図１に示された第
２フレームメモリ１２２に格納されている。Ｐ１フレー
ムに含まれた探索ブロックの各々に対して動きベクトル
を求める通常のブロックマッチング技法を用いて。その
のち、その動きベクトル信号は動き補償器１５１ｂと図
１のエントロピー符号化器１０７へ供給される。その動
き補償器１５１ｂは動き推定器１５１ａからの動きベク
トル信号に応答して、第２フレームメモリ１２２からの
Ｉ１フレームデータをラインＬ１１を通じて選択的に取
り出し、Ｐ１フレームに対する予測済みのフレーム信号
を減算器１０２と加算器１１５へ出力する。
【００２３】切り換え回路１５２への入力信号が、複数
のＢフレーム信号のうちの１つ、例えば、Ｂ１フレーム
信号である場合、切り換え回路１５２及び１５３ａは短
絡されて、かつ入力信号であるＢ１フレーム信号は第１
及び第２動き補償ユニット１５１及び１５３に同時に供
給される。Ｂ１フレームに対する前方への予測済みのフ
レーム信号は、Ｐ１フレームの場合において説明された
方法と同様な方法によって第１動き補償ユニット１５１
により決定される。即ち、Ｂ１フレーム内の各探索ブロ
ックに対する前方への動きベクトルは、Ｂ１フレームと
その前方基準フレーム（例えば、Ｉ１フレーム）の間で
Ｂ１フレームの動き推定を行うことによって、特定され
る。その後、その特定された動きベクトルは動き補償器
１５１ｂへ与えられるが、その動き補償器１５１ｂは動
きベクトルに対応するＩ１フレームデータをラインＬ１
１を通じて取り出して、Ｂ１フレームに対する前方への
予測済みのフレーム信号をセレクタ１５８と共通予測信
号発生器１５６へ出力する。
のＢフレーム信号のうちの１つ、例えば、Ｂ１フレーム
信号である場合、切り換え回路１５２及び１５３ａは短
絡されて、かつ入力信号であるＢ１フレーム信号は第１
及び第２動き補償ユニット１５１及び１５３に同時に供
給される。Ｂ１フレームに対する前方への予測済みのフ
レーム信号は、Ｐ１フレームの場合において説明された
方法と同様な方法によって第１動き補償ユニット１５１
により決定される。即ち、Ｂ１フレーム内の各探索ブロ
ックに対する前方への動きベクトルは、Ｂ１フレームと
その前方基準フレーム（例えば、Ｉ１フレーム）の間で
Ｂ１フレームの動き推定を行うことによって、特定され
る。その後、その特定された動きベクトルは動き補償器
１５１ｂへ与えられるが、その動き補償器１５１ｂは動
きベクトルに対応するＩ１フレームデータをラインＬ１
１を通じて取り出して、Ｂ１フレームに対する前方への
予測済みのフレーム信号をセレクタ１５８と共通予測信
号発生器１５６へ出力する。
【００２４】一方では、Ｂ１フレームに対する後方への
予測済みのフレーム信号は、本発明によるブロック構成
変換技法を用いることによって第２動き補償ユニット１
５３から得られる。より詳しくは、そのブロック構成変
換回路１５３ｂにおいて、フレーム再配列回路１０１か
らのＨ×Ｖ個の同一の大きさを有する探索ブロックにな
った入力Ｂ１フレームは、（Ｈ−ｈ）×（Ｖ−ｖ）個の
同一大きさを有する再構成ズームの探索ブロックを有す
る新しいフレーム構成あるいは変換されたＢ１フレーム
に変換され、該Ｈ、Ｖ、ｈ及びｖは正の整数であり、か
つｈ及びｖは各々Ｈ及びＶより小さい。ここで、入力Ｂ
１フレームの探索ブロックと新しいフレーム構成のうち
の再構成済みの探索ブロックとは、同一の大きさを有
し、再構成済みの探索ブロックのうち入力Ｂ１フレーム
の探索ブロック上で正確にオーバラップされたものは一
つもない。例えば、新しいフレーム構成が（Ｈー１）×
（Ｖ−１）個の探索ブロックを含む場合、Ｂ１フレーム
と新しいフレーム構成との間のオフセットは、水平及び
垂直方向で１画素と等しいかまたは１画素より大きく、
かつ１ブロックの大きさより小さい。
予測済みのフレーム信号は、本発明によるブロック構成
変換技法を用いることによって第２動き補償ユニット１
５３から得られる。より詳しくは、そのブロック構成変
換回路１５３ｂにおいて、フレーム再配列回路１０１か
らのＨ×Ｖ個の同一の大きさを有する探索ブロックにな
った入力Ｂ１フレームは、（Ｈ−ｈ）×（Ｖ−ｖ）個の
同一大きさを有する再構成ズームの探索ブロックを有す
る新しいフレーム構成あるいは変換されたＢ１フレーム
に変換され、該Ｈ、Ｖ、ｈ及びｖは正の整数であり、か
つｈ及びｖは各々Ｈ及びＶより小さい。ここで、入力Ｂ
１フレームの探索ブロックと新しいフレーム構成のうち
の再構成済みの探索ブロックとは、同一の大きさを有
し、再構成済みの探索ブロックのうち入力Ｂ１フレーム
の探索ブロック上で正確にオーバラップされたものは一
つもない。例えば、新しいフレーム構成が（Ｈー１）×
（Ｖ−１）個の探索ブロックを含む場合、Ｂ１フレーム
と新しいフレーム構成との間のオフセットは、水平及び
垂直方向で１画素と等しいかまたは１画素より大きく、
かつ１ブロックの大きさより小さい。
【００２５】即ち、図３Ａにおいて、符号２００として
概略表示されたＢ１フレームが、例えば、５×５個の探
索ブロック（即ち、Ｓ１ないしＳ２５）を有する場合、
その探索ブロックの各々は、Ｒ×Ｃ個の画素からなり、
該ＲとＣは正の整数である。よって、そのＢ１フレーム
は、ブロック構成変換回路１５３ｂにて図３Ｂに示され
たように、例えば、Ｂ１フレーム２００に含まれた各探
索ブロックの大きさと同一の大きさを有する４×４個の
探索ブロックとして表現される変換された（破線で表わ
された）Ｂ１フレーム３００に変換される。
概略表示されたＢ１フレームが、例えば、５×５個の探
索ブロック（即ち、Ｓ１ないしＳ２５）を有する場合、
その探索ブロックの各々は、Ｒ×Ｃ個の画素からなり、
該ＲとＣは正の整数である。よって、そのＢ１フレーム
は、ブロック構成変換回路１５３ｂにて図３Ｂに示され
たように、例えば、Ｂ１フレーム２００に含まれた各探
索ブロックの大きさと同一の大きさを有する４×４個の
探索ブロックとして表現される変換された（破線で表わ
された）Ｂ１フレーム３００に変換される。
【００２６】本発明の好ましい実施例において、Ｂ１フ
レームと変換されたＢ１フレームとの間におけるオフセ
ットは、水平及び垂直方向で探索ブロックの半分ほどに
なることが好ましい。
レームと変換されたＢ１フレームとの間におけるオフセ
ットは、水平及び垂直方向で探索ブロックの半分ほどに
なることが好ましい。
【００２７】動き推定器１５３ｃにおいて、再構成済み
の探索ブロックの各々に対する後方への動きベクトル
は、通常のブロックマッチングアルゴリズムを用いるこ
とによって、ブロック構成変換回路１５３ｂからの変換
されたＢ１フレームと第１フレームメモリ１２１からの
その後方の基準フレーム（即ち、Ｐ１フレーム）との間
で推定される。そののち、この動き推定器１５３ｃで推
定された後方への動きベクトルは、エントロピー符号化
器１０７と動き補償器１５３ｄへ出力される。この動き
補償器１５３ｄは第１フレームメモリ１２１内に格納さ
れたＰ１フレームから後方への動きベクトルに対応する
画素データを取り出して、よって、Ｂ１フレームに対す
る後方への予測済みのフレーム信号を共通予測信号発生
器１５６へ出力する。
の探索ブロックの各々に対する後方への動きベクトル
は、通常のブロックマッチングアルゴリズムを用いるこ
とによって、ブロック構成変換回路１５３ｂからの変換
されたＢ１フレームと第１フレームメモリ１２１からの
その後方の基準フレーム（即ち、Ｐ１フレーム）との間
で推定される。そののち、この動き推定器１５３ｃで推
定された後方への動きベクトルは、エントロピー符号化
器１０７と動き補償器１５３ｄへ出力される。この動き
補償器１５３ｄは第１フレームメモリ１２１内に格納さ
れたＰ１フレームから後方への動きベクトルに対応する
画素データを取り出して、よって、Ｂ１フレームに対す
る後方への予測済みのフレーム信号を共通予測信号発生
器１５６へ出力する。
【００２８】そののち、共通予測信号発生器１５６は、
動き補償器１５１ｂからの前方への予測済みのフレーム
信号と動き補償器１５３ｄからの後方への予測済みのフ
レーム信号とから共通に予測済みの信号をセレクタ１５
８への出力信号として発生する。本発明によれば、共通
に予測済みのフレーム信号に含まれた各画素値は、二つ
のフレーム間で後方への予測済みのフレーム内の各画素
とオーバラップ領域に含まれた前方への予測済みのフレ
ームの画素とを平均化することによって、好ましくは得
られる。ここで、該後方への予測済みのフレームの各画
素と該前方への予測済みのフレームの画素は同一位置に
置かれている。
動き補償器１５１ｂからの前方への予測済みのフレーム
信号と動き補償器１５３ｄからの後方への予測済みのフ
レーム信号とから共通に予測済みの信号をセレクタ１５
８への出力信号として発生する。本発明によれば、共通
に予測済みのフレーム信号に含まれた各画素値は、二つ
のフレーム間で後方への予測済みのフレーム内の各画素
とオーバラップ領域に含まれた前方への予測済みのフレ
ームの画素とを平均化することによって、好ましくは得
られる。ここで、該後方への予測済みのフレームの各画
素と該前方への予測済みのフレームの画素は同一位置に
置かれている。
【００２９】システム制御器からの制御信号、例えば、
ＳＣ４に応答して、セレクタ１５８はオーバラップ領域
に対する共通予測信号発生器１５６からの後向への予測
済みのフレーム信号と非オーバラッピング領域に対する
動き補償器１５１ｂからの前方への予測されたフレーム
信号とを選択することによって、Ｂ１フレームに対する
予測済みのフレーム信号を減算器１０２と加算器１１５
とへ各々出力する。入力ディジタルビデオ信号内のＰ
２、Ｂ２、Ｐ３、Ｂ３、Ｐ４及びＢ４フレームに対する
予測済みのフレーム信号は、その基準フレームが上記の
入力ディジタルビデオ信号のＰ１フレーム及びＢ１フレ
ームに対する基準と異なることを除いて、同一の方法に
より得られる。
ＳＣ４に応答して、セレクタ１５８はオーバラップ領域
に対する共通予測信号発生器１５６からの後向への予測
済みのフレーム信号と非オーバラッピング領域に対する
動き補償器１５１ｂからの前方への予測されたフレーム
信号とを選択することによって、Ｂ１フレームに対する
予測済みのフレーム信号を減算器１０２と加算器１１５
とへ各々出力する。入力ディジタルビデオ信号内のＰ
２、Ｂ２、Ｐ３、Ｂ３、Ｐ４及びＢ４フレームに対する
予測済みのフレーム信号は、その基準フレームが上記の
入力ディジタルビデオ信号のＰ１フレーム及びＢ１フレ
ームに対する基準と異なることを除いて、同一の方法に
より得られる。
【００３０】本発明のイメージ符号化器に対応するイメ
ージ復号化システムにおいて、動き補償デバイスは、イ
メージ符号化システムから伝送された動きベクトルが対
応するイメージ復号化システムにおける動き補償器へ提
供されるため、動き補償デバイスに動き推定器が備えら
れていないことを除いては、図２の構成と類似な構成を
有する。
ージ復号化システムにおいて、動き補償デバイスは、イ
メージ符号化システムから伝送された動きベクトルが対
応するイメージ復号化システムにおける動き補償器へ提
供されるため、動き補償デバイスに動き推定器が備えら
れていないことを除いては、図２の構成と類似な構成を
有する。
【００３１】本発明は特定の実施例について説明された
が、本発明の範囲を逸脱することなく、当業者は種々の
改変をなし得るであろう。
が、本発明の範囲を逸脱することなく、当業者は種々の
改変をなし得るであろう。
【００３２】
【発明の効果】従って、本発明によれば、ブロック構成
変換技法を用いて、両方向予測フレームの入力ディジタ
ルビデオ信号に対する予測済みのフレーム信号を提供す
ることによって、全体の画質を向上させることができ
る。
変換技法を用いて、両方向予測フレームの入力ディジタ
ルビデオ信号に対する予測済みのフレーム信号を提供す
ることによって、全体の画質を向上させることができ
る。
【図１】本発明の動き補償デバイスを用いるイメージ符
号化システムのブロック図。
号化システムのブロック図。
【図２】図１に示された動き補償デバイスの詳細ブロッ
ク図。
ク図。
【図３】動き補償デバイスで行われたブロック構成変換
の手続きを説明するための図。
の手続きを説明するための図。
１０１ フレーム再配列回路 １０２ 減算器 １０５ イメージ信号符号化器 １０７ エントロピー符号化器 １１３ イメージ信号復号化器 １１５ 加算器 １１８ 切り換え回路 １２０ フレームメモリデバイス １２１ 第１フレームメモリ １２２ 第２フレームメモリ １５０ 動き補償デバイス １５１ 第１動き補償ユニット １５１ａ 動き推定器 １５１ｂ 動き補償器 １５２ 切り換え回路 １５３ 第２動き補償ユニット １５３ａ 切り換え回路 １５３ｂ ブロック構成変換回路 １５３ｃ 動き推定器 １５３ｄ 動き補償器 １５６ 共通予測信号発生器 １５８ セレクタ ２００ Ｂ１フレーム ３００ 探索ブロック
Claims (4)
- 【請求項１】 イメージ符号化システムで用いられ、
二方向性の予測フレーム（Ｂフレーム）の入力ディジタ
ルビデオ信号に対する予測済みのフレーム信号を、該Ｂ
フレームの２つの隣なるフレームに基づいて与える装置
であって、該Ｂフレームは第１セットの探索ブロックを
有し、かつ該入力ディジタルビデオ信号は複数のフレー
ムを備える動き補償装置であって、 前記Ｂフレームを第２セットの探索ブロックを有する、
変換されたフレームに変換する手段であって、該Ｂフレ
ーム及び変換されたフレームはオーバラップ領域を有す
る該変換手段と、 前記Ｂフレームと前記Ｂフレームの第１隣接フレームと
の間の変位を表す第１変位ベクトルを推定し、かつその
推定された第１変位ベクトルに基づいて前記Ｂフレーム
に対する第１の予測済みのフレーム信号を与える第１予
測手段と、 前記変換されたフレームと前記変換されたフレームの第
２隣接フレームとの間の変位を表す第２変位ベクトルを
推定し、かつその推定された第２変位ベクトルに基づい
て、前記変換されたフレームに対する第２の予測済みの
フレーム信号を与える第２予測手段と、 前記オーバラップ領域に対応するエリアに位置した前記
第１及び第２の予測済みのフレーム信号を平均化するこ
とによって、第３の予測済みのフレーム信号を発生する
第３予測手段と、 前記第１及び第３の予測済みのフレーム信号のフレーム
タイプに対応する制御信号に応答して、前記第１予測済
みのフレーム信号または第３の予測済みのフレーム信号
を選択的に発生する選択手段とを有することを特徴とす
る動き補償装置。 - 【請求項２】 前記第１及び第２探索ブロックは、各
々Ｈ×Ｖと（Ｈ−１）×（Ｖ−１）個のブロックとから
なり、かつ該第１及び第２探索ブロックは同一の大きさ
のブロックを有し、互いに異なる位置に置かれており、
該Ｈ及びＶは正の整数であることを特徴とする請求項１
に記載の動き補償装置。 - 【請求項３】 二方向性の予測フレーム（Ｂフレー
ム）の入力ディジタルビデオ信号に対する予測済みのフ
レーム信号を、該Ｂフレームの２つの隣接するなるフレ
ームに基づいて符号かするイメージ符号化システムであ
って、該Ｂフレームは第１セットの探索ブロックを有
し、かつ該入力ディジタルビデオ信号は複数のフレーム
を備えるイメージ符号化システムであって、 前記Ｂフレームを第２セットの探索ブロックを有する、
変換されたフレームに変換する手段であって、該Ｂフレ
ーム及び変換されたフレームはオーバラップ領域を有す
る、該変換手段と、 前記Ｂフレームと前記Ｂフレームの第１の隣接フレーム
との間の変位を表す第１変位ベクトルを推定し、かつそ
の推定された第１変位ベクトルに基づいて前記Ｂフレー
ムに対する第１の予測済みのフレーム信号を与える第１
予測手段と、 前記変換されたフレームと前記変換されたフレームの第
２の隣接フレームとの間の変位を表す第２変位ベクトル
を推定し、かつその推定された第２変位ベクトルに基づ
いて、前記変換されたフレームに対する第２の予測済み
のフレーム信号を与える第２予測手段と、 前記オーバラップ領域に対応するエリアに位置した前記
第１及び第２の予測済みのフレーム信号を平均化するこ
とによって、第３の予測済みのフレーム信号を発生する
第３予測手段と、 前記第１及び第３予測済みのフレーム信号のフレームタ
イプに対応する制御信号に応答して、前記第１の予測済
みのフレーム信号または第３の予測済みのフレーム信号
を選択的に発生する選択手段と、 対応する前記入力ディジタルビデオ信号から第１及び第
３の予測フレーム信号中の何れか１つを減算して差分信
号を与えると共に、該差分信号と推定された変位ベクト
ルとを符号化することによって、符号化済みのディジタ
ルビデオ信号を与える手段とを有することを特徴とする
イメージ符号化システム。 - 【請求項４】 前記第１及び第２探索ブロックは、各
々Ｈ×Ｖ個と（Ｈ−１）×（Ｖ−１）個のブロックとか
らなり、かつ該第１及び第２探索ブロックは同一の大き
さのブロックを有し、互いに異なる位置に置かれてお
り、該Ｈ及びＶは正の整数であることを特徴とする請求
項３に記載のイメージ符号化システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950005865A KR0171145B1 (ko) | 1995-03-20 | 1995-03-20 | 이미지 부호화 시스템용 움직임 보상 장치 |
| KR1995P5865 | 1995-03-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08265765A true JPH08265765A (ja) | 1996-10-11 |
| JP3681787B2 JP3681787B2 (ja) | 2005-08-10 |
Family
ID=19410194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13296695A Expired - Lifetime JP3681787B2 (ja) | 1995-03-20 | 1995-05-02 | イメージ符号化システムとこれに用いる動き補償装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5614954A (ja) |
| EP (1) | EP0734176B1 (ja) |
| JP (1) | JP3681787B2 (ja) |
| KR (1) | KR0171145B1 (ja) |
| CN (1) | CN1136732C (ja) |
| DE (1) | DE69523892T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998042136A1 (en) * | 1997-03-19 | 1998-09-24 | Sony Corporation | Image encoding method and device |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3876392B2 (ja) * | 1996-04-26 | 2007-01-31 | 富士通株式会社 | 動きベクトル探索方法 |
| US5870148A (en) * | 1997-06-17 | 1999-02-09 | Intel Corporation | Method and apparatus for adaptively enabling and disabling PB frames in an H.263 video coder |
| US6157676A (en) * | 1997-07-31 | 2000-12-05 | Victor Company Of Japan | Digital video signal inter-block interpolative predictive encoding/decoding apparatus and method providing high efficiency of encoding |
| US6473460B1 (en) * | 2000-03-31 | 2002-10-29 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for calculating motion vectors |
| US7027510B2 (en) * | 2002-03-29 | 2006-04-11 | Sony Corporation | Method of estimating backward motion vectors within a video sequence |
| US7515156B2 (en) * | 2003-01-08 | 2009-04-07 | Hrl Laboratories, Llc | Method and apparatus for parallel speculative rendering of synthetic images |
| KR100605746B1 (ko) * | 2003-06-16 | 2006-07-31 | 삼성전자주식회사 | 블럭 기반의 움직임 보상 장치 및 방법 |
| CN1225127C (zh) * | 2003-09-12 | 2005-10-26 | 中国科学院计算技术研究所 | 一种用于视频编码的编码端/解码端双向预测方法 |
| KR100987765B1 (ko) * | 2003-09-30 | 2010-10-13 | 삼성전자주식회사 | 동영상 부호화기에서의 예측 수행 방법 및 장치 |
| CN1300747C (zh) * | 2004-07-08 | 2007-02-14 | 上海大学 | 基于区域多重选择的视频运动对象分割提取方法 |
| CN100442851C (zh) * | 2004-10-28 | 2008-12-10 | 扬智科技股份有限公司 | 一种图像处理的运动补偿的参考地址计算装置及方法 |
| CN100373949C (zh) * | 2005-04-15 | 2008-03-05 | 北京中星微电子有限公司 | 一种硬件加速装置及其实现运动估计的方法 |
| KR100727994B1 (ko) * | 2005-10-06 | 2007-06-14 | 삼성전자주식회사 | 깜박거림 현상 감소를 위한 동영상 프레임의 코딩 방법 및장치 |
| US9300970B2 (en) | 2010-07-09 | 2016-03-29 | Samsung Electronics Co., Ltd. | Methods and apparatuses for encoding and decoding motion vector |
| KR101456499B1 (ko) * | 2010-07-09 | 2014-11-03 | 삼성전자주식회사 | 움직임 벡터의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| US9648334B2 (en) | 2011-03-21 | 2017-05-09 | Qualcomm Incorporated | Bi-predictive merge mode based on uni-predictive neighbors in video coding |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2532909B2 (ja) * | 1987-02-25 | 1996-09-11 | 富士写真フイルム株式会社 | ベクトル量子化による画像デ―タの圧縮装置 |
| JP3115651B2 (ja) * | 1991-08-29 | 2000-12-11 | シャープ株式会社 | 画像符号化装置 |
| JPH05137131A (ja) * | 1991-11-13 | 1993-06-01 | Sony Corp | フレーム間動き予測方法 |
| JP2549479B2 (ja) * | 1991-12-06 | 1996-10-30 | 日本電信電話株式会社 | 動き補償フレーム間帯域分割符号化処理方法 |
| KR0166717B1 (ko) * | 1992-06-18 | 1999-03-20 | 강진구 | 가변화면분할기법을 이용한 부호화/복호화방법 및 장치 |
| TW301098B (ja) * | 1993-03-31 | 1997-03-21 | Sony Co Ltd | |
| JP3163837B2 (ja) * | 1993-04-16 | 2001-05-08 | ソニー株式会社 | ディジタルビデオ信号の符号化装置 |
-
1995
- 1995-03-20 KR KR1019950005865A patent/KR0171145B1/ko not_active IP Right Cessation
- 1995-05-02 US US08/433,273 patent/US5614954A/en not_active Expired - Lifetime
- 1995-05-02 JP JP13296695A patent/JP3681787B2/ja not_active Expired - Lifetime
- 1995-05-02 DE DE1995623892 patent/DE69523892T2/de not_active Expired - Lifetime
- 1995-05-02 EP EP19950106565 patent/EP0734176B1/en not_active Expired - Lifetime
- 1995-05-09 CN CNB95105452XA patent/CN1136732C/zh not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998042136A1 (en) * | 1997-03-19 | 1998-09-24 | Sony Corporation | Image encoding method and device |
| US6005628A (en) * | 1997-03-19 | 1999-12-21 | Sony Corporation | Picture encoding method and picture encoding apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0734176B1 (en) | 2001-11-14 |
| JP3681787B2 (ja) | 2005-08-10 |
| CN1134084A (zh) | 1996-10-23 |
| US5614954A (en) | 1997-03-25 |
| CN1136732C (zh) | 2004-01-28 |
| DE69523892T2 (de) | 2002-04-11 |
| KR960036771A (ko) | 1996-10-28 |
| KR0171145B1 (ko) | 1999-03-20 |
| DE69523892D1 (de) | 2001-12-20 |
| EP0734176A2 (en) | 1996-09-25 |
| EP0734176A3 (en) | 1998-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR0181034B1 (ko) | 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치 | |
| KR100209793B1 (ko) | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 | |
| KR0171118B1 (ko) | 비디오신호 부호화 장치 | |
| KR0178231B1 (ko) | 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치 | |
| JP3681787B2 (ja) | イメージ符号化システムとこれに用いる動き補償装置 | |
| JP3938972B2 (ja) | 現フレーム予測装置 | |
| US5689312A (en) | Block matching motion estimation method | |
| JP3681784B2 (ja) | 映像信号符号化装置 | |
| US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| JP2507199B2 (ja) | 画像符号化方法及び装置 | |
| KR100602148B1 (ko) | 1/4픽셀 움직임 벡터를 이용한 동영상 압축방법 | |
| EP0720373A1 (en) | Method and apparatus for encoding a video signal using region-based motion vectors | |
| KR100203638B1 (ko) | 반화소 단위 움직임 추정방법 | |
| KR100240620B1 (ko) | 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치 | |
| JPH08242457A (ja) | 動きベクトル検出方法 | |
| JP3188081B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JPH09182081A (ja) | 動き補償予測符号化装置 | |
| JPH04213987A (ja) | 画像データの高能率符号化装置 | |
| KR100252346B1 (ko) | 개선된 텍스쳐 움직임 벡터 부호화 장치 및 그 방법 | |
| JP2005136941A (ja) | データ処理装置およびその方法と符号化装置 | |
| KR0159374B1 (ko) | 서치 그리드를 이용한 영상신호 부호화 장치 | |
| KR100207397B1 (ko) | 영상 부호화 시스템의 움직임 예측장치 및 방법 | |
| KR100203703B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 | |
| KR100657714B1 (ko) | 3차원 스캐닝을 이용한 영상데이터 부호화 방법 | |
| KR0174464B1 (ko) | 움직임 추정 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041026 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050519 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090527 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100527 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110527 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110527 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120527 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130527 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130527 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |