JPH06335025A - 動き補償フレーム間コンポジットｔｖ信号直接符号化方式 - Google Patents
動き補償フレーム間コンポジットｔｖ信号直接符号化方式Info
- Publication number
- JPH06335025A JPH06335025A JP13990893A JP13990893A JPH06335025A JP H06335025 A JPH06335025 A JP H06335025A JP 13990893 A JP13990893 A JP 13990893A JP 13990893 A JP13990893 A JP 13990893A JP H06335025 A JPH06335025 A JP H06335025A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- composite
- block
- reference block
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/04—Colour television systems using pulse code modulation
- H04N11/042—Codec means
- H04N11/044—Codec means involving transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Complex Calculations (AREA)
Abstract
(57)【要約】
【目的】 コンポジットＴＶ信号を直接フレーム間符号
化して情報圧縮を行なうことを目的とする。 【構成】 コンポジットＴＶ信号を輝度／色差分離して
得られる輝度信号により動き検出（８）を行って参照ブ
ロックを選択する。該参照ブロックと、符号化ブロック
のアダマール変換値から、コンポジット動き補償部
（７）により予測ブロックを決定する。符号化ブロック
のアダマール変換値と予測ブロックとの同次の係数の差
分（９）を量子化・符号化（２，３）し、直接フレーム
間符号化を行なって伝送する。
化して情報圧縮を行なうことを目的とする。 【構成】 コンポジットＴＶ信号を輝度／色差分離して
得られる輝度信号により動き検出（８）を行って参照ブ
ロックを選択する。該参照ブロックと、符号化ブロック
のアダマール変換値から、コンポジット動き補償部
（７）により予測ブロックを決定する。符号化ブロック
のアダマール変換値と予測ブロックとの同次の係数の差
分（９）を量子化・符号化（２，３）し、直接フレーム
間符号化を行なって伝送する。
Description
【０００１】
【産業上の利用分野】本発明は、テレビ信号として世の
中に最も普及しているコンポジットＴＶ信号を、高画質
に伝送するためアダマール変換を用いた動き補償フレー
ム間のコンポジットＴＶ信号直接符号化方式に関するも
のである。
中に最も普及しているコンポジットＴＶ信号を、高画質
に伝送するためアダマール変換を用いた動き補償フレー
ム間のコンポジットＴＶ信号直接符号化方式に関するも
のである。
【０００２】
【従来の技術】従来、入出力信号が同じコンポジットＴ
Ｖ信号の伝送系で分離符号化を適用しようとすると、輝
度信号と色差信号を分離し、コンポーネントＴＶ信号と
して取り扱い、別々に圧縮・再生を行った後、輝度／色
差合成を行いコンポジット信号にする操作が行われてい
た。一方、直接符号化には、上述の操作が必要がないた
め符号化装置が簡単になり、解像度低下、輝度／色差間
の漏れ込みなどの劣化が高画質テレビ伝送上ないという
利点がある。
Ｖ信号の伝送系で分離符号化を適用しようとすると、輝
度信号と色差信号を分離し、コンポーネントＴＶ信号と
して取り扱い、別々に圧縮・再生を行った後、輝度／色
差合成を行いコンポジット信号にする操作が行われてい
た。一方、直接符号化には、上述の操作が必要がないた
め符号化装置が簡単になり、解像度低下、輝度／色差間
の漏れ込みなどの劣化が高画質テレビ伝送上ないという
利点がある。
【０００３】よってコンポジットＴＶ信号を高画質伝送
するとなれば、コンポジットＴＶ信号のまま直接符号化
することが好ましい。他方、データ圧縮符号方式では予
測符号化方式として、コンポーネント符号化を前提とし
たフレーム間動き補償ＤＣＴ方式がその高い符号化効率
から各種の機関で標準方式として採用されている。しか
しながらＴＶ信号の伝送形態はＮＴＳＣ信号を始めとす
るコンポジット信号が主流であり、コンポーネントベー
スの符号化を適用すれば、コンポーネントＴＶ信号の輝
度／色差分離・合成はフィルタを用いて行われるため、
前述の画質劣化が避けられなかった。
するとなれば、コンポジットＴＶ信号のまま直接符号化
することが好ましい。他方、データ圧縮符号方式では予
測符号化方式として、コンポーネント符号化を前提とし
たフレーム間動き補償ＤＣＴ方式がその高い符号化効率
から各種の機関で標準方式として採用されている。しか
しながらＴＶ信号の伝送形態はＮＴＳＣ信号を始めとす
るコンポジット信号が主流であり、コンポーネントベー
スの符号化を適用すれば、コンポーネントＴＶ信号の輝
度／色差分離・合成はフィルタを用いて行われるため、
前述の画質劣化が避けられなかった。
【０００４】
【発明が解決しようとする課題】コンポーネントＴＶ信
号の場合はフィルタによる解像度低下等の画質劣化が、
一方高い圧縮率を得るためにはフレーム間符号化が有効
であるものの、コンポジットＴＶ信号においてはカラー
サブキャリア信号で変調された色差信号が輝度信号に重
畳されているため、コンポーネントＴＶ信号のように時
間領域上でフレーム間符号化を行ってもカラーサブキャ
リアの位相ズレにより圧縮率は高まらないというトレー
ドオフの課題があった。。
号の場合はフィルタによる解像度低下等の画質劣化が、
一方高い圧縮率を得るためにはフレーム間符号化が有効
であるものの、コンポジットＴＶ信号においてはカラー
サブキャリア信号で変調された色差信号が輝度信号に重
畳されているため、コンポーネントＴＶ信号のように時
間領域上でフレーム間符号化を行ってもカラーサブキャ
リアの位相ズレにより圧縮率は高まらないというトレー
ドオフの課題があった。。
【０００５】本発明は、以上の問題を解決することを目
的とする。
的とする。
【０００６】
【課題を解決するための手段】圧縮を前提としたＮＴＳ
ＣやＰＡＬなどのコンポジットＴＶ信号の符号化におい
て、圧縮率を高めるためにフレーム間符号化を用いる場
合、コンポジットＴＶ信号を輝度／色差分離して得られ
る輝度信号により、精度良く動き検出が行えることを利
用し、この動き検出により選択した参照ブロック（予測
ブロック）を用いて、コンポジットＴＶ信号のカラーサ
ブキャリア成分との親和性の良いアダマール変換上でコ
ンポジット信号をＹ／Ｃ分離せず、直接以下の動き補償
フレーム間符号化を行うことを特徴とする方式であっ
て、
ＣやＰＡＬなどのコンポジットＴＶ信号の符号化におい
て、圧縮率を高めるためにフレーム間符号化を用いる場
合、コンポジットＴＶ信号を輝度／色差分離して得られ
る輝度信号により、精度良く動き検出が行えることを利
用し、この動き検出により選択した参照ブロック（予測
ブロック）を用いて、コンポジットＴＶ信号のカラーサ
ブキャリア成分との親和性の良いアダマール変換上でコ
ンポジット信号をＹ／Ｃ分離せず、直接以下の動き補償
フレーム間符号化を行うことを特徴とする方式であっ
て、
【０００７】（１）符号化ブロックと参照ブロックにそ
れぞれ２次元アダマール変換を実行し、同次の係数の差
分値を求め、量子化・符号化を行った後伝送し、コンポ
ジット信号のまま直接フレーム間符号化を行う方式。
れぞれ２次元アダマール変換を実行し、同次の係数の差
分値を求め、量子化・符号化を行った後伝送し、コンポ
ジット信号のまま直接フレーム間符号化を行う方式。
【０００８】（２）（１）を行う場合、動き検出で得ら
れた動きベクトルの値に応じて参照ブロック上の特定の
アダマール変換係数同士を入れ換え・極性反転を行い、
コンポジットＴＶ信号に特有のカラーサブキャリア成分
の、符号化ブロックと参照ブロック間の位相ズレを補償
し圧縮率を高める方式。
れた動きベクトルの値に応じて参照ブロック上の特定の
アダマール変換係数同士を入れ換え・極性反転を行い、
コンポジットＴＶ信号に特有のカラーサブキャリア成分
の、符号化ブロックと参照ブロック間の位相ズレを補償
し圧縮率を高める方式。
【０００９】（３）参照ブロック、及び参照ブロックと
数画素、数ラインずれた位置に存在する周辺ブロックに
対し、（２）を行った後、参照ブロックと周辺ブロック
の同次アダマール変換係数を用いて補間値を作り、小数
画素精度の動き補償を行うことで圧縮率を高める方式。
数画素、数ラインずれた位置に存在する周辺ブロックに
対し、（２）を行った後、参照ブロックと周辺ブロック
の同次アダマール変換係数を用いて補間値を作り、小数
画素精度の動き補償を行うことで圧縮率を高める方式。
【００１０】
【作用】カラーサブキャリア成分を少数の係数へパッキ
ング可能とするアダマール変換を用い、変換上で動きベ
クトルの値に応じてカラーサブキャリア成分の位相補償
を行い、変換係数同士の補間処理による小数画素精度の
動き補償を行うことで、高い圧縮率のもとにおいても高
画質を実現可能となる。
ング可能とするアダマール変換を用い、変換上で動きベ
クトルの値に応じてカラーサブキャリア成分の位相補償
を行い、変換係数同士の補間処理による小数画素精度の
動き補償を行うことで、高い圧縮率のもとにおいても高
画質を実現可能となる。
【００１１】
【実施例】本発明をＮＴＳＣコンポジットＴＶ信号に適
用する場合において説明する。
用する場合において説明する。
【００１２】（１）アダマール変換を用いたフレーム間
直接符号化の方式について詳説する。
直接符号化の方式について詳説する。
【００１３】図１は本発明の原理ブロック図である。図
において、１と５はアダマール変換器、２は量子化器、
３は符号化器、４は逆量子化器、６はフレームメモリ、
７はコンポジット動き補償部、８は動き検出器、９はデ
ジタル減算器、１０はデジタル加算器である。
において、１と５はアダマール変換器、２は量子化器、
３は符号化器、４は逆量子化器、６はフレームメモリ、
７はコンポジット動き補償部、８は動き検出器、９はデ
ジタル減算器、１０はデジタル加算器である。
【００１４】入力コンポジットＴＶ信号は、インタレー
ス処理を行っており、符号化の入力部分でフィールドマ
ージを行い、フレームとして取り扱う。該フレームはア
ダマール変換器１に入力され、８×８アダマール変換を
行う。従って、フレーム間ＤＰＣＭループは、アダマー
ル変換上で実行する。
ス処理を行っており、符号化の入力部分でフィールドマ
ージを行い、フレームとして取り扱う。該フレームはア
ダマール変換器１に入力され、８×８アダマール変換を
行う。従って、フレーム間ＤＰＣＭループは、アダマー
ル変換上で実行する。
【００１５】量子化器２・逆量子化器４後の再生画像
は、アダマール変換器５にて逆アダマール変換し、時間
領域に戻した形でフレームメモリ６に蓄積する。
は、アダマール変換器５にて逆アダマール変換し、時間
領域に戻した形でフレームメモリ６に蓄積する。
【００１６】動き検出器８は、フレームメモリ６に蓄積
されている再生画像をY/C 分離した後のＹ信号を参照フ
レームとし、原信号をY/C 分離した後のＹ信号との間で
ブロックマッチングを行い動きベクトル（MVx ，MVy ）
を検出する。動きベクトルは、水平方向１画素精度、垂
直方向インタレースを考慮して２ライン精度で行う。得
られた動きベクトルをもとにして、参照ブロックをフレ
ームメモリから切り出し、コンポジット動き補償部７へ
入力する。
されている再生画像をY/C 分離した後のＹ信号を参照フ
レームとし、原信号をY/C 分離した後のＹ信号との間で
ブロックマッチングを行い動きベクトル（MVx ，MVy ）
を検出する。動きベクトルは、水平方向１画素精度、垂
直方向インタレースを考慮して２ライン精度で行う。得
られた動きベクトルをもとにして、参照ブロックをフレ
ームメモリから切り出し、コンポジット動き補償部７へ
入力する。
【００１７】コンポジット動き補償部７のブロック図を
図２に示す。図において、１１はアダマール変換器、１
２は位相補償器、１３は補間部、１４は予測ブロックの
決定部である。
図２に示す。図において、１１はアダマール変換器、１
２は位相補償器、１３は補間部、１４は予測ブロックの
決定部である。
【００１８】フレームメモリ６から、参照ブロック内の
画素及び小数画素精度の動き補償を行うための補間操作
に必要となるブロック内の画素をコンポジット動き補償
部７へと入力する。アダマール変換器１１は、参照ブロ
ック及び補間に用いるブロックに対し８×８アダマール
変換を実行し、位相補償器１２にて動きベクトルの値に
応じて各ブロックにおいてカラーサブキャリア（CSC:Co
lour sub-carrier）の位相補償を実行する。ＣＳＣ位相
補償の後、補完部１３は、参照ブロックと補間に用いる
ブロックとの間で、同次のアダマール変換係数間で補間
値を作り、小数画素精度動き補償の候補ブロックを作
る。予測ブロックの決定部は、得られた候補ブロックの
中で、符号化ブロックとの同次のＷＨＴ係数差分の絶対
値和が最も小さいブロックを予測ブロックとして選択す
る。
画素及び小数画素精度の動き補償を行うための補間操作
に必要となるブロック内の画素をコンポジット動き補償
部７へと入力する。アダマール変換器１１は、参照ブロ
ック及び補間に用いるブロックに対し８×８アダマール
変換を実行し、位相補償器１２にて動きベクトルの値に
応じて各ブロックにおいてカラーサブキャリア（CSC:Co
lour sub-carrier）の位相補償を実行する。ＣＳＣ位相
補償の後、補完部１３は、参照ブロックと補間に用いる
ブロックとの間で、同次のアダマール変換係数間で補間
値を作り、小数画素精度動き補償の候補ブロックを作
る。予測ブロックの決定部は、得られた候補ブロックの
中で、符号化ブロックとの同次のＷＨＴ係数差分の絶対
値和が最も小さいブロックを予測ブロックとして選択す
る。
【００１９】そしてアダマール変換後の符号化ブロック
のアダマール変換係数の絶対値和（ＤＣ成分は除く）と
符号化ブロックと予測ブロック間の同次のアダマール変
換係数差分の絶対値和を計算し、前者が小さい場合イン
トラモード、後者が小さい場合インターモードに図１の
デジタル減算器９・デジタル加算器１０の切替え制御を
行う。
のアダマール変換係数の絶対値和（ＤＣ成分は除く）と
符号化ブロックと予測ブロック間の同次のアダマール変
換係数差分の絶対値和を計算し、前者が小さい場合イン
トラモード、後者が小さい場合インターモードに図１の
デジタル減算器９・デジタル加算器１０の切替え制御を
行う。
【００２０】（２）本発明のカラーサブキャリア位相補
償について以下詳説する。
償について以下詳説する。
【００２１】一般に、ＮＴＳＣ信号における色差信号Ｃ
は次式で表現される。
は次式で表現される。
【００２２】
【数１】
【００２３】ただし、ｗscは、カラーサブキャリア成分
の角周波数である。式(1) は次式のように変形できる。
の角周波数である。式(1) は次式のように変形できる。
【００２４】
【数２】
【００２５】従って、色差信号をカラーサブキャリア周
波数の４倍の周波数でサンプリングした場合、（フィー
ルドマージ）フレーム内における８×８符号化ブロック
Ｓfr ame は次式のように表現できる。
波数の４倍の周波数でサンプリングした場合、（フィー
ルドマージ）フレーム内における８×８符号化ブロック
Ｓfr ame は次式のように表現できる。
【００２６】
【数３】
【００２７】一方、動き検出は、水平方向１画素精度、
垂直方向はインタレースを考慮して２ライン精度で行う
ものとすると、符号化ブロックと参照ブロック間でのカ
ラーサブキャリア位相ズレは、動きベクトルの値に応じ
て、０°、９０°、１８０°及び２７０°の４種類存在
する。動きベクトル（MVx ，MVy ）を現フレーム（符号
化ブロック）から前フレーム（参照ブロック）を見て、
右方向をMVx:＋、下方向をMVy:＋と定義すると、カラー
サブキャリア（ＣＳＣ）の位相ズレと（MVx ，MVy ）の
関係は式(4) 及び図３により表現される。
垂直方向はインタレースを考慮して２ライン精度で行う
ものとすると、符号化ブロックと参照ブロック間でのカ
ラーサブキャリア位相ズレは、動きベクトルの値に応じ
て、０°、９０°、１８０°及び２７０°の４種類存在
する。動きベクトル（MVx ，MVy ）を現フレーム（符号
化ブロック）から前フレーム（参照ブロック）を見て、
右方向をMVx:＋、下方向をMVy:＋と定義すると、カラー
サブキャリア（ＣＳＣ）の位相ズレと（MVx ，MVy ）の
関係は式(4) 及び図３により表現される。
【００２８】
【数４】
【００２９】このことから、Ｓframe 上でＣＳＣ位相を
０°、９０°、１８０°、２７０°ずらせると式(5) が
得られる。
０°、９０°、１８０°、２７０°ずらせると式(5) が
得られる。
【００３０】
【数５】
【００３１】ここで、色差信号において画素間の相関が
高く水平方向の隣合う画素の値は等しいという仮定を設
けることとする。すなわち、
高く水平方向の隣合う画素の値は等しいという仮定を設
けることとする。すなわち、
【００３２】
【数６】
【００３３】従って、次式を得る。
【００３４】
【数７】
【００３５】
【表１】
【００３６】Ｓframe に対し、右から８×８アダマール
行列Ｈをかけ水平方向のアダマール変換を実行する。た
だし、Ｈはシーケンシ順に並んでいるものとする。４種
類のＳframe における変換結果を行ベクトルごとに示し
たのが表１である。表１からＳframe(90゜)Ｈ，Ｓ
frame(180゜) Ｈ，Ｓframe(270゜) Ｈの各行の入れ替え及
び極性を反転されることによりＳframe(0゜) Ｈと等しく
することによりＣＳＣの位相を補償することが可能とな
り、色差成分に対しフレーム間相関を向上させることが
できる。
行列Ｈをかけ水平方向のアダマール変換を実行する。た
だし、Ｈはシーケンシ順に並んでいるものとする。４種
類のＳframe における変換結果を行ベクトルごとに示し
たのが表１である。表１からＳframe(90゜)Ｈ，Ｓ
frame(180゜) Ｈ，Ｓframe(270゜) Ｈの各行の入れ替え及
び極性を反転されることによりＳframe(0゜) Ｈと等しく
することによりＣＳＣの位相を補償することが可能とな
り、色差成分に対しフレーム間相関を向上させることが
できる。
【００３７】ここで動きベクトルに応じてＣＳＣ位相補
償の詳細について記述したのが図４である。
償の詳細について記述したのが図４である。
【００３８】以上のように、動き検出で得られた動きベ
クトルの値に応じて参照ブロック上の特定のアダマール
変換係数同士を入れ換え・極性反転を行い、コンポジッ
トＴＶ信号に特有のカラーサブキャリア成分の、符号化
ブロックと参照ブロック間の位相ズレを補償し圧縮率を
高めることができる。
クトルの値に応じて参照ブロック上の特定のアダマール
変換係数同士を入れ換え・極性反転を行い、コンポジッ
トＴＶ信号に特有のカラーサブキャリア成分の、符号化
ブロックと参照ブロック間の位相ズレを補償し圧縮率を
高めることができる。
【００３９】（３）本発明の小数画素精度の動き補償に
ついて詳説する。
ついて詳説する。
【００４０】次にコンポーネント信号を前提としたフレ
ーム間動き補償ＤＣＴ方式においては、整数精度で検出
した動きベクトルにより得られる参照ブロック内の画素
とその周辺の画素との補間値を作ることにより、小数画
素精度の動き補償を行い予測効率を向上させることが行
われている。本発明においても、アダマール変換領域上
でＣＳＣ位相補償を行った後、参照ブロックとその周辺
ブロックの同次の係数を用いて補間値を作れば、コンポ
ーネント符号化と等価な小数画素精度の動き補償が行い
得る。
ーム間動き補償ＤＣＴ方式においては、整数精度で検出
した動きベクトルにより得られる参照ブロック内の画素
とその周辺の画素との補間値を作ることにより、小数画
素精度の動き補償を行い予測効率を向上させることが行
われている。本発明においても、アダマール変換領域上
でＣＳＣ位相補償を行った後、参照ブロックとその周辺
ブロックの同次の係数を用いて補間値を作れば、コンポ
ーネント符号化と等価な小数画素精度の動き補償が行い
得る。
【００４１】すなわち、Ｘを時間領域、Ｙ＝ＨＸＨをア
ダマール変換領域のマトリクスとすると
ダマール変換領域のマトリクスとすると
【００４２】
【数８】
【００４３】半画素、半ライン精度の動きベクトルをも
とにして、半画素、半ライン精度の動き補償を行う場合
の補間方法を示したのが図５である。図において、本補
間は、水平１画素、垂直１ラインを等距離と仮定してい
る。
とにして、半画素、半ライン精度の動き補償を行う場合
の補間方法を示したのが図５である。図において、本補
間は、水平１画素、垂直１ラインを等距離と仮定してい
る。
【００４４】よって参照ブロック、及び参照ブロックと
数画素、数ラインずれた位置に存在する周辺ブロックに
対し、前述の（２）を行った後、参照ブロックと周辺ブ
ロックの同次アダマール変換係数を用いて補間値を作
り、小数画素精度の動き補償を行うことで圧縮率を高め
ることができる。
数画素、数ラインずれた位置に存在する周辺ブロックに
対し、前述の（２）を行った後、参照ブロックと周辺ブ
ロックの同次アダマール変換係数を用いて補間値を作
り、小数画素精度の動き補償を行うことで圧縮率を高め
ることができる。
【００４５】
【発明の効果】前記実施例の効果を立証するためにテス
トデータを用いてコンピュータシミュレーション実験を
行いその結果を示す。まず実施例（１）、（２）、
（３）各々の効果を示す。そして従来方式として動き補
償ＤＣＴ方式をＮＴＳＣコンポジットＴＶ信号に適用し
た場合と、本発明（１）＋（２）＋（３）を適用した場
合のそれぞれの特性を比較する。
トデータを用いてコンピュータシミュレーション実験を
行いその結果を示す。まず実施例（１）、（２）、
（３）各々の効果を示す。そして従来方式として動き補
償ＤＣＴ方式をＮＴＳＣコンポジットＴＶ信号に適用し
た場合と、本発明（１）＋（２）＋（３）を適用した場
合のそれぞれの特性を比較する。
【００４６】
【表２】
【００４７】コンピュータシミュレーションにおけるパ
ラメータを示したのが表２である。
ラメータを示したのが表２である。
【００４８】図４は、色差信号の帯域を特に制限しない
場合の位相補償の一般解を示したものであるが、通常自
然画像における色差信号の帯域は限られているため、色
差信号の電力は、数個のアダマール変換係数に集中する
こととなる。ＣＣＩＲ標準テスト画像信号をコンポジッ
トソースにしたものにおいて、輝度信号（Ｙ）と色差信
号（Ｃ）をY/C 分離フィルタ（従来方式との比較で用い
ているものと同じフィルタ）により分離し、その比Ｒ=2
0log(C/Y) を示したのが図６である。このＲが大きいほ
ど、色信号が支配的な係数となる。この２種類のテスト
画像両方においてともにＲが負とならない係数８個を、
色差信号における位相補償の対象とすることにする。
（図中斜線で示した部分）
場合の位相補償の一般解を示したものであるが、通常自
然画像における色差信号の帯域は限られているため、色
差信号の電力は、数個のアダマール変換係数に集中する
こととなる。ＣＣＩＲ標準テスト画像信号をコンポジッ
トソースにしたものにおいて、輝度信号（Ｙ）と色差信
号（Ｃ）をY/C 分離フィルタ（従来方式との比較で用い
ているものと同じフィルタ）により分離し、その比Ｒ=2
0log(C/Y) を示したのが図６である。このＲが大きいほ
ど、色信号が支配的な係数となる。この２種類のテスト
画像両方においてともにＲが負とならない係数８個を、
色差信号における位相補償の対象とすることにする。
（図中斜線で示した部分）
【００４９】また、アダマール変換係数のスキャニング
順序はコンポジット信号を考慮して図７に示すものを用
いた。表２のパラメータのもとでシミュレーションを行
い、ＳＮ（S=255 ×0.7 ）−Bit-rate曲線を求めたの
が、図８である。これらのグラフにおいては、フレーム
内アダマール変換だけを行ったもの（Intra ）、Ｙ／Ｃ
分離後のＹ信号での動き検出をもとにアダマール変換上
でフレーム間差分をとったもの（実施例（１）：Inter/
Intra ）、前者に対し、ＣＳＣの位相補償を行ったもの
（実施例（１）＋（２）：Inter/Intra(PC) ）、さらに
補間処理を入れて完全にコンポジット動き補償を行った
もの（実施例（１）＋（２）＋（３）：Inter/Intra(PC
+Interpolation) ）の４本の特性曲線が描かれている。
順序はコンポジット信号を考慮して図７に示すものを用
いた。表２のパラメータのもとでシミュレーションを行
い、ＳＮ（S=255 ×0.7 ）−Bit-rate曲線を求めたの
が、図８である。これらのグラフにおいては、フレーム
内アダマール変換だけを行ったもの（Intra ）、Ｙ／Ｃ
分離後のＹ信号での動き検出をもとにアダマール変換上
でフレーム間差分をとったもの（実施例（１）：Inter/
Intra ）、前者に対し、ＣＳＣの位相補償を行ったもの
（実施例（１）＋（２）：Inter/Intra(PC) ）、さらに
補間処理を入れて完全にコンポジット動き補償を行った
もの（実施例（１）＋（２）＋（３）：Inter/Intra(PC
+Interpolation) ）の４本の特性曲線が描かれている。
【００５０】グラフから読み取れる様に、単純フレーム
内アダマール変換に対し、実施例（１）によりＭ＆Ｃで
は1 〜2dB は、ＦＧでは2 〜5dB の改善効果が得られ、
特に高レートでの改善効果が大きい。さらに実施例
（２）を加えることにより、Ｍ＆Ｃでは0.5 〜1.0dB 、
ＦＧでは1 〜2dB 程度の改善効果が得られる。さらに、
実施例（３）を導入することにより両テストデータにお
いて、約2dB 程度の改善効果が得られている。
内アダマール変換に対し、実施例（１）によりＭ＆Ｃで
は1 〜2dB は、ＦＧでは2 〜5dB の改善効果が得られ、
特に高レートでの改善効果が大きい。さらに実施例
（２）を加えることにより、Ｍ＆Ｃでは0.5 〜1.0dB 、
ＦＧでは1 〜2dB 程度の改善効果が得られる。さらに、
実施例（３）を導入することにより両テストデータにお
いて、約2dB 程度の改善効果が得られている。
【００５１】以上述べた通り、実施例（１）＋（２）＋
（３）トータルの符号化特性は、単純フレーム内方式
（Intra ）に対してＭ＆Ｃで3 〜5dB 、ＦＧで5 〜9dB
のＳＮ改善効果が得られる結果となり、同じＳＮ比を得
るためには、ビットレートは約半分程度で良いこととな
る。
（３）トータルの符号化特性は、単純フレーム内方式
（Intra ）に対してＭ＆Ｃで3 〜5dB 、ＦＧで5 〜9dB
のＳＮ改善効果が得られる結果となり、同じＳＮ比を得
るためには、ビットレートは約半分程度で良いこととな
る。
【００５２】次に動き補償ＤＣＴ方式と本発明の比較を
行う。動き補償ＤＣＴ方式におけるパラメータとしては
動き検出の範囲、単位、リフレッシュなどは表２に示さ
れたパラメータと同じものとする。また量子化は、輝度
／色差信号ともに同じステップサイズで、係数によらず
一律とし、ＤＣＴ係数のスキャニング順序は輝度／色差
信号に対し同一のジグザグスキャニング（図７）を用い
た。またコンポジット・コンポーネント変換は図９に示
す通りであり、この変換に必要な各種フィルタのパラメ
ータは、以下の通りである。
行う。動き補償ＤＣＴ方式におけるパラメータとしては
動き検出の範囲、単位、リフレッシュなどは表２に示さ
れたパラメータと同じものとする。また量子化は、輝度
／色差信号ともに同じステップサイズで、係数によらず
一律とし、ＤＣＴ係数のスキャニング順序は輝度／色差
信号に対し同一のジグザグスキャニング（図７）を用い
た。またコンポジット・コンポーネント変換は図９に示
す通りであり、この変換に必要な各種フィルタのパラメ
ータは、以下の通りである。
【００５３】
【数９】
【００５４】以上の条件のもとで、コンポジットソース
に従来方式（コンポーネント符号化）と提案方式（コン
ポジット符号化）を適用することとする。本発明より得
た再生画像、及び従来方式をコンポジット・コンポーネ
ント変換と共に適用して得た再生画像の符号化特性を示
したのが図１０である。
に従来方式（コンポーネント符号化）と提案方式（コン
ポジット符号化）を適用することとする。本発明より得
た再生画像、及び従来方式をコンポジット・コンポーネ
ント変換と共に適用して得た再生画像の符号化特性を示
したのが図１０である。
【００５５】グラフに示されている範囲（SNR 20〜40d
B）において、本発明では、速度歪関数はほぼ一定の傾
きを持ち、飽和の傾向は見られない。しかしながら、従
来方式では強い飽和傾向がみられ、符号化劣化なしとし
ても特性は40dB程度で頭打ちとなる。その結果として、
本発明のSNR は従来方式に対し10Mbps以下の低レートで
2 〜3dB 高いものが、20Mbps以上のレートでは、その差
が5 〜10dBにも達し、本発明の有効性が立証できると共
に、この差はコンポジット・コンポーネント変換におけ
る各種のフィルタ処理が影響しているためである。
B）において、本発明では、速度歪関数はほぼ一定の傾
きを持ち、飽和の傾向は見られない。しかしながら、従
来方式では強い飽和傾向がみられ、符号化劣化なしとし
ても特性は40dB程度で頭打ちとなる。その結果として、
本発明のSNR は従来方式に対し10Mbps以下の低レートで
2 〜3dB 高いものが、20Mbps以上のレートでは、その差
が5 〜10dBにも達し、本発明の有効性が立証できると共
に、この差はコンポジット・コンポーネント変換におけ
る各種のフィルタ処理が影響しているためである。
【００５６】以上のごとく本発明の効果は、コンポジッ
ト信号に動き補償ＤＣＴ方式を適用すれば、変換処理が
避けられないところを、アダマール変換を用いてコンポ
ジット信号のままで動き補償をすることができ画質劣化
を避けることができる。
ト信号に動き補償ＤＣＴ方式を適用すれば、変換処理が
避けられないところを、アダマール変換を用いてコンポ
ジット信号のままで動き補償をすることができ画質劣化
を避けることができる。
【図１】本発明のブロック図である。
【図２】本発明のコンポジット動き補償部のブロック図
である。
である。
【図３】動きベクトルに応じたカラーサブキャリア位相
のズレを示す図である。
のズレを示す図である。
【図４】動きベクトルに応じたカラーサブキャリア位相
補償を示す図である。
補償を示す図である。
【図５】半画素、半ライン精度の動き補償のための補間
を示す図である。
を示す図である。
【図６】色差信号の位相補償の対象とする係数を示す図
である。
である。
【図７】ＤＣＴとＷＨＴにおけるスキャニングパターン
を示す図である。
を示す図である。
【図８】本発明による特性改善を示す図である。
【図９】コンポジット・コンポーネントＴＶ信号変換を
示す図である。
示す図である。
【図１０】本発明と従来方式の特性比較を示す図であ
る。
る。
１，５，１１ アダマール変換器 ２ 量子化器 ３ 符号化器 ４ 逆量子化器 ６ フレームメモリ ７ コンポジット動き補償部 ８ 動き検出部 ９ デジタル減算器 １０ デジタル加算器 １２ 位相補償器 １３ 補間部 １４ 予測ブロックの決定部
Claims (3)
- 【請求項１】 コンポジットＴＶ信号の符号化におい
て、 フレーム間符号化を用いる場合、 コンポジットＴＶ信号を輝度／色差分離して得られる輝
度信号により、精度良く動き検出が行えることを利用
し、この動き検出により選択した参照ブロックを用いて
得られる予測ブロックにより、コンポジットＴＶ信号の
カラーサブキャリア成分との親和性の良いアダマール変
換上でコンポジット信号をＹ／Ｃ分離せず、符号化ブロ
ックと参照ブロックにそれぞれアダマール変換を実行
し、 同次の係数の差分値を求め、量子化・符号化を行ない直
接フレーム間符号化を行なって伝送することを特徴とす
る動き補償フレーム間コンポジットＴＶ信号直接符号化
方式。 - 【請求項２】 動き検出で得られた動きベクトルの値に
応じて参照ブロック上の特定のアダマール変換係数同士
を入れ換え・極性反転を行い、コンポジットＴＶ信号に
特有のカラーサブキャリア成分の、符号化ブロックと参
照ブロック間の位相ズレを補償し圧縮率を高めることを
特徴とする請求項１記載の方式。 - 【請求項３】 参照ブロック、及び参照ブロックと数画
素、数ラインずれた位置に存在する周辺ブロックに対
し、請求項２の後に参照ブロックと周辺ブロックの同次
アダマール変換係数を用いて補間値を作り、小数画素精
度の動き補償を行うことで圧縮率を高めることを特徴と
する請求項２記載の方式。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13990893A JP2778412B2 (ja) | 1993-05-20 | 1993-05-20 | 動き補償フレーム間コンポジットｔｖ信号直接符号化装置 |
| US08/245,042 US5475430A (en) | 1993-05-20 | 1994-05-17 | Direct encoding system of composite video signal using inter-frame motion compensation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13990893A JP2778412B2 (ja) | 1993-05-20 | 1993-05-20 | 動き補償フレーム間コンポジットｔｖ信号直接符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06335025A true JPH06335025A (ja) | 1994-12-02 |
| JP2778412B2 JP2778412B2 (ja) | 1998-07-23 |
Family
ID=15256437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13990893A Expired - Fee Related JP2778412B2 (ja) | 1993-05-20 | 1993-05-20 | 動き補償フレーム間コンポジットｔｖ信号直接符号化装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5475430A (ja) |
| JP (1) | JP2778412B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100364312B1 (ko) * | 1996-10-31 | 2002-12-18 | 닛뽕빅터 가부시키가이샤 | 블록간예측부호화복호화장치및그방법 |
| KR100378902B1 (ko) * | 1999-01-27 | 2003-04-07 | 마쯔시다덴기산교 가부시키가이샤 | 픽셀 데이터를 처리하기 위한 방법 및 장치, 및 컴퓨터 판독 가능한 매체 |
| WO2003047274A1 (en) * | 2001-11-30 | 2003-06-05 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5598514A (en) * | 1993-08-09 | 1997-01-28 | C-Cube Microsystems | Structure and method for a multistandard video encoder/decoder |
| JP3655651B2 (ja) * | 1994-09-02 | 2005-06-02 | テキサス インスツルメンツ インコーポレイテツド | データ処理装置 |
| US5910909A (en) * | 1995-08-28 | 1999-06-08 | C-Cube Microsystems, Inc. | Non-linear digital filters for interlaced video signals and method thereof |
| US5768537A (en) * | 1996-02-22 | 1998-06-16 | International Business Machines Corporation | Scalable MPEG2 compliant video encoder |
| US5778097A (en) * | 1996-03-07 | 1998-07-07 | Intel Corporation | Table-driven bi-directional motion estimation using scratch area and offset valves |
| JP3719783B2 (ja) * | 1996-07-29 | 2005-11-24 | 富士通株式会社 | 中間調表示方法および表示装置 |
| KR100211055B1 (ko) * | 1996-10-28 | 1999-07-15 | 정선종 | 내용기반으로 분할된 영상객체들의 스케러블 전송방법 |
| JP3813320B2 (ja) * | 1997-08-27 | 2006-08-23 | 株式会社東芝 | 動きベクトル検出方法および装置 |
| KR100249223B1 (ko) * | 1997-09-12 | 2000-03-15 | 구자홍 | 엠팩(mpeg)-4의움직임벡터코딩방법 |
| US7181071B2 (en) * | 2001-11-27 | 2007-02-20 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding key value data of orientation interpolator node |
| US8471852B1 (en) | 2003-05-30 | 2013-06-25 | Nvidia Corporation | Method and system for tessellation of subdivision surfaces |
| US20060109899A1 (en) * | 2004-11-24 | 2006-05-25 | Joshua Kablotsky | Video data encoder employing telecine detection |
| WO2006070614A1 (ja) * | 2004-12-28 | 2006-07-06 | Nec Corporation | 画像符号化装置、画像符号化方法及びそのプログラム |
| US8571346B2 (en) * | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
| US7750956B2 (en) * | 2005-11-09 | 2010-07-06 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
| US8588542B1 (en) | 2005-12-13 | 2013-11-19 | Nvidia Corporation | Configurable and compact pixel processing apparatus |
| US8737832B1 (en) | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
| US8594441B1 (en) | 2006-09-12 | 2013-11-26 | Nvidia Corporation | Compressing image-based data using luminance |
| US8723969B2 (en) * | 2007-03-20 | 2014-05-13 | Nvidia Corporation | Compensating for undesirable camera shakes during video capture |
| US8724895B2 (en) * | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
| US8570634B2 (en) * | 2007-10-11 | 2013-10-29 | Nvidia Corporation | Image processing of an incoming light field using a spatial light modulator |
| US9177368B2 (en) * | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
| US8780128B2 (en) * | 2007-12-17 | 2014-07-15 | Nvidia Corporation | Contiguously packed data |
| US8698908B2 (en) * | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
| US9379156B2 (en) * | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
| US8373718B2 (en) * | 2008-12-10 | 2013-02-12 | Nvidia Corporation | Method and system for color enhancement with color volume adjustment and variable shift along luminance axis |
| US8749662B2 (en) | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
| US8698918B2 (en) * | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
| US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
| US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
| US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
| US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
| US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS52122043A (en) * | 1976-04-06 | 1977-10-13 | Matsushita Electric Ind Co Ltd | Differential encoding unit |
| DE3525567A1 (de) * | 1985-07-15 | 1987-05-07 | Krone Ag | Bewegtbildkodierer mit selbstkennzeichnung der stopfzeichen |
| JPS6477391A (en) * | 1987-09-18 | 1989-03-23 | Victor Company Of Japan | System and device for predictive coding |
| US4910586A (en) * | 1988-11-22 | 1990-03-20 | Broadband Technologies, Inc. | Hybrid DPCM codec for composite color television signals |
| US5144426A (en) * | 1989-10-13 | 1992-09-01 | Matsushita Electric Industrial Co., Ltd. | Motion compensated prediction interframe coding system |
| JPH03127580A (ja) * | 1989-10-13 | 1991-05-30 | Matsushita Electric Ind Co Ltd | 動き補償フレーム間符号化装置 |
-
1993
- 1993-05-20 JP JP13990893A patent/JP2778412B2/ja not_active Expired - Fee Related
-
1994
- 1994-05-17 US US08/245,042 patent/US5475430A/en not_active Expired - Lifetime
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100364312B1 (ko) * | 1996-10-31 | 2002-12-18 | 닛뽕빅터 가부시키가이샤 | 블록간예측부호화복호화장치및그방법 |
| KR100378902B1 (ko) * | 1999-01-27 | 2003-04-07 | 마쯔시다덴기산교 가부시키가이샤 | 픽셀 데이터를 처리하기 위한 방법 및 장치, 및 컴퓨터 판독 가능한 매체 |
| WO2003047274A1 (en) * | 2001-11-30 | 2003-06-05 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US7639742B2 (en) | 2001-11-30 | 2009-12-29 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| KR100942475B1 (ko) * | 2001-11-30 | 2010-02-12 | 소니 주식회사 | 화상 정보 부호화 방법 및 장치 |
| KR100945826B1 (ko) * | 2001-11-30 | 2010-03-05 | 소니 주식회사 | 화상 정보 복호 방법 및 장치 |
| US8243809B2 (en) | 2001-11-30 | 2012-08-14 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US8243808B2 (en) | 2001-11-30 | 2012-08-14 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US8275043B2 (en) | 2001-11-30 | 2012-09-25 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US8437402B2 (en) | 2001-11-30 | 2013-05-07 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US8457209B2 (en) | 2001-11-30 | 2013-06-04 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US8542742B2 (en) | 2001-11-30 | 2013-09-24 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US8548059B2 (en) | 2001-11-30 | 2013-10-01 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US8559521B2 (en) | 2001-11-30 | 2013-10-15 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US8634472B2 (en) | 2001-11-30 | 2014-01-21 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US8705629B2 (en) | 2001-11-30 | 2014-04-22 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US8774277B2 (en) | 2001-11-30 | 2014-07-08 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US8824556B2 (en) | 2001-11-30 | 2014-09-02 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US8989273B2 (en) | 2001-11-30 | 2015-03-24 | Sony Corporation | Image information encoding method and encoder, and image information decoding method and decoder |
| US9338457B2 (en) | 2001-11-30 | 2016-05-10 | Sony Corporation | Method and apparatus for encoding image information, and method and apparatus for decoding image information |
Also Published As
| Publication number | Publication date |
|---|---|
| US5475430A (en) | 1995-12-12 |
| JP2778412B2 (ja) | 1998-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2778412B2 (ja) | 動き補償フレーム間コンポジットｔｖ信号直接符号化装置 | |
| US5237413A (en) | Motion filter for digital television system | |
| US5089889A (en) | Apparatus for inter-frame predictive encoding of video signal | |
| US8711937B2 (en) | Low-complexity motion vector prediction systems and methods | |
| US5371549A (en) | Decoding method and system for providing digital television receivers with multipicture display by way of zero masking transform coefficients | |
| US6587509B1 (en) | Reducing undesirable effects of an emphasis processing operation performed on a moving image by adding a noise signal to a decoded uncompressed signal | |
| US20130329796A1 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
| JPH08237669A (ja) | 画像信号処理装置、画像信号処理方法および画像信号復号化装置 | |
| JPH07288719A (ja) | 動き適応型雑音除去フィルタおよびこれを用いた動き補償フレーム間符号化装置 | |
| JPH06189281A (ja) | 適応的フレーム／フィールドフォーマット圧縮を用いた映像信号符号化装置 | |
| JPH04328982A (ja) | 高能率符号化装置及び復号化装置 | |
| PL175445B1 (pl) | Sposób i urządzenie do kodowania sygnału wizyjnego | |
| JPH10126780A (ja) | 復号化映像補償装置 | |
| JPH1070738A (ja) | 視感誤差処理方法及びこの方法を用いた画像符号化装置 | |
| JPH0775111A (ja) | デジタル信号符号化装置 | |
| JP4694664B2 (ja) | 画像圧縮方法 | |
| US7613351B2 (en) | Video decoder with deblocker within decoding loop | |
| JP3150452B2 (ja) | 動画像符号化装置 | |
| JPH01228384A (ja) | 領域分割を用いた動画像符号化方式 | |
| JPS63232691A (ja) | 画像符号化方式 | |
| JPH06209456A (ja) | 小型の高品位テレビジョン受信機に用いるためのデコーディングシステム | |
| JPH1169362A (ja) | 動画像の符号化方法および復号化方法 | |
| JPH06292179A (ja) | 直交変換符号化装置および直交変換復号化装置 | |
| JP2512165B2 (ja) | 動画像信号の符号化装置 | |
| JPH1056646A (ja) | 映像信号復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980407 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090508 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090508 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100508 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110508 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130508 Year of fee payment: 15 |
|
| LAPS | Cancellation because of no payment of annual fees |