JPH10210470A - 映像信号のパディング方法及びその装置 - Google Patents
映像信号のパディング方法及びその装置Info
- Publication number
- JPH10210470A JPH10210470A JP9000626A JP62697A JPH10210470A JP H10210470 A JPH10210470 A JP H10210470A JP 9000626 A JP9000626 A JP 9000626A JP 62697 A JP62697 A JP 62697A JP H10210470 A JPH10210470 A JP H10210470A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- padding
- value
- pixels
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/147—Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Theoretical Computer Science (AREA)
- Algebra (AREA)
- Discrete Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 入力映像信号内の物体領域の同一の行また
は列上に位置する物体画素の間の不連続性を補償する方
法及びその装置を提供する。 【解決手段】 物体画素及び背景画素を各々含む物体
領域及び背景領域に分割される同じ大きさのＮ×Ｎ画素
（Ｎは正の整数）の複数の映像ブロックを含む入力映像
信号を形状適応離散的コサイン変換（ＳＡ−ＤＣＴ）す
るための、本発明の映像信号のパディング装置は、物体
画素及び背景画素を含む映像ブロックを走査して、映像
ブロック内の同一の行または列上の物体画素の間に位置
する背景画素を表すパディング画素を検出する検出手段
と、物体画素の画素値を用いて、代替画素値を計算する
計算手段と、代替画素値をパディング画素に供給して、
物体画素値及び代替画素値を有する補償された物体領域
を備えたパディングされた映像ブロックを生成する補償
手段とを含む。
は列上に位置する物体画素の間の不連続性を補償する方
法及びその装置を提供する。 【解決手段】 物体画素及び背景画素を各々含む物体
領域及び背景領域に分割される同じ大きさのＮ×Ｎ画素
（Ｎは正の整数）の複数の映像ブロックを含む入力映像
信号を形状適応離散的コサイン変換（ＳＡ−ＤＣＴ）す
るための、本発明の映像信号のパディング装置は、物体
画素及び背景画素を含む映像ブロックを走査して、映像
ブロック内の同一の行または列上の物体画素の間に位置
する背景画素を表すパディング画素を検出する検出手段
と、物体画素の画素値を用いて、代替画素値を計算する
計算手段と、代替画素値をパディング画素に供給して、
物体画素値及び代替画素値を有する補償された物体領域
を備えたパディングされた映像ブロックを生成する補償
手段とを含む。
Description
【０００１】
【発明の属する技術分野】本発明は、映像信号を符号化
する方法及び装置に関し、特に、形状適応離散的コサイ
ン変換（ＳＡーＤＣＴ）を備える映像符号化器に用いら
れる映像信号のパディング方法及びその装置に関する。
する方法及び装置に関し、特に、形状適応離散的コサイ
ン変換（ＳＡーＤＣＴ）を備える映像符号化器に用いら
れる映像信号のパディング方法及びその装置に関する。
【０００２】
【従来の技術】通常、テレビ電話及び高精細度テレビジ
ョンシステムのようなディジタルビデオシステムにおい
て、映像フレームの各ラインの映像信号は画素値と呼ば
れる一連のディジタルデータからなっているので、各ビ
デオフレーム信号を規定するのに大量のディジタルデー
タが必要である。
ョンシステムのようなディジタルビデオシステムにおい
て、映像フレームの各ラインの映像信号は画素値と呼ば
れる一連のディジタルデータからなっているので、各ビ
デオフレーム信号を規定するのに大量のディジタルデー
タが必要である。
【０００３】しかし、通常の伝送チャネル上の使用可能
な周波数帯域幅は制限されているため、特に、テレビ電
話のような低ビットレートのビデオ信号符号化／復号化
システムにおいては、多様なデータ圧縮技法を用いて大
量のデータを減らすか圧縮する必要がある。
な周波数帯域幅は制限されているため、特に、テレビ電
話のような低ビットレートのビデオ信号符号化／復号化
システムにおいては、多様なデータ圧縮技法を用いて大
量のデータを減らすか圧縮する必要がある。
【０００４】このような多様な映像圧縮技法のうち、い
わゆる、物体指向分析−合成符号化技法が最も効率的な
ものとして知られている（Ｍｉｃａｅｌ Ｈｏｔｔｅ
ｒ，“Ｏｂｊｅｃｔ−Ｏｒｉｅｎａｔｅｄ Ａｎａｌｙ
ｓｉｓ−ＳｙｎｔｈｅｓｉｓＣｏｄｉｎｇ Ｂａｓｅｄ
ｏｎ Ｍｏｖｉｎｇ Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａ
ｌ Ｏｂｊｅｃｔｓ”，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ
ｉｎｇ ＩｍａｇｅＣｏｍｍｕｎｉｃａｔｉｏｎ，２，
４０９−４２８（１９９０）参照）。
わゆる、物体指向分析−合成符号化技法が最も効率的な
ものとして知られている（Ｍｉｃａｅｌ Ｈｏｔｔｅ
ｒ，“Ｏｂｊｅｃｔ−Ｏｒｉｅｎａｔｅｄ Ａｎａｌｙ
ｓｉｓ−ＳｙｎｔｈｅｓｉｓＣｏｄｉｎｇ Ｂａｓｅｄ
ｏｎ Ｍｏｖｉｎｇ Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａ
ｌ Ｏｂｊｅｃｔｓ”，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ
ｉｎｇ ＩｍａｇｅＣｏｍｍｕｎｉｃａｔｉｏｎ，２，
４０９−４２８（１９９０）参照）。
【０００５】物体指向分析−合成符号化技法によれば、
動く物体を有する入力映像信号は物体に基づいて分割さ
れ、物体内に位置した映像データや画素の処理において
は、映像データ内に含まれた空間的冗長性を減らすため
の変換符号化技法が主に用いられる。映像データ圧縮に
最もよく用いられる変換技法の１つは、ディジタル映像
データブロック、例えば、８×８画素を有するブロック
を変換係数の組に変換する離散的コサイン変換（ＤＣ
Ｔ）に基づくブロック変換係数符号化である。このブロ
ックベースのＤＣＴは、物体指向分析に直接適用され得
ないため、任意の形状を有する映像物体内の画素を符号
化する方法が提案されてきた。形状適応離散的コサイン
変換（ＳＡ−ＤＣＴ）アルゴリズムは、広い範囲のビッ
トレートにわたって、任意の形状を有する物体を符号化
する手段を与える方法の１つであって、Ｎを正の整数と
すると、Ｎ×Ｎ映像ブロック内の任意の形状を有する物
体を符号化し得る。
動く物体を有する入力映像信号は物体に基づいて分割さ
れ、物体内に位置した映像データや画素の処理において
は、映像データ内に含まれた空間的冗長性を減らすため
の変換符号化技法が主に用いられる。映像データ圧縮に
最もよく用いられる変換技法の１つは、ディジタル映像
データブロック、例えば、８×８画素を有するブロック
を変換係数の組に変換する離散的コサイン変換（ＤＣ
Ｔ）に基づくブロック変換係数符号化である。このブロ
ックベースのＤＣＴは、物体指向分析に直接適用され得
ないため、任意の形状を有する映像物体内の画素を符号
化する方法が提案されてきた。形状適応離散的コサイン
変換（ＳＡ−ＤＣＴ）アルゴリズムは、広い範囲のビッ
トレートにわたって、任意の形状を有する物体を符号化
する手段を与える方法の１つであって、Ｎを正の整数と
すると、Ｎ×Ｎ映像ブロック内の任意の形状を有する物
体を符号化し得る。
【０００６】入力映像信号はＮ×Ｎ画素を有する隣接す
るブロックに分離され、物体または分割された領域内に
含まれた全てのブロックのみが、標準Ｎ×Ｎ ＤＣＴを
用いて符号化され、分割された領域の境界を含むブロッ
クはＳＡ−ＤＣＴを用いて各々符号化される。
るブロックに分離され、物体または分割された領域内に
含まれた全てのブロックのみが、標準Ｎ×Ｎ ＤＣＴを
用いて符号化され、分割された領域の境界を含むブロッ
クはＳＡ−ＤＣＴを用いて各々符号化される。
【０００７】ＳＡ−ＤＣＴは予め定められた直交するＤ
ＣＴに基づく関数セットを用いる。図１Ａは、物体領域
及び背景領域からなる分離された映像ブロックを例示し
ている。物体領域と背景領域とは各々物体画素及び背景
画素を含んでいる。物体領域に垂直にＳＡ−ＤＣＴを施
すために、物体領域の各列ｊ（０＜ｊ＜９）の長さは定
められており、物体領域の各列の上の物体画素は図１Ｂ
に示したように、８×８ブロックの上段境界線の方へ詰
めるように移動して配置される。各列の長さＭに応じ
て、Ｍ ＤＣＴに基づくベクトルセットを備える各列に
対するＤＣＴマトリックスＤM（ｐ，ｋ）が選択され、
ＤM（ｐ，ｋ）は次の式（１）で表される。
ＣＴに基づく関数セットを用いる。図１Ａは、物体領域
及び背景領域からなる分離された映像ブロックを例示し
ている。物体領域と背景領域とは各々物体画素及び背景
画素を含んでいる。物体領域に垂直にＳＡ−ＤＣＴを施
すために、物体領域の各列ｊ（０＜ｊ＜９）の長さは定
められており、物体領域の各列の上の物体画素は図１Ｂ
に示したように、８×８ブロックの上段境界線の方へ詰
めるように移動して配置される。各列の長さＭに応じ
て、Ｍ ＤＣＴに基づくベクトルセットを備える各列に
対するＤＣＴマトリックスＤM（ｐ，ｋ）が選択され、
ＤM（ｐ，ｋ）は次の式（１）で表される。
【０００８】 ＤM（ｐ，ｋ）＝Ｃ0・ｃｏｓ｛ｐ（ｋ＋１／２）・π／Ｍ｝ （１） この式において、ｋ及びｐは０からＭ−１の間の整数で
あり、Ｃ0は、 （１／２）1/2 （ｐ＝０の場合） １ （他の場合） なる値をとる。
あり、Ｃ0は、 （１／２）1/2 （ｐ＝０の場合） １ （他の場合） なる値をとる。
【０００９】また、Ｍ垂直ＤＣＴ係数は、例えば、Ｆ
（１）＋Ｆ（２）＋・・＋Ｆ（ｎ）＝Σ［ｔ＝１，ｎ］
Ｆ（ｔ）と表すものとすると、次の式（２）により求め
られる。
（１）＋Ｆ（２）＋・・＋Ｆ（ｎ）＝Σ［ｔ＝１，ｎ］
Ｆ（ｔ）と表すものとすると、次の式（２）により求め
られる。
【００１０】 Ｃjh＝−２／ＭΣ［ｑ＝０，Ｍ−１］ＤM（ｈ，ｑ）・ｘjq （２） ここで、 Ｃjhはｊ番目の列に対するｈ番目のＤＣＴ係
数を、 ｘjqはｊ番目の列のｑ番目の画素値を表す。
数を、 ｘjqはｊ番目の列のｑ番目の画素値を表す。
【００１１】例えば、図１Ｂにおいて、最も右側の列は
３点ＤＣＴに基づくベクトルを用いて変換される。垂直
方向へのＳＡ−ＤＣＴを行う場合、物体領域の列に対す
る最低ＤＣＴ係数（ＤＣ値）は、図１Ｃに示されたよう
に、８×８ブロックの上段境界に位置する。物体領域の
水平ＤＣＴを行うために、物体領域の各行が決定され、
図１Ｄに示されたように、８×８ブロックの左側境界の
方に詰めるように移動される。その後、各行の大きさに
適応された水平ＤＣＴが前記式（１）及び式（２）を用
いて行われる。水平ＳＡ−ＤＣＴは、同一のインデック
スを有する垂直ＳＡ−ＤＣＴ係数に沿って行われる（即
ち、図１Ｄに示された全ての列に対して、同一ｈ値を有
するＤＣＴ係数をグループ化し、それぞれ水平ＳＡ−Ｄ
ＣＴを施される）。８×８ブロック内における最終ＳＡ
−ＤＣＴ係数の位置が図１Ｅに示されている。
３点ＤＣＴに基づくベクトルを用いて変換される。垂直
方向へのＳＡ−ＤＣＴを行う場合、物体領域の列に対す
る最低ＤＣＴ係数（ＤＣ値）は、図１Ｃに示されたよう
に、８×８ブロックの上段境界に位置する。物体領域の
水平ＤＣＴを行うために、物体領域の各行が決定され、
図１Ｄに示されたように、８×８ブロックの左側境界の
方に詰めるように移動される。その後、各行の大きさに
適応された水平ＤＣＴが前記式（１）及び式（２）を用
いて行われる。水平ＳＡ−ＤＣＴは、同一のインデック
スを有する垂直ＳＡ−ＤＣＴ係数に沿って行われる（即
ち、図１Ｄに示された全ての列に対して、同一ｈ値を有
するＤＣＴ係数をグループ化し、それぞれ水平ＳＡ−Ｄ
ＣＴを施される）。８×８ブロック内における最終ＳＡ
−ＤＣＴ係数の位置が図１Ｅに示されている。
【００１２】前記方法において、ＳＡ−ＤＣＴ係数の最
終的な数は物体領域に含まれた画素数と同一である。ま
た、ＤＣＴ係数は標準８×８ ＤＣＴでと類似な形態で
配置される。即ち、ＤＣ係数は８×８ブロックの左側の
角に配置される。物体領域の実際の形状に応じて、残り
のＡＣ係数もＤＣ係数の周辺に集中的に配置される。
終的な数は物体領域に含まれた画素数と同一である。ま
た、ＤＣＴ係数は標準８×８ ＤＣＴでと類似な形態で
配置される。即ち、ＤＣ係数は８×８ブロックの左側の
角に配置される。物体領域の実際の形状に応じて、残り
のＡＣ係数もＤＣ係数の周辺に集中的に配置される。
【００１３】ＳＡ−ＤＣＴ係数は復号化器へ伝送される
前に、ＭＰＥＧ−１のような標準ハイブリッド符号化方
法によって量子化され、ランレングス符号化される。物
体の形状を表し得る輪郭線パラメータもＤＣＴ係数と共
に復号化器へ伝送される。
前に、ＭＰＥＧ−１のような標準ハイブリッド符号化方
法によって量子化され、ランレングス符号化される。物
体の形状を表し得る輪郭線パラメータもＤＣＴ係数と共
に復号化器へ伝送される。
【００１４】復号化器は式（１）と式（２）の逆演算を
用いた逆ＳＡ−ＤＣＴ処理を垂直及び水平方向へ行い得
る。
用いた逆ＳＡ−ＤＣＴ処理を垂直及び水平方向へ行い得
る。
【００１５】しかし、前記に説明した既存のＳＡ−ＤＣ
Ｔ方法においては、図１Ａに示されたように、物体領域
内に不連続的な行や列が存在する場合、即ち、同一の行
または列上の物体画素の間に背景画素が存在する場合に
は、各々の行または列が左側または上段の境界に沿って
移動するように配置される時、不連続的な行または列上
の物体画素の画素値の相関度は低くなっており、この物
体画素間の低い相関性のために、高い周波数成分により
ＳＡ−ＤＣＴの特性が劣化することになる。
Ｔ方法においては、図１Ａに示されたように、物体領域
内に不連続的な行や列が存在する場合、即ち、同一の行
または列上の物体画素の間に背景画素が存在する場合に
は、各々の行または列が左側または上段の境界に沿って
移動するように配置される時、不連続的な行または列上
の物体画素の画素値の相関度は低くなっており、この物
体画素間の低い相関性のために、高い周波数成分により
ＳＡ−ＤＣＴの特性が劣化することになる。
【００１６】
【発明が解決しようとする課題】従って、本発明の主な
目的は、入力映像信号内の物体領域の同一の行または列
上に位置した物体画素の間の不連続性を補償し得る方法
及びその装置を提供するにある。
目的は、入力映像信号内の物体領域の同一の行または列
上に位置した物体画素の間の不連続性を補償し得る方法
及びその装置を提供するにある。
【００１７】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明に基づき、を正の整数としたとき、物体画
素及び背景画素を各々含む物体領域及び背景画素に分割
された同じ大きさのＮ×Ｎ画素の複数の映像ブロックを
含む入力映像信号を形状適応離散的コサイン変換（ＳＡ
−ＤＣＴ）するための映像信号のパディング方法であっ
て、前記物体画素及び前記背景画素を含む映像ブロック
を走査して、前記映像ブロック内の同一の行または列上
の物体画素の間に位置する背景画素を表すパディング画
素を検出する過程と、前記物体画素の画素値を用いて、
代替画素値を計算する過程と、前記代替画素値をパディ
ング画素に供給して、物体画素値と代替画素値とを有す
る補償された物体領域を有するパディングされた映像ブ
ロックを生成する過程とを含むことを特徴とする映像信
号のパディング方法が提供される。
めに、本発明に基づき、を正の整数としたとき、物体画
素及び背景画素を各々含む物体領域及び背景画素に分割
された同じ大きさのＮ×Ｎ画素の複数の映像ブロックを
含む入力映像信号を形状適応離散的コサイン変換（ＳＡ
−ＤＣＴ）するための映像信号のパディング方法であっ
て、前記物体画素及び前記背景画素を含む映像ブロック
を走査して、前記映像ブロック内の同一の行または列上
の物体画素の間に位置する背景画素を表すパディング画
素を検出する過程と、前記物体画素の画素値を用いて、
代替画素値を計算する過程と、前記代替画素値をパディ
ング画素に供給して、物体画素値と代替画素値とを有す
る補償された物体領域を有するパディングされた映像ブ
ロックを生成する過程とを含むことを特徴とする映像信
号のパディング方法が提供される。
【００１８】また、本発明に基づき、を正の整数とした
とき、物体画素及び背景画素を各々含む物体領域及び背
景画素に分割された同じ大きさのＮ×Ｎ画素の複数の映
像ブロックを含む力映像信号を形状適応離散的コサイン
変換（ＳＡ−ＤＣＴ）するための映像信号のパディング
装置において、前記物体画素及び前記背景画素を含む映
像ブロックを走査して、映像ブロック内の同一の行また
は列上の物体画素の間に位置する背景画素を表すパディ
ング画素を検出する検出手段と、前記物体画素の画素値
を用いて、代替画素値を計算する計算手段と、前記代替
画素値をパディング画素に供給して、物体画素値及び代
替画素値を有する補償された物体領域を有するパディン
グされた映像ブロックを生成する補償手段とを含むこと
を特徴とする映像信号のパディング装置が提供される。
とき、物体画素及び背景画素を各々含む物体領域及び背
景画素に分割された同じ大きさのＮ×Ｎ画素の複数の映
像ブロックを含む力映像信号を形状適応離散的コサイン
変換（ＳＡ−ＤＣＴ）するための映像信号のパディング
装置において、前記物体画素及び前記背景画素を含む映
像ブロックを走査して、映像ブロック内の同一の行また
は列上の物体画素の間に位置する背景画素を表すパディ
ング画素を検出する検出手段と、前記物体画素の画素値
を用いて、代替画素値を計算する計算手段と、前記代替
画素値をパディング画素に供給して、物体画素値及び代
替画素値を有する補償された物体領域を有するパディン
グされた映像ブロックを生成する補償手段とを含むこと
を特徴とする映像信号のパディング装置が提供される。
【００１９】
【発明の実施の形態】以下、本発明の好適実施例につい
て図面を参照しながらより詳しく説明する。
て図面を参照しながらより詳しく説明する。
【００２０】図２を参照すると、入力映像信号はブロッ
ク単位に境界ブロック検出部１００へ供給され、前記入
力映像信号は任意の形態の物体を含み、複数の映像ブロ
ックに分けられ、例えば、Ｎ×Ｎ画素の映像ブロックは
物体領域と背景領域とに分割され、Ｎは正の正数であ
る。前記物体領域と背景領域とは各々１から２５５まで
の値を有する物体画素とゼロ値を有する背景画素を含ん
でいる。境界ブロック検出部１００は、与えられた入力
映像信号内に含まれた映像ブロックが、物体領域及び背
景領域の双方を含む境界ブロックであるか否かを検出す
る。映像ブロックが境界ブロックと判定された場合は、
映像ブロックは境界ブロックとしてラインＬ２０を通じ
てブロック走査部２１０へ供給され、そうでない場合、
即ち、映像ブロックが物体領域と背景領域のうちただ１
つのみを含む場合は、映像ブロックは平坦ブロックとし
てラインＬ１０を通じてＳＡ−ＤＣＴ部３００へ供給さ
れる。
ク単位に境界ブロック検出部１００へ供給され、前記入
力映像信号は任意の形態の物体を含み、複数の映像ブロ
ックに分けられ、例えば、Ｎ×Ｎ画素の映像ブロックは
物体領域と背景領域とに分割され、Ｎは正の正数であ
る。前記物体領域と背景領域とは各々１から２５５まで
の値を有する物体画素とゼロ値を有する背景画素を含ん
でいる。境界ブロック検出部１００は、与えられた入力
映像信号内に含まれた映像ブロックが、物体領域及び背
景領域の双方を含む境界ブロックであるか否かを検出す
る。映像ブロックが境界ブロックと判定された場合は、
映像ブロックは境界ブロックとしてラインＬ２０を通じ
てブロック走査部２１０へ供給され、そうでない場合、
即ち、映像ブロックが物体領域と背景領域のうちただ１
つのみを含む場合は、映像ブロックは平坦ブロックとし
てラインＬ１０を通じてＳＡ−ＤＣＴ部３００へ供給さ
れる。
【００２１】境界ブロック検出部１００から供給された
平坦ブロックは、ＳＡ−ＤＣＴ部３００で従来技術とし
て既に言及した既存のＳＡ−ＤＣＴを用いてＳＡ−ＤＣ
Ｔ係数セットに変換される。平坦ブロックはその内部に
物体領域と背景領域のうち１つを含んでいるため、平坦
ブロックのＳＡ−ＤＣＴ過程は標準ＤＣＴと類似であ
る。
平坦ブロックは、ＳＡ−ＤＣＴ部３００で従来技術とし
て既に言及した既存のＳＡ−ＤＣＴを用いてＳＡ−ＤＣ
Ｔ係数セットに変換される。平坦ブロックはその内部に
物体領域と背景領域のうち１つを含んでいるため、平坦
ブロックのＳＡ−ＤＣＴ過程は標準ＤＣＴと類似であ
る。
【００２２】一方、ブロック走査部２１０は、ラインＬ
２０を通じて供給された境界ブロックを走査してパディ
ング画素を検出するが、前記パディング画素は境界ブロ
ック内の物体領域の同一の行や列上の物体画素の間に位
置する背景画素を表す。
２０を通じて供給された境界ブロックを走査してパディ
ング画素を検出するが、前記パディング画素は境界ブロ
ック内の物体領域の同一の行や列上の物体画素の間に位
置する背景画素を表す。
【００２３】前記ブロック走査部２１０は、少なくとも
１つのパディング画素を有する不連続的な行を発見する
ために、まず、境界ブロック内の物体領域の各行を水平
に走査する。その後、走査部２１０は不連続的な列を検
出するために、物体領域の各列を垂直に走査する。図３
に示したように、境界ブロック１０の物体領域２０内に
不連続的な行や列が存在する場合は、境界ブロックとそ
の内部のパディング画素に対する走査情報はブロック補
償部２２０へ供給され、そうでない場合、境界ブロック
はラインＬ４０を通じてＳＡ−ＤＣＴ部３００へ供給さ
れて、既存のＳＡ−ＤＣＴ過程を用いてＳＡ−ＤＣＴ係
数セットに変換される。
１つのパディング画素を有する不連続的な行を発見する
ために、まず、境界ブロック内の物体領域の各行を水平
に走査する。その後、走査部２１０は不連続的な列を検
出するために、物体領域の各列を垂直に走査する。図３
に示したように、境界ブロック１０の物体領域２０内に
不連続的な行や列が存在する場合は、境界ブロックとそ
の内部のパディング画素に対する走査情報はブロック補
償部２２０へ供給され、そうでない場合、境界ブロック
はラインＬ４０を通じてＳＡ−ＤＣＴ部３００へ供給さ
れて、既存のＳＡ−ＤＣＴ過程を用いてＳＡ−ＤＣＴ係
数セットに変換される。
【００２４】境界ブロックと走査情報とがブロック走査
部２１０から供給された場合は、ブロック補償部２２０
はブロック走査部２１０から与えられた境界ブロックと
走査情報とを用いて、パディング画素を補償するための
画素値を計算し補償された境界ブロックを生成する。
部２１０から供給された場合は、ブロック補償部２２０
はブロック走査部２１０から与えられた境界ブロックと
走査情報とを用いて、パディング画素を補償するための
画素値を計算し補償された境界ブロックを生成する。
【００２５】図３を参照すれば、境界ブロック１０内の
上段第１行上の物体画素Ｍ１とＭ６との間に２つのパデ
ィング画素Ｈ１とＨ２が存在し、第１左側列上の物体画
素Ｓ１とＳ７との間の３つのパディング画素Ｖ１〜Ｖ３
が存在する。ブロック補償部２２は、まずパディング画
素Ｈ１、Ｈ２とＶ１〜Ｖ３に初期値を割り当てる。ここ
で、パディング画素Ｈ１とＨ２に対する初期値は、例え
ば、パディング画素Ｈ１とＨ２を取り囲む画素、例え
ば、Ｍ１〜Ｍ６を平均することによって求められ、パデ
ィング画素Ｖ１〜Ｖ３に対する初期値も画素Ｓ１〜Ｓ７
の画素値から同様に求められる。
上段第１行上の物体画素Ｍ１とＭ６との間に２つのパデ
ィング画素Ｈ１とＨ２が存在し、第１左側列上の物体画
素Ｓ１とＳ７との間の３つのパディング画素Ｖ１〜Ｖ３
が存在する。ブロック補償部２２は、まずパディング画
素Ｈ１、Ｈ２とＶ１〜Ｖ３に初期値を割り当てる。ここ
で、パディング画素Ｈ１とＨ２に対する初期値は、例え
ば、パディング画素Ｈ１とＨ２を取り囲む画素、例え
ば、Ｍ１〜Ｍ６を平均することによって求められ、パデ
ィング画素Ｖ１〜Ｖ３に対する初期値も画素Ｓ１〜Ｓ７
の画素値から同様に求められる。
【００２６】その後、前記パディング画素Ｈ１、Ｈ２と
Ｖ１〜Ｖ３の初期値と境界ブロック１０の物体画素に基
づいて、ブロック補償部２２０は、各々のパディング画
素に対して、次の式（３）により決定される画素値の変
化量が予め定められた値以下になるまで、次の式（３）
の計算を反復的に行う。
Ｖ１〜Ｖ３の初期値と境界ブロック１０の物体画素に基
づいて、ブロック補償部２２０は、各々のパディング画
素に対して、次の式（３）により決定される画素値の変
化量が予め定められた値以下になるまで、次の式（３）
の計算を反復的に行う。
【００２７】 ｆ(k+1)（ｉ，ｊ）＝１／Ｐ｛ｆk（ｉ，ｊ−１）＋ｆk（ｉ−１，ｊ）＋ｆk（ ｉ，ｊ＋１）＋ｆk（ｉ＋１，ｊ）｝ （３） ここで、ｆk（ｉ，ｊ）は境界ブロック内の画素位置
（ｉ，ｊ）に位置するパディング画素のｋ番目の繰り返
し値を表し、Ｐは前記式（３）の右辺の計算を行うに用
いられる画素値を有する関数の数を表し、ｉは１からＮ
までの整数である。ここで、０番目の繰り返し値ｆ0は
元の物体画素値またはパディング画素の初期値を表し、
物体画素とパディング画素に対応する画素値のみが前記
式（３）で用いられる。式（３）において、右辺の繰り
返し値も同一の形態を有する式を用いて計算される。
（ｉ，ｊ）に位置するパディング画素のｋ番目の繰り返
し値を表し、Ｐは前記式（３）の右辺の計算を行うに用
いられる画素値を有する関数の数を表し、ｉは１からＮ
までの整数である。ここで、０番目の繰り返し値ｆ0は
元の物体画素値またはパディング画素の初期値を表し、
物体画素とパディング画素に対応する画素値のみが前記
式（３）で用いられる。式（３）において、右辺の繰り
返し値も同一の形態を有する式を用いて計算される。
【００２８】前記繰り返し過程において、パディング画
素の繰り返し値がｋ番目の繰り返し過程で定められる場
合、パディング画素のｋ番目の繰り返し値が初期値の代
わりにパディング画素に割り当てられる。
素の繰り返し値がｋ番目の繰り返し過程で定められる場
合、パディング画素のｋ番目の繰り返し値が初期値の代
わりにパディング画素に割り当てられる。
【００２９】元の物体画素値を有する物体画素と繰り返
し過程により補償されたパディング画素を含む補償され
た境界ブロックはラインＬ３０を通じてＳＡ−ＤＣＴ部
３００へ供給された後、既存のＳＡ−ＤＣＴ過程によっ
てＳＡ−ＤＣＴ係数セットに変換され、この際、パディ
ング画素もＳＡ−ＤＣＴ係数に変換される。
し過程により補償されたパディング画素を含む補償され
た境界ブロックはラインＬ３０を通じてＳＡ−ＤＣＴ部
３００へ供給された後、既存のＳＡ−ＤＣＴ過程によっ
てＳＡ−ＤＣＴ係数セットに変換され、この際、パディ
ング画素もＳＡ−ＤＣＴ係数に変換される。
【００３０】ＳＡ−ＤＣＴ部３００におけるＳＡ−ＤＣ
Ｔ過程により生成された入力映像信号内の各映像ブロッ
クのＳＡ−ＤＣＴ係数は復号化器へ伝送される前に、Ｍ
ＰＥＧ−１のような標準ハイブリッド符号化方法によっ
て量子化され、ランレングス符号化される。
Ｔ過程により生成された入力映像信号内の各映像ブロッ
クのＳＡ−ＤＣＴ係数は復号化器へ伝送される前に、Ｍ
ＰＥＧ−１のような標準ハイブリッド符号化方法によっ
て量子化され、ランレングス符号化される。
【００３１】上記において、本発明の特定の実施例につ
いて説明したが、本発明に記載した特許請求の範囲を逸
脱することなく、当業者は種々の変更を加え得ることは
勿論である。
いて説明したが、本発明に記載した特許請求の範囲を逸
脱することなく、当業者は種々の変更を加え得ることは
勿論である。
【００３２】
【発明の効果】従って、本発明によれば、入力映像信号
内の物体領域の同一の行または列上に位置する物体画素
の間の不連続性を補償し得る方法及びその装置を提供す
ることができる。
内の物体領域の同一の行または列上に位置する物体画素
の間の不連続性を補償し得る方法及びその装置を提供す
ることができる。
【図１】Ａ〜Ｅよりなり、それぞれ映像ブロックの形状
適応離散的コサイン変換過程における一段階を例示した
模式図である。
適応離散的コサイン変換過程における一段階を例示した
模式図である。
【図２】映像ブロックの形状適応離散的コサイン変換を
行う本発明による装置の概略図である。
行う本発明による装置の概略図である。
【図３】不連続的な行と列とを有する物体領域を保有し
た映像ブロックの例示図である。
た映像ブロックの例示図である。
１０ 境界ブロック ２０ 物体領域 １００ 境界ブロック検出部 ２１０ ブロック走査部 ２２０ ブロック補償部 ３００ ＳＡ−ＤＣＴ部
Claims (11)
- 【請求項１】 Ｎを正の整数としたとき、物体画素及
び背景画素を各々含む物体領域及び背景画素に分割され
た同じ大きさのＮ×Ｎ画素の複数の映像ブロックを含む
入力映像信号を形状適応離散的コサイン変換（ＳＡ−Ｄ
ＣＴ）するための映像信号のパディング方法であって、 前記物体画素及び前記背景画素を含む映像ブロックを走
査して、前記映像ブロック内の同一の行または列上の物
体画素の間に位置する背景画素を表すパディング画素を
検出する過程と、 前記物体画素の画素値を用いて、代替画素値を計算する
過程と、 前記代替画素値をパディング画素に供給して、物体画素
値と代替画素値とを有する補償された物体領域を有する
パディングされた映像ブロックを生成する過程とを含む
ことを特徴とする映像信号のパディング方法。 - 【請求項２】 前記パディング画素を検出する過程
が、 前記映像ブロック内の物体領域の各行を水平に走査し
て、パディング画素を検出する過程と、 前記映像ブロック内の物体領域の各列を垂直に走査し
て、パディング画素を検出する過程とを含むことを特徴
とする請求項１に記載の映像信号のパディング方法。 - 【請求項３】 前記代替画素値を計算する過程におい
て、前記代替画素値が、前記パディング画素を取り囲む
物体画素の画素値の平均値を用いて決定されることを特
徴とする請求項１に記載の映像信号のパディング方法。 - 【請求項４】 前記代替画素値を計算する過程が、 前記パディング画素に初期値を割り当てる過程と、 ｆｋ（ｉ，ｊ）が映像ブロック内の画素位置（ｉ，ｊ）
に位置するパディング画素のｋ番目の繰り返し値を表す
ものとし、Ｐが前記式の右辺の計算を行うに用いられる
画素値を有する関数の数を表すものとし、ｉを１からＮ
までの整数としたとき、 ｆ(k+1)（ｉ，ｊ）＝１／Ｐ｛ｆk（ｉ，ｊ−１）＋ｆk
（ｉ−１，ｊ）＋ｆk（ｉ，ｊ＋１）＋ｆk（ｉ＋１，
ｊ）｝ なる式により計算される繰り返し値の変化量が予め定め
られた値以下になるまで、前記式の計算を反復的に行っ
て固定された繰り返し値を生成する過程であって、０番
目の繰り返し値ｆ0は元の物体画素値またはパディング
画素の初期値を表し、物体画素とパディング画素に対応
する画素値のみが前記式において用いられる、該過程
と、 前記パディング画素に対応する前記固定された繰り返し
値を代替画素値として決定する過程とを含むことを特徴
とする請求項１に記載の映像信号のパディング方法。 - 【請求項５】 前記パディング画素の初期値が、前記
パディング画素を取り囲む物体画素の画素値の平均値で
あることを特徴とする請求項４に記載の映像信号のパデ
ィング方法。 - 【請求項６】 Ｎを正の整数としたとき、物体画素及
び背景画素を各々含む物体領域及び背景画素に分割され
た同じ大きさのＮ×Ｎ画素の複数の映像ブロックを含む
力映像信号を形状適応離散的コサイン変換（ＳＡ−ＤＣ
Ｔ）するための映像信号のパディング装置において、 前記物体画素及び前記背景画素を含む映像ブロックを走
査して、映像ブロック内の同一の行または列上の物体画
素の間に位置する背景画素を表すパディング画素を検出
する検出手段と、 前記物体画素の画素値を用いて、代替画素値を計算する
計算手段と、 前記代替画素値をパディング画素に供給して、物体画素
値及び代替画素値を有する補償された物体領域を有する
パディングされた映像ブロックを生成する補償手段とを
含むことを特徴とする映像信号のパディング装置。 - 【請求項７】 前記検出手段が、 前記映像ブロック内の物体領域の各行を水平に走査して
パディング画素を検出する手段と、 前記映像ブロック内の物体領域の各列を垂直に走査して
パディング画素を検出する手段とを含むことを特徴とす
る請求項６に記載の映像信号のパディング装置。 - 【請求項８】 前記計算手段が、前記パディング画素
を取り囲む物体画素の画素値の平均値を用いて、前記代
替画素値を決定することを特徴とする請求項６に記載の
映像信号のパディング装置。 - 【請求項９】 前記計算手段が、前記パディング画素
に初期値を割り当てた後、ｆｋ（ｉ，ｊ）が映像ブロッ
ク内の画素位置（ｉ，ｊ）に位置するパディング画素の
ｋ番目の繰り返し値を表すものとし、Ｐが前記式の右辺
の計算を行うに用いられる画素値を有する関数の数を表
すものとし、ｉを１からＮまでの整数としたとき、 ｆ(k+1)（ｉ，ｊ）＝１／Ｐ｛ｆk（ｉ，ｊ−１）＋ｆk
（ｉ−１，ｊ）＋ｆk（ｉ，ｊ＋１）＋ｆk（ｉ＋１，
ｊ）｝ なる式により計算される繰り返し値の変化量が予め定め
られた値以下になるまで、前記式の計算を反復的に行っ
て前記代替画素値を計算することを特徴とし、 ０番目の繰り返し値ｆ0は元の物体画素値またはパディ
ング画素の初期値を表し、物体画素とパディング画素に
対応する画素値のみが前記式において用いられることを
特徴とする請求項６に記載の映像信号のパディング装
置。 - 【請求項１０】 前記式により計算された繰り返し値
の変化量が予め定められた値以下になるまで、前記式を
パディング画素に対して反復的に行うことによって、固
定された繰り返し値を生成し、前記パディング画素に対
応する前記固定された繰り返し値を代替画素値として決
定することを特徴とする請求項９に記載の映像信号のパ
ディング装置。 - 【請求項１１】 前記パディング画素の初期値が、前
記パディング画素を取り囲む物体画素の画素値の平均値
であることを特徴とする請求項９に記載の映像信号のパ
ディング装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/775,039 US5990956A (en) | 1996-12-30 | 1996-12-30 | Method and apparatus for padding a video signal for shape adaptive transformation |
| GB9700006A GB2320989B (en) | 1996-12-30 | 1997-01-02 | Method and apparatus for padding a video signal for shape adaptive transformation |
| JP00062697A JP3822298B2 (ja) | 1996-12-30 | 1997-01-07 | 映像信号のパディング方法及びその装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/775,039 US5990956A (en) | 1996-12-30 | 1996-12-30 | Method and apparatus for padding a video signal for shape adaptive transformation |
| GB9700006A GB2320989B (en) | 1996-12-30 | 1997-01-02 | Method and apparatus for padding a video signal for shape adaptive transformation |
| JP00062697A JP3822298B2 (ja) | 1996-12-30 | 1997-01-07 | 映像信号のパディング方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10210470A true JPH10210470A (ja) | 1998-08-07 |
| JP3822298B2 JP3822298B2 (ja) | 2006-09-13 |
Family
ID=27268654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00062697A Expired - Fee Related JP3822298B2 (ja) | 1996-12-30 | 1997-01-07 | 映像信号のパディング方法及びその装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5990956A (ja) |
| JP (1) | JP3822298B2 (ja) |
| GB (1) | GB2320989B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6833845B2 (en) | 2000-10-27 | 2004-12-21 | Matsushita Electric Industrial Co., Ltd. | Image object content generation device and padding device |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998034407A1 (en) * | 1997-01-30 | 1998-08-06 | Matsushita Electric Industrial Co., Ltd. | Digital image replenishment method, image processing device and data recording medium |
| ES2281926T3 (es) * | 1997-01-31 | 2007-10-01 | Siemens Aktiengesellschaft | Procedimiento y sistema para codificar y decodificar una imagen digitalizada. |
| US6092130A (en) * | 1997-02-28 | 2000-07-18 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for data padding input data and input significance information which are not synchronized |
| DE19719383A1 (de) * | 1997-05-07 | 1998-11-19 | Siemens Ag | Verfahren und Vorrichtung zur Codierung und Decodierung eines digitalisierten Bildes |
| US6625212B1 (en) * | 2000-06-30 | 2003-09-23 | Intel Corporation | Pixel padding procedure using SIMD operations or vector processing |
| US6718066B1 (en) | 2000-08-14 | 2004-04-06 | The Hong Kong University Of Science And Technology | Method and apparatus for coding an image object of arbitrary shape |
| US7216140B1 (en) * | 2000-09-30 | 2007-05-08 | Intel Corporation | Efficient implementation of n-point DCT, n-point IDCT, SA-DCT and SA-IDCT algorithms |
| US7418037B1 (en) * | 2002-07-15 | 2008-08-26 | Apple Inc. | Method of performing rate control for a compression system |
| KR101370286B1 (ko) * | 2007-04-06 | 2014-03-06 | 삼성전자주식회사 | 레지듀얼 블록의 변형을 이용한 영상 부호화, 복호화 방법및 장치 |
| US9179162B2 (en) | 2011-12-02 | 2015-11-03 | Futurewei Technologies, Inc. | Image transform zero coefficient selection and zero-skip transmission for arbitrary shape transform coding |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4577235A (en) * | 1984-08-20 | 1986-03-18 | The Mead Corporation | Text/continuous tone image decision processor |
| JPS63173485A (ja) * | 1987-01-13 | 1988-07-18 | Toshiba Corp | 画像デ−タ圧縮装置 |
| US5280367A (en) * | 1991-05-28 | 1994-01-18 | Hewlett-Packard Company | Automatic separation of text from background in scanned images of complex documents |
| JP2530090B2 (ja) * | 1992-02-28 | 1996-09-04 | 三星電子株式会社 | 映像信号符号化装置 |
| US5440344A (en) * | 1992-04-28 | 1995-08-08 | Mitsubishi Denki Kabushiki Kaisha | Video encoder using adjacent pixel difference for quantizer control |
| US5268967A (en) * | 1992-06-29 | 1993-12-07 | Eastman Kodak Company | Method for automatic foreground and background detection in digital radiographic images |
| JP3245977B2 (ja) * | 1992-06-30 | 2002-01-15 | ソニー株式会社 | ディジタル画像信号の伝送装置 |
| EP0582875B1 (en) * | 1992-07-27 | 2001-10-31 | Matsushita Electric Industrial Co., Ltd. | Apparatus for parallel image generation |
| CA2115976C (en) * | 1993-02-23 | 2002-08-06 | Saiprasad V. Naimpally | Digital high definition television video recorder with trick-play features |
| US5583659A (en) * | 1994-11-10 | 1996-12-10 | Eastman Kodak Company | Multi-windowing technique for thresholding an image using local image properties |
| EP0719049B1 (en) * | 1994-12-20 | 2003-05-28 | Matsushita Electric Industries Co., Ltd. | Method and apparatus for image coding |
-
1996
- 1996-12-30 US US08/775,039 patent/US5990956A/en not_active Expired - Lifetime
-
1997
- 1997-01-02 GB GB9700006A patent/GB2320989B/en not_active Expired - Fee Related
- 1997-01-07 JP JP00062697A patent/JP3822298B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6833845B2 (en) | 2000-10-27 | 2004-12-21 | Matsushita Electric Industrial Co., Ltd. | Image object content generation device and padding device |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2320989B (en) | 2000-09-13 |
| GB9700006D0 (en) | 1997-02-19 |
| US5990956A (en) | 1999-11-23 |
| GB2320989A (en) | 1998-07-08 |
| JP3822298B2 (ja) | 2006-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4727422A (en) | Method and apparatus for efficiently communicating image sequence having improved motion compensation | |
| US6771826B2 (en) | Digital image encoding and decoding method and digital image encoding and decoding device using the same | |
| JP3169783B2 (ja) | 動画像の符号化・復号システム | |
| CN1130917C (zh) | 消除块假象的后处理设备及方法 | |
| US5905542A (en) | Simplified dual prime video motion estimation | |
| US5532747A (en) | Method for effectuating half-pixel motion compensation in decoding an image signal | |
| US6577771B1 (en) | Method for supplementing digital image with picture element, and digital image encoder and decoder using the same | |
| JPH07131783A (ja) | 動きベクトル検出装置および画像符号化装置 | |
| JPH08214306A (ja) | 映像信号処理システム | |
| JP3822298B2 (ja) | 映像信号のパディング方法及びその装置 | |
| US5706366A (en) | Apparatus for encoding an image signal having a still object using an image warping technique | |
| JP2001519988A (ja) | ビデオデータから符号化パラメータを抽出するシステム | |
| JPH09261660A (ja) | 輪郭線符号化方法及び輪郭線符号化装置 | |
| US6198508B1 (en) | Method of encoding picture data and apparatus therefor | |
| JPH0746595A (ja) | 動画像符号化器および復号化器 | |
| JP3032213B2 (ja) | 画像符号化装置及び画像復号化装置 | |
| KR100249030B1 (ko) | 영상신호의 패딩방법 및 그 장치 | |
| KR100243862B1 (ko) | 전송되는 비디오 신호의 에러 은폐 방법 및 장치 | |
| KR100209411B1 (ko) | 윤곽선 정보를 이용한 영상신호 처리 방법 | |
| JPH02222389A (ja) | 動画像符号化装置 | |
| JPH07154788A (ja) | 映像信号の符号化装置 | |
| CN1187737A (zh) | 用于为形状自适应变换填充视频信号的方法和装置 | |
| KR100209420B1 (ko) | 패딩 기법 및 윤곽선 정보를 이용한 영상신호 부호화 방법 | |
| GB2316828A (en) | Compensating quantization errors of a decoded video signal by using an adaptive filter | |
| JPH07154795A (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060622 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110630 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110630 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120630 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130630 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |