JPH08307872A - ビデオ信号符号化方法 - Google Patents

ビデオ信号符号化方法

Info

Publication number
JPH08307872A
JPH08307872A JP20286495A JP20286495A JPH08307872A JP H08307872 A JPH08307872 A JP H08307872A JP 20286495 A JP20286495 A JP 20286495A JP 20286495 A JP20286495 A JP 20286495A JP H08307872 A JPH08307872 A JP H08307872A
Authority
JP
Japan
Prior art keywords
pixel
grid
block
frame
previous frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP20286495A
Other languages
English (en)
Other versions
JP4180666B2 (ja
Inventor
Min-Sup Lee
敏燮 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiu Denshi Kk
WiniaDaewoo Co Ltd
Original Assignee
Daiu Denshi Kk
Daewoo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiu Denshi Kk, Daewoo Electronics Co Ltd filed Critical Daiu Denshi Kk
Publication of JPH08307872A publication Critical patent/JPH08307872A/ja
Application granted granted Critical
Publication of JP4180666B2 publication Critical patent/JP4180666B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/54Motion estimation other than block-based using feature points or meshes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Abstract

(57)【要約】 【課題】 物体の動きに従って適応的に特徴点を選択
し、ビデオ信号を効果的に符号化し得る方法を提供す
る。 【解決手段】 本発明のビデオ信号符号化方法は、画
素単位で現フレームの画素値から前フレームの画素値を
減算し、同一の位置に存在する画素間の差分画素値を提
供し、差分画素値と第1閾値TH1とを比較し、1つ以
上の処理領域を選択し、前フレームにおける処理領域内
に存在する各画素の動きベクトルを、現フレームと前フ
レームとの間で検知し、処理領域内に存在する各画素の
動きベクトルに基づいて、現フレームの画素値を提供
し、現フレームの画素値から前フレームの処理領域内に
存在する各画素の画素値を減算し、誤差画素値を提供
し、誤差画素値と第2閾値TH2とを比較し、1つ以上
のグリッド領域を選択し、第1グリッド及び第2グリッ
ドを形成し、前フレームからエッジ点を検知し、第1及
び第2グリッド、及びエッジ点に基づいて、前フレーム
の複数の画素を特徴点として選択する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ビデオ信号を符号
化する方法に関し、とくに、物体の動きに従って適応的
に特徴点を選択することによってビデオ信号を効果的に
符号化し得る方法に関する。
【0002】
【従来の技術】周知のように、ディジタル化された映像
信号の伝送は、アナログ信号の伝送より良好な画質を維
持することができる。一連のイメージ“フレーム”から
なるイメージ信号がディジタル形態で表現される時、と
くに、高精細度テレビ(HDTV)の場合、大量のデー
タが伝送されなければならない。しかし、従来の伝送チ
ャンネルの使用可能な周波数帯域は限定されているた
め、その大量のディジタルデータを伝送するためには、
伝送すべきデータを圧縮するか、またはその量を減らす
必要がある。多様な圧縮技法のうち、統計的符号化技法
と時間的/空間的圧縮技法とを組み合わせた、いわゆる
ハイブリッド符号化(hybrid coding)技
法が最も効率的な圧縮技法として知られている。
【0003】殆どのハイブリッド符号化技法は、動き補
償DPCM(差分パルス符号変調)法、2次元DCT
(離散的コサイン変換)法、DCT係数の量子化法、及
びVLC(可変長符号化)法を用いている。動き補償D
PCM法は、現フレームとその前フレームとの間の物体
の動きを推定し、推定された物体の動きから現フレーム
を予測すると共に、現フレームとその予測値との間の差
を表す誤差信号を生成する方法である。この方法は、例
えばStaffan Ericssonによる、「Fi
xed and Adaptive Predicto
rs for Hybrid Predictive/
Transform Coding」、IEEE Tr
ansactions on Communicati
ons,COM−33,NO.12,(1985年12
月)、またはNinomiyaとOhtsukaとによ
る「A Motion− Compensated I
nterframe Coding Scheme f
or TelevisionPictures」、IE
EE Transactions on Commun
ications,COM−30,NO.1,(198
2年1月)に記載されている。
【0004】映像データ間の空間的冗長度を除去する2
次元DCT法においては、例えば、8×8画素のディジ
タル映像データのブロックを一組の変換係数のデータに
変換する。この技法は、例えばChen及びPratt
の「Scene Adaptive Coder」、I
EEE Transactions on Commu
nications,COM−32,No.3(198
4年3月)に開示されている。そのような変換係数のデ
ータを量子化器、ジグザグスキャナ及びVLCにて処理
することによって、伝送されるべきデータの量を効果的
に圧縮することができる。
【0005】詳述すると、動き補償DPCMでは、現フ
レームと前フレームとの間で推定された物体の動きに基
づいて、現フレームのデータを対応する前フレームのデ
ータから予測する。このような推定された動きは、前フ
レームと現フレームとの間の画素の変位を表す2次元動
きベクトルによって表される。
【0006】ある物体の画素の変位を推定する方法は、
2つの基本的なタイプに分類される。一方はブロック単
位の動き推定であり、他方は画素単位の動き推定であ
る。
【0007】ブロック単位の推定においては、現フレー
ムの各ブロックは、最も良好な一致が得られるまでその
前ブロックにおけるブロックと比較される。かくして、
現フレームの全ブロックに対する(ブロックがフレーム
間でどの位移動したかを表す)フレーム間の変位ベクト
ルが推定される。
【0008】しかし、ブロック単位の動き推定に於いて
は、ブロック内における全ての画素が一方向へ移動しな
い場合には、不良な推定が行われ、その結果、全体的な
画質が低下する。
【0009】一方、画素単位の動き推定を用いると、変
位は全ての画素に対して求められる。この方法は画素値
をより正確に推定することができると共に、スケール変
更(例えば、ズーミングのような映像面に対しする垂直
な動き)も容易に扱うことができる。しかし、画素単位
の方法では、動きベクトルが全ての画素の各々に対して
決定されるので、全ての動きベクトルデータを受信機に
伝送することは実際には不可能である。
【0010】画素単位の動き推定の結果生じる伝送デー
タ量が過剰となる問題を解決するために導入された技法
の1つが、特徴点に基づく動き推定方法がある。
【0011】特徴点に基づく動き推定法においては、1
組の選択された画素(即ち、特徴点)に対する動きベク
トルが受信機へ伝送される。ここで、特徴点とは物体の
動きを表し得る現フレームまたはその前フレームの画素
として定義され、受信端では、特徴点の動きベクトルか
ら現フレームにおける画素に対する全体の動きベクトル
を復元または推定できる。特徴点に基づく動き推定法を
用いた符号化器においては、本特許出願と出願人を同じ
くする係属中の米国特許出願第08/367,520号
「Method and Apparatus for
Encoding a Video Signal
Using Pixel−by−Pixel Moti
on Estimation」明細書に開示されてお
り、複数の特徴点が現フレームに含まれる全ての画素か
ら最初選択される。その後、その選択された特徴点に対
する動きベクトルを通常のブロック整合法を用いて特定
するが、ここで各々の動きベクトルは、前フレームにお
ける1つの特徴点と現フレームにおける対応する整合点
(即ち、最も準な画素)との間の空間的変位を表す。よ
り詳しくは、特徴点の各々に対する整合点は、現フレー
ム内の探索領域内で検知されるが、ここで探索領域は対
応する特徴点の位置を取り囲む予め定められた領域とし
て定義される。しかる後、現フレームにおける全画素に
対する全体の動きベクトルが、特徴点の動きベクトルに
基づいて特定される。
【0012】しかしながら、上述した特徴点に基づく動
き推定法においては、特徴点が物体間の多様な動きを考
えずに特定されるため、適正な動き推定または正確な映
像の復元が必ずしも可能ではないという欠点があった。
【0013】
【発明が解決しようとする課題】従って、本発明の主な
目的は、物体の動きによって適応的に特徴点を選択する
ことによって、ビデオ信号を効率的に符号化できる改善
されたビデオ信号符号化方法を提供することである。
【0014】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明によれば、特徴点に基づく動き推定法に基
づいて、現フレームとその前フレームとを有する複数の
フレームからなるディジタルビデオ信号を符号化するビ
デオ信号符号化装置に用いられ、前記現フレームとその
前フレームとの間における物体の動きに従って適応的に
特徴点を選択するビデオ信号符号化方法であって、
(a)画素単位で現フレームの画素値から前フレームの
画素値を減算することによって、現フレームと前フレー
ムとで同一の位置に存在する画素間の差分画素値を提供
する過程と、(b)前記差分画素値と第1閾値TH1と
を画素単位で比較すると共に、前記第1閾値TH1より
大きい差分画素値を有する画素からなる、1つまたはそ
れ以上の処理領域を選択する過程と、(c)前記前フレ
ームにおける処理領域内に存在する各画素の動きベクト
ルを、前記現フレームと前記前フレームとの間で検知す
る過程と、(d)前記前フレームにおける処理領域内に
存在する各画素の動きベクトルに基づいて、前記現フレ
ームの画素値を提供する過程と、(e)前記現フレーム
の画素値から、前記前フレームにおける処理領域内に存
在する各画素の画素値を画素単位で減算することによっ
て、誤差画素値を提供する過程と、(f)前記誤差画素
値と前記第2閾値TH2とを比較すると共に、前記第2
閾値TH2より大きい誤差画素値を有する画素からな
る、1つまたはそれ以上のグリッド領域を選択する過程
と、(g)前記前フレームにおける各処理領域に第1グ
リッドを形成し、かつ前記各グリッド領域に第2グリッ
ドを形成する過程であって、該第2グリッドは第1グリ
ッドのグリッド点の一部と、前記第1グリッドにおいて
垂直及び水平方向に隣接する一対のグリッド点の間の中
央に位置した、新たに追加されたグリッド点とによって
形成される、該過程と、(h)前記前フレームからエッ
ジ点を検知する過程と、(i)前記第1及び第2グリッ
ド、及びエッジ点に基づいて、前記前フレームにおける
複数の画素を特徴点として選択する過程とを有すること
を特徴とする。
【0015】
【発明の実施の形態】以下、本発明の好適な実施例につ
いて図面を参照しながらより詳しく説明する。
【0016】図1を参照すると、本発明によるビデオ信
号符号化装置10のブロック図が示されている。入力デ
ィジタルビデオ信号は、ラインL11及びL10を介し
て減算器102及び現フレーム予測ブロック150に接
続されている第1フレームメモリ100内に、現フレー
ム信号として格納されている。
【0017】この第1フレーム予測ブロック150にお
いては、第1フレームメモリ100から取り出されたラ
インL10上の現フレーム信号と、第2フレームメモリ
124からのラインL12上の再構成された前フレーム
信号または参照フレーム信号とを処理して、画素単位で
現フレームを予測する。その後、予測された現フレーム
信号をラインL16上に、物体の動きを有する領域の位
置を表す処理領域情報をラインL17上に、物体の散発
的かつ局所的な動きが現れる領域において、詳細な動き
補償を要する、領域の位置を表すグリッド情報をライン
L18上に、そして特徴点に対する一セットの動きベク
トルをラインL19上に、各々発生する。現フレーム予
測ブロック150の詳細については、以下で図2及び図
9を参照して説明する。
【0018】減算器102においては、ラインL16上
の予測された現フレーム信号がラインL11上の現フレ
ーム信号から減算されて、その結果として得られたデー
タ、即ち、現フレームと予測された現フレームとの間の
差分画素値を表す誤差信号が映像信号符号化器105へ
入力される。ここで、誤差信号は例えば、DCT法及び
公知の量子化法のうちの何れかを用いて複数の量子化さ
れた変換係数に符号化される。
【0019】続いて、その量子化された変換係数は、エ
ントロピー符号化器107及び映像信号復号化器113
へ伝送される。エントロピー符号化器107において、
映像信号符号化器105からの量子化された変換係数、
ラインL17を介して送られた処理領域情報ライン、L
18を介して送られたグリッド情報及びラインL19を
介して送られた動きベクトルは、例えば可変長さ符号化
法を用いて共に符号化されると共に、バッファ109を
通じて一定の伝送率で伝送機(図示せず)へ送られて伝
送される。
【0020】一方、映像信号復号化器113は、映像信
号符号化器105からの量子化された変換係数を、逆量
子化及び逆離散的コサイン変換技法を用いて再構成され
た誤差信号に再度変換する。
【0021】映像信号復号化器113からの再構成され
た誤差信号、及び現フレーム予測ブロック150からの
ラインL16上の予測された現フレーム信号が、加算器
115にて加算れることによって、第2フレームメモリ
124に書き込まれるべき再構成された現フレーム信号
が、次のフレームに対する前フレームとして供給され
る。ビテオ信号符号化装置において、受信器におけるビ
デオ信号復号化装置の動作をモニターして、ビデオ信号
復号化装置における再構成された現フレーム信号と、ビ
デウ信号符号化装置における現フレーム信号との間のず
れを防止するために、誤差信号の再構成が必要である。
【0022】図2を参照すると、図1に示した現フレー
ム予測ブロック150の動作が詳細に記述されている。
図示したように、第2フレームメモリ124からのライ
ンL12上の前フレーム信号は処理領域選択ブロック2
10、特徴点選択ブロック211、特徴点動きベクトル
検知ブロック212及び動き補償ブロック216へ入力
される。
【0023】処理領域選択ブロック210においては、
物体の動きが存在する複数の領域が処理領域として選択
される。
【0024】図3を参照すると、図2に示されている処
理領域選択ブロック210の詳細なブロック図が示され
ている。減算器301にて、図1に示した第1フレーム
メモリ100からのラインL10上の現フレーム信号か
ら、第2フレームメモリ124からのラインL12上の
前フレーム信号が減算される。その結果として得られた
データ、即ち、現フレームと前フレームとの間で同一の
位置に存在する画素間の差分画素値を表すフレーム差分
データは、第1比較ブロック312へ供給される。この
第1比較ブロック312は、フレーム差分データに含ま
れた各々の差分画素値を予め定められた第1閾値TH1
と画素単位で比較する。もし、差分画素値が第1閾値T
H1より小さい場合は、転換値0にセットされる。そう
でない場合は、転換値1にセットされる。これらの転換
値は、第3フレームメモリ314へ供給され格納され
る。
【0025】第1領域選択ブロック316は、第3フレ
ームメモリ314から各画素の転換値を取出し、転換値
1を有する領域を第1領域として選択すると共に、各々
の第1領域に対する処理領域を特定するが、ここで処理
領域とは各第1領域を適正にカバーし得る最小の四角形
領域を言い、その寸法は図5に示したブロックに基づく
動き推定ブロック510における動き推定過程が、例え
ばマクロブロック(即ち、16×16画素)単位で扱わ
れば、(16×M)×(16×N)画素であり、ここで
M及びNは正の整数である。図4を参照すると、転換値
1の第1領域A及びBを取り囲む処理領域51及び53
が、図示されている。
【0026】各々の処理領域に対する位置データ、例え
ば各四角形領域の左上の画素位置及び寸法を表す処理領
域情報は、エントロピー符号化器107及び特徴点選択
ロック211へ提供される。特徴点選択ブロック211
においては、複数の特徴点が前フレームに含まれた画素
から選択される。ここで、特徴点とはフレームにおいて
物体の動きを代表し得る画素を意味する。
【0027】図5を参照すると、図2に示した特徴点選
択ブロック211の詳細なブロック図が示されている。
図1に示した第1フレームメモリ100からのラインL
10上の現フレーム信号は、ブロックに基づく動き推定
ブロック510及びブロックに基づく動き補償ブロック
511へ入力される。一方、図1に示した第2フレーム
メモリ124からのラインL12上の前フレーム信号
は、ブロックに基づく動きベクトル推定ブロック51
0、減算器512及びエッジ検知ブロック517へ入力
される。
【0028】処理領域情報に応答して、ブロックに基づ
く動きベクトル推定ブロック510は公知のブロック整
合法を用いて、前フレームにおける処理領域の各探索ブ
ロックと各探索ブロックと最も類似な現フレームにおけ
るブロックとの間の空間的変位を表す動きベクトルを検
知する。前フレームにおける処理領域の各探索ブロック
に対する動きベクトルは、その探索ブロック内に存在す
る各々の画素に対する動きベクトルと定められ、そして
いかなる処理領域にも属しない画素に対する動きベクト
ルはゼロと定められる。その後、ブロックに基づく動き
推定ブロック510は、この動きベクトルをブロックに
基づく動き補償ブロック511へ提供する。このブロッ
クに基づく動き補償ブロック511は、前フレームにお
ける全ての画素に対する動きベクトルを用いて、図1に
示した第1フレームメモリ100から画素値を取出する
ことによって、予測信号を減算器512へ供給する。
【0029】減算器512にて、前フレーム信号は予測
信号から減算され、その結果として得られたデータ、即
ち、前フレーム信号と予測信号との間の差分画素値を表
す差分信号が第2比較ブロック513へ供給される。第
2比較ブロック513は、差分信号内の各差分画素値と
第2閾値TH2とを画素単位で比較する。この第2閾値
TH2は予め定められるか、または図1に示したバッフ
ァ109に格納されたデータの量(即ち、バッファの占
有度)によって適応的に特定される。差分画素値が第2
閾値TH2より小さい場合は、転換値は0にセットされ
る。そうでない場合は、転換値は1にセットされる。こ
れらの転換値は、第4フレームメモリ514へ供給され
格納される。
【0030】第2領域選択ブロック515は、第4フレ
ームメモリ514から転換値を取出すと共に、転換値1
が存在する領域を物体の散発的かつ局所的な動きが存在
する第2領域として選択する。そして、第2領域の画素
位置を表す第2領域情報は、グリッド形成ブロック51
6へ送られる。
【0031】第1領域選択ブロック316からのライン
L17上の処理領域情報に応答して、グリッド形成ブロ
ック516は、前フレームの処理領域上に第1グリッド
を、また第2領域上に第2グリッドを各々形成するが、
ここで、第2グリッドにおけるグリッド点の密度は第1
グリッドの密度より高い。本発明の好ましい実施例によ
ると、最初、六角グリッドが前フレームにおける全処理
領域上に形成され、各々の第2領域に対して三角グリッ
ドが形成されるが、ここで、三角グリッドは第2領域を
適正にカバーする最小の寸法を有し、六角グリッドのグ
リッド点の一部と、六角グリッドにおいて垂直及び水平
方向へ隣接する一対のグリッド点の間の中央に新たに追
加された付加グリッド点とにより形成される。例えば、
図6に示したように、細かいグリッド(即ち、三角グリ
ッド61)が第2領域A′上に形成される。その後、各
々の三角グリッドに対する位置データ、例えば各三角グ
リッドの左上の画素位置及び大きさを表すグリッド情報
は、ラインL18を通じてエントロピー符号化器107
及び特徴点定義ブロック518へ供給される。
【0032】一方、公知のように、エッジ検知ブロック
517は通常のグラディエントオペレータ(例えば、ソ
ベルオペレータ)を用いて、前フレームにおけるエッジ
点を検知する。例えば、方向性グラディエント(例え
ば、水平及び垂直グラディエントGx(x,y)及びG
y(x,y)を水平及び垂直ソベルオペレータを用いて
計算し、画素位置(x,y)におけるグラディエントの
大きさg(x,y)が下記のように得られる。
【0033】g(x,y)=|Gx(x,y)| +
|Gy(x,y)|
【0034】しかる後、前フレームの各画素に対するグ
ラディエントの大きさg(x,y)と予め定められた閾
値Teとを比較することによって、前フレームにおける
エッジ点が検知される。即ち、g(x,y)がTeより
大きければ、画素位置(x,y)はエッジ点となる。
【0035】続いて、エッジ点の位置を表すエッジ信号
eg(x,y)と共に、エッジ点に対するグラディエン
トの大きさg(x,y)が特徴点定義ブロック518へ
供給される。特徴点定義ブロック518において、複数
の特徴点が前フレームに含まれた画素から選択される。
【0036】図7を参照すると、本発明による特徴点定
義ブロック518にて行われる、特徴点選択過程の説明
図が示されている。第1領域選択ブロック316からの
処理領域情報、及びグリッド形成ブロック516からの
グリッド情報に応答して、各々のグリッド点(例えば、
G1〜G4)に対して最大面積を有し、かつ互い重複し
ない円形探索領域(例えば、SR1〜SR4)を設定す
る。その後、エッジ検知ブロック517からのエッジ点
に対するグラディエント大きさとエッジ点の位置を表す
エッジ信号とに基づいて、探索領域と重なり合う各エッ
ジ点(例えば、E1〜E9)をその中心とする5×5画
素のブロックを設定する。その後、各ブロック内に含ま
れる画素のグラディエントの大きさを合計して、得られ
た合計値を各ブロックの中心に位置するエッジ点に対す
るエッジ値として定め、探索領域内において最大エッジ
値を有するエッジ点をその探索領域の特徴点として選択
する。もし、最大エッジ値を有するエッジ点が2個以上
存在する場合、グリッド点に最も近位のエッジ点を特徴
点として選択する。また、探索領域内において、エッジ
点が存在しない場合(例えば、SR1またはSR3)に
は、グリッド点(例えば、G1またはG3)自体が特徴
点として選択される。
【0037】図2及び図3を再度参照すると、特徴点定
義ブロック518からの選択された特徴点の位置を表す
特徴点の情報が、ラインL20を介して特徴点動きベク
トル検知ブロック212及び現フレーム動きベクトル検
知ブロック214へ入力される。ラインL10上の現フ
レーム信号及びラインL12上の前フレーム信号は、共
に特徴点動きベクトル検知ブロック212へ提供され
る。
【0038】特徴点動きベクトル検知ブロック212に
おいては、選択された各々の特徴点に対する第1セット
の動きベクトルが検知される。第1セットの動きベクト
ルの各々は、前フレームにおける特徴点と、特徴点と最
も類似な現フレームにおける画素との間の空間的変位を
表す。全ての特徴点に対する動きベクトルを検知した
後、第1セットの動きベクトルは、ラインL19を通じ
て現フレーム動きベクトル検知ブロック214及びエン
トロピー符号化器107(図1参照)へ提供される。
【0039】現フレーム動きベクトル検知ブロック21
4においては、ラインL19上の第1セットの動きベク
トル及び特徴点検知ブロック211からの特徴点情報を
用いて、現フレームにおける全ての画素に対する第2セ
ットの動きベクトルが特定される。この第2セットの動
きベクトルを特定するために、まず前フレームの特徴点
から第1セットの動きベクトルだけシフトされた、現フ
レームの画素点を表す準特徴点に対する一セットの動き
ベクトルが特定される。準特徴点に対する動きベクトル
の大きさは、それに対応する特徴点の動きベクトルの大
きさと同じであるが、これらの2つのベクトルの方向は
互いに反対である。全ての準特徴点に対する動きベクト
ルを決定した後、現フレーム上に残っている非準特徴点
に対する動きベクトルは、下記のように特定される。
【0040】最初に、各処理領域において、準特徴点を
互いに連結するラインセグメントによって、互いに重複
しない多角形、例えば、複数の三角形が画定される。し
かる後、各々の多角形を形成する準特徴点とそれらに対
応する特徴点との間の位置関係に基づいて、現フレーム
上の各々の多角形に含まれる各画素に対する前フレーム
上の予測位置が決定される。その後、現フレームの各多
角形内に含まれる各画素に対する動きベクトルが、各画
素の位置とその予測との間の変位から決定される。この
際、いかなる多角形にも含まれない画素に対する動きベ
クトルはゼロと定める。このような手法は、本特許出願
と出願人を同じくする係属中の米国特許出願第08/4
34,808号「METHOD AND APPARA
TUSFOR ENCODING/DECOING A
VIDEO SIGNAL」明細書に記載されてお
り、この明細書は本出願に引用例として加えられる。
【0041】動き補償ブロック216は、第2セットに
含まれた各々の動きベクトルを用いて、第2フレームメ
モリ124からの予測された現フレームにおける各画素
値を取出すことによって、予測された現フレーム信号を
ラインL16を介して減算器102及び加算器115
(図1)へ供給する。
【0042】図8を参照すると、図1に示した本発明に
よるビデオ信号符号化装置10に対応するビデオ信号復
号化装置800が示されている。ビデオ信号符号化装置
10から伝送された符号化されたビデオ信号は、バッフ
ァ810を通じてエントロピー復号化器820へ供給さ
れる。次いで、エントロピー復号化器820はその符号
化されたビデオ信号を復号化して、特徴点の動きベクト
ル、処理領域情報及びグリッド情報を現フレーム予測ブ
ロック850へ、そして量子化された変換係数を映像信
号復号化器830へ提供する。この映像信号復号化器8
30は、ビデオ信号符号化装置10における映像信号復
号化器113と同一の機能を行うことによって、再構成
された誤差信号を加算器840へ提供する。現フレーム
予測ブロック850は、ビデオ信号符号化装置10から
の処理領域情報、グリッド情報及び特徴点動きベクトル
がエントロピー復号化器820から現フレーム予測ブロ
ック850に提供されているので、図2に示された処理
領域選択ブロック210のような領域選択器及び特徴点
動きベクトル検知ブロック212のような動き推定器を
含んでいないという点を除いては、図2に示された現フ
レーム予測ブロック150と同一の構成を有する。現フ
レーム予測ブロック850は、現フレーム予測ブロック
150に関して説明された機能と同一の機能を行う特徴
点選択ブロック、現フレーム動きベクトル検知ブロック
及び動き補償ブロックを含む。
【0043】図9を参照すると、現フレーム予測ブロッ
ク850が示されている。エントロピー復号化器820
からの処理領域情報及びグリッド情報、及びフレームメ
モリ860からの前フレーム信号は、特徴点選択ブロッ
ク952へ入力され複数の特徴点が選択される。ここ
で、特徴点選択ブロック952は、ビデオ信号符号化装
置10の特徴点選択ブロック211を構成するエッジ検
知ブロック及び特徴点定義ブロックと等しいエッジ検知
ブロック及び特徴点定義ブロックを含み、図2に示され
た特徴点選択ブロック210で選択された複数の特徴点
と同一の複数の特徴点を選択する。特徴点選択ブロック
952からの選択された特徴点及びエントロピー復号化
器820からの特徴点動きベクトルに応答して、現フレ
ーム動きベクトル検知ブロック954は、図2に示され
た現フレーム動きベクトル検知ブロック214と同様の
方法で、現フレームにおける全ての画素に対する動きベ
クトルを特定する。動き補償ブロック956は、図2に
示された動き補償ブロック216と同様の方法で予測さ
れた現フレーム信号を提供する。
【0044】図8を更に参照すると、現フレーム予測ブ
ロック850からの予測された現フレーム信号と、映像
信号復号化器830からの再構成された誤差信号とが加
算器840で加算されて、再構成された現フレーム信号
が表示装置(図示せず)及びフレームメモリ860へ供
給される。再構成された現フレーム信号は、復号化され
るべき次フレームに対する前フレームとして、フレーム
メモリ860に格納される。
【0045】
【発明の効果】従って、本発明によれば、物体の動きに
よって適応的に特徴点を選択することによって、より効
果的にビデオ信号を符号化し得るのみならず、より正確
にビデオ信号を復元することができる。
【図面の簡単な説明】
【図1】本発明によるビデオ信号符号化装置を示したブ
ロック図である。
【図2】図1の現フレーム予測ブロックの詳細なブロッ
ク図である。
【図3】図2の処理領域選択ブロックの詳細なブロック
図である。
【図4】前フレームにおいてより大きい差分画素値を有
する各領域を取り囲む処理領域を示した図である。
【図5】図2の特徴点選択ブロックの詳細なブロック図
である。
【図6】処理領域において適応的なグリッド形成過程を
示した図である。
【図7】本発明による特徴点選択過程を示した図であ
る。
【図8】本発明によるビデオ信号復号化装置のブロック
図である。
【図9】図8に示した現フレーム予測ブロックの詳細な
ブロック図である。
【符号の説明】
100 第1フレームメモリ 102 減算器 105 映像信号符号化器 107 エントロピー符号化器 109 バッファ 113 映像信号復号化器 115 加算器 124 第2フレームメモリ 150 現フレーム予測ブロック 210 処理領域選択ブロック 211 特徴点選択ブロック 212 特徴点動きベクトル検知ブロック 214 現フレーム動きベクトル検知ブロック 216 動き補償ブロック 310 減算器 312 第1比較ブロック 314 第3フレームメモリ 316 第1領域選択ブロック 510 ブロックに基づく動き推定ブロック 511 ブロックに基づく動き補償ブロック 512 減算器 513 第2比較プロック 514 第4フレームメモリ 515 第2領域選択ブロック 516 グリッド形成ブロック 517 エッジ検知ブロック 518 特徴点定義ブロック 810 バッファ 820 エントロピー復号化器 830 映像信号復号化器 850 現フレーム予測ブロック 860 フレームメモリ 952 特徴点選択ブロック 954 現フレーム動きベクトル検知ブロック 956 動き補償ブロック

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 特徴点に基づく動き推定法に基づい
    て、現フレームとその前フレームとを有する複数のフレ
    ームからなるディジタルビデオ信号を符号化するビデオ
    信号符号化装置に用いられ、前記現フレームとその前フ
    レームとの間における物体の動きに従って適応的に特徴
    点を選択するビデオ信号符号化方法であって、 (a)画素単位で現フレームの画素値から前フレームの
    画素値を減算することによって、現フレームと前フレー
    ムとで同一の位置に存在する画素間の差分画素値を提供
    する過程と、 (b)前記差分画素値と第1閾値TH1とを画素単位で
    比較すると共に、前記第1閾値TH1より大きい差分画
    素値を有する画素からなる、1つまたはそれ以上の処理
    領域を選択する過程と、 (c)前記前フレームにおける処理領域内に存在する各
    画素の動きベクトルを、前記現フレームと前記前フレー
    ムとの間で検知する過程と、 (d)前記前フレームにおける処理領域内に存在する各
    画素の動きベクトルに基づいて、前記現フレームの画素
    値を提供する過程と、 (e)前記現フレームの画素値から、前記前フレームに
    おける処理領域内に存在する各画素の画素値を画素単位
    で減算することによって、誤差画素値を提供する過程
    と、 (f)前記誤差画素値と前記第2閾値TH2とを比較す
    ると共に、前記第2閾値TH2より大きい誤差画素値を
    有する画素からなる、1つまたはそれ以上のグリッド領
    域を選択する過程と、 (g)前記前フレームにおける各処理領域に第1グリッ
    ドを形成し、かつ前記各グリッド領域に第2グリッドを
    形成する過程であって、該第2グリッドは第1グリッド
    のグリッド点の一部と、前記第1グリッドにおいて垂直
    及び水平方向に隣接する一対のグリッド点の間の中央に
    位置した、新たに追加されたグリッド点とによって形成
    される、該過程と、 (h)前記前フレームからエッジ点を検知する過程と、 (i)前記第1及び第2グリッド、及びエッジ点に基づ
    いて、前記前フレームにおける複数の画素を特徴点とし
    て選択する過程とを有することを特徴とするビデオ信号
    符号化方法。
  2. 【請求項2】 前記エッジ点検知過程(h)が、前記
    前フレームにおける各画素に対するグラディエントの大
    きさを算出する過程を含み、 前記特徴点選択過程(i)が、 (i1)前記第1及び第2グリッドの各々のグリッド点
    に対して、互いに重複しない探索領域を設定する過程
    と、 (i2)前記エッジ点の各々を含む画素のブロック内に
    存在する画素のグラディエントの大きさを合計すること
    によって得られた合計値を、各々のエッジ点に対するエ
    ッジ値として提供する過程と、 (i3)前記探索領域内においてエッジ点が存在しない
    場合、前記探索領域のグリッド点を特徴点として特定
    し、前記探索領域内において1つまたはそれ以上のエッ
    ジ点が存在する場合、前記エッジ点のうち、より大きい
    エッジ値を有する前記エッジ点を特徴点として特定し
    て、前記特徴点を提供する過程とを有することを特徴と
    する請求項1に記載のビデオ信号符号化方法。
  3. 【請求項3】 前記第1及び第2グリッドが、各々六
    角及び三角グリッドからなることを特徴とする請求項2
    に記載のビデオ信号符号化方法。
JP20286495A 1995-04-29 1995-07-17 ビデオ信号符号化方法 Expired - Lifetime JP4180666B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1995P10586 1995-04-29
KR1019950010586A KR0181063B1 (ko) 1995-04-29 1995-04-29 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치

Publications (2)

Publication Number Publication Date
JPH08307872A true JPH08307872A (ja) 1996-11-22
JP4180666B2 JP4180666B2 (ja) 2008-11-12

Family

ID=19413478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20286495A Expired - Lifetime JP4180666B2 (ja) 1995-04-29 1995-07-17 ビデオ信号符号化方法

Country Status (4)

Country Link
US (1) US5546129A (ja)
JP (1) JP4180666B2 (ja)
KR (1) KR0181063B1 (ja)
CN (1) CN1117482C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2004068414A1 (ja) * 2003-01-27 2006-05-25 富士通株式会社 注目物体の出現位置表示装置

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0170932B1 (ko) * 1994-12-29 1999-03-20 배순훈 영상의 시각적, 기하학적 특성에 따른 고속 움직임 추정장치
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
KR100235344B1 (ko) * 1994-12-29 1999-12-15 전주범 영역 분할 부호화 방식의 전경/배경 화상 선택 장치
KR0181029B1 (ko) * 1995-03-15 1999-05-01 배순훈 에지를 이용한 특징점 선정장치
KR0181031B1 (ko) * 1995-03-20 1999-05-01 배순훈 움직임 보상된 인터폴레이션에서의 엣지 보상 장치
KR0171120B1 (ko) * 1995-04-29 1999-03-20 배순훈 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법 및 장치
KR0171154B1 (ko) * 1995-04-29 1999-03-20 배순훈 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치
JP2798120B2 (ja) * 1995-08-04 1998-09-17 日本電気株式会社 動き補償フレーム間予測方法及び動き補償フレーム間予測装置
KR0178230B1 (ko) * 1995-08-08 1999-05-01 배순훈 특징점에 의한 움직임 추정을 이용한 영상 처리 장치
KR0178229B1 (ko) * 1995-08-08 1999-05-01 배순훈 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치
JPH0955941A (ja) * 1995-08-16 1997-02-25 Sony Corp 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置
US5691769A (en) * 1995-09-07 1997-11-25 Daewoo Electronics Co, Ltd. Apparatus for encoding a contour of an object
CN1062701C (zh) * 1995-09-12 2001-02-28 大宇电子株式会社 用于编码目标轮廓的装置
KR100207390B1 (ko) * 1995-09-15 1999-07-15 전주범 계층적인 움직임 추정기법을 이용하는 음직임 벡터 검출방법
US5825929A (en) * 1995-10-05 1998-10-20 Microsoft Corporation Transformation block optimization method
KR100209793B1 (ko) * 1995-10-28 1999-07-15 전주범 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
WO1997016926A1 (en) * 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for determining ambient conditions from an image sequence
US5963272A (en) * 1995-10-31 1999-10-05 Sarnoff Corporation Method and apparatus for generating a reference image from an image sequence
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths
US6181747B1 (en) * 1996-02-01 2001-01-30 Hughes Electronics Corporation Methods and systems for high compression rate encoding and decoding of quasi-stable objects in video and film
US6037988A (en) * 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US5982438A (en) * 1996-03-22 1999-11-09 Microsoft Corporation Overlapped motion compensation for object coding
KR100235356B1 (ko) 1997-08-13 1999-12-15 전주범 개선된 움직임 추정 장치 및 그 추정 방법
US6400831B2 (en) 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
JP4051772B2 (ja) * 1998-07-23 2008-02-27 ソニー株式会社 画像復号装置及び画像復号方法
JP3937599B2 (ja) * 1998-07-23 2007-06-27 ソニー株式会社 画像復号装置及び画像復号方法
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6983018B1 (en) * 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
DE60143927D1 (de) * 2000-03-13 2011-03-10 Sony Corp Verfahren und vorrichtung zur erzeugung von kompakten metadateien für transcodierungshinweise
WO2003053066A1 (en) 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7499495B2 (en) 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
KR100574523B1 (ko) * 2003-07-31 2006-04-27 삼성전자주식회사 움직임 타입 판단 장치 및 방법
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7317839B2 (en) 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7616692B2 (en) 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US8085844B2 (en) * 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7620106B2 (en) 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US7623574B2 (en) 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7577200B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7599438B2 (en) 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US9077960B2 (en) * 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
GB2431790B (en) * 2005-10-27 2010-11-10 Sony Uk Ltd Data processing apparatus and method
JP4471039B2 (ja) * 2008-02-14 2010-06-02 日本電気株式会社 移動ベクトル検出装置
JP4813517B2 (ja) * 2008-05-29 2011-11-09 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
US20100014715A1 (en) * 2008-07-17 2010-01-21 Siou-Shen Lin Image processing apparatus having texture information consideration and method thereof
KR101681303B1 (ko) * 2010-07-29 2016-12-01 에스케이 텔레콤주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
US20120162449A1 (en) * 2010-12-23 2012-06-28 Matthias Braun Digital image stabilization device and method
US9473780B2 (en) 2012-07-13 2016-10-18 Apple Inc. Video transmission using content-based frame search
CN106141421B (zh) * 2016-08-10 2017-05-17 陕西理工大学 一种大吨位双头摩擦焊机及其焊接方法
CN112135144B (zh) * 2019-06-24 2022-11-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136659A (en) * 1987-06-30 1992-08-04 Kokusai Denshin Denwa Kabushiki Kaisha Intelligent coding system for picture signal
JP2826321B2 (ja) * 1988-07-23 1998-11-18 日本電気株式会社 直交変換符号化装置
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
SE9002647L (sv) * 1990-08-15 1991-09-02 Televerket Metod foer roerelsekompensering och elastisk deformation i bildsekvenser
JPH0813138B2 (ja) * 1990-11-28 1996-02-07 松下電器産業株式会社 画像符号化装置
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5351083A (en) * 1991-10-17 1994-09-27 Sony Corporation Picture encoding and/or decoding system
JP3068304B2 (ja) * 1992-01-21 2000-07-24 日本電気株式会社 動画像符号化方式および復号化方式
FI97008C (fi) * 1993-06-02 1996-09-25 Nokia Oy Ab Menetelmä videokuvan ennustamiseksi käsittelyjärjestyksessä edellisen kuvan perusteella
US5398068A (en) * 1993-09-02 1995-03-14 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2004068414A1 (ja) * 2003-01-27 2006-05-25 富士通株式会社 注目物体の出現位置表示装置

Also Published As

Publication number Publication date
JP4180666B2 (ja) 2008-11-12
US5546129A (en) 1996-08-13
CN1135147A (zh) 1996-11-06
KR0181063B1 (ko) 1999-05-01
CN1117482C (zh) 2003-08-06
KR960040014A (ko) 1996-11-25

Similar Documents

Publication Publication Date Title
JP4180666B2 (ja) ビデオ信号符号化方法
US5612743A (en) Method for encoding a video signal using feature point based motion estimation
KR0171118B1 (ko) 비디오신호 부호화 장치
US5617144A (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
US5619281A (en) Method and apparatus for detecting motion vectors in a frame decimating video encoder
CA1333501C (en) Hierarchical encoding method and apparatus for efficiently communicating image sequences
US5673339A (en) Method for encoding a video signal using feature point based motion estimation
US5689306A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
US5668600A (en) Method and apparatus for encoding and decoding a video signal using feature point based motion estimation
EP0634874B1 (en) Determination of motion vectors in a frame decimating video encoder
JPH08242453A (ja) 動きベクトル推定装置
JPH0795594A (ja) 半画素精度の動きベクトル検出方法および装置
US5638129A (en) Image processing apparatus using a pixel-by-pixel motion estimation based on feature points
US5654761A (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
JP3681784B2 (ja) 映像信号符号化装置
US6020925A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
EP0720373A1 (en) Method and apparatus for encoding a video signal using region-based motion vectors
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
JPH08205168A (ja) ビデオ信号の符号化/復号化装置及びその方法
KR0174448B1 (ko) 영역 단위 움직임 벡터를 이용한 움짐임 보상 영상 신호 부호화 장치 및 방법과 움직임 보상 영상 신호 복호화 장치 및 방법
KR100238891B1 (ko) 개선된 움직임 추정 장치 및 그 추정 방법
JPH08205176A (ja) 映像信号符号化装置及び映像信号符号化方法
EP0720381A1 (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
KR0174462B1 (ko) 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20041102

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20041108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051111

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051226

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080828

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130905

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term