JPH10240951A - 適応的輪郭線符号化方法及びその装置 - Google Patents

適応的輪郭線符号化方法及びその装置

Info

Publication number
JPH10240951A
JPH10240951A JP11200597A JP11200597A JPH10240951A JP H10240951 A JPH10240951 A JP H10240951A JP 11200597 A JP11200597 A JP 11200597A JP 11200597 A JP11200597 A JP 11200597A JP H10240951 A JPH10240951 A JP H10240951A
Authority
JP
Japan
Prior art keywords
contour
information
current
line
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11200597A
Other languages
English (en)
Other versions
JP3977893B2 (ja
Inventor
Jin-Hun Kim
鎮憲 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WiniaDaewoo Co Ltd
Original Assignee
Daewoo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daewoo Electronics Co Ltd filed Critical Daewoo Electronics Co Ltd
Publication of JPH10240951A publication Critical patent/JPH10240951A/ja
Application granted granted Critical
Publication of JP3977893B2 publication Critical patent/JP3977893B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

(57)【要約】 【課題】 輪郭線動き推定技法を用い、物体の輪郭線
を適応的に符号化する適応的輪郭線符号化方法及びその
装置を提供する。 【解決手段】 複数の輪郭線を有する映像フレーム信
号を、輪郭線単位で適応的に符号化する本発明の適応的
輪郭線符号化方法では、各輪郭線に対してその処理順に
インデックスデータを割り当て、現輪郭線及び全ての前
輪郭線の輪郭線映像データ及びインデックスデータを表
す現輪郭線情報及び前輪郭線情報を発生し、これに基づ
いて選択情報及び第1または第2モード選択信号を発生
し、モード選択信号に応じて現輪郭線情報をインタ符号
化またはイントラ符号化し、インタ符号化済みの輪郭線
情報またはイントラ符号化済みの輪郭線情報を、符号化
された輪郭線情報として発生する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像信号で表現さ
れた物体の輪郭線を符号化する方法及びその装置に関
し、特に、輪郭線動き推定技法を用いて輪郭線を適応的
に符号化することによって、伝送すべきデータの量を減
らし得る適応的輪郭線符号化方法及びその装置に関す
る。
【0002】
【従来の技術】テレビ電話、電子会議及び高精細度テレ
ビシステムのようなディジタルテレビシステムにおい
て、映像フレーム信号のビデオライン信号は「画素」と
呼ばれる一連のディジタルデータからなっており、各映
像フレーム信号を表現するのには大量のデジタルデータ
を要する。しかしながら、通常の伝送チャネル上の利用
可能な周波数帯域幅は制限されているので、そのチャネ
ルを通じて大量のデジタルデータを伝送するためには、
特に、テレビ電話及び電子会議のような低ビットレート
の映像信号符号化システムの場合、様々なデータ圧縮技
法を用いて伝送すべきデータの量を圧縮するか減らさな
ければならない。
【0003】低ビットレートの映像信号符号化システム
において、映像信号を符号化する方法の1つに、いわゆ
る物体指向分析/合成符号化方法(Object-Oriented An
alysis-Synthesis coding technique)がある(Michael
Hotterの論文、「Object-Oriented Analysis-Synthesi
s Coding Based on Moving Two-Dimensional Object
s」, Signal Processing:Image Communication 2, 409
-428頁,1990年10月 参照)。
【0004】この物体指向分析/合成符号化技法によれ
ば、入力映像信号は複数の物体(オブジェクト)に分け
られ、各物体の動き、輪郭線及び画素データを規定する
3つのセットよりなるパラメータが、異なる符号化チャ
ネルを通じて処理される。
【0005】物体の輪郭線を処理する際、輪郭線情報は
物体形状の分析及び合成に重要である。輪郭線情報を表
すための通常の符号化方法に、チェーン符号化法があ
る。このチェーン符号化法は輪郭線情報の損失はない
が、その情報を表すのに多量のビットが必要であるとい
う不都合がある。
【0006】これに関連して、多角近似化及びB−スプ
ライン近似のような輪郭線情報符号化法が幾つか提案さ
れてきた。その中、多角近似化法は輪郭線が粗く表現さ
れるという短所があり、B−スプライン近似化法は輪郭
線をより正確に表現し得るが、近似化エラーを減らすの
に高次多項式を必要とし、映像信号符号化器の全体的な
計算量を増大させるという欠点がある。
【0007】上記近似化過程の際に生じる粗い輪郭線表
現及び計算量の増加の問題を回避するための方法の1つ
が、離散的サイン変換(DST)を用いる輪郭線近似法
である。
【0008】このような技術によって、輪郭線表現の粗
さ及び計算の複雑さを緩和し、伝送すべきデータの量を
減少することはある程度可能であるが、例えば、64k
b/sの伝送チャネル幅を有する低ビットレートのコー
デックシステムを十分機能するように実現するために
は、伝送すべきデータの量をより一層減らす必要があ
る。
【0009】
【発明が解決しようとする課題】従って、本発明の主な
目的は、前輪郭線と現輪郭線との間の差分に基づく輪郭
線動き推定技法を用いて、映像信号で表現された物体の
輪郭線を適応的に符号化し、伝送すべきデータの量をよ
り一層減らし得る適応的輪郭線符号化方法及びその装置
を提供することにある。
【0010】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明の一実施例によれば、輪郭線画素の位置を
表す輪郭線映像データによって表現される複数の輪郭線
を有する映像フレーム信号を、輪郭線単位で適応的に符
号化する適応的輪郭線符号化方法であって、前記輪郭線
の各々に対して、その処理順にインデックスデータを割
り当てる第1過程と、現輪郭線の輪郭線映像データ及び
インデックスデータを表す現輪郭線情報を発生する第2
過程と、前記現輪郭線の処理以前に処理された、各前輪
郭線の輪郭線映像データ及びインデックスデータを表す
前輪郭線情報を発生する第3過程と、前記現輪郭線情報
及び全ての前記前輪郭線に対する前記前輪郭線情報に基
づいて、選択情報及び第1または第2モード選択信号を
発生する第4過程と、前記第1モード選択信号に応じ
て、前記選択情報に基づく前記現輪郭線情報をインタ符
号化する第5過程と、前記第2モード選択信号に応じ
て、前記現輪郭線情報をイントラ符号化する第6過程
と、前記インタ符号化済みの輪郭線情報または前記イン
トラ符号化済みの輪郭線情報を、符号化された輪郭線情
報として発生する第7過程とを含むことを特徴とする適
応的輪郭線符号化方法が提供される。
【0011】また、本発明の他の実施例によれば、輪郭
線の位置を表す輪郭線映像データによって表現される複
数の輪郭線を有する映像フレーム信号を、輪郭線単位で
適応的に符号化する適応的輪郭線符号化装置であって、
前記輪郭線の各々をその処理順にインデクシングして、
該輪郭線に対してインデックスデータを付与するインデ
ックス割当手段と、現輪郭線の輪郭線映像データ及びイ
ンデックスデータを表す現輪郭線情報を発生する第1輪
郭線情報発生手段と、前記現輪郭線の処理以前に処理さ
れた、各前輪郭線の輪郭線映像データ及びインデックス
データを表す前輪郭線情報を順に格納し発生する第2輪
郭線情報発生手段と、前記現輪郭線情報及び全ての前記
前輪郭線に対する前記前輪郭線情報に基づいて、選択情
報及びモード選択信号を発生するモード選択手段と、前
記選択情報に応じて、前記現輪郭線情報をインタ符号化
して、インタ符号化済みの輪郭線情報を発生するインタ
符号化手段と、前記現輪郭線情報をイントラ符号化し
て、イントラ符号化済みの輪郭線情報を発生するイント
ラ符号化手段と、前記モード選択信号に応じて、前記イ
ンタ符号化済みの輪郭線情報または前記イントラ符号化
済みの輪郭線情報を、伝送すべき符号化済みの輪郭線情
報として選択する選択手段とを含むことを特徴とする適
応的輪郭線符号化装置が提供される。
【0012】
【発明の実施の形態】以下、本発明の好適な実施例につ
いて、図面を参照しながら詳細に説明する。
【0013】図1を参照すると、本発明に基づいて、輪
郭線単位で複数の輪郭線からなる映像フレーム信号を符
号化する適応的輪郭線符号化装置の概略的なブロック図
が示されている。各輪郭線は、該輪郭線をなす輪郭線画
素の位置を表す輪郭線映像データによって表現される。
図示したように、映像フレーム信号は輪郭線検出部16
0に入力される。
【0014】この輪郭線検出部160は、映像フレーム
信号に含まれた各輪郭線に対してインデックスデータを
その処理順に割当て、各輪郭線に対する輪郭線映像デー
タ及びインデックスデータを有する輪郭線情報を出力す
る。即ち、輪郭線検出部160は第1制御信号S1に応
じて、各輪郭線を規定する輪郭線情報を現輪郭線情報と
して、ラインL10を介してイントラ符号化部130、
モード選択部100及びインタ符号化部140に送り出
す。
【0015】最初、イントラ符号化部130は、チェー
ン符号化法、多角形近似化及び離散的サイン変換(DS
T)を採用する輪郭線符号化方法のような公知の輪郭線
符号化方法の1つを用いて、現輪郭線をイントラ符号化
してイントラ符号化された輪郭線情報をラインL50上
に出力する。
【0016】一方、モード選択部100は、第1及び第
2制御信号S1及びS2の他、第1または第2モード選
択信号MS1またはMS2をラインL20上に、現輪郭
線情報及び全ての前輪郭線に対する前輪郭線情報に基づ
く選択情報をラインL30上に各々出力する。ここで、
前輪郭線は、現輪郭線の処理以前に処理され、輪郭線格
納部120に格納されている。この輪郭線格納部120
は第2制御信号S2に応じて、格納された各前輪郭線に
対する前輪郭線情報をラインL70上に順に出力する。
【0017】図2には、モード選択部100の詳細なブ
ロック図が示されている。このモード選択部100にそ
れぞれラインL10及びラインL70を介して入力され
た現輪郭線情報及び前輪郭線情報は、輪郭線長さ比較部
101、及び図心整合部102に各々供給される。
【0018】輪郭線長さ比較部101は現輪郭線の長さ
と前輪郭線の長さとを比較して、該当比較信号を図心整
合部102に供給する。ここで、輪郭線の長さは例え
ば、該輪郭線を構成する輪郭線画素の数によって決ま
る。詳述すると、現輪郭線の長さと前輪郭線の長さとの
間の差分が現輪郭線の長さの±10%範囲内にある場合
に、比較信号が供給され、そうでない場合には、比較信
号は供給されない。
【0019】図心整合部102は、輪郭線長さ比較部1
01からの比較信号、前輪郭線情報及び現輪郭線情報に
基づいて動作する。比較信号が入力されると、図心整合
部102は前輪郭線及び現輪郭線に対して各々の図心
を、例えば、前輪郭線情報及び現輪郭線情報に基づいて
各輪郭線上の全ての輪郭線画素の位置座標を平均して求
めた後、現輪郭線の図心と前輪郭線の図心との間の空間
的変位を表す候補変位を計算し、前輪郭線上の全ての輪
郭線画素を該候補変位分だけシフトして予測輪郭線を求
め、そして、候補変位、予測輪郭線情報及び現輪郭線情
報を摂動チェック部103に供給する。
【0020】摂動チェック部103は、図心整合部10
2からの候補変位、予測輪郭線情報及び現輪郭線情報に
基づいて、予測輪郭線を現輪郭線に沿って画素1つ以上
だけ水平方向及び垂直方向にシフトさせて、予測輪郭線
に対する最適輪郭線、即ちそれと現輪郭線との間の差を
表すエラー値が最小となる輪郭線を検出することによっ
て最適輪郭線と現輪郭線との間の空間的変位に候補変位
を加算して求められる最適変位と、最適輪郭線に対する
エラー値とを発生する。
【0021】図4のA、Bを参照すると、本発明の好適
実施例による最適輪郭線に対するエラー値を検出する過
程を説明するための模式図が示されている。
【0022】図4Aに示したように、最適輪郭線のエラ
ー値は非重複部分の領域(即ち、現輪郭線10及び最適
輪郭線30によって取り囲まれた斜線領域)として定義
される。本発明の好ましい実施例によると、そのエラー
値は非重複領域の代わりに該領域に存在する画素の個数
として定義される。
【0023】一方、図4Bを参照すると、最適輪郭線の
エラー値は現輪郭線10の図心によって求められる。初
めに、摂動チェック部103は、現輪郭線10の図心か
ら、予め決められた基準線から始めて互いに等角をなす
複数(例えば、12個)の径方向に延びる線分を引き、
K本の、隣接する2本が互いに2π/Kなる角度をなす
放射状の線分と現輪郭線10及び最適輪郭線30とが交
わる交点(例えば、現輪郭線10上の交点C1〜C1
2、最適輪郭線30上の交点P1〜P12)を検出し、
各放射状の線分上の交点間の変位の絶対値の和をエラー
値として計算する。
【0024】図2を再度参照すると、最適輪郭線のエラ
ー値は第1比較部104に現エラー値として供給され、
最適輪郭線のインデックスデータ及び最適変位は現整合
情報としてセレクター106に供給される。
【0025】第1比較部104は、摂動チェック部10
3から入力された最適輪郭線のエラー値、即ち現エラー
値と、ラインL101を介して入力された前エラー値と
を比較して最小値を求め、この最小値を選択されたエラ
ー値として第1メモリ部105に供給し、上記比較過程
の結果に基づいて、第1または第2のセレクター制御信
号をセレクター106に供給する。例えば、現エラー値
が前エラー値より小さい場合は第1のセレクター制御信
号を発生し、そうでない場合には、第2のセレクター制
御信号を発生する。
【0026】セレクター106は、第1のセレクター制
御信号に応じて、摂動チェック部103からの現整合情
報を第2メモリ部107に供給し、また第2のセレクタ
ー制御信号に応じて、ラインL102を介して入力され
た前整合情報を第2メモリ部107に供給する。
【0027】第1比較部104からの選択されたエラー
値は、第1メモリ部105に格納されると共に、ライン
L101上に前エラー値として出力される。また、その
選択されたエラー値はコントローラ109からの第3制
御信号S3に応じて、第2比較部108に転送される。
【0028】第2比較部108は第1メモリ部105か
らの選択されたエラー値と予め決められた閾値TH1と
を比較して、選択されたエラー値が閾値TH1以下であ
る場合のみ、エラー比較信号を第2メモリ部107及び
コントローラ109に供給する。
【0029】第2メモリ部107は、セレクター106
からの選択された整合情報を格納すると共に、それを前
整合情報としてセレクター106にラインL102を介
して供給する。また、第2比較部108からのエラー比
較信号が第2メモリ部107に入力された場合、第2メ
モリ部107に格納されている整合情報は選択情報とし
て選択される。
【0030】かくして、前述したように、摂動チェック
部103の出力は第1メモリ部105及び第2メモリ部
107に格納されるか、または第1比較部104の比較
結果によって無効化される。詳述すると、摂動チェック
部103からのエラー値がラインL101上の前エラー
値より小さい場合は、摂動チェック部103の出力は第
1メモリ部105及び第2メモリ部107に格納され、
そうでない場合には、ラインL101、L102上の前
データは各々第1メモリ部105、第2メモリ部107
に再度格納される。
【0031】コントローラ109は、ラインL10、L
70を介して入力された現輪郭線情報及び前輪郭線情報
に基づいて複数の制御信号を発生する。即ち、輪郭線格
納部120に格納されラインL70を介して順に出力さ
れる前輪郭線のすべてが処理されたことが、モード選択
部100にて、ラインL70を介して送られる前輪郭線
の数をカウントすることで検出された場合、第1制御信
号S1及び第3制御信号を発生する。この第1制御信号
S1に応じて輪郭線検出部160が、ラインL10に新
たな現輪郭線情報を発生することになる。そして、第3
制御信号S3は第1メモリ部105に格納されたエラー
値を第2メモリ部108に供給するようにする信号であ
る。また、第2制御信号S2は、ラインL70を介して
入力された前輪郭線情報が、輪郭線長さ比較部101及
び図心整合部102にて処理された後に生成されるこの
第2制御信号に応じて、輪郭線格納部120が次の前輪
郭線情報をラインL70上に発生するようにする信号で
ある。第2メモリ部108からエラー比較信号が入力さ
れた場合には、ラインL20上に第1モード選択信号M
S1が供給され、そうでない場合には、ラインL20上
に第2モード選択信号MS2が供給される。
【0032】前述したように、図2の実例によれば、モ
ード選択部100において、コントローラ109から発
生された第2制御信号S2に応じて、ラインL70を介
して輪郭線格納部120から順に伝送された前輪郭線の
全てに対して選択処理が行われたとき、該選択情報に対
応する輪郭線格納部120内に格納された前輪郭線の何
れか1つが現輪郭線に対する最適前輪郭線として選択さ
れる。そして、この最適前輪郭線の選択情報はラインL
30を介して動き補償部110に入力される。
【0033】図1を再び参照すると、動き補償部110
はラインL30上から入力された選択情報に基づいて、
予測現輪郭線を発生する。詳述すると、この予測現輪郭
線は、輪郭線格納部120に格納された前輪郭線から選
択された最適前輪郭線を、その最適変位だけシフトさせ
ることによって生成され、ラインL40を介してインタ
符号化部140及びインタ再構成部190Aに各々供給
される。
【0034】インタ符号化部140はラインL30上の
選択情報とラインL40上の予測現輪郭線とに基づい
て、ラインL10を介して入力された現輪郭線をインタ
符号化する。図3には、本発明の好ましい実施例による
インタ符号化部140の詳細なブロック図が示されてい
る。
【0035】以下、インタ符号化部140の動作につい
て、図3を参照して述べる。このインタ符号化部140
は整合部141、偏差検出部142、映像信号符号化部
143及びマルチプレクサ(MUX)144から構成さ
れている。
【0036】整合部141は、図5に示したように、現
輪郭線と予測現輪郭線とを重ね合わせて、重複輪郭線を
偏差検出部142に供給する。
【0037】本発明の好ましい実施例によると、偏差検
出部142は、重複輪郭線に基づいて現輪郭線と予測現
輪郭線との間の差分を計算する。
【0038】図5には、現輪郭線と予測現輪郭線との間
の偏差(即ち、単一の閉ループ、例えば凸部)を検出す
る過程を説明するための模式図が示されている。偏差検
出部142は初めに、共通図心Tから予め決められた基
準線から始めて等角をなすM本の放射状に延びる第1線
分の組を引き、2つの隣接した第1線分間の角度を、互
いに等角をなす(P−1)個の第2線分(例えば、k1
〜k15)で区切って細分化する。ここで、2つの隣接
した第1線分間の角大きさは2π/Mであり、Mは1よ
り大きい正の整数である。その後、偏差検出部142は
M×P個の全線分と重複輪郭線とが交わる交点(例え
ば、図5に示したように、現輪郭線10上のA〜P、予
測現輪郭線20上のA´〜P´)を検出する。M×P個
の線分の全ての交点がひとたび検出されると、偏差検出
部142は例えば、基準線から始めて時計方向に、全て
の線分と現輪郭線(例えば、A、B、C、・・・P)と
の各交点におけるエラーを求める。このエラーは、図心
Tと、各線分と予測現輪郭線との交点との間の距離か
ら、図心Tと、各線分と現輪郭線(例えば、TA)との
交点との間の距離を減算することによって求められる。
上記の偏差検出過程を用いて、現輪郭線10上の全ての
交点におけるエラー値を求めた後、そのエラー値は各々
がP個のエラー値からなる組にグループ付けされる。各
エラー値の組は次の通りである。
【0039】
【数1】 D1=[d1 1、d1 2、…、d1 j、…、d1 p] D2=[d2 1、d2 2、…、d2 j、…、d2 p] :DI=[dI 1、dI 2、…、dI j、…、dI p] :DM=[dM 1、dM 2、…、dM j、…、dM p
【0040】ここで、 DI:I番目の配列 dI 1:I番目の第1線分に対するエラー値 dI j:I番目の第1線分と(I+1)番目の第1線分と
の間のj番目の第2線分に対するエラー値 dM j:M番目の第1線分と第1番目の第1線分(基準線
分)との間のj番目の第2線分に対するエラー値 I:1からMの整数 j:2からPの整数 である。
【0041】本発明の他の好適実施例によれば、M個の
第1線分は重複輪郭線の大きさに適応的に調節される。
即ち、図心Tと予測現輪郭線20上の交点との間の距離
に基づいて、予め決められたMに対して平均値が計算さ
れた後、平均値が適切な閾値に対して増加するにつれて
Mが増加するように調整される。
【0042】その後、偏差検出部142は上記過程から
求められた配列の組を表す偏差情報を映像信号符号化部
143に供給する。
【0043】この映像信号符号化部143は例えば、1
次元のDCT(離散的コサイン変換)及び公知の量子化
法の1つを用いて、偏差検出部142からの偏差情報に
含まれた各配列を量子化変換係数の組に変換して、それ
をMUX144に供給する。
【0044】MUX144では、量子化変換係数の組、
ラインL30を介してモード選択部100から入力され
た選択情報及びその格納データがインタ符号化された輪
郭線情報としてラインL60上に出力される。
【0045】前述したように、インタ符号化部140の
動作はラインL30、L40を介して受けとったデータ
によって左右される。従って、ラインL30を介してモ
ード選択部100からの選択情報、またはラインL40
を介して動き補償部110からの予測現輪郭線がインタ
符号化部140に入力されないと、インタ符号化部14
0からの出力はなくなることになる。
【0046】図1を再度参照すると、選択部150及び
スイッチ170はラインL20を介して入力されたモー
ド選択信号に応じて、イントラ符号化済みの輪郭線情報
またはインタ符号化済みの輪郭線情報を伝送する機能を
果たす。第1モード選択信号MS1が入力された場合、
インタ符号化済みの輪郭線情報が選択され、その伝送の
ために伝送器(図示せず)へ送られ、またスイッチ17
0を介してインタ復号化部180Aにも供給される。一
方、第2モード選択信号MS2が入力された場合、イン
トラ符号化済みの輪郭線情報が選択され、その伝送のた
めに伝送器へ送られると共に、スイッチ170を介して
イントラ復号化部180Bにも供給される。
【0047】インタ復号化部180Aは例えば、逆量子
化及び逆離散的コサイン変換を用いて、入力されたイン
タ符号化済みの輪郭線情報を復号化して、それを復号化
済みのインタ符号化輪郭線情報としてインタ再構成部1
90Aに供給する。
【0048】同様に、イントラ復号化部180Bは入力
されたイントラ符号化済みの輪郭線情報を復号化して、
それを復号化済みのイントラ符号化輪郭線情報としてイ
ントラ再構成部190Bに供給する。
【0049】インタ再構成部190AはラインL40を
介して入力された予測現輪郭線情報及びインタ復号化部
180Aからの復号化済みのインタ符号化輪郭線情報に
基づいて、再構成された輪郭線情報を発生する。この再
構成された輪郭線情報は、再構成済みの輪郭線映像デー
タ及びそのインデックスデータを備え、輪郭線格納部1
20に新たな前輪郭線情報として格納されることにな
る。また、この新たな前輪郭線情報が輪郭線格納部12
0に格納される前に、既に他の前輪郭線情報が格納され
ている場合は、それと共に格納される。
【0050】イントラ再構成部190Bはイントラ復号
化部180Bからの復号化済みのイントラ符号化輪郭線
情報に基づいて、再構成された輪郭線情報を発生して、
前述したように、輪郭線格納部120に新たな前輪郭線
情報として格納することになる。
【0051】かくして、インタ再構成部190A及びイ
ントラ再構成部190Bがその入力信号によって選択的
にイネーブル状態にされるので、輪郭線格納部120は
インタ再構成部190Aまたはイントラ再構成部190
Bからの出力を選択的に格納することになる。
【0052】映像フレーム信号に含まれた全ての輪郭線
映像データが一旦上記輪郭線符号化プロセスによって符
号化される場合、新たな映像フレーム信号が輪郭線検出
部160に入力されて、前述したように、符号化過程が
続行される。
【0053】また、上記の輪郭線符号化方法は、2つの
映像フレーム信号、即ち、現フレーム信号とその前フレ
ーム信号との間の輪郭線符号化プロセスにも利用するこ
とができる。
【0054】上記において、本発明の好適な実施例につ
いて説明したが、本発明の特許請求の範囲を逸脱するこ
となく、種々の変更を加え得ることは勿論である。
【0055】
【発明の効果】従って、本発明によれば、前輪郭線と現
輪郭線との間の差分に基づく輪郭線動き推定技法を用い
て、映像信号で表現された物体の輪郭線を適応的に符号
化し、伝送すべきデータの量をより一層減らすことがで
きる。
【図面の簡単な説明】
【図1】本発明による輪郭線符号化装置の概略的なブロ
ック図である。
【図2】図1に示したモード選択部の詳細なブロック図
である。
【図3】図1に示したインタ符号化部の詳細なブロック
図である。
【図4】A及びBよりなり、各々本発明による最適輪郭
線のエラー値を検出する過程を説明するための模式図で
ある。
【図5】インタ符号化部で処理されたインタ符号化処理
を説明するための模式図である。
【符号の説明】
10 現輪郭線 20 予測現輪郭線 30 最適現輪郭線 100 モード選択部 101 輪郭線長さ比較部 102 図心整合部 103 摂動チェック部 104 第1比較部 105 第1メモリ部 106 セレクター 107 第2メモリ部 108 第2比較部 109 コントローラ 110 動き補償部 120 輪郭線格納部 130 イントラ符号化部 140 インタ符号化部 141 整合部 142 偏差検出部 143 映像信号符号化部 144 MUX 150 選択部 160 輪郭線検出部 170 スイッチ 180A インタ復号化部 180B イントラ復号化部 190A インタ再構成部 190B イントラ再構成部 A〜P、C1〜C12、P1〜P12 交点 T 図心

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 輪郭線画素の位置を表す輪郭線映像デ
    ータによって表現される複数の輪郭線を有する映像フレ
    ーム信号を、輪郭線単位で適応的に符号化する適応的輪
    郭線符号化方法であって、 前記輪郭線の各々に対して、その処理順にインデックス
    データを割り当てる第1過程と、 現輪郭線の輪郭線映像データ及びインデックスデータを
    表す現輪郭線情報を発生する第2過程と、 前記現輪郭線の処理以前に処理された、各前輪郭線の輪
    郭線映像データ及びインデックスデータを表す前輪郭線
    情報を発生する第3過程と、 前記現輪郭線情報及び全ての前記前輪郭線に対する前記
    前輪郭線情報に基づいて、選択情報及び第1または第2
    モード選択信号を発生する第4過程と、 前記第1モード選択信号に応じて、前記選択情報に基づ
    く前記現輪郭線情報をインタ符号化する第5過程と、 前記第2モード選択信号に応じて、前記現輪郭線情報を
    イントラ符号化する第6過程と、 前記インタ符号化済みの輪郭線情報または前記イントラ
    符号化済みの輪郭線情報を、符号化された輪郭線情報と
    して発生する第7過程とを含むことを特徴とする適応的
    輪郭線符号化方法。
  2. 【請求項2】 前記第4過程が、 前記前輪郭線の中の何れか1つを目標前輪郭線として割
    り当てる第4−1過程と、 前記現輪郭線の長さと前記目標前輪郭線の長さとを計算
    し、比較して、比較信号を発生する第4−2過程と、 前記比較信号に応じて、前記現輪郭線と前記目標前輪郭
    線との間の空間的変位を表す候補変位を計算する第4−
    3過程と、 前記目標前輪郭線上の前記輪郭線画素全体を前記候補変
    位分だけシフトさせて、前記目標前輪郭線に対する予測
    輪郭線を発生する第4−4過程と、 前記現輪郭線に沿って前記予測輪郭線を画素1つ分以上
    水平垂直方向にシフトさせて、前記予測輪郭線に対し
    て、前記現輪郭線との間の差分を最小とするエラー値を
    もたらす最適輪郭線を検出し、前記最適輪郭線に対する
    エラー値と、前記最適の輪郭線と前記現輪郭線との間の
    空間的変位に前記候補変位を加算して得られた最適変位
    とを発生する第4−5過程と、 残りの前輪郭線全てに対して、上記の過程を繰り返して
    行う第4−6過程と、 前記前輪郭線全体に対する前記最適輪郭線のエラー値を
    互いに比較して、前記最適輪郭線の中の何れか1つを、
    最小のエラー値をもたらす最適前輪郭線として発生する
    第4−7過程と、 前記最適前輪郭線に対する前記エラー値と予め決められ
    た閾値とを比較して、それに基づき前記第1または第2
    モード選択信号を発生する第4−8過程と、 前記第1モード選択信号に基づいて、前記最適の前輪郭
    線の前記最適変位及び前記インデックスデータを発生す
    る第4−9過程とを有することを特徴とする請求項1に
    記載の適応的輪郭線符号化方法。
  3. 【請求項3】 前記比較信号が、前記現輪郭線の長さ
    と前記前輪郭線の長さとの間の差が前記現輪郭線の長さ
    の予め決められた範囲内にある場合に発生されることを
    特徴とする請求項2に記載の適応的輪郭線符号化方法。
  4. 【請求項4】 前記最適の前輪郭線の前記エラー値が
    前記予め決められた閾値以下である場合には、前記第1
    モード選択信号が発生され、そうでない場合には、前記
    第2モード選択信号が発生されることを特徴とする請求
    項3に記載の適応的輪郭線符号化方法。
  5. 【請求項5】 前記最適輪郭線のエラー値が、前記現
    輪郭線と前記最適輪郭線との間の非重複部分の領域とし
    て定義されることを特徴とする請求項2に記載の適応的
    輪郭線符号化方法。
  6. 【請求項6】 前記最適輪郭線のエラー値が、前記現
    輪郭線と前記最適輪郭線との間の非重複領域に存在する
    画素の数として定義されることを特徴とする請求項2に
    記載の適応的輪郭線符号化方法。
  7. 【請求項7】 前記最適輪郭線の前記エラー値を求め
    るべく、前記第4−5過程が、 前記現輪郭線上の前記輪郭線画素全体の位置座標を平均
    して求められる図心から、予め決められた基準線から始
    めて等角をなすK個の放射状の線分の組(Kは正の整
    数)を引く第4−5−1過程と、 前記K個の放射状の線分と前記最適輪郭線及び前記現輪
    郭線とが交わる交点を検出する第4−5−2過程と、 各放射状の線分上の交点間の変位の絶対値の和を、前記
    エラー値として計算する第4−5−3過程とを有するこ
    とを特徴とする請求項2に記載の適応的輪郭線符号化方
    法。
  8. 【請求項8】 輪郭線の位置を表す輪郭線映像データ
    によって表現される複数の輪郭線を有する映像フレーム
    信号を、輪郭線単位で適応的に符号化する適応的輪郭線
    符号化装置であって、 前記輪郭線の各々をその処理順にインデクシングして、
    該輪郭線に対してインデックスデータを付与するインデ
    ックス割当手段と、 現輪郭線の輪郭線映像データ及びインデックスデータを
    表す現輪郭線情報を発生する第1輪郭線情報発生手段
    と、前記現輪郭線の処理以前に処理された、各前輪郭線
    の輪郭線映像データ及びインデックスデータを表す前輪
    郭線情報を順に格納し発生する第2輪郭線情報発生手段
    と、 前記現輪郭線情報及び全ての前記前輪郭線に対する前記
    前輪郭線情報に基づいて、選択情報及びモード選択信号
    を発生するモード選択手段と、 前記選択情報に応じて、前記現輪郭線情報をインタ符号
    化して、インタ符号化済みの輪郭線情報を発生するイン
    タ符号化手段と、 前記現輪郭線情報をイントラ符号化して、イントラ符号
    化済みの輪郭線情報を発生するイントラ符号化手段と、 前記モード選択信号に応じて、前記インタ符号化済みの
    輪郭線情報または前記イントラ符号化済みの輪郭線情報
    を、伝送すべき符号化済みの輪郭線情報として選択する
    選択手段とを含むことを特徴とする適応的輪郭線符号化
    装置。
  9. 【請求項9】 前記モード選択手段が、 前記現輪郭線の長さと前記前輪郭線の長さとを計算し、
    比較して、比較信号を発生する第1比較手段と、 前記比較信号に応じて、前記前輪郭線の各々に対して、
    前記現輪郭線と前記前輪郭線との間の空間的変位を表す
    候補変位を計算する候補変位計算手段と、 前記前輪郭線上の前記輪郭線画素全体を前記候補変位分
    だけシフトさせて、前記前輪郭線各々に対して、予測輪
    郭線を発生する予測輪郭線発生手段と、 前記現輪郭線に沿って前記予測輪郭線を画素1つ分以上
    だけ水平垂直方向にシフトさせて、前記前輪郭線各々に
    対応する前記予測輪郭線に対して、前記現輪郭線との間
    の差分を最小とするエラー値をもたらす最適の輪郭線を
    検出することによって、前記最適輪郭線に対するエラー
    値と、前記最適の輪郭線と前記現輪郭線との間の空間的
    変位に前記候補変位を加算して得られた最適変位とを発
    生する最適輪郭線検出手段と、 前記前輪郭線各々に対応する前記最適輪郭線のエラー値
    を互いに比較して、前記最適輪郭線の中の何れか1つ
    を、エラー値を最小とする最適前輪郭線として検出する
    最適前輪郭線検出手段と、 前記最適前輪郭線に対する前記エラー値と予め決められ
    た閾値とを比較して、それに基づき前記モード選択信号
    を発生する第2比較手段と、 前記モード選択信号に応じて、前記最適前輪郭線の前記
    最適変位及び前記インデックスデータを前記選択情報と
    して発生する選択情報発生手段とを有することを特徴と
    する請求項8に記載の適応的輪郭線符号化装置。
  10. 【請求項10】 前記比較信号が、前記現輪郭線の長
    さと前記前輪郭線の長さとの間の差が前記現輪郭線の長
    さの予め決められた範囲内にある場合に、発生されるこ
    とを特徴とする請求項9に記載の適応的輪郭線符号化装
    置。
  11. 【請求項11】 前記最適前輪郭線の前記エラー値が
    前記予め決められた閾値以下である場合に、前記モード
    選択信号が発生されることを特徴とする請求項9に記載
    の適応的輪郭線符号化装置。
  12. 【請求項12】 前記最適輪郭線の前記エラー値が、
    前記現輪郭線と前記最適輪郭線との間の非重複部分の領
    域として定義されることを特徴とする請求項9に記載の
    適応的輪郭線符号化装置。
  13. 【請求項13】 前記最適輪郭線の前記エラー値が、
    前記現輪郭線と前記最適輪郭線との間の非重複部分の領
    域に存在する画素の数として定義されることを特徴とす
    る請求項9に記載の適応的輪郭線符号化装置。
  14. 【請求項14】 前記最適輪郭線の前記エラー値を求
    めるべく、前記最適輪郭線検出手段が、 前記現輪郭線上の前記輪郭線画素全体の位置座標を平均
    して求められる図心から、予め決められた基準線から始
    めて等角をなすK個の放射状の線分の組(Kは正の整
    数)を予め決められた基準線から初めて引く線引き手段
    と、 前記K個の放射状の線分と前記最適輪郭線及び前記現輪
    郭線とが交わる交点を検出する交点検出手段と、 前記放射状の線分上の交点間の変位の絶対値の和を、前
    記エラー値として計算するエラー値計算手段とを有する
    ことを特徴とする請求項9に記載の適応的輪郭線符号化
    装置。
  15. 【請求項15】 前記インタ符号化手段が、 前記前輪郭線全体に対する前記前輪郭線情報及び前記選
    択情報に基づいて、前記選択情報の前記インデックスデ
    ータと同一のデータを有する前輪郭線を、予測現輪郭線
    として選択し発生する予測現輪郭線発生手段と、 前記予測現輪郭線と前記現輪郭線とを重ね合わせて、重
    複輪郭線を発生する重ね合わせ手段と、 前記重複輪郭線に基づいて、前記予測現輪郭線と前記現
    輪郭線との間の形状差を表す偏差情報を検出する偏差情
    報検出手段と、 前記偏差情報を変換する変換手段と、 前記変換済みの偏差情報及び前記選択情報を前記インタ
    符号化済みの輪郭線情報として発生する輪郭線情報発生
    手段とを有することを特徴とする請求項8に記載の適応
    的輪郭線符号化装置。
  16. 【請求項16】 前記偏差情報検出手段が、 前記現輪郭線の図心から複数の放射状の線分を引く線引
    き手段と、 前記現輪郭線及び前記予測現輪郭線の各々に対して、前
    記放射状の線分各々と前記両輪郭線との交点を検出する
    交点検出手段と、 前記各線分上の前記両交点間の差分に基づいて、前記現
    輪郭線の交点でのエラーを計算して前記偏差情報を発生
    するエラー計算手段とを有することを特徴とする請求項
    15に記載の適応的輪郭線符号化装置。
  17. 【請求項17】 前記エラーが、前記現輪郭線の図心
    と前記予測現輪郭線の交点との間の距離から、前記現輪
    郭線の図心と前記現輪郭線の交点との間の距離を減算す
    ることによって求められることを特徴とする請求項16
    に記載の適応的輪郭線符号化装置。
JP11200597A 1997-02-18 1997-04-30 適応的輪郭線符号化方法及びその装置 Expired - Fee Related JP3977893B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019970004873A KR100239308B1 (ko) 1997-02-18 1997-02-18 적응적 윤곽선 부호화 방법 및 그 장치
KR1997-4873 1997-02-18

Publications (2)

Publication Number Publication Date
JPH10240951A true JPH10240951A (ja) 1998-09-11
JP3977893B2 JP3977893B2 (ja) 2007-09-19

Family

ID=19497338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11200597A Expired - Fee Related JP3977893B2 (ja) 1997-02-18 1997-04-30 適応的輪郭線符号化方法及びその装置

Country Status (4)

Country Link
US (1) US5881174A (ja)
JP (1) JP3977893B2 (ja)
KR (1) KR100239308B1 (ja)
GB (1) GB2322250B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100463003B1 (ko) * 1997-03-20 2005-06-01 주식회사 팬택앤큐리텔 Mpeg-4vop의윤곽선부호화방법
KR100229546B1 (ko) * 1997-04-11 1999-11-15 전주범 윤곽선 비디오 신호 부호화 방법 및 그 장치
JPH11187408A (ja) * 1997-12-24 1999-07-09 Oki Electric Ind Co Ltd 動画像符号化装置およびその符号化処理方法
ES2273702T3 (es) * 1999-06-11 2007-05-16 Cytyc Corporation Composicion liquido en gel para cartografiar un conducto galactoforo mamario antes de la escxision quirurgica del conducto o de otro tejido mamario.
JP4224748B2 (ja) * 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
IL134182A (en) 2000-01-23 2006-08-01 Vls Com Ltd Method and apparatus for visual lossless pre-processing
US6753929B1 (en) 2000-06-28 2004-06-22 Vls Com Ltd. Method and system for real time motion picture segmentation and superposition
US20040131117A1 (en) * 2003-01-07 2004-07-08 Sheraizin Vitaly S. Method and apparatus for improving MPEG picture compression
US20050201470A1 (en) * 2004-03-12 2005-09-15 John Sievers Intra block walk around refresh for H.264
US7639892B2 (en) * 2004-07-26 2009-12-29 Sheraizin Semion M Adaptive image improvement
US7903902B2 (en) 2004-07-26 2011-03-08 Sheraizin Semion M Adaptive image improvement
US7526142B2 (en) * 2005-02-22 2009-04-28 Sheraizin Vitaly S Enhancement of decompressed video

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683952A (ja) * 1992-09-01 1994-03-25 Kazuo Toraichi 文字デ−タ入力出力装置と入力出力方法
JPH0746595A (ja) * 1993-05-21 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化器および復号化器
JPH08242453A (ja) * 1994-12-29 1996-09-17 Daewoo Electron Co Ltd 動きベクトル推定装置
JPH08272958A (ja) * 1995-03-20 1996-10-18 Daewoo Electron Co Ltd 輪郭近似方法
JPH08275180A (ja) * 1994-12-29 1996-10-18 Daewoo Electron Co Ltd 輪郭符号化装置
JPH08280030A (ja) * 1994-12-29 1996-10-22 Hyundai Electron Ind Co Ltd 映像機器の物体別形状情報の減縮装置及びその減縮方法並びに多角近似化方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0372779A (ja) * 1989-08-11 1991-03-27 Fuji Photo Film Co Ltd 画像データの圧縮伸長方法
JPH04207788A (ja) * 1990-11-30 1992-07-29 Sony Corp 画像信号符号化装置及び方法
JPH0595540A (ja) * 1991-09-30 1993-04-16 Sony Corp 動画像符号化装置
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
JP3612360B2 (ja) * 1995-04-10 2005-01-19 株式会社大宇エレクトロニクス 移動物体分割法を用いた動画像の動き推定方法
US5706054A (en) * 1995-12-01 1998-01-06 Intel Corporation Method and apparatus for adjusting video data to limit the effects of automatic focusing control on motion estimation video coders

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683952A (ja) * 1992-09-01 1994-03-25 Kazuo Toraichi 文字デ−タ入力出力装置と入力出力方法
JPH0746595A (ja) * 1993-05-21 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化器および復号化器
JPH08242453A (ja) * 1994-12-29 1996-09-17 Daewoo Electron Co Ltd 動きベクトル推定装置
JPH08275180A (ja) * 1994-12-29 1996-10-18 Daewoo Electron Co Ltd 輪郭符号化装置
JPH08280030A (ja) * 1994-12-29 1996-10-22 Hyundai Electron Ind Co Ltd 映像機器の物体別形状情報の減縮装置及びその減縮方法並びに多角近似化方法
JPH08272958A (ja) * 1995-03-20 1996-10-18 Daewoo Electron Co Ltd 輪郭近似方法

Also Published As

Publication number Publication date
GB2322250A (en) 1998-08-19
US5881174A (en) 1999-03-09
KR19980068346A (ko) 1998-10-15
GB9708212D0 (en) 1997-06-11
GB2322250B (en) 2001-07-18
JP3977893B2 (ja) 2007-09-19
KR100239308B1 (ko) 2000-01-15

Similar Documents

Publication Publication Date Title
JP3725250B2 (ja) 輪郭符号化方法
US5151784A (en) Multiple frame motion estimation
US6026182A (en) Feature segmentation
US5686973A (en) Method for detecting motion vectors for use in a segmentation-based coding system
JP3977494B2 (ja) 輪郭線符号化装置
JPS58197984A (ja) テレビジヨン信号の適応予測符号化装置
JP3977893B2 (ja) 適応的輪郭線符号化方法及びその装置
KR19990074806A (ko) 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법
JPH1169359A (ja) 輪郭線動き推定方法及び装置
KR100281464B1 (ko) 물체 기반 부호화 시스템의 보조 정보 부호화 장치
US5929917A (en) Method and apparatus for adaptively coding a contour of an object
US5774596A (en) Adaptive contour coding method for encoding a contour image in a video signal
US6058213A (en) Method and apparatus for encoding a binary shape signal
US6011588A (en) Method and apparatus for coding a contour of an object employing temporal correlation thereof
JPH01179584A (ja) 動き補償動ベクトル探索方法
US5896467A (en) Method and apparatus for encoding a contour image of an object in a video signal
Francois et al. Coding algorithm with region-based motion compensation
JPH09261660A (ja) 輪郭線符号化方法及び輪郭線符号化装置
JP3766686B2 (ja) テレビ画像サブバンド両立式符号化用のコーダ
KR100490730B1 (ko) 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법
JP3969790B2 (ja) 輪郭線符号化装置
JP4043067B2 (ja) 輪郭線映像信号符号化装置
JP2006324888A (ja) 動画像符号化装置
JP2777171B2 (ja) 動画像の動き補償方式
JP2005124182A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees