JPH10240951A - Adaptive outline encoding method and device therefor - Google Patents

Adaptive outline encoding method and device therefor

Info

Publication number
JPH10240951A
JPH10240951A JP11200597A JP11200597A JPH10240951A JP H10240951 A JPH10240951 A JP H10240951A JP 11200597 A JP11200597 A JP 11200597A JP 11200597 A JP11200597 A JP 11200597A JP H10240951 A JPH10240951 A JP H10240951A
Authority
JP
Japan
Prior art keywords
contour
information
current
line
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11200597A
Other languages
Japanese (ja)
Other versions
JP3977893B2 (en
Inventor
Jin-Hun Kim
鎮憲 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WiniaDaewoo Co Ltd
Original Assignee
Daewoo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daewoo Electronics Co Ltd filed Critical Daewoo Electronics Co Ltd
Publication of JPH10240951A publication Critical patent/JPH10240951A/en
Application granted granted Critical
Publication of JP3977893B2 publication Critical patent/JP3977893B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Abstract

PROBLEM TO BE SOLVED: To reduce transmission data amounts by adaptively encoding the outline of an object expressed with a video signal by using an outline movement estimation technique based on a difference between a previous outline and a present outline. SOLUTION: A code selecting part 100 outputs first and second mode selection signals MS1 and MS2 to a line L20. A selecting part 150 and a switch 170 transmits intra-encoded outline information or inter-encoded outline information according to the mode selection signals inputted through the line L20. When the first mode selection signal MS1 is inputted, the inter-encoded outline information is selected, transmitted to a transmitter for being transmitted, and also supplied through the switch 170 to an inter-decoding part 180A. On the other hand, when the second mode selection signal MS2 is inputted, the intra-encoded outline information is selected, transmitted to the transmitter for being transmitted, and supplied through the switch 170 to an intra-decoding part 180B.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、映像信号で表現さ
れた物体の輪郭線を符号化する方法及びその装置に関
し、特に、輪郭線動き推定技法を用いて輪郭線を適応的
に符号化することによって、伝送すべきデータの量を減
らし得る適応的輪郭線符号化方法及びその装置に関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and an apparatus for encoding a contour of an object represented by a video signal, and more particularly, to adaptively encoding a contour using a contour motion estimation technique. The present invention relates to an adaptive contour coding method and apparatus capable of reducing the amount of data to be transmitted.

【0002】[0002]

【従来の技術】テレビ電話、電子会議及び高精細度テレ
ビシステムのようなディジタルテレビシステムにおい
て、映像フレーム信号のビデオライン信号は「画素」と
呼ばれる一連のディジタルデータからなっており、各映
像フレーム信号を表現するのには大量のデジタルデータ
を要する。しかしながら、通常の伝送チャネル上の利用
可能な周波数帯域幅は制限されているので、そのチャネ
ルを通じて大量のデジタルデータを伝送するためには、
特に、テレビ電話及び電子会議のような低ビットレート
の映像信号符号化システムの場合、様々なデータ圧縮技
法を用いて伝送すべきデータの量を圧縮するか減らさな
ければならない。
2. Description of the Related Art In a digital television system such as a videophone, an electronic conference, and a high-definition television system, a video line signal of a video frame signal is composed of a series of digital data called "pixels". It takes a lot of digital data to represent. However, due to the limited available frequency bandwidth on a normal transmission channel, to transmit large amounts of digital data over that channel,
In particular, for low bit rate video signal encoding systems such as video telephony and teleconferencing, various data compression techniques must be used to compress or reduce the amount of data to be transmitted.

【0003】低ビットレートの映像信号符号化システム
において、映像信号を符号化する方法の1つに、いわゆ
る物体指向分析/合成符号化方法(Object-Oriented An
alysis-Synthesis coding technique)がある(Michael
Hotterの論文、「Object-Oriented Analysis-Synthesi
s Coding Based on Moving Two-Dimensional Object
s」, Signal Processing:Image Communication 2, 409
-428頁,1990年10月 参照)。
In a low bit rate video signal coding system, one of the methods for coding a video signal is a so-called object-oriented analysis / synthesis coding method (Object-Oriented An).
analysis-Synthesis coding technique) (Michael
Hotter's paper, `` Object-Oriented Analysis-Synthesi
s Coding Based on Moving Two-Dimensional Object
s ", Signal Processing: Image Communication 2, 409
-428, October 1990).

【0004】この物体指向分析/合成符号化技法によれ
ば、入力映像信号は複数の物体(オブジェクト)に分け
られ、各物体の動き、輪郭線及び画素データを規定する
3つのセットよりなるパラメータが、異なる符号化チャ
ネルを通じて処理される。
According to this object-oriented analysis / synthesis coding technique, an input video signal is divided into a plurality of objects, and a parameter consisting of three sets defining the motion, the outline, and the pixel data of each object is obtained. , Through different coding channels.

【0005】物体の輪郭線を処理する際、輪郭線情報は
物体形状の分析及び合成に重要である。輪郭線情報を表
すための通常の符号化方法に、チェーン符号化法があ
る。このチェーン符号化法は輪郭線情報の損失はない
が、その情報を表すのに多量のビットが必要であるとい
う不都合がある。
When processing the contour of an object, the contour information is important for analyzing and synthesizing the shape of the object. A typical encoding method for representing contour information is a chain encoding method. Although this chain encoding method does not lose contour information, it has the disadvantage of requiring a large number of bits to represent that information.

【0006】これに関連して、多角近似化及びB−スプ
ライン近似のような輪郭線情報符号化法が幾つか提案さ
れてきた。その中、多角近似化法は輪郭線が粗く表現さ
れるという短所があり、B−スプライン近似化法は輪郭
線をより正確に表現し得るが、近似化エラーを減らすの
に高次多項式を必要とし、映像信号符号化器の全体的な
計算量を増大させるという欠点がある。
In this connection, several contour information coding methods such as polygon approximation and B-spline approximation have been proposed. Among them, the polygon approximation has the disadvantage that the outline is coarsely expressed, and the B-spline approximation can express the outline more accurately, but requires a higher-order polynomial to reduce the approximation error. However, there is a disadvantage in that the overall calculation amount of the video signal encoder is increased.

【0007】上記近似化過程の際に生じる粗い輪郭線表
現及び計算量の増加の問題を回避するための方法の1つ
が、離散的サイン変換(DST)を用いる輪郭線近似法
である。
[0007] One of the methods for avoiding the problem of coarse contour representation and an increase in the amount of calculation that occurs during the approximation process is a contour approximation method using discrete sine transform (DST).

【0008】このような技術によって、輪郭線表現の粗
さ及び計算の複雑さを緩和し、伝送すべきデータの量を
減少することはある程度可能であるが、例えば、64k
b/sの伝送チャネル幅を有する低ビットレートのコー
デックシステムを十分機能するように実現するために
は、伝送すべきデータの量をより一層減らす必要があ
る。
With such a technique, it is possible to alleviate the roughness of the outline representation and the complexity of calculation and to reduce the amount of data to be transmitted to some extent.
In order for a low bit rate codec system having a transmission channel width of b / s to function well, it is necessary to further reduce the amount of data to be transmitted.

【0009】[0009]

【発明が解決しようとする課題】従って、本発明の主な
目的は、前輪郭線と現輪郭線との間の差分に基づく輪郭
線動き推定技法を用いて、映像信号で表現された物体の
輪郭線を適応的に符号化し、伝送すべきデータの量をよ
り一層減らし得る適応的輪郭線符号化方法及びその装置
を提供することにある。
SUMMARY OF THE INVENTION Accordingly, it is a primary object of the present invention to provide a method for estimating an object represented by a video signal using a contour motion estimation technique based on a difference between a front contour and a current contour. An object of the present invention is to provide an adaptive contour encoding method and apparatus capable of adaptively encoding a contour and further reducing the amount of data to be transmitted.

【0010】[0010]

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の一実施例によれば、輪郭線画素の位置を
表す輪郭線映像データによって表現される複数の輪郭線
を有する映像フレーム信号を、輪郭線単位で適応的に符
号化する適応的輪郭線符号化方法であって、前記輪郭線
の各々に対して、その処理順にインデックスデータを割
り当てる第1過程と、現輪郭線の輪郭線映像データ及び
インデックスデータを表す現輪郭線情報を発生する第2
過程と、前記現輪郭線の処理以前に処理された、各前輪
郭線の輪郭線映像データ及びインデックスデータを表す
前輪郭線情報を発生する第3過程と、前記現輪郭線情報
及び全ての前記前輪郭線に対する前記前輪郭線情報に基
づいて、選択情報及び第1または第2モード選択信号を
発生する第4過程と、前記第1モード選択信号に応じ
て、前記選択情報に基づく前記現輪郭線情報をインタ符
号化する第5過程と、前記第2モード選択信号に応じ
て、前記現輪郭線情報をイントラ符号化する第6過程
と、前記インタ符号化済みの輪郭線情報または前記イン
トラ符号化済みの輪郭線情報を、符号化された輪郭線情
報として発生する第7過程とを含むことを特徴とする適
応的輪郭線符号化方法が提供される。
According to an embodiment of the present invention, there is provided an image having a plurality of outlines represented by outline image data representing the position of an outline pixel. An adaptive contour encoding method for encoding a frame signal adaptively in contour units, wherein a first step of assigning index data to each of the contours in the processing order thereof, A second method for generating current contour information representing contour video data and index data
And a third step of generating front contour information representing contour video data and index data of each front contour processed before the processing of the current contour, and a step of generating front contour information and index information of each of the front contours. A fourth step of generating selection information and a first or second mode selection signal based on the front contour information for the front contour, and the current contour based on the selection information in response to the first mode selection signal. A fifth step of inter-encoding the line information, a sixth step of intra-encoding the current outline information in response to the second mode selection signal, and the inter-encoded outline information or the intra code And a seventh step of generating the converted contour information as coded contour information.

【0011】また、本発明の他の実施例によれば、輪郭
線の位置を表す輪郭線映像データによって表現される複
数の輪郭線を有する映像フレーム信号を、輪郭線単位で
適応的に符号化する適応的輪郭線符号化装置であって、
前記輪郭線の各々をその処理順にインデクシングして、
該輪郭線に対してインデックスデータを付与するインデ
ックス割当手段と、現輪郭線の輪郭線映像データ及びイ
ンデックスデータを表す現輪郭線情報を発生する第1輪
郭線情報発生手段と、前記現輪郭線の処理以前に処理さ
れた、各前輪郭線の輪郭線映像データ及びインデックス
データを表す前輪郭線情報を順に格納し発生する第2輪
郭線情報発生手段と、前記現輪郭線情報及び全ての前記
前輪郭線に対する前記前輪郭線情報に基づいて、選択情
報及びモード選択信号を発生するモード選択手段と、前
記選択情報に応じて、前記現輪郭線情報をインタ符号化
して、インタ符号化済みの輪郭線情報を発生するインタ
符号化手段と、前記現輪郭線情報をイントラ符号化し
て、イントラ符号化済みの輪郭線情報を発生するイント
ラ符号化手段と、前記モード選択信号に応じて、前記イ
ンタ符号化済みの輪郭線情報または前記イントラ符号化
済みの輪郭線情報を、伝送すべき符号化済みの輪郭線情
報として選択する選択手段とを含むことを特徴とする適
応的輪郭線符号化装置が提供される。
According to another embodiment of the present invention, a video frame signal having a plurality of contours represented by contour video data representing the position of a contour is adaptively encoded in contour units. Adaptive contour encoding device,
Indexing each of the contours in their processing order,
Index assigning means for assigning index data to the contour, first contour information generating means for producing contour image data representing the contour video data and index data of the current contour, and first contour information generating means for producing the current contour. Second contour information generating means for sequentially storing and generating contour image data and index data representing the contour data of each preceding contour processed before the processing, and the current contour information and all of the previous contour information. A mode selection means for generating selection information and a mode selection signal based on the previous contour information on the contour, and inter-coding the current contour information in accordance with the selection information to obtain an inter-coded contour Inter-coding means for generating line information; intra-coding means for intra-coding the current contour information to generate intra-coded contour information; Selecting means for selecting the inter-encoded contour information or the intra-encoded contour information as encoded contour information to be transmitted according to a mode selection signal. An adaptive contour coding device is provided.

【0012】[0012]

【発明の実施の形態】以下、本発明の好適な実施例につ
いて、図面を参照しながら詳細に説明する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below in detail with reference to the drawings.

【0013】図1を参照すると、本発明に基づいて、輪
郭線単位で複数の輪郭線からなる映像フレーム信号を符
号化する適応的輪郭線符号化装置の概略的なブロック図
が示されている。各輪郭線は、該輪郭線をなす輪郭線画
素の位置を表す輪郭線映像データによって表現される。
図示したように、映像フレーム信号は輪郭線検出部16
0に入力される。
Referring to FIG. 1, there is shown a schematic block diagram of an adaptive contour encoding apparatus for encoding a video frame signal comprising a plurality of contours in contour units according to the present invention. . Each contour is represented by contour video data representing the position of a contour pixel forming the contour.
As shown in the figure, the video frame signal is output from the contour detection unit 16.
Input to 0.

【0014】この輪郭線検出部160は、映像フレーム
信号に含まれた各輪郭線に対してインデックスデータを
その処理順に割当て、各輪郭線に対する輪郭線映像デー
タ及びインデックスデータを有する輪郭線情報を出力す
る。即ち、輪郭線検出部160は第1制御信号S1に応
じて、各輪郭線を規定する輪郭線情報を現輪郭線情報と
して、ラインL10を介してイントラ符号化部130、
モード選択部100及びインタ符号化部140に送り出
す。
The contour detection section 160 assigns index data to each contour included in the video frame signal in the processing order, and outputs contour video data and contour information having index data for each contour. I do. That is, according to the first control signal S1, the contour detection unit 160 sets the contour information defining each contour as the current contour information, via the line L10 to the intra encoding unit 130,
The data is sent to the mode selector 100 and the inter encoder 140.

【0015】最初、イントラ符号化部130は、チェー
ン符号化法、多角形近似化及び離散的サイン変換(DS
T)を採用する輪郭線符号化方法のような公知の輪郭線
符号化方法の1つを用いて、現輪郭線をイントラ符号化
してイントラ符号化された輪郭線情報をラインL50上
に出力する。
[0015] First, the intra encoder 130 performs a chain encoding method, a polygon approximation, and a discrete sine transform (DS).
T) The current contour is intra-encoded using one of the known contour encoding methods such as the contour encoding method employing T), and the intra-encoded contour information is output on a line L50. .

【0016】一方、モード選択部100は、第1及び第
2制御信号S1及びS2の他、第1または第2モード選
択信号MS1またはMS2をラインL20上に、現輪郭
線情報及び全ての前輪郭線に対する前輪郭線情報に基づ
く選択情報をラインL30上に各々出力する。ここで、
前輪郭線は、現輪郭線の処理以前に処理され、輪郭線格
納部120に格納されている。この輪郭線格納部120
は第2制御信号S2に応じて、格納された各前輪郭線に
対する前輪郭線情報をラインL70上に順に出力する。
On the other hand, the mode selection unit 100 outputs the first or second mode selection signal MS1 or MS2 on the line L20 in addition to the first and second control signals S1 and S2, the current contour information and all the previous contours. The selection information based on the front contour information on the line is output on the line L30. here,
The front contour is processed before the processing of the current contour and stored in the contour storage unit 120. This contour storage unit 120
Outputs the stored front contour information for each front contour on the line L70 in order according to the second control signal S2.

【0017】図2には、モード選択部100の詳細なブ
ロック図が示されている。このモード選択部100にそ
れぞれラインL10及びラインL70を介して入力され
た現輪郭線情報及び前輪郭線情報は、輪郭線長さ比較部
101、及び図心整合部102に各々供給される。
FIG. 2 is a detailed block diagram of the mode selection section 100. The current contour information and the previous contour information input to the mode selection unit 100 via the lines L10 and L70, respectively, are supplied to the contour length comparison unit 101 and the centroid matching unit 102, respectively.

【0018】輪郭線長さ比較部101は現輪郭線の長さ
と前輪郭線の長さとを比較して、該当比較信号を図心整
合部102に供給する。ここで、輪郭線の長さは例え
ば、該輪郭線を構成する輪郭線画素の数によって決ま
る。詳述すると、現輪郭線の長さと前輪郭線の長さとの
間の差分が現輪郭線の長さの±10%範囲内にある場合
に、比較信号が供給され、そうでない場合には、比較信
号は供給されない。
The contour length comparing unit 101 compares the length of the current contour with the length of the previous contour, and supplies a corresponding comparison signal to the centroid matching unit 102. Here, the length of the contour is determined, for example, by the number of contour pixels forming the contour. In particular, if the difference between the length of the current contour and the length of the previous contour is within ± 10% of the length of the current contour, a comparison signal is provided, otherwise, No comparison signal is provided.

【0019】図心整合部102は、輪郭線長さ比較部1
01からの比較信号、前輪郭線情報及び現輪郭線情報に
基づいて動作する。比較信号が入力されると、図心整合
部102は前輪郭線及び現輪郭線に対して各々の図心
を、例えば、前輪郭線情報及び現輪郭線情報に基づいて
各輪郭線上の全ての輪郭線画素の位置座標を平均して求
めた後、現輪郭線の図心と前輪郭線の図心との間の空間
的変位を表す候補変位を計算し、前輪郭線上の全ての輪
郭線画素を該候補変位分だけシフトして予測輪郭線を求
め、そして、候補変位、予測輪郭線情報及び現輪郭線情
報を摂動チェック部103に供給する。
The centroid matching unit 102 includes a contour line length comparing unit 1
It operates based on the comparison signal from 01, the previous contour information and the current contour information. When the comparison signal is input, the centroid matching unit 102 assigns each centroid to the front contour line and the current contour line, for example, based on the previous contour information and the current contour line information. After averaging the position coordinates of the contour pixels, a candidate displacement representing a spatial displacement between the centroid of the current contour and the centroid of the front contour is calculated, and all contours on the front contour are calculated. The pixel is shifted by the candidate displacement to obtain a predicted contour, and the candidate displacement, predicted contour information and current contour information are supplied to the perturbation check unit 103.

【0020】摂動チェック部103は、図心整合部10
2からの候補変位、予測輪郭線情報及び現輪郭線情報に
基づいて、予測輪郭線を現輪郭線に沿って画素1つ以上
だけ水平方向及び垂直方向にシフトさせて、予測輪郭線
に対する最適輪郭線、即ちそれと現輪郭線との間の差を
表すエラー値が最小となる輪郭線を検出することによっ
て最適輪郭線と現輪郭線との間の空間的変位に候補変位
を加算して求められる最適変位と、最適輪郭線に対する
エラー値とを発生する。
The perturbation check unit 103 includes the centroid matching unit 10
Based on the candidate displacement from No. 2, the predicted contour information and the current contour information, the predicted contour is shifted in the horizontal and vertical directions by one or more pixels along the current contour to obtain an optimal contour for the predicted contour. It is determined by adding the candidate displacement to the spatial displacement between the optimal contour and the current contour by detecting the line, i.e. the contour with the smallest error value representing the difference between it and the current contour. Generate an optimal displacement and an error value for the optimal contour.

【0021】図4のA、Bを参照すると、本発明の好適
実施例による最適輪郭線に対するエラー値を検出する過
程を説明するための模式図が示されている。
Referring to FIGS. 4A and 4B, there is shown a schematic diagram for explaining a process of detecting an error value with respect to an optimum contour according to a preferred embodiment of the present invention.

【0022】図4Aに示したように、最適輪郭線のエラ
ー値は非重複部分の領域(即ち、現輪郭線10及び最適
輪郭線30によって取り囲まれた斜線領域)として定義
される。本発明の好ましい実施例によると、そのエラー
値は非重複領域の代わりに該領域に存在する画素の個数
として定義される。
As shown in FIG. 4A, the error value of the optimal contour is defined as a non-overlapping area (ie, a hatched area surrounded by the current contour 10 and the optimal contour 30). According to a preferred embodiment of the present invention, the error value is defined as the number of pixels present in the non-overlapping area instead of the non-overlapping area.

【0023】一方、図4Bを参照すると、最適輪郭線の
エラー値は現輪郭線10の図心によって求められる。初
めに、摂動チェック部103は、現輪郭線10の図心か
ら、予め決められた基準線から始めて互いに等角をなす
複数(例えば、12個)の径方向に延びる線分を引き、
K本の、隣接する2本が互いに2π/Kなる角度をなす
放射状の線分と現輪郭線10及び最適輪郭線30とが交
わる交点(例えば、現輪郭線10上の交点C1〜C1
2、最適輪郭線30上の交点P1〜P12)を検出し、
各放射状の線分上の交点間の変位の絶対値の和をエラー
値として計算する。
On the other hand, referring to FIG. 4B, the error value of the optimum contour is obtained from the centroid of the current contour 10. First, the perturbation checking unit 103 draws, from the centroid of the current contour line 10, a plurality of (for example, 12) radially extending segments starting from a predetermined reference line and forming an equiangular angle with each other,
Intersections at which the K adjacent two radial lines at an angle of 2π / K intersect the current contour line 10 and the optimum contour line 30 (for example, intersections C1 to C1 on the current contour line 10)
2. Intersection points P1 to P12) on the optimal contour line 30 are detected,
The sum of absolute values of displacement between intersections on each radial line segment is calculated as an error value.

【0024】図2を再度参照すると、最適輪郭線のエラ
ー値は第1比較部104に現エラー値として供給され、
最適輪郭線のインデックスデータ及び最適変位は現整合
情報としてセレクター106に供給される。
Referring again to FIG. 2, the error value of the optimal contour is supplied to the first comparator 104 as the current error value.
The index data and the optimal displacement of the optimal contour are supplied to the selector 106 as current matching information.

【0025】第1比較部104は、摂動チェック部10
3から入力された最適輪郭線のエラー値、即ち現エラー
値と、ラインL101を介して入力された前エラー値と
を比較して最小値を求め、この最小値を選択されたエラ
ー値として第1メモリ部105に供給し、上記比較過程
の結果に基づいて、第1または第2のセレクター制御信
号をセレクター106に供給する。例えば、現エラー値
が前エラー値より小さい場合は第1のセレクター制御信
号を発生し、そうでない場合には、第2のセレクター制
御信号を発生する。
The first comparing section 104 includes the perturbation checking section 10
3 to determine the minimum value by comparing the error value of the optimal contour line input from step 3, ie, the current error value, with the previous error value input via the line L101, and determine this minimum value as the selected error value. And supplies the first or second selector control signal to the selector based on the result of the comparison process. For example, if the current error value is smaller than the previous error value, a first selector control signal is generated; otherwise, a second selector control signal is generated.

【0026】セレクター106は、第1のセレクター制
御信号に応じて、摂動チェック部103からの現整合情
報を第2メモリ部107に供給し、また第2のセレクタ
ー制御信号に応じて、ラインL102を介して入力され
た前整合情報を第2メモリ部107に供給する。
The selector 106 supplies the current matching information from the perturbation check unit 103 to the second memory unit 107 according to the first selector control signal, and sets the line L102 according to the second selector control signal. The pre-alignment information input via the second memory unit 107 is supplied to the second memory unit 107.

【0027】第1比較部104からの選択されたエラー
値は、第1メモリ部105に格納されると共に、ライン
L101上に前エラー値として出力される。また、その
選択されたエラー値はコントローラ109からの第3制
御信号S3に応じて、第2比較部108に転送される。
The selected error value from the first comparing unit 104 is stored in the first memory unit 105 and is output as a previous error value on a line L101. Further, the selected error value is transferred to the second comparing section 108 according to the third control signal S3 from the controller 109.

【0028】第2比較部108は第1メモリ部105か
らの選択されたエラー値と予め決められた閾値TH1と
を比較して、選択されたエラー値が閾値TH1以下であ
る場合のみ、エラー比較信号を第2メモリ部107及び
コントローラ109に供給する。
The second comparing section 108 compares the selected error value from the first memory section 105 with a predetermined threshold value TH1, and performs an error comparison only when the selected error value is equal to or smaller than the threshold value TH1. The signal is supplied to the second memory unit 107 and the controller 109.

【0029】第2メモリ部107は、セレクター106
からの選択された整合情報を格納すると共に、それを前
整合情報としてセレクター106にラインL102を介
して供給する。また、第2比較部108からのエラー比
較信号が第2メモリ部107に入力された場合、第2メ
モリ部107に格納されている整合情報は選択情報とし
て選択される。
The second memory unit 107 includes a selector 106
, And supplies it to the selector 106 via the line L102 as pre-match information. When the error comparison signal from the second comparing unit 108 is input to the second memory unit 107, the matching information stored in the second memory unit 107 is selected as the selection information.

【0030】かくして、前述したように、摂動チェック
部103の出力は第1メモリ部105及び第2メモリ部
107に格納されるか、または第1比較部104の比較
結果によって無効化される。詳述すると、摂動チェック
部103からのエラー値がラインL101上の前エラー
値より小さい場合は、摂動チェック部103の出力は第
1メモリ部105及び第2メモリ部107に格納され、
そうでない場合には、ラインL101、L102上の前
データは各々第1メモリ部105、第2メモリ部107
に再度格納される。
Thus, as described above, the output of the perturbation checking unit 103 is stored in the first memory unit 105 and the second memory unit 107, or is invalidated by the result of the comparison by the first comparing unit 104. More specifically, when the error value from the perturbation check unit 103 is smaller than the previous error value on the line L101, the output of the perturbation check unit 103 is stored in the first memory unit 105 and the second memory unit 107,
Otherwise, the previous data on the lines L101 and L102 are stored in the first memory unit 105 and the second memory unit 107, respectively.
Is stored again.

【0031】コントローラ109は、ラインL10、L
70を介して入力された現輪郭線情報及び前輪郭線情報
に基づいて複数の制御信号を発生する。即ち、輪郭線格
納部120に格納されラインL70を介して順に出力さ
れる前輪郭線のすべてが処理されたことが、モード選択
部100にて、ラインL70を介して送られる前輪郭線
の数をカウントすることで検出された場合、第1制御信
号S1及び第3制御信号を発生する。この第1制御信号
S1に応じて輪郭線検出部160が、ラインL10に新
たな現輪郭線情報を発生することになる。そして、第3
制御信号S3は第1メモリ部105に格納されたエラー
値を第2メモリ部108に供給するようにする信号であ
る。また、第2制御信号S2は、ラインL70を介して
入力された前輪郭線情報が、輪郭線長さ比較部101及
び図心整合部102にて処理された後に生成されるこの
第2制御信号に応じて、輪郭線格納部120が次の前輪
郭線情報をラインL70上に発生するようにする信号で
ある。第2メモリ部108からエラー比較信号が入力さ
れた場合には、ラインL20上に第1モード選択信号M
S1が供給され、そうでない場合には、ラインL20上
に第2モード選択信号MS2が供給される。
The controller 109 is connected to the lines L10, L10
A plurality of control signals are generated based on the current contour information and the previous contour information input via the control unit 70. That is, the fact that all of the front contours stored in the contour storage unit 120 and sequentially output via the line L70 have been processed is determined by the mode selection unit 100 by the number of front contours sent via the line L70. , A first control signal S1 and a third control signal are generated. In response to the first control signal S1, the contour detection unit 160 generates new current contour information on the line L10. And the third
The control signal S3 is a signal for supplying the error value stored in the first memory unit 105 to the second memory unit 108. Further, the second control signal S2 is generated after the front contour information input via the line L70 is processed by the contour length comparing unit 101 and the centroid matching unit 102. Is a signal that causes the contour storage unit 120 to generate the next preceding contour information on the line L70 in response to When the error comparison signal is input from the second memory unit 108, the first mode selection signal M
S1 is provided, otherwise a second mode select signal MS2 is provided on line L20.

【0032】前述したように、図2の実例によれば、モ
ード選択部100において、コントローラ109から発
生された第2制御信号S2に応じて、ラインL70を介
して輪郭線格納部120から順に伝送された前輪郭線の
全てに対して選択処理が行われたとき、該選択情報に対
応する輪郭線格納部120内に格納された前輪郭線の何
れか1つが現輪郭線に対する最適前輪郭線として選択さ
れる。そして、この最適前輪郭線の選択情報はラインL
30を介して動き補償部110に入力される。
As described above, according to the example of FIG. 2, the mode selection unit 100 sequentially transmits the data from the contour storage unit 120 via the line L70 in accordance with the second control signal S2 generated from the controller 109. When selection processing is performed on all of the selected front contours, any one of the front contours stored in the contour storage unit 120 corresponding to the selection information becomes the optimum front contour for the current contour. Is selected as The selection information of the optimal front contour line is the line L
The signal is input to the motion compensator 110 through 30.

【0033】図1を再び参照すると、動き補償部110
はラインL30上から入力された選択情報に基づいて、
予測現輪郭線を発生する。詳述すると、この予測現輪郭
線は、輪郭線格納部120に格納された前輪郭線から選
択された最適前輪郭線を、その最適変位だけシフトさせ
ることによって生成され、ラインL40を介してインタ
符号化部140及びインタ再構成部190Aに各々供給
される。
Referring back to FIG. 1, the motion compensator 110
Is based on the selection information input from the line L30,
Generate a predicted current contour. More specifically, the predicted current contour is generated by shifting the optimum front contour selected from the front contours stored in the contour storage unit 120 by the optimum displacement, and is generated via the line L40. The signals are supplied to the encoding unit 140 and the inter-reconstruction unit 190A, respectively.

【0034】インタ符号化部140はラインL30上の
選択情報とラインL40上の予測現輪郭線とに基づい
て、ラインL10を介して入力された現輪郭線をインタ
符号化する。図3には、本発明の好ましい実施例による
インタ符号化部140の詳細なブロック図が示されてい
る。
The inter-encoding unit 140 inter-encodes the current contour input through the line L10 based on the selection information on the line L30 and the predicted current contour on the line L40. FIG. 3 is a detailed block diagram of the inter encoder 140 according to the preferred embodiment of the present invention.

【0035】以下、インタ符号化部140の動作につい
て、図3を参照して述べる。このインタ符号化部140
は整合部141、偏差検出部142、映像信号符号化部
143及びマルチプレクサ(MUX)144から構成さ
れている。
The operation of the inter encoder 140 will be described below with reference to FIG. This inter encoding unit 140
Is composed of a matching unit 141, a deviation detecting unit 142, a video signal encoding unit 143, and a multiplexer (MUX) 144.

【0036】整合部141は、図5に示したように、現
輪郭線と予測現輪郭線とを重ね合わせて、重複輪郭線を
偏差検出部142に供給する。
The matching section 141 superimposes the current contour and the predicted current contour as shown in FIG. 5, and supplies the overlapping contour to the deviation detecting section 142.

【0037】本発明の好ましい実施例によると、偏差検
出部142は、重複輪郭線に基づいて現輪郭線と予測現
輪郭線との間の差分を計算する。
According to the preferred embodiment of the present invention, the deviation detector 142 calculates a difference between the current contour and the predicted current contour based on the overlapping contour.

【0038】図5には、現輪郭線と予測現輪郭線との間
の偏差(即ち、単一の閉ループ、例えば凸部)を検出す
る過程を説明するための模式図が示されている。偏差検
出部142は初めに、共通図心Tから予め決められた基
準線から始めて等角をなすM本の放射状に延びる第1線
分の組を引き、2つの隣接した第1線分間の角度を、互
いに等角をなす(P−1)個の第2線分(例えば、k1
〜k15)で区切って細分化する。ここで、2つの隣接
した第1線分間の角大きさは2π/Mであり、Mは1よ
り大きい正の整数である。その後、偏差検出部142は
M×P個の全線分と重複輪郭線とが交わる交点(例え
ば、図5に示したように、現輪郭線10上のA〜P、予
測現輪郭線20上のA´〜P´)を検出する。M×P個
の線分の全ての交点がひとたび検出されると、偏差検出
部142は例えば、基準線から始めて時計方向に、全て
の線分と現輪郭線(例えば、A、B、C、・・・P)と
の各交点におけるエラーを求める。このエラーは、図心
Tと、各線分と予測現輪郭線との交点との間の距離か
ら、図心Tと、各線分と現輪郭線(例えば、TA)との
交点との間の距離を減算することによって求められる。
上記の偏差検出過程を用いて、現輪郭線10上の全ての
交点におけるエラー値を求めた後、そのエラー値は各々
がP個のエラー値からなる組にグループ付けされる。各
エラー値の組は次の通りである。
FIG. 5 is a schematic diagram for explaining a process of detecting a deviation (ie, a single closed loop, for example, a convex portion) between the current contour and the predicted current contour. The deviation detecting unit 142 first draws a set of M radially extending first line segments that form an equiangular shape starting from a predetermined reference line from the common centroid T, and calculates the angle between two adjacent first line segments. With (P-1) second line segments (e.g., k1
~ K15). Here, the angular magnitude between two adjacent first line segments is 2π / M, where M is a positive integer greater than one. Thereafter, the deviation detecting unit 142 determines the intersection points of the M × P total line segments and the overlapping contour lines (for example, as shown in FIG. 5, A to P on the current contour line 10 and on the predicted current contour line 20). A ′ to P ′) are detected. Once all the intersections of the M × P line segments are detected, the deviation detection unit 142, for example, starts from the reference line and moves clockwise in the clockwise direction with respect to all the line segments and the current contour lines (eg, A, B, C, The error at each intersection with P) is determined. This error is calculated from the distance between the centroid T and the intersection of each line segment with the predicted current contour line, and the distance between the centroid T and the intersection point of each line segment with the current contour line (eg, TA). Is subtracted.
After determining the error values at all intersections on the current contour line 10 using the above-described deviation detection process, the error values are grouped into sets of P error values. The set of each error value is as follows.

【0039】[0039]

【数1】 D1=[d1 1、d1 2、…、d1 j、…、d1 p] D2=[d2 1、d2 2、…、d2 j、…、d2 p] :DI=[dI 1、dI 2、…、dI j、…、dI p] :DM=[dM 1、dM 2、…、dM j、…、dM p[Number 1] D1 = [d 1 1, d 1 2, ..., d 1 j, ..., d 1 p] D2 = [d 2 1, d 2 2, ..., d 2 j, ..., d 2 p] : DI = [d I 1, d I 2, ..., d I j, ..., d I p]: DM = [d M 1, d M 2, ..., d M j, ..., d M p]

【0040】ここで、 DI:I番目の配列 dI 1:I番目の第1線分に対するエラー値 dI j:I番目の第1線分と(I+1)番目の第1線分と
の間のj番目の第2線分に対するエラー値 dM j:M番目の第1線分と第1番目の第1線分(基準線
分)との間のj番目の第2線分に対するエラー値 I:1からMの整数 j:2からPの整数 である。
Here, DI: the I-th array d I 1 : an error value for the I-th first line segment d I j : between the I-th first line segment and the (I + 1) -th first line segment Error value for the j-th second line segment d M j : error value for the j-th second line segment between the M-th first line segment and the first first line segment (reference line segment) I: an integer from 1 to M j: an integer from 2 to P

【0041】本発明の他の好適実施例によれば、M個の
第1線分は重複輪郭線の大きさに適応的に調節される。
即ち、図心Tと予測現輪郭線20上の交点との間の距離
に基づいて、予め決められたMに対して平均値が計算さ
れた後、平均値が適切な閾値に対して増加するにつれて
Mが増加するように調整される。
According to another preferred embodiment of the invention, the M first segments are adaptively adjusted to the size of the overlapping contour.
That is, based on the distance between the centroid T and the intersection on the predicted current contour line 20, an average value is calculated for a predetermined M, and then the average value increases with respect to an appropriate threshold. Is adjusted so that M increases.

【0042】その後、偏差検出部142は上記過程から
求められた配列の組を表す偏差情報を映像信号符号化部
143に供給する。
After that, the deviation detecting section 142 supplies the deviation information representing the set of arrays determined from the above process to the video signal encoding section 143.

【0043】この映像信号符号化部143は例えば、1
次元のDCT(離散的コサイン変換)及び公知の量子化
法の1つを用いて、偏差検出部142からの偏差情報に
含まれた各配列を量子化変換係数の組に変換して、それ
をMUX144に供給する。
The video signal encoding unit 143 includes, for example, 1
Using one-dimensional DCT (Discrete Cosine Transform) and one of the well-known quantization methods, each array included in the deviation information from the deviation detection unit 142 is converted into a set of quantized conversion coefficients, and MUX 144.

【0044】MUX144では、量子化変換係数の組、
ラインL30を介してモード選択部100から入力され
た選択情報及びその格納データがインタ符号化された輪
郭線情報としてラインL60上に出力される。
In the MUX 144, a set of quantized transform coefficients
The selection information input from the mode selection unit 100 via the line L30 and its stored data are output on the line L60 as inter-coded outline information.

【0045】前述したように、インタ符号化部140の
動作はラインL30、L40を介して受けとったデータ
によって左右される。従って、ラインL30を介してモ
ード選択部100からの選択情報、またはラインL40
を介して動き補償部110からの予測現輪郭線がインタ
符号化部140に入力されないと、インタ符号化部14
0からの出力はなくなることになる。
As described above, the operation of the inter encoder 140 depends on the data received via the lines L30 and L40. Therefore, the selection information from the mode selection unit 100 via the line L30 or the line L40
If the predicted current contour from the motion compensation unit 110 is not input to the inter encoding unit 140 via the
There will be no output from 0.

【0046】図1を再度参照すると、選択部150及び
スイッチ170はラインL20を介して入力されたモー
ド選択信号に応じて、イントラ符号化済みの輪郭線情報
またはインタ符号化済みの輪郭線情報を伝送する機能を
果たす。第1モード選択信号MS1が入力された場合、
インタ符号化済みの輪郭線情報が選択され、その伝送の
ために伝送器(図示せず)へ送られ、またスイッチ17
0を介してインタ復号化部180Aにも供給される。一
方、第2モード選択信号MS2が入力された場合、イン
トラ符号化済みの輪郭線情報が選択され、その伝送のた
めに伝送器へ送られると共に、スイッチ170を介して
イントラ復号化部180Bにも供給される。
Referring again to FIG. 1, the selector 150 and the switch 170 convert the intra-coded contour information or the inter-coded contour information according to the mode selection signal input via the line L20. Performs the function of transmitting. When the first mode selection signal MS1 is input,
Inter-encoded contour information is selected, sent to a transmitter (not shown) for transmission, and
0 is also supplied to the inter-decoding unit 180A. On the other hand, when the second mode selection signal MS2 is inputted, the intra-encoded contour information is selected and sent to the transmitter for transmission, and is also transmitted to the intra-decoding unit 180B via the switch 170. Supplied.

【0047】インタ復号化部180Aは例えば、逆量子
化及び逆離散的コサイン変換を用いて、入力されたイン
タ符号化済みの輪郭線情報を復号化して、それを復号化
済みのインタ符号化輪郭線情報としてインタ再構成部1
90Aに供給する。
The inter-decoding unit 180A decodes the input inter-coded contour information using, for example, inverse quantization and inverse discrete cosine transform, and decodes the decoded inter-coded contour information. Inter reconstruction unit 1 as line information
90A.

【0048】同様に、イントラ復号化部180Bは入力
されたイントラ符号化済みの輪郭線情報を復号化して、
それを復号化済みのイントラ符号化輪郭線情報としてイ
ントラ再構成部190Bに供給する。
Similarly, the intra decoding unit 180B decodes the input intra-encoded contour information,
It is supplied to the intra reconstruction unit 190B as decoded intra-coded contour information.

【0049】インタ再構成部190AはラインL40を
介して入力された予測現輪郭線情報及びインタ復号化部
180Aからの復号化済みのインタ符号化輪郭線情報に
基づいて、再構成された輪郭線情報を発生する。この再
構成された輪郭線情報は、再構成済みの輪郭線映像デー
タ及びそのインデックスデータを備え、輪郭線格納部1
20に新たな前輪郭線情報として格納されることにな
る。また、この新たな前輪郭線情報が輪郭線格納部12
0に格納される前に、既に他の前輪郭線情報が格納され
ている場合は、それと共に格納される。
The inter-reconstructing section 190A reconstructs the contour based on the predicted current contour information input via the line L40 and the decoded inter-coded contour information from the inter-decoding section 180A. Generate information. The reconstructed contour information includes reconstructed contour video data and index data thereof, and the contour storage unit 1
20 is stored as new front contour information. The new front contour information is stored in the contour storage unit 12.
If other front contour information is already stored before being stored in 0, it is stored together therewith.

【0050】イントラ再構成部190Bはイントラ復号
化部180Bからの復号化済みのイントラ符号化輪郭線
情報に基づいて、再構成された輪郭線情報を発生して、
前述したように、輪郭線格納部120に新たな前輪郭線
情報として格納することになる。
The intra reconstruction unit 190B generates reconstructed contour information based on the decoded intra-coded contour information from the intra decoding unit 180B.
As described above, it is stored in the contour storage unit 120 as new front contour information.

【0051】かくして、インタ再構成部190A及びイ
ントラ再構成部190Bがその入力信号によって選択的
にイネーブル状態にされるので、輪郭線格納部120は
インタ再構成部190Aまたはイントラ再構成部190
Bからの出力を選択的に格納することになる。
Thus, since the inter reconstruction unit 190A and the intra reconstruction unit 190B are selectively enabled by the input signals, the contour storage unit 120 stores the inter reconstruction unit 190A or the intra reconstruction unit 190A.
The output from B will be stored selectively.

【0052】映像フレーム信号に含まれた全ての輪郭線
映像データが一旦上記輪郭線符号化プロセスによって符
号化される場合、新たな映像フレーム信号が輪郭線検出
部160に入力されて、前述したように、符号化過程が
続行される。
When all the outline video data included in the video frame signal is once encoded by the above-described outline encoding process, a new video frame signal is input to the outline detection unit 160, and as described above. Then, the encoding process continues.

【0053】また、上記の輪郭線符号化方法は、2つの
映像フレーム信号、即ち、現フレーム信号とその前フレ
ーム信号との間の輪郭線符号化プロセスにも利用するこ
とができる。
The above-described contour coding method can also be used for a contour coding process between two video frame signals, that is, a current frame signal and a previous frame signal.

【0054】上記において、本発明の好適な実施例につ
いて説明したが、本発明の特許請求の範囲を逸脱するこ
となく、種々の変更を加え得ることは勿論である。
Although the preferred embodiments of the present invention have been described above, it is obvious that various modifications can be made without departing from the scope of the present invention.

【0055】[0055]

【発明の効果】従って、本発明によれば、前輪郭線と現
輪郭線との間の差分に基づく輪郭線動き推定技法を用い
て、映像信号で表現された物体の輪郭線を適応的に符号
化し、伝送すべきデータの量をより一層減らすことがで
きる。
Therefore, according to the present invention, the contour of an object represented by a video signal is adaptively adjusted using a contour motion estimation technique based on the difference between the previous contour and the current contour. The amount of data to be encoded and transmitted can be further reduced.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明による輪郭線符号化装置の概略的なブロ
ック図である。
FIG. 1 is a schematic block diagram of a contour coding apparatus according to the present invention.

【図2】図1に示したモード選択部の詳細なブロック図
である。
FIG. 2 is a detailed block diagram of a mode selection unit shown in FIG.

【図3】図1に示したインタ符号化部の詳細なブロック
図である。
FIG. 3 is a detailed block diagram of an inter encoder shown in FIG.

【図4】A及びBよりなり、各々本発明による最適輪郭
線のエラー値を検出する過程を説明するための模式図で
ある。
FIG. 4 is a schematic diagram for explaining a process of detecting an error value of an optimum contour according to the present invention, which is composed of A and B.

【図5】インタ符号化部で処理されたインタ符号化処理
を説明するための模式図である。
FIG. 5 is a schematic diagram for explaining an inter encoding process performed by an inter encoding unit.

【符号の説明】[Explanation of symbols]

10 現輪郭線 20 予測現輪郭線 30 最適現輪郭線 100 モード選択部 101 輪郭線長さ比較部 102 図心整合部 103 摂動チェック部 104 第1比較部 105 第1メモリ部 106 セレクター 107 第2メモリ部 108 第2比較部 109 コントローラ 110 動き補償部 120 輪郭線格納部 130 イントラ符号化部 140 インタ符号化部 141 整合部 142 偏差検出部 143 映像信号符号化部 144 MUX 150 選択部 160 輪郭線検出部 170 スイッチ 180A インタ復号化部 180B イントラ復号化部 190A インタ再構成部 190B イントラ再構成部 A〜P、C1〜C12、P1〜P12 交点 T 図心 DESCRIPTION OF SYMBOLS 10 Current contour 20 Predicted current contour 30 Optimal current contour 100 Mode selection unit 101 Contour length comparison unit 102 Centroid matching unit 103 Perturbation check unit 104 First comparison unit 105 First memory unit 106 Selector 107 Second memory Unit 108 second comparing unit 109 controller 110 motion compensating unit 120 contour storing unit 130 intra encoding unit 140 inter encoding unit 141 matching unit 142 deviation detecting unit 143 video signal encoding unit 144 MUX 150 selecting unit 160 contour detecting unit 170 Switch 180A Inter decoding unit 180B Intra decoding unit 190A Inter reconstructing unit 190B Intra reconstructing unit AP, C1 to C12, P1 to P12 Intersection T Centroid

Claims (17)

【特許請求の範囲】[Claims] 【請求項1】 輪郭線画素の位置を表す輪郭線映像デ
ータによって表現される複数の輪郭線を有する映像フレ
ーム信号を、輪郭線単位で適応的に符号化する適応的輪
郭線符号化方法であって、 前記輪郭線の各々に対して、その処理順にインデックス
データを割り当てる第1過程と、 現輪郭線の輪郭線映像データ及びインデックスデータを
表す現輪郭線情報を発生する第2過程と、 前記現輪郭線の処理以前に処理された、各前輪郭線の輪
郭線映像データ及びインデックスデータを表す前輪郭線
情報を発生する第3過程と、 前記現輪郭線情報及び全ての前記前輪郭線に対する前記
前輪郭線情報に基づいて、選択情報及び第1または第2
モード選択信号を発生する第4過程と、 前記第1モード選択信号に応じて、前記選択情報に基づ
く前記現輪郭線情報をインタ符号化する第5過程と、 前記第2モード選択信号に応じて、前記現輪郭線情報を
イントラ符号化する第6過程と、 前記インタ符号化済みの輪郭線情報または前記イントラ
符号化済みの輪郭線情報を、符号化された輪郭線情報と
して発生する第7過程とを含むことを特徴とする適応的
輪郭線符号化方法。
An adaptive contour coding method for adaptively coding a video frame signal having a plurality of contours represented by contour video data representing the position of a contour pixel in contour units. A first step of allocating index data to each of the contours in the processing order, a second step of generating contour image data representing the contour video data of the current contour and index data, A third step of generating front contour information representing contour image data and index data of each front contour processed before the processing of the contour, and the current contour information and all the front contours for the front contour. Based on the front contour information, the selection information and the first or second
A fourth step of generating a mode selection signal, a fifth step of inter-coding the current contour information based on the selection information in response to the first mode selection signal, and a second step of responding to the second mode selection signal A sixth step of intra-encoding the current outline information, and a seventh step of generating the inter-encoded outline information or the intra-encoded outline information as encoded outline information. And an adaptive contour coding method.
【請求項2】 前記第4過程が、 前記前輪郭線の中の何れか1つを目標前輪郭線として割
り当てる第4−1過程と、 前記現輪郭線の長さと前記目標前輪郭線の長さとを計算
し、比較して、比較信号を発生する第4−2過程と、 前記比較信号に応じて、前記現輪郭線と前記目標前輪郭
線との間の空間的変位を表す候補変位を計算する第4−
3過程と、 前記目標前輪郭線上の前記輪郭線画素全体を前記候補変
位分だけシフトさせて、前記目標前輪郭線に対する予測
輪郭線を発生する第4−4過程と、 前記現輪郭線に沿って前記予測輪郭線を画素1つ分以上
水平垂直方向にシフトさせて、前記予測輪郭線に対し
て、前記現輪郭線との間の差分を最小とするエラー値を
もたらす最適輪郭線を検出し、前記最適輪郭線に対する
エラー値と、前記最適の輪郭線と前記現輪郭線との間の
空間的変位に前記候補変位を加算して得られた最適変位
とを発生する第4−5過程と、 残りの前輪郭線全てに対して、上記の過程を繰り返して
行う第4−6過程と、 前記前輪郭線全体に対する前記最適輪郭線のエラー値を
互いに比較して、前記最適輪郭線の中の何れか1つを、
最小のエラー値をもたらす最適前輪郭線として発生する
第4−7過程と、 前記最適前輪郭線に対する前記エラー値と予め決められ
た閾値とを比較して、それに基づき前記第1または第2
モード選択信号を発生する第4−8過程と、 前記第1モード選択信号に基づいて、前記最適の前輪郭
線の前記最適変位及び前記インデックスデータを発生す
る第4−9過程とを有することを特徴とする請求項1に
記載の適応的輪郭線符号化方法。
2. The method according to claim 1, wherein the fourth step is to assign one of the front contour lines as a target front contour line, and the length of the current contour line and the length of the target front contour line. And calculating a candidate displacement representing a spatial displacement between the current contour line and the target front contour line in accordance with the comparison signal. Fourth to calculate
Step 4-4 of shifting the entire contour pixel on the target front contour by the candidate displacement to generate a predicted contour for the target front contour, and along the current contour. Shifting the predicted contour in the horizontal and vertical directions by one or more pixels to detect an optimal contour that provides an error value that minimizes the difference between the predicted contour and the current contour. Generating an error value for the optimal contour line and an optimal displacement obtained by adding the candidate displacement to a spatial displacement between the optimal contour line and the current contour line; Step 4-6 of repeating the above process for all remaining front contours, and comparing the error values of the optimum contour with respect to the entire front contour to each other, Any one of
A fourth-fourth step which is generated as an optimal front contour line having a minimum error value; and comparing the error value with respect to the optimal front contour line with a predetermined threshold value, and based on the comparison, the first or second step.
A step 4-8 of generating a mode selection signal; and a step 4-9 of generating the optimum displacement and the index data of the optimum front contour line based on the first mode selection signal. The adaptive contour coding method according to claim 1, wherein:
【請求項3】 前記比較信号が、前記現輪郭線の長さ
と前記前輪郭線の長さとの間の差が前記現輪郭線の長さ
の予め決められた範囲内にある場合に発生されることを
特徴とする請求項2に記載の適応的輪郭線符号化方法。
3. The comparison signal is generated when the difference between the length of the current contour and the length of the previous contour is within a predetermined range of the length of the current contour. 3. The adaptive contour coding method according to claim 2, wherein:
【請求項4】 前記最適の前輪郭線の前記エラー値が
前記予め決められた閾値以下である場合には、前記第1
モード選択信号が発生され、そうでない場合には、前記
第2モード選択信号が発生されることを特徴とする請求
項3に記載の適応的輪郭線符号化方法。
4. The method according to claim 1, wherein the error value of the optimal front contour is equal to or less than the predetermined threshold.
4. The adaptive contour coding method according to claim 3, wherein a mode selection signal is generated, and if not, the second mode selection signal is generated.
【請求項5】 前記最適輪郭線のエラー値が、前記現
輪郭線と前記最適輪郭線との間の非重複部分の領域とし
て定義されることを特徴とする請求項2に記載の適応的
輪郭線符号化方法。
5. The adaptive contour according to claim 2, wherein the error value of the optimal contour is defined as a region of a non-overlapping portion between the current contour and the optimal contour. Line encoding method.
【請求項6】 前記最適輪郭線のエラー値が、前記現
輪郭線と前記最適輪郭線との間の非重複領域に存在する
画素の数として定義されることを特徴とする請求項2に
記載の適応的輪郭線符号化方法。
6. The method according to claim 2, wherein the error value of the optimal contour is defined as the number of pixels existing in a non-overlapping area between the current contour and the optimal contour. Adaptive contour coding method.
【請求項7】 前記最適輪郭線の前記エラー値を求め
るべく、前記第4−5過程が、 前記現輪郭線上の前記輪郭線画素全体の位置座標を平均
して求められる図心から、予め決められた基準線から始
めて等角をなすK個の放射状の線分の組(Kは正の整
数)を引く第4−5−1過程と、 前記K個の放射状の線分と前記最適輪郭線及び前記現輪
郭線とが交わる交点を検出する第4−5−2過程と、 各放射状の線分上の交点間の変位の絶対値の和を、前記
エラー値として計算する第4−5−3過程とを有するこ
とを特徴とする請求項2に記載の適応的輪郭線符号化方
法。
7. In order to determine the error value of the optimal contour, the step 4-5 is performed in advance from a centroid determined by averaging position coordinates of all the contour pixels on the current contour. A 4-5-1 process of drawing a set of K radial line segments (K is a positive integer) forming an equal angle starting from the reference line, and the K radial line segments, the optimal contour line, A 4-5-2 step of detecting an intersection point where the current contour line intersects; and a 4-5-3 step of calculating, as the error value, a sum of absolute values of displacements between the intersection points on each radial line segment. 3. The adaptive contour coding method according to claim 2, further comprising the steps of:
【請求項8】 輪郭線の位置を表す輪郭線映像データ
によって表現される複数の輪郭線を有する映像フレーム
信号を、輪郭線単位で適応的に符号化する適応的輪郭線
符号化装置であって、 前記輪郭線の各々をその処理順にインデクシングして、
該輪郭線に対してインデックスデータを付与するインデ
ックス割当手段と、 現輪郭線の輪郭線映像データ及びインデックスデータを
表す現輪郭線情報を発生する第1輪郭線情報発生手段
と、前記現輪郭線の処理以前に処理された、各前輪郭線
の輪郭線映像データ及びインデックスデータを表す前輪
郭線情報を順に格納し発生する第2輪郭線情報発生手段
と、 前記現輪郭線情報及び全ての前記前輪郭線に対する前記
前輪郭線情報に基づいて、選択情報及びモード選択信号
を発生するモード選択手段と、 前記選択情報に応じて、前記現輪郭線情報をインタ符号
化して、インタ符号化済みの輪郭線情報を発生するイン
タ符号化手段と、 前記現輪郭線情報をイントラ符号化して、イントラ符号
化済みの輪郭線情報を発生するイントラ符号化手段と、 前記モード選択信号に応じて、前記インタ符号化済みの
輪郭線情報または前記イントラ符号化済みの輪郭線情報
を、伝送すべき符号化済みの輪郭線情報として選択する
選択手段とを含むことを特徴とする適応的輪郭線符号化
装置。
8. An adaptive contour encoding apparatus for adaptively encoding a video frame signal having a plurality of contours represented by contour video data representing the position of a contour in contour units. Indexing each of said contours in their processing order;
Index assigning means for assigning index data to the contour, first contour information generating means for generating contour image data representing the contour image data of the current contour and index data, and Second contour information generating means for sequentially storing and generating contour image data and index data representing the contour data of each front contour processed before the processing, and the current contour information and all the previous contour information. A mode selection means for generating selection information and a mode selection signal based on the previous contour information on the contour, and inter-coding the current contour information in accordance with the selection information to obtain an inter-coded contour Inter-coding means for generating line information, intra-coding the current contour information, and intra-coding means for generating intra-coded contour information; Selecting means for selecting the inter-encoded contour information or the intra-encoded contour information as encoded contour information to be transmitted according to the mode selection signal. Adaptive contour coding device.
【請求項9】 前記モード選択手段が、 前記現輪郭線の長さと前記前輪郭線の長さとを計算し、
比較して、比較信号を発生する第1比較手段と、 前記比較信号に応じて、前記前輪郭線の各々に対して、
前記現輪郭線と前記前輪郭線との間の空間的変位を表す
候補変位を計算する候補変位計算手段と、 前記前輪郭線上の前記輪郭線画素全体を前記候補変位分
だけシフトさせて、前記前輪郭線各々に対して、予測輪
郭線を発生する予測輪郭線発生手段と、 前記現輪郭線に沿って前記予測輪郭線を画素1つ分以上
だけ水平垂直方向にシフトさせて、前記前輪郭線各々に
対応する前記予測輪郭線に対して、前記現輪郭線との間
の差分を最小とするエラー値をもたらす最適の輪郭線を
検出することによって、前記最適輪郭線に対するエラー
値と、前記最適の輪郭線と前記現輪郭線との間の空間的
変位に前記候補変位を加算して得られた最適変位とを発
生する最適輪郭線検出手段と、 前記前輪郭線各々に対応する前記最適輪郭線のエラー値
を互いに比較して、前記最適輪郭線の中の何れか1つ
を、エラー値を最小とする最適前輪郭線として検出する
最適前輪郭線検出手段と、 前記最適前輪郭線に対する前記エラー値と予め決められ
た閾値とを比較して、それに基づき前記モード選択信号
を発生する第2比較手段と、 前記モード選択信号に応じて、前記最適前輪郭線の前記
最適変位及び前記インデックスデータを前記選択情報と
して発生する選択情報発生手段とを有することを特徴と
する請求項8に記載の適応的輪郭線符号化装置。
9. The mode selection means calculates a length of the current contour and a length of the previous contour,
First comparing means for comparing and generating a comparison signal; and for each of the front contour lines according to the comparison signal,
Candidate displacement calculating means for calculating a candidate displacement representing a spatial displacement between the current contour and the front contour, and shifting the entire contour pixel on the front contour by the candidate displacement, Predicted contour generating means for generating a predicted contour for each of the front contours; and shifting the predicted contour in the horizontal and vertical directions by one or more pixels along the current contour, Detecting, for the predicted contour line corresponding to each of the lines, an optimal contour line that provides an error value that minimizes a difference between the current contour line and the predicted contour line; An optimal contour detecting means for generating an optimal displacement obtained by adding the candidate displacement to a spatial displacement between the optimal contour and the current contour; and an optimal contour corresponding to each of the front contours. Compare contour error values with each other An optimal front contour detecting means for detecting any one of the optimal contours as an optimal front contour minimizing an error value; and determining the error value for the optimal front contour in advance. Second comparing means for comparing the threshold value with the threshold value and generating the mode selection signal based on the threshold value; and generating the optimum displacement and the index data of the optimum front contour line as the selection information according to the mode selection signal. 9. The adaptive contour coding apparatus according to claim 8, further comprising selection information generating means.
【請求項10】 前記比較信号が、前記現輪郭線の長
さと前記前輪郭線の長さとの間の差が前記現輪郭線の長
さの予め決められた範囲内にある場合に、発生されるこ
とを特徴とする請求項9に記載の適応的輪郭線符号化装
置。
10. The comparison signal is generated when the difference between the length of the current contour and the length of the previous contour is within a predetermined range of the length of the current contour. 10. The adaptive contour coding apparatus according to claim 9, wherein:
【請求項11】 前記最適前輪郭線の前記エラー値が
前記予め決められた閾値以下である場合に、前記モード
選択信号が発生されることを特徴とする請求項9に記載
の適応的輪郭線符号化装置。
11. The adaptive contour according to claim 9, wherein the mode selection signal is generated when the error value of the optimal front contour is equal to or less than the predetermined threshold. Encoding device.
【請求項12】 前記最適輪郭線の前記エラー値が、
前記現輪郭線と前記最適輪郭線との間の非重複部分の領
域として定義されることを特徴とする請求項9に記載の
適応的輪郭線符号化装置。
12. The error value of the optimal contour is
The adaptive contour coding apparatus according to claim 9, wherein the adaptive contour coding apparatus is defined as a region of a non-overlapping portion between the current contour and the optimal contour.
【請求項13】 前記最適輪郭線の前記エラー値が、
前記現輪郭線と前記最適輪郭線との間の非重複部分の領
域に存在する画素の数として定義されることを特徴とす
る請求項9に記載の適応的輪郭線符号化装置。
13. The error value of the optimal contour is
10. The adaptive contour encoding apparatus according to claim 9, wherein the number of pixels is defined as a number of pixels existing in a non-overlapping area between the current contour and the optimal contour.
【請求項14】 前記最適輪郭線の前記エラー値を求
めるべく、前記最適輪郭線検出手段が、 前記現輪郭線上の前記輪郭線画素全体の位置座標を平均
して求められる図心から、予め決められた基準線から始
めて等角をなすK個の放射状の線分の組(Kは正の整
数)を予め決められた基準線から初めて引く線引き手段
と、 前記K個の放射状の線分と前記最適輪郭線及び前記現輪
郭線とが交わる交点を検出する交点検出手段と、 前記放射状の線分上の交点間の変位の絶対値の和を、前
記エラー値として計算するエラー値計算手段とを有する
ことを特徴とする請求項9に記載の適応的輪郭線符号化
装置。
14. The method according to claim 1, wherein the optimal contour detecting means determines the error value of the optimal contour from a centroid obtained by averaging position coordinates of all the contour pixels on the current contour. Drawing means for drawing a set of K radial line segments (K is a positive integer) forming an equal angle starting from a predetermined reference line for the first time from a predetermined reference line, and the K radial line segments and the optimal Intersection detection means for detecting an intersection of a contour line and the current contour line, and error value calculation means for calculating the sum of absolute values of displacement between intersection points on the radial line segment as the error value. 10. The adaptive contour coding device according to claim 9, wherein:
【請求項15】 前記インタ符号化手段が、 前記前輪郭線全体に対する前記前輪郭線情報及び前記選
択情報に基づいて、前記選択情報の前記インデックスデ
ータと同一のデータを有する前輪郭線を、予測現輪郭線
として選択し発生する予測現輪郭線発生手段と、 前記予測現輪郭線と前記現輪郭線とを重ね合わせて、重
複輪郭線を発生する重ね合わせ手段と、 前記重複輪郭線に基づいて、前記予測現輪郭線と前記現
輪郭線との間の形状差を表す偏差情報を検出する偏差情
報検出手段と、 前記偏差情報を変換する変換手段と、 前記変換済みの偏差情報及び前記選択情報を前記インタ
符号化済みの輪郭線情報として発生する輪郭線情報発生
手段とを有することを特徴とする請求項8に記載の適応
的輪郭線符号化装置。
15. The inter-encoding unit predicts a front contour having the same data as the index data of the selection information based on the front contour information and the selection information for the entire front contour. A predicted current contour generating means that is selected and generated as a current contour, an overlapping means for generating the overlapping contour by superimposing the predicted current contour and the current contour, and Deviation information detection means for detecting deviation information representing a shape difference between the predicted current contour and the current contour, conversion means for converting the deviation information, the converted deviation information and the selection information And a contour line information generating means for generating the contour line information as the inter-encoded contour line information.
【請求項16】 前記偏差情報検出手段が、 前記現輪郭線の図心から複数の放射状の線分を引く線引
き手段と、 前記現輪郭線及び前記予測現輪郭線の各々に対して、前
記放射状の線分各々と前記両輪郭線との交点を検出する
交点検出手段と、 前記各線分上の前記両交点間の差分に基づいて、前記現
輪郭線の交点でのエラーを計算して前記偏差情報を発生
するエラー計算手段とを有することを特徴とする請求項
15に記載の適応的輪郭線符号化装置。
16. The deviation information detecting means, wherein: a drawing means for drawing a plurality of radial line segments from a centroid of the current contour; and a radial drawing means for each of the current contour and the predicted current contour. Intersection detection means for detecting an intersection between each line segment and the two contour lines; and calculating an error at the intersection of the current contour line based on a difference between the two intersection points on each of the line segments, and calculating the deviation information. 16. The adaptive contour coding apparatus according to claim 15, further comprising: an error calculating means for generating the following.
【請求項17】 前記エラーが、前記現輪郭線の図心
と前記予測現輪郭線の交点との間の距離から、前記現輪
郭線の図心と前記現輪郭線の交点との間の距離を減算す
ることによって求められることを特徴とする請求項16
に記載の適応的輪郭線符号化装置。
17. The distance between the centroid of the current contour and the intersection of the current contour is determined from the distance between the centroid of the current contour and the intersection of the predicted current contour. 17. The value obtained by subtracting
5. The adaptive contour coding device according to claim 1.
JP11200597A 1997-02-18 1997-04-30 Adaptive contour coding method and apparatus Expired - Fee Related JP3977893B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019970004873A KR100239308B1 (en) 1997-02-18 1997-02-18 Method and apparatus for adaptively coding contour of image signals
KR1997-4873 1997-02-18

Publications (2)

Publication Number Publication Date
JPH10240951A true JPH10240951A (en) 1998-09-11
JP3977893B2 JP3977893B2 (en) 2007-09-19

Family

ID=19497338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11200597A Expired - Fee Related JP3977893B2 (en) 1997-02-18 1997-04-30 Adaptive contour coding method and apparatus

Country Status (4)

Country Link
US (1) US5881174A (en)
JP (1) JP3977893B2 (en)
KR (1) KR100239308B1 (en)
GB (1) GB2322250B (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100463003B1 (en) * 1997-03-20 2005-06-01 주식회사 팬택앤큐리텔 Method for encoding contour of MPEG-4 VOP
KR100229546B1 (en) * 1997-04-11 1999-11-15 전주범 Method and apparatus for coding contour of video signals
JPH11187408A (en) * 1997-12-24 1999-07-09 Oki Electric Ind Co Ltd Dynamic image coder and its coding processing method
WO2000076555A1 (en) * 1999-06-11 2000-12-21 Pro Duct Health, Inc. Gel composition for filing a breast milk duct prior to surgical excision of the duct or other breast tissue
JP4224748B2 (en) * 1999-09-13 2009-02-18 ソニー株式会社 Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, recording medium, and image processing apparatus
IL134182A (en) 2000-01-23 2006-08-01 Vls Com Ltd Method and apparatus for visual lossless pre-processing
US6753929B1 (en) * 2000-06-28 2004-06-22 Vls Com Ltd. Method and system for real time motion picture segmentation and superposition
US20040131117A1 (en) * 2003-01-07 2004-07-08 Sheraizin Vitaly S. Method and apparatus for improving MPEG picture compression
US20050201470A1 (en) * 2004-03-12 2005-09-15 John Sievers Intra block walk around refresh for H.264
US7639892B2 (en) * 2004-07-26 2009-12-29 Sheraizin Semion M Adaptive image improvement
US7903902B2 (en) 2004-07-26 2011-03-08 Sheraizin Semion M Adaptive image improvement
US7526142B2 (en) * 2005-02-22 2009-04-28 Sheraizin Vitaly S Enhancement of decompressed video

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683952A (en) * 1992-09-01 1994-03-25 Kazuo Toraichi Device and method for inputting and outputting character data
JPH0746595A (en) * 1993-05-21 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> Moving image encoder and decoder
JPH08242453A (en) * 1994-12-29 1996-09-17 Daewoo Electron Co Ltd Movement vector presumption device
JPH08272958A (en) * 1995-03-20 1996-10-18 Daewoo Electron Co Ltd Outline approximation method
JPH08275180A (en) * 1994-12-29 1996-10-18 Daewoo Electron Co Ltd Contour encoding device
JPH08280030A (en) * 1994-12-29 1996-10-22 Hyundai Electron Ind Co Ltd Apparatus and method for compressing shape information inrimage equipment for each object and polygonal approximation method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0372779A (en) * 1989-08-11 1991-03-27 Fuji Photo Film Co Ltd Compander method for picture data
JPH04207788A (en) * 1990-11-30 1992-07-29 Sony Corp Band compression device
JPH0595540A (en) * 1991-09-30 1993-04-16 Sony Corp Dynamic picture encoder
KR100292138B1 (en) * 1993-07-12 2002-06-20 이데이 노부유끼 Transmitter and Receiver for Digital Video Signal
JP3612360B2 (en) * 1995-04-10 2005-01-19 株式会社大宇エレクトロニクス Motion estimation method using moving object segmentation method
US5706054A (en) * 1995-12-01 1998-01-06 Intel Corporation Method and apparatus for adjusting video data to limit the effects of automatic focusing control on motion estimation video coders

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683952A (en) * 1992-09-01 1994-03-25 Kazuo Toraichi Device and method for inputting and outputting character data
JPH0746595A (en) * 1993-05-21 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> Moving image encoder and decoder
JPH08242453A (en) * 1994-12-29 1996-09-17 Daewoo Electron Co Ltd Movement vector presumption device
JPH08275180A (en) * 1994-12-29 1996-10-18 Daewoo Electron Co Ltd Contour encoding device
JPH08280030A (en) * 1994-12-29 1996-10-22 Hyundai Electron Ind Co Ltd Apparatus and method for compressing shape information inrimage equipment for each object and polygonal approximation method
JPH08272958A (en) * 1995-03-20 1996-10-18 Daewoo Electron Co Ltd Outline approximation method

Also Published As

Publication number Publication date
GB9708212D0 (en) 1997-06-11
KR100239308B1 (en) 2000-01-15
GB2322250A (en) 1998-08-19
GB2322250B (en) 2001-07-18
JP3977893B2 (en) 2007-09-19
US5881174A (en) 1999-03-09
KR19980068346A (en) 1998-10-15

Similar Documents

Publication Publication Date Title
JP3725250B2 (en) Outline coding method
US5151784A (en) Multiple frame motion estimation
US5686973A (en) Method for detecting motion vectors for use in a segmentation-based coding system
JP3977494B2 (en) Outline coding device
JPH08275180A (en) Contour encoding device
JPS58197984A (en) Adaptive forecasting encoding device of television signal
JPH09179987A (en) Method and device for detecting motion vector
US5691769A (en) Apparatus for encoding a contour of an object
JP3977893B2 (en) Adaptive contour coding method and apparatus
KR19990074806A (en) Texture Padding Apparatus and its Padding Method for Motion Estimation in Parallel Coding
US5862261A (en) Current frame prediction method and apparatus for use in an image signal encoding system
KR100281464B1 (en) Sub-data encoding apparatus in object based encoding system
US5929917A (en) Method and apparatus for adaptively coding a contour of an object
US5774596A (en) Adaptive contour coding method for encoding a contour image in a video signal
JPH08275157A (en) Video signal encoding device
US6058213A (en) Method and apparatus for encoding a binary shape signal
US6011588A (en) Method and apparatus for coding a contour of an object employing temporal correlation thereof
JPH01179584A (en) Method for searching motion compensating dynamic vector
US5896467A (en) Method and apparatus for encoding a contour image of an object in a video signal
JPH09261660A (en) Contour line encoding method and contour line encoder
EP0858226B1 (en) Method and apparatus for encoding a contour of an object by using a vertex inserting technique
JP3766686B2 (en) Coder for TV image subband compatible coding.
KR100490730B1 (en) Method and apparatus for motion estimation using of adaptive search pattern for video sequence compression
JP6872412B2 (en) Video coding device and program
Song et al. A rate-constrained fast full-search algorithm based on block sum pyramid

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees