KR100237359B1 - Apparatus and method for shape-adaptive encoding image signal - Google Patents

Apparatus and method for shape-adaptive encoding image signal Download PDF

Info

Publication number
KR100237359B1
KR100237359B1 KR1019960048273A KR19960048273A KR100237359B1 KR 100237359 B1 KR100237359 B1 KR 100237359B1 KR 1019960048273 A KR1019960048273 A KR 1019960048273A KR 19960048273 A KR19960048273 A KR 19960048273A KR 100237359 B1 KR100237359 B1 KR 100237359B1
Authority
KR
South Korea
Prior art keywords
scan
unit
dct
zigzag
coefficient
Prior art date
Application number
KR1019960048273A
Other languages
Korean (ko)
Other versions
KR970025180A (en
Inventor
천승문
이진학
문주희
박광훈
김재균
Original Assignee
김영환
현대전자산업주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김영환, 현대전자산업주식회사 filed Critical 김영환
Publication of KR970025180A publication Critical patent/KR970025180A/en
Application granted granted Critical
Publication of KR100237359B1 publication Critical patent/KR100237359B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]

Abstract

본 발명은 모양적응형 영상신호 부호와 장치에서 모양적응형 DCT 변환 후 변환된 블럭의 SA-DCT계수를 지그재그스캔할때 블럭내의 모든 계수에 대해서 스캔하는 대신 SA-DCT계수가 존재하는 부분만 스캔하는 것을 특징으로 하는 모양 적응형 영상신호 부호화용 지그재그스캔 장치 및 방법으로, SA-CDT 변환된 블럭의 SA-DCT계수를 지그재그스캔할 때 계수가 없는 부분은 스킵하고 스캔하므로 VLC 에서 발생빈도에 따라 정확한 비트를 할당하게 함으로써 코딩데이터를 줄일 수 있는 획기적인 스캔기술이다.When SA-DCT coefficients of shape-adaptive DCT coefficients are transformed into shape-adaptive DCT coefficients in a device, the SA-DCT coefficients are not scanned for all coefficients in a block when zigzag scanning is performed, Wherein the SAW-DCT coefficients of the SA-CDT transformed block are skipped and scanned when the SAW-DCT coefficients are zigzag-scanned. Therefore, according to the frequency of occurrences in the VLC, It is a breakthrough scanning technology that can reduce coding data by allocating the correct bits.

Description

모양 적응형 영상신호 부호화 장치 및 방법Apparatus and method for shape adaptive video signal coding

제1도는 종래의 지그재그스캔 설명도.FIG. 1 is an explanatory diagram of a conventional zigzag scan. FIG.

제2(a)도는 일반적인 프레임 그리드 설명도.Fig. 2 (a) is a general frame grid explanatory diagram.

제2(b)도는 제2(a)도의 단위 블럭 설명도.Fig. 2 (b) is an explanatory view of a unit block of Fig. 2 (a). Fig.

제3(a)∼3(f)도는 일반적인 모양 적응형 DCT 변환 설명도.Figs. 3 (a) to 3 (f) illustrate general shape adaptive DCT transform diagrams. Fig.

제4도는 본 발명의 지그재그스캔 설명도.FIG. 4 is an explanatory view of a zigzag scan according to the present invention; FIG.

제5도는 종래의 모양적응형 영상신호 부호화 장치 구성도.FIG. 5 is a block diagram of a conventional shape adaptive video signal encoding apparatus.

제6도는 본 발명의 모양적응형 영상신호 부호화 장치 구성도.FIG. 6 is a block diagram of a shape adaptive video signal encoding apparatus according to the present invention; FIG.

제7(a)도는 본 발명에 사용되는 부호화될 물체블럭의 예시도.Figure 7 (a) is an illustration of an object block to be encoded used in the present invention.

제7(b)도는 본 발명에 사용되는 SA-DCT계수블럭의 예시도.7 (b) is an illustration of an SA-DCT coefficient block used in the present invention.

제7(c)도는 본 발명에 사용되는 SA-DCT계수 모양 마스크 예시도 이다.7 (c) is an illustration of an SA-DCT coefficient shape mask used in the present invention.

본 발명은 모양 적응형 DCT변환(SA-DCT)후 변환된 물체(object) 블럭의 양자화 SA-DCT 계수를 지그재그스캔할때 양자화된 SA-DCT 계수가 존재하는 부분만 스캔하는 방식을 사용한 모양 적응형 영상신호 부호화 장치 및 방법에 관한 것이다.The present invention relates to a shape adaptation method using a method of scanning only a portion where quantized SA-DCT coefficients exist when zigzag scanning quantized SA-DCT coefficients of an object block after shape adaptive DCT (SA-DCT) Type video signal encoding apparatus and method.

일반적으로 비디오폰, 영상회의등을 ISDN양을 이용하여 제공하는 H.261 과 공중전화망(PSTN)을 이용한 비디오폰 서비스를 위한 H.263등이 세계 표준화 되었다.In general, H.261, which provides video phones and video conferencing using ISDN quantities, and H.263, a video phone service using public switched telephone network (PSTN), have been standardized globally.

이렇게 비디오폰과 같이 저속의 동영상을 제공하는 상기 H.261 및 H.263은 화상의 품질이 저하되어 이의 고급화가 요망되고 있다.As described above, H.261 and H.263, which provide a low-speed moving picture such as a video phone, have been degraded in image quality and are demanded to be enhanced.

한편 동화상 관련 기술은 DSM(Digital Storage Media)을 위한 MPEG1, DSM, HDTV, STV등을 위한 MPEG2 등이 세계 표준화되었다.On the other hand, video-related technologies have been standardized around the world, such as MPEG1 for DSM (Digital Storage Media), MPEG2 for DSM, HDTV, and STV.

또한 모양 적응형 영상신호 부호화를 할 때 영상 신호를 부호화해야할 물체(object) 영역과 배경과같이 부호화할 필요없는 영역으로 구분 할 수 있다.Also, when the shape adaptive video signal coding is performed, the video signal can be divided into an object area to be encoded and a non-coding area such as a background.

제2도는 한 프레임 그리드(31)에서 하나의 단위 블럭(33)과의 관계를 나타낸 것으로 제2(a)도는 그리드 시작 위치점이 ×=0, Y=0인 프레임 그리드를 나타낸 것이고, 제2(b)도는 하나의 단위 블럭을 확대하여 나타낸 것으로, 하나의 단위 블럭을 x축으로 8번, Y축으로 8번 분할된 상태를 도시한 것으로서, 분할된 입자를 화소(34; Pixel)라 한다. 단위 블럭(33)은 화소수에 따라 M×N 블럭으로 구성된다. 따라서 제2(b)도는 8×8 블럭이 되는 것이다.2 shows a relationship between one frame block 31 and one unit block 33. FIG. 2 (a) and FIG. 2 (b) show a frame grid with a grid start position point x = 0 and Y = b) shows an enlarged view of one unit block, in which one unit block is divided 8 times in the x-axis and 8 times in the y-axis, and the divided particles are referred to as pixels 34 (pixels). The unit block 33 is composed of M × N blocks according to the number of pixels. Therefore, the second (b) block becomes an 8x8 block.

종래에 물체를 부호화하기 위한 기법으로 사용되는 모양 적응형 기법은 1994년 7월 엠팩94 회의에서 토마스 시코라(Thomas Sikora)와 베라 마카이(Bela Maka)에 의해 “비디오코딩용 모양 적응형 DCT”(Shape-Adaptive DCT for Generic Coding of Video)를 제목으로 제안된 팜플렛을 제3도를 참고하여 살펴보기로 한다. 여기서는 프레임 그리드는 8×8 블럭을 가지며, 블럭안에 부호화해야 할 물체 영역이 모두 채워지면 2차원 DCT(Discrete Cosine Transform ; 이산 코사인 변환)와 부호화 효율이 같고, 모두 채워지지 않을 때에는 해당되는 부호화해야 할 물체의 모양 부분만 수직방향으로 1차원 DCT를 하고, 다시 가로방향으로 1차원 DCT한다.A shape adaptive technique which is conventionally used as a technique to encode an object is disclosed in "Adaptive DCT for Video Coding" by Thomas Sikora and Bela Maka at MPAK 94, July 1994 Shape-Adaptive DCT for Generic Coding of Video) will be described with reference to FIG. Here, the frame grid has an 8x8 block. When all the object areas to be encoded in the block are filled, the coding efficiency is the same as that of the 2D DCT (Discrete Cosine Transform). If all of the object areas are not filled, The one-dimensional DCT is performed in the vertical direction only on the shape portion of the object, and the one-dimensional DCT is further performed in the horizontal direction.

이러한 종래 기술을 제3(a)도∼제3(f)도를 참고하여 설명하기로 한다. 제3(a)도에서, 8×8 블럭내에 부호화해야 할 물체 영역이 도시되어 있다.This conventional technique will be described with reference to FIGS. 3 (a) through 3 (f). In Fig. 3 (a), an object area to be coded is shown in an 8x8 block.

상기 부호화해야 할 물체를 모양 적응형 DCT 부호화 하기 위해 먼저 제3(b)도에서 보듯이 블럭의 위쪽 경계에 채워놓고 수직 방향으로, 1차원 DCT 부호화를 한다.In order to perform shape adaptive DCT coding on the object to be encoded, first one-dimensional DCT coding is performed in the vertical direction by filling the upper boundary of the block as shown in FIG. 3 (b).

제3(c)도의 검은 원은 수직 방향 1차원 DCT의 DC값을 나타낸 것이다. 이 상태에서 수직방향 1차원 DCT를 완료시킨다(제3(d)도).The black circle in Fig. 3 (c) shows the DC value of the one-dimensional DCT in the vertical direction. In this state, the vertical one-dimensional DCT is completed (Fig. 3 (d)).

이렇게 수직방향 1차원 DCT를 완료시키면, 제3(e)도와 같이, 다시 블럭의 왼쪽 경계에 채워 넣고 수평 방향으로 1차원 DCT 부호화시킨다.When the vertical one-dimensional DCT is completed in this manner, the left boundary of the block is filled again and the one-dimensional DCT coding is performed in the horizontal direction as in the third (e).

수평방향 1차원 DCT를 완료시키면, 결국 수직방향 및 수평방향 1차원 모양 적응형 DCT가 완료된다(제3(f)도).Once the horizontal one-dimensional DCT is completed, the vertical direction and horizontal one-dimensional shape adaptive DCT are completed (Fig. 3 (f)).

최종 형태인 SA-DCT 계수로 형성된 제3(f)도를 가지고 제1도의 순서와 같이 지그재그스캔(Zigzag scan)을 한다.Zigzag scan is performed as in the order of FIG. 1, with the third (f) diagram formed by the final SA-DCT coefficient.

즉, 블럭지향부호화를 사용하는 MPEG-1, MPEG-2, JPEG, H.261, H.263등을 기존의 표준에서는 DCT후 가변길이 부호화(Variabld length coding)를 위해서 제1도와 같은 지그재그스캔 방식을 사용한다.That is, in the conventional standards, MPEG-1, MPEG-2, JPEG, H.261 and H.263 using block-oriented coding are used for variable length coding after DCT, Lt; / RTI >

이와같이 모양 적응형 DCT변환과 지그재그스캔은 제5도와 같이 예시할 수 있는바 부호화단위인 M×N블럭내부에서 부호화되어야할 물체정보가 물체영역이 아닌 부분과 함께 존재하는 제7(a)도와 같은 영상정보(image information) ⓐ를 모양적응DCT부(10)의 입력단(a1)에서 제공받아 SA-DCT변환하여 제7(b)도와 같은 변환계수를 수득하고, 모양 적응 DCT부(10)의 출력단(a2)을 통해 양자화기(11)의 입력단(b1)에 제공하고, 양자화기(11)에서 양자화 시킨 것을 제1도와 같은 순서대로 스캔 수행부(12)에서 스캔한다.The shape adaptive DCT transform and the zigzag scan can be exemplified as the fifth embodiment. As shown in FIG. 7 (a), in which object information to be encoded within an M × N block as a coding unit coexists with a non- The image information a is supplied at the input terminal a1 of the shape adaptive DCT unit 10 and SA-DCT transformed to obtain a transform coefficient as shown in Fig. 7 (b). The output of the shape adaptive DCT unit 10 is supplied to the input terminal b1 of the quantizer 11 through the a2 and quantized by the quantizer 11 is scanned by the scan performing unit 12 in the same order as in the first aspect.

상기에서 스캔 수행부(12)는 스캔시 변환계수가 없는 부분을 “0”으로 세팅하여 변환계수의 존재 유무에 관게없이 설정 스캔 수순(예를 들어 1부터 64까지)에 따라 차례로 수행한다.In this case, the scan performing unit 12 sets the portion having no conversion coefficient at the time of scanning to " 0 " and sequentially performs the setting scanning procedure (e.g., 1 to 64) regardless of the presence or absence of the conversion coefficient.

스캔한 정보는 가변길이 부호화(13)에서 정보가 가변되어 버퍼(14)에 저장된 다음 전송단으로 제공된다.The scanned information is supplied to the next transmission stage which is variable in the variable length coding 13 and stored in the buffer 14. [

이때 버퍼(14)의 충만도는 버퍼제어부(15)에서 인식하고, 버퍼 제어부(15)는 요구되는 전송물과 영상품질을 유지시키도록 양자화기(11)의 제어입력단(b2)을 통해 제어한다.At this time, the fullness of the buffer 14 is recognized by the buffer control unit 15, and the buffer control unit 15 controls the control unit b2 of the quantizer 11 to maintain the required transmission and image quality .

상기 가변길이 부호화부(13)는 스캔 수행부(12)에서 출력되는 SA-DCT변환계수만을 입력으로 하여 그 입력값들에서 일어나는 이벤드(EMENT)에 따라 가변 길이 부호화부(13)의 정해진 VLC테이블(VLC TABLE) 값들을 출력한다.The variable length coding unit 13 receives only the SA-DCT transform coefficients output from the scan performing unit 12 and outputs the SAFT coefficients to the VLC unit 13 of the variable length coding unit 13 according to an event EMENT occurring in the input values. And outputs table (VLC TABLE) values.

이때 이벤트의 종류는 지그재그스캔시 마지막 변환계수인지 아닌지를 표시하는 라스트(LAST)와 지그재그스캔시 “0”이 아닌 계수부터 다음 “0”이 아닌 계수가 나타날 때까지 변환계수값이 “0”인 계수 갯수를 나타내는 런(RUN)과 “0”다음에 나타나는 “0”가 아닌 계수값을 나타내는 레벨(LEVEL)로 이루어진다.At this time, the type of the event is the last (LAST) indicating whether or not the last conversion coefficient in the zigzag scan and the last (LAST) indicating whether or not the conversion coefficient value is "0" (RUN) indicating the number of coefficients and a level (LEVEL) indicating a coefficient value that is not "0" appearing after "0".

이렇게 구성된 이벤트에 대해 발생확률이 높은 이벤트에 대해서는 작은 비트를 할당하고, 발생확률이 낮은 이벤트에 대해서는 많은 비트를 할당하여 각 이벤트에 대해 가변길이의 비트값으로 정해둔 VLC 테이블(VLC TABLE)값들을 출력으로 한다.A small bit is assigned to an event having a high probability of occurrence of the event, and a VLC table value set to a variable-length bit value for each event is allocated to a low-probability event. Output.

예를 들어, H.263에서 사용하는 VLC테이블을 일부 참조하면 다음 표 1과 같다.For example, some reference to the VLC table used in H.263 is shown in Table 1 below.

[표 1][Table 1]

가변길이 부호화기의 입력값이…×01…가 되었을 때,(×는 “0”이 아닌 계수값을 의히한다.) 런(RUN)이 “1”, 라스트(LAST)가 “0”, 레벨(LEVEL)이 “1”인 이벤트가 발생한 것이 되고, 1100로 4비트의 값이 출력된다.The input value of the variable length encoder is ... × 01 ... (X is a count value that is not "0"). An event with run (RUN) of "1", last (LAST) of "0" and level of LEVEL of "1" And a value of 4 bits is output at 1100.

하지만, 스캔 수행부(12)에서 존재하지 않는 부분을 “0”로 두어 스캔하게 되면, “…×001…이나 …×0001… 등 불필요한 “0”가 추가되어 라스트와 레벨에는 변화가 없으나 런이 2, 3으로 변화된 이벤트가 발생하게 된다. 이때, 가변길이 부호화기의 출력은 11100, 011010으로 5비트, 6비트가 할당되게 된다.However, if the scan execution unit 12 scans a portion that does not exist as " 0 ", " × 001 ... or … × 0001 ... And an unnecessary " 0 " are added to the event. At this time, the output of the variable length encoder is 11100, 011010, and 5 bits and 6 bits are allocated.

이와같이 불필요한 “0”값 계수들이 첨가됨으로 인해 런값이 증가한 이벤트로 되어 불필요한 비트가 할당되는 것이다.By adding unnecessary " 0 " value coefficients in this manner, an event in which the run value is increased becomes an unnecessary bit is allocated.

본 발명은 이를 해소키위한 것으로, 모양 적응형 부호화를 위해 모양 적응형 DCT변환에 따른 SA-DCT계수를 스캔할때 SA-DCT계수가 존재하는 부분만 스캔하는 장치 및 방법을 제공함을 특징으로 한다.The present invention provides an apparatus and method for scanning only a portion where an SA-DCT coefficient exists when scanning SA-DCT coefficients according to shape adaptive DCT transform for shape adaptive coding .

즉, 본 발명은 모양적응형 영상신호 부호화용 지그재그스캔 장치에서, 모양적응형 DCT부에서 출력되는 변환계수를 제공받아 계수가 존재하는 부분과 존재하지 않는 부분으로 구분하고, 존재하는 부분은 기존의 지그재그스캔순서에 따라 스캔하고, 존재하지 않을 시는 스캔 순서에서 제외시켜 스킵하도록 제어하는 지그재그스캔 제어수단; 변환계수를 양자화한 양자화 계수들을 지그재그스캔시 상기 지그재그스캔 제어수단의 스킵신호가 있으면 스캔순서에서 제외시켜 스킵하면서 스캔하는 지그재그스캔수행부를 포함하여 이루어진 모양적응형 영상신호 부호화용 지그재그스캔 장치를 제공하려는 것이다.That is, according to the present invention, in a zigzag scanning apparatus for shape adaptive video signal coding, a transform coefficient output from the shape adaptive DCT unit is provided to divide a coefficient into a non-existent portion and a non-existent portion, A zigzag scanning control means for controlling the scanning in accordance with a zigzag scanning order and skipping the scanning order when it does not exist; And a zigzag scan performing unit for skipping the quantization coefficients obtained by quantizing the transformation coefficients by excluding the skip signals of the zigzag scan control unit from the scan order when the zigzag scan control unit has a skip signal when the zigzag scan is performed, thereby providing a zigzag scan apparatus for shape adaptive video signal encoding will be.

상기 지그재그스캔 제어수단은 변환계수가 존재하는 부분과 존재하지 않는 부분으로 구분한 SA-DCT계수 모양 마스크를 형성하는 SA-DCT계수 모양 마스크형성부와; 마스크 내부에 존재하지 않는 부분으로 플랙(Flag)된 부분은 지그재그스캔 수행부에서 지그재그스캔시 스캔순서에서 제외시켜 스킵하도록 스킵신호를 발생시키는 지그재그스캔 제어유니트로 이루어진다.Wherein the zigzag scan control means comprises: an SA-DCT coefficient shape mask forming unit for forming an SA-DCT coefficient shape mask divided into a part in which a transform coefficient exists and a part in which no transform coefficient exists; And a zigzag scan control unit for generating a skip signal so that the zigzag scan performing unit skips the scan order in the scan order when the zigzag scan is performed.

즉 본 발명은 또한 모양 적응형 DCT 변환후 변환된 블럭의 SA-DCT계수를 지그재그스캔함에 있어서, 블럭내의 모든 부분에 대해서 스캔하는 대신 SA-DCT 계수가 존재하는 부분만 스캔하는 모양 적응형 지그재그스캔 방법을 제공하려는 것이다.That is, according to the present invention, in the zigzag scan of the SA-DCT coefficients of the transformed block after the shape adaptive DCT, the shape adaptive zigzag scan in which only the portion in which the SA- Method.

본 발명을 또한 SA-DCT계수가 있는 부분과 없는 부분을 구분하는 과정과; 상기 구분관정에 따른 구분값에 의해 양자화된 SA-DCT계수가 있는부분만 부분 스캔하는 과정을 포함하며; 상기 부분스캔과정은, 양자화된 SA-DCT계수가 있는 부분은 기존의 지그재그 스캔순서에 따라 스캔하는 과정과, 양자화된 SA-DCT계수가 없는 부분은 스캔을 스킵 하는 과정으로 이루어짐을 특징으로 하는 모양적응형 영상신호 부호화 방법을 제공하려는 것이다.The present invention also relates to a method of separating a portion having a SA-DCT coefficient from a portion having no SA-DCT coefficient; And performing a partial scan of only a portion of the SA-DCT coefficient quantized by the segment value according to the classification rule; Wherein the partial scan process includes scanning a portion having quantized SA-DCT coefficients according to a conventional zigzag scan sequence, and skipping a portion having no quantized SA-DCT coefficient. And to provide an adaptive video signal encoding method.

본 발명을 또한 SA-DCT계수를 양자화 시키고 이를 지그재그 스캔하여 부호화 시키는 모양적응형 영상신호 부호화 방법에서, 변환된SA-DCT계수가 있는지의 여부를 판단하는 과정과; 상기 판단과정 에서의 계수값이 있는지의 여부에 따라 바이너리 마스크를 만드는 과정과; SA-DCT계수를 양자화 시키는 과정과; 이를 지그재그 스캔하는 과정과; 상기 스캔된 계수와 상기 바이너리 마스크를 비교하여 계수값이 없는 부분은 스캔출력을 스킵토록 스위칭 제어하는 과정과, 상기 스캔된 계수와 상기 바이너리 마스크를 비교하여 계수값이 있는 부분은 스캔출력을 제공토록 스위칭제어하는 과정으로 이루어지는 스위칭과정과; 상기 스위칭 과정에 따라 스캔되는 계수에 의해서만 가변길이 부호화 시키는 과정을 수행하는 것을 특징으로 하는 모양적응형 영상신호 부호화 방법을 제공하려는 것이다.According to another aspect of the present invention, there is provided a shape adaptive image signal coding method for quantizing SA-DCT coefficients and zigzag scanning the quantized SA-DCT coefficients, the method comprising the steps of: Generating a binary mask according to whether a coefficient value is present in the determination process; Quantizing SA-DCT coefficients; Zigzag scanning this; Comparing the scanned coefficient with the binary mask and controlling switching of a portion having no coefficient value to skip a scan output; comparing the scanned coefficient with the binary mask to provide a scan output; A switching step of controlling a switching operation; And performing a variable length coding only on the coefficients scanned according to the switching process.

이하 도면을 참조하여 본 발명을 상세히 설명하면 다음과 같다.Hereinafter, the present invention will be described in detail with reference to the drawings.

제6도는 본 발명의 스캔장치도로, 모양 적응형 영상신호 부호화용 지그재그스캔 장치에서, 모양 적응형 DCT부(10)에서 출력되는 변환계수를 제공받아 계수가 존재하는 부분과 존재하지 않는 부분으로 구분하고, 존재하는 부분은 기존의 지그재그스캔순서에 따라 스캔하고, 존재하지 않을 시는 스캔 순서에서 제외시켜 스킵하도록 제어하는 지그재그스캔 제어수단(100)과; 변환계수를 양자화한 양자화 계수들을 지그재그스캔시, 상기 지그재그스캔 제어수단(100)의 스킵신호에 연동하여 스캔순서에서 제외시켜 스킵하면서 스캔하는 지그재그 스캔수행부(200)를 포함하여 이루어진다.FIG. 6 is a diagram illustrating a zigzag scan apparatus for a shape-adaptive image signal coding apparatus according to the present invention. FIG. A zigzag scan control unit (100) for controlling the existing part to skip according to a conventional zigzag scan order, and skip the existing part if not present, and skip the scan order; And a zigzag scan performing unit 200 skipping the quantization coefficients obtained by quantizing the transform coefficients in a scan order by interlocking with the skip signal of the zigzag scan control means 100 during a zigzag scan.

상기 지그재그스캔제어수단(100)은 변환계수가 존재하는 부분과 존재하지 않는 부분으로 구분한 SA-DCT계수 모양 마스크를 형성하는 SA-DCT계수 모양 마스크 형성부(110)와; 마스크 내부에 존재하지 않는 부분으로 플랙(Flag)된 부분은 지그재그스캔 수행부(200)에서 지그재그스캔시 스캔순서에서 제외시켜 스킵하도록 스킵신호를 발생시키는 지그재그스캔 제어 유니트(120)로 이루어짐이 바람직하다. 이때 상기 모양 마스크(shape mask) 정보는 영상 목적화면(video object plane ; VOP) 부호화 과정의 모양 부호화 (shape coding) 데이타에 의해 복호기 (decoder)로 전송된다.The zigzag scan control means 100 includes an SA-DCT coefficient mask forming unit 110 for forming an SA-DCT coefficient shape mask divided into a portion in which a transform coefficient exists and a non-exist portion; It is preferable that the zigzag scan control unit 120 generates a skip signal so that the zigzag scan performing unit 200 skips the scan order in the scan order and skips the scan order in the zigzag scan performing unit 200 . At this time, the shape mask information is transmitted to a decoder by shape coding data of a video object plane (VOP) coding process.

상기 지그재그스캔 수행부(200)는 SA-DCT 변환된 계수를 지그재그스캔하는 스캔 수행부(12)와, 지그재그스캔 제어 유니트(120)의 스킵 신호 입력시 스캔 수행부(12)에서 스캔된 정보의 제공을 스킵토록 스위칭하는 스위칭부(210)로 이루어진다.The zigzag scan performing unit 200 includes a scan performing unit 12 for zigzag scanning SA-DCT-transformed coefficients and a scan executing unit 12 for performing scan control of the scanned information from the scan performing unit 12 upon input of a skip signal of the zigzag scan control unit 120. [ And a switching unit 210 for skipping provision.

이와 같이 구성한 본 발명의 동작을 설명한다.The operation of the present invention constructed as described above will be described.

부호화 단위인 M×N블럭 내부에서 부호화 되어야할 물체(Object)정보가 물체 영역이 아닌 부분의 영상 정보와 함께 존재하는 M×N블럭이 제7(a)도 상태(8×8블럭을 예시함)라 가정한다.An M × N block in which object information to be encoded within an M × N block, which is a coding unit, exists together with image information of a portion that is not an object region is shown in a state (an 8 × 8 block) ).

이러한 제7(a)도 상태와 같은 물체 정보가 제6도의 모양 적응형 DCT부(10)의 입력단에 입력되면 통상의 모양 적응형(Shape adaptive) DCT 변환되어 제7(b)도와 같은 모양 적응형 DCT 계수 블럭이 제6도와 같이 모양 적응형 DCT부(10)의 출력단(a2)으로 출력된다.When the object information such as the state shown in FIG. 7 (a) is input to the input terminal of the shape adaptive DCT unit 10 of FIG. 6, the shape adaptive DCT transform is performed and the shape adaptation Type DCT coefficient block is output to the output terminal a2 of the shape adaptive DCT unit 10 as shown in FIG.

이렇게 출력된 SA-DCT 계수 블럭은 양자화기(11)의 입력단(b1)을 통해 입력되고, 양자화기(11)에서 양자화된 계수 블럭(양자화 과정)은 지그재그스캔 수행부(200)의 스캔 수행부(12)에서 제1도와 같은 통상의 지그재그스캔을 수행한다(지그재그 스캔과정).The SA-DCT coefficient block thus outputted is input through the input terminal b1 of the quantizer 11 and the quantized coefficient block (quantization process) in the quantizer 11 is input to the scan execution unit 200 of the zigzag scan execution unit 200. [ (Zigzag scanning process) is performed in step S12.

한편 제7(b)도와 같은 상기 DCT 계수 블럭은 지그재그스캔 제어 수단(100)의 SA-DCT계수 모양 마스크 형성부(110)에서 제7(c)도와 같이 계수가 존재하는 부분(검은 부분)과 계수가 존재하지 않는 부분(하얀 부분)을 표시하는 SA-DCT 계수 모양 마스크를 형성한다. 이는 계수가 존재하는 부분은 예를 들어 “1”(또는 “0”), 계수가 존재하지 않는 부분은 “0”(또는“1”)으로 구분하여 형성 가능하다(판단과정 & 바이너리(binary) 마스크 형성과정).On the other hand, the DCT coefficient block as shown in FIG. 7 (b) corresponds to the portion (black portion) in which coefficients exist in the SA-DCT coefficient mask forming unit 110 of the zigzag scan control means 100 as shown in FIG. And forms an SA-DCT coefficient shape mask indicating a portion (white portion) in which no coefficient exists. This can be formed by dividing the portion where the coefficient exists, for example, by "1" (or "0") and the portion where the coefficient does not exist by "0" Mask formation process).

상기 SA-DCT 게수 모양 마스크 형성부(110)에 의한 SA-DCT 계수 모양 마스크 출력은 출력단(a3)을 통해 지그재그스캔 제어 유니트(120)에 인가되고, 지그재그스캔 제어 유니트(120)는 상기 지그재그스캔 수행부(200)의 스위칭부(210)를 제어한다.The SA-DCT coefficient shape mask output by the SA-DCT gain mask forming unit 110 is applied to the zigzag scan control unit 120 through the output stage a3, and the zigzag scan control unit 120 performs the zigzag scan And controls the switching unit 210 of the execution unit 200.

즉 지그재그스캔 제어 유니트(120)는 SA-DCT 계수 모양 마스크 형성부(110)의 출력단(a3)을 통한 출력이 제4도와 같은 형태를 이룬다할 때 계수 블럭(a-i)에 해당하는 스캔 시점마다 출럭단(a4)을 통해 스위칭부(210)를 오프시켜 스캔 수행부(12)의 해당 스캔 계수의 출력이 스킵되도록 한다(스위칭 과정).That is, when the output through the output terminal a3 of the SA-DCT coefficient mask forming unit 110 has the same shape as that of the fourth step, the zigzag scan control unit 120 outputs the scan signal at every scan time corresponding to the coefficient block (ai) The switching unit 210 is turned off through the latch a4 to skip the output of the scan coefficient of the scan performing unit 12 (switching process).

즉, 제1도에 보인 바와 같은 시팍셜 스캔은 계수가 존재하는 것에 상관 없이 스캔하였으나, 본 발명의 경우 지그재그스캔 제어 수단(100)의 지그재그스캔 제어 유니트(120)에서 강제로 계수가 없는 부분의 출력 시점은 스위칭부(210)를 오프시켜 출력을 차단시키고, 이에 따라 계수가 있는 부분만 가변 길이 부호화부(13)로 인가되게 함으로써 발생빈도에 따른 정확한 비트 할당(adaptive bit allocation)으로 가변길이 부호화부(13)의 데이타량을 감소시켜 전송시의 데이타량을 줄일 수 있다.That is, in the case of the present invention, the scan scan control unit 120 of the zigzag scan control unit 100 scans a portion of the portion without the coercive force, At the output time point, the switching unit 210 is turned off to cut off the output, so that only the portion having the coefficient is applied to the variable length coding unit 13, whereby the variable length coding is performed with an accurate bit allocation according to the occurrence frequency The amount of data at the time of transmission can be reduced by reducing the amount of data of the unit 13.

즉, 본 발명은 변환계수가 존재하지 않는 부분은 스킵하고, 변환 계수가 존재하는 부분만 스캔하고, 이에따라 가변길이 부호화부(13)에서는 입력되는 계수를 이벤트로하여 라스트, 런, 레벨로 구분하여 비트 할당을 하는데, 본 발명에서 지그재그스캔시 계수가 없는 부분을 스킵하면 결국 “0”값 계수가 줄어들어 불필요한 런값을 계산하지 않게 되고, 이로인해 불필요한 비트 전송을 억제하게 되며, 대신 영상 화질의 향상을 위해 여유비트를 사용할 수 있게 됨으로써 저전송의 영상 서비스의 품질향상에 기여할 수 있다(부호화 과정).That is, according to the present invention, only the part where the transform coefficient is present is skipped and the part where the transform coefficient does not exist is scanned. Thus, the variable length coding unit 13 divides the input coefficient into the last, run, In the present invention, when a portion without a coefficient is skipped in a zigzag scan according to the present invention, a value coefficient of " 0 " is reduced and unnecessary run values are not calculated. As a result, unnecessary bit transmission is suppressed. It is possible to use the extra bits for the low transmission rate (coding process).

이상과 같이 본 발명은 모양적응형 영상신호 부호화 장치에서 모양 적응형 DCT 변환된 블럭의 SA-DCT계수를 지그재그스캔할때 계수가 없는 부분은 스킵하고 스캔하므로 가변길이 부호화기에서는 발생빈도에 따른 정확한 비트 할당으로 코딩데이타를 줄일수 있도록하는 모양적응형 영상신호 부호화 장치 및 방법이다.As described above, according to the present invention, when a SA-DCT coefficient of a shape adaptive DCT transformed block is zigzag scanned in a shape adaptive DCT unit, a coefficientless portion is skipped and scanned, Thereby reducing the amount of coding data.

Claims (10)

모양적응형(Shape-Adaptive) 영상신호 부호화 장치에서, 모양 적응형 DCT부(10)에서 출력되는 변환계수를 제공받아 변환 계수가 존재하는 부분과 존재하지 않는 부분으로 구분하고, 존재하는 부분은 기존의 지그재그스캔 순서에 따라 스캔하고, 존재하지 않은 부분은 스캔순서에서 제외시켜 스킵하도록 제어하는 지그재그스캔 제어수단(100)과; 변환계수를 양자화한 양자화 계수들을 지그재그스캔시, 상기 지그재그스캔 제어수단(100)의 스킵 신호에 연동하여 스캔순서에서 제외시켜 스킵하면서 스캔하는 지그재그스캔 수행부(200)를 포함하여 이루어짐을 특징으로 하는 모양 적응형 영상신호 부호화 장치.In a shape-adaptive image signal coding apparatus, a transform coefficient output from the shape adaptive DCT unit 10 is divided into a portion in which a transform coefficient exists and a portion in which a transform coefficient exists, A zigzag scanning control unit (100) for controlling the scanning unit to scan in accordance with a zigzag scanning order of the scanning unit; And a zigzag scan performing unit 200 skipping the quantization coefficients obtained by quantizing the transform coefficients in a scan order by interlocking with the skip signal of the zigzag scan control means 100 and skipping the scan quantities during a zigzag scan. Shape adaptive video signal coding apparatus. 제1항에 있어서, 상기 지그재그스캔제어수단(100)은 변환계수가 존재하는 부분과 존재하지 않는 부분으로 구분한 SA-DCT계수 모양 마스크를 형성하는 SA-DCT 계수 모양 마스크 형성부(110)와; 마스크 내부에 존재하지 않는 부분으로 플랙(flag)된 부분은 지그재그스캔 수행부(200)에서 지그재그스캔시 스캔순서에서 제외시켜 스킵하도록 스킵신호를 발생시키는 지그재그스캔 제어 유니트(120)로 이루어짐을 특징으로하는 모양 적응형 영상신호 부호화 장치.The apparatus of claim 1, wherein the zigzag scan control means (100) comprises an SA-DCT coefficient mask forming unit (110) for forming an SA-DCT coefficient shape mask divided into a part in which a transform coefficient exists and a part in which no transform coefficient exists, ; And a zigzag scan control unit 120 for generating a skip signal so as to skip the scan flag in the scan order when the zigzag scan performing unit 200 scans the zigzag scan unit, Shaped adaptive video signal encoding apparatus. 제1항에 있어서, 상기 지그재그스캔 수행부(200)는 SA-DCT변환된 계수를 지그재그스캔하는 스캔 수행부(12)와, 지그재그스캔 제어유니트(120)의 스킵 신호 입력시 스캔 수행부(12)에서 스캔된 정보의 제공을 스킵토록 스위칭 하는 스위칭부(210)로 이루어짐을 특징으로하는 모양 적응형 부호화 장치.The apparatus of claim 1, wherein the zigzag scan performing unit includes a scan performing unit for performing a zigzag scan of SA-DCT-converted coefficients, a scan executing unit for performing a skip signal input of the zigzag scan controlling unit, And a switching unit (210) for skipping the provision of the scanned information in the scanning unit (210). 모양적응형(Shape-Adaptive) 영상신호 부호화 장치에서, 모양적응형 DCT부(10)에서 출력되는 변환계수를 제공받아 변환 계수가 존재하는 부분과 존재하지 않는 부분으로 구분하고, 존재하는 부분은 기존의 지그재그스캔 순서에 따라 스캔하고, 존재하지 않은 부분은 스캔 순서에서 제외시켜 스킵하도록 제어하는 지그재그스캔 제어수단(100)과; DCT부(10)의 변환계수를 양자화 시켜는 양자화기(11)와; 양자화기(11)에서 양자화된 양자화계수들을 지그재그스캔시, 상기 지그재그스캔 제어수단(100)의 스킵 신호에 연동하여 스캔순서에서 제외시켜 스킵하면서 스캔하는 지그재그스캔 수행부(200)와; 상기 지그재그스캔수행부(200)의 스캔에 의한 변환계수의 발생빈도에 따라 가변길이 부호화를 수행하는 가변길이 부호화부(13)와; 가변길이 부호화부(13)의 부호화 데이터를 버퍼링하고 버퍼링 충만도를 버퍼 제어부(15)에 제공하는 버퍼(14) 및; 버퍼링 충만도에 따라 영상품질을 유지토록 양자화기(11)를 제어하는 버퍼 제어부(15)를 포함하여 이루어짐을 특징으로 하는 모양적응형 영상신호 부호화 장치.In a shape-adaptive image signal coding apparatus, a transform coefficient output from the shape adaptive DCT unit 10 is divided into a portion in which a transform coefficient exists and a portion in which a transform coefficient exists, A zigzag scanning control unit (100) for controlling the scanning unit to scan in accordance with a zigzag scanning order of the scanning unit; A quantizer 11 for quantizing the transform coefficients of the DCT unit 10; A zigzag scan performing unit 200 skipping a quantization coefficient quantized by the quantizer 11 in a scan order in conjunction with a skip signal of the zigzag scan control means 100 during a zigzag scan; A variable length coding unit 13 for performing variable length coding according to the occurrence frequency of the transform coefficient by the scan of the zigzag scan performing unit 200; A buffer 14 for buffering the encoded data of the variable length coding unit 13 and providing the buffering fullness to the buffer control unit 15; And a buffer control unit (15) for controlling the quantizer (11) to maintain the image quality according to the buffering fullness. SA-DCT계수를 양자화 시키고, 이를 지그재그 스캔하여 부호화 시키는 모양적응형 영상신호 부호화 방법에서, SA-DCT계수가 존재 하는 부분만 스캔 하는 과정을 포함하는 것을 특징으로 하는 모양적응형 영상신호 부호화 방법.A method of shape adaptive image signal coding for quantizing an SA-DCT coefficient and zigzag scanning the SA-DCT coefficient, the method comprising scanning only a portion where an SA-DCT coefficient exists. 제5항에 있어서, 양자화된 SA-DCT계수가 있는 부분만 스캔 하기전에, SA-DCT계수가 있는부분과 없는부분을 구분하는 과정을 수행하는것을 특징으로 하는 모양적응형 영상신호 부호화방법.6. The shape adaptive video signal coding method of claim 5, wherein before scanning only the portion having the quantized SA-DCT coefficients, a step of distinguishing the portion having the SA-DCT coefficient from the portion having no SA-DCT coefficient is performed. 제6항에 있어서, 상기 구분하는 과정은 바이너리 마스크를 사용하는 것을 특징으로 하는 모양적응형 영상신호 부호화 방법.7. The shape adaptive video signal coding method of claim 6, wherein the dividing process uses a binary mask. SA-DCT계수가 있는부분과 없는부분을 구분하는 과정과; 상기 구분과정에따른 구분값에 의해 양자화된 SA-DCT 계수가 있는 부분만 부분 스캔하는 과정을 포함하며; 상기 부분스캔과정은, 양자화된 SA-DCT계수가 있는 부분은 기존의 지그재그스캔 순서에 따라 스캔하는 과정과. 양자화된 SA-DCT계수가 없는 부분은 스캔을 스킵하는 과정으로 이루어짐을 특징으로 하는 모양적응형 영상신호 부호화 방법.A step of separating a portion having the SA-DCT coefficient from the portion having no SA-DCT coefficient; Performing a partial scan of only a portion of the SA-DCT coefficient quantized by the segment value according to the segmentation process; The partial scanning process includes scanning the portion having the quantized SA-DCT coefficients according to a conventional zigzag scan sequence, and Wherein the step of skipping the scan includes the step of skipping the scan without the quantized SA-DCT coefficients. 제8항에 있어서, 상기 구분하는 과정은 바이너리 마스크를 사용하는것을 특징으로 하는 모양적응형 영상신호 부호화 방법.9. The shape adaptive video signal coding method of claim 8, wherein the dividing process uses a binary mask. SA-DCT계수를 양자화 시키고 이를 지그재그스캔하여 부호화 시키는 모양적응형 영상신호 부호화방법에서, 변환된 SA-DCT계수가 있는지의 여부를 판단하는 과정과; 상기 판단과정에서의 계수값이 있는지의 여부에 따라 바이너리 마스크를 만드는 과정과; SA-DCT계수를 양자화 시키는 과정과; 이를 지그재그스캔하는 과정과; 상기 스캔된 계수와 상기 바이너리 마스크를 비교하여 계수값이 없는 부분은 스캔출력을 스킵토록 스위칭 제어하는 과정과, 상기 스캔된 계수와 상기 바이너리 마스크를 비교하여 계수값이 있는 부분은 스캔출력을 제공토록 스위칭제어하는 과정으로 이루어지는 스위칭과정과; 상기 스위칭 과정에 따라 스캔되는 계수에 의해서만 가변길이 부호화 시키는 과정을 수행하는 것을 특징으로 하는 모양적응형 영상신호 부호화 방법.A shape adaptive image signal coding method for quantizing an SA-DCT coefficient and zigzag scanning the quantized SA-DCT coefficient, the method comprising: determining whether there is a transformed SA-DCT coefficient; Generating a binary mask according to whether a coefficient value is present in the determination process; Quantizing SA-DCT coefficients; Zigzag scanning this; Comparing the scanned coefficient with the binary mask and controlling switching of a portion having no coefficient value to skip a scan output; comparing the scanned coefficient with the binary mask to provide a scan output; A switching step of controlling a switching operation; Wherein the step of performing variable length coding only on coefficients scanned according to the switching process is performed.
KR1019960048273A 1995-10-26 1996-10-25 Apparatus and method for shape-adaptive encoding image signal KR100237359B1 (en)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR19950037917 1995-10-26
KR101995037917 1995-10-26
KR1019950037917 1995-10-26
KR101995048434 1995-12-11
KR19950048434 1995-12-11
KR1019950048434 1995-12-11

Publications (2)

Publication Number Publication Date
KR970025180A KR970025180A (en) 1997-05-30
KR100237359B1 true KR100237359B1 (en) 2000-01-15

Family

ID=26631352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960048273A KR100237359B1 (en) 1995-10-26 1996-10-25 Apparatus and method for shape-adaptive encoding image signal

Country Status (3)

Country Link
JP (1) JP2823843B2 (en)
KR (1) KR100237359B1 (en)
DE (1) DE19644769B4 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19719383A1 (en) 1997-05-07 1998-11-19 Siemens Ag Method and device for coding and decoding a digitized image
KR100382516B1 (en) * 1999-01-15 2003-05-01 주식회사 팬택앤큐리텔 Object-based image signal coding/decoding apparatus and method
US20110194602A1 (en) * 2010-02-05 2011-08-11 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for sub-pixel interpolation
JP2022016726A (en) * 2018-11-16 2022-01-25 ソニーグループ株式会社 Image processing apparatus and method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05153492A (en) * 1991-11-29 1993-06-18 Toppan Printing Co Ltd Picture processing unit

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05276500A (en) * 1991-07-19 1993-10-22 Sony Corp Moving image coding and decoding device
JPH05308622A (en) * 1992-04-28 1993-11-19 Mitsubishi Electric Corp Image encoder/decoder
JP2827790B2 (en) * 1993-02-23 1998-11-25 日本電気株式会社 Video data compression device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05153492A (en) * 1991-11-29 1993-06-18 Toppan Printing Co Ltd Picture processing unit

Also Published As

Publication number Publication date
JP2823843B2 (en) 1998-11-11
JPH09214971A (en) 1997-08-15
KR970025180A (en) 1997-05-30
DE19644769A1 (en) 1997-04-30
DE19644769B4 (en) 2008-06-19

Similar Documents

Publication Publication Date Title
US7869661B2 (en) Image coding apparatus, image coding method, and image coding program for coding at least one still frame with still frame coding having a higher quality than normal frame coding of other frames
US9521433B2 (en) Video encoding device, video decoding device, video encoding method, video decoding method, video encoding or decoding program
KR101622450B1 (en) Video encoding and decoding using transforms
US7215707B2 (en) Optimal scanning method for transform coefficients in coding/decoding of image and video
KR100253931B1 (en) Approximate mpeg decoder with compressed reference frames
US6603815B2 (en) Video data processing apparatus, video data encoding apparatus, and methods thereof
US6912318B2 (en) Method and system for compressing motion image information
US20070242753A1 (en) Coding and decoding method and apparatus using plural scanning patterns
JPH04257185A (en) High-efficiency encoding device
US8699580B2 (en) Method, apparatus, and computer readable medium for video compression
JPH05505077A (en) Digital image coding method using random scanning of image frames
EP1933567A2 (en) Apparatus for encoding interlaced macroblock texture information
US6628839B1 (en) Image coding system converting apparatus, image coding system converting method, and recording medium
KR20010078393A (en) Scalable coding
KR100382516B1 (en) Object-based image signal coding/decoding apparatus and method
CN1183766C (en) Simplified logo insertion in encoded signal
KR100237359B1 (en) Apparatus and method for shape-adaptive encoding image signal
JP2001145112A (en) Device and method for composing dynamic image and recording medium
US6556714B2 (en) Signal processing apparatus and method
CA2436437A1 (en) Moving picture information compressing method and its system
US7426311B1 (en) Object-based coding and decoding apparatuses and methods for image signals
US6064696A (en) Encoding apparatus
JP3190164B2 (en) Code amount estimation device
JPH08256337A (en) Moving image coder
KR100487363B1 (en) Pre-vlc processor in mpeg video decoder

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131002

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20141007

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 17

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 18

EXPY Expiration of term