KR19990057321A - Vertical Frame / Field Adaptive Filtering Method of MPEG-2 Video Chromatic Difference Signal - Google Patents

Vertical Frame / Field Adaptive Filtering Method of MPEG-2 Video Chromatic Difference Signal Download PDF

Info

Publication number
KR19990057321A
KR19990057321A KR1019970077372A KR19970077372A KR19990057321A KR 19990057321 A KR19990057321 A KR 19990057321A KR 1019970077372 A KR1019970077372 A KR 1019970077372A KR 19970077372 A KR19970077372 A KR 19970077372A KR 19990057321 A KR19990057321 A KR 19990057321A
Authority
KR
South Korea
Prior art keywords
frame
correlation
mpeg
field
degree
Prior art date
Application number
KR1019970077372A
Other languages
Korean (ko)
Other versions
KR100267375B1 (en
Inventor
황재호
장순화
권순홍
Original Assignee
이계철
한국전기통신공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이계철, 한국전기통신공사 filed Critical 이계철
Priority to KR1019970077372A priority Critical patent/KR100267375B1/en
Publication of KR19990057321A publication Critical patent/KR19990057321A/en
Application granted granted Critical
Publication of KR100267375B1 publication Critical patent/KR100267375B1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Abstract

본 발명은 엠펙-2 비디오 색차 신호의 필터링 방법에 관한 것으로, 특히 사용자가 엠펙-2 표준안을 잘 모를때에도 필터링 모드를 설정할 시 이에 관여할 필요가 없으며, 입력 영상의 특성에 따라 자동적으로 필터링 모드를 설정하기 때문에 화질을 향상시킬 수 있도록, 입력되는 영상에서 각 필드간에 인접한 라인간의 화소들의 상관관계를 구하는 과정과 ; 입력 영상에서 프레임의 라인 사이의 인접한 화소들의 상관관계를 구하는 과정 ; 및 필드간의 상관관계의 정도와 프레임의 상관관계의 정도를 비교하여, 필드 모드 또는 프레임 단위로 적응적으로 필터링하는 과정으로 이루어지는, 엠펙-2 비디오 색차 신호의 수직방향 프레임/필드 적응적 필터링 방법에 관한 것이다.The present invention relates to a method of filtering an MPEG-2 video chrominance signal. Particularly, even when a user does not know the MPEG-2 standard, there is no need to be involved in setting the filtering mode, and the filtering mode is automatically determined according to the characteristics of the input image. Setting a correlation between pixels of adjacent lines between fields in the input image so as to improve image quality; Obtaining correlations between adjacent pixels between lines of a frame in the input image; And a method of adaptively filtering the field mode or the frame unit by comparing the degree of correlation between the field and the degree of the correlation of the frame, in the vertical frame / field adaptive filtering method of the MPEG-2 video chrominance signal. It is about.

Description

엠펙-2 비디오 색차 신호의 수직방향 프레임/필드 적응적 필터링 방법Vertical Frame / Field Adaptive Filtering Method of MPEG-2 Video Chromatic Difference Signal

본 발명은 엠펙-2 비디오 색차 신호의 필터링 방법에 관한 것으로, 특히 사용자가 엠펙-2 표준안을 잘 모를때에도 필터링 모드를 설정할 시 이에 관여할 필요가 없으며, 입력 영상의 특성에 따라 자동적으로 필터링 모드를 설정하기 때문에 화질을 향상시킬 수 있도록 한, 엠펙-2 비디오 색차 신호의 수직방향 프레임/필드 적응적 필터링 방법에 관한 것이다.The present invention relates to a method of filtering an MPEG-2 video chrominance signal. Particularly, even when a user does not know the MPEG-2 standard, there is no need to be involved in setting the filtering mode, and the filtering mode is automatically determined according to the characteristics of the input image. The present invention relates to a vertical frame / field adaptive filtering method of an MPEG-2 video chrominance signal in order to improve image quality.

일반적으로, TV 화면 등의 횡방향 라인(주사선)에 포함되는 휘도정보 Y와 색차정보 Cb, Cr의 세 가지 성분의 비율을 O : O : O 로 나타내는 방법이 널리 쓰여지고 있다.In general, a method of expressing the ratio of three components of luminance information Y included in lateral lines (scanning lines) such as TV screens, color difference information Cb, Cr as O: O: O has been widely used.

즉, 4:2:0, 4:2:2, 4:4:4 란 휘도 Y와 두 개의 색차 Cb, Cr 신호의 표본화 주파수의 비를 말하는데, 4:2:0은 기수와 우수의 라인에서 교대로 4:2:0과 4:0:2가 되기 때문에, 그 중 하나를 대표값으로 삼아 4:2:0으로 나타낸다.That is, 4: 2: 0, 4: 2: 2, and 4: 4: 4 are ratios of luminance Y and sampling frequencies of two chrominance Cb and Cr signals, and 4: 2: 0 is an odd and even line Alternately, 4: 2: 0 and 4: 0: 2, so one of them is represented as 4: 2: 0.

"휘도"란 연상의 밝기를 나타내는 정도로서, ITU-R 권고 601(구 CCIR 권고)에서 화소의 휘도는 8비트로 나타낸다."Luminance" refers to the degree of associative brightness. In ITU-R Recommendation 601 (formerly CCIR Recommendation), the luminance of a pixel is represented by 8 bits.

"색차"란 영상의 색을 나타내는 정보로, 권고 601에서는 8비트를 두 개 사용하여 화소의 색을 나타낸다.&Quot; Color difference " is information indicating color of an image, and in Recommendation 601, two 8 bits are used to represent a color of a pixel.

색을 나타내는 좌표계를 "색 공간"이라고 부르는데, MPEG에서 사용되고 있는 Y, Cb, Cr 계의 일반적인 모양은, 화소를 휘도 Y, 색차 Cb, Cr 이라는 세 개의 8비트 정보로 표현하는 것이다.A coordinate system representing color is called a "color space". The general shape of the Y, Cb, and Cr systems used in MPEG is to express a pixel with three 8-bit information of luminance Y, color difference Cb, and Cr.

이와 같이, 통상 1화소당 24비트의 정보를 할당하지만 인간의 눈이 휘도 신호 보다는 컬러 신호에 덜 민감하기 때문에, 인코더에서 비디오 신호를 압축할 때 컬러 신호에 해당하는 색 정보를 삭감하는 수단이 자주 사용되고 있다.As such, it usually assigns 24 bits of information per pixel, but since the human eye is less sensitive to color signals than luminance signals, a means of reducing color information corresponding to color signals is often used when compressing video signals at encoders. It is used.

색 정보를 삭감하지 않은 것을 4:4:4라 부르고, 횡방향으로 반으로 삭감한 것을 4:2:2, 횡방향/종방향으로 모두 반으로 삭감한 것을 4:2:0이라 부르고 있다.A 4: 4: 4 that does not reduce color information is called 4: 4: 4, a 4: 2: 2 that is cut in half in the lateral direction, and 4: 2: 0 that cut in half in both the transverse and longitudinal directions.

따라서, 4:2:0에서 색 정보는 휘도정보의 1/4이 된다.Therefore, color information becomes 1/4 of luminance information at 4: 2: 0.

종래의 YUV 4:2:2 포맷에서 4:2:0 신호로의 변환은 색차 신호를 수직 방향으로 저주파 대역 필터를 통과 시킨 다음 서브 샘플링을 거치게 되는데, 엠펙-2(ISO/IEC 13818-2) 비디오에서는 도 1 에 도시된 바와 같이, 프레임과 필드의 두가지 필터링 모드를 제안하고 있다.The conversion from the conventional YUV 4: 2: 2 format to the 4: 2: 0 signal passes the color difference signal through a low frequency filter in the vertical direction and then sub-sampling, which is MPEG-2 (ISO / IEC 13818-2). In the video, as shown in FIG. 1, two filtering modes, a frame and a field, are proposed.

원영상이 영화나 만화 같이 원래 하나의 프레임으로 구성된 경우에는 프레임 단위로 수직 방향으로 필터링을 하여야 하며, 일반 TV 신호와 같이 하나의 프레임이 홀수 필드와 짝수 필드로 구성되어 필드간에 시간 간격이 존재할 경우에는 필드 단위로 필터링을 수행하여야 한다.If the original video consists of one frame such as a movie or a cartoon, it should be filtered vertically in the unit of frame.When a frame consists of odd and even fields as in a general TV signal, there is a time interval between the fields. You must filter by field.

따라서, 종래에는 4:2:2 포맷을 4:2:0 포맷으로 변환할 시 사용자가 입력 영상의 특성에 따라, 프레임 또는 필드 모드로 필터링해야 하는지를 설정해야 하는 어려움이 있었다.Therefore, when converting from 4: 2: 2 format to 4: 2: 0 format, there is a difficulty in setting whether the user should filter by frame or field mode according to characteristics of the input image.

인코더 개발자는 이러한 모드 특성을 미리 사용자에게 인지시킬 필요가 있었는 데, 사용자가 MPEG-2 표준을 잘 모를 경우에는 이를 이해하는 데 어려움이 따르게 된다.Encoder developers needed to be aware of these modalities beforehand, which would be difficult to understand if the user was not familiar with the MPEG-2 standard.

이에 본 발명은 상기한 바와 같은 종래의 제 문제점 들을 해소시키기 위하여 창안된 것으로, 사용자가 엠펙-2 표준안을 잘 모를때에도 필터링 모드를 설정할 시 이에 관여할 필요가 없으며, 입력 영상의 특성에 따라 자동적으로 필터링 모드를 설정하기 때문에 화질을 향상시킬 수 있도록 한, 엠펙-2 비디오 색차 신호의 수직방향 프레임/필드 적응적 필터링 방법을 제공하는데 그 목적이 있다.Therefore, the present invention was devised to solve the above-mentioned problems. The user does not need to be involved in setting the filtering mode even when the user does not know the MPEG-2 standard, and automatically according to the characteristics of the input image. An object of the present invention is to provide a vertical frame / field adaptive filtering method of an MPEG-2 video chrominance signal, which improves image quality by setting a filtering mode.

도 1 은 일반적인 4:2:2 포맷에서 4:2:0 포맷으로 변환 시에 사용되는 각 모드 별 휘도 신호와 색차 신호의 위치 예시도이다.FIG. 1 is a diagram illustrating positions of luminance signals and color difference signals for respective modes used when converting from a general 4: 2: 2 format to a 4: 2: 0 format.

상기한 바와 같은 목적을 달성하기 위한 본 발명은, 입력되는 영상에서 각 필드간에 인접한 라인간의 화소들의 상관관계를 구하는 과정과 ; 입력 영상에서 프레임의 라인 사이의 인접한 화소들의 상관관계를 구하는 과정 ; 및 필드간의 상관관계의 정도와 프레임의 상관관계의 정도를 비교하여, 필드 모드 또는 프레임 단위로 적응적으로 필터링하는 과정으로 이루어짐을 특징으로 한다.The present invention for achieving the object as described above, the process of obtaining the correlation between the pixels between the lines adjacent to each field in the input image; Obtaining correlations between adjacent pixels between lines of a frame in the input image; And comparing the degree of correlation between the fields and the degree of the correlation between the frames, and adaptively filtering each field mode or frame.

본 발명에 따른 동작 원리를 상세히 설명하면 다음과 같다.The operation principle according to the present invention will be described in detail as follows.

본 발명에서는 필터링 모드를 입력 영상의 특성에 따라 적응적으로 결정하는 방법을 제시한다.The present invention proposes a method for adaptively determining the filtering mode according to the characteristics of the input image.

MPEG-2 비디오 표준안에 따르면 YUV 4:2:2 포맷을 4:2:0 포맷으로 변환할 시 두가지 모드를 제공한다.The MPEG-2 video standard provides two modes for converting the YUV 4: 2: 2 format to the 4: 2: 0 format.

파라미터 progressive_frame = 0 일 경우에는 원 영상에 홀수 필드와 짝수 필드 사이에 시간적 차이가 존재하기 때문에 데시메이션을 수행 시 각각의 필드에 대해 필터링을 수행하여야 한다.If the parameter progressive_frame = 0, since there is a temporal difference between odd and even fields in the original image, each field must be filtered during decimation.

그리고 progressive_frame = 1인 경우에는 필드 간에 시간적 차가 존재하지 않기 때문에 프레임 단위로 필터링을 수행하여야 한다.In the case of progressive_frame = 1, since the temporal difference does not exist between fields, filtering should be performed in units of frames.

먼저, 입력되는 영상에서 각 필드간에 인접한 라인간의 화소들의 상관관계를 구하는 식은 다음과 같다.First, an equation for obtaining correlations between pixels between lines adjacent to each field in an input image is as follows.

Cfield= ∑∑|[Xodd(m,n)-Xodd(m+1, n)]| + ∑∑ |[Xeven(m,n)-Xeven(m-1,n)]|C field = ∑∑ | [X odd (m, n) -X odd (m + 1, n)] | + ∑∑ | [X even (m, n) -X even (m-1, n)] |

상기 수학식 1 에서 Cfield는 필드간의 상관관계의 정도를 나타내고, Xodd(m,n) 은 홀수 필드 상의 화소를 나타내며, Xeven(m,n) 은 짝수필드 위의 화소를 나타낸다.In Equation 1, C field represents a degree of correlation between fields, X odd (m, n) represents a pixel on an odd field, and X even (m, n) represents a pixel on an even field.

다음은, 입력 영상에서 프레임의 라인 사이의 인접한 화소들의 상관관계를 나타낸다.Next, correlations between adjacent pixels between lines of a frame in the input image are shown.

Cframe= ∑∑ |[Xframe(m,n)-Xframe(m+1, n)]|C frame = ∑∑ | [X frame (m, n) -X frame (m + 1, n)] |

상기 수학식 2 에서 Cframe은 프레임의 상관관계의 정도를 나타내고, Xframe(m,n) 은 프레임 상의 화소를 나타낸다.In Equation 2, C frame represents a degree of correlation between frames, and X frame (m, n) represents a pixel on the frame.

상기의 수학식 1 과 수학식 2 를 이용하여 Cfield가 Cframe보다 클 경우에는, 필드 모드로 필터링을 수행하게 되며 홀수 필드와 짝수 필드에 대해 각각 적용한다.When the C field is larger than the C frame by using Equations 1 and 2, the filtering is performed in the field mode, and the odd and even fields are respectively applied.

그리고, 그 반대일 경우에는 프레임 단위로 필터링한다.In the opposite case, the filtering is performed in units of frames.

이와 같이, 적응적으로 필터링을 함으로써 인코더 사용자가 파라미터를 설정할 필요가 없으며, 복원했을 때 화질을 향상시킬 수 있다.In this way, by adaptively filtering, the encoder user does not need to set a parameter, and the image quality can be improved when restored.

본 발명에 따른 실시 예로서는, 앞으로 보급될 멀티미디어 단말기에 들어가는 MPEG-2 비디오 부호기 시스템에 필수적으로 들어가는 4:2:0 데시메이션 필터에 본 방법을 적용시킬 수 있다.According to an exemplary embodiment of the present invention, the method may be applied to a 4: 2: 0 decimation filter that is essential to an MPEG-2 video encoder system for a multimedia terminal.

이상에서 상세히 설명한 바와 같이 본 발명은, 사용자가 엠펙-2 표준안을 잘 모를때에도 필터링 모드를 설정할 시 이에 관여할 필요가 없으며 입력 영상의 특성에 따라 자동적으로 필터링 모드를 설정하기 때문에 화질을 향상시킬 수 있다.As described in detail above, the present invention does not need to be involved when setting the filtering mode even when the user is not familiar with the MPEG-2 standard, and the image quality may be improved because the filtering mode is automatically set according to the characteristics of the input image. have.

또한, 엠펙-2 비디오 인코더의 전처리 과정에서 행해지는 YUV 4:2:2 포맷을 YUV 4:2:0 포맷으로 변환하는 수직 방향 필터에 이용하여 화질을 향상시킬 수 있다.In addition, the image quality may be improved by using the YUV 4: 2: 2 format, which is performed during the preprocessing of the MPEG-2 video encoder, in a vertical filter that converts the YUV 4: 2: 0 format.

따라서, DTV, HDTV, VOD 등 고화질을 요하는 MPEG-2 비디오 인코더에 본 방법을 적용함으로써 화질을 향상 시킬 수 있을 것이다.Therefore, the image quality can be improved by applying this method to MPEG-2 video encoders requiring high quality such as DTV, HDTV, and VOD.

본 발명의 바람직한 실시예들은 예시의 목적을 위해 개시된 것이며, 당업자라면 본 발명의 사상과 범위안에서 다양한 수정, 변경, 부가등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허 청구의 범위에 속하는 것으로 보아야 할 것이다.Preferred embodiments of the present invention are disclosed for purposes of illustration, and those skilled in the art will be able to make various modifications, changes, additions, and the like within the spirit and scope of the present invention, and such modifications and changes should be regarded as belonging to the following claims. something to do.

Claims (5)

입력되는 영상에서 각 필드간에 인접한 라인간의 화소들의 상관관계를 구하는 과정과 ;Obtaining a correlation between pixels of adjacent lines between fields in the input image; 입력 영상에서 프레임의 라인 사이의 인접한 화소들의 상관관계를 구하는 과정 ; 및Obtaining correlations between adjacent pixels between lines of a frame in the input image; And 필드간의 상관관계의 정도와 프레임의 상관관계의 정도를 비교하여, 필드 모드 또는 프레임 단위로 적응적으로 필터링하는 과정으로 이루어짐을 특징으로 하는 엠펙-2 비디오 색차 신호의 수직방향 프레임/필드 적응적 필터링 방법.Vertical frame / field adaptive filtering of MPEG-2 video chrominance signal, characterized in that adaptive filtering is performed by field mode or frame unit by comparing the degree of correlation between fields and the degree of correlation between frames. Way. 제 1 항에 있어서,The method of claim 1, Cfield는 필드간의 상관관계의 정도를 나타내고, Xodd(m,n) 은 홀수 필드 상의 화소를 나타내며, Xeven(m,n) 은 짝수필드 위의 화소를 나타낸다고 할 때,When C field represents the degree of correlation between fields, X odd (m, n) represents pixels on odd fields, and X even (m, n) represents pixels on even fields. Cfield= ∑∑|[Xodd(m,n)-Xodd(m+1, n)]| + ∑∑ |[Xeven(m,n)-Xeven(m-1,n)]|C field = ∑∑ | [X odd (m, n) -X odd (m + 1, n)] | + ∑∑ | [X even (m, n) -X even (m-1, n)] | 와 같은 방식을 사용하여 각 필드간에 인접한 라인간의 화소들의 상관관계를 구하는 것을 특징으로 하는 엠펙-2 비디오 색차 신호의 수직방향 프레임/필드 적응적 필터링 방법.A method of vertical frame / field adaptive filtering of an MPEG-2 video chrominance signal according to claim 1, wherein the correlation of pixels between adjacent lines between fields is obtained. 제 1 항에 있어서,The method of claim 1, Cframe은 프레임의 상관관계의 정도를 나타내고, Xframe(m,n) 은 프레임 상의 화소를 나타낸다고 할 때, Assuming that C frame represents a degree of correlation between frames and X frame (m, n) represents a pixel on the frame, Cframe= ∑∑ |[Xframe(m,n)-Xframe(m+1, n)]|C frame = ∑∑ | [X frame (m, n) -X frame (m + 1, n)] | 와 같은 방식을 사용하여 프레임의 라인 사이의 인접한 화소들의 상관관계를 구하는 것을 특징으로 하는 엠펙-2 비디오 색차 신호의 수직방향 프레임/필드 적응적 필터링 방법.And a method of vertical frame / field adaptive filtering of an MPEG-2 video chrominance signal, characterized in that a correlation between adjacent pixels between lines of a frame is obtained using a method such as. 제 1 항에 있어서,The method of claim 1, 필드간의 상관관계의 정도와 프레임의 상관관계의 정도를 비교하여, 필드간의 상관관계의 정도가 클 경우,When the degree of correlation between the fields is large by comparing the degree of correlation between the fields and the degree of correlation between the frames, 필드 모드로 필터링을 수행하게 되며 홀수 필드와 짝수 필드에 대해 각각 적용하는 것을 특징으로 하는 엠펙-2 비디오 색차 신호의 수직방향 프레임/필드 적응적 필터링 방법.A method of vertical frame / field adaptive filtering of an MPEG-2 video chrominance signal, characterized in that filtering is performed in field mode and applied to odd and even fields, respectively. 제 1 항에 있어서,The method of claim 1, 필드간의 상관관계의 정도와 프레임의 상관관계의 정도를 비교하여, 프레임의 상관관계의 정도가 클 경우,If the degree of correlation between the frames is large by comparing the degree of correlation between the fields and the degree of correlation between the frames, 프레임 단위로 필터링을 수행하는 것을 특징으로 하는 엠펙-2 비디오 색차 신호의 수직방향 프레임/필드 적응적 필터링 방법.A vertical frame / field adaptive filtering method of an MPEG-2 video chrominance signal, characterized in that filtering is performed on a frame basis.
KR1019970077372A 1997-12-29 1997-12-29 A fitness filtering method of vertical fram/field in mpeg-2 video color signal KR100267375B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970077372A KR100267375B1 (en) 1997-12-29 1997-12-29 A fitness filtering method of vertical fram/field in mpeg-2 video color signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970077372A KR100267375B1 (en) 1997-12-29 1997-12-29 A fitness filtering method of vertical fram/field in mpeg-2 video color signal

Publications (2)

Publication Number Publication Date
KR19990057321A true KR19990057321A (en) 1999-07-15
KR100267375B1 KR100267375B1 (en) 2000-10-16

Family

ID=19529553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970077372A KR100267375B1 (en) 1997-12-29 1997-12-29 A fitness filtering method of vertical fram/field in mpeg-2 video color signal

Country Status (1)

Country Link
KR (1) KR100267375B1 (en)

Also Published As

Publication number Publication date
KR100267375B1 (en) 2000-10-16

Similar Documents

Publication Publication Date Title
US6239842B1 (en) Method of de-interlacing video signals using a mixed mode spatial and temporal approximation technique
JP4145275B2 (en) Motion vector detection / compensation device
EP0449555B1 (en) Image encoding apparatus
KR100412004B1 (en) Progressive scan conversion of film mode
US7671922B2 (en) Chroma upsampling method and apparatus therefor
US6118488A (en) Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
US6952500B2 (en) Method and apparatus for visual lossless image syntactic encoding
US9247250B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US6266093B1 (en) Color video camera method and system
KR20000057301A (en) Memory architecture for a multiple format video signal processor
US6380985B1 (en) Resizing and anti-flicker filtering in reduced-size video images
JPH0320115B2 (en)
KR100927281B1 (en) Image signal processing apparatus and method
US4733299A (en) Method and apparatus for generating progressively scanned television information
US6188437B1 (en) Deinterlacing technique
US6909752B2 (en) Circuit and method for generating filler pixels from the original pixels in a video stream
US6124900A (en) Recursive noise reduction for progressive scan displays
US7724305B2 (en) Video data conversion method and system for multiple receivers
KR100267375B1 (en) A fitness filtering method of vertical fram/field in mpeg-2 video color signal
JPH05183891A (en) Moving picture encoder
KR100300948B1 (en) Device for transforming format image color difference signal
JPH02312381A (en) Method of interpolating scanning line
KR100196922B1 (en) The image signal processing apparatus and method for high resolution by using 4-ccd
KR100351136B1 (en) Post-processing interpolation method and system in mpeg decoder
EP1398960B1 (en) Method and device for displaying frozen pictures on video display device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120702

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20130701

Year of fee payment: 14

LAPS Lapse due to unpaid annual fee