KR100555419B1 - 동영상 코딩 방법 - Google Patents

동영상 코딩 방법 Download PDF

Info

Publication number
KR100555419B1
KR100555419B1 KR1020030032742A KR20030032742A KR100555419B1 KR 100555419 B1 KR100555419 B1 KR 100555419B1 KR 1020030032742 A KR1020030032742 A KR 1020030032742A KR 20030032742 A KR20030032742 A KR 20030032742A KR 100555419 B1 KR100555419 B1 KR 100555419B1
Authority
KR
South Korea
Prior art keywords
image
image group
group
groups
quantization parameter
Prior art date
Application number
KR1020030032742A
Other languages
English (en)
Other versions
KR20040101591A (ko
Inventor
유재신
이진수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020030032742A priority Critical patent/KR100555419B1/ko
Priority to EP04012104A priority patent/EP1480463A3/en
Priority to US10/849,865 priority patent/US20040258318A1/en
Publication of KR20040101591A publication Critical patent/KR20040101591A/ko
Application granted granted Critical
Publication of KR100555419B1 publication Critical patent/KR100555419B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 동영상 코딩 방법은, 입력된 영상에 대해 움직임 보상과 움직임 예측을 통하여 움직임 벡터를 추출하고, 그 차 영상에 대하여 DCT를 수행하며 초기 양자화 파라메터를 설정하는 단계와; 입력되는 영상을 각 블록 단위로 주위 블록의 분산과 공간적 복잡도의 퍼점 정보를 반영하여 산출되는 시감각 특성에 따라, 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹, 복잡한 영상 그룹으로 분류하는 단계와; 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따른 양자화 파라메터를 변경하는 단계와; 변경된 양자화 파라메터를 이용하여 양자화를 수행하는 단계와; 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따라 저주파 필터를 차등 적용시키는 단계; 및 저주파 필터가 차등 적용된 각 영상 그룹에 대하여 가변장 부호화를 수행하는 단계; 를 포함한다.
여기서 본 발명에 의하면, 입력되는 영상을 시감각 특성에 따라, 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹, 복잡한 영상 그룹으로 분류함에 있어, 입력된 영상에 대하여 각 블록 단위로 주위 블록의 복잡도를 참조하여 시감각 특성에 따라 에지 블록, 편평한 블록, 복잡한 블록으로 분류하는 단계; 및 입력된 영상의 매크로 블록 내에 상기 분류된 블록의 개수가 포함되는 정도에 따라, 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹, 복잡한 영상 그룹으로 분류하는 단계; 를 구비한다.

Description

동영상 코딩 방법{Moving picture coding method}
도 1은 일반적인 동영상 코딩 방법에 의하여 코딩이 수행되는 과정을 개략적으로 나타낸 도면.
도 2는 본 발명에 따른 동영상 코딩 방법에 의하여, 입력 영상에 대해 에지 그룹, 편평한 그룹(균일한 그룹) 그리고 복잡한 그룹으로 나누는 과정을 나타낸 순서도.
도 3은 본 발명에 따른 동영상 코딩 방법에 의하여, 입력 영상에 대해 에지 블록과 편평한 블록(균일한 블록) 그리고 복잡한 블록인 지의 여부를 테스트하는 것을 설명하기 위한 도면.
도 4는 본 발명에 따른 동영상 코딩 방법에 의하여, 에지 영상 그룹과 편평한 영상 그룹(균일한 영상 그룹) 그리고 복잡한 영상 그룹에 대한 양자화 파라메터 및 저주파 필터가 적용되는 경우의 민감도를 나타낸 도면.
도 5는 본 발명에 따른 동영상 코딩 방법에 의하여, 동영상 코딩이 수행되는 과정을 나타낸 순서도.
본 발명은 동영상 코딩에 관한 것으로서, 특히 시감각적인 요소를 반영하여 동영상에 대한 코딩을 처리하는 동영상 코딩 방법에 관한 것이다.
최근 들어 많은 인터넷 스트리밍이나 비디오 컨퍼런싱 등 디지털 비디오 서비스가 급증하였다. 이러한 비디오는 전송되는 데이터량이 많기 때문에 비디오 압축을 수행한다. 일반적인 비디오 압축 방법은 무손실과 유손실 방법을 적절히 병합하여 수행되는데, 비디오 데이터를 무손실로 다른 도메인으로 변환한 뒤 사람 눈에 예민하게 느껴지지 않는 부분을 유손실로 제거하는 것이다.
비디오 압축은 항상 특정 범위의 비트율과 관계되어 있다. 주어진 비트율에 맞춰 비디오 압축을 행하는 방법은 양자화 파라메터(QP)를 비트율에 맞게 계산하여 지정하는 것이다. 양자화 파라메터가 지정되면 입력 영상의 이산 코사인 변환(DCT: Discrete Cosine Transform)을 매크로블록(MB) 단위로 양자화하여 압축된 비트 스트림이 만들어진다.
이때 양자화 파라메터를 이용하여 DCT된 정보 중에 제거하는 정보는 사람 눈에 민감하지 않은 고주파(high frequency) 정보이다. 또한 압축을 수행할 때 이전 영상에 대해 움직임 예측과 움직임 보상을 수행하여 움직임 벡터를 찾고 움직임 벡터를 이용하여 현재 영상과 이전 영상의 차분치를 압축한다.
이때 압축하는 데이터는 움직임 보상의 에러인데, 양자화를 수행하면 이러한 움직임 보상 차분치에 대한 정보도 감소된다. 이러한 시공간 정보의 감소를 이용하는 압축 방식은 인코딩 되는 비트 수를 줄여 압축율을 높인다. 하지만 위와 같은 방식으로 비트율을 감소시킬 경우 감소되는 정보의 종류에 따라 화질의 저하 정도 가 다르게 발생된다.
즉, 양자화 파라메터가 계산되어 지정되었을 경우 감소시키는 정보의 양은 매크로블록 단위로 같지만, 사람이 느끼기에 어떤 매크로블록은 다른 매크로블록보다 화질 저하를 더 잘 느끼는 부분이 있고, 또 다른 매크로블록은 화질 저하가 크게 느껴지지 않는 부분도 있다. 그에 따라 최근에는 사람의 시감각을 이용하여 영상의 화질은 높이면서 인코딩되는 데이터양을 줄이는 비디오 압축 기술에 대한 연구가 진행되고 있다.
비디오 압축에서 양자화 파라메터를 이용하는 것도 사람 눈에 덜 민감한 고주파(high frequency)의 정보를 제거함으로써 인코딩 되는 비트양을 줄이는 것이지만, 그 보다 좀더 사람 눈의 특징을 고려하여 압축율을 높이면서도 화질을 유지하는 방법이 연구되고 있다.
이에 따라 최근에 사람 눈의 특징을 고려하여 화질 향상을 목적으로 한 연구가 수행되고 있다. 일반적인 비디오 압축 방법인 DCT와 양자화의 기본적인 단위는 8*8 블록 단위이다. DCT는 무손실 변환 방법이지만 양자화가 유손실 압축 기법이기 때문에 양자화를 큰 값으로 수행했을 경우 블록 단위의 경계영역이 눈에 띄는 블록킹(blocking) 현상이 주요 화질 저하 현상으로 나타난다.
블록킹 현상과 더불어 고주파 영역에서 에지(edge)가 많은 영역에서 에지가 일렁거려 보이는 링잉(Ringing)현상도 주요 화질 저하 현상으로 지목되어 왔다. 영상의 복잡도가 낮은 평평한 영역에서는 블록킹 현상이 사람 눈에 많이 띠이고 복잡도가 높은 영역에서는 링잉현상이 사람 눈에 많이 띠인다. 하지만 비디오 영상 압 축시에는 사람 눈이 어떤 부분의 화질 저하에 더 민감한지 고려하지 않고 압축을 수행하기 때문에 화질 향상의 여지가 남아있게 되는 것이다.
본 발명은, 동영상 코딩 과정에서 발생되는 화질 저하를 최대한 제거하고자 사람 눈에 덜 민감한 부분의 데이터는 더 많이 제거하고, 그렇지 않은 부분의 데이터는 덜 제거함으로써, 같은 양의 데이터일 때 일반적인 데이터 압축 방법보다 화질이 우수하게 유지될 수 있는 동영상 코딩 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 동영상 코딩 방법은,
입력된 영상에 대해, 움직임 보상과 움직임 예측을 통하여 움직임 벡터를 추출하고, 그 차 영상에 대하여 DCT를 수행하며 초기 양자화 파라메터를 설정하는 단계와;
상기 입력되는 영상을 각 블록 단위로 주위 블록의 분산과 공간적 복잡도의 퍼점 정보를 반영하여 산출되는 시감각 특성에 따라, 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류하는 단계와;
상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따른 양자화 파라메터를 변경하는 단계; 및
상기 변경된 양자화 파라메터를 이용하여 양자화를 수행하는 단계; 를 포함하는 점에 그 특징이 있다.
여기서 본 발명에 의하면, 상기 입력되는 영상을 시감각 특성에 따라, 매크 로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류함에 있어, 상기 입력된 영상에 대하여, 각 블록 단위로 주위 블록의 복잡도를 참조하여 시감각 특성에 따라 에지 블록, 편평한 블록(균일한 블록), 복잡한 블록으로 분류하는 단계; 및 상기 입력된 영상의 매크로 블록 내에 상기 분류된 블록의 개수가 포함되는 정도에 따라, 상기 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류하는 단계; 를 구비하는 점에 그 특징이 있다.
삭제
또한 본 발명에 의하면, 상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따른 양자화 파라메터를 변경함에 있어, 그 변경된 양자화 파라메터의 크기는 에지 영상 그룹 < 편평한 영상 그룹(균일한 영상 그룹) < 복잡한 영상 그룹의 순서가 되도록 설정되는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따른 양자화 파라메터를 변경함에 있어, 상기 에지 영상 그룹의 변경된 양자화 파라메터는 상기 초기 설정된 양자화 파라메터의 값보다 더 작게 설정되는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따른 양자화 파라메터를 변경함에 있어, 상기 복잡한 영상 그룹의 변경된 양자화 파라메터는 상기 초기 설정된 양자화 파라메터의 값보다 더 크게 설정되는 점에 그 특징이 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 동영상 코딩 방법의 다른 예는,
입력된 영상에 대해, 움직임 보상과 움직임 예측을 통하여 움직임 벡터를 추출하고, 그 차 영상에 대하여 DCT를 수행하며 양자화 파라메터를 설정하는 단계와;
상기 입력되는 영상을 각 블록 단위로 주위 블록의 분산과 공간적 복잡도의 퍼점 정보를 반영하여 산출되는 시감각 특성에 따라, 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류하는 단계와;
상기 설정된 양자화 파라메터를 이용하여 양자화를 수행하는 단계;
상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따라 저주파 필터를 차등 적용시키는 단계; 및
상기 저주파 필터가 차등 적용된 각 영상 그룹에 대하여 가변장 부호화를 수행하는 단계; 를 포함하는 점에 그 특징이 있다.
여기서 본 발명에 의하면, 상기 입력되는 영상을 시감각 특성에 따라, 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류함에 있어, 상기 입력된 영상에 대하여, 각 블록 단위로 주위 블록의 복잡도를 참조하여 시감각 특성에 따라 에지 블록, 편평한 블록(균일한 블록), 복잡한 블록으로 분류하는 단계; 및 상기 입력된 영상의 매크로 블록 내에 상기 분류된 블록의 개수가 포함되는 정도에 따라, 상기 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류하는 단계; 를 구비하는 점에 그 특징이 있다.
삭제
또한 본 발명에 의하면, 상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따라 저주파 필터를 차등 적용시킴에 있어, 그 통과되는 주파수의 크기는 에지 영상 그룹 > 편평한 영상 그룹(균일한 영상 그룹) > 복잡한 영상 그룹의 순서가 되도록 설정되는 점에 그 특징이 있다.
또한, 상기의 목적을 달성하기 위한 본 발명에 따른 동영상 코딩 방법의 또 다른 예는,
입력된 영상에 대해, 움직임 보상과 움직임 예측을 통하여 움직임 벡터를 추출하고, 그 차 영상에 대하여 DCT를 수행하며 초기 양자화 파라메터를 설정하는 단계와;
상기 입력되는 영상을 각 블록 단위로 주위 블록의 분산과 공간적 복잡도의 퍼점 정보를 반영하여 산출되는 시감각 특성에 따라, 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류하는 단계와;
상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따른 양자화 파라메터를 변경하는 단계와;
상기 변경된 양자화 파라메터를 이용하여 양자화를 수행하는 단계와;
상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따라 저주파 필터를 차등 적용시키는 단계; 및
상기 저주파 필터가 차등 적용된 각 영상 그룹에 대하여 가변장 부호화를 수행하는 단계; 를 포함하는 점에 그 특징이 있다.
여기서 본 발명에 의하면, 상기 입력되는 영상을 시감각 특성에 따라, 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류함에 있어, 상기 입력된 영상에 대하여, 각 블록 단위로 주위 블록의 복잡도를 참조하여 시감각 특성에 따라 에지 블록, 편평한 블록(균일한 블록), 복잡한 블록으로 분류하는 단계; 및 상기 입력된 영상의 매크로 블록 내에 상기 분류된 블록의 개수가 포함되는 정도에 따라, 상기 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류하는 단계; 를 구비하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따른 양자화 파라메터를 변경함에 있어, 그 변경된 양자화 파라메터의 크기는 에지 영상 그룹 < 편평한 영상 그룹(균일한 영상 그룹) < 복잡한 영상 그룹의 순서가 되도록 설정되는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따라 저주파 필터를 차등 적용시킴에 있어, 그 통과되는 주파수의 크기는 에지 영상 그룹 > 편평한 영상 그룹(균일한 영상 그룹) > 복잡한 영상 그룹의 순서가 되도록 설정되는 점에 그 특징이 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.
본 발명은 비디오 압축을 수행할 때 사람 눈에 민감한 부분의 데이터는 적게 제거하고 그렇지 않은 부분의 데이터는 많이 제거하여 같은 양의 데이터일 때 일반적인 데이터 압축 방법보다 화질이 우수하게 유지되는 동영상 코딩 방법을 제시하고자 한다.
움직임 예측과 움직임 보상을 통해 압축을 수행하는 일반적인 비디오 압축 과정은 도 1에 나타낸 바와 같다. 도 1은 일반적인 동영상 코딩 방법에 의하여 코딩이 수행되는 과정을 개략적으로 나타낸 도면이다.
일반적인 동영상 코딩 과정은, 도 1에 나타낸 바와 같이, 입력 영상을 움직임 보상(motion compensation)과 움직임 예측(motion estimation)을 통해 움직임 벡터(motion vector)를 추출하고, 그 차 영상에 대해서는 DCT와 양자화 과정을 수행한다. 양자화를 수행한 데이터를 데이터 압축을 좀 더 효율적으로 하기 위해 가변장 부호화(VLC encoding)를 수행한다.
그리고 역 양자화와 역 DCT(IDCT)를 수행한 것과 이전 영상을 합해 기존 영상으로 복원하고 그 영상을 가지고 또 다음 영상의 차 영상을 구한다. 이러한 방식으로 비디오 데이터 압축이 이루어진다.
비디오 데이터를 모두 압축하면 압축된 데이터양이 많기 때문에 이전 영상과 유사한 부분을 찾아 움직임 벡터를 구하고 그에 대한 차분치만을 인코딩한 후 가변장 부호화를 수행하여 전송한다. 이때, 영상 압축은 크게 무손실 변환 부분과 유손실 압축 부분으로 나눌 수 있다. 무손실 변환은 이산 코사인 변환(DCT: Discrete Cosine Transform)으로 2차원 공간에서의 영상 정보를 주파수 도메인으로 변환시킨다.
이렇게 영상 정보를 주파수 정보로 변환시키는 이유는 영상 정보를 고주파 정보와 저주파 정보로 나눌 수 있기 때문이다. 사람 눈은 고주파 정보가 어느 정도 제거되어도 민감하지 않게 반응하므로 영상의 압축율을 높일 때 고주파 정보를 제거한다. 고주파 정보를 제거하는 방법을 유손실 압축 방법이라 하며 양자화 파라메터를 이용하여 고주파 정보를 제거한다. 양자화 파라메터는 이산 코사인 변환으로 변환된 영상 데이터를 나눠주는 값이다.
보통의 영상 데이터는 저주파 정보가 많기 때문에 양자화 파라메터로 저주파 정보의 값을 나눠도 저주파 정보는 어느 정도 복원된다. 하지만 고주파 정보는 적기 때문에 양자화 파라메터가 커지면 고주파 정보는 거의 제거된다. 이렇게 양자화 파라메터로 인해 제거된 정보는 다시 복원 할 수 없다. 위와 같은 일반적인 비디오 압축 방법은 입력 영상의 특성을 고려하지 않고 전체 영상에 대해 동일한 방법으로 압축을 수행하기 때문에 양자화 파라메터의 값이 동일하여도 영상의 특성에 따라 화질 저하의 정도가 달라지게 된다.
사람 눈이 주로 느끼는 화질 저하 현상으로는 블록킹(Blocking) 현상과 링잉(Ringing) 현상이 있다. 블록킹 현상은 압축의 최소 단위인 블록을 따라 영상이 자연스럽게 이어지지 않고 끊겨 보이는 현상을 의미한다. 블록킹 현상이 생기는 이유는 블록 단위의 이산 코사인 변환 후 양자화를 수행하는데, 이산 코사인 변환은 무손실이지만 양자화는 유손실이기 때문에, 손실된 정보로 인하여 영상을 다시 복원했을 때 이산 코사인 변환 단위로 영상의 끊김 현상이 발생하는 것이다.
블록킹 현상은 일반적으로 저주파 영역에서 더 심각하게 발생하고 에지가 강할 때도 블록킹 현상이 크게 느껴진다. 반대로 고주파 영역에서는 블록킹 현상이 심각하게 느껴지지 않는다.
한편, 링잉(Ringing) 현상은 입력 영상에서 밝은 부분과 어두운 부분이 번갈아 나타남으로써 이미지의 스캔 방향으로 점차 밝아지거나 어두워지는 현상을 말한다. 이때, 링잉(Ringing) 현상은 강한 에지일수록 심각하게 나타난다.
본 발명에서는, 이러한 두 가지 주요 화질 저하 요인(블록킹 현상, 링잉 현상)을 고려하여 입력 영상의 특성을 분류하고 그에 따라 적절한 처리를 수행함으로써, 일반적인 비디오 압축과 동일한 압축양일 때에도 보다 화질을 향상시킬 수 있게 된다.
여기서, 적절한 처리라 함은 양자화를 수행할 때 입력 영상의 특성에 따라 양자화 파라메터(QP)를 다르게 설정하는 것과 저주파 필터(LPF)를 통과시키는 것을 말한다. 양자화 파라메터와 저주파 필터는 모두 압축되는 데이터 양을 감소시키는 방법이다. 하지만 입력 영상의 특성을 고려하여 양자화 파라메터와 저주파 필터를 적절하게 통과시키면 압축되는 데이터양은 유지하면서 화질을 향상시킬 수 있게 된다.
여기서, 입력 영상에 대해 크게 에지 블록과 편평한 블록(균일한 블록) 그리고 복잡한 블록으로 나눌 수 있다. 입력 영상을 에지 블록과 편평한 블록(균일한 블록) 그리고 복잡한 블록으로 나누는 것은 에지 테스트, 분산, 밝기 등을 이용하 여 분류한다. 이러한 일련의 과정을 도 2에 나타내었다.
도 2를 참조하여 간략하게 설명하면, 입력되는 비디오 영상에 대하여 에지 테스트를 수행하여 편평한 블록(균일한 블록), 복잡한 블록 그리고 에지 블록 여부를 판단한다. 그리고, 각 블록이 속한 매크로 블록에 대하여 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹) 그리고 복잡한 영상 그룹 여부를 판단하는 과정을 거친다.
이러한 처리 과정에 대하여 부연하여 설명하면 다음과 같다.
에지 블록과 복잡한 블록은 에지 테스트를 이용하여 후보 영역을 추출한 뒤 블록 단위로 에지 블록과 복잡한 블록으로 나눈다.
이때, 복잡한 블록은 도 3과 같이 블록 테스트를 하는 블록 주위의 8 방향의 블록을 보고 주위 8 개 블록 모두 에지 후보 픽셀이 임계값 이상이면 그 블록은 복잡한 블록으로 분류된다. 또한, 에지 블록은 에지 테스트를 이용하여 에지 후보 영역을 추출한 뒤 블록 주위 영역을 살펴보아 주위 영역이 복잡한 패턴이 아니면 에지 블록으로 분류한다. 그리고, 편평한 블록(균일한 블록)은 에지 테스트에서 에지 후보영역으로 분류되지 않은 영역으로 분산의 값이 낮은 영역이다.
본 발명에서는, 블록 단위로 그룹 분류를 한 뒤 매크로 블록 단위로 또 한번 그룹 분류를 수행한다. 이는 비디오 압축에서 양자화 단위가 매크로 블록 단위이기 때문이다.
하나의 매크로 블록에 에지 블록이 임계 개수 이상이면 그 매크로 블록은 에지 영상 그룹으로 판별한다. 그리고, 매크로 블록 내에 편평한 블록(균일한 블록) 이 임계 개수 이상이면 편평한 영상 그룹(균일한 영상 그룹)으로 판별한다. 또한 매크로 블록 내에 복잡한 블록이 임계 개수 이상이면 복잡한 영상 그룹으로 판별한다.
한편, 에지 영상 그룹은 오브젝트의 경계나 오브젝트 내에 선이기 때문에 에지 부분에 화질 저하가 생길 경우 사람 눈이 매우 민감하게 반응한다. 에지 영상 그룹은 양자화 파라메터로 인한 블록킹 현상이나 저주파 필터로 인한 화면이 뿌옇게 보이는 화질 저하가 사람 눈에 크게 뜨인다. 따라서 에지 영상 그룹은 양자화 파라메터와 저주파 필터의 화질 저하에 대해 민감한 그룹으로 분류한다.
그리고, 편평한 영상 그룹(균일한 영상 그룹)은 사람 얼굴의 볼 부분이나 벽 부분같이 영상 자체에 큰 변화가 없는 영역으로 양자화 파라메터에 대해서는 화질 저하 현상이 금방 눈에 띠지만 저주파 필터에 대해서는 화질 저하 현상이 크게 느껴지지 않는다.
또한, 복잡한 영상 그룹에 대해서는 양자화 파라메터에 대해서는 화질 저하 현상이 크게 느껴지지 않지만 저주파 필터에 대해서는 화질 저하 현상이 잘 느껴진다.
지금까지 기술된 각 영상 그룹에 대한 민감도를 도 4에 정리하여 나타내었다. 도 4는 본 발명에 따른 동영상 코딩 방법에 의하여, 에지 영상 그룹과 편평한 영상 그룹(균일한 영상 그룹) 그리고 복잡한 영상 그룹에 대한 양자화 파라메터 및 저주파 필터가 적용되는 경우의 민감도를 나타낸 도면이다.
한편 본 발명에 의하면, 입력된 영상에 대해 위와 같이 그룹 구분을 한 뒤 압축을 수행할 때 그룹의 특성에 따라 다른 양자화 파라메터와 저주파 필터를 사용하여 일반적인 비디오 압축방법과 비교하여 좀 더 좋은 화질을 얻을 수 있다. 이때, 입력 영상의 그룹 구분은 영상을 압축 할 때 양자화 파라메터를 적용하는 단위인 매크로 블록 단위로 구분하게 된다.
양자화 파라메터는 지정된 대역폭에 맞게 압축되는 데이터양을 조절하기 위해 값이 계산된다. 입력된 영상의 그룹 특성에 따라 계산된 양자화 파라메터(초기 양자화 파라메터)에 서로 다른 가중치를 주어 양자화 파라메터 값을 변경시킨다. 이때, 입력된 영상을 매크로 블록 단위로 그룹화하는데 있어, 입력된 영상의 부분이 에지 영상 그룹으로 판별되면 양자화에 의한 화질 저하가 가장 민감하게 나타나는 부분이기 때문에 계산된 양자화 파라메터(초기 양자화 파라메터)보다 더 적은 값으로 지정한다.
그리고, 입력된 영상의 부분이 편평한 영상 그룹(균일한 영상 그룹)으로 판별되면 양자화에 의한 화질 저하가 에지 영상 그룹보다는 작게 느껴지지만 이 그룹도 민감하게 느껴지는 부분이기 때문에 양자화 파라메터를 계산된 값에 적절한 가중치를 주어 양자화 파라메터 값을 변경한다. 마지막으로 입력 영상의 부분이 복잡한 영상 그룹으로 판별되면 양자화에 의한 화질 저하가 가장 적게 나타나는 부분이므로 양자화 파라메터를 계산된 값(초기 양자화 파라메터)보다 좀 더 크게 설정한다. 위에서 설명한 가중치는 입력 영상에서 에지 영상 그룹과 편평한 영상 그룹(균일한 영상 그룹) 그리고 복잡한 그룹의 분포가 어떻게 되느냐에 따라 달라진다.
또한, 저주파 필터는 가변장 부호화의 길이를 줄여 인코딩되는 데이터를 감 소시키는 방법이다. 저주파 필터를 통과하면 고주파 정보는 모두 사라지는데 이렇게 되면 인코딩 시 가변장 부호화를 할 때 유리하게 되어 압축되는 데이터양이 감소된다.
본 발명에서는, 입력되는 영상의 부분이 에지 영상 그룹으로 판별되면 저주파 필터에 의한 화질 저하가 가장 민감하게 나타나는 부분이기 때문에 통과되는 주파수의 크기를 크게 한다. 그리고, 입력되는 영상의 부분이 편평한 영상 그룹(균일한 영상 그룹)으로 판별되면 저주파 필터에 의한 화질저하가 가장 덜 민감한 그룹이기 때문에 통과되는 주파수 크기를 가장 작게 한다. 마지막으로 입력되는 영상의 부분이 복잡한 영상 그룹 부분일 경우에는 저주파 필터에 의한 화질 저하의 민감도가 에지 영상 그룹과 편평한 영상 그룹(균일한 영상 그룹)의 중간 정도 이므로 통과되는 주파수 크기를 두 그룹의 중간 정도로 설정한다.
위와 같은 일련의 과정을 도 5에 나타내었다. 도 5는 본 발명에 따른 동영상 코딩 방법에 의하여, 동영상 코딩이 수행되는 과정을 나타낸 순서도이다.
이상에서 설명된 바와 같이, 멀티미디어 전송 서비스가 인터넷뿐 아니라 모바일 환경에서도 서비스되고 있는 요즘 비디오 압축은 전송량이 많은 비디오에서 일반적으로 쓰이고 있는 방법이다. 하지만 비디오 압축을 수행했을 경우 화질 저하가 크게 나타난다. 또한 입력 영상의 특성을 고려하지 않기 때문에 어떤 영역에서는 화질 저하가 더 크고 어떤 영역에서는 화질 저하가 더 작다.
본 발명에서는, 이러한 사실에 기반 하여 시감각 특성을 이용하여 입력 영상을 그룹화 하고 그에 따라 적절하게 양자화를 수행하고, 저주파 필터를 통과시키면 일반적인 비디오 압축과 동일한 압축을 수행하면서도 좀 더 나은 화질을 얻을 수 있다. 혹은 본 발명에 의하면 동일한 화질일 때 좀 더 높은 압축률을 보일 수 있다.
위와 같은 방법의 개발로 비디오 스트리밍을 하는 어떠한 서비스에서도 좀 더 좋은 화질을 제공하여 줄 수 있고 혹은 좀 더 높은 압축율로 사용자에게 저렴한 이용 요금을 제공하여 줄 수 있게 된다.
이상의 설명에서와 같이 본 발명에 따른 동영상 코딩 방법에 의하면, 동영상 코딩 과정에서 발생되는 화질 저하를 최대한 제거하고자 사람 눈에 덜 민감한 부분의 데이터는 더 많이 제거하고, 그렇지 않은 부분의 데이터는 덜 제거함으로써, 같은 양의 데이터일 때 일반적인 데이터 압축 방법보다 화질이 우수하게 유지될 수 있는 장점이 있다.

Claims (9)

  1. 입력된 영상에 대해, 움직임 보상과 움직임 예측을 통하여 움직임 벡터를 추출하고, 그 차 영상에 대하여 DCT를 수행하며 초기 양자화 파라메터를 설정하는 단계와;
    상기 입력되는 영상을 각 블록 단위로 주위 블록의 분산과 공간적 복잡도의 퍼점 정보를 반영하여 산출되는 시감각 특성에 따라, 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류하는 단계와;
    상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따른 양자화 파라메터를 변경하는 단계; 및
    상기 변경된 양자화 파라메터를 이용하여 양자화를 수행하는 단계; 를 포함하는 것을 특징으로 하는 동영상 코딩 방법.
  2. 제 1항에 있어서,
    상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따른 양자화 파라메터를 변경함에 있어, 상기 에지 영상 그룹의 변경된 양자화 파라메터는 상기 초기 설정된 양자화 파라메터의 값보다 더 작게 설정되는 것을 특징으로 하는 동영상 코딩 방법.
  3. 제 1항에 있어서,
    상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따른 양자화 파라메터를 변경함에 있어, 상기 복잡한 영상 그룹의 변경된 양자화 파라메터는 상기 초기 설정된 양자화 파라메터의 값보다 더 크게 설정되는 것을 특징으로 하는 동영상 코딩 방법.
  4. 입력된 영상에 대해, 움직임 보상과 움직임 예측을 통하여 움직임 벡터를 추출하고, 그 차 영상에 대하여 DCT를 수행하며 양자화 파라메터를 설정하는 단계와;
    상기 입력되는 영상을 각 블록 단위로 주위 블록의 분산과 공간적 복잡도의 퍼점 정보를 반영하여 산출되는 시감각 특성에 따라, 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류하는 단계와;
    상기 설정된 양자화 파라메터를 이용하여 양자화를 수행하는 단계;
    상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따라 저주파 필터를 차등 적용시키는 단계; 및
    상기 저주파 필터가 차등 적용된 각 영상 그룹에 대하여 가변장 부호화를 수행하는 단계; 를 포함하는 것을 특징으로 하는 동영상 코딩 방법.
  5. 입력된 영상에 대해, 움직임 보상과 움직임 예측을 통하여 움직임 벡터를 추출하고, 그 차 영상에 대하여 DCT를 수행하며 초기 양자화 파라메터를 설정하는 단계와;
    상기 입력되는 영상을 각 블록 단위로 주위 블록의 분산과 공간적 복잡도의 퍼점 정보를 반영하여 산출되는 시감각 특성에 따라, 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류하는 단계와;
    상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따른 양자화 파라메터를 변경하는 단계와;
    상기 변경된 양자화 파라메터를 이용하여 양자화를 수행하는 단계와;
    상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따라 저주파 필터를 차등 적용시키는 단계; 및
    상기 저주파 필터가 차등 적용된 각 영상 그룹에 대하여 가변장 부호화를 수행하는 단계; 를 포함하는 것을 특징으로 하는 동영상 코딩 방법.
  6. 제 1항, 제 4항 또는 제 5항 중의 어느 한 항에 있어서,
    상기 입력되는 영상을 시감각 특성에 따라, 각 블록 단위로 주위 블록도의 복잡도를 참조하여 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류함에 있어,
    상기 입력된 영상의 매크로 블록 내에 상기 분류된 블록의 개수가 포함되는 정도에 따라, 상기 매크로 블록 단위로 에지 영상 그룹, 편평한 영상 그룹(균일한 영상 그룹), 복잡한 영상 그룹으로 분류하는 단계; 를 구비하는 것을 특징으로 하는 동영상 코딩 방법.
  7. 삭제
  8. 제 1항 또는 제 5항에 있어서,
    상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따른 양자화 파라메터를 변경함에 있어, 그 변경된 양자화 파라메터의 크기는 에지 영상 그룹 < 편평한 영상 그룹(균일한 영상 그룹) < 복잡한 영상 그룹의 순서가 되도록 설정되는 것을 특징으로 하는 동영상 코딩 방법.
  9. 제 4항 또는 제 5항에 있어서,
    상기 분류된 영상 그룹에 따라 다른 가중치를 부여하여, 각 영상 그룹에 따라 저주파 필터를 차등 적용시킴에 있어, 그 통과되는 주파수의 크기는 에지 영상 그룹 > 편평한 영상 그룹(균일한 영상 그룹) > 복잡한 영상 그룹의 순서가 되도록 설정되는 것을 특징으로 하는 동영상 코딩 방법.
KR1020030032742A 2003-05-23 2003-05-23 동영상 코딩 방법 KR100555419B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020030032742A KR100555419B1 (ko) 2003-05-23 2003-05-23 동영상 코딩 방법
EP04012104A EP1480463A3 (en) 2003-05-23 2004-05-21 Adaptive moving picture coding method based on block classification
US10/849,865 US20040258318A1 (en) 2003-05-23 2004-05-21 Moving picture coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030032742A KR100555419B1 (ko) 2003-05-23 2003-05-23 동영상 코딩 방법

Publications (2)

Publication Number Publication Date
KR20040101591A KR20040101591A (ko) 2004-12-03
KR100555419B1 true KR100555419B1 (ko) 2006-02-24

Family

ID=33095675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030032742A KR100555419B1 (ko) 2003-05-23 2003-05-23 동영상 코딩 방법

Country Status (3)

Country Link
US (1) US20040258318A1 (ko)
EP (1) EP1480463A3 (ko)
KR (1) KR100555419B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070248270A1 (en) * 2004-08-13 2007-10-25 Koninklijke Philips Electronics, N.V. System and Method for Compression of Mixed Graphic and Video Sources
KR100730770B1 (ko) * 2005-08-19 2007-06-20 엠텍비젼 주식회사 에지 성분을 이용한 양자화 계수 조정에 의한 화상 데이터압축 장치 및 그 방법과 이를 구현하기 위한 프로그램을기록한 기록매체
KR100778924B1 (ko) * 2006-02-01 2007-11-22 엠텍비젼 주식회사 차등 적용 필터부를 가지는 영상 처리 장치 및 방법
JP4799225B2 (ja) * 2006-03-08 2011-10-26 株式会社東芝 画像処理装置および画像表示方法
ES2612950T3 (es) 2006-03-16 2017-05-19 Huawei Technologies Co., Ltd. Un método y un dispositivo para realizar una cuantificación en codificación-descodificación
KR100790900B1 (ko) * 2006-12-14 2008-01-03 삼성전자주식회사 영상 부호화를 위한 초기 ＱＰ (ＱｕａｎｔｉｚａｔｉｏｎＰａｒａｍｅｔｅｒ) 값 예측 방법 및 장치
US8526489B2 (en) * 2007-09-14 2013-09-03 General Instrument Corporation Personal video recorder
KR100928045B1 (ko) * 2007-10-25 2009-11-23 에스케이 텔레콤주식회사 영상 분석 장치를 이용한 부호화 방법 및 시스템과 그를위한 영상 분석 장치
KR100939435B1 (ko) * 2007-10-29 2010-01-28 에스케이 텔레콤주식회사 영상 분석 장치 및 방법
WO2011053255A1 (en) 2009-10-30 2011-05-05 Agency For Science, Technology And Research Methods, devices, and computer readable mediums for processing a digital picture
CN102006472A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 视频码率控制系统及其方法
TWI538487B (zh) 2013-12-05 2016-06-11 財團法人工業技術研究院 螢幕視訊之預測編碼的方法與系統

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265769A (ja) * 1995-03-06 1996-10-11 Texas Instr Inc <Ti> 画像データの適応型量子化方法及びその装置
KR960036773A (ko) * 1995-03-09 1996-10-28 김광호 신호 압축 부호화 방법
KR970019678A (ko) * 1995-09-29 1997-04-30 배순훈 적응적인 벡터 양자화를 이용한 영상 부호화 시스템 및 그의 움직임 정보 검출 방법
KR970032142A (ko) * 1995-11-01 1997-06-26 김광호 영상 부호화장치에 있어서 양자화간격 결정방법 및 회로
KR19990015281A (ko) * 1997-08-04 1999-03-05 구자홍 영상 복잡도를 고려한 적응 양자화 장치 및 방법
KR100204069B1 (ko) * 1996-04-15 1999-06-15 이득렬 적응적인 양자화 조절 기능을 갖는 개선된 영상 부호화 시스템 및 그 양자화 제어방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5398078A (en) * 1991-10-31 1995-03-14 Kabushiki Kaisha Toshiba Method of detecting a motion vector in an image coding apparatus
US5253705A (en) * 1992-04-09 1993-10-19 Otis Engineering Corporation Hostile environment packer system
US5861921A (en) * 1993-03-29 1999-01-19 Canon Kabushiki Kaisha Controlling quantization parameters based on code amount
EP0706155A4 (en) * 1994-04-22 1997-06-11 Sony Corp METHODS AND APPARATUS FOR ENCODING / DECODING IMAGE SIGNALS
JP2900983B2 (ja) * 1994-12-20 1999-06-02 日本ビクター株式会社 動画像帯域制限方法
US5691775A (en) * 1995-03-30 1997-11-25 Intel Corporation Reduction of motion estimation artifacts
WO2002102086A2 (en) * 2001-06-12 2002-12-19 Miranda Technologies Inc. Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
US6944224B2 (en) * 2002-08-14 2005-09-13 Intervideo, Inc. Systems and methods for selecting a macroblock mode in a video encoder

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265769A (ja) * 1995-03-06 1996-10-11 Texas Instr Inc <Ti> 画像データの適応型量子化方法及びその装置
KR960036773A (ko) * 1995-03-09 1996-10-28 김광호 신호 압축 부호화 방법
KR970019678A (ko) * 1995-09-29 1997-04-30 배순훈 적응적인 벡터 양자화를 이용한 영상 부호화 시스템 및 그의 움직임 정보 검출 방법
KR970032142A (ko) * 1995-11-01 1997-06-26 김광호 영상 부호화장치에 있어서 양자화간격 결정방법 및 회로
KR100204069B1 (ko) * 1996-04-15 1999-06-15 이득렬 적응적인 양자화 조절 기능을 갖는 개선된 영상 부호화 시스템 및 그 양자화 제어방법
KR19990015281A (ko) * 1997-08-04 1999-03-05 구자홍 영상 복잡도를 고려한 적응 양자화 장치 및 방법

Also Published As

Publication number Publication date
US20040258318A1 (en) 2004-12-23
EP1480463A2 (en) 2004-11-24
EP1480463A3 (en) 2006-04-26
KR20040101591A (ko) 2004-12-03

Similar Documents

Publication Publication Date Title
RU2702052C1 (ru) Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
KR100788220B1 (ko) 품질기반 영상압축
JP5283628B2 (ja) 映像復号方法及び映像符号化方法
AU782176B2 (en) Variance based adaptive block size DCT image compression
EP3573337B1 (en) Method and device for lossy compress-encoding image data
Lee et al. Loop filtering and post-filtering for low-bit-rates moving picture coding
KR100555419B1 (ko) 동영상 코딩 방법
JP2008503177A (ja) 色差デブロッキングのための方法
JP7504132B2 (ja) 映像圧縮のための前処理
KR100229796B1 (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
Shao et al. Quality adaptive least squares trained filters for video compression artifacts removal using a no-reference block visibility metric
KR101345294B1 (ko) 영상의 양자화 장치 및 방법
JP3800435B2 (ja) 動画像信号処理装置
Li et al. Multiresolution tree architecture with its application in video sequence coding: A new result
JP3892835B2 (ja) 階層画像符号化方法，階層画像符号化装置，階層画像符号化プログラムおよびそのプログラムを記録した記録媒体
KR100762578B1 (ko) 영상신호의 후처리 필터링 장치 및 방법
Bordes et al. Perceptually adapted MPEG video encoding
KR100843100B1 (ko) 디지털 영상에서의 블록 노이즈 저감 방법 및 장치, 이를이용한 인코딩/디코딩 방법 및 인코더/디코더
KR20120129629A (ko) 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법
KR100229533B1 (ko) 개선된 영상 복호화 시스템
KR100229795B1 (ko) 개선된 영상 복호화 시스템
Kumar et al. Color video compression using color mapping into textured grayscale video frames
Slanina et al. Estimating PSNR without reference for real H. 264/AVC sequence intra frames
JP2007020216A (ja) 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法
KR100207392B1 (ko) 텍스쳐 영역 판단장치 및 이를 이용한 복원 영상의 화질 평가 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090105

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee