KR100727988B1 - 변환 영역에서의 ｄｃ 계수 예측 방법 및 장치 - Google Patents

변환 영역에서의 ｄｃ 계수 예측 방법 및 장치 Download PDF

Info

Publication number
KR100727988B1
KR100727988B1 KR1020050092659A KR20050092659A KR100727988B1 KR 100727988 B1 KR100727988 B1 KR 100727988B1 KR 1020050092659 A KR1020050092659 A KR 1020050092659A KR 20050092659 A KR20050092659 A KR 20050092659A KR 100727988 B1 KR100727988 B1 KR 100727988B1
Authority
KR
South Korea
Prior art keywords
block
coefficient
sum
current block
value
Prior art date
Application number
KR1020050092659A
Other languages
English (en)
Other versions
KR20070037530A (ko
Inventor
송병철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050092659A priority Critical patent/KR100727988B1/ko
Priority to US11/514,828 priority patent/US20070076964A1/en
Priority to CNA2006101415820A priority patent/CN1941914A/zh
Publication of KR20070037530A publication Critical patent/KR20070037530A/ko
Application granted granted Critical
Publication of KR100727988B1 publication Critical patent/KR100727988B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 변환 영역에서의 DC 계수 예측 방법 및 그 장치에 관한 것으로, 본 발명에 따른 영상의 부호화시 변환된 블록의 DC 계수를 예측하는 방법은, 현재 블록과 인접한 상측 블록의 최하측행 화소들의 제 1 대표값 및 좌측 블록의 최우측열 화소들의 제 2 대표값을 계산하고, 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값과 상측 블록의 최하측행 화소들의 제 1 대표값 및 좌측 블록의 최우측열 화소들의 제 2 대표값을 각각 비교한 결과에 따라서, 현재 블록의 DC 계수의 예측을 위한 DC 계수 예측자를 선택하는 단계를 포함하는 것을 특징으로 한다. 본 발명에 따르면, 현재 블록에 보다 인접한 화소들의 합을 이용함으로써 DC 계수 예측의 정확성을 높일 수 있고, 이로 인해 영상의 압축률을 향상시킬 수 있다.

Description

변환 영역에서의 ＤＣ 계수 예측 방법 및 장치{Method and apparatus for predicting DC coefficient in transform domain}
도 1은 종래 기술에 따른 변환 영역에서의 인트라 예측 부호화를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 DC 계수 예측 장치가 적용되는 동영상 부호화기의 구성을 나타낸 블록도이다.
도 3은 상기 도 2의 예측부의 구체적인 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 부호화시의 변환 블록의 DC 계수 예측 방법을 나타낸 플로우 차트이다.
도 5는 본 발명에 따른 DC 계수 예측 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 DC 계수 예측 장치가 적용되는 동영상 복호화기의 구성을 나타낸 블록도이다.
도 7은 상기 도 6의 예측부의 구체적인 구성을 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화시의 변환 블록의 DC 계수 예측 방법을 나타낸 플로우 차트이다.
본 발명은 영상 데이터의 예측 부호화 및 복호화에 관한 것으로, 보다 상세하게는 변환 영역에서의 DC 계수 예측 방법 및 그 장치에 관한 것이다.
동영상 데이터는 데이터 양이 매우 많아 영상 데이터의 저장 또는 전송을 위해서는 압축 부호화가 필수적으로 요구된다. 영상 데이터의 압축을 위한 방법론 중 하나로 인트라 예측이 있다. 인트라 예측이란 하나의 영상 내의 데이터의 유사성을 이용하여 영상 데이터를 압축하는 기술이다. MPEG-1, MPEG-2, MPEG-4 Part 2 Visual 등의 동영상 부호화 국제 표준에서는 DCT 변환 영역(Transform Domain)에서 변환된 계수에 대한 인트라 예측을 사용하여 부호화 효율 증대를 추구하였으며, AVC/H.264에서는 변환영역이 아닌 공간영역(Spatial Domain)에서의 공간적 인트라 예측(Spatial Intra Prediction) 부호화 방법을 채택하고 있다. 설명의 편의를 위하여 이하에서는 DCT 변환 영역에서 변환된 계수에 대한 인트라 예측을 수행하는 경우를 중심으로 설명한다. 변환 영역에서 인트라 예측 부호화를 수행하는 경우, 부호화할 현재 블록과 상관성이 있는 적어도 하나의 이전 블록의 변환 계수를 이용하여 현재 블록의 변환 계수를 예측한 후 현재 블록의 실제 변환 계수와 예측된 변환 계수와의 차이를 가변 길이 부호화하여 전송한다.
도 1은 종래 기술에 따른 변환 영역에서의 인트라 예측 부호화를 설명하기 위한 도면이다. 여기서, 상기 도 1은 MPEG-4 Part 2에 채용된 인트라 예측 부호화 방법을 나타낸다.
도 1을 참조하면, MPEG-4 Part 2의 경우는 8X8 블록 단위로 DCT(Discret Cosine Transform) 변환된 영역에서, 이전 블록 A, B 및 C의 DC 계수의 차에 따라 현재 블록 X의 DC 계수 예측을 위한 예측 방향이 결정된다. 여기서, DC 계수는 DCT 변환된 블록에서 (0,0) 위치에 해당되는 계수를 나타낸다. 만약, 이전 블록 A, B 또는 C가 VOP(Video Object Plane) 경계 또는 현재 비디오 패킷의 경계 바깥에 위치하거나 인트라 코딩되지 않았으면, 이 블록들의 DC 계수는 128로 간주된다.
이전 블록 A의 양자화된 DC 계수를 DC_A, 이전 블록 B의 양자화된 DC 계수를 DC_B, 이전 블록 C의 양자화된 DC 계수를 DC_C라고 하면, 현재 블록 X의 DC 계수 예측자(DC_Predictor)는 다음과 같이 결정된다.
만약,
Figure 112005055863297-pat00001
이면
DC_Predictor=DC_C이고,
상기 부등식을 만족하지 않는 경우에는,
DC_Predictor=DC_A로 결정된다.
다음, 현재 블록 X의 DC 계수를 DC_X라고 하면, 상기 DC_X는 상기 현재 블록 X의 DC 계수와 상기 DC 계수 예측자와의 차이인 DC_X - DC_Predictor로 대체되고, 스캔, 런렝스 부호화(Run Length Coding), 가변길이 부호화(Variable Length Coding) 등을 거쳐 부호화가 수행된다.
상기와 같은 종래 기술에 따른 변환 영역에서의 인트라 예측 부호화 방법에 따르면, 비록 현재 블록의 DC 계수가 주변 블록의 DC 계수와 일정한 상관 관계(correlation)가 있지만, 현재 블록과 이전 블록과의 거리로 인해서 정확한 DC 계 수 예측에는 한계가 존재한다. 따라서, DC 계수의 예측의 정확성을 향상시키고, 보다 높은 압축 효율을 증가시킬 필요성이 있다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 현재 블록에 보다 가깝게 인접한 이웃 블록의 화소들의 대표값, 즉 현재 블록에 인접한 상측 행들의 화소값의 합 및 현재 블록에 인접한 좌측열의 화소값의 합을 이용하여 보다 정확하게 현재 블록의 DC 계수를 예측할 수 있는 DC 계수 예측 방법 및 장치를 제공하는 데에 목적이 있다.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 영상의 부호화시 변환된 블록의 DC 계수를 예측하는 방법은, 현재 블록과 인접한 상측 블록의 최하측행 화소들의 제 1 대표값 및 좌측 블록의 최우측열 화소들의 제 2 대표값을 계산하는 단계; 및 상기 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값과, 상기 상측 블록의 최하측행 화소들의 제 1 대표값 및 상기 좌측 블록의 최우측열 화소들의 제 2 대표값을 각각 비교한 결과에 따라서, 상기 현재 블록의 DC 계수의 예측을 위한 DC 계수 예측자를 선택하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 부호화시 변환된 블록의 DC 계수를 예측하는 장치는, 현재 블록과 인접한 상측 블록의 최하측행 화소들의 제 1 대표값 및 좌측 블록의 최우측열 화소들의 제 2 대표값을 계산하는 합산부; 및 상기 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값과, 상기 상측 블록의 최하측행 화소들의 제 1 대표값 및 상기 좌측 블록의 최우측열 화소들의 제 2 대표값의 평균값을 각각 비교한 결과에 따라서, 상기 현재 블록의 DC 계수의 예측을 위한 DC 계수 예측자를 선택하는 DC 계수 예측자 선택부를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상의 복호화시 변환된 블록의 DC 계수를 예측하는 방법은, 수신된 비트스트림을 가변길이 복호화하여 현재 블록의 실제 DC 계수와 DC 계수 예측자와의 차이에 해당하는 차분값을 추출하는 단계; 상기 현재 블록과 인접하고 이전에 복호화된 상측 블록의 최하측행 화소들의 제 1 대표값 및 좌측 블록의 최우측열 화소들의 제 2 대표값을 계산하는 단계; 상기 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값과, 상기 상측 블록의 최하측행 화소들의 제 1 대표값 및 상기 좌측 블록의 최우측열 화소들의 제 2 대표값을 각각 비교한 결과에 따라서, 상기 현재 블록의 DC 계수의 예측을 위한 DC 계수 예측자를 선택하는 단계; 및 상기 추출된 차분값과 상기 선택된 DC 계수 예측자를 더하여 현재 블록의 DC 계수를 복원하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상의 복호화시 변환된 블록의 DC 계수를 예측하는 장치는, 현재 블록과 인접하고 이전에 복호화된 상측 블록의 최하측행 화소들의 제 1 대표값 및 좌측 블록의 최우측열 화소들의 제 2 대표값을 계산하는 합산부; 상기 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값과, 상기 상측 블록의 최하측행 화소들의 제 1 대표값 및 상기 좌측 블록의 최우측열 화소들의 제 2 대표값을 각각 비교한 결과에 따라서, 상기 현재 블록의 DC 계수의 예측을 위한 DC 계수 예측자를 선택하는 DC 계수 예측자 선택부; 및 가변길이 복호화된 비트스트림에서 추출된 현재 블록의 실제 DC 계수와 DC 계수 예측자와의 차이에 해당하는 차분값과 상기 선택된 DC 계수 예측자를 더하는 가산부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 DC 계수 예측 장치가 적용되는 동영상 부호화기의 구성을 나타낸 블록도이다.
도 2를 참조하면, 본 발명에 따른 동영상 부호화기는 변환부(210), 양자화부(220), 역양자화부(230), 역변환부(240), 프레임 메모리부(250), 움직임 추정/보상부(260), 예측부(270) 및 가변길이 부호화부(280)를 포함한다. 본 발명의 일 실시예에 따른 DC 계수 예측 장치는 동영상 복호화기에서 변환 및 양자화를 거쳐서 양자화된 변환 계수로 구성된 소정 크기의 블록의 DC 계수를 예측하는 장치로서, 상기 도 2의 예측부(270)에 대응된다. 이하에서는 설명의 편의를 위하여, 상기 소정 크기의 블록을 양자화된 변환 계수들로 구성된 8×8 크기의 블록이라고 가정한다. 그러나, 본 발명에 따른 사상은 변환 계수들로 구성된 다른 크기의 블록에 대하여서도 동일하게 적용될 수 있음을 용이하게 추론할 수 있을 것이다.
움직임 추정/보상부(260)는 입력되는 현재 프레임의 영상 데이터와 프레임 메모리부(250)에 저장된 이전 프레임의 영상 데이터를 이용하여 매크로 블록당 움직임 벡터(MV)와 블록정합오차(block matching error)에 해당하는 SAD(sum of absolute difference)를 추정하여 예측 블록을 형성한다.
상기 움직임 추정/보상부(260)를 통해 예측된 예측 블록 또는 미도시된 인트라 예측부에서 예측된 예측 블록과 현재 블록과의 차이에 해당하는 오차 블록, 즉 레지듀(residue) 블록은 변환부(210)로 입력된다.
상기 변환부(210)는 공간적 상관성을 제거하기 위해 8×8 화소 블록 단위로 입력되는 레지듀 블록에 대해 DCT(Discrete Cosine Transform) 연산을 수행하고, 양자화부(220)는 변환부(210)에서 얻어진 DCT 계수에 대해 양자화를 수행한다.
역양자화부(230)는 상기 양자화부(220)에서 양자화된 영상 데이터를 역양자화한다. 역변환부(240)는 상기 역양자화부(230)에서 역양자화된 영상 데이터에 대해 IDCT(Inverse Discrete Cosine Transform), 즉 역변환을 수행한다. 프레임 메모리부(250)는 역변환부(240)에서 역변환되어 복원된 레지듀 블록과 예측 블록을 합산한 복원된 영상 데이터를 저장한다.
본 발명에 따른 예측부(270)는 상기 프레임 메모리부(250)에 저장된 이전 블록들의 화소들 중, 현재 블록에 바로 인접한 화소들의 대표값을 이용하여 DC 계수 예측자(DC_Predictor)를 선택한다. 여기서, 상기 대표값으로는 화소들의 평균값, 메디안(median), 모우드(mode) 및 가평균값 중 어느 하나가 이용될 수 있다. 이하에서는, 설명의 편의를 위하여 상기 대표값으로서 화소들의 평균값을 이용하는 경우를 중심으로 설명한다. 또한, 상기 예측부(270)는 상기 양자화부(220)에서 출력되는 양자화된 변환 계수들로 구성된 변환 블록들의 실제 DC 계수와 상기 선택된 DC 계수 예측자 사이의 차분값을 출력한다.
도 3은 상기 도 2의 예측부의 구체적인 구성을 나타낸 블록도이고, 도 4는 본 발명의 일 실시예에 따른 영상 부호화시의 변환 블록의 DC 계수 예측 방법을 나타낸 플로우 차트이며, 도 5는 본 발명에 따른 DC 계수 예측 방법을 설명하기 위한 도면이다. 이하에서는, 상기 도 3 내지 도 5를 참조하여, 본 발명에 따른 영상 부호화시의 변환 블록의 DC 계수 예측 장치 및 방법에 대하여 상세히 설명한다.
본 발명에 따른 상기 예측부(270)는 합산부(271), DC 계수 예측자 선택부(272) 및 차분값 생성부(273)를 포함한다.
전술한 바와 같이, 인터 또는 인트라 예측 과정을 통해 생성된 예측 블록과 현재 블록의 실제값과의 차이인 레지듀 블록은 상기 변환부(210) 및 양자화부(220)에서 변환 및 양자화되고, 양자화된 변환 계수들로 구성된 소정 크기의 블록이 상기 예측부(270)로 입력된다.
단계 410에서, 상기 합산부(271)는 래스터(raster) 스캔 방식에 의할 때 현재 블록의 처리시 이용가능한 상측 및 좌측에 인접한 이웃 블록들을 상기 프레임 메모리부(250)로부터 추출하고, 상기 추출된 현재 블록의 상측 블록 및 좌측 블록의 화소들 중에서, 현재 블록에 바로 인접한 상기 상측 블록의 최하측행 화소들의 합 및 상기 좌측 블록의 최우측열 화소들의 합들을 계산한다.
도 5를 참조하면, 현재 블록을 X, 상기 현재 블록 X의 상측에 위치한 블록을 C, 상기 현재 블록 X의 좌측에 위치한 블록을 A, 상기 현재 블록 X의 좌상측에 위치한 블록을 B라고 하면, 상기 합산부(271)는 상기 블록 A의 최우측열 화소들, 즉 A07, A17,..., A67, A77의 화소값을 합산한다. 상기 블록 A의 최우측열 화소들의 합산값을 L_Sum이라고 한다. 또한, 상기 합산부(271)는 상기 블록 C의 최하측행 화소들, 즉 C70, C71,..., C76, C77의 화소값을 합산한다. 상기 블록 C의 최하측열 화소들의 합산값을 T_Sum이라고 한다.
단계 420에서, DC 계수 예측자 선택부(272)는 상기 합산부(271)에서 계산된 L_Sum, T_Sum의 평균값 각각을 상기 좌상측 블록 B로부터 얻어진 소정 기준값(R)과 비교하고, 상기 비교한 결과에 따라 현재 블록 X의 DC 계수의 예측을 위한 DC 계수 예측자를 선택한다. 여기서, 상기 소정 기준값(R)은 상기 좌상측 블록 B의 최우측 아래쪽에 위치한 화소값(B77)이나, 상기 좌상측 블록 B의 전체 화소값의 평균 또는 일부분의 화소값의 평균이 될 수 있다.
구체적으로는, 상기 DC 계수 예측자 선택부(272)는 다음과 같은 기준에 따라 현재 블록의 DC 계수 예측자(DC_Predictor)를 선택한다.
만약,
Figure 112005055863297-pat00002
이면,
DC_Predictor=L_Pred로,
상기 부등식이 만족되지 않는 경우에는
DC_Predictor=T_Pred로 선택한다. 여기서, N은 상기 상측 블록 C의 최하측행 화소들의 개수, M은 상기 좌측 블록 A의 최우측열 화소들의 개수를 나타내며 도 5에서 N과 M은 모두 8이다. 또한, L_Pred는 상기 L_Sum을 이용하여 계산되는 좌측 방향의 예측자이고 T_Pred는 상기 T_Sum을 이용하여 계산되는 상측 방향의 예측자를 나타낸다. 현재 변환 블록의 DC 계수는 양자화되었으므로, 상기 L_Pred 및 T_Pred는 각각 상기 L_Sum 및 T_Sum을 현재 블록의 양자화 계수에 대응되는 소정의 스케일링 계수와 곱하여 계산된다. 즉, 상기 현재 블록의 양자화 계수를 QP, 상기 QP에 대응되는 소정의 스케일링 계수를 Scale(QP)라고 하면,
T_Pred=T_Sum×Scale(QP)
L_Pred=L_Sum×Scale(QP)이다.
다음, 단계 430에서 상기 양자화부(220)로부터 입력되는 현재 블록의 실제 DC 계수를 DC_X라고 하면, 상기 DC_X와 상기 선택된 DC 계수 예측자와의 차이에 해당하는 차분값, 즉 DC_X - DC_Predictor이 계산된다.
한편, 상기 DC 계수 예측자(DC_Predictor)는 상기 T_Sum, L_Sum 및 이들의 평균값 (L_Sum+T_Sum)/2 중에서 중간값으로 선택될 수 있다. 즉, DC_Predictor=MEDIAN{ T_Sum, L_Sum, (L_Sum+T_Sum)/2 }일 수 있다.
다시 도 2를 참조하면, 상기 가변 길이 부호화부(280)는 상기 DC_X와 상기 선택된 DC 계수 예측자와의 차이에 해당하는 차분값을 가변 길이 부호화하여 비트스트림을 출력한다.
전술한 바와 같은 본 발명에 따른 DC 계수 예측 방법 및 장치는 종래 기술과 비교하여 현재 블록에 보다 가까운 화소들의 합을 이용함으로써 DC 계수 예측의 정확성을 높일 수 있고, 이로 인해 부호화시의 압축 효율을 증가시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 DC 계수 예측 장치가 적용되는 동영상 복호화기의 구성을 나타낸 블록도이다.
도 6을 참조하면, 본 발명에 따른 동영상 복호화기는 가변길이 복호화부(610), 예측부(620), 역양자화부(630), 역변환부(640), 움직임 보상부(650) 및 프레임 메모리(660)를 포함한다. 본 발명의 일 실시예에 따른 동영상 복호화시의 변환 블록의 DC 계수 예측 장치는 상기 예측부(620)에 대응된다. 상기 동영상 복호화기는 상기 도 2와 같은 동영상 부호화기에서 부호화된 비트스트림을 수신하여, 가변 길이 복호화부(610)에서 가변 길이 복호화하고, 예측부(620)에서 현재 블록의 DC 계수를 복호화한 다음, 역양자화부(630) 및 역변환부(640)에서 변환 블록에 대한 역양자화 및 역변환을 수행하여 레지듀 블록을 복원한다. 또한, 움직임 보상부(650)에서의 움직임 보상 또는 인트라 예측부(도시되지 않음)에서의 인트라 예측에 의하여 예측된 블록과 상기 레지듀 블록이 가산되어 영상이 복호화된다.
보다 구체적으로는, 상기 가변길이 복호화부(610)는 수신된 비트스트림을 가변 길이 복호화하여 현재 블록의 실제 DC 계수, DC 계수 예측자와의 차이에 해당하는 차분값 및 양자화 계수 등의 정보를 추출한다. 상기 예측부(620)는 프레임 메모리(660)에 복호화되어 저장된 이전 블록들의 화소들 중 현재 블록에 바로 인접한 화소들의 합을 이용하여 DC 계수 예측자를 선택하고, 상기 가변 길이 부호화부(610)에서 추출된 차분값과 상기 DC 계수 예측자를 가산하여 현재 블록의 DC 계수를 복호화하여 출력한다.
도 7은 상기 도 6의 예측부의 구체적인 구성을 나타낸 블록도이며, 도 8은 본 발명의 일 실시예에 따른 영상 복호화시의 변환 블록의 DC 계수 예측 방법을 나 타낸 플로우 차트이다. 이하, 도 7 및 도 8을 참조하여 본 발명의 일 실시예에 따른 영상 복호화시 변환 블록의 DC 계수 예측 방법 및 장치에 대하여 설명한다.
도 7을 참조하면, 상기 예측부(620)는 합산부(621), DC 계수 예측자 선택부(622) 및 가산부(623)를 포함한다.
단계 810에서, 상기 가변길이 복호화부(610)는 동영상 부호화기에서 부호화된 비트스트림을 수신하고 가변길이 복호화를 수행한다. 가변 길이 복호화의 수행 결과, 상기 가변 길이 복호화부(610)는 현재 블록의 실제 DC 계수와 DC 계수 예측자와의 차이에 해당하는 차분값, 움직임 벡터 정보 및 양자화 계수 등의 정보를 추출한다.
단계 820에서, 상기 합산부(621)는 먼저 복호화되어 상기 프레임 메모리(660)에 저장된 이전 블록을 이용하여, 현재 블록과 인접하고 있는 상측 블록의 최하측행 화소들의 합 및 좌측 블록의 최우측열 화소들의 합을 계산한다. 또한, 상기 DC 계수 예측자 선택부(622)는 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값과, 상기 상측 블록의 최하측행 화소들의 합의 평균값 및 상기 좌측 블록의 최우측열 화소들의 합들의 평균값을 각각 비교한 결과에 따라서 상기 현재 블록의 DC 계수의 예측을 위한 DC 계수 예측자를 선택한다. 상기 DC 계수 예측자 선택부(622)는 그 구성 및 동작에 있어서, 상기 도 3의 DC 계수 예측자 선택부(272)와 그 동작이 동일하므로 구체적인 설명은 생략한다.
단계 830에서, 상기 가산부(623)는 상기 추출된 차분값과 상기 선택된 DC 계수 예측자를 가산하여 현재 블록의 DC 계수를 복원한다.
현재 블록의 AC 계수 등도 상기 DC 계수와 유사하게 인접한 화소들의 합을 이용하여 계산될 수 있으며, 양자화된 변환 계수들로 구성된 변환 블록은 상기 역양자화부(630) 및 역변환부(640)에서 역양자화 및 역변환 과정을 거쳐 레지듀 블록으로 복원되고, 상기 레지듀 블록은 인터 또는 인트라 예측된 블록과 더하여져서 최종적으로 영상이 복호화된다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 바와 같은 본 발명에 따르면, 현재 블록에 보다 인접한 화소들의 합을 이용함으로써 DC 계수 예측의 정확성을 높일 수 있고, 이로 인해 영상의 압축률을 향상시킬 수 있다.

Claims (28)

  1. 영상의 부호화시 변환된 블록의 DC 계수를 예측하는 방법에 있어서,
    현재 블록과 인접한 상측 블록의 최하측행 화소들의 제 1 대표값 및 좌측 블록의 최우측열 화소들의 제 2 대표값을 계산하는 단계; 및
    상기 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값과, 상기 상측 블록의 최하측행 화소들의 제 1 대표값 및 상기 좌측 블록의 최우측열 화소들의 제 2 대표값을 각각 비교한 결과에 따라서, 상기 현재 블록의 DC 계수의 예측을 위한 DC 계수 예측자를 선택하는 단계를 포함하는 것을 특징으로 하는 DC 계수 예측 방법.
  2. 제 1항에 있어서,
    상기 제 1 대표값 및 제 2 대표값은 화소들의 평균값, 메디안(median), 모우드(mode) 및 가평균값 중 어느 하나인 것을 특징으로 하는 DC 계수 예측 방법.
  3. 제 1항에 있어서,
    상기 소정 기준값은,
    상기 현재 블록의 좌상측에 위치한 블록의 최우측 아래쪽에 위치한 화소값인 것을 특징으로 하는 DC 계수 예측 방법.
  4. 제 1항에 있어서,
    상기 소정 기준값은,
    상기 현재 블록의 좌상측에 위치한 블록 전체 또는 일부분의 평균 화소값인 것을 특징으로 하는 DC 계수 예측 방법.
  5. 제 1항에 있어서,
    상기 DC 계수 예측자를 선택하는 단계는,
    상기 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값을 R, 상기 상측 블록의 최하측행 화소들의 합을 T_Sum, 상기 상측 블록의 최하측행 화소들의 개수를 N, 상기 좌측 블록의 최우측열 화소들의 합을 L_Sum, 상기 좌측 블록의 최우측열 화소들의 개수를 M이라고 할 때, 다음의 부등식;
    Figure 112005055863297-pat00003
    을 만족하는 경우 상기 DC 계수 예측자로 상기 L_Sum을 선택하고, 그렇지 않은 경우에는 상기 DC 계수 예측자로 상기 T_Sum을 선택하는 것을 특징으로 하는 DC 계수 예측 방법.
  6. 제 1항에 있어서,
    상기 선택된 DC 계수 예측자와 상기 현재 블록의 양자화 계수에 대응되는 소정의 스케일링 계수를 곱하는 단계를 더 포함하는 것을 특징으로 하는 DC 계수 예측 방법.
  7. 제 1항에 있어서,
    상기 현재 블록의 실제 DC 계수와 상기 선택된 현재 블록의 DC 계수 예측자와의 차이를 계산하는 단계를 더 포함하는 것을 특징으로 하는 DC 계수 예측 방법.
  8. 제 1항에 있어서,
    상기 DC 계수 예측자를 선택하는 단계는,
    상기 최하측행 화소들의 합, 상기 최우측열 화소들의 합 및 상기 최하측행 화소들의 합과 상기 최우측열 화소들의 합의 평균값 중에서 중간값을 상기 현재 블록의 DC 계수 예측자로 선택하는 것을 특징으로 하는 DC 계수 예측 방법.
  9. 영상 부호화시 변환된 블록의 DC 계수를 예측하는 장치에 있어서,
    현재 블록과 인접한 상측 블록의 최하측행 화소들의 제 1 대표값 및 좌측 블록의 최우측열 화소들의 제 2 대표값을 계산하는 합산부; 및
    상기 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값과, 상기 상측 블록의 최하측행 화소들의 제 1 대표값 및 상기 좌측 블록의 최우측열 화소들의 제 2 대표값을 각각 비교한 결과에 따라서, 상기 현재 블록의 DC 계수의 예측을 위한 DC 계수 예측자를 선택하는 DC 계수 예측자 선택부를 포함하는 것을 특징으로 하는 DC 계수 예측 장치.
  10. 제 9항에 있어서,
    상기 제 1 대표값 및 제 2 대표값은 화소들의 평균값, 메디안(median), 모우드(mode) 및 가평균값 중 어느 하나인 것을 특징으로 하는 DC 계수 예측 장치.
  11. 제 9항에 있어서,
    상기 소정 기준값은,
    상기 현재 블록의 좌상측에 위치한 블록의 최우측 아래쪽에 위치한 화소값인 것을 특징으로 하는 DC 계수 예측 장치.
  12. 제 9항에 있어서,
    상기 소정 기준값은,
    상기 현재 블록의 좌상측에 위치한 블록 전체 또는 일부분의 평균 화소값인 것을 특징으로 하는 DC 계수 예측 장치.
  13. 제 9항에 있어서,
    상기 DC 계수 예측자 선택부는,
    상기 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값을 R, 상기 상측 블록의 최하측행 화소들의 합을 T_Sum, 상기 상측 블록의 최하측행 화소들의 개수를 N, 상기 좌측 블록의 최우측열 화소들의 합을 L_Sum, 상기 좌측 블록의 최우측열 화소들의 개수를 M이라고 할 때, 다음의 부등식;
    Figure 112005055863297-pat00004
    을 만족하는 경우 상기 DC 계수 예측자로 상기 L_Sum을 선택하고, 그렇지 않은 경우에는 상기 DC 계수 예측자로 상기 T_Sum을 선택하는 것을 특징으로 하는 DC 계수 예측 장치.
  14. 제 9항에 있어서,
    상기 DC 계수 예측자 선택부는,
    상기 선택된 DC 계수 예측자와 상기 현재 블록의 양자화 계수에 대응되는 소정의 스케일링 계수를 곱하여 최종적인 DC 계수 예측자를 생성하는 것을 특징으로 하는 DC 계수 예측 장치.
  15. 제 9항에 있어서,
    상기 현재 블록의 DC 계수와 상기 선택된 현재 블록의 DC 계수 예측자 사이의 차이를 계산하는 차분값 생성부를 더 포함하는 것을 특징으로 하는 DC 계수 예측 장치.
  16. 제 9항에 있어서,
    상기 DC 계수 예측자 선택부는,
    상기 최하측행 화소들의 합, 상기 최우측열 화소들의 합 및 상기 최하측행 화소들의 합과 상기 최우측열 화소들의 합의 평균값 중에서 중간값을 상기 현재 블 록의 DC 계수 예측자로 선택하는 것을 특징으로 하는 DC 계수 예측 장치.
  17. 영상의 복호화시 변환된 블록의 DC 계수를 예측하는 방법에 있어서,
    수신된 비트스트림을 가변길이 복호화하여 현재 블록의 실제 DC 계수와 DC 계수 예측자와의 차이에 해당하는 차분값을 추출하는 단계;
    상기 현재 블록과 인접하고 이전에 복호화된 상측 블록의 최하측행 화소들의 제 1 대표값 및 좌측 블록의 최우측열 화소들의 제 2 대표값을 계산하는 단계;
    상기 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값과, 상기 상측 블록의 최하측행 화소들의 제 1 대표값 및 상기 좌측 블록의 최우측열 화소들의 제 2 대표값을 각각 비교한 결과에 따라서, 상기 현재 블록의 DC 계수의 예측을 위한 DC 계수 예측자를 선택하는 단계; 및
    상기 추출된 차분값과 상기 선택된 DC 계수 예측자를 더하여 현재 블록의 DC 계수를 복원하는 단계를 포함하는 것을 특징으로 하는 DC 계수 예측 방법.
  18. 제 17항에 있어서,
    상기 제 1 대표값 및 제 2 대표값은 화소들의 평균값, 메디안(median), 모우드(mode) 및 가평균값 중 어느 하나인 것을 특징으로 하는 DC 계수 예측 방법.
  19. 제 17항에 있어서,
    상기 소정 기준값은,
    상기 현재 블록의 좌상측에 위치한 블록의 최우측 아래쪽에 위치한 화소값인 것을 특징으로 하는 DC 계수 예측 방법.
  20. 제 17항에 있어서,
    상기 소정 기준값은,
    상기 현재 블록의 좌상측에 위치한 블록 전체 또는 일부분의 평균 화소값인 것을 특징으로 하는 DC 계수 예측 방법.
  21. 제 17항에 있어서,
    상기 DC 계수 예측자를 선택하는 단계는,
    상기 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값을 R, 상기 상측 블록의 최하측행 화소들의 합을 T_Sum, 상기 상측 블록의 최하측행 화소들의 개수를 N, 상기 좌측 블록의 최우측열 화소들의 합을 L_Sum, 상기 좌측 블록의 최우측열 화소들의 개수를 M이라고 할 때, 다음의 부등식;
    Figure 112005055863297-pat00005
    을 만족하는 경우 상기 DC 계수 예측자로 상기 L_Sum을 선택하고, 그렇지 않은 경우에는 상기 DC 계수 예측자로 상기 T_Sum을 선택하는 것을 특징으로 하는 DC 계수 예측 방법.
  22. 제 17항에 있어서,
    상기 선택된 DC 계수 예측자와 상기 현재 블록의 양자화 계수에 대응되는 소정의 스케일링 계수를 곱하는 단계를 더 포함하는 것을 특징으로 하는 DC 계수 예측 방법.
  23. 영상의 복호화시 변환된 블록의 DC 계수를 예측하는 장치에 있어서,
    현재 블록과 인접하고 이전에 복호화된 상측 블록의 최하측행 화소들의 제 1 대표값 및 좌측 블록의 최우측열 화소들의 제 2 대표값을 계산하는 합산부;
    상기 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값과, 상기 상측 블록의 최하측행 화소들의 제 1 대표값 및 상기 좌측 블록의 최우측열 화소들의 제 2 대표값을 각각 비교한 결과에 따라서, 상기 현재 블록의 DC 계수의 예측을 위한 DC 계수 예측자를 선택하는 DC 계수 예측자 선택부; 및
    가변길이 복호화된 비트스트림에서 추출된 현재 블록의 실제 DC 계수와 DC 계수 예측자와의 차이에 해당하는 차분값과 상기 선택된 DC 계수 예측자를 더하는 가산부를 포함하는 것을 특징으로 하는 DC 계수 예측 장치.
  24. 제 23항에 있어서,
    상기 제 1 대표값 및 제 2 대표값은 화소들의 평균값, 메디안(median), 모우드(mode) 및 가평균값 중 어느 하나인 것을 특징으로 하는 DC 계수 예측 장치.
  25. 제 23항에 있어서,
    상기 소정 기준값은,
    상기 현재 블록의 좌상측에 위치한 블록의 최우측 아래쪽에 위치한 화소값인 것을 특징으로 하는 DC 계수 예측 장치.
  26. 제 23항에 있어서,
    상기 소정 기준값은,
    상기 현재 블록의 좌상측에 위치한 블록 전체 또는 일부분의 평균 화소값인 것을 특징으로 하는 DC 계수 예측 장치.
  27. 제 23항에 있어서,
    상기 DC 계수 예측자 선택부는,
    상기 현재 블록의 좌상측에 위치한 블록으로부터 얻어진 소정 기준값을 R, 상기 상측 블록의 최하측행 화소들의 합을 T_Sum, 상기 상측 블록의 최하측행 화소들의 개수를 N, 상기 좌측 블록의 최우측열 화소들의 합을 L_Sum, 상기 좌측 블록의 최우측열 화소들의 개수를 M이라고 할 때, 다음의 부등식;
    Figure 112005055863297-pat00006
    을 만족하는 경우 상기 DC 계수 예측자로 상기 L_Sum을 선택하고, 그렇지 않은 경우에는 상기 DC 계수 예측자로 상기 T_Sum을 선택하는 것을 특징으로 하는 DC 계수 예측 장치.
  28. 제 23항에 있어서,
    상기 DC 계수 예측자 선택부는,
    상기 선택된 DC 계수 예측자와 상기 현재 블록의 양자화 계수에 대응되는 소정의 스케일링 계수를 곱하는 것을 특징으로 하는 DC 계수 예측 장치.
KR1020050092659A 2005-10-01 2005-10-01 변환 영역에서의 ｄｃ 계수 예측 방법 및 장치 KR100727988B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020050092659A KR100727988B1 (ko) 2005-10-01 2005-10-01 변환 영역에서의 ｄｃ 계수 예측 방법 및 장치
US11/514,828 US20070076964A1 (en) 2005-10-01 2006-09-05 Method of and an apparatus for predicting DC coefficient in transform domain
CNA2006101415820A CN1941914A (zh) 2005-10-01 2006-09-30 用于在变换域中预测dc系数的设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050092659A KR100727988B1 (ko) 2005-10-01 2005-10-01 변환 영역에서의 ｄｃ 계수 예측 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070037530A KR20070037530A (ko) 2007-04-05
KR100727988B1 true KR100727988B1 (ko) 2007-06-13

Family

ID=37902008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050092659A KR100727988B1 (ko) 2005-10-01 2005-10-01 변환 영역에서의 ｄｃ 계수 예측 방법 및 장치

Country Status (3)

Country Link
US (1) US20070076964A1 (ko)
KR (1) KR100727988B1 (ko)
CN (1) CN1941914A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101411315B1 (ko) * 2007-01-22 2014-06-26 삼성전자주식회사 인트라/인터 예측 방법 및 장치
CN102118613B (zh) * 2009-12-31 2012-11-21 华为技术有限公司 视频解码和编码方法及装置
DK2624567T3 (da) 2010-09-27 2020-04-14 Lg Electronics Inc Blokinddelingsfremgangsmåde og afkodningsindretning
CN102131093A (zh) * 2011-01-13 2011-07-20 北京中星微电子有限公司 一种图像处理方法及装置
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) * 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960003415A (ko) * 1994-06-30 1996-01-26 배순훈 영상복호화 시스템에 있어서 인트라성분의 디씨변환계수 예측상태
KR19980025164A (ko) * 1996-09-30 1998-07-06 김영환 영상정보 부호화/복호화 장치 및 그 방법
KR19980022376A (ko) * 1996-09-21 1998-07-06 김광호 이산 코사인 변환 계수 예측방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3975188B2 (ja) * 2002-09-30 2007-09-12 三星電子株式会社 色相の空間予測符号化を利用した映像の符号化及び復号化方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960003415A (ko) * 1994-06-30 1996-01-26 배순훈 영상복호화 시스템에 있어서 인트라성분의 디씨변환계수 예측상태
KR19980022376A (ko) * 1996-09-21 1998-07-06 김광호 이산 코사인 변환 계수 예측방법
KR19980025164A (ko) * 1996-09-30 1998-07-06 김영환 영상정보 부호화/복호화 장치 및 그 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
1019960003415
1019980022376
1019980025164

Also Published As

Publication number Publication date
CN1941914A (zh) 2007-04-04
KR20070037530A (ko) 2007-04-05
US20070076964A1 (en) 2007-04-05

Similar Documents

Publication Publication Date Title
KR101228020B1 (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
KR101408698B1 (ko) 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
US8098731B2 (en) Intraprediction method and apparatus using video symmetry and video encoding and decoding method and apparatus
US8165195B2 (en) Method of and apparatus for video intraprediction encoding/decoding
KR100750136B1 (ko) 영상의 부호화, 복호화 방법 및 장치
US9014260B2 (en) Method and apparatus for encoding images, and method and apparatus for decoding encoded images
US8315309B2 (en) Method and apparatus for encoding and decoding an image by using consecutive motion estimation
US20070065029A1 (en) Image predictive coding method
US20040131268A1 (en) Image encoder, image decoder, image encoding method, and image decoding method
JP5310614B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
WO2011064990A1 (ja) 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
KR20130085838A (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
JP2009094828A (ja) 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
KR20090097688A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 장치
KR20080064355A (ko) 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
US20120263238A1 (en) Video encoder and video decoder
US9094687B2 (en) Video encoder and video decoder
EP2034742A2 (en) Video coding method and device
US20050074064A1 (en) Method for hierarchical motion estimation
US20070076964A1 (en) Method of and an apparatus for predicting DC coefficient in transform domain
JP2004215275A (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
KR100694093B1 (ko) 영상 블럭의 계수 예측 장치 및 그 방법
JP4130617B2 (ja) 動画像符号化方法および動画像符号化装置
JP5358485B2 (ja) 画像符号化装置
KR100859073B1 (ko) 움직임 추정 방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20051001

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20061115

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070424

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070607

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070608

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100528

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110530

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20120530

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20130530

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140529

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20150528

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20150528

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20160530

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20160530

Start annual number: 10

End annual number: 10

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20180318