KR100919312B1 - 인트라 예측 방법 및 장치 - Google Patents

인트라 예측 방법 및 장치

Info

Publication number
KR100919312B1
KR100919312B1 KR1020080005022A KR20080005022A KR100919312B1 KR 100919312 B1 KR100919312 B1 KR 100919312B1 KR 1020080005022 A KR1020080005022 A KR 1020080005022A KR 20080005022 A KR20080005022 A KR 20080005022A KR 100919312 B1 KR100919312 B1 KR 100919312B1
Authority
KR
South Korea
Prior art keywords
mode
subblock
prediction
intra prediction
sub
Prior art date
Application number
KR1020080005022A
Other languages
English (en)
Other versions
KR20090079071A (ko
Inventor
김재석
이원재
정윤호
최진하
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020080005022A priority Critical patent/KR100919312B1/ko
Publication of KR20090079071A publication Critical patent/KR20090079071A/ko
Application granted granted Critical
Publication of KR100919312B1 publication Critical patent/KR100919312B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Abstract

인트라 예측 방법 및 장치가 개시된다. 본 발명에 따른, 매크로 블록에 포함되는 복수 개의 서브 블록들에 대하여 복수 개의 예측 모드들로 인트라 예측을 수행하는 방법은, 상기 복수 개의 서브 블록들 중 제1 서브 블록에 대하여 인트라 예측을 수행하는 단계 및 소정 순서에 따라 상기 복수 개의 서브 블록들 중 제2 서브 블록에 대하여 인트라 예측을 수행하는 단계를 포함하고, 상기 제2 서브 블록에 대하여 인트라 예측을 수행하는 단계는, 상기 제1 서브 블록에 포함되는 화소들을 참조 화소로 사용하지 않는 예측 모드로 상기 제1 서브 블록의 재구성이 완료되기 이전에 인트라 예측을 수행하는 것을 특징으로 한다. 이러한 본 발명에 의하면 영상 데이터의 부호화 또는 복호화에 있어서 인트라 예측에 소요되는 시간을 단축시킬 수 있다.

Description

인트라 예측 방법 및 장치{Method and apparatus for intra prediction}
본 발명은 영상 데이터의 부호화 및 복호화에 관한 것으로, 특히 인트라 예측 속도를 향상시킬 수 있는 인트라 예측 방법 및 장치에 관한 것이다.
동영상 신호의 압축 표준 중 하나인 H.264/AVC(Advanced Video Coding)에 따르면, 동영상을 부호화하기 위해서 하나의 픽쳐를 매크로 블록으로 나누고, 인터 예측(inter prediction) 및 인트라 예측(intra prediction)에서 이용 가능한 모든 부호화 모드들로 각각의 매크로 블록을 부호화한 후에 매크로 블록의 부호화에 소요되는 비트율(bit-rate)과 원래의 매크로 블록과 복호화된 매크로 블록과의 왜곡 정도에 따라 하나의 부호화 모드를 선택하여 부호화한다.
여기서, 인트라 예측은 현재 픽처의 블록을 부호화하기 위해서 참조 픽처를 참조하는 것이 아니라, 부호화하고자 하는 현재 블록과 공간적으로 인접한 화소값을 이용하여 부호화하고자 하는 현재 블록에 대한 예측값을 계산한 후, 이 예측값과 실제 화소값의 차를 부호화하는 것을 말한다. 인트라 예측은 크게 인트라 4X4 모드, 인트라 8X8 모드(high profile의 경우), 인트라 16X16 모드로 나뉜다.
도 1의 (a) 및 (b)는 종래 기술에 따른 인트라 4X4 모드 및 인트라 8X8 모드에서 매크로 블록의 분할 형태 및 스캔 순서를 나타낸 도면이다. 도 1을 참조하면, 매크로 블록이 분할된 서브 블록에 대한 인트라 예측은 각 서브 블록마다 정해진 순서에 따라 진행된다. 도 1의 (a)를 참조하면, 인트라 4X4 모드의 경우에는 서브 블록은 4X4이고, 0번째 서브 블록부터 시작해서 1,2,3,...의 순서대로 인트라 예측이 수행된 후 마지막 15번째 서브 블록을 처리한 후 종료된다. 도 1의 (b)를 참조하면, 인트라 8X8 모드의 경우에는 서브 블록은 8X8이고, 0,1,2,3의 순서대로 인트라 예측 과정이 수행된다.
도 2 및 도 3은 각각 종래 기술에 따른 인트라 4X4 모드와 인트라 8X8 모드에서 각 예측 모드를 나타낸 도면이다. 도 2 및 도 3을 참조하면, 예측 모드로는 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽(Diagonal Down-left) 모드, 대각선 오른쪽(Diagonal Down-right) 모드, 수직 왼쪽(Vertical left) 모드, 수직 오른쪽(Vertical right) 모드, 수평 위쪽(Horizontal-up) 모드 및 수평 아래쪽(Horizontal-down) 모드의 총 9개의 모드가 존재한다. 도 2 및 도 3에서 숫자 0 내지 8은 각 예측 모드를 구별하기 위해 붙인 식별번호이다.
도 4 및 도 5는 각각 종래 기술에 따른 인트라 4X4 모드와 인트라 8X8 모드에서 이용되는 인접 화소를 설명하기 위한 참고도이다.
도 4 및 도 5를 참조하면, p0~p15 및 p0~p63은 각각 예측의 대상이 되는 4X4 서브 블록 및 8X8 서브 블록에 해당하는 화소들을 나타낸다. 그리고, 도 4의 A~M 및 도 5의 A~Z로 표시된 샘플들은 이전에 부호화되고 재구성된 샘플들로서 4X4 서브 블록 및 8X8 서브 블록의 예측에 필요한 인접 화소들을 나타낸다. 도 2 및 도 3에 도시된 바와 같이, 각 예측 모드로 인트라 예측을 수행하기 위해서는, 먼저 예측에 필요한 인접 화소들, 즉 도 4의 A~M 및 도 5의 A~Z로 표시된 화소들에 대한 처리가 선행되어야 한다.
도 6 및 도 7은 각각 종래 기술에 따른 인트라 4X4 모드의 진행 과정과 인트라 8X8 모드의 진행 과정을 나타낸 도면이다. 여기서, P#은 #번째 서브 블록에 대한 인트라 예측 과정을 의미하고, R#은 #번째 서브 블록에 대한 재구성(Reconstruction) 과정, 즉 변환(Transform), 양자화(Quantization), 역변환(Inverse Transform)에 의한 복원 과정을 의미한다.
도 6 및 도 7을 참조하면, 현재 서브 블록에 대한 인트라 예측은 이전 블록의 인트라 예측이 끝나고, 이전 블록의 재구성 과정을 거쳐 화소 정보를 얻은 후에야 가능하다. 다시 말하면, 도 1의 (a) 및 (b)에 도시된 바와 같은 처리 순서에 의할 때, 현재 처리되는 서브 블록의 좌측 및 상측에 위치한 인접 화소에 대한 정보가 필요하므로, 그 이전 블록에 대한 처리가 순차적으로 완료된 후에야 현재 서브 블록에 대한 예측 과정이 개시될 수 있다.
도 6을 참조하면, 인트라 4X4 모드의 경우 P# 과정에는 전술한 바와 같은 9가지 예측 모드가 있으므로, 한 개의 서브 블록에 대하여 소요되는 시간을 9클록이라고 가정하고, R# 과정에도 역시 같은 시간이 소요된다고 가정한다면, 하나의 매크로 블록에 대한 인트라 예측을 수행하는 데에는 총 9*(16+16) = 288클록의 시간이 소요된다.
도 7을 참조하면, 인트라 8X8 모드의 경우 P# 과정에는 마찬가지로 9가지 예측 모드가 있고, 인트라 4X4 모드에 비해 서브 블록의 크기가 4배 크므로, 한 개의 서브 블록에 9*4=36클록의 시간이 소요된다고 가정하고, R# 과정에도 역시 같은 시간이 소요된다고 가정한다면, 하나의 매크로 블록에 대한 인트라 예측을 수행하는 데에는 총 4*(36+36)=288클록의 시간이 소요된다.
이와 같이, 종래의 인트라 예측시 이전 블록에 대한 처리가 완료된 후에 다음 블록에 대한 처리를 진행하기 때문에 인트라 예측에 많은 시간이 소요되는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 영상 데이터의 부호화 또는 복호화에 있어서 인트라 예측에 소요되는 시간을 단축시킬 수 있는 인트라 예측 방법 및 장치를 제공하는 데 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 매크로 블록에 포함되는 복수 개의 서브 블록들에 대하여 복수 개의 예측 모드들로 인트라 예측을 수행하는 방법은, (a) 상기 복수 개의 서브 블록들 중 제1 서브 블록에 대하여 인트라 예측을 수행하는 단계; 및 (b) 소정 순서에 따라 상기 복수 개의 서브 블록들 중 제2 서브 블록에 대하여 인트라 예측을 수행하는 단계를 포함하고, 상기 (b) 단계는, 상기 제1 서브 블록에 포함되는 화소들을 참조 화소로 사용하지 않는 예측 모드로 상기 제1 서브 블록의 재구성이 완료되기 이전에 인트라 예측을 수행하는 것을 특징으로 한다.
여기서, 상기 서브 블록은 4X4이며, 상기 소정 순서는 행렬 로 표시된 순서에 따르고, 상기 복수 개의 예측 모드들은 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽 다운(Diagonal Down-left) 모드, 대각선 오른쪽 다운(Diagonal Down-right) 모드, 수직 오른쪽(Vertical-right) 모드, 수평 다운(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 모드 및 수평 업(Horizontal-up) 모드인 것이 바람직하다.
또한, 상기 제1 서브 블록 및 상기 제2 서브 블록은, 상기 행렬의 인덱스 0 및 1, 또는 2 및 3, 또는 4 및 5, 또는 6 및 7, 또는 8 및 9, 또는 10 및 11, 또는 12 및 13, 또는 14 및 15에 해당하는 서브 블록이고, 상기 제1 서브 블록의 재구성이 완료되기 이전에 상기 제2 서브 블록에 대한 인트라 예측을 수행하기 위한 예측 모드는 상기 수직 모드, 상기 대각선 왼쪽 다운 모드 및 상기 수평 다운 모드인 것이 바람직하다.
또한, 상기 제1 서브 블록 및 상기 제2 서브 블록은, 상기 행렬의 인덱스 1 및 2, 또는 5 및 6, 또는 9 및 10, 또는 13 및 14 해당하는 서브 블록이고, 상기 제1 서브 블록의 재구성이 완료되기 이전에 상기 제2 서브 블록에 대한 인트라 예측을 수행하기 위한 예측 모드는 상기 복수 개의 예측 모드들 중 상기 대각선 왼쪽 다운 모드 및 상기 수직 왼쪽 모드를 제외한 예측 모드들인 것이 바람직하다.
또한, 상기 제1 서브 블록 및 상기 제2 서브 블록은, 상기 행렬의 인덱스 3 및 4, 또는 7 및 8, 또는 11 및 12에 해당하는 서브 블록이고, 상기 제1 서브 블록의 재구성이 완료되기 이전에 상기 제2 서브 블록에 대한 인트라 예측을 수행하기 위한 예측 모드는 상기 복수 개의 예측 모드들 전부인 것이 바람직하다.
또한, 상기 서브 블록은 8X8이며, 상기 소정 순서는 행렬 로 표시된 순서에 따르고, 상기 복수 개의 예측 모드들은 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽 다운(Diagonal Down-left) 모드, 대각선 오른쪽 다운(Diagonal Down-right) 모드, 수직 오른쪽(Vertical-right) 모드, 수평 다운(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 모드 및 수평 업(Horizontal-up) 모드인 것이 바람직하다.
또한, 상기 제1 서브 블록 및 상기 제2 서브 블록은, 상기 행렬의 인덱스 0 및 1, 또는 2 및 3에 해당하는 서브 블록이고, 상기 제1 서브 블록의 재구성이 완료되기 이전에 상기 제2 서브 블록에 대한 인트라 예측을 수행하기 위한 예측 모드는 상기 수직 모드, 상기 대각선 왼쪽 다운 모드 및 상기 수평 다운 모드인 것이 바람직하다.
또한, 상기 제1 서브 블록 및 상기 제2 서브 블록은, 상기 행렬의 인덱스 1 및 2에 해당하는 서브 블록이고, 상기 제1 서브 블록의 재구성이 완료되기 이전에 상기 제2 서브 블록에 대한 인트라 예측을 수행하기 위한 예측 모드는 상기 복수 개의 예측 모드들 중 상기 대각선 왼쪽 다운 모드 및 상기 수직 왼쪽 모드를 제외한 예측 모드들인 것이 바람직하다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 매크로 블록에 포함되는 복수 개의 서브 블록들에 대하여 복수 개의 예측 모드들로 인트라 예측을 수행하는 방법은, (a) 상기 복수 개의 서브 블록들 중 제1 서브 블록에 대하여 인트라 예측을 수행하는 단계; 및 (b) 상기 복수 개의 서브 블록들 중 적어도 하나의 제2 서브 블록에 대하여 적어도 하나의 예측 모드로 인트라 예측을 수행하는 단계를 포함하고, 상기 (b) 단계는, 상기 제1 서브 블록에 포함되는 화소들을 참조 화소로 사용하지 않고, 상기 제2 서브 블록의 좌측, 상측, 및 상우측에 인접하는 서브 블록들 중 재구성이 이미 완료된 서브 블록에 포함되는 화소들을 참조 화소로 사용하는 예측 모드로, 상기 제1 서브 블록의 재구성이 완료되기 이전에 인트라 예측을 수행하는 것을 특징으로 한다.
상기 다른 기술적 과제를 해결하기 위하여 본 발명에 따른 매크로 블록에 포함되는 복수 개의 서브 블록들에 대하여 복수 개의 예측 모드들로 인트라 예측을 수행하는 장치는, 소정 순서에 따라 상기 복수 개의 서브 블록들 각각에 대하여 인트라 예측을 수행하는 인트라 예측부; 및 인트라 예측된 서브 블록에 대하여 재구성을 수행하는 재구성부를 포함하고, 상기 인트라 예측부는, 상기 복수 개의 서브 블록들 중 임의의 서브 블록에 대하여 인트라 예측을 수행함에 있어서, 상기 임의의 서브 블록 이전에 인트라 예측되는 서브 블록에 포함되는 화소들을 참조 화소로 사용하지 않는 예측 모드로 상기 이전에 인트라 예측되는 서브 블록의 재구성이 완료되기 이전에 인트라 예측을 수행하는 것을 특징으로 한다.
여기서, 상기 재구성부는 상기 인트라 예측된 서브 블록에 대하여 변환, 양자화, 역변환 과정을 통하여 재구성을 수행하는 것이 바람직하다.
상기 또 다른 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른, 인트라 예측 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 의하면, 이전 서브 블록에 포함되는 화소들을 참조 화소로 사용하지 않는 예측 모드로 이전 서브 블록의 재구성이 완료되기 전에 인트라 예측을 수행함으로써 인트라 예측에 소요되는 시간을 단축시킬 수 있다.
도 1은 종래 기술에 따른 인트라 4X4 모드 및 인트라 8X8 모드에서 매크로 블록의 분할 형태 및 스캔 순서를 나타낸 도면이다.
도 2 및 도 3은 각각 종래 기술에 따른 인트라 4X4 모드와 인트라 8X8 모드에서 각 예측 모드를 나타낸 도면이다.
도 4 및 도 5는 각각 종래 기술에 따른 인트라 4X4 모드와 인트라 8X8 모드에서 이용되는 인접 화소를 설명하기 위한 참고도이다.
도 6 및 도 7은 각각 종래 기술에 따른 인트라 4X4 모드의 진행 과정과 인트라 8X8 모드의 진행 과정을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 인트라 4X4 모드에서의 인트라 예측 진행 과정을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 인트라 8X8 모드에서의 인트라 예측 진행 과정을 도시한 도면이다.
도 10은 본 발명의 다른 실시예에 따른 인트라 4X4 모드에서의 인트라 예측 진행 과정을 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 인트라 예측 장치의 구성을 나타내는 도면이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
우선, 도 2 및 도 3에 도시된 각 예측 모드로 인트라 예측을 수행하기 위해 필요한 인접 화소들을 살펴보기로 한다.
다음 표 1 및 표 2는 각각 인트라 4X4 모드 및 인트라 8X8 모드에서, 각 예측 모드에 대하여 필요한 인접 화소들을 나타낸다.
예측 모드 A-D E-H I-L M
0 Vertical O
1 Horizontal O
2 DC O O
3 Diagonal Down-Left O O
4 Diagonal Down-Right O O O
5 Vertical-Right O O O
6 Horizontal-Down O O O
7 Vertical-Left O O
8 Horizontal-Up O
예측 모드 A-H I-P Q-X Z
0 Vertical O
1 Horizontal O
2 DC O O
3 Diagonal Down-Left O O
4 Diagonal Down-Right O O O
5 Vertical-Right O O O
6 Horizontal-Down O O O
7 Vertical-Left O O
8 Horizontal-Up O
표 1 및 표 2를 참조하면, 인트라 예측의 각 예측 모드에서는 주변의 모든 인접 화소들을 이용하는 것이 아니라 특정 화소들만 이용하는 것을 알 수 있다. 예를 들어 표 1을 참조하면, 수직(Vertical) 모드에서는 상측 화소들(인트라 4X4 모드에서는 A~D, 인트라 8X8 모드에서는 A~H)만을 이용하고, 다른 화소들은 이용하지 않는다. 그리고 대각선 왼쪽(Diagonal Down-left) 모드에서는 상측 화소들(인트라 4X4 모드에서는 A~D, 인트라 8X8 모드에서는 A~H)과 상우측 화소들(인트라 4X4 모드에서는 E~H, 인트라 8X8 모드에서는 I~P)만을 이용하고, 다른 화소들은 이용하지 않는다. 이러한 특징을 고려하면, 일부 예측 모드들로는 이전 서브 블록의 재구성 과정과는 독립적으로 인트라 예측 과정을 개시할 수 있으므로, 인트라 예측에 소요되는 시간을 단축시킬 수 있을 것이다.
도 8은 본 발명의 일 실시예에 따른 인트라 4X4 모드에서의 인트라 예측 진행 과정을 도시한 도면이고, 도 9는 본 발명의 일 실시예에 따른 인트라 8X8 모드에서 인트라 예측 진행 과정을 도시한 도면이다. 도 8 및 도 9에서 P#은 #번째 서브 블록에 대한 인트라 예측 과정을 의미하고, R#은 #번째 서브 블록에 대한 재구성(Reconstruction) 과정, 즉 변환(Transform), 양자화(Quantization), 역변환(Inverse Transform)에 의한 복원 과정을 의미하며, P# 하단의 숫자는 도 2 및 도 3에 표시된 바에 따른 각 예측모드에 대응하는 숫자를 의미한다.
도 8 및 도 9에 도시된 실시예에 의하면, 도 1에 도시된 순서에 따라 각 서브 블록에 대하여 인트라 예측을 수행하되, 현재 서브 블록의 이전 서브 블록에 포함되는 화소들을 참조 화소로 사용하지 않는 예측 모드로는 이전 서브 블록의 재구성이 완료되기 이전에 인트라 예측을 수행한다.
도 8 및 도 2를 함께 참조하여 본 실시예에 따른 인트라 4X4 모드에서의 인트라 예측 진행 과정을 보다 구체적으로 설명한다.
도 8 및 도 2를 참조하면, 1번째 서브 블록에 대한 인트라 예측(P1)에서, 9가지 예측 모드들 중에 수직 모드(Vertical, 0), 대각선 왼쪽 다운(Diagonal Down-Left, 3) 모드, 수직 왼쪽(Vertical-Left, 7) 모드는 좌측의 인접 화소들(I~L)의 정보를 필요로 하지 않으므로, 0번째 서브 블록의 화소들을 필요로 하지 않는다. 따라서 0번째 서브 블록의 인트라 예측(P0)이 완료되고, 재구성 과정(R0)이 완료되기 이전에 0, 3, 7 예측 모드로는 인트라 예측을 수행할 수 있다. 그러나, 1, 2, 4, 5, 6, 8 예측 모드는 좌측의 인접 화소들의 정보를 필요로 하므로, 0번째 서브 블록의 화소들을 필요로 한다. 따라서 0, 3, 7 예측 모드로 재구성 과정(R0)이 완료되기 이전에 인트라 예측을 수행하고, 1, 2, 4, 5, 6, 8 예측 모드로 재구성 과정(R0)이 완료되고 나서 비로소 인트라 예측을 수행한다.
2번째 서브 블록에 대한 인트라 예측(P2)에서, 9가지 예측 모드들 중에 대각선 왼쪽 다운(Diagonal Down-Left, 3) 모드, 수직 왼쪽(Vertical-Left, 7) 모드를 제외한 나머지 예측 모드들, 즉 0, 1, 2, 4, 5, 6, 8 예측 모드는 상우측의 인접 화소들(E~H)의 정보를 필요로 하지 않으므로, 1번째 서브 블록의 화소들을 필요로 하지 않는다. 따라서 1번째 서브 블록의 인트라 예측(P1)이 완료되고, 재구성 과정(P1)이 완료되기 이전에 0, 1, 2, 4, 5, 6, 8 예측 모드로는 인트라 예측을 수행할 수 있다. 그러나 3, 7 예측 모드는 상우측의 인접 화소들(E~H)의 정보를 필요로 하므로, 1번째 서브 블록의 화소들을 필요로 한다. 따라서 0, 1, 2, 4, 5, 6, 8 예측 모드로 재구성 과정(R1)이 완료되기 이전에 인트라 예측을 수행하고, 3, 7 예측 모드로 재구성 과정(R1)이 완료되고 나서 비로소 인트라 예측을 수행한다.
또한, 4번째 서브 블록에 대한 인트라 예측(P4)에서, 9가지 예측 모드들 전부는 3번째 서브 블록의 화소들을 필요로 하지 않는다. 따라서 3번째 서브 블록의 인트라 예측(P3)이 완료되고, 재구성 과정(P3)이 완료되기 이전에 예측 모드들 전부로 인트라 예측을 수행한다.
나아가, 1번째 서브 블록에 대한 인트라 예측(P1)과 마찬가지로, P3, P5, P7, P9, P11, P13, P15에서, 이전 서브 블록의 재구성 과정이 완료되기 이전에 0, 3, 7 예측 모드로 인트라 예측을 수행한다. 그리고, 2번째 서브 블록에 대한 인트라 예측(P2)과 마찬가지로, P6, P10, P14에서, 이전 서브 블록의 재구성 과정이 완료되기 이전에 0, 1, 2, 4, 5, 6, 8 예측 모드로 인트라 예측을 수행한다. 그리고, 4번째 서브 블록에 대한 인트라 예측(P4)과 마찬가지로, P8, P12에서, 이전 서브 블록의 재구성 과정이 완료되기 이전에 9가지 예측 모드들 전부로 인트라 예측을 수행한다.
도 8에 도시된 바와 같은 인트라 예측 진행 과정에 의하면, 하나의 매크로 블록에 대하여 인트라 예측을 수행하고자 할 때, 9 + 4*(2+6*2+9*4) = 209 클록의 시간이 소요된다. 288클록의 시간이 소요되는 도 6에 의한 인트라 예측 과정과 비교하면, 약 27%의 시간이 절약되는 것을 알 수 있다.
도 9 및 도 3을 함께 참조하여 본 실시예에 따른 인트라 8X8 모드에서의 인트라 예측 진행 과정을 보다 구체적으로 설명한다. 도 9 및 도 3을 참조하면, 1번째 서브 블록에 대한 인트라 예측(P1)에서, 9가지 예측 모드들 중에 수직 모드(Vertical, 0), 대각선 왼쪽 다운(Diagonal Down-Left, 3) 모드, 수직 왼쪽(Vertical-Left, 7) 모드는 좌측의 인접 화소들(Q~X)의 정보를 필요로 하지 않으므로, 0번째 서브 블록의 화소들을 필요로 하지 않는다. 따라서 0번째 서브 블록의 인트라 예측(P0)이 완료되고, 재구성 과정(R0)이 완료되기 이전에 0, 3, 7 예측 모드로는 인트라 예측을 수행할 수 있다. 그러나 1, 2, 4, 5, 6, 8 예측 모드는 좌측의 인접 화소들의 정보를 필요로 하므로, 0번째 서브 블록의 화소들을 필요로 한다. 따라서 0, 3, 7 예측 모드로 재구성 과정(R0)이 완료되기 이전에 인트라 예측을 수행하고, 1, 2, 4, 5, 6, 8 예측 모드로 재구성 과정(R0)이 완료되고 나서 비로소 인트라 예측을 수행한다.
2번째 서브 블록에 대한 인트라 예측(P2)에서, 9가지 예측 모드들 중에 대각선 왼쪽 다운(Diagonal Down-Left, 3) 모드, 수직 왼쪽(Vertical-Left, 7) 모드를 제외한 나머지 예측 모드들, 즉 0, 1, 2, 4, 5, 6, 8 예측 모드는 상우측의 인접 화소들(I~P)의 정보를 필요로 하지 않으므로, 1번째 서브 블록의 화소들을 필요로 하지 않는다. 따라서 1번째 서브 블록의 인트라 예측(P1)이 완료되고, 재구성 과정(P1)이 완료되기 이전에 0, 1, 2, 4, 5, 6, 8 예측 모드로는 인트라 예측을 수행할 수 있다. 그러나 3, 7 예측 모드는 상우측의 인접 화소들의 정보를 필요로 하므로, 1번째 서브 블록의 화소들을 필요로 한다. 따라서 0, 1, 2, 4, 5, 6, 8 예측 모드로 재구성 과정(R1)이 완료되기 이전에 인트라 예측을 수행하고, 3, 7 예측 모드로 재구성 과정(R1)이 완료되고 나서 비로소 인트라 예측을 수행한다.
나아가, 1번째 서브 블록에 대한 인트라 예측(P1)과 마찬가지로 P3에서, 이전 서브 블록의 재구성 과정이 완료되기 이전에 0, 3, 7 예측 모드로 인트라 예측을 수행한다.
도 9에 도시된 바와 같은 인트라 예측 진행 과정에 의하면, 하나의 매크로 블록에 대하여 인트라 예측을 수행하고자 할 때, 36*5 + 8 + 24*2 = 236 클록의 시간이 소요된다. 288클록의 시간이 소요되는 도 7에 의한 인트라 예측 과정과 비교하면, 약 18%의 시간이 절약되는 것을 알 수 있다.
도 10은 본 발명의 다른 실시예에 따른 인트라 4X4 모드에서의 인트라 예측 진행 과정을 도시한 도면이다.
도 10에 도시된 실시예에 의하면, 임의의 서브 블록에 대하여 인트라 예측이 완료된 다음, 상기 임의의 서브 블록에 대한 재구성이 완료되기 이전에, 적어도 하나의 서브 블록에 대하여 그 좌측, 상측, 및 상우측에 인접하는 서브 블록들 중 재구성이 이미 완료된 서브 블록에 포함되는 화소들을 참조 화소로 사용하는 예측 모드로 인트라 예측을 수행하고, 상기 임의의 서브 블록의 재구성이 완료된 후에 비로소 상기 임의의 서브 블록에 포함되는 화소들을 참조 화소로 사용하는 예측 모드로 인트라 예측을 수행한다.
예를 들어, 우선, 0번째 서브 블록에 대한 인트라 예측이 수행되면, 1번째 서브 블록에 대하여 0, 3, 7 예측 모드뿐만 아니라, 2번째 서브 블록에 대하여, 좌측에 인접하는 서브 블록(좌측에 존재하는 매크로 블록에 포함됨)의 재구성이 이미 완료되었으므로 1, 8 예측 모드로 인트라 예측을 수행할 수 있다. 또한, 4번째 서브 블록에 대하여 상측 및 상우측에 인접하는 서브 블록(상측에 존재하는 매크로 블록에 포함됨)의 재구성이 이미 완료되었으므로 0, 3, 7 예측 모드 인트라 예측을 수행할 수 있다. 따라서 0번째 서브 블록에 대한 재구성(R0)이 완료되기 이전에, 2번째 서브 블록에 대하여 1, 8 예측 모드로, 그리고 4번째 서브 블록에 대하여 0, 3, 7 예측 모드로 인트라 예측을 수행한다.
마찬가지로, 1번째 서브 블록에 대한 인트라 예측이 수행되고, 1번째 서브 블록에 대한 재구성(R1)이 완료되기 이전에, 5번째 서브 블록에 대하여 상측 및 상우측에 존재하는 인접 화소들을 사용하는 0, 3, 7 예측 모드로, 2번째 서브 블록에 대하여 좌측 및 상측에 존재하는 인접 화소들을 사용하는 0, 2, 4, 5, 6 예측 모드로 인트라 예측을 수행한다.
이러한 과정을 반복하여 도 10에 도시된 바와 같이, 인트라 예측 과정을 수행한다. 본 실시예에 의하면 하나의 매크로 블록에 대하여 인트라 예측을 수행하고자 할 때, 53+38+36+44 = 171 클록의 시간이 소요된다. 288클록의 시간이 소요되는 도 7에 의한 인트라 예측 과정과 비교하면, 약 41%의 시간이 절약되는 것을 알 수 있다.
도 11는 본 발명의 일 실시예에 따른 인트라 예측 장치의 구성을 나타내는 도면이다. 도 11을 참조하면, 본 실시예에 따른 인트라 예측 장치는, 인트라 예측부(10), 재구성부(20) 및 인접화소 정보 제공부(30)를 포함하여 이루어진다.
인접화소 정보 제공부(30)는 인트라 예측을 수행하는 인트라 예측부(10)에서 필요로 하는 인접 서브 블록의 화소 정보를 제공한다. 다시 말하면, 인트라 예측부(10)에서 인트라 예측을 수행할 서브 블록과 사용할 예측 모드에 따라 참조 화소로서 필요한 인접 서브 블록의 화소 정보를 제공한다.
인트라 예측부(10)는 인접화소 정보 제공부(30)로부터 제공받은 화소 정보를 이용하여 매크로 블록에 포함되는 각 서브 블록에 대한 인트라 예측을 수행한다. 인트라 예측부(10)는 소정 순서에 따라 각 서브 블록에 대하여 인트라 예측을 수행하며, 임의의 서브 블록에 대하여 인트라 예측을 수행함에 있어서 이전 서브 블록에 포함되는 화소들을 참조 화소로 사용하지 않는 예측 모드로 후술하는 재구성부(20)에서 이전 서브 블록의 재구성이 완료되기 이전에 인트라 예측을 수행한다. 여기서 인트라 예측부(10)가 인트라 예측을 수행하는 구체적인 동작은 상술한 도 8 내지 도 10 중 어느 하나에 관하여 설명된 바에 따른다.
인트라 예측부(10)에서 출력되는 예측값과 원래 서브 블록의 차이값은 재구성부(20)로 출력된다.
재구성부(20)는 상기 차이값에 대하여 변환, 양자화, 역변환 과정을 수행하여 양자화 오차가 포함된 차이값을 구하고, 이를 상기 예측값과 더하여 재구성된 인접 서브 블록의 정보를 생성한다. 재구성된 인접 서브 블록의 정보는 인접화소 정보 제공부(30)로 제공된다.
인접화소 정보 제공부(30)는 인트라 예측부(10)에서 인트라 예측에 필요한 인접 화소 정보를 요구하는 경우, 상기 재구성된 인접 서브 블록의 화소 정보를 인트라 예측부(10)에 제공한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (12)

  1. 매크로 블록에 포함되는 복수 개의 서브 블록들에 대하여 복수 개의 예측 모드들로 인트라 예측을 수행하는 방법에 있어서,
    (a) 상기 복수 개의 서브 블록들 중 제1 서브 블록에 대하여 인트라 예측을 수행하는 단계; 및
    (b) 소정 순서에 따라 상기 복수 개의 서브 블록들 중 제2 서브 블록에 대하여 인트라 예측을 수행하는 단계를 포함하고,
    상기 (b) 단계는, 상기 제1 서브 블록에 포함되는 화소들을 참조 화소로 사용하지 않는 예측 모드로 상기 제1 서브 블록의 재구성이 완료되기 이전에 인트라 예측을 수행하는 것을 특징으로 하는 인트라 예측 방법.
  2. 제1항에 있어서,
    상기 서브 블록은 4X4이며, 상기 소정 순서는 행렬 로 표시된 순서에 따르고, 상기 복수 개의 예측 모드들은 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽 다운(Diagonal Down-left) 모드, 대각선 오른쪽 다운(Diagonal Down-right) 모드, 수직 오른쪽(Vertical-right) 모드, 수평 다운(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 모드 및 수평 업(Horizontal-up) 모드인 것을 특징으로 하는 인트라 예측 방법.
  3. 제2항에 있어서,
    상기 제1 서브 블록 및 상기 제2 서브 블록은, 상기 행렬의 인덱스 0 및 1, 또는 2 및 3, 또는 4 및 5, 또는 6 및 7, 또는 8 및 9, 또는 10 및 11, 또는 12 및 13, 또는 14 및 15에 해당하는 서브 블록이고,
    상기 제1 서브 블록의 재구성이 완료되기 이전에 상기 제2 서브 블록에 대한 인트라 예측을 수행하기 위한 예측 모드는 상기 수직 모드, 상기 대각선 왼쪽 다운 모드 및 상기 수평 다운 모드인 것을 특징으로 하는 인트라 예측 방법.
  4. 제2항에 있어서,
    상기 제1 서브 블록 및 상기 제2 서브 블록은, 상기 행렬의 인덱스 1 및 2, 또는 5 및 6, 또는 9 및 10, 또는 13 및 14 해당하는 서브 블록이고,
    상기 제1 서브 블록의 재구성이 완료되기 이전에 상기 제2 서브 블록에 대한 인트라 예측을 수행하기 위한 예측 모드는 상기 복수 개의 예측 모드들 중 상기 대각선 왼쪽 다운 모드 및 상기 수직 왼쪽 모드를 제외한 예측 모드들인 것을 특징으로 하는 인트라 예측 방법.
  5. 제2항에 있어서,
    상기 제1 서브 블록 및 상기 제2 서브 블록은, 상기 행렬의 인덱스 3 및 4, 또는 7 및 8, 또는 11 및 12에 해당하는 서브 블록이고,
    상기 제1 서브 블록의 재구성이 완료되기 이전에 상기 제2 서브 블록에 대한 인트라 예측을 수행하기 위한 예측 모드는 상기 복수 개의 예측 모드들 전부인 것을 특징으로 하는 인트라 예측 방법.
  6. 제1항에 있어서,
    상기 서브 블록은 8X8이며, 상기 소정 순서는 행렬 로 표시된 순서에 따르고, 상기 복수 개의 예측 모드들은 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽 다운(Diagonal Down-left) 모드, 대각선 오른쪽 다운(Diagonal Down-right) 모드, 수직 오른쪽(Vertical-right) 모드, 수평 다운(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 모드 및 수평 업(Horizontal-up) 모드인 것을 특징으로 하는 인트라 예측 방법.
  7. 제6항에 있어서,
    상기 제1 서브 블록 및 상기 제2 서브 블록은, 상기 행렬의 인덱스 0 및 1, 또는 2 및 3에 해당하는 서브 블록이고,
    상기 제1 서브 블록의 재구성이 완료되기 이전에 상기 제2 서브 블록에 대한 인트라 예측을 수행하기 위한 예측 모드는 상기 수직 모드, 상기 대각선 왼쪽 다운 모드 및 상기 수평 다운 모드인 것을 특징으로 하는 인트라 예측 방법.
  8. 제6항에 있어서,
    상기 제1 서브 블록 및 상기 제2 서브 블록은, 상기 행렬의 인덱스 1 및 2에 해당하는 서브 블록이고,
    상기 제1 서브 블록의 재구성이 완료되기 이전에 상기 제2 서브 블록에 대한 인트라 예측을 수행하기 위한 예측 모드는 상기 복수 개의 예측 모드들 중 상기 대각선 왼쪽 다운 모드 및 상기 수직 왼쪽 모드를 제외한 예측 모드들인 것을 특징으로 하는 인트라 예측 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 기재된 인트라 예측 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  10. 매크로 블록에 포함되는 복수 개의 서브 블록들에 대하여 복수 개의 예측 모드들로 인트라 예측을 수행하는 방법에 있어서,
    (a) 상기 복수 개의 서브 블록들 중 제1 서브 블록에 대하여 인트라 예측을 수행하는 단계; 및
    (b) 상기 복수 개의 서브 블록들 중 적어도 하나의 제2 서브 블록에 대하여 적어도 하나의 예측 모드로 인트라 예측을 수행하는 단계를 포함하고,
    상기 (b) 단계는, 상기 제1 서브 블록에 포함되는 화소들을 참조 화소로 사용하지 않고, 상기 제2 서브 블록의 좌측, 상측, 및 상우측에 인접하는 서브 블록들 중 재구성이 이미 완료된 서브 블록에 포함되는 화소들을 참조 화소로 사용하는 예측 모드로, 상기 제1 서브 블록의 재구성이 완료되기 이전에 인트라 예측을 수행하는 것을 특징으로 하는 인트라 예측 방법.
  11. 매크로 블록에 포함되는 복수 개의 서브 블록들에 대하여 복수 개의 예측 모드들로 인트라 예측을 수행하는 장치에 있어서,
    소정 순서에 따라 상기 복수 개의 서브 블록들 각각에 대하여 인트라 예측을 수행하는 인트라 예측부; 및
    인트라 예측된 서브 블록에 대하여 재구성을 수행하는 재구성부를 포함하고,
    상기 인트라 예측부는, 상기 복수 개의 서브 블록들 중 임의의 서브 블록에 대하여 인트라 예측을 수행함에 있어서, 상기 임의의 서브 블록 이전에 인트라 예측되는 서브 블록에 포함되는 화소들을 참조 화소로 사용하지 않는 예측 모드로 상기 이전에 인트라 예측되는 서브 블록의 재구성이 완료되기 이전에 인트라 예측을 수행하는 것을 특징으로 하는 인트라 예측 장치.
  12. 제11항에 있어서,
    상기 재구성부는 상기 인트라 예측된 서브 블록에 대하여 변환, 양자화, 역변환 과정을 통하여 재구성을 수행하는 것을 특징으로 하는 인트라 예측 장치.
KR1020080005022A 2008-01-16 2008-01-16 인트라 예측 방법 및 장치 KR100919312B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080005022A KR100919312B1 (ko) 2008-01-16 2008-01-16 인트라 예측 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080005022A KR100919312B1 (ko) 2008-01-16 2008-01-16 인트라 예측 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090079071A KR20090079071A (ko) 2009-07-21
KR100919312B1 true KR100919312B1 (ko) 2009-10-01

Family

ID=41336991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080005022A KR100919312B1 (ko) 2008-01-16 2008-01-16 인트라 예측 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100919312B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120106640A1 (en) * 2010-10-31 2012-05-03 Broadcom Corporation Decoding side intra-prediction derivation for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050039249A (ko) * 2003-10-24 2005-04-29 삼성전자주식회사 인트라 예측 방법 및 장치
KR20050112445A (ko) * 2004-05-25 2005-11-30 경희대학교 산학협력단 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
KR20070037553A (ko) * 2005-10-01 2007-04-05 엘지전자 주식회사 메모 작성 및 전송 기능을 갖는 이동 단말기 및 이를이용한 메모 작성 및 전송 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050039249A (ko) * 2003-10-24 2005-04-29 삼성전자주식회사 인트라 예측 방법 및 장치
KR20050112445A (ko) * 2004-05-25 2005-11-30 경희대학교 산학협력단 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
KR20070037553A (ko) * 2005-10-01 2007-04-05 엘지전자 주식회사 메모 작성 및 전송 기능을 갖는 이동 단말기 및 이를이용한 메모 작성 및 전송 방법

Also Published As

Publication number Publication date
KR20090079071A (ko) 2009-07-21

Similar Documents

Publication Publication Date Title
KR102412271B1 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR102398642B1 (ko) 인트라 예측 정보 부호화 방법 및 장치
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
KR101739579B1 (ko) 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
US9503725B2 (en) Method and apparatus for encoding/decoding image for performing intraprediction using pixel value filtered according to prediction mode
KR101378338B1 (ko) 영상 복구를 이용한 인트라 예측 부호화, 복호화 방법 및장치
US20120307894A1 (en) Intra prediction mode coding with directional partitions
KR101712351B1 (ko) 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법
US20090060049A1 (en) Method and system for calculating flag parameter of image block
KR20060105352A (ko) 인트라 예측 방법 및 그 장치
KR20110126485A (ko) 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
US9113166B2 (en) Apparatus and method for image encoding/decoding considering impulse signal
TW202025723A (zh) 圖像和視訊處理中產生mpm 以進行幀內預測的方法和裝置
KR101246119B1 (ko) 인트라 예측 모드 결정 방법 및 장치
KR100919312B1 (ko) 인트라 예측 방법 및 장치
KR101373670B1 (ko) 인트라 예측 방법 및 장치
KR101226498B1 (ko) 인트라 예측 부호화 장치 및 방법, 인트라 예측 복호화 장치 및 방법
CN111164975A (zh) 图像数据编码和解码

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130614

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140515

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150922

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160919

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170918

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20191205

Year of fee payment: 11