KR100924779B1 - 적응적 동영상 부호화 및 복호화 방법과 그 장치 - Google Patents

적응적 동영상 부호화 및 복호화 방법과 그 장치 Download PDF

Info

Publication number
KR100924779B1
KR100924779B1 KR1020080004441A KR20080004441A KR100924779B1 KR 100924779 B1 KR100924779 B1 KR 100924779B1 KR 1020080004441 A KR1020080004441 A KR 1020080004441A KR 20080004441 A KR20080004441 A KR 20080004441A KR 100924779 B1 KR100924779 B1 KR 100924779B1
Authority
KR
South Korea
Prior art keywords
frame rate
input image
image data
encoded
encoded input
Prior art date
Application number
KR1020080004441A
Other languages
English (en)
Other versions
KR20080017423A (ko
Inventor
송병철
천강욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080004441A priority Critical patent/KR100924779B1/ko
Publication of KR20080017423A publication Critical patent/KR20080017423A/ko
Application granted granted Critical
Publication of KR100924779B1 publication Critical patent/KR100924779B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G7/00—Pivoted suspension arms; Accessories thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G7/00—Pivoted suspension arms; Accessories thereof
    • B60G7/001—Suspension arms, e.g. constructional features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2206/00—Indexing codes related to the manufacturing of suspensions: constructional features, the materials used, procedures or tools
    • B60G2206/01—Constructional features of suspension elements, e.g. arms, dampers, springs
    • B60G2206/10—Constructional features of arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2206/00—Indexing codes related to the manufacturing of suspensions: constructional features, the materials used, procedures or tools
    • B60G2206/01—Constructional features of suspension elements, e.g. arms, dampers, springs
    • B60G2206/80—Manufacturing procedures
    • B60G2206/82—Joining
    • B60G2206/8207—Joining by screwing

Abstract

영상의 시간적 복잡도를 고려하여 적응적으로 동영상의 부호화를 수행하기 위한 적응적 동영상 부호화 방법 및 그 장치가 개시되어 있다. 본 발명은 입력 영상의 시간적 복잡도를 고려하여, 신택스(syntax) 레벨에서 프레임 레이트를 달리하여 부호화를 수행함으로써, 고효율로 영상 데이터를 저장할 수 있도록 하기 위한 것으로, 이를 위해 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 방법은 (a) 입력되는 영상 데이터의 시간적 복잡도를 계산하는 단계와; (b) 상기 계산된 시간적 복잡도에 기초하여 입력되는 영상 데이터의 프레임 율을 변환하는 단계와; (c) 상기 프레임 율이 변환된 영상 데이터를 부호화하고, 상기 부호화된 데이터가 상기 결정된 프레임 율을 나타내는 정보를 포함하도록 하기 위해, 상기 부호화된 데이터의 부호화 데이터를 조정하는 단계를 포함한다.
시간적 복잡도 프레임 레이트 부호화 복호화

Description

적응적 동영상 부호화 및 복호화 방법과 그 장치{Method for adaptive encoding and decoding motion image and apparatus thereof}
본 발명은 동영상 부호화 및 복호화 방법과 그 장치에 관한 것으로서, 특히 입력 영상의 시간적 복잡도를 고려하여 적응적으로 동영상의 부호화를 수행하기 위한 적응적 동영상 부호화 및 복호화 방법과 그 장치에 관한 것이다.
최근 DVR(digital video recorder)이나 PVR(personal video recorder)이 대중화 되면서, 영상 압축에 대한 연구 개발이 활발해지고 있다. 기존의 DVR이나 PVR에서는 입력 영상의 특성, 즉 시간적 복잡도를 고려함이 없이 영상을 고정된 프레임 율로만 압축하기 때문에, 압축의 효율성이 떨어지는 문제점이 있었다.
도 1은 종래의 동영상 인코더를 도시하는 블록도이다.
먼저, 입력되는 영상 데이터는 8×8 화소의 블록으로 분해된다. DCT(Discrete Cosine Transform)부(110)는 공간적 상관성을 제거하기 위해 8 ×8 화소 블록 단위로 입력되는 영상 데이터에 대해 DCT 연산을 수행한다. 양자화부(Quantization: Q)(120)는 DCT부(120)에서 얻어진 DCT 계수에 대해 양자화를 수행하여, 몇 개의 대표 값으로 표현함으로써, 고효율 손실 압축을 수행한다. 가변 길이 부호화부(variable length coding: VLC)(130)는 양자화 처리된 DCT 변환 계수들에 대해 엔트로피 부호화를 수행하고, 엔트로피 부호화된 데이터 스트림을 출력한다.
역양자화부(Inverse Quantization: IQ)(140)는 양자화부(120)에서 양자화된 영상 데이터를 역양자화한다. IDCT부(150)는 역양자화부(140)에서 역양자화된 영상 데이터에 대해 IDCT(Inverse Discrete Cosine Transform) 변환을 수행한다. 프레임 메모리부(160)는 IDCT부(150)에서 IDCT 변환된된 영상 데이터를 프레임 단위로 저장한다. 움직임 추정부(Motion Estimation: ME)(170)는 입력되는 현재 프레임의 영상 데이터와 프레임 메모리부(160)에 저장된 이전 프레임의 영상 데이터를 이용하여 시간적 상관성을 제거하기 위해 사용된다.
종래의 DVR이나 PVR에서는 데이터 압축을 위해, 도 1에 도시된 바와 같은 MPEG-2 부호기를 사용하였다. 입력되는 데이터가 압축되지 않은 데이터이면, MPEG-2 부호기를 통해 압축하여, HDD나 DVD와 같은 저장 매체에 비트 스트림을 저장하였다. 입력 영상 데이터가 압축된 비트 스트림인 경우에는, 도 2에 도시된 동영상 트랜스 코더를 이용하여 원하는 조건의 MPEG-2 스트림을 만들기 위해 MPEG-2 동영상 복호화를 수행한 후, 소정의 스케일 및 포맷 변환 후 MPEG-2 동영상 부호화하였다.
도 2는 종래의 동영상 트랜스 코더를 도시하는 블록도이다.
입력 데이터가 압축된 비트 스트림의 형태인 경우, 가변 길이 복호화부(222), 역양자화부(224), IDCT부(226), 프레임 메모리(228), 및 움직임 보상 부(Motion Compensation: MC)(230)로 이루어진 동영상 디코더(220)에 의해, 입력 데이터를 복호하고, 원하는 조건의 MPEG-2 스트림을 만들기 위해 도 1에 도시된 동영상 인코더와 동일한 MPEG-2 인코더를 이용하여 주어진 해상도로 동영상을 인코딩한다. 이와 같은 과정을 트랜스 코딩(transcoding) 이라고 하며, 트랜스 코딩시 스케일 및 포맷 변환부(240)를 이용하여, 필요한 경우 동영상 디코더(220)에 의해 복호화된 영상의 스케일을 줄인다든지(down-scaling) 또는 스캔 포맷을 변환한 후, MPEG-2 인코더(260)를 사용하여, 주어진 프레임 율로 MPEG-2 인코딩을 수행한다.
이와 같이, 종래 기술에서는 MPEG-2 부호화시 항상 동일한 프레임 율로 압축을 수행한다. 따라서, 입력되는 동영상의 특성에 따라 시간적 복잡도가 작거나 큰 경우에도 항상 동일한 프레임 율로 인코딩을 수행하며, 특히 입력되는 동영상이 시간적으로 변화가 거의 없는 경우에도 항상 동일한 프레임 율을 유지해야 하기 때문에, 압축의 효율성이 떨어지게 되는 문제점이 있었다.
본 발명이 이루고자하는 기술적 과제는 입력 동영상의 특성을 고려하여 적응적으로 동영상 부호화를 수행하여, 부호화 효율을 향상시키기 위한 적응적 동영상 부호화 방법 및 장치를 제공하기 위한 것이다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 동영상을 MPEG-2 압축 기법을 이용하여 HDD나 DVD에 저장하는 경우, 저장의 효율성을 극대화하기 위한 적응적 동영상 부호화 방법 및 장치를 제공하기 위한 것이다.
상기의 기술적 과제를 해결하기 위하여, 본 발명에 따른 시간적 복잡도를 고려한 적응적 영상 부호화 방법은 (a) 입력되는 영상 데이터의 시간적 복잡도를 계산하는 단계와; (b) 상기 계산된 시간적 복잡도에 기초하여 입력되는 영상 데이터의 프레임 율을 변환하는 단계와; (c) 상기 프레임 율이 변환된 영상 데이터를 부호화하고, 상기 부호화된 영상 데이터가 상기 결정된 프레임 율을 나타내는 정보를 포함하도록 하기 위해, 상기 부호화된 영상 데이터의 부호화 데이터를 조정하는 단계를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 방법은 상기 (b) 영상 프레임 데이터의 프레임 율을 변환하는 단계는 (b1) 상기 계산된 시간적 복잡도와 선정된 적어도 하나 이상의 문턱값을 비교하여 프레임 율을 결정하는 단계와; (b2) 상기 결정된 프레임 율에 기초하여 입력되는 영상 데 이터의 프레임 율을 변환하는 단계를 더 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 방법은 (a) 입력되는 영상 데이터의 시간적 복잡도를 계산하는 단계는 (a1) 입력된 압축 영상 데이터를 복호화하는 단계와 (a2) 상기 (a1) 단계에서 얻어진 움직임 벡터 정보를 이용하여 시간적 복잡도를 계산하는 단계를 더 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 방법은 상기 (c) 단계의 부호화 데이터는 부호화된 데이터의 데이터 구조에서 픽쳐 부호화기능 확장부(picture coding extension)의 부호화 데이트들 중 적어도 하나인 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 방법은 상기 부호화 데이터의 상기 픽쳐 부호화기능 확장부의 RFF(repeat_first_field) 및 TPP(top_field_first) 중 적어도 하나 인 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 방법은 상기 프레임 율 변환부는 상기 계산된 시간적 복잡도와 상기 선정된 적어도 하나 이상의 비교값들 제1 문턱값 및 제2 문턱값을 비교하여, 상기 계산된 시간적 복잡도가 상기 제1 문턱값보다 큰 경우에는 RFF 및 TPP를 모두 0으로 설정하고, 상기 계산된 시간적 복잡도가 상기 제2 문턱값보다 작은 경우에는 RFF 및 TPP를 모두 1로 설정하고, 상기 계산된 시간적 복잡도가 상기 제1 문턱값보다 작 고, 상기 제2 문턱값보다는 큰 경우에는 RFF와 TPP를 각각 1과 0으로 설정하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 장치는 (a) 입력되는 영상 데이터의 시간적 복잡도를 계산하기 위한 시간적 복잡도 계산부와; (b) 상기 계산된 시간적 복잡도에 기초하여 입력되는 영상 데이터의 프레임 레이터를 변환하는 프레임 레이터 변환부와; (c) 상기 프레임 레이터가 변환된 영상 데이터를 부호화하고, 상기 부호화된 영상 데이터가 상기 결정된 프레임 율을 나타내는 정보를 포함하도록 하기 위해, 상기 부호화된 영상 데이터의 부호화 데이터를 조정하기 위한 부호화부를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 장치는 상기 프레임 율 변환부는 상기 시간적 복잡도 계산부에서 계산된 시간적 복잡도와 선정된 적어도 하나 이상의 문턱값을 비교하여 프레임 율을 결정하는 프레임 레이터 결정부를 더 포함하며, 상기 프레임 레이터 결정부에서 결정된 프레임 율에 기초하여 입력되는 영상 데이터의 프레임 율을 변환하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 장치는 상기 시간적 복잡도 계산부는 입력된 압축 영상 데이터를 복호화하는 복호화부를 더 포함하며, 상기 복호화부에서 얻어진 움직임 벡터 정보를 이용하여 시간적 복잡도를 계산하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 장치는 상기 부호화 데이터는 부호화된 데이터의 데이터 구조에서 픽쳐 부호화기능 확장부의 부호화 데이터들 중 적어도 하나인 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 장치는 상기 부호화 데이터의 상기 픽쳐 부호화기능 확장부의 RFF(repeat_first_field) 및 TPP(top_field_first) 중 적어도 하나 인 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 장치는 상기 프레임 율 변환부는 상기 계산된 시간적 복잡도와 상기 선정된 적어도 하나 이상의 비교값들 제1 문턱값 및 제2 문턱값을 비교하여, 상기 계산된 시간적 복잡도가 상기 제1 문턱값보다 큰 경우에는 RFF 및 TPP를 모두 0으로 설정하고, 상기 계산된 시간적 복잡도가 상기 제2 문턱값보다 작은 경우에는 RFF 및 TPP를 모두 1로 설정하고, 상기 계산된 시간적 복잡도가 상기 제1 문턱값보다 작고, 상기 제2 문턱값보다는 큰 경우에는 RFF와 TPP를 각각 1과 0으로 설정하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 의하면, 특정 구간 단위로 영상의 시간적 복잡도를 계산하여, 상대적으로 시간적 복잡도가 낮는 구간은 원래 프레임 율보다 낮게 부호화하고, 상대적으로 시간적 복잡도가 높은 구간은 원래 프레임 율로 부호화하도록 하고, 부호화된 데이터의 신택스 레벨을 적절히 설정하여, 복호화시 원래 프레임 율로 복원될 수 있도록 함으로써, 화질의 열화 없이 저장 매체에 동영상을 보다 효율적으로 저장하는 것이 가능하게 된다.
최근 DVR 이나 PVR에서는 영상 압축에 대한 연구 개발이 활발하다. 저장을 목적으로 하는 영상 압축의 핵심은 주어진 영상을 얼마나 고효율로 압축하느냐 이다. 기존의 DVR이나 PVR에서는 영상을 정해진 프레임 율로만 압축하여 저장한다.
본 발명은 이와 같이, 영상을 정해진 프레임 율로만 압축하여 저장함으로써 발생하는 문제점을 해결하기 위한 것으로서, 본 발명의 일 실시예에 따르면, 입력 동영상의 특성에 따라 시간적 복잡도가 작은 경우 및 큰 경우가 존재하는 것을 고려하여, 특정 구간 단위, 예를 들어 30 프레임 또는 GOP(group of pictures) 단위로 입력 영상의 시간적 복잡도에 따라, 프레임 율을 달리하여 부호화하는 방식을 채용하여, 고효율로 저장할 수 있도록 하는 것을 기술적 특징으로 하고 있다.
시간적 복잡도가 작은 구간에서는 프레임 율을 줄여 부호화하고, 디코더에서 복호화후 디스플레이하기 전에 보간(interpolation)을 통해 확대한 후 디스플레이하고, 시간적 복잡도가 큰 구간, 즉 움직임이 많은 구간에서는 원래 프레임 율로 부호화를 수행한다. 이러한 과정을 수행함으로써, 화질 열화를 크게 떨어뜨리지 않고서도 압축율을 향상시켜 저장 효율을 보다 향상시키는 것이 가능하다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 3은 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 장치 를 도시한다.
본 발명에 따른 동영상 부호화 장치는 움직임 활성도(motion activity) 계산부(320), 프레임 율(frame rate) 결정부(340), 프레임 율 변환부(360), 및 인코더부(380)로 이루어진다.
움직임 활성도 계산부(320)에서는 특정 구간 단위로 시간적 복잡도를 계산한다. 본 실시예에서는 설명의 편의를 위해 30 프레임을 하나의 단위 구간으로 정하여 시간적 복잡도를 계산하지만, 선택적으로 GOP 단위 또는 시퀀스 단위를 기준으로 하거나, 사용자의 선택에 따라 적절히 정하는 것이 가능하다.
본 실시예에서는 시간적 복잡도를 계산하기 위해 움직임 활성도, 즉 움직임 벡터의 크기를 이용한다. 본 실시예에 따르면, 정해진 특정 구간, 즉 30 프레임 내의 모든 매크로 블록(macro block)에 대해 움직임 벡터를 구하여, 이로부터 움직임 활성도를 계산하고, 매크로 블록 들의 평균 움직임 활성도를 계산한다. 예를 들어, 하나의 매크로 블록의 움직임 벡터(MV)가 (MV1, MV2) 인 경우, 매크로 블록의 움직임 활성도는 MV12 + MV22이다. 이러한 방법으로, 움직임 활성도 계산부(320)는 30 프레임 내의 매크로 블록당 평균 움직임 활성도를 계산한다.
본 실시예에서는 시간적 복잡도를 계산하기 위해 움직임 활성도를 이용했지만, 선택적으로 시간적 복잡도를 계산하기 위한 다른 수단을 채용하는 것도 가능하다.
프레임 율 결정부(340)에서는 움직임 활성도 계산부(320)에서 계산된 매크로 블록당 평균 움직임 활성도와 선정된 문턱값을 비교하여, 특정 구간에 대한 프레임 율을 결정한다. 여기에서, 선정된 문턱값은 버퍼, 메모리 용량 등과 같은 시스템 환경 등을 고려하여, 초기에 설정하거나 입력 영상의 종류에 따라서 사용자가 임의로 설정하는 것도 가능하다. 상기 문턱값을 적절히 조절함으로써, 프레임 율 조절 방식은 다양하게 이루어질 수 있다. 또한, 여러 문턱값을 두어 움직임 활성도와 비교 후 프레임 율을 조절하는 것도 가능하다.
예를 들어, 두 개의 문턱값 TH 1 및 TH 2 (단, TH 1 > TH 2)을 사용하는 경우, 매크로 블록 당 평균 움직임 활성도가 TH 1 보다 큰 경우에는, 원래 프레임 율로 부호화한다. 매크로 블록 당 평균 움직임 활성도가 TH2 보다 크고, TH 1 보다 작은 경우에는 원래 프레임 율의 1/2로 부호화한다. 매크로 블록 당 평균 움직임 활성도가 TH2 보다 작은 경우에는, 원래 프레임 율의 1/3로 줄여서 부호화한다.
예를 들어 원래 프레임 율이 30Hz인 경우, 문턱값을 10, 20으로 두고, 움직임 활성도가 20 보다 큰 경우에는 원래 프레임 율 30Hz로 부호화하고, 움직임 활성도가 10 보다 크고 20 보다 작은 경우에는 원래 프레임 율의 1/2, 즉 15 Hz로 부호화하고, 움직임 활성도가 10 보다 작은 경우에는 원래 프레임 율의 1/3, 즉 10 Hz로 부호화한다.
문턱값들인 TH 1 및 TH2는 실험을 통해 적절한 값이 선택될 수 있으며, 또한 본 실시예에서 프레임 율 결정을 위해 특정 구간의 매크로 블록 당 평균 움직임 활성도를 이용했으나, 선택적으로 선정된 범위의 블록 당 평균 움직임 활성도를 이용하는 것도 가능하다.
프레임 율 변환부(360)에서는 프레임 율 결정부(340)에서 결정된 프레임 율에 따라 입력 영상 데이터의 프레임 율을 조절하여, 인코더부(380)로 출력한다.
도 4(a)(b)(c)는 프레임 율 변환부(360)에서 수행되는 결정된 프레임 율에 따른 프레임 율 변환 과정을 도시하는 도면이다. 도 4에서 회색 프레임들은 실제로 부호화되는 프레임들이고, 흰색 프레임들은 부호화하지 않고 생략되는 프레임들이다. 도 4(a)는 매크로 블록당 평균 움직임 활성도가 TH 1 보다 큰 경우, 도 4(b)는 매크로 블록당 움직임 활성도가 TH 1보다 작고, TH 2 보다 큰 경우, 도 4(c)는 매크로 블록당 움직임 활성도가 TH 2 보다 작은 경우의 구간별 프레임 변환을 나타낸다.
인코더부(380)에서는 상기 프레임 율 변환부(360)에서 시간적 복잡도에 따라 프레임 율이 변환된 프레임들에 대해 부호화, 예를 들어 MPEG-2 부호화를 수행한다. 또한, MPEG-2 부호화시, 부호화된 비트스트림의 신택스(syntax) 레벨에서 파라미터를 적절히 조절함으로써, 부호화된 비트스트림이 상기 결정된 프레임 율을 나타내는 정보를 가지도록 하여, 복호화부에서 원래의 프레임 율로 복호화할 수 있도록 한다.
본 실시예에서는, MPEG-2 부호화시 부호화된 데이터 구조의 신택스(syntax) 레벨의 픽쳐 부호화기능 확장부(picture coding extension)의 파라미터들인 RFF(repeat_first_field)와 TFF(top_field_first) 값을 아래와 같이 설정한다.
매크로 블록 당 움직임 활성도가 TH 1보다 큰 구간의 프레임들에서는, 원래 프레임 율로 부호화하므로 RFF 및 TFF를 모두 0으로 설정한다.
또한, 매크로 블록 당 움직임 활성도가 TH 2 보다 크고, TH 1 보다 작은 프레임들에서는, 원래 프레임 율의 1/2로 부호화하므로, RFF 및 TFF를 각각 1과 0으로 설정하여, 복호화시 해당 프레임이 한번 반복되도록 한다.
또한, 매크로 블록 당 움직임 활성도가 TH 1 보다 작은 프레임들에서는, 원래 프레임 율의 1/3로 부호화하므로, RFF 및 TFF를 각각 1로 설정하여, 복호화시 해당 프레임이 두 번 반복되도록 한다.
도 5는 MPEG-2의 6층 데이터 구조의 픽쳐 부호화기능 확장부의 데이터 구조를 나타내는 도면이다. 본 실시예에서는 프레임 율이 변환된 데이터의 비트스트림이 변환된 프레임 율에 대한 정보를 표시하기 위해, 픽쳐 부호화기능 확장부의 부호화 데이터에 포함되는 데이트들 중 TFF 및 RFF를 사용한다.
이와 같이, 본 발명에 따른 동영상 부호화 장치에서는 출력되는 부호화된 비트 스트림의 픽쳐 부호화기능 확장부의 해당 파라미터들을 적절히 설정함으로써, 부호화된 비트 스트림이 변환된 프레임 율을 나타내는 정보를 가지도록 하는 것이 가능하다.
따라서, 본 발명에 따른 부호화 장치에서 프레임 율이 변환되어 부호화된 비트스트림을 입력 받아 복호화하는 복호화 장치에서도 상기 정보에 기초하여 복호시 원래 프레임 율로 복원하는 것이 가능하게 된다.
한편, 도 3에 도시된 바와 같이, MPEG-2 부호화시 움직임 활성도 계산부(320)에서 계산된 움직임 벡터를 MPEG-2 부호화시 사용하도록 함으로써, 부호화시 소요되는 계산량을 줄일 수 있도록 하는 것이 가능하다.
도 6은 입력 영상이 프로그레시브 시퀀스(progressive sequence)가 아닌 경우의 본 발명에 따른 동영상 부호화 장치를 도시한다.
도 6에 도시된 본 발명의 또 다른 실시예에 따른 동영상 부호화 장치는 IPC 모듈 부(610), 움직임 활성도(motion activity) 계산부(620), 프레임 율 결정부(640), 프레임 율 변환부(660), 및 인코더부(680)로 이루어진다. 움직임 활성도 계산부(620), 프레임 율 결정부(640), 프레임 율 변환부(660), 및 인코더부(680)는 도 3에 도시된 대응 기능부와 동일한 동작을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다.
입력 영상이 프로그레시브 시퀀스가 아닌 경우에는, IPC(interlaced - t0 - progressive conversion)를 수행하여 입력 스트림을 프로그레시브 시퀀스로 변환한 후, 도 4에 도시된 동영상 부호화 장치에 따른 부호화 과정과 동일하게 부호화가 수행된다.
본 실시예에서는 IPC로의 입력시의 프레임 율 및 공간적 해상도와 출력시의 프레임 율 및 공간적 해상도는 일정하게 유지, 예를 들어 30 Hz의 720 ×480의 비월 비디오(interlaced video)는 30 Hz의 720 ×480의 순차 비디오로 변환되는 것으로 가정하였지만, 선택적으로 프로그레시브 시퀀스로의 변환 시 사용자의 의도에 따라 공간적 해상도와 프레임 율을 적절하게 조절하는 것도 가능하다.
도 7은 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 트랜스 코딩 장치를 도시하는 도면이다.
본 발명에 따른 적응적 동영상 트랜스 코딩 장치는 가변 길이 복호화 부(722), 역양자화부(724), IDCT부(726), 프레임 메모리(728), 및 움직임 보상부(730)로 이루어진 동영상 디코더(720), 움직임 활성도 계산부(740), 프레임 율 변환부(760), 프레임 율 결정부(750), 및 인코더부(780)로 이루어진다.
동영상 디코더(720)의 각각의 기능부는 종래의 MPEG 디코더에서와 유사한 기능을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다.
도 7에 따른 실시예에서는 복호화시 특정 단위 구간 내의 모든 B 프레임 또는 P 프레임의 인터 매크로블록 들의 움직임 활성도들을 계산하여 평균함으로써, 특정 구간의 매크로블록당 평균 움직임 활성도 계산이 가능하다.
즉, 입력되는 영상 데이터가 압축 스트림인 경우에는, 움직임 활성도 계산부(740)는 도 3에 도시된 움직임 활성도 계산부(320)에서와 달리, 도 7에 도시된 바오 같이 압축 스트림의 복호화 단계에서 얻어지는 움직임 벡터 정보를 이용하여, 움직임 활성도를 계산하기 때문에, 별도의 움직임 추정부가 필요하지 않다.
예를 들어, 도 7에 도시된 바와 같이 본 발명에 따른 실시예에서는 움직임 활성도 계산부(740)는 가변 길이 부호화부(722)로부터 출력되는 움직인 벡터(MV)를 입력받아 이로부터 각 매크로 블록의 움직임 활성도를 계산한다.
도 7의 프레임 율 변환부(760), 프레임 율 결정부(750), 및 인코더부(780)는 도 3에 도시된 대응 기능부와 동일한 기능을 수행하므로 설명의 간단을 위해 이들 모듈에 대한 상세한 설명은 생략한다.
프레임 율 결정부(750)에서는 움직임 활성도 계산부(740)에서 계산된 매크로 블록당 평균 움직임 활성도와 선정된 문턱값을 비교하여, 특정 구간에 대한 프레임 율을 결정한다.
예를 들어, 두 개의 문턱값 TH 1 및 TH 2 (단, TH 1 > TH 2)을 사용하는 경우, 매크로 블록 당 평균 움직임 활성도가 TH 1 보다 큰 경우에는, 원래 프레임 율로 부호화한다. 매크로 블록 당 평균 움직임 활성도가 TH2 보다 크고, TH 1 보다 작은 경우에는 원래 프레임 율의 1/2로 부호화한다. 매크로 블록 당 평균 움직임 활성도가 TH2 보다 작은 경우에는, 원래 프레임 율의 1/3로 줄여서 부호화한다.
프레임 율 변환부(760)에서는 도 4 (a)(b)(c)에 도시된 바와 같이 프레임 율 결정부(750)에서 결정된 프레임 율에 따라 입력 영상 데이터의 프레임 율을 조절하여, 인코더부(780)로 출력한다.
인코더부(780)에서는 상기 프레임 율 변환부(760)에서 시간적 복잡도에 따라 프레임 율이 변환된 프레임들에 대해 부호화, 예를 들어 MPEG-2 부호화를 수행한다. 또한, MPEG-2 부호화시, 부호화된 비트스트림의 신택스(syntax) 레벨에서 파라미터를 적절히 조절함으로써, 즉 데이터 구조에서 부호화 데이터를 조정함으로써, 부호화된 비트스트림이 상기 결정된 프레임 율을 나타내는 정보를 가지도록 하여, 복호화부에서 원래의 프레임 율로 복호할 수 있도록 한다.
이와 같이, 본 발명에 따른 동영상 트랜스 코딩 장치에서는 출력되는 부호화된 비트 스트림의 픽쳐 부호화기능 확장부의 해당 파라미터들을 적절히 설정함으로써, 부호화된 비트 스트림이 변환된 프레임 율을 나타내는 정보를 가지도록 하는 것이 가능하다.
따라서, 본 발명에 따른 동영상 트랜스 코딩 장치에서 프레임 율이 변환되어 부호화된 비트스트림을 입력 받아 복호화하는 복호화 장치에서도 상기 정보에 기초하여 복호시 원래 프레임 율로 복원하는 것이 가능하게 된다.
도 8은 입력 영상이 프로그레시브 시퀀스가 아닌 경우의 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 트랜스 코딩 장치를 도시한다.
본 발명의 또 다른 실시예에 따른 적응적 동영상 트랜스 코딩 장치는 가변 길이 복호화부(822), 역양자화부(824), IDCT부(826), 프레임 메모리(828), 및 움직임 보상부(830)로 이루어진 동영상 디코더(820), 움직임 활성도 계산부(840), 프레임 율 변환부(850), IPC부(860), 프레임 율 결정부(870), 및 인코더부(880)로 이루어진다.
동영상 디코더(820), 움직임 활성도 계산부(840), 프레임 율 결정부(850), 프레임 율 변환부(870), 및 인코더부(880)는 도 6에 도시된 대응 기능부와 동일한 동작을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다.
입력 영상이 프로그레시브 시퀀스가 아닌 경우에는, 동영상 디코더에 의해 복호화된 데이터에 대해 IPC를 수행하여 입력 스트림을 프로그레시브 시퀀스로 변환한 후, 도 6에 도시된 부호화 장치에서와 동일하게 부호화가 수행된다.
본 실시예에서는 IPC로의 입력시의 프레임 율 및 공간적 해상도와 출력시의 프레임 율 및 공간적 해상도는 일정하게 유지, 예를 들어 30 Hz의 720 ×480의 비월 비디오(interlaced video)는 30 Hz의 720 ×480의 순차 비디오로 변환되는 것으로 가정하였지만, 선택적으로 프로그레시브 시퀀스로의 변환 시 사용자의 의도에 따라 공간적 해상도와 프레임 율을 적절하게 조절하는 것도 가능하다. 또한, 저장 의 효율성을 보다 높이기 위해 비트율, 공간적 해상도, 및 다른 표준으로 변형하여 저장하는 것도 가능하다.
도 9는 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 방법을 설명하기 위한 플로우 차트이다.
단계 920에서는 입력 영상 데이터의 특정 구간 단위로 시간적 복잡도를 계산한다. 본 실시예에서는 시간적 복잡도를 계산하기 위해 움직임 활성도, 즉 움직임 벡터의 크기를 이용하여, 특정 구간내의 매크로 블록당 평균 움직임 활성도를 계산한다.
단계 940에서는 단계920에서 계산된 매크로 블록당 평균 움직임 활성도와 선정된 문턱값을 비교하여, 특정 구간에 대한 프레임 율을 결정한다. 예를 들어, 두 개의 문턱값 TH 1 및 TH 2 (단, TH 1 > TH 2)을 사용하는 경우, 매크로 블록 당 평균 움직임 활성도가 TH 1 보다 큰 경우에는, 원래 프레임 율로 부호화한다. 매크로 블록 당 평균 움직임 활성도가 TH2 보다 크고, TH 1 보다 작은 경우에는 원래 프레임 율의 1/2로 부호화한다. 매크로 블록 당 평균 움직임 활성도가 TH2 보다 작은 경우에는, 원래 프레임 율의 1/3로 줄여서 부호화한다.
단계 960에서는 단계 940에서 결정된 프레임 율에 따라 입력 영상 데이터의 프레임 율을 변환한다.
단계 980에서는 단계960에서 프레임 율이 변환된 입력 영상 데이터를 부호화하고, 부호화된 데이터의 신택스 레벨, 즉 부호화된 비트열의 데이터 구조에서 파라미터를 적절히 조절함으로써, 부호화된 데이터의 비트스트림이 상기 결정된 프 레임 율을 나타내는 정보를 가지도록 한다. 본 실시예에서는, MPEG-2 부호화시 부호화된 데이터 구조의 신택스(syntax) 레벨의 픽쳐 부호화기능 확장부(picture coding extension)의 파라미터들인 RFF(repeat_first_field)와 TFF(top_field_first) 값을 아래와 같이 설정한다.
매크로 블록 당 움직임 활성도가 TH 1보다 큰 구간의 프레임들에서는, 원래 프레임 율로 부호화하므로 RFF 및 TFF를 모두 0으로 설정한다.
또한, 매크로 블록 당 움직임 활성도가 TH 2 보다 크고, TH 1 보다 작은 프레임들에서는, 원래 프레임 율의 1/2로 부호화하므로, RFF 및 TFF를 각각 1과 0으로 설정하여, 복호화시 해당 프레임이 한번 반복되도록 한다.
또한, 매크로 블록 당 움직임 활성도가 TH 1 보다 작은 프레임들에서는, 원래 프레임 율의 1/3로 부호화하므로, RFF 및 TFF를 각각 1로 설정하여, 복호화시 해당 프레임이 두 번 반복되도록 한다.
이와 같이, 본 발명에 따른 동영상 부호화 방법에서는 출력되는 부호화된 비트 스트림의 픽쳐 부호화기능 확장부의 해당 파라미터들을 적절히 설정함으로써, 부호화된 비트 스트림이 변환된 프레임 율을 나타내는 정보를 가지도록 하는 것이 가능하다.
따라서, 본 발명에 따른 부호화 장치에서 프레임 율이 변환되어 부호화된 비트스트림을 입력 받아 복호화하는 복호화 장치에서도 상기 정보에 기초하여 복호시 원래 프레임 율로 복원하는 것이 가능하게 된다.
본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자 에 의한 변형이 가능함은 물론이다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
도 1은 종래의 동영상 부호화 시스템을 도시한 블록도이다.
도 2는 종래의 트랜스 코딩 장치를 도시하는 블록도이다.
도 3은 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 장치를 도시하는 블록도이다.
도 4는 본 발명에 따른 구간별 프레임 율 변환 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예를 설명하기 위한 MPEG-2의 6 레이어 데이터 구조의 픽쳐 부호화기능 확장부(picture coding extension)를 나타내는 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 장치를 도시하는 블록도이다.
도 7은 본 발명의 또 다른 실시예에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 장치를 도시하는 블록도이다.
도 8은 본 발명의 또 다른 실시예에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 장치를 도시하는 블록도이다.
도 9는 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 방법을 설명하기 위한 흐름도이다.

Claims (9)

  1. 입력 영상의 입력 영상 데이터를 적응적으로 부호화 및 복호화하기 위한 장치에 있어서,
    상기 입력 영상의 시간적 복잡도를 계산하는 시간적 복잡도 계산부와;
    상기 계산된 시간적 복잡도에 기초하여 상기 입력 영상 데이터의 원 프레임 레이트를 제1 프레임 또는 제2 프레임 레이트 중 하나로 변환하는 프레임 레이트 변환부와;
    상기 제1 프레임 레이트 및 제2 프레임 레이트 중 하나의 프레임 레이트로 상기 입력 영상 데이터를 부호화하고,상기 제1 및 제2 프레임 레이트 중 하나에 대한 정보를 상기 부호화된 입력 영상 데이터에 삽입하는 부호화부와;
    상기 부호화된 입력 영상 데이터로부터 상기 제1 프레임 레이트 및 상기 제2 프레임 레이트 중 하나를 추출하고, 상기 부호화된 입력 영상 데이터로부터 제1 프레임 레이트가 추출된 경우 상기 부호화된 입력 영상 데이터를 상기 제1 프레임 레이트로 복호화하고, 상기 부호화된 입력 영상 데이터로부터 제2 프레임 레이트가 추출된 경우 상기 부호화된 입력 영상 데이터를 상기 제2 프레임 레이트로 복호화하는 복호화부를 포함하는 것을 특징으로 하는 장치.
  2. 입력 영상의 부호화된 입력 영상 데이터를 적응적으로 복호화하기 위한 장치에 있어서,
    부호화된 입력 영상 데이터로부터 제1 프레임 레이트 및 제2 프레임 레이트를 추출하는 추출부;
    상기 추출부가 상기 부호화된 입력 영상 데이터로부터 제1 프레임 레이트를 추출하는 경우 상기 부호화된 입력 영상 데이터를 상기 제1 프레임 레이트로 복호화하고, 상기 추출부가 상기 부호화된 입력 영상 데이터로부터 제2 프레임 레이트를 추출하는 경우 상기 부호화된 입력 영상 데이터를 상기 제2 프레임 레이트로 복호화하는 복호화부를 포함하는 것을 특징으로 하는 장치.
  3. 제2항에 있어서, 상기 부호화된 입력 영상 데이터는 상기 제1 프레임 레이트 및 상기 제2 프레임 레이트 중 하나를 나타내기 위해, 상기 부호화된 입력 영상 데이터의 데이터 구조에서 픽쳐 부호화기능 확장부(picture coding extension)를 포함하며, 상기 추출부는 상기 부호화된 입력 영상 데이터의 데이터 구조의 상기 픽쳐 부호화기능 확장부에서 상기 제1 프레임 레이트 및 상기 제2 프레임 레이트 중 하나를 추출하는 것을 특징으로 하는 장치.
  4. 제3항에 있어서, 상기 부호화된 입력 영상 데이터의 픽쳐 부호화기능 확장부는 상기 제1 프레임 레이트 및 상기 제2 프레임 레이트 중 하나를 나타내기 위해 REF 값 및 TFF 값 중 하나를 포함하며, 상기 추출부는 상기 부호화된 입력 영상 데이터의 상기 데이터 구조의 상기 픽쳐 부호화기능 확장부에서 상기 REF 값 및 상기 TFF 값 중 하나 또는 조합으로부터 상기 제1 프레임 레이트 및 상기 제2 프레임 레 이트 중 하나를 추출하는 것을 특징으로 하는 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 입력 영상의 입력 영상 데이터를 적응적으로 부호화 및 복호화하기 위한 방법에 있어서,
    상기 입력 영상의 시간적 복잡도를 계산하는 단계와;
    상기 계산된 시간적 복잡도에 기초하여 상기 입력 영상 데이터의 원 프레임 레이트를 제1 프레임 또는 제2 프레임 레이트 중 하나로 변환하는 단계와;
    상기 제1 프레임 레이트 및 제2 프레임 레이트 중 하나의 프레임 레이트로 상기 입력 영상 데이터를 부호화하고,상기 제1 및 제2 프레임 레이트 중 하나에 대한 정보를 상기 부호화된 입력 영상 데이터에 삽입하는 단계와;
    상기 부호화된 입력 영상 데이터로부터 상기 제1 프레임 레이트 및 상기 제2 프레임 레이트 중 하나를 추출하고, 상기 부호화된 입력 영상 데이터로부터 제1 프레임 레이트가 추출된 경우 상기 부호화된 입력 영상 데이터를 상기 제1 프레임 레이트로 복호화하고, 상기 부호화된 입력 영상 데이터로부터 제2 프레임 레이트가 추출된 경우 상기 부호화된 입력 영상 데이터를 상기 제2 프레임 레이트로 복호화하는 단계를 포함하는 것을 특징으로 하는 방법.
KR1020080004441A 2008-01-15 2008-01-15 적응적 동영상 부호화 및 복호화 방법과 그 장치 KR100924779B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080004441A KR100924779B1 (ko) 2008-01-15 2008-01-15 적응적 동영상 부호화 및 복호화 방법과 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080004441A KR100924779B1 (ko) 2008-01-15 2008-01-15 적응적 동영상 부호화 및 복호화 방법과 그 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR20020028364A Division KR100850706B1 (ko) 2002-05-22 2002-05-22 적응적 동영상 부호화 및 복호화 방법과 그 장치

Publications (2)

Publication Number Publication Date
KR20080017423A KR20080017423A (ko) 2008-02-26
KR100924779B1 true KR100924779B1 (ko) 2009-11-05

Family

ID=39384781

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080004441A KR100924779B1 (ko) 2008-01-15 2008-01-15 적응적 동영상 부호화 및 복호화 방법과 그 장치

Country Status (1)

Country Link
KR (1) KR100924779B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101416272B1 (ko) * 2008-11-05 2014-07-07 삼성전자 주식회사 디스플레이장치 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970057989A (ko) * 1995-12-28 1997-07-31 구자홍 가변율 부호화기의 비트율 할당 방법 및 장치
KR100234247B1 (ko) 1995-05-29 1999-12-15 윤종용 가변 비트율 동화상 부호화장치
KR100289852B1 (ko) 1993-04-09 2001-05-15 이데이 노부유끼 화상 부호화 방법, 화상 부호화 장치 및 화상 기록 매체
KR20010104058A (ko) * 2000-05-12 2001-11-24 박종섭 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100289852B1 (ko) 1993-04-09 2001-05-15 이데이 노부유끼 화상 부호화 방법, 화상 부호화 장치 및 화상 기록 매체
KR100234247B1 (ko) 1995-05-29 1999-12-15 윤종용 가변 비트율 동화상 부호화장치
KR970057989A (ko) * 1995-12-28 1997-07-31 구자홍 가변율 부호화기의 비트율 할당 방법 및 장치
KR20010104058A (ko) * 2000-05-12 2001-11-24 박종섭 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기

Also Published As

Publication number Publication date
KR20080017423A (ko) 2008-02-26

Similar Documents

Publication Publication Date Title
KR100850706B1 (ko) 적응적 동영상 부호화 및 복호화 방법과 그 장치
KR100850705B1 (ko) 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
KR101213704B1 (ko) 가변 컬러 포맷 기반 동영상 부호화 방법 및 장치, 그복호화 방법 및 장치
TWI399097B (zh) 用於編碼視訊之系統及方法，以及電腦可讀取媒體
US20100254450A1 (en) Video coding method, video decoding method, video coding apparatus, video decoding apparatus, and corresponding program and integrated circuit
JP4973871B2 (ja) 画像符号化方法及び、これを用いた装置とコンピュータプログラム
US20050169377A1 (en) Low-complexity spatial downscaling video transcoder and method thereof
US7899121B2 (en) Video encoding method, video encoder, and personal video recorder
JP2001145113A (ja) 画像情報変換装置及び方法
JP2003116104A (ja) 情報処理装置及び情報処理方法
KR101450645B1 (ko) 비디오 비트율 제어 방법 및 장치
JP5213964B2 (ja) 動画像符号化装置及び動画像復号装置
KR20040079084A (ko) 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치
JP2008004984A (ja) 画像理装置および方法、プログラム、並びに記録媒体
KR101086724B1 (ko) 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기
KR100924779B1 (ko) 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP5760950B2 (ja) 動画像再符号化装置、動画像再符号化方法及び動画像再符号化用コンピュータプログラム
KR100584422B1 (ko) 영상데이터의 압축 장치 및 방법
JP2006060836A (ja) 画像符号のトランスコーダ及び画像符号のトランスコーディング方法
JP4561701B2 (ja) 動画像符号化装置
JP4186544B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
US20110075738A1 (en) Transcoder from first mpeg stream to second mpeg stream
JP4390009B2 (ja) 符号化装置及び方法、画像処理システム
KR20040031948A (ko) 동영상 디코딩 방법
JP2006060835A (ja) 画像符号のトランスコーダ及び画像符号のトランスコーディング方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 10