KR101311410B1 - 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치 - Google Patents

픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치 Download PDF

Info

Publication number
KR101311410B1
KR101311410B1 KR1020110108246A KR20110108246A KR101311410B1 KR 101311410 B1 KR101311410 B1 KR 101311410B1 KR 1020110108246 A KR1020110108246 A KR 1020110108246A KR 20110108246 A KR20110108246 A KR 20110108246A KR 101311410 B1 KR101311410 B1 KR 101311410B1
Authority
KR
South Korea
Prior art keywords
frame
key
mode
rate distortion
jib
Prior art date
Application number
KR1020110108246A
Other languages
English (en)
Other versions
KR20130044011A (ko
Inventor
심동규
민경연
전병우
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020110108246A priority Critical patent/KR101311410B1/ko
Priority to PCT/KR2012/001502 priority patent/WO2013058445A1/ko
Publication of KR20130044011A publication Critical patent/KR20130044011A/ko
Application granted granted Critical
Publication of KR101311410B1 publication Critical patent/KR101311410B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치가 개시되어 있다. 분산 비디오 부호화 방법은 부호화 모드를 판단하는 프레임인 모드 결정 프레임의 예측 와이너 지브 프레임 율 왜곡과 키 프레임 율 왜곡을 구하는 단계와 예측 와이너 지브 프레임 율 왜곡과 키 프레임 율 왜곡을 비교하여 모드 결정 프레임을 와이너 지브 프레임 또는 키 프레임 중 적어도 하나의 프레임 모드로 부호화하는 단계를 포함할 수 있다. 따라서, GOP(Group of Picture)를 변화시켜 분산 비디오 부호화를 수행시 높은 부호화 효율을 가질 수 있다.

Description

픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치{METHODS OF DISTRIBUTED VIDEO CODING MODIFYING GROUP OF PICTURES AND APPARATUSES PERFORMING THE SAME}
본 발명은 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치에 관한 것으로 더욱 상세하게는 비디오 부호화 및 복호화 방법 및 이러한 방법을 수행하는 장치에 관한 것이다.
동영상 압축을 위한 표준화 기구인 ISO/IEC의 MPEG과 ITU-T의 VCEG의 연구에 의해서 H.261, H.263, MPEG-1, MPEG-2, MPEG-4, 그리고 H.264와 같은 많은 표준안이 개발되고 이용되고 있다. 이 표준안들은 소수의 생성자가 컨텐츠를 제작 및 유포하고, 유포된 컨텐츠를 다수의 소비자가 소비하는 것을 대상으로 개발되어, 부호기의 복잡도가 복호기의 복잡도 보다 15배 정도가 높게 구성되어 있다. 하지만, 이동식 비디오 장치의 기술이 발전함에 따라, 현재 개인의 컨텐츠 제작이 자유롭게 이루어지면서, 접근이 용의하고 편리한 이동전화 및 노트북 PC를 이용하여 컨텐츠가 제작되고 있는 추세이다.
따라서 제한된 연산 처리 능력 및 배터리 성능을 가지는 환경에서의 개인방송을 위해 낮은 복잡도 및 낮은 전원소비가 가능한 분산비디오 부호기/복호기 방법이 제안되고 개발되었다. 분산비디오 방법은 키 프레임과 WZ 프레임을 구분하여 부호화를 수행하는데, 키 프레임은 기존비디오 화면 내 예측 부호화/복호화 방법으로 부호화되고 복원된다. 와이너 지브 프레임은 채널 부호기를 통하여 부호화 되며, 키 프레임을 이용하여 생성된 보조정보를 채널 복호화 함으로써 복원된다. 분산 비디오 코더의 성능은 보조 정보의 성능에 높은 영향을 받으며, 보조 정보의 성능은 프레임마다 다르기 때문에 분산 비디오 부호화기에서 예측하는 것이 쉽지 않다. 일반적으로 안정적인 성능을 위하여, 분산 비디오 코더의 픽쳐 그룹(Group of Pictures, GOP) 구조는 최소의 단위 즉, 픽쳐 그룹 크기를 2로 설정하여 수행한다.
픽쳐 그룹 구조에서 키 프레임으로 부호화되는 프레임이 와이너 지브 프레임으로 부호화되는 프레임보다 높은 비율을 차지하는 경우 영상 정보를 전송하기 위해 필요한 비트량이 많아지고 분산 비디오 부호화 장치의 복잡도가 높아진다. 반대로 와이너 지브 프레임을 많이 포함하도록 픽쳐 그룹(Group of Pictures, GOP)의 구조를 확장시키게 되면, 와이너 지브 프레임에 오류가 발생할 경우 피드백되는 패러티 비트가 많아짐으로써 지연이 많이 발생하게 되고 분산 비디오 부호화 장치의 성능이 낮아질 수 있다.
따라서, 본 발명의 제1 목적은 적응적으로 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화 방법을 제공하는 것이다.
또한, 본 발명의 제2 목적은 적응적으로 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화 방법을 수행하는 장치를 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 분산 비디오 부호화 방법은 부호화 모드를 판단하는 프레임인 모드 결정 프레임의 예측 와이너 지브 프레임 율 왜곡과 예측 키 프레임 율 왜곡을 구하는 단계와 상기 예측 와이너 지브 프레임 율 왜곡과 상기 예측 키 프레임 율 왜곡을 비교하여 상기 모드 결정 프레임을 와이너 지브 프레임 또는 키 프레임 중 적어도 하나의 프레임 모드로 부호화하는 단계를 포함할 수 있다. 상기 분산 비디오 부호화 방법은 상기 모드 결정 프레임을 예측 와이너 지브 프레임 및 예측 키 프레임 중 적어도 하나의 프레임 모드로 생성하는 단계를 더 포함할 수 있다. 상기 예측 와이너 지브 프레임은 분산 비디오 복호화 장치에서 제공된 와이너 지브 프레임 예측 정보에 기초하여 생성될 수 있다. 상기 예측 와이너 지브 프레임 율 왜곡과 상기 예측 키 프레임 율 왜곡을 비교하여 상기 모드 결정 프레임을 와이너 지브 프레임 또는 키 프레임 중 적어도 하나의 프레임 모드로 부호화하는 단계는 상기 모드 결정 프레임을 상기 예측 와이너 지브 프레임과 상기 예측 키 프레임 중 율 왜곡이 작은 프레임 모드로 결정할 수 있다. 상기 모드 결정 프레임은 소정의 픽쳐 그룹 구조에서 프레임의 출력 순서상 첫 번째 프레임인 제1 키 프레임과 마지막 프레임인 제2 키 프레임의 중간 위치 또는 중간에서 하나를 더하거나 뺀 위치에 존재할 수 있다. 상기 분산 비디오 부호화 방법은 상기 모드 결정 프레임이 키 프레임으로 부호화된 경우, 상기 모드 결정 프레임과 상기 제1 키 프레임을 기초로 상기 모드 결정 프레임과 상기 제1 키 프레임의 중간 위치 또는 중간 위치에 하나를 더하거나 뺀 위치에 존재하는 프레임과 상기 모드 결정 프레임과 상기 제2 키 프레임을 기초로 상기 모드 결정 프레임과 상기 제2 키 프레임의 중간 위치 또는 중간 위치에 하나를 더하거나 뺀 위치에 존재하는 프레임을 모드 결정 프레임으로 재설정하는 단계를 더 포함할 수 있다. 상기 예측 키 프레임 율 왜곡은 이미 생성된 예측 키 프레임 율 왜곡 값을 기초로 선형적으로 예측할 수 있다.
또한 상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 분산 비디오 부호화 방법은 부호화 모드를 판단하는 모드 결정 프레임의 예측 와이너 지브 프레임 율 왜곡, 예측 키 프레임 율 왜곡 및 스킵 모드 프레임 율 왜곡을 구하는 단계와 상기 예측 와이너 지브 프레임 율 왜곡, 상기 예측 키 프레임의 율 왜곡 및 스킵 모드 프레임 율 왜곡을 비교하여 상기 모드 결정 프레임을 와이너 지브 프레임, 키 프레임 및 스킵 모드 프레임 중 적어도 하나의 프레임 모드로 부호화하는 단계를 포함할 수 있다. 상기 분산 비디오 부호화 방법은 상기 소정의 프레임을 예측 와이너 지브 프레임, 예측 키 프레임 및 스킵 모드 프레임 중 적어도 하나의 프레임 모드로 생성하는 단계를 더 포함할 수 있다. 상기 예측 와이너 지브 프레임 율 왜곡, 상기 예측 키 프레임의 율 왜곡 및 스킵 모드 프레임 율 왜곡을 비교하여 상기 모드 결정 프레임을 와이너 지브 프레임, 키 프레임 및 스킵 모드 프레임 중 적어도 하나의 프레임 모드로 부호화하는 단계는 상기 모드 결정 프레임을 상기 예측 와이너 지브 프레임, 상기 예측 키 프레임 및 상기 스킵 모드 프레임 중 율 왜곡이 작은 프레임 모드로 결정하는 단계일 수 있다. 상기 모드 결정 프레임은 소정의 픽쳐 그룹 구조에서 프레임의 출력 순서상 첫 번째 프레임인 제1 키 프레임과 마지막 프레임인 제2 키 프레임의 중간 위치 또는 중간에서 하나를 더하거나 뺀 위치에 존재하는 프레임일 수 있다. 상기 분산 비디오 부호화 방법은 상기 모드 결정 프레임이 키 프레임으로 부호화된 경우, 상기 모드 결정 프레임과 상기 제1 키 프레임을 기초로 상기 모드 결정 프레임과 상기 제1 키 프레임의 중간 위치 또는 중간 위치에 하나를 더하거나 뺀 위치에 존재하는 프레임과 상기 모드 결정 프레임과 상기 제2 키 프레임을 기초로 상기 모드 결정 프레임과 상기 제2 키 프레임의 중간 위치 또는 중간 위치에 하나를 더하거나 뺀 위치에 존재하는 프레임을 모드 결정 프레임으로 재설정하는 단계를 더 포함할 수 있다. 상기 예측 키 프레임 율 왜곡은 이미 생성된 예측 키 프레임의 율 왜곡 값을 기초로 선형적으로 예측할 수 있다.
또한 상술한 본 발명의 제3 목적을 달성하기 위한 본 발명의 일 측면에 따른 분산 비디오 부호화 장치는 부호화 모드를 판단하는 프레임인 모드 결정 프레임의 분산 비디오 모드를 결정하여 분산 비디오 부호화가 수행되는 픽쳐 그룹의 구조를 결정하는 픽쳐 그룹 구조 결정부와 상기 픽쳐 그룹 구조 결정부에서 결정된 픽쳐 그룹 구조를 기초로 분산 비디오 부호화를 수행하는 분산 비디오 부호화부를 포함할 수 있다. 상기 픽쳐 그룹 구조 결정부는 상기 모드 결정 프레임의 예측 와이너 지브 프레임을 생성하는 제1 와이너 지브 프레임 생성부, 상기 제1 와이너 지브 프레임 생성부에서 생성된 상기 예측 와이너 지브 프레임 율 왜곡과 상기 분산 비디오 부호화부에서 생성된 상기 소정의 프레임의 예측 키 프레임의 율 왜곡을 비교하는 율 왜곡 측정부와 상기 예측 와이너 지브 프레임 율 왜곡과 상기 예측 키 프레임의 율 왜곡을 비교하여 상기 소정의 프레임의 부호화 모드를 결정하는 모드 결정부를 더 포함할 수 있다. 상기 픽쳐 그룹 구조 결정부는 상기 모드 결정 프레임이 키 프레임으로 부호화된 경우, 상기 모드 결정 프레임과 소정의 픽쳐 그룹 구조에서 프레임의 출력 순서상 첫 번째 프레임인 제1 키 프레임을 기초로 상기 모드 결정 프레임과 상기 제1 키 프레임의 중간 위치 또는 중간 위치에 하나를 더하거나 뺀 위치에 존재하는 프레임과 상기 모드 결정 프레임과 소정의 픽쳐 그룹 구조에서 프레임의 출력 순서상 마지막 프레임인 제2 키 프레임을 기초로 상기 모드 결정 프레임과 상기 제2 키 프레임의 중간 위치 또는 중간 위치에 하나를 더하거나 뺀 위치에 존재하는 프레임을 모드 결정 프레임으로 재설정할 수 있다. 상기 픽쳐 그룹 구조 결정부는 상기 모드 결정 프레임의 예측 와이너 지브 프레임을 생성하는 제1 와이너 지브 프레임 생성부, 상기 모드 결정 프레임의 스킵 모드 프레임을 생성하는 스킵 모드 프레임 생성부, 상기 예측 와이너 지브 프레임, 상기 스킵 모드 프레임 및 상기 분산 비디오 부호화부에서 생성된 상기 모드 결정 프레임의 예측 키 프레임의 율 왜곡을 비교하는 율 왜곡 측정부와 상기 율 왜곡 측정부로부터 측정된 상기 예측 와이너 지브 프레임, 상기 예측 키 프레임 및 스킵 모드 프레임의 율 왜곡을 비교하여 상기 소정의 프레임의 부호화 모드를 결정하는 모드 결정부를 더 포함할 수 있다.
또한 상술한 본 발명의 제4 목적을 달성하기 위한 본 발명의 일 측면에 따른 분산 비디오 복호화 장치는 키 프레임 예측 정보를 제공받고 키 프레임을 복원하는 키 프레임 복호화부와 상기 키 프레임 복호화부에서 복원된 키 프레임을 기초로 소정의 화면 예측 방법을 통해 생성된 와이너 지브 예측 정보를 기초로 와이너 지브 프레임을 생성하는 제2 와이너 지브 프레임 생성부를 포함하고, 상기 제2 와이너 지브 프레임 생성부는 와이너 지브 프레임 예측 정보를 분산 비디오 부호화기로 제공할 수 있다. 상기 분산 비디오 복호화 장치는 상기 분산 비디오 부호화부로부터 부호화 모드를 판단하는 프레임인 모드 결정 프레임의 부호화 정보를 제공받고 상기 모드 결정 프레임이 와이너 지브 프레임으로 결정되는 경우 변환 및 양자화를 수행하는 선처리부를 더 포함할 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치에 따르면, 영상 시퀀스의 성질에 따라 적응적으로 키 프레임과 와이너 지브 프레임으로 구성되는 GOP(Group of Picture)를 변화시켜 분산 비디오 부호화를 수행시 높은 부호화 효율을 가질 수 있다.
도 1은 본 발명의 일실시예에 따른 분산 비디오 부호화 장치 및 복호화 장치를 나타낸 개념도이다.
도 2는 본 발명의 일실시예에 따른 GOP 구조를 형성하는 방법을 나타내는 개념도이다.
도 3은 본 발명의 다른 실시예에 따른 분산 비디오 부호화 장치 및 분산 비디오 복호화 장치를 나타낸다.
도 4는 본 발명의 또 다른 실시예에 따른 프레임의 부호화 모드를 결정하는 방법을 나타낸 순서도이다.
도 5는 본 발명의 또 다른 실시예에 따른 프레임의 부호화 모드를 결정하는 방법을 나타낸 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
이하 본 발명의 실시예에서는 키 프레임을 생성하기 위해 소정의 화면 예측 방법을 통해 예측된 상태의 키 프레임을 예측 키 프레임이라고 정의한다. 즉, 예측 키 프레임에 키 프레임과 예측 키 프레임 사이의 차이값인 잔차값을 더하면 키 프레임을 생성할 수 있다. 분산 비디오 복호화기에서는 분산 비디오 부호화기에서 전달된 키 프레임 예측 정보를 기초로 예측 키 프레임을 생성하고 생성된 예측 키 프레임에 잔차값을 더해서 키 프레임을 생성할 수 있다. 또한, 복호화기에서 와이너 지브 프레임을 생성하기 위해 소정의 화면 예측 방법을 통해 예측된 상태의 와이너 지브 프레임을 보조 정보 프레임이라고 정의한다. 부호화기에서 전달된 패리티 정보를 기초로 보조 정보 프레임을 와이너 지브 프레임으로 생성할 수 있다.
또한, 부호화기에서 소정의 예측 정보를 기초로 예측된 와이너 지브 프레임을 예측 보조 정보 프레임이라고 정의하고, 부호화기에서 예측 보조 정보 프레임을 기초로 생성된 와이너 지브 프레임을 예측 와이너 지브 프레임이라고 한다.
또한, 본 발명의 실시예에서는 설명의 편의상 예측 키 프레임은 화면 내 예측 방법을 사용하고 보조 정보 프레임 및 예측 보조 정보 프레임은 화면 간 예측 방법을 사용하는 것으로 가정하지만, 예측 키 프레임도 화면 간 예측을 사용할 수 있고, 보조 정보 프레임 및 예측 보조 정보 프레임도 화면 내 예측을 사용할 수 있다. 예를 들어, 예측 키 프레임을 생성함에 있어서, 소정의 예측 키 프레임을 이용해 화면 간 예측을 사용하여 예측을 수행할 수 있고 보조 정보 프레임 및 예측 보조 정보 프레임도 화면 간 예측이 불가능할 경우, 화면 내 예측을 통해 보조 정보 프레임 및 예측 보조 정보 프레임을 생성할 수 있다. 본 발명의 실시예에서는 픽쳐와 프레임을 동일한 의미로 사용한다.
도 1은 본 발명의 일실시예에 따른 분산 비디오 부호화 장치 및 복호화 장치를 나타낸 개념도이다.
도 1을 참조하면, 분산 비디오 부호화 장치는 픽쳐 그룹(Group of Pictures, GOP) 구조 결정부(110), 분산 비디오 부호화부(130)를 포함할 수 있다.
이하의 본 발명의 실시예에서는 설명의 편의상 픽쳐 그룹 구조 결정부(110)와 분산 비디오 부호화부(130)를 분리된 구성으로 서술하지만, 픽쳐 그룹 구조 결정부(110)와 분산 비디오 부호화부(130)는 하나의 구성으로 구현될 수 있다.
픽쳐 그룹 구조 결정부(110)에서는 부호화 모드를 판단하는 프레임인 모드 결정 프레임의 분산 비디오 모드를 결정하여 분산 비디오 부호화가 수행되는 픽쳐 그룹의 구조를 결정할 수 있고, 분산 비디오 부호화부(130)에서는 픽쳐 그룹 구조 결정부에서 결정된 픽쳐 그룹 구조를 기초로 분산 비디오 부호화를 수행할 수 있다.
픽쳐 그룹 구조 결정부(110)는 예측 보조 정보 프레임 생성부(113), 예측 와이너 지브 프레임 생성부(116), 율 왜곡 측정부(120), 모드 결정부(125)를 포함할 수 있고, 분산 비디오 부호화부(130)는 키 프레임 부호화부(135), 선처리부(140), 채널 부호화부(145)를 포함할 수 있다.
픽쳐 그룹 구조 결정부(110)는 하나의 픽쳐 그룹 단위에서 부호화되는 키 프레임과 와이너 지브 프레임의 구조를 결정할 수 있다. 픽쳐 그룹 단위의 기본적인 구조는 2개의 키 프레임과 2개의 키 프레임 사이에 포함되어 있는 와이너 지브 프레임으로 구성될 수 있다.
픽쳐 그룹에서 키 프레임으로 부호화되는 프레임이 많아질수록 키 프레임을 생성하기 위한 화면 예측이 많이 사용되고 분산비디오 부호화 장치의 복잡도가 커지게 될뿐만 아니라 와이너 지브 프레임이 픽쳐 그룹 내에 많이 포함될 때보다 상대적으로 더 많은 비트량이 필요할 수 있다.
반대로 키 프레임으로 부호화 되는 프레임의 비율을 낮추고 와이너 지브 프레임으로 부호화되는 프레임의 비율이 높아지는 경우, 부호화부에서 수행되는 화면 예측이 감소하여 부호화 장치의 복잡도는 감소하지만, 복호화기에서 생성한 와이너 지브 프레임에 에러가 많이 존재하는 경우, 피드백을 위한 채널 용량이 커야하는 단점이 있다.
따라서, 영상 시퀀스의 특성에 따라 분산 비디오 부호화기의 성능을 개선하기 위하여, 픽쳐 그룹 구조 결정부(110)에서는 적응적으로 픽쳐 그룹 구조를 결정할 수 있다. 픽쳐 그룹 구조 결정부(110)에서 소정의 프레임에 대하여 예측 보조 정보 프레임을 기초로 생성된 예측 와이너 지브 프레임을 생성하고 이를 키 프레임의 율 왜곡과 비교하여 율 왜곡에 따라 소정의 프레임을 와이너 지브 프레임으로 부호화할지 키 프레임으로 부호화할지를 선택하여 픽쳐 그룹 구조를 적응적으로 변화시킬 수 있다. 픽쳐 그룹 구조에 와이너 지브 프레임 및 키 프레임 뿐만 아니라 스킵 모드 예측을 사용하는 스킵 모드 프레임을 추가하는 방법을 사용하여 픽쳐 그룹 구조를 변화시킬 수도 있다.
도 2는 본 발명의 일실시예에 따른 픽쳐 그룹(Group of Pictures, GOP) 구조를 형성하는 방법을 나타내는 개념도이다.
도 2를 참조하면, 초기 픽쳐 그룹 구조는 제1 프레임부터 제K 프레임까지 K개의 프레임을 가지는 픽쳐 그룹 구조일 수 있다. 이하 본 발명의 실시예에 따른 픽쳐 그룹 구조에서는 설명의 편의상 소정의 픽쳐 그룹 구조에서 출력 순서상 첫 번째 키 프레임을 지시하는 용어를 제1 키 프레임, 마지막 키 프레임을 지시하는 용어를 제2 키 프레임이라고 정의한다.
K개의 프레임을 가지는 픽쳐 그룹 구조에서 첫 번째 프레임인 제1 키 프레임(200)과 마지막 프레임인 제2 키 프레임(250)은 키 프레임 모드로 부호화될 수 있다. 픽쳐 그룹 구조 결정부(110)에서는 제1 키 프레임(200)과 제2 키 프레임(250)의 중간에 위치한 프레임인 모드 결정 프레임(230)을 와이너 지브 프레임으로 부호화할지 키 프레임으로 부호화할지 여부를 결정할 수 있다. 이하, 본 발명의 실시예에서는 소정의 픽쳐 그룹 구조에서 첫 번째 키 프레임인 제1 키 프레임(200)과 마지막 키 프레임인 제2 키 프레임(250) 사이에 중간에 존재하는 프레임을 모드 결정 프레임(230)이라는 용어로 사용한다.
K가 짝수인 경우, K를 2로 나눈 값 또는 K를 2로 나눈 값에 1을 더한 값을 프레임 출력 순서로 가지는 프레임이 모드 결정 프레임이 될 수 있고, K가 홀수인 경우, K값에 하나를 더한 값을 반으로 나눈 값을 프레임 출력 순서로 가지는 프레임이 모드 결정 프레임이 될 수 있다. 즉, 적응적으로 픽쳐 그룹 구조를 변경하는 본 발명의 본질에 벋어나지 않는 한, 모드 결정 프레임의 위치는 변할 수 있다.
모드 결정 프레임(230)을 와이너 지브 프레임으로 부호화할지 키 프레임으로 부호화할지 여부를 결정하기 위해 제1 키 프레임(200)과 제2 키 프레임(250)을 기초로 화면 간 예측 방법과 같은 화면 예측 방법을 사용하여 모드 결정 프레임(230)을 예측 와이너 지브 프레임으로 생성할 수 있다. 예측 와이너 지브 프레임으로 생성된 모드 결정 프레임(230)은 모드 결정 프레임(230)이 키 프레임일 경우와 모드 결정 프레임(230)이 예측 와이너 지브 프레일 경우와의 율 왜곡을 비교하여 모드 결정 프레임(230)이 키 프레임으로 부호화될지 아니면 와이너 지브 프레임으로 부호화될지를 결정할 수 있다. 모드 결정 프레임(230)을 예측 와이너 지브 프레임으로 생성하기 위해 분산 비디오 복호화기에서 보조 정보 프레임을 생성하기 위해 사용된 소정의 예측 정보(이하, 예측 보조 정보 프레임 생성 정보라고 함.)를 사용할 수 있다. 모드 결정 프레임(230)을 예측 와이너 지브 프레임으로 생성하기 위해 분산 비디오 복호화기에서 전송된 예측 보조 정보 프레임 생성 정보를 사용하지 않고 분산 비디오 부호화기 자체에서 화면 예측 방법을 통해 예측 보조 정보 프레임을 생성하는 것도 가능하다.
본 발명의 실시예에 따른 분산 비디오 부호화 방법에 따르면 예측 와이너 지브 프레임으로 생성된 모드 결정 프레임(230)의 율 왜곡과 모드 결정 프레임(230)이 키 프레임일 경우의 율 왜곡을 율 왜곡 측정부(120)를 통해 측정하고 율 왜곡 측정부(120)를 통해 측정된 율 왜곡을 기초로 모드 결정부(125)에서는 모드 결정 프레임(230)을 와이너 지브 프레임으로 부호화할지 아니면 키 프레임으로 부호화할지 여부를 결정할 수 있다. 예를 들어, 상대적으로 더 작은 율 왜곡을 가진 프레임으로 모드 결정 프레임(230)의 부호화 방법을 선택할 수 있다.
직접적으로 모드 결정 프레임(230)을 예측 와이너 지브 프레임 또는 키 프레임으로 생성하지 않고도 소정의 추정 방법을 통해 모드 결정 프레임(230)의 부호화 방법을 결정할 수 있다.
모드 결정부(120)를 통해서 모드 결정 프레임(230)이 와이너 지브 프레임으로 부호화되는 것으로 결정된 경우, 픽쳐 그룹 구조는 첫 번째 프레임인 제1 키 프레임과 K번째 프레임인 제2 키 프레임이 키 프레임으로 부호화되고 나머지 제1 키 프레임과 제2 키 프레임 사이에 있는 프레임들은 와이너 지브 프레임으로 부호화되는 K개의 프레임을 가진 픽쳐 그룹 구조로 결정될 수 있다. 모드 결정 프레임(230)이 와이너 지브 프레임이 아닌 키 프레임으로 부호화되는 것으로 결정되었다면, 제1 키 프레임 및 모드 결정 프레임과 그 사이에 속한 프레임들을 다시 하나의 픽쳐 그룹 단위로 하고, 모드 결정 프레임 및 제2 키 프레임과 그 사이에 속한 프레임들을 다시 하나의 픽쳐 그룹 단위로 하여 픽쳐 그룹 구조를 변경할 수 있다.
즉, 제2 프레임이 키 프레임으로 부호화 하는 것으로 결정된다면 GOP 구조를 변화시켜 첫 번째 프레임을 다시 제1 키 프레임으로 두고 모드 결정 프레임을 제2 키 프레임으로 두고 제1 키 프레임과 제2 키 프레임의 중간 프레임인 새로운 모드 결정 프레임을 와이너 지브 프레임으로 할지 아니면 키 프레임으로 할지 여부를 결정하는 절차를 전술한 바와 동일하게 수행할 수 있고, 마찬가지로 모드 결정 프레임을 다시 제1 프레임으로 두고 제2 키 프레임을 제2 키 프레임으로 두고 제1 키 프레임과 제2 키 프레임의 중간 프레임인 새로운 모드 결정 프레임을 와이너 지브 프레임으로 부호화할지 아니면 키 프레임으로 부호화할지 여부를 결정하는 전술한 절차를 동일하게 수행할 수 있다. 이러한 재귀적인 방식을 사용하여 분산 비디오 부호화를 수행할 영상 시퀀스에 대해 서로 다르게 적응적으로 픽쳐 그룹 구조를 형성할 수 있다.
본 발명의 또 다른 실시예에 따르면, 픽쳐 그룹 구조 결정부(110)에서는 율 왜곡을 측정시 스킵 모드 프레임의 율 왜곡을 측정하는 것을 추가하여 현재 프레임을 와이너 지브 프레임, 키 프레임 및 스킵 모드 프레임 중 적어도 하나의 프레임으로 선택할 수 있다.
스킵 모드 프레임은 소정의 화면 예측을 수행하여 예측 프레임은 생성하되 원본 영상과 동일하게 복원하기 위한 패리티 비트 정보 또는 잔차값 정보를 생성하지 않는 프레임이거나 따로 예측을 수행하지 않고 이전에 복호화된 또는 이전에 출력된 프레임과 동일한 화소값을 사용하여 출력하는 프레임이 될 수 있다. 스킵 모드 프레임을 사용할 경우, 픽쳐 그룹 구조를 형성시 현재 프레임이 키 프레임이 아닌 스킵 모드 프레임 또는 와이너 지브 프레임으로 결정되면, 픽쳐 그룹 구조를 변화시키지 않고, 1번째 프레임과 K번째 프레임이 키 프레임으로 부호화되고 나머지 1번째 프레임과 K번째 프레임 사이에 있는 프레임들의 율 왜곡을 비교하여 와이너 지브 프레임 또는 스킵 모드 프레임 중 하나로 부호화되도록 하는 K개의 프레임을 가진 GOP 구조로 결정될 수 있다. 또한, GOP 구조를 형성시 제1 프레임과 제K 프레임이 키 프레임으로 부호화되고 제1 프레임과 제K 프레임 사이에 존재하는 모드 결정 프레임이 와이너 지브 프레임 또는 스킵 모드 프레임이 아닌 키 프레임으로 부호화되도록 결정되면, 모드 결정 프레임을 제1 키 프레임 또는 제2 키 프레임으로 사용하는 새로운 픽쳐 그룹 구조를 기초로 새로운 픽쳐 그룹 구조에서 다시 중간에 위치한 모드 결정 프레임을 키 프레임, 와이너 지브 프레임, 스킵 모드 프레임 중 어떠한 프레임으로 부호화할지 결정할 수 있다.
다시 도 1을 참조하면, 픽쳐 그룹 구조 결정부(110)는 픽쳐 그룹 구조 결정 방법을 수행하기 위해 예측 보조 정보 프레임 생성부(113), 예측 와이너 지브 프레임 생성부(116), 율 왜곡 측정부(120), 모드 결정부(125)를 포함할 수 있다.
예측 보조 정보 프레임 생성부(115)는 분산 비디오 복호화 장치(150)로부터 전송된 예측 보조 정보 프레임 생성 정보를 기초로 예측 보조 정보 프레임을 생성할 수 있다. 분산 비디오 복호화 장치(150)의 보조 정보 프레임 생성부(160)에서는 키 프레임을 기초로 화면 간 예측과 같은 화면 예측 방법을 수행하여 보조 정보 프레임을 생성할 수 있다. 분산 비디오 복호화 장치(150)에서 보조 정보 프레임을 생성하기 위해 사용된 소정의 예측 정보는 분산 비디오 부호화 장치(100)의 예측 보조 정보 프레임 생성부(113)로 전송될 수 있고, 예측 보조 정보 프레임 생성부(113)에서는 분산 비디오 복호화 장치에서 보조 정보 프레임을 생성한 것과 동일한 방법으로 예측 보조 정보 프레임을 생성할 수 있다. 즉, 본 발명의 실시예에 따른 분산 비디오 부/복호화 방법에서는 보조 정보 프레임과 예측 보조 정보 프레임이 동일하게 생성될 수 있다. 예측 보조 정보 프레임 생성부(113)에서는 키 프레임을 기초로 소정의 화면 예측 방법을 통해 예측 보조 정보 프레임을 생성할 수도 있다. 즉, 분산 비디오 복호화 장치(150)의 보조 정보 프레임 생성부(160)에서 전송된 예측 보조 정보 프레임 생성 정보가 없이도 예측 보조 정보 프레임을 생성할 수 있다.
율 왜곡 측정부(120)는 모드 변경 프레임에 대해 생성된 예측 와이너 지브 프레임의 율 왜곡과 키 프레임의 율 왜곡을 측정할 수 있다.
본 발명의 실시예에 따른 분산 비디오 부호화 장치에서는 예측 와이너 지브 프레임과 키 프레임의 율 왜곡을 비교하기 위해 다양한 방법을 사용할 수 있다. 분산 비디오 부호화 장치에서는 와이너 지브 프레임이 분산 비디오 부호화기에서 양자화를 수행시 0이 되지 않는 영역에 한하여, 모든 오류를 수정할 수 있도록, 패리티 비트를 전송할 수 있다. 양자화를 수행시 0이 되지 않는 영역은 만약 선처리 장치(140)에서 DCT(Discrete Cosine Transform)를 수행할 경우, 변환한 DCT 계수가 0이 되지 않는 영역을 의미할 수 있고, DCT 변환을 수행하지 않는 경우, 픽셀값이 0이 되지 않는 영역을 의미할 수 있다. 따라서, 분산 비디오 복호화기(150)에서 프레임을 복원할 경우, 채널 부호화기(145)로부터 전달되는 패리티 비트를 기초로 복원될 수 있는 프레임은 양자화를 통해 0이 되지 않는 영역에 한하여 원본 영상과 동일하다. 따라서, 양자화 후 0이 되는 영역의 오류를 측정하여 와이너 지브 프레임의 왜곡 값을 예측할 수 있다. 분산 비디오 부호화 장치에서는 보조 정보 프레임이 양자화를 수행하여 0이 되는 영역에 대해서는 예측 보조 정보 프레임으로 복원하고 양자화를 수행 후 0이 아닌 영역에 대해서는 원본 프레임과 동일하게 복원하는 방법을 통해서 분산 비디오 복호화기와 동일한 와이너 지브 프레임을 생성하고 이를 기초로 율 왜곡을 비교할 수 있다.
키 프레임의 경우, 분산 비디오 부호화 장치의 허용 가능한 복잡도 내에서, 화면 내 예측을 수행하여 예측 키 프레임을 생성할 수 있다. 만약, 분산 비디오 부호화 장치에서 허용되는 복잡도에 따라, 소정의 프레임에 대한 예측 키 프레임을 직접적으로 생성할 수도 있지만, 저 복잡도의 부호화를 하는 경우 키 프레임의 율 왜곡 값을 측정하기 위해 직접적으로 키 프레임을 생성하지 않고 현재 프레임과 시간상의 거리가 가장 가까운 주변의 두 키 프레임을 이용하여 현재 프레임을 키 프레임화 할 경우의 율 왜곡을 추정할 수 있다. 예를 들어, 일반적으로 프레임 간의 비트율과 왜곡은 짧은 구간에서 선형적으로 변화한다고 가정할 수 있으므로 현재 프레임을 키 프레임화 할 경우의 율 왜곡은 비트율과 왜곡값을 주변의 두 키 프레임의 거리에 비례한 가중치 합으로 구할 수 있다.
모드 결정부(125)는 율 왜곡 측정부(120)에서 측정된 율 왜곡을 기초로 모드 결정 프레임을 와이너 지브 프레임으로 부호화할지 아니면 키 프레임으로 부호화할지 여부를 결정할 수 있다.
분산 비디오 부호화부(130)는 픽쳐 그룹 구조 결정부(110)에 의해 결정된 픽쳐 그룹 구조를 기초로 소정의 프레임을 키 프레임과 와이너 지브 프레임을 부호화할 수 있다.
키 프레임 부호화부(135)는 픽쳐 그룹 구조에서 키 프레임으로 부호화하기로 결정한 프레임에 대하여 키 프레임 부호화를 수행할 수 있다. 키 프레임 부호화는 기존의 H.264/AVC 또는 HEVC와 같은 비디오 부호화 방법에서 사용되는 화면 내 예측 방법과 같은 예측을 수행하는 모드 또는 PCM 모드 예측을 수행하지 않는 모드와 같은 예측 방법을 사용하여 부호화를 할 수 있다.
선 처리부(140)는 와이너 지브 프레임을 변환하고 양자화할 수 있다. 와이너 지브 프레임의 변환 방법으로는 예를 들어, DCT(Discrete Cosine Transform) 또는 DST(Discrete Sine Transform)와 같은 변환 방법이 사용될 수 있고 변환 후 소정의 양자화 파라미터를 기초로 양자화될 수 있다.
채널 부호화부(145)에서는 패러티 비트를 생성하기위해 LDPC(Low Density Parity Check) 코딩 또는 터보 코딩(Turbo Coding)과 같은 부호화가 수행되어 와이너 지브 프레임에 대한 패리티 비트를 생성하고 생성된 패리티 비트를 분산 비디오 복호화 장치(150)에 전송할 수 있다.
분산 비디오 복호화 장치(150)는 키 프레임 복호화부(155), 보조 정보 프레임 생성부(160), 선 처리부(165), 채널 코드 복호화부(170), 영상 복원부(175)가 포함될 수 있다.
키 프레임 복호화부(155)에서는 키 프레임 부호화부(135)에서 부호화된 키 프레임 정보를 기초로 키 프레임을 복호화할 수 있다. 예를 들어, 예측 키 프레임 생성에 사용된 키 프레임 예측 정보(예를 들어, 화면 내 예측 모드 정보)와 예측 키 프레임과 키 프레임 사이의 차이값 정보인 잔차값을 분산 비디오 부호화부(130)로부터 전송받고 이를 기초로 키 프레임을 복원하고 복원된 키 프레임을 출력할 수 있다.
보조 정보 프레임 생성부(160)는 키 프레임 복호화부에서 생성된 키 프레임값을 기초로 보조 정보 프레임을 생성할 수 있다. 예를 들어, 적어도 하나의 키 프레임을 이용한 화면 간 예측을 수행하여 보조 정보 프레임을 생성할 수 있다. 또한 보조 정보 프레임 생성부(160)에서는 보조 정보 프레임을 생성하는데 사용된 소정의 예측 정보를 분산 비디오 부호화부(130)의 예측 보조 정보 프레임 생성부(113)에 전송함으로써 분산 비디오 부호화 장치에서 분산 비디오 복호화 장치(150)에서와 동일한 와이너 지브 프레임을 생성할 수 있다.
보조 정보 프레임 생성부(160)는 분산 비디오 부호화 장치로부터 현재 프레임이 와이너 지브 프레임으로 부호화하는 것으로 결정되었는지에 대한 정보를 전달받을 수 있다.
선처리부(165)는 보조 정보 프레임 생성부(160)에서 생성된 보조 정보 프레임을 기초로 변환 및 양자화를 수행할 수 있다. 선처리부(165)는 보조 정보 프레임 생성부(160)에서 전달된 소정의 정보를 기초로 픽쳐 그룹 구조에서 와이너 지브 프레임으로 결정된 프레임만을 대상으로 선처리를 수행할 수 있다.
채널 복호화부(170)에서는 채널 부호화부(145)에서 전송된 패리티 비트를 기초로 보조 정보 프레임에서 에러가 발생되어 있는지 여부를 판단하고 채널 부호화부(145)에 에러를 보정하기 위한 패리티 비트를 요청할 수 있다. 패러티 비트를 기초로 보조 정보 프레임의 오류를 보정하여 와이너 지브 프레임을 생성할 수 있다.
영상 복원부(175)는 와이너 지브 프레임에 대하여 역변환 및 역양자화를 수행하여 복원해 출력할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 분산 비디오 부호화 장치 및 분산 비디오 복호화 장치를 나타낸다.
분산 비디오 부호화 장치는 픽쳐 그룹 구조 결정부(310)와 분산 비디오 부호화부(330)를 포함할 수 있다.
도 3을 참조하면, 픽쳐 그룹 구조 결정부(310)는 도 1에서 전술한 픽쳐 그룹 구조 결정부(310)에서 스킵 모드 프레임을 생성하는 스킵 모드 프레임 생성부(317)를 더 포함할 수 있다. 스킵 모드 프레임은 소정의 화면 예측을 수행하여 예측 키 프레임 또는 보조 정보 프레임은 생성하되 원본 영상과 동일하게 복원하기 위한 패리티 비트 정보 또는 잔차값 정보를 생성하지 않고 예측된 프레임을 바로 출력하는 프레임이거나 따로 예측을 수행하지 않고 이전에 복호화된 또는 이전에 출력된 프레임과 동일한 화소값을 사용하여 출력하는 프레임이 될 수 있다. 이하, 본 발명의 실시예에서는 설명의 편의상 이러한 스킵 모드 프레임 생성 방법을 스킵 예측 방법이라고 한다.
픽쳐 그룹 구조 결정부(310)에서는 도 1에서 전술한 절차와 유사하게 현재 프레임을 스킵 모드 프레임으로 부호화할지 결정하기 위해 첫 번째 프레임부터 K번째 프레임까지 K개의 프레임을 가지는 픽쳐 그룹 구조에서 첫 번째 프레임인 제1 키 프레임과 마지막 프레임인 제2 키 프레임은 키 프레임 모드로 부호화될 수 있다. 픽쳐 그룹 구조 결정부(310)에서는 제1 키 프레임과 제2 키 프레임의 중간 프레임인 모드 결정 프레임을 와이너 지브 프레임으로 부호화할지 키 프레임으로 부호화할지 아니면 스킵 모드 프레임으로 부호화할지 여부를 결정할 수 있다. 모드 결정 프레임을 와이너 지브 프레임으로 부호화할지 키 프레임으로 부호화할지 아니면 스킵 모드 프레임으로 부호화할지 여부를 결정하기 위해 제1 키 프레임과 제2 키 프레임을 기초로 모드 결정 프레임을 예측 와이너 지브 프레임 및 스킵 예측 방법을 사용하는 스킵 모드 프레임으로 생성할 수 있다.
율 왜곡 측정부(320)에서는 생성된 예측 와이너 지브 프레임, 키 프레임, 스킵 모드 프레임을 기초로 각 프레임들의 율 왜곡을 측정한다.
모드 결정부(325)는 현재 프레임을 와이너 지브 프레임, 키 프레임, 스킵 모드 프레임 중 어떠한 프레임으로 부호화할지 결정할 수 있다.
분산 비디오 부호화부(330)는 키 프레임 부호화부(335), 선처리부(340), 채널 부호화부(345)를 포함할 수 있다. 각 구성부의 역할은 도 1에서 전술한 바와 동일하나, 프레임이 스킵 모드 프레임으로 결정된 경우 해당 프레임의 잔차값 정보 또는 패러티 비트 정보를 전송하지 않을 수 있다.
분산 비디오 복호화 장치(350)는 도 1에서 전술한 바와 동일하게 키 프레임 복호화부(355), 보조 정보 프레임 생성부(360), 선처리부(365), 채널 코드 복호화부(370), 영상 복원부(375)가 포함될 수 있고 각 구성부의 기능은 도 1에서 전술한바와 동일하다.
다만, 도 1과 달리, 소정의 프레임이 스킵 모드 프레임으로 결정된 경우, 스킵 모드 프레임이 화면 내 예측을 수행한 예측 키 프레임을 그대로 출력하는 프레임이면 분산 비디오 부호화부(330)의 키 프레임 부호화부(335)에서 생성된 예측 키 프레임을 생성하기 위한 키 프레임 예측 정보(예를 들어 화면 내 예측 모드)만을 전송받아서 분산 비디오 복호화 장치(350)에서 키 프레임 예측 정보를 기초로 예측 키 프레임을 생성하여 출력할 수 있다. 또한, 스킵 예측 프레임이 키 프레임을 기초로 한 화면 간 예측을 수행하여 보조 정보 프레임을 생성하되 패러티 정보를 생성하지 않는 방법으로 생성된 프레임인 경우, 보조 정보 프레임 생성부(360)에서 생성된 예측 와이너 지브 프레임을 바로 출력할 수 있다.
또 다른 방법으로 스킵 모드 프레임이 이전에 예측된 소정의 프레임 정보와 동일한 화소값 정보를 그대로 사용하는 프레임인 경우, 소정의 지시 정보(예를 들어, 어떠한 프레임과 동일한 화소값을 사용할 것인지 지시하는 정보)를 기초로 스킵 모드 프레임을 출력할 수 있다.
도 4는 본 발명의 또 다른 실시예에 따른 프레임의 부호화 모드를 결정하는 방법을 나타낸 순서도이다.
도 4를 참조하면, 소정의 프레임을 예측 와이너 지브 프레임 또는 키프레임으로 생성한다(단계 S400).
소정의 픽쳐 그룹 구조에서 특정 프레임(예를 들어, 모드 결정 프레임)을 와이너 지브 프레임으로 부호화할지 아니면 키 프레임으로 부호화할지 여부를 결정하기 위해 소정의 프레임을 예측 와이너 지브 프레임과 키 프레임으로 생성할 수 있다.
예측 와이너 지브 프레임 또는 키 프레임을 생성하지 않고 율-왜곡을 예측하여 구할 수 있는 경우, 단계 S400은 수행되지 않거나, 예측 와이너 지브 프레임 및 키 프레임 중 하나의 프레임만 생성될 수 있다.
예측 와이너 지브 프레임과 키 프레임의 율 왜곡을 구한다.(단계 S410).
생성된 예측 와이너 지브 프레임과 키 프레임의 율 왜곡을 구하기 위해 전술한 바와 같이 직접 율 왜곡을 산출할 수 있고 특정한 율 왜곡 예측 방법을 사용해 직접 키 프레임 또는 와이너 지브 프레임을 생성하지 않고도 율 왜곡을 산출할 수 있다.
산출된 키 프레임의 율 왜곡과 예측 와이너 지브 프레임의 율 왜곡을 비교한다(단계 S420).
율 왜곡이 작은 부호화 모드로 현재 프레임을 부호화한다(단계 S430).
단계 S420 및 단계 S430을 통해 예측 와이너 지브 프레임과 키 프레임의 율 왜곡을 비교하여 상대적으로 율 왜곡이 더 작은 프레임으로 현재 프레임을 결정하여 부호화할 수 있다.
도 2에서 전술한 바와 같이 현재 프레임이 키 프레임으로 부호화하도록 결정되는 경우, 생성된 키 프레임을 기초로 결정된 새로운 픽쳐 그룹 구조에서 다시 한번 도 4의 절차를 수행하여 픽쳐 구조를 결정할 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 프레임의 부호화 모드를 결정하는 방법을 나타낸 순서도이다.
도 5를 참조하면, 소정의 프레임을 예측 와이너 지브 프레임, 키 프레임, 스킵 모드 프레임으로 생성한다(단계 S500).
소정의 픽쳐 그룹 구조에서 특정 프레임을 예측 와이너 지브 프레임, 키 프레임 또는 스킵 모드 프레임 중 어떠한 프레임 모드로 부호화할지 여부를 결정하기 위해 소정의 프레임을 예측 와이너 지브 프레임, 키 프레임 또는 스킵 모드 프레임으로 생성할 수 있다. 예측 와이너 지브 프레임, 키 프레임 및 스킵 모드 프레임 중 적어도 하나를 생성하지 않고 율 왜곡을 예측하여 구할 수 있는 경우, 단계 S500에서 일부의 프레임을 생성하기 위한 동작은 수행되지 않을 수 있다.
생성된 예측 와이너 지브 프레임, 키 프레임 및 스킵 모드 프레임의 율 왜곡을 구한다.(단계 S510).
생성된 예측 와이너 지브 프레임, 키 프레임 및 스킵 모드 프레임의 율 왜곡을 구하기 위해 전술한 바와 같이 직접 프레임을 생성하여 율 왜곡을 산출할 수 있고 특정한 율 왜곡 예측 방법을 통해 직접 키 프레임 또는 예측 와이너 지브 프레임을 생성하지 않고도 율 왜곡을 산출할 수 있다.
산출된 키 프레임의 율 왜곡률, 예측 와이너 지브 프레임의 율 왜곡률 및 스킵 모드 프레임의 율 왜곡률을 비교한다(단계 S520).
율 왜곡이 작은 부호화 모드로 현재 프레임을 부호화한다(단계 S530).
예측 와이너 지브 프레임의 율 왜곡률이 가장 작은 경우, 현재 프레임을 와이너 지브 프레임으로 부호화하고 키 프레임의 율 왜곡이 가장 작은 경우 현재 프레임을 키 프레임으로 부호화하고 스킵 모드 프레임의 율 왜곡이 가장 작은 경우 현재 프레임을 스킵 모드 프레임으로 부호화한다.
단계 S520 내지 단계 S530을 통해 예측 와이너 지브 프레임, 예측 키 프레임 및 스킵 모드 프레임의 율 왜곡률을 비교하여 상대적으로 율 왜곡이 작은 프레임으로 현재 프레임을 결정하여 생성할 수 있다.
도 2에서 전술한 바와 같이 현재 프레임이 키 프레임으로 결정되는 경우, 생성된 키 프레임을 기초로 다시 한번 도 4의 절차를 수행하여 픽쳐 그룹 구조를 결정할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (19)

  1. 부호화 모드를 판단하는 프레임인 모드 결정 프레임의 예측 와이너 지브 프레임 율 왜곡과 키 프레임 율 왜곡을 구하는 단계; 및
    상기 예측 와이너 지브 프레임 율 왜곡과 상기 키 프레임 율 왜곡을 비교하여 상기 모드 결정 프레임을 와이너 지브 프레임 또는 키 프레임 중 율 왜곡이 작은 프레임으로 부호화하는 단계를 포함하되,
    상기 모드 결정 프레임은 소정의 픽쳐 그룹 구조에서 프레임의 출력 순서상 첫 번째 프레임인 제1 키 프레임과 마지막 프레임인 제2 키 프레임의 중간 위치 또는 중간에서 하나를 더하거나 뺀 위치에 존재하는 프레임인 분산 비디오 부호화 방법.
  2. 제1항에 있어서, 상기 분산 비디오 부호화 방법은,
    상기 모드 결정 프레임을 예측 와이너 지브 프레임 및 키 프레임 중 적어도 하나의 프레임으로 생성하는 단계를 더 포함하는 분산 비디오 부호화 방법.
  3. 제2항에 있어서, 상기 예측 와이너 지브 프레임은,
    분산 비디오 복호화기에서 제공된 예측 보조 정보 프레임 생성 정보에 기초하여 생성되는 분산 비디오 부호화 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서, 상기 분산 비디오 부호화 방법은,
    상기 모드 결정 프레임이 키 프레임으로 부호화된 경우, 상기 모드 결정 프레임과 상기 제1 키 프레임을 기초로 상기 모드 결정 프레임과 상기 제1 키 프레임의 중간 위치 또는 중간 위치에 하나를 더하거나 뺀 위치에 존재하는 프레임과 상기 모드 결정 프레임과 상기 제2 키 프레임을 기초로 상기 모드 결정 프레임과 상기 제2 키 프레임의 중간 위치 또는 중간 위치에 하나를 더하거나 뺀 위치에 존재하는 프레임을 모드 결정 프레임으로 재설정하는 단계를 더 포함하는 분산 비디오 부호화 방법.
  7. 제1항에 있어서, 상기 키 프레임 율 왜곡은,
    이미 생성된 키 프레임 율 왜곡 값을 기초로 선형적으로 예측되는 분산 비디오 부호화 방법.
  8. 부호화 모드를 판단하는 모드 결정 프레임의 예측 와이너 지브 프레임 율 왜곡, 키 프레임 율 왜곡 및 스킵 모드 프레임 율 왜곡을 구하는 단계; 및
    상기 예측 와이너 지브 프레임 율 왜곡, 상기 키 프레임의 율 왜곡 및 스킵 모드 프레임 율 왜곡을 비교하여 상기 모드 결정 프레임을 상기 예측 와이너 지브 프레임, 상기 키 프레임 및 상기 스킵 모드 프레임 중 율 왜곡이 작은 프레임 모드로 부호화하는 단계를 포함하되,
    상기 모드 결정 프레임은 소정의 픽쳐 그룹 구조에서 프레임의 출력 순서상 첫 번째 프레임인 제1 키 프레임과 마지막 프레임인 제2 키 프레임의 중간 위치 또는 중간에서 하나를 더하거나 뺀 위치에 존재하는 프레임인 분산 비디오 부호화 방법.
  9. 제8항에 있어서, 상기 분산 비디오 부호화 방법은,
    상기 모드 결정 프레임을 예측 와이너 지브 프레임, 키 프레임 및 스킵 모드 프레임 중 적어도 하나의 프레임으로 생성하는 단계를 더 포함하는 분산 비디오 부호화 방법.
  10. 삭제
  11. 삭제
  12. 제8항에 있어서, 상기 분산 비디오 부호화 방법은,
    상기 모드 결정 프레임이 키 프레임으로 부호화된 경우, 상기 모드 결정 프레임과 상기 제1 키 프레임을 기초로 상기 모드 결정 프레임과 상기 제1 키 프레임의 중간 위치 또는 중간 위치에 하나를 더하거나 뺀 위치에 존재하는 프레임과 상기 모드 결정 프레임과 상기 제2 키 프레임을 기초로 상기 모드 결정 프레임과 상기 제2 키 프레임의 중간 위치 또는 중간 위치에 하나를 더하거나 뺀 위치에 존재하는 프레임을 모드 결정 프레임으로 재설정하는 단계를 더 포함하는 분산 비디오 부호화 방법.
  13. 제8항에 있어서, 상기 키 프레임 율 왜곡은,
    이미 생성된 키 프레임의 율 왜곡 값을 기초로 선형적으로 예측되는 분산 비디오 부호화 방법.
  14. 부호화 모드를 판단하는 프레임인 모드 결정 프레임의 분산 비디오 모드를 결정하여 분산 비디오 부호화가 수행되는 픽쳐 그룹의 구조를 결정하는 픽쳐 그룹 구조 결정부; 및
    상기 픽쳐 그룹 구조 결정부에서 결정된 픽쳐 그룹 구조를 기초로 분산 비디오 부호화를 수행하는 분산 비디오 부호화부를 포함하되,
    상기 모드 결정 프레임은 소정의 픽쳐 그룹 구조에서 프레임의 출력 순서상 첫 번째 프레임인 제1 키 프레임과 마지막 프레임인 제2 키 프레임의 중간 위치 또는 중간에서 하나를 더하거나 뺀 위치에 존재하는 프레임이고,
    상기 모드 결정 프레임의 분산 비디오 모드는 상기 모드 결정 프레임의 예측 와이너 지브 프레임 율 왜곡, 키 프레임 율 왜곡 및 스킵 프레임 율 왜곡 중 적어도 하나의 율 왜곡을 구하고 상기 예측 와이너 지브 프레임 율 왜곡과 상기 키 프레임 율 왜곡 및 상기 스킵 프레임 율 왜곡 중 적어도 두 개의 율 왜곡을 비교하여 상기 모드 결정 프레임을 와이너 지브 프레임 또는 키 프레임 중 율 왜곡이 작은 프레임으로 결정되는 모드인 분산 비디오 부호화 장치.
  15. 제14항에 있어서, 상기 픽쳐 그룹 구조 결정부는,
    상기 모드 결정 프레임의 예측 보조 정보 프레임을 생성하는 예측 보조 정보 프레임 생성부;
    상기 예측 보조 정보 프레임 생성부에서 생성된 예측 보조 정보 프레임을 기초로 상기 모드 결정 프레임의 예측 와이너 지브 프레임을 생성하는 제1 와이너 지브 프레임 생성부;
    상기 제1 와이너 지브 프레임 생성부에서 생성된 상기 예측 와이너 지브 프레임 율 왜곡과 상기 분산 비디오 부호화부에서 생성된 상기 모드 결정 프레임의 키 프레임의 율 왜곡을 비교하는 율 왜곡 측정부; 및
    상기 예측 와이너 지브 프레임 율 왜곡과 상기 키 프레임의 율 왜곡을 비교하여 상기 예측 와이너 지브 프레임 율 왜곡 및 상기 키 프레임 율 왜곡 중 율 왜곡이 작은 프레임 모드로 상기 모드 결정 프레임의 부호화 모드를 결정하는 모드 결정부를 더 포함하는 분산 비디오 부호화 장치.
  16. 제14항에 있어서, 상기 픽쳐 그룹 구조 결정부는,
    상기 모드 결정 프레임이 키 프레임으로 부호화된 경우, 상기 모드 결정 프레임과 소정의 픽쳐 그룹 구조에서 프레임의 출력 순서상 첫 번째 프레임인 제1 키 프레임을 기초로 상기 모드 결정 프레임과 상기 제1 키 프레임의 중간 위치 또는 중간 위치에 하나를 더하거나 뺀 위치에 존재하는 프레임과 상기 모드 결정 프레임과 소정의 픽쳐 그룹 구조에서 프레임의 출력 순서상 마지막 프레임인 제2 키 프레임을 기초로 상기 모드 결정 프레임과 상기 제2 키 프레임의 중간 위치 또는 중간 위치에 하나를 더하거나 뺀 위치에 존재하는 프레임을 모드 결정 프레임으로 재설정하는 분산 비디오 부호화 장치.
  17. 제14항에 있어서, 상기 픽쳐 그룹 구조 결정부는,
    상기 모드 결정 프레임의 예측 보조 정보 프레임을 생성하는 예측 보조 정보 프레임 생성부;
    상기 예측 보조 정보 프레임 생성부에서 생성된 예측 보조 정보 프레임을 기초로 상기 모드 결정 프레임의 예측 와이너 지브 프레임을 생성하는 제1 와이너 지브 프레임 생성부;
    상기 모드 결정 프레임의 스킵 모드 프레임을 생성하는 스킵 모드 프레임 생성부;
    상기 예측 와이너 지브 프레임, 상기 스킵 모드 프레임 및 상기 분산 비디오 부호화부에서 생성된 상기 모드 결정 프레임의 키 프레임의 율 왜곡을 비교하는 율 왜곡 측정부; 및
    상기 율 왜곡 측정부로부터 측정된 상기 예측 와이너 지브 프레임, 예측 키 프레임 및 스킵 모드 프레임의 율 왜곡을 비교하여 상기 예측 와이너 지브 프레임 율 왜곡, 상기 키 프레임 율 왜곡 및 스킵 모드 프레임의 율 왜곡 중 율 왜곡이 작은 프레임 모드로 상기 모드 결정 프레임의 부호화 모드를 결정하는 모드 결정부를 더 포함하는 분산 비디오 부호화 장치.
  18. 키 프레임 예측 정보를 제공받고 키 프레임을 복원하는 키 프레임 복호화부; 및
    상기 키 프레임 복호화부에서 복원된 키 프레임을 기초로 소정의 화면 예측 방법을 통해 생성된 보조 정보 프레임 생성 정보를 기초로 보조 정보 프레임을 생성하고 상기 보조 정보 프레임 생성 정보를 분산 비디오 부호화기로 제공하는 보조 정보 프레임 생성부를 포함하되,
    상기 보조 정보 프레임 생성 정보는 부호화 모드를 판단하는 프레임인 모드 결정 프레임의 예측 와이너 지브 프레임 율 왜곡을 구하기 위해 사용되는 정보이고 상기 모드 결정 프레임은 소정의 픽쳐 그룹 구조에서 프레임의 출력 순서상 첫 번째 프레임인 제1 키 프레임과 마지막 프레임인 제2 키 프레임의 중간 위치 또는 중간에서 하나를 더하거나 뺀 위치에 존재하는 프레임인 분산 비디오 복호화 장치.
  19. 제18항에 있어서, 상기 분산 비디오 복호화 장치는,
    상기 분산 비디오 부호화부로부터 모드 결정 프레임을 와이너 지브 프레임으로 부호화 하는지에 대한 정보를 제공받고 상기 모드 결정 프레임이 와이너 지브 프레임으로 결정되면 와이너 지브 프레임으로 결정된 상기 모드 결정 프레임에 변환 및 양자화를 수행하는 선처리부를 더 포함하는 분산 비디오 복호화 장치.
KR1020110108246A 2011-10-21 2011-10-21 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치 KR101311410B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110108246A KR101311410B1 (ko) 2011-10-21 2011-10-21 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치
PCT/KR2012/001502 WO2013058445A1 (ko) 2011-10-21 2012-02-28 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110108246A KR101311410B1 (ko) 2011-10-21 2011-10-21 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20130044011A KR20130044011A (ko) 2013-05-02
KR101311410B1 true KR101311410B1 (ko) 2013-09-25

Family

ID=48141070

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110108246A KR101311410B1 (ko) 2011-10-21 2011-10-21 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치

Country Status (2)

Country Link
KR (1) KR101311410B1 (ko)
WO (1) WO2013058445A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100035364A (ko) * 2008-09-26 2010-04-05 성균관대학교산학협력단 적응 양자화를 이용한 분산 비디오 부호화/복호화 장치 및 그 방법
KR20100063620A (ko) * 2008-12-03 2010-06-11 한국전자통신연구원 영상 처리 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331445B2 (en) * 2004-06-01 2012-12-11 Qualcomm Incorporated Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques
US8005141B2 (en) * 2006-07-19 2011-08-23 International Business Machines Corporation Method for efficient encoding and decoding quantized sequence in Wyner-Ziv coding of video
US8340193B2 (en) * 2006-08-04 2012-12-25 Microsoft Corporation Wyner-Ziv and wavelet video coding
KR20100093703A (ko) * 2009-02-17 2010-08-26 한국전자통신연구원 대칭적 움직임 예측 및 채널 분할을 통한 분산 동영상 부호화기와 복호화기 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100035364A (ko) * 2008-09-26 2010-04-05 성균관대학교산학협력단 적응 양자화를 이용한 분산 비디오 부호화/복호화 장치 및 그 방법
KR20100063620A (ko) * 2008-12-03 2010-06-11 한국전자통신연구원 영상 처리 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
분산 비디오 압축 기술에서의 모드 사용에 따른 LDPCA 코드의 효율 분석, 조현명, 심혁재, 전병우, 대한전자공학회 2010년 하계종합학술대회, 제33권1호, 2010.6, pp.431-433. *
분산 비디오 코덱의 적응적 키 프레임 선택 방식 연구, 김동현, 한국항공대대학원, 2010.2, 학위논문(석사) *

Also Published As

Publication number Publication date
WO2013058445A1 (ko) 2013-04-25
KR20130044011A (ko) 2013-05-02

Similar Documents

Publication Publication Date Title
US8194735B2 (en) Video encoding apparatus and video encoding method
KR101425602B1 (ko) 영상 부호화/복호화 장치 및 그 방법
US8804836B2 (en) Video coding
US20060012719A1 (en) System and method for motion prediction in scalable video coding
JP2006140758A (ja) 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
US20110038419A1 (en) Method and apparatus for encoding/decoding image by controlling accuracy of motion vector
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
CN103918262A (zh) 基于结构相似度的码率失真优化感知视频编码方法和系统
US8594189B1 (en) Apparatus and method for coding video using consistent regions and resolution scaling
US20180249160A1 (en) Vector quantization for video coding using codebook generated by selected training signals
KR101359500B1 (ko) 양자화/역 양자화 장치 및 방법과 그를 이용한 영상부호화/복호화 장치
KR101311410B1 (ko) 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치
US9628791B2 (en) Method and device for optimizing the compression of a video stream
KR101639434B1 (ko) 와이너-지브 부호화 및 복호화 시스템 및 방법
KR101035746B1 (ko) 동영상 인코더와 동영상 디코더에서의 분산적 움직임 예측 방법
KR100701740B1 (ko) 영상 데이터의 ｐｉ프레임 인코딩과 디코딩을 위한 장치및 방법
Kodavalla et al. Distributed video coding: feedback-free architecture and implementation
KR100755388B1 (ko) 동영상 압축에서의 복원 오차 추정 방법 및 장치
JPH09289452A (ja) 変換符号化システムの変換係数選択方法及びその装置
KR101441899B1 (ko) 움직임 정보 부호화 및 복호화 방법과 이를 이용한 장치
KR100991586B1 (ko) 특징값 추출을 수행하는 적응적 분산 비디오 부호화 장치 및 복호화 장치
Zheng et al. Multiple description coding using multiple reference frame for robust video transmission
KR101307469B1 (ko) 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법
KR101373083B1 (ko) 움직임 정보 부호화/복호화 장치 및 움직임 정보를 부호화/복호화하는 방법
KR101059318B1 (ko) 분산 비디오 부호화/복호화 방법, 분산 비디오 부호화/복호화 장치 및 변환 부호화 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160607

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181218

Year of fee payment: 6