KR100758139B1 - 하이브리드 일시－ｓｎｒ 파인 그래뉼러 스케일러빌리티 비디오 코딩 - Google Patents

하이브리드 일시－ｓｎｒ 파인 그래뉼러 스케일러빌리티 비디오 코딩 Download PDF

Info

Publication number
KR100758139B1
KR100758139B1 KR1020017009255A KR20017009255A KR100758139B1 KR 100758139 B1 KR100758139 B1 KR 100758139B1 KR 1020017009255 A KR1020017009255 A KR 1020017009255A KR 20017009255 A KR20017009255 A KR 20017009255A KR 100758139 B1 KR100758139 B1 KR 100758139B1
Authority
KR
South Korea
Prior art keywords
frames
video
enhancement
base layer
coding
Prior art date
Application number
KR1020017009255A
Other languages
English (en)
Other versions
KR20010092797A (ko
Inventor
라드하하이델
첸예잉웨이
반델차알미하엘라
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20010092797A publication Critical patent/KR20010092797A/ko
Application granted granted Critical
Publication of KR100758139B1 publication Critical patent/KR100758139B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 품질 및 일시 스케일러빌리티를 포함하는 파인 그래뉼러 코딩 기술에 관한 것이다. 이는 파인 그래뉼러 코딩 기술에 쉽게 적응할 수 있는 하이브리드 일시/SNR 스케일러빌리티 구조를 이용함으로써 달성된다. 이 구조의 한 예에서, 일시 인핸스먼트 프레임과 FGS 인핸스먼트 프레임은 단일 인핸스먼트 층에 포함된다. 다른 예에서, 2개의 별개의 인핸스먼트 층들은 하이브리드 일시 SNR 스케일러빌리티를 달성하는데 이용된다. 2개의 층은 베이스 층에 대한 일시 인핸스먼트를 달성하기 위해(즉, 보다 좋은 동작) 일시 스케일러빌리티 층을 포함하며, 반면에 FGS 층은 베이스 층 및/또는 일시 스케일러빌리티 인핸스먼트 층의 품질 SNR을 향상시키는데 이용된다.
베이스 층, 인핸스먼트 층, 비디오 프레임, 비디오 데이터, 나머지 영상

Description

하이브리드 일시－ＳＮＲ 파인 그래뉼러 스케일러빌리티 비디오 코딩{Hybrid temporal-SNR fine granular scalability video coding}
본 발명은 일반적으로 비디오 코딩, 더 상세하게는 품질 및 일시 스케일러빌리티를 포함하는 파인 그래뉼러 코딩 기술(fine granular coding technique)에 관한 것이다.
파인-그래뉼러-스케일러빌리티(FGS; fine-granular-scalability)는 인터넷과 같은 여러 대역폭을 가진 네트워크를 통해 전송하기 위해 비디오를 압축하는데 이용되어 왔다. 그런 FGS 구조의 예는 도 1a-1b 및 2a-2b에 도시되어 있다. 알 수 있는 것처럼, 이들 구조는 비트율(bit-rate) RBL로 코딩된 베이스 층(base-layer) 및 REL로 코딩된 단일 파인-그래뉼러 인핸스먼트 층(single fine-granular enhancement layer)으로 구성되어 있다. 그러나, 도 1a-1b에는 단지 I 및 P 프레임만을 포함하도록 인코딩되었고, 반면에 도 2a-2b에서는 베이스 층이 I, P 및 B 프레임을 포함하도록 인코딩되어 왔다.
인핸스먼트 층의 파인 그래뉼래러티(fine granularity)로 인해, FGS 비디오 스트림은 Bmin=RBL로부터 Bmax=RBL+REL까지의 범위의 이용 가능한 대역폭(available bandwidth)을 가진 어떤 네트워크 부(network session)를 통해서도 전송될 수 있다. 예컨대, 송신기와 수신기 사이의 이용 가능한 대역폭이 B=R이면, 송신기는 비율 RBL로 베이스 층 및 비율 Re=R-RBL로 인핸스먼트 층의 일부를 송출한다. 도 1b 및 도 2b로부터 알 수 있는 것처럼, 인핸스먼트 층의 부분들은 송신을 위해 핀(fin) 그래뉼러 방식으로 선택될 수 있다. 따라서 전체 송신된 비트율은 R=RBL+Re이다.
단일 인핸스먼트 층에 의해 광범위한 전송 대역폭을 지원할 수 있는 유연성(flexibility)으로 인해, FGS 프레임워크는 ISO MPEG-4 표준에 의해 채택되었다. 신호 처리, 이미지 통신, 1999년 9월, 15권, 1-2 호, 헤이더 라드하(Hayder Radha) 등의 "MPEG-4를 이용하는 스케일러블 인터넷 비디오" 논문에 개시된, FGS에 기초하는 인코더를 이용하는 시스템의 예가 도 3에 도시되어 있다. 시스템은 (Bmin=Rmin, Bmax=Rmax)의 범위의 가변 이용 가능한 대역폭을 가진 네트워크(6)를 포함하고 있다. 계산 블록(4)이 또한 현재의 이용 가능한 대역폭(R)을 추정 또는 측정하기 위해 포함되어 있다. 베이스 층(BL) 비디오 인코더(8)는 비트율(RBL)을 이용하여 범위(Rmin, R)에서 비디오 소스(2)로부터의 신호를 압축한다. 전형적으로, 베이스 층 인코더(8)는 최소 비트율(Rmin)을 이용하여 신호를 압축한다. 이것은 특히 BL 인코딩이 비디오 신호를 전송하는 시간 전에 오프 라인으로 행해질 때의 경우이다. 볼 수 있는 것처럼, 유닛(10)이 또한 나머지 영상들(residual images)(12)을 계산하기 위해 포함되어 있다. 또한 인핸스먼트 층(EL) 인코더(14)는 RBL 내지 Rmax-RBL의 범위에 있을 수 있는 비트율 REL로 나머지 신호를 압축한다. 비디오 신호(인핸스먼트 층 및 베이스 층)의 인코딩은 실시간으로(도면에 의해 암시되어 있는 것과 같이) 또는 송신 시간 이전 오프 라인으로 행해질 수 있다는 것을 주목하는 것이 중요하다. 후자의 경우에는, 표시된 것처럼, 비디오가 저장(기억)되고 그런 후 나중 시간에 실시간 율 제어기(16)를 이용하여 송신(또는 스트림)될 수 있다. 실시간 제어기(16)는 현재의(실시간) 이용 가능한 대역폭(R)을 고려하여 최고 양질의 인핸스먼트 층 신호를 선택한다. 따라서, 율 제어기로부터의 EL 신호의 출력 비트율은 R-RBL과 같다.
본 발명은 품질 및 일시 스케일러빌리티를 갖는 파인 그래뉼러 스케일러빌리티 코딩 기술에 관한 것이다. 본 발명에 따르면 독립청구항 1, 8 및 10에 따른 방법들, 독립청구항 12 내지 14에 따른 메모리 매체들 및 독립청구항 15 내지 17에 따른 장치들이 제공된다. 바람직한 실시예들은 첨부된 종속청구항 2항 내지 7항, 9항 및 11항에 한정되어 있다. 본 발명에 의한 비디오 데이터를 코딩하는 한 예에 있어서는, 비디오 데이터의 일부가 베이스 층 프레임을 생성하기 위해 코딩된다. 움직임 보상된 나머지 영상들(motion compensated residual images)이 비디오 데이터 및 베이스 층 프레임으로부터 생성된다. 움직임 보상된 나머지 영상은 일시 인핸스먼트 프레임을 생성하기 위해 파인 그래뉼러 코딩 기술을 이용하여 코딩된다. 또한 나머지 영상은 비디오 데이터 및 베이스 층 프레임으로부터 발생된다. 이후 나머지 영상들은 품질 인핸스먼트 프레임들을 생성하기 위해 파인 그래뉼러 코딩 기술을 이용하여 또한 코딩된다. 일시 인핸스먼트 프레임들과 품질 인핸스먼트 프레임들은 또한 인핸스먼트 층으로 조합될 수도 있다.
본 발명에 따라 비디오 데이터를 코딩하는 다른 예에서는, 비디오 데이터의 일부가 베이스 층 프레임을 생성하기 위해 코딩된다. 움직임 보상된 나머지 영상이 비디오 데이터 및 베이스 층 프레임으로부터 발생된다. 움직임 보상된 나머지 영상은 일시 인핸스먼트 프레임을 생성하기 위해 코딩된다. 나머지 영상은 비디오 데이터, 베이스 층 프레임 및 일시 인핸스먼트 프레임으로부터 발생된다. 그런 뒤 나머지 영상은 품질 인핸스먼트 프레임을 생성하기 위해 파인 그래뉼러 코딩 기술을 이용하여 코딩된다. 또한 일시 인핸스먼트 프레임은 일시 인핸스먼트 층을 형성하고 품질 인핸스먼트 프레임은 품질 인핸스먼트 층을 형성한다.
본 발명에 따라 베이스 층 및 인핸스먼트 층을 포함하는 비디오 신호를 디코딩하는 한 예에 있어서는, 베이스 층이 비디오 프레임을 생성하기 위해 디코딩된다. 인핸스먼트 층도 움직임 벡터를 생성하기 위해 디코딩된다. 그런 뒤 부가의 비디오 프레임을 생성하기 위해 움직임 벡터에 따라 비디오 프레임에 움직임 보상이 실행된다. 비디오 프레임 및 부가의 비디오 프레임은 비디오 시퀀스로 조합된다. 또한, 인핸스먼트 층은 인핸스된 비디오 프레임을 생성하기 위해 디코딩된다. 인핸스된 비디오 프레임의 각각은 비디오 프레임들과 부가의 비디오 프레임들 중 하나에 부가된다.
도면을 참조하면 전체적으로 대응하는 부분을 나타내는 동일한 참조 번호가 있다.
도 1a-1b는 한 종래 기술의 스케일러빌리티 구조를 도시한 도면.
도 2a-2b는 다른 종래 기술의 스케일러빌리티 구조를 도시한 도면.
도 3은 종래 기술의 스케일러빌리티 구조를 이용하는 시스템을 도시한 도면.
도 4a-4e는 본 발명에 의한 하이브리드 스케일러빌리티 구조의 예를 도시한 도면.
도 5a-5c는 본 발명에 의한 하이브리드 스케일러빌리티 구조의 다른 예를 도시한 도면.
도 6은 본 발명에 의한 하이브리드 스케일러빌리티 구조를 이용하는 한 시스템을 도시한 도면.
도 7은 도 6의 비디오 인코더에 대한 기능성 아키텍처의 예를 도시한 도면.
도 8a-8d는 본 발명에 의한 하이브리드 스케일러빌리티 구조의 다른 예를 도시한 도면.
도 9는 본 발명에 의한 하이브리드 스케일러빌리티 구조를 이용하는 다른 시스템을 도시한 도면.
도 10은 본 발명에 의한 하이브리드 스케일러빌리티 구조를 위한 디코더의 한 예를 도시한 도면.
도 11은 본 발명에 의한 하이브리드 스케일러빌리티 구조를 위한 디코더의 다른 예를 도시한 도면.
도 12는 본 발명을 구현하기 위한 시스템의 한 예를 도시한 도면.
파인 그래뉼러 스케일러빌리티(FGS) 코딩은, 베이스 층에 전송된 각 프레임 또는 픽처의 비디오 품질 또는 신호대 잡음비(SNR)를 개선하기 위해 구현된다. 이것은, 디코딩된 베이스 층 영상과 원래의 픽처 사이의 차이인 나머지 영상(RI)을 계산함으로써 수행된다. 그런 뒤 나머지 영상은 매입된(embedded) 또는 파인 그래뉼러 비디오 코딩 방법을 이용하여 코딩된다. 이 논의를 위해, 코딩 공정으로부터 얻어진 영상은 FGS 나머지 영상(FR)이라 지칭될 것이다.
매 베이스 층 비디오 프레임의 비디오 품질(또는 SNR 크기)을 증대시키는 대안으로서, 어떤 경우에는, 전송된 비디오 시퀀스의 프레임 비율을 증가시키는 것이 바람직하다. 이것은 부가 프레임을 송출함에 의해 달성될 수 있다. 예컨대, 비디오 신호가 초당 10 프레임(fps) 시퀀스로 구성되어 있다고 가정하자. 베이스 층에서는, 단지 5 fps의 이 비디오 시퀀스(예컨대, 프레임 1, 3, 5, ... 등을 이용하여)가 코딩되고 전송된다. 그런 뒤 인핸스먼트 층은 잔류분(remainder) 5fps 서브 시퀀스(즉, 코딩 프레임 2, 4, 6, ... 등)를 부가한다. 이런 타입의 스케일러빌리티는 일시 스케일러빌리티로 알려져 있는 것으로, 이 경우에는 인핸스먼트 층은 베이스 층에서 코딩되지 않은 여분의 프레임들을 삽입함으로써 비디오 시퀀스의 일시 표현을 개선한다. 이것은 일반적으로, 스케일러블 비디오 시퀀스의 움직임 원활성(motion smoothness)을 개선한다.
그러나, 현재의 FGS 해법은 일시 스케일러빌리티를 지원하지 않는다. 현존의 FGS 프레임워크(원래는 MPEG-4 표준으로 제의된 것인데 현재는 참고 드래프트 표준으로 이용됨)에 기초하여, 베이스 층은 비트율 RBL에서의 프레임 비율 fBL을 이용하여 압축된다. 그런데 FGS-기초 코덱(codec)에 의해 커버되는 대역폭 범위(즉, Bmin=RBL 내지 Bmax=RBL+REL)와는 상관없이, 스케일러블 비디오 시퀀스는 전체 대역 범위(Bmin, Bmax)에 걸쳐 베이스 층(즉, fBL)의 프레임 비율을 유지해야 한다. 환언하면, 달성될 수 있는 유일한 개선은 상기한 바와 같이, 동일한 초당 프레임 시퀀스(fBL)의 비디오 품질을 증가시키는 것이다.
상기에 비추어, 본 발명은 FGS 코딩에 기초하는 품질 및 일시 스케일러빌리티를 제공하는 것에 관한 것이다. 본 발명에 따라, 이것을 달성하는 한 방법은 FGS 비디오 코딩에 기초하는 하이브리드 일시-품질(즉, 일시-SNR) 스케일러빌리티 구조를 이용하는 것인데, 이하에서 상세히 설명될 것이다.
본 발명에 의한 하이브리드의 일시-SNR FGS 스케일러빌리티 구조의 한 예가 도 4a에 도시되어 있다. 볼 수 있는 것처럼, 이 구조는 I 및 P 프레임을 포함하는 베이스 층을 포함하고 있다. 그러나, 인핸스먼트 층은 FGS 나머지 (FR) 프레임들을 양방향성 FGS (BDF) 프레임과 함께 포함하고 있다. FR 및 BDF 프레임 둘 다를 이용함으로써 본 발명은 품질 및 일시 파인 그래뉼러 스케일러빌리티 둘 다를 각각 지원할 수 있다.
본 발명에 따라, BDF 프레임은 일시적으로 인접하는 두 베이스 층 프레임들로부터 예측된다. 그런 뒤 이 예측 결과의 나머지는 파인-그래뉼러 코딩 방법을 이용하여 코딩된다. 또한 베이스 층 프레임도 FR 프레임을 생성하기 위해 파인-그래뉼러 방법에 의해 코딩된다. BDF 프레임을 코딩하는데 이용되는 FGS에 기초하는 방법은 FR 픽처를 코딩하는데 이용되는 FGS에 기초하는 방법과는 다를 수도 또는 같을 수도 있다는 것을 주목하는 것이 중요할 것이다.
상기한 스케일러빌리티 구조는, 같은 프레임-비율, 일시(즉, 프레임-비율만을 증가시킴으로써) 스케일러빌리티, 또는 파인-그래뉼러 품질 및 일시 스케일러빌리티들 모두를 유지하면서, 파인-그래뉼러 품질(즉, SNR) 스케일러빌리티를 지원하기 위해 유연성을 제공한다. 본 발명 하에서 지원되는 이들 상이한 스케일러빌리티 모드들의 예들이 도 4c-4e에 도시되어 있다.
도 4c에서는, BDF 프레임이 단지 인핸스먼트 층에서만 전달되기 때문에 일시 스케일러빌리티가 달성된다. 도 4d에서는, 단지 FR 프레임만 전달되기 때문에, 품질(즉, SNR) 스케일러빌리티가 달성된다. 도 4e에서는, BDF 및 FR 프레임 모두 전달되기 때문에, 품질 및 일시 스케일러빌리티가 달성된다.
본 발명에 기초하여, FGS 인핸스먼트 층의 프레임 비율(fEL)은 베이스 층 프레임 비율(fBL)과 같을 수도 또는 상이할 수도 있다. 조합된 베이스 및 인핸스먼트 층 시퀀스의 전체 프레임 비율(fT)은 다음과 같이 인핸스먼트 층 내 총 픽처 수(NEL)에 대한 FGS 인핸스먼트 층에 이용된 FR 픽처의 수(NFR)에 의존한다:
fT = fBL + ((NEL-NFR)/NEL)ㆍfEL (1)
도 4a에 도시된 예의 경우, 전체 프레임 비율(fT)은 베이스 층 프레임 비율의 2 배, fT =2fBL =fEL이다. 일반적으로, 제안된 스케일러빌리티 구조는, 베이스 층 및/또는 인핸스먼트 층 프레임 비율이 시간에 따라 변할 수 있는 가변 프레임 비율 시나리오들을 지원한다. 또한, 발생된 압축 스트림은 전체 프레임 비율(fT)을 갖는 반면에, 전송된 스트림은 다른 프레임 비율(ft)을 가질 수 있다는 것을 명심할 필요가 있다. 예컨대 도 4c 및 4e의 예에서는 전송된 스트림은 프레임 비율 ft =fT을 갖는데 도 4d의 예에서는 프레임 비율은 ft =0.5fT =fBL이다.
본 발명에 의한 하이브리드 일시-SNR FGS 구조의 다른 예는 도 4b에 도시되어 있다. 볼 수 있는 것처럼, 이 구조는 도 4a에 도시된 예와 같은 인핸스먼트 층을 갖고 있다. 그러나 이 구조는 베이스 층이 I, P 및 B 프레임을 포함하도록 코딩되어 있는 점에서 상이하다.
본 발명에 의한 스케일러빌리티 구조도 또한 베이스 층과 상이한 예상 모드 변화를 지원할 수 있다. 도 4a-4b에 도시된 예는 한 클래스의 예상 모드를 나타내는 한편, 도 5a-5b에는 다른 모드가 도시되어 있다.
도 5a에서는, 비디오 코덱의 단순 저복잡성 구현에 이르는 순방향 예상 모드만이 지원된다. 이 모드는 도시된 바와 같이, 인핸스먼트 층에서 순방향 FGS(FWF)프레임 타입을 발생한다. 도 5b에서는, 역방향 예상 모드가 FGS 층에서 역방향 FGS(BWF)를 발생하기 위해 포함되어 있다. 도 5c에서는, 역방향과 순방향 예상 모드의 조합이 도시되어 있다. 본 발명에 의해서는, 이들 상이한 FGS에 기초한 픽처 타입을 상이한 베이스 층 픽처 타입과 조합하는 것이 고려된다는 것을 주목할 필요가 있다.
본 발명에 의한 하이브리드 스케일러빌리티 구조를 이용하는 시스템의 한 예가 도 6에 도시되어 있다. 거기서 볼 수 있는 것처럼, 이 시스템은 기본적으로 비디오 소스(2), 가변 대역폭 네트워크(6), 베이스 층(BL) 인코더(8) 및 하이브리드 일시-SNR FGS 비디오 인코더(20)를 포함하고 있다. 본 발명에 의하면, 일시-SNR FGS 비디오 인코더(20)는 도 4a-4e 및 5a-5c에 도시된 어느 인핸스먼트 층도 발생시키도록 구성될 수 있다. 또한, 비디오 소스(2)는 디지털 비디오 카메라와 같은 임의의 타입의 비디오 포착 장치에 의해서나 실현될 수 있다.
도 6으로부터 알 수 있는 것처럼, 비디오 소스(2)로부터의 비 코딩된 비디오 데이터가 BL 인코더(8) 및 하이브리드 일시-SNR FGS 비디오 인코더(20) 양쪽에 입력된다. BL 인코더(8)는 표준 프레임 예상 코딩 기술을 이용하여 원래의 비디오 데이터의 일부를 코딩한다. 본 발명의 양호한 실시예에 있어, BL 인코더(8)는 MPEG-1, MPEG-2 또는 MPEG-4 인코더에 의해 실현될 수 있다.
BL 인코더(8)는 소정의 비트율 RBL로 비디오 데이터를 압축한다. 발명의 양호한 실시예에서, RBL은 네트워크(6)의 현재의 대역폭에 기초하여 계산 블록(4)에 의해 결정된다. 보다 상세하게는, 계산 블록(4)은 최소 비트율(RMIN), 최대 비트율(RMAX), 및 현재 이용 가능한 네트워크(6)의 대역폭(R)을 측정한다. 그런 뒤 계산 블록(4)은 RBL을 RMIN과 R 사이의 값에 설정한다.
대부분의 경우, 계산 블록(4)은, 최저 대역폭에서도 네트워크(43)가 본 발명에 의해 코딩된 비디오 데이터를 수용하도록, RBL을 RMIN에 설정한다. 특히 이것은 베이스 층 인코딩이 오프 라인으로 행해지는 경우에 그러하다.
소스(2)로부터의 원래의 비디오 데이터 및 BL 인코더(8)에 의해 제공되는 코딩된 비디오 데이터(즉, 베이스 층)는 하이브리드 인코더(20) 내 나머지 영상(RI) 계산 블록(10) 및 움직임 보상 나머지 영상(MCRI) 계산 블록(24)에 제공된다. RI 계산 블록(10) 및 MCRI 계산 블록(24)은 이하에 설명하는 바와 같이 나머지 영상(12) 및 움직임 보상(MC) 나머지 영상(22)을 각각 발생하기 위해 원래의 비디오 데이터 및 코딩된 비디오 데이터를 이용한다.
작동하는 동안, RI 계산 블록은 BL 인코더(8)로부터 코딩된 비디오 데이터를 수신하고 그런 뒤 그 코딩된 비디오 데이터를 디코딩한다. 그런 후, 나머지 영상(12)이 디코딩된 비디오 데이터 중의 픽셀과 원래의 비디오 데이터 중의 픽셀 사이의 차에 기초하여 발생된다. 일반적으로는, 나머지 영상은 베이스 층 내의 프레임(이것은 디코더가 비디오 신호를 디코딩하는데 필요한 최소 프레임 수 및/또는 최소 데이터 양을 포함한다.)과 원래의 비디오 데이터 내의 프레임 사이의 차에 상당한다.
RI 계산 블록(10)은 나머지 영상(12)을 발생하기 위해 하나 또는 그 이상의 다양한 여러 방법을 이용할 수 있다. 예컨대, 단순한 픽셀 단위의(pixel-by-pixel) 차감은 베이스 층 내 프레임들과 원래의 비디오 데이터 내 프레임들 사이에서 수행될 수 있다. 이들 두 프레임 세트 사이의 결과적 차(즉, 나머지 영상)는 프레임 해상도 차이를 포함한다. 베이스 층이 원래의 비디오 데이터의 전체 프레임을 포함하지 못하는 경우에는, 나머지 영상은 이들 빠진 프레임을 포함한다.
나머지 영상(12)은 또한 먼저 디코딩된 비디오 데이터를 필터링하고 그런 뒤 필터링된 비디오 데이터와 원래의 비디오 데이터 사이의 차를 결정함으로써 발생될 수 있다. 이 기술은, 예컨대, 코딩 및 디코딩 처리에 의해 야기된 디코딩된 비디오 데이터로부터의 원치 않은 잡음 등을 제거할 수 있다는 이점을 갖는다. 본 발명의 양호한 실시예에서는, 디코딩된 비디오 데이터를 필터링하기 위해서 디블로킹 필터(de-blocking filter)를 이용하지만 본 발명은 그런 필터의 이용에 한정되지 않는다.
나머지 영상을 발생하는 다른 기술은 디코딩된 데이터와 원래의 비디오 데이터 모두를 필터링한 후 이들 타입의 필터링된 데이터 사이의 차를 결정하는 것을 포함한다. 이 기술에서는 같은 타입의 필터(예컨대, 디블로킹 필터)가 원래의 비디오 데이터 및 디코딩된 비디오 데이터 모두에 적용될 수 있을 것이다. 대안적으로는, 상이한 타입의 필터가 원래의 비디오 데이터 및 디코딩된 비디오 데이터에 적용될 수도 있을 것이다.
상기와 같이, 나머지 영상(12)이 픽셀 도메인에서 계산된다. 예컨대, 베이스 층 인코더가 DCT 변형에 기초한 인코딩을 이용하고 인핸스먼트 층 인코더가 웨이브렛(wavelet)에 기초한 인코딩을 이용하면, 베이스 층 픽처가 원(즉, 비 변형) 픽셀 도메인에 있는 원래의 영상(픽셀 단위)으로부터 차감되어야 한다. 이것은, 베이스 층 픽처 압축된 비트 스트림이, 나머지 신호를 계산하기 전에, 그의 픽셀 도메인 표시를 발생하기 위해 디코딩될 것을 요구한다. 이 디코딩 과정은 보통 베이스 층 디코더에서 행해지고(베이스 층 움직임 추정 및 보상을 위해) 따라서 인핸스먼트 층 디코더는 이를 이용할 수 있다. 그러면 얻어지는 픽셀 도메인 잔류분은 이 잔류분의 FGS 코딩을 행하기 전에 원하는 변형 도메인(예컨대, 웨이브렛)으로 변형되어야 한다.
그러나, 베이스 층 및 인핸스먼트 층 인코더가 같은 변형을 이용하면, 나머지 영상(12)은 변형 도메인(예컨대, DCT 또는 웨이브렛 도메인)에서 계산될 수 있다. 이 경우, FGS 인코더는 얻어지는 변형을 직접 코딩한다(즉, 이미 원하는 변형 도메인에 있기 때문에 나머지 신호에 대해 어떤 변형 조작도 행할 필요 없이).
또한 작동 중, MCRI 계산 블록(24)은 BL 인코더(8)로부터 코딩된 비디오 데이터를 수신하고 그런 뒤 그 코딩된 비디오 데이터를 디코딩한다. 그런 다음, MC 나머지 영상(22)이 디코딩된 비디오 데이터로부터의 움직임-보상 접근법에 기초하여 발생된다. 이것은 예컨대, 움직임 보상 픽처를 계산하기 위해 움직임 추정에 기초하는 접근법을 이용하여 달성된다. 그런 뒤 이 움직임 보상 픽처는 픽셀 도메인 내 해당하는 원래의 픽처로부터 픽셀 단위로 차감된다. 그런 뒤 얻어지는 픽셀 도메인 잔류분은 파인-그래뉼러 인코더에 의해 그것을 코딩하기 전에 변형된다.
나머지 영상(12)은 변형 도메인에서 직접 계산될 수 있다 하더라도(예컨대, 베이스 층 및 인핸스먼트 층 모두가 같은 변형을 이용할 때), MC 나머지 영상(22)은 픽셀 도메인에서 계산된다는 것을 주목하는 것이 중요하다. 따라서, MC 나머지 영상(22)(픽셀 도메인)은 파인-그래뉼러-기반 코딩(fine-granular-based coding) 전에 변형되어야 한다(예컨대, DCT).
하이브리드 인코더(20)는 또한 FGS MCRI 인핸스먼트 층(EL) 인코더(26) 및 FGS 나머지 영상 EL 인코더(14)를 포함하고 있다. 동작 중, FGS MCRI EL 인코더(26) 및 FGS 나머지 영상 EL 인코더(14)는 각각 매입된 파인 그래뉼러 코딩 기술을 이용하여 MC 나머지 영상(22) 및 나머지 영상(12)을 코딩한다.
본 발명에 따라 MC 나머지 영상(22) 또는 나머지 영상(12)을 코딩하기 위해 어떤 파인 그래뉼러 코딩 기술은 제안된 스케일러빌리티 구조와 관련하여 이용될 수 있다는 것을 주목해야 한다. 이들 잔여 픽처의 어느 타입을 코딩할 주 후보는 매입된 DCT에 기초한 메카니즘(예컨대 비트-평면 매립된 DCT-기초 메카니즘) 및 매입된 제로 트리 웨이브렛 방법 패밀리이다. 변환 기능들의 과잉-완전 세트(over-complete set)에 기초하는 스케일러블 매칭 추구(scalable matching pursuit) 등과 같은 다른 파인-그래뉼러 코딩 방법들도 이용될 수 있다. 또한 MC 나머지 영상(22)과 나머지 영상(12)을 코딩하기 위해서는 같은 또는 다른 기술이 이용될 수 있다는 것을 주목해야 한다.
상기 코딩의 결과로서, 일시 인핸스먼트 스트림(32) 및 FGS 인핸스먼트 스트림(31)을 포함하여 인핸스먼트 층 프레임의 두 스트림이 생성된다. 일시 인핸스먼트 스트림(32)은 MCRI EL 인코더(26)로부터의 압축된 FGS 일시 프레임(즉, MCRI)을 포함하고 있고 FGS 인핸스먼트 스트림(31)은 나머지 영상 EL 인코더(14)로부터의 SNR(즉, 표준 FGS 잔류분) 프레임을 포함한다. 이들 두 스트림(31, 32)은 단일 FGS 인핸스먼트 층 스트림을 생성하기 위해 조합될 수 있거나 또는 두개의 별도의 스트림으로서 유지될 수 있다. 어느 경우에나, 얻어지는 FGS 스트림(들)은 저장되거나 또는 실시간으로 전송될 수 있다.
환언하면, 또한 표준 FGS 경우에서와 유사하게, 본 발명에 의한 하이브리드 구조하에서는, 비디오 신호(인핸스먼트 층 및 베이스 층)의 코딩은 실시간으로 일어나거나(도면에서 암시된 것처럼) 또는 전송 시간 전에 오프 라인으로 일어날 수 있다. 두 번째 경우에는, 비디오는 저장되고 그런 뒤 나중 시간에 전송될 수(또는 스트림될 수) 있다.
그러나, 어느 시나리오(즉, 실시간 인코딩 또는 오프라인 비 실시간 인코딩) 하에서거나, 실시간 스케일러블 비디오 율 제어기(18)가 인핸스먼트 층 프레임을 전송하기 위해 할당되어야 할 비트율을 실시간으로 결정하기 위해 포함된다. 이 할당은 계산 블록(4)으로부터의 입력, FGS 율 제어기(28) 및 이용자 입력(30)에 기초하여 수행된다. 이 할당을 행할 때에는, 비디오 율 제어기(18)는 인핸스먼트 층 프레임(R-RBL)을 전송하기 위해 남은 이용 가능한 대역폭을 결정하기 위해 계산 블록(4)으로부터의 입력(R, RBL 및 RMAX)을 이용한다. 또한, FGS 율 제어기(28)는 입력(R, RBL 및 RMAX)에 기초하여 두 인핸스먼트 층 스트림(31, 32) 사이의 비트율 할당도 결정한다. 또한, 이용자 입력(32)은 이용자가 품질 및/또는 일시 스케일러빌리티에 대한 선취권을 선택할 수 있게 할 것이다.
인핸스먼트 층 프레임을 전송할 비트율이 선택된 후, 실시간 스케일러블 비디오 율 제어기(8)는 전송될 인핸스먼트 층 프레임의 부분을 선택한다. 선택된 인핸스먼트 층 프레임의 부분은 두 인핸스먼트 층 스트림(31, 32) 중의 하나 또는 양자의 프레임일 수 있다. 상기한 바와 같이, 이 선택은 또한 이용자 입력(30)에 의해 제어될 수 있다. 예컨대, 이용자가 단지 품질 스케일러빌리티를 선호하면, 실시간 스케일러블 비디오 율 제어기(18)는 단지 FGS 인핸스먼트 스트림(31)으로부터 프레임을 선택할 것이다. 이 선택 후, 실시간 스케일러블 비디오 율 제어기(18)는 BL 스트림 및 EL 스트림으로서 가변 대역폭 네트워크(43)에 영상을 출력한다.
도 7은 도 6의 베이스 층 인코더(8) 및 하이브리드 일시/SNR FGS 비디오 인코더(20)에 대한 기능성 아키텍처의 한 예를 보여준다. 도 7이 DCT 변환에 기초한 인코딩 작동을 보여주지만, 다른 변환(예컨대, 웨이브렛)도 이용될 수 있다. 이 아키텍처는, 표준 FGS 픽처 코딩과 비교할 때, 일시 인핸스먼트 프레임을 코딩하는데 필요한 부가 계산에도 불구하고, 이들 부가 계산은 잉여 복잡성 오버헤드(extra complexity overhead) 없이도 실현될 수 있다는 것을 예시한다.
도 7에서 볼 수 있는 것처럼, 베이스 층 인코더(8)는 DCT 블록(88), 양자화 블록(90) 및 원래의 비디오로부터의 BL 스트림의 일부를 발생하는 엔트로피 인코더(92)를 포함하고 있다. 더욱이, 베이스 층 인코더(8)는 또한 원래의 비디오로부터 2 세트의 움직임 벡터를 발생하는 움직임 추정 블록(94)을 포함하고 있다. 한 세트의 움직임 벡터는 베이스 층 벡터에 대응하고, 한편 다른 세트는 일시 인핸스먼트 프레임에 상당한다. 멀티플렉서(104)가 베이스 층 움직임 벡터를 BL 스트림으로 다중화하기 위해 포함되어 있다. 다른 멀티플렉서(106)도 또한 일시 인핸스먼트 스트림에 상당하는 움직임 벡터를 다중화하기 위해 포함되어 있다. 더욱이, 두 인핸스먼트 층 스트림은 단일 스트림(이것은 SNR 및 일시 FGS 픽처로 구성되어 있음)을 발생하기 위해 선택적 제 3 멀티플렉서(108)에 의해서 다중화되거나 또는 저장되거나/두개의 별도 스트림으로 전송된다.
더욱이 알 수 있듯이, 베이스 층 인코더(8)는 또한 역 양자화 블록(100), 역 DCT 블록(102), 움직임 보상 블록(98) 및 프레임 메모리(96)를 포함한다. 베이스 층 인코더(8)로부터의 이들 기능성 블록 모두는 인핸스먼트 층 MC 나머지 영상을 계산할 때에 이용된다. 알 수 있는 것처럼, 이것은 오버헤드 코덱 아키텍처 내 데이터의 신규(그러나 단순한) 데이터 흐름 제어를 통해 달성된다. 이 자원 분할을 가능하게 하는 것은 인코더가 같은 순간에 베이스 층 프레임 및 일시 인핸스먼트 프레임을 결코 압축하지 않는다는 사실이다.
이 데이터 흐름 제어는 기능성 블록(122, 124, 126, 128)을 통해 달성된다. 예컨대, 한 기능성 블록(122)은, DCT 블록(88)의 출력을 베이스 층 프레임이 코딩되고 있을 경우에는 양자화 블록(90)에 또는 FGS 인핸스먼트 층 MC 나머지 영상이 코딩되고 있으면 다른 기능 블록(124)에 전송함으로써, 그 출력을 제어한다.
볼 수 있는 것처럼, 하이브리드 일시/SNR FGS 인코더(20)는 나머지 영상과 MC 나머지 영상을 저장하기 위해 DCT 나머지 영상 블록(110)을 포함한다. 나머지 영상은 양자화 블록(90)의 입력으로부터 출력을 차감하는 차감기(130)에 의해 발생된다. 또한, MC 나머지 영상은 기능성 블록(122)의 상부 출력에서 직접 발생된다.
하이브리드 인코더(20)는 또한 나머지 영상 및 MC 나머지 영상에 적용될 수 있는 적응성 양자화(AQ) 코딩 툴을 포함한다. AQ 툴(112)의 양호한 후보는 선택적 인핸스먼트 및/또는 주파수 웨이팅(weighting)을 통한 비트 평면 이동을 포함하는 FGS MPEG-4에 의해 정의된 것들이다.
FGS 엔트로피 코딩 블록(114)은 또한 일시 인핸스먼트 스트림 및 FGS 인핸스먼트 스트림을 생성하기 위해 나머지 영상과 MC 나머지 영상을 코딩하기 위해 포함되어 있다. 이 코딩은 도 6과 관련하여 설명한 것과 같은 기술에 의해 수행될 수 있다. 볼 수 있듯이, 코딩 블록(114)은 FGS 및 일시 인핸스먼트 프레임을 위해 이용되어 있는데, 그 이유는 이들 타입의 픽처는 결코 동시에 압축되지 않기 때문이다.
본 발명에 의한 하이브리드 일시-SNR FGS 스케일러빌리티 구조의 다른 예가 도 8a에 도시되어 있다. 볼 수 있는 것처럼, 이 예에서는 하이브리드 일시-SNR 스케일러빌리티를 달성하기 위해 두 개의 인핸스먼트 층이 이용된다. 이 경우, 일시 층은 베이스 층을 위한 일시 인핸스먼트를 달성하기 위해(즉, 인핸싱된 움직임) 이용되는 반면에, FGS 층은 베이스 층 및/또는 일시 스케일러빌리티 인핸스먼트 층의 품질 SNR을 개선하기 위해 이용된다.
도 8a의 스케일러빌리티 구조는 또한 도 8b-8d에 도시되어 있는 것처럼, 일시 인핸스먼트만, SNR 인핸스먼트만을 또는 일시/SNR 인핸스먼트 양자를 달성하는 능력을 제공한다. 도 8b에서는, 단지 일시 층 프레임만이 전송되기 때문에, 일시 스케일러빌리티가 달성된다. 도 8c에서는, 베이스 층 프레임에 해당하는 FGS 프레임만이 전송되기 때문에, 품질(즉, SNR) 스케일러빌리티가 달성된다. 도 8d에서는, 일시 및 FGS 층 프레임이 전송되기 때문에, 품질 및 일시 스케일러빌리티가 달성된다.
도 8a의 하이브리드 일시-SNR FGS 스케일러빌리티 구조에 있어서는, 다른 변형점이 고려되었음을 유의해야 할 것이다. 예컨대, 일시 층 프레임은 양방향으로 예상된 프레임에 한정되지 않는다. 본 발명에 따라, 일시 층 프레임은 또한 순방향으로만, 또는 역방향으로만 예상될 수 있거나, 또는 그 임의의 조합일 수 있다.
본 발명에 따른 하이브리드 스케일러빌리티 구조를 이용하는 시스템의 다른 예는 도 9에 도시되어 있다. 이 예는 하이브리드 일시-SNR FGS 비디오 인코더(34)를 제외하고는 도 6의 예와 유사하다. 이 예에서는, 하이브리드 비디오 인코더(34)는 도 8a에 도시되어 있는 스케일러빌리티 구조를 생성하도록 구성되어 있다. 도시되어 있는 것처럼, 하이브리드 인코더(34)는 일시 EL 비디오 인코더(36) 및 FGS EL 비디오 인코더(38)를 포함하고 있다.
이 예에 의하면, 일시 EL 비디오 인코더(36)는 도 8a에 도시된 일시 층 프레임을 발생한다. 도 9에서 볼 수 있는 것처럼, 일시 EL 비디오 인코더(36)는 움직임 보상 나머지 영상 계산 블록(24) 및 일시 움직임 보상된 나머지 영상(MCRI) EL 인코더(40)를 포함하고 있다. 작동 동안, 움직임 보상된 나머지 영상 계산 블록(24)은 MC 나머지 영상(22)을 생성하기 위해 비 코딩된 비디오 데이터를 비디오 소스(2)로부터 그리고 코딩된 비디오 데이터를 BL 인코더(8)로부터 수신한다. 이 예에서는, MC 나머지 영상(22)은 도 6의 예에 관해 기재했던 것과 같은 기술에 따라 생성될 수 있다.
다시 도 9에 관해, 일시 MCRI EL 인코더(40)는 비트율 RTL로 일시 층 프레임(42)을 생성하기 위해 MC 나머지 영상(22)을 코딩한다. 비트율 RTL은 계산 블록(4)으로부터의 입력에 기초하여 결정된다. 또한, MC 나머지 영상(22)은 움직임 보상된 나머지들을 코딩하는데 이용되는 어떤 인코딩 방안에 의해 코딩될 수 있다. 이것은 MPEG-2, MPEG-4 및 유사 표준에 의해 이용되는 인코딩 방안 및 코딩 알고리즘을 포함한다. 상세하게는, 전통적 일시인 스케일러빌리티에 이용되는 인코딩 방안(예컨대, MPEG-2, 및 MPEG-4 일시 스케일러블 비디오 코딩 툴에서 지원되는 것과 같은 방안)이 좋은 후보이다.
이 예에 의하면, FGS EL 비디오 인코더(38)는 도 8a에 도시된 FGS 층 프레임을 발생한다. 도 9로부터 알 수 있듯이, FGS EL 비디오 인코더(38)는 나머지 영상 계산 블록(24) 및 FGS 나머지 영상 EL 인코더(14)를 포함하고 있다. 작동 중, 나머지 영상 계산 블록(24)은 나머지 영상(12)을 생성하기 위해 소스(2)로부터 비 코딩된 비디오 데이터, BL 인코더(8)로부터 코딩된 데이터 및 일시 층 프레임(42)을 수신한다. 나머지 영상은 도 6의 예에 관해 기술한 것과 같은 기술에 따라 생성된다.
FGS 나머지 영상 EL 인코더(14)는 FGS 인핸스먼트 층 프레임(44)을 생성하기 위해 나머지 영상(12)을 코딩한다. 이것은, 매입된 비트 평면 DCT에 기초한 메카니즘(가변/매입된 양자화 및 전송을 가진), 매입된 제로 트리 웨이브렛 방법의 패밀리, 또는 과잉 완전 세트(over complete set)의 변형 기능 등에 기초하는 스케일러블 부합 추구법 등과 같은 파인 그래뉼러 코딩 기술에 의해 달성될 수 있다.
도 9로부터 더욱 알 수 있듯이, 실시간 스케일러블 비디오 율 제어기(18)도 포함되어 있다. 작동 중, 비디오 율 제어기(18)는 실시간으로 BL 스트림, 일시 EL 스트림(42) 및 FGS EL 스트림(44)을 수신한다. 상기 예에서처럼, 비디오 율 제어기(18)는 인핸스먼트 층 프레임을 전송하기 위해 할당되어야 할 비트율을 결정한다. 예컨대, BL 및 일시 EL(42) 스트림으로부터의 프레임이 전송된 경우, 할당은 FGS EL 스트림(44)(R-RBL-RTL)으로부터 프레임을 전송하도록 남겨진 이용 가능한 대역폭에 기초하여 수행되는데, 이 대역폭은 계산 블록(4)으로부터의 입력에 기초하여 결정된다.
또한 비디오 율 제어기(18)는 또한 EL 스트림(42, 44) 중 하나 또는 둘이 전송될 것인지를 결정한다. 이 결정은 또한 이용 가능한 대역폭 및/또는 이용자 입력(30)에 기초할 수 있다. 이 결정이 수행된 후에는, 비디오 율 제어기(18)는 영상을 BL 스트림, 일시 EL 스트림 및 FGS EL 스트림으로서 가변 대역폭 네트워크(43)에 출력한다. 그러나, 일시 스케일러빌리티가 바람직하지 않을 때에는, 단지 BL 스트림 및 FGS EL 스트림으로부터의 대응 프레임만이 출력된다.
본 발명에 의한 하이브리드 스케일러빌리티 구조를 이용하는 디코더의 한 예가 도 10에 도시되어 있다. 이 예의 디코더는 도 6의 인코더에 대응한다. 이 예에서는, 디코더는 유입하는 BL 스트림을 디코딩하기 위한 베이스 층 디코더(46) 및 EL 스트림을 디코딩하기 위한 인핸스먼트 층 디코더(64)를 포함하고 있다.
볼 수 있는 것처럼, 베이스 층 디코더(46)는 두 평행 경로를 갖고 있다. 하부 경로는 가변 길이 디코더(VLD)(48), 역 양자화 블록(50) 및 역 DCT 블록(52)을 포함하고 있다. 작동 중, 이들 소자(48,50,52)는 가산기(58)의 한 입력에서 비디오 프레임을 생성하기 위해 BL 스트림 위에 각각 가변 길이 디코딩, 역 양자화 및 역 이산 코사인 변환을 수행한다.
베이스 층 디코더(46)의 상부 경로는 또한 가변 길이 디코더(48) 및 베이스 층 동작 구성 블록(54)을 포함하고 있다. 작동 중, 베이스 층 동작 구성 블록(54)은 VLD(48)에 의해 디코딩된 움직임 벡터를 수신한다. 움직임 벡터는 가산기(58)의 다른 입력에서 부가 프레임을 생성하기 위해 베이스 층 프레임 메모리(56)에 저장된 프레임에 대해 움직임 보상을 행한다.
또한, 작동 중, 가산기(58)는 도시된 바와 같이, 가산기(58)의 출력에서 BL 비디오를 생성하기 위해 상부 경로 및 하부 경로로부터의 비디오 프레임들을 조합한다. 더욱이, 가산기(58)의 출력 중의 하나는 조합된 BL 비디오 프레임의 각각을 일시적으로 저장하기 위해 베이스 층 메모리(56)에 결합된다. 이것은 베이스 층 동작 구성 블록(54)에 의해 생성된 프레임이 베이스 층 메모리(56)에 저장된 이전의 프레임에 기초할 수 있게 할 것이다.
알 수 있는 것처럼, 인핸스먼트 층 디코더(64)는 또한 두 평행 경로를 포함하고 있다. 하부 경로는 FGS 인핸스먼트 층 VLD(66) 및 FGS-일시 인핸스먼트 층 움직임 보상 블록(72)을 포함하고 있다. 작동 중, VLD(66)는 움직임 벡터를 움직임 보상 블록(72)에 공급하기 위해 유입하는 EL 스트림에 대해 가변 길이 디코딩을 행할 것이다. 움직임 벡터는 가산기(74)의 입력에서 움직임 보상된 인핸스먼트 층 프레임을 생성하기 위해 베이스 층 디코더(56)로부터의 BL 비디오 프레임에 대해 움직임 보상을 행하는데 이용될 것이다.
인핸스먼트 층 디코더(64)의 상부 경로는 또한 VLD(66) 및 역 DCT 블록(70)을 포함하고 있다. 이들 소자(66,70)는 가산기(74)의 다른 입력에서 나머지 FGS 인핸스먼트 프레임을 생성하기 위해 EL 스트림에 대해 가변 길이 디코딩 및 역 이산 코사인 변환을 수행할 것이다. 나머지 FGS 인핸스먼트 프레임은 BL 비디오 프레임 및 움직임 보상된 인핸스먼트 층 프레임을 개선하기 위한 프레임을 포함할 것이다. 비트 평면 이동 블록(68)은 비트 평면 이동이 인코더 측에 행해지면 상부 경로에도 포함될 것이다.
작동 중, 가산기(74)는 일시 인핸스먼트 층 프레임을 생성하기 위해 하부 경로로부터의 움직임 보상된 인핸스먼트 층 프레임을 상부 경로로부터의 대응 나머지 FGS 인핸스먼트 층 프레임과 결합시키도록 구성되어 있다. 또한, 가산기(74)는, 변화되지 않은 BL 비디오 프레임에 해당하는 상부 경로로부터의 나머지 FGS 인핸스먼트 층 프레임을 다른 가산기(62)에 전달하기 위해 구성되어 있다.
작동 중, 가산기(62)는 도시된 바와 같이, 인핸스된 비디오 시퀀스를 생성하기 위해 인핸스먼트 층 디코더(64) 및 베이스 층 디코더(46)로부터의 프레임들을 조합한다. 그러나, 품질 스케일러빌리티를 달성하기 위해, 나머지 FGS 인핸스먼트 층 프레임은 베이스 층 디코더(46)로부터의 대응 BL 비디오 프레임과 합해질 것이다. 따라서, BL 비디오 프레임에 대응하는 나머지 FGS 인핸스먼트 층 프레임이 가산기(62)의 입력에 있으면, 스위치(60)가 폐쇄되어 두 프레임이 조합될 수 있게 할 것이다.
또한, 일시 인핸스먼트 층 프레임은 대응하는 BL 비디오 프레임을 갖고 있지 않기 때문에, 일시 인핸스먼트 층 프레임은 변하지 않은 인핸스된 비디오 시퀀스 내에 놓여질 것이다. 그래서, 일시 인핸스먼트 층 프레임이 가산기(62)의 입력에 있으면, 스위치는 개방되고 일시 인핸스먼트 층 프레임은 변화되지 않고 가산기(62)를 통과할 것이다. 따라서, 인핸스된 비디오 시퀀스는 이런 식으로 생성될 것이다.
본 발명에 따른 하이브리드 스케일러빌리티 구조를 이용하는 디코더의 다른 예가 도 11에 도시되어 있다. 이 예는 하이브리드 일시-SNR FGS 디코더에 대한 대응하는 기능적 아키텍처를 도시한다. 도 7의 인코더 아키텍처와 유사하게, 일시 인핸스먼트 프레임의 디코딩은 최소 복잡성 오버헤드로 실현된다. 이것은, 움직임 보상 기능성 블록(116)을 베이스 층 디코더(46)와 인핸스먼트 층 디코더(64) 사이에 분배함으로써 달성된다. 또한, 표준 SNR FGS 디코딩 경로도 또한 분배된다. 일시 인핸스먼트 프레임의 DCT 변환이 베이스 층 인코더의 DCT 기능 블록에 의해 계산될 수 있지만(도7), 수신기 측에서, 역 DCT는 인핸스먼트 층 디코더(64)의 역 DCT 블록(70)을 이용하여 계산된다.
알 수 있는 바와 같이, EL 압축된 스트림은 코딩된 나머지 정보로부터 움직임 벡터 데이터를 분리하기 위해 다중화 해제된다(de-multiplex)(118). 일시 인핸스먼트 프레임에 대응하는 움직임 벡터는 일시적으로 예상되는 프레임을 계산하기 위해 움직임 보상 블록(116)에 의해 이용되는 한편, 압축된 나머지 정보는 인핸스먼트 층 디코더(64)에 의해 디코딩되고 역 변형된다. 두 신호는 일시 인핸스먼트 프레임을 발생하기 위해 서로 가산되며, 그것은 디스플레이 장치에 직접 송출될 수 있다. SNR-FGS 압축된 프레임의 경우, 디코딩된 신호는 표시 조작 전에 대응하는 베이스 층 프레임에 가산되어야 한다.
BL 압축된 스트림은 또한 코딩된 나머지 정보로부터 움직임 벡터 데이터를 분리하기 위해 다중화 해제된다(120). BL 프레임에 해당하는 움직임 벡터는 베이스 층 메모리(54)에 저장된 디코딩된 베이스 층 프레임들에 기초한 움직임 보상을 행하기 위해 움직임 보상 블록(116)에 의해 이용된다.
본 발명이 구현될 수 있는 시스템의 한 예가 도 12에 도시되어 있다. 예로서 이 시스템은, 텔레비전, 셋톱 박스, 데스크 탑, 랩탑(laptop) 또는 팜탑(palmtop) 컴퓨터, 퍼스널 디지털 어시스턴트(PDA), 비디오 카세트 레코더(VCR), 디지털 비디오 레코더(DVR), TiVO 장치 등과 같은 비디오/영상 저장 장치, 및 이들과 여타 장치의 일부 또는 조합물을 나타낼 수 있다. 시스템은 하나 또는 그 이상의 비디오 소스(76), 하나 또는 그 이상의 입/출력 장치(78), 프로세서(82) 및 메모리(84)를 포함한다.
비디오/영상 소스(들)(76)는 예컨대, 텔레비전 수신기, VCR 또는 다른 비디오/영상 저장 장치를 나타낼 수 있다. 소스(들)(76)는 대안적으로는, 예컨대 글로벌 컴퓨터 통신 네트워크, 예컨대 인터넷, 광역 통신 네트워크, 대도시 통신 네트워크, 근거리 통신 네트워크, 지상 방송 시스템, 케이블 네트워크, 위성 네트워크, 무선 네트워크, 또는 전화 네트워크, 및 이들과 다른 타입의 네트워크의 일부 또는 조합물을 통해 서버 또는 서버들로부터 비디오를 수신하기 위한 하나 또는 그 이상의 네트워크 연결을 나타낼 수 있을 것이다.
입/출력 장치(78), 프로세서(82) 및 메모리(84)는 통신 매체(80)를 통해 통신한다. 통신 매체(80)는 예컨대 버스, 통신 네트워크, 회로의 하나 또는 그 이상의 인터넷 연결부, 회로 카드 또는 다른 장치, 및 그 일부 및 이들과 다른 통신 매체의 조합물을 나타낸다. 소스(들)(76)로부터의 입력 비디오 데이터는 디스플레이 장치(86)에 공급된 출력 비디오/영상을 발생하기 위해 메모리(84)에 저장된 하나 또는 그 이상의 소프트웨어 프로그램에 따라 처리되고 프로세서(82)에 의해 처리된다.
바람직한 실시예에 있어서, 본 발명에 따라 하이브리드 스케일러빌리티 구조를 이용하는 코딩 및 디코딩은 시스템에 의해 실행된 컴퓨터 판독 가능한 코드에 의해 구현된다. 상기 코드는 메모리(84)에 저장되거나 CD-ROM 또는 플로피 디스크와 같은 메모리 매체로부터 판독/다운로딩될 수 있다. 다른 실시예들에 있어서, 본 발명을 구현하기 위해 소프트웨어 명령 대신에 또는 그것과 더불어 하드웨어 회로가 이용될 수 있다. 예컨대, 도 6-7 및 9-11에 도시된 소자들은 개별적 하드웨어 소자로서 구현될 수도 있다.
본 발명을 특정 예로서 위에 설명했지만, 본 발명을 여기에 기재한 예에 국한 또는 한정할 의도는 없다. 예로서, 본 발명은 어떤 특정한 코딩 전략 프레임 타입 또는 확률 분포에 한정되지 않는다. 그 반대로, 본 발명은 첨부된 청구범위의 정신과 범위 내에 포함되는 발명의 여러 구조와 변형을 포함할 것이 의도된다.

Claims (17)

  1. 비디오 데이터를 코딩하는 방법에 있어서,
    베이스 층 프레임들을 생성하기 위해 상기 비디오 데이터의 일부를 코딩하는 단계,
    상기 비디오 데이터 및 상기 베이스 층 프레임들로부터 움직임 보상된 나머지 영상들을 발생시키는 단계, 및
    일시 인핸스먼트 프레임들(temporal enhancement frames)을 생성하기 위해 파인 그래뉼러 코딩 기술(fine granular coding technique)을 이용하여 상기 움직임 보상된 나머지 영상들을 코딩하는 단계를 포함하는, 비디오 데이터 코딩 방법.
  2. 제 1 항에 있어서,
    가변 대역폭 네트워크를 통해 상기 베이스 층 프레임들 및 상기 일시 인핸스먼트 프레임들의 일부들을 전송하는 단계를 더 포함하는, 비디오 데이터 코딩 방법.
  3. 제 2 항에 있어서,
    상기 네트워크의 이용 가능한 대역폭을 결정하는 단계, 및
    상기 이용 가능한 대역폭에 기초하여 전송될 상기 일시 인핸스먼트 프레임들의 일부들을 선택하는 단계를 더 포함하는, 비디오 데이터 코딩 방법.
  4. 제 1 항에 있어서,
    상기 비디오 데이터 및 상기 베이스 층 프레임들로부터 나머지 영상들을 발생시키는 단계, 및
    품질 인핸스먼트 프레임들을 생성하기 위해 파인 그래뉼러 코딩 기술을 이용하여 상기 나머지 영상들을 코딩하는 단계를 더 포함하는, 비디오 데이터 코딩 방법.
  5. 제 4 항에 있어서,
    상기 일시 인핸스먼트 프레임들과 상기 품질 인핸스먼트 프레임들을 인핸스먼트 층으로 조합하는 단계를 더 포함하는, 비디오 데이터 코딩 방법.
  6. 제 4 항에 있어서,
    상기 베이스 층 프레임들, 및 상기 일시 인핸스먼트 프레임들과 품질 인핸스먼트 프레임들의 일부들을 가변 대역폭 네트워크를 통해 전송하는 단계를 더 포함하는, 비디오 데이터 코딩 방법.
  7. 제 6 항에 있어서,
    상기 네트워크의 이용 가능한 대역폭을 결정하는 단계, 및
    상기 이용 가능한 대역폭에 기초하여 전송될 상기 일시 인핸스먼트 프레임들 및 상기 품질 인핸스먼트 프레임들의 일부들을 선택하는 단계를 더 포함하는, 비디오 데이터 코딩 방법.
  8. 비디오 데이터를 코딩하는 방법에 있어서,
    베이스 층 프레임들을 생성하기 위해 상기 비디오 데이터의 일부를 코딩하는 단계,
    상기 비디오 데이터 및 상기 베이스 층 프레임들로부터 움직임 보상된 나머지 영상들을 생성하는 단계,
    일시 인핸스먼트 프레임들을 생성하기 위해 상기 움직임 보상된 나머지 영상들을 코딩하는 단계,
    상기 비디오 데이터, 상기 베이스 층 프레임들 및 상기 일시 인핸스먼트 프레임들로부터 나머지 영상들을 생성하는 단계, 및
    품질 인핸스먼트 프레임들을 생성하기 위해 파인 그래뉼러 코딩 기술을 이용하여 상기 나머지 영상들을 코딩하는 단계를 포함하는, 비디오 데이터 코딩 방법.
  9. 제 8 항에 있어서,
    상기 일시 인핸스먼트 프레임들은 일시 인핸스먼트 층을 형성하고 상기 품질 인핸스먼트 프레임들은 품질 인핸스먼트 층을 형성하는, 비디오 데이터 코딩 방법.
  10. 베이스 층 및 인핸스먼트 층을 포함하는 비디오 신호를 디코딩하는 방법에 있어서,
    비디오 프레임들을 생성하기 위해 상기 베이스 층을 디코딩하는 단계,
    움직임 벡터들을 생성하기 위해 상기 인핸스먼트 층을 디코딩하는 단계,
    부가 비디오 프레임들을 생성하기 위해 상기 움직임 벡터들에 따라 상기 비디오 프레임들에 움직임 보상을 수행하는 단계, 및
    비디오 시퀀스를 형성하기 위해 상기 비디오 프레임들과 상기 부가 비디오 프레임들을 조합하는 단계를 포함하는, 비디오 신호 디코딩 방법.
  11. 제 10 항에 있어서,
    인핸스된 비디오 프레임들을 생성하기 위해 상기 인핸스먼트 층을 디코딩하는 단계, 및
    상기 인핸스된 비디오 프레임들 각각을 상기 비디오 프레임들과 상기 부가 비디오 프레임들 중의 하나에 부가하는 단계를 더 포함하는, 비디오 신호 디코딩 방법.
  12. 비디오 데이터를 인코딩하기 위한 코드를 포함하는 메모리 매체에 있어서,
    상기 코드는,
    베이스 층 프레임들을 생성하기 위해 상기 비디오 데이터의 일부를 인코딩하기 위한 코드,
    상기 비디오 데이터 및 상기 베이스 층 프레임들로부터 움직임 보상된 나머지 영상들을 발생시키기 위한 코드, 및
    일시 인핸스먼트 프레임들을 생성하기 위해 파인 그래뉼러 코딩 기술을 이용하여 상기 움직임 보상된 나머지 영상들을 인코딩하기 위한 코드를 포함하는, 메모리 매체.
  13. 비디오 데이터를 인코딩하기 위한 코드를 포함하는 메모리 매체에 있어서,
    상기 코드는,
    베이스 층 프레임들을 생성하기 위해 상기 비디오 데이터의 일부를 인코딩하기 위한 코드,
    상기 비디오 데이터 및 상기 베이스 층 프레임들로부터 움직임 보상된 나머지 영상들을 발생시키기 위한 코드,
    일시 인핸스먼트 프레임들을 생성하기 위해 상기 움직임 보상된 나머지 영상들을 인코딩하기 위한 코드,
    상기 비디오 데이터, 상기 베이스 층 프레임들 및 상기 일시 인핸스먼트 프레임들로부터 나머지 영상들을 발생시키기 위한 코드, 및
    품질 인핸스먼트 프레임들을 생성하기 위해 파인 그래뉼러 코딩 기술을 이용하여 상기 나머지 영상들을 인코딩하기 위한 코드를 포함하는, 메모리 매체.
  14. 베이스 층 및 인핸스먼트 층을 포함하는 비디오 신호를 디코딩하기 위한 코드를 포함하는 메모리 매체에 있어서,
    상기 코드는,
    비디오 프레임들을 생성하기 위해 상기 베이스 층을 디코딩하기 위한 코드,
    움직임 벡터들을 생성하기 위해 상기 인핸스먼트 층을 디코딩하기 위한 코드,
    부가 비디오 프레임들을 생성하기 위해 상기 움직임 벡터들에 따라 상기 비디오 프레임들에 대해 움직임 보상을 수행하기 위한 코드, 및
    비디오 시퀀스를 형성하기 위해 상기 비디오 프레임들과 상기 부가 비디오 프레임들을 조합하기 위한 코드를 포함하는, 메모리 매체.
  15. 비디오 데이터를 코딩하는 장치에 있어서,
    베이스 층 프레임들을 생성하기 위해 상기 비디오 데이터의 일부를 코딩하는 수단,
    상기 비디오 데이터 및 상기 베이스 층 프레임들로부터 움직임 보상된 나머지 영상들을 발생시키는 수단, 및
    일시 인핸스먼트 프레임들을 생성하기 위해 파인 그래뉼러 코딩 기술을 이용하여 상기 움직임 보상된 나머지 영상들을 코딩하는 수단을 포함하는, 비디오 데이터 코딩 장치.
  16. 비디오 데이터를 코딩하는 장치에 있어서,
    베이스 층 프레임들을 생성하기 위해 상기 비디오 데이터의 일부를 코딩하기 위한 수단,
    상기 비디오 데이터 및 상기 베이스 층 프레임들로부터 움직임 보상된 나머지 영상들을 발생시키기 위한 수단,
    일시 인핸스먼트 프레임들을 생성하기 위해 상기 움직임 보상된 나머지 영상들을 코딩하기 위한 수단,
    상기 비디오 데이터, 상기 베이스 층 프레임들 및 상기 일시 인핸스먼트 프레임들로부터 나머지 영상들을 발생시키기 위한 수단, 및
    품질 인핸스먼트 프레임들을 생성하기 위해 파인 그래뉼러 코딩 기술을 이용하여 상기 나머지 영상들을 코딩하기 위한 수단을 포함하는, 비디오 데이터 코딩 장치.
  17. 베이스 층 및 인핸스먼트 층을 포함하는 비디오 신호를 디코딩하는 장치에 있어서,
    비디오 프레임들을 생성하기 위해 상기 베이스 층을 디코딩하기 위한 수단,
    움직임 벡터들을 생성하기 위해 상기 인핸스먼트 층을 디코딩하기 위한 수단,
    부가 비디오 프레임들을 생성하기 위해 상기 움직임 벡터들에 따라 상기 비디오 프레임들에 대해 움직임 보상을 수행하기 위한 수단, 및
    비디오 시퀀스를 형성하기 위해 상기 비디오 프레임들과 상기 부가 비디오 프레임들을 조합하기 위한 수단을 포함하는, 비디오 신호 디코딩 장치.
KR1020017009255A 1999-11-23 2000-11-02 하이브리드 일시－ｓｎｒ 파인 그래뉼러 스케일러빌리티 비디오 코딩 KR100758139B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16706799P 1999-11-23 1999-11-23
US60/167,067 1999-11-23
US09/590,825 2000-06-09
US09/590,825 US6639943B1 (en) 1999-11-23 2000-06-09 Hybrid temporal-SNR fine granular scalability video coding

Publications (2)

Publication Number Publication Date
KR20010092797A KR20010092797A (ko) 2001-10-26
KR100758139B1 true KR100758139B1 (ko) 2007-09-13

Family

ID=26862843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017009255A KR100758139B1 (ko) 1999-11-23 2000-11-02 하이브리드 일시－ｓｎｒ 파인 그래뉼러 스케일러빌리티 비디오 코딩

Country Status (11)

Country Link
US (1) US6639943B1 (ko)
EP (1) EP1151613B1 (ko)
JP (1) JP4729220B2 (ko)
KR (1) KR100758139B1 (ko)
CN (1) CN1166200C (ko)
BR (1) BR0007657A (ko)
MY (1) MY125988A (ko)
PL (1) PL348970A1 (ko)
RU (1) RU2294058C2 (ko)
TR (1) TR200102123T1 (ko)
WO (1) WO2001039503A1 (ko)

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931060B1 (en) * 1999-12-07 2005-08-16 Intel Corporation Video processing of a quantized base layer and one or more enhancement layers
JP2001169293A (ja) * 1999-12-08 2001-06-22 Nec Corp 画像伝送装置
US7269785B1 (en) * 1999-12-30 2007-09-11 Genesis Microchip Inc. Digital manipulation of video in digital video player
US7649943B2 (en) * 2000-04-21 2010-01-19 Microsoft Corporation Interface and related methods facilitating motion compensation in media processing
US7634011B2 (en) * 2000-04-21 2009-12-15 Microsoft Corporation Application program interface (API) facilitating decoder control of accelerator resources
US6891893B2 (en) * 2000-04-21 2005-05-10 Microsoft Corp. Extensible multimedia application program interface and related methods
US6940912B2 (en) * 2000-04-21 2005-09-06 Microsoft Corporation Dynamically adaptive multimedia application program interface and related methods
GB2364842A (en) * 2000-07-11 2002-02-06 Motorola Inc Method and system for improving video quality
JP3561485B2 (ja) * 2000-08-18 2004-09-02 株式会社メディアグルー 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体
US7133449B2 (en) * 2000-09-18 2006-11-07 Broadcom Corporation Apparatus and method for conserving memory in a fine granularity scalability coding system
US7020193B2 (en) * 2000-09-22 2006-03-28 Koninklijke Philips Electronics N.V. Preferred transmission/streaming order of fine-granular scalability
US20020037046A1 (en) * 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
CN1636394A (zh) * 2000-10-11 2005-07-06 皇家菲利浦电子有限公司 细粒视频编码的空间可缩放性
US7463683B2 (en) * 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
US20020126759A1 (en) 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
US20070053428A1 (en) * 2001-03-30 2007-03-08 Vixs Systems, Inc. Managed degradation of a video stream
US8107524B2 (en) * 2001-03-30 2012-01-31 Vixs Systems, Inc. Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network
US6785334B2 (en) * 2001-08-15 2004-08-31 Koninklijke Philips Electronics N.V. Method for transmission control in hybrid temporal-SNR fine granular video coding
US6909753B2 (en) * 2001-12-05 2005-06-21 Koninklijke Philips Electronics, N.V. Combined MPEG-4 FGS and modulation algorithm for wireless video transmission
US6996172B2 (en) * 2001-12-21 2006-02-07 Motorola, Inc. Method and structure for scalability type selection in digital video
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
KR100959573B1 (ko) * 2002-01-23 2010-05-27 노키아 코포레이션 비디오 코딩시 이미지 프레임들의 그루핑
US6944222B2 (en) * 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
KR100556838B1 (ko) * 2002-09-17 2006-03-10 엘지전자 주식회사 미세단위 신축형 부호화 및 복호화 장치와 방법
KR100925627B1 (ko) * 2002-09-28 2009-11-06 주식회사 케이티 영상 분할에 기반한 신축적인 동영상 부호화/복호화 장치
US7480252B2 (en) 2002-10-04 2009-01-20 Koniklijke Philips Electronics N.V. Method and system for improving transmission efficiency using multiple-description layered encoding
WO2004052003A1 (en) * 2002-12-03 2004-06-17 Thomson Licensing S.A. Hybrid scalable decoder and method for standard-definition and high-definition video formats on a single-disc
US20040179606A1 (en) * 2003-02-21 2004-09-16 Jian Zhou Method for transcoding fine-granular-scalability enhancement layer of video to minimized spatial variations
FR2852773A1 (fr) * 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
US7406176B2 (en) * 2003-04-01 2008-07-29 Microsoft Corporation Fully scalable encryption for scalable multimedia
KR101046912B1 (ko) * 2003-06-19 2011-07-07 톰슨 라이센싱 저 복잡도의 공간 스케일러블 인코딩을 위한 방법 및 장치
US7620545B2 (en) * 2003-07-08 2009-11-17 Industrial Technology Research Institute Scale factor based bit shifting in fine granularity scalability audio coding
US20050010396A1 (en) * 2003-07-08 2005-01-13 Industrial Technology Research Institute Scale factor based bit shifting in fine granularity scalability audio coding
US7274742B2 (en) * 2003-08-13 2007-09-25 Skystream Networks Inc. Model and model update technique in a system for modeling the relationship of the bit rate of a transport stream and the bit rate of an elementary stream carried therein
US7693222B2 (en) 2003-08-13 2010-04-06 Ericsson Television Inc. Method and system for re-multiplexing of content-modified MPEG-2 transport streams using PCR interpolation
US7342968B2 (en) * 2003-08-13 2008-03-11 Skystream Networks Inc. Method and system for modeling the relationship of the bit rate of a transport stream and the bit rate of an elementary stream carried therein
JP2007513565A (ja) * 2003-12-03 2007-05-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｍｐｅｇ−２システムにおいてスケーラビリティ・サポートを向上させたシステム及び方法
KR100537517B1 (ko) * 2004-01-13 2005-12-19 삼성전자주식회사 오디오 데이타 변환 방법 및 장치
US7830965B2 (en) * 2004-01-14 2010-11-09 Sony Ericsson Mobile Communications Ab Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data
KR20050090302A (ko) * 2004-03-08 2005-09-13 경희대학교 산학협력단 비디오 인코더/디코더, 비디오 인코딩/디코딩 방법, 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
US8315307B2 (en) * 2004-04-07 2012-11-20 Qualcomm Incorporated Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability
WO2005109899A1 (en) 2004-05-04 2005-11-17 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion
US8948262B2 (en) * 2004-07-01 2015-02-03 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
CN101189882B (zh) 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
KR100679018B1 (ko) * 2004-09-07 2007-02-05 삼성전자주식회사 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더
US7778474B2 (en) * 2004-10-06 2010-08-17 Nippon Telegraph And Telephone Corporation Scalable encoding method and apparatus, scalable decoding method and apparatus, programs therefor, and storage media for storing the programs
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
EP1813114A4 (en) * 2004-10-18 2007-11-07 Samsung Electronics Co Ltd METHOD AND DEVICE FOR FORWARD DECODING A HYBRID BITSTROM
JP4543873B2 (ja) * 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法
JP2008515328A (ja) * 2004-10-18 2008-05-08 サムスン エレクトロニクス カンパニー リミテッド 階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法と、ビデオエンコーダおよびデコーダ
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
KR20060059769A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 영상신호의 엔코딩시에 베이스 레이어 픽처의 벡터를이용하기 위한 미세정보를 코딩하는 방법과 그 미세정보를이용하는 디코딩 방법
KR20060059764A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 앞서 변환된 에이취-픽처를 기준픽처로 이용하는 영상신호의 엔코딩 방법 및 장치와 그 영상신호를 디코딩하는 방법및 장치
US20060120454A1 (en) * 2004-11-29 2006-06-08 Park Seung W Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
US20060114995A1 (en) * 2004-12-01 2006-06-01 Joshua Robey Method and system for high speed video encoding using parallel encoders
KR20060069227A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
FR2880743A1 (fr) * 2005-01-12 2006-07-14 France Telecom Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants
KR100703744B1 (ko) 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
JP5065051B2 (ja) * 2005-02-18 2012-10-31 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
US8345762B2 (en) 2005-02-18 2013-01-01 Thomson Licensing Method for deriving coding information for high resolution pictures from low resolution pictures and coding and decoding devices implementing said method
TW200704200A (en) 2005-03-10 2007-01-16 Qualcomm Inc Content classification for multimedia processing
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
RU2377736C2 (ru) 2005-04-13 2009-12-27 Нокиа Корпорейшн Кодирование, хранение и передача информации о масштабируемости
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR100896279B1 (ko) 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100746007B1 (ko) 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100678907B1 (ko) * 2005-07-12 2007-02-06 삼성전자주식회사 하위 계층의 복원 데이터를 사용하여 ｆｇｓ 계층을 인코딩및 디코딩하는 방법 및 장치
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
CN101313592B (zh) * 2005-09-27 2011-03-02 高通股份有限公司 用于与时域边界进行数据对准的方法和装置
EP1938618A2 (en) * 2005-09-29 2008-07-02 Thomson Research Funding Corporation Method and apparatus for constrained variable bit rate (vbr) video encoding
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20070096751A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 영상 데이터를 코딩/디코딩하는 방법 및 장치
WO2007040344A1 (en) * 2005-10-05 2007-04-12 Lg Electronics Inc. Methods and apparatuses for constructing a residual data stream and methods and apparatuses for reconstructing image blocks
FR2895172A1 (fr) * 2005-12-20 2007-06-22 Canon Kk Procede et dispositif de codage d'un flux video code suivant un codage hierarchique, flux de donnees, procede et dispositif de decodage associes
EP1969853A1 (en) * 2006-01-05 2008-09-17 Thomson Licensing Inter-layer motion prediction method
US8264968B2 (en) 2006-01-09 2012-09-11 Lg Electronics Inc. Inter-layer prediction method for video signal
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
EP1879399A1 (en) * 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
DE602007008730D1 (de) 2006-07-13 2010-10-07 Qualcomm Inc Videokodierung mit feinkörniger skalierbarkeit anhand von zyklisch ausgerichteten fragmenten
KR100809301B1 (ko) * 2006-07-20 2008-03-04 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US7991236B2 (en) 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
US8990305B2 (en) * 2006-10-18 2015-03-24 Microsoft Corporation Techniques for virtual conferencing servers
EP2082576A4 (en) * 2006-10-23 2011-05-04 Vidyo Inc SYSTEM AND METHOD FOR VARIABLE-SCALE VIDEO ENCODING USING TELESCOPIC MODE INDICATORS
US20080100694A1 (en) * 2006-10-27 2008-05-01 Microsoft Corporation Distributed caching for multimedia conference calls
EP1933565A1 (en) * 2006-12-14 2008-06-18 THOMSON Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
CN100551044C (zh) 2007-04-06 2009-10-14 华为技术有限公司 实现视频直播的方法、设备及系统
FR2917262A1 (fr) * 2007-06-05 2008-12-12 Thomson Licensing Sas Dispositif et procede de codage d'un contenu video sous la forme d'un flux scalable.
JP4877090B2 (ja) * 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4826546B2 (ja) * 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
CN101682759B (zh) * 2007-06-27 2013-01-09 汤姆森许可贸易公司 增强数字图像的图像质量的方法和设备
EP2061248A1 (en) * 2007-11-13 2009-05-20 IBBT vzw Motion estimation and compensation process and device
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8249142B2 (en) * 2008-04-24 2012-08-21 Motorola Mobility Llc Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques
US8401075B2 (en) * 2008-12-31 2013-03-19 General Instrument Corporation Hybrid video encoder including real-time and off-line video encoders
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
KR101216329B1 (ko) * 2009-12-16 2012-12-27 한국전자통신연구원 복수 계층 영상의 품질 측정 방법 및 시스템
JP5916624B2 (ja) 2010-01-06 2016-05-11 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミング
US8428364B2 (en) 2010-01-15 2013-04-23 Dolby Laboratories Licensing Corporation Edge enhancement for temporal scaling with metadata
US8731152B2 (en) 2010-06-18 2014-05-20 Microsoft Corporation Reducing use of periodic key frames in video conferencing
GB201020424D0 (en) 2010-12-02 2011-01-19 Qinetiq Ltd Quantum key distribution
US9584804B2 (en) * 2012-07-10 2017-02-28 Qualcomm Incorporated Coding SEI NAL units for video coding
CN108540809A (zh) 2012-10-09 2018-09-14 英迪股份有限公司 用于多层视频的解码装置、编码装置及层间预测方法
EP2731337B1 (en) 2012-10-17 2017-07-12 Dolby Laboratories Licensing Corporation Systems and methods for transmitting video frames
KR20140087971A (ko) * 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
US20150172680A1 (en) * 2013-12-16 2015-06-18 Arris Enterprises, Inc. Producing an Output Need Parameter for an Encoder
JP6497874B2 (ja) 2014-08-28 2019-04-10 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP3685576A1 (en) * 2017-09-22 2020-07-29 V-Nova International Limited Obtaining a target representation of a time sample of a signal

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2551641B2 (ja) * 1988-10-24 1996-11-06 日本電信電話株式会社 可変レート画像符号化装置および可変レート画像復号化装置
US5001561A (en) * 1990-05-02 1991-03-19 At&T Bell Laboratories Embedded coding system for video signals
US5528299A (en) * 1990-10-09 1996-06-18 U.S. Philips Corporation Coding system for digital signals corresponding to television pictures and corresponding decoding system
US5218435A (en) * 1991-02-20 1993-06-08 Massachusetts Institute Of Technology Digital advanced television systems
US5253056A (en) 1992-07-02 1993-10-12 At&T Bell Laboratories Spatial/frequency hybrid video coding facilitating the derivatives of variable-resolution images
CA2127151A1 (en) 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US5742892A (en) * 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
JP3788823B2 (ja) 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
ID20680A (id) * 1997-04-01 1999-02-11 Sony Corp Alat dan metode pemberian kode bayangan, alat dan metode penguraian kode bayangan, dan media pendistribusinya
IL122714A (en) 1997-04-02 2011-06-30 Samsung Electronics Co Ltd Digital data coding/decoding method and apparatus
KR100261253B1 (ko) 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
US5973755A (en) * 1997-04-04 1999-10-26 Microsoft Corporation Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6229850B1 (en) * 1997-07-22 2001-05-08 C-Cube Semiconductor Ii, Inc. Multiple resolution video compression
WO1999033274A1 (en) 1997-12-19 1999-07-01 Kenneth Rose Scalable predictive coding method and apparatus
US6501860B1 (en) * 1998-01-19 2002-12-31 Canon Kabushiki Kaisha Digital signal coding and decoding based on subbands
US8050329B2 (en) * 1998-06-26 2011-11-01 Mediatek Inc. Method and apparatus for generic scalable shape coding
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6275531B1 (en) 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
US6501797B1 (en) * 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6480547B1 (en) * 1999-10-15 2002-11-12 Koninklijke Philips Electronics N.V. System and method for encoding and decoding the residual signal for fine granular scalable video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SIGNAL PROCESSING, 1999.09.30, ELSEVIER, RADHA H. ET AL, "SCALABLE INTERNET VIDEO USING MPEG-4", 95-126. *
SIGNAL PROCESSING, 1999.09.30, ELSEVIER, RADHA H. ET AL, "SCALABLE INTERNET VIDEO USING MPEG-4", 95-126.(공개일:1999년09월30 *

Also Published As

Publication number Publication date
EP1151613B1 (en) 2012-12-26
WO2001039503A1 (en) 2001-05-31
RU2294058C2 (ru) 2007-02-20
MY125988A (en) 2006-09-29
KR20010092797A (ko) 2001-10-26
CN1166200C (zh) 2004-09-08
JP4729220B2 (ja) 2011-07-20
JP2003515987A (ja) 2003-05-07
BR0007657A (pt) 2001-11-06
TR200102123T1 (tr) 2002-01-21
EP1151613A1 (en) 2001-11-07
CN1355995A (zh) 2002-06-26
US6639943B1 (en) 2003-10-28
PL348970A1 (en) 2002-06-17

Similar Documents

Publication Publication Date Title
KR100758139B1 (ko) 하이브리드 일시－ｓｎｒ 파인 그래뉼러 스케일러빌리티 비디오 코딩
KR100954816B1 (ko) 비디오 및 비디오 신호를 코딩하는 방법, 비디오를 코딩하기 위한 장치 및 컴퓨터 판독 가능한 기록 매체, 및 베이스 층 데이터-스트림과 강화층 데이터-스트림을 디코딩하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP4109113B2 (ja) ビデオ伝送におけるビットストリーム間の切換
US8031776B2 (en) Method and apparatus for predecoding and decoding bitstream including base layer
US6343098B1 (en) Efficient rate control for multi-resolution video encoding
US8331434B2 (en) Method and apparatus for video coding, predecoding, and video decoding for video streaming service, and image filtering method
US20020037046A1 (en) Totally embedded FGS video coding with motion compensation
US20020118742A1 (en) Prediction structures for enhancement layer in fine granular scalability video coding
US20060291562A1 (en) Video coding method and apparatus using multi-layer based weighted prediction
WO2001003441A1 (en) System and method for improved fine granular scalable video using base layer coding information
JP2004511977A (ja) 単一ループ動き補償ファイングラニュラースケーラビリティ
EP1878252A1 (en) Method and apparatus for encoding/decoding multi-layer video using weighted prediction
US6944346B2 (en) Efficiency FGST framework employing higher quality reference frames
WO2006006793A1 (en) Video encoding and decoding methods and video encoder and decoder
WO2006043754A1 (en) Video coding method and apparatus supporting temporal scalability

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20120821

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130822

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140825

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150819

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160818

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170802

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180814

Year of fee payment: 12