KR100679018B1 - 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더 - Google Patents

다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더 Download PDF

Info

Publication number
KR100679018B1
KR100679018B1 KR1020040090991A KR20040090991A KR100679018B1 KR 100679018 B1 KR100679018 B1 KR 100679018B1 KR 1020040090991 A KR1020040090991 A KR 1020040090991A KR 20040090991 A KR20040090991 A KR 20040090991A KR 100679018 B1 KR100679018 B1 KR 100679018B1
Authority
KR
South Korea
Prior art keywords
frame
video
coded
layer
decoding
Prior art date
Application number
KR1020040090991A
Other languages
English (en)
Other versions
KR20060022627A (ko
Inventor
한우진
하호진
차상창
이배근
이교혁
이재영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2005/002654 priority Critical patent/WO2006028330A1/en
Priority to EP05780534A priority patent/EP1787473A4/en
Priority to JP2007529675A priority patent/JP4660550B2/ja
Priority to CN2005800300081A priority patent/CN101015214B/zh
Priority to US11/219,764 priority patent/US7933456B2/en
Publication of KR20060022627A publication Critical patent/KR20060022627A/ko
Application granted granted Critical
Publication of KR100679018B1 publication Critical patent/KR100679018B1/ko
Priority to HK07111669.0A priority patent/HK1103501A1/xx

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다계층 비디오 코딩 및 디코딩 방법과 다계층 비디오 인코더 및 디코더를 제공한다.
본 발명의 일 실시예에 따른 다계층 비디오 코딩방법은 소정 해상도의 비디오 프레임을 제1 비디오 코딩방식으로 코딩하는 단계와, 상기 제1 비디오 코딩방식으로 코딩된 프레임을 참조하여 상기 비디오 프레임을 상기 해상도와 동일한 해상도로 제2 비디오 코딩방식으로 코딩하는 단계, 및 상기 제1 및 제2 비디오 코딩방식으로 코딩된 프레임들을 포함한 비트스트림을 생성하는 단계를 포함한다.
다계층, 웨이브렛, AVC, 비디오 코딩

Description

다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및 디코더{Method for multi-layer video coding and decoding, multi-layer video encoder and decoder}
도 1은 비디오 압축이 적용되는 환경을 보여주는 도면이다.
도 2 및 도 3은 각각 다계층(multi-layer) 비디오 비트스트림의 구조의 예를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 다계층 비디오 비트스트림의 구조를 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 다계층 비디오 인코더의 구성을 보여주는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 다계층 비디오 코딩 과정을 보여주는 흐름도이다.
도 7 및 도 8은 각각 본 발명의 실시예에 따른 다계층 비디오 코딩 과정을 보다 상세히 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 다계층 비디오 코딩 과정에서 각 층의 비트레이트를 할당하는 과정을 보여주는 도면이다.
도 10 및 도 11은 각각 본 발명의 다른 실시예에 따른 다계층 비디오 비트스트림의 구조를 보여주는 도면이다.
도 12는 본 발명의 일 실시예에 따른 다계층 비디오 디코더의 구성을 보여주는 블록도이다.
도 13은 본 발명의 일 실시예에 따른 다계층 비디오 디코딩 과정을 보여주는 흐름도이다.
본 발명은 다계층 비디오 코딩 알고리즘에 관한 것으로서, 보다 상세하게는 소정의 해상도 계층을 복수의 코딩알고리즘으로 코딩하는 다계층 비디오 코딩 알고리즘에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로하며 전송시에 넓은 대역폭을 필요로 한다. 예를 들면 640*480의 해상도를 갖는 24 bit 트루컬러의 이미지는 한 프레임당 640*480*24 bit의 용량 다시 말해서 약 7.37Mbit의 데이터가 필요하다. 이를 초당 30 프레임으로 전송하는 경우에는 221Mbit/sec의 대역폭을 필요로 하며, 90분 동안 상영되는 영화를 저장하려면 약 1200G bit의 저장공간을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩 기법을 사용하는 것이 필수적이다.
비디오 데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy)을 없애는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임간의 변화가 거의 없는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 없앰으로서 비디오 데이터를 압축할 수 있다.
도 1은 비디오 압축이 적용되는 환경을 보여주고 있다.
비디오 데이터는 비디오 인코더(110)에서 압축된다. 현재 알려진 비디오 압축방식은 MPEG-2, MPEG-4, H.263, H.264 등이 있으며, 이러한 압축방식은 DCT(Discrete Cosine Transform)에 기반한다. 한편, 최근에는 웨이브렛 변환에 기반한 스케일러블 비디오 코딩에 대한 연구가 활발하다. 압축된 비디오 데이터는 네트워크(120)를 통해 비디오 디코더(130)로 전달된다. 비디오 디코더(130)는 압축된 비디오 데이터를 디코딩하여 비디오 데이터를 복원한다.
비디오 인코더(110)는 네트워크(120)의 대역폭(bandwidth)을 넘지 않도록 비디오 데이터를 압축해야 압축된 비디오 데이터를 비디오 디코더(130)가 디코딩할 수 있다. 그러나 네트워크(120)의 통신 대역폭은 네트워크의 종류에 따라 다르다. 예를 들면 이더넷을 이용할 때의 통신 대역폭과, 무선 랜을 이용할 때의 통신 대역폭이 다르다. 또한, 셀룰러 통신망을 이용할 경우에 통신 대역폭은 매우 좁을 수 있다. 이에 따라 하나의 압축된 비디오 데이터에서 다양한 비트레이트의 압축된 비디오 데이터를 얻을 수 있는 방법, 특히 스케일러블 비디오 코딩에 대한 연구가 활발하다.
스케일러블 비디오 코딩은 스케일러빌리티를 갖도록 비디오 데이터를 코딩하는 비디오 압축방식을 의미한다. 스케일러빌리티란 하나의 비디오 시퀀스를 압축하여 얻은 비트스트림으로부터 해상도와 프레임 레이트 및 화질을 달리하는 다양한 비디오 시퀀스를 복원할 수 있는 특성을 의미한다. 시간적 스케일러빌리티는 MCTF(Motion Compensation Temporal Filtering), UMCTF(Unconstrained MCTF), STAR(Successive Temporal Approximation and Referencing) 등의 알고리즘으로 얻을 수 있다. 공간적 스케일러빌리티는 웨이브렛 변환 알고리즘으로 얻을 수 있으나, 최근에는 다계층(multi-layer) 기법에 대한 연구가 활발하다. SNR(Signal to Noise Ratio) 스케일러빌리티는 EZW, SPIHT, EZBC, EBCOT와 같은 양자화 알고리즘으로 얻을 수 있다.
도 2 및 도 3은 다계층 비디오 스트림 구조의 예를 보여주고 있다.
도 2를 참조하면, 다계층 비디오 인코더는 현재까지 알려진 가장 코딩효율이 높은 MPEG-4 AVC(Advanced Video Coding) 알고리즘으로 각 계층을 코딩한다. MPEG-4 AVC 코딩알고리즘은 프레임들간의 시간적 중복을 제거한 후에 DCT(Discrete Cosine Transform)방식으로 시간적 중복이 제거된 프레임들을 변환시킨 후에 양자화시킨다.
도 2를 참조하면, 계층들은 서로 해상도와, 프레임 레이트, 및 전송율 중에서 적어도 어느 한가지를 달리한다. 비디오 코딩 과정은 가장 낮은 해상도와 프레임 레이트 및 전송율을 갖는 기초계층 프레임을 코딩한 후에 코딩된 기초계층 프레 임을 참조하여 향상계층을 코딩한다. 이와 같이 AVC에 기반한 다계층 비디오 코딩방식은 각 계층에서 AVC에 기반한 기술들이 사용되므로 우수한 코딩효율을 갖는다. 특히, AVC 알고리즘에서 사용되는 인트라 예측과 디블록킹 기술을 이용하면 비디오 코딩 과정에서 생기는 대부분의 아티팩트를 제거할 수 있다. 또한 각 계층은 레이트-왜곡(Rate-Distortion) 과점에서 최적화되어 있다. 그러나 생성된 비트스트림은 스케일러빌리티 특성이 유연하지 못하다. 다계층의 AVC 비디오 코딩방식으로 생성된 비트스트림으로부터는 미세단위 스케일러빌리티(Fine Grain Scalability; 이하, FGS라 함)를 쉽게 구현할 수 없고, 결합된 스케일러빌리티(combined scalability) 특성을 쉽게 얻을 수 없다. 왜냐하면 각 스케일러빌리티는 서로 종속되어 있기 때문이다. 실제 사용될 계층이 많을 경우에 도 2의 다계층 코딩방식은 모든 계층에 대한 AVC 코딩을 수행해야 한다.
도 3을 참조하면, 가장 낮은 해상도와 프레임 레이트 및 전송율을 갖는 기초계층을 AVC 방식으로 코딩한 후에, 코딩된 기초계층을 참조하여 가장 높은 해상도와 프레임 레이트 및 화질의 계층을 웨이브렛 코딩방식을 이용하여 코딩한다.
도 3을 참조하면, 가장 높은 해상도와 프레임 레이트 및 전송율을 갖는 계층을 웨이브렛 코딩방식으로 코딩하므로 충분한 스케일러빌리티(full scalability)를 갖는 비트스트림을 얻을 수 있다. 또한, 가장 낮은 해상도 계층을 AVC 방식으로 코딩하므로 비트스트림으로부터 비디오 디코더는 최저 해상도에서 만족할 수 있는 화질의 비디오 프레임을 재구성할 수 있다.
도 2와 도 3을 비교하면, 도 2의 비트스트림은 모든 계층에 최적화되어 있지 만 스케일러빌리티의 특성이 약하고, 도 3은 스케일러빌리티의 특성은 좋지만 하나의 웨이브렛 코딩된 계층으로부터 가장 낮은 해상도의 AVC 계층을 제외한 모든 계층을 재구성해야 하므로 화질이 좋지 않을 수 있다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 코딩효율과 스케일러빌리티가 우수한 다계층 비디오 코딩 방법 및 디코딩 방법과 다계층 비디오 인코더 및 디코더를 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 다계층 비디오 코딩방법은 (a) 소정 해상도의 비디오 프레임을 제1 비디오 코딩방식으로 코딩하는 단계와, (b) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 참조하여 상기 비디오 프레임을 상기 해상도와 동일한 해상도로 제2 비디오 코딩방식으로 코딩하는 단계, 및 (c) 상기 제1 및 제2 비디오 코딩방식으로 코딩된 프레임들을 포함한 비트스트림을 생성하는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 다계층 비디오 코딩방법은 (a) 비디오 프레임을 다운샘플링하여 저해상도 비디오 프레임을 생성하는 단계와, (b) 상기 저해상도 비디오 프레임을 비디오 코딩하는 단계와, (c) 상기 저해상도 계층의 코딩된 프레임을 참조하여 상기 비디오 프레임을 비디오 코딩하는 단계, 및 (d) 상기 저해상도 및 고해상도 계층 코딩된 프레임들을 포함한 비트스트림을 생성하는 단계를 포함하며, 상기 (b) 단계는 (b1) 상기 저해상도 비디오 프레임을 제1 비디오 코딩방식으로 코딩하는 단계와, (b2) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 참조하여 상기 저해상도 비디오 프레임을 제2 비디오 코딩방식으로 코딩하는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 다계층 비디오 코딩방법은 (a) 소정 해상도 계층의 비디오 프레임을 제1 비디오 코딩방식으로 코딩하는 단계와, (b) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 참조하여 상기 비디오 프레임을 상기 코딩된 프레임의 해상도와 동일한 해상도로 제2 비디오 코딩방식으로 코딩하는 단계, 및 (c) 모든 해상도 계층의 코딩된 프레임들을 포함하는 비트스트림을 생성하는 단계를 포함하며, 상기  (a) 및 (b) 단계는 모든 해상도 계층에서 저해상도 계층부터 고해상도 계층으로 순환적으로 수행된다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 다계층 비디오 인코더는 고해상도 비디오 프레임을 다운샘플링하여 저해상도의 비디오 프레임을 생성하는 다운샘플러와, 상기 저해상도 비디오 프레임을 비디오 코딩하는 저해상도 비디오 인코딩부와, 상기 저해상도 비디오 인코딩부에 의해 저해상도 코딩된 프레임을 참조하여 상기 고해상도 비디오 프레임을 비디오 코딩하는 고해상도 비디오 인코딩부, 및 상기 저해상도의 코딩된 프레임 및 고해상도의 코딩된 프레임을 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함하며, 상기 저해상도 비디오 인코딩부는 저해상도의 비디오 프레임을 제1 비디오 코딩방식으로 코딩하고, 상기 제1 비디오 코딩방식으로 코딩된 프레임을 참조하여 상기 비디오 프레임을 상기 해상도와 동일한 해상도로 제2 비디오 코딩방식으로 코딩하여 상기 저해상도 코딩된 프레임을 생성한다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 다계층 비디오 디코딩방법은 (a) 비트스트림으로부터 제1 및 제2 코딩된 프레임들을 추출하는 단계와, (b) 상기 제1 코딩된 프레임을 제1 비디오 디코딩방식으로 디코딩하여 제1 프레임을 재구성하는 단계, 및 (c) 상기 재구성된 제1 프레임을 참조하여 상기 정보로부터 얻은 제2 코딩된 프레임을 상기 재구성된 제1 프레임과 동일한 해상도로 제2 비디오 디코딩방식으로 디코딩하여 제2 프레임을 재구성하는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 다계층 비디오 디코딩방법은 (a) 비트스트림으로부터 제1 및 제2 코딩된 프레임들을 추출하는 단계와, (b) 상기 제1 코딩된 프레임을 제1 비디오 디코딩방식으로 디코딩하여 제1 프레임을 재구성하는 단계와, (c) 상기 재구성된 제1 프레임과 동일한 해상도로 상기 제2 코딩된 프레임을 제2 비디오 디코딩방식으로 디코딩하여 제2 프레임을 재구성하는 단계, 및 (d) 상기 재구성된 제1 및 제2 프레임들을 더하여 비디오 프레임을 재구성하는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 다계층 비디오 디코딩방법은 (a) 비트스트림으로부터 저해상도 및 고해상도 계층 코딩된 프레임들을 추출하는 단계와, (b) 상기 저해상도 계층 코딩된 프레임을 디코딩하여 저해상도 계층 프레임을 재구성하는 단계, 및 (c) 상기 재구성된 저해상도 계층 프레임을 참조하여 상기 정보로부터 얻은 고해상도 계층 코딩된 프레임을 디코딩하여 고해상도 계층 프레임을 재구성하는 단계를 포함하며, 상기 저해상도 계층 코딩된 프레임은 제1 비디오 코딩방식으로 코딩된 프레임과 제2 비디오 코딩방식으로 코딩된 프레임들로 구성되며, 상기 (b) 단계는 (b1) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 제1 비디오 디코딩방식으로 디코딩하여 제1 프레임을 재구성하는 단계와, (b2) 상기 재구성된 제1 프레임을 참조하여 상기 제2 비디오 코딩방식으로 코딩된 프레임을 제2 비디오 디코딩방식으로 디코딩하여 제2 프레임(저해상도 프레임)을 재구성하는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 다계층 비디오 디코딩방법은 (a) 비트스트림으로부터 저해상도 및 고해상도 계층 코딩된 프레임들에 대한 정보를 추출하는 단계와, (b) 상기 정보로부터 얻은 저해상도 계층 코딩된 프레임을 디코딩하여 저해상도 계층 프레임을 재구성하는 단계, 및 (c) 상기 재구성된 저해상도 계층 프레임을 참조하여 상기 정보로부터 얻은 고해상도 계층 코딩된 프레임을 디코딩하여 고해상도 프레임을 재구성하는 단계를 포함하며, 상기 저해상도 계층 코딩된 프레임은 제1 비디오 코딩방식으로 코딩된 프레임과 제2 비디오 코딩방식으로 코딩된 프레임들로 구성되며, 상기 (b) 단계는 (b1) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 제1 비디오 디코딩방식으로 디코딩하여 제1 프레임을 재구성하는 단계와, (b2) 상기 제2 비디오 코딩방식으로 코딩된 프레임을 제2 비디오 디코딩방식으로 디코딩하여 제2 프레임을 재구성하는 단계, 및 (b3) 상기 재구성된 제1 프레임 및 제2 프레임을 더하여 저해상도 비디오 프레임을 재구성하는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 다계층 비디오 디코딩방법은, 비트스트림으로부터 저해상도 및 고해상도 계층 코딩된 프레임들에 대한 정보를 추출하고, 상기 정보로부터 저해상도 및 고해상도 계층 코딩된 프레임을 디코딩하여 비디오 프레임을 재구성하는 다계층 비디오 디코딩방법으로서, 각 해상도 계층의 코딩된 비디오 프레임은 제1 비디오 코딩방식으로 코딩된 제1 프레임과 제2 비디오 코딩방식으로 코딩된 제2 프레임으로 구성되며, (a) 소정 해상도 계층에서 코딩된 제1 프레임을 제1 비디오 디코딩방식으로 코딩하여 제1 프레임을 재구성하는 단계와 단계, 및 (b) 상기 재구성된 제1 프레임을 참조하여 상기 해상도 계층에서 코딩된 제2 프레임을 제2 비디오 디코딩방식으로 디코딩하여 제2 프레임을 재구성하는 단계를 포함하며, 상기 (a) 및 (b) 단계는 모든 해상도 계층에서 저해상도 계층부터 고해상도 계층 순서로 순환적으로 수행된다.
상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 다계층 비디오 디코딩방법은 비트스트림으로부터 저해상도 및 고해상도 계층 코딩된 프레임들에 대한 정보를 추출하고, 상기 정보로부터 저해상도 및 고해상도 계층 코딩된 프레임을 디코딩하여 비디오 프레임을 재구성하는 다계층 비디오 디코딩방법으로서, 각 해상도 계층의 코딩된 비디오 프레임은 제1 비디오 코딩방식으로 코딩된 제1 프레임과 제2 비디오 코딩방식으로 코딩된 제2 프레임으로 구성되며, (a) 소정 해상도 계층에서 코딩된 제1 프레임을 제1 비디오 디코딩방식으로 코딩하여 제1 프 레임을 재구성하는 단계와 단계와, (b) 상기 해상도 계층에서 코딩된 제2 프레임을 제2 비디오 디코딩방식으로 디코딩하여 제2 프레임을 재구성하는 단계, 및 (c) 상기 재구성된 제1 및 제2 프레임을 더하여 상기 해상도 계층의 프레임을 재구성하는 단계를 포함하며, 상기 (a), (b) 및 (c) 단계는 모든 해상도 계층에서 저해상도 계층부터 고해상도 계층 순서로 순환적으로 수행된다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 다계층 비디오 디코더는 비트스트림을 해석하여 고해상도 및 저해상도 계층 코딩된 프레임들을 추출하는 비트스트림 해석부와, 상기 저해상도 코딩된 프레임을 디코딩하는 저해상도 비디오 디코딩부, 및 상기 저해상도 비디오 디코딩부에 의해 재구성된 저해상도 프레임을 참조하여 상기 고해상도 계층 코딩된 프레임을 디코딩하는 고해상도 비디오 디코딩부를 포함하며, 상기 저해상도 비디오 디코딩부는 상기 저해상도 계층 코딩된 프레임을 구성하는 제1 코딩된 프레임을 제1 비디오 디코딩방식으로 디코딩하고, 상기 제1 비디오 디코딩방식으로 디코딩된 제1 프레임을 참조하여, 상기 저해상도 계층 코딩된 프레임을 구성하는 제2 코딩된 프레임을 제2 비디오 디코딩방식으로 디코딩하여 상기 저해상도 프레임을 재구성한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태 로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.
도 4는 본 발명의 일 실시예에 따른 다계층 비디오 코딩에 의해 생성된 비트스트림의 구조를 보여주는 도면이다.
본 실시예에서 비트스트림은 해상도 별로 두 개의 계층을 갖는다. 하나는 AVC 방식으로 코딩된 계층이고 다른 하나는 웨이브렛 코딩방식에 의해 코딩된 계층이다. 본 명세서에서 AVC 코딩 또는 AVC 계층은 AVC 알고리즘의 DCT 변환과 양자화를 채용한 코딩 또는 계층을 말하며, 웨이브렛 코딩방식 또는 웨이브렛 계층은 웨이브렛 변환과 임베디드 양자화를 채용한 코딩 또는 계층을 말한다. 생성된 비트스트림이 시간적 스케일러빌리티를 갖도록 하기 위하여 AVC 코딩과 웨이브렛 코딩은 모두 MCTF, UMCTF, 또는 STAR와 같이 시간적 스케일러빌리티를 갖는 알고리즘을 채용한다.
각 해상도에서 AVC 계층은 AVC 계층의 해상도-시간-화질(spatio-temporal-quality) 지점에서 코딩 효율을 보장하는 반면에 웨이브렛 계층은 FGS 특징을 보장한다. 프리디코더는 웨이브렛 계층 비트스트림의 일부를 단순하게 절단함으로써 AVC 계층과 웨이브렛 계층 사이의 화질을 갖는 비트스트림을 생성할 수 있다. 또한 다계층에서도 절단 시나리오는 비슷하게 적용할 수 있다.
예를 들어, 도 4의 비트스트림에서 프리디코더는 QCIF 해상도를 갖는 32~64 kbp의 화질을 갖는 비트스트림을 생성할 수 있다. 이를 위하여 프리디코더는 CIF 및 SD 해상도 계층을 모두 잘라내고 QCIF 해상도의 웨이브렛 계층의 일부 또는 전부를 잘라내면 된다.
이와 같이 다계층 비트스트림을 생성하기 위한 비디오 인코더의 예는 도 5를 참조하여 설명한다. 편의상 두 개의 해상도 계층을 갖는 비디오 인코더를 설명하지만, 이는 예시적인 것이다.
도 5는 본 발명의 일 실시예에 따른 다계층 비디오 인코더의 구성을 보여주는 블록도이다. 다계층 비디오 인코더는 다운샘플링러(550)와 저해상도 계층의 비디오 코딩을 위한 AVC 코딩부(510) 및 웨이브렛 코딩부(520)와 고해상도 계층의 비디오 코딩을 위한 AVC 코딩부(530) 및 웨이브렛 코딩부와 비트스트림을 생성하는 비트스트림 생성부(560)를 포함한다.
다운샘플러(550)는 비디오 프레임을 다운샘플링하여 저해상도 비디오 프레임을 생성한다.
다계층 비디오 인코더는 각 해상도 계층마다 두개의 코딩부를 갖는다. 하나는 AVC 코딩부이고 다른 하나는 웨이브렛 코딩부이다. 즉, 저해상도 계층의 코딩을 위해 다계층 비디오 인코더는 AVC 코딩부(510)와 웨이브렛 코딩부(520)를 포함하고, 고해상도 계층의 코딩을 위해 다계층 비디오 인코더는 AVC 코딩부(530)와 웨이브렛 코딩부(540)를 포함한다.
비트스트림 생성부(560)는 저해상도 및 고해상도 계층의 코딩된 프레임들을 포함하는 비트스트림을 생성한다.
비트스트림을 생성하는 과정은 다음과 같다.
먼저 다운샘플러(550)는 비디오 프레임(500)를 다운샘플링하여 해상도가 반인 저해상도 비디오 프레임을 생성한다. 생성된 저해상도 비디오 프레임은 저해상도 계층의 AVC 코딩부(510)와 웨이브렛 코딩부(520)로 제공되고, 비디오 프레임(500)은 고해상도 계층의 AVC 코딩부(530)와 웨이브렛 코딩부(540)로 제공된다.
저해상도 계층의 AVC 코딩부(510)는 저해상도 프레임의 시간적 중복을 제거하고, 시간적 중복이 제거된 저해상도 프레임을 DCT 변환하며, DCT 변환된 저해상도 프레임을 양자화하여 코딩한다. 이를 위하여 AVC 코딩부(510)는 시간적 필터링부(511)와 DCT 변환부(512) 및 양자화부(513)를 포함한다. 저해상도 계층 AVC 코딩된 데이터는 저해상도 웨이브렛 코딩 과정에 제공된다.
저해상도 계층은 웨이브렛 코딩부(520)는 저해상도 계층 AVC 코딩된 프레임을 참조하여 저해상도 프레임의 시간적 중복을 제거하고, 시간적 중복이 제거된 저해상도 프레임을 웨이브렛 변환하며, 웨이브렛 변환된 저해상도 프레임을 양자화하여 코딩한다. 이를 위하여 웨이브렛 코딩부(520)는 시간적 필터링부(521)와 웨이브렛 변환부(522) 및 양자화부(523)를 포함한다. 저해상도 계층 웨이브렛 코딩된 데이터는 고해상도 AVC 코딩 과정에 제공된다.
고해상도 계층의 AVC 코딩부(530)는 저해상도 계층 웨이브렛 코딩된 프레임을 참조하여 고해상도 프레임의 시간적 중복을 제거하고, 시간적 중복이 제거된 고해상도 프레임을 DCT 변환하며, DCT 변환된 고해상도 프레임을 양자화하여 코딩한다. 이를 위하여 AVC 코딩부(530)는 시간적 필터링부(531)와 DCT 변환부(532) 및 양자화부(533)를 포함한다. 고해상도 계층 AVC 코딩된 데이터는 고해상도 웨이브렛 코딩 과정에 제공된다.
고해상도 계층은 웨이브렛 코딩부(520)는 고해상도 계층 AVC 코딩된 프레임을 참조하여 고해상도 프레임의 시간적 중복을 제거하고, 시간적 중복이 제거된 고해상도 프레임을 웨이브렛 변환하며, 웨이브렛 변환된 고해상도 프레임을 양자화하여 코딩한다. 이를 위하여 웨이브렛 코딩부(520)는 시간적 필터링부(521)와 웨이브렛 변환부(522) 및 양자화부(523)를 포함한다.
비트스트림 생성부(560)는 저해상도 계층 AVC 코딩된 프레임과 웨이브렛 코딩된 프레임 및 고해상도 계층 AVC 코딩된 프레임과 웨이브렛 코딩된 프레임을 포함하는 비트스트림을 생성한다. 비트스트림은 코딩된 프레임들에 대한 정보외에도 시퀀스 헤더, GOP(Group Of Picture) 헤더, 프레임 헤더 등의 헤더 정보와 시간적 필터링과정에서 얻은 움직임 벡터와 같은 다른 정보들을 더 포함한다.
생성된 비트스트림은 프리디코더(미 도시됨)에서 프리디코딩되어 다계층 비디오 디코더로 전송된다. 예를 들면, 휴대 전화나 PDA와 같이 작은 디스플레이 화면을 갖는 디바이스를 위해서 프리디코더는 비트스트림에서 고해상도 계층을 잘라내고(truncating) 저해상도 계층의 코딩된 프레임만을 포함하는 비트스트림을 생성할 수 있다. 또한 프리디코더는 네트워크 상태가 좋지 않을 경우에 비트스트림의 일부를 잘라내어 낮은 비트레이트를 갖는 비트스트림을 생성할 수 있다. 한편 요구되는 프레임 레이트가 적을 경우에 프리디코더는 비트스트림에서 일부 프레임을 잘라내어 낮은 프레임레이트를 갖는 비트스트림을 생성할 수 있다.
도 6은 다계층 비디오 인코딩 과정을 보여주는 흐름도이다.
먼저 다계층 비디오 인코더에 비디오 프레임이 입력된다(S610). 다계층 비디오 인코더는 입력된 비디오 프레임을 다운샘플링한다(S620). 일 실시예에 있어서, 다계층 비디오 인코더는 다운샘플링 과정에서 MPEG 다운샘플러를 이용한다. 왜냐하면 MPEG 다운샘플러가 현재까지 알려진 웨이브렛 다운샘플러에 비해 다운샘플링된 저해상도 이미지가 부드럽기 때문이다. 그러나 이는 예시적인 것으로 다운샘플링된 이미지를 얻을 수 있는 필터는 어떤 것이든지 사용가능하다. 해상도 계층이 3개인 비트스트림을 생성하려면 다계층 비디오 인코더는 입력된 비디오 프레임을 다운샘플링하여 1/2, 및 1/4 해상도로 다운샘플링된 저해상도 프레임들을 생성한다. 해상도 계층이 4개인 비트스트림을 생성하려면 다계층 비디오 인코더는 입력된 비디오 프레임을 다운샘플링하여 1/2, 1/4, 및 1/8 해상도로 다운샘플링된 저해상도 프레임들을 생성한다.
다계층 비디오 인코더는 저해상도의 비디오 프레임을 AVC 방식으로 코딩한다(S630). 그리고 나서 저해상도의 AVC 방식으로 코딩된 비디오 프레임을 참조하여 저행사도의 비디오 프레임을 웨이브렛 코딩 방식으로 코딩한다(S640). 예를 들면, 해상도가 QCIF이고 프레임 레이트가 15 Hz이며 비트레이트가 32 kbps가 되도록 AVC 코딩을 한 후에, AVC 코딩된 프레임을 참조하여 동일한 해상도와 프레임 레이트이며 비트레이트가 64 kbps가 되도록 웨이브렛 코딩을 한다.
다계층 비디오 인코더는 저해상도 프레임을 코딩하고 나서 저해상도 계층 코딩된 프레임을 참조하여 고해상도 프레임을 코딩한다.
구체적으로 다계층 비디오 인코더는 고해상도의 비디오 프레임을 AVC 방식으로 코딩한다(S660). 그리고 나서 다계층 비디오 인코더는 AVC 방식으로 코딩된 비디오 프레임을 참조하여 고행사도의 비디오 프레임을 웨이브렛 코딩 방식으로 코딩한다(S670). 예를 들면, 다계층 비디오 인코더는 해상도가 CIF이고 프레임 레이트가 30 Hz이며 비트레이트가 256 kbps가 되도록 AVC 코딩을 한 후에, QCIF 해상도의 AVC 방식으로 코딩된 비디오 프레임과 웨이브렛 코딩방식으로 코딩된 비디오 프레임 및 CIF 해상도의 AVC 코딩된 프레임을 참조하여 CIF 해상도와 30 Hz의 프레임 레이트를 갖고 비트레이트가 750 kbps가 되도록 웨이브렛 코딩 과정을 수행한다.
모든 해상도에 대해 비디오 코딩이 끝나면, 다계층 비디오 인코더는 코딩된 비디오 프레임을 이용하여 비트스트림을 생성한다(S680).
구체적인 다계층 비디오 코딩 과정의 예는 도 7 및 도 8을 참조하여 설명한다. 편의상 두개의 해상도 계층을 코딩하는 경우를 설명하며, 3개 이상의 해상도 계층의 경우에도 동일한 방식으로 코딩할 수 있다.
먼저 도 7의 실시예를 설명한다.
다계층 비디오 인코더는 비디오 프레임(700)을 다운샘플링하여 저해상도 비디오 프레임(710)을 생성한다.
다계층 비디오 인코더는 저해상도 비디오 프레임(710)을 AVC 코딩하여 비트스트림에 포함될 저해상도 계층 AVC 코딩된 프레임을 생성한다. 그리고 나서 다계층 비디오 인코더는 저해상도 계층 AVC 코딩된 프레임을 디코딩하여 디코딩된 프레임(720)을 얻고, 저해상도 비디오 프레임(710)과의 비교하여 저해상도 차분 프레임 (730)을 얻는다.
다계층 비디오 인코더는 저해상도 차분 프레임(730)을 웨이브렛 코딩하여 저해상도 계층 웨이브렛 코딩된 프레임을 생성한다. 그리고 나서 다계층 비디오 인코더는 저해상도 계층 웨이브렛 코딩된 프레임을 디코딩하여 디코딩된 프레임(740)을 얻고, 디코딩된 프레임(720)과 더해서 저해상도 계층의 디코딩된 비디오 프레임(750)을 얻는다.
다계층 비디오 인코더는 저해상도 계층의 디코딩된 비디오 프레임(750)을 업샘플링하고, 업샘플링된 프레임(760)과 비디오 프레임(700)을 비교하여 고해상도 계층 프레임(770)을 얻는다. 다계층 비디오 인코더는 고해상도 계층 프레임(770)을 AVC 코딩하여 비트스트림에 포함될 고해상도 계층 AVC 코딩된 프레임을 생성한다. 그리고 나서 다계층 비디오 인코더는 고해상도 계층 AVC 코딩된 프레임을 디코딩하여 디코딩된 프레임(780)을 얻고, 고해상도 계층 프레임(770)과의 비교하여 고해상도 차분 프레임(780)을 얻는다.
다계층 비디오 인코더는 고해상도 차분 프레임(780)을 웨이브렛 코딩하여 비트스트림에 포함될 고해상도 계층 웨이브렛 코딩된 프레임을 생성한다.
다계층 비디오 인코더는 생성된 저해상도 계층의 AVC 코딩된 프레임 및 웨이브렛 코딩된 프레임과 고해상도 계층의 AVC 코딩된 프레임 및 웨이브렛 코딩된 프레임을 포함하는 비트스트림을 생성한다.
다음으로 도 8의 실시예를 설명한다.
먼저 코딩 과정을 살펴본다. 다계층 비디오 인코더는 고해상도 비디오 프레 임을 다운샘플링하여 저해상도 비디오 프레임을 생성한다. 다계층 비디오 인코더는 저해상도 비디오 프레임을 AVC 코딩하고, 저해상도 계층의 AVC 코딩된 비디오 프레임을 참조하여 저해상도 계층의 비디오 프레임을 웨이브렛 코딩한다.
먼저, N 번째 저해상도 비디오 프레임(812)을 코딩할 때 저해상도의 비디오 프레임(811)과 비디오 프레임(813)을 참조한다. 개방루프방식의 비디오 코딩에서 참조되는 프레임은 저해상도의 비디오 프레임들(811, 813)이지만, 폐쇄루프방식의 비디오 코딩에서 참조되는 프레임은 저해상도의 비디오 프레임들(811, 813)을 AVC 코딩한 후에 코딩된 프레임들을 디코딩하여 재구성한 프레임들을 참조한다.
저해상도의 AVC 코딩이 끝나면 다계층 비디오 인코더는 저해상도의 웨이브렛 코딩을 수행한다. 다계층 비디오 인코더는 프레임(822)를 코딩할 때 프레임(821)과 프레임(823)을 참조할 수도 있지만, 프레임(812)를 AVC 코딩한 프레임을 디코딩하여 재구성한 프레임을 참조할 수도 있다.
저해상도 계층의 비디오 코딩이 끝나면 다계층 비디오 인코더는 고해상도 계층의 비디오 코딩을 수행한다.
N 번째 고해상도 계층의 비디오 프레임(842)를 AVC 코딩할 때 다계층 비디오 인코더는 비디오 프레임(841)과 비디오 프레임(843)을 참조할 수도 있지만 비디오 프레임(822)을 재구성한 비디오 프레임을 참조할 수도 있다. 이를 위하여 다계층 비디오 인코더는 비디오 프레임(822)를 재구성한 비디오 프레임을 업샘플링하여 비디오 프레임(832)를 생성하고 이를 참조한다.
N 번째 고해상도 계층의 비디오 프레임(852)을 웨이브렛 코딩할 때 다계층 비디오 인코더는 프레임들(851, 853)과 프레임(842)를 재구성한 프레임을 참조할 수 있다.
도 7의 실시예와 도 8의 실시예를 비교하면, 도 7의 실시예에서는 시간적 필터링이 끝난 후에 계층간 참조가 이루어지지만, 도 8의 실시예에서는 시간적 필터링 과정에서 계층간 참조가 이루어진다. 움직임이 많은 경우에는 프레임들간의 시간적인 연관성보다는 공간적인 연관성이 더 클 수 있기 때문에 도 7의 실시예가 좋은 코딩 성능을 보일 수 있지만, 움직임이 적은 경우에는 프레임들간의 시간적인 연관성이 공간적인 연관성보다 더 클 수 있기 때문에 도 8의 실시예가 더 좋은 코딩 성능을 보일 수 있다.
다음으로 각 계층에서 비트레이트를 할당하는 과정을 설명한다.
도 9는 본 발명의 일 실시예에 따른 다계층 비디오 코딩 과정에서 각 층의 비트레이트를 할당하는 과정을 보여주는 도면이다. 편의상 3개의 해상도 계층(QCIF, CIF, SD 계층)이 있는 것을 기준으로 설명한다.
비디오 코딩에 대한 스케일러빌리티 요구사항이 QCIF 계층(930)에서는 15 Hz의 프레임 레이트로 96~192 kbps이고, CIF 계층(920)에서는 7.5 Hz에서 30 Hz의 프레임 레이트를 갖고 192~768 kbps이며, SD 계층(910)에서는 15 Hz에서 60 Hz의 프레임 레이트를 갖고 768~3072 kbps일 경우라고 하자.
먼저 QCIF 계층(930)의 비디오 코딩을 설명한다. 다계층 비디오 인코더는 96 kbps의 비트레이트와 15 Hz의 프레임레이트를 갖도록 QCIF 프레임을 AVC 코딩한다. 그리고 나서 192 kbps의 비트레이트와 15 Hz의 프레임레이트를 갖도록 코딩된 AVC 프레임을 참조하여 QCIF 프레임을 웨이브렛 코딩한다.
CIF 계층(920)의 비디오 코딩을 설명한다.
다계층 비디오 인코더는 CIF 계층(920)의 최대 프레임 레이트인 30 Hz의 프레임레이트를 갖도록 CIF 프레임을 AVC 코딩한다. 192 kpbs의 비트레이트와 7.5 Hz의 프레임레이트를 갖는 비디오 프레임을 재구성하려면 QCIF 계층(930)의 AVC 코딩된 프레임 및 웨이브렛 코딩된 프레임과, CIF 계층(920)의 AVC 코딩된 프레임의 일부가 필요하다.
다계층 비디오 인코더는 CIF 계층(920)의 최대 프레임 레이트인 30 Hz의 프레임레이트를 갖도록 CIF 프레임을 웨이브렛코딩한다. CIF 계층(920)의 384 kbps에서 768 kbps의 프레임을 재구성하려면 QCIF 계층(930)의 AVC 코딩된 프레임 및 웨이브렛 코딩된 프레임과, CIF 계층(920)의 AVC 코딩된 프레임 및 웨이브렛 코딩된 프레임의 일부가 필요하다.
SD 계층(910)의 비디오 코딩을 설명한다.
다계층 비디오 인코더는 SD 계층(910)의 최대 프레임 레이트인 60 Hz의 프레임레이트를 갖도록 SD 프레임을 AVC 코딩한다. 768 kpbs의 비트레이트와 15 Hz의 프레임레이트를 갖는 비디오 프레임을 재구성하려면 QCIF 계층(930)의 AVC 코딩된 프레임 및 웨이브렛 코딩된 프레임과, CIF 계층(920)의 AVC 코딩된 프레임 및 웨이브렛 코딩된 프레임과, SD 계층(910)의 AVC 코딩된 프레임의 일부가 필요하다.
다계층 비디오 인코더는 SD 계층(910)의 최대 프레임 레이트인 60 Hz의 프레임레이트를 갖도록 CIF 프레임을 웨이브렛코딩한다. SD 계층(910)의 1536 kbps에 서 3072 kbps의 프레임을 재구성하려면 QCIF 계층(930)의 AVC 코딩된 프레임 및 웨이브렛 코딩된 프레임과, CIF 계층(920)의 AVC 코딩된 프레임 및 웨이브렛 코딩된 프레임, 및 SD 계층(910)의 AVC 코딩된 프레임 및 웨이브렛 코딩된 프레임의 일부가 필요하다.
다계층 비디오 코딩에 대한 이상의 설명은 예시적인 것으로서 다양한 다계층 비디오 코딩을 생각할 수 있다. 도 10 및 도 11은 앞서 설명된 실시예와 다른 비트스트림 구조의 예를 보여주고 있다.
도 4와는 달리 도 10의 실시예는 SD 계층에서는 하나의 코딩방식으로만 코딩한다. 이는 높은 해상도에서 충분한 비트레이트, 예를 들면 3.0 MHz의 비트레이트를 갖는 경우에는 웨이브렛 코딩된 비트스트림으로부터 상대적으로 적은 비트레이트, 예를 들면 1.5 Mbps의 비디오 프레임을 쉽게 재구성할 수 있기 때문이다.
도 12는 본 발명의 일 실시예에 따른 다계층 비디오 디코더의 구성을 보여주는 블록도이다. 설명의 편의상 두개의 해상도 계층을 갖는 비트스트림으로부터 비디오 프레임을 재구성하는 비디오 디코더를 기준으로 설명한다.
다계층 비디오 디코더는 비트스트림 해석부(1250)와 저해상도 계층 코딩된 비디오 프레임을 디코딩하기 위한 AVC 디코딩부(1210) 및 웨이브렛 디코딩부(1220)와, 고해상도 계층 코딩된 비디오 프레임을 디코딩하기 위한 AVC 디코딩부(1230) 및 웨이브렛 디코딩부(1240)를 포함한다.
비트스트림 해석부(1250)는 입력된 비트스트림에 포함된 고해상도 계층 및 저해상도 계층의 코딩된 프레임들을 추출한다. 저해상도 계층의 코딩된 프레임은 AVC 코딩된 프레임과 웨이브렛 코딩된 프레임을 포함하고, 고해상도 계층의 코딩된 프레임도 AVC 코딩된 프레임과 웨이브렛 코딩된 프레임을 포함한다.
저해상도 계층의 AVC 디코딩부(1210)는 저해상도 계층의 AVC 코딩된 프레임을 역 양자화하고, 역 양자화된 프레임을 역 DCT 변환한 후에, 역 DCT 변환된 프레임을 역 시간적 필터링한다. 이를 위하여 저해상도 계층의 AVC 디코딩부(1210)는 역 양자화부(1211)와 역 DCT 변환부(1212) 및 역 시간적 필터링부(1213)를 포함한다.
저해상도 계층의 웨이브렛 디코딩부(1220)는 AVC 디코딩부(1210)에서 재구성된 비디오 프레임을 참조하여 저해상도 계층의 웨이브렛 코딩된 프레임을 역 양자화하고, 역 양자화된 프레임을 역 웨이브렛 변환한 후에, 역 웨이브렛 변환된 프레임을 역 시간적 필터링한다. 이를 위하여 저해상도 계층의 웨이브렛 디코딩부(1220)는 역 양자화부(1221)와 역 웨이브렛 변환부(1222) 및 역 시간적 필터링부(1223)를 포함한다.
고해상도 계층의 AVC 디코딩부(1230)는 저해상도 계층의 웨이브렛 디코딩부(1220)에서 재구성된 비디오 프레임을 참조하여 고해상도 계층의 AVC 코딩된 프레임을 역 양자화하고, 역 양자화된 프레임을 역 DCT 변환한 후에, 역 DCT 변환된 프레임을 역 시간적 필터링한다. 이를 위하여 고해상도 계층의 AVC 디코딩부(1230)는 역 양자화부(1231)와 역 DCT 변환부(1232) 및 역 시간적 필터링부(1233)를 포함한다.
고해상도 계층의 웨이브렛 디코딩부(1240)는 AVC 디코딩부(1230)에서 재구성 된 비디오 프레임을 참조하여 고해상도 계층의 웨이브렛 코딩된 프레임을 역 양자화하고, 역 양자화된 프레임을 역 웨이브렛 변환한 후에, 역 웨이브렛 변환된 프레임을 역 시간적 필터링한다. 이를 위하여 고해상도 계층의 웨이브렛 디코딩부(1240)는 역 양자화부(1241)와 역 웨이브렛 변환부(1242) 및 역 시간적 필터링부(1243)를 포함한다.
명세서에서 각 구성요소는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소일 수 있으며, 어떤 역할들을 수행한다. 그렇지만 구성요소는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 각 구성요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 구성요소는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 이와 같은 구성요소들이 제공하는 기능은 더 작은 수의 구성요소들이나 모듈들로 결합되거나, 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 또한 구성요소들은 비디오 인코딩 또는 디코딩 시스템을 위한 하나 또는 그 이상의 컴퓨터들을 실행시키도록 구현될 수도 있다.
도 13은 본 발명의 일 실시예에 따른 다계층 비디오 디코딩 과정을 보여주는 흐름도이다.
먼저 다계층 비디오 디코더에 비트스트림이 입력되면, 다계층 비디오 디코더는 비트스트림을 해석한다(S1310). 다계층 비디오 디코더는 비트스트림을 해석하여 비트스트림으로부터 고해상도 계층 및 저해상도 계층의 코딩된 프레임들을 추출한다.
코딩된 프레임들을 추출한 후에 다계층 비디오 디코더는 코딩된 프레임들 중에서 저해상도 계층의 AVC 코딩된 프레임을 AVC 디코딩하여 저해상도 AVC 계층을 디코딩한다(S1220). 저해상도 AVC 계층을 디코딩하여 재구성한 비디오 프레임은 저해상도 웨이브렛 계층의 디코딩 과정에 제공된다.
다계층 비디오 디코더는 저해상도 AVC 계층의 디코딩 과정에 의해 재구성된 비디오 프레임을 참조하여 저해상도 웨이브렛 계층을 디코딩한다(S1330). 저해상도 웨이브렛 계층을 디코딩하기 위하여 다계층 비디오 디코더는 저해상도 AVC 계층의 디코딩 과정에 의해 재구성된 비디오 프레임을 참조하여, 코딩된 프레임들 중에서 저해상도 계층의 웨이브렛 코딩된 프레임을 웨이브렛 디코딩한다. 저해상도 웨이브렛 계층을 디코딩하여 재구성한 비디오 프레임은 고해상도 AVC 계층의 디코딩 과정에 제공된다.
다계층 비디오 디코더는 저해상도 웨이브렛 계층의 디코딩 과정에 의해 재구성된 비디오 프레임을 참조하여 고해상도 AVC 계층을 디코딩한다(S1340). 고해상도 AVC 계층을 디코딩하기 위하여 다계층 비디오 디코더는 저해상도 웨이브렛 계층의 디코딩 과정에 의해 재구성된 비디오 프레임을 참조하여, 코딩된 프레임들 중에서 고해상도 계층의 AVC 코딩된 프레임을 AVC 디코딩한다. 고해상도 AVC 계층을 디코딩하여 재구성한 비디오 프레임은 고해상도 웨이브렛 계층의 디코딩 과정에 제공된다.
다계층 비디오 디코더는 고해상도 AVC 계층의 디코딩 과정에 의해 재구성된 비디오 프레임을 참조하여 고해상도 웨이브렛 계층을 디코딩한다(S1350). 고해상도 웨이브렛 계층을 디코딩하기 위하여 다계층 비디오 디코더는 고해상도 AVC 계층의 디코딩 과정에 의해 재구성된 비디오 프레임을 참조하여, 코딩된 프레임들 중에서 고해상도 계층의 웨이브렛 코딩된 프레임을 웨이브렛 디코딩한다.
모든 계층에 대한 디코딩 과정이 끝나면 다계층 비디오 디코더는 디코딩된 비디오 프레임을 이용하여 비디오 신호를 생성한다(S1360). 생성된 비디오 신호는 디스플레이 장치를 통해 디스플레이된다.
본 명세서에 개시된 실시예와 도면은 예시적인 것으로서 본 발명의 기술적 사상은 이에 한정되지 않는다. 예를 들어, 상세한 설명에서 한 해상도 계층을 AVC 계층과 웨이브렛 계층으로 구성하였지만 이는 예시적인 것으로서 다른 코딩 알고리즘을 사용하는 두 개의 계층으로 구성할 수도 있다. 또한, 하나의 해상도 계층을 두개의 비디오 코딩 방식으로 코딩하였지만 두 개를 초과하는 복수의 비디오 코딩방식으로 코딩하는 것도 가능하다. 따라서 이상의 설명은 예시적인 것이며, 본 발명의 기술사상은 후술하는 특허청구범위에 의해 보다 명확하게 한정될 것이다.
본 발명의 실시예들에 따르면 소정의 해상도 계층을 서로 다른 특성을 갖는 복수의 비디오 코딩방식으로 코딩하여 스케일러빌리티가 우수하면서 비디오 코딩 효율이 좋은 비디오 코딩을 할 수 있다.

Claims (40)

  1. (a) 소정 해상도의 비디오 프레임을 제1 비디오 코딩방식으로 코딩하는 단계;
    (b) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 참조하여 상기 비디오 프레임을 상기 해상도와 동일한 해상도로 제2 비디오 코딩방식으로 코딩하는 단계;
    (c) 상기 제1 비디오 코딩 방식으로 코딩된 비디오 프레임 또는 상기 제2 비디오 코딩 방식으로 코딩된 비디오 프레임의 비트율을 향상시키기 위한 향상 계층의 정보를 생성하는 단계; 및
    (d) 상기 제1 및 제2 비디오 코딩방식으로 코딩된 프레임들과 상기 생성된 향상 계층의 정보를 포함하는 비트스트림을 생성하는 단계를 포함하는 다계층 비디오 코딩방법.
  2. 제1항에 있어서,
    상기 제1 비디오 코딩방식은 AVC 코딩방식이고, 상기 제2 비디오 코딩방식은 웨이브렛 코딩방식인 다계층 비디오 코딩방법.
  3. 제1항에 있어서,
    상기 제1 비디오 코딩방식과 상기 제2 비디오 코딩방식은 동일한 프레임 레이트로 비디오 코딩과정을 수행하는 다계층 비디오 코딩방법.
  4. 제1항에 있어서,
    상기 (b) 단계는 (b1) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 디코 딩하는 단계와, (b2) 상기 비디오 프레임과 상기 (b1) 단계에 의해 디코딩된 프레임의 차분 프레임을 구하는 단계, 및 (b3) 상기 차분 프레임을 제2 비디오 코딩방식으로 코딩하는 단계를 포함하는, 다계층 비디오 코딩방법.
  5. 제1항에 있어서,
    상기 (b) 단계는 (b4) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 디코딩하는 단계와, (b5) 상기 비디오 프레임을 제2 비디오 코딩방식으로 코딩하는 단계를 포함하며, 상기 (b5) 단계의 시간적 필터링 과정에서 상기 (b4) 단계에 의해 디코딩된 프레임을 참조하는, 다계층 비디오 코딩방법.
  6. (a) 고해상도 비디오 프레임을 다운샘플링하여 저해상도 비디오 프레임을 생성하는 단계;
    (b) 상기 저해상도 비디오 프레임을 제1 비디오 코딩 방식에 따라 코딩하는 단계;
    (c) 상기 코딩된 저해상도 비디오 프레임을 참조하여 상기 고해상도 비디오 프레임을 제2 비디오 코딩 방식에 따라 코딩하는 단계; 및
    (d) 상기 코딩된 저해상도 비디오 프레임 및 고해상도 비디오 프레임을 포함한 비트스트림을 생성하는 단계; 및
    (e) 상기 저해상도 비디오 프레임 또는 상기 고해상도 비디오 프레임의 비트율을 향상시키기 위한 향상 계층의 정보를 생성하는 단계를 포함하는 다계층 비디오 코딩방법.
  7. 제6항에 있어서,
    상기 제1 비디오 코딩방식은 AVC 코딩방식이고, 상기 제2 비디오 코딩방식은 웨이브렛 코딩방식인, 다계층 비디오 코딩방법.
  8. 제6항에 있어서,
    상기 제1 비디오 코딩방식과 상기 제2 비디오 코딩방식은 동일한 프레임 레이트로 비디오 코딩과정을 수행하는 다계층 비디오 코딩방법.
  9. 제6항에 있어서,
    상기 (b) 단계는 상기 제1 비디오 코딩방식으로 코딩된 프레임을 디코딩하는 단계와, 상기 저해상도 비디오 프레임과 상기 제1 비디오 코딩방식으로 코딩된 프레임의 차분 프레임을 구하는 단계와, 상기 차분 프레임을 상기 제2 비디오 코딩방식으로 코딩하는 단계를 포함하는, 다계층 비디오 코딩방법.
  10. 제6항에 있어서,
    상기 (b) 단계는 상기 제1 비디오 코딩방식으로 코딩된 프레임을 디코딩하는 단계와, 상기 디코딩된 프레임을 참조하여 상기 고해상도 비디오 프레임을 제2 비디오 코딩방식으로 코딩하는 단계를 포함하는, 다계층 비디오 코딩방법.
  11. (a) 소정 해상도 계층의 비디오 프레임을 제1 비디오 코딩방식으로 코딩하는 단계;
    (b) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 참조하여 상기 비디오 프레임을 상기 코딩된 프레임의 해상도와 동일한 해상도로 제2 비디오 코딩방식으로 코딩하는 단계;
    (c) 상기 제1 비디오 코딩 방식으로 코딩된 비디오 프레임 또는 상기 제2 비디오 코딩 방식으로 코딩된 비디오 프레임의 비트율을 향상시키기 위한 향상 계층의 정보를 생성하는 단계; 및
    (d) 모든 코딩된 프레임들과 상기 생성된 향상 계층의 정보를 포함하는 비트스트림을 생성하는 단계를 포함하며,
    상기 　(a) 및 (b) 단계는 모든 해상도 계층에서 저해상도 계층부터 고해상도 계층으로 순환적으로 수행되는 다계층 비디오 코딩방법.
  12. 제11항에 있어서,
    상기 제1 비디오 코딩방식은 AVC 코딩방식이고, 상기 제2 비디오 코딩방식은 웨이브렛 코딩방식인, 다계층 비디오 코딩방법.
  13. 제11항에 있어서,
    상기 제1 비디오 코딩방식과 상기 제2 비디오 코딩방식은 동일한 프레임 레이트로 비디오 코딩과정을 수행하는 다계층 비디오 코딩방법.
  14. 제11항에 있어서,
    상기 (b) 단계는 (b1) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 디코딩하는 단계와, (b2) 상기 비디오 프레임과 상기 (b1) 단계에 의해 디코딩된 프레임의 차분 프레임을 구하는 단계, 및 (b3) 상기 차분 프레임을 상기 제2 비디오 코딩방식으로 코딩하는 단계를 포함하는, 다계층 비디오 코딩방법.
  15. 제11항에 있어서,
    상기 (b) 단계는 (b4) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 디코딩하는 단계와, (b5) 상기 비디오 프레임을 제2 비디오 코딩방식으로 코딩하는 단계를 포함하며, 상기 (b5) 단계의 시간적 필터링 과정에서 상기 (b4) 단계에 의해 디코딩된 프레임을 참조하는, 다계층 비디오 코딩방법.
  16. 고해상도 비디오 프레임을 다운샘플링하여 저해상도의 비디오 프레임을 생성하는 다운샘플러;
    상기 저해상도 비디오 프레임을 비디오 코딩하는 저해상도 비디오 인코딩부;
    상기 저해상도 비디오 인코딩부에 의해 저해상도 코딩된 프레임을 참조하여 상기 고해상도 비디오 프레임을 비디오 코딩하는 고해상도 비디오 인코딩부;
    상기 저해상도의 코딩된 프레임 또는 상기 고해상도의 코딩된 프레임의 비트율을 향상시키기 위한 향상 계층의 정보를 생성하는 수단; 및
    상기 저해상도의 코딩된 프레임, 상기 고해상도의 코딩된 프레임 및 상기 향상 계층의 정보를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함하며,
    상기 저해상도 비디오 인코딩부는 저해상도의 비디오 프레임을 제1 비디오 코딩방식으로 코딩하고, 상기 제1 비디오 코딩방식으로 코딩된 프레임을 참조하여 상기 비디오 프레임을 상기 해상도와 동일한 해상도로 제2 비디오 코딩방식으로 코딩하여 상기 저해상도의 코딩된 프레임을 생성하는, 다계층 비디오 인코더.
  17. 제16항에 있어서,
    상기 제1 비디오 코딩방식은 AVC 코딩방식이고, 상기 제2 비디오 코딩방식은 웨이브렛 코딩방식인, 다계층 비디오 인코더.
  18. (a) 비트스트림으로부터 제1 및 제2 코딩된 프레임들을 추출하는 단계;
    (b) 상기 제1 코딩된 프레임을 제1 비디오 디코딩방식으로 디코딩하여 제1 프레임을 재구성하는 단계;
    (c) 상기 재구성된 제1 프레임을 참조하여, 상기 추출하는 단계에서 얻은 제2 코딩된 프레임을 상기 재구성된 제1 프레임과 동일한 해상도로 제2 비디오 디코딩방식으로 디코딩하여 제2 프레임을 재구성하는 단계; 및
    (d) 상기 비트스트림에 포함되는 향상 계층의 정보를 이용하여 상기 제1 프레임 또는 제2 프레임의 비트율을 향상시키는 단계를 포함하는 다계층 비디오 디코딩방법.
  19. 제18항에 있어서,
    상기 제1 비디오 디코딩방식은 AVC 디코딩방식이고, 상기 제2 비디오 디코딩방식은 웨이브렛 디코딩방식인, 다계층 비디오 디코딩방법.
  20. (a) 비트스트림으로부터 제1 및 제2 코딩된 프레임들을 추출하는 단계;
    (b) 상기 제1 코딩된 프레임을 제1 비디오 디코딩방식으로 디코딩하여 제1 프레임을 재구성하는 단계;
    (c) 상기 재구성된 제1 프레임과 동일한 해상도로 상기 제2 코딩된 프레임을 제2 비디오 디코딩방식으로 디코딩하여 제2 프레임을 재구성하는 단계; 및
    (d) 상기 비트스트림에 포함되는 향상 계층의 정보를 이용하여 상기 제1 프레임 또는 제2 프레임의 비트율을 향상시키는 단계; 및
    (e) 상기 비트율이 향상된 제1 및 제2 프레임들을 더하여 최종 비디오 프레임을 복원하는 단계를 포함하는 다계층 비디오 디코딩방법.
  21. 제20항에 있어서,
    상기 제1 비디오 디코딩방식은 AVC 디코딩방식이고, 상기 제2 비디오 디코딩방식은 웨이브렛 디코딩방식인, 다계층 비디오 디코딩방법.
  22. (a) 비트스트림으로부터 저해상도 및 고해상도 계층 코딩된 프레임들을 추출하는 단계;
    (b) 상기 저해상도 계층 코딩된 프레임을 디코딩하여 저해상도 계층 프레임을 재구성하는 단계; 및
    (c) 상기 재구성된 저해상도 계층 프레임을 참조하여 상기 정보로부터 얻은 고해상도 계층 코딩된 프레임을 디코딩하여 고해상도 계층 프레임을 재구성하는 단계를 포함하며,
    상기 저해상도 계층 코딩된 프레임은 제1 비디오 코딩방식으로 코딩된 프레임과 제2 비디오 코딩방식으로 코딩된 프레임들로 구성되며, 상기 (b) 단계는 (b1) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 제1 비디오 디코딩방식으로 디코딩하여 제1 프레임을 재구성하는 단계와, (b2) 상기 재구성된 제1 프레임을 참조하여 상기 제2 비디오 코딩방식으로 코딩된 프레임을 제2 비디오 디코딩방식으로 디코딩하여 제2 프레임(저해상도 프레임)을 재구성하는 단계를 포함하는, 다계층 비디오 디코딩방법.
  23. 제22항에 있어서,
    상기 제1 비디오 디코딩방식은 AVC 디코딩방식이고, 상기 제2 비디오 디코딩방식은 웨이브렛 디코딩방식인, 다계층 비디오 디코딩방법.
  24. (a) 비트스트림으로부터 저해상도 및 고해상도 계층 코딩된 프레임들에 대한 정보를 추출하는 단계;
    (b) 상기 정보로부터 얻은 저해상도 계층 코딩된 프레임을 디코딩하여 저해상도 계층 프레임을 재구성하는 단계; 및
    (c) 상기 재구성된 저해상도 계층 프레임을 참조하여 상기 정보로부터 얻은 고해상도 계층 코딩된 프레임을 디코딩하여 고해상도 프레임을 재구성하는 단계를 포함하며,
    상기 저해상도 계층 코딩된 프레임은 제1 비디오 코딩방식으로 코딩된 프레임과 제2 비디오 코딩방식으로 코딩된 프레임들로 구성되며, 상기 (b) 단계는 (b1) 상기 제1 비디오 코딩방식으로 코딩된 프레임을 제1 비디오 디코딩방식으로 디코딩 하여 제1 프레임을 재구성하는 단계와, (b2) 상기 제2 비디오 코딩방식으로 코딩된 프레임을 제2 비디오 디코딩방식으로 디코딩하여 제2 프레임을 재구성하는 단계, 및 (b3) 상기 재구성된 제1 프레임 및 제2 프레임을 더하여 저해상도 비디오 프레임을 재구성하는 단계를 포함하는, 다계층 비디오 디코딩방법.
  25. 제24항에 있어서,
    상기 제1 비디오 디코딩방식은 AVC 디코딩방식이고, 상기 제2 비디오 디코딩방식은 웨이브렛 디코딩방식인, 다계층 비디오 디코딩방법.
  26. 비트스트림으로부터 저해상도 및 고해상도 계층 코딩된 프레임들에 대한 정보를 추출하고, 상기 정보로부터 저해상도 및 고해상도 계층 코딩된 프레임을 디코딩하여 비디오 프레임을 재구성하는 다계층 비디오 디코딩방법에 있어서,
    각 해상도 계층의 코딩된 비디오 프레임은 제1 비디오 코딩방식으로 코딩된 제1 프레임과 제2 비디오 코딩방식으로 코딩된 제2 프레임으로 구성되며,
    (a) 소정 해상도 계층에서 코딩된 제1 프레임을 제1 비디오 디코딩방식으로 디코딩하여 제1 프레임을 재구성하는 단계; 및
    (b) 상기 재구성된 제1 프레임을 참조하여 상기 해상도 계층에서 코딩된 제2 프레임을 제2 비디오 디코딩방식으로 디코딩하여 제2 프레임을 재구성하는 단계; 및
    (c) 상기 비트스트림에 포함되는 향상 계층의 정보를 이용하여 상기 재구성된 제1 프레임 또는 상기 재구성된 제2 프레임의 비트율을 향상시키는 단계를 포함하며, 상기 (a) 및 (b) 단계는 모든 해상도 계층에서 저해상도 계층부터 고해상도 계층 순서로 순환적으로 수행되는 다계층 비디오 디코딩방법.
  27. 제26항에 있어서,
    상기 제1 비디오 디코딩방식은 AVC 디코딩방식이고, 상기 제2 비디오 디코딩방식은 웨이브렛 디코딩방식인, 다계층 비디오 디코딩방법.
  28. 비트스트림으로부터 저해상도 및 고해상도 계층 코딩된 프레임들에 대한 정보를 추출하고, 상기 정보로부터 저해상도 및 고해상도 계층 코딩된 프레임을 디코딩하여 비디오 프레임을 재구성하는 다계층 비디오 디코딩방법에 있어서,
    각 해상도 계층의 코딩된 비디오 프레임은 제1 비디오 코딩방식으로 코딩된 제1 프레임과 제2 비디오 코딩방식으로 코딩된 제2 프레임으로 구성되며,
    (a) 소정 해상도 계층에서 코딩된 제1 프레임을 제1 비디오 디코딩방식으로 코딩하여 제1 프레임을 재구성하는 단계;
    (b) 상기 해상도 계층에서 코딩된 제2 프레임을 제2 비디오 디코딩방식으로 디코딩하여 제2 프레임을 재구성하는 단계;
    (c) 상기 비트스트림에 포함되는 향상 계층의 정보를 이용하여 상기 재구성된 제1 프레임 또는 상기 재구성된 제2 프레임의 비트율을 향상시키는 단계; 및
    (d) 상기 비트율이 향상된 제1 및 제2 프레임을 더하여 상기 해상도 계층의 최종 프레임을 복원하는 단계를 포함하며, 상기 (a) 내지 (d) 단계는 모든 해상도 계층에서 저해상도 계층부터 고해상도 계층 순서로 순환적으로 수행되는 다계층 비디오 디코딩방법.
  29. 제28항에 있어서,
    상기 제1 비디오 디코딩방식은 AVC 디코딩방식이고, 상기 제2 비디오 디코딩방식은 웨이브렛 디코딩방식인, 다계층 비디오 디코딩방법.
  30. 비트스트림을 해석하여 고해상도 및 저해상도 계층 코딩된 프레임들을 추출하는 비트스트림 해석부;
    상기 저해상도 코딩된 프레임을 디코딩하는 저해상도 비디오 디코딩부; 및
    상기 저해상도 비디오 디코딩부에 의해 재구성된 저해상도 프레임을 참조하여 상기 고해상도 계층 코딩된 프레임을 디코딩하는 고해상도 비디오 디코딩부를 포함하며,
    상기 저해상도 비디오 디코딩부는 상기 저해상도 계층 코딩된 프레임을 구성하는 제1 코딩된 프레임을 제1 비디오 디코딩방식으로 디코딩하고, 상기 제1 비디오 디코딩방식으로 디코딩된 제1 프레임을 참조하여, 상기 저해상도 계층 코딩된 프레임을 구성하는 제2 코딩된 프레임을 제2 비디오 디코딩방식으로 디코딩하여 상기 저해상도 프레임을 재구성하며, 상기 비트스트림에 포함되는 향상 계층의 정보를 이용하여 상기 디코딩된 저해상도 프레임의 비트율을 향상시키는, 다계층 비디오 디코더.
  31. 제30항에 있어서,
    상기 제1 비디오 디코딩방식은 AVC 디코딩방식이고, 상기 제2 비디오 디코딩방식은 웨이브렛 디코딩방식인, 다계층 비디오 디코더.
  32. 제1항 내지 제15항 및 제 18항 내지 제29항 중 어느 한 항의 방법을 컴퓨터 로 실행하기 위한 프로그램을 기록한 매체.
  33. 기초 계층의 인코딩된 비디오 신호에 대한 정보를 포함하는 제1영역;
    상기 기초 계층과 해상도 또는 프레임율이 상이하며, 상기 기초 계층의 정보를 이용하여 인코딩된 상위 계층에 대한 정보를 포함하는 제 2영역; 및
    상기 기초 계층 또는 상기 상위 계층의 비트율 향상을 위한 향상 계층의 정보를 포함하는 제 3영역을 포함하는 것을 특징으로 하는 비트스트림 구조.
  34. 제 33항에 있어서,
    상기 기초 계층 및 상위 계층은 DCT 변환을 사용하여 코딩되는 것을 특징으로 하는 비트스트림 구조.
  35. 제 33항에 있어서,
    상기 기초 계층의 인코딩된 비디오 신호는 H.264에 따라 코딩된 신호인 것을 특징으로 하는 비트스트림 구조.
  36. 기초 계층의 비디오 신호를 복원하는 단계;
    상기 기초 계층의 정보를 이용하여 상위 계층의 정보를 복원하는 단계; 및
    상기 기초 계층 또는 상기 상위 계층의 비트율을 향상시키기 위한 향상 계층을 복원하는 단계를 포함하는 것을 특징으로 하는 비디오 디코딩 방법.
  37. 제36항에 있어서,
    상기 기초 계층의 비디오 신호는 H.264에 따라 코딩된 비디오 신호인 것을 특징으로 하는 비디오 디코딩 방법.
  38. 제36항에 있어서,
    상기 상위 계층은 역 DCT 변환을 이용하여 복원되는 것을 특징으로 하는 비디오 디코딩 방법.
  39. 제36항에 있어서,
    상기 향상 계층은 역 웨이블릿 변환을 이용하여 복원하는 것을 특징으로 하는 비디오 디코딩 방법.
  40. 기초 계층의 비디오 신호를 복원하는 단계;
    상기 기초 계층의 비트율을 향상 시키기 위한 향상 계층을 복원하는 단계; 및
    상기 기초 계층 및 상기 향상 계층 정보를 이용하여 상위 계층의 정보를 복원하는 단계를 포함하는 것을 특징으로 하는 비디오 디코딩 방법.
KR1020040090991A 2004-09-07 2004-11-09 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더 KR100679018B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/KR2005/002654 WO2006028330A1 (en) 2004-09-07 2005-08-13 Multi-layer video coding and decoding methods and multi-layer video encoder and decoder
EP05780534A EP1787473A4 (en) 2004-09-07 2005-08-13 MULTILAYER VIDEO DECODING AND CODING METHODS, MULTILAYER VIDEO ENCODER AND DECODER
JP2007529675A JP4660550B2 (ja) 2004-09-07 2005-08-13 多階層ビデオコーディングおよびデコーディング方法、ビデオエンコーダおよびデコーダ
CN2005800300081A CN101015214B (zh) 2004-09-07 2005-08-13 多层视频编码和解码方法以及多层视频编码器和解码器
US11/219,764 US7933456B2 (en) 2004-09-07 2005-09-07 Multi-layer video coding and decoding methods and multi-layer video encoder and decoder
HK07111669.0A HK1103501A1 (en) 2004-09-07 2007-10-30 Multi-layer video coding and decoding methods and multi-layer video encoder and decoder

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US60734304P 2004-09-07 2004-09-07
US60/607,343 2004-09-07

Publications (2)

Publication Number Publication Date
KR20060022627A KR20060022627A (ko) 2006-03-10
KR100679018B1 true KR100679018B1 (ko) 2007-02-05

Family

ID=37129109

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040090991A KR100679018B1 (ko) 2004-09-07 2004-11-09 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더

Country Status (4)

Country Link
US (1) US7933456B2 (ko)
KR (1) KR100679018B1 (ko)
CN (1) CN101015214B (ko)
HK (1) HK1103501A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100997082B1 (ko) 2009-05-21 2010-11-29 (주)테슬라시스템 다해상도 동영상 코덱 방법 및 장치

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2878396A1 (fr) * 2004-11-19 2006-05-26 France Telecom Procede de codage d'images codees par ondelettes a controle du debit, dispositif de codage et programme d'ordinateur corespondants
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
AU2005334066A1 (en) * 2005-06-30 2007-01-11 Promim Pty Ltd A system and method for controlling transmission and display of video
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
JP4904114B2 (ja) * 2006-08-23 2012-03-28 パナソニック株式会社 中継装置および中継方法
US8773494B2 (en) * 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US9654751B2 (en) 2006-12-21 2017-05-16 Thomson Licensing Method, apparatus and system for providing color grading for displays
CN101690218B (zh) * 2007-06-28 2014-02-19 汤姆逊许可公司 通过网络结构提供显示装置专用的内容的方法、设备及系统
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
DE102009039095A1 (de) * 2009-08-27 2011-03-10 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms
EP2479994B1 (en) * 2011-01-19 2017-03-15 BlackBerry Limited Method and device for improved multi-layer data compression
US8553769B2 (en) * 2011-01-19 2013-10-08 Blackberry Limited Method and device for improved multi-layer data compression
CN103891303B (zh) * 2011-08-16 2018-03-09 黛斯悌尼软件产品有限公司 基于脚本的视频呈现
CN102523458B (zh) * 2012-01-12 2014-06-04 山东大学 一种适于高清图像视频无线传输的编解码方法
EP2642755B1 (en) 2012-03-20 2018-01-03 Dolby Laboratories Licensing Corporation Complexity scalable multilayer video coding
US9628792B2 (en) 2013-07-15 2017-04-18 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
KR102085270B1 (ko) * 2013-08-12 2020-03-05 삼성전자 주식회사 가장 작은 왜곡 값을 갖는 해상도를 선택하는 이미지 처리 방법과 상기 방법을 수행하는 장치들
US9584817B2 (en) 2014-03-31 2017-02-28 Sony Corporation Video transmission system with color prediction and method of operation thereof
EP3151562B1 (en) 2015-09-29 2020-06-17 Dolby Laboratories Licensing Corporation Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning
CN107155107B (zh) * 2017-03-21 2018-08-03 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置
CN108848376B (zh) * 2018-06-20 2022-03-01 腾讯科技（深圳）有限公司 视频编码、解码方法、装置和计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11266457A (ja) * 1998-01-14 1999-09-28 Canon Inc 画像処理装置、方法、及び記録媒体

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US6233017B1 (en) * 1996-09-16 2001-05-15 Microsoft Corporation Multimedia compression system with adaptive block sizes
EP0933939A4 (en) * 1997-07-18 1999-12-22 Sony Corp METHOD AND SYSTEM FOR MULTIPLEXING AN IMAGE SIGNAL, METHOD AND SYSTEM FOR DEMULTIPLEXING AN IMAGE SIGNAL, AND TRANSMISSION MEDIUM
JP3787823B2 (ja) 1997-07-31 2006-06-21 ソニー株式会社 画像処理装置および画像処理方法
JP3384299B2 (ja) * 1997-10-15 2003-03-10 富士ゼロックス株式会社 画像処理装置および画像処理方法
KR100269206B1 (ko) 1998-02-21 2000-10-16 윤종용 임의 해상도 다계층 이진형상 부호화기 및 그 방법
US6292512B1 (en) 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
JP2005506815A (ja) * 2001-10-26 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮のための方法及び装置
FI114433B (fi) * 2002-01-23 2004-10-15 Nokia Corp Otossiirtymän koodaaminen videokoodauksessa
US20050111541A1 (en) 2002-04-26 2005-05-26 Atsushi Hatabu Moving image transferring system, moving image encoding apparatus, moving image decoding apparatus, and moving image transferring program
US6944346B2 (en) * 2002-05-28 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
US7336720B2 (en) * 2002-09-27 2008-02-26 Vanguard Software Solutions, Inc. Real-time video coding/decoding
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11266457A (ja) * 1998-01-14 1999-09-28 Canon Inc 画像処理装置、方法、及び記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100997082B1 (ko) 2009-05-21 2010-11-29 (주)테슬라시스템 다해상도 동영상 코덱 방법 및 장치

Also Published As

Publication number Publication date
CN101015214B (zh) 2013-02-13
KR20060022627A (ko) 2006-03-10
US20060114999A1 (en) 2006-06-01
HK1103501A1 (en) 2007-12-21
CN101015214A (zh) 2007-08-08
US7933456B2 (en) 2011-04-26

Similar Documents

Publication Publication Date Title
KR100679018B1 (ko) 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더
KR100679022B1 (ko) 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
KR100596705B1 (ko) 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
JP5026965B2 (ja) ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置
US8929436B2 (en) Method and apparatus for video coding, predecoding, and video decoding for video streaming service, and image filtering method
KR100679011B1 (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
US20050226334A1 (en) Method and apparatus for implementing motion scalability
EP1741297A1 (en) Method and apparatus for implementing motion scalability
KR100621584B1 (ko) 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더
JP2008515328A (ja) 階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法と、ビデオエンコーダおよびデコーダ
CA2557312C (en) Video encoding and decoding methods and systems for video streaming service
JP4660550B2 (ja) 多階層ビデオコーディングおよびデコーディング方法、ビデオエンコーダおよびデコーダ
WO2006043753A1 (en) Method and apparatus for predecoding hybrid bitstream

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20181227

Year of fee payment: 13