KR20090037252A - 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법 - Google Patents

영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법 Download PDF

Info

Publication number
KR20090037252A
KR20090037252A KR1020070102811A KR20070102811A KR20090037252A KR 20090037252 A KR20090037252 A KR 20090037252A KR 1020070102811 A KR1020070102811 A KR 1020070102811A KR 20070102811 A KR20070102811 A KR 20070102811A KR 20090037252 A KR20090037252 A KR 20090037252A
Authority
KR
South Korea
Prior art keywords
base layer
layer
image
decoding
bitstream
Prior art date
Application number
KR1020070102811A
Other languages
English (en)
Other versions
KR101365441B1 (ko
Inventor
김대희
조대성
최웅일
김현문
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070102811A priority Critical patent/KR101365441B1/ko
Priority to EP08837335A priority patent/EP2198615A4/en
Priority to PCT/KR2008/005973 priority patent/WO2009048295A2/en
Priority to US12/285,690 priority patent/US8406291B2/en
Publication of KR20090037252A publication Critical patent/KR20090037252A/ko
Application granted granted Critical
Publication of KR101365441B1 publication Critical patent/KR101365441B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

순방향 호환성을 갖도록 기본계층 비트스트림과 확장계층 비트스트림으로 이루어진 스케일러블 비트스트림을 생성하는 영상 부호화장치는 확장 비트깊이를 갖는 영상을 상기 기본계층의 양자화계수로 부호화하고, 기본계층의 양자화계수에 의한 부호화 결과와 기본계층의 양자화계수로 상기 기본계층 비트스트림을 기본계층 부호화모듈, 및 확장 비트깊이를 갖는 영상을 상기 확장계층의 양자화계수로 부호화하고, 기본계층의 양자화계수에 의한 부호화 결과와 확장계층의 양자화계수에 의한 부호화 결과간의 차이와, 기본계층의 양자화계수와 함께 상기 확장계층의 양자화계수를 얻는데 사용되는 부가 양자화정보를 포함하는 확장계층 비트스트림을 생성하는 확장계층 부호화모듈을 포함하고, 기본계층과 확장계층 중 적어도 하나에 화질개선을 위한 부가적인 처리가 적용된다.

Description

영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법 {Video encoding apparatus and method and video decoding apparatus and method}
본 발명은 영상 부호화장치 및 방법과 영상 복호화장치 및 방법에 관한 것으로서, 보다 상세하게는 적어도 두개의 비트깊이와 적어도 두개의 영상포맷 중 적어도 하나의 부호화 파라미터를 지원하면서 순방향 호환성을 갖는 스케일러블 비트스트림을 생성하거나 복호화하는 영상 부호화장치 및 방법과 영상 복호화장치 및 방법에 관한 것이다.
일반적인 비디오 코덱에 있어서, 예를 들어 VC-1 엔코더와 같은 기본 엔코더의 비트깊이를 8 비트에서부터 10 비트로 변경하거나, VC-1 엔코더와 같은 기본 엔코더의 영상포맷을 4:2:0으로부터 단순히 4:2:2 혹은 4:4:4로 변경하는 경우, VC-1 디코더는 비트깊이가 확장된 개선된 엔코더 혹은 영상포맷이 변경된 개선된 엔코더로부터 생성되는 비트스트림을 읽어들여 재생하는 것이 불가능하다. 근래 들어, 이와 같이 고정된 비트깊이 혹은 고정된 영상포맷 뿐만 아니라, 다양한 비트깊이 혹은 다양한 영상포맷으로 부호화된 비트스트림을 VC-1 디코더 및 다른 개선된 디코더에서 복원할 수 있도록 하는 순방향 호환성(forward compatibility)이 보장되 는 비디오 코덱에 대한 개발의 필요성이 크게 대두되고 있다.
즉, 순방향 호환성이 보장되지 않는 새로운 비디오 코덱은 기존의 기본 비디오 코덱만을 갖는 단말기를 지원할 수 없기 때문에 서로 다른 사양을 갖는 단말기 간의 콘텐츠 재사용 등이 불가능해진다. 또한, 이미 구축해 놓은 비디오 코덱 시장을 극복해야 하므로 새로운 비디오 코덱이 시장에서 자리를 잡기까지 많은 시간이 소요되는 단점이 있다.
본 발명이 이루고자 하는 기술적 과제는 적어도 두개의 비트깊이와 적어도 두개의 영상포맷 중 적어도 하나의 부호화 파라미터를 지원하면서 순방향 호환성을 갖도록 기본계층 비트스트림과 확장계층 비트스트림으로 이루어지며, 화질을 개선할 수 있는 스케일러블 비트스트림을 생성하는 영상 부호화장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 적어도 두개의 비트깊이와 적어도 두개의 영상포맷 중 적어도 하나의 부호화 파라미터를 지원하면서 순방향 호환성을 갖도록 기본계층 비트스트림과 확장계층 비트스트림으로 이루어지며, 화질을 개선할 수 있는 스케일러블 비트스트림을 복호화하는 영상 복호화장치 및 방법을 제공하는데 있다.
상기 기술적 과제들을 달성하기 위하여 본 발명은 순방향 호환성을 갖도록 기본계층 비트스트림과 확장계층 비트스트림으로 이루어진 스케일러블 비트스트림을 생성하는 영상 부호화방법에 있어서, 확장 비트깊이를 갖는 영상을 상기 기본계층의 양자화계수로 부호화하고, 상기 기본계층의 양자화계수에 의한 부호화 결과와 기본 비트깊이에 따른 양자화계수를 포함하는 상기 기본계층 비트스트림을 생성하는 단계; 및 상기 확장 비트깊이를 갖는 영상을 상기 확장계층의 양자화계수로 부호화하고, 상기 기본계층의 양자화계수에 의한 부호화 결과와 상기 확장계층의 양자화계수에 의한 부호화 결과간의 차이와, 상기 기본 비트깊이에 따른 양자화계수와 함께 상기 확장계층의 양자화계수를 얻는데 사용되는 부가 양자화정보를 포함하는 확장계층 비트스트림을 생성하는 단계를 포함하고, 상기 기본계층과 상기 확장계층 중 적어도 하나에 화질개선을 위한 부가적인 처리가 적용된다.
상기 기술적 과제들을 달성하기 위하여 본 발명은 순방향 호환성을 갖도록 기본계층 비트스트림과 확장계층 비트스트림으로 이루어진 스케일러블 비트스트림을 생성하는 영상 부호화장치에 있어서, 확장 비트깊이를 갖는 영상을 상기 기본계층의 양자화계수로 부호화하고, 상기 기본계층의 양자화계수에 의한 부호화 결과와 기본 비트깊이에 따른 양자화계수를 포함하는 상기 기본계층 비트스트림을 생성하는 기본계층 부호화모듈; 및 상기 확장 비트깊이를 갖는 영상을 상기 확장계층의 양자화계수로 부호화하고, 상기 기본계층의 양자화계수에 의한 부호화 결과와 상기 확장계층의 양자화계수에 의한 부호화 결과간의 차이와, 상기 기본 비트깊이에 따른 양자화계수와 함께 상기 확장계층의 양자화계수를 얻는데 사용되는 부가 양자화정보를 포함하는 확장계층 비트스트림을 생성하는 확장계층 부호화모듈을 포함하 고, 상기 기본계층과 상기 확장계층 중 적어도 하나에 화질개선을 위한 부가적인 처리가 적용된다.
상기 기술적 과제들을 달성하기 위하여 본 발명은 순방향 호환성을 갖도록 기본계층 비트스트림과 확장계층 비트스트림으로 이루어지며, 상기 기본계층과 상기 확장계층 중 적어도 하나에 화질개선을 위한 부가적인 처리가 적용된 스케일러블 비트스트림을 복호화하는 영상 복호화방법에 있어서, 상기 기본계층 비트스트림으로부터 추출된 영상 압축데이터를 상기 기본계층의 양자화계수로 복호화하여 기본 복원영상을 생성하는 단계; 및 상기 확장계층 비트스트림으로부터 추출된 영상 압축데이터를 상기 확장계층의 양자화계수로 복호화하고, 상기 기본계층 비트스트림의 복호화결과와 상기 확장계층 비트스트림의 복호화결과를 이용하여 확장 복원영상을 생성하는 단계를 포함한다.
상기 기술적 과제들을 달성하기 위하여 본 발명은 순방향 호환성을 갖도록 기본계층 비트스트림과 확장계층 비트스트림으로 이루어지며, 상기 기본계층과 상기 확장계층 중 적어도 하나에 화질개선을 위한 부가적인 처리가 적용된 스케일러블 비트스트림을 복호화하는 영상 복호화장치에 있어서, 상기 기본계층 비트스트림으로부터 추출된 영상 압축데이터를 상기 기본계층의 양자화계수로 복호화하여 기본 복원영상을 생성하는 기본계층 복호화모듈; 및 상기 확장계층 비트스트림으로부터 추출된 영상 압축데이터를 상기 확장계층의 양자화계수로 복호화하고, 상기 기본계층 비트스트림의 복호화결과와 상기 확장계층 비트스트림의 복호화결과를 이용하여 확장 복원영상을 생성하는 확장계층 복호화모듈을 포함한다.
상기 영상 부호화방법 및 영상 복호화방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.
본 발명에 따른 영상 부호화장치는 기본계층 비트스트림과 확장계층 비트스트림으로 이루어지는 스케일러블 비트스트림을 생성하고, 스케일러블 비트스트림을 수신하는 기존의 기본 디코더는 스케일러블 비트스트림으로부터 얻어지는 기본계층 비트스트림을 이용하여 복호화를 수행하고, 본 발명에 따른 영상 복호화장치는 스케일러블 비트스트림에 포함된 기본계층 비트스트림과 확장계층 비트스트림을 모두 이용하여 복호화를 수행함으로써 본 발명에 따른 비디오 코덱과 기존의 비디오 코덱이 서로 융화되어 공존할 수 있다. 특히, 본 발명에 따른 비디오 코덱을 8 비트 4:2:0 영상을 압축하는 기존의 비디오 코덱에서 사용되는 오버랩 변환 처리와 루프 필터링 혹은 포스트 필터링 처리를 지원할 수 있도록 구현함으로써, 기본계층 비트스트림과 확장계층 비트스트림을 모두 이용하여 복호화할 경우 복원영상의 화질, 블록킹 효과 및 압축효율을 개선할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 영상 부호화장치 및 영상 복호화장치의 개념을 설명하기 위한 것으로서, 엔코더 파트는 기본 엔코더의 역할을 하는 제1 엔코더(113)와 개선된 엔코더의 역할을 하는 제2 엔코더(117)를 예를 들고, 디코더 파트는 기본 디코더의 역할을 하며 제1 엔코더(113)에 대응되는 제1 디코더(153)와 개선된 디코더의 역할을 하며 제2 엔코더(117)에 대응되는 제2 디코더(157)를 예를 들기로 한다. 일실시예에서, 제1 엔코더(113)는 기본 비트깊이와 제1 영상 포맷에 따른 비트스트림을 생성하고, 제2 엔코더(117)는 기본 비트깊이와 확장 비트깊이를 지원하고, 제1 영상포맷에 따른 스케일러블 비트스트림을 생성한다. 다른 실시예에서, 제1 엔코더(113)는 기본 비트깊이와 제1 영상 포맷에 따른 비트스트림을 생성하고, 제2 엔코더(117)는 제1 및 제2 영상포맷을 지원하고, 기본 비트깊이에 따른 스케일러블 비트스트림을 생성한다. 또 다른 실시예에서, 제1 엔코더(113)는 기본 비트깊이와 제1 영상 포맷에 따른 비트스트림을 생성하고, 제2 엔코더(117)는 기본 비트깊이와 확장 비트깊이를 지원하고, 제1 및 제2 영상 포맷을 지원하는 스케일러블 비트스트림을 생성하거나, 또는 기본 비트깊이와 확장 비트깊이를 지원하고, 제1 및 제3 영상 포맷을 지원하는 스케일러블 비트스트림을 생성한다. 즉, 제2 엔코더(117)는 비트깊이와 영상포맷을 포함하는 부호화 파라미터 중 적어도 하나에 대한 순방향 호환성을 지원할 수 있는 스케일러블 비트스트림을 생성하고, 제2 디코더(157)는 이에 대응하여 스케일러블 비트스트림 혹은 넌스케일러블 비트스트림을 복호화한다.
설명의 편의를 위하여, 기본 비트깊이는 8 비트, 확장 비트깊이는 10 비트, 제1 영상 포맷은 4:2:0, 제2 영상 포맷은 4:2:2, 제3 영상 포맷은 4:4:4를 예로 들기로 한다. 이에 따르면, 제1 엔코더(113)의 일예로서 8 비트의 비트깊이와 4:2:0 영상포맷을 지원하는 VC-1 엔코더가 채택될 수 있다.
도 1을 참조하면, 제1 엔코더(113)에서 생성된 비트스트림(131)은 제1 디코더(153) 뿐만 아니라 제2 디코더(157)에서 복호화가 수행될 수 있다. 제2 엔코더(117)에서 생성된 스케일러블 비트스트림(137)은 제2 디코더(157)에서 복호화가 수행될 수 있으며, 제1 디코더(153)에서는 스케일러블 비트스트림에 포함된 확장계층 비트스트림을 무시한 상태에서 기본계층 비트스트림에 대하여 복호화가 수행될 수 있다. 이와 같은 순방향 호환성(forward compatability)을 제공할 수 있는 제2 엔코더(117)가 본 발명의 영상 부호화장치에 해당하고, 제2 디코더(157)가 본 발명의 영상 복호화장치에 해당한다.
먼저, 부호화 파라미터 중 비트깊이를 확장함에 따른 스케일러블 비트스트림을 얻는 과정을 도 1을 참조하여 설명하면 다음과 같다.
제1 엔코더(113)가 8 비트 엔코더이고, 제2 엔코더(117)가 N 비트 엔코더인 경우를 예로 들면, 제2 엔코더(117)로부터 얻어지는 스케일러블 비트스트림에서 확장계층 비트스트림의 픽쳐레벨의 스타트 코드는 제1 엔코더(113)에서 표현하지 못하는 확장 비트깊이의 나머지 부분을 표현하기 위하여 사용된다. 먼저, 확장 비트깊이가 N 비트인 경우, 확장 양자화계수를 QPN이라고 하고, 기본 비트깊이가 8 비트인 경우, 기본 양자화계수를 QP8이라고 한다. 비트깊이가 N 비트인 원영상을 비트깊이가 8 비트인 비디오 코덱에서 부호화한다면 두 양자화계수간에는 다음 수학식 1과 같은 관계가 성립한다.
Figure 112007073119383-PAT00001
즉, N 비트 원영상을 확장 양자화계수 QPN 로 양자화한 결과와 8 비트 원영상을 기본 양자화계수 QP8 로 양자화한 결과는 서로 다이나믹 레인지가 같아야 한다. 다이나믹 레인지를 일치시킴으로써, 비디오 코덱의 특별한 변경없이 기존의 방식으로 N 비트 원영상을 부호화 및 복호화할 수 있다. 그러나, 이 경우 N 비트 원영상으로부터 복원되는 영상의 품질이 8 비트 원영상으로부터 복원되는 영상의 품질과 차이가 없어지므로 높은 명암비(contrast ratio)를 제공하기 위한 N 비트 원영상의 장점이 없어진다.
이를 개선하기 위하여, N 비트 원영상의 경우 기본 양자화계수 QP8, 및 부가 양자화정보로서 일실시예인 보정 양자화계수(Refined quantization parameter, R)를 사용하여 다음 수학식 2와 같이 나타낼 수 있다. 여기서, 확장 양자화계수 QPN 혹은 기본 양자화계수 QP8은 VC-1 엔코더의 경우 'PQINDEX"로부터 유도된다. 보정 양자화계수(R)을 이용함으로써, 기본 양자화계수와 비교할 때 더 작은 값의 확장 양자화계수를 허용할 수 있게 된다.
Figure 112007073119383-PAT00002
일실시예에 있어서 R은 [-3, 0] 범위의 값을 가진다. 이때, QP8이 [1, 31] 범위의 값을 가진다면, QPN은 [1, 2(N-8)×31] 범위의 값을 가진다. 즉, 일정한 범위를 갖는 보정 양자화계수(R)에 대하여, 기본 양자화계수 QP8가 주어지면 수학식 2에 의하여 확장 양자화계수 QPN과 보정 양자화계수(R)이 산출될 수 있다. 여기서, 기본 양자화계수 QP8과 확장 양자화계수 QPN 의 최소값은 1로 동일하나, N 비트 영상을 위한 확장 양자화계수 QPN 의 경우, 상대적으로 적은 값을 사용함으로써 고명암비를 제공할 수 있다.
N 비트 원영상을 수학식 1의 양자화계수 즉, 기본계층의 양자화계수를 이용하여 양자화한 데이터는 기본계층 비트스트림을 형성하고, 수학식 2의 양자화계수 즉, 확장계층의 양자화계수를 이용하여 양자화한 데이터는 확장계층 비트스트림을 형성하고, 두개의 비트스트림을 결합하여 스케일러블 비트스트림을 생성한다. 이때, 확장계층 비트스트림으로 전송되는 데이터 사이즈를 줄이기 위하여 기본계층 비트스트림을 위하여 사용된 양자화레벨로부터 예측된 양자화레벨로 확장계층 비트스트림을 형성할 수 있다. 이와 같은 스케일러블 비트스트림은 기존의 8 비트 디코더 뿐만 아니라 N 비트 디코더에서 모두 복호화할 수 있다.
다음, 부호화 파라미터 중 영상포맷을 확장함에 따른 스케일러블 비트스트림을 얻는 과정을 도 1을 참조하여 설명하면 다음과 같다.
제1 엔코더(113)와 제2 엔코더(117)의 영상포맷이 서로 다른 경우 공간 스케일러빌러티(spatial scalability) 개념을 적용하여 스케일러블 비트스트림을 형성 한다. 일예를 들어 제1 엔코더(113) 및 제1 디코더(153)에서 지원하는 영상포맷이 4:2:0이고, 제2 엔코더(117) 및 제2 디코더(157)에서 지원하는 영상포맷이 4:2:2인 경우, 4:2:2 영상 중 색차성분에 대하여 필터링을 수행하여 저주파대역값과 고주파대역값으로 분리한 후, 저주파대역값의 색차성분을 이용하여 휘도성분과 함께 4:2:0 영상으로 재구성한다. 한편, 필터링을 수행하지 않고, 색차성분에 대하여 다운 샘플링을 수행하여 4:2:0 영상으로 재구성할 수 있다. 재구성된 4:2:0 영상은 제2 엔코더(117)에 포함된 예를 들면 제1 엔코더(113)와 같은 4:2:0 영상 부호화기에서 부호화되고, 4:2:0 압축데이터로 기본계층 비트스트림을 형성한다. 한편, 제2 엔코더(117)에 포함된 4:2:2 영상 부호화기에서는 고주파대역값의 색차성분으로 이루어진 색차영상을 부호화하여 확장계층 비트스트림을 형성한다. 다른 예로서, 제1 엔코더(113) 및 제1 디코더(153)에서 지원하는 영상포맷이 4:2:0이고, 제2 엔코더(117) 및 제2 디코더(157)에서 지원하는 영상포맷이 4:4:4인 경우에도 동일한 원리가 적용된다. 기본계층 비트스트림과 확장계층 비트스트림을 생성할 때, CBP(Coded Block Pattern)와 함께 부호화되는 것이 바람직하다. 기본계층 비트스트림을 구성할 때 사용되는 CBP는 4:2:0 영상포맷의 경우 6비트, 4:2:2 영상포맷의 경우 8비트, 4:4:4 영상포맷의 경우 12비트로 이루어진다. 한편, 확장계층 비트스트림을 구성할 때 사용되는 CBP는 색차영상에 대해서만 부호화과정이 수행되므로 4:2:2 영상포맷의 경우 2비트로, 4:4:4 영상포맷의 경우 4비트로 이루어진다.
도 2는 본 발명에 따른 영상 부호화장치의 일실시예의 구성을 나타낸 블럭도로서, 크게 제1 기본계층 부호화모듈(210)과 제1 확장계층 부호화모듈(230)을 포함 하여 이루어진다. 제1 기본계층 부호화모듈(210)은 감산부(211), DCT 변환부(212), 양자화부(213), 엔트로피 부호화부(214), 역양자화부(215), DCT 역변환부(216), 가산부(217) 및 프레임 버퍼(218)를 포함하고, 제1 확장계층 부호화모듈(230)은 양자화부(231), 비트깊이 보정부(232), 감산부(233) 및 엔트로피 부호화부(234)를 포함하여 이루어진다. 제1 기본계층 부호화모듈(210)과 제1 확장계층 부호화모듈(230)을 구성하는 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현되거나, 제1 기본계층 부호화모듈(210)과 제1 확장계층 부호화모듈(230)이 일체화되어 하나의 프로세서(미도시)로 구현될 수 있다.
도 2를 참조하면, 제1 기본계층 부호화모듈(210)에 있어서, DCT 변환부(212)는 N 비트 참조영상의 시공간 예측에 의해 얻어지는 N 비트 복원영상과 N 비트 원영상간의 레지듀 영상에 대한 변환계수를 생성한다. 즉, 감산부(211), DCT 변환부(212), 양자화부(213), 역양자화부(215), DCT 역변환부(216), 가산부(217) 및 프레임 버퍼(218)로 이루어지는 루프는 일반적인 비디오 코덱과 그 구조가 동일하다.
양자화부(213)는 DCT 변환부(212)로부터 제공되는 변환계수에 대하여 수학식 1과 같은 기본 양자화계수(QP8)를 2N-8 배한 양자화계수(2N-8QP8) 즉, 기본계층의 양자화계수로 양자화한다. 엔트로피 부호화부(214)는 양자화된 변환계수 즉, 기본 양자화레벨(LEVEL8)을 엔트로피 부호화하여 기본계층 비트스트림을 생성한다. 구체 적으로, 변환계수를 coef라 하면, 기본 양자화 레벨(LEVEL8)은 다음 수학식 3과 같이 나타낼 수 있다.
Figure 112007073119383-PAT00003
수학식 3으로부터 얻어지는 기본 양자화레벨(LEVEL8)은 기존의 8비트 비디오 코덱에서 복원될 수 있도록 그대로 엔트로피 부호화하여 기본계층으로 전송한다.
제1 확장계층 부호화모듈(230)에 있어서, 양자화부(231)는 DCT 변환부(212)로부터 제공되는 변환계수에 대하여 수학식 2의 확장 양자화계수(QPN) 즉, 확장계층의 양자화계수로 양자화하고, 양자화된 변환계수 즉, 확장 양자화레벨을 이용하여 확장계층 비트스트림을 생성한다. 구체적으로, 변환계수를 coef라 하면, 확장 양자화 레벨(LEVELN)은 다음 수학식 4와 같이 나타낼 수 있다.
Figure 112007073119383-PAT00004
수학식 4로부터 얻어지는 확장 양자화 레벨(LEVELN)은 그대로 엔트로피 부호화하지 않고, 기본 양자화 레벨(LEVEL8)로부터 예측 부호화를 수행하여 얻어지는 두 양자화레벨간의 레지듀 즉, 예측 양자화레벨을 엔트로피 부호화한다. 즉, 기본 양 자화 레벨(LEVEL8)과 확장 양자화 레벨(LEVELN)은 매우 유사하므로, 비트깊이 보정부(232)와 감산부(233)를 통하여 기본 양자화 레벨(LEVEL8)과 확장 양자화 레벨(LEVELN)간의 차이를 구하여 예측 양자화레벨(LEVELP)로 결정한다. 구체적으로, 비트깊이 보정부(232)는 각 양자화레벨의 다이나믹 레인지를 보정하기 위한 것으로서, 다음 수학식 5에 의하여 기본 양자화레벨(LEVEL8)이 확장 양자화레벨(LEVELN)과 동일한 다이나믹 레인지를 갖도록 하여, 보정 양자화레벨(LEVELN')을 출력한다.
Figure 112007073119383-PAT00005
감산부(233)는 다음 수학식 6에서와 같이 확장 양자화레벨(LEVELN)과 보정 양자화레벨(LEVELN')간 레지듀를 구하여 예측 양자화레벨(LEVELP)을 생성한다.
LEVELP = LEVELN - LEVELN'
엔트로피 부호화부(234)는 예측 양자화레벨(LEVELP)을 엔트로피 부호화하여 확장계층으로 전송함으로써 확장계층 비트스트림에 포함되는 데이터량을 대폭 줄일 수 있다. 한편, 확장계층 비트스트림에는 기본계층 비트깊이와 확장계층 비트깊이간의 차이를 보정할 수 있는 부가 양자화정보가 더 포함된다. 또한, 확장계층 비 트스트림에는 확장계층의 영상포맷이 기본계층과 다른 경우 확장계층의 영상포맷을 지원할 수 있는 부가적인 색차데이터가 더 포함된다.
도 3a는 본 발명에 따른 영상 복호화장치의 일실시예의 구성을 나타낸 블럭도로서, 크게 제1 기본계층 복호화모듈(310)과 제1 확장계층 복호화모듈(330)을 포함하여 이루어지며, 도 2에 도시된 영상 부호화장치에 대응하는 것이다. 제1 기본계층 복호화모듈(310)은 엔트로피 복호화부(311), 역양자화부(312), DCT 역변환부(313), 가산부(314) 및 프레임 버퍼(315)를 포함하고, 제1 확장계층 복호화모듈(330)은 엔트로피 복호화부(331), 비트깊이 보정부(332), 가산부(333), 역양자화부(334), DCT 역변환부(335) 및 가산부(336)를 포함하여 이루어진다. 제1 기본계층 복호화모듈(310)과 제1 확장계층 복호화모듈(330)을 구성하는 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현되거나, 제1 기본계층 복호화모듈(310)과 제1 확장계층 복호화모듈(330)이 일체화되어 하나의 프로세서(미도시)로 구현될 수 있다.
도 3a를 참조하면, 비트스트림 입력부(미도시)는 입력된 비트스트림이 확장계층 식별자를 포함하는 스케일러블 비트스트림인 경우, 기본계층 비트스트림과 확장계층 비트스트림으로 사전에 분리하여 각각 엔트로피 복호화부(311)와 엔트로피 복호화부(331)로 제공한 것으로 가정한다. 한편, 비트스트림 입력부(미도시)는 입력된 비트스트림이 확장계층 식별자를 포함하지 않는 넌스케일러블 비트스트림인 경우, 입력된 비트스트림을 엔트로피 복호화부(311)로 제공하고, 역양자화부(312) 의 양자화계수를 QP8로 설정하는 것으로 가정한다.
제1 기본계층 복호화모듈(310)에 있어서, 입력된 기본계층 비트스트림은 엔트로피 복호화부(311), 역양자화부(312), DCT 역변환부(313), 가산부(314) 및 프레임 버퍼(315)를 통한 복호화 처리가 수행되어 N 비트 복원영상을 생성한다. 생성된 N 비트 복원영상은 프레임 버퍼(314)에 저장되어, 기본계층 비트스트림 복호화시 뿐 아니라, 확장계층 비트스트림 복호화시 참조영상으로 사용된다. 한편, 넌스케일러블 비트스트림이 입력된 경우에는 가산부(314)로부터 8 비트 복원영상이 생성되어 프레임 버퍼(315)에 저장된다.
제1 확장계층 복호화모듈(330)에 있어서, 입력된 확장계층 비트스트림은 엔트로피 복호화부(331)에서 엔트로피 복호화되어 예측 양자화레벨(LEVELP)을 복원한다. 비트깊이 보정부(332)는 엔트로피 복호화부(311)에서 복원된 기본 양자화레벨(LEVEL8)의 비트깊이를 보정하여 보정 양자화레벨(LEVELN')을 생성한다. 가산부(333)는 다음 수학식 7과 같이 예측 양자화레벨(LEVELP)과 보정 양자화레벨(LEVELN')을 가산하여 확장 양자화레벨(LEVELN)을 생성한다.
LEVELN = LEVELP + LEVELN'
역양자화부(334)는 확장 양자화레벨(LEVELN)에 대하여 다음 수학식 8와 같이 확장 양자화계수(QPN)로 역양자화를 수행하여 변환계수(coefN)를 복원한다.
Figure 112007073119383-PAT00006
DCT 역변환부(335)는 복원된 변환계수(coefN)에 대하여 역변환을 수행하여 레지듀 영상을 복원하고, 가산부(336)는 복원된 레지듀 영상에 프레임 버퍼(314)에 저장된 N 비트 참조영상을 가산하여 최종 N 비트 복원영상을 생성한다.
여기서, 확장계층 양자화계수(QPN)은 기본계층 비트스트림으로부터 복원된 기본 양자화계수(QP8)와 확장계층 비트스트림으로부터 복원된 부가적인 양자화계수 예를 들면, 보정 양자화계수(R)로부터 얻어질 수 있다.
도 3b는 도 2에 의해 생성된 스케일러블 비트스트림을 입력으로 하는 기존의 영상 복호화장치의 일실시예의 구성을 나타낸 블럭도로서, 엔트로피 복호화부(351), 역양자화부(352), DCT 역변환부(353), 가산부(354) 및 프레임 버퍼(355)를 포함하여 이루어진다. 도 3b에 도시된 기존의 영상 복호화장치는 역양자화 과정에서 사용되는 역양자화 계수를 제외하고는 도 3a에 도시된 제1 기본계층 복호화모듈(310)의 세부 구성과도 동일하며, 또한 널리 공지된 일반적인 영상 복호화장치와 동일하다.
도 3b에 있어서, 비트스트림 입력부(미도시)는 입력된 비트스트림이 확장계층 식별자를 포함하고 있는지를 확인하여 입력되는 비트스트림이 스케일러블 비트스트림인 경우 기본계층 비트스트림을 분리하여 엔트로피 복호화부(351)로 제공하는 것으로 가정한다.
엔트로피 복호화부(351)는 입력된 기본계층 비트스트림을 복호화하여 기본 양자화계수(QP8)를 복원한다.
역양자화부(352)는 다음 수학식 9와 같이 기본 양자화계수(QP8)를 이용하여 기본계층 비트스트림으로부터 변환계수(coef8)를 복원한다.
Figure 112007073119383-PAT00007
DCT 역변환부(353)는 복원된 변환계수(coef8)에 대하여 역변환을 수행하여 레지듀 영상을 복원하고, 가산부(354)는 복원된 레지듀 영상에 프레임 버퍼(355)에 저장된 8 비트 참조영상을 가산하여 최종 8 비트 복원영상을 생성한다.
한편, 본 발명에 따른 영상 부호화장치로부터 얻어지는 스케일러블 비트스트림은 기본계층 부호화모듈(210)을 통해 생성되는 기본계층 비트스트림과 확장계층 부호화모듈(230)을 통해 생성되는 확장계층 비트스트림이 통합되어 구성된다. 기본적으로 하위계층 즉, 기본계층의 시퀀스 헤더(Base SEQ_HDDR)가 위치하고, 그 이후에 상위계층 즉, 확장계층의 시퀀스 헤더(Enhancement SEQ_HDDR)가 위치한다. 각 계층의 시퀀스 헤더 이후에는 기본계층의 프레임 또는 픽쳐 헤더(Base PIC_HDDR)와 기본계층의 프레임 또는 픽쳐 데이터(Base PIC_DATA)가 위치하고, 그 이후에는 확장계층의 프레임 또는 픽쳐 헤더(Enhancement PIC_HDDR)와 확장계층의 프레임 또는 픽쳐 데이터(Enhancement PIC_DATA)가 위치한다. 이때, 각 계층의 프 레임 또는 픽쳐 헤더와 프레임 또는 픽쳐 데이터는 하나의 비디오 시퀀스에 포함되는 마지막 프레임 혹은 픽쳐까지 반복적으로 나타난다. 본 발명에 따른 스케일러블 비트스트림에는 미리 정해진 위치에 각종 사용자 데이터 또는 엔트리-포인트(Entry-Point) 정보나 GOP(Group Of Pictures) 정보가 더 포함될 수 있다. 한편, 다른 실시예에서는 프레임 혹은 픽쳐 헤더와 관련하여 확장계층이 기본계층보다 먼저 위치하는 것도 가능하다. 여기서, 기본계층 비트스트림을 구성하는 기본계층의 시퀀스 헤더(Base SEQ_HDDR), 기본계층의 프레임 또는 픽쳐 헤더(Base PIC_HDDR), 기본계층의 프레임 또는 픽쳐 헤더(Base PIC_HDDR)와 기본계층의 프레임 또는 픽쳐 데이터(Base PIC_DATA)에 대해서는 기존의 비디오 코덱에서와 동일하므로 세부적인 설명은 생략하기로 한다.
다음 표 1은 본 발명에 따른 영상 부호화장치로부터 얻어지는 스케일러블 비트스트림에 있어서 확장계층 식별자를 포함하여 확장계층과 관련된 정보를 싣기 위한 영역을 설명하기 위한 것이다. 제1 엔코더(113)가 VC-1 엔코더인 경우 일실시예에서는 4 바이트 단위의 스타트 코드(start code)를 사용한다. VC-1 엔코더의 경우 스타트 코드는 어드밴스트 프로파일(Advanced profile) 이상에서 지원될 수 있다. 한편, 스타트 코드는 각 레벨의 헤더에 첫번째 영역에 포함될 수 있다.
Figure 112007073119383-PAT00008
표 1를 참조하여 일실시예로 사용된 VC-1의 스타트 코드에서 확장계층과 관련된 정보를 싣는 과정을 설명하기로 한다. 스타트 코드에 있어서 서픽스(suffix)에 정의되는 BDU(Bitstream Data Unit) 타입 중에서 미래의 사용을 위하여 예약된 예비영역(reserved area)을 확장계층과 관련된 정보를 담기 위하여 사용한다. 여기서, BDU는 동일한 계층 레벨에 있는 다른 정보와는 독립적으로 파싱될 수 있는 압축 데이터 단위를 의미하며, 예를 들면 시퀀스 헤더, 엔트리 포인트 헤더, 부호화된 픽쳐 혹은 슬라이스일 수 있다. 스타트 코드의 서픽스에 정의되는 BDU 타입 중 금지영역 이외의 나머지 영역들은 기본계층과 관련된 정보를 담기 위한 것이다. 여기서, 스타트 코드는 일예에 불과하며, 비트스트림의 구성요소 중 다른 부분을 사용할 수도 있다. 여기서, '0x00'는 제1 예비영역, '0x01-0x09'는 제2 예비영역, '0x10-0x1A'는 제3 예비영역, '0x20-0x40, 0x41-0x7F'은 제4 예비영역으로 한다.
한편, 확장계층은 시퀀스 레벨, GOP 레벨, 프레임 레벨, 필드 레벨 및 슬라이스 레벨을 포함한다. 확장계층의 정보는 일실시예에서 제2 예비영역 및 제4 예비영역 중 어느 하나에 포함될 수 있다. 구체적으로 살펴보면, 제2 예비영역에서 '0x09' 혹은 제4 예비영역에서 '0x40'에 확장계층의 시퀀스 레벨에 대한 헤더에 스타트 코드가 포함되고, 제2 예비영역에서 '0x08' 혹은 제4 예비영역에서 '0x3F'에 확장계층의 GOP 레벨에 대한 헤더에 스타트 코드가 포함되고, 제2 예비영역에서 '0x07' 혹은 제4 예비영역에서 '0x3E'에 확장계층의 프레임 레벨에 대한 헤더에 스타트 코드가 포함되고, 제2 예비영역에서 '0x06' 혹은 제4 예비영역에서 '0x3D'에 확장계층의 필드 레벨에 대한 헤더에 스타트 코드가 포함되고, 제2 예비영역에서 '0x06' 혹은 제4 예비영역에서 '0x3C'에 확장계층의 데이터에 대한 헤더에 확장 색차 데이터를 위한 스타트 코드가 포함된다. 이를 보다 세부적으로 설명하면 다음과 같다.
제2 예비영역에서 '0x09'에 정의되는 확장계층 시퀀스 레벨에 대한 헤더의 스타트 코드에 포함시킬 수 있는 정보로는, 기본계층 이외에 확장계층에 의해 달성할 수 있는 부가적인 프로파일 및 레벨 정보, 및 비트깊이 정보를 들 수 있다. 구체적으로 기본계층의 시퀀스 레벨에서는 프로파일은 2 비트로 정의되며, '3'은 어드밴스드 프로파일을, '0-2'은 예비영역을 나타낸다. 한편, 레벨은 3 비트로 정의되며, '000'은 AP@LO, '001'은 AP@L1, '010'은 AP@L2, '011'은 AP@L3, '100'은 AP@L4, '101-111'은 예비영역을 나타낸다. 확장계층에 의해 달성될 수 있는 비트깊이 정보는 "N-8"(여기서, N은 확장계층의 비트깊이)의 값으로 나타낼 수 있으며, 기본계층에 대응하는 제1 엔코더(도 1의 113)의 비트깊이에 따라서 8 이외의 값을 사용할 수 있다. 한편, 확장계층에 의해 달성될 수 있는 비트깊이 정보로서 N을 그대로 사용할 수도 있다. 또한, 확장계층에 대한 정보로 확장된 영상포맷 정보가 포함될 수 있는데, 영상포맷 정보는 기본계층의 시퀀스 레벨에 포함되는 변수, 예를 들면 VC-1 엔코더인 경우 'COLORDIFF' 변수를 활용하여 나타내거나, 제2 예비영역에서 '0x09'에 포함시킬 수 있다. 즉, 확장계층의 영상포맷이 확장되지 않거나, 확장된 영상포맷을 위하여 기본계층의 변수를 활용할 경우 확장계층에서는 확장되는 영상포맷 정보를 별도로 전송할 필요가 없다. 'COLORDIFF' 변수의 예를 살펴보면, '1'은 4:2:0 영상포맷을 정의하는데 사용하고, '2'와 '3'은 예비영역으로 지정되어 있으므로 바람직하게는 4:2:2 영상포맷과 4:4:4 영상포맷을 정의하는데 사용할 수 있다. 한편, 확장계층에 대한 정보로서, 부가적인 HRD(Hypothetical Reference Decoder) 변수가 포함될 수 있다. HRD 변수는 가상 비디오 버퍼 변수로서, 디코더에서 버퍼 운용을 위하여 참고하는 변수이다.
제2 예비영역에서 '0x08'에 정의되는 확장계층 GOP 레벨에 대한 헤더의 스타트 코드는 비트깊이 혹은 영상포맷이 GOP 단위로 변경되지 않는 경우에는 불필요하므로 예비영역으로 지정되고, 비트깊이 혹은 영상 포맷이 GOP 단위로 변경되는 경우 필요로 한다.
제2 예비영역에서 '0x07' 및 '0x06'에 정의되는 확장계층의 픽쳐 레벨 즉, 프레임 레벨 및 필드 레벨의 헤더에 대한 스타트 코드는 순차(progressive) 주사 혹은 비월(interlaced) 주사에 따라서 기본계층의 비트깊이 정보와 함께 확장계층의 비트깊이를 나타내기 위한 부가정보를 포함하며, 일실시예에서는 제1 엔코더(113)의 비트깊이가 8 비트인 경우 'N-8'(여기서, N은 제2 엔코더(117)의 비트깊이를 나타낸다)에 대응하는 부가적인 양자화계수의 값을 정의한다. 이 경우는 픽쳐 단위로 부가적인 양자화계수를 사용하므로 픽쳐 레벨에 포함시키는 것이나, 다른 실시예에 따르면 슬라이스 단위로 부가적인 양자화계수를 사용하는 경우에는 슬라이스 레벨에, 매크로블럭 단위로 부가적인 양자화계수를 사용하는 경우에는 매크로블럭 레벨에, 블럭 단위로 부가적인 양자화계수를 사용하는 경우에는 블럭 레벨에 포함시킨다. 각 슬라이스, 각 매크로블럭 혹은 각 블럭에 대한 부가적인 양자화계수를 산출하기 위해서는 후술하는 픽쳐 레벨의 부가적인 양자화계수를 산출하는 과정을 적용할 수 있다.
제2 예비영역에서 '0x05'에 정의되는 확장계층의 데이터의 헤더에 대한 스타트 코드는 기본계층과 비교하여 확장계층의 영상포맷이 변경되지 않는 경우 불필요하므로 예비영역으로 지정된다. 즉, 기본계층과 확장계층의 영상포맷이 4:2:0으로 동일한 경우, 기본계층에서는 기본계층을 위한 하나의 매크로블럭을 이루는 4개의 휘도블럭과 2개의 색차블럭에 대한 데이터를 전송하고, 확장계층에서는 기본계층을 위한 하나의 매크로블럭을 이루는 4개의 휘도블럭과 2개의 색차블럭에 대한 데이터를 이용하여 예측된 데이터를 전송한다. 한편, 기본계층과 확장계층의 영상포맷이 서로 다른 경우, 예를 들어 기본계층의 영상포맷이 4:2:0이고 확장계층의 영상포맷이 4:2:2이거나, 기본계층의 영상포맷이 4:2:0이고 확장계층의 영상포맷이 4:4:4인 경우, 기본계층에서는 기본계층을 위한 4개의 휘도블럭과 2개의 색차블럭에 대한 데이터를 기본계층에서 전송하고, 확장계층에서는 기본계층을 위한 하나의 매크로블럭을 이루는 4개의 휘도블럭과 2개의 색차블럭에 대한 데이터를 이용하여 예측된 데이터와 함께 변경된 영상포맷을 지원할 수 있도록 색차성분에 대한 추가적인 데이터를 전송한다.
한편, 상기 확장계층과 관련된 정보는 표 1에 기재된 스타트 코드에 제한되지 않으며, 시퀀스레벨, GOP 레벨, 픽쳐 레벨, 매크로블럭 레벨, 블럭 레벨에서 미래의 사용을 위해 남겨둔 예비영역(reserved area)에 포함될 수 있다. 또한, 비트스트림을 전송하기 위하여 영상 비트스트림을 페이로드(payload)로 하고, 이를 패키징하는 시스템 계층이나, 네트워크 프로토콜의 다양한 계층에 다양한 형태로 확장계층 식별자를 포함할 수도 있다.
도 4는 본 발명에 따른 영상 부호화장치의 다른 실시예의 구성을 나타낸 블럭도로서, 크게 제2 기본계층 부호화모듈(410)과 제2 확장계층 부호화모듈(430)을 포함하여 이루어진다. 제2 기본계층 부호화모듈(410)은 감산부(411), 오버랩 변환부(412), DCT 변환부(413), 양자화부(414), 엔트로피 부호화부(415), 역양자화부(416), DCT 역변환부(417), 오버랩 역변환부(418), 루프 필터(419), 가산부(420) 및 프레임 버퍼(421)를 포함하고, 제2 확장계층 부호화모듈(430)은 오버랩 변환부(431), DCT 변환부(432), 양자화부(433), 비트깊이 보정부(434), 감산부(435) 및 엔트로피 부호화부(436)를 포함하여 이루어진다. 제2 기본계층 부호화모듈(410)과 제2 확장계층 부호화모듈(430)을 구성하는 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현되거나, 제2 기본계층 부호화모듈(410)과 제2 확장계층 부호화모듈(430)이 일체화되어 하나의 프로세서(미도시)로 구현될 수 있다. 도 4에 도시된 영상 부호화장치를 도 2에 도시된 영상 부호화장치와 비교하면, 제2 기본계층 부호화모듈(410)이 오버랩 변환부(412), 오버랩 역변환부(418) 및 루프 필터(419)를 더 포함하고, 제2 확장계층 부호화모듈(430)이 오버랩 변환부(431)를 더 포함한다는 점을 제외하고는 기본적인 구성이 동일하므로, 차이가 나는 부분에 대해서만 설명하기로 한다.
도 4를 참조하면, 제2 기본계층 부호화모듈(410)에 있어서, 오버랩 변환부(412)는 기본계층의 양자화계수(2N-8QP8)에 대응하여 오버랩 변환을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 오버랩 변환을 수행한다. 오버랩 변환부(412)에서 오버랩 변환이 수행된 레지듀 영상은 변환부(413)로 제공된다.
오버랩 역변환부(418)는 기본계층의 양자화계수(2N-8QP8)에 대응하여 오버랩 역변환을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 오버랩 역변환을 수행한다. 오버랩 역변환부(412)에서 오버랩 역변환이 수행된 복원 영상은 루프 필터(419)로 제공된다.
루프 필터(419)는 기본계층의 양자화계수(2N-8QP8)에 대응하여 루프 필터링을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 루프 필터링을 수행한다. 루프 필터(419)에서 루프 필터링이 수행된 복원 영상은 가산부(420)로 제공된다.
제2 기본계층 부호화모듈(410)에서 상기와 같은 오버랩 변환처리 및 루프 필터링처리를 수행함으로써, 기존의 영상 부호화장치와 호환성을 유지하면서 기본 복원영상의 화질을 개선할 수 있다.
한편, 제2 확장계층 부호화모듈(430)에 있어서, 오버랩 변환부(431)는 확장계층의 양자화계수(QPN)에 대응하여 오버랩 변환을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 오버랩 변환을 수행한다. 오버랩 변환부(431)에서 오버랩 변환이 수행된 레지듀 영상은 변환부(432)로 제공된다.
제2 확장계층 부호화모듈(430)에서 상기와 같은 오버랩 변환처리를 수행함으로써, 확장 복원영상의 화질을 개선할 수 있다.
도 5는 본 발명에 따른 영상 복호화장치의 다른 실시예의 구성을 나타낸 블럭도로서, 크게 제2 기본계층 복호화모듈(510)과 제2 확장계층 복호화모듈(530)을 포함하여 이루어지며, 도 4에 도시된 영상 부호화장치에 대응하는 것이다. 제2 기본계층 복호화모듈(510)은 엔트로피 복호화부(511), 역양자화부(512), DCT 역변환부(513), 오버랩 역변환부(514), 루프 필터(515), 가산부(516) 및 프레임 버퍼(517)를 포함하고, 제2 확장계층 복호화모듈(530)은 엔트로피 복호화부(531), 비트깊이 보정부(532), 가산부(533), 역양자화부(534), DCT 역변환부(535), 가산부(536), 오버랩 역변환부(537) 및 루프 필터(538)를 포함하여 이루어진다. 제2 기본계층 복호화모듈(510)과 제2 확장계층 복호화모듈(530)을 구성하는 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현되거나, 제2 기본계층 복호화모듈(510)과 제2 확장계층 복호화모듈(530)이 일체화되어 하나의 프로세서(미도시)로 구현될 수 있다. 도 5에 도시된 영상 복호화장치를 도 3a에 도시된 영상 복호화장치와 비교하면, 제2 기본계층 복호화모듈(510)이 오버랩 역변환부(514) 및 루프 필터(515)를 더 포함하고, 제2 확장계층 복호화모듈(530)이 오버랩 역변환부(537) 및 루프 필터(538)를 더 포함한다는 점을 제외하고는 기본적인 구성이 동일하므로, 차이가 나는 부분에 대해서만 설명하기로 한다.
도 5를 참조하면, 제2 기본계층 복호화모듈(510)에 있어서, 오버랩 역변환부(514)는 비트스트림의 헤더 정보를 참조하여 기본계층의 양자화계수(2N-8QP8)에 대응하는 오버랩 역변환을 수행한다. 오버랩 역변환부(514)에서 오버랩 역변환이 수행된 복원영상은 루프 필터(515)로 제공된다.
루프 필터(515)는 비트스트림의 헤더 정보를 참조하여 기본계층의 양자화계수(2N-8QP8)에 대응하는 루프 필터링을 수행한다. 루프 필터(515)에서 루프 필터링이 수행된 복원영상은 가산부(516)로 제공된다.
제2 기본계층 복호화모듈(510)에서 상기와 같은 오버랩 변환처리 및 루프 필터링처리를 수행함으로써, 8 비트 복원영상 혹은 N 비트 참조영상의 화질을 개선할 수 있다.
제2 확장계층 복호화모듈(530)에 있어서, 오버랩 역변환부(537)는 비트스트림의 헤더 정보를 참조하여 확장계층의 양자화계수(QPN)에 대응하는 오버랩 역변환을 수행한다. 오버랩 역변환부(537)에서 오버랩 역변환이 수행된 N 비트 복원영상은 루프 필터(538)로 제공된다.
루프 필터(538)는 확장계층의 양자화계수(QPN)에 대응하여 루프 필터링을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 루프 필터링을 수행하여 화질이 개선된 N 비트 복원영상을 생성한다. 한편, 도 4의 기본계층 부호화모듈(410)에서 기본계층의 복원영상을 부호화 루프에 사용하므로 확장계층의 필터링 결과는 부호화 루프에 아무런 영향을 미치지 않는다. 따라서, 루프 필터(538)는 포스트 필터(538)라 지칭할 수도 있다. 루프 필터(538)는 제2 기본계층 복호화모듈(510)에서 사용된 루프 필터(515)와 동일한 필터가 사용되거나, 다른 형태의 필터를 사용할 수 있다. 그러나, 동일한 필터가 사용되더라도 기본계층과 확장계층은 그 필터링 동작조건이 다를 수 있다.
제2 확장계층 복호화모듈(530)에서 상기와 같은 오버랩 역변환처리 및 루프 필터링처리를 수행함으로써, 최종 N 비트 복원영상의 화질을 개선할 수 있다.
여기서, 오버랩 변환처리 및 루프 필터링처리의 동작조건을 결정하는데 사용되는 부호화조건은 양자화계수 뿐만 아니라, CBP(Coded Block Pattern), SBLKPAT(Sub-block Coded Pattern), DCT 변환모드 등을 부가적으로 이용할 수 있으며, 이는 루프 필터링처리의 동작조건을 결정하는데 사용되는 복호화조건에도 동일하게 적용된다. 한편, 이와 같은 루프 필터링 처리는 H.263, H.264 혹은 VC-1 등과 같은 기존 비디오 코덱에 적용되어 있으며, 오버랩 변환처리는 VC-1 등에 적용되어 있다.
도 6은 도 4에 의해 생성된 스케일러블 비트스트림을 입력으로 하는 기존의 영상 복호화장치의 다른 실시예의 구성을 나타낸 블럭도로서, 엔트로피 복호화부(611), 역양자화부(612), DCT 역변환부(613), 가산부(614), 프레임 버퍼(615), 오버랩 역변환부(616) 및 루프 필터(617)를 포함하여 이루어진다. 도 6에 도시된 기존의 영상 복호화장치는 역양자화 과정에서 사용되는 역양자화 계수 및 오버랩 역변환부(616) 및 루프 필터(617)의 위치를 제외하고는 도 5에 도시된 제2 기본계층 복호화모듈(510)의 세부 구성과도 동일하므로, 차이가 나는 부분에 대해서만 설명하기로 한다.
도 6을 참조하면, 역양자화부(612)는 기본 양자화계수(QP8)를 이용하여 기본계층 비트스트림으로부터 변환계수(coef8)를 복원한다.
오버랩 역변환부(616)는 비트스트림의 헤더 정보를 참조하여 기본 양자화계수(QP8)에 대응하는 오버랩 역변환을 수행한다. 오버랩 역변환부(616)에서 오버랩 역변환이 수행된 8 비트 복원영상은 루프 필터(617)로 제공된다.
루프 필터(617)는 비트스트림의 헤더 정보를 참조하여 기본 양자화계수(QP8)에 대응하는 루프 필터링을 수행하여 화질이 개선된 8 비트 복원영상을 생성한다. 또한, 8 비트 복원영상은 다음 프레임을 위한 참조영상으로 프레임 버퍼(615)에 저장된다.
도 7는 본 발명에 따른 영상 부호화장치의 또 다른 실시예의 구성을 나타낸 블럭도로서, 크게 제3 기본계층 부호화모듈(710)과 제3 확장계층 부호화모듈(730)을 포함하여 이루어진다. 제3 기본계층 부호화모듈(710)은 감산부(711), 오버랩 변환부(712), DCT 변환부(713), 양자화부(714), 엔트로피 부호화부(715), 역양자화부(716), DCT 역변환부(717), 오버랩 역변환부(718), 루프 필터(719), 가산부(720) 및 프레임 버퍼(721)를 포함하고, 제3 확장계층 부호화모듈(730)은 양자화부(731), 비트깊이 보정부(732), 감산부(733) 및 엔트로피 부호화부(734)를 포함하여 이루어진다. 제3 기본계층 부호화모듈(710)과 제3 확장계층 부호화모듈(730)을 구성하는 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현되거나, 제3 기본계층 부호화모듈(710)과 제3 확장계층 부호화모듈(730)이 일체화되어 하나의 프로세서(미도시)로 구현될 수 있다. 도 7에 도시된 영상 부호화장치를 도 4에 도시된 영상 부호화장치와 비교하면, 제3 기본계층 부호화모듈(710)과 제3 확장계층 부호화모듈(730)에서 중복적으로 수행되는 오버랩 변환처리 및 DCT 변환처리를 단일의 오버랩 변환처리 및 DCT 변환처리로 변형시킨 점을 제외하고는 기본적인 구성이 동일하므로, 차이가 나는 부분에 대해서만 설명하기로 한다.
도 7을 참조하면, 제3 기본계층 부호화모듈(710)에 있어서, 오버랩 변환부(712)는 기본계층의 양자화계수(2N-8QP8)에 대응하여 오버랩 변환을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 오버랩 변환을 수행한다. 오버랩 변환부(712)에서 오버랩 변환이 수행된 레지듀 영상은 DCT 변환부(713)로 제공된다.
DCT 변환부(713)는 오버랩 변환이 수행된 레지듀 영상에 대하여 변환계수를 얻어 제3 기본계층 부호화모듈(710)의 양자화부(714)와 제3 확장계층 부호화모듈(730)의 양자화부(731)로 동시에 제공한다.
오버랩 역변환부(718)는 기본계층의 양자화계수(2N-8QP8)에 대응하여 오버랩 역변환을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 오버랩 역변환을 수행한다. 오버랩 역변환부(718)에서 오버랩 역변환이 수행된 복원 영상은 루프 필터(719)로 제공된다.
루프 필터(719)는 기본계층의 양자화계수(2N-8QP8)에 대응하여 루프 필터링을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 루프 필터링을 수행한다. 루프 필터(719)에서 루프 필터링이 수행된 복원 영상은 가산부(720)로 제공된다.
제3 기본계층 부호화모듈(710)에서 상기와 같은 오버랩 변환처리 및 루프 필터링처리를 수행함으로써, 기존의 영상 부호화장치와 호환성을 유지하면서 복원영상의 화질을 개선할 수 있다. 한편, 제3 확장계층 부호화모듈(730)에서 오버랩 변환처리 및 DCT 변환처리를 제3 기본계층 부호화모듈(710)과 공유함으로써, 하드웨어 구현상 복잡도를 감소시키면서 복원영상의 화질을 개선할 수 있다.
도 8은 본 발명에 따른 영상 복호화장치의 또 다른 실시예의 구성을 나타낸 블럭도로서, 크게 제3 기본계층 복호화모듈(810)과 제3 확장계층 복호화모듈(830)을 포함하여 이루어지며, 도 7에 도시된 영상 부호화장치에 대응하는 것이다. 제3 기본계층 복호화모듈(810)은 엔트로피 복호화부(811), 역양자화부(812), DCT 역변환부(813), 오버랩 역변환부(814), 루프 필터(815), 가산부(816) 및 프레임 버퍼(817)를 포함하고, 제3 확장계층 복호화모듈(830)은 엔트로피 복호화부(831), 비트깊이 보정부(832), 가산부(833), 역양자화부(834), DCT 역변환부(835), 가산부(836), 오버랩 역변환부(837) 및 루프 필터(838)를 포함하여 이루어진다. 제3 기본계층 복호화모듈(810)과 제3 확장계층 복호화모듈(830)을 구성하는 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현되거나, 제3 기본계층 복호화모듈(810)과 제3 확장계층 복호화모듈(830)이 일체화되어 하나의 프로세서(미도시)로 구현될 수 있다. 도 8에 도시된 영상 복호화장치를 도 5에 도시된 영상 복호화장치와 비교하면, 제3 확장계층 복호화모듈(830)에서 오버랩 역변환부(837)의 동작조건이 기본계층의 양자화계수를 이용하여 결정되는 점을 제외하고는 기본적인 구성이 동일하므로, 차이가 나는 부분에 대해서만 설명하기로 한다.
도 8을 참조하면, 제3 확장계층 복호화모듈(830)에 있어서, 오버랩 역변환부(837)는 비트스트림의 헤더 정보를 참조하여 기본계층의 양자화계수(2N-8QP8)에 대응하는 오버랩 역변환을 수행한다. 오버랩 역변환부(837)에서 오버랩 역변환이 수행된 N 비트 복원영상은 루프 필터(838)로 제공된다.
루프 필터(838)는 확장계층의 양자화계수(QPN)에 대응하여 루프 필터링을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 루프 필터링을 수행하여 화질이 개선된 N 비트 복원영상을 생성한다.
도 8에 있어서, 제3 확장계층 복호화모듈(830)은 제3 기본계층 복호화모듈(810)과 실질적으로 동일한 조건에 따라서 오버랩 역변환처리를 수행한다.
도 9는 본 발명에 따른 영상 복호화장치의 또 다른 실시예의 구성을 나타낸 블럭도로서, 크게 제4 기본계층 복호화모듈(910)과 제4 확장계층 복호화모듈(930)을 포함하여 이루어지며, 도 7에 도시된 영상 부호화장치에 대응하는 것이다. 제4 기본계층 복호화모듈(910)은 엔트로피 복호화부(911), 역양자화부(912), DCT 역변환부(913), 오버랩 역변환부(914), 루프 필터(915), 가산부(916) 및 프레임 버퍼(917)를 포함하고, 제4 확장계층 복호화모듈(930)은 엔트로피 복호화부(931), 비트깊이 보정부(932), 가산부(933), 역양자화부(934), DCT 역변환부(935), 가산부(936), 오버랩 역변환부(937) 및 루프 필터(938)를 포함하여 이루어진다. 제4 기본계층 복호화모듈(910)과 제4 확장계층 복호화모듈(930)을 구성하는 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현되거나, 제4 기본계층 복호화모듈(910)과 제4 확장계층 복호화모듈(930)이 일체화되어 하나의 프로세서(미도시)로 구현될 수 있다. 도 9에 도시된 영상 복호화장치를 도 8에 도시된 영상 복호화장치와 비교하면, 제4 확장계층 복호화모듈(930)에서 루프 필터(937)의 동작조건도 오버랩 역변환부(937)와 마찬가지로 기본계층의 양자화계수를 이용하여 결정되는 점을 제외하고는 기본적인 구성이 동일하므로, 차이가 나는 부분에 대해서만 설명하기로 한다.
도 9를 참조하면, 제4 확장계층 복호화모듈(930)에 있어서, 오버랩 역변환부(937)는 비트스트림의 헤더 정보를 참조하여 기본계층의 양자화계수(2N-8QP8)에 대응하는 오버랩 역변환을 수행한다. 오버랩 역변환부(937)에서 오버랩 역변환이 수행된 N 비트 복원영상은 루프 필터(938)로 제공된다.
루프 필터(938)는 기본계층의 양자화계수(2N-8QP8)에 대응하여 루프 필터링을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 루프 필터링을 수행하여 화질이 개선된 N 비트 복원영상을 생성한다.
도 9에 있어서, 제4 확장계층 복호화모듈(930)은 제4 기본계층 복호화모듈(910)과 실질적으로 동일한 조건에 따라서 오버랩 역변환처리 및 루프 필터링처리를 수행한다.
도 10은 본 발명에 따른 영상 복호화장치의 또 다른 실시예의 구성을 나타낸 블럭도로서, 크게 제5 기본계층 복호화모듈(1010)과 제5 확장계층 복호화모듈(1030)을 포함하여 이루어지며, 도 7에 도시된 영상 부호화장치에 대응하는 것이다. 제5 기본계층 복호화모듈(1010)은 엔트로피 복호화부(1011), 역양자화부(1012), DCT 역변환부(1013), 오버랩 역변환부(1014), 루프 필터(1015), 가산부(1016) 및 프레임 버퍼(1017)를 포함하고, 제5 확장계층 복호화모듈(1030)은 엔트로피 복호화부(1031), 비트깊이 보정부(1032), 가산부(1033), 역양자화부(1034), DCT 역변환부(1035), 가산부(1036) 및 오버랩 역변환부(1037)를 포함하여 이루어진다. 제5 기본계층 복호화모듈(1010)과 제5 확장계층 복호화모듈(1030)을 구성하는 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현되거나, 제5 기본계층 복호화모듈(1010)과 제5 확장계층 복호화모듈(1030)이 일체화되어 하나의 프로세서(미도시)로 구현될 수 있다. 도 10에 도시된 영상 복호화장치를 도 9에 도시된 영상 복호화장치와 비교하면, 제5 확장계층 복호화모듈(1030)에서 루프 필터링 처리를 수행하지 않는 점을 제외하고는 기본적인 구성이 동일하므로, 차이가 나는 부분에 대해서만 설명하기로 한다.
도 10을 참조하면, 제5 확장계층 복호화모듈(1030)에 있어서, 오버랩 역변환부(1037)는 비트스트림의 헤더 정보를 참조하여 기본계층의 양자화계수(2N-8QP8)에 대응하는 오버랩 역변환을 수행하여, 화질이 개선된 N 비트 복원영상을 생성한다.
도 10에 있어서, 제5 확장계층 복호화모듈(1030)은 제5 기본계층 복호화모듈(1010)과 실질적으로 동일한 조건에 따라서 오버랩 역변환처리를 수행한다.
한편, 도 7에 도시된 영상 부호화장치에 의해 생성된 스케일러블 비트스트림을 입력으로 하는 기존의 영상 복호화장치의 구성은 도 6에서와 같다.
도 11은 본 발명에 따른 영상 부호화장치의 또 다른 실시예의 구성을 나타낸 블럭도로서, 크게 제4 기본계층 부호화모듈(1110)과 제4 확장계층 부호화모듈(1130)을 포함하여 이루어진다. 제4 기본계층 부호화모듈(1110)은 감산부(1111), , DCT 변환부(1112), 양자화부(1113), 엔트로피 부호화부(1114), 역양자화부(1115), DCT 역변환부(1116), 루프 필터(1117), 가산부(1118) 및 프레임 버퍼(1119)를 포함하고, 제4 확장계층 부호화모듈(1130)은 양자화부(1131), 비트깊이 보정부(1132), 감산부(1133) 및 엔트로피 부호화부(1134)를 포함하여 이루어진다. 제4 기본계층 부호화모듈(1110)과 제4 확장계층 부호화모듈(1130)을 구성하는 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현되거나, 제4 기본계층 부호화모듈(1110)과 제4 확장계층 부호화모듈(1130)이 일체화되어 하나의 프로세서(미도시)로 구현될 수 있다. 도 11에 도시된 영상 부호화장치를 도 7에 도시된 영상 부호화장치와 비교하면, 제4 기본계층 부호화모듈(1110)에서 오버랩 변환처리를 수행하지 않는 점을 제외하고는 기본적인 구성이 동일하므로, 차이가 나는 부분에 대해서만 설명하기로 한다.
도 11을 참조하면, 제4 기본계층 복호화모듈(1110)에 있어서 DCT 변환부(1112)는 감산부(1111)로부터 제공되는 레지듀 영상에 대하여 변환계수를 생성하여 제4 기본계층 복호화모듈(1110)의 양자화부(1113)와 제4 확장계층 복호화모듈(1130)의 양자화부(1131)로 동시에 제공한다.
루프 필터(1117)는 기본계층의 양자화계수(2N-8QP8)에 대응하여 루프 필터링을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 DCT 역변환부(1116)로부터 제공되는 복원영상에 대한 루프 필터링을 수행한다. 루프 필터(1117)에서 루프 필터링이 수행된 복원 영상은 가산부(1118)로 제공된다.
도 12는 본 발명에 따른 영상 복호화장치의 또 다른 실시예의 구성을 나타낸 블럭도로서, 크게 제6 기본계층 복호화모듈(1210)과 제6 확장계층 복호화모듈(1230)을 포함하여 이루어지며, 도 11에 도시된 영상 부호화장치에 대응하는 것이다. 제6 기본계층 복호화모듈(1210)은 엔트로피 복호화부(1211), 역양자화부(1212), DCT 역변환부(1213), 루프 필터(1214), 가산부(1215) 및 프레임 버퍼(1216)를 포함하고, 제6 확장계층 복호화모듈(1230)은 엔트로피 복호화부(1231), 비트깊이 보정부(1232), 가산부(1233), 역양자화부(1234), DCT 역변환부(1235), 가산부(1236) 및 루프 필터(1237)를 포함하여 이루어진다. 제6 기본계층 복호화모듈(1210)과 제6 확장계층 복호화모듈(1230)을 구성하는 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현되거나, 제6 기본계층 복호화모듈(1210)과 제6 확장계층 복호화모듈(1230)이 일체화되어 하나의 프로세서(미도시)로 구현될 수 있다. 도 12에 도시된 영상 복호화장치를 도 8에 도시된 영상 복호화장치와 비교하면, 제6 기본계층 복호화모듈(1210) 및 제6 확장계층 복호화모듈(1230)에서 루프 필터링 처리를 수행하지 않는 점을 제외하고는 기본적인 구성이 동일하므로, 차이가 나는 부분에 대해서만 설명하기로 한다.
도 12를 참조하면, 제6 기본계층 복호화모듈(1210)에 있어서, 루프 필터(1214)는 기본계층의 양자화계수(2N-8QP8)에 대응하여 루프 필터링을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 DCT 역변환부(1213)로부터 제공되는 복원영상에 대한 루프 필터링을 수행하여 가산부(1215)로 제공한다.
제6 확장계층 복호화모듈(1230)에 있어서, 루프 필터(1237)는 확장계층의 양자화계수(QPN)에 대응하여 루프 필터링을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 가산부(1236)로부터 제공되는 복원영상에 대한 루프 필터링을 수행하여 화질이 개선된 N 비트 복원영상을 생성한다.
도 13은 본 발명에 따른 영상 복호화장치의 또 다른 실시예의 구성을 나타낸 블럭도 로서, 크게 제7 기본계층 복호화모듈(1310)과 제7 확장계층 복호화모듈(1330)을 포함하여 이루어지며, 도 11에 도시된 영상 부호화장치에 대응하는 것이다. 제7 기본계층 복호화모듈(1310)은 엔트로피 복호화부(1311), 역양자화부(1312), DCT 역변환부(1313), 루프 필터(1314), 가산부(1315) 및 프레임 버퍼(1316)를 포함하고, 제7 확장계층 복호화모듈(1330)은 엔트로피 복호화부(1331), 비트깊이 보정부(1332), 가산부(1333), 역양자화부(1334), DCT 역변환부(1335) 및 가산부(1336)를 포함하여 이루어진다. 제7 기본계층 복호화모듈(1310)과 제7 확장계층 복호화모듈(1330)을 구성하는 각 구성요소는 적어도 하나 이상의 모듈로 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현되거나, 제7 기본계층 복호화모듈(1310)과 제7 확장계층 복호화모듈(1330)이 일체화되어 하나의 프로세서(미도시)로 구현될 수 있다. 도 13에 도시된 영상 복호화장치를 도 12에 도시된 영상 복호화장치와 비교하면, 제7 기본계층 복호화모듈(1330)에서 루프 필터링 처리를 수행하지 않는 점을 제외하고는 기본적인 구성이 동일하므로, 차이가 나는 부분에 대해서만 설명하기로 한다.
도 13을 참조하면, 제7 확장계층 복호화모듈(1230)에 있어서, 가산부(1336)는 DCT 역변환부(1335)로부터 제공되는 복원영상과 프레임 버퍼(1316)에 저장된 참조영상을 가산하여 화질이 개선된 N 비트 복원영상을 생성한다.
도 14는 도 11에 의해 생성된 스케일러블 비트스트림을 입력으로 하는 기존의 영상 복호화장치의 또 다른 실시예의 구성을 나타낸 블록도로서, 엔트로피 복호화부(1411), 역양자화부(1412), DCT 역변환부(1413), 가산부(1414), 프레임 버퍼(1415) 및 루프 필터(1416)를 포함하여 이루어진다. 도 14에 도시된 기존의 영상 복호화장치는 오버랩 역변환처리를 수행하지 않는 점을 제외하고는 도 6에 도시된 영상 복호화장치와 동일하므로, 차이가 나는 부분에 대해서만 설명하기로 한다.
도 14를 참조하면, 루프 필터(1416)는 기본 양자화계수(QP8)에 대응하여 루프 필터링을 수행하기 위한 동작조건을 결정하고, 결정된 동작조건에 따라서 가산부(1414)로부터 제공되는 복원영상에 대한 루프 필터링을 수행하여 화질이 개선된 8 비트 복원영상을 생성한다. 또한 8 비트 복원영상은 다음 프레임을 위한 참조영상으로 프레임 버퍼(1415)에 저장된다.
상기한 실시예에서 적용된 비디오 코덱은 MPEG-2, MPEG-4, H.264 등에 널리 사용되는 DCT 비디오 코덱을 나타내며, 이에 한정되는 것이 아니라 응용에 따라 수정 혹은 변형이 가해질 수 있다. 한편, 적용된 비디오 코덱에 대해서는 널리 공지되어 있으므로 본 발명에 의하여 수정 혹은 추가된 구성요소를 제외한 공지된 구성요소의 세부적인 동작 설명을 생략하기로 한다.
상기한 실시예에서는 스케일러블 비트스트림의 형태를 하나의 기본계층 비트스트림과 하나의 확장계층 비트스트림으로 구성한 실시예에 기초하여 비트깊이 및 영상포맷 중 적어도 하나의 부호화 파라미터가 서로 다른 두가지 코덱을 지원하는 것을 설명하고 있으나, 확장계층 비트스트림을 복수개로 둠으로써 두가지 이상의 코덱을 지원하는 것도 가능하다. 또한, 본 실시예에서는 비트깊이에 있어서 기본비트깊이가 확장 비트깊이보다 큰 값을 예로 들었으나, 비트깊이의 변경 방향 즉, 기본 비트깊이가 확장 비트깊이보다 작은 값인 경우에도 다양한 설계변경이 가능하다. 또한, 본 실시예에서는 픽쳐 레벨별로 부가적인 양자화계수를 할당하고 있으나, 필요에 따라 슬라이스 레벨별, 매크로블럭 레벨별, 혹은 블럭 레벨별로 할당할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상술한 바와 같이, 본 발명의 실시예에 따른 영상 부호화장치는 순방향 호환성을 제공하기 위하여 기본계층 비트스트림과 확장계층 비트스트림으로 이루어지는 스케일러블 비트스트림을 생성하고, 스케일러블 비트스트림을 수신하는 기존의 기본 디코더는 스케일러블 비트스트림으로부터 얻어지는 기본계층 비트스트림을 이용하여 복호화를 수행하고, 본 발명에 따른 영상 복호화장치는 스케일러블 비트스트림에 포함된 기본계층 비트스트림과 확장계층 비트스트림을 모두 이용하여 복호화를 수행함으로써 본 발명에 따른 비디오 코덱과 기존의 비디오 코덱이 서로 융화되어 공존할 수 있는 이점이 있다. 이에 따르면, 구체적으로 기존의 WMV(Window Media Video) 코덱 혹은 VC-1 코덱과 새로운 비트깊이 혹은 새로운 영상포맷을 지원하는 비디오 코덱이 같이 사용될 수 있는 이점이 있다.
또한, 본 발명에 따른 영상 부호화장치는 8 비트 4:2:0 영상을 압축하는 기존의 비디오 코덱에서 사용되는 오버랩 변환 처리와 루프 필터링 혹은 포스트 필터링 처리와 같은 화질개선 처리를 지원할 수 있도록 구현함으로써, 기본계층 비트스트림과 확장계층 비트스트림을 모두 이용하여 복호화할 경우 복원영상의 화질과 블록킹 효과, 및 압축효율을 개선할 수 있다.
이와 같이 본 발명에 따른 비디오 코덱은 순방향 호환성을 제공해 주므로 모바일 폰, DVD 플레이어, 휴대용 뮤직 플레이어 혹은 카 스테레오 등과 같은 유선 혹은 무선 전자기기에 탑재된 비디오 코덱 뿐만 아니라, 기존의 비디오 코덱에도 채용되는 등, 지원하는 비트깊이에 상관없이 다양한 비디오 코덱에 적용할 수 있는 이점이 있다.
도 1은 본 발명에 따른 영상 부호화장치 및 영상 복호화장치의 개념을 설명하기 위한 도면,
도 2는 본 발명에 따른 영상 부호화장치의 일실시예의 구성을 나타낸 블럭도,
도 3a은 본 발명에 따른 영상 복호화장치의 일실시예의 구성을 나타낸 블럭도이고, 도 3b는 도 2에 의해 생성된 스케일러블 비트스트림을 입력으로 하는 기존의 영상 복호화장치의 일실시예의 구성을 나타낸 블럭도,
도 4는 본 발명에 따른 영상 부호화장치의 다른 실시예의 구성을 나타낸 블럭도,
도 5는 본 발명에 따른 영상 복호화장치의 다른 실시예의 구성을 나타낸 블럭도
도 6은 도 4에 의해 생성된 스케일러블 비트스트림을 입력으로 하는 기존의 영상 복호화장치의 다른 실시예의 구성을 나타낸 블럭도,
도 7는 본 발명에 따른 영상 부호화장치의 또 다른 실시예의 구성을 나타낸 블럭도,
도 8은 본 발명에 따른 영상 복호화장치의 또 다른 실시예의 구성을 나타낸 블럭도,
도 9는 본 발명에 따른 영상 복호화장치의 또 다른 실시예의 구성을 나타낸 블럭도,
도 10은 본 발명에 따른 영상 복호화장치의 또 다른 실시예의 구성을 나타낸 블럭도,
도 11은 본 발명에 따른 영상 부호화장치의 또 다른 실시예의 구성을 나타낸 블럭도,
도 12는 본 발명에 따른 영상 복호화장치의 또 다른 실시예의 구성을 나타낸 블럭도,
도 13은 본 발명에 따른 영상 복호화장치의 또 다른 실시예의 구성을 나타낸 블럭도, 및
도 14는 도 11에 의해 생성된 스케일러블 비트스트림을 입력으로 하는 기존의 영상 복호화장치의 또 다른 실시예의 구성을 나타낸 블럭도이다.

Claims (23)

  1. 순방향 호환성을 갖도록 기본계층 비트스트림과 확장계층 비트스트림으로 이루어진 스케일러블 비트스트림을 생성하는 영상 부호화방법에 있어서,
    확장 비트깊이를 갖는 영상을 상기 기본계층의 양자화계수로 부호화하고, 상기 기본계층의 양자화계수에 의한 부호화 결과와 기본 비트깊이에 따른 양자화계수를 포함하는 상기 기본계층 비트스트림을 생성하는 단계; 및
    상기 확장 비트깊이를 갖는 영상을 상기 확장계층의 양자화계수로 부호화하고, 상기 기본계층의 양자화계수에 의한 부호화 결과와 상기 확장계층의 양자화계수에 의한 부호화 결과간의 차이와, 상기 기본 비트깊이에 따른 양자화계수와 함께 상기 확장계층의 양자화계수를 얻는데 사용되는 부가 양자화정보를 포함하는 확장계층 비트스트림을 생성하는 단계를 포함하고,
    상기 기본계층과 상기 확장계층 중 적어도 하나에 화질개선을 위한 부가적인 처리가 적용되는 영상 부호화방법.
  2. 제1 항에 있어서, 상기 화질개선을 위한 부가적인 처리는 오버랩 변환처리 및 루프 필터링처리 중 적어도 하나인 영상 부호화방법.
  3. 제1 항에 있어서, 상기 기본계층에 오버랩 변환처리와 루프 필터링처리가 적용되고, 상기 확장계층에 오버랩 변환처리가 적용되는 영상 부호화방법.
  4. 제3 항에 있어서, 상기 기본계층의 부호화조건에 대응하는 상기 루프 필터링처리를 상기 기본계층에 적용하고, 상기 기본계층의 부호화 조건에 대응하는 상기 오버랩 변환처리를 상기 기본계층에 적용하고, 상기 확장계층의 부호화 조건에 따라서 동작조건을 결정한 상기 오버랩 변환처리를 상기 확장계층에 적용하는 영상 부호화방법.
  5. 제3 항에 있어서, 상기 기본계층의 부호화조건에 대응하는 상기 루프 필터링처리를 상기 기본계층에 적용하고, 상기 기본계층의 부호화 조건에 대응하는 상기 오버랩 변환처리를 상기 기본계층과 상기 확장계층에 적용하는 영상 부호화방법.
  6. 제1 항에 있어서, 상기 기본계층에 상기 기본계층의 부호화조건에 대응하는 루프 필터링처리가 적용되는 영상 부호화방법.
  7. 제1 항에 있어서, 상기 스케일러블 비트스트림은 확장계층 식별자를 더 포함하는 영상 부호화방법.
  8. 제7 항에 있어서, 상기 확장계층 식별자는 상기 기본계층 비트스트림의 시퀀스 레벨, GOP 레벨, 픽쳐레벨, 매크로블럭 레벨, 및 블럭레벨 중 적어도 하나의 레벨에 포함되는 영상 부호화방법.
  9. 순방향 호환성을 갖도록 기본계층 비트스트림과 확장계층 비트스트림으로 이루어진 스케일러블 비트스트림을 생성하는 영상 부호화장치에 있어서,
    확장 비트깊이를 갖는 영상을 상기 기본계층의 양자화계수로 부호화하고, 상기 기본계층의 양자화계수에 의한 부호화 결과와 기본 비트깊이에 따른 양자화계수를 포함하는 상기 기본계층 비트스트림을 생성하는 기본계층 부호화모듈; 및
    상기 확장 비트깊이를 갖는 영상을 상기 확장계층의 양자화계수로 부호화하고, 상기 기본계층의 양자화계수에 의한 부호화 결과와 상기 확장계층의 양자화계수에 의한 부호화 결과간의 차이와, 상기 기본 비트깊이에 따른 양자화계수와 함께 상기 확장계층의 양자화계수를 얻는데 사용되는 부가 양자화정보를 포함하는 확장계층 비트스트림을 생성하는 확장계층 부호화모듈을 포함하고,
    상기 기본계층과 상기 확장계층 중 적어도 하나에 화질개선을 위한 부가적인 처리가 적용되는 영상 부호화장치.
  10. 순방향 호환성을 갖도록 기본계층 비트스트림과 확장계층 비트스트림으로 이루어지며, 상기 기본계층과 상기 확장계층 중 적어도 하나에 화질개선을 위한 부가적인 처리가 적용된 스케일러블 비트스트림을 복호화하는 영상 복호화방법에 있어서,
    상기 기본계층 비트스트림으로부터 추출된 영상 압축데이터를 상기 기본계층의 양자화계수로 복호화하여 기본 복원영상을 생성하는 단계; 및
    상기 확장계층 비트스트림으로부터 추출된 영상 압축데이터를 상기 확장계층의 양자화계수로 복호화하고, 상기 기본계층 비트스트림의 복호화결과와 상기 확장계층 비트스트림의 복호화결과를 이용하여 확장 복원영상을 생성하는 단계를 포함하는 영상 복호화방법.
  11. 제10 항에 있어서, 상기 화질개선을 위한 부가적인 처리는 오버랩 변환처리 및 루프 필터링처리 중 적어도 하나인 영상 복호화방법.
  12. 제10 항에 있어서, 상기 기본계층과 상기 확장계층에 오버랩 역변환처리와 루프 필터링처리가 적용되는 영상 복호화방법.
  13. 제12 항에 있어서, 상기 기본계층의 복호화조건에 대응하는 상기 오버랩 역변환처리 및 상기 루프 필터링처리를 상기 기본계층에 적용하고, 상기 확장계층의 복호화 조건에 대응하는 상기 오버랩 역변환처리 및 상기 루프 필터링처리를 상기 확장계층에 적용하는 영상 복호화방법.
  14. 제12 항에 있어서, 상기 기본계층의 복호화조건에 대응하는 상기 오버랩 역변환처리 및 상기 루프 필터링처리를 상기 기본계층에 적용하고, 상기 기본계층의 복호화 조건에 대응하는 상기 오버랩 역변환처리 및 상기 확장계층의 복호화조건에 대응하는 상기 루프 필터링처리를 상기 확장계층에 적용하는 영상 복호화방법.
  15. 제12 항에 있어서, 상기 기본계층의 복호화조건에 대응하는 상기 오버랩 역변환처리 및 상기 루프 필터링처리를 상기 기본계층 및 상기 확장계층에 적용하는 영상 복호화방법.
  16. 제12 항에 있어서, 상기 기본계층의 복호화조건에 대응하는 상기 오버랩 역변환처리를 상기 기본계층 및 상기 확장계층에 적용하고, 상기 상기 기본계층의 복호화조건에 대응하는 상기 루프 필터링처리를 상기 기본계층에 적용하는 영상 복호화방법.
  17. 제10 항에 있어서, 상기 기본계층의 복호화조건에 대응하는 루프 필터링처리가 상기 기본계층에 적용되고, 상기 확장계층의 복호화조건에 대응하는 루프 필터링처리가 상기 확장계층에 적용되는 영상 복호화방법.
  18. 제10 항에 있어서, 상기 기본계층의 복호화조건에 대응하는 루프 필터링처리가 상기 기본계층에 적용되는 영상 복호화방법.
  19. 제10 항에 있어서, 상기 스케일러블 비트스트림은 확장계층 식별자를 더 포함하는 영상 복호화방법.
  20. 제19 항에 있어서, 상기 확장계층 식별자는 상기 기본계층 비트스트림의 시퀀스 레벨, GOP 레벨, 픽쳐레벨, 매크로블럭 레벨, 및 블럭레벨 중 적어도 하나의 레벨에 포함되는 영상 복호화방법.
  21. 순방향 호환성을 갖도록 기본계층 비트스트림과 확장계층 비트스트림으로 이루어지며, 상기 기본계층과 상기 확장계층 중 적어도 하나에 화질개선을 위한 부가적인 처리가 적용된 스케일러블 비트스트림을 복호화하는 영상 복호화장치에 있어서,
    상기 기본계층 비트스트림으로부터 추출된 기본 비트깊이의 영상 압축데이터를 복호화하여 기본 복원영상을 생성하는 기본계층 복호화모듈; 및
    상기 확장계층 비트스트림으로부터 추출된 확장 비트깊이의 영상 압축데이터를 복호화하고, 상기 확장 비트깊이의 영상 복호화결과와 상기 기본 비트깊이의 영상 복호화 결과를 이용하여 확장 복원영상을 생성하는 확장계층 복호화모듈을 포함하는 영상 복호화장치.
  22. 제1 항 내지 제9 항 중 어느 한 항에 기재된 영상 부호화방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  23. 제11 항 내지 제20 항 중 어느 한 항에 기재된 영상 복호화방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020070102811A 2007-10-11 2007-10-11 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법 KR101365441B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020070102811A KR101365441B1 (ko) 2007-10-11 2007-10-11 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
EP08837335A EP2198615A4 (en) 2007-10-11 2008-10-10 METHOD, MEDIUM AND APPARATUS FOR ENCODING AND / OR DECODING VIDEO DATA
PCT/KR2008/005973 WO2009048295A2 (en) 2007-10-11 2008-10-10 Method, medium, and apparatus for encoding and/or decoding video
US12/285,690 US8406291B2 (en) 2007-10-11 2008-10-10 Method, medium, and apparatus for encoding and/or decoding video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070102811A KR101365441B1 (ko) 2007-10-11 2007-10-11 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090037252A true KR20090037252A (ko) 2009-04-15
KR101365441B1 KR101365441B1 (ko) 2014-02-19

Family

ID=40534153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070102811A KR101365441B1 (ko) 2007-10-11 2007-10-11 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법

Country Status (4)

Country Link
US (1) US8406291B2 (ko)
EP (1) EP2198615A4 (ko)
KR (1) KR101365441B1 (ko)
WO (1) WO2009048295A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014107092A1 (ko) * 2013-01-07 2014-07-10 삼성전자 주식회사 영상을 멀티 코덱에 호환 가능하도록 부호화/복호화하는 방법 및 장치
CN104137552A (zh) * 2012-02-29 2014-11-05 索尼公司 图像处理装置和方法
WO2015012514A1 (ko) * 2013-07-26 2015-01-29 경희대학교 산학협력단 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
KR20150013004A (ko) * 2013-07-26 2015-02-04 경희대학교 산학협력단 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100244290B1 (ko) 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
US9681142B2 (en) * 2009-02-03 2017-06-13 Thomson Licensing Dtv Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability
KR101457418B1 (ko) 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
WO2012012444A2 (en) * 2010-07-19 2012-01-26 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
WO2013006310A1 (en) * 2011-07-01 2013-01-10 Vidyo, Inc. Loop filter techniques for cross-layer prediction
US8781238B2 (en) 2011-09-08 2014-07-15 Dolby Laboratories Licensing Corporation Efficient decoding and post-processing of high dynamic range images
US8923403B2 (en) * 2011-09-29 2014-12-30 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3D video delivery
CN103096048B (zh) * 2011-11-02 2015-11-11 北京大学 一种可伸缩视频编码量化参数确定方法及装置
CN107241606B (zh) * 2011-12-17 2020-02-21 杜比实验室特许公司 解码系统、方法和设备以及计算机可读介质
US9787979B2 (en) 2012-04-06 2017-10-10 Vidyo, Inc. Level signaling for layered video coding
JPWO2014050732A1 (ja) * 2012-09-28 2016-08-22 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
US9578339B2 (en) 2013-03-05 2017-02-21 Qualcomm Incorporated Parallel processing for video coding
US9549196B2 (en) * 2014-02-04 2017-01-17 Microsoft Technology Licensing, Llc Data unit identification for compressed video streams
KR20160061172A (ko) 2014-11-21 2016-05-31 삼성전자주식회사 디코더, 상기 디코더를 포함하는 디코딩 시스템, 및 상기 디코더의 동작 방법
EP3107300A1 (en) * 2015-06-15 2016-12-21 Thomson Licensing Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame
EP3669542B1 (en) * 2017-08-15 2023-10-11 Dolby Laboratories Licensing Corporation Bit-depth efficient image processing
US11838551B2 (en) * 2020-12-30 2023-12-05 Ofinno, Llc Adaptive block level bit-depth prediction

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369610B2 (en) * 2003-12-01 2008-05-06 Microsoft Corporation Enhancement layer switching for scalable video coding
US20050201629A1 (en) * 2004-03-09 2005-09-15 Nokia Corporation Method and system for scalable binarization of video data
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
WO2007027001A1 (en) * 2005-07-12 2007-03-08 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding fgs layer using reconstructed data of lower layer

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104137552A (zh) * 2012-02-29 2014-11-05 索尼公司 图像处理装置和方法
WO2014107092A1 (ko) * 2013-01-07 2014-07-10 삼성전자 주식회사 영상을 멀티 코덱에 호환 가능하도록 부호화/복호화하는 방법 및 장치
WO2015012514A1 (ko) * 2013-07-26 2015-01-29 경희대학교 산학협력단 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
KR20150013004A (ko) * 2013-07-26 2015-02-04 경희대학교 산학협력단 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
KR20160026928A (ko) * 2013-07-26 2016-03-09 경희대학교 산학협력단 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
US9686567B2 (en) 2013-07-26 2017-06-20 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for integrated encoding/decoding of different multilayer video codec

Also Published As

Publication number Publication date
US8406291B2 (en) 2013-03-26
KR101365441B1 (ko) 2014-02-19
WO2009048295A9 (en) 2009-07-16
EP2198615A4 (en) 2011-12-21
US20090097549A1 (en) 2009-04-16
WO2009048295A3 (en) 2009-05-28
WO2009048295A2 (en) 2009-04-16
EP2198615A2 (en) 2010-06-23

Similar Documents

Publication Publication Date Title
KR101365441B1 (ko) 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
KR101365596B1 (ko) 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
KR101365597B1 (ko) 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
KR101366249B1 (ko) 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
JP5864654B2 (ja) 低減ビット深度更新モードおよび低減色度サンプリング更新モードを用いるビデオコーディングおよびデコーディングのための方法および装置
JP5232796B2 (ja) 適応エンハンスメントレイヤ予測を使用したビット深度スケーラブルなビデオデータを符号化及び／又は復号化する方法及び装置
US8331433B2 (en) Video encoding apparatus and method and video decoding apparatus and method
KR20080114388A (ko) 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
CN113574894B (zh) 视频解码方法、视频解码器、计算机设备及介质
JP2012135007A (ja) 映像コーデックにおけるスライス層
JP2018517317A (ja) ビデオコーディングシステムにおける残差変換及び逆変換方法
US10735729B2 (en) Residual transformation and inverse transformation in video coding systems and methods
KR101291189B1 (ko) 스케일러블 영상 부호화장치 및 방법과 스케일러블 영상복호화장치 및 방법
CN111147858B (zh) 视频解码方法、装置、设备及存储介质
EP1933565A1 (en) Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction
KR101291192B1 (ko) 영상 부호화장치 및 방법과 영상 복호화장치 및 방법
KR20140048806A (ko) 공간 해상도에 기반한 계층 간 예측 장치 및 방법
CN116711309A (zh) 用于改进的帧内预测的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee