KR100763194B1

KR100763194B1 - 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치

Info

Publication number: KR100763194B1
Application number: KR1020060011180A
Authority: KR
Inventors: 김소영
Original assignee: 삼성전자주식회사
Priority date: 2005-10-14
Filing date: 2006-02-06
Publication date: 2007-10-04
Also published as: JP2009512324A; WO2007043821A1; CN101288308A; US20070086520A1; EP1935181A1; KR20070041290A

Abstract

본 발명은 다계층 기반의 비디오 코덱에서의 성능을 향상시키는 방법 및 장치에 관한 것이다.

본 발명의 일 실시예에 따른 다계층 기반의 비디오 인코딩 방법은, 현재 계층 블록과 대응되는 기초 계층 블록에 대한 인터 예측 블록과, 상기 기초 계층 블록간의 차분을 구하는 단계와, 상기 현재 계층 블록에 대한 인터 예측 블록을 다운샘플링하는 단계와, 상기 구한 차분과 상기 다운샘플링된 인터 예측 블록을 가산하는 단계와, 상기 가산된 결과를 업샘플링하는 단계와, 상기 현재 계층 블록과 상기 업샘플링된 결과 간의 차분을 부호화하는 단계를 포함한다.

스케일러블 비디오 코딩, H.264, 인트라 베이스 예측, 단일 루프 디코딩

Description

단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측 방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치{Intra base prediction method satisfying single loop decoding condition, video coding method and apparatus using the prediction method}

도 1은 다중 루프를 허용하는 비디오 코덱과, 단일 루프만을 사용하는 비디오 코덱의 성능 차이를 보여주는 그래프.

도 2는 서브블록의 수직 경계에 대하여 디블록 필터를 적용하는 예를 보여주는 도면.

도 3은 서브블록의 수평 경계에 대하여 디블록 필터를 적용하는 예를 보여주는 도면.

도 4는 본 발명의 일 실시예에 따른 변형된 인트라 베이스 예측 과정을 나타내는 흐름도.

도 5는 본 발명의 일 실시예에 따른 비디오 인코더의 구성을 도시한 블록도.

도 6은 패딩 과정을 필요성을 보여주는 도면.

도 7은 구체적인 패딩 과정의 일 예를 보여주는 도면.

도 8은 본 발명의 일 실시예에 따른 비디오 디코더의 구성을 도시한 블록도.

도 9 및 도 10은 본 발명을 적용한 코덱의 코딩 성능을 나타내는 그래프들.

(도면의 주요부분에 대한 부호 설명)

100 : 비디오 인코더 101, 201, 340 : 버퍼

105, 205 : 모션 추정부 110, 210, 350 : 모션 보상부

115, 215 : 차분기 120, 220 : 변환부

125, 225 : 양자화부 130, 360 : 다운샘플러

135, 330, 370 : 가산기 140, 380 : 디블록 필터

145, 390 : 업샘플러 150 : 엔트로피 부호화부

300 : 비디오 디코더 305 : 엔트로피 복호화부

310, 410 : 역 양자화부 320, 420 : 역 변환부

본 발명은 비디오 코딩 기술에 관한 것으로, 보다 상세하게는 다계층 기반의 비디오 코덱에서의 성능을 향상시키는 방법 및 장치에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서 는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 픽쳐에서 인접 픽쳐가 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려하여 지각적 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 후 생성되는 멀티미디어를 전송하기 위해서는, 전송매체가 필요한데 그 성능은 전송매체 별로 차이가 있다. 현재 사용되는 전송매체는 초당 수십 메가 비트의 데이터를 전송할 수 있는 초고속 통신망부터 초당 384kbit의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. 이와 같은 환경에서, 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어를 전송할 수 있도록 하는, 즉 스케일러블 비디오 코딩(scalable video coding) 방법이 멀티미디어 환경에 보다 적합하다 할 수 있다.

스케일러블 비디오 코딩이란, 이미 압축된 비트스트림(bit-stream)에 대하여 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 상기 비트스트림의 일부를 잘라내어 비디오의 해상도, 프레임율, 및 SNR(Signal-to-Noise Ratio) 등을 조절할 수 있게 해주는 부호화 방식, 즉 다양한 스케일러빌리티(scalability)를 지 원하는 부호화 방식을 의미한다.

현재, MPEG (Moving Picture Experts Group)과 ITU (International Telecommunication Union)의 공동 작업 그룹(working group)인 JVT (Joint Video Team)에서는 H.264를 기본으로 하여 다계층(multi-layer) 형태로 스케일러빌리티를 구현하기 위한 표준화 작업(이하, H.264 SE(scalable extension)이라 함)을 진행 중에 있다.

H.264 SE와　다계층 기반의　스케일러블 비디오 코덱(codec)은　기본적으로　인터 예측(inter prediction), 방향적 인트라 예측(directional intra prediction; 이하 단순히 인트라 예측이라고 함), 잔차 예측(residual prediction), 및 인트라 베이스 예측(intra base prediction)의　4가지　예측　모드를 지원한다. "예측"이라 함은 인코더 및 디코더에서 공통으로 이용 가능한 정보로부터 생성된 예측 데이터를 이용하여 오리지널 데이터를 압축적으로 표시하는 기법을 의미한다.

상기 4가지 예측 모드 중에서 인터 예측은 기존의 단일 계층 구조를 갖는 비디오 코덱에서도 일반적으로 사용되는 예측 모드이다. 인터 예측은, 적어도 하나 이상의 참조　픽쳐(이전 또는 이후 픽쳐)로부터　현재　픽쳐의 어떤 블록(현재 블록)과 가장 유사한 블록을 탐색하고 이로부터 현재 블록을 가장 잘 표현할 수 있는 예측 블록을 얻은 후, 상기 현재 블록과 상기 예측 블록과의 차분을 양자화하는 방식이다.

인터 예측은 참조 픽쳐를 참조하는 방식에 따라서, 두　개의　참조　픽쳐가　쓰이는　양방향 예측(bi-directional prediction)과, 이전　참조　픽쳐가　사용되는 순방 향 예측(forward prediction)과, 이후 참조 픽쳐가 사용되는 역방향 예측(backward prediction) 등이 있다.

한편, 인트라 예측도 H.264와 같은 단일 계층의 비디오 코덱에서도 사용되는 예측 기법이다. 인트라 예측은, 현재 블록의 주변 블록 중 현재 블록과 인접한 픽셀을 이용하여 현재 블록을 예측하는　방식이다. 인트라 예측은 현재 픽쳐 내의 정보만을 이용하며 동일 계층 내의 다른 픽쳐나 다른 계층의 픽쳐를 참조하지 않는 점에서 다른 예측 방식과 차이가 있다.

인트라 베이스 예측(intra base prediction)은 다계층 구조를 갖는 비디오 코덱에서, 현재　픽쳐가 동일한 시간적 위치를 갖는 하위 계층의 픽쳐(이하 "기초 픽쳐"라 함)를 갖는 경우에 사용될 수 있다. 도 2에서 도시하는 바와 같이, 현재 픽쳐의 매크로블록은 상기 매크로블록과 대응되는 상기 기초 픽쳐의 매크로블록으로부터 효율적으로 예측될 수 있다. 즉, 현재 픽쳐의 매크로블록과 상기 기초 픽쳐의 매크로블록과의 차분이 양자화된다.

만일　하위 계층의 해상도와 현재 계층의 해상도가 서로 다른 경우에는, 상기 차분을 구하기 전에 상기 기초 픽쳐의 매크로블록은 상기 현재 계층의 해상도로 업샘플링되어야 할 것이다. 이러한 인트라 베이스 예측은 인터 예측의 효율이 높지 않는 경우, 예를 들어, 움직임이 매우 빠른 영상이나 장면 전환이 발생하는 영상에서 특히 효과적이다. 상기 인트라 베이스 예측은 인트라 BL 예측(intra BL prediction)이라고 불리기도 한다.

마지막으로, 잔차 예측을 통한 인터 예측(Inter-prediction with residual prediction; 이하 단순히 "잔차 예측"이라고 함)은 기존의 단일 계층에서의 인터 예측을 다계층의 형태로 확장한 것이다. 도 3에서 보는 바와 같이 잔차 예측에 따르면, 현재 계층의 인터 예측 과정에서 생성된 차분을 직접 양자화하는 것이 아니라, 상기 차분과 하위 계층의 인터 예측 과정에서 생성된 차분을 다시 차감하여 그 결과를 양자화한다.

다양한 비디오 시퀀스의 특성을 감안하여, 상술한 4가지 예측 방법은 픽쳐를 이루는 매크로블록 별로 그 중에서 보다 효율적인 방법이 선택된다. 예를 들어, 움직임이 느린 비디오 시퀀스에서는 주로 인터 예측 내지 잔차 예측이 선택될 것이며, 움직임이 빠른 비디오 시퀀스에서는 주로 인트라 베이스 예측이 선택될 것이다.

다계층 구조를 갖는 비디오 코덱은 단일 계층으로 된 비디오 코덱에 비하여 상대적으로 복잡한 예측 구조를 가지고　있을　뿐만　아니라, 개방 루프(open-loop) 구조가 주로 사용됨으로써, 단일 계층 코덱에 비하여 블록 인위성(blocking artifact)이 많이　나타난다. 특히, 상술한 잔차 예측의 경우는 하위 계층 픽쳐의 잔차 신호를 사용하는데, 이것이 현재 계층 픽쳐의 인터 예측된 신호의 특성과 차이가 큰 경우에는 심한 왜곡이 발생될 수 있다.

반면에, 인트라 베이스 예측시 현재 픽쳐의 매크로블록에 대한 예측 신호, 즉 기초 픽쳐의 매크로블록은 오리지널 신호가 아니라 양자화된 후 복원된 신호이다. 따라서, 상기 예측 신호는 인코더 및 디코더 모두 공통으로 얻을 수 있는 신호이므로 인코더 및 디코더간의 미스매치(mismatch)가 발생하지 않고, 특히 상기 예 측 신호에 스무딩 필터를 적용한 후 현재 픽쳐의 매크로블록과의 차분을 구하기 때문에 블록 인위성도 많이 줄어든다.

그런데, 인트라 베이스 예측은 현재　H.264 SE의　작업 초안(working draft)으로　채택되어 있는 저 복잡성 디코딩(low complexity decoding) 조건에 따르면 그 사용이 제한된다. 즉, H.264 SE에서는　인코딩은 다계층 방식으로 수행하더라도 디코딩 만큼은 단일 계층 비디오 코덱과 유사한 방식으로 수행될 수 있도록, 특정한　조건을　만족하는　경우에만　인트라 베이스 예측을 사용할 수 있도록 한다.

상기 저 복잡성 디코딩 조건(단일 루프 디코딩 조건)에 따르면, 현재 계층의 어떤 매크로블록에 대응되는 하위 계층의 매크로블록의 매크로블록 종류(macroblock type)가 인트라 예측 모드 또는 인트라 베이스 예측 모드인 경우에만, 상기 인트라 베이스 예측이 사용된다. 이는 디코딩 과정에서 가장　많은　연산량을　차지하는　모션 보상 과정에 따른 연산량을 감소시키기 위함이다. 반면에, 인트라 베이스 예측을 제한적으로만 사용하게　되므로　움직임이　빠른　영상에서의　성능이　많이　하락하는　문제가　있다.

도 1은 다중 루프를 허용하는 비디오 코덱(Codec 1)과, 단일 루프만을 사용하는 비디오 코덱(Codec 2)을 Football 시퀀스에 적용한 결과로서, 휘도 성분 PSNR(Y-PSNR)의 차이를 보여주는 그래프이다. 도 1을 참조하면, 대부분의 비트율에 있어서, Codec 1의 성능이 Codec 2의 성능보다 우월함을 알 수 있다. 이와 같은 결과는, Football과 같은 빠른 움직임을 갖는 비디오 시퀀스에서는 마찬가지로 나타난다.

종래의 단일 루프 디코딩 조건에 따르면 디코딩 복잡성을 낮추는 효과가 있기는 하지만, 이와 같이 불가피하게 화질의 감소를 가져오는 부분도 간과하여서는 안 된다. 그러므로, 상기 단일 루프 디코딩 조건을 따르면서도, 상기와 같은 제한 없이 인트라 베이스 예측을 사용할 수 있는 방법을 개발할 필요가 있는 것이다.

본 발명이 이루고자 하는 기술적 과제는, 다계층 기반의 비디오 코덱에서 단일 루프 디코딩 조건을 만족하는 새로운 인트라 베이스 예측 기법을 개발하여 비디오 코딩의 성능을 향상시키는 것을 목적으로 한다.

본 발명의 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 비디오 인코딩 방법은, (a) 현재 계층 블록과 대응되는 기초 계층 블록에 대한 인터 예측 블록과, 상기 기초 계층 블록간의 차분을 구하는 단계; (b) 상기 현재 계층 블록에 대한 인터 예측 블록을 다운샘플링하는 단계; (c) 상기 구한 차분과 상기 다운샘플링된 인터 예측 블록을 가산하는 단계; (d) 상기 가산된 결과를 업샘플링하는 단계; 및 (e) 상기 현재 계층 블록과 상기 업샘플링된 결과 간의 차분을 부호화하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 비디오 디코딩 방법은, (a) 입력된 비트스트림에 포함되는 현재 계층 블록의 텍스쳐 데이터로부터 상기 현재 계층 블록의 잔차 신호를 복원하는 단계; (b) 상기 비트스트림에 포함되며 상기 현재 계층 블록과 대응되는 기초 계층 블록의 텍스쳐 데이터로부터 상기 기초 계층 블록의 잔차 신호를 복원하는 단계; (c) 상기 현재 계층 블록에 대한 인터 예측 블록을 다운샘플링하는 단계; (d) 상기 다운샘플링된 인터 예측 블록과 상기 (b) 단계에서 복원된 잔차 신호를 가산하는 단계; (e) 상기 가산된 결과를 업샘플링하는 단계; 및 (f) 상기 (a) 단계에서 복원된 잔차 신호와 상기 업샘플링된 결과를 가산하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 비디오 인코더는, 현재 계층 블록과 대응되는 기초 계층 블록에 대한 인터 예측 블록과, 상기 기초 계층 블록간의 차분을 구하는 차분기; 상기 현재 계층 블록에 대한 인터 예측 블록을 다운샘플링하는 다운샘플러; 상기 구한 차분과 상기 다운샘플링된 인터 예측 블록을 가산하는 가산기; 상기 가산된 결과를 업샘플링하는 업샘플러; 및 상기 현재 계층 블록과 상기 업샘플링된 결과 간의 차분을 부호화하는 부호화 수단을 포함한다.

상기한 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 비디오 디코더는, 입력된 비트스트림에 포함되는 현재 계층 블록의 텍스쳐 데이터로부터 상기 현재 계층 블록의 잔차 신호를 복원하는 제1 복원 수단; 상기 비트스트림에 포함되며 상기 현재 계층 블록과 대응되는 기초 계층 블록의 텍스쳐 데이터로부터 상기 기초 계층 블록의 잔차 신호를 복원하는 제2 복원 수단; 상기 현재 계층 블록 에 대한 인터 예측 블록을 다운샘플링하는 다운샘플러; 상기 다운샘플링된 인터 예측 블록과 상기 제2 복원 수단에서 복원된 잔차 신호를 가산하는 제1 가산기; 상기 가산된 결과를 업샘플링하는 업샘플러; 및 상기 제1 복원 수단에서 복원된 잔차 신호와 상기 업샘플링된 결과를 가산하는 제2 가산기를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 명세서에서, 현재 인코딩하고자 하는 계층을 "현재 계층"이라고 하고, 상기 현재 계층에 의하여 참조되는 다른 계층은 "기초 계층"이라고 명명한다. 그리고, 현재 계층에 존재하는 픽쳐들 중에서도 현재 인코딩하고자 하는 시간 순서에 위치하는 픽쳐를 "현재 픽쳐"로 명명한다.

종래의 인트라 베이스 예측에 의하여 얻어지는 잔차 신호(R_F)는 다음의 수학식 1과와 같이 표현될 수 있다.

수학식 1에서, O_F는 현재 픽쳐의 어떤 블록을, O_B는 상기 현재 픽쳐에 대응되는 기초 계층 픽쳐의 블록을, U는 업샘플링 함수를 각각 나타낸다. 업샘플링 함수는 현재 계층과 하위 계층간에 해상도가 다른 경우에만 적용되므로 선택적으로 적용될 수 있다는 의미에서 [U]로 표시하였다. 그런데, O_B는 기초 계층 픽쳐의 블록에 대한 예측 신호(P_B)와 잔차 신호(R_B)의 합으로 표현할 수 있으므로, 결국 수학식 1은 다음의 수학식 2와 같이 재작성될 수 있다.

그런데, 단일 루프 디코딩 조건에 따르면, 수학식 2의 P_B가 인터 예측에 의하여 생성된 신호인 경우에는 인트라 베이스 예측을 사용하지 못하도록 되어 있다. 이것은 인터 예측시 많은 연산량을 요하는 모션 보상 과정을 이중으로 사용하지 않기 위한 제약 조건이다.

본 발명에서는, 수학식 2와 같은 기존의 인트라 베이스 예측 기법을 다소 수정하여, 단일 루프 디코딩 조건을 만족하는 새로운 인트라 베이스 예측 기법을 제안하고자 한다. 상기 제안에 따르면, 기초 계층 블록에 대한 예측 신호(P_B)가 인터 예측에 의한 것일 때에는, 상기 예측 신호는 현재 계층 블록에 대한 예측 신호 (PF), 또는 그의 다운샘플링된 버전으로 대체된다.

그런데, 이러한 제안과 관련하여, 17번째 JVT 미팅(Poznan, Poland)에서, Woo-Jin Han에 의하여 제안된 "Smoothed reference prediction for single-loop decoding,"이라는 제목의 문서(이하, JVT-0085라고 함)가 있다. 상기 문서에서도 본 발명과 유사한 문제 인식 및 단일 루프 디코딩 조건의 제약을 탈피하려는 기술적 해결책을 개시하고 있다.

상기 JVT-0085에 따르면, R_F는 다음의 수학식 3과 같이 구해진다.

상기 수학식 3에서 보면, P_B가 P_F로 대체되고, 계층간의 해상도를 맞추기 위하여 R_B가 업샘플링되어 있음을 알 수 있다. 이와 같이 JVT-0085도 단일 루프 디코딩 조건을 만족하고 있다.

그런데, JVT-0085는 잔차 신호(R_B)를 업샘플링하여 예측 신호(P_F)의 해상도와 일치시키고 있다. 하지만, 상기 잔차 신호(R_B)는 일반적인 이미지와는 그 특성이 달라서, 대부분 0인 샘플 값을 가지고 일부에 0이 아닌 샘플 값을 포함한다. 따라서, 상기 잔차 신호(R_B)를 업샘플링하는 과정으로 인하여 전체적인 코딩 성능이 크게 향상되지 못하는 문제가 있다.

본 발명에서는, 상기 수학식 2에서 P_B를 다운샘플링하여 R_B와의 해상도를 맞추는 새로운 접근법을 제안한다. 즉, 인트라 베이스 예측에서 사용되는 기초 계층의 예측 신호를, 단일 루프 디코딩 조건을 만족하도록, 현재 계층의 예측 신호의 다운샘플링된 버전으로 대체하는 것이다.

본 발명에 따를 때, R_F는 다음의 수학식 4와 같이 계산될 수 있다.

수학식 3과 비교하면, 수학식 4에서는 상술한 바와 같은 문제를 지니는 R_B를 업샘플링하는 과정이 존재하지 않는다. 대신에 현재 계층의 예측 신호(P_F)를 다운샘플링하고, 그 결과를 상기 R_B와 가산한 후, 다시 현재 계층의 해상도로 업샘플링하는 방식을 사용한다. 수학식 4의 괄호 안의 성분은 잔차 신호가 아니라 실제 이미지에 가까운 신호이므로, 업샘플링을 적용하여도 크게 문제가 발생하지 않는다.

일반적으로, 비디오 인코더와 비디오 디코더간의 불일치를 감소시키기 위하여 예측 신호에 디블록 필터를 적용하면 코딩 효율의 향상을 가져오는 것으로 알려져 있다.

본 발명에서도, 추가적으로 디블록 필터를 적용하는 것이 바람직하며, 이 경우 수학식 4는 다음의 수학식 5와 같이 변형된다. 여기서, B는 디블록 함수 내지 디블록 필터를 나타낸다.

한편, 디블록 함수(B)와, 업샘플링 함수(U)는 스무딩 효과를 나타내는 함수로서 그 역할이 중복되는 면이 있다. 따라서, 상기 디블록 함수의 적용 과정이 작은 연산량에 의하여 수행될 수 있도록, 상기 디블록 함수(B)는 블록 경계에 위치한 픽셀 및 주변 픽셀의 선형 결합으로 간단히 나타낼 수 있다.

도 2 및 도 3은 이러한 디블록 필터의 예로서, 4x4 크기의 서브블록의 수직 경계 및 수평 경계에 대하여 디블록 필터를 적용하는 예를 보여준다. 도 2 및 도 3에서 경계 부분에 위치한 픽셀(x(n-1), x(n))은 그들 자신과 그 주변의 픽셀들의 선형 결합의 형태로 스무딩될 수 있다. 픽셀 x(n-1), x(n)에 대하여 디블록 필터를 적용한 결과를 각각 x'(n-1), x'(n)로 표시한다면, x'(n-1), x'(n)는 다음의 수학식 6과 같이 나타낼 수 있다.

x'(n-1) = α*x(n-2) + β*x(n-1) + γ*x(n)

x'(n) = γ*x(n-1) + β*x(n) + α*x(n+1)

상기 α, β, γ는 그 합은 1이 되도록 적절히 선택될 수 있다. 예컨대, 수학식 6에서 α=1/4, β=1/2, γ=1/4로 선택함으로써 해당 픽셀의 가중치를 주변 픽셀에 비하여 높일 수 있다. 물론, 수학식 6에서 보다 더 많은 픽셀을 주변 픽셀로 선택할 수도 있을 것이다.

도 4는 본 발명의 일 실시예에 따른 변형된 인트라 베이스 예측 과정을 나타내는 흐름도이다.

먼저, 기초 블록(10)과 모션 벡터에 의하여 대응되는 하위 계층의 주변 참조 픽쳐(순방향 참조 픽쳐, 역방향 참조 픽쳐 등)내의 블록(11, 12)으로부터, 기초 블록(10)에 대한 인터 예측 블록(13)이 생성한다(S1). 그리고, 기초 블록에서 상기 예측 블록(13)을 차분하여 잔차(14; 수학식 5에서 R_B에 해당됨)를 구한다(S2).

한편, 현재 블록(20)과 모션 벡터에 의하여 대응되는 현재 계층의 주변 참조 픽쳐 내의 블록(21, 22)로부터, 현재 블록(20)에 대한 인터 예측 블록(23; 수학식 5에서 P_F에 해당됨)을 생성한다(S3). S3 단계는 S1, S2 단계 이전에 수행되어도 상관 없다. 일반적으로, 상기 '인터 예측 블록'은 부호화하고자 하는 픽쳐 내의 현재 블록과 대응되는 참조 픽쳐상의 이미지(또는 이미지들)로부터 구해지는 예측 블록을 의미한다. 상기 현재 블록과 상기 대응되는 이미지 간의 대응 관계는 모션 벡터에 의하여 표시된다. 일반적으로, 상기 인터 예측 블록은, 참조 픽쳐가 하나인 경우에는 상기 대응되는 이미지 자체를 의미하기도 하고, 참조 픽쳐가 복수인 경우에는 대응되는 이미지들의 가중합을 의미하기도 한다. 상기 인터 예측 블록(23)은 소정의 다운샘플러를 통하여 다운샘플링된다(S4). 상기 다운샘플러로는 MPEG 다운샘플러, 웨이브렛 다운샘플러 등을 사용할 수 있다.

그 다음, 상기 다운샘플링된 결과(15; 수학식 5에서 D·P_F에 해당됨)와 상기 S2 단계에서 구한 잔차(14)를 가산한다(S5). 그리고, 상기 가산 결과 생성되는 블 록(16; 수학식 5에서 D·P_F+R_B에 해당됨)을 디블록 필터를 적용하여 스무딩한다(S6). 그리고, 상기 스무딩된 결과(17)를 소정의 업샘플러를 이용하여 현재 계층의 해상도로 업샘플링한다(S7). 상기 업샘플러로는 MPEG 업샘플러, 웨이브렛 업샘플러 등을 사용할 수 있다.

마지막으로, 현재 블록(20)에서 상기 업샘플링된 결과(24; 수학식 5에서 U·B·(D·P_F+R_B)에 해당됨)를 차분한 후(S8), 상기 차분 결과인 잔차(25)를 양자화한다(S9).

도 5는 본 발명의 일 실시예에 따른 비디오 인코더(100)의 구성을 도시한 블록도이다.

먼저, 현재 블록에 포함되는 소정 블록(O_F; 이하 현재 블록이라고 함)은 다운샘플러(103)로 입력된다. 다운샘플러(103)는 현재 블록(O_F)를 공간적 및/또는 시간적으로 다운샘플링하여 대응되는 기초 계층 블록(O_B)를 생성한다.

모션 추정부(205)는 주변 픽쳐(F_B')를 참조하여 기초 계층 블록(O_B)에 대한 모션 추정을 수행함으로써 모션 벡터(MV_B)를 구한다. 이와 같이 참조되는 주변 픽쳐를 '참조 픽쳐(reference picture)'라고 한다. 일반적으로 이러한 모션 추정을 위해서 블록 매칭(block matching) 알고리즘이 널리 사용되고 있다. 즉, 주어진 블록을 참조 픽쳐의 특정 탐색영역 내에서 픽셀 또는 서브 픽셀(2/2 픽셀, 1/4픽셀 등) 단위로 움직이면서 그 에러가 최저가 되는 변위를 움직임 벡터로 선정하는 것이다. 모션 추정을 위하여 고정된 크기의 블록 매칭법을 이용할 수도 있지만, H.264 등에서 사용되는 계층적 가변 사이즈 블록 매칭법(Hierarchical Variable Size Block Matching; HVSBM)을 사용할 수도 있다.

그런데, 비디오 인코더(100)가 개방 루프 코덱(open loop codec) 형태로 이루어진다면, 상기 참조 픽쳐로는 버퍼(201)에 저장된 오리지널 주변 픽쳐(F_B')를 그대로 이용하겠지만, 폐쇄 루프 코덱(closed loop codec) 형태로 이루어진다면, 상기 참조 픽쳐로는 인코딩 후 디코딩된 픽쳐(미도시됨)를 이용하게 될 것이다. 이하, 본 명세서에서는 개방 루프 코덱을 중심으로 하여 설명할 것이지만 이에 한정되지는 않는다.

모션 추정부(205)에서 구한 모션 벡터(MV_B)는 모션 보상부(210)에 제공된다. 모션 보상부(210)는 상기 참조 픽쳐(F_B') 중에서 상기 모션 벡터(MV_B)에 의하여 대응되는 이미지를 추출하고, 이로부터 인터 예측 블록(P_B)을 생성한다. 양방향 참조가 사용되는 경우 상기 인터 예측 블록은 상기 추출된 이미지의 평균으로 계산될 수 있다. 그리고, 단방향 참조가 사용되는 경우 상기 인터 예측 블록은 상기 추출된 이미지와 동일한 것일 수도 있다.

차분기(215)는 상기 기초 계층 블록(O_B)에서 상기 인터 예측 블록(P_B)을 차분함으로써 잔차 블록(R_B)을 생성한다. 상기 잔차 블록(R_B)은 가산기(135)에 제공된다.

한편, 현재 블록(O_F)은 모션 추정부(105), 버퍼(101), 및 차분기(115)로도 입력된다. 모션 추정부(105)는 주변 픽쳐(F_F')를 참조하여 현재 블록에 대한 모션 추정을 수행함으로써 모션 벡터(MV_F)를 구한다. 이러한 모션 추정 과정은 모션 추정부(205)에서 일어나는 과정과 마찬가지이므로 중복된 설명은 생략하기로 한다.

모션 추정부(105)에서 구한 모션 벡터(MV_F)는 모션 보상부(110)에 제공된다. 모션 보상부(110)는 상기 참조 픽쳐(F_F') 중에서 상기 모션 벡터(MV_F)에 의하여 대응되는 이미지를 추출하고, 이로부터 인터 예측 블록(P_F)을 생성한다.

다운샘플러(130)는 모션 보상부(110)로부터 제공되는 인터 예측 블록(P_F)을 다운샘플링한다. 그런데, 일반적으로 n:1의 다운샘플링은 단순히 n개의 픽셀 값을 연산하여 하나의 픽셀 값으로 만드는 것은 아니며, 상기 n개의 픽셀 주변의 픽셀 값을 연산하여 하나의 픽셀 값으로 만들게 된다. 물론, 몇 개의 주변 픽셀까지 고려하는가는 다운샘플링 알고리즘에 따라서 다를 수 있다. 많은 수의 주변 픽셀을 고려할수록 보다 부드러운 다운샘플링 결과가 나타나게 될 것이다.

따라서, 도 6에 도시하는 바와 같이, 인터 예측 블록(31)을 다운샘플링을 하기 위해서는 상기 블록(31)에 근접한 주변 픽셀(32) 값들을 알아야 한다. 물론, 인터 예측 블록(31)은 시간적으로 다른 위치에 있는 참조 픽쳐로부터 얻어질 수 있으므로 문제가 없다. 그러나, 상기 주변 픽셀(32)이 포함되는 블록(33)이 인트라 베이스 모드에 속하고, 상기 블록(33)에 대응되는 기초 계층 블록(34)이 방향적 인트 라 모드(direction intra mode)에 속하는 경우는 문제가 된다. 왜냐하면, 실제 H.264 SE에서의 구현에서, 기초 계층의 매크로블록이 인트라 베이스 모드에 속하는 경우에만, 상기 매크로블록의 데이터를 버퍼에 저장해 두기 때문이다. 따라서, 기초 계층 블록(34)이 방향적 인트라 모드에 속하는 경우에는, 상기 블록(33)에 대응되는 기초 계층 블록(34)이 버퍼 상에 존재하지 않는다.

상기 블록(33)은 인트라 베이스 모드에 속하므로 대응되는 기초 계층 블록이 존재하지 않으면, 그 예측 블록을 생성할 수 없고, 따라서 주변 픽셀(32)을 완전히 구성할 수 없다.

본 발명은 이러한 경우를 고려하여, 주변 픽셀이 포함되는 블록 중에서 대응되는 기초 계층 블록이 존재하지 않는 경우에는, 패딩(padding)에 의하여 상기 주변 픽셀이 포함되는 블록의 픽셀 값을 생성하도록 한다.

이러한 패딩 과정은 도 7에 나타낸 바와 같이, 방향적 인트라 예측 중 대각 모드(diagonal mode)와 유사한 방법으로 수행될 수 있다. 즉, 어떤 블록(35)의 좌변에 인접한 픽셀(I, J, K, L), 상변에 인접한 블록(A, B, C, D), 및 좌상 꼭지점에 인접한 픽셀(M)을 45도 방향으로 복사하는 방식이다. 예를 들어, 상기 블록(35)의 좌하측 픽셀(36)에는 값은 픽셀(K) 값과 픽셀(L) 값을 평균한 값이 복사된다.

다운샘플러(130)는, 누락된 주변 픽셀이 있는 경우에는 이와 같은 과정을 통하여 주변 픽셀을 복구한 후, 인터 예측 블록(P_F)을 다운샘플링하게 된다.

가산기(135)는 상기 다운샘플링된 결과(D·P_F) 및 차분기(215)로부터 출력되 는 R_B를 가산하고, 그 결과를 디블록 필터(140)에 제공한다.

디블록 필터(140)는 상기 가산된 결과(D·P_F+R_B)에 대하여 디블록 필터(deblocking filter)를 적용하여 스무딩한다. 이러한 디블록 필터를 구성하는 디블록 함수로는 H.264에서와 같이 바이리니어 필터를 사용할 수도 있지만, 상기 수학식 6과 같이 간단한 선형 결합의 형태를 사용할 수도 있다. 또한, 이러한 디블록 필터 과정은 이후의 업샘플링 과정을 고려하면 생략될 수도 있다. 왜냐하면, 업샘플링 과정만으로도 어느 정도의 스무딩 효과는 나타나기 때문이다.

업샘플러(145)는 상기 스무딩된 결과(B·(D·P_F+R_B))를 업샘플링한다. 업샘플링된 결과(U·B·(D·P_F+R_B))는 현재 블록(O_F)에 대한 예측 블록으로서 차분기(115)에 입력된다. 그러면, 차분기(115)는 현재 블록(O_F)에서 상기 업샘플링된 결과(U·B·(D·P_F+R_B))를 차분하여, 잔차 신호(R_F)를 생성한다.

상기와 같이 디블록 필터링 과정 수행 후 업샘플링 과정이 수행되는 것이 바람직하지만, 반드시 이에 한정되지는 않고 업샘플링 과정 수행 후 디블록 필터링 과정을 수행하는 것도 가능하다.

변환부(120)는 상기 잔차 신호(R_F)에 대하여, 공간적 변환을 수행하고 변환 계수(R_F ^T)를 생성한다. 이러한 공간적 변환 방법으로는, DCT(Discrete Cosine Transform), 웨이블릿 변환(wavelet transform) 등이 사용될 수 있다. DCT를 사용 하는 경우 상기 변환 계수는 DCT 계수가 될 것이고, 웨이블릿 변환을 사용하는 경우 상기 변환 계수는 웨이블릿 계수가 될 것이다.

양자화부(125)는 상기 변환 계수(R_F ^T)를 양자화(quantization) 하여 양자화 계수(R_F ^Q)를 생성한다. 상기 양자화는 임의의 실수 값으로 표현되는 상기 변환 계수(R_F ^T)를 불연속적인 값(discrete value)으로 나타내는 과정을 의미한다. 예를 들어, 양자화부(125)는 임의의 실수 값으로 표현되는 상기 변환 계수를 소정의 양자화 스텝(quantization step)으로 나누고, 그 결과를 정수 값으로 반올림하는 방법으로 양자화를 수행할 수 있다.

한편, 기초 계층의 잔차 신호(R_B)도 마찬가지로 변환부(220) 및 양자화부(225)를 거쳐서 양자화 계수(R_B ^Q)로 변환된다.

엔트로피 부호화부(150)는 모션 추정부(105)에서 추정된 모션 벡터(MV_F), 양자화부(125)로부터 제공되는 양자화 계수(R_F ^Q), 및 양자화부(225)로부터 제공되는 양자화 계수(R_B ^Q)를 무손실 부호화하여 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 허프만 부호화(Huffman coding), 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding), 기타 다양한 방법이 이용될 수 있다.

도 8은 본 발명의 일 실시예에 따른 비디오 디코더(300)의 구성을 도시한 블록도이다.

엔트로피 복호화부(305)는 입력된 비트스트림에 대하여 무손실 복호화를 수행하여, 현재 블록의 텍스쳐 데이터(R_F ^Q), 상기 현재 블록과 대응되는 기초 계층 블록의 텍스쳐 데이터(R_B ^Q), 및 상기 현재 블록의 모션 벡터(MV_F)를 추출한다. 상기 무손실 복호화는 인코더 단에서의 무손실 부호화 과정의 역으로 진행되는 과정이다.

상기 현재 블록의 텍스쳐 데이터(R_F ^Q)는 역 양자화부(410)에 제공되고 상기 현재 블록의 텍스쳐 데이터(R_F ^Q)는 역 양자화부(310)에 제공된다. 그리고, 현재 블록의 모션 벡터(MV_F)는 모션 보상부(350)에 제공된다.

역 양자화부(310)는 상기 제공되는 현재 블록의 텍스쳐 데이터(R_F ^Q)를 역 양자화한다. 이러한 역 양자화 과정은 양자화 과정에서 사용된 것과 동일한 양자화 테이블을 이용하여 양자화 과정에서 생성된 인덱스로부터 그에 매칭되는 값을 복원하는 과정이다.

역 변환부(320)는 상기 역 양자화된 결과에 대하여 역 변환을 수행한다. 이러한 역 변환은 인코더 단의 변환 과정의 역으로 수행되며, 구체적으로 역 DCT 변 환, 역 웨이블릿 변환 등이 사용될 수 있다.

상기 역 변환 결과 현재 블록에 대한 잔차 신호(R_F)가 복원된다.

한편, 역 양자화부(410)는 상기 제공되는 기초 계층 블록의 텍스쳐 데이터(R_B ^Q)를 역 양자화하고, 역 변환부(420)는 상기 역 양자화된 결과(R_B ^T)에 대하여 역 변환을 수행한다. 상기 역 변환 결과 상기 기초 계층 블록에 대한 잔차 신호(R_B)가 복원된다. 상기 복원된 잔차 신호(R_B)는 가산기(370)에 제공된다.

한편, 버퍼(340)는 최종적으로 복원되는 픽쳐를 임시로 저장하여 두었다가 상기 저장된 픽쳐를 다른 픽쳐의 복원시의 참조 픽쳐로서 제공한다.

모션 보상부(350)는 상기 참조 픽쳐 중에서 상기 모션 벡터(MV_F)에 의하여 대응되는 이미지(O_F')를 추출하고, 이로부터 인터 예측 블록(P_F)을 생성한다. 양방향 참조가 사용되는 경우 상기 인터 예측 블록(P_F)은 상기 추출된 이미지(O_F')의 평균으로 계산될 수 있다. 그리고, 단방향 참조가 사용되는 경우 상기 인터 예측 블록(P_F)은 상기 추출된 이미지(O_F')와 동일한 것일 수도 있다.

다운샘플러(360)는 모션 보상부(350)로부터 제공되는 인터 예측 블록(P_F)를 다운샘플링한다. 이러한 다운샘플링 과정에 있어서, 도 7과 같은 패딩 과정이 포함될 수도 있다.

가산기(370)는 상기 다운샘플링된 결과(D·P_F)와 역 변환부(420)로부터 제공 되는 잔차 신호(R_B)를 가산한다.

디블록 필터(380)는 상기 가산기(370)의 출력(D·P_F+R_B)에 대하여 디블록 필터를 적용하여 스무딩한다. 이러한 디블록 필터를 구성하는 디블록 함수로는 H.264에서와 같이 바이리니어 필터를 사용할 수도 있지만, 상기 수학식 6과 같이 간단한 선형 결합의 형태를 사용할 수도 있다. 또한, 이러한 디블록 필터 과정은 이후의 업샘플링 과정을 고려하면 생략될 수도 있다.

업샘플러(390)는 상기 스무딩된 결과(B·(D·P_F+R_B))를 업샘플링한다. 업샘플링된 결과(U·B·(D·P_F+R_B))는 현재 블록(O_F)에 대한 예측 블록으로서 가산기(330)에 입력된다. 그러면, 가산기(330)는 역 변환부(320)로부터 출력되는 잔차 신호(R_F)와 상기 업샘플링된 결과(U·B·(D·P_F+R_B))를 가산하여 현재 블록(O_F)을 복원한다.

상술한 도 5 및 도 8의 설명에서는 두 개의 계층으로 된 비디오 프레임을 코딩하는 예를 설명하였지만, 이에 한하지 않고 셋 이상의 계층 구조를 갖는 비디오 프레임의 코딩에 있어서도 본 발명이 적용될 수 있음은 당업자라면 충분히 이해할 수 있을 것이다.

지금까지 도 5 및 도 8의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

도 9 및 도 10은 본 발명을 적용한 코덱(SR1)의 코딩 성능을 나타내는 그래프이다. 도 9는 다양한 프레임율(7.5, 15, 30Hz)을 갖는 Football 시퀀스에 있어서, 상기 코덱(SR1)과 종래의 코덱(ANC) 간에 휘도 성분 PSNR(Y-PSNR)을 비교한 그래프이다. 도 9에서 보는 바와 같이, 종래의 코덱에 비하여 본 발명을 적용한 경우 최대 0.25dB까지 향상시킬 수 있으며, 이러한 PSNR의 차이는 프레임율과 무관하게 다소 일정한 형태로 나타남을 알 수 있다.

한편, 도 10은 다양한 프레임율을 갖는 Football 시퀀스에 있어서, JVT-0085 문서에서 제시한 방법을 적용한 코덱(SR2)과 본 발명을 적용한 코덱(SR1)의 성능을 비교하는 그래프이다. 도 10에서 보는 바와 같이, 양자의 PSNR의 차이는 최대 0.07dB에 달하며, 이러한 PSNR의 차이는 대부분의 경우에 있어서 유지됨을 알 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수 적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

본 발명에 따르면, 다계층 기반의 비디오 코덱에서 단일 루프 디코딩 조건을 만족하면서도, 인트라 베이스 예측을 제한 없이 사용할 수 있다.

이와 같은 인트라 베이스 예측의 비제한적 사용은 비디오 코딩의 성능의 향상으로 이어질 수 있다.

Claims

(a) 현재 계층 블록과 대응되는 기초 계층 블록에 대한 인터 예측 블록과, 상기 기초 계층 블록간의 차분을 구하는 단계;

(b) 상기 현재 계층 블록에 대한 인터 예측 블록을 다운샘플링하는 단계;

(c) 상기 구한 차분과 상기 다운샘플링된 인터 예측 블록을 가산하는 단계;

(d) 상기 가산된 결과를 업샘플링하는 단계; 및

(e) 상기 현재 계층 블록과 상기 업샘플링된 결과 간의 차분을 부호화하는 단계를 포함하는, 다계층 기반의 비디오 인코딩 방법.
제1항에 있어서,

상기 (c) 단계에서 가산된 결과를 디블록 필터링하는 단계를 더 포함하며, 상기 (d) 단계에서의 가산된 결과는 상기 디블록 필터링된 결과인, 다계층 기반의 비디오 인코딩 방법.
제2항에 있어서,

상기 디블록 필터링에 사용되는 디블록 함수는, 상기 현재 계층 블록의 경계 부분에 위치한 픽셀 및 그 주변 픽셀의 선형 결합으로 표시되는, 다계층 기반의 비디오 인코딩 방법.
제3항에 있어서,

상기 주변 픽셀은 상기 경계 부분에 위치한 픽셀에 인접하는 두 개의 픽셀이고, 상기 경계 부분에 위치한 픽셀의 가중치는 1/2이며, 상기 두 개의 인접하는 픽셀의 가중치는 각각 1/4인, 다계층 기반의 비디오 인코딩 방법.
제1항에 있어서,

상기 기초 계층 블록에 대한 인터 예측 블록과 상기 현재 계층 블록에 대한 인터 예측 블록은, 모션 추정 과정 및 모션 보상 과정을 거쳐서 생성되는, 다계층 기반의 비디오 인코딩 방법.
제1항에 있어서, 상기 (e) 단계는

상기 차분을 공간적 변환하여 변환 계수를 생성하는 단계;

상기 변환 계수를 양자화하여 양자화 계수를 생성하는 단계; 및

상기 양자화 계수를 무손실 부호화하는 단계를 포함하는, 다계층 기반의 비디오 인코딩 방법.
제1항에 있어서, 상기 (b) 단계는

상기 인터 예측 블록 주변의 예측 블록이 대응되는 기초 계층 블록이 버퍼상에 존재하지 않는 경우에는, 상기 주변의 예측 블록을 패딩하는 단계를 포함하는, 다계층 기반의 비디오 인코딩 방법.
제7항에 있어서, 상기 패딩하는 단계는

상기 주변의 예측 블록의 좌변 및 상변에 인접한 픽셀을, 상기 주변의 예측 블록에 45도 방향으로 복사하는 단계를 포함하는, 다계층 기반의 비디오 인코딩 방법.
(a) 입력된 비트스트림에 포함되는 현재 계층 블록의 텍스쳐 데이터로부터 상기 현재 계층 블록의 잔차 신호를 복원하는 단계;

(b) 상기 비트스트림에 포함되며 상기 현재 계층 블록과 대응되는 기초 계층 블록의 텍스쳐 데이터로부터 상기 기초 계층 블록의 잔차 신호를 복원하는 단계;

(c) 상기 현재 계층 블록에 대한 인터 예측 블록을 다운샘플링하는 단계;

(d) 상기 다운샘플링된 인터 예측 블록과 상기 (b) 단계에서 복원된 잔차 신호를 가산하는 단계;

(e) 상기 가산된 결과를 업샘플링하는 단계; 및

(f) 상기 (a) 단계에서 복원된 잔차 신호와 상기 업샘플링된 결과를 가산하는 단계를 포함하는, 다계층 기반의 비디오 디코딩 방법.
제9항에 있어서,

상기 (d) 단계에서 가산된 결과를 디블록 필터링하는 단계를 더 포함하며, 상기 (e) 단계에서의 가산된 결과는 상기 디블록 필터링된 결과인, 다계층 기반의 비디오 디코딩 방법.
제10항에 있어서,

상기 디블록 필터링에 사용되는 디블록 함수는, 상기 현재 계층 블록의 경계 부분에 위치한 픽셀 및 그 주변 픽셀의 선형 결합으로 표시되는, 다계층 기반의 비디오 디코딩 방법.
제11항에 있어서,

상기 주변 픽셀은 상기 경계 부분에 위치한 픽셀에 인접하는 두 개의 픽셀이고, 상기 경계 부분에 위치한 픽셀의 가중치는 1/2이며, 상기 두 개의 인접하는 픽셀의 가중치는 각각 1/4인, 다계층 기반의 비디오 디코딩 방법.
제9항에 있어서,

상기 현재 계층 블록에 대한 인터 예측 블록은, 모션 보상 과정을 거쳐서 생성되는, 다계층 기반의 비디오 디코딩 방법.
제9항에 있어서, 상기 (a) 단계는

상기 텍스쳐 데이터를 무손실 복호화하는 단계;

상기 무손실 복호화된 결과를 역 양자화 하는 단계; 및

상기 역 양자화된 결과를 역 변환하는 단계를 포함하는, 다계층 기반의 비디 오 디코딩 방법.
제9항에 있어서, 상기 (c) 단계는

상기 인터 예측 블록 주변의 예측 블록이 대응되는 기초 계층 블록이 버퍼상에 존재하지 않는 경우에는, 상기 주변의 예측 블록을 패딩하는 단계를 포함하는, 다계층 기반의 비디오 디코딩 방법.
제15항에 있어서, 상기 패딩하는 단계는

상기 주변의 예측 블록의 좌변 및 상변에 인접한 픽셀을, 상기 주변의 예측 블록에 45도 방향으로 복사하는 단계를 포함하는, 다계층 기반의 비디오 디코딩 방법.
현재 계층 블록과 대응되는 기초 계층 블록에 대한 인터 예측 블록과, 상기 기초 계층 블록간의 차분을 구하는 차분기;

상기 현재 계층 블록에 대한 인터 예측 블록을 다운샘플링하는 다운샘플러;

상기 구한 차분과 상기 다운샘플링된 인터 예측 블록을 가산하는 가산기;

상기 가산된 결과를 업샘플링하는 업샘플러; 및

상기 현재 계층 블록과 상기 업샘플링된 결과 간의 차분을 부호화하는 부호화 수단을 포함하는, 다계층 기반의 비디오 인코더.
입력된 비트스트림에 포함되는 현재 계층 블록의 텍스쳐 데이터로부터 상기 현재 계층 블록의 잔차 신호를 복원하는 제1 복원 수단;

상기 비트스트림에 포함되며 상기 현재 계층 블록과 대응되는 기초 계층 블록의 텍스쳐 데이터로부터 상기 기초 계층 블록의 잔차 신호를 복원하는 제2 복원 수단;

상기 현재 계층 블록에 대한 인터 예측 블록을 다운샘플링하는 다운샘플러;

상기 다운샘플링된 인터 예측 블록과 상기 제2 복원 수단에서 복원된 잔차 신호를 가산하는 제1 가산기;

상기 가산된 결과를 업샘플링하는 업샘플러; 및

상기 제1 복원 수단에서 복원된 잔차 신호와 상기 업샘플링된 결과를 가산하는 제2 가산기를 포함하는, 다계층 기반의 비디오 디코더.