KR20160005027A - 비디오 신호 처리 방법 및 장치 - Google Patents

Abstract

본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.
이를 위해 본 발명은, 베이스 레이어와 인핸스먼트 레이어를 포함하는 스케일러블 비디오 신호를 수신하는 단계; 상기 베이스 레이어에 레이어간 예측에 대한 제한이 적용되는지 여부를 나타내는 플래그를 수신하는 단계; 상기 베이스 레이어의 픽쳐를 디코딩 하는 단계; 및 상기 디코딩 된 베이스 레이어의 픽쳐를 이용하여 상기 인핸스먼트 레이어의 픽쳐를 디코딩 하는 단계를 포함하되, 상기 플래그가 상기 베이스 레이어에 레이어간 예측에 대한 제한이 적용됨을 나타낼 경우, 상기 베이스 레이어 픽쳐의 설정된 영역은 상기 인핸스먼트 레이어 픽쳐의 레이어간 예측에 사용되지 않는 것을 특징으로 하는 비디오 신호 처리 방법 및 이를 이용한 비디오 신호 처리 장치를 제공한다.

Description

비디오 신호 처리 방법 및 장치{VIDEO SIGNAL PROCESSING METHOD AND APPARATUS}

본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.

압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.

한편, 최근 다양한 멀티미디어 환경에서 네트워크의 상황 혹은 단말기의 해상도 등과 같은 사용자 환경의 변화에 따라 공간적, 시간적 및/또는 화질 관점에서 계층적으로 비디오 콘텐츠를 제공하기 위한 스케일러블 비디오 코딩 방식의 수요가 증가하고 있다.

본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다. 특히, 본 발명은 스케일러블 비디오 신호에 대하여 효율적인 코딩 방법을 제공하고자 한다.

상기와 같은 과제를 해결하기 위해, 본 발명의 실시예에 따른 비디오 신호 처리 방법은, 베이스 레이어와 인핸스먼트 레이어를 포함하는 스케일러블 비디오 신호를 수신하는 단계; 상기 베이스 레이어에 레이어간 예측에 대한 제한이 적용되는지 여부를 나타내는 플래그를 수신하는 단계; 상기 베이스 레이어의 픽쳐를 디코딩 하는 단계; 및 상기 디코딩 된 베이스 레이어의 픽쳐를 이용하여 상기 인핸스먼트 레이어의 픽쳐를 디코딩 하는 단계를 포함하되, 상기 플래그가 상기 베이스 레이어에 레이어간 예측에 대한 제한이 적용됨을 나타낼 경우, 상기 베이스 레이어 픽쳐의 설정된 영역은 상기 인핸스먼트 레이어 픽쳐의 레이어간 예측에 사용되지 않는 것을 특징으로 한다.

또한, 본 발명의 실시예에 따른 비디오 신호 처리 장치는, 베이스 레이어와 인핸스먼트 레이어를 포함하는 스케일러블 비디오 신호, 및 상기 베이스 레이어에 레이어간 예측에 대한 제한이 적용되는지 여부를 나타내는 플래그를 수신하는 디멀티 플렉서; 상기 베이스 레이어의 픽쳐를 디코딩 하는 베이스 레이어 디코더; 및 상기 디코딩 된 베이스 레이어의 픽쳐를 이용하여 상기 인핸스먼트 레이어의 픽쳐를 디코딩 하는 인핸스먼트 레이어 디코더를 포함하되, 상기 플래그가 상기 베이스 레이어에 레이어간 예측에 대한 제한이 적용됨을 나타낼 경우, 상기 베이스 레이어 픽쳐의 설정된 영역은 상기 인핸스먼트 레이어 픽쳐의 레이어간 예측에 사용되지 않는 것을 특징으로 한다.

본 발명의 실시예에 따르면, 멀티 루프 디코딩 방식을 사용하는 스케일러블 비디오 신호에 대하여 효율적으로 랜덤 액세스를 지원할 수 있다.

도 1은 본 발명의 실시예에 따른 비디오 신호 인코더 장치의 개략적인 블록도.
도 2는 본 발명의 실시예에 따른 비디오 신호 디코더 장치의 개략적인 블록도.
도 3은 본 발명의 실시예에 따라 코딩 유닛을 분할하는 일 예를 나타내는 도면.
도 4는 도 3의 분할 구조를 계층적으로 나타내는 방법에 대한 일 실시예를 도시한 도면.
도 5는 본 발명의 실시예에 따른 다양한 크기 및 형태의 예측 유닛을 나타낸 도면.
도 6은 본 발명의 실시예에 따른 스케일러블 비디오 코딩 시스템의 개략적인 블록도.
도 7 및 도 8은 본 발명의 실시예에 따른 IDR 픽쳐, CRA 픽쳐 및 리딩 픽쳐를 나타내는 도면.
도 9는 멀티 루프 디코딩 방식을 사용하는 스케일러블 비디오 신호에서 랜덤 액세스가 수행되는 일 실시예를 나타낸 도면.
도 10은 멀티 루프 디코딩 방식을 사용하는 스케일러블 비디오 신호에서 랜덤 액세스가 수행되는 본 발명의 제1 실시예를 나타낸 도면.
도 11은 멀티 루프 디코딩 방식을 사용하는 스케일러블 비디오 신호에서 랜덤 액세스가 수행되는 본 발명의 제2 실시예를 나타낸 도면.

발명의 실시를 위한 최선의 형태

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있고, 기재되지 않은 용어라도 하기 취지에 따라 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛'은 영상(픽쳐) 처리의 기본 단위 또는 픽쳐의 특정 위치를 지칭하는 의미로 사용되었으며, 경우에 따라서는 '블록', '파티션' 또는 '영역' 등의 용어와 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 유닛은 코딩 유닛, 예측 유닛, 변환 유닛을 모두 포함하는 개념으로 사용될 수 있다.

도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 크게 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.

변환부(110)는 입력 받은 비디오 신호에 대한 화소값을 변환하여 변환 계수 값을 획득한다. 예를 들어, 이산 코사인 변환(Discrete Cosine Transform, DCT) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 특히 이산 코사인 변환은 입력된 픽쳐 신호를 일정 크기의 블록 형태로 나누어 변환을 수행하게 된다. 변환에 있어서 변환 영역 내의 값들의 분포와 특성에 따라서 코딩 효율이 달라질 수 있다.

양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 원래의 화소값을 복원한다.

필터링부(130)는 복원된 픽쳐의 품질 개선을 위한 필터링 연산을 수행한다. 예를 들어, 디블록킹 필터 및 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(Decoded Picture Buffer, 156)에 저장된다.

코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인트라 예측부(152)에서는 현재 픽쳐 내에서 화면내 예측을 수행하며, 인터 예측부(154)에서는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 영역들로부터 화면내 예측을 수행하여, 화면내 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인터 예측부(154)는 다시 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)에서는 복원된 특정 영역을 참조하여 현재 영역의 모션 벡터값을 획득한다. 모션 추정부(154a)에서는 참조 영역의 위치 정보(참조 프레임, 모션 벡터 등) 등을 엔트로피 코딩부(160)로 전달하여 비트스트림에 포함될 수 있도록 한다. 모션 추정부(154a)에서 전달된 모션 벡터값을 이용하여 모션 보상부(154b)에서는 화면간 모션 보상을 수행한다.

엔트로피 코딩부(160)는 양자화된 변환 계수, 화면간 부호화 정보, 화면내 부호화 정보 및 인터 예측부(154)로부터 입력된 참조 영역 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 여기서 엔트로피 코딩부(160)에서는 가변 길이 코딩(Variable Length Coding, VLC) 방식과 산술 코딩(arithmetic coding) 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로, 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(Context-based Adaptive Variable Length Coding, CAVLC) 방식이 사용될 수 있다. 산술 코딩은 연속적인 데이터 심볼들을 하나의 소수로 변환하는데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(Context-based Adaptive Binary Arithmetic Code, CABAC)가 이용될 수 있다.

상기 생성된 비트스트림은 NAL(Network Abstraction Layer) 유닛을 기본 단위로 캡슐화 되어 있다. NAL 유닛은 부호화된 슬라이스 세그먼트를 포함하는데, 상기 슬라이스 세그먼트는 정수 개의 코딩 트리 유닛(Coding Tree Unit)으로 이루어진다. 비디오 디코더에서 비트스트림을 디코딩하기 위해서는 먼저 비트스트림을 NAL 유닛 단위로 분리한 후, 분리 된 각각의 NAL 유닛을 디코딩해야 한다.

도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 크게 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230), 예측부(250)를 포함한다.

엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수, 모션 벡터 등을 추출한다. 역양자화부(220)는 엔트로피 디코딩된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 원래의 화소값을 복원한다.

한편, 필터링부(230)는 픽쳐에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터 및/또는 픽쳐 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 다음 프레임에 대한 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(Decoded Picture Buffer, 256)에 저장된다.

또한, 본 발명의 예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함하고, 전술한 엔트로피 디코딩부(210)를 통해 디코딩된 부호화 타입, 각 영역에 대한 변환 계수, 모션 벡터 등의 정보를 활용하여 예측 픽쳐를 복원하게 된다.

이와 관련하여, 상기 인트라 예측부(252)에서는 현재 픽쳐 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다. 인터 예측부(254)는 복호 픽쳐 버퍼(256)에 저장된 참조 픽쳐 및 모션 벡터를 이용하여 예측 픽쳐를 생성한다. 인터 예측부(254)는 다시 모션 추정부(254a) 및 모션 보상부(254b)를 포함하여 구성될 수 있다. 모션 추정부(254a)에서는 현재 블록과 코딩에 사용하는 참조 픽쳐의 참조 블록간의 위치 관계를 나타내는 모션 벡터를 획득하여 모션 보상부(254b)로 전달한다.

상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측값, 및 역변환부(225)로부터 출력된 화소값이 더해져서 복원된 비디오 프레임이 생성된다.

이하에서는, 상기 인코딩 장치(100)와 디코딩 장치(200)의 동작에 있어서, 도 3 내지 도 5를 참조하여 코딩 유닛 및 예측 유닛 등을 분할하는 방법을 설명하기로 한다.

코딩 유닛이란 상기에서 설명한 비디오 신호의 처리 과정에서, 예를 들어 화면내(intra)/화면간(inter) 예측, 변환(transform), 양자화(quantization) 및/또는 엔트로피 코딩(entropy coding) 등의 과정에서 픽쳐를 처리하기 위한 기본 단위를 의미한다. 하나의 픽쳐를 코딩하는 데 있어서 사용되는 코딩 유닛의 크기는 일정하지 않을 수 있다. 코딩 유닛은 사각형 형태를 가질 수 있고, 하나의 코딩 유닛은 다시 여러 개의 코딩 유닛으로 분할 가능하다.

도 3은 본 발명의 실시 예에 따라 코딩 유닛을 분할하는 일 예를 나타낸 것이다. 예를 들어, 2N X 2N 크기를 가지는 하나의 코딩 유닛은 다시 N X N 크기를 가지는 네 개의 코딩 유닛으로 분할될 수 있다. 이러한 코딩 유닛의 분할은 재귀적으로 이루어질 수 있으며, 모든 코딩 유닛들이 동일한 형태로 분할될 필요는 없다. 다만, 코딩 및 처리과정에서의 편의를 위하여 최대 코딩 유닛(32)의 크기 및/또는 최소 코딩 유닛(34)의 크기에 대한 제한이 있을 수 있다.

하나의 코딩 유닛에 대하여, 해당 코딩 유닛이 분할되는지 여부를 나타내는 정보를 저장할 수 있다. 도 4는 도 3에서 도시하는 코딩 유닛의 분할 구조를 플래그 값을 이용하여 계층적으로 나타내는 방법에 대한 일 실시예를 도시한 것이다. 코딩 유닛의 분할 여부를 나타내는 정보는 해당 유닛이 분할 된 경우 '1', 분할되지 않은 경우 '0'의 값으로 할당할 수 있다. 도 4에서 도시하듯이, 분할 여부를 나타내는 플래그 값이 1이면 해당 노드에 대응하는 코딩 유닛은 다시 4개의 코딩 유닛으로 나누어지고, 0이면 더 이상 나누어지지 않고 해당 코딩 유닛에 대한 처리 프로세스가 수행될 수 있다.

상기에서 설명한 코딩 유닛의 구조는 재귀적인 트리 구조를 이용하여 나타낼 수 있다. 즉, 하나의 픽쳐 또는 최대 크기 코딩 유닛을 루트(root)로 하여, 다른 코딩 유닛으로 분할되는 코딩 유닛은 분할된 코딩 유닛의 개수만큼의 자식(child) 노드를 가지게 된다. 따라서, 더 이상 분할되지 않는 코딩 유닛이 리프(leaf) 노드가 된다. 하나의 코딩 유닛에 대하여 정방형 분할만이 가능하다고 가정할 때, 하나의 코딩 유닛은 최대 4개의 다른 코딩 유닛으로 분할될 수 있으므로 코딩 유닛을 나타내는 트리는 쿼드 트리(Quard tree) 형태가 될 수 있다.

인코더에서는 비디오 픽쳐의 특성(예를 들어, 해상도)에 따라서 혹은 코딩의 효율을 고려하여 최적의 코딩 유닛의 크기가 선택되고 이에 대한 정보 또는 이를 유도할 수 있는 정보가 비트스트림에 포함될 수 있다. 예를 들면, 최대 코딩 유닛의 크기 및 트리의 최대 깊이가 정의될 수 있다. 정방형 분할을 할 경우, 코딩 유닛의 높이 및 너비는 부모 노드의 코딩 유닛의 높이 및 너비의 반이 되므로, 상기와 같은 정보를 이용하면 최소 코딩 유닛 크기를 구할 수 있다. 혹은 역으로, 최소 코딩 유닛 크기 및 트리의 최대 깊이를 미리 정의하여 이용하고, 이를 이용하여 최대 코딩 유닛의 크기를 유도하여 이용할 수 있다. 정방형 분할에서 유닛의 크기는 2의 배수 형태로 변화하기 때문에, 실제 코딩 유닛의 크기는 2를 밑으로 하는 로그값으로 나타내어 전송 효율을 높일 수 있다.

디코더에서는 현재 코딩 유닛이 분할되었는지 여부를 나타내는 정보를 획득할 수 있다. 이러한 정보는 특정 조건 하에만 획득하게(전송되게) 하면 효율을 높일 수 있다. 예를 들어 현재 코딩 유닛이 분할 가능한 조건은 현재 위치에서 현재 코딩 유닛 크기를 더한 것이 픽쳐의 크기보다 작고, 현재 유닛 크기가 기 설정된 최소 코딩 유닛 크기보다 큰 경우이므로, 이러한 경우에만 현재 코딩 유닛이 분할되었는지를 나타내는 정보를 획득할 수 있다.

만약 상기 정보가 코딩 유닛이 분할되었음을 나타내는 경우, 분할될 코딩 유닛의 크기는 현재 코딩 유닛의 반이 되고, 현재 처리 위치를 기준으로 하여 4개의 정방형 코딩 유닛들로 분할된다. 각 분할된 코딩 유닛들에 대해서 상기와 같은 처리를 반복할 수 있다.

코딩을 위한 픽쳐 예측(모션 보상)은 더 이상 나누어지지 않는 코딩 유닛(즉 코딩 유닛 트리의 리프 노드)을 대상으로 이루어진다. 이러한 예측을 수행하는 기본 단위를 이하에서는 예측 유닛(prediction unit) 또는 예측 블록(prediction block)이라고 한다.

도 5는 본 발명의 실시예에 따른 다양한 크기 및 형태의 예측 유닛을 나타내고 있다. 예측 유닛은 코딩 유닛 내에서 정방형, 직사각형 등의 형태를 가질 수 있다. 예를 들면, 하나의 예측 유닛은 분할되지 않거나(2N X 2N), 도 5에 나타난 바와 같이 N X N, 2N X N, N X 2N, 2N X N/2, 2N X 3N/2, N/2 X 2N, 3N/2 X 2N 등의 다양한 크기 및 형태를 갖도록 분할될 수 있다. 또한, 예측 유닛의 가능한 분할 형태는 인트라 코딩 유닛과 인터 코딩 유닛에서 각기 다르게 정의될 수 있다. 예를 들면, 인트라 코딩 유닛에서는 2N X 2N 또는 N X N 형태의 분할만 가능하고, 인터 코딩 유닛에서는 상기 언급된 모든 형태의 분할이 가능하도록 설정될 수 있다. 이때, 비트스트림에는 상기 예측 유닛이 분할되었는지 여부, 혹은 어떠한 형태로 분할되었는지에 대한 정보가 포함될 수 있다. 혹은 이러한 정보는 다른 정보들로부터 유도될 수도 있다.

이하, 본 명세서에서 사용되는 유닛 이라는 용어는 예측을 수행하는 기본 단위인 상기 예측 유닛을 대체하는 용어로 사용될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 더욱 광의적으로는 상기 코딩 유닛을 포함하는 개념으로 이해될 수 있다.

디코딩이 수행되는 현재 유닛을 복원하기 위해서 현재 유닛이 포함된 현재 픽쳐 또는 다른 픽쳐들의 디코딩된 부분이 이용될 수 있다. 복원에 현재 픽쳐만을 이용하는, 즉 화면내 예측만을 수행하는 픽쳐(슬라이스)를 인트라 픽쳐 또는 I 픽쳐(슬라이스), 화면내 예측과 화면간 예측을 모두 수행할 수 있는 픽쳐(슬라이스)를 인터 픽쳐(슬라이스)라고 한다. 인터 픽쳐(슬라이스) 중 각 유닛을 예측하기 위하여 최대 하나의 모션 벡터 및 레퍼런스 인덱스를 이용하는 픽쳐(슬라이스)를 예측 픽쳐(predictive picture) 또는 P 픽쳐(슬라이스)라고 하며, 최대 두 개의 모션 벡터 및 레퍼런스 인덱스를 이용하는 픽쳐(슬라이스)를 쌍예측 픽쳐(Bi-predictive picture) 또는 B 픽쳐(슬라이스) 라고 한다.

인트라 예측부에서는 현재 픽쳐 내의 복원된 영역들로부터 대상 유닛의 픽셀값을 예측하는 화면내 예측(Intra prediction)을 수행한다. 예를 들어, 현재 유닛을 중심으로, 상단, 좌측, 좌측 상단 및/또는 우측 상단에 위치한 유닛들의 부호화된 픽셀로부터 현재 유닛의 픽셀값을 예측할 수 있다.

한편, 인터 예측부에서는 현재 픽쳐가 아닌 복원된 다른 픽쳐들의 정보를 이용하여 대상 유닛의 픽셀값을 예측하는 화면간 예측(Inter prediction)을 수행한다. 이때, 예측에 이용되는 픽쳐를 참조 픽쳐(reference picture)라고 한다. 화면간 예측 과정에서 현재 유닛을 예측하는데 어떤 참조 영역을 이용하는지는, 해당 참조 영역이 포함된 참조 픽쳐를 나타내는 인덱스 및 모션 벡터(motion vector) 정보 등을 이용하여 나타낼 수 있다.

화면간 예측에는 순방향 예측(forward direction prediction), 역방향 예측(backward direction prediction) 및 쌍예측(Bi-prediction)이 있을 수 있다. 순방향 예측은 시간적으로 현재 픽쳐 이전에 표시(또는 출력)되는 1개의 참조 픽쳐를 이용한 예측이고, 역방향 예측은 시간적으로 현재 픽쳐 이후에 표시(또는 출력)되는 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 최대 2개의 참조 영역을 이용할 수 있는데, 이 2개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 즉, 쌍예측 방식에서는 최대 2세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있는데, 2개의 모션 벡터가 동일한 참조 픽쳐 인덱스를 가질 수도 있고 서로 다른 참조 픽쳐 인덱스를 가질 수도 있다. 이때, 참조 픽쳐들은 시간적으로 현재 픽쳐 이전이나 이후 모두에 표시(또는 출력)될 수 있다.

모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 유닛의 참조 유닛을 획득할 수 있다. 상기 참조 유닛은 상기 참조 픽쳐 인덱스를 가진 참조 픽쳐 내에 존재한다. 또한, 상기 모션 벡터에 의해서 특정된 유닛의 픽셀값 또는 보간(interpolation)된 값이 상기 현재 유닛의 예측값(predictor)으로 이용될 수 있다. 서브펠(sub-pel) 단위의 픽셀 정확도를 갖는 모션 예측을 위하여 이를 테면, 휘도 신호에 대하여 8-탭 보간 필터가, 색차 신호에 대하여 4-탭 보간 필터가 사용될 수 있다. 이와 같이 모션 정보를 이용하여, 이전에 디코딩된 픽쳐로부터 현재 유닛의 텍스쳐를 예측하는 모션 보상(motion compensation)이 수행된다.

한편, 현재 픽쳐에 대하여, 화면 간 예측을 위하여 사용되는 픽쳐들로 참조 픽쳐 리스트를 구성할 수 있다. B 픽쳐의 경우에는 두 개의 참조 픽쳐 리스트를 필요로 하며, 이하에서는 각각을 참조 픽쳐 리스트 0(또는 L0), 참조 픽쳐 리스트 1(또는 L1)으로 지칭한다.

도 6은 본 발명의 실시예에 따른 스케일러블 비디오 코딩(또는, 스케일러블 고효율 비디오 코딩) 시스템의 개략적인 블록도를 나타내고 있다.

스케일러블 비디오 코딩 방식은 다양한 멀티미디어 환경에서 네트워크의 상황 혹은 단말기의 해상도 등과 같은 다양한 사용자 환경에 따라 공간적, 시간적 및/또는 화질 관점에서 계층적으로 비디오 콘텐츠를 제공하기 위한 압축 방법이다. 공간적 계층성(scalability)은 동일한 픽쳐에 대해 각 레이어 별로 다른 해상도를 가지고 부호화함으로써 지원될 수 있으며, 시간적 계층성은 픽쳐의 초당 화면 재생 율을 조절하여 구현될 수 있다. 또한, 품질 계층성은 레이어 마다 양자화 파라미터를 다르게 하여 부호화함으로써 다양한 화질의 픽쳐를 제공할 수 있다. 이때, 해상도, 초당 프레임수 및/또는 품질이 낮은 픽쳐 시퀀스를 베이스 레이어라 하고, 상대적으로 해상도, 초당 프레임수 및/또는 품질이 높은 픽쳐 시퀀스를 인핸스먼트 레이어라 한다.

이하에서는 도 6을 참조로 본 발명의 스케일러블 비디오 코딩 시스템의 구성에 대해 보다 구체적으로 설명하도록 한다. 스케일러블 비디오 코딩 시스템은 인코딩 장치(300)와 디코딩 장치(400)를 포함한다. 상기 인코딩 장치(300)는 베이스 레이어 인코딩부(100a), 인핸스먼트 레이어 인코딩부(100b) 및 멀티플렉서(180)를 포함하고, 디코딩 장치(400)는 디멀티플렉서(280), 베이스 레이어 디코딩부(200a) 및 인핸스먼트 레이어 디코딩부(200b)를 포함할 수 있다. 베이스 레이어 인코딩부(100a)는 입력 신호 X(n)을 압축하여 베이스 비트스트림을 생성할 수 있다. 인핸스먼트 레이어 인코딩부(100b)는 입력 신호 X(n)과 베이스 레이어 인코딩부(100a)에 의해 생성되는 정보를 이용하여 인핸스먼트 레이어 비트스트림을 생성할 수 있다. 멀티플렉서(180)는 상기 베이스 레이어 비트스트림과 인핸스먼트 레이어 비트스트림을 이용하여 스케일러블 비트스트림을 생성한다.

상기 베이스 레이어 인코딩부(100a) 및 인핸스먼트 레이어 인코딩부(100b)의 기본적인 구성은 도 1에 도시된 인코딩 장치(100)와 동일하거나 유사할 수 있다. 다만, 인핸스먼트 레이어 인코딩부(100b)의 인터 예측부는 베이스 레이어 인코딩부(100a)에서 생성된 모션 정보를 이용하여 화면간 예측을 수행할 수 있다. 또한, 인핸스먼트 레이어 인코딩부(100b)의 복호 픽쳐 버퍼(DPB)는 베이스 레이어 인코딩부(100a)의 복호 픽쳐 버퍼(DPB)에 저장된 픽쳐를 샘플링하여 저장할 수 있다. 상기 샘플링은 후술하는 바와 같이 리 샘플링, 업 샘플링 등을 포함할 수 있다.

이렇게 생성된 스케일러블 비트스트림은 소정 채널을 통해 디코딩 장치(400)로 전송되고, 전송된 스케일러블 비트스트림은 디코딩 장치(400)의 디멀티플렉서(280)에 의해 인핸스먼트 레이어 비트스트림과 베이스 레이어 비트스트림으로 구분될 수 있다. 베이스 레이어 디코딩부(200a)는 베이스 레이어 비트스트림을 수신하고, 이를 복원하여 출력 신호 Xb(n)을 생성한다. 또한, 인핸스먼트 레이어 디코딩부(200b)는 인핸스먼트 레이어 비트스트림을 수신하고, 베이스 레이어 디코딩부(200a)에서 복원된 신호를 참조하여 출력 신호 Xe(n)을 생성한다.

상기 베이스 레이어 디코딩부(200a) 및 인핸스먼트 레이어 디코딩부(200b)의 기본적인 구성은 도 2에 도시된 디코딩 장치(200)와 동일하거나 유사할 수 있다. 다만, 인핸스먼트 레이어 디코딩부(200b)의 인터 예측부는 베이스 레이어 디코딩부(200a)에서 생성된 모션 정보를 이용하여 화면간 예측을 수행할 수 있다. 또한, 인핸스먼트 레이어 디코딩부(200b)의 복호 픽쳐 버퍼(DPB)는 베이스 레이어 디코딩부(200a)의 복호 픽쳐 버퍼(DPB)에 저장된 픽쳐를 샘플링하여 저장할 수 있다. 상기 샘플링은 리 샘플링, 업 샘플링 등을 포함할 수 있다.

한편, 스케일러블 비디오 코딩에서는 효율적인 예측을 위해 레이어간 예측(interlayer prediction)이 사용될 수 있다. 레이어간 예측이란, 하위 레이어의 모션(motion) 정보, 신택스(syntax) 정보 및/또는 텍스쳐(texture) 정보를 이용하여 상위 레이어의 픽쳐 신호를 예측하는 것을 의미한다. 이때, 상위 레이어의 부호화에 참조되는 하위 레이어는 참조 레이어라고 불릴 수 있다. 예를 들어, 인핸스먼트 레이어는 베이스 레이어를 참조 레이어로 하여 코딩 될 수 있다.

상기 베이스 레이어의 참조 유닛은 샘플링(sampling)을 통해 확대 또는 축소되어 사용될 수 있다. 샘플링(sampling)이란, 이미지 해상도(image resolution) 또는 품질을 변화시키는 것을 의미할 수 있다. 상기 샘플링은 리 샘플링(re-sampling), 다운 샘플링(down-sampling), 업 샘플링(up-sampling) 등을 포함할 수 있다. 예를 들어, 레이어 간 예측을 수행하기 위해 인트라 샘플들을 리 샘플링 할 수 있다. 혹은 다운 샘플링 필터를 이용하여 픽셀 데이터를 재생성함으로써 이미지 해상도를 줄일 수 있는데, 이를 다운 샘플링이라 한다. 혹은 업 샘플링 필터를 사용하여 추가적인 픽셀 데이터를 만들어 냄으로써 이미지 해상도를 크게 할 수 있는데, 이를 업 샘플링이라 한다. 본 명세서에서 샘플링이란 용어는 실시예의 기술적 사상 및 기술적 범위에 따라 적절하게 해석될 수 있을 것이다.

스케일러블 비디오 코딩의 복호화 방식에는 크게 싱글 루프 방식과 멀티 루프 방식이 있다. 싱글 루프 방식은 실제로 재생하고자 하는 레이어의 픽쳐만 복호화 하고, 그 하위 레이어는 인트라 유닛을 제외한 나머지 픽쳐에 대해서는 복호화 하지 않는다. 그렇기 때문에 인핸스먼트 레이어에서는 하위 레이어의 모션 벡터, 신택스 정보 등은 참조가 가능하지만, 인트라 유닛 이외의 다른 유닛에 대한 텍스쳐 정보는 참조할 수 없다. 한편, 멀티 루프 방식은 현재 재생할 레이어 뿐만 아니라 그 하위 레이어를 모두 복원 하는 방식이다. 따라서, 멀티 루프 방식을 사용하면 하위 레이어의 신택스 정보뿐만 아니라 모든 텍스쳐 정보를 참조할 수 있다.

한편, 비디오 신호를 이용하는 방송이나 각종 애플리캐이션에서는 채널 스위칭, 탐색(seek), 동적 스트리밍 등을 수행하기 위해 랜덤 액세스(random access) 기능을 제공하는 것이 매우 중요하다. 이러한 랜덤 액세스를 위한 픽쳐를 인트라 랜덤 액세스 포인트(Intra Random Access Point, IRAP) 픽쳐라고 한다. 상기 IRAP 픽쳐는 다시 순간 복호 리프레쉬(Instantaneous Decoding Refresh, IDR) 픽쳐, 클린 랜덤 액세스(Clean Random Access, CRA) 픽쳐, 절단 링크 액세스(Broken Link Access, BLA) 픽쳐로 구분될 수 있다.

도 7은 본 발명의 실시예에 따른 IDR 픽쳐 및 리딩 픽쳐(Leading Picture, LP)를 도시하고 있다. 도 7에서 각 픽쳐는 재생 순서대로 배열되어 있으며 I, P, B는 각각 I 픽쳐, P 픽쳐, B 픽쳐를 나타낸다. 또한, 각 픽쳐의 숫자는 복호화 순서를 나타내며, SOP(Structure of Pictures)는 복호화 순서를 기준으로 한 연속된 하나 이상의 픽쳐를 나타낸다.

도 7을 참조하면, IDR 픽쳐 15는 I 슬라이스 만을 포함하는 픽쳐이며, IDR 픽쳐 15를 복호화 하는 순간에 디코딩 장치의 복호 픽쳐 버퍼를 비우게 된다. n번째 SOP에서 IDR 픽쳐 15는 재생 순서를 기준으로 할 때 마지막 픽쳐이다. 그러나 복호화 순서를 기준으로 보면 B14 픽쳐가 복호화 된 후에 IDR 픽쳐 15가 복호화 되며, IDR 픽쳐 15를 복호화 하기 전에 복호 픽쳐 버퍼가 비워지게 된다. 따라서, IDR 픽쳐 15 이후에 복호화 되는 픽쳐들 이를테면, B16, B17 및 B18 픽쳐는 P11 픽쳐나 B14 픽쳐와 같이 이전에 복호화 된 픽쳐를 참조하여 화면간 예측을 수행할 수 없다. 또한 IDR 픽쳐 15를 기준으로 재생 순서와 복호화 순서가 모두 뒤에 있는 픽쳐(트레일링 픽쳐) 즉, B19 픽쳐는 IDR 픽쳐 15보다 복호화 순서 또는 재생 순서가 앞에 있는 픽쳐들을 참조할 수 없다. 따라서 IDR 픽쳐 15로부터 랜덤 액세스를 수행하여 해당 픽쳐부터 복호화가 수행되더라도 n+1번째 SOP에 존재하는 모든 픽쳐들은 정상적으로 복호화 되고 재생될 수 있다.

한편, 도 7에서 IDR 픽쳐 15 (또는, IRAP 픽쳐)보다 재생 순서는 앞서지만 복호화 순서는 뒤에 있는 픽쳐들 즉, B16, B17 및 B18 픽쳐 들을 IDR 픽쳐 15에 대한 리딩 픽쳐 라고 한다. 도 7의 실시예에 따르면, IDR 픽쳐 15가 복호 픽쳐 버퍼를 비우기 때문에, 리딩 픽쳐인 B17 픽쳐는 P11 픽쳐나 B14 픽쳐를 참조하여 부호화 될 수 없고 B16 픽쳐 만을 참조 픽쳐로 사용할 수 있다. 이러한 문제를 해결하기 위해 CRA 픽쳐가 사용될 수 있다.

도 8은 본 발명의 실시예에 따른 CRA 픽쳐 및 리딩 픽쳐를 도시하고 있다. 도 8의 실시예에서 도 7의 실시예와 동일하거나 상응하는 부분은 중복된 설명을 생략하도록 한다.

도 8을 참조하면, CRA 픽쳐 15’는 I 슬라이스 만을 포함하는 픽쳐이며, CRA 픽쳐의 리딩 픽쳐들에 대해 CRA 픽쳐보다 먼저 복호화 된 픽쳐들을 참조하는 것이 허용된다. 따라서, 도 8에서 B17 픽쳐는 P11 픽쳐와 B16 픽쳐를 동시에 참조하여 양방향 예측을 수행할 수 있다. 만약 CRA 픽쳐 15’에서 랜덤 액세스를 수행할 경우, P11 픽쳐는 복호화 되지 않기 때문에 B17 픽쳐는 정상적으로 복호화 되지 않는다. 그러나 재생 순서를 기준으로 B17 픽쳐는 CRA 픽쳐 15’보다 이전에 위치하기 때문에 상기 B17 픽쳐의 정상 복호화 여부는 재생 관점에서 문제가 되지 않는다.

이와 같이 리딩 픽쳐들 중에서 랜덤 액세스를 수행 할 때 정상적으로 복호화 되지 않는 픽쳐를 랜덤 액세스 스킵드 리딩(Random Access Skipped Leading, RASL) 픽쳐라고 한다. 도 8의 실시예에서는 B17 픽쳐가 RASL 픽쳐에 해당한다. 디코딩 장치에서는 CRA 픽쳐에서 랜덤 액세스가 수행된 경우 RASL 픽쳐에 대해서는 복호화를 수행하지 않는다.

한편, B16 픽쳐 및 B18 픽쳐는 CRA 픽쳐 15’의 리딩 픽쳐이지만 CRA 픽쳐 15’만을 참조하여 부호화를 수행하기 때문에, 순차적으로 복호화를 하는 경우와 CRA 픽쳐 15’에서 랜덤 액세스를 수행하는 경우에 모두 정상적으로 복호화가 될 수 있다. 이와 같이 랜덤 액세스의 수행 시에도 정상적으로 복호화가 가능한 픽쳐를 랜덤 액세스 디코더블 리딩(Random Access Decodable Leading, RADL) 픽쳐라고 한다. 상기 RADL 픽쳐는 IRAP 픽쳐(CRA 픽쳐 등)보다 디코딩 순서가 앞서는 픽쳐를 참조하지 않는 리딩 픽쳐이다. 또한, RADL 픽쳐는 동일한 IRAP 픽쳐를 기준으로 한 트레일링 픽쳐들의 참조 픽쳐로 사용되지 않는 픽쳐이다. 도 8의 실시예에서는 B16 픽쳐 및 B18 픽쳐가 RADL 픽쳐에 해당한다.

BLA 픽쳐는 비트스트림의 결합(splice) 기능을 지원하기 위한 픽쳐이다. 비트스트림의 결합은 하나의 비트스트림에 다른 비트스트림을 붙이는 것으로써, 이를 위해서는 결합될 비트스트림이 IRAP 픽쳐로 시작되어야 한다. 더욱 구체적으로, 결합 될 비트스트림의 IRAP 픽쳐의 NAL 유닛 타입을 CRA 픽쳐에서 BLA 픽쳐로 변경함으로 비트스트림의 결합을 수행할 수 있다.

도 9는 멀티 루프 디코딩 방식을 사용하는 스케일러블 비디오 신호에서 랜덤 액세스가 수행되는 일 실시예를 나타내고 있다. 본 발명의 일 실시예에 따르면, 베이스 레이어는 레이어 식별자가 0인 NAL 유닛들의 집합이고, 인핸스먼트 레이어는 0보다 큰 레이어 식별자를 갖는 NAL 유닛들의 집합이 될 수 있다.

도 9의 실시예에서 베이스 레이어는 인핸스먼트 레이어의 직접 참조 레이어가 될 수 있다. 본 발명에서 직접 참조 레이어란 다른 상위 레이어의 레이어간 예측에 직접 사용되는 레이어를 가리킨다. 또한, 간접 참조 레이어란 다른 상위 레이어의 레이어간 예측에 직접적으로 사용되지는 않지만 간접적으로 사용되는 레이어를 가리킨다. 즉, 간접 참조 레이어는 해당 상위 레이어의 직접 참조 레이어에 대한 직접 또는 간접의 참조 레이어를 포함한다.

본 발명에서 참조 레이어 픽쳐란 현재 픽쳐와 동일한 액세스 유닛에 있으면서, 현재 픽쳐의 레이어간 예측에 사용되는 직접 참조 레이어의 픽쳐를 가리킨다. 액세스 유닛이란 한 장의 코딩된 픽쳐와 관련된 NAL 유닛의 집합을 의미한다. 또한, 액세스 유닛은 도 9 도시된 바와 같이 재생 순서 상으로 동일한 출력 시간을 갖는 인핸스먼트 레이어 픽쳐와 베이스 레이어 픽쳐의 NAL 유닛의 집합을 포함할 수 있다. 이와 같이 현재 픽쳐와 재생 순서 상으로 동일한 출력 시간을 갖는 참조 레이어 픽쳐는 현재 픽쳐의 병치의(collocated) 픽쳐 라고도 할 수 있다.

도 9를 참조하면, 레이어 간의 IRAP 픽쳐가 서로 얼라인(align) 되어 있지 않은 상황이 허용될 수 있다. 즉, 인핸스먼트 레이어의 IRAP 픽쳐에 대응되는 참조 레이어 픽쳐는 비 IRAP 픽쳐일 수 있으며, 그 역도 가능하다.

그러나 이와 같이 레이어 간의 IRAP 픽쳐가 서로 얼라인 되어 있지 않으면, 인핸스먼트 레이어의 IRAP 픽쳐에서 랜덤 액세스가 수행될 때 디코딩 상의 문제가 발생할 수 있다. 도 9의 실시예에서, 인핸스먼트 레이어의 픽쳐 A는 IRAP 픽쳐이지만, 픽쳐 A의 참조 픽쳐인 픽쳐 a는 비 IRAP 픽쳐이다. 만약, 인핸스먼트 레이어의 픽쳐 A, B 및 C가 레이어간 예측을 이용하여 코딩 된다면, 각 픽쳐는 베이스 레이어의 픽쳐 a, b 및 c의 업 샘플링 된 픽쳐를 각각 참조하게 되므로, 디코딩 시에 문제가 발생할 수 있다.

도 10은 멀티 루프 디코딩 방식을 사용하는 스케일러블 비디오 신호에서 랜덤 액세스가 수행되는 본 발명의 제1 실시예를 나타내고 있다. 이하, 도 10을 참조로 본 발명의 다양한 실시예에 대하여 설명하도록 한다.

도 10의 실시예에 따르면, 인핸스먼트 레이어의 IRAP 픽쳐의 참조 레이어 픽쳐가 IRAP 픽쳐가 아닌 경우, 해당 IRAP 픽쳐에는 레이어간 예측이 사용되지 않는다. 뿐만 아니라, 디코딩 순서 상으로 해당 IRAP 픽쳐를 뒤따르는 픽쳐들 중 다음 픽쳐의 참조 레이어 픽쳐가 IRAP인 픽쳐 까지는 레이어간 예측이 사용되지 않는다. 도 10을 참조하면, 픽쳐 A, B 및 C에는 레이어간 예측이 사용되지 않지만, 픽쳐 D의 참조 레이어 픽쳐(픽쳐 d)는 IRAP 픽쳐이므로 픽쳐 D에는 레이어간 예측이 사용될 수 있다.

한편 본 발명의 다른 실시예에 따르면, 인핸스먼트 레이어의 IRAP 픽쳐의 참조 레이어 픽쳐가 IRAP 픽쳐가 아닌 경우, 해당 IRAP 픽쳐에는 레이어간 텍스쳐 예측이 사용되지 않는다. 뿐만 아니라, 디코딩 순서 상으로 해당 IRAP 픽쳐를 뒤따르는 픽쳐들 중 다음 픽쳐의 참조 레이어 픽쳐가 IRAP인 픽쳐 까지는 레이어간 텍스쳐 예측이 사용되지 않는다. 도 10을 참조하면, 픽쳐 A, B 및 C에는 레이어간 텍스쳐 예측이 사용되지 않는다. 반면에, 해당 픽쳐 A, B 및 C에는 레이어간 신택스 예측이 사용될 수 있다. 한편, 픽쳐 D의 참조 레이어 픽쳐(픽쳐 d)는 IRAP 픽쳐이므로 픽쳐 D에는 레이어간 텍스쳐 예측 및 레이어간 신택스 예측이 모두 사용될 수 있다.

도 11은 멀티 루프 디코딩 방식을 사용하는 스케일러블 비디오 신호에서 랜덤 액세스가 수행되는 본 발명의 제2 실시예를 나타내고 있다. 도 11의 실시예에서, 도 10의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.

도 11의 실시예에 따르면, 인핸스먼트 레이어의 픽쳐에 대한 레이어간 예측의 제한 여부는 설정된 블록 단위로 결정될 수 있다. 여기서 블록은 슬라이스 세그먼트, 타일 또는 코딩 트리 유닛 단위로 이루어진 공간적 영역이 될 수 있다. 본 발명의 실시예에 따르면, 상기 블록은 특정 레이어에 대한 직접 참조 레이어의 픽쳐에 대하여 설정될 수 있으며, 설정된 해당 블록은 레이어간 예측에 사용될 수 없다. 즉, 도 11의 실시예에서 블록 36에 대하여 레이어간 예측이 제한되도록 설정 된다면, 해당 블록 36은 인핸스먼트 레이어의 현재 블록 38의 레이어간 예측에 사용될 수 없게 된다.

본 발명의 실시예에 따르면, 현재 레이어의 직접 참조 레이어 픽쳐에서 레이어간 예측이 제한되는 블록(블록 36)의 공간적 영역이 설정될 수 있다. 비디오 디코딩 장치는 레이어간 예측이 제한되는 공간적 영역을 나타내는 정보를 수신할 수 있으며, 상기 정보를 이용하여 직접 참조 레이어에서 레이어간 예측이 수행되지 않는 공간적 영역을 설정할 수 있다. 이때, 상기 현재 레이어는 인핸스먼트 레이어가 될 수 있으며, 직접 참조 레이어는 베이스 레이어가 될 수 있다.

본 발명의 추가적인 실시예에 따르면, 비디오 디코딩 장치는 참조 레이어에 레이어간 예측에 대한 제한이 적용되는지 여부를 나타내는 플래그를 수신할 수 있다. 만약, 상기 플래그가 1일 경우 즉, 레이어간 예측 제한이 적용됨을 나타낼 경우, 비디오 디코딩 장치는 전술한 레이어간 예측이 제한되는 공간적 영역을 나타내는 정보를 수신하고 이를 해당 참조 레이어에 적용할 수 있다. 만약, 상기 플래그가 0일 경우, 전술한 레이어간 예측 제한은 적용되지 않을 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 베이스 레이어의 참조 블록(36)이 화면간 예측 블록(즉, P 블록 또는 B 블록)일 경우, 인핸스먼트 레이어의 현재 블록(38)에는 레이어간 예측이 수행되지 않을 수 있다. 반면에, 베이스 레이어의 참조 블록(36)이 화면내 예측 블록(즉, I 블록)일 경우, 인핸스먼트 레이어의 현재 블록(38)에는 레이어간 예측이 허용 될 수 있다. 이에 따라, 인핸스먼트 레이어의 각 블록은 완전히 복원된 베이스 레이어의 참조 블록이 존재할 경우에만 레이어간 예측을 수행할 수 있다.

본 발명의 또 다른 실시예에 따르면, 베이스 레이어의 참조 블록(36)이 화면간 예측 블록(즉, P 블록 또는 B 블록)일 경우, 인핸스먼트 레이어의 현재 블록(38)에는 레이어간 텍스쳐 예측은 수행되지 않고 레이어간 신택스 예측만 허용될 수 있다. 반면에, 베이스 레이어의 참조 블록(36)이 화면내 예측 블록(즉, I 블록)일 경우, 인핸스먼트 레이어의 현재 블록(38)에는 레이어간 텍스쳐 예측 및 레이어간 신택스 예측이 모두 허용 될 수 있다.

한편, 전술한 바와 같이 레이어 간의 IRAP 픽쳐가 서로 얼라인 되어 있지 않을 경우, 인핸스먼트 레이어의 IRAP 픽쳐가 랜덤 액세스의 수행 시 비디오 디코딩의 시작 지점으로 사용될 수 있는지 여부를 나타내는 플래그가 디코더로 전송될 수 있다. 즉, 디코더는 인핸스먼트 레이어의 현재 픽쳐에 대하여 랜덤 액세스가 수행될 수 있는지 여부를 나타내는 상기 플래그를 수신할 수 있다. 만약, 상기 플래그 값이 1일 경우, 해당 픽쳐에서 랜덤 액세스가 수행될 수 있다. 본 발명의 일 실시예에 따르면, 상기 플래그 값이 1일 경우 전술한 레이어간 예측에 대한 제한 사항을 적용하여 디코딩이 수행될 수 있다. 이때, 인핸스먼트 레이어의 IRAP 픽쳐, 및 디코딩 순서 상으로 해당 IRAP 픽쳐를 뒤따르는 픽쳐들은 RASL 픽쳐를 제외하고는 모두 성공적으로 복원될 수 있다. 반면에, 상기 플래그 값이 0일 경우, 해당 픽쳐에서 랜덤 액세스가 수행될 수 없다.

상기 플래그는 슬라이스 헤더에 포함될 수 있지만, 본 발명은 이에 한정하지 않으며, 비디오 파라미터 셋(VPS), 시퀀스 파라미터 셋(SPS), 픽쳐 파라미터 셋(PPS) 또는 이들의 확장 셋 중 어느 하나에 포함될 수도 있다. 일 실시예에 따르면, 상기 플래그는 레이어 간의 IRAP 픽쳐가 서로 얼라인 되어 있지 않을 경우에만 시그널링 될 수도 있다.

한편, 비디오 디코딩 장치는 레이어 간의 IRAP 픽쳐가 서로 얼라인 되어 있는지 여부를 나타내는 플래그를 수신할 수 있다. 상기 플래그 값이 1일 경우, 즉 레이어 간의 IRAP 픽쳐가 서로 얼라인 되어 있음을 나타낼 경우, 현재 레이어의 IRAP 픽쳐와 동일한 액세스 유닛에 속하는 직접 참조 레이어의 픽쳐는 IRAP 픽쳐이어야 한다. 또한, 상기 플래그 값이 1일 경우, 현재 레이어의 IRAP 픽쳐와 동일한 액세스 유닛에 속하며 현재 레이어를 직접 참조 레이어로 하는 상위 레이어의 픽쳐는 IRAP 픽쳐이어야 한다. 그러나 상기 플래그 값이 0일 경우에는 상술한 제한 사항이 적용되지 않을 수 있다.

이상에서는 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 따라서 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.

발명의 실시를 위한 형태

전술한 바와 같이, 발명의 실시를 위한 최선의 형태에서 관련 사항을 기술하였다.

본 발명은 비디오 신호를 처리하고 출력하는데 적용될 수 있다.

Claims (6)

1. 비디오 신호 처리 방법에 있어서,
   베이스 레이어와 인핸스먼트 레이어를 포함하는 스케일러블 비디오 신호를 수신하는 단계;
   상기 베이스 레이어에 레이어간 예측에 대한 제한이 적용되는지 여부를 나타내는 플래그를 수신하는 단계;
   상기 베이스 레이어의 픽쳐를 디코딩 하는 단계; 및
   상기 디코딩 된 베이스 레이어의 픽쳐를 이용하여 상기 인핸스먼트 레이어의 픽쳐를 디코딩 하는 단계를 포함하되,
   상기 플래그가 상기 베이스 레이어에 레이어간 예측에 대한 제한이 적용됨을 나타낼 경우, 상기 베이스 레이어 픽쳐의 설정된 영역은 상기 인핸스먼트 레이어 픽쳐의 레이어간 예측에 사용되지 않는 것을 특징으로 하는 비디오 신호 처리 방법.
2. 제1 항에 있어서,
   상기 플래그가 상기 베이스 레이어에 레이어간 예측에 대한 제한이 적용됨을 나타낼 경우, 레이어간 예측이 제한되는 공간적 영역을 나타내는 정보를 수신하는 단계를 더 포함하며,
   상기 레이어간 예측에 사용되지 않는 영역은 상기 수신된 정보에 기초하여 설정되는 것을 특징으로 하는 비디오 신호 처리 방법.
3. 제1 항에 있어서,
   상기 설정된 영역은 슬라이스 세그먼트, 타일 또는 코딩 트리 유닛 단위로 이루어진 공간적 영역인 것을 특징으로 하는 비디오 신호 처리 방법.
4. 제1 항에 있어서,
   상기 인핸스먼트 레이어의 랜덤 액세스 픽쳐와 베이스 레이어의 랜덤 액세스 픽쳐가 서로 얼라인 되어 있는지 여부를 나타내는 플래그를 수신하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
5. 제1 항에 있어서,
   상기 베이스 레이어는 상기 인핸스먼트 레이어의 직접 참조 레이어인 것을 특징으로 하는 비디오 신호 처리 방법.
6. 베이스 레이어와 인핸스먼트 레이어를 포함하는 스케일러블 비디오 신호, 및 상기 베이스 레이어에 레이어간 예측에 대한 제한이 적용되는지 여부를 나타내는 플래그를 수신하는 디멀티 플렉서;
   상기 베이스 레이어의 픽쳐를 디코딩 하는 베이스 레이어 디코더; 및
   상기 디코딩 된 베이스 레이어의 픽쳐를 이용하여 상기 인핸스먼트 레이어의 픽쳐를 디코딩 하는 인핸스먼트 레이어 디코더를 포함하되,
   상기 플래그가 상기 베이스 레이어에 레이어간 예측에 대한 제한이 적용됨을 나타낼 경우, 상기 베이스 레이어 픽쳐의 설정된 영역은 상기 인핸스먼트 레이어 픽쳐의 레이어간 예측에 사용되지 않는 것을 특징으로 하는 비디오 신호 처리 장치.

Images