KR20100109187A - 비디오 신호 복호화 방법 및 장치 - Google Patents

Abstract

본 발명은 비디오 신호를 코딩함에 있어서, 매크로블록 내에 존재하는 서브매크로블록들의 처리 순서를 다양화한 비디오 신호의 복호화 방법에 관한 것으로서, 매크로블록의 블록 타입을 획득하는 단계; 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록들을 포함하는 경우, 상기 서브매크로블록들의 처리 순서를 나타내는 처리 순서 결정 정보를 획득하는 단계; 상기 매크로블록 내 상기 복수개의 코딩된 서브매크로블록이 화면내 예측을 이용하여 코딩된 경우, 상기 처리 순서 결정 정보에 기초하여, 상기 서브매크로블록의 우측에 인접한 블록으로부터 예측 방향 정보를 획득하는 단계; 및 상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 단계를 포함하되, 상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록의 우측에 인접한 블록이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 한다. 본 발명에 따르면, 매크로블록 내에 존재하는 서브매크로블록들의 처리 순서를 다양화함으로써 보다 높은 영상 압축 성능을 달성할 수 있다.

비디오 신호, 복호화, 매크로블록, 서브매크로블록

Description

비디오 신호 복호화 방법 및 장치{METHOD FOR DECODING VIDEO SIGNAL, AND APPARATUS FOR IMPLEMENTING THE SAME}

본 발명은 비디오 신호의 코딩에 관한 것이다.

압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성을 지니고 있는 점에 특징이 있다.

본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.

비디오 신호의 화면 내 예측을 위한 블록 또는 매크로블록간의 순서의 조정 및 사용할 수 있는 주변 화소를 확장함으로써 보다 높은 압축 효율을 달성하고자 한다.

매크로블록 내의 서브매크로블록 간에 다른 크기의 블록들을 이용하여 화면 내 예측을 수행함으로써 압축 성능을 향상시키고자 한다.

스케일러블 비디오 코딩(scalable video coding; SVC) 기법에 있어서, 매크로블록의 크기와 변환 블록 크기를 종래보다 크게 함으로써 압축 효율을 높이고자 한다.

상기 목적을 달성하기 위한 본 발명은, 매크로블록의 블록 타입을 획득하는 단계, 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록들을 포함하는 경우, 상기 서브매크로블록들의 처리 순서를 나타내는 처리 순서 결정 정보를 획득하는 단계, 상기 매크로블록 내 상기 복수개의 코딩된 서브매크로블록이 화면내 예측을 이용하여 코딩된 경우, 상기 처리 순서 결정 정보에 기초하여, 상기 서브매크로블록의 우측에 인접한 블록으로부터 예측 방향 정보를 획득하는 단계, 및 상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 단계를 포함하되, 상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록의 우측에 인접한 블록이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 하는 비디오 신호 복호화 방법을 제공한다.

본 발명에 의하면, 상기 복수개의 코딩된 서브매크로블록들은 상이한 크기를 갖는 것을 특징으로 하는 비디오 신호 복호화 방법을 제공한다.

본 발명에 의하면, 상기 예측 방향 정보 획득 단계는, 상기 처리 순서 결정 정보에 기초하여, 상기 서브매크로블록의 하측, 우하측 또는 좌하측에 인접한 블록으로부터 예측 방향 정보를 획득하고, 상기 예측 방향 정보에 기초하여 상기 서브 매크로블록의 예측값을 획득하되, 상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록의 하측, 우하측 또는 좌하측에 인접한 블록이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 하는 비디오 신호 복호화 방법을 제공한다.

상기 목적을 달성하기 위한 본 발명은, 매크로블록의 블록 타입을 획득하는 단계, 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록들을 포함하는 경우, 상기 서브매크로블록들의 처리 순서를 나타내는 처리 순서 결정 정보를 획득하는 단계, 상기 매크로블록 내 상기 복수개의 코딩된 서브매크로블록이 화면간 예측을 이용하여 코딩된 경우, 상기 처리 순서 결정 정보에 기초하여, 상기 서브매크로블록에 인접한 블록들로부터 움직임 정보를 획득하는 단계, 및 상기 움직임 정보에 기초하여 상기 서브매크로블록의 움직임 정보를 획득하는 단계를 포함하되, 상기 서브매크로블록에 인접한 블록들은 상기 서브매크로블록의 우측에 인접한 블록을 포함하고, 상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록에 인접한 블록들이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 하는 비디오 신호 복호화 방법을 제공한다.

본 발명에 의하면, 상기 복수개의 코딩된 서브매크로블록들은 상이한 크기를 갖는 것을 특징으로 하는 비디오 신호 복호화 방법을 제공한다.

본 발명에 의하면, 상기 움직임 정보 획득 단계는, 상기 처리 순서 결정 정보에 기초하여, 상기 서브매크로블록의 하측, 우하측 또는 좌하측에 인접한 블록으로부터 움직임 정보를 획득하고, 상기 움직임 정보에 기초하여 상기 서브매크로블 록의 움직임 정보를 획득하되, 상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록의 하측, 우하측 또는 좌하측에 인접한 블록이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 하는 비디오 신호 복호화 방법을 제공한다.

상기 목적을 달성하기 위한 본 발명은, 베이스 레이어 비트스트림과 인핸스드 레이어 비트스트림을 포함하는 스케일러블하게 코딩된 비디오 신호를 수신하는 단계, 상기 인핸스드 레이어 비트스트림의 시퀀스 파라미터 세트의 확장 영역으로부터 매크로블록의 크기를 확장할지 여부를 나타내는 확장 식별 정보를 획득하는 단계, 상기 확장 매크로블록 식별 정보에 따라 매크로블록의 크기가 확장되는 경우, 매크로블록의 크기를 확장시키기 위한 확장 파라미터 정보를 획득하는 단계, 상기 확장 파라미터 정보를 이용하여 매크로블록의 수평 크기 및 수직 크기를 나타내는 크기 정보를 유도하는 단계, 및 상기 유도된 크기 정보의 매크로블록을 기준으로 상기 비디오 신호를 복호화하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 복호화 방법을 제공한다.

본 발명에 의하면, DCT 변환 매크로블록 크기를 기준으로 역변환을 수행하는 단계를 더 포함하되, 상기 DCT 변환 매크로블록 크기는 상기 유도된 크기 정보에 대응되는 것을 특징으로 하는 비디오 신호 복호화 방법을 제공한다.

상기 목적을 달성하기 위한 본 발명은, 매크로블록이 복수개의 코딩된 서브매크로블록들을 포함하는 경우, 상기 서브매크로블록들의 처리 순서를 나타내는 처리 순서 결정 정보를 획득하는 정보 획득부(도시하지 않음)와, 상기 매크로블록 내 상기 복수개의 코딩된 서브매크로블록이 화면내 예측을 이용하여 코딩된 경우, 상기 처리 순서 결정 정보에 기초하여 상기 서브매크로블록의 우측에 인접한 블록으로부터 예측 방향 정보를 획득하고, 상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 화면내 예측부를 포함하되, 상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록의 우측에 인접한 블록이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 하는 비디오 신호 복호화 장치를 제공한다.

상기 목적을 달성하기 위한 본 발명은, 매크로블록이 복수개의 코딩된 서브매크로블록들을 포함하는 경우, 상기 서브매크로블록들의 처리 순서를 나타내는 처리 순서 결정 정보를 획득하는 정보 획득부(도시하지 않음)와, 상기 매크로블록 내 상기 복수개의 코딩된 서브매크로블록이 화면간 예측을 이용하여 코딩된 경우, 상기 처리 순서 결정 정보에 기초하여 상기 서브매크로블록에 인접한 블록들로부터 움직임 정보를 획득하고, 상기 움직임 정보에 기초하여 상기 서브매크로블록의 움직임 정보를 획득하는 화면간 예측부를 포함하되, 상기 서브매크로블록에 인접한 블록들은 상기 서브매크로블록의 우측에 인접한 블록을 포함하고, 상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록에 인접한 블록들이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 하는 비디오 신호 복호화 장치를 제공한다.

본 발명은 비디오 신호를 코딩함에 있어서, 매크로블록 내에 존재하는 서브 매크로블록들의 처리 순서를 다양화함으로써 보다 높은 영상 압축 성능을 달성할 수 있다. 또한, 다양한 크기의 화면 내 예측을 이용하여 코딩된 블록의 채택에 의해서 보다 높은 영상 압축 성능을 달성할 수 있다. 또한, 스케일러블 비디오 코딩을 이용하여 초고해상도 영상 시스템을 구성하는 경우, 초고해상도 영상에 적합하도록 상위 레이어에서 매크로블록의 크기와 변환 블록 크기를 종래보다 크게 함으로써 보다 높은 영상 압축 성능을 달성할 수 있다.

이하에서는 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 H.264/AVC 부호화기를 나타낸다.

도 1에 도시된 바와 같이, H.264/AVC 부호화기는 변환부(110), 양자화부(115), 코딩 제어부(120), 역양자화부(125), 역변환부(130), 디블록킹 필터링부(135), 복호픽쳐저장부(140), 움직임 추정부(145), 화면간 예측부(150), 화면내 예측부(155), 및 엔트로피 코딩부(160)를 포함한다.

변환부(110)는 화소값을 변환하여 변환 계수값을 획득하며, 이 경우 이산 코사인 변환(DCT; Discrete Cosine Transform) 또는 웨이블릿 변환 방식이 사용될 수 있다. 양자화부(115)는 변환부(110)에서 출력된 변환 계수값을 양자화한다. 코딩 제어부(120)는 특정 블록 또는 프레임을 화면내 예측 부호화할 것인지, 화면간 예측 부호화할 것인지를 제어한다. 역양자화부(125)는 변환 계수값을 역양자화하고, 역변환부(130)는 역양자화된 변환 계수값을 원래의 화소값으로 복원한다. 디블록킹 필터링부(135)는 블록 왜곡 현상을 감소시키기 위하여 각각의 코딩된 매크로블록에 적용하며, 디블록킹 필터링을 거친 픽쳐는 참조 픽쳐로 이용하기 위해 복호픽쳐저장부(140)에 저장된다. 움직임 추정부(145)는 복호픽쳐저장부(140)에 저장된 참조 픽쳐를 이용하여 참조 픽쳐 중에서 현재 블록과 가장 유사한 참조 블록을 탐색하고, 탐색된 참조 블록의 위치 정보 등을 엔트로피 코딩부(160)로 전달한다. 화면간 예측부(150)는 참조 픽쳐를 이용하여 현재 픽쳐의 예측을 수행하고, 화면간 예측 부호화정보를 엔트로피 코딩부(160)에 전달한다. 화면내 예측부(155)는 현재 픽쳐내의 디코딩된 픽셀로부터 화면내 예측을 수행하며, 화면내 부호화정보를 엔트로피 코딩부(160)에 전달한다. 엔트로피 코딩부(160)는 양자화된 변환 계수, 화면간 예측 부호화 정보, 화면내 예측 부호화 정보 및 움직임 추정부(145)로부터 입력된 참조 블록 정보 등을 엔트로피 코딩하여 자유시점 영상 비트스트림을 생성한다.

도 2는 H.264/AVC 복호화기를 나타낸다.

도 2에 도시된 바와 같이, H.264/AVC 복호화기는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 디블록킹 필터링부(240), 복호픽쳐저장부(250), 화면간 예측부(260), 화면내 예측부(270)를 포함한다.

엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여 각 매크로블록의 변환 계수, 움직임 벡터 등을 추출한다. 역양자화부(220)는 엔트로피 디코딩된 변환 계수를 역양자화하고, 역변환부(230)는 역양자화된 변환 계수를 이용하여 원래의 화소값을 복원한다. 디블록킹 필터링부(240)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 적용된다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위해 복호픽쳐저장부(250)에 저장된다. 화면간 예측부(260)는 복호픽쳐저장부(250)에 저장된 참조 픽쳐와 엔트로피 디코딩부(210)로부터 전달받은 화면간 예측 정보(참조 픽쳐 인덱스 정보, 움직임 벡터 정보 등)를 이용하여 현재 픽쳐를 예측한다. 화면내 예측부(270)는 현재 픽쳐 내의 디코딩된 픽셀로부터 화면내 예측을 수행한다. 화면간 예측부 또는 화면내 예측부로부터 나온 예측된 현재 픽쳐와 역변환부(230)로부터 나온 레지듀얼이 더해져서 원래 픽쳐를 복원한다.

도 3은 H.264/AVC의 부호화에서 참조하는 블록의 위치를 나타낸다.

도 3에 도시된 바와 같이, H.264/AVC에서는 예측 가능한 참조 블록이 좌측(A), 상단(B), 우측상단(C), 좌측상단(D)의 네 가지이며, 블록마다 적절한 예측방향을 적응적으로 선택할 수 있다. 또한, 16×16 블록뿐만 아니라 4×4 블록 또는 8×8 블록 단위로 예측이 가능하다.

도 4는 H.264/AVC에서 4×4 블록에서 사용하는 화면 내 예측 모드들을 나타 낸다.

도 4a에 도시된 바와 같이, 4×4 블록 화면 내 예측부호화에서는 16×16 블록을 구성하는 0~15의 블록순서에 따라 부호화를 수행한다. 도 4a에서 12번째 블록의 경우, 도 4b에 도시된 바와 같이 좌측블록 속의 우측 4화소(A), 상단블록 속의 하단 4화소(B), 우측상단블록 속의 하단 4화소(C), 좌측상단블록 속의 좌측하단 1화소(D)를 사용하여 4×4 블록 내의 화소값을 예측부호화한다.

도 5는 H.264/AVC에서 4×4 블록에서 사용하는 화면 내 예측 모드들을 나타낸다. 도시하지는 않았으나, 8×8 블록에 대한 화면 내 예측 모드들도 기본적으로 4×4 블록에서 사용하는 예측 모드와 동일하다. 도 5에 도시된 바와 같이, 9가지 예측 모드 중 가장 적절한 예측 모드를 4×4 블록마다 1개씩 선택하고, 선택된 예측 모드를 4×4 블록단위로 부호화한다.

도 6은 H.264/AVC에서 16×16 블록에 사용하는 화면 내 예측 모드들을 나타낸다. 16×16 블록에 대한 화면 내 예측부호화에서는 상단 매크로블록의 16화소와 좌측 매크로블록의 16화소로부터 수직예측(모드 0), 수평예측(모드 1), 평균치예측(모드 3), 평면예측(모드 3)의 네 가지 방법 중에서 하나를 선택해서 예측 부호화한다.

전술한 바와 같이, H.264/AVC에서 기본적으로 사용하는 주변 화소 정보는 좌측(A), 상단(B), 우측상단(C), 좌측상단(D) 위치에 있는 화소값을 이용하며, 이는 H.264/AVC가 데이터의 처리를 순차주사(raster scan)방향으로 하고 있기 때문이다. 이러한 제약은 화면 내 예측 방향을 제한함으로써 예측 오차(prediction error)를 줄이는 데 장애요소가 된다.

현재 많이 사용되고 있는 2K급(1920×1080)의 영상보다 더 큰 4K(3840×2160) 또는 8K(7680×4320)의 초고해상도 영상은 높은 해상도로 인해 기존의 2K급 영상과는 다른 특성을 갖는다. 예를 들어, 현재의 H.264/AVC에서는 고정된 16×16 매크로블록만을 사용하여 다양한 크기의 매크로블록을 지원하지 못하고, 초고해상도 영상의 텍스쳐(texture)를 충분히 반영하지 못할 수 있다. 따라서, 매크로블록의 크기가 현재의 16×16 보다 큰 32×32 또는 그 이상의 크기를 갖는 매크로블록을 사용하는 것이 압축률 향상에 도움을 줄 수 있다.

도 7은 H.264/AVC에서 매크로블록을 처리하는 순서를 나타낸다. 프레임 매크로블록과 필드 매크로블록이 섞여있는 매크로블록 적응형 프레임/필드 부호화(MBAFF; Macroblock-Adaptive Frame-Field Coding)가 아닌 경우 매크로블록의 처리 순서는 위에서 아래로 좌에서 우측 매크로블록으로 순차주사방향으로 처리한다.

매크로블록의 크기가 32×32로 늘어나더라도 32×32 매크로블록을 구성하는 여러 서브매크로블록이 지금의 16×16 블록 이하같이 존재할 수 있다. 종래의 매크로블록 크기인 16×16 블록과 그 이하의 블록들이 초고해상도 영상의 큰 사이즈의 매크로블록의 서브매크로블록으로 사용될 때, 화면 내 예측 부호화의 처리 순서를 변경함으로써 압축 효율을 향상시킬 수 있다.

도 8은 32×32 블록을 매크로블록으로 했을 때 동일한 블록 크기로 화면 내 예측을 한 예를 나타낸다. 도 8에 도시된 바와 같이, 초고해상도 영상을 이루는 매크로블록의 크기가 32×32일 때, 매크로블록을 구성하는 서브매크로블록들이 16× 16, 8×8, 4×4로 모두 동일한 크기이고 화면 내 예측을 수행할 수 있다.

도 9는 32×32 블록을 매크로블록으로 했을 때, 서브매크로블록을 처리하는 순서를 설명하기 위한 도면을 나타낸다.

도 9에 도시된 바와 같이, 좌측 매크로블록(910)이 처리가 완료된 블록이라할 때, 우측의 16×16 블록들로 이루어진 매크로블록은 처리가 이루어져야 한다. 매크로블록들이 좌에서 우로, 위에서 아래로의 순차 주사 방식으로 처리되는 기존 화면 내 예측 처리순서에 기반하면, 16×16 블록의 처리 순서를 0, 1, 2, 3의 순서로 해야한다. 하지만, 주변 화소를 이용하여 예측하는 화면 내 예측에서 항상 좌측에 있는 화소값을 이용하는 것이 최적의 결과가 아닐 수가 있다. 예를 들어, 도 9의 0번 블록은 이미 복원이 완료된 좌측의 화소값을 이용하여 예측을 할 수가 있다. 하지만, 좌측에 있는 화소를 이용하는 것 보다 우측에 있는 1번 블록을 이용하는 것이 부호화 효율 측면에서 더 좋을 수가 있다. 하지만, 현재의 비디오 압축 표준에서는 매크로블록으로 16×16 블록을 사용하기 때문에 16×16 블록의 처리 순서를 정해야 하고 화면 내 예측을 위해 사용하는 주변 화소 정보는 도 3에 도시된 블록에 한정되어 있기 때문에 이에 대한 수정도 필요하다.

본 발명에서는 16×16보다 큰 매크로블록 내에서 가로방향으로 나란히 있는 16×16 블록의 화면 내 예측 순서를 좌에서 우로 또는 우에서 좌로 모두 가능할 수 있다. 따라서, 도 9를 참조하면, 0번 블록을 먼저 처리한 후에 1번 블록을 추정하는 종래 방법을 사용하거나, 1번 블록을 먼저 처리한 후에 0번 블록을 추정하는 방법을 사용할 수도 있다. 도 9에 도시한 매크로블록에서 상측 블록을 사용할 수 없 는 경우라면, 기존의 방법에서는 이미 처리가 완료된 32×32 블록을 이용해서 0번 블록과 1번 블록을 처리할 수 있고, 본 발명에 따른 방법에서는 1번 블록은 사용할 수 있는 주변 화소 정보가 없으며, 0번 블록은 복원된 1번 블록의 정보를 이용하여 추정할 수 있다.

도 10은 본 발명에 따른 큰 크기의 매크로블록을 구성하는 화면 내 예측을 위한 16×16 블록의 처리 순서의 예를 나타낸다.

도 10에 도시된 바와 같이, 종래에 방법에 따르면 도 10a와 같은 순서로 처리할 수 있지만, 본 발명에 의한 바람직한 예로서 도 10b, 도 10c, 도 10d와 같이 16×16 블록의 처리순서를 변경할 수 있다. 도 10b의 16×16 블록의 3번 블록의 경우, 이전에 32×32 크기의 매크로블록이 이미 복원이 완료되어 있다면 좌, 좌상, 상, 우상, 우에 위치한 주변 블록을 추정을 위해 사용할 수 있다. 종래의 16×16 블록의 추정 방법을 사용하게 되면 좌, 좌상, 우, 우상에 있는 블록의 화소만을 이용할 수 있지만 현재의 경우는 우측에 위치한 화소들도 사용할 수 있으므로 사용 가능한 블록들을 확장하여 추정에 이용할 수 있다. 즉, 도 3에 도시된 바와 같이 종래의 사용 가능한 블록들을 이용하여 추정하거나, 우측 블록이 사용 가능하다면 종래 방법에서는 지원하지 않은 예측 방향에 따라 추정을 수행하여 좀 더 압축 성능이 좋은 방법을 선택하는 것이 바람직하다. 도 9c를 참조하면, 16×16 블록 0번을 가장 먼저 복호하기 때문에 이 블록의 좌측에 위치한 화소들은 아직 사용할 수가 없다. 0번 블록이 복호되고 난 후 1번 블록을 처리할 때는 앞서 설명한 도 9b의 3번 블록과 같이 우측의 매크로블록이 사용가능 하기 때문에 해당 블록에 적절한 예측 방향을 선택할 수 있다.

현재의 H.264/AVC에서의 16×16 화면 내 예측 모드는 도 6에 도시된 바와 같이 4개를 사용하고 있지만 초고해상도 영상에서는 16×16 블록의 특성이 종래와는 다르기 때문에 도 5에 도시된 바와 같이 9개의 예측 방향을 사용할 수도 있다. 새로운 매크로블록인 32×32 블록에 대한 예측 모드는 종래의 매크로블록의 모드인 도 6에 도시된 종래 방법을 크게 수정하지 않을 수 있다.

매크로블록 내의 서브매크로블록들에 대한 변형된 처리 순서는 해당 서브매크로블록 레벨에서 플래그를 이용하여 적용시킬 수 있다. 매크로블록의 블록 타입에 따라 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 가로로 늘어서 상기 서브매크로블록들의 처리 순서가 본래대로인지 뒤바뀌었는지를 알려주는 방법으로 처리순서를 결정할 수 있으며, 이를 통해 우측에 인접한 블록의 참조가 가능한지를 결정할 수 있다. 상기 서브매크로블록들의 처리 순서 결정 방법의 일예를 도 9d를 기준으로 설명하면, 16×16 블록들의 처리순서를 나타내는 sub_mb_16×16_order = B10 인 경우(B10은 바이너리(binary로 1과 0을 의미함), sub_mb_16×16_order에서 앞의 1은 32×32 크기의 매크로블록 중에서 상위 두 개의 16×16 블록의 처리 순서가 좌에서 우로 바뀌었음을 알려주고 뒤의 0은 종래와 같음을 알려주어 도 9d의 처리순서와 같음을 알 수 있다.

본 발명에 따른 처리순서 변경은 16×16 블록 간에서만 가능한 것이 아니라 16×16 블록 내에서의 8×8 블록 간 또는 8×8 블록 내에서의 4×4 블록 간에도 사용할 수 있다. 즉, 매크로블록의 크기와 동일한 블록 처리를 제외한 나머지 서브매 크로블록들의 처리시에 본 발명에 의한 방법을 이용할 수 있고 이의 허용 여부를 서브 매크로블록 단에서 순서를 나타내는 신택스를 이용하여 종래보다 다양한 참조방향을 확보하여 압축 성능을 높일 수 있다.

또한, 본 발명은 매크로블록 내의 서브매크로블록에 대해 화면 내 예측을 수행할 때, 종래와는 다르게 매크로블록 내의 서브매크로블록에 대해서 다른 예측 모드를 허용할 수 있다.

도 11은 본 발명에 따른 매크로블록 내의 서브매크로블록에서 다양한 크기의 화면 내 예측을 사용한 예를 나타낸다. 도 11에 도시된 바와 같이, 종래에는 화면 내 예측을 이용하여 코딩된 매크로블록 내에서는 4×4, 8×8, 16×16 블록에 대한 모드 즉, I4×4, I8×8, I16×16만 존재했었지만, 매크로블록 내에서 다양한 텍스쳐(texture)에 대응하기 위해서는 서브매크로블록에서의 복수개의 화면 내 예측 모드를 채택하는 것이 유리하다. 만약, 종래의 같은 동일한 크기의 블록에 대한 모드만을 사용하는 경우라면 도 8과 같이 제한되겠지만, 본 발명에 따른 32×32 매크로블록 내 서브매크로블록들이 상이한 크기를 갖도록 함으로써 복잡한 텍스쳐의 경우에 보다 높은 압축성능을 달성할 수 있다.

본 발명의 바람직한 실시예로서, 앞서 설명한 서브매크로블록에서의 처리순서 변경과 서브매크로블록에서의 다양한 크기의 화면 내 예측 모드의 채택을 함께 사용할 수 있다.

도 12는 H.264/AVC의 화면 간 예측에 있어서 현재 블록의 움직임 벡터를 예측하는 방법을 나타낸다. 도 12에 도시된 바와 같이, H.264/AVC에서는 중앙값의 예 측 부호화를 사용하며, 움직임 벡터의 예측부호화는 좌측(A), 상단(B), 우측상단(C)의 블록들의 움직임 벡터(mvA, mvB, mvC)를 사용하여 수평성분과 수직성분 각각의 중앙값을 사용하게 된다. 그러나, 현재의 H.264/AVC에서는 움직임 벡터의 예측부호화에 사용되는 블록들을 제한함으로써, 초고해상도 영상의 텍스쳐를 충분히 반영하지 못할 수 있다.

본 발명은 초고해상도 영상의 화면 간 예측에 있어서, 매크로블록 내 서브매크로블록의 처리순서를 변경함으로써 우측에 있는 블록의 움직임 벡터를 사용하여 현재 블록의 움직임 벡터를 예측할 수 있다. 한편, 도 11에 도시된 바와 같이 32×32 크기의 매크로블록 내 서브매크로블록들이 상이한 크기를 갖도록 함으로써 복잡한 텍스쳐의 경우에 보다 높은 압축성능을 달성할 수 있다.

본 발명의 바람직한 실시예로서, 서브매크로블록에서의 처리순서 변경과 서브매크로블록에서의 다양한 크기의 화면 간 예측을 함께 사용할 수 있다.

초고해상도 영상을 서비스하는 경우에 4K급 이상의 영상만을 서비스 하는 것이 아니라 기존의 고화질 서비스인 2K급의 영상도 지원하는 것이 현재의 인프라를 효율적으로 이용할 수 있는 하나의 방법이 될 수 있다. 2K급의 영상은 처리할 수 있지만 이를 초과하는 해상도의 영상은 처리하지 못하는 시스템을 가지고 있다면 초고해상도 영상을 위한 데이터는 추가로 처리할 필요가 없다. 반면에 기존의 2K급 영상을 처리하면서 시스템의 사양이 충분하고 초고화질 서비스를 받을 수 있는 상황이라면 추가적인 정보를 이용하여 초고해상도의 영상 서비스를 할 수 있는 시스템을 구축하는 것이 필요하며, 이를 해결할 수 있는 압축 표준이 스케일러블 비디 오 코딩(Scalable Video Coding; SVC)이다.

도 13은 H.264/AVC에서 사용하는 매크로블록의 크기와 블록의 파티션(partition)을 나타낸다. 도 13에 도시된 바와 같이, 스케일러블 비디오 코딩은 베이스 레이어(base layer)와 인핸스먼트 레이어(enhancement layer) 모두 H.264/AVC에 기반하고 있기 때문에, 사용되는 매크로블록의 크기는 휘도(Luma) 성분 기준으로 16×16이고 변환 블록 크기는 4×4 또는 8×8이다. 블록의 파티션은 최소 4×4까지 가능하며, 프로파일에 따라 파티션의 최소 크기가 8×8이면서 변환 블록 크기가 8×8이 되는 경우도 있다.

초고해상도 영상은 기존의 2K급 영상보다도 두 배 이상의 해상도를 갖기 때문에 영상의 특성이 이전과는 다르다. 따라서, 초고해상도 영상의 효과적인 압축을 하기 위해서는 현재의 H.264/AVC와는 다른 매크로블록의 크기와 이에 적합한 블록 크기의 변환이 필요하다.

도 14는 초고해상도 영상을 위한 매크로블록의 크기와 블록 파티션의 일예를 나타낸다. 도 14에 도시된 바와 같이, 초고해상도 영상을 압축하기 위해 사용하는 블록의 기본 단위인 매크로블록의 크기를 32×32로 하고 이에 따라서 최소 블록 파티션을 8×8까지 허용할 수 있다.

베이스 레이어에 해당하는 영상을 H.264/AVC로 압축하고 상위레이어인 인핸스먼트 레이어에 해당하는 영상을 H.264/AVC와는 다른 매크로블록의 크기와 변환 블록 크기를 사용하는 경우에는 기존의 스케일러블 비디오 코딩에서 지원할 수 없는 문제점이 있다. 본 발명에 따르면, 스케일러블 비디오 코딩을 사용할 때, 각 레 이어에서 적합한 형태의 매크로블록과 변환 블록 크기를 사용하면서 이를 지원할 수 있다.

도 15는 스케일러블 비디오 코딩의 인핸스먼트 레이어에서 매크로블록의 크기를 새로 지정하는 일례를 나타낸다. 도 15에 도시된 바와 같이, 본 발명에서는 인핸스먼트 레이어에서 매크로블록의 크기를 새로 정하는 부분을 추가할 수 있다. 스케일러블 비디오 코딩에서 SPS(sequence parameter set)의 확장용으로 사용되는 seq_paramter_set_svc_extension()에서 extended_macroblock_flag라는 신택스를 추가하여 기존의 휘도 기준 16×16 크기의 매크로블록을 사용하지 않고 다른 크기의 매크로블록을 사용한다는 것을 알릴 수 있다.

도 15에서 인핸스먼트 레이어에서 사용하는 매크로블록의 크기가 베이스 레이어에서 사용하는 매크로블록의 크기와 다른 경우에 새로운 매크로블록의 크기를 지정하는 하나의 예를 볼 수 있다. 전술한 바와 같이, extended_macroblock_flag의 값이 '1' 이어서 새로운 매크로블록의 크기가 존재함을 알리고 extended_macroblock_scale 값을 설정하여 인핸스먼트 레이어에서 사용하는 매크로블록의 크기를 설정할 수 있다. 예를 들어, extended_macroblock_scale의 값이 0부터 시작한다고 하면 새로운 매크로블록의 가로 및 세로의 크기는 MbWidth = 16× (extended_maroblock_scale + 1), MbHeight = 16×(extended_macroblock_scale + 1)와 같이 설정할 수 있다. extended_macroblock_scale의 값이 0이라면 기존 매크로블록의 크기와 동일한 경우이고 1 이상의 값인 경우에는 기존보다 큰 크기의 매크로블록을 사용하게 된다.

상술한 예는 베이스 레이어를 제외한 인핸스먼트 레이어들에서 사용하는 새로운 매크로블록의 크기가 모두 동일한 경우에 대한 하나의 예를 나타낸다. 공간 스케일러블 비디오 코딩을 사용하여 높은 해상도의 영상을 인핸스먼트 레이어에서 취급할 때, 각 인핸스먼트 레이어에서 사용하는 매크로블록 크기가 서로 다른 경우에는 이를 지원할 필요가 있으며, 이를 실행하는 방안 중에 하나는 scalability_info에 각 레이어 별로 extended_macroblock_flag를 삽입하는 것이다.

도 16 내지 18은 인핸스먼트 레이어에서 매크로블록의 크기를 새로 지정하는 또 하나의 예를 나타낸다.

도 16에서는 각 레이어 별로 하나의 매크로블록의 크기를 갖도록 하는 방법이고 경우에 따라 scalability_info 정보를 삽입하는 방법을 달리할 수 있다. 도 16에 도시된 바와 같이, scalability_info 신택스에서 모든 레이어에 extended_macroblock 사용 여부를 두어 이에 따라 각 레이어의 매크로블록의 크기를 재설정할 수 있다.

도 17에 도시된 바와 같이 scalability_info 내에서 각 레이어에서 참조하고 있는 시퀀스 파라미터 세트(sequence parameter set; SPS)마다 extended_macroblock의 사용여부를 삽입하고 이에 따라 매크로블록의 크기를 조정할 수 있으며, 도 18에 도시된 바와 같이 픽쳐 파라미터 세트(picture parameter set; PPS) 마다 매크로블록의 크기를 조정할 수도 있다. 설명한 방법들의 차이점은 삽입 위치를 조정하여 매크로블록의 크기가 달라지는 부분을 조절할 수 있다는 점이다.

도시하지는 않았지만 앞의 예에서처럼 스케일러블 비디오 코딩에 관련된 신택스에 extended_macroblock 정보를 삽입하지 않고 SPS나 PPS에 직접 삽입할 수도 있다. 그러한 경우에는 서로 다른 파라미터 세트를 참조하는 시퀀스나 픽쳐가 기존과 동일하거나 다른 매크로블록 크기를 갖도록 지정할 수 있다. 영상의 특성에 맞도록 매크로블록의 크기를 적용하게 되면 이에 따른 변환 블록 크기도 변화시킬 수 있기 때문에 압축 성능을 더 높일 수 있다.

extended_macroblock을 사용하는 경우에는 영상의 크기와 관련된 파라미터들이 변화할 수 있다. 예를 들어, SPS나 PPS에 직접 extended_macroblock 정보를 삽입하지 않으면서 기존의 16×16 매크로블록을 사용 할 때, SPS에 담긴 정보에 의해 휘도 성분의 매크로블록의 개수는 PicWidthInMbs = pic_width_in_mbs_minus1+1로 나타낼 수 있다. 인핸스먼트 레이어에서 extended_macroblock을 사용하여 extended_macroblock_scale이 존재하는 경우라면 도 19와 같이 새로운 매크로블록의 개수를 표현할 수 있다.

도 19는 매크로블록의 크기가 달라지는 경우에 픽쳐 내에서 가로방향으로의 매크로블록 개수를 구하는 일례를 나타낸다. 해당 영상이 이미 참조하고 있는 SPS에 설정되어 있는 pic_width_in_mbs_minus1을 이용하여 새로운 매크로블록을 사용할 때의 값으로 변환하며, 만약 상술한 바와 같이 SPS나 PPS에 직접 extended_macroblock을 삽입하는 경우에는 파라미터 세트 내부에서 이미 extended_macroblcok을 고려하여 파라미터들이 결정되기 때문에 도 18과 같은 변환 작업을 할 필요가 없다.

매크로블록의 크기가 기존보다 커지게 되면, 적절한 변환 블록 크기를 사용하여 압축효율을 높일 필요가 있다. H.264/AVC에 사용하는 4×4 또는 8×8 변환 블록 크기를 사용할 수도 있지만 좀 더 높은 압축 효율과 베이스 레이어와 인핸스먼트 레이어의 참조 관계를 용이하게 하기 위해 블록 크기가 더 큰 변환을 하는 것이 필요할 수 있다.

기존의 H.264/AVC를 사용하는 베이스 레이어에서 인트라 16×16, 인트라 8×8, 인트라 4×4 모드가 사용하는 변환 블록 크기는 각각 4×4, 8×8, 4×4이다. 2개의 레이어를 갖는 공간 스케일러블 비디오 코딩 구조에서 인핸스먼트 레이어에서 extended_macroblock_flag가 1이고 extended_macroblock_scale이 1인 경우에는 인핸스먼트 레이어에서 사용하는 매크로블록의 크기가 32×32가 된다.

extended_macroblock을 사용하는 경우에는 변환 블록 크기 역시 변화 시키는 것이 바람직하고 위의 예에서는 8×8, 16×16, 32×32 크기의 변환을 사용하는 것이 바람직할 수 있다. 베이스 레이어와의 참조관계를 생각하면 8×8, 16×16까지만 고려할 수 있지만, 인트라 32×32 또는 인터 32×32 블록과 같이 매크로블록의 크기와 동일할 때는 8×8, 16×16 변환 블록 크기를 사용하는 경우와의 비교를 통해서 변환 블록 크기를 결정할 수 있다.

도 20은 인핸스먼트 레이어에서 확장된 크기의 매크로블록을 사용하는 경우 변환 블록 크기를 추가 지정하는 예를 나타낸다.

도 20에 도시된 바와 같이, scalability_info에서 각 레이어 별로 extended_macroblock을 사용할 때, 기존의 4×4, 8×8 변환 블록 크기에 추가적으 로 16×16, 32×32 변환 블록 크기를 지정할 수 있다. 또다른 실시예로서 도 17에서처럼 각 레이어에서 참조하는 PPS 정보에 변환 블록 크기를 추가로 지정할 수 있다.

도 21은 PPS에서 확장된 크기의 매크로블록을 사용하는 변환 크기를 추가 지정하는 예를 나타낸다.

다음으로는 본 발명에 따른 바람직한 실시예를 설명한다.

도 22는 2개의 레이어를 갖는 스케일러블 비디오 코딩 시스템을 나타낸다. 도 22에서 베이스 레이어인 레이어 1은 2K급의 영상, 인핸스먼트 레이어인 레이어 2는 4K급의 영상으로 구성되어 있고, 레이어 2에서 extended_macroblock을 사용하고 매크로블록의 크기는 32×32 블록을 사용하는 경우, 레어어 2에서 사용 가능한 변환 블록의 크기는 4×4, 8×8, 16×16, 32×32이나 처리 가능한 최소 블록 크기를 8×8로 제한하여 4×4 변환 블록 크기는 사용하지 않는 것이 바람직할 수 있다.

도 23은 하위 레이어의 화면 내 예측 모드에 따라 상위 레이어에서 사용하는 화면 내 예측 모드를 대응시킨 일례를 나타낸다. 도 22에 도시된 바와 같이, 레이어1에서 인트라 4×4, 인트라 8×8, 인트라 16×16를 사용하고 레이어 2에서 이에 대응하는 인트라 8×8, 인트라 16×16, 인트라 32×32를 사용할 수 있으며, 블록의 분할만 일치시키는 것이 아니라 각 서브 블록내에서 사용하는 예측 모드도 일치시키는 것이 바람직할 수 있다.

본 예에서처럼 구성을 하기 위해서는 레이어 2에서 사용하는 인트라 8×8, 인트라 16×16의 예측 방법이 본래 H.264/AVC의 인트라 4×4, 인트라 8×8과 동일 한 방법이 되어야 한다. 또한, 기존에는 존재하지 않았던 인트라 32×32의 경우에는 기존 H.264/AVC에서 사용하는 인트라 16×16과 같은 방법으로 4개의 방향에 대한 예측 모드를 가질 수 있다. 이렇게 레이어 1의 16×16 크기의 매크로블록과 레이어 2의 32×32 크기의 매크로블록을 대응시키게 되면 레이어 1에서 사용한 예측 모드 및 주변정보 관리 등을 레이어 2에서 새롭게 구성하지 않고 그대로 이용할 수 있다. 또한, 레이어 2에서 기존의 스케일러블 비디오 코딩에서 사용하는 방법처럼 레이어 1에서 화면 내 예측을 이용하여 코딩된 블록의 복원 과정에서 생성되는 예측값을 스케일링(scaling) 하여 레이어 2에서의 예측값으로 사용하는 인트라 BL(Intra_BL) 모드를 사용할 수 있다. 매크로블록 레이어에서 인트라 BL 모드가 설정되고 상위 레이어의 매크로블록의 크기가 하위 레이어보다 2배 크게 되면, 하위 레이어의 예측값을 2배 스케일링하여 예측값으로 사용하고 상위 레이어에서는 원본값과의 차이만을 압축함으로써 압축효율을 높일 수 있다. 상위 레이어에서 인트라 32×32로 압축되는 경우에는 사용하는 예측 모드는 하위 레이어에서의 인트라 16×16과 같아질 수 있지만 변환 블록의 크기는 transform_32×32_mode_flag, transform_16×16_mode_flag, transform_8×8_mode_flag가 설정되어 있는 경우에는 32×32, 16×16, 8×8 블록 크기의 변환 중 더 적합한 것을 사용한다. 즉, 사용 가능한 변환 블록 크기들 중에서 최적의 것을 선택하여 압축하는 것이 바람직할 수 있으며 이는 상위 레이어에 있는 화면 내/화면 간 모드들 모두에 적용될 수 있다.

도 24는 하위 레이어의 화면 간 예측 모드에 따라 상위 레이어에서 사용하는 화면 간 예측 모드를 대응시킨 일례를 나타낸다.

종래에 공간 스케일러블 비디오 코딩에서 사용하는 residual_prediction_flag를 이용하면, 레이어 2에서 사용하는 블록의 크기는 레이어 1에서의 블록 크기의 두 배가 되도록 구성하여 레이어 1에서의 예측값을 스케일링한 것과 레이어 2에서 예측한 값과의 차이만을 압축하여 성능을 높일 수 있으며, 사용할 수 있는 변환 블록 크기는 설정되어 있는 것 중에서 최적의 것을 이용하는 것이 바람직할 수 있다.

전술한 바와 같이, 상위 레이어의 매크로블록 단에서 하위 레이어의 참조를 이용할 수 있으며, 하위 레이어에 대한 참조여부를 시퀀스 레이어와 픽쳐 레이어에서 가리킬 수 있다. 도 14 내지 17에서는 extended_macroblock에 대한 정보를 삽입하는 방법에 대하여 설명하였는데, 하위레이어에 대한 전적인 참조를 의미하는 fully_reference_lower_layer_flag도 비슷한 방법으로 삽입할 수 있다.

fully_reference_lower_layer_flag가 설정되어 있는 경우에는 하위 레이어에서 신택스 파싱(syntax parsing)된 정보를 그대로 상위 레이어에서 사용하여 움직임 벡터의 세밀한 재추정을 위한 정보나 앞서 설명한 예에서와 같이 하위 레이어에 대응되지 않는 크기의 변환을 사용한 경우를 제외한 대부분의 경우에 대해서는 추가로 신택스 압축 및 복원을 수행할 필요가 없게 된다. 따라서, 본 발명은 기존 공간 스케일러블 비디오 코딩에서 사용하는 인트라_BL이나 residual_prediction 방법을 그대로 사용하지 않으면서 시퀀스 레이어, 픽쳐 레이어, 슬라이스 레이어, 매크로블록 레이어에서 하위 레이어의 복원된 신택스를 그대로 이용할 수 있다.

본 발명은 도 22에서와 같이 두 개의 레이어로 구성되어 있는 공간 스케일러 블 비디오 코딩에서만이 아니고 세 개의 레이어 또는 그 이상의 레이어로 구성되어 있는 인핸스먼트 레이어에서 적용이 가능하며, 해당 인핸스먼트 레이어에서의 매크로블록의 크기 및 변환의 크기는 당 해상도의 영상을 최적으로 압축할 수 있는 크기로 결정되는 것이 바람직할 수 있다.

이상에서 설명한 바와 같이, 본 발명이 적용되는 비디오 신호 복호화 방법 및 장치는 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호를 복호화하는데 사용될 수 있다. 이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

도 1은 H.264/AVC 부호화기를 나타낸다.

도 2는 H.264/AVC 복호화기를 나타낸다.

도 3은 H.264/AVC의 부호화에서 참조하는 블록의 위치를 나타낸다.

도 4는 H.264/AVC에서 4×4 블록에서 사용하는 화면 내 예측 모드들을 나타낸다.

도 5는 H.264/AVC에서 4×4 블록에서 사용하는 화면 내 예측 모드들을 나타낸다.

도 6은 H.264/AVC에서 16×16 블록에 사용하는 화면 내 예측 모드들을 나타낸다.

도 7은 H.264/AVC에서 매크로블록을 처리하는 순서를 나타낸다.

도 8은 32×32 블록을 매크로블록으로 했을 때 동일한 블록 크기로 화면 내 예측을 한 예를 나타낸다.

도 9는 32×32 블록을 매크로블록으로 했을 때, 서브매크로블록을 처리하는 순서를 설명하기 위한 도면을 나타낸다.

도 10은 본 발명에 따른 큰 크기의 매크로블록을 구성하는 화면 내 예측을 위한 16×16 블록의 처리 순서의 예를 나타낸다.

도 11은 본 발명에 따른 매크로블록 내의 서브매크로블록에서 다양한 크기의 화면 내 예측을 사용한 예를 나타낸다.

도 12는 H.264/AVC의 화면 간 예측에 있어서 현재 블록의 움직임 벡터를 예 측하는 방법을 나타낸다.

도 13은 H.264/AVC에서 사용하는 매크로블록의 크기와 블록의 파티션을 나타낸다.

도 14는 초고해상도 영상을 위한 매크로블록의 크기와 블록 파티션의 일예를 나타낸다.

도 15는 스케일러블 비디오 코딩의 인핸스먼트 레이어에서 매크로블록의 크기를 새로 지정하는 일례를 나타낸다.

도 16 내지 18은 인핸스먼트 레이어에서 매크로블록의 크기를 새로 지정하는 또 하나의 예를 나타낸다.

도 19는 매크로블록의 크기가 달라지는 경우에 픽쳐 내에서 가로방향으로의 매크로블록 개수를 구하는 일례를 나타낸다.

도 20은 인핸스먼트 레이어에서 확장된 크기의 매크로블록을 사용하는 경우 변환 블록 크기를 추가 지정하는 예를 나타낸다.

도 21은 PPS에서 확장된 크기의 매크로블록을 사용하는 변환 크기를 추가 지정하는 예를 나타낸다.

도 22는 2개의 레이어를 갖는 스케일러블 비디오 코딩 시스템을 나타낸다.

도 23은 하위 레이어의 화면 내 예측 모드에 따라 상위 레이어에서 사용하는 화면 내 예측 모드를 대응시킨 일례를 나타낸다.

도 24는 하위 레이어의 화면 간 예측 모드에 따라 상위 레이어에서 사용하는 화면 간 예측 모드를 대응시킨 일례를 나타낸다.

Claims (10)

1. 매크로블록의 블록 타입을 획득하는 단계;

   상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록들을 포함하는 경우, 상기 서브매크로블록들의 처리 순서를 나타내는 처리 순서 결정 정보를 획득하는 단계;

   상기 매크로블록 내 상기 복수개의 코딩된 서브매크로블록이 화면내 예측을 이용하여 코딩된 경우, 상기 처리 순서 결정 정보에 기초하여, 상기 서브매크로블록의 우측에 인접한 블록으로부터 예측 방향 정보를 획득하는 단계; 및

   상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 단계를 포함하되, 상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록의 우측에 인접한 블록이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 하는 비디오 신호 복호화 방법.
2. 제 1 항에 있어서,

   상기 복수개의 코딩된 서브매크로블록들은 상이한 크기를 갖는 것을 특징으로 하는 비디오 신호 복호화 방법.
3. 제 1 항에 있어서,

   상기 예측 방향 정보 획득 단계는, 상기 처리 순서 결정 정보에 기초하여, 상기 서브매크로블록의 하측, 우하측 또는 좌하측에 인접한 블록으로부터 예측 방향 정보를 획득하고, 상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하되, 상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록의 하측, 우하측 또는 좌하측에 인접한 블록이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 하는 비디오 신호 복호화 방법.
4. 매크로블록의 블록 타입을 획득하는 단계;

   상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록들을 포함하는 경우, 상기 서브매크로블록들의 처리 순서를 나타내는 처리 순서 결정 정보를 획득하는 단계;

   상기 매크로블록 내 상기 복수개의 코딩된 서브매크로블록이 화면간 예측을 이용하여 코딩된 경우, 상기 처리 순서 결정 정보에 기초하여, 상기 서브매크로블록에 인접한 블록들로부터 움직임 정보를 획득하는 단계; 및

   상기 움직임 정보에 기초하여 상기 서브매크로블록의 움직임 정보를 획득하는 단계를 포함하되, 상기 서브매크로블록에 인접한 블록들은 상기 서브매크로블록의 우측에 인접한 블록을 포함하고, 상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록에 인접한 블록들이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 하는 비디오 신호 복호화 방법.
5. 제 4 항에 있어서,

   상기 복수개의 코딩된 서브매크로블록들은 상이한 크기를 갖는 것을 특징으로 하는 비디오 신호 복호화 방법.
6. 제 4 항에 있어서,

   상기 움직임 정보 획득 단계는, 상기 처리 순서 결정 정보에 기초하여, 상기 서브매크로블록의 하측, 우하측 또는 좌하측에 인접한 블록으로부터 움직임 정보를 획득하고, 상기 움직임 정보에 기초하여 상기 서브매크로블록의 움직임 정보를 획득하되, 상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록의 하측, 우하측 또는 좌하측에 인접한 블록이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 하는 비디오 신호 복호화 방법.
7. 베이스 레이어 비트스트림과 인핸스드 레이어 비트스트림을 포함하는 스케일러블하게 코딩된 비디오 신호를 수신하는 단계;

   상기 인핸스드 레이어 비트스트림의 시퀀스 파라미터 세트의 확장 영역으로부터 매크로블록의 크기를 확장할지 여부를 나타내는 확장 식별 정보를 획득하는 단계;

   상기 확장 매크로블록 식별 정보에 따라 매크로블록의 크기가 확장되는 경우, 매크로블록의 크기를 확장시키기 위한 확장 파라미터 정보를 획득하는 단계;

   상기 확장 파라미터 정보를 이용하여 매크로블록의 수평 크기 및 수직 크기를 나타내는 크기 정보를 유도하는 단계; 및

   상기 유도된 크기 정보의 매크로블록을 기준으로 상기 비디오 신호를 복호화하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 복호화 방법.
8. 제 7 항에 있어서,

   DCT 변환 매크로블록 크기를 기준으로 역변환을 수행하는 단계를 더 포함하되, 상기 DCT 변환 매크로블록 크기는 상기 유도된 크기 정보에 대응되는 것을 특징으로 하는 비디오 신호 복호화 방법.
9. 매크로블록이 복수개의 코딩된 서브매크로블록들을 포함하는 경우, 상기 서브매크로블록들의 처리 순서를 나타내는 처리 순서 결정 정보를 획득하는 정보 획득부와;

   상기 매크로블록 내 상기 복수개의 코딩된 서브매크로블록이 화면내 예측을 이용하여 코딩된 경우, 상기 처리 순서 결정 정보에 기초하여 상기 서브매크로블록의 우측에 인접한 블록으로부터 예측 방향 정보를 획득하고, 상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 화면내 예측부를 포함하되,

   상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록의 우측에 인접한 블록이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 하는 비디오 신호 복호화 장치.
10. 매크로블록이 복수개의 코딩된 서브매크로블록들을 포함하는 경우, 상기 서 브매크로블록들의 처리 순서를 나타내는 처리 순서 결정 정보를 획득하는 정보 획득부와;

    상기 매크로블록 내 상기 복수개의 코딩된 서브매크로블록이 화면간 예측을 이용하여 코딩된 경우, 상기 처리 순서 결정 정보에 기초하여 상기 서브매크로블록에 인접한 블록들로부터 움직임 정보를 획득하고, 상기 움직임 정보에 기초하여 상기 서브매크로블록의 움직임 정보를 획득하는 화면간 예측부를 포함하되,

    상기 서브매크로블록에 인접한 블록들은 상기 서브매크로블록의 우측에 인접한 블록을 포함하고, 상기 처리 순서 결정 정보는 상기 서브매크로블록보다 상기 서브매크로블록에 인접한 블록들이 먼저 코딩된 블록임을 나타내는 정보인 것을 특징으로 하는 비디오 신호 복호화 장치.

Images