KR20100039248A

KR20100039248A - 비디오 신호 복호화 방법 및 장치

Info

Publication number: KR20100039248A
Application number: KR1020090094490A
Authority: KR
Inventors: 박준영; 박승욱; 김정선; 최영희; 전병문
Original assignee: 엘지전자 주식회사
Priority date: 2008-10-06
Filing date: 2009-10-06
Publication date: 2010-04-15
Also published as: EP2173100A2; EP2173100A3; EP2173101A2; EP2173101A3

Abstract

본 발명은 비디오 신호를 코딩함에 있어서, 매크로블록에 대한 예측시 서브매크로블록 타입으로 화면 내 예측 모드를 추가한 비디오 신호의 복호화 방법에 관한 것으로, 매크로블록의 블록 타입을 획득하는 단계; 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 서브매크로블록의 블록 타입을 획득하는 단계; DC 변환(Discrete Cosine Transform) 크기를 나타내는 플래그 정보를 획득하는 단계; 상기 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 단계; 및 상기 서브매크로블록의 블록 타입에 기초하여 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩된 경우, 상기 결정된 DC 변환 크기에 기초하여 상기 화면 내 예측을 이용하여 코딩된 서브매크로블록의 예측 크기를 결정하는 단계; 상기 서브매크로블록의 예측 크기에 기초하여 상기 서브매크로블록에 인접한 블록으로부터 예측 방향 정보를 획득하는 단계; 및 상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 단계를 포함하는 것을 특징으로 한다. 본 발명에 따르면, 매크로블록에 대한 예측시 서브매크로블록 타입으로 화면 내 예측 모드를 추가함으로써 비디오 신호의 코딩 효율을 높일 수 있다.

비디오 신호, 복호화, 매크로블록, 서브매크로블록

Description

비디오 신호 복호화 방법 및 장치{A METHOD AND AN APPARATUS FOR DECODING A VIDEO SIGNAL}

본 발명은 비디오 신호의 코딩에 관한 것이다.

압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성을 지니고 있는 점에 특징이 있다.

매크로블록의 크기가 16×16 보다 큰 32×32 또는 그 이상의 크기를 갖는 매크로블록에 대한 예측시 더 많은 매크로블록 타입을 이용할 수 있는 공간을 가질 수 있음에도 서브매크로블록 타입으로 화면 간 예측 모드만을 이용함으로써 예측 효율을 저하시킬 수 있다.

매크로블록에 대한 예측시 하나의 매크로블록에서 화면 간 예측 부호화 또는 화면 내 예측 부호화 중 하나의 예측 방법만을 이용함으로써 압축 성능을 저하시킬 수 있다.

영상의 대부분이 평면영역(flat region)으로 이루어진 경우에 다운샘플링된 프레임으로 그 영상을 부호화하는 것이 부호화 효율을 높일 수 있으나, 다운샘플링 과정에서 일부 정보가 제거됨으로써, 퀄리티의 손실로 인해 높은 비트레이트에서는 충분한 게인을 제공할 수 없다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 창안된 것으로서, 매크로블록의 크기가 16×16 보다 큰 32×32 또는 그 이상의 크기를 갖는 매크로블록에 대한 예측시 서브매크로블록 타입으로 화면 내 예측 모드를 추가함으로써 비디오 신호의 코딩 효율을 높이기 위한 비디오 신호 복호화 방법 및 장치를 제공하는데 있다.

본 발명의 또 다른 목적은, 매크로블록의 크기가 16×16 보다 큰 32×32 또는 그 이상의 크기를 갖는 매크로블록에 대한 예측시 하나의 매크로블록에서 화면 간 예측 부호화와 화면 내 예측 부호화 모두를 이용함으로써 비디오 신호의 코딩 효율을 높이기 위한 비디오 신호 복호화 방법 및 장치를 제공하는데 있다.

본 발명의 또 다른 목적은, 원 프레임과 업샘플링된 프레임 사이의 레지듀얼을 부호화함으로써 다운샘플링 과정에서 충분한 게인을 제공하기 위한 비디오 신호 복호화 방법 및 장치를 제공하는데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 복호화 방법은, 매크로블록의 블록 타입을 획득하는 단계; 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 서브매크로블록의 블록 타입을 획득하는 단계; DC 변환(Discrete Cosine Transform) 크기를 나타내는 플래그 정보를 획득하는 단계; 상기 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 단계; 및 상기 서브매크로블록의 블록 타입에 기초하여 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩된 경우, 상기 결정된 DC 변환 크기에 기초하여 상기 화면 내 예측을 이용하여 코딩된 서브매크로블록의 예측 크기를 결정하는 단계; 상기 서브매크로블록의 예측 크기에 기초하여 상기 서브매크로블록에 인접한 블록으로부터 예측 방향 정보를 획득하는 단계; 및 상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 단계를 포함할 수 있다.

상기 비디오 신호 복호화 방법은, 부호화 블록 패턴 정보를 획득하는 단계를 더 포함하되, 상기 부호화 블록 패턴 정보는 상기 서브매크로블록들이 부호화된 계 수를 포함하는지를 나타낼 수 있다.

상기 비디오 신호 복호화 방법은, 상기 결정된 DC 변환 크기를 기준으로 역변환을 수행하는 단계를 더 포함할 수 있다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 복호화 방법은, 매크로블록의 블록 타입을 획득하는 단계; 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 서브매크로블록의 블록 타입을 획득하는 단계; DC 변환(Discrete Cosine Transform) 크기를 나타내는 플래그 정보를 획득하는 단계; 상기 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 단계; 상기 서브매크로블록의 블록 타입에 기초하여 상기 서브매크로블록이 화면 간 예측을 이용하여 코딩된 경우, 상기 서브매크로블록에 인접한 블록으로부터 움직임 정보를 획득하는 단계; 상기 움직임 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 단계; 및 상기 결정된 DC 변환 크기를 기준으로 역변환을 수행하는 단계를 포함할 수 있다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 복호화 방법은, 매크로블록의 블록 타입을 획득하는 단계; 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩되었는지를 확인하는 제 1 플래그 정보를 획득하는 단계; DC 변환(Discrete Cosine Transform) 크기를 나타내는 제 2 플래그 정보를 획득하는 단계; 상기 제 2 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 단계; 상기 제 1 플래그 정보에 기초하여, 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩된 경우, 상기 결정된 DC 변환 크기에 기초하여 상기 화면 내 예측을 이용하여 코딩된 서브매크로블록의 예측 크기를 결정하는 단계; 상기 서브매크로블록의 예측 크기에 기초하여 상기 서브매크로블록에 인접한 블록으로부터 예측 방향 정보를 획득하는 단계; 및 상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 단계를 포함할 수 있다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 복호화 방법은, 매크로블록의 블록 타입을 획득하는 단계; 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩되었는지를 확인하는 제 1 플래그 정보를 획득하는 단계; 상기 제 1 플래그 정보에 기초하여, 상기 서브매크로블록이 화면 간 예측을 이용하여 코딩된 경우, 서브매크로블록의 블록 타입 및 상기 서브매크로블록에 인접한 블록으로부터 움직임 정보를 획득하는 단계; DC 변환 크기를 나타내는 제 2 플래그 정보를 획득하는 단계; 상기 제 2 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 단계; 상기 서브매크로블록의 블록 타입 및 움직임 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 단계; 및 상기 결정된 DC 변환 크기를 기준으로 역변환을 수행하는 단계를 포함할 수 있다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 복호화 장치는, 매크로블록의 블록 타입을 획득하고, 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 서브매크로블록의 블록 타입을 획득하는 매크로블록 타입 획득부; DC 변환(Discrete Cosine Transform) 크기를 나타내는 플래그 정보를 획득하고, 상기 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 DC 변환 크기 결정부; 및 상기 서브매크로블록의 블록 타입에 기초하여 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩된 경우, 상기 결정된 DC 변환 크기에 기초하여 상기 화면 내 예측을 이용하여 코딩된 서브매크로블록의 예측 크기를 결정하고, 상기 서브매크로블록의 예측 크기에 기초하여 상기 서브매크로블록에 인접한 블록으로부터 예측 방향 정보를 획득하며, 상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 서브매크로블록 예측값 획득부를 포함할 수 있다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 복호화 장치는, 매크로블록의 블록 타입을 획득하고, 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 서브매크로블록의 블록 타입을 획득하는 매크로블록 타입 획득부; DC 변환 크기를 나타내는 플래그 정보를 획득하고, 상기 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 DC 변환 크기 결정부; 상기 서브매크로블록의 블록 타입에 기초하여 상기 서브매크로블록이 화면 간 예측을 이용하여 코딩된 경우, 상기 서브매크로블록에 인접한 블록으로부터 움직임 정보를 획득하고, 상기 움직임 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 서브매크로블록 예측값 획득부; 및 상기 결정된 DC 변환 크기를 기준으로 역변환을 수행하는 역변환부를 포 함할 수 있다.

본 발명은 다음과 같은 효과와 이점을 제공한다.

우선, 매크로블록의 크기가 16×16 보다 큰 32×32 또는 그 이상의 크기를 갖는 매크로블록에 대한 예측시 서브매크로블록 타입으로 화면 내 예측 모드를 추가함으로써 비디오 신호의 코딩 효율을 높일 수 있다.

둘째, 매크로블록의 크기가 16×16 보다 큰 32×32 또는 그 이상의 크기를 갖는 매크로블록에 대한 예측시 하나의 매크로블록에서 화면 간 예측 부호화와 화면 내 예측 부호화 모두를 이용함으로써 비디오 신호의 코딩 효율을 높일 수 있다.

셋째, 원 프레임과 업샘플링된 프레임 사이의 레지듀얼을 부호화함으로써 다운샘플링 과정에서 충분한 게인을 제공할 수 있다.

이하에서는 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있고, 기재되지 않은 용어라도 하기 취지에 따라 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다.

도 1은 H.264/AVC 부호화기를 나타낸다.

도 1에 도시된 바와 같이, H.264/AVC 부호화기는 변환부(110), 양자화부(115), 코딩 제어부(120), 역양자화부(125), 역변환부(130), 디블록킹 필터링부(135), 복호 픽쳐 저장부(140), 움직임 추정부(145), 화면 간 예측부(150), 화면 내 예측부(155), 및 엔트로피 코딩부(160)를 포함한다.

변환부(110)는 화소값을 변환하여 변환 계수값을 획득하며, 이 경우 이산 코사인 변환(DCT; Discrete Cosine Transform) 또는 웨이블릿 변환 방식이 사용될 수 있다. 양자화부(115)는 변환부(110)에서 출력된 변환 계수값을 양자화한다. 코딩 제어부(120)는 특정 블록 또는 프레임을 화면 내 예측 부호화할 것인지, 화면 간 예측 부호화할 것인지를 제어한다. 역양자화부(125)는 변환 계수값을 역양자화하고, 역변환부(130)는 역양자화된 변환 계수값을 원래의 화소값으로 복원한다. 디블록킹 필터링부(135)는 블록 왜곡 현상을 감소시키기 위하여 각각의 코딩된 매크로블록에 적용하며, 디블록킹 필터링을 거친 픽쳐는 참조 픽쳐로 이용하기 위해 복호 픽쳐 저장부(140)에 저장된다. 움직임 추정부(145)는 복호 픽쳐 저장부(140)에 저장된 참조 픽쳐를 이용하여 참조 픽쳐 중에서 현재 블록과 가장 유사한 참조 블록을 탐색하고, 탐색된 참조 블록의 위치 정보 등을 엔트로피 코딩부(160)로 전달한다. 화면 간 예측부(150)는 참조 픽쳐를 이용하여 현재 픽쳐의 예측을 수행하고, 화면 간 예측 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 화면 내 예측부(155)는 현재 픽쳐 내의 디코딩된 픽셀로부터 화면 내 예측을 수행하며, 화면 내 예측 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 엔트로피 코딩부(160)는 양자화된 변환 계수, 화면 간 예측 부호화 정보, 화면 내 예측 부호화 정보 및 움직임 추정부(145)로부터 입력된 참조 블록 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다.

도 2는 H.264/AVC 복호화기를 나타낸다.

도 2에 도시된 바와 같이, H.264/AVC 복호화기는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 디블록킹 필터링부(240), 복호 픽쳐 저장부(250), 화면 간 예측부(260), 화면 내 예측부(270)를 포함한다.

엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여 각 매크로블록의 변환 계수, 움직임 벡터 등을 추출한다. 역양자화부(220)는 엔트로피 디코딩된 변환 계수를 역양자화하고, 역변환부(230)는 역양자화된 변환 계수를 이용하여 원래의 화소값을 복원한다. 디블록킹 필터링부(240)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 적용된다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 저장부(250)에 저장된다. 화면 간 예측부(260)는 복호 픽쳐 저장부(250)에 저장된 참조 픽쳐와 엔트로피 디코딩부(210)로부터 전달받은 화면 간 예측 정보(참조 픽쳐 인덱스 정보, 움직임 벡터 정보 등)를 이용하여 현재 픽쳐를 예측한다. 화면 내 예측부(270)는 현재 픽쳐 내의 디코딩된 픽셀로부터 화면 내 예측을 수행한다. 화면 간 예측부 또는 화면 내 예측부로부터 나온 예측된 현재 픽쳐와 역변환부(230)로부터 나온 레지듀얼이 더해져서 원래 픽쳐를 복원한다.

도 3은 본 발명의 실시예에 따른 다운샘플링된 프레임 복호화부와 레지듀얼 데이터 복호화부를 포함하는 H.264/AVC 복호화기를 나타낸다. 통상적인 비디오 코덱에 있어서, 프레임 크기는 부호화가 실행되는 동안 고정적이나, 영상의 일부 프레임은 영상의 특성에 따라 다운샘플링 또는 업샘플링 함으로써, 부호화 효율을 높일 수 있다. 예를 들어, 영상의 대부분이 평면영역(flat region)으로 이루어진 경우에는 다운샘플링된 프레임으로 그 영상을 부호화하는 것이 부호화 효율을 높일 수 있다. 프레임의 다운샘플링은 예컨대 종방향(vertically), 횡방향(horizontally) 또는 종방향과 횡방향 모두에서 다운샘플링할 수 있으며, 영상에 있어서 다운샘플링을 수행할지, 수행한다면 상기 방법 중 어떤 방법으로 다운샘플링을 수행할지는 각각의 방법에 대하여 RD-cost를 계산하여 선정할 수 있다.

그러나, 다운샘플링 과정에서 일부 정보가 제거됨으로써, 퀄리티의 손실로 인해 높은 비트레이트에서는 충분한 게인을 제공할 수 없기 때문에, 원 프레임(original frame)과 업샘플링된 프레임(upsampled frame) 사이의 레지듀얼을 부호화함으로써 상기와 같은 문제점을 해결할 수 있다. 한편, 상기 레지듀얼을 부호 화할지 여부도 RD-cost를 계산하여 결정할 수 있다.

도 4는 본 발명의 실시예에 따른 (a) 레지듀얼 부호화부를 포함하는 부호화기 및 (b) 레지듀얼 복호화부를 포함하는 복호화기를 개략적으로 나타낸다. 도 4a에 도시된 바와 같이, 레지듀얼 부호화부를 포함하는 부호화기는 다운샘플링부를 포함하는 부호화부(410), 업샘플링부(420), 레지듀얼 부호화부(430), 멀티플렉싱부(440)를 포함하며, 상기 다운샘플링부를 포함하는 부호화부(410)는 원 프레임을 다운샘플링하여 부호화하고, 상기 레지듀얼 부호화부(430)는 원 프레임과 상기 업샘플링부(420)를 통해 업샘플링된 프레임 사이의 레지듀얼을 부호화하며, 상기 멀티플렉싱부(440)는 상기 부호화부(410, 430)를 통해 부호화된 비트스트림을 믹싱하여 출력 비트스트림을 생성한다.

도 4b에 도시된 바와 같이, 레지듀얼 복호화부를 포함하는 복호화기는 디멀티플렉싱부(450), 복호화부(460), 업샘플링부(470), 레지듀얼 복호화부(480)를 포함하며, 상기 디멀티플렉싱부(450)는 입력된 비트스트림을 2개의 비트스트림으로 분해하고, 이 중 다운샘플링된 프레임의 부호화된 비트스트림(부호화된 비트스트림 1)은 복호화부(460)에 입력되고, 부호화된 레지듀얼 비트스트림(부호화된 비트스트림 2)은 레지듀얼 복호화부(480)에 입력된다. 상기 복호화부(460)는 다운샘플링된 프레임의 부호화된 비트스트림을 복호화하여 복호화된 프레임을 생성하여 업샘플링부(470)에 전달하며, 상기 업샘플링부(470)는 복호화된 프레임을 업샘플링하고, 상기 레지듀얼 복호화부(480)는 부호화된 레지듀얼 비트스트림을 복호화하여 복호화된 레지듀얼을 생성하며, 이어 상기 업샘플링된 복호화된 프레임과 상기 복호화된 레지듀얼을 이용하여 복호화된 출력을 생성한다.

도 5는 본 발명의 실시예에 따른 레지듀얼 데이터에 대해서 화면 내 예측을 수행하는 화면 내 예측부를 포함하는 레지듀얼 복호화부를 포함하는 복호화기를 나타낸다. 도 5에 도시된 바와 같이, 화면 내 예측부(510)를 통해 부호화된 레지듀얼 데이터에 대해서 화면 내 예측을 수행함으로써, 부호화 및 복호화 효율을 높일 수 있다.

도 6은 H.264/AVC의 부호화에서 4×4 화소단위 화면 내 예측부호화의 순서 및 참조하는 블록의 위치를 나타낸다.

도 6에 도시된 바와 같이, H.264/AVC의 부호화에서 16×16 매크로블록을 구성하는 0~15의 블록순서에 따라 부호화를 수행하며 예측 가능한 참조 블록이 좌측(A), 상단(B), 우측상단(C), 좌측상단(D)의 네 가지이며, 블록마다 적절한 예측 방향을 적응적으로 선택할 수 있다.

도 7은 H.264/AVC에서 4×4 블록에서 사용하는 화면 내 예측 모드들을 나타낸다.

도 7a에 도시된 바와 같이, 4×4 블록 화면 내 예측부호화에서는 16×16 블록을 구성하는 0~15의 블록순서에 따라 부호화를 수행한다. 도 7a에서 12번째 블록의 경우, 도 7b에 도시된 바와 같이 좌측블록 속의 우측 4화소(A), 상단블록 속의 하단 4화소(B), 우측상단블록 속의 하단 4화소(C), 좌측상단블록 속의 좌측하단 1화소(D)를 사용하여 4×4 블록 내의 화소값을 예측부호화한다.

도 8은 H.264/AVC에서 4×4 블록에서 사용하는 화면 내 예측 모드들을 나타 낸다. 도시하지는 않았으나, 8×8 블록에 대한 화면 내 예측 모드들도 기본적으로 4×4 블록에서 사용하는 예측 모드와 동일하다. 도 8에 도시된 바와 같이, 9가지 예측 모드 중 가장 적절한 예측 모드를 4×4 블록마다 1개씩 선택하고, 선택된 예측 모드를 4×4 블록단위로 부호화한다.

한편, H.264/AVC에서 16×16 블록에 대한 화면 내 예측부호화에서는 상단 매크로블록의 16화소와 좌측 매크로블록의 16화소로부터 수직예측(모드 0), 수평예측(모드 1), 평균치예측(모드 3), 평면예측(모드 3)의 네 가지 방법 중에서 하나를 선택해서 예측 부호화한다. (도시되지 않음)

그러나, 현재 많이 사용되고 있는 2K급(1920×1080)의 영상보다 더 큰 4K(3840×2160) 또는 8K(7680×4320)의 초고해상도 영상은 높은 해상도로 인해 기존의 2K급 영상과는 다른 특성을 갖는다. 예를 들어, 현재의 H.264/AVC에서는 고정된 16×16 매크로블록만을 사용하여 다양한 크기의 매크로블록을 지원하지 못하고, 초고해상도 영상의 텍스쳐(texture)를 충분히 반영하지 못할 수 있다. 따라서, 매크로블록의 크기가 현재의 16×16 보다 큰 32×32 또는 그 이상의 크기를 갖는 매크로블록을 사용하는 것이 압축률 향상에 도움을 줄 수 있다.

도 9는 본 발명의 실시예에 따른 매크로블록이 32×32 블록인 경우, 4×4 블록에서 사용하는 화면 내 예측 방법을 나타낸다. 한편, 도 9에 도시된 블록에 표시된 숫자는 블록의 부호화 및 복호화 순서를 나타낸다. 도 9a에 도시된 바와 같이, 매크로블록의 크기가 32×32인 경우, 매크로블록을 구성하는 각각의 4×4 블록마다 하나의 예측 모드를 사용할 수 있다. 즉, 도 8에 도시된 9가지 예측 모드 중 가장 적절한 예측 모드를 4×4 블록마다 1개씩 선택하고, 선택된 예측 모드를 4×4 블록단위로 부호화할 수 있다. 예를 들어, 도 9a에서 부호화기가 0번째 블록에 대하여 수직 예측 모드를 선택하여 선택된 예측 모드를 부호화하여 전송하는 경우, 복호화기는 전송받은 수직 예측 모드를 사용하여 상기 0번째 블록을 복호화하게 되며, 이어서 복원된 레지듀얼이 예측 샘플에 더해진다. 이어서, 1번째 블록은 0번째 블록과 동일한 예측 모드인 수직 예측 모드 및 복원된 0번째 블록을 이용하여 복호화된다. 이와 같은 방식으로 32×32 블록 전체에 대한 복호화가 이루어진다.

도 9b에 도시된 바와 같이, 매크로블록의 크기가 32×32인 경우, 매크로블록을 구성하는 각각의 16×16 블록마다 하나의 예측 모드를 사용할 수 있다. 즉, 도 8에 도시된 9가지 예측 모드 중 가장 적절한 예측 모드를 16×16 블록마다 1개씩 선택하고, 선택된 예측 모드를 4×4 블록단위로 부호화할 수 있다. 예를 들어, 도 9b에서 부호화기가 첫번째 16×16 블록에 대하여 수직 예측 모드를 선택하여 선택된 예측 모드를 부호화하여 전송하는 경우, 복호화기는 전송받은 수직 예측 모드를 사용하여 상기 0번째 블록을 복호화하게 되며, 이어서 복원된 레지듀얼이 예측 샘플에 더해진다. 이어서, 1번째 블록은 0번째 블록과 동일한 예측 모드인 수직 예측 모드 및 복원된 0번째 블록을 이용하여 복호화된다. 이와 같은 방식으로 첫번째 16×16 블록 내의 모든 블록들이 복호화되며, 이어서 다른 16×16 블록들이 두번째, 세번째, 네번째 순서로 복호화된다.

도 9c에 도시된 바와 같이, 매크로블록의 크기가 32×32인 경우, 매크로블록을 구성하는 각각의 8×8 블록마다 하나의 예측 모드를 사용할 수 있다. 즉, 도 8 에 도시된 9가지 예측 모드 중 가장 적절한 예측 모드를 8×8 블록마다 1개씩 선택하고, 선택된 예측 모드를 4×4 블록단위로 부호화할 수 있다. 예를 들어, 도 9c에서 부호화기가 0으로 표시된 8×8 블록에 대하여 수직 예측 모드를 선택하여 선택된 예측 모드를 부호화하여 전송하는 경우, 복호화기는 전송받은 수직 예측 모드를 사용하여 상기 0번째 4×4 블록을 복호화하게 되며, 이어서 복원된 레지듀얼이 예측 샘플에 더해진다. 이어서, 1번째 4×4 블록은 0번째 4×4 블록과 동일한 예측 모드인 수직 예측 모드 및 복원된 0번째 4×4 블록을 이용하여 복호화된다. 이와 같은 방식으로 0으로 표시된 8×8 블록 내의 모든 블록들이 복호화되며, 이어서 다른 8×8 블록들이 표시된 순서대로 복호화된다.

도 9d에 도시된 바와 같이, 매크로블록의 크기가 32×32인 경우, 매크로블록을 구성하는 각각의 4×4 블록마다 하나의 예측 모드를 사용할 수 있다. 즉, 도 8에 도시된 9가지 예측 모드 중 가장 적절한 예측 모드를 4×4 블록마다 1개씩 선택하고, 선택된 예측 모드를 4×4 블록단위로 부호화할 수 있으며, 각각의 예측 모드를 이용하여 도 9d에 표시된 순서대로 32×32 블록 내의 모든 블록들이 복호화된다.

한편, 도 9a 내지 9d에 도시된 4×4 블록에서 사용하는 화면 내 예측 방법은 전술한 네 가지 방법 중에서 어느 방법이 현재 매크로블록에서 이용되는지를 표시함으로써 적응적으로 이용될 수 있다. 예를 들어, 매크르블록 계층(MB layer)에서 특정한 하나의 방법을 표시함으로써 각각의 매크로블록마다 다른 방법을 이용하거나, 슬라이스 계층(slice layer)에서 특정한 하나의 방법을 표시함으로써 각각의 슬라이스마다 다른 방법을 이용할 수 있다.

도 10은 H.264/AVC의 화면 간 예측에 있어서 현재 블록의 움직임 벡터를 예측하는 방법을 나타낸다. 도 10에 도시된 바와 같이, H.264/AVC에서는 중앙값의 예측 부호화를 사용하며, 움직임 벡터의 예측부호화는 좌측(A), 상단(B), 우측상단(C)의 블록들의 움직임 벡터(mvA, mvB, mvC)를 사용하여 수평성분과 수직성분 각각의 중앙값을 사용하게 된다.

H.264/AVC는 영상 프레임을 분할해서 이전에 부호화된 프레임으로부터 움직임을 추정하여 현재의 블록을 예측하는 움직임 보상을 사용하며, 움직임 보상의 블록 크기를 작게 하면 정확한 예측이 가능하지만 블록마다 움직임 벡터 정보를 부호화하여야 하기 때문에 움직임 벡터 정보에 대한 부호량이 증가하게 된다. 이런 이유로 여러 가지의 움직임 보상 블록 크기 중에서 최적의 블록 크기를 적용하는 방법을 이용한다.

도 11은 H.264/AVC에서의 움직임 보상 블록 크기를 나타낸다. 도 11에 도시된 바와 같이, H.264/AVC에서는 16×16 블록부터 4×4 블록까지 7개의 움직임 보상 블록 크기를 사용하는데, 매크로블록마다 16×16 블록, 16×8 블록, 8×16 블록, 8×8 블록 중 하나의 매크로블록 타입(MB type)이 부호화되고(도 11a), 매크로블록 타입이 8×8 블록인 경우에는 서브매크로블록마다 8×8 블록, 8×4 블록, 4×8 블록, 4×4 블록 중 하나의 서브매크로블록 타입(Sub_MB type)이 부호화된다(도 11b). H.264/AVC에서는 서브매크로블록 타입으로서 화면 간 예측 모드만을 이용하고 있으며, 매크로블록의 크기가 16×16 보다 큰 32×32의 크기를 갖는 경우에 있 어서도 서브매크로블록 타입으로서 화면 간 예측 모드만을 가질 수 있다.

도 12는 H.264/AVC에서의 참조픽쳐번호 할당 방법을 나타낸다. 도 12에 도시된 바와 같이, 움직임 보상에 필요한 참조픽쳐 정보를 나타내는 참조픽쳐번호(ref_idx)는 매크로블록이 8×8 블록이 아닌 경우에는 움직임보상 블록마다 부호화하고, 블록 크기가 8×8 블록 이하가 되는 매크로블록이 8×8인 경우에는 참조픽쳐번호를 매크로블록 단위로 부호화해서 움직임 보상에 따라 정보량이 증가되는 것을 막는다. 그 결과, 8×8 블록보다 작은 블록, 예컨대 4×4 블록에서는 움직임벡터가 다르더라도 참조픽쳐번호는 서브매크로블록 내에서 다를 수 없다.

도 13은 본 발명의 실시예에 따른 32×32 매크로블록에 있어서의 참조픽쳐번호 할당 방법을 나타낸다. 만약, 도 12에 도시된 H.264/AVC에 적용되는 참조픽쳐할당 방법이 매크로블록 크기가 32×32인 경우에도 동일하게 적용된다면, 16×16 블록에서는 하나의 참조픽쳐번호가 할당되므로 16×16 블록마다 작은 블록에서는 참조픽쳐번호가 다를 수 없다.

그러나, 도 13에 도시된 바와 같이, 16×16 블록 보다 작은 블록에 대해서도 다른 참조픽쳐번호를 허용함으로써, 부호화 효율을 높일 수 있다.

도 14는 본 발명의 실시예에 따른 32×32 매크로블록에 있어서의 참조픽쳐번호 할당 방법을 나타내는 신택스 구조를 나타낸다. 도 14a는 종래의 신택스 구조를 나타내며, 도 14b는 16×16 서브매크로블록에 대해 하나의 참조픽쳐번호를 할당하는 것이 아니라, 16×16 서브매크로블록을 나눈 서브매크로블록 파티션마다 참조픽쳐번호를 할당하는 신택스 구조를 나타낸다.

도 15는 본 발명의 실시예에 따른 32×32 매크로블록 크기에 있어서, (a) P 매크로블록 및 (b) B 매크로블록의 서브매크로블록 타입을 나타낸다. 도 15에 도시된 바와 같이, 서브매크로블록 타입으로서 화면 간 예측 모드만을 이용하고 있으나, 매크로블록 크기가 16×16 블록마다 커지는 경우, 예컨대 32×32 블록인 경우에는 더 많은 매크로블록 타입을 이용할 수 있는 공간을 가질 수 있고, P, B 매크로블록이라도 화면 내 예측을 이용하는 것이 예측 효율이 더 높을 수 있으므로 서브매크로블록 타입으로 화면 내 예측 타입을 이용할 수 있다.

예컨대, 서브매크로블록 타입으로 I16×16, I8×8, I4×4의 화면 내 예측 타입이 가능할 수 있으며, 서브매크로블록 타입으로 화면 내 예측 타입이 선택되는 경우, 매크로블록이 32×32 블록 크기를 가지므로, I16×16은 1개, I8×8은 4개, I4×4는 16개의 예측 모드를 전송하여만 한다. 한편, 하나의 화면 내 예측 부호화된 서브매크로블록에 대해서는 동일한 화면 내 예측 모드를 사용함으로써 전송할 예측 모드 정보의 양을 줄이는 것이 가능하다.

도 16은 본 발명의 실시예에 따른 서브매크로블록에 화면 내 예측 타입이 추가된 경우에 있어서의 매크로블록 복호화 과정을 나타낸다. 도 16에 도시된 바와 같이, 서브매크로블록 타입을 전송 받고(1610), 서브매크로블록 타입이 화면 내 예측 타입인지를 확인하여(1620), 화면 내 예측 타입인 경우(1630), 전송 받은 화면 내 예측 모드를 이용하여 매크로블록을 복호화하며, 화면 내 예측 타입이 아닌 경우(1640), 전송 받은 움직임 정보를 이용하여 매크로블록을 복호화한다.

도 17은 본 발명의 실시예에 따른 화면 내 예측부 및 화면 간 예측부를 포함 하는 복호화기를 나타낸다. 도 17에 도시된 바와 같이, 본 발명의 실시예에 따른 복호화기는 화면 내 예측부(1700) 및 화면 간 예측부(1750)를 포함하며, 상기 화면 내 예측부(1700) 및 화면 간 예측부(1750)는 매크로블록 타입 획득부(1710, 1760), DC 변환 크기 결정부(1720, 1770) 및 서브매크로블록 예측값 획득부(1730, 1780)를 포함한다. 상기 매크로블록 타입 획득부(1710, 1760)는 매크로블록의 블록 타입을 획득하고, 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 서브매크로블록의 블록 타입을 획득하고, 상기 DC 변환 크기 결정부(1720, 1770)는 DC 변환(Discrete Cosine Transform) 크기를 나타내는 플래그 정보를 획득하고, 상기 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하고, 상기 서브매크로블록 예측값 획득부(1730)는 상기 서브매크로블록의 블록 타입에 기초하여 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩된 경우, 상기 결정된 DC 변환 크기에 기초하여 상기 화면 내 예측을 이용하여 코딩된 서브매크로블록의 예측 크기를 결정하고, 상기 서브매크로블록의 예측 크기에 기초하여 상기 서브매크로블록에 인접한 블록으로부터 예측 방향 정보를 획득하며, 상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하며, 상기 서브매크로블록 예측값 획득부(1780)는 상기 서브매크로블록의 블록 타입에 기초하여 상기 서브매크로블록이 화면 간 예측을 이용하여 코딩된 경우, 상기 서브매크로블록에 인접한 블록으로부터 움직임 정보를 획득하고, 상기 움직임 정보에 기초하여 상기 서브매크로블록의 예측값을 획득한다.

도 18은 본 발명의 실시예에 따른 서브매크로블록에 대해 화면 내 예측을 수 행할 지 여부를 알려주는 플래그 정보를 수신하는 단계가 포함된 매크로블록 복호화 과정을 나타낸다. 서브매크로블록에 화면 내 예측 타입이 추가되는 경우, 서브매크로블록 타입의 개수가 증가하여 전송하여야 할 데이터량이 증가할 수 있다. 이런 문제를 해결하기 위해, 서브매크로블록 타입을 전송하기 전에 서브매크로블록이 화면 내 예측을 수행할지를 확인하는 플래그(sub_mb_intra_pred_flag)를 전송함으로써, 상기 플래그가 '1'인 경우에는 서브매크로블록 타입을 전송하지 않고 블록 크기와 화면 내 예측 모드를 전송하게 된다. 한편, 상기 플래그가 '0'인 경우에는 서브매크로블록 타입을 전송하고, 전송 받은 타입과 움직임 정보를 이용하여 매크로블록을 복호화하게 된다.

H.264/AVC에서는 8×8 화소단위, 4×4 화소단위의 직교변환을 이용하여 아날로그 영상을 저주파와 고주파의 주파수 성분으로 분해하여 압축을 용이하게 하는데, 매크로블록의 크기가 16×16 보다 커지게 되면, 적절한 변환 블록 크기를 사용하여 압축효율을 높일 필요가 있다. H.264/AVC에 사용하는 4×4 또는 8×8 변환 블록 크기를 사용할 수도 있지만 좀 더 높은 압축 효율을 보장하기 위해 블록 크기가 더 큰 변환을 하는 것이 필요할 수 있다.

매크로블록의 크기가 현재의 16×16 보다 큰 32×32 또는 그 이상의 크기를 갖는 매크로블록에 있어서는 8×8 이상의 화소단위, 예컨대 16×8, 8×16, 16×16 화소단위의 직교변환을 이용하는 것이 가능하다. 또한, 기존의 H.264/AVC에서는 8×8 화소단위의 직교변환을 이용하였는지를 확인하는 플래그(transform_size_8×8_flag)만을 이용하였으나, 32×32 또는 그 이상의 크기를 갖는 매크로블록에서는 상기 플래그 외에 16×16 화소단위의 직교변환을 이용하였는지를 확인하는 플래그를 추가적으로 이용하는 것이 가능하다. 상기 플래그들을 이용함으로써, 16×16, 8×8, 4×4 화소단위의 직교변환을 이용하였는지를 확인할 수 있다.

도 19는 본 발명의 실시예에 따른 DC 변환 크기를 나타내는 플래그를 통하여, 적용할 화면 내 예측의 크기를 정하는 단계가 포함된 매크로블록 복호화 과정을 나타낸다. 상기 DC 변환 크기를 나타내는 플래그를 통해 화면 내 예측 크기를 추정하는 것이 가능한데, 만약 서브매크로블록 타입이 화면 내 예측 타입이고(1910), 4×4 화소단위의 직교변환을 이용하였다면, 4×4 블록의 화면 내 예측부호화를 적용하고, 서브매크로블록 타입이 화면 내 예측 타입이고, 8×8 화소단위의 직교변환을 이용하였다면, 8×8 블록의 화면 내 예측부호화를 적용하며, 서브매크로블록 타입이 화면 내 예측 타입이고, 16×16 화소단위의 직교변환을 이용하였다면, 16×16 블록의 화면 내 예측부호화를 적용할 수 있다(1930, 1940).

도 19에 도시된 바와 같이, 매크로블록의 복호화 과정에는 부호화 블록패턴(coded_block_pattern) 정보를 획득하는 단계(1920)가 포함되며, 상기 부호화 블록패턴 정보는 하나의 매크로블록 내의 블록들이 부호화된 계수(coded_coefficient)를 포함하는지를 표시하기 위해 이용된다.

도 20은 H.264/AVC에서의 부호화 블록패턴을 표시하는 방법을 나타낸다. 도 20에 도시된 바와 같이, H.264/AVC에서는 하나의 매크로블록에 대해 6비트(휘도 신호에 대해 4비트, 색차 신호에 대해 2비트)를 사용할 수 있다. 매크로블록 크기가 16×16인 경우에 있어서, 휘도 신호에 있어서 8×8 블록마다 1비트를 사용하는데, 만약 부호화된 계수가 있다면, '1'이 부호화되고, 부호화된 계수가 없다면, '0'을 부호화한다. 한편, 색차 신호(Cr, Cb)에 있어서는, 색차 신호인 Cr, Cb 내에 직류(DC) 신호가 있다면, '1'이 부호화되고, 직류 신호가 없다면, '0'이 부호화되며, 마찬가지로 색차 신호인 Cr, Cb 내에 교류(AC) 신호가 있다면, '1'이 부호화되고, 교류 신호가 없다면, '0'이 부호화된다.

그러나, 매크로블록의 크기가 현재의 16×16 보다 큰 32×32 또는 그 이상의 크기를 갖는 매크로블록에 있어서는, 부호화 효율 및 복잡도를 고려하여 부호화 블록패턴을 표시하는 방법이 변경될 필요가 있다.

도 21은 본 발명의 실시예에 따른 32×32 매크로블록에 있어서 계층적으로 부호화 블록패턴을 표시하는 방법을 나타낸다. 도 21a에 도시된 바와 같이, 도 20과 관련하여 설명된 방법을 적용하여, 휘도 신호에 있어서 16×16 블록마다 1비트를 사용하고, 색차 신호(Cr, Cb)에 있어서 직류 신호와 교류 신호 각각에 대해 1비트를 사용할 수 있다. 나아가, 휘도 신호에 있어서 16×16 블록의 부호화 블록패턴의 비트가 '0'이면 16×16 블록 하에서는 추가적인 정보가 없지만, 만약 부호화 블록패턴의 비트가 '1'이면, 16×16 블록에 있어서 추가적으로 4비트를 사용하는 것이 가능하다. 즉, 16×16 블록 내의 8×8 블록들 각각이 부호화된 계수를 포함하는지 여부를 표시하기 위해 1비트씩 사용될 수 있다(도 21b). 색차 신호에 있어서는, 도 21c에 도시된 바와 같이, 색차 신호인 Cr, Cb 내에 직류 신호가 존재하여 부호화 블록패턴의 비트가 '1'이면, 추가적으로 색차 신호의 성분인 Cr, Cb 각각이 부호화된 계수를 포함하는지 여부를 표시하기 위해 1비트가 사용될 수 있다. 마찬가 지로, 색차 신호인 Cr, Cb 내에 교류 신호가 존재하여 부호화 블록패턴의 비트가 '1'이면, 추가적으로 색차 신호의 성분인 Cr, Cb 각각이 부호화된 계수를 포함하는지 여부를 표시하기 위해 1비트가 사용될 수 있다.

도 22는 본 발명의 또 다른 실시예에 따른 32×32 매크로블록에 있어서 부호화 블록패턴을 표시하는 방법을 나타낸다. 도 22a에 도시된 바와 같이, 휘도 신호에 있어서 16×16 블록마다 1비트를 사용하고, 색차 신호에 있어서 색차 신호의 성분인 Cr, Cb 신호 각각에 대해 1비트를 사용할 수 있다. 나아가, 도 20과 관련하여 설명된 바와 같이, 휘도 신호에 있어서 16×16 블록의 부호화 블록패턴의 비트가 '0'이면 16×16 블록 하에서는 추가적인 정보가 없지만, 만약 부호화 블록패턴의 비트가 '1'이면, 16×16 블록에 있어서 추가적으로 4비트를 사용하는 것이 가능하다. 즉, 도 22(b)에 도시된 바와 같이, 16×16 블록 내의 8×8 블록들 각각이 부호화된 계수를 포함하는지 여부를 표시하기 위해 1비트씩 사용될 수 있다. 또한, 색차 신호에 있어서도 휘도 신호와 마찬가지로, 색차 신호의 성분인 16×16 블록의 Cr, Cb 신호 각각의 부호화 블록패턴의 비트가 '0'이면, 16×16 블록 하에서는 추가적인 정보가 없지만, 만약 부호화 블록패턴의 비트가 '1'이면, 16×16 블록에 있어서 추가적으로 4비트를 사용하는 것이 가능하다(도 22b).

도 23은 본 발명의 실시예에 따른 하나의 매크로블록에 있어서 화면 간 예측 부호화와 화면 내 예측 부호화 모두를 이용하는 화면 간/화면 내 혼합 모드 예측(inter/intra mixed mode prediction)을 나타낸다.

현재의 H.264/AVC에서는, 하나의 매크로블록에서 화면 간 예측 부호화 또는 화면 내 예측 부호화 중 하나의 예측 방법만을 이용할 수 있다. 그러나, 매크로블록의 크기가 현재의 16×16 보다 큰 32×32 또는 그 이상의 크기를 갖는 매크로블록에 있어서 하나의 매크로블록에 있어서 화면 간 예측 부호화와 화면 내 예측 부호화 모두를 이용함으로써 보다 높은 압축 성능을 달성할 수 있다. 32×32 매크로블록 내 서브매크로블록들이 상이한 크기를 갖도록 함으로써, 즉 32×32 매크로블록 내에서 서브매크로블록에서의 복수개의 화면 내 예측 모드를 채택함으로써 높은 압축 성능을 달성할 수도 있지만, 도 23에 도시된 바와 같이, 하나의 매크로블록 내 서브매크로블록들을 화면 간 예측 또는 화면 내 예측을 혼합하여 예측함으로써 더 높은 압축 성능을 달성할 수 있다.

한편, 매크로블록이 화면 내 예측을 이용하여 코딩된 서브매크로블록 및 화면 간 예측을 이용하여 코딩된 서브매크로블록을 포함하는 경우, 각각의 서브매크로블록이 화면 간 예측 또는 화면 내 예측되었는지를 표시하는 예측 모드 플래그 정보(prediction mode flag)를 각각의 서브매크로블록마다 전송하고, 나아가 화면 간 예측 부호화된 서브매크로블록에 대해서는 화면 간 예측 정보(참조 픽쳐 인덱스 정보, 움직임 벡터 정보 등)를 전송하고, 화면 내 예측 부호화된 서브매크로블록에 대해서는 예측 방향 정보를 각각의 서브매크로블록마다 전송할 수 있다.

한편, DC 변환 크기를 나타내는 DC 변환 크기 플래그 정보를 전송함으로써, 도 19를 참조하여 설명한 바와 같이 화면 내 예측 부호화된 서브매크로블록의 예측 모드를 특정할 수 있다.

또한, 전술한 바와 같이 각각의 서브매크로블록에 대하여 각 서브매크로블록 이 화면 간 예측 또는 화면 내 예측되었는지를 표시하는 상기 플래그 정보를 전송하기 이전에 하나의 매크로블록 내의 모든 서브매크로블록이 동일한 예측 타입(화면 간 예측 또는 화면 내 예측 부호화)으로 부호화되지 않았는지, 즉 하나의 매크로블록이 화면 내 예측을 이용하여 코딩된 서브매크로블록 및 화면 간 예측을 이용하여 코딩된 서브매크로블록을 포함하는지를 표시하는 혼합 예측 모드 플래그 정보(NOT_MIXED_MODE)를 전송함으로써, 하나의 매크로블록 내의 서브매크로블록이 동일한 예측 타입으로 부호화되지 않은 경우, 즉 하나의 매크로블록이 화면 내 예측을 이용하여 코딩된 서브매크로블록 및 화면 간 예측을 이용하여 코딩된 서브매크로블록을 포함하는 경우에 전술한 바와 같이 각각의 서브매크로블록이 화면 간 예측 또는 화면 내 예측되었는지를 표시하는 예측 모드 플래그 정보(prediction mode flag)를 각각의 서브매크로블록마다 전송하고, 나아가 화면 간 예측 부호화된 서브매크로블록에 대해서는 예측 모드를 전송하고, 각각의 서브매크로블록에 대해서 변환 크기 플래그 정보를 전송함으로써 화면 내 예측 부호화된 서브매크로블록의 예측 모드를 특정할 수 있다.

도 24는 본 발명의 실시예에 따른 혼합 예측 모드 결정부를 포함하는 복호화기를 나타낸다. 상기 복호화기는 혼합 예측 모드 결정부(2410), 예측 모드 플래그 정보 획득부(2420), 제 1 서브매크로블록 예측값 획득부(2430) 및 제 2 서브매크로블록 예측값 획득부(2440)를 포함한다. 상기 혼합 예측 모드 결정부(2410)는 매크로블록의 블록 타입을 획득하고, 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 상기 매크로블록이 화면 내 예측을 이용하여 코딩된 서브매크로블록 및 화면 간 예측을 이용하여 코딩된 서브매크로블록을 포함하는지를 확인하고, 상기 예측 모드 플래그 정보 획득부(2420)는 상기 매크로블록이 화면 내 예측을 이용하여 코딩된 서브매크로블록 및 화면 간 예측을 이용하여 코딩된 서브매크로블록을 포함하는 경우, 상기 서브매크로블록이 화면 내 예측 예측을 이용하여 코딩되었는지, 화면 간 예측을 이용하여 코딩되었는지를 표시하는 예측 모드 플래그 정보(prediction mode flag)를 획득하고, 상기 제 1 서브매크로블록 예측값 획득부(2430)는 상기 예측 모드 플래그 정보에 기초하여, 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩된 경우, 상기 서브매크로블록에 인접한 블록으로부터 예측 방향 정보를 획득하고, 상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하며, 상기 제 2 서브매크로블록 예측값 획득부(2440)는 상기 예측 모드 플래그 정보에 기초하여, 상기 서브매크로블록이 화면 간 예측을 이용하여 코딩된 경우, 상기 서브매크로블록에 인접한 블록으로부터 움직임 정보를 획득하고, 상기 움직임 정보에 기초하여 상기 서브매크로블록의 예측값을 획득한다.

또한, 상기 혼합 예측 모드 결정부(2410)는 상기 매크로블록이 화면 내 예측을 이용하여 코딩된 서브매크로블록 및 화면 간 예측을 이용하여 코딩된 서브매크로블록을 포함하는지를 표시하는 혼합 예측 모드 플래그 정보(NOT_MIX_MODE)를 획득할 수 있고, 화면 내 예측부는 DC 변환(Discrete Cosine Transform) 크기를 나타내는 DC 변환 크기 플래그 정보를 획득하고, 상기 DC 변환 크기 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 DC 변환 크기 결정부를 포함함으로써, 상기 결정된 DC 변환 크기에 기초하여 상기 화면 내 예측을 이용하여 코딩된 서브매크로블록의 예측 크기를 결정할 수 있다.

이상에서 설명한 바와 같이, 본 발명이 적용되는 비디오 신호 복호화 방법 및 장치는 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호를 복호화하는데 사용될 수 있다. 이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

본 발명은 비디오 신호를 부호화하고 복호화하는데 적용될 수 있다.

도 1은 H.264/AVC 부호화기를 나타낸다.

도 2는 H.264/AVC 복호화기를 나타낸다.

도 3은 본 발명의 실시예에 따른 다운샘플링된 프레임 복호화부와 레지듀얼 데이터 복호화부를 포함하는 H.264/AVC 복호화기를 나타낸다.

도 4는 본 발명의 실시예에 따른 (a) 레지듀얼 부호화부를 포함하는 부호화기 및 (b) 레지듀얼 복호화부를 포함하는 복호화기를 개략적으로 나타낸다.

도 5는 본 발명의 실시예에 따른 레지듀얼 데이터에 대해서 화면 내 예측을 수행하는 화면 내 예측부를 포함하는 레지듀얼 복호화부를 포함하는 복호화기를 나타낸다.

도 8은 H.264/AVC에서 4×4 블록에서 사용하는 화면 내 예측 모드들을 나타낸다.

도 9는 본 발명의 실시예에 따른 매크로블록이 32×32 블록인 경우, 4×4 블록에서 사용하는 화면 내 예측 방법을 나타낸다.

도 10은 H.264/AVC의 화면 간 예측에 있어서 현재 블록의 움직임 벡터를 예측하는 방법을 나타낸다.

도 11은 H.264/AVC에서의 움직임 보상 블록 크기를 나타낸다.

도 12는 H.264/AVC에서의 참조픽쳐번호 할당 방법을 나타낸다.

도 13은 본 발명의 실시예에 따른 32×32 매크로블록에 있어서의 참조픽쳐번호 할당 방법을 나타낸다.

도 14는 본 발명의 실시예에 따른 32×32 매크로블록에 있어서의 참조픽쳐번호 할당 방법을 나타내는 신택스 구조를 나타낸다.

도 15는 본 발명의 실시예에 따른 32×32 매크로블록 크기에 있어서, (a) P 매크로블록 및 (b) B 매크로블록의 서브매크로블록 타입을 나타낸다.

도 16은 본 발명의 실시예에 따른 서브매크로블록에 화면 내 예측 타입이 추가된 경우에 있어서의 매크로블록 복호화 과정을 나타낸다.

도 17은 본 발명의 실시예에 따른 화면 내 예측부 및 화면 간 예측부를 포함하는 복호화기를 나타낸다.

도 18은 본 발명의 실시예에 따른 서브매크로블록에 대해 화면 내 예측을 수행할지 여부를 알려주는 플래그 정보를 수신하는 단계가 포함된 매크로블록 복호화 과정을 나타낸다.

도 19는 본 발명의 실시예에 따른 DC 변환 크기를 나타내는 플래그를 통하여, 적용할 화면 내 예측의 크기를 정하는 단계가 포함된 매크로블록 복호화 과정을 나타낸다.

도 20은 H.264/AVC에서의 부호화 블록패턴을 표시하는 방법을 나타낸다.

도 21은 본 발명의 실시예에 따른 32×32 매크로블록에 있어서 계층적으로 부호화 블록패턴을 표시하는 방법을 나타낸다.

도 22는 본 발명의 또 다른 실시예에 따른 32×32 매크로블록에 있어서 부호화 블록패턴을 표시하는 방법을 나타낸다.

도 24는 본 발명의 실시예에 따른 혼합 예측 모드 결정부를 포함하는 복호화기를 나타낸다.

Claims

매크로블록의 블록 타입을 획득하는 단계;

상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 서브매크로블록의 블록 타입을 획득하는 단계;

DC 변환(Discrete Cosine Transform) 크기를 나타내는 플래그 정보를 획득하는 단계;

상기 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 단계; 및

상기 서브매크로블록의 블록 타입에 기초하여 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩된 경우, 상기 결정된 DC 변환 크기에 기초하여 상기 화면 내 예측을 이용하여 코딩된 서브매크로블록의 예측 크기를 결정하는 단계;

상기 서브매크로블록의 예측 크기에 기초하여 상기 서브매크로블록에 인접한 블록으로부터 예측 방향 정보를 획득하는 단계; 및

상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 복호화 방법.
제 1 항에 있어서,

부호화 블록 패턴 정보를 획득하는 단계를 더 포함하되, 상기 부호화 블록 패턴 정보는 상기 서브매크로블록들이 부호화된 계수를 포함하는지를 나타내는 것 을 특징으로 하는 비디오 신호 복호화 방법.
제 1 항 또는 제 2 항에 있어서,

상기 결정된 DC 변환 크기를 기준으로 역변환을 수행하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 복호화 방법.
매크로블록의 블록 타입을 획득하는 단계;

상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 서브매크로블록의 블록 타입을 획득하는 단계;

DC 변환(Discrete Cosine Transform) 크기를 나타내는 플래그 정보를 획득하는 단계;

상기 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 단계;

상기 서브매크로블록의 블록 타입에 기초하여 상기 서브매크로블록이 화면 간 예측을 이용하여 코딩된 경우, 상기 서브매크로블록에 인접한 블록으로부터 움직임 정보를 획득하는 단계;

상기 움직임 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 단계; 및

상기 결정된 DC 변환 크기를 기준으로 역변환을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 복호화 방법.
제 4 항에 있어서,

부호화 블록 패턴 정보를 획득하는 단계를 더 포함하되, 상기 부호화 블록 패턴 정보는 상기 서브매크로블록들이 부호화된 계수를 포함하는지를 나타내는 것을 특징으로 하는 비디오 신호 복호화 방법.
매크로블록의 블록 타입을 획득하는 단계;

상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩되었는지를 확인하는 제 1 플래그 정보를 획득하는 단계;

DC 변환(Discrete Cosine Transform) 크기를 나타내는 제 2 플래그 정보를 획득하는 단계;

상기 제 2 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 단계;

상기 제 1 플래그 정보에 기초하여, 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩된 경우, 상기 결정된 DC 변환 크기에 기초하여 상기 화면 내 예측을 이용하여 코딩된 서브매크로블록의 예측 크기를 결정하는 단계;

상기 서브매크로블록의 예측 크기에 기초하여 상기 서브매크로블록에 인접한 블록으로부터 예측 방향 정보를 획득하는 단계; 및

상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 복호화 방법.
매크로블록의 블록 타입을 획득하는 단계;

상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩되었는지를 확인하는 제 1 플래그 정보를 획득하는 단계;

상기 제 1 플래그 정보에 기초하여, 상기 서브매크로블록이 화면 간 예측을 이용하여 코딩된 경우, 서브매크로블록의 블록 타입 및 상기 서브매크로블록에 인접한 블록으로부터 움직임 정보를 획득하는 단계;

DC 변환 크기를 나타내는 제 2 플래그 정보를 획득하는 단계;

상기 제 2 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 단계;

상기 서브매크로블록의 블록 타입 및 움직임 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 단계; 및

상기 결정된 DC 변환 크기를 기준으로 역변환을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 복호화 방법.
제 6 항 또는 제 7 항에 있어서,

부호화 블록 패턴 정보를 획득하는 단계를 더 포함하되, 상기 부호화 블록 패턴 정보는 상기 서브매크로블록들이 부호화된 계수를 포함하는지를 나타내는 것 을 특징으로 하는 비디오 신호 복호화 방법.
매크로블록의 블록 타입을 획득하고, 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 서브매크로블록의 블록 타입을 획득하는 매크로블록 타입 획득부;

DC 변환(Discrete Cosine Transform) 크기를 나타내는 플래그 정보를 획득하고, 상기 플래그 정보에 기초하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 DC 변환 크기 결정부; 및

상기 서브매크로블록의 블록 타입에 기초하여 상기 서브매크로블록이 화면 내 예측을 이용하여 코딩된 경우, 상기 결정된 DC 변환 크기에 기초하여 상기 화면 내 예측을 이용하여 코딩된 서브매크로블록의 예측 크기를 결정하고, 상기 서브매크로블록의 예측 크기에 기초하여 상기 서브매크로블록에 인접한 블록으로부터 예측 방향 정보를 획득하며, 상기 예측 방향 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 서브매크로블록 예측값 획득부를 포함하는 것을 특징으로 하는 비디오 신호 복호화 장치.
매크로블록의 블록 타입을 획득하고, 상기 매크로블록의 블록 타입에 따라 상기 매크로블록이 복수개의 코딩된 서브매크로블록을 포함하는 경우, 서브매크로블록의 블록 타입을 획득하는 매크로블록 타입 획득부;

DC 변환 크기를 나타내는 플래그 정보를 획득하고, 상기 플래그 정보에 기초 하여 코딩된 서브매크로블록의 DC 변환 크기를 결정하는 DC 변환 크기 결정부;

상기 서브매크로블록의 블록 타입에 기초하여 상기 서브매크로블록이 화면 간 예측을 이용하여 코딩된 경우, 상기 서브매크로블록에 인접한 블록으로부터 움직임 정보를 획득하고, 상기 움직임 정보에 기초하여 상기 서브매크로블록의 예측값을 획득하는 서브매크로블록 예측값 획득부; 및

상기 결정된 DC 변환 크기를 기준으로 역변환을 수행하는 역변환부를 포함하는 것을 특징으로 하는 비디오 신호 복호화 장치.