KR20120129944A

KR20120129944A - 비디오 신호의 처리 방법 및 장치

Info

Publication number: KR20120129944A
Application number: KR1020127023310A
Authority: KR
Inventors: 박승욱; 박준영; 김정선; 최영희; 전용준; 성재원; 전병문; 임재현
Original assignee: 엘지전자 주식회사
Priority date: 2010-02-10
Filing date: 2011-02-10
Publication date: 2012-11-28
Also published as: WO2011099792A3; US9100649B2; US20130051469A1; CN102754442A; EP2536151A4; EP2536151A2; WO2011099792A2

Abstract

본 발명은 비디오 신호를 인코딩 또는 디코딩 하는 방법 및 장치를 개시한다. 본 발명에 따른 비디오 신호 처리 방법에서는 현재 블록의 분할 여부 또는 병합 여류를 지시하는 정보에 의하여 블록의 형태가 결정되고, 각 서브-블록에 대하여 복원된 주변 픽셀들을 이용하여 상기 서브-블록의 예측값을 획득하고, 이를 이용하여 현재 블록을 복원한다. 이 때 예측값을 획득하기 위하여 이용되는 픽셀들에는 현재 블록에 포함된 다른 서브-블록들의 복원된 픽셀들이 포함될 수 있고, 예측 값을 획득하기 위한 예측 모드에 있어서 서브-블록들의 형태가 고려될 수 있다.

Description

비디오 신호의 처리 방법 및 장치 {METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL}

본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 효율적으로 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.

압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나, 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.

본 발명은 상기와 같은 요구를 해결하기 위해 창안된 것으로써, 본 발명에 따른 비디오 신호의 처리 방법은 다양한 움직임 예측 방법을 통한 고효율의 영상 압축을 구현하는데 목적이 있다.

또한, 본 발명은 화면내 예측에서 여러가지 형태의 예측 블록을 이용하는 경우에도 효율적이고 정확한 예측 방법을 제시하는데 있다.

또한, 예측 모드를 나타내는 번호 할당을 효율적으로 하여 압축률을 높이고자 함에 있다.

또한, 색차 성분의 화면내 예측에 있어서 보다 정확하고 효율적인 예측 방법을 제시하는데 있다.

또한, 화면간 예측에 있어서 현재 블록의 모션 벡터를 보다 정확하게 예측하여 비디오 신호를 효율적으로 처리하고자 함에 있다.

상기 목적을 달성하기 위하여 본 발명은 화면내 예측에 있어서 분할 플래그, 병합 플래그 등의 정보를 이용하여 다양한 형태의 예측 블록 형태를 제공한다.

또한, 본 발명은 화면내 예측에서 주변 블록의 예측 모드를 이용하여 현재 블록의 가장 가능성 높은 예측 모드를 예측함에 있어서, 여러가지 크기와 모양의 예측 블록을 이용하는 경우에도 적합하게 사용할 수 있는 예측 방법을 제공한다.

또한, 본 발명은 예측 모드를 나타내는 번호를 예측 블록에 따라 적응적으로 할당하는 방법을 제공한다.

또한, 본 발명은 색차 성분의 화면내 예측에 있어서 분할된 서브-예측 블록을 그 주변 픽셀을 이용하여 예측하고 독립적으로 복원하는 방법을 제공한다.

또한, 본 발명은 색차 성분의 예측에 휘도 성분을 이용하는 새로운 화면내 예측 모드와 이를 이용하는 신택스를 제공한다.

또한, 본 발명은 화면간 예측에 있어서 현재 블록의 모션 벡터를 보다 정확하게 예측하기 위하여 주변 인트라 블록의 모션 벡터를 유도하는 방법을 제공한다.

본 발명에서 제시하는 다양한 실시예를 통해, 효율적인 영상 부호화 및 복호화가 가능하게 된다.

보다 구체적으로, 화면내 예측에 있어서 가장 가능성이 높은 예측 모드를 효율적으로 예측할 수 있다. 특히 다양한 크기와 모양의 예측 블록을 이용할 수 있으며, 이러한 다양한 경우에 적합하도록 예측 모드를 유도할 수 있다. 또한, 예측 모드에 대한 번호를 보다 적응적으로(adaptively) 할당함으로써 적은량의 정보를 이용하여 효율적으로 예측 모드를 표현할 수 있다. 또한, 색차 성분의 예측에 있어서 분할된 각 서브-예측 블록을 독립적으로 복원하고, 각 서브 예측 블록 주변의 픽셀들을 이용함으로써 보다 정확한 예측을 할 수 있도록 한다. 또한, 색차 성분의 예측에 휘도 성분을 이용하여 전송되는 정보량을 줄일 수 있다.

화면간 예측에 있어서, 모션 정보를 갖지 않는 인트라 블록에 대하여도 모션 벡터를 예측함으로써 보다 정확한 모션 벡터 예측값을 획득할 수 있도록 할 수 있다. 또한, 색차 성분의 예측에 있어서 휘도 성분을 이용하거나 모션 보상을 이용한 방법과 혼용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치의 개략적인 블록도.
도 3은 H.264/AVC의 Intra 4X4 모드에서의 9가지의 예측 모드 및 그 방향을 도시한 도면.
도 4는 본 발명의 일 실시예에 따라 현재 블록의 예측 모드로 가장 가능성이 높은 모드(most probable mode)를 유도하는데 사용하는 이웃 블록들을 도시한 도면.
도 5는 2Nx2N 예측 블록의 분할 형태를 예시한 도면.
도 6은 화면내 예측 모드에서 임의의 예측 방향을 도시한 도면.
도 7 내지 도 8은 본 발명의 실시예들에 따른 예측 모드 번호 할당을 설명하기 위한 도면.
도 9(a) 내지 (c)는 본 발명의 일 실시예에 따라, 하나의 예측 블록이 사분할 된 경우에 있어서 화면내 예측을 위하여 예측 블록 주변들의 색차 성분을 이용하는 것을 도시한 도면.
도 10은 본 발명의 일 실시예에 따라 하나의 예측 블록이 사분할 된 경우에 있어서 화면내 예측을 위하여 각 서브-예측 블록이 이용하는 영역을 도시한 도면.
도 11은 새로운 화면내 예측 모드를 사용하는지 여부에 대한 플래그 정보를 포함하는 신택스의 일 예.
도 12는 색차 성분에 대한 복원 과정을 도시한 순서도.
도 13은 인트라 블록의 모션 벡터를 예측하기 위하여 이용되는 이웃 블록들을 도시한 도면.
도 14는 본 발명의 일 실시예에 따라, 인트라 블록의 모션 벡터를 찾기 위하여 템플릿 매칭 방법을 사용하는 방법을 설명하기 위한 도면.
도 15는 새로운 화면간 예측 모드를 사용하는지 여부에 대한 플래그 정보를 포함하는 신택스의 일 예.
도 16은 화면간 예측 모드 중 혼합(hybrid) 모드를 사용할 것인지 여부를 나타내는 플래그를 포함하는 신택스의 일 예.

발명의 실시를 위한 최선의 형태

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 처리 방법은 현재 블록의 분할 여부를 지시하는 분할 정보를 획득하고, 분할 정보가 현재 블록이 분할되었음을 나타낼 경우, 현재 블록을 정방형의 서브-블록들로 분할하고, 현재 픽쳐 내의 복원된 픽셀들을 이용하여 서브-블록들의 예측값을 획득하여, 이를 이용하여 현재 블록을 복원하는 단계를 포함할 수 있다. 예측값을 획득하는데 이용되는 현재 픽쳐 내의 복원된 픽셀들에는 현재 블록 내의 다른 서브 블록들의 복원된 픽셀들이 포함될 수 있다.

본 발명에 따른 비디오 신호 처리 방법은 현재 블록의 서브-블록들이 병합 여부를 나타내는 병합 플래그 정보를 획득하는 단계를 더 포함하여, 병합 플래그가 현재 블록이 병합 된 것을 나타내는 경우 병합된 블록의 형태에 대하여 예측값이 획득되게 된다. 이 때 서브-블록의 병합은 수직 또는 수평으로 인접된 서브-블록 간에 이루어지고, 따라서 병합된 서브-블록의 형태는 직사각형 형태가 될 수 있다.

본 발명에 따른 비디오 신호 처리 방법은 현재 블록의 상단 이웃 또는 좌측 이웃의 예측 모드를 이용하여 현재 블록의 예측 모드를 예측하는 단계를 더 포함하여, 예측값을 획득하는 단계는 예측 모드가 지시하는 방향에 위치한 참조 픽셀들을 이용하되, 예측 모드를 예측하는데 있어서, 서브-블록의 분할 형태를 고려할 수 있다.

본 발명에 따른 비디오 신호 처리 방법에서는, 현재 블록의 예측 모드에 대하여 예측 번호를 할당하는데, 발생할 빈도를 고려하여 보다 효율적으로 예측 번호를 할당할 수 있다. 예를 들면, 상단 이웃 또는 좌측 이웃 블록의 예측 모드 중 작은 값을 선택하고 나머지 값에 대하여 낮은 예측 번호를 할당하거나, 선택된 예측 모드의 인접한 예측 모드들에 대하여 낮은 예측 번호를 할당할 수 있다.

발명의 실시를 위한 형태

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있고, 기재되지 않은 용어라도 하기 취지에 따라 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛(unit)'은 영상 처리의 기본 단위 또는 영상의 특정 위치를 지칭하는 의미로 사용되었으며, 경우에 따라서는 '블록(block)' 또는 '영역(area)' 등의 용어와 서로 혼용하여 사용될 수 있다.

도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치(100)의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 크게 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.

변환부(110)는 입력 받은 비디오 신호에 대한 화소값을 변환하여 변환 계수 값을 획득한다. 이러한 변환 방법으로는, 예를 들어, 이산 코사인 변환(DCT: Discrete Cosine Transform) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 특히 이산 코사인 변환은 입력된 영상 신호를 일정 크기의 블록 형태로 나누어 변환을 수행하게 된다.

양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 원래의 화소값을 복원한다.

필터링부(130)는 복원된 영상의 품질 개선을 위한 필터링 연산을 수행한다. 필터링 부에는, 예를 들어, 디블록킹 필터 및/또는 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 영상은 출력되거나 참조 영상으로 이용하기 위하여 프레임 저장부(156)에 저장된다.

코딩 효율을 높이기 위하여 영상 신호를 그대로 코딩하는 것이 아니라, 이미 코딩된 영역을 이용하여 영상을 예측하고, 예측된 영상에 원 영상과 예측 영상간의 레지듀얼 값을 더하여 복원 영상을 획득하는 방법이 사용된다. 인트라 예측부(152)에서는 현재 영상 내에서 예측을 수행하며, 인터 예측부(154)에서는 프레임 저장부(156)에 저장된 적어도 하나 이상의 참조 영상을 이용하여 현재 영상을 예측한다. 인트라 예측부(152)는 현재 영상 내의 복원된 영역들로부터 화면내 예측을 수행하여, 화면내 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인터 예측부(154)는 다시 움직임 보상부(162) 및 움직임 추정부(164)를 포함하여 구성될 수 있다. 움직임 추정부(164)에서는 복원된 특정 영역을 참조하여 현재 영역의 모션 벡터값을 획득한다. 움직임 추정부(164)에서는 참조 영역의 위치 정보(참조 프레임, 모션 벡터 등) 등을 엔트로피 코딩부(160)로 전달하여 비트스트림에 포함될 수 있도록 한다. 움직임 추정부(164)에서 전달된 모션 벡터값을 이용하여 움직임 보상부(162)에서는 화면간 움직임 보상을 수행한다.

엔트로피 코딩부(160)는 양자화된 변환 계수, 화면간 부호화 정보, 화면내 부호화 정보 및 인터 예측부(154)로부터 입력된 참조 영역 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 엔트로피 코딩부(160)에서는 가변 길이 코딩(VLC: Variable Length Coding) 방식과 산술 코딩(arithmetic coding) 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(CAVLC: Context-based Adaptive Variable Length Coding) 방식이 사용될 수 있다. 산술 코딩은 연속적인 데이터 심볼들을 하나의 소수로 변환하는 데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(CABAC: Context-based Adaptive Binary Arithmetic Code)가 이용될 수 있다.

도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 크게 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230), 예측부(250)를 포함한다.

엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 부호화 타입, 각 영역에 대한 변환 계수, 모션 벡터 등을 추출한다. 역양자화부(220)는 엔트로피 디코딩된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 원래의 화소값을 복원한다.

또한, 예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함하고, 전술한 엔트로피 디코딩부(210)를 통해 디코딩된 부호화 타입, 각 영역에 대한 변환 계수, 모션 벡터 등의 정보를 활용하여 예측 영상을 복원하게 된다.

인트라 예측부(252)에서는 현재 영상 내의 디코딩된 샘플로부터 화면내 예측 영상을 생성하게 된다. 또한, 상기 인터 예측부(254)는 프레임 저장부(256)에 저장된 참조 영상을 이용하여 예측 영상을 생성하게 된다. 상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측 영상에 역변환부(225)로부터 출력된 화소값이 더해져서 복원된 비디오 프레임이 생성된다.

한편, 필터링부(230)는 상기 복원된 비디오 프레임에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터, 영상 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 영상은 최종 영상으로 출력되고, 또한 다음 프레임에 대한 참조 영상으로 이용하기 위하여 프레임 저장부(256)에 저장된다.

코딩 유닛이란 상기에서 설명한 비디오 신호의 처리 과정, 예를 들어 화면내(intra)/화면간(inter) 예측, 변환(transform), 양자화(quantization) 및/또는 엔트로피 코딩(entropy coding) 등의 과정에서 영상을 처리하기 위한 기본 단위를 의미한다. 하나의 영상을 코딩하는 데 있어서 사용되는 코딩 유닛의 크기는 일정하지 않을 수 있다. 코딩 유닛은 사각형 형태를 가질 수 있고, 하나의 코딩 유닛은 다시 여러 개의 코딩 유닛으로 분할 가능하다. 예를 들어, 2N x 2N 크기를 가지는 하나의 코딩 유닛은 다시 네 개의 NxN 크기를 가지는 코딩 유닛으로 분할될 수 있다. 이러한 코딩 유닛의 분할은 재귀적으로 이루어질 수 있으며, 모든 코딩 유닛들이 동일한 형태로 분할 될 필요는 없다. 다만 코딩 및 처리과정에서의 편의를 위하여 코딩 유닛의 최대 크기 또는 최소 크기에 대한 제한이 있을 수 있다.

하나의 코딩 유닛에 대하여, 해당 코딩 유닛이 분할 되는지 여부를 나타내는 정보를 지정할 수 있다. 예를 들어, 분할 여부를 나타내는 플래그 값이 1이면 해당 노드에 대응하는 블록은 다시 4개의 블록으로 나누어지고, 0이면 더 이상 나누어지지 않고 해당 코딩 유닛에 대한 처리 프로세스가 수행될 수 있다.

상기에서 설명한 코딩 유닛의 구조는 재귀적인 트리 구조를 이용하여 나타낼 수 있다. 즉, 하나의 영상 또는 최대 크기 코딩 유닛을 루트(root)로 하여, 다른 코딩 유닛으로 분할 되는 코딩 유닛은 분할된 코딩 유닛의 개수만큼의 자식(child) 노드를 가지게 된다. 따라서, 더 이상 분할되지 않는 코딩 유닛이 리프(leaf) 노드가 된다. 하나의 코딩 유닛에 대하여 정방형 분할만이 가능하다고 가정할 때, 하나의 코딩 유닛은 최대 4개의 다른 코딩 유닛으로 분할 될 수 있으므로 코딩 유닛 구조를 나타내는 트리는 쿼드 트리(Quard tree) 형태가 될 것이다.

인코더에서는 비디오 영상의 특성(예를 들어, 해상도)에 따라서 혹은 코딩의 효율을 고려하여 최적의 코딩 유닛의 크기를 선택하고 이에 대한 정보 또는 이를 유도할 수 있는 정보가 비트스트림에 포함될 수 있다. 예를 들면, 최대 코딩 유닛의 크기 및 트리의 최대 깊이를 정의할 수 있다. 정방형 분할을 할 경우, 코딩 유닛의 높이 및 너비는 부모 노드의 코딩 유닛의 높이 및 너비의 반이 되므로, 상기와 같은 정보를 이용하면 최소 코딩 유닛 크기를 구할 수 있다. 혹은 역으로, 최소 코딩 유닛 크기 및 트리의 최대 깊이를 미리 정의하여 이용하고, 이를 이용하여 필요할 경우에 최대 코딩 유닛의 크기를 유도하여 이용할 수 있다. 정방형 분할에서 유닛의 크기는 2의 배수 형태로 변화하기 때문에, 실제 코딩 유닛의 크기는 2를 밑으로 하는 로그 값으로 나타내어 전송 효율을 높일 수 있다.

디코더에서는 현재 유닛이 분할 되었는지를 나타내는 정보를 획득할 수 있다. 이러한 정보는 특정 조건 하에만 획득하게(전송되게) 하면 효율을 높일 수 있다. 예를 들어 현재 유닛이 분할 가능한 조건은 현재 위치에서 현재 코딩 유닛 크기를 더한 것이 영상의 크기보다 작고, 현재 코딩 유닛 크기가 기설정된 최소 코딩 유닛 크기보다 큰 경우이므로, 이러한 경우에만 분할 되었는지를 나타내는 정보를 획득할 수 있다.

만약 상기 정보가 코딩 유닛이 분할되었음을 나타내는 경우, 분할될 코딩 유닛의 크기는 현재 코딩 유닛의 반이 되고, 현재 처리 위치를 기준으로하여 4개의 정방형 코딩 유닛으로 분할된다. 각 분할된 코딩 유닛들에 대해서 상기와 같은 처리를 반복할 수 있다.

코딩을 위한 영상 예측(모션 보상)은 더 이상 나누어지지 않는 코딩 유닛(즉 코딩 유닛 트리의 리프 노드)를 대상으로 이루어진다. 이러한 예측을 수행하는 기본 단위를 이하에서는 예측 유닛(prediction unit) 또는 예측 블록(prediction block)이라고 한다. 예측 블록은 다양한 형태로 분할 가능하고, 이하에서는 분할된 각 부분을 서브-예측 유닛 또는 서브-예측 블록이라고 한다. 하나의 예측 블록은 정방형, 직사각형 등의 대칭적인 형태나, 비대칭적인 형태, 혹은 기하학적 형태의 서브-예측 블록으로의 분할 될 수 있다. 비트스트림에는 예측 블록이 분할되었는지 여부, 혹은 어떠한 형태로 분할되었는지에 대한 정보가 포함될 수 있다. 혹은 이러한 정보는 다른 정보들로부터 유도될 수도 있다.

예측에 있어서, 화면내 예측 모드(MODE_INTRA), 직접 예측 모드(MODE_DIRECT), 화면간 예측 모드(MODE_INTER), 스킵 모드(MODE_SKIP) 등 다양한 방식을 사용할 수 있다. 어떠한 모드를 사용하는지는 예측 모드 정보를 통해 나타낼 수 있다. 특정한 경우에는 예측 모드 정보를 전송하지 않고 유도함으로써 전송되는 정보의 양을 줄일 수 있다.

인트라 예측부(252)에서는 현재 영상 내의 복원된 영역들로부터 대상 유닛의 픽셀값을 예측하는 화면내 예측(Intra prediction)을 수행한다. 예를 들어, 현재 유닛을 중심으로, 상단, 좌측, 좌측 상단 및/또는 우측 상단에 위치한 유닛들의 부호화된 픽셀으로부터 현재 유닛의 픽셀값을 예측할 수 있다. 이 때 픽셀값 예측에는 수직, 수평, 대각선 등의 여러 방향에 위치한 참조 픽셀들을 이용하거나 복원된 픽셀들의 평균값을 이용하는 방법을 사용할 수 있다. 이렇게 다양한 예측 방법들에 대하여 몇가지 특정 모드들을 정의하여 이용한다. 도 3은 H.264/AVC의 Intra 4X4 모드에서의 9가지의 예측 모드 및 그 방향을 도시한 것이다. 특히 이 중 픽처의 경계를 벗어나지 않는 픽셀만을 참조해서 평균치를 계산하는 예측을 'DC' 예측(예측모드 2)이라고 한다.

인코더에서는 화면내 예측에 어떠한 모드를 이용하였는지에 대한 정보를 전송하고, 디코더에서는 이러한 모드 정보에 따라 현재 예측 블록에 대한 예측값을 획득한다. 이러한 정보 전송에 있어서 예측 방향의 발생 빈도가 높을 수록 작은 번호를 할당하면, 전송되는 정보량이 줄어들기 때문에 압축 효율을 높일 수 있다. 도 3을 참조하면, 9가지의 예측 모드에 대하여 0~8까지의 번호를 빈도순으로 할당할 수 있다.

현재 예측 블록이 어떠한 예측 모드를 사용하는지는 이웃한 블록들의 예측 모드와 상관 관계가 높기 때문에 이미 부호화된 주변 블록의 예측 모드로부터, 현재 블록의 예측 모드로 가장 가능성이 높은 모드(most probable mode)를 유도(예측)해낼 수 있다. 이하에서는 편의상 이렇게 예측된 모드를 현재 블록의 MPM이라고 한다. 도 4는 본 발명의 일 실시예에 따라 현재 블록이 MPM을 예측하는데 사용하는 이웃 블록들을 도시한 것이다. 도 4를 참조하면, 하나의 영상에서 통상 위에서 아래로, 좌측에서 우측으로 코딩하므로 현재 블록(410)에 대하여 좌측 이웃 블록(420) 및 상단 이웃 블록(430)은 이미 코딩된 영역이다. 일 예로 좌측 이웃 블록의 예측 모드 및 상단 이웃 블록의 예측 모드를 비교하여 작은 번호의 예측 모드를 현재 블록의 MPM으로 이용할 수 있다.

한편, 이웃 블록이 이용 가능(available)하지 않거나, 화면내 예측 모드로 코딩된 블록이 아닌 경우에는 현재 블록의 화면내 예측 모드를 유도하는데 이러한 이웃 블록의 예측 모드 정보를 사용할 수 없다. 따라서 현재 블록에 대한 예측 모드 예측값을 유도하는데 이웃 블록이 어떠한 상태인지에 대한 정보를 이용할 수 있다.

예를 들면, 현재 블록의 좌측 이웃 블록 또는 상단 이웃 블록이 중 어느 하나 이상이 이용 가능하지 않거나 화면간 예측 모드로 코딩된 경우, 혹은 특정 형태의 화면내 예측 모드가 아닌 경우, DC 예측 모드를 현재 블록의 MPM으로 결정할 수 있다. 그 이외의 경우에는 상기에서 설명한 바와 같이 두 이웃 블록의 예측 모드 중 작은 번호가 할당된 예측 모드를 선택할 수 있다.

본 발명의 실시예에 따르면, 예측 블록의 크기 및 모양은 다양할 수 있다. 도 5는 영상에서 2Nx2N 크기의 최소 코딩 유닛, 즉 예측 블록을 몇가지 형태로 나눈 모양을 도시한 것이다. 상기에서 설명한 바와 같이 최대 크기 코딩 유닛(500)은 다시 몇개의 코딩 유닛으로 분할 될 수 있고, 그 중 최소 크기 코딩 유닛(510)이 예측 등에 있어서의 기본 단위가 된다. 도 5를 참조하면, 하나의 예측 블록은 분할되지 않을수도, 4개의 NXN 의 정방형 서브-예측 블록으로, Nx2N 또는 2NxN과 같은 직사각형 형태의 서브-예측 블록으로 분할될 수 도 있다. 디코더 측에서는 다양한 예측 블록의 분할 형태를 나타내는 정보를 수신하여 예측 블록을 나눌 수 있다. 특히 직사각형 형태의 경우는, NxN으로 분할한 서브-예측 블록을 수직 또는 수평으로 병합(merge)하여 생성될 수 있고, 이러한 병합 여부를 나타내기 위한 플래그 정보를 이용할 수 있다. 본 발명에서는, 이러한 다양한 예측 블록의 형태를 고려하여 현재 예측 블록의 화면내 예측 모드를 유도하는 방법을 사용한다.

본 발명의 일 실시예에 따르면, 예측 블록(또는 서브-예측 블록)의 크기가 2Nx2N 또는 NxN, 즉 정방형인 경우 예측 모드는 다음과 같이 유도할 수 있다. 만약 좌측 이웃 블록(420)이 이용 가능하지 않고, 상단 이웃 블록(430)이 이용가능하지 않거나 화면간 예측 모드로 코딩된 경우는 현재 블록의 MPM은 DC 예측 모드로 유도된다. 좌측 이웃 블록(420)이 화면간 예측 모드로 코딩되고, 상단 이웃 블록(430)이 이용 가능하지 않거나 화면간 예측 모드로 코딩된 경우에도, 현재 블록의 MPM은 DC 예측 모드로 유도된다. 좌측 이웃 블록(420) 또는 상단 이웃 블록(430) 중 어느 하나만 화면내 예측 모드로 코딩 되고, 다른 하나는 이용 가능하지 않거나 화면간 예측 모드로 코딩된 경우, 화면내 예측 모드로 코딩된 이웃 블록의 화면내 예측 모드로 현재 블록의 MPM을 유도 하게 된다. 즉, 좌측 이웃 블록(420)이 이용 가능하지 않거나 화면간 예측 모드로 코딩되고, 상단 이웃 블록(430)이 화면내 예측 모드로 코딩된 경우, 상단 이웃 블록(430)의 화면내 예측 모드를 현재 블록의 MPM으로 사용할 수 있다. 이외의 경우에는 상기에서 설명한 바와 마찬가지로 두 이웃 블록의 예측 모드 중 할당 번호가 작은 값으로 현재 블록의 MPM을 결정한다.

현재 예측 블록(혹은 서브-예측 블록)의 크기가 2NxN인 경우에는, MPM은 다음과 같이 유도할 수 있다. 만약 좌측 이웃 블록(420)이 이용 가능하지 않고, 상단 이웃 블록(430)이 이용가능하지 않거나 화면간 예측 모드로 코딩된 경우는 현재 블록의 MPM은 DC 예측 모드로 유도된다. 좌측 이웃 블록(420)이 화면간 예측 모드로 코딩되고, 상단 이웃 블록(430)이 이용 가능하지 않거나 화면간 예측 모드로 코딩된 경우에도, 현재 블록의 MPM은 DC 예측 모드로 유도된다. 좌측 이웃 블록(420) 또는 상단 이웃 블록(430) 중 어느 하나만 화면내 예측 모드로 코딩 되고, 다른 하나는 이용 가능하지 않거나 화면간 예측 모드로 코딩된 경우, 화면내 예측 모드로 코딩된 이웃 블록의 화면내 예측 모드로 현재 블록의 MPM을 유도 하게 된다. 즉, 좌측 이웃 블록(420)이 이용 가능하지 않거나 화면간 예측 모드로 코딩되고, 상단 이웃 블록(430)이 화면내 예측 모드로 코딩된 경우, 상단 이웃 블록(430)의 화면내 예측 모드를 현재 블록의 MPM으로 사용할 수 있다. 이외의 경우에는, 상단 이웃 블록(430)의 예측 모드를 현재 블록의 MPM으로 유도한다.

현재 예측 블록(혹은 서브-예측 블록)의 크기가 Nx2N인 경우에는, MPM은 다음과 같이 유도할 수 있다. 만약 좌측 이웃 블록(420)이 이용 가능하지 않고, 상단 이웃 블록(430)이 이용가능하지 않거나 화면간 예측 모드로 코딩된 경우는 현재 블록의 MPM은 DC 예측 모드로 유도된다. 좌측 이웃 블록(420)이 화면간 예측 모드로 코딩되고, 상단 이웃 블록(430)이 이용 가능하지 않거나 화면간 예측 모드로 코딩된 경우에도, 현재 블록의 MPM은 DC 예측 모드로 유도된다. 좌측 이웃 블록(420) 또는 상단 이웃 블록(430) 중 어느 하나만 화면내 예측 모드로 코딩 되고, 다른 하나는 이용 가능하지 않거나 화면간 예측 모드로 코딩된 경우, 화면내 예측 모드로 코딩된 이웃 블록의 화면내 예측 모드로 현재 블록의 MPM을 유도 하게 된다. 즉, 좌측 이웃 블록(420)이 이용 가능하지 않거나 화면간 예측 모드로 코딩되고, 상단 이웃 블록(430)이 화면내 예측 모드로 코딩된 경우, 상단 이웃 블록(430)의 화면내 예측 모드를 현재 블록의 MPM으로 사용할 수 있다. 이외의 경우에는, 좌측 이웃 블록(420)의 예측 모드를 현재 블록의 MPM으로 유도한다.

상기에서 설명한 바와 같이 현재 블록의 예측 모드를 가장 가능성이 높은 예측 모드로 예측한 경우, 예측한 현재 블록에 대한 예측 모드의 예측값인 MPM과 실제 예측을 수행한 예측 방향이 같은지 여부를 나타내는 정보를 포함하여 전송할 수 있다. 예측 방향이 다른 경우에는 상기 정보는 예측한 방향과 다른 예측 방향임을 나타내고, 예측 방향을 제외한 나머지 예측 모드 중 어느 것으로 예측 부호화를 하였는지를 나타내는 정보를 전송한다. 예측 방향이 같은 경우에는, 별도의 예측 모드에 대한 정보를 전송할 필요가 없으므로 압축 효율을 높이는 것이 가능하다.

도 6은 화면내 예측 모드에서 임의의 예측 방향을 나타낸 것이다. 임의의 예측 방향은 현재 픽셀(610) 및 예측을 위하여 사용하는 참조 픽셀(620)간의 기울기로 나타낼 수 있다. 하나의 영상 내에서 예측 부호화를 수행하는 단위로써의 예측 블록의 크기는 다양할 수 있고(예를 들어, 4x4, 8x8 ... , 64x64), 예측 방향의 종류는 예측 블록의 크기가 클수록 많아질 수 있다.

본 발명의 일 실시예에 따르면, 모든 경우에 고정된 예측 번호 할당을 사용하는 것이 아니라 경우에 따라서 예측 번호 할당을 발생 빈도에 맞도록 재배열함으로써 부호화 효율을 높일 수 있다. 예를 들어, 현재 블록의 예측 모드가 MPM이 아닌 경우, 현재 블록의 예측 모드는 더 작은 값을 가지는 모드이거나, 예측된 예측모드와 유사한 방향성을 가지는 모드이거나, MPM을 유도하기 위하여 선택되지 않은 이웃의 예측 모드 일 수 있다.

도 7을 참조하여 예를 들면, 현재 블록(710)의 상단 이웃 블록(730)은 Vert 모드, 좌측 이웃 블록(720)은 Hori_down 모드로 부호화 된 블록이다. 도 8은, 도 7에서 도시한 현재 블록에 대하여 이하에서 설명할 본 발명의 여러가지 실시예에 따른 몇가지 예측 모드 번호 할당 방법을 나타낸 것이다.

도 7의 현재 블록의 경우, 도 3에서의 번호 할당 방법에 따르면, Vert 모드가 더 작은 번호를 가지므로 현재 블록의 MPM 값은 상단 이웃 블록의 예측 모드인 Vert로 유도된다. 현재 MPM인 Vert를 제외하고 나머지 예측 모드들은 기존 방법의 순서대로 0~7까지의 번호로 할당된다.

본 발명의 일 실시예에 따르면, 예측 모드의 예측을 위하여 선택되지 않은 나머지 이웃의 예측 모드를 다음으로 가능성이 높은 예측 모드로 보고, 이에 대하여 가장 작은 모드 번호를 할당할 수 있다. 즉, 상기 예의 경우에는 선택되지 않은 좌측 블록의 Hori_down 모드가 MPM 다음으로 가능성이 높은 모드가 될 수 있다. 나머지 예측 모드 번호들은 기존의 방식에서의 순서를 따른다. 도 8의 제안 방법 1은 이러한 방법에 따라서 새롭게 할당된 예측 번호를 나타낸다.

본 발명의 또다른 실시예에 따르면, 예측 모드의 예측값과 가까운 방향을 가능성 높은 예측 모드로 보고 먼저 고려할 수 있다. 상기 예의 경우에서는, Vert와 가까운 Vert_left, Vert_right가 우선적으로 고려될 수 있다. 나머지 예측 모드에 대하여는 마찬가지로 기존의 방식에서의 순서를 따를 수 있다. 도 8의 제안방법 2는 이러한 방법에 다라서 새롭게 할당된 예측 번호를 나타낸다. 본 실시예에서는 인접한 2개의 방향만을 고려하였지만, 인접 방향의 범위는 필요에 따라서 보다 확장될 수 있다.

본 발명의 또다른 실시예에서는, 상기의 경우를 모두 고려할 수 있다. 즉, 선택되지 않은 이웃 블록의 예측 모드 및 예측된 예측 모드와 인접한 방향의 모드들을 우선적으로 고려하여 낮은 예측 번호를 할당하는 것이다. 도 8의 제안방법 3은 이러한 방식에 의하여 새롭게 할당된 예측 번호를 나타낸다. 다만 본 발명의 실시예가 이에 한정되는 것은 아니고 어떠한 방식을 더 낮은 예측 번호로 할당할 것인지는 경우에 따라서 반대로 고려될 수도 있다.

설명의 편의를 위하여 9가지 방향의 예측 모드에 대하여 기술하였으나, 상기 언급한 대로 예측 블록의 크기에 따라서 보다 많은 방향에 대한 예측 모드가 필요할 수 있으며, 예측 모드의 수가 늘어날 경우에도 본 발명에서의 예측 모드 할당 방법을 적용할 수 있음은 물론이다.

도 9(a) 내지 9(c)는 본 발명의 일 실시예에 따라, 하나의 예측 블록(900)이 4개의 서브-예측 블록(910, 920, 930, 940)으로 사분할 된 경우에 있어서 화면내 예측을 위하여 예측 블록 주변들의 색차 성분을 이용하는 것을 도시한 도면이다. 예를 들어, 화면내 예측 모드에서는 이미 디코딩된 블록 인접 좌측 및 상단 외곽 영역(950, 960)의 값을 이용하여 각 분할된 서브-예측 블록들의 색차 성분을 예측한다. 하나의 예측 블록 내에서, 서브-예측 블록의 좌측 상단을 위치를 xO, yO라고 하고, 현재 픽셀 (x,y)에 대한 예측값을 predc[x,y], 참조 샘플을 p[x,y]라고 할 때, 각 예측 모드에 따른 픽셀 예측값은 다음과 같이 유도될 수 있다. 설명의 편의를 위하여, 각 서브-예측 블록의 크기는 4x4라고 가정한다.

도 9(a)는 DC 예측 모드일 때 각 서브-예측 블록에 대하여 어떠한 외곽 영역을 사용하여 예측하는지를 나타낸 도면이다. DC 모드는 상기에서 설명한 바와 같이, 예측 블록(900)의 외곽 영역의 이용가능한 픽셀들을 이용하여 평균값을 구하여 예측 값으로 사용하게 된다.

xO=0, yO=0 이거나 xO>0, yO>0인 경우, 즉 좌측 상단(910) 또는 우측 하단(940) 서브-예측 블록인 경우 현재 블록의 예측값을 식으로 나타내면 다음과 같다.

만약 모든 참조 샘플들이 이용 가능할 경우에는 좌측(950) 및 상단(960) 외곽 영역의 평균값,

상단 블록이 이용 가능하지 않은 경우에는 좌측 외곽 영역(950)의 평균값,

좌측 블록이 이용 가능하지 않은 경우에는 상단 외곽 영역(960)의 평균값,

으로 나타낼 수 있다.

그 이외의 경우, 즉 이용 가능한 참조 픽셀이 없는 경우,

와 같이 나타낼 수 있다. 여기에서 BitDepth_c는 현재 블록의 비트 심도를 나타낸다.

xO>0, yO=0인 경우, 즉 우측상단 서브-예측 블록(920)인 경우 현재 블록의 예측값을 식으로 나타내면 다음과 같다.

만약 상단 블록이 이용 가능한 경우,

그렇지 않고, 좌측 블록이 이용 가능한 경우,

그 이외의 경우,

서브-예측 블록의 크기가 4x4이고, xO=0, yO>0인 경우, 즉 좌측하단 서브-예측 블록(940) 경우 현재 블록의 예측값을 식으로 나타내면 다음과 같다.

만약 좌측 블록이 이용 가능한 경우,

그렇지 않고, 상단 블록이 이용 가능한 경우

그 이외의 경우,

한편, 도 9(b) 및 9(c)는 각각 수평 예측 모드 및 수직 예측 모드인 경우에 각 서브-예측 블록에서 이용되는 영역들을 나타낸 것이다. 이를 수식으로 나타내면 차례로 다음과 같다

평면(Plane) 모드에서의 수식은 다음과 같다.

한편, 본 발명의 또다른 실시예에 있어서, 즉, 각 서브-예측 블록은 전체 예측 블록의 주변 픽셀이 아닌 각 서브-예측 블록의 주변 픽셀을 참조 픽셀로써 이용할 수 있다. 예측 블록 단위로 복원이 이루어지는 것이 아니라, 서브-예측 블록 단위로 차례로 복원이 이루어질 경우, 특정 서브-예측 블록의 복원시 다른 서브-예측 블록의 정보를 이용할 수 있기 때문이다. 도 10은 본 발명의 일 실시예에 따라 하나의 예측 블록이 사분할 된 경우에 있어서 화면내 예측을 위하여 각 서브-예측 블록이 이용하는 영역을 도시한 도면이다. 각 서브-예측 블록들은 동일한 예측 모드를 사용하는 것이 일반적이지만, 경우에 따라 서로 다른 예측 모드를 사용할 수도 있을 것이다.

이와 같은 경우 참조 샘플의 이용 가능 여부에 따라서 다음과 같은 수식으로 나타낼 수 있다.

DC 예측 모드에서 모든 참조 샘플이 이용 가능한 경우,

상단 블록이 이용 가능하지 않은 경우,

죄측 블록이 이용 가능하지 않은 경우,

그 이외의 경우,

와 같이 나타낼 수 있다.

한편, 수평 예측 모드인 경우에는,

수직 예측 모드인 경우에는,

평면(Plane) 예측 모드인 경우,

상기에서 subHeightC, subWidthC는 각각 서브-예측 유닛의 높이 및 너비를 나타낸다.

한편, 색차 성분은 휘도(luma) 성분을 이용하여 계산될 수도 있다. 구체적으로, 휘도 성분과의 선형 관계에 따른 색차 성분의 식은 휘도 성분 및 색차 성분을 각각 L(x,y)와 C(x,y)이라고 할 때, 다음과 같이 나타낼 수 있다.

이 때 계수는 다음과 같이 정의된다.

그러나 디코더에서는 원 색차 성분 또는 휘도 성분을 얻을 수 없기 때문에 예측값은 다음과 같은 식으로 근사될 수 있다.

L'(x,y), C'(x,y)은 각각 이웃 블록들에서 복원된 휘도 성분들 및 색차 성분들을 나타낸다.

본 발명의 실시예에 따르면, 이와 같이 휘도 성분을 이용하여 색차 성분을 근사하는 방법을 색차 성분에 대한 새로운 화면내 예측 모드로 추가할 수 있다. 또한, 이러한 예측 모드를 사용하는지 여부를 나타내기 위한 플래그 정보가 디코더로 전송될 수 있다. 도 11은 상기에서 설명한 새로운 예측 모드를 사용하는지 여부에 대한 플래그 정보(chroma_estimation_flag)를 포함하는 신택스의 일 예를 나타내는 것이다. 예를 들면, 만약 휘도 성분을 이용한 근사값 모드를 이용하는 경우 플래그 정보는 1을 나타낸다. 그렇지 않은 경우 (chroma_estimation_flag=0인 경우)에는 어떠한 예측 모드를 사용하였는지를 나타내는 정보(intra_chroma_pred_mode)를 추가로 전송하게 된다.

도 12는 색차 성분에 대한 복원 과정을 나타낸 것이다. 상기에서 설명한 바와 같이 이미 복원된 픽셀들을 이용하여 현재 블록을 예측하고(S1210), 변환하고(S1220), 현재 블록을 복원한다(S1230). 이 때 이러한 과정은 전체 예측 블록에 대하여 이루어질 수도 있고, 상기 언급한 바와 같이 각 서브-예측 블록 단위로 각각 이루어질 수도 있다. 도 12는 색차 성분에 대한 예를 들고 있지만, 휘도 성분에 대해서도 동일하게 서브-예측 블록 단위로 독립적인 복원을 하여 다른 서브-예측 블록의 정보를 이용할 수 있도록 할 수 있음은 물론이다.

인터 예측부(254)에서는 이전에 부호화된 영상(혹은 프레임)으로부터 움직임을 추정하여 현재의 블록을 예측하는 방법을 사용한다. 이러한 예측 방식을 화면간 예측(Inter prediction)이라고 한다. 이를 위하여 참조 영상에 대한 정보 및 참조 블록을 나타내는 모션 벡터(motion vector)를 유도하는 과정이 필요하다.

일반적으로 어느 블록에서의 모션 벡터는 주변 블록의 모션 벡터와 상관 관계를 가진다. 따라서 주변 블록으로부터 현재 블록에 대한 모션 벡터를 예측하고, 그 차분 벡터만을 부호화함으로써 부호화해야할 비트량을 줄여 압축 효율을 높일 수 있다. 모션 벡터 예측값을 구하기 위하여는, 예를 들어, 주변 블록들의 모션 벡터들의 중앙값(median) 또는 평균값(average)등을 사용할 수 있다.

그러나 주변 블록이 화면간 예측이 아닌 아닌 화면내 예측 모드로 코딩된 블록인 경우, 화면내 예측 모드는 움직임 정보를 포함하지 않으므로 일반적으로는 인트라 블록의 모션 벡터는 특정한 값 (예를 들어, 0)으로 보고 현재 블록의 움직임 정보를 예측하는데 이용할 수 있다. 이하에서는 화면내 예측 모드를 이용하여 코딩된 블록을 인트라 블록, 화면간 예측 모드를 이용하여 코딩된 블록을 인터 블록이라고 한다.

어떠한 블록 크기를 사용할 것인지, 어떠한 예측 모드를 사용할 것인지는 최종적으로 비트율-왜곡 최적화(Rate-Distortion Optimization)를 통해 가장 효율적인 것으로 결정될 수 있다. 일반적으로 이전 영상(또는 프레임)과의 상관도가 크기 때문에 화면내 예측보다는 화면간 예측이 선택되기 쉽다.

일반적으로 화면내 예측은 화면간 예측을 할 수 없는 경우, 예를 들어 인트라 영상인 경우 또는 영상간의 상관관계(correlation)이 낮아 화면간 예측의 성능이 떨어질 경우에 사용된다. 화면간 예측 모드 대신에 화면내 예측 모드가 선택되는 경우는 모션 벡터 예측값(mvp)이 잘못 얻어져서 전송할 모션 벡터 차분값 (mvd)의 값이 너무 커져서 비트율 왜곡(Rate-Distortion cost)이 커지는 경우, 모션 벡터 예측값(mvp)은 잘 얻어졌으나, 두 픽쳐간의 변화 정도가 심해서 레지듀얼 값의 증가로 비트율 왜곡이 커지는 경우가 있을 수 있다. 또한, 화면내 예측이 잘되는 텍스쳐(texture)인 경우에도 화면간 예측 보다는 화면내 예측이 유리하다. 따라서 이러한 원인들을 고려하여, 인트라 블록의 모션 벡터를 예측할 수 있다.

도 13은 인트라 블록(X)의 모션 벡터를 예측하기 위하여 이용되는 이웃 블록들을 나타낸다. 일반적으로 좌측(A), 상단(B), 우측 상단(C)에 위치한 이웃 블록들을 이용할 수 있다.

두 영상간의 변화 정도가 심해서 레지듀얼 값이 증가한 경우라면, 일반적인 방법대로 주변 블록의 모션 벡터 값을 이용하여 인트라 블록의 모션 벡터 예측값을 획득할 수 있다. 도 13을 참조하여 예를 들면, X의 모션 벡터 예측값 mvX는 다음과 같이 주변 블록 A, B, C의 모션 벡터값 mvA, mvB, mvC의 median 값으로 얻어질 수 있다. 이 때 블록 A, B, C는 모두 인터 블록인 경우 (예를 들어, A, B, C의 참조 영상 인덱스 refA, refB, refC가 모두 -1이 아닐 때)이다. 참조 영상의 인덱스는 A, B, C의 참조 영상 인덱스 중에서 가장 작은 값으로 선택될 수 있다.

mvX = median (mvA, mvB, mvC)

reference index = min (refA, min(refB, refC))

다른 예로, 모션 벡터 예측값(mvp)가 잘못 유도된 경우에는 블록 X의 주변에 비슷한 모션 벡터가 없는 경우이다. 따라서 참조 픽쳐 내의 대응 예측 블록의 모션 벡터를 인트라 블록의 모션 벡터로 사용할 수 있다. 만약 대응 블록 역시 인트라 블록인 경우, 특정한 값 (예를 들어, 0)으로 가정하여 유도한다.

본 발명의 또다른 실시예에서는, 어떤 값을 모션 벡터 예측값으로 사용하는지를 나타내는 나타내는 정보를 전송할 수 있다. 예를 들어, 이 정보는 이웃 블록 (A, B, C)의 모션 벡터 또는 이들의 중간값 median (mvA, mvB, mvC)중 어느 값을 모션 벡터 예측값으로 사용할지를 나타낼 수 있다.

만약 화면내 예측 효율이 화면간 예측 모드보다 좋기 때문에 화면내 예측 모드가 선택된 경우라면, 디코더에서 인트라 블록의 모션 벡터를 찾는 방법을 사용할 수 있다.

도 14는 본 발명의 일 실시예에 따라, 인트라 블록의 모션 벡터를 찾기 위하여 템플릿 매칭 방법을 사용하는 방법을 설명하기 위한 것이다. 도 14는 현재 블록(1410A)이 포함된 현재 프레임(1400A)과 참조 프레임(1400B)를 나타낸다. 타겟 영역은 템플릿 매칭을 이용하여 예측하고자 하는 현재 블록(1410A)이다. 템플릿은 참조 프레임(1400B)에서 찾고자 하는 영역을 의미하는데, 템플릿으로 이용되기 위하여는 이미 복원된 영역이어야 한다. 도 14에 따르면 현재 프레임(1400A)에 대한 코딩과정에 있어서, 현재 블록(1410A)을 기준으로 좌측 상단은 이미 복원된 영역이고, 우측 하단은 복원되기 이전 영역이다. 코딩하고자 하는 현재 블록(1410A) 역시 복원되기 이전이다. 따라서 템플릿 영역(1420A)은 타겟 영역의 좌측 및 상단 가장자리에 접한 일정 간격의 픽셀들로 구성될 수 있다. 현재 프레임의 템플릿 영역(1420A)과 유사한 영역(1420B)을 참조 프레임(1400B)에서 탐색한다. 참조 프레임 내의 템플릿 유사 영역(1420B) 주변의 타겟 블록에 대응하는 영역(1410B)의 모션 벡터를 획득하여, 상기 모션 벡터를 타겟 블록(1410A)의 모션 벡터 예측값으로 이용할 수 있다. 본 실시예에서는 템플릿 영역을 좌측 및 상단 가장자리에 접한 일정 픽셀 영역으로 구성하여 설명하였으나, 이미 복원된 영역으로 구성된 어떠한 형태의 영역도 템플릿으로 사용할 수 있음은 물론이다.

한편, 색차 성분의 경우 상기에서 설명한 바와 같이 화면간 예측을 하지 않고도, 휘도 성분을 이용하여 다음과 같은 식으로 유도할 수 있다.

따라서 본 발명의 일 실시예에서는, 이와 같은 휘도 성분을 이용한 예측을 화면간 예측 모드 중 하나로 추가할 수 있다. 또한, 이러한 예측 모드를 사용하는지 여부를 나타내기 위한 플래그 정보가 디코더로 전송될 수 있다. 도 15는 이러한 플래그 정보(chroma_estimation_flag)를 포함하는 신택스의 일 예를 나타내는 것이다. 예를 들면, 만약 휘도 성분을 이용한 근사값 모드를 이용하는 경우 플래그 정보는 1을 나타낸다. 플래그 정보에 따라 휘도 값을 이용하여 색차 성분을 예측하든지, 기존의 방식대로 모션 벡터를 이용한 움직임 보상을 할 수 있다.

본 발명의 또다른 실시예에서는, 색차 성분은 휘도 신호를 이용한 추정값 및 모션 보상을 이용한 예측값의 평균으로 예측될 수 있다.

보다 구체적으로, 휘도 신호를 이용한 추정값 C1'(x,y), 모션 보상을 이용한 C2'(x,y)은 각각 다음과 같이 나타낼 수 있다.

따라서 이들의 평균값을 이용하여 예측값은 다음과 같이 구해진다.

마찬가지로 이러한 혼합(hybrid) 모드를 사용할 것인지 여부를 나타내는 플래그(hybrid_prediction_flag)를 포함하여 전송할 수 있다. 도 16은 이러한 경우의 신택스를 나타낸 도면이다.

이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.

본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.

본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부에 의해 실행될 수 있다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

산업상 이용가능성

본 발명은 비디오 신호를 인코딩 또는 디코딩 하는데 적용될 수 있다.

Claims

현재 블록의 분할 여부를 지시하는 분할 정보를 획득하는 단계;
상기 분할 정보가 상기 현재 블록이 분할되었음을 나타낼 경우, 상기 현재 블록을 정방형의 서브-블록들로 분할하는 단계;
현재 픽쳐 내의 복원된 픽셀들을 이용하여 상기 서브-블록들의 예측값을 획득하는 단계; 및
상기 예측값을 이용하여 상기 현재 블록을 복원하는 단계를 포함하되,
상기 현재 픽쳐 내의 복원된 픽셀들에는 상기 현재 블록에 포함된 다른 서브 블록들의 복원된 픽셀들이 포함되고,
상기 현재 픽쳐는 상기 현재 블록이 포함된 픽쳐인 것을 특징으로 하는 디오 신호의 처리 방법.
제 1항에 있어서,
상기 현재 블록의 서브-블록들이 병합 여부를 나타내는 병합 플래그 정보를 획득하는 단계를 더 포함하되,
상기 병합 플래그가 상기 현재 블록이 병합된 것을 나타내는 경우,
상기 서브 블록들의 예측값은 상기 병합 플래그에 기초하여 병합된 블록의 형태에 대하여 획득되는 것을 특징으로 하는 비디오 신호의 처리 방법.
제 2항에 있어서,
상기 서브-블록의 병합은 수직 또는 수평으로 인접된 서브-블록 간에 이루어지는 것을 특징으로 하는 비디오 신호의 처리 방법.
제 1항에 있어서,
상기 현재 블록의 상단 이웃 또는 좌측 이웃의 예측 모드를 이용하여 현재 블록의 예측 모드를 예측하는 단계를 더 포함하고,
상기 예측값을 획득하는 단계는 상기 예측 모드가 지시하는 방향에 위치한 참조 픽셀들을 이용하되,
상기 예측 모드를 예측하는데 있어서, 상기 서브-블록의 분할 형태를 고려하는 것을 특징으로 하는 비디오 신호의 처리 방법.