KR100672327B1

KR100672327B1 - 동영상 디코더 및 인트라 예측 방법

Info

Publication number: KR100672327B1
Application number: KR1020050004197A
Authority: KR
Inventors: 김진경; 김대중
Original assignee: 엘지전자 주식회사
Priority date: 2005-01-17
Filing date: 2005-01-17
Publication date: 2007-01-24
Also published as: KR20060083481A

Abstract

본 발명은 동영상 디코더 및 인트라 예측 방법에 관한 것이다. 특히 본 발명은 예측을 수행할 매크로 블록의 왼쪽에 인접한 매크로 블록의 마지막 열의 디코딩되어진 화소 값들을 저장하고 있는 바운더리 메모리; 예측을 수행할 매크로 블록의 위쪽에 인접한 매크로 블록의 마지막 행의 디코딩되어진 화소 값들을 저장하고 있는 라인 메모리; 상기 바운더리 메모리와 라인 메모리에 저장된 화소값들을 입력받아 인트라 예측을 수행하는 인트라 예측부; 참조 블록 데이터를 입력받아 인터 예측을 수행하는 인터 예측부; 및 결정된 모드에 따라 상기 인트라 예측부의 출력 또는 인터 예측부의 출력을 입력받아 상기 바운더리 메모리와 라인 메모리의 업데이트를 수행하는 합성부를 포함하여 구성된다. 따라서 본 발명은 하드웨어와 소프트웨어 구조를 간단히 하고, 외부 메모리 억세스를 줄여 시스템의 성능을 높이는 효과가 있다.

인트라 예측, 바운더리, 라인 메모리

Description

동영상 디코더 및 인트라 예측 방법{Moving picture decoder and intra prediction method}

도 1은 인트라 매크로 블록의 디코딩 예를 보인 도면

도 2는 본 발명에 따른 H.264 디코더 중 예측 관련 구성 블록도

도 3은 도 2의 인트라 MB 디코딩시 바운더리 메모리 업데이트 시점을 나타낸 본 발명의 도면

도 4는 도 2의 인트라 MB 디코딩시 라인 메모리 업데이트 시점을 나타낸 본 발명의 도면

도면의 주요부분에 대한 부호의 설명

210 : 인트라 예측부 220 : 인터 예측부

230 : 합성부 240 : 바운더리 메모리

250 : 라인 메모리 260 : 스위칭부

270 : 디블로킹 필터

본 발명은 동영상 디코더에 관한 것으로 특히 H.264 디코더의 인트라 예측 (Intra Prediction)방법에 관한 것이다.

상기 H.264는 차세대 MPEG-4 표준기술로서 통상 AVC(advanced Video Coding)이라고 하며 MPEG-4 Part 10 또는 MPEG-4 AVC라고도 한다.

상기 H.264는 향후 실시간 대화형 응용, 이동망 상에서의 A/V 통신, 주문형 비디오 서비스, 인터넷 상의 비디오 응용서비스, DVD와 같은 저장매체 서비스 등 광범위한 활용이 예상되고 있다.

상기 H.264의 인트라 코딩(Intra coding)은 I/SI 프레임 내에서 공간 중복성을 줄이는 과정이며, H.264는 변환(Transform) 이전 단계에서 예측(Prediction) 과정을 거치게 하여 인트라 프레임의 압축효율을 높일 수 있도록 하였다. 이는 인접한 매크로 블록들이 유사한 특성을 가지고 있다는데 기초를 두고 있다.

그리고 인터 코딩(Inter Coding)은 연속된 프레임 간의 중복성을 제거할 수 있도록 움직임 추정, 움직임 보상 개념을 기본으로 하여 이루어진다. 상기 H.264 인터 코딩에서 보이는 이전 비디오 압축 표준들과의 차이는 블록 사이즈가 가변적이라는 것과 1/4 픽셀의 정밀도의 움직임 보상이 지원된다는 점에 있다.

한편 블록 기반 코딩(Block-Based Coding)의 특징 중 하나는 시각적으로 인지 가능한 블록 구조(Block Structure)가 나타난다는 것이다. 이는 블록 단위의 코딩 과정 중에 인접 블록 간의 파라미터 및 코딩 규칙(Coding Rule) 채택의 차이 등으로 인해 블록 에지(Block Edge)에서 경계가 나타나는 현상이다.

상기 H.264에서는 이러한 현상을 감쇄시키기 위해서 적응적 인-루프 디블로킹 필터(adaptive in-loop deblocking Filter)를 정의하고 있다. 이 필터의 사용으 로 콘텐트(Content)의 샤프니스(Sharpness)가 급격히 저하되지 않고도, 블로킹(Blocking) 현상의 발생을 현저히 줄일 수 있게 된다.

이때, H.264 디코더는 예측(Intra/Inter)되어진 결과를 Residual 값과 더한 후 이를 디블로킹 필터링하여 최종 결과 값을 출력한다. 이러한 과정은 매크로 블록(Macro Block ; MB) 단위로 이루어진다.

그리고 상기 H.264 디코더에서 인트라 코딩된 매크로 블록(Intra Coded MB)을 예측하려면 도 1과 같이 이미 디코딩 되어진 매크로 블록들의 화소들이 요구되어진다. 이때 요구되어지는 화소들은 디코딩되어진 그러나 디블로킹 필터링 되어지지 않은 화소들이다.

하지만 현재 인트라 예측할 매크로 블록이 참조할 매크로 블록의 화소들은 이미 디코딩 및 디블로킹 필터링이 된 화소들이다. 즉, 상기 인트라 예측에 사용되어질 수 없다.

따라서 인트라 예측시 요구되어지는 화소들을 처리하는데 문제가 발생한다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 라인 메모리와 바운더리 메모리를 사용하여 인트라 예측시 요구되어지는 디코딩되어진 그러나 디블로킹 필터링되지 않은 화소들을 저장하여 인트라 예측에 참조하도록 하는 동영상 디코더 및 인트라 예측 방법을 제공하는 것이다.

상기 목적을 달성하기 위하여 본 발명에 따른 동영상 디코더는, 예측을 수행 할 매크로 블록의 왼쪽에 인접한 매크로 블록의 마지막 열의 디코딩되어진 화소 값들을 저장하고 있는 바운더리 메모리; 예측을 수행할 매크로 블록의 위쪽에 인접한 매크로 블록의 마지막 행의 디코딩되어진 화소 값들을 저장하고 있는 라인 메모리; 상기 바운더리 메모리와 라인 메모리에 저장된 화소값들을 입력받아 인트라 예측을 수행하는 인트라 예측부; 참조 블록 데이터를 입력받아 인터 예측을 수행하는 인터 예측부; 및 결정된 모드에 따라 상기 인트라 예측부의 출력 또는 인터 예측부의 출력을 입력받아 디블로킹 필터링을 위해 출력함과 동시에 상기 바운더리 메모리와 라인 메모리의 업데이트를 수행하는 합성부를 포함하여 구성되는 것을 특징으로 한다.

상기 바운더리 메모리와 라인 메모리는 온-칩 메모리인 것을 특징으로 한다.

상기 합성부는 상기 예측값과 Residual 값을 더하여 클리핑한 후 그 결과를 출력하는 것을 특징으로 한다.

상기 합성부는 입력된 예측값의 위치가 현재 매크로 블록의 마지막 열이라면 상기 바운더리 메모리를 상기 예측값으로 업데이트하는 것을 특징으로 한다.

상기 합성부는 입력된 예측값의 위치가 현재 매크로 블록의 마지막 행이라면 상기 라인 메모리를 상기 예측값으로 업데이트하는 것을 특징으로 한다.

본 발명에 따른 바운더리 메모리와 라인 메모리를 구비한 동영상 디코더의 인트라 예측 방법은,

상기 바운더리 메모리와 라인 메모리에 저장된 화소값들을 입력받아 인트라 예측을 수행하여 출력하는 단계;

상기 예측값의 위치가 현재 매크로 블록의 마지막 열이라면 상기 바운더리 메모리를 상기 예측값으로 업데이트하는 단계; 및

상기 예측값의 위치가 현재 매크로 블록의 마지막 행이라면 상기 라인 메모리를 상기 예측값으로 업데이트하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

도 2는 본 발명에 따른 H.264 디코더 중 예측에 관련된 구성 블록도로서, 인트라 예측(Intra Prediction)부(210), 인터 예측(Inter Prediction)부(220), 합성(Composition)부(230), 바운더리 메모리(Boundary Memory)(240), 라인 메모리(Line Memory)(250), 스위칭부(260), 및 디블로킹 필터(270)로 구성된다.

상기 바운더리 메모리(240)와 라인 메모리(250)는 온-칩 메모리(On-Chip Memory)이다.

이때 상기 인트라 예측부(210), 인터 예측부(220), 및 스위칭부(260)는 외부 제어기의 제어 신호에 의해 구동되어지며, 구동시 인트라 예측과 인터 예측 중 한 가지 모드로만 설정되어진다.

상기 바운더리 메모리(240)는 디코딩되어지는 매크로 블록의 휘도/색차(Y/C) 한 열(row)(Y는 16화소, Cb는 8화소, Cr는 8화소)을 포함할 크기를 가진다.

상기 라인 메모리(250)는 디코딩되어지는 프레임의 휘도/색차(Y/C) 한 행(Column, 라인)을 포함할 크기를 가진다.

이때, 상기 외부 제어기의 제어 신호에 의해 인트라 모드로 설정되어 있고, 4x4 인트라 예측을 수행한다고 가정한다. 그러면 스위칭부(260)의 출력단도 인트라 예측부(210)로 연결된다.

상기 인트라 예측부(210)는 상기 바운더리 메모리(240)로부터 현재 매크로 블록의 왼쪽에 인접한 매크로 블록의 마지막 열의 화소들 즉, 도 1의 L 영역의 위치에 있는 화소들을 얻어 인트라 예측을 수행한다. 그리고 라인 메모리(250)로부터 현재 매크로 블록의 위쪽에 인접한 매크로 블록의 마지막 행의 화소들 즉, U 영역의 위치에 있는 화소들을 얻어 인트라 예측을 수행한다.

즉, 상기 바운더리 메모리(240)와 라인 메모리(250)에 저장된 화소들은 디코딩은 되었으나 디블로킹 필터링은 되지 않은 화소들이다.

상기 인트라 예측부(210)의 출력은 스위칭부(260)를 통해 합성부(230)로 출력된다.

만일 인터 모드로 설정되었다면 인터 예측부(220)는 참조 블록 데이터(Reference Block Data)를 입력받아 인터 예측을 수행한 후 스위칭부(260)를 통해 합성부(230)로 출력된다. 본 발명은 인트라 예측에 대한 것이므로 인터 예측에 대 한 상세한 설명은 생략한다.

상기 합성부(230)는 스위칭부(260)를 통해 출력되는 예측 값들과 Residual 값을 가산기에서 더하여 클리핑(Clipping)한 후 그 결과를 디블로킹 필터(270)로 출력한다.

이때 상기 합성부(230)에서 출력되는 화소의 위치가 도 3과 같이 현재 매크로 블록의 마지막 열이라면 바운더리 메모리(240)를 상기 화소 값으로 업데이트한다. 또한 상기 합성부(230)에서 출력되는 화소의 위치가 도 4와 같이 현재 매크로 블록의 마지막 행이라면 라인 메모리(250)를 상기 화소 값으로 업데이트한다.

본 발명에서는 휘도 신호(Y)에 대해서만 기술하고 있지만, 색차 신호(Cb,Cr)에 대해서도 같은 방법을 써서 구현할 수 있다.

또한 본 발명의 바운더리 메모리(240)와 라인 메모리(250)는 외부 메모리에 같은 크기의 영역을 할당받아 이용할 수도 있다.

한편, 본 발명에서 사용되는 용어(terminology)들은 본 발명에서의 기능을 고려하여 정의 내려진 용어들로써 이는 당분야에 종사하는 기술자의 의도 또는 관례 등에 따라 달라질 수 있으므로 그 정의는 본 발명의 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명을 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가지 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.

상기에서 설명한 본 발명에 따른 동영상 디코더 및 인트라 예측 방법에 의하면, 인트라 예측에 요구되어지는 화소들 즉, 디코딩은 되었으나 디블로킹 필터링은 되지 않은 화소들을 라인 메모리와 바운더리 메모리에 저장하여 인트라 예측을 수행함으로써, 하드웨어와 소프트웨어 구조를 간단히 하고, 외부 메모리 억세스를 줄여 시스템의 성능을 높이는 효과가 있다. 또한 이러한 구조는 Residual, 예측, 디블로킹 처리 과정을 병렬로 처리 가능하도록 하는 효과가 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims

예측을 수행할 매크로 블록의 왼쪽에 인접한 매크로 블록의 마지막 열의 디코딩되어진 화소 값들을 저장하고 있는 바운더리 메모리;

예측을 수행할 매크로 블록의 위쪽에 인접한 매크로 블록의 마지막 행의 디코딩되어진 화소 값들을 저장하고 있는 라인 메모리;

상기 바운더리 메모리와 라인 메모리에 저장된 화소값들을 입력받아 인트라 예측을 수행하는 인트라 예측부;

참조 블록 데이터를 입력받아 인터 예측을 수행하는 인터 예측부; 및

결정된 예측 모드에 따라 상기 인트라 예측부의 출력 또는 인터 예측부의 출력을 입력받아 상기 바운더리 메모리와 라인 메모리의 업데이트를 수행하는 합성부를 포함하여 구성되는 것을 특징으로 하는 동영상 디코더.
제 1 항에 있어서,

상기 바운더리 메모리와 라인 메모리는 온-칩 메모리인 것을 특징으로 하는 동영상 디코더.
제 1 항에 있어서, 상기 합성부는

상기 인트라 예측부 또는 인터 예측부에서 예측된 값과 Residual 값을 더하고 일정한 값이 넘지 않도록 클리핑한 후 그 결과를 출력하는 것을 특징으로 하는 동영상 디코더.
제 1 항에 있어서, 상기 합성부는

입력된 예측값의 위치가 현재 매크로 블록의 마지막 열이라면 상기 바운더리 메모리를 상기 예측값으로 업데이트하는 것을 특징으로 하는 동영상 디코더.
제 1 항에 있어서, 상기 합성부는

입력된 예측값의 위치가 현재 매크로 블록의 마지막 행이라면 상기 라인 메모리를 상기 예측값으로 업데이트하는 것을 특징으로 하는 동영상 디코더.
바운더리 메모리와 라인 메모리를 구비한 동영상 디코더의 인트라 예측 방법에 있어서,

상기 바운더리 메모리와 라인 메모리에 저장된 화소값들을 입력받아 인트라 예측을 수행하여 출력하는 단계;

상기 예측값의 위치가 현재 매크로 블록의 마지막 열이라면 상기 바운더리 메모리를 상기 예측값으로 업데이트하는 단계; 및

상기 예측값의 위치가 현재 매크로 블록의 마지막 행이라면 상기 라인 메모리를 상기 예측값으로 업데이트하는 단계를 포함하여 이루어지는 것을 특징으로 하는 인트라 예측 방법.