KR101014660B1

KR101014660B1 - 인트라 예측 방법 및 장치

Info

Publication number: KR101014660B1
Application number: KR20030074679A
Authority: KR
Inventors: 유기원; 김형호
Original assignee: 삼성전자주식회사
Priority date: 2003-10-24
Filing date: 2003-10-24
Publication date: 2011-02-16
Also published as: CN100531395C; EP1526738A2; JP2005130509A; KR20050039249A; CN1610410A; US20050089094A1

Abstract

본 발명은 영상 부호화 또는 복호화에 있어서 인트라 예측을 위한 서브 블록의 스캔 순서를 개선하여 인트라 예측 속도를 향상시킬 수 있는 인트라 예측 방법 및 장치를 개시한다.

본 발명에 따른 방법은, 매크로 블록에서의 인트라 예측 처리 단계 정보를 토대로 적어도 하나의 인트라 예측 대상 서브 블록을 결정하는 단계; 인트라 예측 대상 서브 블록의 인트라 예측을 수행하고, 인트라 예측 처리 단계 정보를 업데이트 하는 단계를 포함한다.

Description

인트라 예측 방법 및 장치{Intra prediction method and apparatus thereof}

도 1은 기존에 정의되어 있는 9개의 인트라 예측 모드의 예시도.

도 2는 16×16 매크로 블록에 있어서 4×4 서브 블록에 대한 기존에 정의된 스캔 순서도이다.

도 3은 4×4 픽셀로 구성된 인트라 예측 대상 블록과 인트라 예측시 필요한 참조 픽셀들간의 관계도이다.

도 4는 영상 부호화 시, 본 발명에 따른 인트라 예측 장치의 블록도이다.

도 5는 본 발명에 따른 16×16 매크로 블록에 대한 10단계의 인트라 예측 처리 시, 각 인트라 예측 처리 단계별 인트라 예측 대상 서브 블록을 도시한 것이다.

도 6은 도 5에 따른 인트라 예측 처리 단계를 토대로 한 16×16 매크로 블록에 포함된 4×4 서브 블록에 대한 스캔 순서도이다.

도 7은 영상 부호화 시, 본 발명에 따른 인트라 예측 방법의 동작 흐름도이다.

도 8 (a) 및 (b)는 본 발명의 다른 인트라 예측 처리 단계를 토대로 한 매크로 블록의 스캔 순서도이다.

도 9는 영상 복호화 시, 본 발명에 따른 인트라 예측 장치의 블록도이다.

도 10은 영상 복호화 시, 본 발명에 따른 인트라 예측 방법의 동작 흐름도이 다.

본 발명은 영상 부호화 또는 복호화에 있어서 인트라 예측(Intra prediction) 방법 및 장치에 관한 것으로, 특히 인트라 예측(prediction) 속도를 향상시킬 수 있는 인트라 예측 방법 및 장치에 관한 것이다.

영상 부호화 또는 복호화에 있어서 저 비트율(low-bitrate) 전송을 위해 마련된 MPEG(Motion Picture Expert Group)-4의 H.264 표준에 따르면, 인트라 예측 모드는 9개가 존재한다.

상술한 9개의 예측 모드는 도 1에 도시된 바와 같이 수직(Vertical) 방향 모드, 수평(Horizontal) 방향 모드, DC(Direct Current) 모드, 대각선 방향 왼쪽 다운(Diagonal Down-left) 모드, 대각선 방향 오른쪽 다운(Diagonal Down-right) 모드, 수직 오른쪽(Vertical-right) 모드, 수평 다운(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 모드 및 수평 업(Horizontal-up) 모드이다.

이러한 인트라 예측 모드들은 도 1에 도시된 바와 같이 인트라 예측 대상 블록을 기준으로 동일 프레임내의 인접 픽셀들(neighbor pixels)을 참조 픽셀들(reference pixels)로 이용한다. 도 1은 4×4 서브 블록을 기준으로 동일 프레임내의 인접 픽셀들을 이용한 경우를 예시한 것으로, 알파벳 대문자로 표기된 것이 인트라 예측 시 이용되는 인접 픽셀들이다.

따라서, 부호화를 위해 16×16 매크로 블록단위로 영상신호가 입력되면, 16×16 매크로 블록은 16개의 4×4 서브 블록으로 나뉜다. 그 다음, 도 2에 도시된 바와 같이 정해진 스캔 순서로 4×4 서브 블록을 스캔하여 인트라 예측이 수행된다. 도 2에 도시된 숫자는 인트라 예측 수행 시, 4×4 서브 블록에 대한 스캔 순서이다. 이 스캔 순서는 H.264 표준에 정의되어 있는 것이다.

4×4 서브 블록에 대한 인트라 예측을 수행하기 위하여 이용되는 인접한 픽셀들은 도 3에 알파벳 대문자로 표기된 것으로, (I, J, K, L)픽셀은 좌측에 인접한 4×4 서브 블록에 포함된 픽셀들이고, (M)픽셀은 상좌측에 인접한 4×4 서브 블록에 포함된 픽셀이고, (A, B, C, D)픽셀은 상측에 인접한 4×4 서브 블록에 포함된 픽셀이고, (E, F, G, H)픽셀은 상우측에 인접한 4×4 서브 블록에 포함된 픽셀이다. 도 3에서 알파벳 소문자로 표시된 영역은 인트라 예측 대상 블록인 4×4 서브 블록이다.

그러나 4×4 서브 블록에 대한 인트라 예측은 16×16 매크로 블록에 포함되는 4×4 서브 블록만을 이용한다. 따라서, 도 2에 도시된 바와 같은 스캔 순서로 4×4 서브 블록에 대한 인트라 예측 시 필요한 참조 서브 블록은 표 1에 정의된 바와 같다.

4×4서브블록 인덱스	참조 4×4 서브블록 인덱스	4×4서브블록 인덱스	참조 4×4서브블록 인덱스
0	없음	8	2, 3
1	0	9	2, 3, 6, 8
2	0, 1	10	8, 9
3	0, 1, 2	11	8, 9, 10
4	1	12	3, 6, 7, 9
5	4	13	6, 7, 12
6	1, 3, 4	14	9, 11, 12, 13
7	4, 5, 6	15	12, 13, 14

표 1에서 사용되고 있는 4×4서브 블록의 인덱스는 도 2에 정의되어 있는 스캔 순서이다.

이와 같이 16×16 매크로 블록에 대한 4×4 서브 블록단위의 인트라 예측은 16단계로 수행된다. 특히, 영상 부호화 시, 4×4 서브 블록단위로 H.264 표준에서 정의된 상술한 9개의 인트라 예측 모드를 수행하여 최적의 예측 모드를 결정함으로써, 인트라 예측에 많은 시간이 소요되고 있다.

본 발명이 이루고자 하는 기술적 과제는 영상 부호화 또는 복호화에 있어서 서브 블록단위의 인트라 예측 처리 단계를 줄여 인트라 예측 속도를 향상시킬 수 있는 인트라 예측 방법 및 장치를 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 영상 부호화 또는 복호화에 있어서 인트라 예측을 위한 서브 블록의 스캔 순서를 개선하여 인트라 예측 속도를 향상시킬 수 있는 인트라 예측 방법 및 장치를 제공하는데 있다.

본 발명이 이루고자 하는 또 다른 기술적 과제는 영상 부호화 또는 복호화에 있어서 인트라 예측을 위해 필요한 참조 서브 블록의 인트라 예측이 완료된 시점을 기준으로 인트라 예측 대상 서브 블록을 결정하여 인트라 예측을 수행함으로써 인 트라 예측 속도를 향상시킬 수 있는 인트라 예측 방법 및 장치를 제공하는데 있다.

상기 기술적 과제들을 달성하기 위하여 본 발명은, 매크로 블록에서의 인트라 예측 처리 단계 정보를 토대로 적어도 하나의 인트라 예측 대상 서브 블록을 결정하는 단계; 인트라 예측 대상 서브 블록의 인트라 예측을 수행하고, 인트라 예측 처리 단계 정보를 업데이트 하는 단계를 포함하는 인트라 예측 방법을 제공한다.

상기 기술적 과제들을 달성하기 위하여 본 발명은, 매크로 블록에서 인트라 예측 처리 단계 정보를 토대로 인트라 예측 대상 서브 블록을 적어도 하나 결정하는 단계; 인트라 예측 대상 서브 블록에 대한 인트라 예측을 수행하여 인트라 예측 샘플을 검출하는 단계; 검출된 인트라 예측 샘플과 인트라 예측 대상 서브 블록의 잔류 값(residual value)을 가산하여 인트라 예측 대상 서브 블록의 픽셀 값이 재구성되면, 재구성된 픽셀 값을 다음 인트라 예측 처리 단계를 위한 참조 서브 블록의 픽셀 값으로 생성하는 단계; 및 참조 서브 블록의 픽셀 값이 생성되면, 인트라 예측 처리 단계 정보를 업데이트 하는 단계를 포함하는 인트라 예측 방법을 제공한다.

상기 기술적 과제들을 달성하기 위하여 본 발명은, 매크로 블록에서 인트라 예측 처리 단계 정보를 토대로 적어도 하나의 인트라 예측 대상 서브 블록을 결정하고, 인트라 예측 대상 서브 블록에 대한 인트라 예측을 수행하여 인트라 예측 모드와 인트라 예측 샘플을 출력하는 인트라 예측 처리부; 인트라 예측 대상 서브 블록의 잔류 값과 인트라 예측 샘플을 가산하는 가산기; 가산기에서 출력되는 신호로 인트라 예측 대상 서브 블록의 픽셀 값을 재구성하고, 재구성된 픽셀 값을 다음 인트라 예측 처리 단계를 위한 참조 서브 블록의 픽셀 값으로 생성하는 참조 픽셀 생성부; 참조 픽셀 생성부에서 참조 서브 블록의 픽셀 값이 생성되면, 인트라 예측 처리 단계 정보를 업데이트 하는 인트라 예측 처리 단계 정보 제공부를 포함하는 영상 부호화 시 이용되는 인트라 예측 장치를 제공한다.

상기 기술적 과제들을 달성하기 위하여 본 발명은, 매크로 블록에서 인트라 예측 처리 단계 정보를 토대로 적어도 하나의 인트라 예측 대상 서브 블록을 결정하고, 결정된 인트라 예측 대상 서브 블록에 대한 인트라 예측을 수행하여 인트라 예측 샘플을 출력하는 인트라 예측 처리부; 인트라 예측 대상 서브 블록의 잔류 값과 상기 인트라 예측 샘플을 가산하는 가산기; 가산기에서 출력되는 신호로 인트라 예측 대상 서브 블록의 픽셀 값을 재구성하고, 재구성된 픽셀 값을 다음 인트라 예측 처리 단계를 위한 참조 서브 블록의 픽셀 값으로 생성하는 참조 픽셀 생성부; 참조 픽셀 생성부에서 상기 참조 서브 블록의 픽셀 값이 생성되면, 인트라 예측 처리 단계 정보를 업데이트 하는 인트라 예측 처리 단계 정보 제공부를 포함하는 영상 복호화 시 이용되는 인트라 예측 장치를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세하게 설명하기로 한다.

도 4는 영상 부호화 시, 본 발명에 따른 인트라 예측 장치의 블록도이다. 도 4는 16×16 매크로 블록을 4×4 서브 블록으로 나눈 영상 신호에 적용한 인트라 예측 장치이다. 도 4를 참조하면, 본 발명에 따른 인트라 예측 장치는 카운터(401), 인트라 예측 처리부(410), 가산기(420), 참조 픽셀 생성부(430)로 구성된다.

카운터(401)는 해당되는 16×16 매크로 블록(이하 매크로 블록이라 약함)에서 인트라 예측 처리 단계(intra prediction processing step)를 설정한다. 즉, 카운터(401)는 참조 픽셀 생성부(430)에서 참조 서브 블록의 픽셀 값이 생성될 때마다 해당되는 매크로 블록에서 인트라 예측 처리 단계의 카운트 값을 업데이트 한다. 카운터(401)가 업 카운터인 경우, 상기 업데이트는 카운트 값이 업 되도록 수행되고, 카운터(401)가 다운 카운터인 경우, 상기 업데이트는 카운트 값이 다운 되도록 수행된다.

상기 인트라 예측 처리 단계의 카운트 값은 인트라 예측 처리 단계에 대한 정보이다. 따라서, 카운터(401)는 인트라 예측 처리 단계 정보 제공부로 정의될 수 있다. 카운터(401)에서 출력되는 인트라 예측 처리 단계 정보는 인트라 예측 처리부(410)로 제공된다.

인트라 예측 처리부(410)는 매크로 블록에 포함되어 있는 4×4 픽셀로 구성된 서브 블록중 적어도 하나의 서브 블록을 인트라 예측 대상 서브 블록으로 결정하고, 결정된 인트라 예측 대상 서브 블록에 대해 복수개의 인트라 예측 모드를 수행하여 최적의 인트라 예측 모드 및 인트라 예측 샘플을 출력한다.

이를 위하여 인트라 예측 처리부(410)는 도 4에 도시된 바와 같이 제 1 에러 절대값의 합(Sum Absolute Error, 이하 SAE라고 약함) 계산기(411), 제 2 SAE 계산기(412), 코스트 비교기(cost comparator)(413)로 구성된다.

제 1 SAE 계산기(411)는 카운터(401)로부터 제공되는 인트라 예측 처리 단계 정보를 토대로 인트라 예측 대상 서브 블록을 결정한다. 인트라 예측 처리 단계 정보를 토대로 제 1 SAE 계산기(411)에서 결정할 수 있는 인트라 예측 대상 서브 블록은 표 2와 같이 사전에 설정될 수 있다.

인트라예측처리단계	인트라예측대상 서브블록의 인덱스	인트라예측처리단계	인트라예측대상 서브블록의 인덱스
1	0	6	7, 9
2	1	7	10, 12
3	2, 4	8	11, 13
4	3, 5	9	14
5	6, 8	10	15

표 2는 본원 발명에 따라 매크로 블록에 대한 인트라 예측 처리 단계를 10단계로 수행하는 경우이다. 표 2에서 서브 블록의 인덱스는 도 2에 도시된 매크로 블록에서의 4×4서브 블록의 인덱스이다.

만약 카운터(401)에서 제공되는 인트라 예측 처리 단계 정보가 "1"이면, 제 1 SAE 계산기(411)는 도 5에 도시된 "스텝 1"과 같이 16×16 매크로 블록에서 서브 블록 인덱스가 '0'인 4×4 픽셀의 서브 블록을 인트라 예측 대상 서브 블록으로 결정한다. 도 5는 본 발명에 따라 16×16 매크로 블록에 대해 10 단계의 인트라 예측 처리 시, 각 인트라 예측 처리 단계별 인트라 예측 대상 서브 블록을 도시한 것이다.

제 2 SAE 계산기(412)는 제 1 SAE 계산기(411)와 같이 카운터(401)로부터 제공되는 인트라 예측 처리 단계 정보를 토대로 인트라 예측 대상 서브 블록을 결정한다. 그러나, 표 2 및 도 5를 통해 알 수 있는 바와 같이, 인트라 예측 처리 단계가 10단계로 수행되는 경우에, 인트라 예측 처리 단계 1, 2, 9, 10에서 인트라 예 측 대상 서브 블록은 하나이고, 인트라 예측 처리 단계 3 내지 8에서 인트라 예측 대상 서브 블록은 2개이다.

따라서, 카운터(401)에서 제공되는 인트라 예측 처리 단계 정보가 "1, 2, 9, 10"인 경우에, 제 1 SAE 계산기(411)는 동작하나 제 2 SAE 계산기(412)는 동작하지 않는다.

제 1 SAE 계산기(411)와 제 2 SAE 계산기(412)는 인트라 예측 처리 단계 정보에 따라 인트라 예측 대상 서브 블록이 결정되면, 결정된 인트라 예측 서브 블록에 대해 도 1에 도시된 바와 같은 9개의 인트라 예측 모드를 수행한다.

그 다음, 9개의 인트라 예측 모드 수행에 따라 얻어진 각 인트라 예측 모드별 인트라 예측 샘플들과 해당되는 서브 블록의 현재 픽셀 값(4×4 픽셀 값)을 이용하여 각 인트라 예측 모드별 SAE를 검출한다. 검출된 각 인트라 예측 모드별 SAE와 인트라 예측 모드 정보(제 1 SAE 계산기(411)의 경우에 모드 A, 제 2 SAE 계산기(412)의 경우에 모드 B) 및 해당되는 인트라 예측 샘플을 코스트 비교기(413)로 출력한다.

코스트 비교기(413)는 제 1 SAE 계산기(411)와 제 2 SAE 계산기(412)로부터 수신한 SAE를 별도로 비교하고, 각각 최소 SAE를 갖는 인트라 예측 모드를 해당되는 인트라 예측 대상 서브 블록의 최적의 인트라 예측 모드 정보(모드 A, 모드 B)로 출력하고, 상기 최적의 인트라 예측 모드에서 검출된 인트라 예측 샘플을 해당되는 인트라 예측 대상 서브 블록의 인트라 예측 샘플로 출력한다. 상기 코스트 비교기(413)는 각 인트라 예측 대상 서브 블록의 인트라 예측 모드 정보와 인트라 예 측 샘플을 순차적으로 출력한다.

인트라 예측 모드 정보(모드 A, 모드 B)는 영상 복호화 시 사용될 수 있도록 전송된다.

각 인트라 예측 대상 서브 블록의 인트라 예측 샘플은 가산기(420)로 출력된다.

가산기(420)는 인트라 예측 샘플과 해당되는 인트라 예측 대상 서브 블록의 잔류 값(residual value)을 가산한다. 잔류 값은 해당되는 서브 블록의 예측된 픽셀 값과 현재 입력되는 픽셀 값간의 차 값이다.

참조 픽셀 생성부(430)는 가산기(420)로부터 출력되는 가산 결과로 해당되는 인트라 예측 대상 서브 블록의 픽셀 값을 재구성하여 저장하고, 재구성된 픽셀 값을 다음 인트라 예측 처리 단계를 위한 참조 서브 블록의 픽셀 값으로 생성한다. 생성된 픽셀 값은 인트라 예측 처리부(410)의 제 1 SAE 계산기(411) 및 제 2 SAE 계산기(412)로 제공된다.

참조 픽셀 생성부(430)는 참조 서브 블록의 픽셀 값이 생성될 때마다 카운터(401)로 참조 서브 블록의 픽셀 값 생성을 알리는 신호를 제공한다. 이에 따라 카운터(401)는 카운트 값을 업데이트 하여 인트라 예측 처리 단계 정보를 업데이트 시킨다.

이와 같은 인트라 예측 처리로 인하여 16×16 매크로 블록에 포함되는 4×4 픽셀로 구성된 서브 블록에 대한 스캔 순서는 도 6에 도시된 바와 같이 재 정의된다.

도 7은 영상 부호화 시, 본 발명에 따른 인트라 예측 방법의 동작 흐름 도이다.

제 701 단계에서, 매크로 블록에서의 인트라 예측 처리 단계 정보를 토대로 인트라 예측 대상 서브 블록을 결정한다. 이 때, 인트라 예측 처리 단계 정보에 따라 복수개의 인트라 예측 대상 서브 블록이 결정될 수 있다. 예를 들어, 표 2 및 도 5에서와 같이 인트라 예측 처리가 이루어지고, 현재 인트라 예측 처리 단계 정보가 '3'이면, 매크로 블록에서 서브 블록 인덱스가 "3"인 서브 블록과 "5"인 서브 블록이 인트라 예측 대상 서브 블록으로 결정된다.

인트라 예측 대상 서브 블록은 도 4에서 설명한 바와 같은 기준으로 결정된다. 즉, 매크로 블록에 포함된 서브 블록중 인트라 예측에 필요한 참조 서브 블록의 인트라 예측이 모두 완료된 서브 블록을 인트라 예측 대상 서브 블록으로 결정할 수 있다.

제 702 단계에서, 결정된 인트라 예측 대상 서브 블록에 대해 도 1에서와 같은 9개의 인트라 예측 모드를 수행하여 인트라 예측 샘플을 검출한다.

제 703 단계에서, 인트라 예측 모드별로 검출된 인트라 예측 샘플과 해당되는 서브 블록의 현재 픽셀 값을 이용하여 인트라 예측 모드별 SAE를 계산한다.

제 704 단계에서, 인트라 예측 대상 서브 블록에 대한 인트라 예측 모드별 SAE에서 최소 SAE를 검출한다.

제 705 단계에서, 최소 SAE를 갖는 인트라 예측 모드에서 검출된 인트라 예측 샘플들과 해당 잔류 값을 가산한다.

제 706 단계에서, 상기 가산된 값으로 해당되는 인트라 예측 대상 서브 블록의 픽셀 값을 재구성한다.

제 707 단계에서, 재구성된 픽셀 값을 갖는 서브 블록을 다음 인트라 예측 처리 단계를 위한 참조 서브 블록의 픽셀 값으로 생성한다.

제 708 단계에서, 매크로 블록에서의 인트라 예측 처리 단계 정보를 업데이트 한다.

도 8 (a) 및 도 8 (b)는 본 발명의 다른 인트라 예측 처리 단계를 토대로 한 매크로 블록의 스캔 순서도이다.

도 8 (a) 및 (b)는 공통적으로 인트라 예측 처리 단계 정보를 토대로 표 2 및 도 5에서와 같이 복수개의 서브 블록이 인트라 예측 대상 서브 블록으로 결정될 수 있을 때, 하나의 서브 블록의 인트라 예측 처리가 다른 하나의 서브 블록의 인트라 예측 처리보다 적어도 하나의 인트라 예측 처리 단계 지연하여 처리한 경우이다. 따라서, 도 5와는 달리 인트라 예측 처리 단계가 11 단계로 이루어진다.

즉, 도 8(a)는 표 3과 같은 인트라 처리 단계로 인트라 예측 대상 서브 블록을 결정한 것으로, 표 2와 비교할 경우에 인트라 예측을 위해 필요한 참조 서브 블록의 인트라 예측이 완료된 시점에서 바로 인트라 예측 대상 서브 블록으로 결정하지 않고 하나의 인트라 예측 처리 단계가 지연된 시점에서 인트라 예측 대상 서브 블록으로 결정하도록 매크로 블록에 대한 스캔 순서를 정한 경우이다.

인트라예측처리단계	인트라예측대상 서브블록인덱스	인트라예측처리단계	인트라예측대상서브블록 인덱스
1	0	7	7,9
2	1	8	10,12
3	2	9	11,13
4	3,4	10	14
5	5,8	11	15
6	6

도 8(b)는 표 4와 같은 인트라 처리 단계로 인트라 예측 대상 서브 블록이 결정되도록 매크로 블록에서의 서브 블록에 대한 스캔 순서를 정한 경우이다.

인트라예측처리단계	인트라예측대상 서브블록인덱스	인트라예측처리단계	인트라예측대상서브블록 인덱스
1	0	7	7,9
2	1	8	10,12
3	2,4	9	11,13
4	3	10	14
5	5	11	15
6	6,8

도 8(a)와 도 8 (b)는 모두 11단계의 인트라 예측 처리 단계로 수행되나 인트라 예측 처리 단계 3, 4, 5, 6에서 선택되는 인트라 예측 대상 서브 블록이 상이하다.

도 9는 영상 복호화 시, 본 발명에 따른 인트라 예측 장치의 블록 도이다. 도 9를 참조하면, 카운터(901), 제 1 예측기(910), 제 2 예측기(911), 제 1 가산기(920), 제 2 가산기(921) 및 참조 픽셀 생성부(930)로 구성된다.

카운터(901)는 도 4에서의 카운터(401)와 같다.

제 1 예측기(910)는 인트라 예측 처리 단계 정보를 토대로 인트라 예측 대상 서브 블록을 결정한다. 인트라 예측 대상 서브 블록 결정은 제 1 SAE 계산기(411)에서와 같다.

제 1 예측기(910)는 입력되는 모드 A정보와 참조 픽셀 생성부(930)로부터 제공되는 참조 서브 블록의 픽셀 값을 이용하여 현재 결정된 인트라 예측 대상 서브 블록에 대한 인트라 예측을 수행한다. 이 때, 인트라 예측은 도 1에서와 같은 9개의 인트라 예측 모드중에서 입력되는 모드 A 정보에 대응되는 인트라 예측 모드에 의해 수행된다.

예를 들어, 모드 A가 수직 방향 모드이면, 제 1 예측기(910)는 결정된 인트라 예측 대상 서브 블록에 대해 수직 방향 모드에 따른 인트라 예측을 수행한다. 이에 따라 제 1 예측기(910)는 해당되는 인트라 예측 대상 서브 블록에 대한 인트라 예측 샘플을 출력한다.

제 2 예측기(911)는 제 2 SAE 계산기(412)에서와 같이 인트라 예측 대상 서브 블록을 결정하고, 제 1 예측기(910)와 같이 동작하여 해당되는 인트라 예측 대상 서브 블록의 인트라 예측 대상 샘플을 출력한다.

제 1 가산기(920)는 제 1 예측기(910)에서 출력되는 인트라 예측 샘플과 해당되는 잔류 값을 가산하여 출력한다.

제 2 가산기(921)는 제 2 예측기(911)에서 출력되는 인트라 예측 샘플과 해당되는 잔류 값을 가산하여 출력한다.

참조 픽셀 생성부(930)는 제 1 가산기(920)와 제 2 가산기(921)에서 출력되는 가산 결과를 이용하여 해당되는 인트라 예측 대상 서브 블록의 픽셀 값을 재구성하고, 다음 인트라 예측 처리 단계를 위한 참조 서브 블록의 픽셀 값으로 생성한다. 생성되는 참조 서브 블록의 픽셀 값은 제 1 예측기 및 제 2 예측기(910, 911) 로 제공된다.

참조 픽셀 생성부(930)는 참조 서브 블록의 픽셀 값이 생성될 때마다 카운터(901)로 참조 서브 블록의 픽셀 값 생성을 알리는 정보를 제공한다.

도 10은 영상 복호화 시, 본 발명에 따른 인트라 예측 방법의 동작 흐름도이다.

제 1001 단계에서, 인트라 예측 처리 단계 정보를 토대로 인트라 예측 대상 서브 블록을 결정한다. 인트라 예측 대상 서브 블록 결정은 도 7의 제 701 단계와 같다.

제 1002 단계에서, 입력되는 모드 정보를 토대로 한 인트라 예측 모드와 참조 서브 블록의 픽셀 값을 이용하여 제 1001 단계에서 결정된 인트라 예측 대상 서브 블록의 인트라 예측을 수행하여 인트라 예측 샘플을 생성한다.

제 1003 단계에서, 생성된 인트라 예측 샘플과 해당되는 서브 블록의 잔류 값을 가산한다.

제 1004 단계에서, 가산된 값을 이용하여 인트라 예측 대상 서브 블록의 픽셀 값을 재구성한다.

제 1005 단계에서, 픽셀 값이 재구성된 서브 블록의 픽셀 값을 다음 인트라 예측 처리 단계를 위한 참조 서브 블록의 픽셀 값으로 생성한다.

제 1006 단계에서, 인트라 예측 처리 단계 정보를 업데이트 한다.

상술한 바와 같이 본 발명은 영상 부호화 또는 복호화 시, 서브 블록단위의 인트라 예측을 위해 필요한 모든 참조 서브 블록의 인트라 예측이 완료된 시점을 기준으로 적어도 하나의 인트라 예측 대상 블록을 결정하여 인트라 예측을 수행함으로써, 기존에 비해 인트라 예측 처리 단계를 줄일 수 있어 인트라 예측을 위한 처리 시간을 단축할 수 있다. 실험적으로 16×16 매크로 블록에 대한 인트라 예측 처리 단계를 상술한 실시 예에서처럼 10단계로 줄일 경우에, 인트라 예측 처리 시간은 기존에 비해 약 38% 단축시킬 수 있다.

본 발명은 상술한 실시 예에 한정되지 않으며, 본 발명의 사상 내에서 당업자에 의한 변형이 가능함은 물론이다. 따라서, 본 발명에서 권리를 청구하는 범위는 상세한 설명의 범위 내로 정해지는 것이 아니라 후술하는 청구범위로 정해질 것이다.

Claims

매크로 블록에서의 인트라 예측 처리 단계 정보를 토대로 적어도 하나의 인트라 예측 대상 서브 블록을 결정하는 단계;

상기 인트라 예측 대상 서브 블록의 인트라 예측을 수행하고, 상기 인트라 예측 처리 단계 정보를 업데이트 하는 단계를 포함하는 인트라 예측 방법.
제 1 항에 있어서, 상기 인트라 예측 대상 서브 블록은 상기 매크로 블록에 포함된 서브 블록중 인트라 예측을 위해 필요한 참조 서브 블록의 인트라 예측이 완료된 서브 블록인 것을 특징으로 하는 인트라 예측 방법.
제 2 항에 있어서, 상기 인트라 예측 대상 서브 블록이 복수개이면, 일부 서브 블록의 인트라 예측 처리가 나머지 서브 블록의 인트라 예측 처리보다 적어도 한 단계 지연되어 인트라 예측 처리가 수행되도록 상기 인트라 예측 대상 서브 블록을 결정하는 것을 특징으로 하는 인트라 예측 방법.
매크로 블록에서 인트라 예측 처리 단계 정보를 토대로 인트라 예측 대상 서브 블록을 적어도 하나 결정하는 단계;

상기 인트라 예측 대상 서브 블록에 대한 인트라 예측을 수행하여 인트라 예측 샘플을 검출하는 단계;

상기 검출된 인트라 예측 샘플과 상기 인트라 예측 대상 서브 블록의 잔류 값(residual value)을 가산하여 상기 인트라 예측 대상 서브 블록의 픽셀 값이 재구성되면, 상기 재구성된 픽셀 값을 다음 인트라 예측 처리 단계를 위한 참조 서브 블록의 픽셀 값으로 생성하는 단계; 및

상기 참조 서브 블록의 픽셀 값이 생성되면, 상기 인트라 예측 처리 단계 정보를 업데이트 하는 단계를 포함하는 인트라 예측 방법.
제 4 항에 있어서, 상기 인트라 예측 처리 단계 정보에 대응되는 사전에 설정된 서브 블록 인덱스를 참조하여 상기 인트라 예측 대상 서브 블록을 결정하는 것을 특징으로 하는 인트라 예측 방법.
제 5 항에 있어서, 상기 서브 블록 인덱스는 상기 인트라 예측 시 상기 매크로 블록에서 필요한 참조 서브 블록의 인트라 예측이 완료된 서브 블록의 인덱스인 것을 특징으로 하는 인트라 예측 방법.
제 6 항에 있어서, 상기 서브 블록 인덱스중 일부 서브 블록 인덱스는, 상기 인트라 예측시 상기 매크로 블록에서 필요한 참조 서브 블록의 인트라 예측이 모두 완료된 후, 적어도 한 단계가 지연된 시점에서 인트라 예측이 처리되도록 설정된 것을 특징으로 하는 인트라 예측 방법.
매크로 블록에서 인트라 예측 처리 단계 정보를 토대로 적어도 하나의 인트라 예측 대상 서브 블록을 결정하고, 상기 인트라 예측 대상 서브 블록에 대한 인트라 예측을 수행하여 인트라 예측 모드와 인트라 예측 샘플을 출력하는 인트라 예측 처리부;

상기 인트라 예측 대상 서브 블록의 잔류 값과 상기 인트라 예측 샘플을 가산하는 가산기;

상기 가산기에서 출력되는 신호로 상기 인트라 예측 대상 서브 블록의 픽셀 값을 재구성하고, 상기 재구성된 픽셀 값을 다음 인트라 예측 처리 단계를 위한 참조 서브 블록의 픽셀 값으로 생성하는 참조 픽셀 생성부;

상기 참조 픽셀 생성부에서 상기 참조 서브 블록의 픽셀 값이 생성되면, 상기 인트라 예측 처리 단계 정보를 업데이트 하는 인트라 예측 처리 단계 정보 제공부를 포함하는 영상 부호화 시 이용되는 인트라 예측 장치.
제 8 항에 있어서, 상기 인트라 예측 처리부는,

상기 매크로 블록에 포함된 서브 블록중 인트라 예측을 위해 필요한 참조 서브 블록의 인트라 예측이 완료된 서브 블록을 상기 인트라 예측 대상 서브 블록으로써 결정하는 것을 특징으로 하는 영상 부호화 시 이용되는 인트라 예측 장치.
제 9 항에 있어서, 상기 매크로 블록에서 상기 참조 서브 블록의 인트라 예측이 완료된 서브 블록이 복수개이면,

일부 서브 블록의 인트라 예측 처리가 다른 서브 블록의 인트라 예측 처리보다 적어도 한 단계가 지연되어 인트라 예측이 처리되도록 상기 인트라 예측 대상 서브 블록을 결정하는 것을 특징으로 영상 부호화 시 이용되는 인트라 예측 장치.
제 8 항에 있어서, 인트라 예측 처리부는,

상기 인트라 예측 처리 단계 정보를 토대로 제 1 인트라 예측 대상 서브 블록을 결정하고, 상기 참조 서브 블록의 픽셀 값을 이용하여 상기 제 1 인트라 예측 대상 서브 블록에 대해 복수개의 인트라 예측 모드를 수행하고, 상기 복수개의 인트라 예측 모드별 에러 절대값의 합(SAE)를 계산하는 제 1 에러 절대값의 합 계산 기;

상기 인트라 예측 처리 단계 정보를 토대로 제 2 인트라 예측 대상 서브 블록을 결정하고, 상기 참조 서브 블록의 픽셀 값을 이용하여 상기 제 2 인트라 예측 대상 서브 블록에 대해 복수개의 인트라 예측 모드를 수행하고, 상기 복수개의 인트라 예측 모드별 에러 절대값의 합(SAE)을 계산하는 제 2 에러 절대값의 합 계산기;

상기 제 1 에러 절대값의 합 계산기에서 출력되는 복수개의 에러 절대값의 합과 상기 제 2 에러 절대값의 합 계산기에서 출력되는 복수개의 에러 절대값의 합을 별도로 비교하여, 상기 제 1 인트라 예측 대상 서브 블록과 제 2 인트라 예측 대상 서브 블록에 대한 상기 인트라 예측 모드와 상기 인트라 예측 샘플을 출력하는 코스트 비교기를 포함하는 영상 부호화 시 이용되는 인트라 예측 장치.
매크로 블록에서 인트라 예측 처리 단계 정보를 토대로 적어도 하나의 인트라 예측 대상 서브 블록을 결정하고, 결정된 인트라 예측 대상 서브 블록에 대한 인트라 예측을 수행하여 인트라 예측 샘플을 출력하는 인트라 예측 처리부;

상기 인트라 예측 대상 서브 블록의 잔류 값과 상기 인트라 예측 샘플을 가산하는 가산기;

상기 가산기에서 출력되는 신호로 상기 인트라 예측 대상 서브 블록의 픽셀 값을 재구성하고, 상기 재구성된 픽셀 값을 다음 인트라 예측 처리 단계를 위한 참조 서브 블록의 픽셀 값으로 생성하는 참조 픽셀 생성부;

상기 참조 픽셀 생성부에서 상기 참조 서브 블록의 픽셀 값이 생성되면, 상기 인트라 예측 처리 단계 정보를 업데이트 하는 인트라 예측 처리 단계 정보 제공부를 포함하는 영상 복호화 시 이용되는 인트라 예측 장치.
제 12 항에 있어서, 상기 인트라 예측 처리부는,

상기 매크로 블록에 포함된 서브 블록중 인트라 예측을 위해 필요한 참조 서브 블록의 인트라 예측이 완료된 서브 블록을 상기 인트라 예측 대상 서브 블록으로써 결정하는 것을 특징으로 하는 영상 복호화 시 이용되는 인트라 예측 장치.
제 13 항에 있어서, 상기 매크로 블록에서 상기 인트라 예측을 위해 필요한 참조 서브 블록의 인트라 예측이 완료된 서브 블록이 복수개이면,

일부 서브 블록의 인트라 예측 처리가 다른 서브 블록의 인트라 예측 처리보다 적어도 한 단계가 지연되어 인트라 예측이 처리되도록 상기 인트라 예측 대상 서브 블록을 결정하는 것을 특징으로 하는 영상 복호화 시 이용되는 인트라 예측 장치.
제 12 항에 있어서, 상기 인트라 예측 처리부는,

상기 인트라 예측 처리 단계 정보를 토대로 제 1 인트라 예측 대상 서브 블록을 결정하고, 상기 참조 서브 블록의 픽셀 값과 상기 제 1 인트라 예측 대상 서브 블록의 인트라 예측 모드 정보를 이용하여 상기 제 1 인트라 예측 대상 서브 블록에 대한 인트라 예측을 수행하여 상기 인트라 예측 샘플을 출력하는 제 1 예측 기;

상기 인트라 예측 처리 단계 정보를 토대로 제 2 인트라 예측 대상 서브 블록을 결정하고, 상기 참조 서브 블록의 픽셀 값과 상기 제 2 인트라 예측 대상 서브 블록의 인트라 예측 모드 정보를 이용하여 상기 제 2 인트라 예측 대상 서브 블록에 대한 인트라 예측을 수행하여 상기 인트라 예측 샘플을 출력하는 제 2 예측기를 포함하고,

상기 가산기는,

상기 제 1 예측기에 대응되는 제 1 가산기와 상기 제 2 예측기에 대응되는 제 2 가산기를 포함하는 영상 복호화 시 이용되는 인트라 예측 장치.