KR20200042451A

KR20200042451A - 영상 복호화 장치 및 방법

Info

Publication number: KR20200042451A
Application number: KR1020200044774A
Authority: KR
Inventors: 임종근
Original assignee: 엠앤케이홀딩스 주식회사
Priority date: 2020-04-13
Filing date: 2020-04-13
Publication date: 2020-04-23
Also published as: KR102124089B1

Abstract

영상 복호화 장치 및 방법이 개시된다. 본 발명에 따른 영상 복호화 장치는 코딩 단위로 예측 블록을 복원하며, 예측 블록 생성시 이웃하는 블록의 경계에 위치하는 화소값을 사용할 수 없는 경우에 이용가능한 화소들을 선형보간하여 예측 블록을 생성한다. 또한 복호화할 블록의 정보를 이용할 수 없는 경우에 해당 블록에 이웃하는 블록들의 경계에 위치한 화소들의 화소값을 기초로 해당 블록의 좌상측으로부터 우하측 방향에 위치한 화소들의 화소값을 선형 보간한 후 이를 이용하여 나머지 화소들의 화소값을 결정한다.

Description

영상 복호화 장치 및 방법{Apparatus and method for decoding an image}

본 발명은 영상 복호화 장치 및 방법에 관한 것으로, 보다 상세하게는, 영상 부호화 장치에 의해 사전에 설정된 부호화 단위에 의해 부호화된 영상을 복호화하기 위한 장치 및 방법에 관한 것이다.

영상의 압축 및 복원과 관련하여 MPEG으로부터 H.264까지 지속적으로 영상의 압축율과 시스템의 복잡도를 낮추기 위한 노력이 계속되고 있다. 특히 영상 압축 기술과 통신 기술이 결합되면서, 데이터의 양을 줄이면서 복원시 원 영상에 가깝게 복원할 수 있는 기술에 대한 요구가 점차 증가하고 있다. 이러한 요구에 응답하기 위해 현재 보다 발전된 영상 압축 기술이 연구되고 있으며, 최근 HEVC라는 명칭으로 새로운 영상 압축 표준이 논의되고 있다.

본 발명이 이루고자 하는 기술적 과제는, 전체적인 장치의 복잡도를 감소시키면서, 정확하게 영상을 복호화할 수 있는 영상 복호화 장치 및 방법을 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 영상 복호화 장치는, 영상 부호화 장치로부터 수신된 비트 스트림을 복호하여 예측 블록을 생성하기 위한 정보, 1차원 벡터 형태로 표현된 잔차값 및 양자화 파라미터를 복원하는 엔트로피 복호화부; 상기 잔차값을 재정렬하여 2차원의 블록 형태의 계수로 복원하는 재정렬부; 상기 양자화 파라미터를 기초로 상기 2차원의 블록 형태의 계수를 역양자화하는 역양자화부; 상기 역양자화부에 의해 역양자화된 상기 2차원의 블록 형태의 계수를 역변환하여 잔차 블록을 생성하는 역변환부; 상기 예측 블록을 생성하기 위한 정보를 기초로 복호화할 현재 블록의 인트라 예측 모드를 복호하고, 상기 인트라 예측 모드에 따라 예측 블록을 생성하는 화면내 예측부; 및 상기 잔차 블록과 상기 예측 블록을 기초로 원블록을 복원하는 가산부;를 포함하고, 상기 화면내 예측부는 상기 예측 블록을 생성하기 위한 정보에 상기 복호화할 현재 블록의 예측 모드가 제1예측 모드 후보 리스트에 삽입된 예측 모드와 동일한지 여부를 나타내는 플래그를 기초로 상기 복호화할 현재 블록의 인트라 예측 모드를 복호하고, 상기 복호화할 현재 블록의 좌측 및 상측에 인접하는 이웃 블록이 모두 이용가능하지 않으면 DC 모드가 상기 제1예측 모드 후보 리스트에 포함되고, 상기 화면내 예측부는 상기 예측 블록을 생성하기 위한 정보를 이용할 수 없는 경우에, 상기 복호화할 현재 블록에 이웃하는 블록들의 경계에 위치한 화소들의 화소값을 선형보간하여 상기 복호화할 현재 블록의 좌상측에서 우하측을 연결하는 직선상에 위치하는 화소들의 화소값을 결정하고, 상기 복호화할 현재 블록의 좌상측에서 우하측을 연결하는 직선상에 위치하는 화소들의 화소값과 상기 복호화할 현재 블록에 이웃하는 블록들의 경계에 위치한 화소들의 화소값을 선형보간하여 상기 복호화할 현재 블록의 나머지 화소들의 화소값을 결정한다.

본 발명에 따른 영상 복호화 장치 및 방법에 의하면, 전체적인 장치의 복잡도를 감소시키면서, 정확하게 영상을 복호화할 수 있다.

도 1은 본 발명에 따른 영상 복호화 장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 영상 복호화 장치에 대한 바람직한 실시예의 예측부의 구성을 도시한 도면,
도 3은 본 발명에 따른 영상 복호화 장치에 대한 바람직한 실시예의 화면 간 예측부를 도시한 도면,
도 4는 본 발명에 따른 영상 복호화 장치에 대한 바람직한 실시예의 움직임 보상부(320)에서 예측 단위를 기초로 움직임 보상을 수행하는 과정을 도시한 순서도,
도 5는 본 발명에 따른 영상 복호화 장치에 대한 바람직한 실시예의 화면 내 예측부의 구성을 도시한 도면,
도 6은 ALF(140)의 예들을 도시한 도면,
도 7은 영상 부호화 장치(700)에 대한 바람직한 일 실시예의 구성을 도시한 도면,
도 8은 최대 부호화 단위를 적어도 하나의 부호화 단위로 분할하는 과정을 도시한 도면,
도 9는 예측부(710)의 상세한 구성을 도시한 도면,
도 10은 예측 단위 생성부(910)가 예측 단위를 생성하는 방법을 도시한 도면,
도 11은 화면 간 예측부의 상세한 구성을 도시한 도면,
도 12는 예측 단위 머지 방법에서의 공간적 머징 후보 블록들을 나타낸 도면,
도 13은 예측 단위 머지 방법에서 시간적 머징 후보 블록을 구하기 위한 방법을 나타낸 도면,
도 14는 공간적 AMVP 후보 블록을 나타낸 도면,
도 15는 시간적 AMVP 후보 블록을 나타낸 도면,
도 16은 예측 모드를 도시한 도면,
도 17은 영상 부호화 장치에서 수행되는 화면 내 예측방법을 수행과정을 도시한 흐름도,
도 18은 AIS 필터를 사용하는 현재 예측 단위의 참조 화소 및 DC 모드일 경우 적용하는 AIS 필터의 종류를 나타낸 도면,
도 19는 화면 내 예측 모드에 따라 참조 화소로부터 예측 블록을 생성하는 방법을 나타낸 도면,
도 20은 예측 모드가 DC 모드일 경우 예측 블록을 생성하는 방법을 나타낸 도면,
도 21은 영상 부호화 장치의 화면 내 예측부의 구성을 도시한 도면,
도 22는 변환 단위 분할 방법을 나타낸 도면,
도 23은 4x4 크기의 전송 단위에서 변환을 수행하는 방법을 나타낸 도면,
도 24는 디블로킹 필터를 적용하는 방법을 나타낸 도면,
도 25는 ALF를 사용하는 방법을 나타낸 도면,
도 26은 손실된 블록에 대해 본 발명에 따른 영상 복호화 장치(100)의 예측부(130)가 예측 블록을 생성하는 방법을 도시한 도면,
도 27은 동일한 매크로 블록에 속하는 CU들이 서로 다른 슬라이스에 속하게 되는 상황에서 본 발명에 따른 영상 복호화 장치(100)의 예측부(130)가 필요한복원 블록들의 경계에 위치한 화소값을 보간하는 방법을 도시한 도면, 그리고,
도 28은 복호할 블록의 상측에 위치한 일부 블록(P 및 B)의 화소값을 사용하지 못하는 경우에 복호할 블록의 상측에 위치한 블록의 경계 화소값을 결정하는 방법을 도시한 도면이다.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 영상 복호화 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다. 이하의 설명에서 각각의 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명에 따른 영상 복호화 장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 영상 복호화 장치(100)는 엔트로피 복호화부(110), 재정렬부(115), 역양자화부(120), 역변환부(125), 예측부(130), 디블록킹 필터(135), 적응적 루프 필터(Adaptive Loop Filter: ALF)(140) 및 메모리(145)를 구비한다.

영상 부호화 장치에 의해 부호화된 영상 데이터 또는 영상 부호화 장치에 의해 부호화되어 전송된 영상 비트스트림이 입력되면, 영상 복호화 장치(100)는 입력된 영상 데이터 또는 비트스트림을 영상 부호화 장치와 반대의 절차를 수행하여 복호화할 수 있다.

엔트로피 복호화부(110)는 영상 부호화 장치의 엔트로피 부호화부에서 엔트로피 부호화를 수행한 것과 반대의 절차로 엔트로피 복호화를 수행한다. 예를 들어, 영상 부호화 장치에서 엔트로피 부호화를 수행하기 위해 사용된 가변장코드(variable length code : VLC) 테이블은 엔트로피 복호화부에서도 동일한 VLC 테이블로 구현되어 엔트로피 복호화에 사용된다. 또한, 엔트로피 복호화부(110)는 영상 부호화부로부터 엔트로피 부호화를 수행하기 위해 필요한 정보를 추가적인 정보로서 제공받을 수 있다. 엔트로피 복호화부(110)가 복호화한 정보 중에서 예측 블록을 생성하기 위한 정보는 예측부(130)로 제공되고, 잔차값은 재정렬부(115)로 제공된다. 또한, 엔트로피 복호화부(110)도 영상 부호화부와 마찬가지로 카운터(Counter) 또는 직접 변환(Direct Swapping) 방법을 이용해 코드 워드 할당 테이블을 변화시킬 수 있고, 변화된 코드 워드 할당 테이블에 기초하여 엔트로피 복호화를 수행할 수 있다.

재정렬부(115)는 엔트로피 복호화부(110)에 의해 엔트로피 복호화된 비트스트림을 영상 부호화부에서 재정렬한 방법을 기초로 재정렬을 수행할 수 있다. 이때, 재정렬부(115)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 그리고, 재정렬부(115)는 영상 부호화부에서 수행된 계수 스캐닝에 관련된 정보를 제공받고, 영상 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.

역양자화부(120)는 영상 부호화 장치로부터 제공된 양자화 파라미터와 재정렬부(115)에 의해 재정렬된 블록의 계수값을 기초로 역양자화를 수행한다.

역변환부(125)는 영상 부호화 장치의 양자화부에서 수행한 양자화 결과에 대해 영상 부호화 장치의 변환부에서 수행한 이산 코사인 변환(discrete cosine transform: DCT) 및 이산 사인 변환(discrete sine transform: DST)에 대해 역DCT 및 역 DST를 수행한다. 이때, 역변환은 영상 부호화 장치에서 결정된 코딩 단위(Coding Unit: CU)를 기초로 수행되거나, 변환 단위(Transform Unit : TU)를 기초로 수행될 수 있다. 영상 부호화 장치의 변환부에서는 DCT와 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 영상 복호화 장치(100)의 역변환부(125)에서는 영상 부호화 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다. 예를 들어, 4x4 (픽셀) 크기의 블록의 경우, 역변환부(125)에서는 해당 블록의 인트라 모드 정보를 기초로 다음의 표 1에 기재된 바와 같은 움직임 예측 모드에 따라 역 DCT 또는 역 DST를 선택적으로 사용하여 역변환을 수행할 수 있다. 해당 블록의 인트라 예측 모드 정보는 예측부(130)에서 제공받을 수 있다. 또한, 역변환부(125)는 영상 부호화 장치에서 제공된 분할 단위 정보를 기초로 분할 단위로 역변환을 수행할 수 있다.

	모드 (mode)	수직 변환 (vertical transform)	수평 변환 (horizontal transform)
0	VER to VER + 8	DST	DCT
1	HOR to HOR + 8	DCT	DST
2	DC	DCT	DCT
3	VER + 8 to VER - 1	DST	DST
4	HOR + 8 to HOR	DST	DST

표 1을 참조하면, 화면 내 예측의 방향성에 따라 변환 방법으로 DCT와 DST를 선택적으로 사용할 수 있다. 움직임 예측 모드가 VER에서 VER+8 사이에 위치한 움직임 예측 모드인 경우, 수직 변환을 수행함에 있어서는 DST, 수평 변환을 수행함에 있어서는 DCT를 사용하여 변환을 수행할 수 있다. 즉, 모드에 따라 변환 방법을 적응적으로 다르게 변화시킬 수 있다.예측부(130)는 엔트로피 복호화부(110)로부터 제공된 예측 블록 생성 관련 정보와 메모리(145)로부터 독출한 이전에 복호화된 블록 또는 픽쳐 정보를 기초로 예측 블록을 생성한다. 도 2는 본 발명에 따른 영상 복호화 장치에 대한 바람직한 실시예의 예측부의 구성을 도시한 도면이다.

도 2를 참조하면, 예측부(130)는 예측 단위 판별부(210) 화면 간 예측부(220) 및 화면 내 예측부(230)를 구비한다.

예측 단위 판별부(210)는 엔트로피 복호화부(110)로부터 예측 단위 정보, 화면 내 예측 방법의 예측 모드 정보, 화면 간 예측 방법의 움직임 예측 관련 정보 등 다양한 정보를 입력받는다. 또한 예측 단위 판별부(210)는 현재 부호화 단위에서 예측 단위를 구분하고, 예측 단위가 화면 간 예측을 수행하는지 아니면 화면 내 예측을 수행하는지 여부를 판별한다.

화면 간 예측부(220)는 영상 부호화 장치로부터 제공된 현재 예측 단위의 화면 간 예측에 필요한 정보를 이용해 현재 예측 단위가 포함된 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 예측 단위에 대한 화면 간 예측을 수행한다.

도 3은 본 발명에 따른 영상 복호화 장치에 대한 바람직한 실시예의 화면 간 예측부를 도시한 도면이다.

도 3을 참조하면, 화면 간 예측부(220)는 참조 픽쳐 보간부(310) 및 움직임 보상부(320)를 구비한다.

참조 픽쳐 보간부(310)는 영상 부호화 장치로부터 제공된 움직임 벡터가 1/2 화소 단위 또는 1/4화소 단위 움직임 벡터를 가질 경우, 메모리(145)로부터 독출한 참조 픽쳐를 기초로 정수 화소 이하의 화소 정보를 생성한다. 휘도 화소의 경우, 1/4 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 8탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다. 색차 신호의 경우 1/8 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 4탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다. 그리고, 정소 화소 이하의 화소 정보를 생성하기 위해 화소의 위치와 그에 따른 필터 계수는 영상 부호화 장치의 참조 픽쳐 보간부와 동일하게 사용될 수 있다.

움직임 보상부(320)는 영상 부호화 장치로부터 제공된 움직임 벡터 정보 및 참조 픽쳐 정보와 같은 움직임 예측 관련 정보를 기초로 현재 블록에 움직임 보상을 수행하여 예측 블록을 생성한다.

도 4는 본 발명에 따른 영상 복호화 장치에 대한 바람직한 실시예의 움직임 보상부(320)에서 예측 단위를 기초로 움직임 보상을 수행하는 과정을 도시한 순서도이다.

도 4를 참조하면, 움직임 보상부(320)는 분할 단위를 기준으로 해당 분할 단위에 포함된 예측 단위가 스킵 모드(Skip Mode)인지 여부를 판단한다(S400). 이 때, 움직임 보상부(320)는 분할 단위를 기준으로 현재 분할 단위에 포함된 예측 블록이 스킵(Skip) 모드인지 여부를 판단할 수 있다. 만약, 분할 단위가 스킵 모드이면, 움직임 보상부(320)는 머지 스킵(Merge Skip)을 수행한다(S410).

하나의 분할 단위를 기준으로 해당 분할 단위에 포함된 예측 단위는 스킵 모드를 가질 수 있다. 스킵 모드는 예측 블록과 원본 블록의 잔차값을 전송하지 않는 모드이다. 하나의 분할 단위에 포함된 예측 단위가 스킵 모드를 가질 때 움직임 보상부(320)는 머지 스킵(Merge Skip)을 수행하여 예측 블록을 생성할 수 있다.

머지 스킵(Merge Skip)은 주변의 머지 스킵 후보 블록 중 하나의 머지 스킵 후보 블록의 움직임 예측 관련 정보를 현재 예측 단위의 움직임 예측 관련 정보로써 사용하는 방법이다. 즉, 예측 단위가 머지 스킵 블록일 경우, 현재 예측 단위의 머지 인덱스(Merge Index)가 가리키는 머지 스킵 후보 블록에 포함된 움직임 벡터, 참조 픽쳐 인덱스 등과 같은 움직임 예측 관련 정보를 현재 예측 단위의 움직임 관련 정보로 사용할 수 있다.

한편, 분할 단위에 포함된 예측 단위가 머지 스킵 모드가 아닌 경우, 움직임 보상부(320)는 예측 단위가 예측 단위 머지 블록(Prediction Unit Merge Block)인지 여부를 판단한다(S420). 현재 예측 단위가 머지 스킵 모드를 사용하여 예측되지 않은 경우 예측 단위는 예측 단위 머지 블록(PU Merge Block) 또는 AMVP 블록(Advanced Motion Vector Prediction Block)이 될 수 있다. 분할 단위가 예측 단위 머지 블록인 경우, 움직임 보상부(320)는 예측 단위 머지 블록을 움직임 보상하여 예측 블록을 생성한다(S430).

움직임 보상부(320)는 현재 블록의 주변 블록에 위치한 4개의 공간적 머지 후보 블록 및 참조 픽쳐에 위치한 1개의 시간적 머지 후보 블록을 포함한 5개의 예측 단위 머지 후보 블록 중 하나의 예측 단위 머지 후보 블록의 움직임 관련 정보를 기초로 예측 블록을 생성할 수 있다. 따라서, 영상 복호화 장치(100)는 영상 부호화 장치에서 예측 단위 머지 블록을 생성하기 위해 사용한 후보 블록 정보를 제공받고 후보 블록의 움직임 벡터 및 참조 픽쳐 정보와 같은 움직임 예측 관련 정보를 사용해 후보 블록과 동일한 예측 블록을 생성할 수 있다. 움직임 보상부(320)에 의해 생성된 예측 블록은 역변환부(125)에서 역변환되어 제공되는 잔차 블록과 합쳐져 복원 블록이 생성된다.

S420단계에서 예측 단위가 예측 단위 머지 블록이 아닌 것으로 판단되면, 움직임 보상부(320)는 AMVP 블록을 움직임 보상하여 예측 블록을 생성한다(S440). 현재 예측 단위가 예측 단위 머지 블록이 아닌 경우에 현재 블록은 AMVP 블록이 되고, 예측 단위에 대해 AMVP 예측 방법을 수행할 수 있다. 영상 복호화 장치(100)에서는 예측 단위가 AMVP 블록인 경우, 영상 부호화 장치로부터 현재 예측 단위 주변의 공간적 AMVP 후보 블록 2개 및 다른 픽쳐에 포함된 시간적 AMVP 후보 블록 중 어떠한 AMVP 후보 블록을 사용하였는지에 관련된 정보 및 사용된 AMVP 후보 블록과 현재 블록의 움직임 벡터 차이값 정보를 이용해 예측 블록을 생성한다. 즉, AMVP 블록에 대해서는 영상 부호화 장치에서 제공된 현재 예측 단위에서 움직임 보상에 사용한 AMVP 후보 블록 정보 및 예측에 사용한 AMVP 후보 블록과 현재 블록의 움직임 벡터 차이값 정보를 기초로 예측 블록을 생성한다. 생성된 예측 블록은 역변환부(125)에서 역변환되어 제공되는 잔차 블록과 합쳐져 복원 블록이 생성된다.

한편, 화면 내 예측부(230)는 현재 픽쳐 내의 화소 정보를 기초로 예측 블록을 생성한다. 예측 단위가 화면 내 예측을 수행한 예측 단위인 경우, 화면 내 예부(230)는 영상 부호화 장치에서 제공된 예측 단위의 화면 내 예측 모드 정보를 기초로 화면 내 예측을 수행한다.

도 5는 본 발명에 따른 영상 복호화 장치에 대한 바람직한 실시예의 화면 내 예측부의 구성을 도시한 도면이다.

도 5를 참조하면, 화면 내 예측부(500)는 AIS 필터(510), 참조 화소 보간부(520), DC 필터(530)를 구비한다.

AIS 필터(510)는 현재 블록의 참조 화소에 필터링을 수행하는 부분으로서 현재 예측 단위의 예측 모드에 따라 필터의 적용 여부를 결정하여 적용한다. 따라서 영상 부호화 장치에서 제공된 예측 단위의 예측 모드 및 AIS 필터 정보를 이용하여 현재 블록의 참조 화소에 AIS 필터링을 수행할 수 있다. 현재 블록의 예측 모드가 AIS 필터링을 수행하지 않는 모드일 경우, AIS 필터는 적용되지 않을 수 있다.

참조 화소 보간부(520)는 예측 단위의 예측 모드가 참조 화소를 보간한 화소값을 기초로 화면 내 예측을 수행하는 예측 단위일 경우, 참조 화소를 보간하여 정수값 이하의 화소 단위의 참조 화소을 생성한다. 현재 예측 단위의 예측 모드가 참조 화소을 보간하지 않고 예측 블록을 생성하는 예측 모드일 경우 참조 화소는 보간되지 않을 수 있다. DC 필터(530)는 현재 블록의 예측 모드가 DC 모드일 경우 필터링을 통해서 예측 블록을 생성한다.

예측부(130)에서 생성된 예측 블록과 역변환부(125)에서 제공된 잔차 블록을 합침으로써 복원 블록이 생성되며, 복원된 블록 또는 픽쳐는 디블록킹 필터(135)로 제공될 수 있다. 이때, 영상 부호화 장치로부터 해당 블록 또는 픽쳐에 디블록킹 필터를 적용하였는지 여부에 대한 정보 및 디블록킹 필터를 적용하였을 경우, 강한 필터를 적용하였는지 또는 약한 필터를 적용하였는지에 대한 정보를 제공받을 수 있다. 영상 복호화 장치(100)의 디블록킹 필터(135)는 영상 부호화 장치로부터 제공된 디블록킹 필터 관련 정보를 기초로 해당 블록에 대한 디블록킹 필터링을 수행한다. 이때, 영상 부호화 장치에서와 마찬가지로 디블록킹 필터(135)는 우선 수직 디블록킹 필터링 및 수평 디블록킹 필터링을 수행하되, 겹치는 부분에 있어서는 수직 디블록킹 및 수평 디블록킹 중 적어도 하나를 수행할 수 있다. 수직 디블록킹 필터링 및 수평 디블록킹 필터링이 겹치는 부분에서 이전에 수행되지 못한 수직 디블록킹 필터링 또는 수평 디블록킹 필터링이 수행될 수 있다. 이러한 디블록킹 필터링 과정을 통해서 디블록킹 필터링의 병행 처리(Parallel Processing)이 가능하다.

ALF(140)는 디블록킹 필터(135)를 통해 필터링이 수행된 복원된 영상과 원래의 영상을 비교한 값을 기초로 추가적인 적응적 루프 필터링을 수행한다. 이때, ALF(140)는 부호화 단위별로 영상 부호화 장치로부터 제공된 ALF 적용 여부 정보, ALF 크기 정보, ALF 계수 정보 등 ALF 관련 정보를 기초로 해당 부호화 단위에 ALF를 적용할 수 있다. 이때, ALF(140)는 영상 부호화 장치와 마찬가지로 5 Tap, 7 Tap, 9 Tap 크기의 필터 중 하나의 크기를 가진 다이아몬드 형상의 필터가 될 수 있다. 도 6에는 ALF(140)의 예들이 도시되어 있다. 도 6을 참조하면, ALF(140)는 5탭 필터(2000), 7탭 필터(2010) 및 9탭 필터(2020)가 사용될 수 있다. 각 필터의 계수값은 대칭적으로 사용될 수 있다. 이러한 ALF 관련 정보(필터 계수 정보, ALF On/Off 정보, 필터 형태 정보)는 각 슬라이스 헤더에 포함되어 전송될 수 있다. 그리고, 색차 신호의 경우, 픽쳐 단위로 필터가 적용되고 직사각형 형태의 ALF가 적용될 수 있다.

메모리(145)에는 복원된 픽쳐 또는 블록이 저장되며, 메모리(145)에 저장되어 있는 복원된 픽쳐 또는 블록은 참조 픽쳐 또는 참조 블록으로 사용될 수 있고, 나아가 복원된 픽쳐는 출력단을 통해 출력된다.

도 7은 영상 부호화 장치(700)에 대한 바람직한 일 실시예의 구성을 도시한 도면이다.

도 7을 참조하면, 영상 부호화 장치(700)는 픽쳐 분할부(705), 예측부(710), 변환부(715), 양자화부(720), 재정렬부(725), 엔트로피 부호화부(730), 역양자화부(735), 역변환부(740), 디블록킹 필터(745), 적응적 루프 필터(Adaptive Loop Filter: ALF)(750), 메모리(755) 및 제어부(760)를 구비한다.

픽쳐 분할부(705)는 입력된 픽쳐를 적어도 하나의 부호화 단위로 분할한다. 픽쳐의 분할 단위인 부호화 단위(Coding Unit: CU)는 영상 부호화 장치(700)에서 부호화를 수행하는 하나의 단위이다. 이때 부호화 단위는 64x64, 32x32, 16x16, 8x8(픽셀) 크기를 가질 수 있다. 부호화 단위는 쿼드 트리 구조(Quad Tree Structure)를 기초로 깊이 정보(Depth)를 가지고 계층적으로 분할될 수 있다. 가장 큰 크기의 부호화 단위를 최대 부호화 단위(Largest Coding Unit: LCU)라 정의하고, 가장 작은 크기의 부호화 단위를 최소 부호화 단위(Smallest Coding Unit: SCU)라 정의할 수 있다. 최대 부호화 단위(LCU) 및 최소 부호화 단위(SCU)와 관련된 정보는 시퀀스 파라미터 셋(Sequence Parameter Set: SPS)에 포함되어 본 발명에 따른 영상 복호화 장치, 저장 장치 등과 같이 외부에 구비된 장치로 전송될 수 있다. 최대 부호화 단위는 부호화의 효율을 산출하기 위한 비용 함수를 기준으로 부호화시 적은 비용으로 분할될 수 있도록 작은 크기의 부호화 단위로 계층적으로 분할될 수 있다.

분할된 부호화 단위는 분할 플래그(Split Flag)와 같은 플래그 정보로 표현될 수 있다. 또한, 부호화 단위는 부호화 단위에 대해 정의된 예측 단위의 움직임 예측 수행 방법에 따라 스킵 부호화 단위(Skip CU) 및 비-스킵 부호화 단위(Non-Skip CU)로 분류될 수 있다. 스킵 부호화 단위(Skip CU)일 경우, 부호화 단위 내의 예측 단위는 머지 스킵(Merge Skip) 방법을 이용한 움직임 예측을 수행하고, 비-스킵 부호화 단위(Non-Skip CU)일 경우 화면 내 예측 또는 화면 간 예측을 수행할 수 있다.

도 8은 최대 부호화 단위를 적어도 하나의 부호화 단위로 분할하는 과정을 도시한 도면이다.

도 8을 참조하면, 하나의 부호화 단위는 깊이 정보와 분할 플래그(Split Flag)에 의해 부호화 단위의 분할 여부가 표현될 수 있다. 그리고 하나의 부호화 단위는 LCU의 크기 정보, 깊이 정보 및 분할 플래그 정보를 기초로 복수 개의 작은 부호화 단위로 분할될 수 있다. 최대 부호화 단위의 크기 정보, 분할 깊이 정보 및 현재 부호화 단위의 분할 여부 정보는 비트스트림 상의 시퀀스 파라미터 셋(SPS)에 포함되어 본 발명에 따른 영상 복호화 장치로 전송될 수 있다.

도 8에서, S800 단계는 최대 부호화 단위(LCU)의 크기가 64x64(픽셀)이고 분할 트리에서 분할 깊이가 0인 경우를 나타낸 것이다. S800 단계에서 우측의 블록은 분할 여부를 표시하는 플래그가 1로 설정되어 있으며, 최대 부호화 단위(LCU)는 32x32(픽셀) 크기의 정사각형 형태의 4개의 부호화 단위로 분할될 수 있다. S800 단계에서 좌측의 블록은 분할 여부를 표시하는 플래그가 0이므로, 최대 부호화 단위(LCU)는 분할되지 않고 하나의 부호화 단위로 부호화된다.

S810 단계는 최대 부호화 단위의 크기가 64x64(픽셀)이고, 분할 트리에서 분할 깊이가 1인 경우를 나타낸 것이다. 즉, 분할 깊이 1은 최대 부호화 단위에서 한번 분할된 것을 표시한 것으로, 최대 부호화 단위의 크기가 64x64(픽셀)인 경우 분할 깊이 1의 부호화 단위 크기는 32x32(픽셀)가 된다. S800 단계와 마찬가지로 S810 단계에서 우측의 블록은 분할 플래그가 1로, 32x32(픽셀) 크기의 부호화 단위가 4개의 동일한 크기를 가진 16x16(픽셀) 크기의 부호화 단위로 분할될 수 있다. S810 단계에서 좌측의 블록은 분할 플래그가 0이므로, 32x32(픽셀) 크기의 부호화 단위는 분할되지 않고 하나의 부호화 단위로 부호화된다. 전술한 S810 단계와 같은 방식으로 하나의 블록은 순차적으로 분할 깊이 정보에 따라 가장 작게는 8x8(픽셀) 크기의 부호화 단위까지 분할될 수 있다.

S820 단계는 최대 부호화 단위의 크기가 64x64(픽셀)이고 분할 깊이가 4인 경우의 부호화 단위를 나타낸 것이다. 분할 깊이가 4인 경우, 부호화 단위의 크기는 8x8(픽셀)이 되고 이는 부호화 단위로써 가장 작은 크기인 최소 부호화 단위가 된다. 최소 부호화 단위는 더 이상 작은 CU로 분할될 수 없기 때문에 분할 플래그가 존재하지 않는다. 이상의 설명에서는 편의상 8x8(픽셀) 크기를 최소 부호화 단위로 설정하였으나, 경우에 따라서 8x8(픽셀) 크기가 아닌 8x8(픽셀) 크기보다 더 큰 부호화 단위도 최소 부호화 단위가 될 수 있다.

픽쳐 분할부(705)는 하나의 픽쳐에 대하여 복수의 부호화 단위 조합을 생한다. 예를 들어, 하나의 64x64(픽셀) 크기의 부호화 단위는 다양한 조합을 가진 예측 단위(Prediction Unit: PU) 및 변환 단위(Transform Unit: TU)로 분할될 수 있다.

제어부(760)는 소정의 비용 함수를 기초로 픽쳐 분할부(705)에 의해 분할된 부호화 단위의 분할에 따른 분할 비용을 산출한다. 만약, 픽쳐 분할부(705)에서 블록의 분할에 따른 분할 비용을 산출하도록 구성하면, 제어부(760)는 분할 비용을 따로 산출하지 않는다.

전술한 픽쳐 분할부(705)는 설명의 편의상 독립적인 구성 요소로 나타낸 것으로, 픽쳐 분할부(705)는 영상 부호화 장치(700)의 다른 구성 요소에 포함될 수 있다. 예를 들어, 제어부(760) 또는 예측부(710)에서 하나의 블록을 복수개의 부호화 단위로 나누는 블록 분할부의 기능을 포함하여 함께 수행할 수 있다. 이하의 설명에서 전술한 바와 같이 설명의 편의상 영상 부호화 장치(700)에 포함되는 다양한 구성요소의 병합 및 분할을 따로 개시하지는 않지만, 전술한 바와 같이 영상 부호화 장치(700)에 포함되는 각각의 구성요소는 하나의 구성요소가 복수 개의 구성요소로 나뉘어지거나 복수 개의 구성요소가 하나의 구성요소로 구현될 수 있다.

이하에서는 픽쳐 분할부(705)에 의해 분할된 하나의 64x64(픽셀) 크기의 부호화 단위를 기초로 영상 부호화 장치(700)에 의해 수행되는 부호화 과정을 설명한다.

예측부(710)는 픽쳐 분할부(705)로부터 제공받은 부호화 단위를 기초로 예측 블록을 생성한다. 예측부(710)는 하나의 부호화 단위를 화면 내 예측 또는 화면 간 예측을 수행하는 적어도 하나의 예측 단위(Prediction Unit: PU)로 분할한다. 이때, 예측부(710)는 화면 간 예측부와 화면 내 예측부를 구비할 수 있다.

도 9는 예측부(710)의 상세한 구성을 도시한 도면이다.

도 9를 참조하면, 예측부(710)는 예측 단위 생성부(910), 화면 간 예측부(920), 화면 내 예측부(930) 및 예측 모드 결정부(940)를 구비한다.

예측 단위 생성부(910)는 픽쳐 분할부(705)로부터 제공된 부호화 단위를 분할하여 예측 단위를 생성한다. 도 10은 예측 단위 생성부(910)가 예측 단위를 생성하는 방법을 도시한 도면이다. 도 10을 참조하면, 하나의 부호화 단위(1000)는 화면 내 예측을 수행할 것인지 아니면 화면 간 예측을 수행할 것인지에 따라 다른 크기의 예측 단위로 분할될 수 있다. 화면 내 예측을 수행할 경우, 하나의 부호화 단위는 2Nx2N 및 NxN(픽셀) 크기의 예측 단위(1010)로 분할될 수 있다. 이와 달리 화면 간 예측을 수행할 경우, 하나의 부호화 단위는 2Nx2N, 2NxN, Nx2N, NxN(픽셀) 크기(1020)의 예측 단위로 분할될 수 있다. 이때, NxN(픽셀) 크기의 예측 단위는 예측 비용을 산출하기 위한 계산의 중복을 막기 위해 가장 작은 단위의 부호화 단위인 최소 부호화 단위에서만 예측 단위로 사용하도록 제한될 수 있다. 예측 단위의 크기는 가장 크게는 32x32, 16x16, 8x8 및 4x4(픽셀)이 될 수 있다. 하나의 부호화 단위는 적어도 하나의 예측 단위로 분할될 수 있다. 화면 간 예측부(920)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 하나의 부호화 단위를 복수 개의 예측 단위로 분할한다.

도 11은 화면 간 예측부의 상세한 구성을 도시한 도면이다.

도 11을 참조하면, 화면 간 예측부(920)는 참조 픽쳐 보간부(1110), 움직임 예측부(1120) 및 움직임 보상부(1130)를 구비한다.

참조 픽쳐 보간부(1110)는 메모리(755)로부터 제공받은 참조 픽쳐 정보를 기초로 참조 픽쳐에서 정수 화소 이하의 화소 정보를 생성한다. 휘도 화소의 경우, 1/4 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 8탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다. 또한, 색차 화소의 경우, 1/8 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 4탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다.

아래의 표 2는 휘도 화소에 대해 정수 화소 단위 이하의 화소 정보를 생성하기 위한 화소의 위치에 따른 필터 계수를 나타낸 표이고, 표 3은 색차 화소에 대해 정수 화소 단위 이하의 화소 정보를 생성하기 위한 화소의 위치에 따른 필터 계수의 예를 나타낸 표이다.

위치 (Position)	필터 계수 (Filter Coefficients)
1/4	{-1,4,-10,57,19,-7,3,-1}
2/4	{-1,4,-11,40,40,-11,4,-1}
3/4	{-1,3,-7,19,57,-10,4,-1}

위치 (Position)	필터 계수 (Filter Coefficients)
1/8	{-3,60,8,-1}
2/8	{-4,54,16,-2}
3/8	{-5,46,27,-4}
4/8	{-4,36,36,-4}
5/8	{-4,27,46,-5}
6/8	{-2,16,54,-4}
7/8	{-1,8,60,-3}

움직임 예측부(1120)는 참조 픽쳐 보간부(1110)에 의해 보간된 참조 픽쳐를 기초로 움직임 예측을 수행한다. 이때, 움직임 벡터를 산출하기 위한 방법으로 FBMA(Full search-based Block Matching Algorithm), TSS(Three Step Search), NTS(New Three-Step Search Algorithm) 등 다양한 방법이 사용될 수 있다. 움직임 벡터는 1/2 또는 1/4 화소 단위의 움직임 벡터값을 가질 수 있다. 또한 움직임 예측부(1120)는 움직임 예측 방법을 다르게 하여 현재 예측 단위를 예측할 수 있다. 움직임 예측 방법은 머지 스킵(Merge Skip) 방법, 예측 단위 머지(PU Merge) 방법, AMVP(Advanced Motion Vector Prediction)방법 등으로 분류될 수 있다.머지 스킵(Merge Skip) 방법은 현재 블록의 움직임 예측 관련 정보를 주변의 블록 중 하나로부터 제공받아 예측 블록을 생성하는 방법으로서, 이하에서 설명할 예측 단위 머지(PU Merge) 방법과 예측 블록을 생성하는 방법은 동일하지만, 머지 스킵 방법은 예측 단위 머지 방법과 달리 영상 복호화 장치로 원본 블록과 예측 블록의 잔차값(Residual)을 전송하지 않는다. 머지 스킵 방법은 현재 예측 단위의 머지 인덱스(Merge Index)가 가리키는 현재 예측 단위 주변의 블록 및 다른 픽쳐에 포함된 블록에 포함된 움직임 벡터, 참조 픽쳐 인덱스 등 움직임 관련 정보를 현재 블록을 예측의 움직임 관련 정보로 사용할 수 있다. 자세한 머지 스킵 방법의 예측 블록 생성 방법은 후술할 예측 단위 머지 방법에 대한 설명시 언급한다.

예측 단위 머지 방법에서 하나의 예측 단위는 5개의 예측 단위 머지 후보 블록으로부터 움직임 예측 관련 정보를 제공받을 수 있다. 현재 예측 단위의 움직임 벡터 관련 정보가 예측 단위 머지 후보 블록 중 적어도 하나의 블록의 움직임 벡터 관련 정보와 동일할 경우, 현재 예측 단위는 예측 단위 머지 방법을 사용하여 예측될 수 있다.

예측 단위 머지 방법은 5개의 후보 블록의 움직임 예측 관련 정보(움직임 벡터, 참조 픽쳐 인덱스 등)를 사용하여 현재 예측 단위에 대한 예측 블록을 생성할 수 있다. 예측 단위 머지 방법에서 머징 후보 블록은 공간적으로 현재 예측 단위와 동일한 픽쳐에 위치한 4개의 공간적 머징 후보 블록과 현재 블록과 다른 픽쳐에 위치한 1개의 시간적 머징 후보 블록을 포함할 수 있다.

도 12는 예측 단위 머지 방법에서의 공간적 머징 후보 블록들을 나타낸 도면이다.

도 12를 참조하면, 예측 단위 머지 방법에서 공간적 머징 후보 블록은 현재 예측 단위의 좌측 상단 블록(1200), 현재 예측 단위의 상단 좌측 블록(1210), 현재 예측 단위와 한 점을 공유하는 우측 상단 블록(1220), 현재 예측 단위와 한 점을 공유하는 좌측 하단 블록(1230)이 될 수 있다. 4개의 공간적 머징 후보 블록 중 현재 블록과 동일한 움직임 예측 관련 정보를 가진 후보 블록이 있는 경우, 현재 블록과 동일한 움직임 예측 관련 정보를 가진 후보 블록의 참조 픽쳐 인덱스 정보, 움직임 벡터 정보와 같은 움직임 예측 관련 정보를 현재 예측 단위의 움직임 예측 관련 정보로 사용할 수 있다.

도 13은 예측 단위 머지 방법에서 시간적 머징 후보 블록을 구하기 위한 방법을 나타낸 도면이다.

도 13을 참조하면, 시간적 머징 후보 블록을 구하기 위해서는 현재 예측 단위의 중앙에 위치한 4x4 크기의 블록(1305, 1310, 1315)을 기준으로 참조 픽쳐에서 상기 4x4 크기의 블록(1305, 1310, 1315)과 동일한 위치에 존재하는 블록(이하, 동일 위치 블록(Co-located Block)을 예측 단위 머지 방법에서 시간적 머징 후보 블록으로 결정하여 현재 예측 단위와 시간적 머징 후보 블록의 움직임 예측 관련 정보가 동일할 경우, 시간적 머징 후보 블록의 움직임 예측 관련 정보를 현재 예측 단위의 움직임 예측 관련 정보로 사용할 수 있다. 도 13에 도시된 예측 단위는 각각 32x32 크기를 예측 단위로 사용하는 경우(1300), 32x16 크기를 예측 단위로 사용하는 경우(1310), 16x16 크기를 예측 단위로 사용하는 경우(1320)들이다.

예측 단위 머지 방법에서는 현재 픽쳐와 가장 가까운 곳에 위치한 참조 픽쳐의 4x4 크기의 동일 위치 블록(Colocated Block)이 시간적 머징 후보 블록이 될 수 있다. 만약 시간적 머징 후보 블록이 양방향 예측을 사용하여 시간적 머징 후보 블록의 움직임 벡터가 두 개인 경우, 두 개의 움직임 벡터 중 현재 예측 단위를 지나는 움직임 벡터를 사용하거나, 두 개의 움직임 벡터가 동일한 방향인 경우, 더 짧은 크기의 움직임 벡터가 현재 예측 단위의 움직임 벡터로 사용될 수 있다. 시간적 머징 후보 블록의 움직임 벡터는 현재 예측 단위가 포함된 픽쳐와 동일 위치 블록이 포함된 픽쳐 사이의 거리 관계를 통해 스케일링 될 수 있다.

AMVP 방법 또한, 현재 블록의 주변의 AMVP 후보 블록으로부터 움직임 예측 관련 정보를 제공받을 수 있다. 예측 단위 머지 방법과 AMVP 방법은 현재 블록의 주변 블록으로부터 움직임 예측 관련 정보를 제공받는 것은 동일하지만, 예측 단위 머지 방법과 달리 AMVP 후보 블록과 현재 예측 단위의 움직임 벡터 차 정보를 생성하여 현재 예측 단위의 움직임 예측 관련 정보로 사용할 수 있다.

도 14는 공간적 AMVP 후보 블록을 나타낸 도면이다.

도 14를 참조하면, 공간적 AMVP 공간적 후보 블록은 현재 예측 단위의 주변에서 2개가 선택될 수 있다. 한 개의 AMVP 공간적 후보 블록은 현재 예측 단위와 한 점을 공유하는 좌측 하단 블록(1400)과 현재 예측 단위의 좌측 하단 블록(1410) 중 가용한 후보 블록을 화살표의 방향으로 순차적으로 선택한다. 나머지 하나의 공간적 AMVP 후보 블록은 현재 예측 단위와 한 점을 공유하는 우측 상단 블록(1420), 현재 예측단위의 상단 우측 블록(1430), 현재 예측 단위와 한 점을 공유하는 좌측 상단 블록(1440) 중 가용한 후보 블록을 표시된 화살표의 방향으로 순차적으로 선택할 수 있다. 현재 예측 단위와 동일한 움직임 예측 방향을 사용하고 동일한 레퍼런스 인덱스를 가진 화면 간 예측된 블록이 현재 예측 단위가 참조하는 가용한 공간적 AMVP 후보 블록이 될 수 있다.

도 15는 시간적 AMVP 후보 블록을 나타낸 도면이다.

도 15를 참조하면, 시간적 AMVP 후보 블록을 생성하기 위해서는 현재 예측 단위를 기준으로 참조 픽쳐에서 동일 위치 블록(1500, Co-located Block)을 알아낸다. 동일 위치 블록(1500)의 우측 하단에 위치한 블록(1510)을 시간적 AMVP 후보 블록으로 선택할 수 있다. AMVP 방법에서는 전술한 2개의 공간적 AMVP 후보 블록과 1개의 시간적 AMVP 후보 블록 중 하나의 AMVP 후보 블록의 움직임 예측 관련 정보를 현재 예측 단위의 움직임 벡터 관련 정보로 사용하고, 부가적으로 현재 예측 단위의 움직임 벡터값과 선택된 AMVP 후보 블록의 움직임 벡터값의 차를 현재 블록의 움직임 예측 관련 정보로 사용할 수 있다.

움직임 예측부(1120)는 전술한 움직임 예측 방법인 머지 스킵(Merge Skip) 방법, 예측 단위 머지(PU Merge) 방법, AMVP(Advanced Motion Vector Prediction)방법 중 최적의 예측 방법을 현재 예측 단위의 예측 방법으로 결정한다. 설명의 편의상 움직임 예측부(1120)에서 현재 예측 단위의 예측 방법을 결정하는 것으로 개시하였으나, 제어부(760) 또는 예측 모드 결정부(940), 움직임 보상부(1130) 등 다양한 구성요소에서도 최적의 예측 방법의 결정이 이루어질 수 있다.

움직임 보상부(1130)는 움직임 예측부(1120)에서 산출된 움직임 벡터 및 참조 픽쳐 정보 등과 같은 움직임 예측 관련 정보를 기초로 예측 블록을 생성한다. 움직임 보상부(1130)가 생성한 움직임 예측 블록은 움직임 예측 방법에 따라 머지 스킵 블록(Merge Skip Block), 예측 단위 머지 블록(PU Merge Block), AMVP 블록(Advanced Motion Vector Prediction Block)으로 분류될 수 있다.

한편, 화면 내 예측부(930)는 현재 픽쳐 내의 화소 정보를 기초로 예측 단위를 예측할 수 있다.

도 16은 예측 모드를 도시한 도면이다.

도 16을 참조하면, 예측 모드는 0번 모드에서부터 33번 모드까지 모드 번호를 가질 수 있다. 예측 모드는 34 종류의 모드를 가지며 34 종류의 모드는 32개의 방향성 모드와 2개의 비방향성 모드인 DC 예측 모드, 플레이너 모드(Planar 모드)를 가질 수 있다. 도 16의 하단에는 예측 모드 중 비방향성 예측 모드인 플레이너 모드가 도시되어 있다. 해당 모드에서 특정한 화소(1650)의 값을 알기 위해서, 수평 방향 또는 수직 방향으로 한번씩 보간하여 평균값을 화소값으로 생성할 수 있다. 이때 해당 화소(1650)의 값은 현재 화소의 좌측에 위치한 참조 화소(1655)의 화소값과 참조화소(1660)의 화소값을 복사해온 우측 화소(1665)의 화소값을 이용하여 보간할 수 있다. 또한, 해당 화소(1650)의 값은 현재 화소의 상단에 위치한 참조 화소(1670)의 화소값과 참조화소(1675)의 화소값을 복사해온 하단 화소(1680)의 화소값을 이용하여 보간할 수도 있다. 플레이너 모드에서는 이러한 방식으로 수직 방향 및 수평 방향으로 보간한 화소값의 평균값을 사용하여 예측 단위의 화소값을 산출할 수 있다. 플레이너 모드를 사용하는 예측 블록은 원본 블록과의 잔차값(Residual)을 복호화기에 전송하지 않을 수 있다. 현재 예측 단위를 예측하기 위한 참조 화소는 현재 블록의 상단 우측 화소(1600), 상단 화소(1610), 좌측 상단 화소(1620), 좌측 화소(1630) 및 좌측 하단 화소(1640)가 현재 예측 단위를 화면 내 예측하기 위한 참조 화소가 될 수 있다.

한편, 예측 단위의 크기에 따라 사용되는 예측 모드의 수가 달라질 수 있다. 아래의 표 4에는 휘도 정보 및 색차 정보에서 예측 단위의 크기에 따른 모드의 수가 기재되어 있다.

성분 (Component)	PU 크기	인트라 모드의 수
휘도 (Luma)	4	17
	8	34
	16	34
	32	34
	64	3
색차 (Chroma)	모든 PU	4

표 4를 참조하면, 휘도 정보를 인트라 예측하기 위해서 4x4 크기의 예측 단위는 0번 모드에서 16번 모드까지 17개의 예측 모드를 가질 수 있고, 8x8 크기, 16x16 크기, 32x32 크기의 예측 단위는 34개의 예측 모드를 가질 수 있다. 64x64 크기의 예측 단위는 3개의 예측 모드를 가질 수 있다. 그리고, 색차 정보를 화면 내 예측하기 위해서는 4개의 모드가 사용될 수 있다. 색차 정보를 화면 내 예측하기 위한 모드는 수직 모드(0번 모드), 수평 모드(1번 모드), DC 모드(2번 모드), 선형 예측 모드(Linear Model Mode, LM Mode)가 사용될 수 있다. 선형 예측 모드는 휘도 정보로부터 소정의 수식을 이용하여 색차 정보를 예측하는 모드이다.현재 예측 단위의 예측 모드 정보를 전송하기 위해서 현재 예측 단위의 상단 블록 및 좌측 블록의 예측 모드를 이용해 현재 예측 단위의 예측 모드를 예측하고 예측된 현재 예측 단위의 예측 모드를 현재 블록의 실제 예측 모드와 비교하여 현재 예측 단위의 예측 모드 정보를 전송할 수 있다. 현재 예측 단위의 상단 블록 및 좌측 블록의 예측 모드가 모두 가용하지 않은 경우, 제1예측 모드 후보 리스트에 DC 예측 모드를 삽입한다. 예를 들어, 현재 예측 단위의 상단 블록 및 좌측 블록이 존재하지 않거나, 현재 예측 단위의 상단 블록 및 좌측 블록이 화면 간 예측을 사용할 경우, 제1예측 모드 후보 리스트에 DC 예측 모드를 삽입할 수 있다.

상단 블록 및 좌측 블록 중 하나의 블록에서만 예측 모드가 가용하거나, 상단 블록 및 좌측 블록의 예측 모드가 동일한 경우, 하나의 예측 모드를 제1예측 모드 후보 리스트에 삽입한다. 상단 블록 및 좌측 블록에서 두 개의 예측 모드가 모두 가용한 경우, 예측 모드 중 작은 모드 번호를 가진 예측 모드를 제1예측 모드 후보 리스트에 삽입하고, 예측 모드 중 큰 모드 번호를 가진 예측 모드를 제2예측 모드 후보 리스트에 삽입한다. 예를 들어, 현재 예측 단위의 상단 블록의 예측 모드가 1번 모드(수직 예측 모드)이고 좌측 블록의 예측 모드가 2번 모드(DC 예측 모드)인 경우, 1번 모드를 제1예측 모드 후보 리스트에 삽입하고, 2번 모드를 제2예측 모드 후보 리스트에 삽입할 수 있다.

현재 예측 단위의 예측 모드가 제1예측 모드 후보 리스트에 삽입된 예측 모드와 동일할 경우, 현재 예측 모드가 제1예측 모드 후보 리스트에 삽입된 예측 모드와 동일하다는 플래그를 영상 복호화기에 전송한다. 현재 예측 단위의 예측 모드가 제1 예측 모드 후보 리스트에 존재하는 예측 모드와 동일하다는 플래그 정보를 전송하는 방법을 통해 현재 예측 단위의 예측 모드 번호 정보를 직접적으로 부호화하는 것보다 적은 비트수를 이용하여 현재 예측 단위의 인트라 예측 모드를 전송할 수 있다. 마찬가지 방법으로 현재 예측 단위의 예측 모드가 제2예측 모드 후보 리스트에 삽입된 예측 모드와 동일할 경우, 현재 예측 모드가 제2예측 모드 후보 리스트에 삽입된 예측 모드와 동일하다는 플래그를 전송할 수 있다.

현재 예측 단위의 예측 모드가 제1예측 모드 후보 리스트 또는 제2예측 모드 후보 리스트에 존재하지 않는 경우, 현재 예측 단위의 예측 모드 정보를 전송함에 있어서, 제1예측 모드 후보 리스트 및 제2예측 모드 후보 리스트에 존재하는 예측 모드가 현재 예측 단위의 인트라 예측 모드보다 작을 경우, 예측 모드와 코드 워드를 대응시키는 테이블에서 제1예측 모드 후보 리스트 및 제2예측 모드 후보 리스트에 존재하는 예측 모드를 테이블에서 제외하는 방법을 사용하여 현재 예측 단위의 예측 모드에 코드 워드를 할당한다. 예를 들어, 현재 예측 단위의 예측 모드가 4번 모드이고 현재 예측 모드의 상단 블록의 인트라 예측 모드가 0번 모드, 현재 예측 단위의 좌측 블록의 예측 모드가 1번 모드인 경우, 현재 예측 단위의 예측 모드 정보를 전송하기 위해 예측 모드와 코드 워드를 매칭시킨 테이블에서 0번 모드와 1번 모드를 삭제시키고 삭제된 자리에 남은 예측 모드를 올려서 채우는 방식을 통해 현재 예측 단위의 예측 모드에 할당되는 코드 워드 비트수를 줄일 수 있다. 즉, 테이블에서 기존의 0번 모드에는 2번 모드를 할당하고, 1번 모드에는 3번 모드를 할당하고 2번 모드에는 4번 모드를 할당될 수 있다. 즉, 현재 예측 단위의 예측 모드 정보를 전송하기 위해서 기존의 2번 모드에 할당된 코드 워드가 4번 모드에 할당되어 현재 예측 단위의 예측 모드 정보를 전송할 수 있다.

도 17은 영상 부호화 장치에서 수행되는 화면 내 예측방법을 수행과정을 도시한 흐름도이다.

도 17을 참조하면, 참조 화소에 AIS(Adaptive Intra Smoothing) 필터를 적용한다(S1700). 이때, 예측 모드에 따라 AIS 필터의 적용 여부를 다르게 할 수 있다. 아래의 표 5에는 인트라 예측 모드에 따라 AIS 필터가 적용되는지 여부 및 예측 모드가 DC 모드(2번 모드)일 경우 적용되는 AIS 필터가 기재되어 있다.

모드 정보	블록 크기
모드 정보	4x4	8x8	16x16	32x32	64x64
모드 1	0	0	0	0	0
모드 2	0	0	0	0	0
모드 3	A	B	C	0	0
모드 4	1	1	1	1	1
모드 5	0	1	1	1	1
모드 6	0	1	1	1	0
모드 7	1	1	1	1	0
모드 8	0	1	1	1	0
모드 9	0	1	1	1	0
모드 10	1	1	1	1	0
모드 11	0	0	1	1	0
모드 12	0	0	1	1	0
모드 13	0	0	1	1	0
모드 14	0	0	1	1	0
모드 15	0	0	1	1	0
모드 16	0	0	1	1	0
모드 17	0	0	1	1	0
모드 18	0	0	1	1	0
모드 19	0	0	0	1	0
모드 20	0	0	0	1	0
모드 21	0	0	0	1	0
모드 22	0	0	0	1	0
모드 23	0	0	0	1	0
모드 24	0	0	0	1	0
모드 25	0	0	0	1	0
모드 26	0	0	0	1	0
모드 27	0	0	0	1	0
모드 28	0	0	0	1	0
모드 29	0	0	0	0	0
모드 30	0	0	0	0	0
모드 31	0	0	0	0	0
모드 32	0	0	0	0	0
모드 33	0	0	0	0	0
모드 34	0	0	0	0	0

표 5를 참조하면, 예측 모드에 따라 [1,2,1]의 3탭의 AIS 필터를 적용할 수 있다. AIS 필터를 적용하는 경우 1, 적용하지 않는 경우 0으로 나타내고 DC 모드일 경우, 이하, 후술할 새롭게 정의된 AIS 필터를 사용할 수 있다.도 18은 AIS 필터를 사용하는 현재 예측 단위의 참조 화소 및 DC 모드일 경우 적용하는 AIS 필터의 종류를 나타낸 도면이다.

도 18을 참조하면, 현재 예측 단위의 크기가 8x8 크기인 경우, 현재 예측 단위의 상단 및 상단 우측의 화소(1800), 좌측 상단의 화소(1810), 좌측 및 좌측 하단의 화소(1820)가 현재 예측 단위를 화면 내 예측하기 위한 참조 화소가 될 수 있고 참조 화소에 AIS 필터를 적용할 수 있다. 또한, 도 18의 하단에는 DC 모드의 예측 블록 생성시 AIS를 수행하기 위한 새로운 AIS 필터 A, 필터 B, 필터 C가 도시되어 있다. 예측 모드가 DC 모드가 아닐 경우, 새로운 AIS 필터 A, 필터 B, 필터 C가 아닌 [1,2,1]의 3탭 AIS 필터를 적용할 수 있다.

표 5로부터 알 수 있듯이, 만약, 1번 모드나 2번 모드로 예측 블록을 생성할 경우 AIS 필터가 사용되지 않고, 3번 모드인 DC 모드로 예측 블록을 생성할 경우 필터 B가 사용되어 참조 화소를 AIS 필터링할 수 있다. 만약 4번 모드로 예측 블록을 생성할 경우 [1,2,1]의 3탭 AIS 필터가 사용되어 참조 화소를 AIS 필터링할 수 있다.

다음으로, 예측 블록을 생성한다(S1810). 예측 블록은 참조 화소 보간 방법을 통해서 참조 화소와 예측될 화소의 거리에 따라 예측되어 생성될 수 있다. 도 19는 화면 내 예측 모드에 따라 참조 화소로부터 예측 블록을 생성하는 방법을 나타낸 도면이다. 도 19를 참조하면, 예측 방향이 화살표 방향과 같은 경우, 현재 블록의 우측 하단에 위치한 화소인 제1화소(1930)의 값은 현재 블록의 상단에서 한 칸 우측에 위치한 제1참조 화소(1910)의 값으로 채워질 수 있다. 현재 예측 단위에 포함된 제2화소(1900)의 값은 제1참조 화소(1910)와 제2참조 화소(1920)의 화소값을 1/8 화소 단위로 보간 하는 방법으로 산출할 수 있다. 예를 들어, 제2화소(1900)는 제1화소(1930)를 기준으로 위로 두 칸 위에 위치하므로 제1참조 화소(1910) 및 제2참조 화소(1920)와 동일한 화소값을 사용하지 않고 제1참조 화소(1910)와 제2참조 화소(1920)를 1/8 화소 단위로 보간하여 제1참조 화소(1910)와 제2참조 화소(1920)의 화소값을 6 대 2의 비율로 보간한 화소값을 가질 수 있다.

한편, 예측 모드가 DC 모드일 경우, 2탭 필터 또는 3탭 필터를 사용하여 필터링을 할 수 있다(S1820). 예측 모드가 DC 모드일 경우, 참조 화소의 화소값과 현재 예측 단위의 화면 내 예측된 화소값의 차이가 크므로 필터를 사용하여 참조 화소과 현재 예측 단위의 화소 중 일부를 필터링할 수 있다.

도 20은 예측 모드가 DC 모드일 경우 예측 블록을 생성하는 방법을 나타낸 도면이다.

도 20을 참조하면, 예측 단위가 DC 모드를 이용하여 예측 블록을 생성할 경우, 예측 블록의 상단 예측 화소(2000), 좌측 예측 화소(2010) 및 상단 좌측 예측 화소(2020)와 현재 예측 단위의 참조 화소를 2탭 필터(2030) 또는 3탭 필터(2040)를 이용하여 필터링 할 수 있다. 2탭 필터(2030) 또는 3탭 필터(2040)는 DC 필터라는 용어로 동일한 의미로 사용할 수 있다. 예측 모드가 DC 모드일 경우, 사용될 수 있는 2탭 필터(2030) 및 3탭 필터(2040)가 개시되어 있다. 2탭 필터(2040)는 현재 예측 블록의 상단 예측 화소값(2000) 및 좌측 예측 화소값(2010)에 사용되고 3탭 필터(2030)는 현재 블록의 상단 좌측에 포함된 예측 화소값(2020)에 사용될 수 있다.

도 21은 영상 부호화 장치의 화면 내 예측부의 구성을 도시한 도면이다.

도 21을 참조하면, 화면 내 예측부(930)는 AIS 필터(2110), 참조 화소 보간부(2120) 및 DC 필터(2130)를 구비한다.

AIS 필터(2110)는 현재 예측 단위의 참조 화소에 AIS 필터링을 수행하는 부분으로 예측 모드에 따라 [1,2,1]의 3탭 AIS 필터 또는 도 18에 도시된 DC 모드의 예측 블록을 생성할 때 AIS 필터링을 수행하기 위한 AIS 필터인 필터 A, 필터 B, 필터 C를 기초로 현재 예측 단위의 참조 화소를 AIS 필터링할 수 있다. 참조 화소 보간부(2120)는 현재 블록을 예측 모드에 따라 예측하기 위해 참조 화소을 1/8 화소 단위로 보간할 수 있다. DC 필터(2130)는 현재 예측 단위의 예측 모드가 DC 모드일 경우 필터링을 수행하는 부분으로 참조 화소와 현재 예측 단위의 상단 및 좌측에 위치한 화소들을 도 20에 도시된 2탭 필터 또는 3탭 필터를 이용해 필터링할 수 있다.

예측 모드 결정부(940)는 화면 간 예측부(920) 및 화면 내 예측부(930)에 의해 생성된 예측 블록 중에서 소정의 비용 함수를 이용해 가장 작은 비용을 가지는 소정의 예측 블록을 결정한다. 일 예로, 예측 모드 결정부(940)는 예측 단위 생성부(910)에서 부호화 단위를 기초로 생성된 예측 단위 중에서 RD-COST(Rate Distortion Cost)의 관점에서 최소 비용을 가지는 예측 단위를 현재 분할 단위의 예측 단위로 결정할 수 있다. 또한, 예측부(900)는 픽쳐 분할부(705)로부터 제공된 부호화 단위를 기초로 최적의 예측 단위를 생성할 수 있다. 하나의 부호화 단위는 복수의 조합의 부호화 단위를 포함할 수 있으므로 하나의 부호화 단위를 가정해보면 하나의 부호화 단위에 대해서도 여러 가지 방법으로 분할된 다양한 부호화 단위 조합을 가진 복수 개의 부호화 단위가 존재하여 픽쳐 분할부(705)에서 예측부(710)로 입력될 수 있다. 따라서 예측부(710)는 다양한 조합의 부호화 단위에 대해서 최적의 예측 단위를 생성할 수 있다. 그리고, 픽쳐 분할부(705) 및 예측부(710)에서 생성된 다양한 부호화 단위 조합 및 그에 따른 다양한 예측 단위 조합에 관련된 정보는 제어부(760)로 입력된다.

예측부(710)는 예측 블록을 생성한다. 이와 같이 생성된 예측 블록은 잔차 블록을 생성하기 위해 사용되며, 잔차 블록은 예측 블록과 원본 블록의 차이값인 잔차값(Residual)으로 이루어진다. 생성된 잔차 블록은 변환부(715)로 입력된다. 또한 예측부(710)에서 생성된 예측 모드 정보, 예측 단위 분할 정보, 움직임 벡터 정보 등 다양한 예측 블록 생성과 관련된 정보는 엔트로피 코딩부(730)로 제공되어 엔트로피 코딩된다.

변환부(715)에서는 원본 블록과 예측부(710)를 통해 생성된 예측 블록의 잔차값(residual)정보를 포함한 잔차 블록을 DCT(Discrete Cosine Transform) 또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다. DST는 화면 내 예측을 수행한 4x4 크기 예측 블록을 변환할 때 예측 모드에 따라 선택적으로 사용될 수 있다. 4x4 크기가 아닌 예측 블록의 경우, DCT를 사용하여 변환할 수 있다. 현재 블록이 화면 간 예측 모드 중 스킵(SKIP) 모드인 경우 잔차값(Residual)은 영상 복호화기로 전송되지 않으므로 해당 블록의 잔차값은 변환되지 않을 수 있다.

그리고, 변환부(715)는 분할된 부호화 단위 및 예측 단위를 기초로 변환 단위를 결정할 수 있다. 이하의 설명에서는 하나의 부호화 단위에서 전송 단위가 분할되는 것으로 가정한다.

도 22는 변환 단위 분할 방법을 나타낸 도면이다.

도 22를 참조하면, 전송 단위 분할 여부는 소정의 플래그 정보를 이용하여 표현될 수 있다. 일 예로, 도 22의 좌측에 도시된 쿼드 트리 구조(Quadtree Structure)를 이용해 도 22의 우측에 도시된 것처럼 하나의 부호화 단위는 복수 개의 전송 단위로 분할될 수 있다. 이때, 최대 변환 단위(Largest Transform Unit, LTU)는 32x32 크기이고 최소 변환 단위(Smallest Transform Unit, SCU)는 4x4 크기가 될 수 있다. 또한, 전송 단위는 예측 단위 하나를 그대로 사용하거나, 하나의 예측 단위를 4개의 전송 단위로 분할하여 사용할 수 있다.

또한, 변환부(715)는 현재 부호화 단위에서 가능한 전송 단위 조합을 생성하여 분할하여 보고 전송 비용을 산출하는 소정의 비용 함수를 이용해 최적의 전송 단위를 선택할 수 있다. 하나의 블록에 대한 전송 단위 관련 비용은 제어부(760)에 전달될 수 있다. 64x64 크기의 최대 부호화 단위 블록을 가정하면, 제어부(760)에서는 64x64 크기 블록에 대한 부호화 단위 분할 조합에 따른 분할 단위 비용, 64x64 크기 블록에 대한 부호화 단위 분할 조합 각각에 대한 최적 예측 단위에 따른 예측 단위 비용 및 64x64 크기 블록에 대한 부호화 단위 분할 조합 및 64x64 크기 블록에 대한 부호화 단위 분할 조합 각각에 대한 최적 예측 단위를 전송하는데 필요한 전송 단위 비용을 고려해 하나의 64x64 크기 블록에 대한 최적의 분할 단위, 예측 단위 및 전송 단위를 결정할 수 있다.

도 23은 4x4 크기의 전송 단위에서 변환을 수행하는 방법을 나타낸 도면이다.

도 23을 참조하면, 수직 모드일 경우에, 수직 방향의 변환은 DST를 적용하고 수평 방향의 변환은 DCT를 적용하여 현재 블록의 화소값을 주파수 영역으로 변환할 수 있다. 4x4 크기의 블록은 인트라 예측 모드에 따라 적응적으로 변환 방법을 DCT 또는 DST로 다르게 적용할 수 있다. 이러한 예측 모드에 따른 적응적 변환 방법에 대한 구체적 내용은 표 2에 기재되어 있는 바와 같다.

양자화부(720)는 변환부(715)에서 주파수 영역으로 변환된 값들을 양자화한다. 이때, 블록에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화부(720)에서 산출된 값은 역양자화부(755)와 재정렬부(725)에 제공된다.

재정렬부(725)는 양자화된 잔차값을 엔트로피 부호화부(730)에서 엔트로피 부호화의 효율을 높이기 위해 계수값의 재정렬을 수행한다. 이때, 재정렬부(725)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원의 블록 형태 계수를 1차원의 벡터 형태로 변경할 수 있다. 또한 재정렬부(725)는 양자화부(720)로부터 제공된 계수의 확률적인 통계를 기초로 계수 스캔닝의 순서를 다르게 함으로써, 이후 엔트로피 부호화부(730)에서 엔트로피 부호화 효율을 높힐 수 있다.

엔트로피 부호화부(730)는 재정렬부(725)에 의해 산출된 값들을 기초로 엔트로피 부호화를 수행한다. 엔트로피 부호화는 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법에 의해 수행될 수 있다. 이러한 엔트로피 부호화부(730)는 재정렬부(725) 및 예측부(710)로부터 부호화 단위의 잔차값 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, 예측 단위 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 프레임 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.

그리고, 엔트로피 부호화부(730)는 VLC 테이블(Variable Length Coding Table)과 같은 엔트로피 부호화을 수행하기 위한 테이블이 저장될 수 있고 저장된 VLC 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화를 수행함에 있어서 테이블에 포함된 일부의 코드 워드(Codeword)에 카운터(Counter)를 이용한 방법 또는 직접 변환(Direct Swapping)방법을 사용하여 해당 정보의 코드수에 대한 코드 워드 할당을 다르게 할 수 있다. 예를 들어, 코드 수와 코드 워드를 매핑하는 테이블에서 적은 비트수의 코드 워드가 할당된 상위 몇 개의 코드 수의 경우, 카운터를 사용해 코드 수의 합산된 발생 횟수가 가장 많은 코드 수에 짧은 길이의 코드 워드를 할당할 수 있도록 적응적으로 코드 워드와 코드 수를 매핑하는 테이블의 매핑 순서를 바꿀 수 있다. 카운터에서 카운팅된 횟수가 소정의 임계값에 이른 경우, 카운터에 기록된 카운팅 횟수를 반으로 나누어 다시 카운팅을 수행할 수 있다. 카운팅을 수행하지 않는 테이블 내의 코드 수는 직접 변환(Direct Swapping) 방법을 사용하여 코드 수에 해당하는 정보가 발생할 경우, 바로 위의 코드 수와 자리를 변환하는 방법을 통해 해당 코드 수에 할당되는 비트 수를 적게하여 엔트로피 부호화를 수행할 수 있다.

역양자화부(735)는 양자화부(720)에 의해 양자화된 값들을 역양자화하고, 역변환부(740)는 변환부(715)에 의해 변환된 값들을 역변환한다. 역양자화부(735) 및 역변환부(740)에서 생성된 잔차값(Residual)은 예측부(710)에 의해 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)을 생성하는 데 사용된다.

디블록킹 필터(745)는 복원된 픽쳐에서 블록간의 경계로 인해 생긴 블록 왜곡을 제거할 수 있다. 이때, 디블록킹을 수행할지 여부를 판단하기 위해 블록의 몇 개의 열 또는 행에 포함된 픽셀을 기초로 현재 블록에 디블록킹 필터 적용 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우 필요한 디블록킹 필터링 강도에 따라 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한 디블록킹 필터(745)를 적용함에 있어 수직 필터링 및 수평 필터링을 수행시 수평 방향 필터링 및 수직 방향 필터링이 병행 처리되도록 할 수 있다.

도 24는 디블로킹 필터를 적용하는 방법을 나타낸 도면이다.

도 24를 참조하면, 제어부(760)는 소정의 열 및 행을 기초로 디블록킹 필터 적용 여부에 대해 결정한다(S2400). 해당 블록의 경계에 디블록킹 필터를 적용할지 여부를 결정하기 위해 제어부(760)는 3번째 및 6번째에 위치한 열(

,

) 및 행(

,

)에 포함된 6개의 화소값들을 기초로 아래의 수학식 1을 이용해 디블록킹 필터의 적용여부를 결정할 수 있다.

수학식 1을 만족하는 경우, 즉, 왼쪽의 수식이

보다 작은 경우, 현재 블록에 디블록킹 필터를 적용할 수 있다.

다음으로, 제어부(760)는 각 열 및 각 행에 적용될 필터링의 강도를 결정할 수 있다(S2410). 디블록킹 필터(745)를 적용함에 있어서, 디블록킹 필터링은 강한 필터(Strong Filter), 약한 필터(Weak Filter) 중 적어도 하나를 적용시켜 필터링을 수행할 수 있다. 아래의 수학식 2는 강한 필터링을 사용할 것인지 아니면 약한 필터링을 사용할 것인지 여부를 결정하기 위한 식을 나타낸 것이다.

수학식 2를 만족하는 경우, 강한 필터가 적용되어 강한 디블록킹 필터링이 수행될 수 있다. 수학식 2를 만족하지 않는 경우, 약한 필터가 적용되어 약한 디블록킹 필터링이 수행될 수 있다. 블록에서 1열 내지 8열(

), 1행 내지 8행(

)에 어떠한 종류의 디블록킹 필터를 적용할 것인지 여부에 대해 결정할 수 있다.

이러한 S2400 단계 및 S2410 단계는 제어부(760)가 아닌 디블록킹 필터(745)에 의해 수행될 수 있다.

다음으로, 디블록킹 필터(745)에 의해 수직 디블록킹 필터링 및 수평 디블록킹 필터링을 수행한다(S2420). 수평 디블록킹 필터링은

에 적용되고, 수직 디블록킹 필터링은

에 적용될 수 있다. 각 블록의 경계에 위치한 8개의 화소를 기초로 디블록킹을 수행할 경우, 수평 디블록킹 필터링 및 수직 디블록킹 필터링이 모두 수행되어야하는 16개의 화소는 수평 디블록킹 필터링 및 수직 디블록킹 필터링을 병행 처리하기 위해 해당 부분은 수직 디블록킹 필터링 또는 수평 디블록킹 필터링 중 하나의 디블록킹 필터링만이 수행될 수 있다. 즉, 블록에 수직 디블록킹 필터링 및 수평 디블록킹 필터링을 수행하되, 겹치는 부분에 적용되는 필터링은 수직 디블록킹 및 수평 디블록킹 중 하나가 될 수 있다.

다음으로, 디블록킹 필터(745)에 의해 수직 디블록킹 필터링 및 수평 디블록킹 필터링이 겹치는 부분에서 디블록킹 필터링을 수행한다(S2430). 수직 디블록킹 필터링 및 수평 디블록킹 필터링이 겹치는 부분(

)에서 S2420 단계에서 수행되지 못한 수직 디블록킹 필터링 또는 수평 디블록킹 필터링이 수행될 수 있다. 이러한 블록에 대한 디블록킹 필터링 과정을 통해서 디블록킹 필터링을 수행시 병행 처리(Parallel Processing)하는 것이 가능하다.

ALF(750)는 디블록킹 필터(745)를 통해 블록을 필터링한 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행한다. ALF(750)는 4x4 크기의 블록을 기반으로 하나의 라플라시안 활동값(Laplacian Activity value)을 산출할 수 있고, 따라서 한 개의 ALF가 4x4 크기의 블록에 포함된 화소 전체에 적용될 수 있다. ALF(750)를 적용할지 여부에 관련된 정보는 휘도 신호는 부호화 단위(Coding Unit, CU) 별로 전송될 수 있고, 각각의 블록에 따라 적용될 ALF의 크기 및 계수는 달라질 수 있다. ALF(750)는 5 Tap, 7 Tap 및 9 Tap 크기의 필터 중 하나의 크기를 가진 다이아몬드 형상의 필터가 될 수 있다. 이러한 ALF(750)의 필터링 관련 정보(필터 계수 정보, ALF On/Off 정보, 필터 형태 정보)는 비트스트림에서 각 슬라이스 헤더에 포함되어 본 발명에 따른 영상 복호화기로 전송될 수 있다. 색차 신호의 경우, 픽쳐 단위로 ALF가 적용되고 직사각형 형태의 ALF가 적용될 수 있다.

도 25는 ALF를 사용하는 방법을 나타낸 도면이다.

도 25를 참조하면, 라플라시안 활동 메트릭(Laplacian based activity metric)에 기초하여 블록 단위로 하나의 라플라시안 활동값(Laplacian Activity value)을 산출한다(S2500). 이때, 라플라시안 활동 메트릭에 기초하여 4x4 블록에 포함된 화소의 라플라시안 활동값을 평균하여 4x4 블록 당 하나의 라플라시안 활동값을 산출할 수 있다. 그리고, 화소의 라플라시안 활동값은 아래의 수학식 3을 통해 산출될 수 있다.

다음으로, 4x4 블록 크기에 포함된 화소들을 기준으로 방향성 정보를 산출한다(S2510). 방향성 정보는 아래의 수학식 4 및 5를 기초로 산출될 수 있다.

수학식 4는 4x4 크기의 블록의 수직 활동값(Vertical Activity) 및 수평 활동값(Horizontal Activity)을 나타낸 것이다. 실제적으로 4x4 크기 블록의 수직 활동값 및 수평 활동값의 산출은 따로 구할 필요가 없이 수학식 3을 기초로 화소를 복수개의 그룹으로 분류하는 과정에서 산출될 수 있다. 그리고, 수학식 5는 소정의 임계값과 수학식 4에서 산출된 블록의 수직 활동값 및 수평 활동값을 기초로 방향성 정보를 산출하는 식이다. 수학식 5에서 알 수 있듯이 방향성 정보는 0, 1 또는 2의 값을 가질 수 있다.

다음으로, 라플라시안 활동 메트릭과 방향성 정보를 기초로 블록에 대한 활동 메트릭을 산출한다(S2520). 이 과정에서, 4x4 블록 크기를 기초로 S2500 단계에서 라플라시안 활동 메트릭을 이용해 산출된 값과 S2510 단계를 통해 산출된 방향성 정보를 더한 값을 이용하여 새로운 활동 매트릭을 산출한다. 블록 단위의 새로운 활동 매트릭(Activity Metric)은 아래의 수학식 6을 기초로 산출될 수 있다.

산출된 활동 매트릭값을 기초로 4x4 블록 단위로 하나의 ALF가 적용되어 블록을 필터링할 수 있다.

다음으로, ALF 필터의 계수를 산출한다(S2530). ALF 필터 계수는 아래의 수학식 7을 기초로 산출될 수 있다.

여기서

는 원본 화소과 복원된 화소의 교차 상관 행렬(Cross-Correlation Matrix)를 나타낸 것이고,

는 복원된 화소의 자기 상관(Auto-Correlation Matrix)를 나타낸 것이다.

은 필터 계수의 개수이고

는 필터의 계수로써 각 블록의 분류에 따라 하나의 필터링 계수가 산출될 수 있다.

ALF의 필터링 계수가 산출되는 과정에서 경우에 따라 기존의 복수개로 다르게 분류되었던 블록의 분류 중 일부가 하나의 분류로 합쳐질 수 있다.

다음으로, ALF의 계수를 부호화한다(S2540). 제1ALF의 계수는 지수 골롬(Exponential Golomb) 부호화 방법에 의해서 부호화될 수 있다. 하나의 부호화 단위에 사용되는 ALF가 복수 개인 경우 나머지 ALF의 계수는 계수를 전송하는 비트의 수에 따라 지수 골롬 부호에 의해 직접적 또는 예측적으로 부호화될 수 있다.

다음으로, ALF 제어 맵(ALF control map)을 결정한다(S2550). ALF의 적용 여부는 다음의 수학식 9를 기초로 결정될 수 있다.

수학식 9의 상단의 수식을 만족하는 경우 ALF를 적용하고, 그 외의 경우에는 ALF를 적용하지 않을 수 있다.

ALF의 적용은 부호화 단위(CU)로 이루어질 수 있으나, 최적의 ALF 적용은 부호화 단위를 결정하는 쿼드 트리 구조 상의 깊이 정보(Depth)를 기초로 결정될 수 있다.

그리고, 아래의 수학식 10를 기초로 계산된 RD 비용값(Rate Distortion Cost)을 비교하여 쿼드 트리 구조 상의 최적의 깊이를 결정할 수 있다.

수학식 10에서

은 하나의 슬라이스의 부호화 단위에서 ALF 적용 여부 정보를 전달하기 위해 사용되는 비트의 수를 의미한다. 또한 수학식 10에서 산출된 RD cost를 기초로 블록에 적용될 ALF 필터의 탭 수도 결정될 수 있다.

도 25를 참조하여 설명한 ALF를 사용하는 방법에 있어서, 각 단계는 제어부(760)에 의해 수행되나, 이와 달리 ALF(750)에 의해 수행되거나 다른 구성요소에 의해 수행될 수도 있다.

메모리(755)에는 디블록킹 필터(745) 및 ALF(750)을 통해 산출된 복원 블록 또는 픽쳐가 저장되며, 저장된 복원 블록 또는 픽쳐는 화면 간 예측을 수행 시 예측부(710)에 제공된다.

제어부(760)는 영상 부호화 장치(100)의 각 구성 요소를 제어한다. 또한 제어부(760)는 픽쳐 분할부(705), 예측부(710) 및 변환부(715)에서 최적의 분할 단위, 예측 단위, 전송 단위를 결정하지 않는 경우 소정의 비용 함수를 기초로 현재 블록에 대한 최적의 부호화 단위, 예측 단위 및 전송 단위를 산출할 수 있다. 예를 들어, 제어부(760)는 소정의 비용함수를 기초로 픽쳐 분할부(705)로부터 제공된 분할 단위에 대한 분할 비용을 산출하거나, 예측부(710)로부터 제공된 예측 단위에 대한 예측 비용을 산출하거나, 변환부(715)로부터 제공된 변환 단위에 대한 변환 비용을 산출하여 하나의 블록에 대하여 분할 단위, 예측 단위 및 변환 단위를 결정할 수 있다. 최적의 분할 단위, 예측 단위, 전송 단위를 산출하기 위한 비용 함수는 상이할 수 있다. 또한 제어부(760)는 양자화부(720), 재정렬부(725), 엔트로피 부호화부(730)와 연결되어 영상 부호화기(700)의 부호화를 제어할 수 있다.

도 1 내지 도 5를 참조하여 설명한 본 발명에 따른 영상 복호화 장치(100)는 역변환부(125)에서 변환 단위(Transform Unit: TU)로 잔차 블록을 복원하고, 예측부(130)에서 예측 단위(Prediction Unit: PU)로 예측 블록을 생성한다. 그러나 영상 부호화 장치에서는 코딩 단위(Coding Unit: CU)로 부호화를 수행하기 때문에 영상 복호화 장치(100)에서도 동일하게 코딩 단위로 복호화를 수행하는 것이 바람직하다.

이 경우, 본 발명에 따른 영상 복호화 장치(100)의 예측부(130)는 영상 부호화 장치(700)로부터 수신된 CU 정보 및 PU 정보를 기초로 CU 단위로 예측 블록을 생성한다. 또한, 역변환부(125)는 영상 부호화 장치(700)로부터 수신된 CU 정보 및 TU 정보를 기초로 CU 단위로 잔차 블록을 생성한다. 따라서 영상 복호화 장치(100)의 예측부(130)는 영상 부호화 장치(700)로부터 수신된 CU 트리 정보와 PU 트리 정보를 기초로 각각의 CU에 해당하는 PU에 대응하는 예측 블록을 생성한다. 또한 영상 복호화 장치(100)의 역변환부(125)는 영상 부호화 장치(700)로부터 수신된 CU 트리 정보와 TU 트리 정보를 기초로 각각의 CU에 해당하는 TU에 대응하는 잔차 블록을 생성한다. 이와 같이 CU 단위로 생성된 예측 블록과 잔차 블록은 서로 합해져 복원 블록으로 생성된다. 이때 해당 CU 블록이 화면 간 예측 모드인 경우에 예측부(130)는 인트라 예측 모드 복호화를 수행하여 PU 단위로 예측 블록을 생성하며, 해당 CU 블록이 화면 내 예측 모드인 경우에 예측부(130)는 움직임 정보를 복호화한 후 예측 블록을 생성한다.

만약, CU 단위로 복원을 수행하지 않게 되면, TU 트리 정보를 기초로 잔차 블록을 생성할 때 추가적으로 PU 정보가 필요하게 되어 전체적인 장치의 복잡도가 증가하게 된다. 또한 PU의 크기와 TU의 크기가 각각 2N×N과 2N×2N인 경우에, 양자 사이에는 크기의 불일치가 존재하게 되므로, 예측부(130)와 역변환부(125)가 각각 CU 단위로 예측 블록과 잔차 블록을 생성하는 것이 바람직하다.

한편, 본 발명에 따른 영상 복호화 장치(100)가 화면 내 예측을 수행할 때, 복호화할 블록에 대한 정보가 손실되어 예측 블록을 생성할 수 없는 경우가 발생할 수 있다. 이 경우, 본 발명에 따른 영상 복호화 장치(100)의 예측부(130)는 이미 복원되어 메모리(145)에 저장되어 있는 복원 블록 중에서 복호화할 블록의 좌상측, 상측 및 좌측에 위치한 복원 블록의 화소의 값을 기초로 예측 블록을 생성할 수 있다.

도 26은 손실된 블록에 대해 본 발명에 따른 영상 복호화 장치(100)의 예측부(130)가 예측 블록을 생성하는 방법을 도시한 도면이다.

도 26을 참조하면, 본 발명에 따른 영상 복호화 장치(100)의 예측부(130)는 복호화할 블록의 좌상측에 위치한 복원 블록의 화소 중에서 우하에 위치한 제1화소(2610)와 상측에 위치한 복원 블록의 화소 중에서 우하에 위치한 제2화소(2620) 및/또는 좌측에 위치한 복원 블록의 화소 중에서 우하에 위치한 제3화소(2630)를 기초로 복호화할 블록의 우하에 위치한 화소(2640)의 화소값을 결정한다. 따라서 복호화할 블록의 우하에 위치한 화소(2640)의 화소값은 다음의 수학식 11에 의해 결정될 수 있다.

여기서, a는 복호화할 블록의 좌상측에 위치한 복원 블록의 우하에 위치한 화소(2610), b는 복호화할 블록의 상측에 위치한 복원 블록의 우하에 위치한 화소(2620), c는 복호화할 블록의 좌측에 위치한 복원 블록의 우하에 위치한 화소(2630), d는 복호화할 블록의 우하에 위치한 화소(2640), Δx는 a와 b의 화소값의 차이, Δy는 a와 c의 화소값의 차이, n은 a와 b 사이에 위치한 화소의 개수, 그리고, m은 a와 c 사이에 위치한 화소의 개수이다.

그리고, 본 발명에 따른 영상 복호화 장치(100)의 예측부(130)는 화소 a와 화소 d를 선형 보간하여 복호화할 블록의 좌상으로부터 우하 방향에 위치한 화소들인 대각 화소들의 화소값을 결정하고, 결정된 대각 화소들의 화소값을 기초로 나머지 화소들의 화소값을 결정한다.

한편, 도 7에 도시된 영상 부호화 장치(700)는 매크로 블록 단위가 아닌 CU 단위를 기준으로 픽쳐를 슬라이스할 수 있다. 이 경우 동일한 매크로 블록에 속하는 CU들이 서로 다른 슬라이스에 속하게 되는 상황이 발생하게 된다. 이때, 슬라이스 경계에 위치한 CU 중에서 일부 CU들은 좌상측, 상측, 좌측, 좌하측, 우상측에 위치한 복원 블록의 일부 블록의 화소값을 사용할 수 있게 된다. 따라서 본 발명에 따른 영상 복호화 장치(100)의 예측부(130)는 사용가능한 복원 블록의 화소값을 기초로 나머지 필요한 복원 블록의 경계에 위치한 화소들을 보간하여 복호화할 블록에 대응하는 예측 블록을 생성할 수 있다.

도 27은 동일한 매크로 블록에 속하는 CU들이 서로 다른 슬라이스에 속하게 되는 상황에서 본 발명에 따른 영상 복호화 장치(100)의 예측부(130)가 필요한복원 블록들의 경계에 위치한 화소값을 보간하는 방법을 도시한 도면이다.

도 27을 참조하면, 복호화할 블록 중에서 참조번호가 2710인 블록은 좌측과 우상측에 위치한 복원 블록이 이용가능하고, 참조번호가 2720인 블록은 우상측에 위치한 복원 블록이 이용가능하다. 따라서, 본 발명에 따른 영상 복호화 장치(100)의 예측부(130)는 참조번호가 2710인 블록에 대한 예측 블록을 생성할 때, 해당 블록의 좌측에 위치한 복원 블록의 우상에 위치한 화소(2712)와 상측에 위치한 복원 블록의 좌하에 위치한 화소(2714)들의 화소값으로 선형 보간하여 좌상측에 위치한 블록의 하측 화소들의 값을 결정한 후 이를 이용하여 참조번호가 2710인 블록에 대한 예측 블록을 생성한다. 또한, 본 발명에 따른 영상 복호화 장치(100)의 예측부(130)는 참조번호가 2720인 블록에 대한 예측 블록을 생성할 때, 해당 블록의 우상측에 위치한 복원 블록의 좌하에 위치한 화소(2722)의 값를 상측 블록과 좌측 블록의 경계에 위치한 화소들의 화소값으로 복사한 후 이를 이용하여 참조번호가 2720인 블록에 대한 예측 블록을 생성한다.

또한, 복원할 블록의 상측, 좌측, 좌하측, 우상측의 경계에 위치한 화소들 중에서 일부가 사용가능하지 않은 경우가 존재할 수 있다. 도 28에는 복호할 블록의 상측에 위치한 일부 블록(P 및 B)의 화소값을 사용하지 못하는 경우에 복호할 블록의 상측에 위치한 블록의 경계 화소값을 결정하는 방법이 도시되어 있다. 도 28을 참조하면, 복호할 블록(2810)의 상측에 위치한 복원 블록 중에서 좌측에 위치한 복원 블록은 I 픽쳐에 해당하는 블록이므로, 해당 블록의 우하측에 위치한 화소(2812)의 값을 이용할 수 있다. 또한, 복호할 블록(2810)의 우상측에 위치한 화소 역시 I 픽쳐에 해당하는 블록이므로, 해당 블록의 좌하측에 위치한 화소(2814)의 값을 이용할 수 있다. 따라서 본 발명에 따른 영상 복호화 장치(100)의 예측부(130)는 두 개의 화소(2812, 2814)의 화소값을 선형 보간하여 상측에 위치한 블록의 하측 경계에 위치한 화소들의 화소값을 결정한 후 이를 이용하여 참조번호가 2810인 블록에 대한 예측 블록을 생성한다.

이상의 설명에서 '제1', '제2' 등의 용어는 다양한 구성요소들을 설명하기 위해 사용되었지만, 각각의 구성요소들은 이러한 용어들에 의해 한정되어서는 안 된다. 즉, '제1', '제2' 등의 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 목적으로 사용되었다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함하는 의미로 사용되었다.

또한, 각각의 도면에 도시된 각각의 구성요소들은 영상 복호화 장치 또는 영상 부호화 장치에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각각의 구성요소들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각각의 구성요소는 설명의 편의상 별도의 구성요소로 구분한 것으로, 적어도 두 개의 구성요소가 합쳐져 하나의 구성요소를 이루거나, 하나의 구성요소가 복수 개의 구성요소로 나뉘어져 동일한 기능을 수행할 수 있다. 그리고 이러한 각 구성요소의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성요소는 아니고 단지 성능을 향상시키기 위한 선택적인 구성요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성요소만으로 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성요소를 제외한 필수 구성요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

한편, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도로 이해되어서는 안된다. 그리고, 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함한다. 나아가, 본 명세서에서 '포함하다', '가지다', '구비한다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims

영상 부호화 장치로부터 수신된 비트 스트림을 복호하여 예측 블록을 생성하기 위한 정보, 1차원 벡터 형태로 표현된 잔차값 및 양자화 파라미터를 복원하는 엔트로피 복호화부;
상기 잔차값을 재정렬하여 2차원의 블록 형태의 계수로 복원하는 재정렬부;
상기 양자화 파라미터를 기초로 상기 2차원의 블록 형태의 계수를 역양자화하는 역양자화부;
상기 역양자화부에 의해 역양자화된 상기 2차원의 블록 형태의 계수를 역변환하여 잔차 블록을 생성하는 역변환부;
상기 예측 블록을 생성하기 위한 정보를 기초로 복호화할 현재 블록의 인트라 예측 모드를 복호하고, 상기 인트라 예측 모드에 따라 예측 블록을 생성하는 화면내 예측부;
상기 잔차 블록과 상기 예측 블록을 기초로 원블록을 복원하는 가산부; 및
상기 영상 부호화 장치로부터 수신된 디블록킹 필터의 적용여부에 대한 정보 및 적용된 필터 종류에 대한 정보를 기초로 상기 원블록에 대한 디블록킹 필터링을 수행하는 블록킹 필터;를 포함하고,
상기 화면내 예측부는 상기 예측 블록을 생성하기 위한 정보에 상기 복호화할 현재 블록의 예측 모드가 제1예측 모드 후보 리스트에 삽입된 예측 모드와 동일한지 여부를 나타내는 플래그를 기초로 상기 복호화할 현재 블록의 인트라 예측 모드를 복호하고, 상기 복호화할 현재 블록의 좌측 및 상측에 인접하는 이웃 블록이 모두 이용가능하지 않으면 DC 모드가 상기 제1예측 모드 후보 리스트에 포함되고,
상기 화면내 예측부는 상기 예측 블록을 생성하기 위한 정보가 손실된 경우에, 다음의 수학식에 의해 상기 현재 블록의 우하에 위치한 화소를 생성하고,

여기서, a는 상기 현재 블록의 좌상측에 이웃한 복원 블록의 우하에 위치한 화소, b는 상기 현재 블록의 상측에 위치한 복원 블록의 우하에 위치한 화소, c는 상기 현재 블록의 좌측에 위치한 복원 블록의 우하에 위치한 화소, d는 상기 현재 블록의 우하에 위치한 화소, Δx는 a와 b의 화소값의 차이, Δy는 a와 c의 화소값의 차이, n은 a와 b 사이에 위치한 화소의 개수, 그리고, m은 a와 c 사이에 위치한 화소의 개수,
상기 현재 블록의 좌상측에 이웃한 복원 블록의 우하에 위치한 화소와 상기 현재 블록의 우하에 위치한 화소의 화소값을 선형보간하여 상기 현재 블록의 좌상측에서 우하측을 연결하는 직선상에 위치하는 화소들인 대각화소들의 화소값을 결정하고, 상기 대각화소의 화소값을 기초로 상기 현재 블록의 나머지 화소들의 화소값을 결정하는 것을 특징으로 하는 영상 복호화 장치.