KR20160045243A

KR20160045243A - 플레너 인트라 예측 부호화 장치 및 그 방법

Info

Publication number: KR20160045243A
Application number: KR1020140140449A
Authority: KR
Inventors: 김재곤; 김동현
Original assignee: 한국항공대학교산학협력단
Priority date: 2014-10-17
Filing date: 2014-10-17
Publication date: 2016-04-27

Abstract

플레너 인트라 예측 부호화 장치 및 그 방법에 관한 것으로, 부호화할 영상을 프레임 단위로 제공하는 영상 제공부; 및 상기 영상 제공부에서 제공된 영상을, 부호화 대상 매크로블록과 인접한 주변 매크로블록 간의 관계인 공간적 상관성을 고려하여 참조 화소 값을 생성하고, 이를 기초로 부호화 대상 매크로블록을 인트라 예측 부호화하는 영상 부호화기를 포함하는 것을 특징으로 하는 플레너 인트라 예측 부호화 장치를 구현하여, 공간적 상관성을 기반하여 현재 블록 안의 각각의 화소에 대해 공간적 상관성을 기반으로 보다 가까운 참조 화소에 가중치를 주어 각기 다른 예측 화소 값을 적용함으로써 인트라 예측 부호화의 성능을 향상시킬 수 있다. 이렇게 비디오 부호화기의 가장 처음에 사용되는 인트라 예측 부호화의 성능을 향상시킴으로써, 인트라 프레임의 성능을 향상시킬 수 있다는 효과가 얻어진다.

Description

플레너 인트라 예측 부호화 장치 및 그 방법{Video coding Apparatus of Planar intra prediction and method thereof}

본 발명은 플레너(planar) 인트라 예측 부호화에 관한 것으로, 더욱 상세하게는 현재 블록의 주변에 복호화 된 화소 값들을 먼저 공간적 상관성을 기반으로 주변 화소 값들과 필터링을 하여 예측 화소 값들을 평활화 한 후, 현재의 블록과 주변에 복호화 된 블록과의 공간적 상관성을 기반으로 하여, 현재 화소 값에서 보다 가까이에 있는 참조 화소 값에 보다 많은 가중치를 주어 현재 블록의 각각의 화소에 대해 각기 다른 화소 값을 예측하는 플레너 인트라 예측 부호화 장치 및 그 방법에 관한 것이다.

최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 전송 기술들이 활용될 수 있다.

영상 전송 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소 값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소 값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고, 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.

비디오 부호화 표준으로 많이 활용되는 H.264/AVC 및 최근 MPEG(Moving Picture Experts Group)에서 표준화가 완료된 HEVC(High Efficiency Video Coding) 등의 비디오 부호화 표준에서는 저 지연(low delay) 부호화 구조와 임의접근(random access)을 지원하는 임의접근 부호화 구조 등을 지원하는데, 모든 부호화 구조에서는 화면내(intra) 예측을 하는 I 프레임이 가정 먼저 사용된다. 현재 인터넷 응용을 위한 무료 비디오 부호화 표준을 목표로 표준화가 진행중인 IVC(Internet Video Coding)에서도 화면내 예측 부호화에 대한 연구가 진행되고 있다.

인터넷 비디오 코딩을 위한 화면내 예측 부호화에 대한 종래 기술이 하기의 <비특허문헌> K. McCann, B. Bross, S.Sekiguchi, W. Han, “HM3:High Efficiency Video Coding(HEVC) Test Model 3 Encoder Description,”ISO/IEC JTC1/SC29/WG11 N12000, Geneva, Mar. 2011.에 개시되었다.

<비특허문헌>에 개시된 종래기술은 HM 3.0에 채택된 플레너 화면내 예측기법으로, 현재 블록과 가장 가까운 주변 블록의 화소 값과 오른쪽 위와 왼쪽 아래의 매크로블록에 존재하는 화소 값을 사용하여 플레너 화면내 예측을 수행하는 방법에 대하여 기술하고 있다.

K. McCann, B. Bross, S.Sekiguchi, W. Han, "HM3:High Efficiency Video Coding(HEVC) Test Model 3 Encoder Description,"ISO/IEC JTC1/SC29/WG11 N12000, Geneva, Mar. 2011.

그러나 상기와 같은 일반적인 화면내 예측 부호화 기법 및 종래기술에 개시된 화면내 예측 부호화 기법은 영상 부호화기에서 발생하는 비트 량을 최소화하는 것에 한계가 있어, 부호화 효율을 높이는 것이 제한적이라는 단점이 있다.

본 발명의 목적은 상기와 같은 일반적인 화면내 예측 부호화 기법 및 종래기술로 제시된 화면내 예측 부호화 기법에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 비디오 코덱의 인트라 예측 부호화를 사용함에 있어서, 현재 블록의 주변에 복호화 된 화소 값들을 보다 평활화하기 위하여 먼저 공간적 상관성을 기반으로 필터링을 한 후, 현재의 블록을 주변에 복호화 된 블록과의 공간적 상관성을 기반으로 하여, 현재 화소 값에서 가까이에 있는 참조 화소 값에 보다 많은 가중치를 두어 예측함으로써 압축 효율을 높이도록 하는 플레너 인트라 예측 부호화 장치 및 그 방법을 제공하는 것이다.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 플레너 인트라 예측 부호화 장치는 부호화할 영상을 프레임 단위로 제공하는 영상 제공부; 및 상기 영상 제공부에서 제공된 영상을, 부호화 대상 매크로블록과 인접한 주변 매크로블록 간의 관계인 공간적 상관성을 고려하여 참조 화소 값을 생성하고, 이를 기초로 부호화 대상 매크로블록을 인트라 예측 부호화하는 영상 부호화기를 포함하는 것을 특징으로 한다.

상기 영상 부호화기는 부호화 대상인 현재 매크로블록에 인접한 주변 매크로블록의 존재 여부로 공간적 상관성 정보를 탐색하는 공간적 정보 판단부; 상기 공간적 정보 판단부에서 탐색한 공간적 상관성 정보에 따라 주변 화소 값을 이용하여 참조 화소 값을 생성하는 참조 화소 생성부; 및 상기 참조 화소 생성부에서 생성된 참조 화소로 현재 매크로블록을 플레너 인트라 예측 부호화하는 플레너 인트라 예측부를 포함하는 것을 특징으로 한다.

상기 공간적 정보 판단부는 현재 매크로블록의 위쪽 및 왼쪽에 해당하는 매크로블록이 존재하는지를 검색하여 공간적 상관성 정보를 탐색하는 것을 특징으로 한다.

상기 참조 화소 생성부는 현재 매크로블록의 위쪽에 있는 화소 값의 경우 좌우의 화소 값들을 이용하고, 현재 매크로블록의 왼쪽에 있는 화소 값의 경우 상하의 화소 값들을 이용하여 (1+2+1)>>2 로 필터링하여 평활화하는 것을 특징으로 한다.

상기 플레너 인트라 예측부는 현재 매크로블록의 위쪽 및 왼쪽에 모두 매크로블록이 존재할 경우, 세로축의 플레너 인트라 예측값과 가로축의 플레너 인트라 예측 값의 평균값을 최종적인 예측 화소 값으로 선택하는 것을 특징으로 한다.

상기 플레너 인트라 예측부는 현재 매크로블록의 위쪽에만 매크로블록이 존재할 경우, 위쪽 매크로블록의 화소 값을 이용해 왼쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성하고, 위쪽 매크로블록의 화소 값과 상기 동일한 값으로 생성된 화소를 이용해 플레너 인트라 예측을 수행하는 것을 특징으로 한다.

상기 플레너 인트라 예측부는 현재 매크로블록의 왼쪽에만 매크로블록이 존재할 경우, 왼쪽 매크로블록의 화소 값을 이용해 위쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성하고, 왼쪽 매크로블록의 화소 값과 상성 동일한 값으로 생성된 화소를 이용해 플레너 인트라 예측을 수행하는 것을 특징으로 한다.

또한, 상기한 목적을 달성하기 위하여 본 발명에 따른 플레너 인트라 예측 방법은 현재 매크로블록에 인접한 주변 매크로블록 간의 공간적 상관성 정보를 이용하여 현재 매크로블록을 플레너 인트라 예측 부호화 방법으로서,

(a) 부호화 대상인 현재 매크로블록에 인접한 주변 매크로블록의 존재 여부로 공간적 상관성 정보를 탐색하는 단계; (b) 탐색한 공간적 상관성 정보에 따라 화면내 예측 부호화시 참조 매크로블록으로 사용할 인접 매크로블록의 존재 여부를 확인하고 그 결과에 따라 해당 매크로블록에서 참조 화소로 사용할 수 있는 현재 매크로블록과 가장 가까이에 있는 화소 값들을 주변 화소 값들과 평활화시키기 위해 좌우 또는 상하의 화소 값들을 이용해 필터링을 수행한 후 새로운 참조 화소 값을 생성하는 단계; (c) 상기 평활화된 인접 매크로블록의 화소 값을 이용하여 플레너 인트라 예측을 수행하되, (c1) 현재 매크로블록의 위쪽 매크로블록과 왼쪽 매크로블록이 존재하는 경우, (c2) 현재 매크로블록의 위쪽 매크로블록만 존재하는 경우, 및 (c3) 현재 매크로블록의 왼쪽 매크로블록만 존재하는 경우로 구분하여 플레너 인트라 예측을 수행하는 단계를 포함하는 것을 특징으로 한다.

상기 (a)단계는 현재 매크로블록의 위쪽 및 왼쪽에 인접되게 주변 매크로블록이 존재하는지를 검색하여 공간적 상관성 정보를 탐색하는 것을 특징으로 한다.

상기 (b)단계는 현재 매크로블록의 위쪽에 있는 화소 값의 경우 좌우의 화소 값을 이용하고, 현재 매크로블록의 왼쪽에 있는 화소 값의 경우 상하의 화소 값들을 이용하여 (1+2+1)>>2 필터로 필터링하여 평활화하는 것을 특징으로 한다.

상기 (b)단계는 (b1)현재 매크로블록의 위쪽 매크로블록이 존재하는지 여부를 확인하는 단계; (b2)위쪽 매크로블록이 존재하는 경우, 현재 매크로블록과 가장 가까이에 있는 화소 값들의 좌우 화소 값들을 이용하여 (1+2+1)>>2 필터로 필터링하여 평활화 하는 단계; (b3)현재 매크로블록의 왼쪽에 매크로블록이 존재하는지 여부를 확인하는 단계; 및 (b4)왼쪽 매크로블록이 존재하는 경우, 현재 매크로블록과 가장 가까이에 있는 화소 값들의 상하 화소 값들을 이용하여 (1+2+1)>>2 필터로 필터링하여 평활화 하는 단계를 포함하는 것을 특징으로 한다.

상기 (b2)단계 이하의 단계에 갈음하여, (b21) 위쪽 매크로블록이 존재하지 않는 경우, 현재 매크로블록의 왼쪽 매크로블록이 존재하는지 여부를 확인하는 단계; 및 (b22) 왼쪽 매크로블록이 존재하는 경우, 현재 매크로블록과 가장 가까이에 있는 화소 값들의 좌우 화소 값들을 이용하여 (1+2+1)>>2 필터로 필터링하여 평활화 하는 단계를 포함하는 것을 특징으로 한다.

상기 (c1)단계는 (c12) 위쪽 매크로블록의 화소 값 중 가장 오른쪽에 위치한 화소 값 EP[0]을 현재 매크로블록의 가장 오른쪽에 위치한 화소들에 매핑하는 단계; (c13) 왼쪽 매크로블록의 가장 오른쪽에 위치한 각각의 화소들 EP[-y-1]과 상기 매핑되어진 화소 값 EP[8]을 이용하여 가로축상의 거리에 비례하여 두 화소 값 사이에 있는 현재 매크로블록의 화소 값들에 대해 플레너 인트라 예측을 수행하되, EP[-y-1]과 EP[8] 중 현재 매크로블록의 화소 값과 가까이에 위치한 화소 값에 대해 더 많은 가중치를 두어 플레너 인트라 예측을 수행하는 단계; (c14) 왼쪽 매크로블록의 화소 값 중 가장 아래쪽에 위치한 화소 값 EP[-8]을 현재 매크로블록의 가장 아래쪽에 위치한 화소들에 매핑하는 단계; (c15) 위쪽 매크로블록의 가장 아래쪽에 위치한 각각의 화소들 EP[x+1]과 상기 매핑되어진 화소 값 EP[-8]을 이용하여 세로축상의 거리에 비례하여 두 화소 값 사이에 있는 현재 매크로블록의 화소 값들에 대해 플레너 인트라 예측을 수행하되, EP[x+1]과 EP[-8] 중 현재 매크로블록의 화소 값과 가까이에 위치한 화소 값에 대해 더 많은 가중치를 주어 플레너 인트라 예측을 수행하는 단계; 및 (c16) 상기 c13 단계 및 c15 단계에서 예측된 두 값의 평균하여 최종적인 예측 화소 값을 계산하는 단계를 포함하는 것을 특징으로 한다.

상기 (c2)단계는 (c21) 위쪽 매크로블록의 화소 값 EP[0]을 이용해 왼쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성하는 단계; (c22) 위쪽 매크로블록의 가장 오른쪽에 위치한 화소 값 EP[8]을 현재 매크로블록의 가장 오른쪽에 위치한 화소들에 매핑하는 단계; 및 (c23) 상기 c21 단계 및 c22 단계에서 도출된 두 값을 이용하여 가로축 상의 거리에 비례하여 두 화소 값 사이에 있는 현재 매크로블록의 화소 값들에 대해 플레너 인트라 예측을 수행하되, EP[0]과 EP[8] 중 현재 매크로블록의 화소 값과 가까이 위치한 화소 값에 대해 더 많은 가중치를 주어 플레너 인트라 예측을 수행하는 단계를 포함하는 것을 특징으로 한다.

상기 (c3)단계는 (c31) 왼쪽 매크로블록의 화소 값 EP[0]을 이용해 위쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성하는 단계; (c32) 왼쪽 매크로블록의 가장 오른쪽에 위치한 화소 값 EP[-8]을 현재 매크로블록의 가장 아래쪽에 위치한 화소들에 매핑하는 단계; 및 (c33) 상기 c31 단계 및 c32 단계에서 도출된 두 값을 이용하여 세로축 상의 거리에 비례하여 두 화소 값 사이에 있는 현재 매크로블록의 화소 값들에 대해 플레너 인트라 예측을 수행하되, EP[0]과 EP]-8] 중 현재 매크로블록의 화소 값과 가까이에 위치한 화소 값에 더 많은 가중치를 주어 플레너 인트라 예측을 수행하는 단계를 포함하는 것을 특징으로 한다.

상기 (c1) 단계는 세로축의 플레너 인트라 예측값과 가로축의 플레너 인트라 예측 값의 평균값을 최종적인 예측 화소 값으로 선택하는 것을 특징으로 한다.

상기 (c2) 단계는 위쪽 매크로블록의 화소 값을 이용해 왼쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성하고, 위쪽 매크로블록의 화소 값과 상기 동일한 값으로 생성된 화소를 이용해 플레너 인트라 예측을 수행하는 것을 특징으로 한다.

상기 (c3) 단계는 왼쪽 매크로블록의 화소 값을 이용해 위쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성하고, 왼쪽 매크로블록의 화소 값과 상기 동일한 값으로 생성된 화소를 이용해 플레너 인트라 예측을 수행하는 것을 특징으로 한다.

본 발명에 따른 플레너 인트라 예측 부호화 장치 및 방법에 의하면, 공간적 상관성을 기반하여 현재 블록 안의 각각의 화소에 대해 공간적 상관성을 기반으로 보다 가까운 참조 화소에 가중치를 주어 각기 다른 예측 화소 값을 적용함으로써 인트라 예측 부호화의 성능을 향상시킬 수 있다. 이렇게 비디오 부호화기의 가장 처음에 사용되는 인트라 예측 부호화의 성능을 향상시킴으로써, 인트라 프레임의 성능을 향상시킬 뿐만 아니라 비디오 코덱의 특성상 이전의 프레임을 참조하는 특성으로 인하여 비디오 부호화기의 전체적인 성능을 향상시킬 수 있다는 효과가 얻어진다.

도 1은 본 발명의 바람직한 실시 예에 따른 플레너 인트라 예측 부호화 장치의 구성도,
도 2는 본 발명의 바람직한 실시 예에 따른 플레너 인트라 예측 부호화 방법을 보인 흐름도,
도 3은 도 2의 플레너 인트라 예측 수행(S110)의 상세 흐름도,
도 4는 도 2의 플레너 인트라 예측 수행(S120)의 상세 흐름도,
도 5는 도 2의 플레너 인트라 예측 수행(S130)의 상세 흐름도,
도 6은 본 발명의 바람직한 실시 예에 따른 플레너 인트라 예측 유도 과정 및 주사 순서도.

이하 본 발명의 바람직한 실시 예에 따른 플레너 인트라 예측 부호화 장치 및 그 방법을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 바람직한 실시 예에 따른 플레너 인트라 예측 부호화 장치의 구성도이다.

본 발명의 바람직한 실시 예에 따른 플레너 인트라 예측 부호화 장치는 영상 제공부(10), 영상 부호화기(100)를 포함한다.

상기 영상 제공부(10)는 부호화할 영상을 프레임 단위로 제공하는 역할을 한다.

상기 영상 부호화기(100)는 상기 영상 제공부(10)에서 제공된 영상을, 부호화 대상 매크로블록과 인접한 주변 매크로블록 간의 관계인 공간적 상관성을 고려하여 참조 화소 값을 생성하고, 이를 기초로 부호화 대상 매크로블록을 화면내 예측 부호화하는 역할을 한다.

이러한 영상 부호화기(100)는 공간적 정보 판단부(101), 참조 화소 생성부(102), 플레너(planar) 인트라 예측부(103), 및 인트라 예측 결정부(104)를 포함한다.

상기 공간적 정보 판단부(101)는 부호화 대상인 현재 매크로블록에 인접한 주변 매크로블록의 존재 여부로 공간적 상관성 정보를 탐색한다. 이러한 공간적 정보 판단부(101)는 현재 매크로블록의 위쪽 및 왼쪽에 해당하는 매크로블록이 존재하는지를 검색하여 공간적 상관성 정보를 탐색하는 것이 바람직하다.

상기 참조 화소 생성부(102)는 상기 공간적 정보 판단부(101)에서 탐색한 공간적 상관성 정보에 따라 참조 화소 값을 생성하는 역할을 한다. 이러한 참조 화소 생성부(102)는 현재 매크로블록과 가장 가까이에 있는 화소 값들을 주변 화소 값들과 보다 평활화시키기 위하여 주변 화소 값들을 이용하여 필터링을 한다. 즉, 현재 매크로블록의 위쪽에 있는 화소 값의 경우 좌우의 화소 값들을 이용하고, 현재 매크로블록의 왼쪽에 있는 화소 값의 경우 상하의 화소 값들을 이용하여 (1+2+1)>>2 로 필터링한 후 새로운 화소 참조값을 생성한다. '(1+2+1)'은 '1:2:1'의 비율로 가중치를 둔다는 의미이며 '>>2'는 오른쪽 이동(right shirt)로 2진수의 값을 오른쪽으로 두 자리 옮겨준다는 의미로 '나누기 4'와 동일한 의미이다. 아울러 상기 참조 화소 생성부(102)는 현재 매크로블록의 위쪽 및 왼쪽에 모두 매크로블록이 존재할 경우, 현재 매크로블록의 위쪽에만 매크로블록이 존재할 경우, 현재 매크로블록의 왼쪽에만 매크로블록이 존재할 경우, 모두 (1+2+1)>>2로 필터링을 수행하여 새로운 화소 참조 화소 값을 생성한다.

상기 플레너 인트라 예측부(103)는 상기 참조 화소 생성부(102)에서 생성된 화소 값을 근거로 현재 매크로블록을 플레너 인트라 예측 부호화한다. 현재 매크로블록의 위쪽 매크로블록과 왼쪽 매크로블록이 모두 존재하는 경우, 위쪽의 매크로블록만 존재하는 경우, 왼쪽의 매크로블록만 존재하는 경우로 구분하여 플레너 인트라 예측을 수행한다. 인트라 예측의 상세 방법은 후술하기로 한다.

상기 인트라 예측 결정부(104)는 상기 플레너 인트라 예측부에서 수행된 인트라 예측 결과 및 다른 부호화 방법에 의해 예측된 결과 중 가장 최적의 부호화 방법을 결정한다. 다른 부호화 방법으로는 공지된 다수의 부호화 방법을 사용할 수 있으므로 자세한 설명은 생략하기로 한다.

도 2는 본 발명에 따른 플레너 인트라 예측 부호화 방법을 보인 흐름도로서, (a) 부호화 대상인 현재 매크로블록에 인접한 주변 매크로블록의 존재 여부로 공간적 상관성 정보를 탐색하는 단계(S101 ~ S102); (b) 탐색한 공간적 상관성 정보에 따라 화면내 예측 부호화시 참조 매크로블록으로 사용할 인접 매크로블록의 존재 여부를 확인하고 그 결과에 따라 해당 매크로블록에서 참조 화소로 사용할 수 있는 현재 블록과 가장 가까이에 있는 화소 값들을 주변 화소 값들과 평활화시키기 위해 좌우 또는 상하의 화소 값들을 이용하여 필터링을 수행한 후 새로운 참조 화소 값들을 생성하는 단계(S103 ~ S108); (c) 상기 평활화된 인접 매크로블록의 화소 값을 이용하여 플레너 인트라 예측을 수행하는 단계(S110, S120, S130)를 포함한다.

이와 같이 구성된 본 발명에 따른 플레너 인트라 예측 방법을 첨부한 도면 도 2 내지 도 6을 참조하여 구체적으로 설명하면 다음과 같다.

먼저, 본 발명은 플레너 인트라 예측 부호화를 실시할 경우, 현재 매크로블록에서 사용 가능한 복호화된 주변 매크로블록을 먼저 확인하고, 사용 가능한 주변 매크로블록이 존재할 경우, 현재 매크로블록에 가장 인접해 있는 매크로블록의 화소 값을 필터링하여 평활화된 새로운 예측 화소 값으로 생성한다. 이후, 현재 매크로블록의 화소 값의 각각의 위치에 가장 인접해 있는 주변 화소 값을 예측하여 압축효율을 높여 비트 량 절감 이득을 얻게 된다. 이러한 평활화된 플레너 화면내 예측 기법은 기본적으로 공간적 상관성을 고려하여 현재 매크로블록의 화소 값에 가장 인접해 있는 주변 매크로블록의 화소 값이 비슷할 확률이 가장 높다는 가정하에 적용된다.

예컨대, 영상 부호화기(100)는 부호화 대상 매크로블록(이하, "현재 매크로블록"이라 약칭함)이 입력되면(S101), 단계 S102에서 공간적 정보 판단부(101)를 통해 현재 매크로블록에 가장 인접한 주변 매크로블록과의 공간적 상관성을 확인한다. 여기서 공간적 상관성 확인은 현재 매크로블록에 가장 인접한 주변 매크로블록이 존재하는지를 확인하는 것으로서 달성된다. 여기서 현재 매크로블록에 가장 인접한 주변 매크로블록은 현재 매크로블록에 가장 인접한 위쪽 매크로블록 및 왼쪽 매크로블록을 포함할 수 있다.

이후, 단계 S103에서는 현재 매크로블록의 위쪽에 해당하는 주변 매크로블록이 존재하는지를 확인한다. 이 확인 결과 상기 위쪽에 해당하는 주변 매크로블록이 존재할 경우, 단계 S104로 이동하여 참조 화소 생성부(102)는 해당 매크로블록에서 참조 화소로 사용할 수 있는 현재 매크로블록과 가장 인접해 있는 화소 값들을 주변 화소 값보다 평활화하기 위하여, 좌우의 화소 값들을 이용하여 (1+2+1)>>2로 필터링을 수행하여 새로운 참조 화소 값들을 생성한다.

단계 S103에서 현재 매크로블록의 위쪽 매크로블록이 존재하지 않는다면 왼쪽 매크로블록이 존재하는지 여부를 확인하고(S105), 확인 결과 왼쪽 매크로블록이 존재한다면 단계 S104에서와 동일한 방법으로 필터링 과정을 수행한다(S106).

그리고 단계 S104후에는 다시 왼쪽 매크로블록이 존재하는지 여부를 확인하고(S107), 왼쪽 매크로블록이 존재한다면 단계 S104에서와 동일한 방법으로 화소 값 필터링을 수행한다(S108).

즉, 위쪽 매크로블록이 존재하는지 여부를 확인 한 후, 존재여부와 상관없이 왼쪽 매크로블록의 존재여부는 확인하는 단계를 수행한다. 다만 도시된 바와 같이 위쪽 매크로블록이 존재하는 경우에는 위쪽 매크로블록에 대해 필터링을 수행한 후(S104) 왼쪽 매크로블록이 존재하는지 여부를 확인하고(S107) 그 결과에 따라 플레너 인트라 예측을 수행하고, 위쪽 매크로블록이 존재하지 않는 경우에는 S104 단계 없이 바로 왼쪽 매크로블록이 존재하는지 여부를 확인한다(S105)는 점에서 차이가 있다.

상기와 같은 방법에 의해 주변 매크로블록의 존재 여부를 확인하고 그 결과에 따라 3가지 방법으로 구분하여 플레너 인트라 예측을 수행한다.

위쪽 매크로블록이 존재하고 왼쪽 매크로블록이 존재하는 경우에는 단계 S110 으로 플레너 인트라 예측을 수행하고, 위쪽 매크로블록이 존재하고 왼쪽 매크로블록이 존재하지 않는 경우에는 단계 S120으로 플레너 인트라 예측을 수행하고, 위쪽 매크로블록이 존재하지 않고 왼쪽 매크로블록이 존재하는 경우에는 단계 S130으로 플레너 인트라 예측을 수행한다. 그리고 위쪽 매크로블록 및 왼쪽 매크로블록이 모두 존재하지 않는 경우에는 다른 인트라 예측 부호화를 수행하지 않고 절차를 종료한다. 이 경우 기존의 여러 비디오 코덱의 DC 인트라 예측 부호화 기법에서 사용하는 방법과 같이 현재 블록의 각각의 화소에 128의 화소 값을 예측하는 방법을 사용할 수도 있지만 DC 인트라 예측 부호화 기법과 중복되어 사용될 수 있으므로 해당 경우에는 다른 인트라 예측 부호화를 수행하지 않고 종료하는 방법을 사용한다.

도 3, 도 4, 도 5, 및 도 6을 참조하여 플레너 인트라 예측 절차를 보다 상세히 살펴보면 아래와 같다. 도 3, 도 4, 및 도 5는 도 2의 상세 흐름도이고, 도 6은 매크로블록의 화소 및 인트라 예측 구조를 나타낸 것이다.

먼저 위쪽 매크로블록과 왼쪽 매크로블록이 모두 존재하는 경우에는 도 3에 도시된 것과 같은 방법으로 인트라 예측을 수행한다.

먼저, 위쪽 매크로블록의 화소 값 중 가장 오른쪽에 위치한 화소 EP[8]을 현재 매크로블록의 가장 오른쪽에 위치한 화소들에 매핑한다(S111). 매핑 후 왼쪽 매크로블록의 가장 오른쪽에 위치한 각각의 화소들 EP[-y-1]과 각각의 EP[-y-1]에 대해 가로축으로 동일선상에 매핑되어진 화소 EP[8] 두 값을 이용하여 가로축상의 거리에 비례하여 두 화소 값 사이에 있는 현재 매크로블록의 화소 값들에 대해 플레너 인트라 예측을 수행하는데, 플레너 인트라 예측을 수행하는 각각의 해당 화소 값들은 EP[-y-1]과 EP[8] 중 해당 화소 값과 가까이 위치한 화소 값에 대해 더 많은 가중치를 두어 플레너 인트라 예측을 수행한다(S112).

다음으로 왼쪽 매크로블록의 화소 값 중 가장 오른쪽 아래쪽에 위치한 화소 EP[-8]을 현재 블록의 가장 아래쪽에 위치한 화소들에 매핑한 뒤(S113), 위쪽 매크로블록의 가장 아래쪽에 위치한 화소 EP[x+1]과 화소 EP[-8] 두 값을 가지고 세로축 상의 거리에 비례하여 각각의 화소 위치에 대해 가까이에 위치할수록 더 많은 가중치를 주어 플레너 인트라 예측을 수행한다(S114). 상기 단계 S112 및 단계 S114에서 예측된 두 값의 평균을 최종적인 예측 화소 값으로 사용한다(S115).

단계 S111 내지 단계 S115의 인트라 예측 방법은 아래 수학식 1과 같이 나타낼 수 있다.

[수학식 1]

PredSamples[x,y]=[{(7-y)×EP[x+1]+(y+1)×EP[-8]} + {(7-x)×EP[-y-1]+(x+1)×EP[8]}]>>4

다음으로, 위쪽 매크로블록이 존재하고 왼쪽 매크로블록이 존재하지 않는 경우에는 도 4에 도시된 것과 같은 방법으로 인트라 예측을 수행한다.

먼저, 위쪽 매크로블록의 화소 값을 이용해 왼쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성한다(S121). 즉, 위쪽 매크로블록의 가장 왼쪽에 있는 화소 값 EP[0]을 이용해 왼쪽 매크로블록의 화소 값들을 모두 EP[0]이라는 동일한 화소 값을 생성한다.

다음으로 위쪽 매크로블록의 가장 오른쪽에 위치한 화소 EP[8]을 현재 매크로블록의 가장 오른쪽에 위치한 화소들에 매핑 한 뒤(S122), EP[0]과 EP[8] 두 값을 이용하여 가로축 상의 거리에 비례하여 두 화소 값 사이에 있는 현재 매크로블록의 화소 값들에 대해 플레너 인트라 예측을 수행하되, EP[0]과 EP[8] 중 현재 매크로블록의 화소 값과 가까이 위치한 화소 값에 대해 더 많은 가중치를 주어 플레너 인트라 예측을 수행한다(S123).

상기 단계 S121 내지 단계 S123은 아래 수학식 2와 같이 나타낼 수 있다.

[수학식 2]

PredSamples[x,y]={(7-x)×EP[0]+(x+1)×EP[8]}>>3

마지막으로, 위쪽 매크로블록이 존재하지 않고 왼쪽 매크로블록만 존재하는 경우에는 도 5에 도시된 것과 같은 방법으로 인트라 예측을 수행한다.

먼저, 왼쪽 매크로블록의 화소 값을 이용해 위쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성한다(S131). 즉, 왼쪽위 매크로블록의 화소 값 EP[0]을 이용해 위쪽 매크로블록의 화소 값들을 모두 EP[0]이라는 동일한 화소 값을 생성한다. EP[0]은 정확히 말하자면 왼쪽위의 매크로블록에 있는 화소 값이므로, 왼쪽 매크로블록만 존재하는 경우에는 왼쪽위 매크로블록이 존재하지 않으므로 왼쪽 매크로블록 화소 값중 가장 위에 있는 화소 값인 EP[-1]을 EP[0]으로 인식하고 사용한다. 따라서 편의상 EP[0]으로 표기를 하였다.

다음으로 왼쪽 매크로블록의 가장 아래쪽에 위치한 화소 EP[-8]을 현재 매크로블록의 가장 아래쪽에 위치한 화소들에 매핑 한 뒤(S132), EP[0]과 EP[-8] 두 값을 이용하여 세로축 상의 거리에 비례하여 두 화소 값 사이에 있는 현재 매크로블록의 화소 값들에 대해 플레너 인트라 예측을 수행하되, EP[0]과 EP]-8] 중 현재 매크로블록의 화소 값과 가까이에 위치한 화소 값에 더 많은 가중치를 주어 플레너 인트라 예측을 수행한다(S133).

상기 단계 S121 내지 단계 S123은 아래 수학식 3과 같이 나타낼 수 있다.

[수학식 3]

PredSamples[x,y]={(7-y)×EP[0]+(y+1)×EP[-8]}>>3

도 6은 상기와 같은 절차에 따라 수행되는 인트라 예측 과정을 보다 상세히 설명하기 위한 도면이다.

현재 매크로블록에 대해 플레너 인트라 예측 부호화(300) 기법을 사용할 시, 현재 매크로블록에 가장 인접해 있는 위쪽 매크로블록의 화소 값을 사용할 수 있으면, 현재 매크로블록과 가장 가까이에 있는 참조 화소 값들을 평활화된 필터링을 통하여 EP[x+1]이라는(301) 평활화된 새로운 화소 값을 참조 화소로 생성한다. 여기서 'x'는 현재 매크로블록의 가로축 좌표이다.

또한, 현재 매크로블록에 대해 왼쪽 매크로블록의 화소 값을 사용할 수 있으면, 위쪽과 동일한 과정을 통하여 왼쪽 매크로블록의 화소 값을 필터링하여 EP[-y-1]이라는(302) 평활화된 새로운 화소 값을 참조 화소로 생성한다. 여기서 'y'는 현재 매크로블록의 세로축 좌표이다.

이 두 값들이 생성되고 나면 현재 매크로블록의 각각의 화소에 화면내 예측부호화 과정(PredSample[x, y])(303)을 수행하게 되는데, 두 화소 값 모두 존재하는 경우에는 세로축의 플레너 인트라 예측값과 가로축의 플레너 인트라 예측 값의 평균값을 최종적으로 예측 화소 값으로 사용하고, 두 화소 값 중 위쪽 블록의 화소 값만 존재하는 경우에는 위쪽 블록의 화소 값(304)과 위쪽 블록의 화소 값에 의해 새롭게 생성된 화소 값 EP[0](305)을 이용하여 플레너 인트라 예측을 수행하고, 두 화소 값 중 왼쪽 매크로블록의 값만 존재하는 경우에는 왼쪽 블록의 화소 값(306)과 왼쪽 블록의 화소 값으로 새롭게 생성한 화소 값 EP[0](307)을 이용하여 플레너 인트라 예측을 수행하게 된다.

따라서 본 발명은 기존의 여러 인트라 예측 부호화 기법과 비교하여 보다 공간적 상관성을 고려하여 현재 블록의 각각의 화소에 평활화된 필터링을 통하여 새롭게 생성된 각기 다른 화소 값을 예측함으로써 인트라 예측 부호화 과정에서 발생하는 비트량을 보다 감소시킬 수 있다.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

본 발명은 비디오 부호화에서 인트라 플레너 예측 부호화 기술에 적용된다.

10: 영상 제공부
100: 영상 부호화기
101: 공간적 정보 판단부
102: 참조 화소 생성부
103: 플레너 인트라 예측부
104: 인트라 예측 결정부

Claims

부호화할 영상을 프레임 단위로 제공하는 영상 제공부; 및
상기 영상 제공부에서 제공된 영상을, 부호화 대상 매크로블록과 인접한 주변 매크로블록 간의 관계인 공간적 상관성을 고려하여 참조 화소 값을 생성하고, 이를 기초로 부호화 대상 매크로블록을 인트라 예측 부호화하는 영상 부호화기를 포함하는 것을 특징으로 하는 플레너 인트라 예측 부호화 장치.
청구항 1에 있어서, 상기 영상 부호화기는
부호화 대상인 현재 매크로블록에 인접한 주변 매크로블록의 존재 여부로 공간적 상관성 정보를 탐색하는 공간적 정보 판단부;
상기 공간적 정보 판단부에서 탐색한 공간적 상관성 정보에 따라 주변 화소 값을 이용하여 참조 화소 값을 생성하는 참조 화소 생성부; 및
상기 참조 화소 생성부에서 생성된 참조 화소로 현재 매크로블록을 플레너 인트라 예측 부호화하는 플레너 인트라 예측부를 포함하는 것을 특징으로 하는 플레너 인트라 예측 부호화.
청구항 2에 있어서,
상기 공간적 정보 판단부는 현재 매크로블록의 위쪽 및 왼쪽에 해당하는 매크로블록이 존재하는지를 검색하여 공간적 상관성 정보를 탐색하는 것을 특징으로 하는 플레너 인트라 예측 부호화 장치.
청구항 2에 있어서,
상기 참조 화소 생성부는 현재 매크로블록의 위쪽에 있는 화소 값의 경우 좌우의 화소 값들을 이용하고, 현재 매크로블록의 왼쪽에 있는 화소 값의 경우 상하의 화소 값들을 이용하여 (1+2+1)>>2 로 필터링하여 평활화하는 것을 특징으로 하는 플레너 인트라 예측 부호화 장치.
청구항 2에 있어서,
상기 플레너 인트라 예측부는 현재 매크로블록의 위쪽 및 왼쪽에 모두 매크로블록이 존재할 경우, 세로축의 플레너 인트라 예측값과 가로축의 플레너 인트라 예측 값의 평균값을 최종적인 예측 화소 값으로 선택하는 것을 특징으로 하는 플레너 인트라 예측 부호화 장치.
청구항 2에 있어서,
상기 플레너 인트라 예측부는 현재 매크로블록의 위쪽에만 매크로블록이 존재할 경우, 위쪽 매크로블록의 화소 값을 이용해 왼쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성하고, 위쪽 매크로블록의 화소 값과 상기 동일한 값으로 생성된 화소를 이용해 플레너 인트라 예측을 수행하는 것을 특징으로 하는 플레너 인트라 예측 부호화 장치.
청구항 2에 있어서,
상기 플레너 인트라 예측부는 현재 매크로블록의 왼쪽에만 매크로블록이 존재할 경우, 왼쪽 매크로블록의 화소 값을 이용해 위쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성하고, 왼쪽 매크로블록의 화소 값과 상성 동일한 값으로 생성된 화소를 이용해 플레너 인트라 예측을 수행하는 것을 특징으로 하는 플레너 인트라 예측 부호화 장치.
현재 매크로블록에 인접한 주변 매크로블록 간의 공간적 상관성 정보를 이용하여 현재 매크로블록을 플레너 인트라 예측 부호화 방법으로서,
(a) 부호화 대상인 현재 매크로블록에 인접한 주변 매크로블록의 존재 여부로 공간적 상관성 정보를 탐색하는 단계;
(b) 탐색한 공간적 상관성 정보에 따라 화면내 예측 부호화시 참조 매크로블록으로 사용할 인접 매크로블록의 존재 여부를 확인하고 그 결과에 따라 해당 매크로블록에서 참조 화소로 사용할 수 있는 현재 매크로블록과 가장 가까이에 있는 화소 값들을 주변 화소 값들과 평활화시키기 위해 좌우 또는 상하의 화소 값들을 이용해 필터링을 수행한 후 새로운 참조 화소 값을 생성하는 단계;
(c) 상기 평활화된 인접 매크로블록의 화소 값을 이용하여 플레너 인트라 예측을 수행하되, (c1) 현재 매크로블록의 위쪽 매크로블록과 왼쪽 매크로블록이 존재하는 경우, (c2) 현재 매크로블록의 위쪽 매크로블록만 존재하는 경우, 및 (c3) 현재 매크로블록의 왼쪽 매크로블록만 존재하는 경우로 구분하여 플레너 인트라 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 플레너 인트라 예측 부호화 방법.
청구항 8에 있어서, 상기 (a)단계는
현재 매크로블록의 위쪽 및 왼쪽에 인접되게 주변 매크로블록이 존재하는지를 검색하여 공간적 상관성 정보를 탐색하는 것을 특징으로 하는 플레너 인트라 예측 부호화 방법.
청구항 8에 있어서, 상기 (b)단계는 현재 매크로블록의 위쪽에 있는 화소 값의 경우 좌우의 화소 값을 이용하고, 현재 매크로블록의 왼쪽에 있는 화소 값의 경우 상하의 화소 값들을 이용하여 (1+2+1)>>2 필터로 필터링하여 평활화하는 것을 특징으로 하는 플레너 인트라 예측 부호화 방법.
청구항 8에 있어서, 상기 (b)단계는
(b1)현재 매크로블록의 위쪽 매크로블록이 존재하는지 여부를 확인하는 단계;
(b2)위쪽 매크로블록이 존재하는 경우, 현재 매크로블록과 가장 가까이에 있는 화소 값들의 좌우 화소 값들을 이용하여 (1+2+1)>>2 필터로 필터링하여 평활화 하는 단계;
(b3)현재 매크로블록의 왼쪽에 매크로블록이 존재하는지 여부를 확인하는 단계; 및
(b4)왼쪽 매크로블록이 존재하는 경우, 현재 매크로블록과 가장 가까이에 있는 화소 값들의 상하 화소 값들을 이용하여 (1+2+1)>>2 필터로 필터링하여 평활화 하는 단계를 포함하는 것을 특징으로 하는 플레너 인트라 예측 부호화 방법.
청구항 11에 있어서, 상기 (b2)단계 이하의 단계에 갈음하여,
(b21) 위쪽 매크로블록이 존재하지 않는 경우, 현재 매크로블록의 왼쪽 매크로블록이 존재하는지 여부를 확인하는 단계; 및
(b22) 왼쪽 매크로블록이 존재하는 경우, 현재 매크로블록과 가장 가까이에 있는 화소 값들의 좌우 화소 값들을 이용하여 (1+2+1)>>2 필터로 필터링하여 평활화 하는 단계를 포함하는 것을 특징으로 하는 플레너 인트라 예측 부호화 방법.
청구항 8에 있어서, 상기 (c1)단계는
(c12) 위쪽 매크로블록의 화소 값 중 가장 오른쪽에 위치한 화소 값 EP[0]을 현재 매크로블록의 가장 오른쪽에 위치한 화소들에 매핑하는 단계;
(c13) 왼쪽 매크로블록의 가장 오른쪽에 위치한 각각의 화소들 EP[-y-1]과 상기 매핑되어진 화소 값 EP[8]을 이용하여 가로축상의 거리에 비례하여 두 화소 값 사이에 있는 현재 매크로블록의 화소 값들에 대해 플레너 인트라 예측을 수행하되, EP[-y-1]과 EP[8] 중 현재 매크로블록의 화소 값과 가까이에 위치한 화소 값에 대해 더 많은 가중치를 두어 플레너 인트라 예측을 수행하는 단계;
(c14) 왼쪽 매크로블록의 화소 값 중 가장 아래쪽에 위치한 화소 값 EP[-8]을 현재 매크로블록의 가장 아래쪽에 위치한 화소들에 매핑하는 단계;
(c15) 위쪽 매크로블록의 가장 아래쪽에 위치한 각각의 화소들 EP[x+1]과 상기 매핑되어진 화소 값 EP[-8]을 이용하여 세로축상의 거리에 비례하여 두 화소 값 사이에 있는 현재 매크로블록의 화소 값들에 대해 플레너 인트라 예측을 수행하되, EP[x+1]과 EP[-8] 중 현재 매크로블록의 화소 값과 가까이에 위치한 화소 값에 대해 더 많은 가중치를 주어 플레너 인트라 예측을 수행하는 단계; 및
(c16) 상기 c13 단계 및 c15 단계에서 예측된 두 값의 평균하여 최종적인 예측 화소 값을 계산하는 단계를 포함하는 것을 특징으로 하는 플레너 인트라 예측 부호화 방법.
청구항 8에 있어서, 상기 (c2)단계는
(c21) 위쪽 매크로블록의 화소 값 EP[0]을 이용해 왼쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성하는 단계;
(c22) 위쪽 매크로블록의 가장 오른쪽에 위치한 화소 값 EP[8]을 현재 매크로블록의 가장 오른쪽에 위치한 화소들에 매핑하는 단계; 및
(c23) 상기 c21 단계 및 c22 단계에서 도출된 두 값을 이용하여 가로축 상의 거리에 비례하여 두 화소 값 사이에 있는 현재 매크로블록의 화소 값들에 대해 플레너 인트라 예측을 수행하되, EP[0]과 EP[8] 중 현재 매크로블록의 화소 값과 가까이 위치한 화소 값에 대해 더 많은 가중치를 주어 플레너 인트라 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 플레너 인트라 예측 부호화 방법.
청구항 8에 있어서, 상기 (c3)단계는
(c31) 왼쪽 매크로블록의 화소 값 EP[0]을 이용해 위쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성하는 단계;
(c32) 왼쪽 매크로블록의 가장 오른쪽에 위치한 화소 값 EP[-8]을 현재 매크로블록의 가장 아래쪽에 위치한 화소들에 매핑하는 단계; 및
(c33) 상기 c31 단계 및 c32 단계에서 도출된 두 값을 이용하여 세로축 상의 거리에 비례하여 두 화소 값 사이에 있는 현재 매크로블록의 화소 값들에 대해 플레너 인트라 예측을 수행하되, EP[0]과 EP]-8] 중 현재 매크로블록의 화소 값과 가까이에 위치한 화소 값에 더 많은 가중치를 주어 플레너 인트라 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 플레너 인트라 예측 부호화 방법.
청구항 8에 있어서, 상기 (c1) 단계는
세로축의 플레너 인트라 예측값과 가로축의 플레너 인트라 예측 값의 평균값을 최종적인 예측 화소 값으로 선택하는 것을 특징으로 하는 플레너 인트라 예측 부호화 방법.
청구항 8에 있어서, 상기 (c2) 단계는
위쪽 매크로블록의 화소 값을 이용해 왼쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성하고, 위쪽 매크로블록의 화소 값과 상기 동일한 값으로 생성된 화소를 이용해 플레너 인트라 예측을 수행하는 것을 특징으로 하는 플레너 인트라 예측 부호화 방법.
청구항 8에 있어서, 상기 (c3) 단계는
왼쪽 매크로블록의 화소 값을 이용해 위쪽 매크로블록의 화소 값을 모두 동일한 값으로 생성하고, 왼쪽 매크로블록의 화소 값과 상기 동일한 값으로 생성된 화소를 이용해 플레너 인트라 예측을 수행하는 것을 특징으로 하는 플레너 인트라 예측 부호화 방법.