KR101663235B1 - 화면 내 예측 부호화/복호화 방법 및 장치 - Google Patents

Abstract

화면 내 예측 부호화/복호화 방법 및 장치가 개시된다. 화면 내 예측 부호화 방법은, 화면 내 예측 방향에 따라 파라메트릭 예측을 수행하여 부호화 대상 블록의 방향 별 변화 특성을 보다 세밀하게 예측할 수 있다. 이를 통해, 부호화 대상 블록의 크기가 증가하더라도 계산 복잡도 크게 증가하지 않으므로 다양한 크기를 갖는 부호화 대상 블록에서 부호화 효율을 향상시킬 수 있다.

화면 내 예측 부호화, 예측 방향, 파라메트릭 예측

Description

화면 내 예측 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR VIDEO CODING AND DECODING USING INTRA PREDICTION}

본 발명은 화면 내 예측 부호화/복호화 방법 및 장치에 관한 것으로, 보다 상세하게는 예측 방향을 이용하여 입력 영상에 대한 화면 내 예측을 수행하는 기술에 관한 것이다.

본 발명은 방송통신위원회 및 정보통신연구진흥원의 IT원천술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-011, 과제명: 차세대 DTV 핵심 기술 개발(표준화 연계)-차세대 DTV 핵심기술 개발].

일반적으로, 하이브리드 예측 부호화 구조를 갖는 비디오 부/복호화 장치는 입력 영상을 16x16 크기의 매크로 블록 단위로 분할하여 부호화를 수행한다. 특히, 비디오 압축 규격인 ISO/IEC 14496-10(MPEG-4 Advanced Video Coding) 또는 H.264 및 ISO/IEC 14496-10 Amendment 3(MPEG-4 Scalable Video Coding) 규격 등은 16×16 매크로 블록 및 서브블록(4x4 및 8x8)들에 대해 화면 내 예측을 수행한다. 화면 내 예측을 수행하는 경우, 블록 내 원(original) 신호가 아닌 잔차(residual) 신호를 부호화하므로 화면 내 부호화 성능 효율이 향상된다.

그런데, 화소 단위로 파라메트릭 예측을 수용하는 경우, 종래의 부호화 장치는 예측에 사용되는 화소값의 수가 증가하는 경우, 연산 복잡도가 증가하게 된다.

이에 따라, 연산 복잡도를 감소시키면서 예측을 수행하고자 하는 예측 대상 화소값의 국부적 변화를 수용할 수 있는 방안이 요구된다.

화면 내 예측 부호화 방법은, 복수의 블록들로 이루어진 입력 영상을 대상으로, 예측 방향에 기초하여 부호화 대상 블록에 포함된 적어도 하나의 화소를 예측 대상 화소로 결정하는 단계, 입력 영상에 포함된 복원 화소들 중 부호화 대상 블록에 인접하면서, 예측 방향 주변에 위치한 복원 화소들을 예측 기반 화소들로 결정하는 단계, 결정된 적어도 하나의 예측 대상 화소 및 예측 기반 화소들의 위치에 기초하여 트레이닝 데이터 집합들을 결정하는 단계, 결정된 트레이닝 데이터 집합들을 기초로 예측 방향에 따른 예측 오차를 감소시키기 위해 이용되는 예측 파라미터를 산출하는 단계, 및 산출된 예측 파라미터 및 결정된 예측 기반 화소들을 이용하여 결정된 적어도 하나의 예측 대상 화소에 대해 예측 방향으로 파라메트릭 예측을 수행하는 단계를 포함할 수 있다.

이때, 예측 기반 화소들로 결정하는 단계는, 예측 기반 화소들 간의 중간 위치에 해당하는 화소값을 보간하여 최종 예측 기반 화소들을 결정하는 단계를 포함할 수 있다.

또한, 예측 기반 화소들로 결정하는 단계는, 예측 기반 화소들의 평균, 표준 편차, 및 부호화 대상 블록의 양자화 파라미터를 기초로 상한 기준값과 하한 기준값을 계산하는 단계, 및 결정된 예측 기반 화소들 중 화소값이 계산된 상한 기준값과 하한 기준값 사이에 포함되는 화소들로 최종 예측 기반 화소들을 결정하는 단계를 포함할 수 있다.

또한, 예측 기반 화소들로 결정하는 단계는, 결정된 예측 기반 화소들로부터 유사 화소를 결정하는 단계, 결정된 유사 화소들 중 어느 하나를 대표 화소로 선택하는 단계, 결정된 유사 화소들 중 대표 화소를 제외한 유사 화소들에 대한 가중치를 부가하는 단계, 및 예측 기반 화소들 중 가중치가 부가된 유사 화소들, 및 가중치를 이용하여 최종 예측 기반 화소들을 결정하는 단계를 포함할 수 있다.

또한, 화면 내 예측 복호화 방법은, 화면 내 예측 부호화된 입력 영상을 수신하는 단계, 수신된 입력 영상을 구성하는 복수의 블록들을 대상으로, 예측 방향에 기초하여 복호화 대상 블록에 포함된 적어도 하나의 화소를 예측 대상 화소로 결정하는 단계, 입력 영상에 포함된 복호된 화소들 중 복호화 대상 블록에 인접하면서, 예측 방향 주변에 위치한 복호 화소들을 예측 기반 화소들로 결정하는 단계, 결정된 적어도 하나의 예측 대상 화소 및 예측 기반 화소들의 위치에 기초하여 트레이닝 데이터 집합들을 결정하는 단계, 결정된 트레이닝 데이터 집합들을 기초로 예측 방향에 따른 예측 오차를 감소시키기 위해 이용되는 예측 파라미터를 산출하는 단계, 및 산출된 예측 파라미터 및 결정된 예측 기반 화소들을 이용하여 결정된 적어도 하나의 예측 대상 화소에 대해 예측 방향으로 파라메트릭 화면 내 복호화를 수행하는 단계를 포함할 수 있다.

본 발명은 입력 영상에 대해 예측 방향에 따라 파라메트릭 예측을 수행함으로써 계산 복잡도를 감소시킬 수 있을 뿐만 아니라, 화면 내 예측을 세밀하게 수행할 수 있다.

이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 화면 내 예측 부호화 방법을 설명하기 위해 제공되는 흐름도이다.

도 1을 참조하면, 부호화 장치는, 예측 방향에 따라 부호화 대상 블록으로부터 예측 대상 화소(Prediction Target Pixel)를 결정할 수 있다(S110). 여기서, 부호화 대상 블록으로는 입력 영상에 포함된 복수의 블록들 중 부호화를 수행하고자 하는 블록이 될 수 있다. 일례로, 입력 영상은 16×16보다 큰 확장 매크로 블록들을 포함할 수 있다.

이때, 부호화 대상 블록은 각 블록 혹은 그 하위의 서브블록 중 하나가 될 수 있으며, 예측 대상 화소는, 부호화 대상 블록 내에 포함된 복수의 화소들 중 적어도 하나가 될 수 있다. 일례로, 예측 대상 화소는 아래의 수학식 1과 같이 표현될 수 있다.

여기서, K는 각 예측 방향에 따른 예측 대상 화소의 개수이다. 이때, 예측 대상 화소는 1개 이상이 될 수 있다.

보다 상세하게는, 부호화 장치는, 도 2와 같이, 부호화 장치는 부호화 대상 블록에 포함된 화소들 중 예측 방향 선 상에 위치하는 화소들을 예측 대상 화소(230)로 결정할 수 있다. 여기서, 예측 방향은, 대각 좌 하향, 대각 우 하향, 대각 좌 상향, 대각 우 상항, 수평 좌 방향, 수평 우 방향, 수직 상 방향, 수직 하 방향 및 제로 방향 중 하나 이상으로 기설정될 수 있다.

또한, 부호화 장치는 AVC(Advanced Video Coding) 화면 내 부호화 기법을 이용하여 부호화 대상 블록의 예측을 위한 최적 방향을 결정할 수 있다. 그러면, 결정된 최적 방향이 예측 방향으로 이용될 수 있다

이어, 부호화 장치는, 부호화 대상 블록에 인접하면서 예측 방향 주변에 위치한 복원 화소들을 예측 기반 화소들(Prediction Support Pixels)로 결정할 수 있다(S120). 여기서, 예측 기반 화소들로는 입력 영상에 포함된 복수의 화소들 중 부호화가 완료된 이후에 복원된 화소들이 이용될 수 있다. 일례로, 예측 기반 화소는 아래의 수학식 2와 같이 표현될 수 있다.

여기서, N은 예측 기반 화소의 개수이고, n 및 N은 예측 방향 또는 수학식 1의 k에 따라 다르게 결정될 수 있다.

보다 상세하게는, 도 2와 같이, 부호화 장치는 예측 기반 화소(230) 주변에 위치한 복원 화소들 중 예측 방향 선상에 가깝게 위치한 복원 화소들을 예측 기반 화소들(210)로 결정할 수 있다. 일반적으로, N이 커질수록 부호화기 및 복호화기의 복잡도고 증가하는데, 상기와 같이 예측 방향에 따라 예측 기반 화소를 적응적으로 선택함으로써 부호화 및 복호화시 계산량을 줄이고 예측 성능을 향상시킬 수 있다.

이때, 부호화 장치는 예측 기반 화소들 간의 보간, 예측 기반 화소들 간의 평균, 및 유사 화소를 이용하여 최종 예측 기반 화소들을 결정할 수 있다(S130).

일례로, 예측 기반 화소들 간의 보간을 이용하고, 도 3과 같이 부호화 대상 블록의 크기가 4×4, 예측 방향이 대각 좌 하향인 경우, 부호화 장치는, 예측 기반 화소들(210) 각각의 중간 위치에 해당하는 화소들(330)의 화소값을 보간하여 최종 예측 기반 화소들(330)을 결정할 수 있다.

이와 같이, 예측 기반 화소들 간의 보간을 이용하는 경우, 모든 예측 기반 화소들을 사용하지 않음에 따라 예측 기반 화소 개수(N)가 10에서 6으로 감소될 수 있다. 이에 따라, 예측으로 인한 계산 복잡도가 더욱 감소될 수 있으며, 보간에 의해 잡음 화소가 평탄화 되는 효과가 있으므로 예측 성능도 향상될 수 있다.

또 다른 예로, 예측 기반 화소들 간의 평균을 이용하고, 도 3과 같이 부호화 대상 블록의 크기가 4×4, 예측 방향이 대각 좌 하향인 경우, 부호화 장치는, 예측 기반 화소들의 평균값 및 표준 편차를 계산할 수 있다.

그러면, 부호화 장치는, 계산된 평균값, 표준 편차 및 부호화 대상 블록의 양자화 파라미터를 이용하여 상한 기준값 및 하한 기준값을 계산할 수 있다. 여기서, 부호화 대상 블록의 양자화 파라미터는, 부호화 대상 블록의 양자화를 통해 획득될 수 있다.

일례로, 부호화 장치는, 아래의 수학식 3에 따라 상한 기준값 (T_high)및 하한 기준값(T_low)을 계산할 수 있다.

T_low< y⁽⁰⁾(n)< T_high, n=1, …, N

T_low= mean{y⁽⁰⁾(n)}- scale(QP)· deviation{y⁽⁰⁾(n)}

T_high= mean{y⁽⁰⁾(n)}+ scale(QP)· deviation{y⁽⁰⁾(n)}

여기서, mean{y⁽⁰⁾(n)}은 예측 기반 화소들의 평균값이고, scale(QP)는 예측 기반 화소들의 표준 편차, deviation{y⁽⁰⁾(n)}은 부호화 대상 블록의 양자화 파라미터이다.

보다 상세하게는, 부호화 장치는 예측 기반 화소들의 평균에서 예측 기반 화소들의 표준 편차와 양자화 파라미터의 곱을 감산하여 하한 기준값을 계산할 수 있다. 또한, 부호화 장치는 예측 기반 화소들의 평균에 예측 기반 화소들의 표준 편차와 양자화 파라미터의 곱을 가산하여 하한 기준값을 계산할 수 있다.

그러면, 부호화 장치는, 예측 기반 화소들 중 하한 기준값을 초과하고, 상한 기준값 미만에 해당하는 화소들을 최종 예측 기반 화소로 결정할 수 있다.

또한, 예측기반 화소들 중 서로 화소값이 유사한 화소들은 예측기반 화소로 중복하여 포함시키는 대신 가중치를 부여하여 동일 효과를 내도록 하여 예측 기반 화소의 개수를 줄일 수 있다. 즉, 도 3과 같이 부호화 대상 블록의 크기가 4×4, 예측 방향이 대각 좌 하향이고, 유사 화소가 이용되는 경우, 부호화 장치는, 예측 기반 화소들 중 화소값의 차가 기설정된 기준 화소값 미만인 유사 화소들의 집합을 결정할 수 있다.

그러면, 부호화 장치는, 결정된 유사 화소들 집합 중 어느 하나를 대표 화소로 선택할 수 있다. 그리고, 부호화 장치는, 대표 화소에 대해서만 가중치를 부여하여 예측 기반 화소로 사용할 수 있다. 그러면, 나머지 유사 화소들은 예측 기반 화소로 사용되지 않음으로써, 예측 기반 화소의 개수가 줄어 복잡도가 감소될 수 있다.

이때, 부호화 장치는, 예측 기반 화소들 중 유사 화소를 제외한 복원 화소들과 대표 화소, 그리고 가중치를 이용하여 최종 예측 기반 화소를 결정할 수 있다.

일례로, 부호화 장치는, 아래의 수학식 4에 기초하여 예측 기반 화소들로부터 유사 화소를 결정할 수 있다.

|y⁽⁰⁾(i)- y⁽⁰⁾(j)|<Th, i,j=1, …, N …(1)

Weight(i)= the number of pixels equation (1)

여기서, Th는 기준 화소값으로 기설정될 수 있으며, weight(i)는 가중치이다.

수학식 4에 따르면, 부호화 장치는, 예측 기반 화소들 간의 차의 절대값(|y⁽⁰⁾(i)- y⁽⁰⁾(j)|)이 기준 화소값(Th) 미만에 해당하는 화소들을 유사 화소로 결정할 수 있다. 그러면, 부호화 장치는 결정 유사 화소들 중 어느 하나를 대표 화소로 선택할 수 있다. 이때, 부호화 장치는 유사 화소들의 평균값을 계산하고, 평 균값을 대표 화소로 선택할 수 있다.

또한, 부호화 장치는 유사 화소들 중 가운데에 위치하는 유사 화소를 대표 화소로 선택할 수 있다. 그러면, 부호화 장치는, 유사 화소들 중 선택된 대표 화소를 제외한 나머지 유사 화소들의 수로서 가중치를 부가할 수 있다.

일례로, 예측 기반 화소의 수가 10개 이고, 5개의 유사 화소가 결정된 경우, 부호화 장치는 대표 화소를 제외한 4개의 유사 화소에 대해 가중치를 4로 부가할 수 있다. 그러면, 부호화 장치는, 예측 기반 화소에서 가중치가 부가된 유사 화소들을 제외한 6개의 화소들과 가중치를 이용하여 최종 예측 기반 화소들을 결정할 수 있다. 이때, 부가된 가중치는 예측 파라미터를 산출하기 위해 이용될 수 있다

이상에서 설명한 바와 같이, 예측 방향 선 상에 인접한 복원 화소들이 많이 포함되도록 예측 기반 화소가 결정되는 경우, 예측 성능이 향상될 수 있다. 특히, 부호화 장치는, 부호화 대상 블록의 상/하/좌/우 중 가능 많은 방향의 복원 화소들을 예측 기반 화소들로 결정할 수 있다.

이때, 부호화 대상 블록이 슬라이스 경계에 위치하거나, 또는 복원되지 않은 블록과 인접한 경우, 부호화 장치는, 입력 영상에 포함된 복원 화소들 중 부호화 대상 블록의 예측 방향의 방향 벡터와 거리가 가까운 화소들을 예측 기반 화소들로 선택할 수 있다.

일례로, 도 4와 같이, 예측 방향 선 상에 인접한 화소들(U, A) 중 아직 복원되지 않은 화소들(U)이 존재할 수 있다. 그러면, 부호화 장치는, 복원 화소들 중 방향 벡터와 인접한 화소들(S)과 예측 방향 선 상에 인접한 복원 화소들(A)을 최종 예측 기반 화소들로 결정할 수 있다. 이때, 부호화 장치는 도 5와 같이, 부호화 대상 블록의 크기가 4×4인 경우, 다양한 예측 방향에 따라 예측 기반 화소들을 다르게 결정할 수 있다.

이어, 부호화 장치는, 결정된 예측 대상 화소 및 최종 예측 기반 화소들 간의 기하학 적 위치 관계에 기초하여 트레이닝 데이터 집합들을 결정할 수 있다(S140).

일례로, 도 9와 같이, 부호화 장치는 이미 복원된 화소들의 특정 영역의 각 화소 위치에 대하여 예측 대상 화소를 가상적으로 위치 시킬 수 있다. 예측 대상 화가 가상적으로 위치시킨 이후, 부호화 장치는, 예측 기반 화소들 및 예측 대상 화소 템플릿을 이용하여 트레이닝 데이터 집합을 결정할 수 있다.

또 다른 예로, 부호화 장치는 S120 단계에서 결정된 예측 기반 화소들과 거리가 가까운 복원 화소들이 포함되도록 트레이닝 데이터 집합들을 결정할 수 있다. 이때, 트레이닝 데이터 집합들은 아래의 수학식 5에 의해 결정될 수 있다. 또한, 결정된 트레이닝 데이터 집합들을 나타내는 템플릿은 도 6과 같다.

여기서, M은 주어진 예측 방향에 대한 트레이닝 데이터 집합의 총 개수를 나타낼 수 있다.

보다 상세하게는, 부호화 장치는, 예측 기반 화소들의 화소값 및 예측 대상 화소들의 화소값과 유사한 화소값을 갖도록 트레이닝 데이터 집합들을 결정할 수 있다. 여기서, 결정된 트레이닝 데이터 집합들은 예측 파라미터 산출 시에 이용될 수 있다.

또한, 부호화 장치는, 예측 기반 화소들과 대응점간 템플릿-정합 화소값 오차가 감소되도록 트레이닝 데이터 집합들을 결정할 수 있다. 이때, 트레이닝 데이터 집합들은 예측 방향에 따라 다르게 결정될 수 있다.

즉, 예측 방향이 Z개인 경우, Z개의 트레이닝 데이터 집합들이 결정될 수 있다. 이를 통해, 예측 대상 화소 각각에 대해 트레이닝 데이터 집합을 결정하지 않아도 되므로 계산 복잡도가 감소될 수 있다. 여기서, Z는 임의의 상수가 될 수 있다.

또한, 부호화 장치는, 도 7과 같이, 공통 템플릿을 생성할 수 있다. 즉, 예측 방향이 Z개인 경우, 부호화 장치는, Z개의 예측 방향 각각에 해당되는 예측 기반 화소들이 기설정된 기준 개수 이상 포함되도록 하나의 공통 템플릿을 생성할 수 있다. 그러면, 부호화 장치는, 생성된 공통 템플릿과 동일한 기하학적 구조를 갖는 트레이닝 데이터 집합들을 결정할 수 있다.

그리고, 부호화 장치는, 결정된 트레이닝 데이터 집합들에 포함된 화소들을 대상으로, 예측 방향에 따른 예측 오차가 감소되도록 예측 파라미터를 산출할 수 있다(S150). 이때, 부호화 장치는, 어핀 예측 기법 또는 선형 예측 기법을 이용하여 예측 파라미터를 산출할 수 있다.

일례로, 선형 예측 기법을 이용하는 경우, 아래의 수학식 6에 의해 예측 대상 화소가 예측될 수 있다.

수학식 6에 따르면, m번째 트레이닝 데이터 집합을 이용하여 k번째 예측 대상 화소가 예측될 수 있다.

이때, 수학식 6은 아래의 수학식 7과 같이 매트릭스-벡터 형식으로 표현될 수 있다.

여기서, 는 m번째 트레이닝 데이터에서 k번째 예측 대상 화소를 예측하는 경우에 발생되는 부가 잡음(Additive Noise)이다.

보다 상세하게는, 부호화 장치는 최소자승 오차(LSE: Least Square Error) 기법, 가중치-최소자승오차(WLSE: Weighted Least Square Error) 기법, 최적선형비치우침 추정기(BLUE: Best Linear Unbiased Estimator), 및 선형최소평균자승오차(LMMSE: Linear Minimum Mean Square Error) 기법을 이용하여 예측 파라미터를 산출할 수 있다. 이때, 예측 파라미터는 최적화 비용함수 및 해(Solution)를 포함할 수 있다.

일례로, 최소자승오차 기법을 이용하는 경우, 부호화 장치는, 아래의 수학식 9과 같이, 최적화 비용함수와 그 해(Solution)를 각각 산출할 수 있다.

또한, 가중치-최소자승오차 기법을 이용하는 경우, 부호화 장치는, 아래의 수학식 9과 같이, 최적화 비용함수와 그 해(Solution)를 각각 산출할 수 있다.

또한, 최적선형비치우침추정기 기법을 이용하는 경우, 부호화 장치는, 아래의 수학식 10과 같이, 최적화 비용함수와 그 해(Solution)를 각각 산출할 수 있다.

또한, 선형최소평균자승오차 기법을 이용하는 경우, 부호화 장치는, 아래의 수학식 11과 같이, 최적화 비용함수와 그 해(Solution)를 각각 산출할 수 있다.

여기서,

는 부가 잡음

에 대한 공분산 행렬(Covariance Matrix)이 고,

는 파라미터 a_k의 사전(Priori) 확률을 이용하여 산출된 파라미터 a_k의 평균 벡터이고,

는 파라미터 a_k의 공분산 행렬이다.

보다 상세하게는, 최소자승오차 기법을 이용하여

,

,

를 산출하는 경우, 부호화 장치는 트레이닝 데이터 집합과 예측 기반 화소들 간의 유사도를 이용하여 가중치 행렬 w_k을 산출할 수 있다. 일례로, 가중치 행렬 w_k은 아래의 수학식 12에 의해 산출될 수 있다.

또한, 부가 잡음에 대한 공부산 행렬

은 아래의 수학식 13에 의해 산출될 수 있다.

또한, 파라미터 a_k의 평균 벡터

및 공분산 행렬

는 아래의 수학식 14에 의해 산출될 수 있다.

여기서, 예측 파라미터를 산출하기 위해 이용되는 표본으로는 이미 부호화된 블록들 중 현재 부호화 대상 블록과 가까운 블록들에 대한 파라미터들이 이용될 수 있다. 이외에, 예측 파라미터를 산출하기 위해 이용되는 표본으로는 트레이닝 데이터 집합에 대한 파라미터들이 이용될 수 있다.

이때, 파라미터 표본들이 P개 설정된 경우, 파라미터 a_k의 평균 벡터

및 공분산 행렬

는 위의 수학식 14에 의해 산출될 수 있다.

이어, 부호화 장치는, 산출된 예측 파라미터와 예측 기반 화소들을 이용하여 예측 대상 화소에 대한 파라메트릭 예측을 수행할 수 있다(S160).

이때, 예측 대상 화소의 화소값은 수학식 15와 같이, 예측 기반 화소들 간의 수학적 함수 관계에 따라 결정될 수 있다. 일례로, 부호화 장치는 아래의 수학식 15를 기초로 파라메트릭 예측을 수행하여 예측 대상 화소의 화소값을 결정할 수 있다.

그러면, 수학식 15에 의해 결정된 예측 대상 화소의 화소값은 아래의 수학식 16이 될 수 있다.

그리고, 부호화 장치는, 결정된 예측 대상 화소의 화소값과 실제 화소값 간의 오차에 대해서만 부호화를 수행할 수 있다. 이를 통해, 부호화 효율이 향상될 수 있다.

도 8은 화면 내 예측 복호화 방법을 설명하기 위해 제공되는 흐름도이다.

먼저, 복호화 장치는, 화면 내 예측 부호화된 영상을 수신할 수 있다. 여기서, 화면 내 예측 부호화된 영상은 복수의 블록들을 포함할 수 있다. 또한, 복수의 블록들은 각각 복수의 서브 블록들을 포함할 수 있다.

그러면, 복호화 장치는, 예측 방향에 기초하여 복호화 대상 블록에 포함된 적어도 하나의 화소를 예측 대상 화소로 결정할 수 있다(S810). 여기서, 복호화 대상 블록은 복수의 블록들 중 복호화가 수행되지 않은 어느 하나의 블록이 될 수 있다.

이어, 복호화 장치는, 복호화 대상 블록에 인접하면서 예측 방향 주변에 위치한 복호 화소들을 예측 기반 화소들로 결정할 수 있다(S820). 여기서, 복호 화소로는 화면 내 예측 부호화된 영상에 포함된 복수의 화소들 중 이미 복호화가 수행되어 복호된 화소들이 될 수 있다. 이때, 예측 기반 화소들을 결정하는 특징은 도 1의 S120단계에서 설명한 것과 동일하므로 자세한 설명은 생략하기로 한다.

그리고, 복호화 장치는, 결정된 트레이닝 데이터 집합들을 기초로 복호화 대 상 블록을 예측하기 위해 이용되는 예측 파라미터를 산출할 수 있다(S840). 이때, 복호화 장치는 예측 방향에 따른 예측 오차가 감소되도록 예측 파라미터를 산출할 수 있다. 여기서, 예측 파라미터를 산출하는 특징은 S150 단계에서 설명한 것과 동일하므로 자세한 설명은 생략하기로 한다.

이어, 복호화 장치는, 산출된 예측 파라미터와 예측 기반 화소들을 이용하여 예측 대상 화소에 대한 파라메트릭 예측을 수행할 수 있다(S850). 이때, 복호화 장치는, 예측 대상 화소에 대해 예측 방향으로 파라메트릭 예측을 수행할 수 있다. 이를 통해, 예측 대상 화소에 대한 화면 내 예측 복호화가 수행될 수 있다.

지금까지, 입력 영상이 복수의 매크로 블록들로 구성되고, 복수의 매크로 블록들에 대한 화면 내 예측을 수행하는 부호화 및 복호화 방법에 대해서 설명하였으나, 이는 실시예에 해당되며, 복수의 매크로 블록들은 복수의 서브 블록들을 포함할 수 있다. 이에 따라, 복수의 서브 블록들에 포함된 화소들을 대상으로, 예측 방향에 따라 파라메트릭 예측 부호화 및 복호화를 수행할 수 있다.

또한, 부호화 장치는, 입력 영상에 대해 변환 부호화를 수행할 수 있다. 즉, 부호화 장치는, 화면 내 예측을 통해 획득된 잔차 신호에 대해 하나 이상의 변환 커널을 블록 크기에 따라 선택적으로 적용할 수 있다. 그러면, 복호화 장치는, 화면 내 예측 부호화된 영상에 대해 변환 복호화를 수행할 수 있다.

또한, 부호화 장치는, 화면 내 예측 시 서브 블록들에 대한 화면 내 예측 부호화 결과를 비교할 수 있다. 그리고, 부호화 장치는, 서브 블록에 대한 최적 부호화 모드를 결정할 수 있다. 그러면, 복호화 장치는, 서브 블록 각각에 해당되는 최적 부호화 모드로 복호화를 수행할 수 있다. 이때, 복호화되는 영상은 화면 내 예측 부호화되어 수신된 영상으로, 복수의 블록들로 구성되며, 복수의 블록들은 복수의 서브 블록들을 포함할 수 있다.

또한, 이상에서는 설명의 편의를 위해 수학식을 예로 들어 설명하였으나, 이는 실시예에 해당되며, 본 부호화 및 복호화 장치가 수학식 1 내지 16로 제한 되어서는 안 된다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 화면 내 예측 부호화 방법을 설명하기 위해 제공되는 흐름도이다.

도 2 내지 도 5는 예측 기반 화소들을 결정하는 방법을 설명하기 위해 제공되는 도면이다.

도 6 및 도 9는 트레이닝 데이터 집합들을 결정하는 방법을 설명하기 위해 제공되는 도면이다.

도 7은 공통 템플릿을 설명하기 위해 제공되는 도면이다.

도 8은 화면 내 예측 복호화 방법을 설명하기 위해 제공되는 흐름도이다.

Claims (10)

1. 복수의 블록들로 이루어진 입력 영상을 대상으로, 예측 방향에 기초하여 부호화 대상 블록에 포함된 화소들 중 예측 방향 선 상에 위치하거나 상기 예측 방향 선에 인접하는 적어도 하나의 화소를 예측 대상 화소로 결정하는 단계;

   상기 입력 영상에 포함된 복원 화소들 중 상기 예측 방향 선 또는 상기 예측 대상 화소 중 적어도 하나에 인접한 복원 화소들을 예측 기반 화소들로 결정하는 단계;

   상기 결정된 적어도 하나의 예측 대상 화소 및 상기 예측 기반 화소들의 위치에 기초하여 트레이닝 데이터 집합들을 결정하는 단계;

   상기 결정된 트레이닝 데이터 집합들을 기초로 상기 예측 방향에 따른 예측 오차를 감소시키기 위해 이용되는 예측 파라미터를 산출하는 단계; 및

   상기 산출된 예측 파라미터 및 상기 결정된 예측 기반 화소들을 이용하여 상기 결정된 적어도 하나의 예측 대상 화소에 대해 상기 예측 방향으로 파라메트릭 예측을 수행하는 단계

   를 포함하는 화면 내 예측 부호화 방법.
2. 제1항에 있어서,

   상기 예측 기반 화소들로 결정하는 단계는,

   상기 예측 기반 화소들 간의 중간 위치에 해당하는 화소값을 보간하여 최종 예측 기반 화소들을 결정하는 단계

   를 포함하는 화면 내 예측 부호화 방법.
3. 제1항에 있어서,

   상기 예측 기반 화소들로 결정하는 단계는,

   상기 예측 기반 화소들의 평균, 표준 편차, 및 상기 부호화 대상 블록의 양자화 파라미터를 기초로 상한 기준값과 하한 기준값을 계산하는 단계; 및

   상기 결정된 예측 기반 화소들 중 화소값이 상기 계산된 상한 기준값과 하한 기준값 사이에 포함되는 화소들로 최종 예측 기반 화소들을 결정하는 단계

   를 포함하는 화면 내 예측 부호화 방법.
4. 제1항에 있어서,

   상기 예측 기반 화소들로 결정하는 단계는,

   상기 결정된 예측 기반 화소들로부터 유사 화소를 결정하는 단계;

   상기 결정된 유사 화소들 중 어느 하나를 대표 화소로 선택하는 단계;

   상기 결정된 유사 화소들 중 상기 대표 화소를 제외한 유사 화소들에 대한 가중치를 부가하는 단계; 및

   상기 예측 기반 화소들 중 상기 가중치가 부가된 유사 화소들, 및 상기 가중치를 이용하여 최종 예측 기반 화소들을 결정하는 단계

   를 포함하는 화면 내 예측 부호화 방법.
5. 제1항에 있어서,

   상기 트레이닝 데이터 집합들을 결정하는 단계는,

   상기 예측 기반 화소들과 거기가 가까운 복원 화소들을 상기 트레이닝 데이터 집합들로 결정하는 것을 특징으로 하는 화면 내 예측 부호화 방법.
6. 제1항에 있어서,

   상기 트레이닝 데이터 집합들을 결정하는 단계는,

   상기 예측 기반 화소들 및 상기 적어도 하나의 예측 대상 화소와 동일한 기하학적 구조를 갖는 템플릿을 생성하는 단계

   를 포함하고,

   상기 예측 기반 화소들과 상기 생성된 템플릿 간의 템플릿-정합 화소값 오차가 감소되도록 상기 트레이닝 데이터 집합을 결정하는 것을 특징으로 하는 화면 내 예측 부호화 방법.
7. 제1항에 있어서,

   상기 예측 파라미터를 산출하는 단계는,

   상기 결정된 트레이닝 데이터 집합들로부터 선형 예측 기법 또는 어핀 예측 기법을 이용하여 상기 예측 파라미터를 산출하는 것을 특징으로 하는 화면 내 예측 부호화 방법.
8. 제1항에 있어서,

   상기 예측 파라미터를 산출하는 단계는,

   상기 예측 기반 화소들 중 상기 트레이닝 데이터 집합들에 포함된 화소들과 대응되는 예측 기반 화소들 간의 차에 기초하여 상기 예측 파라미터를 산출하는 것을 특징으로 하는 화면 내 예측 부호화 방법.
9. 제1항에 있어서,

   상기 복수의 블록들은 각각 복수의 서브 블록들을 포함하고,

   상기 예측을 수행하는 단계는,

   상기 복수의 서브 블록들에 대해 화면 내 예측을 수행하는 것을 특징으로 하는 화면 내 예측 부호화 방법.
10. 화면 내 예측 부호화된 입력 영상을 수신하는 단계;

    상기 수신된 입력 영상을 구성하는 복수의 블록들을 대상으로, 예측 방향에 기초하여 복호화 대상 블록에 포함된 화소들 중 예측 방향 선 상에 위치하거나 상기 예측 방향 선에 인접하는 적어도 하나의 화소를 예측 대상 화소로 결정하는 단계;

    상기 입력 영상에 포함된 복호된 화소들 중 상기 예측 방향 선 또는 상기 예측 대상 화소 중 적어도 하나에 인접한 복호 화소들을 예측 기반 화소들로 결정하는 단계;

    상기 결정된 적어도 하나의 예측 대상 화소 및 상기 예측 기반 화소들의 위치에 기초하여 트레이닝 데이터 집합들을 결정하는 단계;

    상기 결정된 트레이닝 데이터 집합들을 기초로 상기 예측 방향에 따른 예측 오차를 감소시키기 위해 이용되는 예측 파라미터를 산출하는 단계; 및

    상기 산출된 예측 파라미터 및 상기 결정된 예측 기반 화소들을 이용하여 상기 결정된 적어도 하나의 예측 대상 화소에 대해 상기 예측 방향으로 파라메트릭 화면 내 복호화를 수행하는 단계

    를 포함하는 화면 내 복호화 방법.

Images