KR101433170B1 - 인접 블록의 공간 예측 방향성을 이용하여 화면 내 예측모드를 추정하는 인코딩 및 디코딩 방법, 그 장치 - Google Patents

Abstract

본 발명은 소정 크기의 블록에 대한 화면 내 예측 모드의 정보를 효율적으로 압축하기 위하여 인접 블록의 공간 예측 방향성을 이용하여 화면 내 예측 모드를 추정하여 압축률을 높이는 동영상 인코딩 및 디코딩 방법 및 장치에 관한 것으로, 본 발명에 따른 화면 내 예측 모드를 인접 블록의 예측 모드의 방향성을 이용하여 현재 블록의 예측 모드를 보다 정확하게 추정하여 엔트로피 부호화의 효율을 높임으로써 종래의 부호화 방법보다 높은 압축률을 얻을 수 있는 특징을 지니는 압축 부호화 방식이다.

Description

인접 블록의 공간 예측 방향성을 이용하여 화면 내 예측 모드를 추정하는 인코딩 및 디코딩 방법, 그 장치 {Method of encoding and decoding using the directional information of the prediction mode of the adjacent blocks for estimating the intra prediction mode, and apparatus thereof}

본 발명은 동영상 데이터의 인코딩 및 디코딩에 관한 것으로, 보다 상세하게는 소정 크기의 블록에 대한 화면 내 예측 모드의 정보를 효율적으로 압축하기 위하여 인접 블록의 공간 예측 방향성을 이용하여 화면 내 예측 모드를 추정하여 압축률을 높이는 동영상 인코딩 및 디코딩 방법, 그 장치에 관한 것이다.

동영상 데이터를 인코딩하고 디코딩하기 위해 마련된 H.264/AVC 표준에 따르면, 하나의 프레임에 포함된 복수개의 매크로 블록, 또는 매크로 블록을 이분할하거나 사분할하여 얻어진 서브 블록 단위로 인코딩 및 디코딩을 수행한다. 인코딩 및 디코딩은 화면 간 예측 (Inter prediction)과 화면 내 예측 (Intra prediction)을 기반으로 이루어진다. 화면 간 예측은 현재 프레임의 매크로 블록의 움직임을 예측하는데 있어서 인접한 프레임의 매크로 블록을 참조하여 예측을 수행하는 것을 말하고, 화면 내 예측은 인코딩 하고자 하는 현재 프레임의 매크로 블록을 그 프레임 내에서 인접한 매크로 블록을 이용하여 예측을 수행하는 것을 말한다. 이 방법은 어느 화소를 예측하는데 있어 그와 인접한 화소가 유사한 값을 가질 가능성이 많다는 특징을 이용한 것이다.

H.264/AVC 표준은 화면 내 예측을 위해 9가지 방향성을 고려한 예측을 이용하여 현재 블록의 화소값을 예측한다. 도 1은 H.264/AVC 표준에서 4x4 블록 및 8x8 블록의 인트라 예측에 사용되는 9가지 예측모드이다. 예측방향에 따라 Vertical(모드 0), Horizontal(모드 1), DC(모드 2), Diagonal down left(모드 3), Diagonal down right(모드 4), Vertical right(모드 5), Horizontal down(모드 6), Vertical left(모드 7), Horizontal up(모드 8)이 존재한다. 화살표는 예측방향을 나타낸다.

이러한 많은 예측 모드의 사용은 모드 정보를 표현하기 위한 비트의 증가를 초래하였다. 따라서 모드 비트를 효과적으로 압축하기 위하여, 현재 블록에서 가장 가능성이 높은 예측 모드 (Most Probable Mode; MPM)를 추정한다.

도 2는 H.264/AVC에서 화면 내 예측 모드의 추정을 위해 사용되는 인접 블록을 나타낸 도면이다. 도 2를 참조하면, H.264/AVC는 예측 모드의 추정을 위해 현재 블록(230)과 제일 인접해있는 상측 블록 B(210), 좌측 블록 A(220)의 예측 모드와 현재 블록(230)의 예측 모드와의 상관성을 이용하여, 상측 블록 B(210)의 예측 모드 혹은 좌측 블록 A(220)의 예측 모드를 현재 블록의 MPM으로 선택한다. 도 2에서 보인 각 예측 모드에 대한 모드 넘버는 9개의 예측 모드의 통계적 발생 확률을 이 용하여 얻어진 것이다. 즉, 모드 0은 가장 발생 빈도가 높은 예측 방향이고, 모드 8은 가장 발생 빈도가 낮은 예측 방향이다. 따라서, H.264/AVC에서는 이러한 통계적 발생 확률을 이용하여 상측 블록 B(210)과 좌측 블록 A(220) 중, 모드 넘버가 작은 예측 모드를 MPM으로 선택한다. 만약에 상측 블록 B(210)과 좌측 블록 A(220) 중 하나라도 프레임 외부에 있을 경우에는, DC 모드 (모드 2)가 MPM으로 선택된다.

도 3은 H.264/AVC의 엔트로피 부호기에서 화면 내 예측 모드 정보를 부호화하는 방법을 나타낸 순서도이다.

도 3을 참조하면, 엔트로피 부호기에서, 우선 단계 310에서 MPM과 Lagrangian cost function에 의해 결정된 최적의 예측 모드가 동일한지 혹은 동일하지 않은지를 판단한다. 만약 동일하다면, 단계 320에서 '1'의 값을 갖는 1 bit를 복호기에 보낸다. 동일하지 않다면, 단계 330에서 '0'의 값을 갖는 1 bit와 추가적으로 단계 340에서 최적의 모드가 나머지 8개의 모드 중 어느 모드인지를 나타내는 3 bits의 고정 길이 부호어를 복호기에 보낸다. 따라서 MPM과 현재 블록의 최적의 모드가 동일하다면 단 1 bit만 복호기에 보내면 되지만, 동일하지 않다면 4 bits를 복호기에 보내야한다. 이와 같이 화면 내 예측 모드가 좀 더 정확하게 추정된다면, 예측 모드를 표현하기 위한 정보를 줄일 수 있기 때문에 압축률을 높일 수 있다.

따라서, 본 발명이 이루고자 하는 기술적 과제는 상기와 같이 화면 내 예측 모드를 보다 정확하게 예측하기 위하여 안출된 것으로, 소정 크기의 블록에 대한 화면 내 예측 시, 인접 블록의 공간 예측 방향성을 이용하여 화면 내 예측 모드를 추정하여 압축률을 높이는 동영상 인코딩 및 디코딩 방법, 그 장치를 제공하는 것에 목적이 있다.

상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 화면 내 예측 모드의 추정 방법은, 이미 부호화된 인접한 블록의 예측 모드 정보를 이용하여 현재 블록의 예측 모드를 추정하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 화면 내 예측 모드의 추정 방법의 장치는, 이미 부호화된 인접한 블록의 예측 모드 정보를 이용하여 현재 블록의 예측 모드를 추정하는 예측 모드 추정부를 포함하는 것을 특징으로 한다.

전술한 바와 같은 본 발명에 따르면, 인접 블록들의 예측 모드의 방향성을 이용하여 현재 블록의 화면 내 예측 모드의 방향성을 보다 정확하게 추정하여 압축률을 향상시킬 수 있다. 또한, 본 발명에 따르면 처리 속도면에서 종래의 기술과 비교하여 큰 변화 없이 압축률을 향상시킬 수 있다.

이하 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

본 발명에 따른 화면 내 예측 모드 추정을 이용한 장치는 화면 내 예측 모드 추정부를 포함한다.

상기 화면 내 예측 추정부는 정확한 예측 모드의 추정을 통해 부호화 효율을 높이기 위하여 인접 블록 예측 모드의 방향성을 이용한다.

전형적인 동영상에서 16x16 크기의 MB (Macro Block)와 같이 상대적으로 큰 블록은 많은 수의 edge를 포함하고, 4x4 크기의 블록과 같이 상대적으로 작은 블록은 적은 수의 edge를 포함한다. 따라서 4x4 블록을 사용할 때, 인접한 블록의 예측 모드의 방향과 현재 블록의 예측 모드의 방향은 일반적으로 동일한 edge에 위치하기 때문에 인접한 예측 모드의 방향과 현재 블록(230)의 예측 모드의 방향은 연속적이다. 따라서 만약에 상측 블록 B(210)의 예측 모드의 방향이 수직 방향 (모드 0) 이면, 현재 블록의 예측 모드도 수직 방향이 선택되는 경향이 높다. 반면에 좌측 블록 A(220)의 예측 모드의 방향이 수평 방향 (모드 1) 이면, 현재 블록의 예측 모드도 수평 방향이 선택되는 경향이 높다. 이러한 이유로, 발명한 새로운 화면 내 예측 모드 추정 방법은 4x4 화면 내 예측 부호화 시, 인접 블록의 예측 방향의 방향성을 이용하여 화면 내 예측 모드를 추정하였다.

도 4는 본 발명에서 이용하는 4개의 인접 블록을 나타낸 도면이다.

발명한 새로운 화면 내 예측 모드 추정 방법은 현재 블록(450)을 기준으로 이미 부호화된 좌측 블록 A(410), 상측 블록 B(420), 우상측 블록 C(430), 좌상측 블록 D(440)들의 화면 내 예측 모드 정보를 이용한다.

도 5는 본 발명에서 이용하는 화면 내 예측 모드의 방향성을 토대로 예측 모드를 그룹화한 예시를 나타낸 도면이다. 도 5에서 보인 예와 같이, 예측 모드의 방향성이 수직 방향(모드 0)이거나 수직 방향과 유사한 예측 모드(모드 5, 모드 7)를 G_V(520)라는 그룹으로 묶었다. 또한 예측 모드의 방향성이 수평 방향(모드 1)이거나 수평 방향과 유사한 예측 모드(모드 6, 모드 8)를 G_H(510)라는 그룹으로 묶었다. 또한 좌측 대각 방향(모드 3)이거나 좌측 대각 방향과 유사한 예측 모드(모드 7, 모드 8)를 G_DL(530)이라는 그룹으로 묶었다. 또한 우측 대각 방향(모드 4)이거나 우측 대각 방향과 유사한 예측 모드(모드 5, 모드 6)를 G_DR(540)이라는 그룹으로 묶었다.

발명한 새로운 화면 내 예측 모드 추정 방법은 다음의 예와 같이 인접 블록의 예측 모드의 방향성을 판단하는 단계들을 진행하여 예측 모드를 추정한다.

단계 1)

만약에 상측 블록 B(420)의 예측 모드가 그룹 G_V(520)에 속하고 좌측 블록 A(410)의 예측 모드가 G_H(510)에 속하면, 기존의 화면 내 예측 모드 추정 방법을 사용하였다. (이 경우에는 edge가 연속적으로 이어지지 않다고 판단하였기 때문이다.) 그렇지 않으면, 단계 2로 이동한다.

단계 2)

만약에 상측 블록 B(420)의 예측 모드가 그룹 G_V(520)에 속하면, 현재 블록(450)의 예측 모드는 상측 블록 B(420)의 예측 모드를 이용하였다. (이 경우는 edge가 상단 블록에서 현재 블록으로 연속적으로 이어질 것이라고 판단하였기 때문 이다.) 그렇지 않으면, 단계３으로 이동한다.

단계 3)

만약에 좌측 블록 A(410)의 예측 모드가 그룹 G_H(510)에 속하면, 현재 블록(450)의 예측 모드는 좌측 블록 A(410)의 예측 모드를 이용하였다. (이 경우는 edge가 좌측 블록에서 현재 블록으로 연속적으로 이어질 것이라고 판단하였기 때문이다.) 그렇지 않으면, 단계 4로 이동한다.

단계 4)

만약에 우상측 블록 C(430)의 예측 모드가 그룹 G_DL(530)에 속하고 좌상측 블록 D(440)의 예측 모드가 G_DR(540)에 속하면, 기존의 화면 내 예측 모드 추정 방법을 사용하였다. (이 경우에는 edge가 연속적으로 이어지지 않다고 판단하였기 때문이다.) 그렇지 않으면, 단계 5로 이동한다.

단계 5)

만약에 우상측 블록 C(430)의 예측 모드가 그룹 G_DL(530)에 속하면, 현재 블록(450)의 예측 모드는 우상측 블록 C(430)의 예측 모드를 사용하였다. (이 경우는 edge가 우측상단 블록에서 현재 블록으로 연속적으로 이어질 것이라고 판단하였기 때문이다.) 그렇지 않으면, 단계 6으로 이동한다.

단계 6)

만약에 좌상측 블록 D(440)의 예측 모드가 그룹 G_DR(540)에 속하면, 현재 블록(450)의 예측 모드는 좌상측 블록 D(440)의 예측 모드를 사용하였다. (이 경우는 edge가 좌측상단 블록에서 현재 블록으로 연속적으로 이어질 것이라고 판단하였 기 때문이다.) 그렇지 않으면, 단계 7로 이동한다.

단계 7)

만약에 좌측 블록 A(410)의 예측 모드가 그룹 G_V(520)에 속하고, 상측 블록 B(420)의 예측 모드가 그룹 G_H(510)에 속한다면, 현재 블록(450)의 예측 모드는 DC 모드를 사용하였다. (이 경우는 현재 블록이 어떠한 object 내부에 존재한다고 판단하였기 때문이다.) 그렇지 않으면, 단계 8로 이동한다.

단계 8)

단계 1~7까지 모두 해당되지 않을 경우에는, 기존의 화면 내 예측 모드 추정방법을 사용하였다.

도 6, 7, 8, 9는 MPEG의 권장 실험 영상에 대하여 종래의 기술(H.264/AVC)에 따른 부호화 방법 및 본 발명에 따른 부호화 방법으로 동영상을 압축하였을 때의 비트율 대비 화질(PSNR)을 비교한 그림이다. 각 영상은 모든 프레임을 화면 내 부호화 하였으며, 양자화 매개 변수는 30, 34, 38을 적용하여 실험하였다. 실험에 사용된 영상과 자세한 실험 조건은 표 1과 같다. 도 6,7,8,9를 참조하면, 발명한 방법이 H.264/AVC와 비교하여 특히 저비트율에서 성능 향상이 높은 것을 확인 할 수 있다. H.264/AVC와 비교하여 평균적으로 저비트율에서 약 0.2dB, 중간 비트율에서 약 0.1dB의 화질이 향상되는 것을 확인할 수 있다.

영상	전체 프레임 수	실험 조건
Foreman (QCIF)	150장 (15Hz)	Main profile, CABAC 사용, RD 최적화 사용, 16x16, 4x4 화면 내 예측 사용
Carphone(QCIF)	150장 (15Hz)
Foreman (CIF)	150장 (15Hz)
Paris (CIF)	150장 (15Hz)

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 H.264/AVC에서의 4x4 블록 및 8x8 블록에 대한 화면 내 예측 모드를 도시한 도면이다.

도 2는 H.264/AVC에서 화면 내 예측 모드의 추정을 위해 사용되는 인접 블록을 나타낸 도면이다.

도 3은 H.264/AVC의 엔트로피 부호기에서 화면 내 예측 모드 정보를 부호화하는 방법을 나타낸 순서도이다.

도 4는 본 발명에서 이용하는 4개의 인접 블록을 나타낸 도면이다.

도 5는 본 발명에서 이용하는 화면 내 예측 모드의 방향성을 토대로 예측 모드를 그룹화한 예시를 나타낸 도면이다.

도 6, 7, 8, 9는 종래의 기술(H.264/AVC)에 따른 부호화 방법 및 본 발명에 따른 부호화 방법으로 동영상을 압축하였을 때의 비트율 대비 화질(PSNR)을 비교한 그림이다.

Claims (12)

1. 현재 블록의 인트라 예측을 위하여 사용되는 주변 블록의 인트라 예측 모드의 방향성을 판단하는 단계;

   상기 주변 블록의 인트라 예측 모드의 방향성을 이용하여 상기 현재 블록의 인트라 예측 모드를 결정하는 단계; 및

   상기 현재 블록의 인트라 예측 모드를 이용하여 상기 현재 블록의 인트라 예측을 수행하는 단계를 포함하며,

   상기 주변 블록은 상기 현재 블록을 기준으로 좌측에 인접한 좌측 블록, 상측에 인접한 상측 블록, 우상측에 인접한 우상측 블록, 및 좌상측에 인접한 좌상측 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 인트라 예측 방법.
2. 제1항에 있어서,

   상기 현재 블록의 인트라 예측 모드를 결정하는 단계는,

   상기 주변 블록의 인트라 예측 모드의 방향성이 수직 방향 또는 수직 방향과 유사한 방향인지, 수평 방향 또는 수평 방향과 유사한 방향인지, 좌측 대각 방향 또는 좌측 대각 방향과 유사한 방향인지, 우측 대각 방향 또는 우측 대각 방향과 유사한 방향인지에 따라 상기 현재 블록의 인트라 예측 모드를 상기 주변 블록의 인트라 예측 모드 중 하나로 결정하는 것을 특징으로 하는 인트라 예측 방법.
3. 제2항에 있어서,

   상기 현재 블록의 인트라 예측 모드를 결정하는 단계는,

   상기 상측 블록의 인트라 예측 모드의 방향성이 수직 방향 또는 수직 방향과 유사한 방향이고, 상기 좌측 블록의 인트라 예측 모드의 방향성이 수평 방향 또는 수평 방향과 유사한 방향인 경우,

   MPM(Most Probable Mode)을 이용하여 상기 현재 블록의 인트라 예측 모드를 결정하는 것을 특징으로 하는 인트라 예측 방법.
4. 제2항에 있어서,

   상기 현재 블록의 인트라 예측 모드를 결정하는 단계는,

   상기 상측 블록의 인트라 예측 모드의 방향성이 수직 방향 또는 수직 방향과 유사한 방향인 경우,

   상기 현재 블록의 인트라 예측 모드를 상기 상측 블록의 인트라 예측 모드로 결정하는 것을 특징으로 하는 인트라 예측 방법.
5. 제2항에 있어서,

   상기 현재 블록의 인트라 예측 모드를 결정하는 단계는,

   상기 좌측 블록의 인트라 예측 모드의 방향성이 수평 방향 또는 수평 방향과 유사한 방향인 경우,

   상기 현재 블록의 인트라 예측 모드를 상기 좌측 블록의 인트라 예측 모드로 결정하는 것을 특징으로 하는 인트라 예측 방법.
6. 제2항에 있어서,

   상기 현재 블록의 인트라 예측 모드를 결정하는 단계는,

   상기 우상측 블록의 인트라 예측 모드의 방향성이 좌측 대각 방향 또는 좌측 대각 방향과 유사한 방향이고, 상기 좌상측 블록의 인트라 예측 모드의 방향성이 우측 대각 방향 또는 우측 대각 방향과 유사한 방향인 경우,

   MPM(Most Probable Mode)을 이용하여 상기 현재 블록의 인트라 예측 모드를 결정하는 것을 특징으로 하는 인트라 예측 방법.
7. 제2항에 있어서,

   상기 현재 블록의 인트라 예측 모드를 결정하는 단계는,

   상기 우상측 블록의 인트라 예측 모드의 방향성이 좌측 대각 방향 또는 좌측 대각 방향과 유사한 방향인 경우,

   상기 현재 블록의 인트라 예측 모드를 상기 우상측 블록의 인트라 예측 모드로 결정하는 것을 특징으로 하는 인트라 예측 방법.
8. 제2항에 있어서,

   상기 현재 블록의 인트라 예측 모드를 결정하는 단계는,

   상기 좌상측 블록의 인트라 예측 모드의 방향성이 우측 대각 방향 또는 우측 대각 방향과 유사한 방향인 경우,

   상기 현재 블록의 인트라 예측 모드를 상기 좌상측 블록의 인트라 예측 모드로 결정하는 것을 특징으로 하는 인트라 예측 방법.
9. 제2항에 있어서,

   상기 현재 블록의 인트라 예측 모드를 결정하는 단계는,

   상기 좌측 블록의 인트라 예측 모드의 방향성이 수직 방향 또는 수직 방향과 유사한 방향이고, 상기 상측 블록의 인트라 예측 모드의 방향성이 수평 방향 또는 수평 방향과 유사한 방향인 경우,

   상기 현재 블록의 인트라 예측 모드를 DC 모드로 결정하는 것을 특징으로 하는 인트라 예측 방법.
10. 제1항에 있어서,

    상기 주변 블록의 인트라 예측 모드의 방향성을 판단하는 단계는,

    인트라 예측 모드의 방향성을 기반으로 인트라 예측 모드를 소정의 그룹으로 형성하는 단계; 및

    상기 주변 블록의 인트라 예측 모드의 방향성이 상기 소정의 그룹 중 어느 그룹에 속하는지 결정하는 단계를 포함하는 것을 특징으로 하는 인트라 예측 방법.
11. 제10항에 있어서,

    상기 소정의 그룹은,

    인트라 예측 모드의 방향성이 수직 방향 또는 수직 방향과 유사한 방향을 가지는 인트라 예측 모드를 포함하는 제1 그룹,

    인트라 예측 모드의 방향성이 수평 방향 또는 수평 방향과 유사한 방향을 가지는 인트라 예측 모드를 포함하는 제2 그룹,

    인트라 예측 모드의 방향성이 좌측 대각 방향 또는 좌측 대각 방향과 유사한 방향을 가지는 인트라 예측 모드를 포함하는 제3 그룹,

    인트라 예측 모드의 방향성이 우측 대각 방향 또는 우측 대각 방향과 유사한 방향을 가지는 인트라 예측 모드를 포함하는 제4 그룹, 및

    인트라 예측 모드의 방향이 비방향성을 가지는 인트라 예측 모드를 포함하는 제5 그룹 중 적어도 하나를 포함하며,

    상기 비방향성을 가지는 인트라 예측 모드는 DC 모드인 것을 특징으로 하는 인트라 예측 방법.
12. 현재 블록의 인트라 예측을 위하여 사용되는 주변 블록의 인트라 예측 모드의 방향성을 판단하고, 상기 주변 블록의 인트라 예측 모드의 방향성을 이용하여 상기 현재 블록의 인트라 예측 모드를 결정하는 화면 내 예측 모드 추정부를 포함하며,

    상기 주변 블록은 상기 현재 블록을 기준으로 좌측에 인접한 좌측 블록, 상측에 인접한 상측 블록, 우상측에 인접한 우상측 블록, 및 좌상측에 인접한 좌상측 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 인트라 예측 장치.

Images