KR20140126785A - 인핸스먼트 레이어에서의 인트라 예측 방법 및 모드 부호화 방법 - Google Patents

Abstract

인핸스먼트 레이어에서의 인트라 예측 방법 및 모드 부호화 방법이 개시된다.

Description

인핸스먼트 레이어에서의 인트라 예측 방법 및 모드 부호화 방법{.}

본 발명은 영상 처리에 관한 것으로, 보다 상세하게는 멀티 레이어 구조를 지원하는 SHVC(Scalable High Efficiency Video Codec)에서 영상 처리에 관한 것이다.

최근 HD(High Definition) 해상도를 지원하는 방송 시스템이 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자가 고해상도 및 고화질 영상에 익숙해지고 있으며, 이에 따라 많은 기관들이 차세대 영상 기기에 대한 개발에 박차를 가하고 있다.

고해상도 및 고화질 영상일수록 해당 영상에 관한 정보량이 증가한다. 영상에 관한 정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있으며, 이에 따라 동일한 컨텐츠(content)를 다양한 품질로 이용할 수 있게 되었다. 즉, 영상 기기가 지원하는 영상의 품질 및 (영상 기기가) 이용하는 네트워크가 다양해짐으로써, 어떤 환경에서는 일반 품질의 영상이 이용되지만, 다른 환경에서는 높은 품질의 영상이 이용될 수 있다.

따라서, 다양한 환경에서 사용자가 요구하는 영상의 품질을 제공하기 위해, 영상의 품질에 스케일러빌러티(scalability)를 제공하는 것이 필요하다.

본 발명은 스케일러블 비디오 인코딩/디코딩에서 압축 효율을 높이는 방법 및 장치를 제공한다.

본 발명의 일 실시예에 따르면, 인핸스먼트 레이어에서의 인트라 예측 방법 및 모드 부호화 방법이 제공된다.

인핸스먼트 레이어에서의 인트라 예측 방법 및 모드 부호화 방법을 사용할 수 있다.

도 1은 예측 블록과 주변 블록의 일예를 나타내는 도면이다.
도 2는 인핸스먼트 레이어의 인트라 예측 모드의 일예를 나타내는 도면이다.
도 3은 인핸스먼트 레이어에서의 인트라 예측 모드의 일예를 나타내는 도면이다.

멀티 레이어 구조를 지원하는 SHVC(Scalable High Efficiency Video Codec)에서 현재 인핸스먼트 레이어(enhancement layer(EL)의 인트라 예측 신호 성능을 향상 시키기 위해서 베이스 레이어가 인트라 모드이면 베이스 레이어의 인트라 모드를 사용하여 부호화 효율을 높일 수 있다.

싱글 레이어 구조인 HEVC(High Efficiency Video Codec)에서는 3개의 모스트 프로버블(Most Probable Mode(MPM))를 사용하여 부호화 한다. 현재 예측 블록의 인트라 모드가 위 3개의 MPM 모드 중 하나 이면, 현재 블록의 인트라 모드와 같은 값을 갖는 MPM 인덱스(MPM index)를 부호화 하고, 현재 예측 블록의 인트라 모드가 위 3개의 MPM 모드 가 아니면, 인트라 모드를 5 비트(5 bit)의 고정 길이 코드워드로 부호화 한다.

HEVC에서 MPM 후보(MPM candidate) 3개의 후보는 다음과 같이 유도 한다.

1. 3개의 MPM 후보 중에서 좌측 예측 블록과 위쪽 예측블록이 인트라 모드이고 사용 가능하면 첫 번째 MPM 후보 (candModeList[0])는 현재 예측 블록의 좌측 예측 블록(도 1에서 L)의 예측 모드로 설정하고, 두 번째 MPM 후보 (candModeList[1])는 현재 예측 블록의 위쪽 예측 블록(도 1에서 T)의 예측 모드로 설정한다.

2. 첫 번째 MPM 후보와 두 번째 MPM 후보의 값이 서로 다를 때는 세 번째 MPM 후보(candModeList[2])의 값을 다음 중에서 하나로 설정한다.

2.1. 첫 번째 MPM 후보 또는 두 번째 MPM 후보가 플래너 모드 (INTRA_PLANAR)가 아니면 세 번째 MPM 후보를 플래너 모드 (INTRA_PLANAR) 설정 한다.

2.2. 첫 번째 MPM 후보 또는 두 번째 MPM 후보가 플래너 모드 또는 디씨 모드(INTRA_DC)가 아니면, 세 번째 MPM 후보를 INTRA_DC로 설정한다.

2.3. 그 외의 경우에는 세 번째 MPM후보로 수직 예측 모드 (INTRA_ANGULAR26(VER))로 설정한다.

3. 첫 번째 MPM 후보와 두 번째 MPM 후보의 값이 같을 때는, 다음과 같이 MPM 후보를 설정한다.

3.1. 첫 번째 MPM 후보가 INTRA_PLANAR 이거나 INTRA_DC인 경우에는 첫 번째 MPM 후보로 INTRA_PLANAR, 두 번째 MPM 후보로 INTRA_DC, 세 번째 MPM 후보로 INTRA_ANGULAR26(VER)로 설정한다. 그 식은 다음과 같이 표현 할 수 있다.

candModeList[　0　] = INTRA_PLANAR

candModeList[　1　] = INTRA_DC

candModeList[　2　] = INTRA_ANGULAR26

3.2. 첫 번째 MPM 후보가 INTRA_PLANAR 이거나 INTRA_DC가 아닌 경우에는 두 번째 MPM후보와 세 번째 MPM 후보로 첫 번째 MPM 후보와 가장 가까운 인트라 모드로 설정한다. 유도하는 식은 다음과 같이 표현 할 수 있다.

candModeList[　0　] = candIntraPredModeA(왼쪽 예측 블록 L의 예측 모드)

candModeList[　1　] = 2　+　(　(　candIntraPredModeA　+　29　)　%　32　)

candModeList[　2　] = 2　+　(　(　candIntraPredModeA　-　2　+　1　)　%　32　)

멀티레이어 구조인 SHVC에서 인트라 모드를 부호화 할 때 베이스 레이어의 인트라 모드를 활용하여 MPM 후보를 결정할 수 있다.

1. HEVC 인트라 예측 모드를 사용하는 경우

멀티레이어 구조인 SHVC에서는 베이스 레이어가 인터 모드이면 HEVC와 같은 인트라 예측 방법 및 부호화 방법을 사용하고, 베이스 레이어가 인트라 모드이면 INTRA_ANGULAR_34 모드를 사용하지 않는다.

1.1. MPM candidate 개수가 3인 경우

베이스 레이어가 인트라 모드이고, 인핸스먼트 레이어의 인트라 모드가 MPM candidate가 아니면, 최대 33개 중에 하나를 부호화하여야 하는데, 이 경우에 fixed bit으로 부호화 하면 6비트를 사용하여야 한다. 이를 줄이기 위해서는 확률적으로 발생 빈도가 높지 않는 INTRA_ANGULAR_33 모드를 인핸스먼트 레이어에서 사용하지 않고, 5 비트로 부호화 할 수 있다.

SHVC에서도 HEVC와 마찬가지로 3개의 모스트 프로버블(Most Probable Mode(MPM))를 사용하여 부호화 한다. 현재 예측 블록의 인트라 모드가 위 3개의 MPM 모드 중 하나 이면, 현재 블록의 인트라 모드와 같은 값을 갖는 MPM 인덱스(MPM index)를 부호화 하고, 현재 예측 블록의 인트라 모드가 위 3개의 MPM 모드 중 하나이면, 인트라 모드를 을 5 비트(5 bit)의 고정 길이 코드워드로 부호화 한다. 베이스 레이어가 인트라 모드가 아니면, HEVC의 MPM 후보 유도 방법과 동일하다. 베이스 레이어가 인트라 모드이면 다음과 같이 MPM 후보를 결정한다.

1. 3개의 MPM 후보 중에서 좌측 예측 블록과 위쪽 예측블록이 인트라 모드이고 사용 가능하면 첫 번째 MPM 후보 (candModeList[0])는 베이스 레이어의 인트라 모드(iColBaseIntra)로 설정하고, 두 번째 MPM후보는 현재 예측 블록의 좌측 예측 블록(그림 1에서 L)의 예측 모드로 설정하고, 세 번째 MPM 후보 (candModeList[1])는 현재 예측 블록의 위쪽 예측 블록(그림 1에서 T)의 예측 모드로 설정한다.

2. 첫 번째 MPM 후보와 두 번째 MPM 후보의 값이 같을 때는, 다음과 같이 MPM 후보를 설정한다.

2.1. 첫 번째 MPM 후보가 INTRA_PLANAR이거나 INTRA_DC인 경우에는 첫 번째 MPM 후보로 INTRA_PLANAR, 두 번째 MPM 후보로 INTRA_DC, 세 번째 MPM 후보로 INTRA_ANGULAR26(VER)로 설정한다. 그 식은 다음과 같이 표현 할 수 있다.

candModeList[　0　] = INTRA_PLANAR

candModeList[　1　] = INTRA_DC

candModeList[　2　] =INTRA_ANGULAR26 (VER)

2.2. 첫 번째 MPM 후보가 INTRA_PLANAR 가 아니고, INTRA_DC 도 아닌 경우에는 두 번째 MPM후보로 위쪽 예측 블록 T의 예측 모드, 세 번째 MPM 후보로 수직 예측 모드 INTRA_ANGULAR26(VER)로 설정한다. 그 식은 다음과 같이 표현 할 수 있다.

candModeList[　0　] = candIntraPredModeA(왼쪽 예측 블록 L의 예측 모드)

candModeList[　1　] = candIntraPredModeB(위쪽 예측 블록 T의 예측 모드)

candModeList[　2　] = INTRA_ANGULAR26 (VER)

1.2. MPM candidate 개수가 4인 경우

SHVC에서는 HEVC와 다르게 4개의 MPM 후보를 설정할 수 있다. 이 경우에 현재 예측 블록의 인트라 모드가 위 4개의 MPM 모드 중 하나 이면, 현재 블록의 인트라 모드와 같은 값을 갖는 MPM 인덱스(MPM index)를 부호화 하고, 현재 예측 블록의 인트라 모드가 위 4개의 MPM 모드와 다르면, 인트라 모드를 5 비트(5 bit)의 고정 길이 코드워드로 부호화 한다.

2. HEVC 보다 간단한 인트라 예측 모드를 사용하는 경우

인핸스먼트 레이어에서는 베이스 레이어의 정보를 이용하고 있기 때문에 HEVC와 같이 35개의 인트라 예측 모드가 다 필요하지 않고 발생 빈도가 높은 부호화 방법만 사용할 수 있다.

2.1. DC / Planar / Horizontal / Vertical mode 만 사용

인핸스먼트 레이어에서는 HEVC에서 사용하는 모든 모드를 사용하지 않고 발생 빈도가 높은 INTRA_DC, INTRA_PLANAR, INTRA_ANGULAR26(VER), INTRA_ANGULAR10(HOR) 모드만 사용할 수 있다.

이 경우에 기존 MPM 후보를 부호화 하는 방법으로 부호화 할 수 있다.

2.1.1. MPM candidate 개수가 2개인 경우

인트라 후보의 개수가 많지 않기 때문에 MPM 후보를 2개로 설정하고 다음과 같이 MPM 후보를 결정한다.

1. 좌측 예측 블록과 위쪽 예측블록이 인트라 모드이고 사용 가능하면 첫 번째 MPM 후보 (candModeList[0])는 베이스 레이어의 인트라 모드(iColBaseIntra)로 설정하고, 두 번째 MPM후보는 현재 예측 블록의 좌측 예측 블록(그림 1에서 L)의 예측 모드로 한다.

2. 첫 번째 MPM 후보와 두 번째 MPM 후보의 값이 같을 때는, 다음과 같이 MPM 후보를 설정한다.

2.1. 첫 번째 MPM 후보가 INTRA_PLANAR이거나 INTRA_DC인 경우에는 첫 번째 MPM 후보로 INTRA_PLANAR, 두 번째 MPM 후보로 INTRA_DC로 설정한다. 그 식은 다음과 같이 표현 할 수 있다.

candModeList[　0　] = INTRA_PLANAR

candModeList[　1　] = INTRA_DC

2.2. 첫 번째 MPM 후보가 INTRA_PLANAR 가 아니고, INTRA_DC 도 아닌 경우에는 두 번째 MPM후보로 위쪽 예측 블록 T의 예측 모드, 세 번째 MPM 후보로 수직 예측 모드 INTRA_ANGULAR26(VER)로 설정한다. 그 식은 다음과 같이 표현 할 수 있다.

candModeList[　0　] = candIntraPredModeA(왼쪽 예측 블록 L의 예측 모드)

candModeList[　1　] = candIntraPredModeB(위쪽 예측 블록 T의 예측 모드)

현재 예측 모드가 MPM 후보 중에 하나가 아니면 고정 길이 부호화 방법을 사용해서 2 비트로 현재의 모드를 부호화 할 수 있다. 또는 유너리 바이라이제이션(unary binarization)을 이용해서 부호화 할 수 있다.

2.1.2. MPM candidate 개수가 3인 경우

MPM 후보 개수를 HEVC와 동일하게 3개로 설정하고 다음과 같이 MPM 후보를 결정한다.

1. 좌측 예측 블록과 위쪽 예측블록이 인트라 모드이고 사용 가능하면 첫 번째 MPM 후보 (candModeList[0])는 베이스 레이어의 인트라 모드(iColBaseIntra)로 설정하고, 두 번째 MPM후보는 현재 예측 블록의 좌측 예측 블록(도 1에서 L)의 예측 모드로 설정하고, 세 번째 MPM 후보 (candModeList[1])는 현재 예측 블록의 위쪽 예측 블록(도 1에서 T)의 예측 모드로 설정한다.

2. 첫 번째 MPM 후보와 두 번째 MPM 후보의 값이 같을 때는, 다음과 같이 MPM 후보를 설정한다.

2.1. 첫 번째 MPM 후보가 INTRA_PLANAR이거나 INTRA_DC인 경우에는 첫 번째 MPM 후보로 INTRA_PLANAR, 두 번째 MPM 후보로 INTRA_DC, 세 번째 MPM 후보로 INTRA_ANGULAR26(VER)로 설정한다. 그 식은 다음과 같이 표현 할 수 있다.

candModeList[　0　] = INTRA_PLANAR

candModeList[　1　] = INTRA_DC

candModeList[　2　] =INTRA_ANGULAR26 (VER)

2.2. 첫 번째 MPM 후보가 INTRA_PLANAR 가 아니고, INTRA_DC 도 아닌 경우에는 두 번째 MPM후보로 위쪽 예측 블록 T의 예측 모드, 세 번째 MPM 후보로 수직 예측 모드 INTRA_ANGULAR26(VER)로 설정한다. 그 식은 다음과 같이 표현 할 수 있다.

candModeList[　0　] = candIntraPredModeA(왼쪽 예측 블록 L의 예측 모드)

candModeList[　1　] = candIntraPredModeB(위쪽 예측 블록 T의 예측 모드)

candModeList[　2　] = INTRA_ANGULAR26 (VER)

현재 예측 모드가 MPM 후보 중에 하나가 아니면 고정 길이 부호화를 사용하여 1 비트(bit) 플래그를 전송할 수 있다.

2.2. INTRA _ PLANAR , INTRA _ DC , INTRA _ ANGULAR26 , INTRA _ ANGULAR10 , INTRA_ANGULAR18, ANGULAR34 만 사용

인핸스먼트 레이어에서는 HEVC에서 사용하는 모든 모드를 사용하지 않고 발생 빈도가 높은 INTRA_DC, INTRA_PLANAR, INTRA_ANGULAR26(VER), INTRA_ANGULAR10(HOR), INTRA_ANGULAR18, INTRA_ANGULAR34 모드만 사용할 수 있다.

이 경우에 MPM 후보 개수를 HEVC와 동일하게 3개로 설정하고 다음과 같이 MPM 후보를 결정한다.

1. 좌측 예측 블록과 위쪽 예측블록이 인트라 모드이고 사용 가능하면 첫 번째 MPM 후보 (candModeList[0])는 베이스 레이어의 인트라 모드(iColBaseIntra)로 설정하고, 두 번째 MPM후보는 현재 예측 블록의 좌측 예측 블록(그림 1에서 L)의 예측 모드로 설정하고, 세 번째 MPM 후보 (candModeList[1])는 현재 예측 블록의 위쪽 예측 블록(도 1에서 T)의 예측 모드로 설정한다.

2. 첫 번째 MPM 후보와 두 번째 MPM 후보의 값이 같을 때는, 다음과 같이 MPM 후보를 설정한다.

2.1. 첫 번째 MPM 후보가 INTRA_PLANAR이거나 INTRA_DC인 경우에는 첫 번째 MPM 후보로 INTRA_PLANAR, 두 번째 MPM 후보로 INTRA_DC, 세 번째 MPM 후보로 INTRA_ANGULAR26(VER)로 설정한다. 그 식은 다음과 같이 표현 할 수 있다.

candModeList[　0　] = INTRA_PLANAR

candModeList[　1　] = INTRA_DC

candModeList[　2　] =INTRA_ANGULAR26 (VER)

2.2. 첫 번째 MPM 후보가 INTRA_PLANAR 가 아니고, INTRA_DC 도 아닌 경우에는 두 번째 MPM후보로 위쪽 예측 블록 T의 예측 모드, 세 번째 MPM 후보로 수직 예측 모드 INTRA_ANGULAR26(VER)로 설정한다. 그 식은 다음과 같이 표현 할 수 있다.

candModeList[　0　] = candIntraPredModeA(왼쪽 예측 블록 L의 예측 모드)

candModeList[　1　] = candIntraPredModeB(위쪽 예측 블록 T의 예측 모드)

candModeList[　2　] = INTRA_ANGULAR26 (VER)

현재 예측 모드가 MPM 후보 중에 하나가 아니면 최대 고정 길이 부호화를 사용하여 2 비트(bit) 플래그를 전송할 수 있다.

2.3. INTRA _ PLANAR , INTRA _ DC , INTRA _ ANGULAR26 , INTRA _ ANGULAR10 , INTRA_ANGULAR18, ANGULAR34 , INTRA _ ANGULAR2 , INTRA _ ANGULAR22 만 사용

인핸스먼트 레이어에서는 HEVC에서 사용하는 모든 모드를 사용하지 않고 발생 빈도가 높은 INTRA_DC, INTRA_PLANAR, INTRA_ANGULAR26(VER), INTRA_ANGULAR10(HOR), INTRA_ANGULAR18, INTRA_ANGULAR34, INTRA_ANGULAR2, INTRA_ANGULAR22 8개 모드만 사용할 수 있다.

이 경우에 MPM 후보 개수를 HEVC와 동일하게 3개로 설정하고 다음과 같이 MPM 후보를 결정한다.

1. 좌측 예측 블록과 위쪽 예측블록이 인트라 모드이고 사용 가능하면 첫 번째 MPM 후보 (candModeList[0])는 베이스 레이어의 인트라 모드(iColBaseIntra)로 설정하고, 두 번째 MPM후보는 현재 예측 블록의 좌측 예측 블록(도 1에서 L)의 예측 모드로 설정하고, 세 번째 MPM 후보 (candModeList[1])는 현재 예측 블록의 위쪽 예측 블록(도 1에서 T)의 예측 모드로 설정한다.

2. 첫 번째 MPM 후보와 두 번째 MPM 후보의 값이 같을 때는, 다음과 같이 MPM 후보를 설정한다.

2.1. 첫 번째 MPM 후보가 INTRA_PLANAR이거나 INTRA_DC인 경우에는 첫 번째 MPM 후보로 INTRA_PLANAR, 두 번째 MPM 후보로 INTRA_DC, 세 번째 MPM 후보로 INTRA_ANGULAR26(VER)로 설정한다. 그 식은 다음과 같이 표현 할 수 있다.

candModeList[　0　] = INTRA_PLANAR

candModeList[　1　] = INTRA_DC

candModeList[　2　] =INTRA_ANGULAR26 (VER)

2.2. 첫 번째 MPM 후보가 INTRA_PLANAR 가 아니고, INTRA_DC 도 아닌 경우에는 두 번째 MPM후보로 위쪽 예측 블록 T의 예측 모드, 세 번째 MPM 후보로 수직 예측 모드 INTRA_ANGULAR26(VER)로 설정한다. 그 식은 다음과 같이 표현 할 수 있다.

candModeList[　0　] = candIntraPredModeA(왼쪽 예측 블록 L의 예측 모드)

candModeList[　1　] = candIntraPredModeB(위쪽 예측 블록 T의 예측 모드)

candModeList[　2　] = INTRA_ANGULAR26 (VER)

현재 예측 모드가 MPM 후보 중에 하나가 아니면 고정 길이 부호화를 사용하여 3 비트(bit) 플래그를 전송할 수 있다.

Claims (1)

1. 인핸스먼트 레이어에서의 인트라 예측 방법 및 모드 부호화 방법.

Images