KR20170034799A - 영상 복호화 장치 - Google Patents

Abstract

본 발명에 따른 영상 복호화 장치는 영상 부호화 장치로부터 수신된 비트 스트림으로부터 1차원의 양자화 변환 계수, 인트라 예측 모드 및 맵 정보를 복원하는 엔트로피 복호화부, 1차원의 양자화 변환 계수를 역스캔하여 양자화 블록을 생성하는 역스캐닝부, 양자화 블록을 역양자화하여 변환 블록을 생성하는 역양자화부, 변환 블록을 역변환하여 잔차 블록을 생성하는 변환복호화부, 인트라 예측 모드에 따라 예측 블록을 생성하는 인트라 예측부 및 잔차 블록과 예측 블록을 더하여 원 블록을 생성하는 가산부를 구비하고, 변환 블록의 크기가 8x8이면, 역스캐닝부는 인트라 예측 모드에 따라 결정된 스캔 패턴을 이용하여 1차원의 양자화 변환 계수를 역스캔하여 복수 개의 서브셋들을 생성하고, 인트라 예측 모드에 따라 결정된 스캔 패턴을 이용하여 복수 개의 서브셋들을 역스캔하여 양자화 블록을 생성하며, 1차원의 양자화 변환 계수를 역스캔하여 복수 개의 서브셋들을 생성하기 위한 스캔 패턴과 복수 개의 서브셋들을 역스캔하여 양자화 블록을 생성하기 위한 스캔 패턴은 동일하고, 맵 정보를 역스캔하여 양자화 블록 내의 계수가 0인지 여부를 나타내는 플래그를 복원하기 위한 스캔 패턴은 1차원의 양자화 변환 계수를 역스캔하여 복수 개의 서브셋들을 생성하기 위한 스캔 패턴과 동일하다. 따라서, 원본 영상에 근접한 예측 블록을 생성할 수 있어, 영상 압축률을 높일 수 있다.

Description

영상 복호화 장치{Apparatus for decoding an image}

본 발명은 영상 복호화 장치에 관한 것으로, 보다 상세하게는 잔차 블록의 부호화량을 감소시킬 수 있는 예측 블록을 생성하는 영상 복호화 장치에 관한 것이다.

MPEG-1, MPEG-2, MPEG-4 H.264/MPEG-4, AVC(Advanced Video coding)와 같은 영상 압축 방식에서는 영상을 부호화하기 위해서 하나의 픽처를 매크로 블록으로 나눈다. 그리고, 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)을 이용해 각각의 매크로 블록을 부호화한다.

이 중에서 인트라 예측은 현재 픽처(picture)의 블록을 부호화하기 위해서 참조 픽처를 참조하는 것이 아니라, 부호화하려는 현재 블록과 공간적으로 인접한 화소값을 이용하여 부호화를 수행한다. 우선, 인접한 화소의 화소값을 이용하여 생성된 예측 블록을 원본 매크로 블록과 비교하여 왜곡이 적은 인트라 예측 모드를 선택한다. 다음으로, 선택된 인트라 예측 모드 및 인접한 화소값을 이용하여 부호화하려는 현재 블록에 대한 예측값을 계산하고, 예측값과 원본 현재 블록의 화소값의 차이를 구한 후 이를 변환부호화, 양자화, 엔트로피 부호화를 통해 부호화한다. 그리고, 예측 모드도 부호화된다.

여기서, 인트라 예측 모드들은 크게 휘도 성분의 4×4 인트라 예측 모드, 8×8 인트라 예측모드, 16×16 인트라 예측 모드 및 색차 성분의 인트라 예측 모드로 나뉜다.

종래 기술에 따른 16×16 인트라 예측 모드에는 수직(vertical) 모드, 수평(horizontal) 모드, DC(direct current) 모드, 플레인(plane) 모드의 총 네가지의 모드가 존재한다.

종래 기술에 따른 4×4 인트라 예측 모드에는 수직(vertical) 모드, 수평(horizontal) 모드, DC(direct current) 모드, 대각선 왼쪽(diagonal down-left) 모드, 대각선 오른쪽(diagonal down-right) 모드, 수직 오른쪽(vertical right) 모드, 수직 왼쪽(vertical left) 모드, 수평 위쪽(horizontal-up) 모드 및 수평 아래쪽(horizontal-down) 모드의 총 9개의 모드가 존재한다.

각각의 모드에 인덱싱(indexing)된 예측 모드 번호들은 각각의 모드가 이용되는 빈도수에 따라 결정된 번호이다. 확률적으로 0번 모드인 수직 모드가 대상 블록에 대해 인트라 예측을 수행할 때 가장 많이 쓰이는 모드이며, 8번인 수평 위쪽(horizontal-up) 모드가 가장 적게 쓰이는 모드이다.

H.264 표준안에 따르면 영상을 부호화함에 있어 상기 4×4 인트라 예측 모드 및 16×16 인트라 예측 모드의 총 13가지 모드로 현재 블록을 부호화하고, 그 중 최적의 모드에 따라 현재 블록에 대한 비트스트림을 생성한다.

그러나, 현재 블록에 포함된 화소들에 인접한 화소값들 중 일부 또는 전부가 존재하지 않거나, 부호화되지 않은 경우에는 인트라 예측 모드 중 일부 또는 전부를 적용할 수 없는 문제점이 발생한다. 또한 적용 가능한 인트라 모드 중 선택하여 인트라 예측을 수행하면, 예측 블록과 원본 블록 사이의 차이(residue)가 크게되므로, 영상 압축의 효율이 떨어진다.

본 발명이 이루고자 하는 목적은 원본 영상과 유사한 예측 블록을 생성하는 영상 복호화 장치를 제공하는 데 있다.

본 발명에 따른 영상 복호화 장치는, 영상 부호화 장치로부터 수신된 비트 스트림으로부터 1차원의 양자화 변환 계수, 인트라 예측 모드 및 맵 정보를 복원하는 엔트로피 복호화부; 상기 1차원의 양자화 변환 계수를 역스캔하여 양자화 블록을 생성하는 역스캐닝부; 상기 양자화 블록을 역양자화하여 변환 블록을 생성하는 역양자화부; 상기 변환 블록을 역변환하여 잔차 블록을 생성하는 변환복호화부; 상기 인트라 예측 모드에 따라 예측 블록을 생성하는 인트라 예측부; 및 상기 잔차 블록과 상기 예측 블록을 더하여 원 블록을 생성하는 가산부;를 포함하고, 상기 변환 블록의 크기가 8x8이면, 상기 역스캐닝부는 상기 인트라 예측 모드에 따라 결정된 스캔 패턴을 이용하여 상기 1차원의 양자화 변환 계수를 역스캔하여 복수 개의 서브셋들을 생성하고, 상기 인트라 예측 모드에 따라 결정된 스캔 패턴을 이용하여 상기 복수 개의 서브셋들을 역스캔하여 상기 양자화 블록을 생성하며, 상기 1차원의 양자화 변환 계수를 역스캔하여 상기 복수 개의 서브셋들을 생성하기 위한 스캔 패턴과 상기 복수 개의 서브셋들을 역스캔하여 상기 양자화 블록을 생성하기 위한 스캔 패턴은 동일하고, 상기 맵 정보를 역스캔하여 상기 양자화 블록 내의 계수가 0인지 여부를 나타내는 플래그를 복원하기 위한 스캔 패턴은 상기 1차원의 양자화 변환 계수를 역스캔하여 상기 복수 개의 서브셋들을 생성하기 위한 스캔 패턴과 동일하고, 상기 인트라 예측부는, 참조 화소가 존재하지 않으면 이용가능한 참조 화소를 이용하여 참조 화소를 생성하는 참조 화소 생성부; 현재 블록의 인트라 예측 모드와 크기 정보를 기초로 상기 현재 블록에 인접한 참조 화소들을 적응적으로 필터링하는 참조 화소 필터링부; 및 상기 인트라 예측 모드에 따라 상기 현재 블록의 예측 블록을 생성하는 예측 블록 생성부;를 포함한다.

바람직하게는, 상기 인트라 예측 모드가 수평 모드이면, 상기 1차원의 양자화 변환 계수를 역스캔하여 상기 복수 개의 서브셋들을 생성하기 위한 스캔 패턴은 수직 스캔이다.

바람직하게는, 상기 1차원의 양자화 변환 계수 및 상기 복수 개의 서브셋들은 역방향으로 역스캔된다.

본 발명에 따른 영상 부호화 장치는, 인트라 예측 모드에 따라 예측 블록을 생성하는 인트라 예측부; 상기 예측 블록을 이용하여 생성되는 잔차 블록을 변환하여 변환 블록을 생성하는 변환부; 상기 변환 블록을 양자화하여 양자화 블록을 생성하는 양자화부; 상기 양자화 블록의 계수들을 스캔하여 1차원의 양자화 계수정보를 생성하는 스캐닝부; 및 상기 1차원의 양자화 계수정보들을 엔트로피 부호화하는 엔트로피 부호화부;를 구비하고, 상기 변환 블록이 4×4보다 크면 상기 양자화 블록의 계수들을 복수개의 서브셋들로 분할하여 스캔 패턴을 적용하고, 상기 변환 블록이 8×8보다 작거나 같으면 상기 스캔 패턴은 상기 인트라 예측 모드에 따라 결정된다.

바람직하게는, 상기 잔차 블록이 8×8보다 크면, 사전에 정해진 스캔 패턴을 이용하여 상기 양자화 블록의 계수들을 스캔한다.

바람직하게는, 상기 사전에 정해진 스캔 패턴은 지그재그 스캔이다.

바람직하게는, 상기 변환 블록이 8×8보다 작거나 같고, 상기 인트라 예측모드가 수직 모드 또는 상기 수직 모드에 인접한 사전에 정해진 개수의 인트라 예측 모드들 중 하나이면, 상기 스캔 패턴은 수평 스캔이다.

바람직하게는, 방향성 인트라 예측 모드의 수가 33개이면, 상기 사전에 정해진 개수는 8이다.

바람직하게는, 상기 변환 블록이 8×8보다 작거나 같고, 상기 인트라 예측모드가 비방향성 모드이면, 상기 스캔 패턴은 사전에 정해진 스캔 패턴이다.

바람직하게는, 상기 복수개의 서브셋들은 역방향으로 스캔된다.

바람직하게는, 상기 각 서브셋 내의 계수들은 상기 스캔 패턴에 따라 역방향으로 스캔된다.

본 발명에 따른 영상 복호화 장치는 원본 영상에 근접한 예측 블록을 생성하기 위해 참조 픽셀을 생성하고, 상기 참조 픽셀을 적응적으로 필터링함으로써, 원본 영상에 가까운 예측 블록을 생성한다. 또한 예측 블록을 인트라 예측 모드에 따라 적응적으로 필터링함으로써, 잔차 신호를 더욱 줄일 수 있게 되어, 영상 압축률을 높일 수 있다.

도 1은 본 발명에 따른 동영상 부호화 장치를 나타내는 블록도이다.
도 2는 본 발명에 따른 스캐닝부의 동작 과정을 나타내는 흐름도이다.
도 3은 본 발명에 따른 동영상 복호화 장치를 나타내는 블록도이다.
도 4는 본 발명에 따른 인트라 예측부를 나타내는 블록도이다.
도 5는 본 발명에 따른 인트라 예측에 사용되는 참조 픽셀들의 위치를 나타내는 도면이다.
도 6은 본 발명에 따른 참조픽셀을 생성하는 방법을 나타내는 도면이다.
도 7은 본 발명에 따른 복호화 장치의 인트라 예측부를 나타내는 블록도이다.

이하, 본 발명의 여러가지 실시예들을 예시적인 도면을 통해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

영상 부호화를 위해 각 픽쳐는 하나 이상의 슬라이스로 이루어지고, 각 슬라이스는 복수개의 부호화 유닛으로 이루어진다. HD급 이상의 영상에서는 영상이 비교적 평탄해지는 영역이 많으므로, 다양한 크기의 부호화 유닛으로 부호화를 하는 것이 영상 압축률을 높일 수 있다.

본 발명에 따른 부호화 유닛은 16x16 크기의 MB뿐만 아니라 32x32 크기의 블록, 64x64 크기의 블록일 수 있다. 또한 8x8 크기 또는 더 작은 크기의 블록도 부호화 유닛이 될 수 있다. 편의상 가장 큰 부호화 유닛을 슈퍼매크로블록(SMB)로 지칭한다. 그리고, 상기 슈퍼매크로블록의 크기는 가장 작은 부호화 유닛의 크기를 나타내는 정보 및 깊이 정보로 결정될 수 있다. 상기 깊이 정보는 상기 슈퍼매크로블록과 가장 작은 부호화 유닛 사이의 크기 차이값을 나타낸다.

따라서, 영상 시퀀스의 모든 픽쳐의 부호화에 사용하게 될 부호화 유닛들의 크기는 SMB 및 이들의 서브블록들의 크기일 수 있다. 영상 시퀀스에 사용하게 될 부호화 유닛의 크기는 디폴트로 설정되거나 시퀀스 헤더에서 지정할 수 있다.

SMB(즉, 최대 부호화 유닛)는 1개 이상의 부호화 유닛으로 구성된다. 따라서, SMB는 부호화 유닛의 분할 구조와 부호화 유닛을 포함하기 위해 재귀적 부호화 트리(Coding tree) 형태를 갖는다. 따라서, SMB를 기준으로 설명하면 다음과 같다. 먼저 SMB가 4개의 하위 부호화 유닛으로 분할되지 않으면, 상기 부호화 트리는 분할되지 않음을 나타내는 정보와 1개의 부호화 유닛으로 구성될 수 있다. 그러나, SMB가 4개의 하위 부호화 유닛으로 분할되면, 상기 부호화 트리는 분할됨을 나타내는 정보와 4개의 하위 부호화 트리로 구성될 수 있다. 마찬가지로, 각각의 하위 부호화 트리는 SMB 유닛의 부호화 트리와 동일한 구조를 갖는다. 다만, 최소 부호화 유닛 이하로는 분할되지 않는다.

한편, 부호화 트리 내의 각각의 부호화 유닛은 부호화 유닛 자체 또는 서브파티션 단위로 인트라 예측(Intra Pediction) 또는 인터 예측(Inter Prediction)이 수행된다. 상기 인트라 예측 또는 인터 예측을 수행하는 단위를 예측 유닛(Prediction unit)이라 지칭한다. 인트라 예측을 위한 예측 유닛은 2Nx2N 또는 NxN일 수 있다. 인터 예측을 위한 예측 유닛은 2Nx2N, 2NxN, Nx2N, NxN일수 있다. 여기서 2N은 부호화 유닛의 가로 세로 길이를 의미한다.

부호화 유닛는 부호화 유닛 내의 예측 유닛의 예측 모드와 예측 유닛에 대한 크기 정보(partmode)를 포함한다. 부호화 효율을 높이기 위해 예측 모드 정보 및 예측 유닛의 크기 정보를 결합하여 조인트 코딩할 수 있다. 이 경우, 각 부호화 유닛마다 조인트 코딩된 예측 타입(pred_type)이 포함된다.

부호화 유닛은 예측 유닛마다 부가정보 콘테이너를 포함한다. 부가정보 콘테이너는 예측 유닛의 예측 블록을 생성하기 위해 필요한 부가정보를 포함한다. 인트라 예측의 경우, 부가정보는 부호화된 인트라 예측 정보를 포함한다. 인터 예측의 경우, 부가 정보는 부호화된 움직임 정보를 포함한다. 움직임 정보는 움직임 벡터 및 참조 픽쳐 인덱스를 포함한다.

부호화 유닛은 부호화 유닛의 부호화된 잔차신호를 담기 위한 잔차 신호 콘테이너를 포함한다. 잔차 신호 콘테이너는 1개의 변환 트리, 1개의 휘도 잔차신호 콘테이너 및 2개의 색차 잔차신호 콘테이너를 포함한다. 변환 트리는 부호화 유닛에 포함된 잔차 신호에 대한 변환 유닛들의 분할 구조를 나타낸다. 또한 변환 트리는 각각의 변환 유닛의 잔차 신호가 0인지 여부를 나타낸다. 잔차 신호 콘테이너는 재귀적 코딩 트리 구조로 이루어진다. 즉, 부호화 유닛의 잔차 신호 콘테이너를 기준으로 설명하면 다음과 같다. 먼저, 코딩 유닛이 4개의 하위 코딩 유닛으로 분할되지 않으면, 잔차신호 콘테이너는 양자화 정보(잔차 양자화 파라미터)와 부호화된 잔차 신호를 포함한다. 코딩 유닛이 4개의 하위 코딩 유닛으로 분할되면, 잔차신호 콘테이너는 양자화 정보와 4개의 하위 잔차 신호 콘테이너를 포함한다. 각각의 하위 잔차 신호 콘테이너는, 양자화 정보를 포함하지 않는 것을 제외하고는, 부호화 유닛의 잔차신호 콘테이너와 동일한 구조를 갖는다.

한편, 예측 유닛은 비균등하게 분할될 수 있다. 앞서 설명한 내용에서는 부호화 단위가 균등 분할된 예측 단위에 대해서만 설명하였다. 그러나, 영상의 특성상 특정 방향 또는 특정 위치로 경계를 가지는 경우에는 앞서 설명한 균등 분할을 이용할 경우, 경계부분에서는 유사한 데이터에 대해서 서로 다른 예측 유닛들이 사용되어 잔차신호를 효과적으로 줄이지 못하는 문제점이 있다.

따라서, 이러한 경우에는 영상의 경계 부분의 형상에 따라 특정방향으로 분할하여 인트라 또는 인터 예측을 하는 것이 잔차 신호 압축에 더욱 효과적이다.

가장 간단한 방법은 예측 영역의 국부적인 지형의 통계적 의존성을 추출하기 위해 부호화 유닛을 직선을 이용하여 2개의 블록으로 분할하는 것이다. 즉, 영상의 경계부분을 직선으로 매칭시켜 분할하는 것이다. 이 경우, 분할 가능한 방향을 소정 개수로 한정하는 것이 바람직하다. 예를 들어, 블록을 분할하는 방법을 수평, 수직, 상향 대각선, 하향 대각선의 4가지 방향으로 한정할 수 있다. 또한, 수평, 수직으로만 한정할 수도 있다. 분할 가능한 수는 3, 5, 7 등이 가능하다. 분할 가능한 수는 블록의 크기에 달리할 수 있다. 예를 들어, 사이즈가 큰 부호화 유닛에 대해 상대적으로 분할 가능한 수를 늘릴 수 있다.

인터 예측의 경우, 하나의 부호화 유닛을 보다 적응적으로 예측하기 위해 2개의 예측 블록으로 분할한 경우, 예측 블록 각각에 대하여 움직임 예측 및 움직임 보상을 하여야 한다. 따라서, 각각의 분할된 영역마다 움직임 정보를 구하고, 움직임 정보에 기초하여 얻어진 원본 블록과 예측 블록 사이의 잔차신호를 부호화한다.

하나의 부호화 유닛에 대해 분할된 2개의 예측 블록마다의 잔차 신호를 구한 후 2개의 잔차신호를 더하여 하나의 부호화 유닛의 잔차신호를 형성하여 변환 부호화한다. 이 경우에는 경계면을 중심으로 각각의 분할된 영역의 잔차 신호의 분포가 전체적인 분포가 차이가 있을 확률이 크기 때문에 어느 한 영역의 값을 일정값을 곱하여 하나의 부호화 유닛에 대한 잔차신호를 생성할 수 있다. 또한, 2개의 잔차 신호의 경계 부분을 오버랩시켜 경계 부분을 스무딩(smoothing)하여 하나의 잔차 신호를 생성할 수 있다.

또 다른 방법으로는 블록의 각각의 분할 영역별로 패딩을 통하여 블록을 생성하여 부호화할 수 있다. 즉, 2개의 분할영역 중 현재 분할 영역을 부호화할 때, 블록의 구성하는 다른 분할 영역을 현재 분할 영역의 값으로 패딩하여 하나의 블록으로 구성한 후 2차원 변환 부호화할 수 있다.

도 1은 본 발명에 따른 동영상 부호화 장치를 나타내는 블록도이다.

도 1을 참조하면, 본 발명에 따른 동영상 부호화 장치(100)는 픽쳐 분할부(110), 변환부(120), 양자화부(130), 스캐닝부(131), 엔트로피 부호화부(140), 인트라 예측부(150), 인터 예측부(160), 역양자화부(135), 역변환부(125), 후처리부(170), 픽쳐 저장부(180), 감산부(190) 및 가산부(195)를 포함한다.

픽쳐 분할부(110)는 입력되는 비디오 신호를 분석하여 픽쳐를 가장 큰 부호화 유닛마다 소정 크기의 부호화 유닛으로 분할하여 예측 모드를 결정하고, 상기 부호화 유닛별로 예측 유닛의 크기를 결정한다. 그리고, 픽쳐 분할부(110)는 부호화할 예측 유닛을 예측 모드에 따라 인트라 예측부(150) 또는 인터 예측부(160)로 보낸다. 또한, 픽쳐 분할부(110)는 부호화할 예측 유닛을 감산부(190)로 보낸다.

변환부(120)는 입력된 예측 유닛의 원본 블록과 인트라 예측부(150) 또는 인터 예측부(160)에서 생성된 예측 블록 사이의 잔차신호를 변환한다. 잔차 블록은 부호화 유닛의 크기를 가질 수 있다. 잔차 블록은 최적의 변환 유닛들로 분할되어 변환된다. 예측 모드(intra or inter)에 따라 서로 다른 변환 매트릭스가 결정될 수 있다. 잔차 신호의 변환 유닛은 수평 1차원 변환 매트릭스와 수직 1차원 변환 매트릭스에 의해 변환될 수 있다. 예를 들어, 인터 예측의 경우에는 미리 결정된 1개의 변환 매트릭스가 적용된다. 반면에, 인트라 예측의 경우, 현재 예측 유닛의 인트라 예측 모드가 수평인 경우에는 잔차 신호가 수직방향으로의 방향성을 가질 확률이 높아지므로, 수직방향으로는 DCT 기반의 정수 매트릭스를 적용하고, 수평방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를 적용한다. 인트라 예측 모드가 수직인 경우에는 수직방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를, 수평 방향으로는 DCT 기반의 정수 매트릭스를 적용한다. DC 모드의 경우에는 양방향 모두 DCT 기반 정수 매트릭스를 적용한다. 또한, 인트라 예측의 경우, 변환 유닛의 크기에 의존하여 변환 매트릭스가 적응적으로 결정될 수도 있다.

양자화부(130)는 잔차 블록의 변환 계수들을 양자화하기 위한 양자화 스텝 사이즈를 부호화 유닛별로 결정한다. 그리고, 결정된 양자화 스텝 사이즈 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 상기 변환 블록의 계수들을 양자화한다. 양자화부(130)는 현재 부호화 단위의 양자화 스텝 사이즈 예측자로서 현재 부호화 유닛에 인접한 부호화 유닛의 양자화 스텝 사이즈를 이용한다. 양자화부(130)는 현재 부호화 유닛의 좌측 부호화 유닛, 상측 부호화 유닛, 좌상측 부호화 유닛 순서로 검색하여 유효한 부호화 유닛의 양자화 스텝 사이즈를 현재 부호화 유닛의 양자화 스텝 사이즈 예측자로 결정하고, 차분값을 엔트로피 부호화부(140)로 전송한다.

한편, 슬라이스가 부호화 단위로 분리될 경우에는 현재 부호화 단위의 좌측 부호화 단위, 상측 부호화 단위, 좌상측 부호화 단위 모두가 존재하지 않을 가능성이 있다. 반면에 최대 부호화 단위 내의 부호화 순서 상으로 이전에 존재하는 부호화 단위가 존재할 수 있다. 따라서, 현재 부호화 단위에 인접한 부호화 단위들과 상기 최대 부호화 단위 내에서는 부호화 순서상 바로 이전의 부호화 단위가 후보자가 될 수 있다. 이 경우, 1) 현재 부호화 단위의 좌측 부호화 단위, 2) 현재 부호화 단위의 상측 부호화 단위, 3) 현재 부호화 단위의 좌상측 부호화 단위, 4) 부호화 순서상 바로 이전의 부호화 단위 순서로 우선순위를 둘 수 있다. 상기 순서는 바뀔 수 있고, 상기 좌상측 부호화 단위는 생략될 수도 있다.

상기 양자화된 변환 블록은 역양자화부(135)와 스캐닝부(131)로 제공된다.

스캐닝부(131)는 양자화된 변환 블록의 계수들을 스캐닝하여 1차원의 양자화 계수들로 변환한다. 양자화 후의 변환 블록의 계수 분포가 인트라 예측 모드에 의존적일 수 있으므로, 스캐닝 방식은 인트라 예측 모드에 따라 결정된다. 또한, 계수 스캐닝 방식은 변환 단위의 크기에 따라 달리 결정될 수도 있다.

역양자화(135)는 상기 양자화된 양자화 계수를 역양자화한다. 역변환부(125)는 역양자화된 변환 계수를 공간 영역의 잔차 블록으로 복원한다. 가산기는 상기 역변환부에 의해 복원된 잔차블록과 인트라 예측부(150) 또는 인터 예측부(160)로부터의 예측 블록을 합쳐서 복원 블록을 생성한다.

후처리부(160)는 복원된 픽쳐에 발생하는 블록킹 효과의 제거하기 위한 디블록킹 필터링 과정, 화소 단위로 원본 영상과의 차이값을 보완하기 위한 적응적 오프셋 적용 과정 및 부호화 단위로 원본 영상과의 차이값을 보완하기 위한 적응적 루프 필터 과정을 수행한다.

디블록킹 필터링 과정은 미리 정해진 크기 이상의 크기를 갖는 예측 단위 및 변환 단위의 경계에 적용하는 것이 바람직하다. 상기 크기는 8x8일 수 있다. 상기 디블록킹 필터링 과정은 필터링할 경계(boundary)를 결정하는 단계, 상기 경계에 적용할 경계 필터링 강도(bounary filtering strength)를 결정하는 단계, 디블록킹 필터의 적용 여부를 결정하는 단계, 상기 디블록킹 필터를 적용할 것으로 결정된 경우, 상기 경계에 적용할 필터를 선택하는 단계를 포함한다.

*상기 디블록킹 필터의 적용 여부는 i) 상기 경계 필터링 강도가 0보다 큰지 여부 및 ii) 상기 필터링할 경계에 인접한 2개의 블록(P 블록, Q블록) 경계 부분에서의 화소값들이 변화 정도를 나타내는 값이 양자화 파라미터에 의해 결정되는 제1 기준값보다 작은지 여부에 의해 결정된다.

상기 필터는 적어도 2개 이상인 것이 바람직하다. 블록 경계에 위치한 2개의 화소들간의 차이값의 절대값이 제2 기준값보다 크거나 같은 경우에는 상대적으로 약한 필터링을 수행하는 필터를 선택한다. 상기 제2 기준값은 상기 양자화 파라미터 및 상기 경계 필터링 강도에 의해 결정된다.

적응적 루프 필터 과정은 디블록킹 필터링 과정 또는 적응적 오프셋 적용 과정을 거친 복원된 영상과 원본 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 적응적 루프 필터는 4x4 크기의 블록을 기반으로 하나의 라플라시안 활동값(Laplacian Activity value)을 통해 검출된다. 상기 결정된 ALF는 4x4 크기 또는 8x8 크기의 블록에 포함된 화소 전체에 적용될 수 있다. 적응적 루프 필터의 적용 여부는 부호화 단위별로 결정될 수 있다. 각 부호화 단위에 따라 적용될 루프 필터의 크기 및 계수는 달라질 수 있다. 부호화 단위별로 상기 적응적 루프 필터의 적용 여부를 나타내는 정보, 필터 계수 정보, 필터 형태 정보 등은 각 슬라이스 헤더에 포함되어 복호기로 전송될 수 있다. 색차 신호의 경우에는, 픽쳐 단위로 적응적 루프 필터의 적용 여부를 결정할 수 있다. 루프 필터의 형태도 휘도와 달리 직사각형 형태를 가질 수 있다.

픽쳐 저장부(180)는 후처리된 영상 데이터를 후처리부(160)로부터 입력 받아 픽쳐(picture) 단위로 영상을 복원하여 저장한다. 픽쳐는 프레임 단위의 영상이거나 필드 단위의 영상일 수 있다. 픽쳐 저장부(180)는 다수의 픽쳐를 저장할 수 있는 버퍼(도시되지 않음)를 구비한다.

인터 예측부(150)는 상기 픽쳐 저장부(180)에 저장된 적어도 하나 이상의 참조 픽쳐를 이용하여 움직임 추정을 수행하고, 참조 픽쳐를 나타내는 참조 픽쳐 인덱스 및 움직임 벡터를 결정한다. 그리고, 결정된 참조 픽쳐 인덱스 및 움직임 벡터에 따라, 픽쳐 저장부(150)에 저장된 다수의 참조 픽쳐들 중 움직임 추정에 이용된 참조 픽쳐로부터, 부호화하고자 하는 예측 단위에 대응하는 예측 블록을 추출하여 출력한다.

인트라 예측부(140)는 현재 예측 단위가 포함되는 픽처 내부의 재구성된 화소값을 이용하여 인트라 예측 부호화를 수행한다. 인트라 예측부(140)는 예측 부호화할 현재 예측 단위를 입력 받아 현재 블록의 크기에 따라 미리 설정된 개수의 인트라 예측 모드 중에 하나를 선택하여 인트라 예측을 수행한다. 인트라 예측부는 인트라 예측 블록을 생성하기 위해 참조 화소를 적응적으로 필터링한다. 참조 화소가 이용 가능하지 않은 경우에는 이용 가능한 참조 화소들을 이용하여 참조 화소들을 생성할 수 있다.

엔트로피 부호화부(130)는 양자화부(130)에 의해 양자화된 양자화 계수, 인트라 예측부(140)로부터 수신된 인트라 예측 정보, 인터 예측부(150)로부터 수신된 움직임 정보 등를 엔트로피 부호화한다.

도 2는 도 1의 스캐닝부(131)의 스캐닝 동작 과정에 나타내는 흐름도이다.

먼저, 현재 양자화된 계수 블록들을 복수개의 서브셋으로 분할할지 여부를 판단한다(S110). 상기 분할여부의 결정은 현재 변환 단위의 크기에 의존한다. 즉, 변환 단위의 크기가 제1 기준 크기보다 큰 경우 상기 부호화된 양자화 계수들을 복수개의 서브셋으로 분할한다. 상기 제1 기준 크기는 4x4 또는 8x8인 것이 바람직하다. 상기 소정 크기 정보는 픽쳐 헤더 또는 슬라이스 헤더를 통해 복호기로 전송할 수도 있다.

상기 양자화된 계수 블록들이 복수개의 서브셋으로 분할되지 않는 것으로 판단되면, 상기 양자화된 계수 블록에 적용될 스캔 패턴을 결정한다(S120). 그리고, 결정된 스캔 패턴에 따라 상기 양자화된 계수 블록의 계수들을 스캔한다(S130). 상기 스캔패턴은 예측 모드 및 인트라 예측 모드에 따라 적응적으로 결정될 수 있다.

인터 예측 모드의 경우에는 미리 정해진 하나의 스캔 패턴(예를 들어, 지그재그 스캔)만을 적용할 수 있다. 또한, 미리 정해진 복수개의 스캔 패턴들 중 어느 하나를 선택하여 스캔하고 스캔 패턴 정보를 복호기로 전송할 수 있다.

인트라 예측의 경우에는 인트라 예측 모드에 따라 미리 정해진 스캔패턴을 적용할 수 있다. 예를 들어, 수직 인트라 예측 모드 및 인접한 예측 방향의 소정개수의 인트라 예측 모드들에 대해서는 수평우선스캔을 적용한다. 수평 인트라 예측 모드 및 인접한 예측 방향을 갖는 소정개수의 인트라 예측 모드들에 대해서는 수직스캔을 적용한다. 상기 소정개수는 예측 단위별로 허용되는 인트라 예측 모드 수(또는 방향성 인트라 예측 모드 수) 또는 예측 단위의 크기에 따라 달라진다. 예를 들어, 현재 예측 단위에 허용되는 방향성 인트라 예측 모드의 수가 16인 경우에는 수평 또는 수직 인트라 예측 모드를 기준으로 양쪽으로 각각 2개인 것이 바람직하다. 현재 예측 단위에 허용되는 방향성 인트라 예측 모드의 수가 33인 경우에는 수평 또는 수직 인트라 예측 모드를 기준으로 양쪽으로 각각 4개인 것이 바람직하다.

한편, 비방향성 모드들에 대해서는 지그재그 스캔을 적용한다. 비방향성 모드는 DC 모드 또는 planar 모드일 수 있다.

현재 양자화된 계수 블록들이 복수개의 서브셋으로 분할되는 것으로 판단되면, 상기 변환 양자화된 계수 블록들을 복수개의 서브셋으로 분할한다(S140). 상기 복수개의 서브셋은 하나의 메인 서브셋과 적어도 하나 이상의 잔여 서브셋으로 구성된다. 메인 서브셋은 DC 계수를 포함하는 좌상측에 위치하고, 상기 잔여 서브셋은 메인 서브셋 이외의 영역을 커버한다.

다음으로, 서브셋에 적용될 스캔 패턴을 결정한다(S150). 상기 스캔패턴은 모든 서브셋에 적용된다. 상기 스캔패턴은 예측 모드 및 인트라 예측 모드에 따라 적응적으로 결정될 수 있다. 현재 변환 양자화된 계수 블록의 크기(변환 블록의 크기)가 제2 기준 크기(예를 들어, 8x8)보다 큰 경우에는 지그재그 스캔만을 적용할 수 있다. 따라서, 제1 기준크기가 제2 기준크기보다 작은 경우에만 상기 단계가 수행된다.

인터 예측 모드의 경우, 상기 서브셋 내의 스캔 패턴은 미리 정해진 하나의 스캔 패턴(예를 들어, 지그재그 스캔)일 수 있다. 인트라 예측의 경우에는 S120에서와 동일하다.

상기 서브셋 내의 양자화 계수들의 스캔순서는 역방향으로 스캔한다. 즉, 스캔 패턴에 따라 상기 서브셋 내의 0이 아닌 마지막 양자화 계수로부터 역방향으로 0이 아닌 양자화 계수들을 스캔하여 엔트로피 부호화할 수 있다.

다음으로, 각 서브셋 별로 스캔 패턴에 따라 양자화 계수들을 스캔한다(S160). 상기 서브셋 내의 양자화 계수들의 스캔순서는 역방향으로 스캔한다. 즉, 스캔 패턴에 따라 상기 서브셋 내의 0이 아닌 마지막 양자화 계수로부터 역방향으로 0이 아닌 양자화 계수들을 스캔하여 엔트로피 부호화할 수 있다.

또한, 서브셋 간의 스캔패턴은 지그재그 스캔을 적용한다. 스캔 패턴은 메인 서브셋으로부터 순방향으로 잔여 서브셋들로 스캔하는 것이 바람직하나, 그 역방향도 가능하다. 또한, 서브셋 간의 스캔패턴을 서브셋 내에 적용된 스캔 패턴과 동일하게 적용할 수도 있다.

한편, 부호기는 상기 변환 단위내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보를 복호기로 전송한다. 각 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보도 복호기로 전송한다. 상기 정보는 각각의 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타내는 정보일 수 있다.

도 3은 본 발명의 실시예에 따른 동영상 복호화 장치를 나타내는 블록도이다.

도 3를 참조하면, 본 발명에 따른 동영상 복호화 장치는, 엔트로피 복호부(210), 역스캐닝부(220), 역양자화부(230), 역변환부(240), 인트라 예측부(250), 인터 예측부(260), 후처리부(270), 픽쳐 저장부(280), 가산부(290), 및 인트라/인터전환 스위치(295)를 구비한다.

엔트로피 복호부(210)는, 수신된 부호화 비트 스트림을 복호하여, 인트라 예측 정보, 인터 예측 정보, 양자화 계수 정보 등으로 분리한다. 엔트로피 복호부(210)는 복호된 인터 예측 정보를 인터 예측부(260)에 공급한다. 엔트로피 복호부(210)는 상기 인트라 예측 정보를 인트라 예측부(250) 및 역변환부(240)로 공급한다. 또한, 상기 엔트로피 복호화(210)는 상기 역양자화 계수 정보를 역스캔부(220)로 공급한다.

역스캐닝부(220)는 상기 양자화 계수 정보를 2차원 배열의 역양자화 블록으로 변환한다. 상기 변환을 위해 복수개의 역스캐닝 패턴 중에 하나를 선택한다. 계수 역스캐닝 패턴은 예측모드와 인트라 예측 모드 중 적어도 하나에 기초하여 결정된다. 역스캐닝부(220)의 동작은 상기에서 설명한 스캐닝부(131)의 동작의 역과정과 동일하다.

역양자화부(230)는 현재 부호화 단위의 양자화 스텝 사이즈 예측자를 결정한다. 상기 예측자의 결정과정은 도 1의 양자화부(130)의 예측자 결정 과정과 동일하므로 생략한다. 역양자화부(230)는 결정된 양자화 스텝 사이즈 예측자와 수신한 잔차 양자화 스텝 사이즈를 더하여 현재 역양자화 블록에 적용된 양자화 스텝 사이즈를 얻는다. 역양자화부(230)는 양자화 스텝 사이즈가 적용된 양자화 매트릭스를 이용하여 역양자화 계수를 복원한다. 복원하고자 하는 현재 블록의 크기에 따라 서로 다른 양자화 매트릭스가 적용되며, 동일 크기의 블록에 대해서도 상기 현재 블록의 예측 모드 및 인트라 예측 모드 중 적어도 하나에 기초하여 양자화 매트릭스가 선택된다.

역변환부(240)는 역양자화 블록을 역변환하여 잔차 블록을 복원한다. 그리고, 상기 복원된 양자화 계수를 역변환하여 잔차 블록을 복원한다. 상기 역양자화 블록에 적용할 역변환 매트릭스는 예측 모드(인트라 또는 인터) 및 인트라 예측 모드에 따라 적응적으로 결정될 수 있다. 도 1의 변환부(120)에 적용된 변환 매트릭스의 역변환 매트릭스가 결정되므로 구체적인 기재는 생략한다.

가산부(290)는 역변환부(240)에 의해 복원된 잔차 블록과 인트라 예측부(250) 또는 인터 예측부(260)에 의해 생성되는 예측 블록을 가산함으로써, 영상 블록을 복원한다.

인트라 예측부(250)는 엔트로피 복호화부(210)로부터 수신된 인트라 예측 정보에 기초하여 현재 블록의 인트라 예측 모드를 복원한다. 그리고, 복원된 인트라 예측 모드에 따라 예측 블록을 생성한다.

인터 예측부(260)는 엔트로피 복호화부(210)로부터 수신된 인터 예측 정보에 기초하여 참조 픽쳐 인덱스와 움직임 벡터를 복원한다. 그리고, 상기 참조 픽쳐 인덱스와 움직임 벡터를 이용하여 현재 블록에 대한 예측 블록을 생성한다. 소수 정밀도의 움직임 보상이 적용될 경우에는 선택된 보간 필터를 적용하여 예측 블록을 생성한다.

후처리부(270)의 동작은 도 1의 후처리부(160)의 동작과 동일하므로 생략한다.

픽쳐 저장부(280)는 후처리부(270)에 의해 후처리된 복호 영상을 픽쳐 단위로 저장한다.

도 4는 본 발명에 따른 부호화 장치(100)의 인트라 예측부(150)를 나타내는 블록도이다.

도 4를 참조하면, 인트라 예측부(150)는 참조화소 생성부(151), 참조화소 필터링부(152), 예측모드 결정부(153), 예측블록 생성부(154), 예측블록 필터링부(155) 및 예측모드 부호화부(156)를 포함한다.

참조화소 생성부(151)는 인트라 예측을 위한 참조 화소들의 생성 여부를 판단하고, 생성될 필요성이 있을 경우 참조 화소를 생성한다.

도 5는 현재 예측 단위의 인트라 예측에 사용되는 참조 화소들의 위치를 나타낸 도면이다. 도 5에 도시된 바와 같이, 현재 예측 단위의 상측 참조 화소는 현재 예측 단위의 가로 길이의 2배에 걸쳐 존재하는 화소들(영역 C, D)이고, 좌측 참조 화소들은 현재 예측 단위의 세로길이의 2배에 걸쳐 존재하는 화소들(영역 A, B)이다.

참조 화소 생성부(151)는 상기한 모든 위치의 참조화소들이 이용 가능(available)한지를 판단한다. 참조 화소의 일부가 이용 가능하지 않을 경우에는 이용 가능한 참조 화소들을 이용하여 이용 가능하지 않은 위치의 참조 화소들을 생성한다.

먼저, 부호화할 현재 예측 단위의 상측 또는 좌측 영역 중 어느 한 영역의 참조화소들이 모두 이용 가능하지 않은 경우에 대해 설명한다.

예를 들어, 현재 예측 단위가 픽쳐 또는 슬라이스의 상측 경계에 위치하는 경우에는 현재 예측 단위의 상측의 참조화소들(영역 C, D)이 존재하지 않는다. 마찬가지로, 현재 예측 단위가 픽쳐 또는 슬라이스의 좌측 경계에 위치하는 경우에는 좌측의 참조 화소들(영역 A, B)이 존재하지 않는다. 이와 같이 어느 한쪽의 참조화소들이 이용 가능하지 않을 경우, 가장 인접한 이용 가능한 참조 화소를 복사하여 참조 화소를 생성할 수 있다. 전자의 경우, 가장 인접한 이용 가능한 참조 화소는 좌측 가장 위쪽의 참조화소(즉, 영역 A의 가장 위쪽 참조화소)이다. 후자의 경우, 가장 인접한 이용 가능한 참조 화소는 상측 가장 왼쪽의 참조화소(즉, 영역 C의 가장 왼쪽의 참조화소)이다. 상기한 방식의 적용은 default 일 수 있으나, 필요한 경우, 시퀀스 단위, 화면단위 또는 슬라이스 단위마다 적응적으로 적용될 수도 있다.

다음으로, 부호화할 현재 예측 단위의 상측 또는 좌측의 참조 화소들 중 일부분이 이용 가능하지 않은 경우에 대해 설명한다. 이용 가능하지 않은 참조화소를 기준으로 1) 한쪽 방향으로만 이용 가능한 참조 화소들이 존재하는 경우와, 2) 양쪽 모두 이용 가능한 참조 화소들이 존재하는 경우의 2가지가 존재한다.

1)의 경우에 대해 설명한다.

예를 들어, 현재 예측 단위가 픽쳐 또는 슬라이스의 우측 경계, 또는 최대 부호화 단위의 우측 경계에 위치하는 경우에는 영역 D의 참조화소들이 이용 가능하지 않다. 마찬가지로 현재 예측 단위가 픽쳐 또는 슬라이스의 아래측 경계 또는 최대 부호화 단위의 아래측 경계에 위치하는 경우에는 영역 B의 참조화소들이 이용 가능하지 않다.

이 경우에는 가장 가까운 위치에 존재하는 이용 가능한 참조 화소들을 복사하여 참조 화소들을 생성할 수 있다. 또 다른 방법으로 가장 가까운 위치에 존재하는 복수개의 이용 가능한 참조 화소들을 참조 화소들을 생성할 수도 있다.

2)의 경우에 대해 설명한다.

예를 들어, 현재 예측 단위가 슬라이스의 상측 경계에 위치하고, 상기 현재 예측 단위의 우상측 예측 단위가 이용 가능한 경우, 현재 예측 단위의 영역 C에 대응하는 참조 화소들은 이용 가능하지 않지만, 영역 A 및 영역 D에 위치하는 참조화소들은 이용 가능하다. 이와 같이 양쪽 모두 이용 가능한 참조화소가 존재하는 경우에는, 각 방향으로 가장 가까운 위치에 존재하는 이용 가능한 참조화소 1개씩을 선택하여, 이들(즉, 영역 A의 가장 위쪽 참조화소와 영역 D의 가장 왼쪽 참조화소)을 이용하여 이용 가능하지 않은 위치의 참조화소들을 생성한다.

상기 2개 참조 화소(각 방향으로 가장 가까운 위치에 존재하는 화소)의 반올림한 평균값을 참조화소값으로 생성할 수도 있다. 그러나, 이용 가능하지 않은 참조화소 영역이 큰 경우에는 이용 가능한 화소와 생성된 화소 사이의 단차가 발생할 가능성이 크므로, 선형 보간 방법을 사용하여 참조 화소를 생성하는 것이 더욱 유용하다. 구체적으로 이용 가능한 2개의 참조 화소들과의 위치를 고려하여 현재 위치의 이용 가능하지 않은 참조 화소를 생성할 수 있다.

다음으로, 부호화할 현재 예측 단위의 상측 및 좌측의 참조 화소들 모두가 이용 가능하지 않는 경우에 대해 설명한다. 예를 들어, 현재 예측 단위가 픽쳐 또는 슬라이스 좌상측 경계에 인접하는 경우에는 이용 가능한 참조화소들이 존재하지 않는다.

이러한 경우에는 현재 예측 단위의 내부에 존재하는 2개 이상의 화소들을 이용하여 일부 또는 전부의 참조화소들을 생성할 수 있다. 상기 참조화소를 생성하기 위해 사용되는 현재 예측 단위의 내부에 존재하는 화소의 수는 2 또는 3일 수 있다.

도 6은 본 발명에 따른 참조화소를 생성하는 방식을 나타낸 도면이다.

도 6을 참조하여, 2개의 화소를 이용할 경우에 대해 먼저 설명한다. 현재 예측 단위의 좌상측 화소(○)과 다른 하나의 화소를 이용하는 경우이다. 다른 하나의 화소는 우상측 화소(□), 좌하측 화소(△), 우하측 화소(▽)일 수 있다. 현재 예측 단위의 좌상측 화소(○)과 우상측 화소(□)을 사용할 경우에는 상기 좌상측 화소와 우상측 화소는 대응하는 상측 위치로 복사하고, 상기 복사된 좌상측 화소와 우상측 화소를 이용하여 그 사이의 영역(영역 C)의 참조 화소들을 생성한다. 상기 생성되는 참조화소들은 상기 2개의 참조화소(복사된 좌상측 화소와 우상측 화소)들의 반올림한 평균값을 또는 선형 보간 방법에 생성된 값일 수 있다. 우상측 화소(□)을 복사하거나 복수개의 상측 생성 참조화소들을 이용하여 영역 D의 참조화소들을 생성한다. 현재 예측 단위의 좌상측 화소(○)과 좌하측 화소(△)을 사용할 경우에도 위와 동일한 방식을 적용한다. 현재 예측 단위의 좌상측 화소(○)과 우하측 화소(▽)을 사용할 경우에는 우하측 화소 화소(▽)을 수평방향 및 수직방향으로 동일한 위치의 참조 화소 위치로 복사한다. 그리고 그 이후의 참조화소 생성방식은 위와 동일한 방식을 적용한다.

3개의 화소를 이용할 경우에 대해 먼저 설명한다. 현재 예측 단위의 좌상측 화소(○), 우상측 화소(□), 좌하측 화소(△)을 이용할 수 있다. 이 경우, 각각의 화소를 대응하는 참조화소 위치로 복사한 후, 상기 화소들을 이용하여 나머지 참조화소들을 생성한다. 상기 나머지 참조화소들의 생성방식은 위의 2개의 화소를 이용하는 경우와 동일하다.

한편, 상기와 같은 방식을 이용할 경우, 참조 화소 생성에 이용된 현재 예측 단위의 내부의 화소들은 복호기로 전송되어야 한다. 이 경우, 정보 전송량을 줄이기 위해 좌상측 화소(○) 이외의 값은 좌상측 화소(○)과의 차이값을 전송한다. 또한, 상기 참조화소 생성에 이용된 좌상측 화소값은 양자화된 값일 수 있고, 엔트로피 부호화되어 전송될 수도 있다.

상기한 현재 예측 단위의 내부에 존재하는 2개 이상의 화소들을 이용하여 참조화소들을 생성하는 방법은 슬라이스 타입이 인트라(I)인 경우에 효과적이다.

부호화할 현재 예측 단위의 상측 및 좌측의 참조 화소들 모두가 이용 가능하지 않는 경우의 참조화소를 생성하는 또 다른 방법에 대해 설명한다. 이 방식은 슬라이스 타입이 인트라(I)가 아닌 경우에 효과적이다.

먼저, 현재 블록의 이전에 부호화된 참조 픽쳐 내에, 현재 예측 단위의 참조화소들의 위치와 동일한 위치에 화소들이 존재하는지를 판단한다. 존재할 경우, 상기 참조 픽쳐 내의 화소들을 복사하여 현재 예측 단위의 참조화소를 생성한다.

존재하지 않을 경우, 이전에 부호화된 참조 픽쳐 내에, 현재 예측 단위의 참조화소들의 위치와 가장 가까운 위치(1화소 떨어져 있는 위치)에 화소들이 존재하는지를 판단하고, 존재하는 경우 이들을 복사하여 현재 예측 단위의 참조화소로 이용한다.

참조화소 필터링부(152)는 현재 예측 단위의 참조화소들을 적응적으로 필터링한다. 이는 참조화소들 사이의 화소값의 변화량을 스무딩(smoothing)하기 위한 것으로, low-pass filter를 적용한다. Low-pass filter는 3-tap 필터인 [1, 2, 1] 또는 5-tap 필터인 [1, 2, 4, 2, 1]일 수 있다.

또한, 현재 예측 단위의 크기에 따라 적응적으로 필터를 적용할 수 있다. 예를 들어, 현재 예측 단위가 소정 크기 이상인 경우에는 필터를 적용하지 않을 수도 있다. 구체적으로 현재 예측 단위의 크기가 64x64인 경우에는 필터를 적용하지 않는다.

또한, 상기 low-pass filter는 현재 예측 단위의 크기 및 인트라 예측 모드에 따라 적응적으로 적용될 수 있다.

인트라 예측 모드가 수평 또는 수직인 경우에는 예측 블록의 화소를 생성하기 위해 1개의 참조화소를 사용한다. 따라서, 이 경우에는 상기 필터를 적용하지 않는다. 또한, 인트라 예측 모드가 DC인 경우에는 참조화소의 평균값을 이용하므로, 참조화소들 간의 단차에 영향을 받지 않는다. 따라서, DC 모드인 경우에도 필터를 적용하지 않는다.

반면에, 인트라 예측 방향이 수평 또는 수직 방향에 대해 45° 기울어진 모드들에 대해서는 현재 예측 단위의 크기에 관계없이 필터를 적용한다. 이 경우, 미리 정해진 크기보다 작은 예측 단위에 대해서는 제1 필터를, 미리 정해진 크기 이상의 예측 단위에 대해서는 스무딩 효과가 더 큰 제2 필터를 사용할 수 있다. 상기 미리 정해진 크기는 16x16일 수 있다.

한편, 예측 블록의 화소를 생성하기 위해 적어도 2개 이상의 참조 화소들을 사용하는 상기 언급한 모드(6가지) 이외의 모드에서는 현재 예측 단위의 크기 및 인트라 예측 모드에 따라 적응적으로 적용될 수 있다. 다만, 플래너 모드에서는 참조 화소들에 대한 필터링을 수행하지 않는다.

또한, 상기 선형결합에 의해 생성된 참조 화소들에 대해서는 필터를 적용하지 않을 수 있다.

예측블록 생성부(153)는 인트라 예측 모드에 대응하는 예측 블록을 생성한다. 상기 예측 블록은 인트라 예측 모드에 기초하여 참조 화소들 또는 참조화소들의 선형결합을 이용하여 생성한다. 예측 블록을 생성하기 위해 사용되는 상기 참조화소들은 참조화소 필터링부(152)에 의해 필터링된 참조 화소들일 수 있다.

예측블록 필터링부(154)는 예측블록 생성부(153)에 의해 생성된 예측 블록을 사용된 인트라 예측 모드에 따라 적응적으로 필터링한다. 상기 동작은 생성된 예측 블록과 부호화할 현재 예측 단위의 잔차신호를 최소화하기 위한 것이다. 즉, 참조화소들과 인접하는 예측 블록 내의 화소 사이의 차이값은 인트라 예측 모드에 따라 달라질 수 있다. 따라서, 단차를 많이 발생시키는 인트라 예측 모드에 의해 생성된 예측 블록 내의 화소들을 필터링하면 잔차를 줄일 수 있다.

DC 모드의 경우, 예측 블록이 참조화소들의 평균값으로 이루어지기 때문에 참조화소들과 인접하는 예측 블록 내의 화소 사이에는 단차가 발생할 수 있다. 따라서, 참조화소들과 인접하는 예측 블록 내의 상측 라인의 화소들 및 좌측 라인의 화소들은 참조화소들을 이용하여 필터링한다. 구체적으로, 예측 블록 내의 좌상측 코너에 위치하는 화소는 인접하는 참조화소가 2개(상측 참조화소와 좌측 참조화소)이므로, 3-tap 필터를 이용하여 상기 좌상측 코너의 화소를 필터링(또는 스무딩)한다. 그리고, 그 이외의 화소들(즉, 예측 블록 내의 상측 라인의 화소들 및 좌측 라인의 화소들)은 인접하는 참조화소가 1개이므로 2-tap 필터를 이용하여 필터링한다.

예측모드 결정부(153)는 참조 화소들을 이용하여 현재 예측 단위의 인트라 예측 모드를 결정한다. 예측모드 결정부(153)는 각 인트라 예측 모드에 대한 잔차블록의 부호화량이 최소가 되는 모드를 현재 예측 단위의 인트라 예측 모드로 결정할 수 있다. 잔차 블록을 구하기 위해 각 인트라 예측 모드에 따라 예측 블록을 생성한다. 상기 예측 블록은 각 인트라 예측 모드에 따라 참조화소 필터링부에 의해 필터링된 화소를 이용한 예측블록 또는 상기 생선된 예측블록을 소정의 조건에 따라 예측블록 필터링부(155)에서 필터링한 예측블록일 수 있다.

예측블록 송신부(157)은 상기 예측모드 결정부(155)에 의해 결정된 인트라 예측 모드에 대응하여 생성된 예측 블록을 감산부(190)로 송신한다.

예측 모드 부호화부(156)는 예측모드 결정부(155)에 의해 결정된 현재 예측 단위의 인트라 예측 모드를 부호화한다. 예측 모드 부호화부(156)는 인트라 예측부(150)에 포함되어 수행될 수도 있고, 엔트로피 부호화부(140)에서 행해질 수도 있다.

예측 모드 부호화부(156)는 현재 예측 단위의 상측 인트라 예측모드와, 현재 예측 단위의 좌측 인트라 예측 모드를 이용하여 현재 예측 단위의 인트라 예측 모드를 부호화한다.

먼저, 현재 예측 단위의 상측 및 좌측 인트라 예측 모드를 유도한다. 현재 예측 단위의 상측 예측 단위가 복수개 존재하는 경우에는 미리 정해진 방향(예를 들어, 우→좌)으로 스캔하면서 유효한 첫번째 예측 단위의 인트라 예측 모드를 상측 인트라 예측 모드로 설정한다. 현재 예측 단위의 좌측 예측 단위가 복수개 존재하는 경우에도 미리 정해진 방향(예를 들어, 하→상)으로 스캔하면서 유효한 첫번째 예측 단위의 인트라 예측 모드를 좌측 인트라 예측 모드로 설정할 수 있다. 또는 복수개의 유효한 예측 단위들의 모드번호들 중 가장 작은 모드번호를 상측 인트라 예측 모드로 설정할 수도 있다.

상기 상측 인트라 예측 모드 또는 좌측 인트라 예측 모드가 유효하지 않는 경우에는 DC 모드(모드번호 2)를 상기 상측 또는 좌측 인트라 예측모드로 설정할 수 있다. 상기 상측 또는 좌측 인트라 예측 모드가 유효하지 않는 경우는 대응하는 인트라 예측 단위가 존재하지 않는 경우이다.

다음으로, 상기 상측 또는 좌측 인트라 예측 모드가 번호가 현재 예측 단위에서 허용되는 인트라 예측 모드의 수보다 크거나 같으면 상기 상측 또는 좌측 인트라 예측 모드를 미리 정해진 개수의 인트라 예측 모드들 중 하나로 변환한다. 상기 미리 정해진 개수는 현재 예측 단위의 크기에 달라 달라진다. 예를 들어, 현재 예측 단위의 크기가 4x4이면 9개의 모드들(0~8번 모드) 중 하나로 매핑하고, 현재 예측 단위의 크기가 64x64이면 3개의 모드들(0~2번 모드) 중 하나로 매핑한다. 또한, 현재 예측 단위에서 허용된 인트라 예측 모드들 중 하나로 변환할 수도 있다.

다음으로, 현재 예측 단위의 인트라 예측 모드번호가 상기 좌측 및 상측 인트라 예측 모드번호들 중 하나와 동일하면, 동일함을 나타내는 플래그와 상기 상측 및 좌측 인트라 예측 모드들 중 어느 하나를 가리키는 플래그를 전송한다. 이 경우, 상기 좌측 및 상측 인트라 예측 모드가 동일하면, 동일함을 나타내는 플래그만을 전송할 수 있다. 또한, 상기 상측 및 좌측 인트라 예측 모드들 중 어느 하나만이 유효하고 현재 블록의 인트라 예측 모드와 동일한 경우에도 상기 인접 블록의 모드와 동일함을 나타내는 플래그 만을 전송할 수 있다.

그러나, 현재 예측 단위의 인트라 예측 모드가 상기 좌측 및 상측 인트라 예측 모드들과 다른 모드일 경우에는, 현재 예측 단위의 인트라 예측 모드 번호와 상기 좌측 및 상측 인트라 예측 모드 번호들과 비교한다. 좌측 및 상측 인트라 예측 모드 번호 중 현재 예측 단위의 인트라 예측 모드 번호보다 크지 않는 경우의 수를 계산하고, 현재 예측 단위의 인트라 예측 모드 번호를 상기 경우의 수만큼 감소시킨 값을 전송할 현재 예측 단위의 최종 인트라 예측 모드로 결정한다. 여기서, 좌측 및 상측 인트라 예측 모드 번호가 동일할 경우에는 1개로 취급한다.

상기 상측 및 좌측 인트라 예측 모드가 동일한지 여부에 따라, 상기 결정된 최종 인트라 예측 모드를 엔트로피 부호화하기 위한 테이블이 결정된다.

도 7은 본 발명에 따른 복호화 장치(200)의 인트라 예측부(250)를 나타내는 블록도이다.

본 발명에 따른 인트라 예측부(250)는 예측모드 복호화부(251), 참조화소 생성부(252), 참조화소 필터링부(253), 예측블록 생성부(254), 예측블록 필터링부(255) 및 예측 블록 송신부(256)를 포함한다.

예측모드 복호화부(251)는 다음의 과정을 통해 현재 예측 단위의 인트라 예측 모드를 복원한다.

수신된 부호화 단위 내의 부가정보 콘테이너에 포함된 예측 블록을 생성하기 위한 부가정보를 수신한다. 상기 부가정보는 예측 가능 플래그와 잔여 예측 모드 정보를 포함한다. 예측 가능 플래그는 현재 예측 단위의 인접 예측 단위의 어느 하나의 인트라 예측 모드와 동일한지 여부를 나타낸다. 잔여 예측 모드 정보는 예측 가능 플래그에 따른 다른 정보를 포함한다. 예측 가능 플래그 값이 1이면, 잔여 예측 모드 정보는 예측 모드 후보자 인덱스를 포함할 수 있다. 상기 예측 모드 후보자 인덱스는 인트라 예측 모드 후보자를 지정하는 정보이다. 예측 가능 플래그 값이 0이면, 잔여 예측 모드 정보는 잔차 인트라 예측 모드번호를 포함한다.

현재 예측 단위의 인트라 예측 모드 후보자를 유도한다. 상기 인트라 예측 모드 후보자는 인접 예측 단위의 인트라 예측 모드를 유도한다. 여기서는 편의상 현재 예측 단위의 인트라 예측 모드 후보자를 상측 및 좌측 인트라 예측 모드로 한정하여 설명한다. 현재 예측 단위의 상측 또는 좌측 예측 단위가 복수개 존재하는 경우에는 상기한 부호화 장치(100)의 예측모드 부호화부(156)와 동일한 방법으로 현재 예측 단위의 상측 및 좌측 인트라 예측 모드를 유도한다. 그리고, 상기 상측 또는 좌측 인트라 예측 모드가 번호가 현재 예측 단위에서 허용되는 인트라 예측 모드의 수보다 크거나 같으면 예측모드 부호화부(156)와 동일한 방법으로 변환한다.

다음으로, 수신된 예측 가능 플래그가 인접 예측 단위의 인트라 예측 모드와 동일함을 나타내면, 상기 예측 모드 후보자 인덱스가 존재하면, 상기 예측 모드 후보자 인덱스가 나타내는 예측 모드를 현재 예측 단위의 인트라 예측 모드로 결정한다.

수신된 예측 가능 플래그가 인접 예측 단위의 인트라 예측 모드와 동일함을 나타내지만, 상기 예측 모드 후보자 인덱스가 존재하지 않고, 인접 예측 단위의 유효한 인트라 예측 모드가 1개인 경우에는 이를 현재 예측 단위의 인트라 예측 모드로 복원한다.

수신된 예측 가능 플래그가 인접 예측 단위의 인트라 예측 모드와 동일하지 않음을 나타내면, 수신된 잔차 인트라 예측 모드값과 상기 유효한 인트라 예측 모드 후보자들의 인트라 예측 모드 번호를 비교하여 현재 예측 단위의 인트라 예측 모드를 복원한다.

참조화소 생성부(252)는 부호화 장치(100)의 참조화소 생성부(151)와 동일한 방법으로 참조화소를 생성한다. 다만, 참조화소 생성부(252)는 예측모드 복호화부(251)에 의해 복원된 인트라 예측 모드에 따라 적응적으로 참조화소를 생성하는 점에서 부호화 장치(100)의 참조화소 생성부(151)와 다르다. 즉, 참조화소 생성부(252)는 복원된 인트라 예측 모드를 이용하여 예측 블록을 생성하는데 사용될 참조 화소들이 유효하지 않은 경우에만 참조화소를 생성한다.

참조화소 필터링부(253)는 예측모드 복호화부(251)에 의해 복원된 인트라 예측 모드에 및 현재 예측 단위의 크기 정보에 기초하여 참조화소들을 적응적으로 필터링한다. 필터링 조건 및 필터는 부호화 장치(100)의 참조화소 필터링부(152)의 필터링 조건 및 필터와 동일하다.

예측블록 생성부(254)는 예측모드 복호화부(251)에 의해 복원된 인트라 예측 모드에 따라, 참조화소들을 이용하여 예측 블록을 생성한다. ,

예측블록 필터링부(255)는 예측모드 복호화부(251)에 의해 복원된 인트라 예측 모드에 따라 적응적으로 필터링한다. 상기 동작은 부호화 장치(100)의 예측블록 필터링부(154)와 동일하다.

예측 블록 송신부(256)는 상기 예측모드 생성부(254) 또는 상기 예측블록 필터링부(255)로부터 수신된 예측 블록을 가산기(290)로 전송한다.

Claims (3)

1. 영상 부호화 장치로부터 수신된 비트 스트림으로부터 1차원의 양자화 변환 계수, 인트라 예측 모드 및 맵 정보를 복원하는 엔트로피 복호화부;
   상기 1차원의 양자화 변환 계수를 역스캔하여 양자화 블록을 생성하는 역스캐닝부;
   상기 양자화 블록을 역양자화하여 변환 블록을 생성하는 역양자화부;
   상기 변환 블록을 역변환하여 잔차 블록을 생성하는 변환복호화부;
   상기 인트라 예측 모드에 따라 예측 블록을 생성하는 인트라 예측부; 및
   상기 잔차 블록과 상기 예측 블록을 더하여 원 블록을 생성하는 가산부;를 포함하고,
   상기 변환 블록의 크기가 8x8이면, 상기 역스캐닝부는 상기 인트라 예측 모드에 따라 결정된 스캔 패턴을 이용하여 상기 1차원의 양자화 변환 계수를 역스캔하여 복수 개의 서브셋들을 생성하고, 상기 인트라 예측 모드에 따라 결정된 스캔 패턴을 이용하여 상기 복수 개의 서브셋들을 역스캔하여 상기 양자화 블록을 생성하며,
   상기 1차원의 양자화 변환 계수를 역스캔하여 상기 복수 개의 서브셋들을 생성하기 위한 스캔 패턴과 상기 복수 개의 서브셋들을 역스캔하여 상기 양자화 블록을 생성하기 위한 스캔 패턴은 동일하고,
   상기 맵 정보를 역스캔하여 상기 양자화 블록 내의 계수가 0인지 여부를 나타내는 플래그를 복원하기 위한 스캔 패턴은 상기 1차원의 양자화 변환 계수를 역스캔하여 상기 복수 개의 서브셋들을 생성하기 위한 스캔 패턴과 동일하고,
   상기 인트라 예측부는,
   참조 화소가 존재하지 않으면 이용가능한 참조 화소를 이용하여 참조 화소를 생성하는 참조 화소 생성부;
   현재 블록의 인트라 예측 모드와 크기 정보를 기초로 상기 현재 블록에 인접한 참조 화소들을 적응적으로 필터링하는 참조 화소 필터링부; 및
   상기 인트라 예측 모드에 따라 상기 현재 블록의 예측 블록을 생성하는 예측 블록 생성부;를 포함하는 것을 특징으로 하는 영상 복호화 장치.
2. 제1항에 있어서,
   상기 인트라 예측 모드가 수평 모드이면, 상기 1차원의 양자화 변환 계수를 역스캔하여 상기 복수 개의 서브셋들을 생성하기 위한 스캔 패턴은 수직 스캔인 것을 특징으로 하는 영상 복호화 장치.
3. 제1항에 있어서, 상기 1차원의 양자화 변환 계수 및 상기 복수 개의 서브셋들은 역방향으로 역스캔되는 것을 특징으로 하는 영상 복호화 장치.

Images