KR20200077612A - 비디오 신호의 처리 방법 및 장치 - Google Patents

Abstract

본 발명은 비디오 신호를 인코딩 또는 디코딩 하는 방법 및 장치를 개시한다. 본 발명에 따른 비디오 신호 처리 방법에서는 하나의 유닛을 다시 복수의 유닛으로 재귀적으로 분할하는 구조를 이용하여 처리 효율을 높일 수 있다. 이러하게 분할될 수 있는 유닛 구조 하에서 부호화 블록 패턴 정보을 계층적으로 이용하고 효율적으로 비트를 사용 할 수 있는 방법을 제시한다. 또한 레지듀얼 데이터의 공간적 분포 특성을 이용하여 효율적인 코딩이 가능하도록 레지듀얼 데이터를 재배열 한다.

Description

비디오 신호의 처리 방법 및 장치{PROCESSING METHOD AND DEVICE FOR VIDEO SIGNALS}

본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.

압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다.

본 발명의 목적은 코딩, 예측, 변환 등에 사용하는 유닛을 계층적으로 코딩에 적합한 형태로 분할하여 비디오 신호를 효율적으로 처리함에 있다.

본 발명의 또다른 목적은 비디오 신호의 코딩에 있어서 스킵 모드를 효율적으로 사용하기 위한 방법 및 그에 따른 신택스 구조를 제안함에 있다. 스킵 모드가 적용된 유닛의 일부분에 대하여도 코딩 정보를 전송함으로써 보다 정확한 예측이 가능하게 한다.

본 발명의 또다른 목적은 레지듀얼 신호의 공간적 분포 특성을 이용하여 코딩 효율을 높이는데 있다.

본 발명의 또다른 목적은 변환 유닛을 계층적으로 분할하는 과정에 있어서 부호화 블록 패턴 정보를 효율적으로 전송하는 방법을 제공하는데 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로써, 본 발명에 따른 비디오 신호의 처리 방법은 하나의 코딩 유닛을 다시 여러 개의 코딩 유닛으로 재귀적으로 분할하는 구조 및 그 방법을 이용한다. 또한 이러한 분할 방법에 있어서 코딩 유닛의 최소 사이즈에 포함되지 않는 가장자리 영역에 대한 처리 방법을 제시한다.

본 발명에 따른 비디오 신호의 처리 방법은 스킵 모드를 사용하는 코딩 유닛에 있어서, 경우에 따라 일정 영역에 대하여 코딩 정보를 전송할 수 있도록 하며, 이를 위한 방법 및 신택스 구조를 제시한다.

본 발명에 따른 비디오 신호의 처리 방법은 레지듀얼 데이터의 코딩에 있어서, 레지듀얼 데이터의 공간적 분포 특성을 이용하여 효율적인 코딩이 가능하도록 레지듀얼 데이터를 재배열 하는 방법을 제시한다. 또한, 비슷한 특성을 가진 레지듀얼 신호끼리의 변환이 가능하도록 변환 유닛을 적용하는 방법을 제시한다.

본 발명에 따른 비디오 신호의 처리 방법은 계층적으로 분할될 수 있는 유닛 구조 하에서 부호화 블록 패턴 정보에 대하여, 계층적인 구조를 이용하고 효율적으로 비트를 사용 할 수 있는 방법을 제시한다.

본 발명은 다음과 같은 효과와 이점을 제공한다.

첫째, 영상 신호의 처리에 있어서, 고정된 크기가 아닌 다양한 크기의 코딩 유닛을 이용함으로써 코딩의 효율을 높일 수 있다.

둘째, 영상의 가장자리 부분에서 패딩 없이도 코딩이 가능하도록 영상을 분할함으로써 불필요한 코딩 과정이나 추가적인 정보의 제공을 줄여 코딩 효율을 높일 수 있다.

셋째, 스킵 모드를 이용함에 있어서, 스킵 모드 코딩 영역 내에서 필요한 경우 일정 영역에 대하여 추가적으로 코딩 정보를 제공할 수 있도록 함으로써, 보다 정확한 예측을 가능하게 할 수 있다.

넷째, 레지듀얼 데이터의 코딩 과정에 있어서, 레지듀얼 데이터의 공간적 분포 특성을 이용하여 재배열하거나, 공간적 특성에 적합한 변환 유닛의 크기를 사용함으로써, 하나의 변환 유닛 안에서는 유사한 특성의 레지듀얼 데이터끼리 변환 될 수 있도록 한다.

다섯째, 재귀적으로 분할이 가능한 유닛 구조에 있어서, 특정 정보, 특히 부호화 블록 패턴 정보를 계층적으로 이용할 수 있도록 한다. 이러한 정보 이용에 있어서 비트 수를 효율적으로 활용하는 다양한 방법을 제시하여 코딩 효율을 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치의 개략적인 블록도.
도 3은 본 발명의 실시 예에 따라 유닛을 분할하는 일 예를 도시한 도면.
도 4는 도 3의 분할 구조를 계층적으로 나타내는 방법에 대한 일 실시예를 도시한 도면.
도 5는 본 발명의 일 실시에에 따라 예측 유닛 내에서의 다양한 분할 형태를 도시한 도면.
도 6a 내지 6c는 스킵 모드를 적용한 예측 유닛에서 일부 영역을 코딩하는 방법의 여러가지 실시 예를 도시한 도면.
도 7a 내지 7c는 본 발명의 실시예에 따라 코딩된 영역의 위치 및 크기를 나타내는 여러 가지 실시 예를 도시한 도면.
도 8은 레지듀얼 신호를 생성하는 과정 및 레지듀얼 신호의 공간적 분포 특성을 나타낸 도면.
도 9a는 본 발명의 일 실시예에 따라 레지듀얼 재배열 유닛이 포함된 인코더의 변환부 및 레지듀얼 역재배열 유닛이 포함된 인코더의 역변환부를 나타낸 블록도.
도 9b는 본 발명의 일 실시예에 따라 레지듀얼 역재배열 유닛이 포함된 디코더의 역변환부를 나타낸 블록도.
도 10은 본 발명의 일 실시예에 따라 레지듀얼 재배열 전후의 분포를 도시한 도면.
도 11a 내지 11d는 본 발명의 일 실시예에 따라 영상의 특성에 따라서 블록을 나누는 방법 및 재배열 과정에 대한 여러가지 실시예를 설명하기 위한 도면.
도 12a 내지 12b는 본 발명의 실시예에 따라 다른 크기의 변환 유닛을 사용하는 경우의 변환 유닛 할당의 일 실시예.
도 13은 코딩 유닛 내에서 각각 다른 모드로 분할된 예측 유닛 및 그 가장자리 영역을 도시하는 도면.
도 14는 기존의 H.264/AVC 코덱에서 매크로 블록에서의 부호화 블록 패턴을 표시하는 방법을 도시한 도면.
도 15a 내지 18은 본 발명의 실시예에 따라 하나의 코딩 유닛이 다시 여러 개의 코딩 유닛으로 분할되는 경우에 있어서, 계층적으로 부호화 블록 패턴을 표시하는 방법에 대한 여러가지 실시예 를설명하기 위한 도면.

발명의 실시를 위한 최선의 형태

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 처리 방법은 변환 유닛이 분할 되었는지 여부를 나타내는 분할 정보를 획득한다. 만약, 상기 분할 정보가 변환 유닛이 분할 되지 않았음을 나타내는 경우에는, 상기 변환 유닛에 대한 부호화 블록 패턴 정보를 획득하고, 상기 부호화 블록 패턴 정보에 기반하여 상기 변환 유닛을 역변환 하게 된다, 여기에서 부호화 블록 패턴 정보는 상기 변환 유닛이 적어도 하나 이상의 0이 아닌 변환 계수 레벨을 포함하는지 여부를 나타내는 정보를 나타낼 수 있다.

또한 본 발명에 따른 비디오 신호 처리 방법에서는, 상기 분할 정보가 변환 유닛이 분할 되었음을 나타내는 경우, 상기 변환 유닛은 복수개의 하위 계층 변환 유닛으로 분할되는 단계를 더 포함할 수 있다. 하위 계층 변환 유닛의 너비 및 높이는 상기 변환 유닛의 너비 및 높이의 절반 일 수 있다.

또한 본 발명에 따른 비디오 신호 처리 방법에서는, 상기 분할 정보가 상기 변환 유닛이 분할 되었음을 나타내는 경우, 상기 변환 유닛에 대한 부호화 블록 패턴 정보를 획득하는 단계를 더 포함할 수 있고, 이 때 상기 변환 유닛의 부호화 블록 패턴 정보는 상기 변환 유닛이 0이 아닌 변환 계수 레벨를 포함하는 상기 하위 계층 변환 유닛을 적어도 하나 이상 포함하는지의 여부를 나타낼 수 있다.

또한 본 발명에 따른 비디오 신호 처리 방법에서는, 상기 분할 정보는, 상기 변환 유닛의 위치, 상기 변환 유닛의 크기 및 영상 크기 중 어느 하나의 정보를 사용하여 상기 변환 유닛이 분할 될 수 있는지 여부를 확인하여 변환 유닛이 분할될 수 있는 경우에만 획득될 수 있다.

본 발명에 따른 비디오 신호 처리 방법에서의 부호화 블록 패턴 정보는 휘도 신호 및 색차 신호에 대하여 각각 획득될 수 있다.

본 발명에 따른 비디오 신호 처리 방법에서의 역변환된 변환 유닛은 레지듀얼 신호를 포함하고, 레지듀얼 신호를 기 정해진 순서에 따라 재배열하는 단계를 더 포함할 수 있다.

발명의 실시를 위한 형태

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있고, 기재되지 않은 용어라도 하기 취지에 따라 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛'은 영상 처리의 기본 단위 또는 영상의 특정 위치를 지칭하는 의미로 사용되었으며, 경우에 따라서는 '블록' 또는 '영역' 등의 용어와 서로 혼용하여 사용될 수 있다. 또한 본 명세서에서 유닛에는 코딩 유닛, 예측 유닛, 변환 유닛을 모두 포함하는 개념으로 사용될 수 있다.

도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 크게 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.

변환부(110)는 입력 받은 비디오 신호에 대한 화소값을 변환하여 변환 계수 값을 획득한다. 예를 들어, 이산 코사인 변환(DCT: Discrete Cosine Transform) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 특히 이산 코사인 변환은 입력된 영상 신호를 일정 크기의 블록 형태로 나누어 변환을 수행하게 된다. 변환에 있어서 변환 영역 내의 값들의 분포와 특성에 따라서 코딩 효율이 달라질 수 있다. 따라서 본 발명의 일 실시예에 따르면 변환 효율을 높이기 위하여 변환 과정에 있어서 데이터의 배치 또는 변환 영역의 크기를 조절할 수 있다. 이러한 방법과 관련하여서는 도 8내지 12b를 참조하여 후에 자세하게 설명하도록 한다.

양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 원래의 화소값을 복원한다.

필터링부(130)는 복원된 영상의 품질 개선을 위한 필터링 연산을 수행한다. 예를 들어, 디블록킹 필터 및 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 영상은 출력되거나 참조 영상으로 이용하기 위하여 저장부(156)에 저장된다.

코딩 효율을 높이기 위하여 영상 신호를 그대로 코딩하는 것이 아니라, 이미 코딩된 영역을 이용하여 영상을 예측하고, 예측된 영상에 원 영상과 예측 영상간의 레지듀얼 값을 더하여 복원 영상을 획득하는 방법이 사용된다. 인트라 예측부(152)에서는 현재 영상 내에서 화면간 예측을 수행하며, 인터 예측부(154)에서는 저장부(156)에 저장된 참조 영상을 이용하여 현재 영상을 예측한다. 인트라 예측부(152)는 현재 영상 내의 복원된 영역들로부터 화면내 예측을 수행하며, 화면내 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인터 예측부(154)는 다시 움직임 보상부(162) 및 움직임 추정부(164)를 포함하여 구성될 수 있다. 움직임 추정부(164)에서는 복원된 특정 영역을 참조하여 현재 영역의 모션 벡터값을 획득한다. 움직임 추정부(164)에서는 참조 영역의 위치 정보(참조 프레임, 모션 벡터 등) 등을 엔트로피 코딩부(160)로 전달하여 비트스트림에 포함될 수 있도록 한다. 움직임 추정부(164)에서 전달된 모션 벡터값을 이용하여 움직임 보상부(162)에서는 화면간 움직임 보상을 수행한다.

엔트로피 코딩부(160)는 양자화된 변환 계수, 화면간 부호화 정보, 화면내 부호화 정보 및 인터 예측부(154)로부터 입력된 참조 영역 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 여기서 엔트로피 코딩부(160)에서는 가변 길이 코딩(VLC: Variable Length Coding) 방식과 산술 코딩(arithmetic coding) 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(CAVLC: Context-based Adaptive Variable Length Coding) 방식이 사용될 수 있다. 산술 코딩은 연속적인 데이터 심볼들을 하나의 소수로 변환하는 데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(CABAC: Context-based Adaptive Binary Arithmetic Code)가 이용될 수 있다.

도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 크게 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230), 예측부(250)를 포함한다.

엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수, 모션 벡터 등을 추출한다. 역양자화부(220)는 엔트로피 디코딩된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 원래의 화소값을 복원한다. 본 발명의 일 실시예에 따른 인코더에서는, 코딩될 데이터를 변환 전에 있어서 공간적 분포를 재배열할 수 있는데, 만약 변환 전에 인코더에서 변환 영역내의 픽셀들이 재배열 되었다면, 이에 대한 복원 과정이 필요하다. 이에 대하여는 도 8 내지 12b를 참조하여 이하에서 자세하게 설명한다.

한편, 필터링부(230)는 영상에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필 터및/또는 영상 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 영상은 출력되거나 다음 프레임에 대한 참조 영상으로 이용하기 위하여 저장부(256)에 저장된다.

인트라 예측부(252)에서는 현재 영상 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다. 디코더의 인트라 예측부(252)에서의 동작은 상술한 인코더의 인트라 예측부(152)의 동작과 동일하다.

인터 예측부(254)는 저장부(256)에 저장된 참조 영상을 이용하여 모션 벡터를 추정하고 예측 영상을 생성한다. 인터 예측부(254)는 다시 움직임 보상부(262) 및 움직임 추정부(264)를 포함하여 구성될 수 있다. 움직임 추정부(264)에서는 현재 블록과 코딩에 사용하는 참조 프레임의 참조 블록간의 관계를 나타내는 모션 벡터를 획득하여 움직임 보상부(262)로 전달한다. 디코더의 인터 예측부(252)에서의 동작은 상술한 인코더의 인터 예측부(152)의 동작과 동일하하다.

인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측값, 및 역변환부(225)로부터 출력된 화소값이 더해져서 복원된 비디오 프레임이 생성된다.

이하에서는, 상기 인코더 장치와 디코더 장치의 동작에 있어서, 도 3 내지 도 5를 참조하여 코딩 유닛, 예측 유닛 및 변환 유닛 등을 분할하는 방법, 도 6내지 7을 참조하여 스킵 모드에서 일정 영역을 코딩하는 방법, 도 8내지 12b를 이용하여 레지듀얼 신호의 공간적 분포에 맞도록 변환하는 방법, 도 14내지 18을 참조하여 부호화 블록 패턴 정보의 계층적이고 효율적인 이용 방법에 대하여 상세하게 설명한다.

코딩 유닛이란 상기에서 설명한 비디오 신호의 처리 과정에서, 예를 들어 화면내(intra)/화면간(inter) 예측, 변환(transform), 양자화(quantization) 및/또는 엔트로피 코딩(entropy coding) 등의 과정에서 영상을 처리하기 위한 기본 단위를 의미한다. 하나의 영상을 코딩하는 데 있어서 사용되는 코딩 유닛의 크기는 일정하지 않을 수 있다. 코딩 유닛은 사각형 형태를 가질 수 있고, 하나의 코딩 유닛은 다시 여러 개의 코딩 유닛으로 분할 가능하다.

도 3은 본 발명의 실시 예에 따라 코딩 유닛을 분할하는 일 예를 나타낸 것이다. 예를 들어, 2N x 2N 크기를 가지는 하나의 코딩 유닛은 다시 네 개의 NxN 크기를 가지는 코딩 유닛으로 분할될 수 있다. 이러한 코딩 유닛의 분할은 재귀적으로 이루어질 수 있으며, 모든 코딩 유닛들이 동일한 형태로 분할 될 필요는 없다. 다만 코딩 및 처리과정에서의 편의를 위하여 코딩 유닛의 최대 크기(310) 또는 최소 크기(320)에 대한 제한이 있을 수 있다.

하나의 코딩 유닛에 대하여, 해당 코딩 유닛이 분할 되는지 여부를 나타내는 정보를 저장 할 수 있다. 예를 들어, 도 3과 같이 하나의 코딩 유닛은 4개의 정방형 코딩 유닛으로 나누어 질 수 있다고 가정하자. 도 4는 도 3에서 도시하는 코딩 유닛의 분할 구조를 0과 1을 이용하여 계층적으로 나타내는 방법에 대한 일 실시예를 도시한 것이다. 코딩 유닛의 분할 여부를 나타내는 정보는 해당 유닛이 분할 된 경우 '1', 분할 되지 않은 경우 '0'의 값으로 할당할 수 있다. 도 4에서 도시하듯이, 분할 여부를 나타내는 플래그 값이 1이면 해당 노드에 대응하는 블록은 다시 4개의 블록으로 나누어지고, 0이면 더 이상 나누어지지 않고 해당 코딩 유닛에 대한 처리 프로세스가 수행될 수 있다.

블록이 반드시 4개의 정방향 영역으로만 나누어질 수 있는 것은 아니다. 이러한 경우에는 분할 정보에 미리 정해진 분할 방식에 대한 코드를 매핑시켜서 나타낼 수 있다. 예를 들어, 해당 정보 값이 1이면 해당 블록은 2개의 수평 직사각형 서브 블록으로 나누어지고, 2이면 해당 블록은 2개의 수직 직사각형 서브 블록으로 나누어지고, 3이면 4개의 정사각형 서브 블록으로 나누어지도록 설정할 수도 있다. 이러한 방법은 분할 방식의 몇가지 실시 예를 나타낸 것으로, 본 발명을 한정하는 것은 아니다.

상기에서 설명한 코딩 유닛의 구조는 재귀적인 트리 구조를 이용하여 나타낼 수 있다. 즉, 하나의 영상 또는 최대 크기 코딩 유닛을 루트(root)로 하여, 다른 코딩 유닛으로 분할 되는 코딩 유닛은 분할된 코딩 유닛의 개수만큼의 자식(child) 노드를 가지게 된다. 따라서, 더 이상 분할되지 않는 코딩 유닛이 리프(leaf) 노드가 된다. 하나의 코딩 유닛에 대하여 정방형 분할만이 가능하다고 가정할 때, 하나의 코딩 유닛은 최대 4개의 다른 코딩 유닛으로 분할 될 수 있으므로 코딩 유닛을 나타내는 트리는 쿼드 트리(Quard tree) 형태가 될 수 있다.

인코더에서는 비디오 영상의 특성(예를 들어, 해상도)에 따라서 혹은 코딩의 효율을 고려하여 최적의 코딩 유닛의 크기를 선택하고 이에 대한 정보 또는 이를 유도할 수 있는 정보가 비트스트림에 포함될 수 있다. 예를 들면, 최대 코딩 유닛의 크기 및 트리의 최대 깊이를 정의할 수 있다. 정방형 분할을 할 경우, 코딩 유닛의 높이 및 너비는 부모 노드의 코딩 유닛의 높이 및 너비의 반이 되므로, 상기와 같은 정보를 이용하면 최소 코딩 유닛 크기를 구할 수 있다. 혹은 역으로, 최소 코딩 유닛 크기 및 트리의 최대 깊이를 미리 정의하여 이용하고, 이를 이용하여 필요할 경우에 최대 코딩 유닛의 크기를 유도하여 이용할 수 있다. 정방형 분할에서 유닛의 크기는 2의 배수 형태로 변화하기 때문에, 실제 코딩 유닛의 크기는 2를 밑으로 하는 로그 값으로 나타내어 전송 효율을 높일 수 있다.

코딩의 효율을 높이기 위한 영상 예측(모션 보상)은 더 이상 나누어지지 않는 코딩 유닛(즉 코딩 유닛 트리의 리프 노드)를 대상으로 이루어진다. 이러한 예측을 수행하는 기본 단위를 이하에서는 예측 유닛(prediction unit)이라고 한다. 예측 유닛은 다양한 형태로 분할 가능하다. 예를 들어, 정방형, 직사각형 등의 대칭적인 형태나, 비대칭적인 형태, 혹은 기하학적 형태의 서브-예측 유닛으로의 분할이 가능하다. 도 5는 예측 유닛의 분할 방법에 대한 몇가지 예를 나타낸다. 비트스트림에는 예측 유닛이 분할되었는지 여부, 혹은 어떠한 형태로 분할되었는지에 대한 정보가 포함될 수 있다. 혹은 이러한 정보는 다른 정보들로부터 유도될 수도 있다.

한편 영상에 대한 변환(예를 들어 DCT)은 예측 유닛과는 별도의 단위로 이루어진다. 이하에서는 이러한 기본 단위를 변환 유닛(Transform unit)이라고 한다. 이산 변환 등을 위하여 변환 유닛은 정방형의 형태를 가지는 것이 보통이며, 상기에서 설명한 코딩 유닛과 유사하게 재귀적으로 분할될 수 있다. 변환 유닛의 크기는 영상의 특징에 따라 가장 효율적인 크기로 정해지며, 예측 유닛보다 크거나 작을 수 있다. 다만, 일반적으로 하나의 예측 유닛은 복수개의 변환 유닛을 포함할 수 있다. 변환 유닛의 구조 및 크기도 코딩 유닛에 대하여 설명한 바와 유사하게 나타낼 수 있다. 예를 들어, 하나의 변환 유닛은 네개의 변환 유닛으로 재귀적으로 분할 될 수 있고, 이러한 변환 유닛 구조는 일종의 쿼드 트리 형태로 나타낼 수 있다. 또한 변환 유닛의 구조와 관련된 정보들은 기 설정된 변환 유닛 트리의 최대 높이(혹은 분할 깊이) 정보, 변환 유닛의 최대 크기 정보, 변환 유닛의 최소 크기 정보, 변환 유닛의 최대 크기 및 최소 크기 간의 차이 정보, 및/또는 이와 같은 값들에 대한 log 값 등과 이들을 이용하여 유도된 변환 유닛의 깊이, 변환 유닛의 크기 등으로 나타낼 수 있다. 한편, 변환 유닛의 최대 분할 깊이는 해당 유닛의 예측 모드에 따라서 달라질 수 있다. 또한 변환을 시작하는 코딩 유닛의 크기가 변환 유닛의 크기에 영향을 미칠 수 있다.

디코더에서는 현재 코딩 유닛이 분할 되었는지 여부를 나타내는 정보를 획득할 수 있다. 이러한 정보는 특정 조건 하에만 획득하게(전송되게) 하면 효율을 높일 수 있다. 예를 들어 현재 코딩 유닛이 분할 가능한 조건은 현재 위치에서 현재 코딩 유닛 크기를 더한 것이 영상의 크기보다 작고, 현재 유닛 크기가 기설정된 최소 코딩 유닛 크기보다 큰 경우이므로, 이러한 경우에만 분할 되었는지를 나타내는 정보를 획득할 수 있다.

만약 상기 정보가 코딩 유닛이 분할되었음을 나타내는 경우, 분할될 코딩 유닛의 크기는 현재 코딩 유닛의 반이 되고, 현재 처리 위치를 기준으로하여 4개의 정방형 코딩 유닛들로 분할된다. 각 분할된 코딩 유닛들에 대해서 상기와 같은 처리를 반복할 수 있다. 상기에서 언급한 바와 같이 코딩 유닛이 반드시 정방형으로만 분할되는 것은 아니다. 더 이상 분할되지 않는 코딩 유닛에 대하여는 상기에서 설명한 예측, 변환 등의 처리 과정을 수행하게 된다.

마찬가지로, 변환 유닛에 대하여도 현재 변환 유닛이 다시 분할되었는지에 대한 정보를 획득할 수 있다. 예를 들어, 이러한 정보가 해당 변환 유닛이 분할 되었음을 지시하는 경우, 해당 변환 유닛은 다시 복수개의 하위 계층 변환 유닛으로 재귀적으로 분할될 수 있다. 예를 들어, 분할 정보가 '1'인 경우, 상위 계층의 변환 유닛에 대하여 너비와 높이가 반인 네개의 하위 계층 변환 유닛으로 분할 될 수 있다. 분할 정보 획득과 관련해서도 상기 코딩 유닛에서 설명한 바와 같이 특정 조건 하에만 획득하게(전송되게) 하여 효율을 높일 수 있다. 예를 들면, 현재 위치, 현재 변환 유닛의 크기 및/또는 영상 크기 등의 정보를 사용하여 현재 변환 유닛이 분할 가능한지 여부를 확인할 수 있다. 즉 현재 변환 유닛이 분할 가능한 조건은 현재 위치에서 현재 변환 유닛 크기를 더한 것이 영상의 크기보다 작고, 현재 변환 유닛 크기가 기설정된 최소 변환 유닛 크기보다 큰 경우이므로, 이러한 경우에만 분할 되었는지를 나타내는 정보를 획득할 수 있다.

한편 이와 같이 영상을 분할 할 경우, 영상의 크기가 최소 코딩 유닛의 크기에 맞지 않는 경우가 생길 수 있다. 즉, 도 3과 같이 영상을 코딩 유닛으로 분할하여 할당할 경우에, 영상의 가장자리 부분(350)이 남게 될 수 있다. 따라서 영상의 가장자리 영역에 대해서는 남은 영역을 지정된 코딩 유닛의 크기로 맞추어주기 위한 조치가 필요하다. 일반적인 경우 영상의 크기에 맞추어 임의의 값(예를 들면, 0 또는 주변 픽셀과 같은 값)을 넣어 패딩(padding)하는 방법을 사용할 수 있다. 그러나 패딩 영역까지 코딩을 하여야 하므로 코딩 효율을 떨어뜨리고, 디코더에서는 복호화 후에 실제 이미지 영역이 아닌 패딩 부분을 크로핑(cropping) 하여야 하는 문제가 있다. 또한 크로핑을 하기 위하여 별도의 크로핑 관련 정보를 보내야 하므로 코딩 효율이 떨어질 수도 있다. 따라서 코딩 유닛으로 할당되지 않은 픽셀의 수에 의존하여 코딩 유닛 크기를 정할 필요가 있다.

본 발명의 일 실시예에 따르면, 외곽 부분에서는 최소 코딩 크기와 상관 없이 할당되지 않은 남은 픽셀 수에 의존하여 계속해서 코딩 유닛을 분할할 수 있다. 예를 들어, 최소 코딩 유닛보다 작은 n개의 픽셀이 외곽에 남았을 경우 (x0+cMin＞picWidth 또는 y0+cMin＞picHeight 인 경우, x0, y0는 현재 분할을 하는 영역의 좌측 상단의 위치 좌표를 나타내고, picWidth, picHeight는 각각 영상의 너비 및 높이이다, 단 cMin＞n)에는 코딩 유닛의 크기가 n이 될 때까지 코딩 유닛을 분할하게 된다.

본 발명의 또다른 실시예에 따르면, 나머지 픽셀 개수에 의존하여 남은 영역을 포함하는 형태의 예측 유닛으로 분할할 수 있다. 상기에서 설명한 바와 같이, 도 5는 본 발명의 일 실시예에 따라 예측 블록 내에서의 다양한 분할 형태를 도시한 도면이다. 예측 블록은 대칭적으로 분할할 수도 있지만, 비대칭적이나 기하학적 분할도 가능하다. 따라서 인코더에서는 남은 영역이 분할 영역에 적당히 포함될 수 있도록 적절한 분할 형태를 선택하게 된다. 도 5에 따르면, 분할된 가장자리 부분은 코딩을 하되, X로 표시된 영역은 실제로 데이터가 없는 부분이므로, 인코더는 이 부분을 별도로 코딩하지 않고, 아무 정보도 보내지 않는다. 따라서 디코더에서도 이 영역에 대한 불필요한 디코딩을 하지 않을 수 있다.

어떠한 형태로 분할이 되었는지에 대한 정보를 별도로 디코더에 제공할 수도 있지만, 예측 유닛의 종류는 일정한 규칙에 따라 디코더에서 유도될 수 있는 값이기 때문에 이에 대한 추가적인 정보를 제공할 필요가 없을 수 있다. 예를 들면, 이러한 것을 유도하는데는 스킵 모드인지 여부를 나타내는 정보, 예측 모드를 나타내는 정보, 인터 예측에서 코딩 유닛의 분할 방식을 나타내는 정보, 및/또는 분할된 유닛의 영역이 합쳐질 수 있는지(merge)를 나타내는 정보 등이 이용 가능하다.

이하에서는 모션 벡터 예측 및 모션 보상에 있어서 비디오 신호의 처리 방법에 대하여 설명한다.

어떤 예측 모드를 사용하는지는 헤더에 포함된 정보를 이용하여 구분할 수 있다. 예를 들어 예측 모드 정보(pred_mode)는 화면내 예측 모드(MODE_INTRA), 직접 예측 모드(MODE_DIRECT), 화면간 예측 모드(MODE_INTER), 스킵 모드(MODE_SKIP) 중 어느 하나를 나타낼 수 있다. 특정한 경우에는 예측 모드 정보를 전송하지 않고 유도함으로써 전송되는 정보의 양을 줄일 수 있다. 예를 들어 예측 모드 정보가 수신되지 않은 경우, I 픽쳐인 경우에는 예측 모드는 화면내 예측 모드만 가능하므로 화면내 예측 모드로 볼 수 있고, P 또는 B 픽쳐인 경우에는 상기 모든 모드가 적용될 수 있으므로 사전에 약속된 모드(예를 들어 스킵 모드)를 나타내는 것으로 볼 수 있다.

스킵 모드는 현재 예측 유닛을 복원함에 있어서, 현재 예측 유닛에 대한 모션 정보가 아니라 이전에 코딩된 유닛을 이용하는 방식을 의미한다. 따라서 스킵 모드일 경우에 스킵될 유닛을 나타내는 정보 외의 다른 정보(예를 들어, 모션 정보, 레지듀얼 정보 등)들은 전송되지 않는다. 이 경우 예측에 필요한 모션 정보들은 이웃의 모션 벡터들로부터 유도될 수 있다.

스킵 모드를 사용하면 이전에 코딩된 참조 픽쳐내 참조 영역의 픽셀값을 그대로 이용할 수 있다. 상기 참조 블록의 픽셀값은 모션 벡터 예측값을 이용한 모션 보상(motion compensation)이 수반된 것일 수 있다. 다만, 상기 모션 벡터 예측값을 획득함에 있어서, 모션 벡터 경쟁(motion vector competition)이 이용되는 경우 예외적으로 상기 현재 예측 블록은 모션 벡터 정보를 가질 수도 있다.

상기 현재 예측 유닛에 대한 정보가 현재 예측 블록이 스킵 모드로 코딩됨을 지시하는 경우, 이웃 블록의 모션 정보를 이용하여 상기 현재 예측 블록의 모션 정보를 유도할 수 있다. 상기 이웃 블록은 상기 현재 예측 블록에 인접한 블록을 의미할 수 있다.

예를 들어, 현재 예측 유닛의 좌측에 인접한 블록을 이웃 블록 A, 상단에 인접한 블록을 이웃 블록 B, 우측 상단에 인접한 블록을 이웃 블록 C라 하고, 각각의 모션 벡터를 mvA, mvB, mvC 라 하자. 상기 현재 예측 유닛의 모션 벡터 예측값은 상기 mvA, mvB, mvC의 수평과 수직 성분의 중앙값으로 유도될 수 있다. 상기 현재 예측 유닛의 모션 벡터 예측값이 상기 현재 예측 블록의 모션 벡터로 이용될 수 있다.

한편 현재 예측 유닛의 모션 정보는 모션 벡터 경쟁(motion vector competition) 방법을 이용하여 획득될 수도 있다. 모션 벡터 경쟁을 적응적으로 이용하기 위하여, 모션 벡터 경쟁이 이용되었는지를 나타내는 정보(motion vector competition indication information)가 슬라이스 단위 또는 예측 블록 단위로 획득될 수 있다. 예를 들어, 상기 모션 경쟁 지시 정보가 모션 벡터 경쟁이 이용됨을 특정하는 경우에는 모션 벡터 경쟁을 이용하여 모션 벡터 예측값이 획득된다. 반대로, 상기 모션 경쟁 지시 정보가 모션 벡터 경쟁이 이용되지 않는 것을을 특정하는 경우, 앞서 살펴본 바와 같이 이웃 블록의 모션 벡터로부터 모션 벡터 예측값이 획득될 수 있다.

모션 벡터 경쟁을 위하여, 현재 예측 유닛에 대한 모션 벡터 예측값 후보자(motion vector predictor candidate)이 획득될 수 있다. 상기 모션 벡터 예측값 후보자로는 상기 현재 예측 유닛에 인접한 공간적 이웃 블록의 모션 벡터가 이용될 수 있다. 예를 들어, 현재 예측 유닛의 좌측, 상단, 우측 상단에 인접한 블록의 모션 벡터가 이용될 수 있다. 또한, 현재 예측 유닛에 인접한 공간적 이웃 블록들의 모션 벡터들로부터 수평과 수직 성분의 중앙값이 유도될 수 있으며, 상기 중앙값도 모션 벡터 예측값 후보자에 포함될 수 있다. 또한, 시간적(temporal) 이웃 블록의 모션 벡터도 모션 벡터 예측값 후보자에 포함될 수도 있다. 시간적 이웃 블록의 모션 벡터는 모션 벡터 예측값 후보자로 적응적으로 이용될 수도 있다. 한편, 시간적 이웃 블록의 모션 벡터가 모션 벡터 경쟁 (motion vector competition)에 이용되는지 여부를 특정하는 시간적 경쟁 정보(temporal competition information)가 추가로 이용될 수 있다. 즉, 시간적 이웃 블록의 모션 벡터가 모션 벡터 예측값 후보자에 포함되는지 여부를 특정하는 정보일 수 있다. 따라서, 현재 예측 블록의 모션 벡터 예측값을 획득함에 있어서 모션 벡터 경쟁(motion vector competition)이 이용되는 경우에도, 상기 시간적 경쟁 정보에 기초하여 상기 시간적 이웃 블록의 모션 벡터가 모션 벡터 예측값 후보자로 이용되는 것이 제한될 수 있다. 그리고, 시간적 경쟁 정보는 모션 벡터 경쟁이 이용되는 것을 전제로 하므로, 모션 경쟁 지시 정보가 모션 벡터 경쟁이 이용됨을 지시하는 경우에 한해 상기 시간적 경쟁 정보가 획득되는 것으로 제한할 수도 있다.

위에서 설명한 여러가지 모션 벡터 예측값 후보자들을 이용하여 모션 벡터 경쟁 리스트를 생성할 수 있다. 모션 벡터 예측값 후보자는 일정한 순서로 정렬될 수 있다. 예를 들어, 상기 현재 예측 블록에 인접한 공간적 이웃 블록들의 모션 벡터들로부터 유도된 중앙값, 상기 현재 예측 블록에 인접한 공간적 이웃 블록의 모션 벡터 순으로 정렬될 수 있다. 나아가, 상기 공간적 이웃 블록의 모션 벡터는 상기 현재 예측 블록의 좌측, 상단, 우측 상단에 인접한 블록의 모션 벡터 순으로 정렬될 수 있다. 또한, 시간적 경쟁 정보에 따라 시간적 이웃 블록의 모션 벡터가 모션 벡터 예측값 후보자로 이용되는 경우, 상기 모션 벡터 경쟁 리스트의 마지막에 추가될 수 있다. 모션 벡터 경쟁 리스트내의 모션 벡터 예측값 후보자는 인덱스 정보에 의하여 특정될 수 있다. 즉, 모션 벡터 경쟁 리스트는 모션 벡터 예측값 후보자와 상기 모션 벡터 예측값 후보자에 할당된 인덱스 정보로 구성될 수 있다.

모션 벡터 예측값 후보자의 인덱스 정보 및 상기 모션 벡터 경쟁 리스트를 이용하여 상기 현재 예측 유닛의 모션 벡터 예측값을 획득할 수 있다. 상기 모션 벡터 예측값 후보자의 인덱스 정보라 함은 모션 벡터 경쟁 리스트내의 모션 벡터 예측값 후보자를 특정하는 정보를 의미할 수 있다. 상기 모션 벡터 예측값 후보자의 인덱스 정보는 예측 블록 단위로 획득될 수 있다.

이러한 스킵 모드에서는 전송해야 할 정보를 줄임으로써 효율을 높일 수 있지만, 해당 유닛에 대한 정보를 전송하지 않기 때문에 정확도를 떨어뜨릴 수 있다.

본 발명의 일 실시예에 따르면, 스킵 모드를 적용하는 유닛 내의 일부 영역에 대하여 코딩된 정보를 보낼 수 있다. 도 6a 내지 도 6c는 스킵 모드를 적용한 예측 유닛에서 일부를 코딩하는 방법의 여러가지 예를 도시한 도면이다. 도 6a 내지 도 6c를 참조하면, 코딩 영역 중 일부(610, 630, 650)에는 스킵 모드가 적용되고, 일부(620, 640, 660)는 코딩 되어, 코딩 정보가 전송될 수 있다. 이 때 코딩된 영역은 스킵 모드 외의 다른 예측 방식, 예를 들어 화면 내 또는 화면간 예측 방식 등이 적용될 수 있다.

코딩된 영역의 크기는 코딩 유닛의 크기보다는 작다. 도 6a 에서 도시하듯이 코딩된 영역이 정방형인 경우에, 코딩된 영역의 크기는, 2^N+1 (N＞1)로 나타낼 수 있다. 이러한 경우 코딩 영역에 대한 정보에서 코딩 영역의 크기는 간단하게 N으로 나타낼 수 있다. 한편, 코딩된 영역은 도 6b와 같이 직사각형 형태로도 나타낼 수 있다. 이 경우 코딩된 영역의 크기는 2^N+1 x 2^M+1 (N＞1, M＞1) 로 나타낼 수 있고, 코딩 영역 정보에서 코딩 영역의 크기는 (N, M) 으로 나타낼 수 있다. 코딩된 영역은 반드시 코딩 유닛의 가장자리에 있어야 하는 것은 아니다. 도6b 내지 C와 같이 코딩 영역의 중간 부분에 위치할 수도 있다.

이처럼 스킵 모드에서 일부를 코딩할 수 있게 할 것인지, 또한 코딩된 영역이 어느 부분인지를 정의하기 위하여는 추가적인 신택스가 필요하다. 예를 들면, 시퀀스 헤더에는 스킵 영역의 일부를 코딩하는 것을 허용할 것인지 여부를 나타내는 플래그 정보, 하나의 스킵 코딩 유닛 안에 몇 개의 코딩 영역을 허용할 것인지 나타내는 정보 등을 포함할 수 있다. 코딩 유닛 각각에 대하여는, 해당 유닛의 스킵 영역 일부에 코딩 영역이 포함되어 있는지를 나타내는 플래그, 코딩된 영역들의 수, 코딩된 영역들의 시작 위치, 코딩된 영역들의 수 등을 포함할 수 있다. 물론 이러한 정보는 스킵 모드의 일부를 코딩할 수 있는 경우에 한하여 필요할 것이다. 코딩된 영역들 각각에 대하여는, 예측 방식(예를 들면, 화면내 예측 방식 또는 화면간 예측 방식인지 여부)을 나타내는 정보, 예측 정보(모션 벡터 또는 화면내 예측 모드), 레지듀얼 데이터 등에 대한 정보가 포함될 수 있다. 특히 코딩된 영역의 위치 및 크기는 이하에서 설명하는 바와 같이 다양한 방법으로 나타낼 수 있다.

도 7a내지 도 7c는 본 발명의 실시예에 따라 코딩된 영역의 위치 및 크기를 나타내는 여러 가지 방법을 도시한 것이다. 첫번째 방법은 영역에 인덱스를 할당하여 이용하는 것이다. 도 7a를 참조하여, 코딩된 영역은 코딩 유닛 내에서 정방형으로 나누어진 4개 서브 영역 중 어느 하나에 위치한다고 하자. 나뉘어진 서브 영역들에 대해서 임의의 순서로 고유의 인덱스를 할당할 수 있다. 도 7a에 도시된 바와 같이, 좌측 상단 영역으로부터 0부터 차례대로 번호를 할당할 수 있고, 따라서 코딩된 영역(710)의 인덱스는 3으로 나타낼 수 있다. 이 경우 코딩된 영역은 코딩 영역을 사분할 한 것이므로, 코딩된 영역의 크기는 코딩 영역 크기로부터 유도될 수 있다. 만약 하나 이상의 코딩된 영역을 포함하는 경우라면 여러 개의 인덱스가 저장될 수도 있을 것이다. 본 발명의 실시예에 따르면, 반드시 사분할 영역만 이용할 수 있는 것은 아니며, 필요에 따라 다양한 방법의 미리 정해진 분할 방법 및 인덱스 할당을 이용할 수 있을 것이다. 기 정해진 분할 영역을 사용하므로 인덱스 외의 다른 정보를 전송하지 않아도 된다는 장점이 있다.

두번째 방법은, 위치 벡터 및 코딩된 영역의 크기를 전송하는 방법이다. 도 7b를 참조하면, 코딩된 영역(720)은 코딩된 영역의 좌측 상단 지점으로부터의 상대적인 위치인 위치 벡터(725)로 나타낼 수 있다. 또한 코딩된 영역의 크기는 상기에서 설명한 바와 같이 2^N+1 x 2^N+1 의 정방형 형태 또는, 2^N+1 x 2^M+1의 직사각형 형태로 나타낼 수 있으므로, N 값만 저장하거나 (N, M) 값을 저장하여 전송할 수 있다(예를 들어, 도 7b에 따르면, 코딩된 영역의 크기 N=2가 된다). 또는 특정 비율을 가지는 직사각형 형태만을 허용하면서, 대각선의 길이만을 전송하는 방법도 가능하다.

세번째 방법은, 위치 벡터의 크기를 줄이기 위하여 기준점의 인덱스 정보를 이용하는 것이다. 도 7c를 참조하면 코딩된 영역(730)의 위치는 기준 좌표의 인덱스, 해당 기준 좌표로부터의 상대적인 위치를 나타내는 위치 벡터(735)를 이용하여 나타낼 수 있다. 예를 들어, 상기 도 7a를 참조하여 설명한 바와 같이 코딩 유닛은 4개 영역으로 분할되어 각각의 영역에 대하여 인덱스를 할당할 수 있고, 코딩된 영역이 시작되는 좌측 상단 위치가 포함된 분할 영역의 좌측 상단이 기준 위치가 될 수 있다. 도 7c를 참조하면 코딩된 영역은 인덱스 2, 3인 영역에 걸쳐있고, 인덱스 2인 영역의 좌측 상단을 기준으로 (5,3) 만큼 떨어져있다. 코딩된 영역의 크기는 2³ x 2² 이다. 이러한 경우 저장되는 정보는, 기준 위치의 인덱스인 2, 기준 위치로부터의 위치 벡터 (5,3), 코딩된 영역의 크기를 나타내는 지수 값인 (2, 1) 이 된다.

현재 예측 블록이 스킵 모드로 코딩되지 않는 경우, 현재 유닛 블록은 직접 예측 모드로 코딩될 수 있다. 직접 예측 모드는 디코딩이 완료된 블록의 모션 정보로부터 현재 예측 블록의 모션 정보를 예측하는 모드를 나타낸다. 다만, 상기 현재 예측 블록은 레지듀얼를 가진다는 점에서 스킵 모드와 상이하다.

화면간(inter) 예측에는 순방향 예측(forward direction prediction), 역방향 예측(backward direction prediction) 및 쌍예측(Bi-prediction)이 있을 수 있다. 순방향 예측은 시간적으로 현재 픽쳐 이전에 표시(또는 출력)되는 1개의 참조 픽쳐를 이용한 예측이고, 역방향 예측은 시간적으로 현재 픽쳐 이후에 표시(또는 출력)되는 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1개의 모션 정보 (예를 들어 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 2개의 참조 영역을 이용할 수 있는데, 이 두개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 참조 픽쳐들은 시간적으로 현재 픽쳐 이전이나 이후 모두에 표시(또는 출력)될 수 있다. 쌍예측 방식에서는 2개의 모션 정보(예를 들어 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있다.

인터 모드로 코딩되는 예측 유닛은 임의의 파티션 (예를 들면, 대칭형, 비대칭형 또는 기하학적 형태)로 나누어질 수 있으며, 각 파티션은 상기에서 설명한 바와 같이 하나 또는 두개의 참조 픽쳐로부터 예측될 수 있다.

현재 예측 유닛의 모션 정보(motion information)는 모션 벡터 정보(motion vector information)와 참조 픽처 인덱스(reference picture index)를 포함할 수 있다. 상기 모션 벡터 정보는 모션 벡터, 모션 벡터 예측값(motion vector prediction) 또는 차분 모션 벡터(differential motion vector)를 의미할 수 있고, 상기 모션 벡터 예측값을 특정하는 인덱스 정보를 의미할 수도 있다. 차분 모션 벡터는 상기 모션 벡터와 모션 벡터와 모션 벡터 예측값 간의 차분값을 의미한다.

모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 예측 블록의 참조 블록을 획득할 수 있다. 상기 참조 블록은 상기 참조 픽쳐 인덱스를 가진 참조 픽쳐내에 존재한다. 또한, 상기 모션 벡터에 의해서 특정된 블록의 픽셀값이 상기 현재 예측 유닛의 예측값(predictor)으로 이용될 수 있다. 즉, 이전에 디코딩된 픽쳐로부터 모션을 추정하여 현재 예측 유닛의 영상을 예측하는 모션 보상(motion compensation)이 이용된다.

현재 영상을 예측하고 이에 대한 정보와 함께, 예측 영상에 대한 실제 영상의 차이값, 즉 레지듀얼 신호가 코딩되어 비트스트림에 포함된다. 도 8은 모션 보상 신호로부터 레지듀얼 신호를 생성하는 방법 및 공간적 분포 특성을 나타낸 도면이다. 레지듀얼 신호(830)는 원 신호(810) 및 모션 보상 신호(820)의 차이로써 획득된다. 이러한 레지듀얼 신호를 코딩하기 위해서는 변환(transform), 양자화(quantization)의 단계를 거치게 된다. 일반적으로, 인코더에서는 예측 값에 대한 차이를 변환 유닛의 크기에 따라서 왼쪽 상단부터 차례대로 코딩하게 된다. 디코더에서는 이를 복원하여 마찬가지 순서로 이용하게 된다.

그러나, 화면간 예측에 있어서 레지듀얼 신호의 분포(830)를 살펴보면, 도 8에서 도시하는 바와 같이 유닛의 중심에서 멀어질수록 원 신호와 예측값 간의 차이가 커지는, 즉 레지듀얼 신호의 에너지가 커지는 현상이 나타난다. 하나의 변환 유닛 안에서 큰 레지듀얼 값과 작은 레지듀얼 값이 섞이게 되면 코딩 효율이 떨어지게 된다. 따라서 본 발명의 일 실시예에 따르면, 유사한 크기의 값을 갖는, 다시 말해 에너지의 크기가 유사한 레지듀얼 신호끼리 공간적으로 인접한 위치에 있도록 재배열할 수 있다.

도 9a는 인코더(100)의 변환부(110)과 역변환부(125)에 레지듀얼 재배열 유닛(112) 또는 레지듀얼 역재배열유닛(129)가 더 포함된 것을 나타내는 블록도이고,도 9b는 디코더(200)의 역변환부(225)에 레지듀얼 역재배열 유닛(229)가 더 포함된 것을 나타낸 블록도이다. 레지듀얼 재배열 유닛(112)에서는 큰 레지듀얼 값과 작은 레지듀얼 값이 독립적으로 코딩되도록 레지듀얼 값(또는 블록)들을 재배열(reordering) 할 수 있다. 레지듀얼 역재배열 유닛(129, 229)에서는 레지듀얼 재배열 유닛의 재배열 순서와 반대로, 재배열된 레지듀얼 신호를 원 신호에 맞게 되돌린다. 본 발명의 일 실시예에 따른 인코더의 변환부(110)에서는, 레지듀얼 값의 변환 유닛(114) 이전에 레지듀얼 재배열 유닛(112)를 포함하므로써, 유사한 특성을 가진 레지듀얼 신호들끼리 공간적으로 인접한 곳에 위치하게 하여 변환시 효율을 높일 수 있게 한다. 마찬가지로 역변환부(125)에서는, 역변환 유닛(127) 다음에 역재배열 유닛(129)을 추가하여 역변환된 신호를 역재배열하여 원래 신호의 공간적 순서로 되돌린다. 이 때의 역재배열은 인코더의 변환부에서 재배열한 순서를 역으로 이용하게 된다.

본 발명의 일 실시예에 따른 디코더의 역변환부(225)에서는, 인코더의 역변환부와 동일하게 역변환 유닛(227)에서 입력 신호를 변환한 결과를 얻고, 역재배열 유닛(229)에서 이를 인코더에서 재배열한 과정의 역순으로 배열하여 원래의 영상 순서를 얻게 된다.

도 10은 본 발명의 일 실시예에 따른 레지듀얼 값 재배열 후의 분포를 도시한 것이다. 예를 들어, 도 10은 2N x 2N 레지듀얼 영상을 NxN의 변환 유닛을 이용하여 변환하는 경우에 레지듀얼 값 분포를 나타낸다. 도 10에서 영역 1, 4, 5, 8부분은 높은 레지듀얼 값을 갖는 부분이고, 영역 2, 3, 6, 7 은 낮은 레지듀얼 값을 갖는 부분이다. 하나의 변환 유닛의 크기가 NxN이라고 하면 레지듀얼 값 특성이 다른 영역 1 과 2 는 같은 으로 함께 변환되게 된다. 영역 3과 4, 영역 5와 6, 및 영역 7과 8도 마찬가지로 그러하다. 따라서 본 발명의 일 실시예에 따르면, 이들의 순서를 도 10의 오른쪽 부분과 같이 재배열 한다. 따라서 낮은 레지듀얼 값을 가지는 영역 2와 3, 및 영역 6과 7, 높은 레지듀얼 값을 가지는 영역 1과 4, 및 영역 5와 8이 각각 하나의 변환 유닛으로 코딩될 수 있다. 다만 여기에서 도 10에서 도시하는 재배열 방법은 본 발명의 일 실시 예를 나타낸 것에 불과하며, 본 발명을 한정하는 것이 아니다. 따라서 도 10과 같은 형태 외에도 동일한 성격의 레지듀얼 값들이 하나의 변환 유닛 안에 들어가는 다양한 형태의 재배열이 가능하다.

도 11a 내지 도 11d는 본 발명의 일 실시예에 따른 영상의 특성에 따라서 블록을 나누는 방법 및 재배열 과정에 대한 여러가지 실시예를 설명하기 위한 것이다. 도 11a내지 도 11d에서 하나의 작은 정사각형은 픽셀 하나를 나타내고, 도 10을 참조하여 설명한 바와 같이, 그 값의 특성에 따라 도 11a에서 도시하는 8개의 블록으로 나누어질 수 있다. 이하에서는 표기의 편의를 위하여 도 10에 대응하는 영역 부호를 이용하도록 한다.

도 11b는 본 발명의 일 실시예에 따른 재배열 방법을 나타낸 것이다. 도 11b에 따르면, 도 11b에서 나누어진 블록의 모양을 유지하면서, 나누어진 조각 블록의 회전 또는 대칭 등을 이용하여 하나의 변환 유닛의 크기에 맞는 블록을 만든다. 도 11b의 영역 1은 도 11a의 영역 3, 도 11b의 영역 2는 도 11a의 영역 2, 도 11b의 영역 3은 도 11a의 영역 7, 도 11b의 영역 4는 도 11a 의 영역 6, 도 11b의 영역 5는 도 11a의 영역 1, 도 11b의 영역 6은 도 11a의 영역 4, 도 11b의 영역 7은 도 11a의 영역 1, 및 도 11b의 영역 8은 도 11a의 영역 8에 각각 대응된다.

한편, 나뉘어진 블록의 모양이 반드시 유지될 필요는 없다. 도 11c 는 본 발명의 또다른 실시예에 따라, 분할된 삼각형 모양의 영역을 변환 유닛의 사각형 영역에 맞도록 적절하게 변환하는 과정을 나타낸다. 도 11a의 영역 2와 3에 대하여 도 11c의 영역 1과 2에 일정 순서대로 픽셀이 채워질 수 있다. 나머지 영역들, 즉 도 11a의 영역 6과 7은 도 11c의 영역 3과 4에, 도 11a의 영역 1과 4는 도 11c의 영역 5과 6에, 마지막으로 도 11a의 영역 5와 8은 도 11c의 영역 7과 8에 각각 채워질 수 있을 것이다.

도 11d는 본 발명의 또다른 실시예에 따라 마름모 모양의 영역을 변환 유닛의 사각형 영역에 맞도록 적절하게 변환한 것이다. 영역 2, 3, 6, 7에 대하여 도 11d의 영역 1, 2, 3, 4에 일정 순서대로 픽셀이 채워질 수 있다. 나머지 영역인 도 11a의 영역 1, 4, 5, 8에 대하여는 영역 5, 6, 7, 8 에 마찬가지 방법으로 채워질 수 있을 것이다.

한편, 상기에서 설명한 방법은 레지듀얼 신호를 유사한 특성끼리 위치키기 위한 재배열 과정을 나타낸 것이고, 디코더에서는 이렇게 재배열 된 부호화 신호를 수신하면, 이를 변환하여 원 신호로 만들기 전에 상기 제시한 재배열 과정의 역과정을 거쳐야 한다. 디코더에서는 입력 신호가 재배열 되었는지 여부에 대한 정보를 추가로 수신할 수 있다.

이와 같은 방법은 블록을 나누고 픽셀을 재배열하는 방법의 하나의 예를 든 것뿐이고, 본 발명을 제한하는 것은 아니다. 이 외에도 다양한 실시예가 가능하다. 특히 유사한 값을 가지는 레지듀얼을 인접하게 배열하는 것이 코딩 효율을 높이는 데 있어서 유리할 것이다. 인코더에서는 재배열 방식에 대한 정보를 디코더에 전달하거나 혹은 사전에 약속된 재배열 방법을 사용할 수 있다. 디코더는 이러한 정보를 이용하여 변환을 마치고 역으로 재배열 하는데 이용하게 된다.

본 발명의 또다른 실시예에서는, 하나의 변환 유닛 내에 비슷한 레지듀얼 에너지를 갖는 샘플들끼리 코딩될 수 있도록 여러 개의 변환 유닛 크기를 이용한다. 즉, 낮은 레지듀얼 값을 갖는 중심 부분에서는 큰 크기의 변환을 이용하고, 레지듀얼 값이 큰 외곽 부분에서는 작은 크기의 변환을 사용하여 비슷한 특성의 신호들이 하나의 변환 유닛 내에 포함되도록 한다. 도 12a 내지 도 12b는 본 발명의 실시예에 따라 다른 크기의 변환 유닛을 사용하는 경우의 변환 유닛 할당의 일 실시예를 도시한 도면이다. 도 12a 또는 도 12b를 참조하면, 16x16의 영상에서 위치에 따라 다른 변환 유닛 크기, 예를 들어 4x4, 8x8, 4x8 또는 8x4등을 이용하여 변환을 할 수 있다. 다만 도 12a 내지 12b는 크기가 다른 변환 유닛을 사용할 수 있는 일 예를 나타낸 것으로, 다른 크기의 변환 유닛을 사용하여 다른 형태로 배열하는 것도 가능하며, 이러한 실시예가 본 발명을 한정하는 것은 아니다. 이러한 변환 유닛 크기 변화에 대한 정보는 비트스트림에 포함될 수도 있고, 보다 효율을 높이기 위해서 인코더와 디코더 간에 사전에 약속을 하여 따로 포함시키지 않을 수 있다.

상기 설명한 바와 같이 코딩 유닛 및/또는 예측 유닛을 분할하면, 분할 영역의 가장자리 부분에서 레지듀얼 값이 클 가능성이 높다. 도 13은 4개의 코딩 유닛 내에서 각각 다른 모드로 분할된 예측 유닛을 도시하는 도면이다. 이 중 가장자리 영역(1300)의 레지듀얼 값만을 코딩하는 방법을 이용할 수 있다. 상기 설명한 바와 같이 변환 유닛의 크기는 예측 유닛 크기에 독립적이기 때문에, 이러한 부분이 변환 유닛 크기에 맞지 않게 겹쳐지는 부분이 있을 수 있다. 이 경우에는 이중으로 레지듀얼을 코딩하거나, 그 부분 주위에 대해서만 직사각형 형태(예를 들면, 2x4 또는 4x2 등)의 변환을 적용하여 이중 코딩을 방지할 수 있다. 더 큰 크기의 변환에도 확장하여 적용할 수 있음은 물론이다.

코딩 유닛의 복호화 과정에는 부호화 블록 패턴(coded block pattern) 정보를 획득하는 단계가 포함되며, 상기 부호화 블록 패턴 정보는 하나의 코딩 유닛이 부호화된 계수(coded coefficient), 즉 0 이 아닌 변환 계수 레벨(transform coefficient level)을 포함하는지를 표시하기 위해 이용된다. 따라서 디코더에서 변환 유닛을 역변환 하는데는 부호화 블록 패턴 정보가 이용될 수 있다.

도 14는 기존의 H.264/AVC비디오 코덱의 매크로 블록에서의 부호화 블록 패턴을 표시하는 방법을 나타낸다. 도 14에 도시된 바와 같이, H.264/AVC에서는 하나의 매크로블록에 대해 6비트(휘도 신호에 대해 4비트, 색차 신호에 대해 2비트)를 사용할 수 있다. 매크로블록 크기가 2Nx2N (예를 들어 16 x 16)인 경우에 있어서, 휘도 신호에 있어서는 NxN(예를 들어, 8 x 8) 블록마다 1비트를 사용할 수 있다. 부호화 블록 패턴 정보는 해당 블록 영역에 부호화된 계수가 있는지, 즉 적어도 하나의 0이 아닌 변환 계수 레벨을 포함하는지 여부에 따라 다른 값을 가진다. 예를 들어, 해당 블록 영역이 적어도 하나의 0이 아닌 변환 계수 레벨을 포함한다면 '1'이, 그렇지 않으면 '0'을 부호화한다.

한편, 색차 신호에 대하여는 직류 성분(DC) 및 교류 성분(AC)을 분리해서 정보를 나타낼 수 있다. 예를 들어, 직류 성분에 해당하는 부호화 블록 패턴 정보에 대하여 색차 신호(Cr 또는 Cb)의 직류 성분이 적어도 하나의 0이 아닌 변환 계수 레벨을 포함하면 '1', 그렇지 않으면 '0'을 부호화할 수 있다. 마찬가지로, 교류 성분에 해당하는 부호화 블록 패턴 정보에 대하여, 색차 신호(Cr 또는 Cb)의 교류 성분이 적어도 하나의 0이 아닌 변환 계수 레벨을 포함하면 '1', 그렇지 않으면 '0'을 부호화할 수 있다. 일반적으로 H.254/AVC는 4:2:0 포멧을 사용하므로 색차 신호의 크기는 휘도 신호의 1/4이 되지만, 본 발명은 이에 한정하지 않고, 필요에 따라 휘도 신호와 색차 신호와 동일한 크기와 동일한 량의 정보를 이용할 수 있다.

도 15a 내지 18은 본 발명의 실시예에 따라서 하나의 변환 유닛이 다시 여러 개의 변환 유닛으로 분할될 수 있는 경우에, 계층적으로 부호화 블록 패턴을 나타내는 다양한 실시예를 도시한다.

도 15a 및 15b에서 도시된 바와 같이, 2Nx2N 크기의 코딩 유닛이 NxN 크기의 4개의 변환 유닛으로 분할될 수 있다고 하자. 이러한 분할은 상기에서 설명한 바와 같이 재귀적으로 이루어질 수 있다. 이하에서는 표기의 편의를 위하여, 하나의 변환 유닛이 다시 여러 개의 변환 유닛으로 분할 되는 경우(예를 들어, 분할 여부를 나타내는 플래그 정보가 분할을 지시하는 경우)를 상위 계층, 분할되지 않는 경우를 하위 계층이라고 한다. 상위 계층의 부호화 블록 패턴 정보는, 해당 변환 유닛이, 부호화된 계수를 포함하는, 즉 0이 아닌 변환 계수 레벨를 적어도 하나 이상 포함하는 분할된 하위 계층의 변환 유닛을 적어도 하나 이상 포함하는지 여부를 나타낸다. 예를 들어, 해당 변환 유닛에 포함된 네개의 분할된 하위 계층의 변환 유닛 중 어느 하나에 0이 아닌 변환 계수 레벨이 존재하면 해당 변환 유닛에 대한 부호화 블록 패턴 정보는 '1'로, 그렇지 않으면 '0'으로 할당할 수 있다. 하위 계층의 부호화 블록 패턴 정보는, 해당 변환 유닛이 부호화된 계수를 포함하는지, 즉 0이 아닌 변환 계수 레벨을 적어도 하나 이상 포함하는지 여부를 나타낸다. 해당 변환 유닛에 0이 아닌 변환 계수 레벨이 존재하는 경우 부호화 블록 패턴 정보는 '1'로, 존재하지 않는 경우 '0'으로 할당할 수 있다.

변환 유닛이 분할되는 경우에, 휘도 신호에 있어서 변환 유닛의 부호화 블록 패턴 정보가 0이면 해당 코딩 유닛 하에서는 추가적인 정보가 없지만, 만약 부호화 블록 패턴 정보가 1이면, 추가적으로 4비트를 사용하는 것이 가능하다. 즉, 도 15b에 도시된 바와 같이, 코딩 유닛 내의 분할된 각각의 코딩 유닛들이 부호화된 계수를 포함하는지 여부를 표시하기 위해 1비트씩 사용될 수 있다.

한편, 색차 신호에 대하여는 직류 성분(DC) 및 교류 성분(AC)을 분리해서 정보를 나타낼 수 있다. 예를 들어, 상위 계층에서는 직류 성분에 해당하는 부호화 블록 패턴 정보에 대하여 색차 신호(Cr 또는 Cb)의 직류 성분이 적어도 하나의 0이 아닌 변환 계수를 포함하면 '1', 그렇지 않으면 '0'을 부호화할 수 있다. 마찬가지로, 교류 성분에 해당하는 부호화 블록 패턴 정보에 대하여, 색차 신호(Cr 또는 Cb)의 교류 성분이 적어도 하나의 0이 아닌 변환 계수를 포함하면 '1', 그렇지 않으면 '0'을 부호화할 수 있다. 하위 계층에서는, Cr 및 Cr에 대하여 각각 추가적인 정보를 전송할 수 있다. 예를 들어, 상위 계층에서 직류 성분이 존재할 경우(DC와 관련된 bit가 1인 경우), 하위 계층의 부호화 블록 패턴 정보를 확인한다. 하위 계층에서는 Cr 및 Cb에 대하여 각각 1bit씩 할당하여 Cr 에 대한 변환 계수가 존재하면 '1'을, 그렇지 않으면 '0'을 할당한다. 교류 성분에 대하여도 마찬가지 방법을 사용한다.

도 16a 내지 도 16b는 본 발명의 또 다른 실시예에 따른 하나의 코딩 유닛이 다시 여러 개의 코딩 유닛으로 분할될 수 있는 경우에, 계층적으로 부호화 블록 패턴을 나타내는 방법을 도시한다. 휘도 신호에 대하여는, 도 15a 내지 도 15c를 참조하여 설명한 바와 마찬가지로, 상위 계층 변환 유닛에 대한 부호화 블록 패턴 정보는 해당 변환 유닛이 해당 영역에 변환 계수가 0이 아닌 변환 계수를 포함하는 분할된 변환 유닛을 포함하는지의 여부를 나타낸다. 하위 계층 변환 유닛에 대한 부호화 블록 패턴 정보는 해당 변환 유닛이 0이 아닌 변환 계수를 포함하는지 여부를 나타낸다.

색차 신호에 대하여도, 휘도 신호와 동일하게 부호화 블록 패턴 정보를 나타낼 수 있다. 즉 상기에서 설명한 바와 같이 직류 성분 및 교류 성분을 고려하지 않고, 색차 신호의 성분인 Cr, Cb 신호 각각에 대하여 상기에서 설명한 휘도 신호와 동일한 방식으로 부호화 패턴 정보를 할당한다.

도 16a 내지 16b에서 도시하는 바를 예로 들면, 하나의 휘도 신호에 대한 변환 유닛은 4개로 작은 변환 유닛으로 분할 가능하고 각각의 변환 유닛은 1bit 씩을 할당 받을 수 있다. 이 bit에는 하위 계층의 변환 유닛 중 어느 하나가 변환 계수를 포함하는지 여부를 지시하는 정보를 포함할 수 있다. 색차 신호에 대한 변환 유닛도 마찬가지로 각 분할된 변환 유닛 크기대로 1bit씩을 할당 받을 수 있다. 만약 해당 변환 유닛에 부호화 블록 패턴이 변환 계수가 존재하는 것을 지시하는 경우 (해당 bit가 '1'인 경우), 도 16b와 같이 하위 계층의 변환 유닛들에 대하여 해당 변환 유닛에 변환 계수가 존재하는지에 대한 추가적인 정보를 획득할 수 있다.

한편, 본 발명의 또다른 실시예에 따르면, 도 17 에서 도시하는 바와 같이 분할된 계층을 고려하지 않고 하나의 변환 유닛에 대하여만 정보를 포함시킬 수 있다. 도 17에서 도시하는 바와 같이 해당 변환 유닛 영역 전체에서 코딩된 계수가 존재하는지, 즉 0이 아닌 변환 계수 레벨이 존재하는지 여부를 나타내는 정보를 이용할 수 있다. 분할된 여러 계층 중 어느 계층에 대한 정보를 저장할 것인지는 코딩 효율에 적합하게 선택될 수 있다. 예를 들면, 가장 상위 계층의 가장 큰 변환 유닛 단위에 대한 부호화 블록 패턴 정보를 저장할 수도 있고, 모두 분할된 가장 하위 계층 (즉, 변환 유닛 트리 구조에서의 리프 노드에 위치한 변환 유닛들)에 대한 부호화 블록 패턴 정보를 저장할 수도 있다.

휘도 신호와 관련해서는 도 15a 내지 도 15c를 참조하여 설명한 바와 같이 직류 성분 및 교류 성분을 나누어 정보를 획득할 수 있다. 이 경우에도 상기에서 설명한 바와 마찬가지로 특정 계층에 대한 부호화 블록 패턴 정보만을 저장할 수 있다.

한편, 본 발명의 또다른 실시예에 따르면, 도 18에서 도시하는 바와 같이 분할된 계층을 고려하지 않고 하나의 변환 유닛에 대하여 정보를 포함시키되, 도 16a 내지 도 16b를 참조하여 설명한 바와 같이 직류 성분 및 교류 성분을 나누지 않고, Cr 및 Cb 각각에 대한 정보를 획득 할 수 있다. 도 18을 참조하면 휘도 신호 및 색차 신호 모두에 대하여 해당 변환 유닛 영역 내에 코딩된 계수가 존재하는지, 즉 0이 아닌 변환 계수 레벨이 존재하는지 여부를 나타내는 정보를 할당할 수 있다. 분할된 여러 계층 중 어느 계층에 대한 정보를 저장할 것인지는 코딩 효율에 적합하게 선택될 수 있다. 예를 들면, 가장 상위 계층의 가장 큰 변환 유닛 단위에 대한 부호화 블록 패턴 정보를 저장할 수도 있고, 모두 분할된 가장 하위 계층 (즉, 변환 유닛 트리 구조에서의 리프 노드에 위치한 변환 유닛들)에 대한 부호화 블록 패턴 정보를 저장할 수도 있다.

이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.

본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.

본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부에 의해 실행될 수 있다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

산업상 이용가능성

본 발명은 비디오 신호를 인코딩 또는 디코딩 하는데 적용될 수 있다.

Claims (3)

1. 비디오 신호를 인코딩하기 위한 방법에 있어서,
   현재 블록이 변환을 위한 복수의 서브-블록(sub-block)으로 분할되는지 여부를 나타내는 분할 정보를 인코딩하는 단계;
   상기 현재 블록에 대한 부호화 블록 패턴 정보를 인코딩하는 단계, 상기 현재 블록에 대한 부호화 블록 패턴 정보는 상기 현재 블록이 하나 이상의 0이 아닌 변환 계수 정보를 포함하는지 여부를 나타내며;
   상기 분할 정보가 상기 현재 블록이 상기 변환을 위한 복수의 서브-블록으로 분할됨을 나타내고 상기 현재 블록에 대한 부호화 블록 패턴 정보가 제1 값을 가짐에 기반하여, 상기 복수의 서브-블록 각각에 대한 부호화 블록 패턴 정보를 인코딩하는 단계, 각각의 서브-블록에 대한 부호화 블록 패턴 정보는 해당 서브-블록이 하나 이상의 0이 아닌 변환 계수 정보를 포함하는지 여부를 나타내며; 및
   상기 복수의 서브-블록 중에서 특정 서브-블록에 대한 부호화 블록 패턴 정보가 상기 제1 값을 가짐에 기반하여, 상기 특정 서브-블록의 레지듀얼 정보를 인코딩하는 단계를 포함하되,
   상기 분할 정보는 상기 현재 블록에 대한 변환 유닛의 최소 크기 정보, 상기 변환 유닛의 최대 크기 및 최소 크기 간의 차이 정보, 상기 변환 유닛의 최대 분할 깊이 정보를 기반으로 인코딩되며, 상기 변환 유닛의 최대 분할 깊이 정보는 상기 변환 유닛의 예측 모드에 따라 달라지는, 비디오 신호의 인코딩 방법.
2. 청구항 1의 방법에 의해 생성된 비트스트림을 저장한, 컴퓨터가 읽을 수 있는 기록 매체.
3. 비디오 신호를 인코딩하기 위한 장치에 있어서,
   현재 블록이 변환을 위한 복수의 서브-블록(sub-block)으로 분할되는지 여부를 나타내는 분할 정보를 인코딩하고; 상기 현재 블록에 대한 부호화 블록 패턴 정보를 인코딩하고, 상기 현재 블록에 대한 부호화 블록 패턴 정보는 상기 현재 블록이 하나 이상의 0이 아닌 변환 계수 정보를 포함하는지 여부를 나타내며; 상기 분할 정보가 상기 현재 블록이 상기 변환을 위한 복수의 서브-블록으로 분할됨을 나타내고 상기 현재 블록에 대한 부호화 블록 패턴 정보가 제1 값을 가짐에 기반하여, 상기 복수의 서브-블록 각각에 대한 부호화 블록 패턴 정보를 인코딩하고, 각각의 서브-블록에 대한 부호화 블록 패턴 정보는 해당 서브-블록이 하나 이상의 0이 아닌 변환 계수 정보를 포함하는지 여부를 나타내며; 상기 복수의 서브-블록 중에서 특정 서브-블록에 대한 부호화 블록 패턴 정보가 상기 제1 값을 가짐에 기반하여, 상기 특정 서브-블록의 레지듀얼 정보를 인코딩하도록 구성된 인코더를 포함하되,
   상기 분할 정보는 상기 현재 블록에 대한 변환 유닛의 최소 크기 정보, 상기 변환 유닛의 최대 크기 및 최소 크기 간의 차이 정보, 상기 변환 유닛의 최대 분할 깊이 정보를 기반으로 인코딩되며, 상기 변환 유닛의 최대 분할 깊이 정보는 상기 변환 유닛의 예측 모드에 따라 달라지는, 비디오 신호의 인코딩 장치.

Images