KR20230051624A - 이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩 - Google Patents

Abstract

서브디비젼을 이용하여 공간적으로 샘플링된 정보 신호를 코딩하기 위한 코딩 설계들 그리고 서브-디비젼 또는 멀티-트리 구조를 코딩하기 위한 코딩 설계들이 설명되고, 여기서 대표 실시예들은 그림 및/또는 비디오 코딩 어플리케이션들에 관련된다.

Description

이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩 {VIDEO CODING USING MULTI-TREE SUB - DIVISIONS OF IMAGES}

본 발명은 본 발명은 공간적으로 샘플링된 정보 신호를 코딩하기 위한 코딩 설계 그리고 서브디비젼(sub-division) 또는 멀티트리 구조를 코딩하기 위한 코디 설계에 관한 것으로, 상기 대표 실시 예는 그림 및 / 또는 비디오 응용 프로그램을 코딩에 관한 것이다.

이미지 그리고 비디오 코딩에 있어서, 그림들 또는 그림들에 대한 특정 샘플들 배치의 집합들은 일반적으로 블록들로 분해되고, 이는 특정 코딩 파라미터들과 관련된다. 그림들은 일반적으로 다중 샘플 배치들을 구성한다. 추가로, 그림들은 추가 보조 샘플 배치와 관련될 수도 있고, 이는 예를 들어, 투명도 정보 또는 깊이 맵(depth maps)을 특정할 수도 있다. (보조 샘플 배치를 포함하는) 그림의 샘플 배치들은 소위 평면 그룹이라 불리는 하나 또는 그 이상으로 그룹지어질 수 있는데, 여기서 각 평면 그룹은 하나 또는 그 이상의 샘플 배치들을 구성한다.

본 어플리케이션의 제1관점에 따라서, 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들 배치를 코딩하는 것의 코딩 설계를 제공하는 것이 목적이며, 그러나 비디오의 그림들 또는 정지 그림들에 제한되지 않고, 인코딩 복잡성과 달성가능한 레이트 왜곡 비율 사이의 더 나은 타협을 달성, 및/또는 더 나은 레이트 왜곡 비율을 달성하는 것을 가능하게 한다.

본 발명의 목적은 청구항에 기재된 장치 및 방법에 의해 달성된다.

제1관점에 따라, 본 발명은, 공간적으로 샘플링된 트리 루트 영역들을 먼저 나타내는 정보 샘플들 배치를 공간적으로 나누는 것을 찾는 것에 기반하고, 이후 데이타-스트림으로부터 추출되는 멀티-트리-서브-디비젼 정보에 따라, 적어도 트리루트 영역 부분집합이 다른 크기들의 더 작은 단일 연결 영역으로 너무 미세한 서브디비젼 그리고 너무 거칠은 서브디비젼 사이에서 레이트-왜곡 감지에서 좋은 타협을 찾는 것을 가능하게 하는 재귀적으로 트리 루트 영역을 멀티-파티셔닝하는 것에 의해 나누며, 이는 합리적인 인코딩 복잡성에서이며, 트리 루트 영역의 최대 영역 크기가 정보 샘플들의 배치로 공간적으로 나눠질 때이고, 데이타 스트림 내에 포함되고 디코딩 측면에서 데이타 스트림으로부터 추출된다.

그래서, 본 발명의 제1관점에 따라, 디코더는 데이타 스트림으로부터 멀티-트리-서브-디비젼 정보 그리고 최대 영역 크기를 추출하기 위한 추출기, 멀티-트리-서브-디비젼 정보에 따라, 적어도 트리 루트 영역들의 부분집합을 더 작은 단일 연결 영역들로 재귀적으로 멀티-파티셔닝 하는 것에 의해 서브-디바이딩(세분,sub-dividing)하고 최대 크기 영역의 트리 루트 영역들로 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들 배치를 공간적으로 나누는 서브-디바이더(sub-divider), 그리고 더 작은 단일 연결 영역들로의 서브-디비젼을 이용하여 데이타 스트림으로부터 정보 샘플들 배치를 복원하는 복원기를 포함한다.

본 발명은, 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들 배치를 코딩하는 것의 코딩 설계를 제공하며 비디오의 그림들 또는 정지 그림들에 제한되지 않고, 인코딩 복잡성과 달성가능한 레이트 왜곡 비율 사이의 더 나은 타협을 달성, 및/또는 더 나은 레이트 왜곡 비율을 달성하는 것을 가능하게 한다.

본 발명의 실시예에 따라, 데이타 스트림은 트리 루트 영역의 부분집합이 재귀적 멀티-파티셔닝의 대상인 최대 계층 레벨 또한 포함한다. 이 방법에 의해, 멀티-트리-서브-디비젼 정보의 시그널링은 더 쉽게 만들어지고 코딩을 위한 더 적은 비트를 필요로 한다.

도1은 본 프로그램의 실시 예에 따른 인코더의 블록 다이어그램을 보여주는 도면.
도2는 본 프로그램의 실시 예에 따른 디코더의 블록 다이어그램을 보여주는 도면.
도3a-c는 개략적으로 쿼드트리 서브디비젼에 대한 예를 보여주며, 도3a는 제1 계층 레벨, 도3b는 제2 계층 레벨, 도3c는 제3 계층 레벨을 보여주는 도면.
도4는 실시예에 따른 도3a 부터 도3c 까지의 쿼드트리 서브디비젼을 나타내는 트리 구조를 개략적으로 보여주는 도면.
도5a,b는 도4의 트리 구조를 나타내는 플래그들의 시퀀스 또는 이진 문자열(바이너리 스트링, binary strings) 그리고 다른 실시예들에 따른 도 3a부터 3c까지의 쿼드트리 서브디비젼을 각각 개략적으로 보여주는 도면.
도7은 실시예에 따라 데이타 스트림 추출기에 의해 수행되는 단계들을 나타내는 플로우 챠트.
도8은 추가 실시예에 따른 데이타 스트림 추출기의 기능을 도시하는 플로우 챠트.
도9a,b는 실시예에 따라 강조된 미리 결정된 블록에 대한 인접 후보 블록들과 쿼드트리 서브디비젼들을 도시하는 도식적 다이어그램.
도10은 추가 실시예에 따른 데이타 스트림 기능의 플로우 챠트.
도11은 실시예에 따른 상호 평면 적응/예측을 이용한 코딩을 도시하고 평면들 그리고 평면 그룹들로부터의 그림 구성을 개략으로 나타내는 도면.
도12a, 12b는 실시예에 따라, 상속 설계를 도시하기 위한 대응하는 서브-디비젼과 서브트리 구조를 개략적으로 도시하는 도면.
도12c, 12d는 실시예에 따라, 적응 그리고 예측의 상속 설계를 나타내기 위한 서브트리 구조를 나타내는 도면.
도13은 실시예에 따라 상속 설계를 실현하는 인코더에 의해 수행되는 단계들을 보여주는 플로우챠트.
도14a,14b는 실시예에 따라 상호-예측 연결의 상속 설계를 실행할 가능성을 도시하기 위해 주요 서브디비젼 그리고 종속 서브디비젼을 나타내는 도면.
도15는 실시예에 따른 상속 설계의 연결에서 디코딩 프로세스를 나타내는 블록 다이어그램을 도시한 도면.
도17은 실시예에 따른 디코더의 블록 다이어그램을 나타낸 도면.
도18은 실시예에 따른 데이타 스트림의 컨텐츠를 나타내는 도식적 다이어그램.
도19는 실시예에 따른 인코더의 블록 다이어그램을 나타내는 도면.
도20은 추가 실시예에 따른 디코더의 블록 다이어그램을 나타내는 도면.
도21은 추가 실시예에 따른 디코더의 블록 다이어그램을 나타내는 도면.

본 발명은 본 발명은 공간적으로 샘플링된 정보 신호를 코딩하기 위한 코딩 설계 그리고 서브디비젼(sub-division) 또는 멀티트리 구조를 코딩하기 위한 코디 설계에 관한 것으로, 상기 대표 실시 예는 그림 및 / 또는 비디오 응용 프로그램을 코딩에 관한 것이다.

이미지 그리고 비디오 코딩에 있어서, 그림들 또는 그림들에 대한 특정 샘플들 배치의 집합들은 일반적으로 블록들로 분해되고, 이는 특정 코딩 파라미터들과 관련된다. 그림들은 일반적으로 다중 샘플 배치들을 구성한다. 추가로, 그림들은 추가 보조 샘플 배치와 관련될 수도 있고, 이는 예를 들어, 투명도 정보 또는 깊이 맵(depth maps)을 특정할 수도 있다. (보조 샘플 배치를 포함하는) 그림의 샘플 배치들은 소위 평면 그룹이라 불리는 하나 또는 그 이상으로 그룹지어질 수 있는데, 여기서 각 평면 그룹은 하나 또는 그 이상의 샘플 배치들을 구성한다. 그림의 평면 그룹들은 독립적으로 코딩될 수 있고, 또는 만약 그림이 하나의 평면 그룹 이상과 관련되어 있다면, 동일 그림의 다른 평면 그룹들로부터 예측과 함께 코딩될 수 있다. 블록들(또는 샘플 배치의 대응 블록들)은 내부-그림 예측 또는 상호-그림 예측이 가능하다. 블록들은 다른 크기들을 가질 수 있고 정사각형 또는 직사각형일 수 있다. 블록들로 그림을 분할하는 것은 구문에 의해 고정될수도 있고 비트스트림 내부로 (적어도 부분적으로) 시그널링 될수도 있다. 종종 구문 요소들은 미리 설정된 크기의 블록들에 대한 세분으로 신호를 보내는 것으로 전송되기도 한다. 블록(또는 샘플 배치들의 대응하는 블록들)의 모든 샘플들에 대하여 관련 코딩 파라미터들의 디코딩은 어떤 방법으로 특정된다. 상기 예에서, 블록의 모든 샘플들은 예측 파라미터들의 동일 집합을 이용하여 예측되고, 이는 참조 지수들(이미 코딩된 그림들의 집합에서 참조 그림들을 식별한다), 모션 파라미터들(motion parameters, 현재 그림 그리고 참조 그림 사이 블록들 움직임에 대한 방법을 특정한다.), 보간 필터, 내부 예측 모드들을 특정하는 파라미터들 등등과 같은 것들이 있다. 모션 파라미터들은 수평 그리고 수직 구성요소 또는 여섯 구성요소들을 구성하는 아핀 모션 파라미터들(affine motion parameters) 같은 고차 모션 파라미터들에 의한 변위 벡터들(displacement vectors)로 표현될 수 있다. 하나 이상의 특정 예측 파라미터들 집합(참조 지수들 그리고 모션 파라미터들 처럼)이 단일 블록과 관련되는 것도 가능하다. 그러한 경우, 이러한 특정 예측 파라미터들의 개별 집합에 대해, 블록의 단일 중간 예측 신호가 발생되며, 최종 예측 신호는 중간 예측 신호들의 겹침을 포함하는 결합에 의해 만들어진다. 대응하는 가중 파라미터들 그리고 잠재적으로 고정 오프셋(가중된 합에 더해지는)은 그림에 또는 참조 그림, 또는 참조 그림들의 집합에 고정되거나, 대응 블록들에 대한 예측 파라미터들의 집합에 포함될 수도 있다. 원래 블록들(또는 샘플 배치의 대응 블록들)과 그들의 예측 신호들의 차이는, 잔류신호라고도 불리며, 일반적으로 변환되고 양자화된다. 종종, 이차원 변형은 잔류 신호(또는 잔류 블록에 대응하는 샘플 배치)에 적용된다. 변형 코딩에 대해, 예측 파라미터들의 특정집합이 이용되는, 블록들(또는 샘플 배치들의 대응하는 블록들)은 변형(transform)을 적용하기 전에 추가로 분열될 수 있다. 또한 변형 블록이 예측을 위해 이용되는 하나 이상의 블록을 포함하는 것이 가능할 수 있다. 다른 변형 블록들은 다른 크기 그리를 가질 수 있고 변형 블록들은 정사각형 또는 직사각형 블록들을 표현할 수 있다. 변형 뒤에, 결과 변형 계수들은 양자화되고 소위 변형 계수 레벨이라 불리는 것들이 얻어진다. 변형 계수 레벨들은 예측 파라미터들처럼, 만약 존재한다면, 서브디비젼(세분, subdivision) 정보는 엔트로피 코딩된다.

이미지 그리고 비디오 코딩 기준에서, 구문에 의해 제공되는 그림(또는 플레임 그룹)을 블록들로 서브-디바이딩(세분, sub-dividing)하는 가능성(개연성)들은 극히 제한된다. 일반적으로, 이는 미리설정된 크기의 블록이 더 작은 블록들로 세분될 수 있는지 여부 그리고 (잠재적으로 어떻게 그렇게 되는지)만이 특정될 수 있다. 예를 들어, H.264 의 가장 큰 블록 크기는 16x16이다. 16x16 블록들은 매크로블록들(macroblocks)이라고도 언급되고 각 그림들은 제1단계에서 매크로블록들로 분할된다. 각 16x16 매크로블록에 대해 16x16 블록 또는 두 16x8 블록들, 또는 두 8x16블록들, 또는 네개의 8x8 블록들로 코딩되는지 여부가 시그널링될 수 있다. 16x16 블록이 4개의 8x8 블록으로 세분되는 경우, 이러한 8x8 블록들 각각은 하나의 8x8 블록 또는 두 8x4 블록들 또는 두 4x8 블록들, 또는 네 4x4블록들로 세분(sub-devided)될 수 있다. 최신 이미지 그리고 비디오 코딩 기준들에서 블록들로의 특정 분할 가능성의 작은 집합은 서브디비젼 정보를 시그널링하기 위한 측면 정보 레이트가 작게 유지될 수 있다는 이점을 가지나, 블록들에 대한 예측 파라미터들을 전송하기 위해 필요한 비트레이트가 이후 설명되는 것과 같이 상당해진다는 단점을 갖는다. 예측 정보 시그널링을 위한 측면 정보 레이트는 일반적으로 블록의 전체 비트레이트의 상당한 양을 나타낸다. 코딩 효율은 이 측면 정보가 감소될 때 증가될 수 있으며, 이는 예를 들어, 더 큰 블록 크기들을 이용하는 것에 의해 달성될 수 있다. 비디오 시퀀스의 실제 이미지들 그리고 그림들은 임의로 형상화된 오브젝트(대상, objects)들을 구성한다. 예를 들어, 오브젝트들 또는 오브젝트들의 부분은 고유 텍스쳐 또는 고유 모션에 의해 캐릭터화된다. 일반적으로, 예측 파라미터들의 동일 집합은 오브젝트 또는 오브젝트의 부분에 적용될 수 있다. 그러나 오브젝트 경계들은 일반적으로 큰 예측 블록들에 대한 가능한 블록 경계들에 일치하지 않는다.(예를 들어, H.264에서 16x16 매크로블록들) 인코더는 일반적으로 특정 레이트-왜곡 비용 최소화 방법을 도출하는 (가능성의 제한적 집합들 사이에서) 서브디비젼을 결정한다. 임의적으로 형상화된 오브젝트에 대해 이는 작은 블록들의 많은 개수를 도출할 수 있다. 이러한 스몰 블록들 각각은, 전송될 필요가 있는, 예측 파라미터들 집합과 관련되어 있기 때문에, 측면 정보 레이트는 전체 비트 레이트의 상당한 부분이 될 수 있다. 그러나 작은 블록들 몇몇은 여전히 동일 오브젝트의 영역들 또는 오브젝트의 부분을 나타내고 있기 때문에, 얻어진 블록들 개수에 대한 예측 파라미터들은 같거나 매우 유사하다.

이는, 그림의 더 작은 부분들로의 서브-디비젼(세분, sub-division) 또는 타일링(tiling) 또는 타일들 또는 블록들은 실질적으로 코딩 효율 그리고 코딩 복잡성에 영향을 미친다. 위에서 요약된대로, 그림을 작은 블록의 더 많은 개수로 세분하는 것은 공간적으로 코딩 파라미터들의 더 나은 설정을 가능하게 하고, 이는 이러한 코딩 파라미터들의 그림/비디오 머터리얼(material)로의 더 나은 적응성을 가능케한다. 한편으로는, 더 좋은 입도(finer granularity)에서 코딩 파라미터들을 설정하는 것은 필요 설정들에서 디코더에 영향을 미치기 위해 필요한 측면 정보의 양에 더 높은 부담을 제기한다. 게다가 이에 더하여, 그림/비디오를 공간적으로 블록들로 (추가) 세분하기 위한 인코더의 어떠한 자유도든지 가능한 코딩 파라미터 설정들의 양을 엄청나게 증가시키며 일반적으로 가장 좋은 레이트/왜곡 타협(best rate/distortion compromise)을 가지는 코딩 파라미터 설정을 찾는 것을 렌더링하는 것은 심지어 더 어렵다는 것을 알아야 한다.

본 어플리케이션의 제1관점에 따라서, 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들 배치를 코딩하는 것의 코딩 설계를 제공하는 것이 목적이며, 그러나 비디오의 그림들 또는 정지 그림들에 제한되지 않고, 인코딩 복잡성과 달성가능한 레이트 왜곡 비율 사이의 더 나은 타협을 달성, 및/또는 더 나은 레이트 왜곡 비율을 달성하는 것을 가능하게 한다.

제1관점에 따라, 본 어플리케이션은, 공간적으로 샘플링된 트리 루트 영역들을 먼저 나타내는 정보 샘플들 배치를 공간적으로 나누는 것을 찾는 것에 기반하고, 이후 데이타-스트림으로부터 추출되는 멀티-트리-서브-디비젼 정보에 따라, 적어도 트리루트 영역 부분집합이 다른 크기들의 더 작은 단일 연결 영역으로 너무 미세한 서브디비젼 그리고 너무 거칠은 서브디비젼 사이에서 레이트-왜곡 감지에서 좋은 타협을 찾는 것을 가능하게 하는 재귀적으로 트리 루트 영역을 멀티-파티셔닝하는 것에 의해 나누며, 이는 합리적인 인코딩 복잡성에서이며, 트리 루트 영역의 최대 영역 크기가 정보 샘플들의 배치로 공간적으로 나눠질 때이고, 데이타 스트림 내에 포함되고 디코딩 측면에서 데이타 스트림으로부터 추출된다.

그래서, 본 발명의 제1관점에 따라, 디코더는 데이타 스트림으로부터 멀티-트리-서브-디비젼 정보 그리고 최대 영역 크기를 추출하기 위한 추출기, 멀티-트리-서브-디비젼 정보에 따라, 적어도 트리 루트 영역들의 부분집합을 더 작은 단일 연결 영역들로 재귀적으로 멀티-파티셔닝 하는 것에 의해 서브-디바이딩(세분,sub-dividing)하고 최대 크기 영역의 트리 루트 영역들로 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들 배치를 공간적으로 나누는 서브-디바이더(sub-divider), 그리고 더 작은 단일 연결 영역들로의 서브-디비젼을 이용하여 데이타 스트림으로부터 정보 샘플들 배치를 복원하는 복원기를 포함한다.

본 발명의 실시예에 따라, 데이타 스트림은 트리 루트 영역의 부분집합이 재귀적 멀티-파티셔닝의 대상인 최대 계층 레벨 또한 포함한다. 이 방법에 의해, 멀티-트리-서브-디비젼 정보의 시그널링은 더 쉽게 만들어지고 코딩을 위한 더 적은 비트를 필요로 한다.

게다가, 복원기는 멀티-트리 서브-디비젼에 기반한 입도에서 다음 방법들 중 하나 또는 그 이상을 수행하기 위해 구성될 수 있다: 적어도 이용할 내부 그리고 상호 예측 모드 중에서 예측 모드의 결정; 스펙트럴에서 공간 영역으로의 변형; 내부-예측을 위한 파라미터들을 수행 및/또는 설정; 내부 예측을 위한 파라미터들의 수행 및/또는 설정.

게다가, 데이타 스트림으로부터 깊이-우선 순회 순서에 따라 분할된 트리블록들의 리프 영역들과 관련된 구문 요소들을 추출하기 위해 구성될 수 있다. 이 방법에 의해, 추출기는 너비-우선 순회 순서를 이용하는 것보다 더 높은 가능성으로 이미 코딩된 근접 리프 영역들의 구문 요소들의 통계를 이용하는 것이 가능하다.

또 다른 실시예에 따라, 추가 서브-디바이더는, 추가 멀티-트리 서브-디비젼 정보에 따라, 적어도 훨씬 더 작은 단일 연결 영역들로 더 작은 단일 연결 영역들의 부분집합을 서브-디바이드(세분, sub-divide)하기 위해 이용된다. 정보 샘플들의 영역의 예측을 수행하기 위해 복원기에 의해 제1스테이지 서브-디비젼이 이용될 수 있는 반면, 제2스테이지 서브-디비젼은 스펙트럴에서 공간 영역으로 복원을 수행하기 위한 복원기에 의해 이용될 수 있다. 잔류 서브-디비젼을 종속 상대적으로 예측 서브-디비젼으로 정의하는 것은 더 적은 비트를 소모하는 전체 서브-디비젼의 코딩을 렌더링하고 다른 면으로는, 잔류 서브-디비젼에 대한 자유 그리고 제한은 코딩 효율에 단순히 가장 작은 부정적 영향을 끼치며, 무엇보다도 그림들의 부분들이 유사 모션 보상 파라미터들을 갖고 이는 유사 스펙트럴 특성들을 갖는 부분들보다 크다는 것이다.

추가 실시예에 따라서, 추가 최대 영역 크기는 데이타 스트림에 포함되고, 추가 최대 영역 크기는 더 작은 단일 연결 영역들로 트리 루트 영역들의 크기를 정의하고 훨씬 더 작은 단일 연결 영역들로 추가 멀티-트리 서브-디비젼 정보에 따라 트리 루트 서브-영역의 부분집합을 최소한 서브-디바이딩하기 전에 먼저 분할된다.

본 발명의 더 추가된 실시예에 따르면, 데이타 스트림은 멀티-트리 서브-디비젼 정보를 형성하는 구문 요소들의 제2 부분집합으로부터 분리되는 구문 요소들의 제1 부분집합을 포함하며, 여기서 디코딩 측면의 머져(merger)는, 구문 요소들의 제1 부분집합에 기반하여, 멀티-트리 서브-디비젼의 공간적으로 근접한 더 작은 단일 연결 영역들을 샘플들 배치의 중간 서브-디비젼을 얻기 위해 결합하는 것이 가능하다. 복원기는 중간 서브-디비젼을 이용하여 샘플들 배치를 복원하기 위해 구성될 수 있다. 이 방법에 의해, 인코더를 위해 최적 레이트/왜곡 타협을 찾으면서 정보 샘플들 배치의 공간 분배 특성들에 대해 효과적인 서브-디비젼을 적용하는 것이 쉬워진다. 예를 들어, 최대 영역 크기가 높다면, 멀티-트리 서브-디비젼 정보는 트리루트 영역이 더 커지므로 더 복잡해질지도 모른다. 그러나 반면에, 만약 최대 영역 크기가 작다면, 그것은 이러한 트리루트 영역들도 함께 처리되도록 유사한 특성들을 갖는 정보 컨텐츠에 대해 존재하는 근접 트리루트 영역들이 될 수도 있다. 병합은 입도(granularity)의 최적 서브-디비젼에 가깝게 할 수 있도록, 이미-언급된 극단들(extremes) 사이에서 이 간극을 채운다. 인코더의 관점에서, 병합 구문 요소들은 더 릴랙스되거나 계산적으로 덜 복잡한 인코딩 절차를 허용하는데, 이는 인코더가 틀리게 너무 세밀한 서브-디비젼을 이용하는 경우, 이 에러가 인코더에 의해 나중에 보상되게 될 수 있기 때문이며, 이는 병합 구문 요소들을 설정하기 전에 설정되는 구문 요소들의 작은 부분만을 적응시키거나 적응시키지 않는 병합 구문 요소들을 연속적으로 설정하는 것에 의한 것이다.

더 추가된 실시예에 따라, 최대 영역 크기 그리고 멀티-트리-서브-디비젼 정보는 예측 서브-디비젼보다 잔류 서브-디비젼을 위해 이용된다.

본 발명의 추가 관점에 따라, 더 나은 레이트/왜곡 타협이 달성가능 한 코딩 설계를 제공하는 것이 본 응용(application)의 목적이다.

이 관점을 기반으로 한 상기 아이디어는 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들 배치의 쿼드트리 서브디비젼의 단일 연결 영역의 깊이-우선 순회 순서는 너비-우선 순회 순서보다 선호된다는 것이고 이는, 깊이-우선 순회 순서를 이용할 때, 각 단일 연결 영역은 근접 단일 연결 영역들을 가질 더 높은 가능성을 갖고 이는 이미 순회된 것이고 그래서 이러한 근접 단일 연결 영역들에 대한 정보는 긍정적으로 이용될 수 있고 이는 현재 단일 연결 영역 개별을 복원할 때이다.

정보 샘플들의 배치가 먼저 0차 계층 크기의 트리 루트 영역의 정규 배치로 나누어 질 때, 서브디바이딩 하는 것이 다양한 크기의 작은 단순히 연결된 지역에 트리 루트 영역의 적어도 일부이고, 복원기가 함께 트리 루트 영역을 스캔하기 위해 지그재그 스캔을 사용할 수 있고, 파티션 각 트리 루트 영역이 지그재그 스캔 순서에서 다음 트리 루트 영역에 더 스테핑하기 전에 깊이-우선 순회 순서로 단일 연결 영역을 처리한다. 동일한 계층 구조 수준 또한, 깊이 - 우선 순회 순서에 따라 간단하게 연결 잎 지역은 지그재그 스캔 순서로 통과 할 수 있다. 따라서, 근접 단일 연결 리프 영역을 갖는 증가 가능성이 유지된다.

본 발명의 다른 관점에 따라, 이 트리 루트 영역이 반복적으로 더 작은 단일 연결 영역에 멀티 파티션됨에 따라 트리 루트 영역의 공간 다중 트리 하위 부서를 처리하고 다중 트리 구조의 신호를 코딩하기 위한 코딩 방식을 제공하는 개체이고 이는 신호 코딩에 필요한 데이터의 양이 감소 될 수 있도록 하기 위함이다.

이 부분에 대한 기본 아이디어는, 이 순차적으로 깊이 - 우선 순회 순서 다중 트리 구조의 노드와 관련된 플래그를 정렬하는데 유리한 면이 있지만, 플래그의 연속 코딩은 다중(멀티) 트리 구조의 동일한 계층 구조 수준에서 위치한 다중 트리 구조의 노드와 관련된 플래그 같은 확률 추정 컨텍스트(문맥, contexts)을 사용해야하고, 다중 트리 구조의 다른 계층 구조 수준에서 위치한 다중 트리 구조의 노드에서 다른, 이를 제공 할 컨텍스트의 수와 다른 한편에 있는 플래그의 실제 심볼(상징, symbol) 통계에 적응 사이 좋은 타협을 할 수 있도록 한다.

실시 예에 따라, 미리 정해진 플래그에 대한 확률 추정 컨텍스트의 깊이 - 우선 순회 순서 및 지역에 미리 결정된 상대 위치 관계를 갖는 트리 루트 영역의 영역에 해당하는지에 따라 소정의 플래그는 이전 플래그에 따라 달라진다. 절차 측면에서 기본되는 아이디어와 마찬가지로, 깊이 - 우선 순회 순서의 사용은 높은 확률을 보장하는데, 플래그가 이미 코딩된 것으로 하는 것이 아니라 정해진 플래그에 해당하는 영역을 이웃 지역에 해당하는 플래그를 포함하고 이 지식은 더 나은 미리 설정된 플래그에 사용되는 컨텍스트를 적응하는 데 이용될 수 있다.

미리 설정된 플래그에 대한 컨텍스트를 설정하는 데 사용할 수 있는 플래그는, 상단 및 / 또는 소정의 플래그가 해당하는 지역의 왼쪽에 위치한 영역에 해당하는 것들일 수 있다. 또한, 컨텍스트를 선택하는 데 사용되는 플래그는 미리 설정된 플래그가 연관된 노드와 같은 계층 구조 수준에 속하는 플래그로 제한 될 수 있다.

따라서, 다중 트리 구조의 신호 코딩을 위한 다른 관점에서, 코드 체계에 따라 더 효과적인 코딩을 가능하게 제공된다.

이 관점에 따르면, 코드 신호는 높은 계층 구조 수준과 가장 높은 계층 구조 수준 불평등 다중 트리 구조의 노드와 관련된 플래그의 순서의 표시를 포함하고, 각 플래그가 연결된 노드가 중간 노드 또는 하위 노드인지 여부를 지정하며, 순차적으로 , 깊이-우선 또는 너비-우선 순회 순서로, 코딩 속도를 감소시키고, 동일 리프 노드들을 자동적으로 지정하는 가장 높은 계층 구조 수준의 노드를 생략하는 것이 일어나는 데이타 스트림으로부터 플래그의 순서를 디코딩한다.

다른 실시 예에 따라, 다중 트리 구조의 코딩 신호가 가장 높은 계층 구조 수준의 표시를 포함 할 수있다. 이 방법으로는 가장 높은 계층 수준의 블록의 추가 분할이 어차피 제외되므로 가장 높은 계층 구조 수준 이외의 계층 구조 수준에 플래그의 존재를 제한 할 수 있다.

리프 노드와 기본 멀티 트리 서브디비젼(하위 부분)을 분할하지 않은 트리의 루트 영역의 보조 서브 디비젼의 일부가 되는 공간적 멀티 트리 서브디비젼(하위 부분)의 경우, 보조 하위 부문의 플래그 코딩에 사용된 컨텍스트는 컨텍스트가 동일한 크기의 영역과 관련된 플래그가 동일하도록 선택할 수 있다.

다른 실시 예에 따라, 병합 또는 정보 샘플 배치의 서브디비젼은 단일 연결 영역의 그룹화에 유리한 데이터 감소 양으로 코딩되어 있다. 이를 위해 단일 연결 영역에 대해 미리 설정된 상대적 위치 관계를 식별 가능하게 하는 것이 정의되고, 단일 연결 영역에 미리 설정된 상대적 위치 관계가 있는 미리 설정된 단일 연결 영역에 대해 단일 연결된 영역의 복수 내의 영역을 연결한다. 숫자가 0 인 경우 즉, 미리 결정된 단일 연결된 영역에 대한 병합 표시는 데이터 스트림 내에 없을 수 있다. 또한, 미리 결정된 단일 연결 영역에 미리 결정된 상대 위치 관계를 갖는 단일 연결된 영역의 수가 하나인 경우, 단일 연결된 지역의 코딩 매개 변수를 채택하거나 더 구문 요소에 대한 필요없이 미리 간단하게 연결 영역에 대한 코딩 매개 변수에 대한 예측에 사용할 수 있다. 그렇지 않으면, 즉, 미리 결정된 단일 연결 지역에 미리 결정된 상대 위치 관계를 갖는 단일 연결 영역의 숫자가 하나보다 큰 경우, 관련된 코딩 매개 변수가 이 식별된 단일 연결 지역과 서로 동일한 경우에 추가 구문 요소의 도입을 억제 할 수 있다.

인근 단일 연결된 영역의 코딩 매개 변수가 서로 같지 않을 경우 실시 예에 따라, 참조 근접 식별자(identifier)는 미리 단일 연결 영역에 미리 결정된 상대 위치 관계를 갖는 단일 연결된 영역의 숫자를 이용해 적절한 하위 집합을 식별 할 수 있도록 코딩 매개 변수를 채택하거나 미리 단순히 연결된 지역의 코딩 매개 변수를 예측하는 때에 적절한 부분 집합을 사용한다.

추가 실시 예에서 따라, 데이타 스트림에서 얻어지는 구문 요소들의 첫번째 하위 집합에 따라 반복적으로 멀티-파티셔닝(멀티-분할)을 수행하여 다양한 크기의 단일 연결된 영역의 다수의 2 차원 정보 신호의 공간적 샘플링을 나타내는 샘플 영역의 공간적 서브디비젼에 따라 샘플 배치의 중간 서브디비젼를 얻기 위해, 첫번째 부분집합으로부터 단절된 데이타 스트림 내의 구문 요소들의 두 번째 부분집합에 따라, 공간적으로 근접한 단일 연결 영의 조합에 의해 단일 연결 영역 부분집합과의 조합에 의존한다. 데이터 스트림에서 샘플의 배열을 재구성 할 때 중간 서브디비젼(하위 부문)이 사용된다. 너무 세분된 부서는 병합 이후에 보상 될 수 있다는 사실 때문에 덜 중요한 서브디비젼에 대해 최적화를 렌더링 할 수 있다. 또한, 재귀 다중 분할 방식으로 가능하지 않았을, 서브디비젼의 조합과 병합은 중간 서브디비젼을 달성 가능하며, 서브디비젼의 결합과 구문 요소의 단절된 집합의 사용에 의해 병합은 효과적이고 중간 서브디비젼의 2차원 정보 신호의 실제 내용에 더 나은 적응을 가능하게 한다. 장점에 비해, 병합 세부정보를 표시하는 구문 요소의 추가 부분집합에서 발생하는 추가 오버 헤드는 무시해도 좋을만하다.

본 발명의 바람직한 실시예는 다음 도면들의 관점에서 설명되어 있다.

도1은 본 프로그램의 실시 예에 따른 인코더의 블록 다이어그램을 보여주는 도면.

도2는 본 프로그램의 실시 예에 따른 디코더의 블록 다이어그램을 보여주는 도면.

도3a-c는 개략적으로 쿼드트리 서브디비젼에 대한 예를 보여주며, 도3a는 제1 계층 레벨, 도3b는 제2 계층 레벨, 도3c는 제3 계층 레벨을 보여주는 도면.

도4는 실시예에 따른 도3a 부터 도3c 까지의 쿼드트리 서브디비젼을 나타내는 트리 구조를 개략적으로 보여주는 도면.

도5a,b는 도4의 트리 구조를 나타내는 플래그들의 시퀀스 또는 이진 문자열(바이너리 스트링, binary strings) 그리고 다른 실시예들에 따른 도 3a부터 3c까지의 쿼드트리 서브디비젼을 각각 개략적으로 보여주는 도면.

도7은 실시예에 따라 데이타 스트림 추출기에 의해 수행되는 단계들을 나타내는 플로우 챠트.

도8은 추가 실시예에 따른 데이타 스트림 추출기의 기능을 도시하는 플로우 챠트.

도9a,b는 실시예에 따라 강조된 미리 결정된 블록에 대한 인접 후보 블록들과 쿼드트리 서브디비젼들을 도시하는 도식적 다이어그램.

도10은 추가 실시예에 따른 데이타 스트림 기능의 플로우 챠트.

도11은 실시예에 따른 상호 평면 적응/예측을 이용한 코딩을 도시하고 평면들 그리고 평면 그룹들로부터의 그림 구성을 개략으로 나타내는 도면.

도12a, 12b는 실시예에 따라, 상속 설계를 도시하기 위한 대응하는 서브-디비젼과 서브트리 구조를 개략적으로 도시하는 도면.

도12c, 12d는 실시예에 따라, 적응 그리고 예측의 상속 설계를 나타내기 위한 서브트리 구조를 나타내는 도면.

도13은 실시예에 따라 상속 설계를 실현하는 인코더에 의해 수행되는 단계들을 보여주는 플로우챠트.

도14a,14b는 실시예에 따라 상호-예측 연결의 상속 설계를 실행할 가능성을 도시하기 위해 주요 서브디비젼 그리고 종속 서브디비젼을 나타내는 도면.

도15는 실시예에 따른 상속 설계의 연결에서 디코딩 프로세스를 나타내는 블록 다이어그램을 도시한 도면.

도17은 실시예에 따른 디코더의 블록 다이어그램을 나타낸 도면.

도18은 실시예에 따른 데이타 스트림의 컨텐츠를 나타내는 도식적 다이어그램.

도19는 실시예에 따른 인코더의 블록 다이어그램을 나타내는 도면.

도20은 추가 실시예에 따른 디코더의 블록 다이어그램을 나타내는 도면.

도21은 추가 실시예에 따른 디코더의 블록 다이어그램을 나타내는 도면.

도면의 설명에 따라서, 다음 여러 도면에서 일어나는 요소들은 공통된 참조 부호들에 의해 표시되고 이 구성요소들의 반복적인 설명은 회피된다. 오히려 하나의 그림에서 제시한 요소에 대한 설명이 다른 도면에 적용되고 각각의 요소는 편차를 나타내는 다른 도면에 설명이 존재하는 한 개별 구성요소들이 발생한다.

또한, 다음과 같은 설명은 도면 1-11에 대해 인코더와 디코더의 실시 예를 설명하는 것과 함께 시작한다. 이 도면과 관련하여 설명 된 실시 예는 본 프로그램의 여러 측면을 결합하는데 이에 따라 코딩 방식에서 개별적으로 구현하는 경우도 도움이 될 것이며 다음 도면과 관련하여, 실시 예들은 잠시 다른 의미에서 도면 1과 11에 대해 설명된 실시예의 추상적 개념을 대표하는 이들 실시예에 각각 개별적으로 언급되는 측면을 이용하는 설명이 되어 있다.

도1은 본 발명의 실시예에 따른 인코더를 나타내는 도면이다. 도1의 인코더(10)은 예측기(12), 잔류 프리코더(14), 잔류 복원기(16), 데이타 스트림 입력기(18) 그리고 블록 디바이더(20)를 포함한다. 인코더(10)은 코딩 공간적으로 샘플링된 정보 신호를 데이타 스트림(22)에 코딩한다. 일시적으로 공간 샘플링된 정보 신호는 , 예를 들어, 비디오이고, 즉, 그림들의 시퀀스이다. 각 그림들은 이미지 샘플들의 배치(배열)을 나타낸다. 일시적으로 공간적으로 정보 신호들의 다른 예들은, 예를 들어, time-to-light 카메라들에 의해 캡쳐된 깊이 이미지들(depth images)을 포함한다. 게다가, 공간적으로 샘플링된 정보 신호는 예를 들어 두개의 프레임 당 샘플들의 채도 배치에 따른 루마 샘플들 배치를 포함하는 컬러 비디오의 경우에 따른 타임 스탬프 또는 프레임당 하나의 배치 또는 그 이상을 포함할 수 있다. 정보 신호의 다른 구성요소들에 대한 일시적 샘플링 레이트는, 즉 루마 그리고 채도는 다를 수 있는 가능성이 있다. 비디오는 추가로 공간적으로 샘플링된 정보, 예를 들어 깊이 또는 투명도 정보같은 것에 의해 동반될 수도 있다. 다음 설명은, 그러나, 하나의 평면 이상의 처리를 먼저 전환하는 것과 함께 본 응용의 주요 이슈를 더 잘 이해하기 위해 이러한 배치들 중 하나의 처리에 초점을 둔다.

도1의 인코더10은 데이타 스트림(22)를 생성하기 위해 구성되며 이는 데이타 스트림(22)의 구문 요소들은 전체 그림들 그리고 개별 이미지 샘플들 사이에 위치한 입도로 그림들을 설명한다. 이를 위해, 디바이더(20)은 각 그림(24)를 다른 크기들의 단일 연결 영역(26)으로 서브-디바이드(세분, sub-divide)한다. 다음에서 이러한 영역들은 간단히 블록들 또는 서브-영역들(하위 부분, 26)으로 불릴 것이다.

아래에 더 자세히 요약된 것처럼, 디바이더(20)은 멀티-트리 서브-디비젼을 그림(24)를 다른 크기들의 블록들(26)으로 나누기 위해 이용한다. 더 정확하게는, 도1 내지 11의 관점에서 요약된 특정 실시예는 쿼드트리 서브-디비젼을 대부분 이용한다. 아래에서 더 자세히 설명될 것처럼, 디바이더(20)은 상호적으로, 서브디바이더(28)에 의해 설정되는 서브-디비젼 그리고 그림(24)의 논-서브-디비젼(non-sub-division) 사이에 위치한 입도 또는 효과적인 서브디비젼을 얻기 위해 이러한 블록들(26)의 그룹들을 결합하는 것을 가능하게 하는 머져(30)을 따르는 단순언급된 블록들(26)로 그림을 서브-디바이딩(세분, sub-dividing)하기 위한 서브디바이더(28)의 연쇄(concatenation)를 포함한다.

도1의 밑줄에 도시된 바와 같이, 예측기(12), 잔류 프리코더(14), 잔류 복원기(16) 그리고 데이타 스트림 입력기(18)은 디바이더(20)에 의해 설정되는 그림 서브-디비젼들에서 동작한다. 예를 들어, 아래에서 요약되는 바와 같이, 예측기(12)는 선택된 예측 모드에 따른 개별 서브-영역들에 대응하는 예측 파라미터들(매개 변수들)을 설정하는 상호 그림 예측 또는 내부 그림 예측의 대상이 되어야 하는 개별 서브-영역인지 아닌지에 대한 예측 서브-디비젼의 개별 서브-영역들을 결정하기 위해 디바이더(20)에 의해 설정되는 예측 서브디비젼을 이용한다.

잔류 프리코더(14)는 그림(24)의 잔류 서브-디비젼을 이용할 수 있고 이는 예측기(12)에 의해 제공되는 그림들의 예측의 잔류를 인코딩하기 위함이다. 잔류 복원기(16)이 잔류 프리코더(14)에 의해 출력되는 구문 요소들로부터 잔류를 복원할 때, 잔류 복원기(16)은 또한 방금 언급된 잔류 서브디비젼에서 작동한다. 데이타 스트리 입력기(18)는 방금 언급된 분할을 이용할 수 있으며, 즉 예측 그리고 잔류 서브디비젼을 말하며, 이는 예를 들어 엔트로피 인코딩에 의해 데이타 스트림(22)로 예측기(12) 그리고 잔류 프리코더(14)에 의해 출력되는 구문 요소들의 입력을 위한 구문 요소들 중의 인접 그리고 입력 순서를 결정하기 위함이다.

도1에 보여진대로, 인코더(10)은 입력(32)를 포함하며, 여기서 원래 정보 신호는 인코더(10)으로 들어간다. 감산기(34), 잔류 프리코더(14) 그리고 데이타 스트림 입력기(18)은 입력(32) 그리고 데이타 스트림 입력기(18)의 출력 사이에 언급된 순서로 연속적으로 연결되며, 이는 코딩된 데이타 스트림(22)이 출력되는 곳에서이다. 감산기(34) 그리고 잔류 프리코더(14)는 예측 루프의 부분이며 이는 잔류 생성기(16)에 의해 닫혀지며, 애더(36) 그리고 예측기(12)는 언급된 잔류 프리코더914)의 출력 그리고 감산기(34)의 반전 입력 사이에 연속적으로 연결된다. 예측기(12)의 출력은 애더(36)의 추가 입력에도 연결된다. 추가적으로, 예측기(12)는 입력(32)에 직접적으로 연결되는 입력을 포함하고 조건적인 인-루프 필터(in-loop filter, 38)를 통한 애더의 출력(36)에도 연결된 추가 입력을 포함할 수도 있다. 게다가, 예측기(12)는 작업 동안에 측면 정보를 생성하며 그래서, 예측기(12)의 출력은 데이타 스트림 입력기(18)에도 연결된다. 유사하게, 디바이더(20)은 데이타 스트림 입력기(18)의 또 다른 입력에 연결되는 출력을 포함한다.

인코더(10)의 구조가 묘사되었고, 작업의 모드는 더 자세하게 다음에 설명된다.

상기 설명된대로, 디바이더(20)은 각 그림(24)를 어떻게 같은 서브 영역들(26)으로 서브디바이드(세분)하는지를 결정한다. 예측을 위해 이용되는 그림(24)의 서브디비젼에 따라, 예측기(12)는 어떻게 개별 서브영역을 예측하는지와 이 서브디비젼에 대응하는 각 서브영역을 결정한다. 예측기(12)는 감산기(34)의 반전 입력에 서브 영역의 예측을 출력하고 애더(36)의 추가 입력에 그리고 어떻게 예측기(12)가 이전 인코딩한 비디오의 부분으로부터 이 예측을 얻었는지를 반영하는 예측 정보를 출력하고, 이는 데이타 스트림 입력기(18)에 대한 것이다.

감산기(34)의 출력에서, 예측 잔류는 잔류 프리코더(14)가 이 예측 잔류를 디바이더(2)에 의해 묘사되는 잔류 서브디비젼에 따라 처리하는 곳에서 얻어진다. 아래 도3 내지 10의 관점에서 더 자세히 설명되는 것처럼, 그림(24)의 잔류 서브디비젼은 더 작은 잔류 서브영역으로 더 세분되거나 잔류 서브 영역으로 적응되는 각 예측 서브 영역처럼 예측기(12)에 의해 이용되는 예측 서브-영역에 관계될 수 있는 잔류 프리코더(14)에 의해 이용된다. 그러나, 전체적으로 독립 예측 그리고 잔류 서브디비젼들도 가능하다.

잔류 프리코더(14)는, 왜곡이 양자화 노이즈로부터 도출되는 결과 변형 블록들의 결과 변형 계수들의 양자화를, 본질적으로 포함하는, 다음에 따른 이차원 변형에 의한 각 잔류 서브 영역을 공간에서 스펙트럴 영역으로의 변형에 종속시킨다. 예시적으로 데이타 스트림 입력기(18)은 예를 들어 엔트로피 인코딩에 의해 이용되는 데이타 스트림(22)에 대한 이미 언급된 변형 계수들을 설명하는 구문 요소들을 손실없이 인코딩할 수 있다.

잔류 복원기(16)은, 차례로, 재-변형에 따르는 재-양자화의 이용에 의해, 잔류 신호에 대한 변형 계수들을 다시 변환하고, 여기서 잔류 신호는 애더(36) 내에서 감산기(34)에 의해 이용된 예측기와 함께 결합되며 이는 예측 잔류를 얻기 위함이고, 그래서 애더(36)의 출력에서 현재 그림의 서브영역 또는 복원된 부분을 얻게 된다. 예측기(12)는 이미 복원된 인근의 예측 서브-영역들로부터 외삽법(extrapolation)에 의한 특정 예측 서브영역을 예측하기 위하여, 내부 예측에 대한 복원된 그림 서브영역을 직접 이용할 수 있다. 그러나, 인접한 곳에서 현재 서브영역의 스펙트럼을 예측하여 스펙트럴 영역 내에서 내부 예측을 직접적으로 수행하는 것이 이론적으로도 가능하다.

내부 예측에 대해, 예측기(12)는 조건적 인루프 필터(38)에 의해 필터링된 동일한 것에 따른 버젼에서 미리 인코딩되고 복원된 그림들을 이용할 수도 있다. 인루프 필터(38)은, 예를 들어, 이전에 언급된 양자화 노이즈를 유리하게 형성하기 위해 적용되는 전환 기능을 갖는 적응 필터 및/또는 디-블록킹 필터(de-blocking filter)를 포함할 수 있다.

예측기(12)는 그림(24) 내에서 원래 샘플들과 비교를 이용하여 특정 예측 서브영역을 예측하는 방법을 드러내는 예측 파라미터들을 선택한다. 예측 파라미터들은 아래에서 더 자세히 요약된 것처럼, 상호 그림 예측 그리고 내부 그림 예측처럼, 각 예측 서브영역 예측 모드의 표시로 구성할 수 있다.

상호 그림 예측의 경우에, 복원된 이미지 샘플들을 필터링하기 위한 조건적 필터 정보, 내부 및/또는 상호 그림 예측 양쪽의 경우 모두에서, 결과적으로, 고차 모션 변형 파라미터들, 그리고 모션 그림 지수들, 모션 벡터들 내에서 예측 파라미터는 내부 예측되는 것들이 주로 연장하는 예측 서브영역 내에서 현재 예측 서브영역이 예측되는 기반에서 모서리를 손질하는 것에 따라 각도 표시를 포함할 수 있다.

아래에서 더 자세히 요약되는 것처럼, 이미 언급된 디바이더(20)에 의해 정의되는 서브디비젼은 데이타 스트림 입력기(18) 그리고 예측기(12), 잔류 프리코더(14)에 의해 최대로 도달가능한 레이트/왜곡 비율에 영향을 미친다. 너무 세밀한 서브디비젼의 경우, 더 적은 비트에 의해 동일하게 코딩될 수 있도록 더 작아질 수 있는 잔류 프리코더에 의해 코딩되는 잔류 신호 그리고 더 좋아질 수 있는 예측기(12)에 의해 얻어지는 예측에도 불구하고 데이타 스트림(22)에 입력되어야 하는 예측기(12)에 의해 출력되는 예측 파라미터들(40)은 너무 큰 코딩 레이트를 필요하게 만든다. 너무 거칠은 서브디비젼의 경우, 반대가 적용된다. 게다가, 방금 언급된 생각들은 유사한 방법으로 잔류 서브디비젼을 적용한다 : 이는 변형을 도출하는 증가된 공간 해상도 그리고 변형들을 계산하기 위한 낮은 복잡성을 이끄는 개별 변형 블록의 더 미세한 입도를 이용하는 그림의 변형이다. 그것은, 더 작은 잔류 서브 영역이 지속적인 개별 잔류 서브-영역들 내에서 컨텐츠의 스펙트럴 분배를 가능하게 한다는 것이다. 그러나, 스펙트럴 해상도는 감소하고 의미있는 그리고 의미없는 즉 0으로 양자화된 계수들 사이의 비율을 더 나빠진다. 그것은, 변형의 입도가 지역적으로 그림 컨텐츠들에 적용되어야 한다는 것이다. 추가적으로, 더 좋은 입도의 긍정적 영향과는 독립적으로, 더 좋은 입도는 디코더에 선택되는 서브디비젼을 표시하기 위해 필요한 측면 정보의 양을 정기적으로 증가시킨다. 아래에 더 자세히 설명되는 것처럼, 아래에 설명된 실시예는 코딩된 데이타 스트림에의 서브디비젼 정보를 입력하는 데이타 스트림 입력기(18)을 표시하는 것에 의한 디코딩 측면에 의해 이용되기 위한 서브디비젼을 시그널링하는, 그리고 인코딩되어야 하는 정보 신호의 컨텐츠에 아주 효과적으로 서브디비젼을 적용하기 위한 능력을 갖는 인코더(10)을 제공한다. 세부내용은 아래에 표시된다.

그러나, 더 자세히 디바이더(20)의 서브디비젼을 정의하기 이전에, 본 응용의 실시예에 따른 디코더는 도2의 관점에서 더 자세히 설명된다. 도2의 디코더는, 조건적 포스트 필터(114) 그리고 조건적 인루프 필터(112), 예측기(110), 애더(108) 잔류 복원기(106), 디바이더(104), 추출기(102)를 포함하고 참조 부호(100)에 의해 표시된다. 추출기(102)는, 잔류 복원기(106) 그리고 예측기(110), 추출기(102)가 출력하는 그림 디바이더(104)로 출력하는 잔류 데이타(1120) 그리고 예측 파라미터들(120), 코딩된 서브-디비젼 정보(118)로부터 추출하고 디코더(100)의 입력(116)에서 코딩된 데이타 스트림을 수신한다. 잔류 복원기(106)는 애더(108)의 첫번째 입력에 연결되는 출력을 갖는다. 애더(108)의 다른 입력 그리고 그들의 출력은 즉 상호 그림 예측 중 다른 하나 그리고 내부 그림 예측 중 하나인, 도1의 예측기(12) 그리고 애더(36) 사이의 위에 언급된 연결들에 직접적으로 유사한 예측기(110)에 애더(108)의 출력으로부터 나오는 바이패스(by-pass) 경로로 언급된 순서대로 차례로 연결되는 조건적 인루프 필터(112) 그리고 예측기(110)로 예측 루프에 연결된다.

애더(108)의 출력 또는 인루프 필터(112)의 출력 모두 디코더(100)의 출력(124)에 연결될 수 있고 예를 들어 여기서 복원된 정보 신호는 재생 장치로 출력된다. 조건적 포스트-필터(114)는 출력(124)로 이끄는 경로로 연결되며 이는 출력(124)에서 복원된 신호의 시각적 인상의 시각적 품질을 향상시키기 위함이다. 일반적으로 말해, 잔류 복원기(106), 애더(108) 그리고 예측기는 도 1의 요소들 16, 36 그리고 12같이 작동한다. 다른말로, 도1에 이미 언급된 작업의 모방과 같다. 이를 위해, 잔류 복원기(106) 그리고 예측기(110)은, 각각 예측기(12)가 동작하거나 하기 위해 결정하는 것과 같은 방법으로 예측 서브영역을 예측하기 위해, 그리고 잔류 프리코더(14)가 하는 것에 따라 동일 입도에서 수신되는 변형 계수를 재변형하기 위해, 추출기(102)로부터 서브디비젼 정보(118)에 따라 그림 디바이더(104)에 의해 설명되는 서브 디비젼 그리고 예측 파라미터들(120)에 의해 컨트롤된다. 그림 디바이더(104)는 차례로, 서브디비젼 정보(118)에 기반하여 싱크로되는(동기화되는) 방법으로 도1의 디바이더(20)에 의해 선택되는 서브디비젼을 재구축한다. 추출기는, 차례로, 데이타 스트림 등등의 구문 파싱(parsing), 가능성 측정, 인접 결정, 컨텍스트 선택의 관점에서처럼 데이타 추출을 컨트롤 하기 위해 서브디비젼을 이용할 수 있다.

몇몇 편차들은 상기 실시예들에서 수행될 수 있다. 몇몇은 서브디바이더(28)에 의해 수행되는 서브디비젼에 대해 뒤따르는 자세한 설명 내에서 언급되고 머져(30)에 의해 수행되는 병합 그리고 다른 것들은 다음 도12 내지 16에 설명된다. 아무런 장애물들도 없는 경우, 이런 모든 편차들은 각각, 도1 그리고 도2에 미리 언급된 설명에 부분집합으로 또는 개별적으로 적용될 수 있다. 예를 들어, 디바이더들(20 그리고 104)는 그림당 잔류 서브디비젼 그리고 예측 서브디비젼만을 결정하지 않을 수도 있다. 그보다는, 그들은 각각 조건적 인루프 필터(38 그리고 112)를 위한 필터 서브디비젼을 결정할 수도 있고, 예측 또는 잔류 코딩에 대한 다른 서브디비젼으로부터 독립적 또는 의존적 모두일 수 있다. 게다가, 서브디비젼의 결정 도는 이러한 요소들의 서브디비젼은 프레임 별 기반으로 수행되지 않을 수도 있다. 대신에, 특정 프레임에 대한 서브디비젼 또는 서브디비젼들은 이후 새로운 서브디비젼으로 단순히 전환되는 것과 함께 뒤따르는 프레임들의 특정 숫자에 적응되거나 재사용될 수 있다.

서브영역으로의 그림 분할에 따른 더 세부내용을 제공하는 것에 있어, 다음 설명은 서브디바이더(28 그리고 104a)가 책임을 가정하는 서브영역 부분에 먼저 집중한다.

서브디바이더(28 그리고 104a)가 그림을 나누는 방법은, 그림이 이미지 또는 비디오 데이타의 예측적 그리고 잔류적 코딩의 목적을 위해 가능한 다른 크기들의 블록들 숫자로 나눠지는 것이다. 이전에 언급된 것처럼, 그림 24는 이미지 샘플 값들의 하나 또는 그 이상의 배치들에 따라 이용가능할 수 있다. YUV/YCbCr 컬러 공간의 경우, 예를 들어, 첫번째 배치는 루마 채널을 나타내는 것에 반해 다른 두번째 배치들은 채도 채널들을 나타낸다. 이러한 배치들은 다른 차원들을 가질 수 있다. 모든 배치들은 하나 또는 그 이상의 연속적인 평면들을 구성하는 각 평면 그룹과 함께 하나 또는 그 이상의 플레임 그룹들로 그룹화될 수 있고 각 평면은 하나 또는 오직 하나의 플레임 그룹에 포함된다. 각 평면 그룹에 대해 다음을 적용한다. 특정 평면 그룹의 첫번째 배치는 이 플레임 그룹의 주 배치라고 불릴 수 있다. 가능한 다음 배치는 종속 배치이다. 주 배치의 블록 분할을 아래에서 설명된대로 쿼드트리 접근에 기반하여 수행될 수 있다. 종속 배치들의 블록 분할은 주 배치의 분할에 기반하여 유도될 수 있다.

아래 설명된 실시예에 따라, 서브디바이더들(28 그리고 104a)는 동일 사이즈의 사각 블록들의 숫자로 주 배치들을 나누기 위해 구성되며 이는 다음에서 트리블록들이라고 불린다. 트리블록들의 모서리 길이는 쿼드트리들이 이용될 때 전형적으로 16, 32 또는 64 같은 2의 배수이다. 그러나, 완전성을 위해 리프들의 아무 숫자와 함께 바이너리 트리들 또는 트리들에 따라 다른 트리 타입들의 이용 또한 가능할 수 있다는 것을 알아야 한다. 게다가, 트리의 자식 숫자는 트리가 나타내는 신호에 의존한 트리의 레벨에 기반하여 다양화될 수 있다.

이에 더하여, 위에 언급된대로, 샘플들의 배치는 각각 깊이 맵들(depth maps) 또는 라이트필드들(lightfields) 같은 비디오 시퀀스들보다 다른 정보를 나타낼 수 있다. 단순함을 위해, 다음 설명은 멀티트리들에 대한 대표적 예시에 따라 쿼드트리에 초점을 둔다. 쿼드트리들은 각 내부 노드마다 정확히 네 자식들(children)을 갖는 트리들이다. 트리블록들 각각은 주 쿼드트리의 리프들(leaves) 각각에서 종속 쿼드트리들과 함께 주 쿼드트리를 구성한다. 종속 쿼드트리는 잔류 코딩의 목적에 대한 주어진 예측 블록의 서브디비젼을 결정하는 반면 주 쿼드트리는 예측에 대해 주어진 트리블록의 서브디비젼을 결정한다.

주 쿼드트리의 루트 노드는 완전한 트리블록에 대응한다. 예를 들어, 도3a는 트리블록(150)을 나타낸다. 각 그림들은 트리블록들(150)같은 것들의 라인들(lines)과 컬럼들(columns)의 정규 그리드로 나누어지며 이는 동일하게, 예를 들어, 간극없이 샘플들의 배치를 커버하기 위한 것이라는 것을 상기해야 한다. 그러나, 여기 그리고 이후 보여지는 모든 블록 서브디비젼들에 대해 오버랩 없이 끊어짐 없는 서브디비젼이 결정적인 것은 아니라는 것이 알려져야 한다. 그보다, 인접 블록은 리프 블록이 인접 리프 블록의 적당한 서브부분(subportion)이 아닌 한 서로 다른 것을 오버랩(중첩)할 수 있다.

트리블록(150)의 쿼드트리 구조에 따라, 각 노드는 네 자식 노드들로 더 나눠질 수 있고, 이는 주 쿼드트리가 각 트리블록(150)이 트리블록(150)의 절반 너비와 절반 높이로 네 서브-블록들이 나눠질 수 있다는 것을 의미하는 경우에서이다. 도3a에서, 이러한 서브 블록들은 152a 내지 152d의 참조부호로 표시된다. 같은 방법으로, 이러한 서브블록들 각각은 원래 서브블록들의 절반 너비와 절반 높이로 네 서브-블록들로 추가적으로 나눠질 수 있다. 이것은 도3d에서 서브블록(152c)의 예로 보여지며 이는 네개의 작은 서브 블록들(154a 부터 154d)로 서브 디바이드(세분, sub-divide)되는 것이다. 도3a 부터 3c까지 트리블록(150)이 먼저 네 서브블록들(152a 부터 152d)까지 나더 나눠지는지를 예시적으로 보여주는 한, 더 낮은 왼쪽 서브블록(152c)는 네개의 작은 서브블록들(154a 부터 154d)로 더 나눠지고 결국 도3c에 보이는대로, 이 더 작은 서브 블록들의 상측 오른쪽 블록(154b)은 한번 원래 트리블록(150)의 팔분의 일의 너비와 높이로 한번 더 나눠지며, 이 더 작은 블록들은 (156a 부터 156d)로 표시된다.

도4는 도3a-3d에 보여지는 모범적인 쿼드트리-기반의 근원적인 트리 구조를 보여준다. 트리 노드들 곁의 숫자들은 소위 서브디비젼 플래그라 불리는 것들의 값들이며, 이는 쿼드트리 구조의 시그널링을 논의할 때 나중에 더 자세히 설명될 것이다. 쿼드트리의 루트 노드는 그림의 상측에 묘사된다.("Level 0", "레벨 0"으로 분류되어 있다.) 이 루트 노드의 레벨 1에서의 네 가지들은 도3a에 보여지는 것처럼 네 서브블록들에 대응한다. 이 서브블록들 중 세번째는 도3b에서 네개의 서브블록들로 더 세분되는 것처럼, 도4의 레벨1에서 세번째 노드 또한 네 가지들(branches)을 갖는다. 다시, 도3c에서 두번째 자식 노드의 서브디비젼(세분, sub-division)에 대응하여, 쿼드트리 계층의 레벨2에서 두번째 노드와 연결되는 네 서브-가지들이 있다. 레벨3에서 노드들은 더 이상 세분되지 않는다.

주 쿼드트리의 각 리프(leaf)는 개별 예측 파라미터들이 특정될 수 있는 다양한 크기의 블록들에 대응한다. (즉, 내부 또는 상호, 예측 모드, 모션 파라미터들, 등등.) 다음에서, 이러한 블록들은 예측 블록들이라 불린다. 특히, 이 리프 블록들은 도3c에 보이는 블록들이다. 도1 그리고 2의 설명을 다시 간단히 언급해보면, 디바이더(20) 또는 서브-디바이더(28)는 쿼드트리 서브디비젼을 방금 언급된 것처럼 결정한다. 서브-디바이더(152a-d)는 트리블록들(150), 서브블록들(152a-d), 작은 서브블록들(154a-d) 등등 중에서 결정을 수행하고, 이는 이미 위에서 지적한대로 너무 세밀한 예측 서브디비젼 그리고 너무 거친 예측 서브디비젼 사이의 최적 트레이드오프(tradeoff)를 찾기 위한 목적으로 더 서브-디바이드(세분, sub-divide) 또는 분할하기 위함이다. 예측기(12)는, 예를 들어 도3c 에 보인 블록들에 의해 표시된 예측 서브영역들 각각에 대한 또는 예측 서브디비젼에 기반한 입도(granularity)에서 위에서 언급된 예측 파라미터들을 결정하기 위해, 차례로, 언급된 예측 서브디비젼을 이용한다.

도3c 에 보인 예측 블록들은 잔류 코딩의 목적을 위해 더 작은 블록들로 더 나누어질 수 있다. 각 예측 블록들에 대해, 즉 주 쿼드트리의 각 리프 노드에 대해, 대응하는 서브디비젼은 잔류 코딩에 대해 하나 또는 그 이상의 종속 쿼드트리(들)에 의해 결정된다. 예를 들어, 16x16의 최대 잔류 블록 크기를 허용할 때, 주어진 32x32 예측 블록은 네개의 16x16 블록들로 나누어질 수 있고, 그 각각은 잔류 코딩에 대한 종속 쿼드트리에 의해 결정된다. 이 예에서 각 16x16 블록은 종속 쿼드트리의 루트 노드에 대응한다.

예측 블록들에 주어진 트리블록의 서브디비젼의 경우를 언급하는 것처럼, 각 예측 블록은 종속 쿼드트리 분해(들)의 이용에 의해 잔류 블록들의 숫자로 나누어질 수 있다. 종속 쿼드트리의 각 리프는, 잔류 코딩 파라미터들이 차례로 잔류 복원기(16 그리고 106)을 제어하는 잔류 프리코더(14)에 의해 특정될 수 있는(즉, 변형 모드, 변형 계수들 등등) 개별 잔류 코딩 파라미터들의 잔류 블록들에 대응한다.

다른 말로, 서브디바이더(28)은 각 그림 또는 그림의 각 그룹에 대해 예측 서브디비젼 그리고 종속 잔류 서브디비젼을 트리블록들(150)의 정규 배치로 그림을 처음 나누는 것에 의해 결정하도록 구성될 수 있고, 잔류 쿼드트리 서브디비젼의 리프 블록들 도는 개별 서브블록들에서 일어나는 훨씬 더 작은 영역들로 분할이 일어나지 않는 경우 서브 트리 블록들, 개별 예측 블록에서 일어나는 서브 트리블록들로 나누어지지 않는 경우 예측 블록들이 될 수 있는 - 잔류 블록들을 얻기 위한 쿼드트리 서브디비젼 절차에 따라 이 서브 트리블록들의 부분집합을 서브디바이딩하는 것과 함께, - 개별 트리블록에서 분할이 일어나지 않을 때 트리블록들이 될 수 있는, 쿼드트리 서브디비젼의 리프 블록들이 될 수 있는 - 예측 블록들로의 예측 서브디비젼을 얻기 위해, 유사한 방법으로 이 예측 블록들의 부분집합을 더 서브디바이딩하고, 만약 예측 블록들이 종속 잔류 서브디비젼의 최대 크기보다 더 크다면, 쿼드트리 서브디비젼에 의해 이 트리블록들의 부분집합을 재귀적으로 분할한다.

위에서 간단히 요약된바와 같이, 주 배치에 대해 선택된 서브디비젼은 종속 배치들에서 맵핑(사상, mapped)될 수 잇다. 이는 주 배치와 동일 차원의 종속 배치들을 고려할때 용이하다. 그러나, 주 배치의 차원과 종속 배치들의 차원이 다를 때 특별한 방법들이 취해져야 한다. 일반적으로 말해, 다른 차원의 경우 종속 배치에의 주 배치 서브디비젼의 맵핑은 공간적인 맵핑에 의해 수행될 수 있는데, 즉 이는 종속 배치들에의 주 배치 서브디비젼의 블록 경계들을 매핑하는 것에 의한 것이다. 특히, 각 종속 배치에 대해, 종속 배치의 주 배치의 차원의 비율을 결정하는 수평 그리고 수직 방향의 스케일링 인수가 있을 수 있다. 예측 그리고 잔류 코딩에 대한 서브블록들 위의 종속 배치 분할은, 상대적 스케일링 인수에 의해 스케일링 되는 종속 배치의 트리블록들을 도출하는 것과 동시에, 주 배치의 공동 트리블록들 각각의 종속 쿼드트리(들) 그리고 주 쿼드트리들에 의해 결정될 수 있다. 수평 그리고 수직 방향의 스케일링 인수가 다른 경우(예를 들어, 4:2:2 채도 서브-샘플링), 결과 예측 그리고 종속 배치의 잔류 블록들은 사각형들이 더 이상 아닐 것이다. 이 경우, 비-사각형 잔류 블록이 사각 블록들로 나누어 지는지 여부를 순응적으로 (전체 시퀀스, 시퀀스에서 하나의 그림 모두에 대하여 또는 각 단일 예측 또는 잔류 블록에 대하여) 모두 선택 또는 결정할 수 있는 가능성이 있다. 첫번째 경우, 예를 들어, 인코더 그리고 디코더는 사각 블록들로 서브디비젼으로 일치할 수 있다. 두번째 경우, 서브-디바이더(28)은 데이타 스트림 입력기(18) 그리고 데이타 스트림(22)를 통해 서브-디바이더(104a)로 선택을 신호 보낼 수 있다.(시그널링 할 수 있다) 예를 들어, 4:2:2 채도 서브-샘플링의 경우, 여기서 종속 배치는 주 배치에 따라 절반 너비 그러나 같은 높이를 가지며, 잔류 블록들은 넓은 만큼 높이 두배가 된다.

위에서 언급된대로, 서브-디바이더(28) 또는 디바이더(20)은 각각 데이타 스트림(22)를 통해 서브-디바이더(104a)로 쿼드트리-기반 분할을 시그널링한다. 이를 위해, 서브디바이더(28)은 그림들(24)에 대해 선택된 서브디비젼들에 대한 데이타 스트림 입력기(18)를 알린다. 데이타 스트림 입력기는, 차례로, 디코딩 측면에 대해 비트 스트림(22) 또는 데이타 스트림 내에서 잔류 코딩 또는 예측에 대해 다양한 크기의 블록들로 그림 배치들의 분할 그리고 주 그리고 두번째 쿼드트리의 구조를 전송한다.

최소 그리고 최대 인정되는 블록 크기들은 측면 정보를 따라 전송되고 그림에서 그림으로 바뀔 수 있다. 또는 최소 그리고 최대 인정가능한 블록 크기들은 인코더와 디코더에서 고정될 수 있다. 이 최소 그리고 최대 블록 크기는 예측 그리고 잔류 블록들과 다를 수 있다. 쿼드트리 구조를 시그널링 하는 것에 대해, 쿼드트리는 순회되어야 하고, 각 노드에 대해 이 특정 노드가 쿼드트리의 리프 노드인지 여부(즉 대응 블록이 더 이상 세분되지 않는다) 또는 그것이 네 자식 노드들로 가지가 나누어지는 경우(즉 대응 블록은 반절 크기로 네개의 서브블록들로 나누어진다.)가 특정되어야 한다.

한 장의 사진에서 시그널링은 왼쪽에서 오른쪽으로, 아래로도 상단에서와 같은 래스터 스캔(raster scan) 순서로 트리블록 별로 수행된다. 도 5a, (140)에서 이 검색 순서는 왼쪽 상단에 오른쪽 하단이나 바둑판의 의미에서와 같이 달라질 수 있다. 바람직한 실시 예에서, 각 트리블록과 각 쿼드트리는 서브디비젼 정보를 시그널링 하기 위해 깊이-우선 순서로 통과한다.

바람직한 실시예에서, 즉 트리의 구조인, 서브디비젼 정보 뿐만 아니라, 트리의 리프 노드들과 관련된 페이로드인, 예측 데이타 등등도 깊이-우선 순서로 전송/프로세스 된다. 이는 깊이-우선 순회가 너비-우선 순서보다 큰 이점을 가지기 때문에 수행된다. 도5b에서, 쿼드트리 구조는 a, b...,j로 분류된 리프 노드들로 표현된다. 도5a 는 결과 블록 디비젼을 보여준다. 블록/리프 노드들이 너비-우선 순서로 순회하는 경우, 우리는 다음 순서를 얻는다 : abjchidefg. 깊이-우선 순서에서, 그러나, 순서는 adc...ij이다. 도5a에서 볼 수 있듯이, 깊이-우선 순서에서, 왼쪽 인접 블록 그리고 상측 인접 블록은 언제나 현재 블록 이전에 전송/프로세스된다. 그래서, 모션 벡터 예측 그리고 컨텍스트 모델링은 언제나 향상된 코딩 성능을 달성하기 위해 왼쪽 그리고 상측 인접 블록에 대해 특정되는 파라미터들을 이용한다. 너비-우선 순서에 대해, 블록 j가 예를 들어 블록 e, g, 그리고 i 전에 전송되기 때문에, 이런의 경우는 되지 않을 것이다.

결과적으로, 각 트리블록에 대한 시그널링은, 플래그가 전송되고, 대응 블록이 네 서브블록들로 나뉘는지 여부를 특정하는 각 노드에 대해 주 쿼드트리의 쿼드트리 구조를 따라 재귀적으로 수행된다. 이 플래그가 "1" 값을 가지면("참"에 대해, for "true"), 이 시그널링 프로세스는, 즉 래스터 스캔 순서(상측 왼쪽, 상측 오른쪽, 하측 왼쪽, 하측 오른쪽)에서 주 쿼드트리의 리프 노드까지 서브블록이 도달할 때까지, 모든 네 자식 노드들에 재귀적으로 반복된다. 리프 노드가 "0"의 값을 갖는 서브디비젼 플래그를 갖는 것에 의해 캐릭터화된다. 노드가 주 쿼드트리의 가장 낮은 계층 레벨에 거주하고 그래서 가장 작은 인정가능한 예측 블록 크기에 대응하는 경우, 어떤 서브디비젼 플래그도 전송되지 않아야 한다. 도3a-c 의 예에 대해, 하나는 도6a의 (190)에서 보이는 대로, 트리블록(150)이 네개의 서브블록들(152a-d)로 나눠지는 것을 특정하는 "1"을 먼저 전송할 것이다. 그러면, 하나는 래스터 스캔 순서(200)에서 모든 네 서브 블록들(152a-d)의 서브디비젼 정보를 재귀적으로 인코딩할 것이다. 첫번째 두 서브블록들(152a)에 대해서, b는 나눠지지 않는 것들을 특정하는 "0"을 전송할 것이다.(도6a의 202) 세번째 서브블록(152c)에 대해(하측 왼쪽), 하나는 이 블록이 나눠지는 것을 특정하는 "1"을 전송할 것이다.(도6a 의 204) 이제 재귀적 접근에 따라, 이 블록의 네 서브 블록들(154a-d)은 처리될 것이다. 여기서 하나는 "0"을 첫번째 서브블록에 대해 전송할 것이고 (206), "1"을 두번째(상측 오른쪽) 서브블록(208)에 대해 전송할 것이다. 이제, 도3c의 가장 작은 블록 사이즈의 네 블록들(156a-d)는 처리될 것이다. 이 경우, 우리는 이 예에서 허용된 가장 작은 블록 크기에 이미 도달했고, 더 이상의 데이타는 전송될 필요가 없으며, 이는 더이상의 서브디비젼이 가능하지 않기 때문이다. 반면에, 이 블록들 중 아무것도 특정하지 않는 "0000"은 더 나누어지며, 도6a의 210에 표시된것처럼 전송될 것이다. 이 이후에, 하나는 "00"을 도3b의 더 낮은 두 블록들에 대해 전송할 것이고, (도6a 의 212), 최종적으로는 "0"을 도3a(214)의 하측 오른쪽 블록에 대해 전송할 것이다. 그래서 쿼드트리 구조를 나타내는 완전한 바이너리 스트링(binary string)은 도6a 에 보여지는 하나가 될 것이다.

도 6a의 이 바이너리 스트링 표현에서 다른 배경 명암은 쿼드트리 기반 서브디비젼의 계층에서 다른 레벨들에 대응한다. 명암(216)은 레벨 0 을 나타내고(원래 트리블록 크기와 동일한 블록 크기에 대응함), 명암(218)은 레벨1을 나타내고(원래 트리블록 크기 반과 같은 블록 크기에 대응함), 명암(220)은 레벨 2를 나타내고(원래 트리블록 크기의 1/4과 같은 블록 크기를 나타냄), 명암(222)는 레벨3을 나타낸다(원래 트리블록 크기의 1/8과 같은 블록 크기에 대응함). (예시 바이너리 스트링 표현에서 같은 블록 크기와 같은 컬러에 대응하는)의 동일 계층 레벨의 모든 서브디비젼 플래그들은 예를 들어 입력기(18)에 의해 같은 가능성 모델과 하나를 이용하여 엔트로피 코딩될 수 있다.

너비-우선 순회의 경우, 서브디비젼 정보는 도6b 에 도시된대로, 다른 순서로 전송될 것이다.

예측의 목적에 있어 각 트리블록의 서브디비젼에 유사하게, 잔류 블록으로의 각 결과 예측 블록의 분할은 비트스트림에서 전송되어야 한다. 또한, 그림에서 그림으로 변할 수 있고 측면 정보에 따라 전송될 수 있는 잔류 코딩에 대한 최대 그리고 최소 블록 크기가 있을 수 있다. 또는 잔류 코딩에 대한 최대 그리고 최소 블록 크기가 인코더 그리고 디코더에서 고정될 수 있다. 주 쿼드트리의 각 리프 노드에서, 도3c 에 보여진대로, 대응 예측 블록이 최대 허용가능한 크기의 잔류 블록들로 나눠질 수 있다. 이 블록들은 잔류 코딩에 대한 종속 쿼드트리 구조의 구성 루트 노드들이다. 예를 들어, 그림에 대한 최대 잔류 블록 크기는 64x64 그리고 32x32 크기의 예측 블록이며, 전체 예측 블록은 32x32 크기의 하나의 종속 (잔류) 쿼드트리 루트 노드에 대응할 것이다. 반면에, 그림의 최대 잔류 블록 크기는 32x32 이며, 32x32 예측 블록은 각각 16x16 크기인 네 잔류 쿼드트리 루트 노드들을 구성할 것이다. 각 예측 블록 내에서, 종속 쿼드트리 구조의 시그널링은 루트 노드별로 래스터 스캔 순서에 의해 수행된다(왼쪽에서 오른쪽으로, 상측에서 하측으로). 주 (예측) 쿼드트리 구조의 경우와 비슷하게, 각 노드에 대해 플래그가 코딩되며, 이 특정 노드가 그것의 네 자식 노드들로 나눠지는지 여부를 특정한다. 그러면, 만약 이 플래그가 "1"의 값을 갖는다면, 이 절차는 래스터 스캔 순서에서 그것의 대응하는 서브블록들과 네개의 대응하는 자식 노드들 모두에 대해 재귀적으로 반복된다. 주 트리의 경우처럼, 시그널링이 더 이상 나눠지지 않는 종속 쿼드트리의 가장 낮은 계층 레벨에서 노드를 위해 요구되지 않으며, 이는 그러한 노드들이 가장 낮을 수 있는 잔류 블록 크기의 블록들에 대응하기 때문이다.

엔트로피 코딩에 대해, 동일 블록 크기의 잔류 블록들에 속하는 잔류 블록 서브디비젼 플래그들은 하나 또는 동일 가능성 모델을 이용하여 인코딩 될 수도 있다.

그래서, 도3a 부터 6a의 관점에서 위에 나타난 예에 따라, 서브디바이더(28)는 예측 목적들을 위한 주 서브디비젼 그리고 잔류 코딩 목적들을 위한 주 서브디비젼의 다른 크기 블록들의 종속 서브디비젼을 정의했다. 데이타 스트림 입력기(18)은 지그재그 스캔 순서에서 각 트리블록에 대한 시그널링에 의해 주 서브디비젼을 코딩했으며, 비트 시퀀스는 도6a 에 따라 최대 주 블록 크기 그리고 주 서브디비젼의 최대 계층 레벨의 코딩과 함께 구성되었다. 그렇게 정의된 각 예측 블록에 대해, 관련 예측 파라미터들은 데이타 스트림으로 포함되었다. 추가적으로, 유사 정보의 코딩, 즉 최대 크기, 최대 계층 레벨 그리고 도6a 에 따른 비트 시퀀스는, 잔류 서브디비젼에 대한 최대 크기보다 같거나 작은 크기의 각 예측 블록들에 대해, 예측 블록들이 잔류 블록들에 대해 정의된 최대 크기를 넘는 크기로 미리 나눠진 각 잔류 트리 루트 블록에 대해 일어난다. 그렇게 정의된 각 잔류 블록들에 대해, 잔류 데이터는 데이타 스트림으로 입력된다.

추출기(102)는 입력(116)에서 데이타 스트림으로부터 개별 비트 시퀀스들을 추출하며 이와 같이 얻어지는 서브디비젼 정보에 대해 디바이더(104)에게 알린다. 이에 더하여, 데이타 스트림 입력기(18) 그리고 추출기(102)는 잔류 프리코더(14)에 의해 출력되는 잔류 데이타 그리고 예측기(12)에 의해 출력되는 예측 파라미터들처럼 추가 구문 요소들을 전송하기 위해 예측 블록들 그리고 잔류 블록들 중 미리-언급된 순서를 이용한다. 이 순서를 이용하는 장점은 인접 블록들의 이미 코딩된/디코딩된 구문 요소들을 이용하여 선택될 수 있는 특정 블록에 대한 개별 구문 요소들을 인코딩하기 위한 적절한 컨텍스트에 있다. 게다가, 유사하게, 잔류 프리코더(14) 그리고 예측기(12)는 또한 잔류 복원기(106) 그리고 프리코더(110)은 위에 요약된 순서로 개별 예측 그리고 잔류 블록들을 처리할 수 있다.

도7은 단계(스텝, step)들의 플로우 다이어그램을 나타내며, 이는 추출기(102)에 의해 수행되는데 이는 위에서 요약된 방법으로 인코딩 될 때 데이타 스트림(22)로부터 서브디비젼 정보를 추출하기 위함이다. 제1단계에서, 추출기(102)는 그림(24)를 트리루트 블록들(150)으로 나눈다. 이 스텝은 도7의 단계(300)에 나타나 있다. 단계(300)은 데이타 스트림(22)로부터 최대 예측 블록을 추출하는 추출기(102)를 포함할 수 있다. 추가적으로 또는 대안적으로, 단계(300)은 데이타 스트림(22)로부터 최대 계층 레벨을 추출하는 추출기(102)를 포함할 수 있다.

다음, 단계(302)에서, 추출기(102)는 플래그 또는 비트를 데이타 스트림으로부터 디코딩한다. 제1단계 스텝(302)가 수행되고, 추출기(102)는 개별 플래그가 트리 루트 블록 스캔 오더(140)에서 제1 트리 루트 블록(150)에 속하는 비트 시퀀스의 제1플래그라는 것을 알게된다. 이 플래그가 계층 레벨 0의 플래그이기에, 추출기(102)는 컨텍스트를 결정하기 위한 단계(302)에서 그 계층 레벨 0과 관련된 컨텍스트 모델링을 이용할 수 있다.

각 컨텍스트는 그들과 관련된 플래그를 엔트로피 디코딩하는 개별 가능성 측정을 가질 수 있다. 컨텍스트들의 가능성 측정은 개별 컨텍스트 심볼 통계에 컨텍스트-개별적으로 적용될 수 있다. 예를 들어, 단계(302)의 계층 레벨 0의 플래그를 디코딩하기 위한 적절한 컨텍스트를 결정하기 위해, 추출기(102)는 컨텍스트들의 집합 중 하나의 컨텍스트를 선택할 수 있고, 이는 인접 트리블록들의 계층 레벨 0 플래그에 기반한 계층 레벨 0에 관련되어 있으며, 여기에 더하여, 상측 그리고 왼쪽 인접 트리블록처럼, 현재 프로세스된 트리블록의 인접 트리블록들의 쿼드트리 서브디비젼을 정의하는 비트 스트링들 내에 포함된 정보에 기반한다.

다음 단계에서, 단계(304)라고 불리며, 추출기(102)는 최근 디코딩된 플래그가 분할을 제안하는지를 확인한다. 이 경우라면, 추출기(102)는 현재 계층 레벨이 최대 계층 레벨에서 하나를 뺀 것과 동일한지 여부에 대해, 단계(308)에서 확인하고, 단계 (306)에서 서브디바이더(104a)에 대한 이 분할을 나타내는 현재 블록을 나눈다. 예를 들어, 추출기(102)는 단계(300)에서 데이타 스트림으로부터 추출되는 최대 계층 레벨도 갖는다. 현재 계층 레벨이 최대 계층 레벨에서 하나를 뺀 것과 같지 않다면, 추출기(102)는 데이타 스트림으로부터 다음 플래그를 디코딩하기위한 단계(302)로 되돌아가는 단계를 밟고 단계(310)에서 1만큼 현재 계층 레벨을 증가시킨다. 이번에, 단계(302)에서 디코딩되는 플래그들은 다른 계층 레벨에 속하고, 그래서, 실시예들에 따라, 추출기(102)는 현재 계층 레벨에 속하는 집합, 다른 컨텍스트들의 집합 중 하나를 선택할 수 있다. 상기 선택은 이미 디코딩된 인접 트리블록들의 도 6a에 따른 서브디비젼 비트 시퀀스들에도 기반할 수 있다.

플래그가 코딩된다면, 단계(304)의 상기 확인은 이 플래그가 현재 블록의 분할을 제안하지 않는다는 것을 드러내고, 추출기(102)는 단계(312)와 함께 현재 계층 레벨이 0인지 여부에 대한 확인을 진행한다. 이러한 경우라면, 추출기(102)는 단계(314)에서 상기 스캔 오더(140)의 다음 트리 루트 블록에 대한 프로세싱을 진행하거나 트리 루트 블록이 왼쪽에 처리되지 않는다면 서브디비젼 정보를 추출하는 프로세싱을 멈춘다.

도7의 설명은 예측 서브디비젼의 서브디비젼 표시 플래그들의 디코딩에만 초점을 맞추고 있다는 것을 알아야 하며, 그래서 사실, 단계(314)는 예를 들어 현재 트리블록에 속하는 추가 빈(bins) 또는 구문 요소들의 디코딩을 포함할 수 있다. 어떠한 경우든, 추가 또는 다음 트리 루트 블록이 존재한다면, 추출기(102)는 서브디비젼 정보로부터 다음 플래그를 디코딩하기 위해 단계(314)로부터 단계(302)로 진행하며, 즉 다시말해, 새 트리 루트 블록에 대한 플래그 시퀀스의 제1 플래그이다.

단계(312)에서 계층 레벨이 0과 다르다는 것이 밝혀지면, 작업은 단계(316)에서 현재 노드를 포함하는 추가 자식 노드가 존재하는지 여부를 확인하는 것과 함께 진행한다. 추출기(102)가 단계(316)에 있는 확인의 선택을 수행 할 때, 즉, 그것은 이미 현재의 계층 구조 수준이 0 계층 구조 수준이 아닌 계층 구조 수준라는 것이 단계 (312)에서 확인된다. 이것은 결과적으로, 부모 노드가 그렇게 트리 루트 블록(150)의 작은 블록(152a-d) 중 하나, 또는 작은 블록(152a-d)에 속해 있는다는 것을 의미하는 등이다. 최근 디코딩 플래그가 속한 트리 구조의 노드는 현재의 트리 구조의 세 추가 노드에 공통되는 부모 노드를 가지고 있다. 일반적인 부모 노드를 갖는 등 하위 노드 간의 스캔 순서는 도3a에 도면부호(200)으로 계층 레벨 0에 대해 예시적으로 설명되어 있다. 따라서, 단계에서(316)에서,이 네 자식 노드가 모든 과정에서 방문하는지 여부를 추출기(102)는 도 7의 과정에서 확인합니다. 이 경우가 아닌 경우, 즉 현재 부모 노드에 추가 자식 노드가 있는 경우, 현재 계층 구조 수준에서 지그재그 스캔 순서(200)에 따라 다음 자식 노드를 방문하며 이제 도 7의 프로세스는 단계 (318)을 진행하고, 그래서 해당 하위 블록은 프로세스 7의 현재 블록을 나타낸다. 이후 현재 블록 또는 현재 노드에 대한 데이터 스트림에서 단계(302) 경우 단계(316)에서 플래그가 해독되며, 그림의 프로세스에서 현재 부모 노드에 대해 추가 자식 노드는 없고, 현재 계층 구조 수준이 단계 (312)로 프로세스 진행 후 1만큼 감소되고 단계(312)에서 프로세스를 진행한다.

도 7의 추출기(102)에 보여지는 단계를 수행하여. 추출기 (102) 및 하위 디바이더(104A)는 데이터 스트림에서 인코더 측에서 선택한 서브디비젼을 검색하는데 협력한다. 도7의 프로세스는 예측 서브디비젼의 이미 설명된 사건에 집중되어 있다. 도 8은 그림의 플로우 다이어그램와 함께 어떻게 추출기(102) 및 서브디바이더(104A)가 데이터 스트림에서 잔류 서브디비젼을 검색하는데 협력하는지 보여준다.

특히, 도8은 추출기(102) 그리고 서브디바이버(104a)에 의해 예측 서브디비젼으로부터 도출되는 예측 블록 각각에 대해 수행되는 단계를 각각 보여준다. 이 예측 블록은, 위에서 설명한 바와 같이, 순회되고(traversed), 예를 들어, 도 3c의 예에 따라, 예측 서브디비젼의 트리블록들(150) 사이에서 지그재그 스캔 순서(140)에 따라 현재와 같이 리프 블록을 위해 방문한 각 트리 블록(150)내 깊이 - 우선 순회 순서를 사용하여 순회한다. 깊이 - 우선 순회 순서에 따라, 분할된 주 리프 블록은 지그재그 스캔 순서(200)과 주로 스캐닝하는 일반적인 현재 노드를 갖는 특정 계층 구조 수준의 하위 블록을 방문하는 것과 함께 깊이 - 우선 순회 순서에서 방문한 이 지그재그 스캔 순서(200)에서 다음 서브 블록으로 진행하기 전에 방문된다.

도 3c의 예에 대하여, 트리블록(150)의 리프 노드들 중의 결과 스캔 순서는 참조 부호(350)로 보여진다. 현재 - 방문된 예측 블록에 대해, 도8은 단계(400)에서 시작한다. 단계(400)에서, 현재 블록의 현재 크기를 나타내는 내부 매개 변수는 계층 구조 레벨 잔류 서브디비젼, 즉 잔류 서브디비젼의 최대 블록크기,와 같이 설정된다. 그것은 최대 잔류 블록 크기가 예측 서브디비젼의 가장 작은 블록 크기보다 작을 수 있고 또는 같거나 뒤의 것보다 더 클 수 있을 수 있다. 즉, 실시 예에 따르면, 인코더는 방금 언급 가능성 중 하나를 선택 할 수 있다.

다음 단계에서, 즉 (402) 단계에서, 현재 방문 블록의 예측 블록 크기가 현재 크기를 나타내는 내부 파라미터보다 큰지 여부를 확인하는 것이 수행된다. 이런 경우라면, 현재 방문 예측 블록은, 이는 예측 서브디비젼의 트리블록 또는 예측 서브디비젼의 리프 블록일수도 있으며, 더 이상 분할되지 않았으며, 최대 잔류 블록 크기보다 크고, 이 경우 도8의 프로세스는 도7의 단계(300)을 진행한다. 현재 - 방문 예측 블록은 잔류 트리루트 블록들로 나눠지고 현재 방문 예측 블록 내의 제1 잔류 트리블록의 플래그 시퀀스의 제1 플래그는 단계(302)에서 디코딩되는 등등이다.

그러나, 현재 방문 예측 블록은 현재 크기를 지칭하는 내부 매개변수보다 작거나 같은 크기를 갖고, 도8의 프로세스는 단계(404)를 진행하며 여기서 예측 블록 크기는 현재 크기를 지칭하는 내부 파라미터와 동일한 것과 같은지 여부를 결정하기 위해 확인된다. 이 경우, 분할 단계(300)은 생략될 수 있고 상기 프로세스는 도 7의 단계(302)와 직접 진행한다.

그러나, 현재에 방문한 예측 블록의 예측 블록 크기는 현재의 크기, 그림의 과정을 나타내는 내부 매개 변수보다 작은 경우, 계층 구조 레벨이 1 증가하며 도8의 단계(406)과 함께 진행하며, 새로운 계층 레벨의 크기는 2로 나누어지는 것처럼 같은 새로운 계층 구조 레벨로 설정된다.(쿼드트리의 서브디비젼의 경우 두 축 방향으로).

그후, 단계(404)의 확인이 다시 수행된다. 단계(404 그리고 406)에 의해 형성되는 루프의 효과는 계층 레벨이 언제나 분할된 대응 블록들의 크기에 대응한다는 것이고, 최대 잔류 블록 크기보다 큰/같은 또는 더 작은 개별 예측 블록들로부터 독립적이라는 것이다. 그래서, 단계(302)의 플래그들을 디코딩할 때, 상기 컨텍스트 모델링은 상기 계층 레벨 그리고 언급된 플래그에 대한 블록의 크기에 의존하여, 동시에, 수행된다. 다른 계층 레벨들 또는 블록 크기들의 플래그들에 대한 다른 컨텍스트들의 사용은, 각각, 가능성 측정이 플래그 값 발생들 사이에서, 다른 면에서는, 관리되는 컨텍스트들의 상대적 적정 숫자를 갖고, 실제 심볼 통계들에 적응되는 컨텍스트들을 증가시키는 것과 동시에 오버헤드를 관리하는 컨텍스트를 감소시키며, 플래그 실제 가능성 분배(actual probability distribution)에 잘 맞는다는 점에서 이점이 있다.

위에서 언급된대로, 샘플들의 하나의 배치보다 더 많을 수 있고 이러한 샘플들의 배치들은 하나 또는 그 이상의 평면 그룹들로 그룹화 될 수 있다. 입력(32)에 들어가는, 인코딩 될 입력 신호는, 예를 들어, 비디오 시퀀스 또는 정지 이미지의 하나의 그림일 수 있다. 상기 그림은, 그래서, 하나 또는 그 이상의 샘플 배치들의 유형 내에서 주어질 수 있다. 비디오 시퀀스 또는 정지 이미지의 그림 코딩의 컨텍스트에서, 샘플 배치들은 세 색상 평면들을 언급할 수 있고, YUV 또는 YCbCr 색상 표현들에서처럼, 이는 적색, 녹색 그리고 파랑 또는 루마 그리고 채도 평면들 같은 것일 수 있다. 추가적으로, 알파를 나타내는 샘플 배치들은, 즉, 3-D 비디오 매터리얼에 대한 투명도 및/또는 깊이 정보 또한 표현될 수 있다. 이러한 샘플 배치들의 숫자는 평면 그룹이라 불리는 것에 따라 함께 그룹화 될 수 있다. 예를 들어, 루마(Y)는 오직 한 샘플 배치를 갖는 하나의 평면 그룹이 될 수도 있고, 그리고, CbCr같은, 채도는 두 샘플 배치들과 함께 또다른 평면 그룹이 될 수도 있고, 또는 또 다른 실시예에서, YUV 는 세 매트릭스들과 함께 하나의 평면 그룹이 될 수도 있고 3-D 비디오 매터리얼에 대한 깊이 정보는 오직 한 샘플 배치와 함께 다른 평면 그룹이 될 수도 있다. 모든 평면 그룹에 대해, 하나의 주 쿼드트리 구조는 예측 블록으로의 분할을 나타내기 위해 데이타 스트림(22)내에서 코딩될 수도 있고, 그리고 각 예측 블록에 대해, 이차적인 쿼드트리 구조는 잔류 블록들로의 분할을 나타낸다. 그래서, 루마 구성요소가 하나의 평면 그룹인 반면, 채도 구성요소는 다른 평면 그룹을 형성하는, 방금 언급된 첫번째 예에 따라, 루마 평면의 예측 블록들에 대한 하나의 쿼드트리 구조가 있을 것이고, 루마 평면의 잔류 블록들에 대한 하나의 쿼드트리 구조가 있을 것이고, 채도 평면의 예측 블록에 대한 하나의 쿼드트리 구조, 채도 평면의 잔류 블록들에 대한 하나의 쿼드트리 구조가 있을 것이다. 전에 언급된 두번째 예에서, 루마와 채도 모두의(YUV) 예측 블록들에 대한 하나의 쿼드트리, 루마와 채도 모두의(YUV) 잔류 블록들에 대한 하나의 쿼드트리 구조, 3-D 비디오 매터리얼에 대한 깊이 정보의 예측 블록들에 대한 하나의 쿼드트리 구조 그리고 3-D 비디오 매터리얼에 대한 깊이 정보의 잔류 블록에 대한 하나의 쿼드트리 구조가 있을 것이다.

또한, 전술 한 설명에서, 입력 신호는 기본 쿼드트리 구조를 사용하여 예측 블록으로 이러한 예측 블록 종속 쿼드트리 구조를 사용하여 잔류 블록으로 나누어진다. 다른 실시 예에 따라, 서브디비젼은 종속 쿼드트리 단계에서 종료되지 않을 수 있다. 즉, 종속 쿼드트리 구조를 사용하여 부문에서 얻은 블록들은 추가 서브디바이드된 삼차 쿼드트리 구조를 사용하여 얻어지는 것이다. 이 분할은, 차례로, 잔류 신호를 인코딩하는 것을 촉진 할 수 있는 추가 코딩 도구를 사용할 목적으로 사용될 수 있다.

전술한 설명은 각각 서브디바이더(28) 서브디바이더(104a)에 의해 수행되는 서브디비젼에 집중한다. 위에서 언급 한 바와 같이, 서브디비젼은 각각, 서브디바이더(28 그리고 104a)에 의해 정의되고, 인코더(10) 그리고 디코더(100)의 이미 언급된 모듈의 처리 단위를 제어 할 수 있다. 그러나, 다음에 설명된 실시 예에서, 각각 서브디바이더(228과 104a)는 각각 병합(30) 병합 (104b)를 뒤따르며 이 병합 (30),(104b)는 선택 사항이며 제외될 수 있다는 것이 주목되어야한다.

효과에 있어, 아래에보다 자세히 설명되는데, 그러나, 머져는 그룹 또는 클러스터나 블록에 잔류 블록 또는 예측 블록의 몇몇 결합 기회 인코더를 제공한다. 그래서 다른, 또는 다른 중 적어도 일부 모듈은 함께 블록을 그룹화 처리 할 수 있다. 예를 들어, 예측기(12)는 서브디바이더(28)의 서브디비젼을 이용한 최적화에 의해 결정되는 몇몇 예측 블록들의 예측 파라미터들 사이의 몇몇 편차를 희생할 수 있다. 예측 블록의 그룹화의 신호는 이 그룹에 속한 모든 블록에 대한 일반적인 매개 변수 전달과 함께 개별적으로 모든 예측 블록에 대한 예측 매개 변수 신호보다 속도 / 왜곡 비율 의미에서 더 유용하다. 이러한 일반적인 예측 매개 변수를 기반으로 한 예측기(12, 110)는, 자체에서 공통 예측 파라미터들을 기반으로 하며, 여전히 예측 블록 방향으로 일어날 수 있다. 그러나, 예측기(12, 110)도 예측 블록의 전체 그룹에 대해 한 번 예측 프로세스를 수행하는 수도 있다.

아래에 보다 자세히 설명되는 것처럼, 이 예측 블록의 그룹이 예측 블록의 그룹에 대해 동일한 또는 일반적인 예측 매개 변수를 사용하기 위한 것 뿐만 아니라, 대안적으로, 또는 추가적으로, 인코더(10)이 이 그룹에 대한 예측 매개 변수를 보내는 것을 가능하게 하며, 신호에 대한 신호 오버 헤드가 감소 될 수 있으므로 이 그룹에 속하는 예측 블록에 대한 예측 잔류와 함께 그룹에 대해 하나의 예측 매개 변수를 포함할 수 있다. 후자의 경우에는 병합 과정은 단지 데이터 스트림 입력기(18)보다는 잔류 프리코더(14), 예측기(12)가 한 결정에 영향을 미칠 수 있다. 그러나, 자세한 내용은 아래에 제공된다. 완성도를 위해, 그러나, 한 측면 또한 잔류 서브디비젼 또는 서브디비젼 필터가 위에서 언급 한 바와 같이, 하위 부서의 다른 적용되는 것에 주목해야한다.

첫째, 이러한 상기 예측 및 잔류 블록 등 샘플, 세트의 병합은 즉, 위에서 언급 한 멀티트리 서브디비젼에 국한되지 않고, 보다 일반적인 의미에서 좌우된다. 그러나, 그 후 설명은 실시예 위에 설명 된 된 멀티트리 서브디비젼에 발생하는 블록 병합에 초점을 맞추고 있다.

일반적으로 말해, 이미지, 동영상 코딩 응용 프로그램의 측면 정보 속도를 줄이는 수 관련 코딩 매개 변수를 전달하기 위한 목적으로 샘플의 특정 세트와 관련된 구문 요소를 병합한다. 예를 들어, 인코딩 할 수 있는 신호의 샘플 배열은 일반적으로 임의로 형상화된 지역, 삼각형 또는 기타 형상을 포함 직사각형 또는 정사각형의 블록, 또는 샘플의 다른 컬렉션을 대표 할 수 있다. 이는샘플이나 샘플 세트의 특정 세트로 분할되어 있다. 이미 설명한 실시 예에서, 단일 연결 영역의 예측 블록 및 멀티트리 서브디비젼에서 발생하는 잔여 블록이다. 샘플 배열의 서브디비젼은 구문으로 고정하거나, 위에서 설명한 바와 같이, 서브디비젼이 될 수 있다, 적어도 부분적으로, 비트 스트림 내부에 시그널링 할 수 있다. 서브디비젼 정보보다 작은 신호에 대한 측면 정보 속도를 유지하기 위해 구문은 일반적으로 작은 블록의 블록 서브디비젼으로 간단하게 분할 결과를 선택 한정 할 수 있다. 샘플 세트는 이 문제가 위에서 설명된 예측 정보 또는 잔류 코딩 모드 등의 세부 정보를 지정할 수 있다. 특정 코딩 매개 변수와 연결되어 있다. 각 샘플 세트를 들어, 예측 및 / 또는 잔류 코딩을 지정하는 개별 코딩 매개 변수는 전송 될 수 있다. 향상된 코딩 효율을 달성하기 위해, 병합의 측면은 이하 설명 즉 샘플 세트의 그룹에 두 개 이상의 샘플 세트의 병합, 추가 아래에 설명된 일부 장점을 들 수 있다. 예를 들어, 샘플 세트의 모든 예제는 같은 그룹 공유의 샘플 중 하나를 그룹에 설정과 함께 전송될 수 있는 동일한 코딩 매개 변수를 설정하는 등 병합 할 수 있다. 이렇게 하면 코딩 매개 변수 대신 코딩 매개 변수가 샘플 세트의 전체 그룹에 대해 한 번만 전송되며, 개별적으로 샘플 세트의 그룹의 설정 각 샘플에 대해 전송될 필요가 없다. 그 결과, 코딩 매개 변수를 전달하기 위한 측면 정보 레이트는 감소 될 수 있으며 전체 코딩 효율성이 향상 될 수 있다. 샘플 중 하나 이상이 샘플 세트의 그룹의 설정을 위한 대안적 접근 방식으로 코딩 매개 변수 중 하나 이상이 추가적으로 상세하게 검색될 수 있다. 상세 검색 중 그룹의 모든 샘플 세트 또는 전송되는 샘플 집합에 적용 할 수 있다.

병합 접근 방식이 크게 사진의 샘플 배열에 대한 파티션을 선택할 가능성 수를 증가시키기 때문에 아래에 더 설명 된 병합 측면도, 비트 스트림 (22)를 만드는 더 큰 자유도의 인코더를 제공한다. 인코더가 특정 레이트 / 왜곡 측정을 최소화를 위해 같은 추가 옵션 중 하나를 선택할 수 있기 때문에 코딩 효율성을 향상시킬 수 있다. 인코더에 작동하는 몇 가지의 가능성이 있다. 간단한 접근 방식에서 인코더는 먼저 샘플 배열의 가장 좋은 서브디비젼을 결정 할 수 있다. 간단히 도 1을 참조하면, 서브디바이더(28)은 첫 번째 단계에서 최적의 서브디비젼을 결정 할 수 있다. 그 후, 이 다른 샘플 세트나 샘플 세트의 또 다른 그룹과 병합이 특정 레이트 / 왜곡 비용 측정 감소 여부를, 각 샘플 집합에 대해, 확인 할 수 있다. 이 때, 샘플 세트의 병합 그룹과 관련된 예측 매개 변수 등은 이미 일반적인 샘플 세트의 후보 샘플 세트 또는 그룹에 대해 결정된 새로운 모션을 검색하거나 예측 매개 변수를 수행하여 다시 추정 할 수 있다. 병합에 대한 샘플 세트 샘플 세트로 간주 그룹에 대해 평가 될 수 있다. 보다 광범위한 접근에서 특정 레이트 / 왜곡 비용 측정은 샘플 세트의 추가 후보 그룹에 대해 평가 될 수 있다.

그것은 이하에 설명된 병합 접근 방식이 샘플 세트의 처리 순서를 변경하지 않는 것을 알아야 한다. 즉, 병합 개념은 각각의 샘플 세트로 병합 접근 방식을 사용하지 않고 같은 시간 인스턴트에 디코딩 가능하게 남아 즉 지연이 증가하지 않을 수 있도록 하는 방식으로 구현될 수 있다.

예를 들어, 코드 예측 매개 변수의 수를 줄여 저장된다. 비트 레이트가 추가로 디코딩 측에 병합을 나타내는데 대한 병합 정보를 코딩에 쓸 수 있는 비트 레이트보다 더 중요한 경우, 상기 병합에 접근하는 수의 증가하는 결과 코딩 효율성을 아래에 설명했다. 그것은 더욱 병합에 대해 설명되는 구문 연장 블록에 사진이나 평면 그룹의 파티션(분할)을 선택하는 것이 추가적인 자유도를 인코더를 제공하는 것을 언급해야 한다. 즉, 인코더는 결과 블록의 일부가 동일한 또는 예측 매개 변수의 비슷한 세트를 가지고 있는지 확인하기 위해 먼저 다음 서브디비젼을 하는지가 제한되지 않는다. 간단하게 대안으로, 인코더는 처음 레이트 - 왜곡 비용 측정에 따라 서브디비젼을 결정하고, 그리고 인코더가 인접 블록 중 하나가 병합 또는 관련 이미 결정 그룹 여부, 각 블록에 대해 확인할 수 있는 블록의 비율 - 왜곡 비용 측정을 줄일 수 있습니다. 이 때, 블록의 새로운 그룹과 관련된 예측 매개 변수가 될 수 있고 이미 현재 블록, 블록의 이웃 블록 또는 그룹에 대한 결정 된 새로운 모션을 검색하거나 예측 매개 변수를 수행하여 다시 추정 할 수 있다. 블록의 새로운 그룹에 대해 평가하자. 병합 정보는 블록 단위로 시그널링 할 수 있다. 사실, 병합도 유추 예측 매개 변수 인근 블록 중 하나의 예측 매개 변수와 동일하게 설정되어 있어서, 현재 블록에 대한 예측 매개 변수의 추정으로 해석 될 수 있다. 또한 잔류는 그룹 내 블록에 전송 될 수 있다.

따라서, 더 아래에 설명된 병합 개념을 근간으로 기본적인 아이디어는 블록의 각 그룹은 고유 코딩 파라미터의 세트와 연결되어 블록의 그룹에 인접 블록을 병합하여 예측 매개 변수나 다른 코딩 매개 변수 전송에 필요한 비트 레이트를 감소시키는 것이고 이러한 예측 매개 변수 또는 잔류 코딩 매개 변수로 코딩 매개 변수를 설정한다. 만약 존재한다면 병합 정보는 서브디비젼 정보에 추가로 비트 스트림 내부 신호이다. 병합 개념의 장점은 코딩 매개 변수에 대한 감소 측 정보 속도로 인해 증가되는 코딩 효율성이다. 그것은 여기에 설명된 병합 프로세스도 공간 크기가 아닌 다른 크기로 확장 할 수 있다는 것을 알아야한다. 예를 들어, 여러 비디오 사진에서 위치한 각각 샘플 또는 블록 세트의 그룹은, 블록 중 하나를 그룹으로 병합 할 수 있다. 병합도 4-D 압축 및 라이트 필드 코딩에 적용 할 수 있다.

따라서, 간단히 도 1부터 8의 이전 설명으로 돌아가보면, 독립적인 그 서브디비젼에 대한 후속 병합 프로세스가 각각 특정 방법으로 서브 디바이더(28, 104a)가 그림을 서브 디바이드(세분)하는 것에 유리하다는 것을 알 수 있다. 더 정확하게 하려면, 후자 또한, 미리 정해진 크기의 직사각형 또는 정사각형의 매크로 블록의 일반 배열로 각각의 사진을 하위로 나누어 예를 들어, 비슷한 방식으로 H.264, 즉, 16 x 16 픽셀 luma 샘플이나 크기로 사진을 하위 분할 수 있고, 데이터 스트림 내에서 신호로 각 매크로 블록은 각 매크로 블록에 대해 정의되는 1, 2, 4의 일반 하위 그리드로 분할을 포함하는 이와 관련된 특정 코딩 매개 변수 중에서도, 파티션 매개 변수를 갖는 데이터 스트림뿐만 아니라 잔류하는 해당 잔류 변환 단위에 대한 파티션을 정의하기 위한 예측과 대응하는 예측 매개 변수에 대한 단위 역할 파티션의 다른 번호이다.

어떠한 경우에도, 병합은 이미지, 동영상 등 코딩의 응용 프로그램에서 측면 정보 속도 비트를 줄이는 등 상기 간단히 설명 이점을 제공한다. 직사각형 또는 정사각형의 블록, 임의의 모양의 지역 또는 어떤 단순히 연결된 지역이나 샘플 등의 샘플의 다른 컬렉션을 대표 할 수 있다. 샘플의 특정 세트는 보통 코딩 매개 변수의 특정 세트 및 샘플 각각에 대한 연결되어 세트가 코딩 매개 변수가 비트 스트림에 포함 된 대표 코딩 매개 변수, 예를 들어, 샘플의 해당 세트가 이미 코딩 된 샘플을 사용하여 예측하는 방법을 지정하는 예측 매개 변수이다. 샘플 세트에 사진의 샘플 배열의 분할은 구문에 의해 고정될 수 있다. 또는 비트 스트림 내부의 해당 하위 부서 정보에 의해 신호를 할 수 있다. 샘플 집합에 대한 코딩 매개 변수 구문으로 주어집니다 미리 정의된 순서에 전송 될 수 있다. 병합 기능에 따라, 머져(30)는 샘플의 그룹으로, 샘플의 공통 집합 또는 예측 블록 또는 하나 이상의 다른 샘플 세트와 병합되어 잔류 블록으로 현재 블록에 대해 시그널링 할 수 있다. 세느, 샘플 세트의 그룹에 대한 코딩 매개 변수는 그러므로, 한 번만 전송되어야 한다. 현재 샘플 집합 샘플 세트 또는 코딩 매개 변수가 이미 전송 된 샘플 세트의 기존 그룹과 병합하는 경우의 특정 실시 예에서, 현재의 샘플 집합의 코딩 매개 변수는 전송되지 않는다. 대신, 샘플의 현재 세트에 대한 코딩 매개 변수는 샘플의 현재 세트가 병합되는 샘플 세트의 샘플 세트 또는 그룹의 코딩 매개 변수와 동일하게 설정되어 있다. 다른 방법으로, 코딩 매개 변수 중 하나 이상 추가 실시는 현재 샘플 세트에 전송 할 수 있다. 세분은 그룹의 모든 샘플 세트 또는 전송되는 샘플 집합만에 적용 될 수 있다.

실시 예에 따라, 위에서 언급 한 예측 블록에 대해, 위에서 언급 한대로 잔여 블록, 또는 위에서 설명한 것처럼 멀티 트리 서브디비젼의 리프 블록과 같은 샘플의 각 집합에 대해, 이전에 코딩 / 디코딩 샘플 세트의 집합이고 소위 "인과 샘플 세트의 집합"이라 불린다. 예를 들어, 도3c를 참조하라. 이 그림에 표시된 모든 블록은 떨어져 있고 이러한 예측 서브디비젼은 잔류 하위 부서로 또는 멀티트리의 특정 서브디비젼, 또는 유사한, 화살표(350)에 의해 정의되는 블록 사이에 정의된 코딩 / 디코딩 순서의 결과이다. 현재 샘플 세트 또는 현재 단순히 연결된 지역되는 이러한 블록 중에서 특정 블록을 고려, 인과 샘플 세트의 집합은 순서(350)을 따라 현재의 블록을 앞에 모든 블록으로 구성되어 있다. 그러나, 다시, 멀티-트리 서브디비젼을 사용하지 않는 다른 서브디비젼은 지금까지의 병합 원리를 다음과 같은 논의가 고려되는 것 뿐만 아니라 가능한 것이라고 상기시킨다.

샘플의 현재 세트로 병합에 사용할 수있는 샘플 세트는 다음에서 "후보 샘플 세트의 집합"과 항상 "인과 샘플 세트의 집합"의 하위 집합이다. 하위 집합을 형성하는 방법은 디코더로부터 인코더, 또는 디코더, 또는 데이터 스트림 또는 비트 스트림 내부에 지정될 수 있다. 샘플의 특정 현재 집합이 코딩 / 디코딩 및 후보 샘플 세트의 집합이 비어 있지 않은 경우, 이 샘플의 공통 집합에 병합되어 있는지 인코더에서 데이터 스트림내에서 디코더에서 데이터 스트림으로부터 파생된다. 그렇다면 그들 중 어떤 것은. 후보 샘플 세트의 집합이 어차피 비어 있으므로, 한 샘플은 후보 샘플 세트의 집합에서 설정하고, 그렇지 않으면, 병합을 이 블록에 사용할 수 없다.

후보 샘플 세트의 집합를 대표하는 인과 샘플 세트의 집합의 부분집합을 확인하는 방법은 여러 가지 방법이 있다. 예를 들어, 후보 샘플 세트의 결정은 이러한 직사각형 또는 정사각형의 블록의 왼쪽 상단 이미지 샘플과 같은 고유 기하학적으로 정의되어 샘플링되는, 현재 집합 내부의 샘플을 기반으로 할 수 있다. 이 독특한 기하학적으로 정의된 샘플부터, 특정된 샘플의 0이 아닌 숫자는 이 독특한 기하학적으로 정의된 샘플을 직접 공간적으로 인접한 것들 대표하는 데 결정된다. 예를 들어, 샘플의 특정, 0이 아닌 숫자가 최대에서 이웃 샘플의 0이 아닌 숫자가 될 수 있도록 상단 이웃과 샘플의 현재 집합의 독특한 기하학적으로 정의된 샘플의 왼쪽 이웃을 포함하며, 둘, 하나가 될 수 있고 상단이나 왼쪽 이웃 중 하나는 사용할 수 없고, 또는 손실된 두 이웃(neighbors)의 경우에는 0이다.

후보 샘플 세트의 집합은 다음 바로 언급된 이웃 샘플의 0이 아닌 숫자 중 적어도 하나를 포함하며 이러한 샘플 세트를 포함하도록 결정 될 수 있다. 예를 들어, 도9a를 참조하라. 현재 예제는 객체를 병합하는 것으로 고려하며 그것은 현재 설정 블록 X와 기하학적으로 독특하게 정의 된 샘플이며, 예시적으로 400으로 표시되고 왼쪽 상단의 샘플이다. 샘플(400)의 상단과 왼쪽 이웃 샘플은 (402)와 (404)에 표시된다. 인과 샘플 세트의 집합 또는 인과 블록 설정은 음영 방식으로 강조 표시된다. 이 블록 중, 블록 A와 B는 인근 샘플 (402)와 (404) 중 하나를 구성하고, 따라서,이 블록은 후보 블록의 집합이나 후보 샘플 세트의 집합을 형성한다.

또 다른 실시 예에 따라, 후보 샘플의 집합은 또한 독점적으로, 하나 또는 동일한 공간 위치를 둘 수 있고 샘플의 특정 0이 아닌 숫자를 포함하는 샘플 세트를 포함 할 수 있다. 병합을 위해 결정을 설정 하지만, 예를 들어, 즉, 다른 그림 이전에 코딩 / 디코딩된 그림을 포함하고 있다. 예를 들어, 블록 그림에서 A와 B을 기입해야 한다. 이전에 코딩 그림의 블록은 샘플(400)과 같은 위치에서 샘플을 구성하는 데 사용할 수 있다. 그런데, 단지 맨 인근 샘플(404) 또는 단순히 왼쪽 주변 예제는 (402)이 바로 언급된 이웃 샘플이 0이 아닌 숫자를 정의하는 데 사용될 수 있다고 지적하고 있다. 일반적으로, 후보 샘플 세트의 집합은 현재 사진에서 또는 다른 사진에서 이전에 처리된 데이터에서 파생 될 수 있다. 유도는 특정 방향과 현재 사진의 이미지 기울기와 관련된 계수를 변환하거나 이러한 이웃 모션 표현으로 공간적 방향 정보를 포함할 수 있고 같은 공간 방향 정보를 포함 할 수 있다. 데이터 스트림 내에서 수신기 / 디코더 및 기타 데이터와 측 정보에서 제공되고, 데이터에서, 존재한다면, 후보 샘플 세트의 집합이 파생 될 수 있다.

이 후보 샘플 세트의 유도가 디코더 측에서 인코더 측과 머져(104b)에서 모머져(30)까지 병렬로 수행되는 것을 인지해야 한다. 단지 언급 한 바와 같이, 모두이 후보의 파생을 수행 할 위치로 머져(104B)를 가지고 비트 스트림 내에서 모두 또는 인코더 신호일 수 있다. 힌트에 알려진 미리 정의된 방식에 따라 서로 독립적으로 설정 후보 샘플의 집합을 결정할 수 있고 샘플 인코더 측에서 머져(30)의 후보 샘플 세트의 집합을 결정하는 방법과 동일 방식으로 설정한다.

아래에 더 상세하게 설명되는 바와 같이, 머져(30) 그리고 데이터 스트림 입력기(18)는 샘플 세트와 다른 샘플 세트가 차례로 병합되어 있는지 여부를 지정하는 샘플의 각 집합에 대해 하나 이상의 구문 요소를, 전송하기 위해 협력하고, 후보 샘플 세트의 집합의 샘플 세트 중 이미 병합 그룹의 일부가 될 수 있는 것은 병합에 사용된다. 추출기(102)는, 차례로, 이러한 구문 요소를 추출하고 그에 따라 병합(104b)을 알려준다. 특히, 나중에 설명 된 특정 실시 예에 따라, 하나 또는 두 개의 구문 요소는 샘플의 특정 세트에 대한 병합 정보를 지정하여 전송된다. 첫 번째 구문 요소는 샘플의 현재 세트가 다른 샘플 세트와 병합되어 있는지 여부를 지정한다. 첫 번째 구문 요소 샘플의 현재 세트가 샘플을 다른 집합으로 병합하도록 지정하는 경우에만 전송된다. 두 번째 구문 요소, 병합을 이용하여 후보 샘플 세트의 집합을 지정한다. 후보 샘플 세트의 파생 집합이 비어있을 경우 첫 번째 구문 요소의 전송은 억제 될 수 있다. 후보 샘플 세트의 파생 집합이 비어 있지 않으면 즉, 첫 번째 구문 요소는 전송 될 수 있다. 후보 샘플 세트로부터의 유도되는 집합은, 하나 이상의 샘플 집합을 포함 한 샘플 집합 후보 샘플 세트의 집합에 포함되어있는 경우 때문에 더 선택될 수 없는 경우 두 번째 구문 요소는 전송 될 수 있다. 게다가, 두 번째 구문 요소의 전송은 후보 샘플 세트의 집합에서 하나 이상의 샘플 세트를 포함하는 경우 억제 될 수 있지만, 샘플의 모든 후보 샘플 세트의 집합으로 설정하면 같은 코딩 매개 변수와 연결되게 된다. 후보 샘플 세트의 파생 세트의 적어도 두 개의 샘플 세트가 다른 코딩 매개 변수가 연관되어있는 경우 즉, 두 번째 구문 요소는 전송 될 수 있다.

비트 스트림 내에 샘플 세트에 대한 병합 정보는 예측 매개 변수 또는 샘플 세트와 관련된 다른 특정 코딩 매개 변수를 하기 전에 코딩 할 수 있다. 샘플의 현재 집합이 아닌 병합 정보 신호 샘플의 다른 세트와 병합 할 경우 예측이나 코딩 매개 변수는 전송 될 수 있다.

샘플의 특정 집합, 즉, 예를 들어 블록,에 대한 병합 정보는 예측 매개 변수의 적절한 부분집합 또는 더 일반적인 의미에서, 각각의 샘플 세트와 관련된 코딩 파라미터들이 전송된 후에 코딩 될 수 있다. 예측 / 코딩 파라미터의 부분집합은 하나 이상의 참조 사진 인덱스들 또는 모션 매개 변수 벡터 또는 참조 색인 및 모션 파라미터 벡터의 하나 이상의 구성 요소로 구성 될 수 있고, 예측 또는 코딩 파라미터의 이미 전송된 부분집합은 단지 위에서 설명하였듯이 파생되었을 수 있는 후보 샘플 세트의 큰 후보 세트에서 후보 샘플의 집합을 유도하여 사용할 수 있다. 예를 들어, 샘플의 현재 집합의 이미-코딩된 예측 및 코딩 파라미터들 및 후보 샘플들의 예비 집합의 대응 예측 또는 코딩 파라미터들 미리 결정된 거리를 측정하는 것에 따라 차이를 측정하여 거리가 계산 될 수있다. 그런 다음 계산 된 차이를 측정하고, 또는 미리 정의된 거리보다 작거나 또는 파생 임계 값과 동일한 샘플 세트가 최종에 포함되어 있다. 즉,이 후보 샘플 세트의 집합이 감소한다. 예를 들어, 도 9a 를 참조하라. 샘플의 현재 집합이 블록과 관련하여 관련 코딩 매개 변수의 하위 집합이 이미 데이터 스트림(22)에 삽입된 블록 X라 가정해보자. 예를 들어, 블록 X는 코딩 매개 변수의 적절한 하위 집합이 같은 그림 참조 색인 및 모션을 포함하는 집합의 일부로 이 블록 X에 대한 예측 매개 변수의 하위 집합이 될 수 있는 경우에 블록을 예측한다. 이러한 움직임 벡터처럼, 모션 맵핑 정보 및 화상 레퍼런스 지수를 포함하는 집합으로부터의 부분집합처럼, 블록 X가 잔여 블록이었다면, 코딩 매개 변수의 하위 집합은 이 정보를 바탕으로 블록 X 내에서 계수를 변화시키고 중요한 위치를 나타내는 맵핑 변환 등의 잔여 정보의 일부일 것이다. 데이터 스트림 입력기(18), 추출기(102)는 모두 블록 A 및 B로부터의 하위 집합을 결정하기 위해 정보를 사용할 수 있고, 이는, 특정 실시 예에서, 후보 샘플 세트의 이전에 언급 한 예비 세트를 형성한다. 특히, 블록들 A와 B는 인과 샘플 세트의 집합에 속하고, 코딩 매개 변수는 그 블록 X의 코딩 매개 변수가 현재 코딩 / 디코딩하는 시간에 인코더와 디코더에 모두 사용할 수 있다. 따라서 차이 측정을 사용하여 미리 언급 한 비교는 A와 B 후보 샘플의 예비 집합의 블록의 수를 제외하는 데 사용할 수 있다. 후보 샘플 세트의 감소된 결과는 즉, 위에서 설명한대로 사용될 수 있고, 병합을 나타내는 병합 표시기가, 감소된 후보 샘플 세트 내의 샘플 수에 의존하여 데이터 스트림으로부터 추출되는지 또는 전송되는지 여부, 또는 두 번째 구문 요소가, 후보 샘플 세트들의 감소된 세트 내에서 샘플 세트들이 병합에 대한 파트너 블록이 되는 것을 나타내는 두 번째 요소와 데이터 스트림에서 추출되어야 하는지 또는 전송되어야 하는지, 여부가 결정되기 위함이다.

이미 언급된 거리가 비교되는 데 대한 언급은 임계 값은 고정되는 것으로 알려진 인코더와 디코더 또는 차이 값의 평균으로 계산 거리, 또는 다른 중앙 경향(central tendency) 등에 따라 파생 될 수 있다. 이 경우, 후보 샘플 세트의 감소 세트는 어쩔 수 후보 샘플 세트의 예비 집합의 적절한 하위 집합이 될 것이다. 또한, 샘플 세트의 거리 측정만에 따라 거리가 최소화되는 후보 샘플 세트의 예비 집합에서 선택된다. 또한, 샘플은 정확히 하나의 세트에서 미리 언급한 거리 측정을 사용하여 후보 샘플의 예비 세트의 집합에서 선택된다. 후자의 경우에는 병합 정보는 샘플의 현재 세트 샘플 여부 세트 단일 후보와 병합 할 수 있는지 여부를 지정해야 한다.

도 9a에 대해 다음에 설명된 대로 따라서, 후보 블록의 집합이 형성되거나 파생 될 수 있다. 도 9의 현재 블록 X의 왼쪽 상단 샘플 위치(400)에서 시작하면, 그 왼쪽 주변 샘플 (402) 위치와 상단 인근 샘플 (404)의 위치가 파생된다 - 이는 인코더와 디코더 측면에서이다. 후보 블록 수의 세트는, 즉 두 가지 요소에 달려있을 수 있고, 도 9a의 인과 블록의 음영으로 나타내어지며 두 샘플 위치 중 하나가 포함 된 경우 블록 A와 B 이 후보 블록의 집합은 요소와 같은 현재 블록의 왼쪽 상단 샘플 위치의 두 직접 주변 블록을 가질 수 있고, 따라서 다른 실시 예에 따르면, 후보 블록의 집합은 현재 블록 전에 코딩과 현재 블록의 샘플을 직접 공간 이웃을 대표하는 하나 이상의 샘플이 포함 된 모든 블록에 의해 제공 될 수 있다.직접 공간 주변은 좌측 인접 및 / 또는 직접 상측 인접 및 / 또는 바로 우측 인접 및 / 또는 현재 블록의 샘플을 직접 하측 인접을 안내하는 데 제한 될 수 있다. 예를 들어, 도 9b를 참조하라. 또 다른 블록 하위 부서를 보여주는 경우 후보 블록은 즉 네 블록, 블록 A, B, C 및 D를 포함한다

또한, 후보 블록의 집합은, 추가적 또는 독점적으로, 현재 블록 샘플의 같은 위치에 자리 잡고 있고 하나 이상의 샘플을 포함하는 블록을 포함 할 수 있지만, 다른, 즉 이미 코딩/디코딩된 그림에 포함되어 있다.

대안적으로, 블록의 후보세트는 공간 또는 시간 방향으로 지역에 의해 결정되는 이미 언급한 블록 세트의 부분 집합을 나타낸다. 후보 블록의 부분집합은 고정될 수 있고, 시그널링 되거나 또는 파생 될 수 있다. 후보 블록의 부분 집합의 유도는 사진이나 다른 사진에서 다른 블록을 위해 만들어지는 결정을 고려할 수 있습니다. 예를 들어, 다른 후보 블록과 동일하거나 매우 유사한 코딩 매개 변수와 연결된 블록은 블록의 후보 집합에 포함되지 않을 수 있다.

실시 예의 다음 설명은 현재 블록의 왼쪽 위 샘플의 왼쪽과 상단 이웃 샘플을 포함하는 두 블록은 최대 잠재적인 후보로 간주되는 경우에 적용된다.

후보 블록의 집합이 비어 있지 않으면 플래그를 하나 현재 블록이 후보 블록과 병합되어 있는지 여부를 지정하는 것은 merge_flag 신호이다. merge_flag 0 ( "거짓(false)"에 대한 것)와 동일한 경우,이 블록은 그 후보 블록 중 하나와 병합되지 않은 모든 코딩 매개 변수는 일반적으로 전송된다. merge_flag 1 ( "참(true)"에 대한 것)에 동일 경우 다음이 적용됩니다. 후보 블록의 집합은 하나를 포함하고 하나의 블록이 포함되어있는 경우, 이 후보 블록 병합에 사용된다. 그렇지 않으면, 후보 블록의 집합은 정확히 두 블록이 포함되어 있다. 이 두 블록의 예측 매개 변수가 동일한 경우, 이러한 예측 매개 변수는 현재 블록에 사용된다. 그렇지 않으면 (두 블록이 다른 예측 매개 변수가) merge_left_flag라는 플래그를 시그널링한다. merge_left_flag 1 ( "true"에 대한 것)와 동일한 경우, 현재 블록의 왼쪽 상단 샘플 위치의 왼쪽 이웃 샘플 위치를 포함하는 블록이 후보 블록의 집합에서 선택된다. merge_left_flag가 0 ( "false"에 대한 것)와 동일한 경우, 다른 (즉, 상측 이웃)것이 후보 블록의 집합 블록으로 선택된다. 선택한 블록의 예측 매개 변수는 현재 블록에 사용된다.

병합과 관련하여 위에서 설명한 실시예 중 일부를 요약해서 도 10에 나타나 있고, 입력(116)에 들어가는 데이타 스트림(22)로부터 병합 정보를 추출하는 추출기 (102)에 의해 수행되는 단계를 보여준다.

(450)에서 시작하는 이 과정은 현재 샘플 세트의 샘플 세트들 또는 블록 또는 후보 블록을 식별한다. 블록들에 대한 코딩 파라미터는 데이타 스트림(22)내에서 특정 일차원 순서에 따라 전송된다는 것을 알아야 하고, 도10은 현재 방문된 샘플 세트 또는 블록에 대한 병합 정보를 검색하는 프로세스를 언급한다는 것을 알아야 한다.

전에 언급 한 바와 같이, 식별 및 단계(450)은 이웃 측면에 따라 블록의 인과 세트를, 즉, 이전에 디코된ㄷ 블록들 사이에서 식별을 포함 할 수있다. 예를 들어, 그 이웃 블록은 공간이나 시간에 현재 블록 X 중 하나 이상을 기하학적으로 미리 샘플을 이웃 특정 인근 샘플을 포함하여 후보를 지명 할 수 있다. 또한, 식별의 단계 즉 방금 언급된 두 단계는, 즉 어떤에 따라 후보 블록의 예비 세트로 이어지는 지역, 그리고 이미 단계 450 전에 데이터 스트림에서 디코딩 된 현재 블록 X의 코딩 매개 변수의 적절한 위 집합에 특정 관계를 만족하는 후보인 두 번째 단계에 따라 단지 그 블록 임명 등의 식별을 포함하는 첫 번째 단계를 포함 할 수있다.

다음으로, 단계(452)의 프로세스 단계에서 후보 브ㄷㄹ록들의 숫자가 0보다 큰지에 대해 결정된다. 이 경우 merge_flag는 단계 (454)에서 데이터 스트림에서 추출된다. (454)를 추출하는 단계는 엔트로피 디코딩을 포함 할 수 있다. 단계(454)의 merge_flag를 엔트로피 디코딩하는 단계에 대한 컨텍스트는 구문 요소에 따라 결정 될 수 있고, 여기서 구문 요소들에 대한 의존도는 정보에 의해 제한될 수 있는데 이 정보는 블록이 병합의 대상인지 아닌지의 관심 집합에 속하는지 여부이다. 선택된 컨텍스트의 가능성 추정은 적응될 수 있다.

그러나, 후보 블록의 수는 (452) 대신 0으로 결정되고, 도10의 프로세스는 단계(456)과 함께 진행하며 여기서 현재 블록의 코딩 파라미터들은 비트스트림으로부터 추출되거나, 상기 두 단계 식별 대체에서 언급되듯이, 추출기(102)가 도3c에 보여진 순서(350)처럼 블록 스캔 순서에서 다음 블록을 프로세싱하는 것을 진행하는 후에 코딩 파라미터는 잔존한다.

그러나, 단계(460)에서 후보 블록들의 숫자가 1보다 큰 것으로 결정되면, 도10은 단계(466)으로 진행하고 여기서 코딩 파라미터 또는 코딩 파라미터들의 관심 부분이, - 즉 현재 블록의 데이타 스트림 내에서 전환되지 않았던 부분에 관계된 그들의 서브파트(하위부분) - 서로 동일한지 여부에 대해 확인하는 것이 수행된다. 이러한 경우에, 이러한 공통 코딩 파라미터들은 병합 레퍼런스(참조)에 따라 설정되거나 후보 블록들은 병합 파트너들에 다라 단계(468)에서 설정되고 개별 관심 코딩 파라미터들은 단계(464)에서 적응과 예측에 사용된다.

병합 파트너는 그 자체가 시그널링된 병합 블록이었다는 것을 인지해야 한다. 이 경우 병합 파트너의 채택 또는 예측적으로 얻어진 코딩 매개 변수는 단계 (464)에 사용된다.

반면, 그러나, 코딩 파라미터가 동일하지 않은 경우, 도10의 프로세스는 단계(470)을 진행하고, 여기서 구문 요소는 데이타 스트림으로부터 추출되고 즉 merge_left_flag이다. 컨텍스트들의 분리 세트는 이 플래그를 엔트로피 디코딩하기 위해 이용될 수 있다. 컨텍스트들의 세트는 merge_left_flag를 엔트로피 디코딩하기 위해 이용되고 단순히 하나의 컨텍스트만을 포함할 수도 있다. 단계(470) 이후에, merge_left_flag에 의해 표시되는 후보 블록은 단계(472)의 병합 파트너로 설정되고 단계(464)의 적응 또는 예측을 위해 이용된다. 단계(464)이후에, 추출기(102)는 다음 블록을 블록 순서에 따라 처리하기 위해 진행한다.

물론, 많은 대안이 존재한다. 예를 들어, 결합 된 구문 요소가 데이터 스트림 대신 개별 구문 요소들 merge_flag 그리고 이전에 설명된 merge_left_flag 내에 전송 될 수 있으며, 결합된 구문 요소들은 병합 과정을 시그널링한다. 또한, 이미 언급된 merge_left_flag은 이를 도10의 과정을 수행하기 위한 계산 오버 헤드를 감소시킴 없이 두 후보 블록이 동일한 예측 매개 변수 설정 여부와 상관없이 데이터 스트림 내에 전송 될 수 있다.

이미 도9b에 예를 들어, 설명된대로, 2개 이상의 블록이 후보 블록의 집합에 포함 할 수 있다. 또한, 병합 정보는 블록이 병합되어 있는지 신호 정보를 즉, "yes"일 경우, 그 후보 블록은 하나 이상의 구문 요소에 의해 신호를 병합하는 것이다. 하나의 문법 요소는 블록 등 위에서 설명한 merge_flag으로 후보 블록과 병합되어 있는지 여부를 지정하며 후보 블록의 집합이 비어 있지 않은 경우 플래그는 전송 될 수 있다. 두 번째 구문 요소는 앞서 언급 한 merge_left_flag으로 병합이 이용된 후보 블록의 어떤 신호를 나타내고, 일반적으로 두 개 또는 두 개 이상의 후보 블록 간의 선택을 나타낸다. 두 번째 구문 요소는 현재 블록 후보 블록 중 하나와 병합할 것을 첫 번째 구문 요소 신호를 하는 경우 전송 될 수 있다. 후보 블록의 집합은 하나 이상의 후보 블록 및 / 또는 후보 블록 중 하나가 후보 블록의 다른 것보다 다양한 예측 매개 변수가 있는 경우 두 번째 구문 요소는 그 이상 전송될 수 있다. 구문은 후보 블록 얼마나 많이 주어졌는지 및 / 또는 다른 예측 매개 변수가 후보 블록과 연결되어 있는 것이 얼마나 다른지에 의존한다.

사용되는 후보 블록의 블록의 어느 신호에 대한 구문은 인코더와 디코더 측에서 동시 및 / 또는 병렬 설정할 수 있다. 단계(450)에서 후보 블록에 대한 세 가지 선택 사항이 확인되는 경우 예를 들어, 구문은 다음 세 가지 선택이 가능하며, 단계 (470)에서, 예를 들어, 엔트로피 코딩이 고려되도록 선택된다. 즉, 구문 요소는 후보 블록의 선택 등 여러 요소가 존재하고 심볼 알파벳처럼 선택된다. 다른 모든 선택에 대한 확률은 0으로 고려될 수 있고, 엔트로피-코딩/디코딩은 인코더와 디코더에서 동시에 조정될 수 있다.

또한, 이미 단계 (464)에 대해 언급되었던 것처럼, 병합 과정의 결과로 유추되는 예측 매개 변수는 현재 블록과 연결되어 또는 이러한 예측의 일부를 나타낼 수 예측되는 전체 매개 변수 집합을 나타낼 수 있고 이러한 여러 가설 예측을 사용하는 블록 중 하나의 가설에 대한 예측 매개 변수가 이용된다.

위에서 설명된 것과 같이, 병합 정보와 관련된 구문 요소들은 컨텍스트 모델링을 사용하여 엔트로피-코딩될 수 있다. 구문 요소들은 위에서 설명된 merge_flag 및 merge_left_flag를 포함할 수 있다(또는 유사한 구문 요소들). 구체적인 예에서, 세 개의 컨텍스트 모델 또는 콘텍스트 중 하나는 예를 들면 454 단계에서 merge_flag을 코딩/디코딩하기 위하여 사용될 수 있다. 사용된 컨텍스트 모델 인덱스 merge_flag_ctx는 다음과 같이 유래될 수 있다: 만일 후보 블록들 세트가 두 개의 요소들을 포함하면, merge_flag_ctx의 값은 두 개의 후보 블록들의 merge_flag의 값의 합과 동일하다. 그러나, 만일 후보 블록들 세트가 하나의 요소를 포함하면, merge_flag_ctx의 값은 이러한 하나의 후보 블록의 merge_flag의 값의 두 배와 동일할 수 있다. 이웃하는 후보 블록들의 각각의 merge_flag이 1 또는 0일 수 있기 때문에, merge_flag을 위하여 세 개의 컨텍스트가 이용가능하다. Merge_left_flag은 다지 단일 확률 모델을 사용하여 코딩될 수 있다.

그러나, 대안의 실시 예에 따라, 서로 다른 컨텍스트 모델들이 사용될 수 있다. 예를 들면, 비-바이너리 구문 요소들이 바이너리 부호들의 시퀀스, 이른바 빈 상으로 매핑될 수 있다. 일부 구문 요소들 또는 구문 요소들의 빈들을 위한 컨텍스트 모델은 이웃하는 블록들의 이미 전송된 구문 요소들 또는 후보 블록들의 수 또는 다른 측정들을 기초로 하여 유래되나 다른 구문 요소들 또는 빈들은 고정된 컨텍스트 모델과 함께 코딩될 수 있다.

블록들의 병합의 위에서의 설명과 관련하여, 후부 블록들 세트는 또한 다음의 개정과 함께 위에서 설명된 실시 예들 모두와 동일한 방법으로 유래될 수 있다: 후보블록들은 모션 보상 예측(motion-compensated prediction) 또는 추정(interprediction)을 사용하여 블록들에 제한된다. 그러한 것들만이 후보 블록들 세트의 요소들일 수 있다. 병합 정보의 시그널링 및 컨텍스트 모델링은 위에서 설명된 것과 같이 행해질 수 있다.

위에서 설명된 멀티트리 서브디비젼 및 이제 설명되는 병합 양상의 조합으로 돌아가면, 만일 그림이 쿼드트리 기반 서브디비젼 구조의 사용에 의해 가변 크기의 스퀘어 블록으로 분할되면, 병합을 지정하는 merge_flag 및 merge_left_flag 또는 다른 구문 요소들은 쿼드트리 구조의 각각의 리프 모드를 위하여 전송되는 예측 파라미터들로 인터리빙될(interleaved) 수 있다. 예를 들면 도 9a를 다시 고려하라. 도 9a는 그림의 가변 크기의 예측 블록 내로의 쿼드트리 기반 서브디비젼을 위한 예를 도시한다. 가장 큰 크기의 상부 두 개의 블록은 이른바 트리블록(treeblock)들인데, 즉, 최대 가능 크기의 예측 블록들이다. 도면에서의 다른 블록들은 그것들의 상응하는 트리블록의 서브디비젼으로서 획득된다. 현재 블록은 "X"로 표시된다. 모든 음영 블록들은 현재 블록 전에 인코딩/디코딩되는데, 따라서 캐쥬얼 블록 세트를 형성한다. 실시 예들 중 하나를 위한 후보 블록 세트의 유래의 설명에서 설명된 것과 같이, 현재 블록이 왼쪽 상부 샘플 위치의 직접(즉, 상부 또는 왼쪽) 이웃하는 샘플들을 포함하는 블록들만이 후보 블록들 세트의 구성원이 될 수 있다. 따라서 현재 블록은 블록 "A" 또는 블록 "B"와 병합된다. 만일 merge_flag이 0과 동일하면("false"를 위하여), 현재 블록 "X"는 두 개의 블록 어느 것과도 병합되지 않는다. 만일 블록 "A" 및 "B"가 동일한 예측 파라미터를 가지면, 어떤 차이도 만들어질 필요가 없는데, 그 이유는 두 개의 블록 중의 하나와의 병합이 동일한 결과에 이르게 할 것이기 때문이다. 따라서, 이 경우에 있어서, merge_left_flag은 전송되지 않는다. 그렇지 않으면, 만일 블록 "A" 및 "B"가 서로 다른 예측 파라미터를 가지면, 1과 동일한("true"를 위하여) merge_left_flag은 블록 "A" 및 "B"를 병합할 것이며, 반면에 0과 동일한("false"를 위하여) merge_left_flag은 블록 "X" 및 "A"를 병합할 것이다 또 다른 바람직한 실시 예에서, 부가적인 이웃하는(이미 전송된) 블록들이 병합을 위한 후보들을 나타낸다.

도 9에서 또 다른 예가 도시된다. 여기서 현재 블록 "X" 및 왼쪽의 이웃 블록 "B"가 트리블록들인데, 즉 최대 허용 블록 크기를 갖는다. 상부 이웃 블록 "A"의 크기는 트리블록 크기의 1/4이다. 캐쥬얼 블록들 세트의 요소인 블록들은 음영으로 표시된다. 바람직한 실시 예 중의 하나에 따라, 현재 블록 "X"이 다른 상부 이웃하는 블록들 중 어떤 것과도 병합되지 않고, 두 개의 블록 "A" 또는 "B"와 병합될 수 있다는 것에 유의하여야 한다. 다른 바람직한 실시 예에서, 부가적인 이웃하는(이미 전송된) 블록들이 병합을 위한 후보들을 나타낸다.

본 발명의 실시 예들에 따른 그림의 서로 다른 샘플 배치를 다루는 양상과 관련된 설명을 진행하기 전에, 멀티트리 서브디비젼 및 한편으로는 시그널링과 다른 한편으로는 병합 양상과 관련된 위의 설명은 이러한 양상들이 서로 독립적으로 이용될 수 있는 장점들을 제공하는 것이 분명하다는 것에 유의하여야 한다. 즉, 위에서 이미 설명된 것과 같이, 병합을 갖는 멀티트리 서브디비젼의 조합은 특별한 장점들을 가지나 장점들은 또한 예를 들면 병합 특성이 구현되는 대안들로부터 유래하는데, 그러나, 서브디바이더(30 및 104a)에 의해 실행되는 서브디비젼은 쿼드트리 또는 멀티트리 서브디비젼를 기초로 하지 않고, 오히려 이러한 매크로블록들의 더 작은 분할들의 규칙적인 분할을 갖는 매크로블록 서브디비젼에 상응한다. 다른 한편으로, 교대로, 비트스트림 내의 최대 트리블록 크기 표시의 전송과 함께 멀티트리 서브디비젼화의 조합, 및 블록들의 상응하는 코딩 파라미터들을 전송하는 깊이 우선 탐색 순서의 사용과 함께 멀티트리 서브디비젼의 사용은 동시에 사용되거나 또는 그렇지 않은 병합 특성과는 독립적으로 바람직하다. 일반적으로, 병합의 장점들은 샘플 배치 코딩들의 구문이 블록을 세분하도록 허용할 뿐만 아니라, 세분 후에 획득된 두 개 또는 그 이상이 블록들을 병합하도록 허용하는 방식으로 확장될 때, 코딩 효율이 증가될 수 있다는 것을 고려할 때 이해될 수 있다. 그 결과, 동일한 예측 파라미터들로 코딩되는 블록 그룹이 획득된다. 그러한 블록 그룹을 위한 예측 파라미터는 단지 한 번만 코딩될 필요가 있다. 또한, 샘플들 세트의 병합과 관련하여, 고려되는 샘플들 세트는 직사각형 또는 정사각형 블록들일 수 있으며, 이 경우에 병합된 샘플들 세트는 직사각형 및/또는 정사각형 블록들의 수집을 나타내는 것에 유의하여야 한다. 그러나, 대안으로서, 고려되는 샘플들 세트가 임의로 형성되는 그림 영역들이고 병합된 샘플들의 세트는 임의로 형성되는 그림 영역들의 수집을 나타낸다.

다음의 설명은 그림 당 하나 이상의 샘플 배치가 존재하는 경우에 그림의 서로 다른 샘플 배치들의 조작에 중점을 두며, 다음의 세부 설명에 서술된 일부 양상들은 사용되는 서브디비젼의 종류와 독립적으로 즉, 멀티트리 서브디비젼을 기초로 하거나 또는 기초로 하지 않고 독립적으로, 그리고 사용되거나 또는 그렇지 않은 병합과 독립적으로 바람직하다. 그림의 서로 다른 샘플 배치들의 조작과 관련된 특정 실시 예들의 설명을 시작하기 전에, 이러한 실시 예들의 주요 쟁점은 그림 당 서로 다른 샘플 배치들의 처리 영역 내로의 짧은 소개에 의해 동기부여가 된다.

다음이 설명은 이미지 또는 비디오 코딩 적용에서 그림의 서로 다른 샘플 배치들의 블록들 사이의 코딩 파라미터, 및 특히 예를 들면, 독점적으로는 아니나 각각 도 1 및 2의 인코더 및 디코더 또는 또 다른 이미지 또는 비디오 코딩 환경에서의 그림의 서로 다른 샘플 배치들 사이의 코딩 파라미터들을 적응적으로 예측하는 방법에 중점을 둔다. 위에서 설명된 것과 같이, 샘플 배치들은 서로 다른 색 구성요소들과 관련되는 샘플 배치들 또는 그림을 투명성 데이터 또는 깊이 맵들과 같은 부가적인 정보와 연관짓는 샘플 배치들을 나타낸다. 그림의 색 구성요소들에 관련된 샘플 배치들이 또한 색 평면들로서 언급된다. 다음에 설명되는 기술은 또한 평면간(inter-plane) 적용/예측으로서 언급되고 이에 의해 그림을 위한 샘플 배치들의 블록들의 처리 순서가 임의적일 수 있는, 블록 기반 이미지와 비디오 인코더들 및 디코더들에 사용될 수 있다.

이미지 및 비디오 코더들은 일반적으로 색 그림들(스틸 이미지 또는 비디오 시퀀스의 그림들 중의 하나)을 코딩하기 위하여 디자인된다. 색 그림은 서로 다른 색 구성요소들을 위한 샘플 배치들을 나타내는, 다수의 색 평면들을 포함한다. 때때로, 색 그림들은 하나의 루마(luma) 평면 및 두 개의 채도 평면을 포함하는 샘플 어레이들 세트로서 코딩되는데, 후자는 색차(color difference) 구성요소들을 지정한다. 일부 적용 영역에서, 코딩된 샘플 배치들 세트가 적색, 녹색, 및 청색의 3원색을 위한 샘플 배치들을 나타내는 세 개의 색 평면을 나타내는 것 또한 주지의 사실이다. 게다가, 개량된 색 표현을 위하여, 색 그림은 세 개 시상의 색 평면을 포함할 수 있다. 더욱이, 그림은 그림을 위한 부가 정보를 지정하는 보조 샘플 배치들과 관련될 수 있다. 예를 들면, 그러한 보조 샘플 배치들은 관련 색 샘플 배치들을 위한 투명성을(특정 디스플레이 목적에 적합한) 지정하는 샘플 배치들 또는 깊이 맵들을(다수 시점, 예를 들면 3-D 디스플레이를 제공하기에 적합한) 지정하는 샘플 배치들을 위한 일 수 있다.

종래의 이미지 및 비디오 코딩 표준에 있어서(H.264와 같이), 색 평면들은 일반적으로 함께 코딩되는데, 이로써 매크로블록 및 서브매크로블록 예측 모드들, 참조용 인덱스들, 및 모션 벡터(motion vector)들과 같은 특정 코딩 파라미터들이 블록의 모든 색 구성요소를 위하여 사용된다. 루마 평면은 비트스트림 내에 이를 위하여 특정 코딩 파라미터들이 지정되는 일차 색 평면으로서 고려될 수 있으며, 채도 평면은 이를 위하여 상응하는 코딩 파라미터들이 일차 루마 평면으로부터 추론되는 이차 평면들로서 고려될 수 있다. 각각의 루마 블록은 그림 내의 동일한 영역을 나타내는 두 개의 채도 블록들과 관련된다. 사용된 채도 샘플링 포맷에 따라, 채도 샘플링 배치들은 블록을 위한 루마 샘플 배치보다 작을 수 있다. 하나의 루마 및 두 개의 채도 구성요소를 포함하는 각각의 매크로블록을 위하여, 더 작은 블록 내로의 동일한 파티셔닝이 사용된다(만일 매크로블록이 세분되면). 하나의 루마 샘플의 블록 및 두 개의 채도 샘플들의 블록을 포함하는 각각의 블록을 위하여(자체로 매크로블록일 수 있거나 또는 매크로블록의 서브블록일 수 있는), 참조용 인덱스들, 모션 파라미터들, 및 때때로 내부 예측 모드들과 같은 동일한 예측 파라미터 세트가 사용된다. 종래의 비디오 코딩 표준의 특정 프로파일들은(H.264에서의 4:4:4 프로파일들과 같이), 그림의 서로 다른 색 평면들을 독립적으로 코딩하는 것이 또한 가능하다. 그러한 구성에서, 매크로블록 파티셔닝, 예측 모드들, 참조용 인덱스들, 및 모션 파라미터들은 매크로블록 또는 서브블록의 색 구성요소를 위하여 개별적으로 선택될 수 있다. 종래의 코딩 표준은 모든 색 평면들이 특정 코딩 파라미터들(서브디비젼 정보 및 예측 파라미터들과 같이)의 동일한 세트를 사용하여 함께 코딩되거나 또는 모든 색 평면들이 서로 완전히 독립적으로 코딩된다.

만일 색 평면들이 함께 코딩되면, 블록의 모든 색 구성요소들을 위하여 반드시 하나의 서브디비젼 세트 및 예측 파라미터들이 사용되어야 한다. 이는 부가 정보가 작게 유지되는 것을 보장하나, 독립적인 코딩과 비교하여 코딩 효율의 감소를 야기할 수 있는데, 그 이유는 서로 다른 색 구성요소들을 위하여 서로 다른 블록 분해들 및 예측 파라미터들의 사용이 더 작은 왜곡치(rate-distortion cost)를 야기할 수 있기 때문이다. 에를 들면, 채도 구성요소들을 위하여 서로 다른 모션 벡터 또는 참조용 프레임의 사용은 채도 구성요소들을 위한 잔류 신호의 에너지를 상당히 감소시킬 수 있고 그것들의 전체 코딩 효율을 증가시킬 수 있다. 만일 색 평면들이 독립적으로 코딩되면, 블록 파티셔닝, 참조용 인덱스들, 및 모션 파라미터들과 같은 코딩 파라미터들은 각각의 색 구성요소를 위한 코딩 효율을 최적화하기 위하여 각각의 색 구성요소를 위하여 개별적으로 선택될 수 있다. 그러나, 색 구성요소들 사이의 중복을 사용하는 것이 가능하다. 특정 코딩 파라미터들이 다중 전송은 증가된 부가 정보 비율을 야기하고(결합된 코딩과 비교하여) 이러한 증가된 부가 정보 비율은 전체 코딩 효율상에 부정적인 영향을 가질 수 있다. 또한, 최신 코딩 표준 내의 보조 샘플 배치들의 제공(H264와 같이)은 보조 샘플 배치들이 그것들의 고유의 코딩 파라미터들 세트를 사용하여 코딩되는 경우에 제한된다.

따라서, 지금까지 설명된 모든 실시 예들에서, 그림 평면들은 위에서 설명된 것과 같이 처리될 수 있으나, 또한 위에서 설명된 것과 같이, 다수의 샘플 배치들(서로 다른 색 평면들 및/또는 보조 샘플 배치들과 관련될 수 있는)의 코딩을 위한 전체 코딩 효율은 예를 들면 블록을 위한 모든 샘플 배치들이 동일한 코딩 파라미터들로 코딩되는지 또는 서로 다른 코딩 파라미터들이 사용되는지를 블록 기준 상에서 결정하는 것이 가능할 수 있을 때, 증가될 수 있다. 다음의 평면간 예측의 기본 개념은 예를 들면, 블록 기준 상의 그러한 적용성 결정을 허용하는 것이다. 인코더는 예를 들면 왜곡치 표준을 기초로 하여, 특정 블록을 위한 모든 또는 일부 샘플 배치들이 동일한 코딩 파라미터들을 사용하여 코딩되는지 또는 서로 다른 샘플 배치들을 위하여 서로 다른 코딩 파라미터들이 사용되는지를 선택할 수 있다. 이러한 선택은 또한 샘플 배치의 특정 블록을 위하여 특정 코딩 파라미터들이 이미 코딩된 서로 다른 샘플 배치의 같이 배치된 블록으로부터 추론되는지를 시그널링함으로써 달성될 수 있다. 그룹들 내의 그림을 위하여 서로 다른 샘플 배치들을 배치하는 것이 또한 가능한데, 이는 또한 샘플 배치 그룹 또는 평면 그룹들로 언급된다. 그리고 나서, 평면 그룹 내부의 샘플 배치들의 블록들은 서브디비젼 정보, 예측 모드들, 및 잔류 코딩 모드들 과 같은 동일하게 선택된 코딩 파라미터들을 공유하나, 반면에 변환 계수 레벨과 같은 다른 코딩 파라미터들은 평면 그룹 내부의 각각의 샘플 배치를 위하여 개별적으로 전송된다. 하나의 평면 그룹이 일차 평면 그룹으로 코딩되는데, 즉, 어떤 코딩 파라미터도 다른 평면 그룹으로부터 추론되거나 예측되지 않는다. 이차 평면 그룹이 각각의 블록을 위하여, 선택된 코딩 파라미터들의 새로운 세트가 전송되는지 또는 선택된 코딩 파라미터들이 일차 또는 또 다른 이차 평면 그룹으로부터 추론되거나 예측되는지가 적응적으로 선택될 수 있다. 특정 블록을 위하여 선택된 코딩 파라미터들이 추론되거나 예측되는지의 결정은 비트스트림 내에 포함된다. 평면간 예측은 부가 정보 비율 및 다수의 샘플 배치들을 포함하는 그림의 최신 코딩에 대한 예측 품질 사이의 균형을 선택함에 있어 더 큰 자유도를 허용한다. 장점은 다수의 샘플 배치들을 포함하는 그림들의 종래의 코딩에 대한 향상된 코딩 효율이다.

평면간 적용/예측은 위의 실시 예들에서와 같이, 색 샘플 배치 또 보조 샘플 배치 또는 색 샘플 배치들 및/또는 보조 샘플 배치들의 블록을 위하여 선택된 코딩 파라미터들 세트가 동일한 그림 내의 다른 샘플 배치들의 이미 코딩된 같이 배치되는 블록들로부터 추론되거나 예측되는지 또는 블록을 위한 선택된 코딩 파라미터들의 세트가 동일한 그림 내의 다른 샘플 배치들의 같이 배치되는 블록들을 언급하지 않고 독립적으로 코딩되는지가 적응적으로 선택될 수 있는 방법으로 이미지 또는 비디오 코더를 확장할 수 있다. 선택된 코딩 파라미터들의 새트가 샘플 배치의 블록 또는 다수의 샘플 배치들의 블록을 위하여 추론되거나 예측되는지의 결정은 비트스트림 내에 포함될 수 있다. 그림과 관련된 서로 다른 샘플 배치들이 동일한 크기를 가질 필요는 없다.

위에서 설명된 것과 같이, 그림과 관련된 샘플 배치들은(샘플 배치들은 색 구성요소들 및/또는 보조 샘플 배치들을 나타낼 수 있다) 두 개 도는 그 이상의 이른바 평면 그룹들 내로 배치되는데, 각각의 평면 그룹은 하나 또는 그 이상의 샘플 배치를 포함한다. 특정 평면 그룹 내에 포함되는 샘플 배치들은 동일한 크기를 가질 필요가 없다. 평면 그룹 내로의 이러한 배치는 각각의 샘플 배치가 개별적으로 코딩되는 경우를 포함한다는 것에 유의하여야 한다.

더 정확히 설명하면, 일 실시 예에 따라, 평면 그룹의 각각의 블록을 위하여, 블록이 어떻게 예측되는가를 지정하는 코딩 파라미터들이 동일한 그림을 위하여 서로 다른 평면 그룹의 이미 코딩된 같이 배치되는 블록으로부터 추론되거나 예측되는지 또는 이러한 코딩 파라미터들이 블록을 위하여 개별적으로 코딩되는지가 적응적으로 선택된다. 어떻게 블록이 예측되는가를 지정하는 코딩 파라미터들은 하나 또는 그 이상의 다음의 코딩 파라미터들을 포함한다: 블록을 위하여 어떤 예측이 사용되는지를 지정하는 블록 예측 모드(화면 내 예측, 단일 모션 벡터 및 참조용 그림을 사용하는 화면 간 예측, 두 개의 모션 벡터 및 참조용 그림들을 사용하는 화면 간 예측, 고차 순서, 즉 비 번역 모션 모델 및 단일 참조용 그림을 사용하는 화면 간 예측, 다수의 모션 모델 및 참조용 그림들을 사용하는 화면 간 예측), 화면 내 예측이 어떻게 발생되는지를 지정하는 화면 내 예측 모드들, 블록을 위한 최종 예측 신호를 발생시키기 위하여 얼마나 많은 예측 신호들이 결합되는지를 지정하는 식별자, 모션-보상 예측을 위하여 어떤 참조용 그림(들)이 사용되는지를 지정하는 참조용 인덱스들, 참조용 그림(들)을 사용하여 어떻게 예측 신호(들)이 발생되는지를 지정하는 모션 파라미터들(변위 벡터들 또는 아핀 모션 파라미터들과 같이), 모션-보상 예측 신호들을 발생시키기 위하여 어떻게 참조용 그림(들)이 필터링되는지를 지정하는 식별자. 일반적으로, 블록은 언급된 코딩 파라미터들의 단지 하나의 서브셋과 관련될 수 있다는 것에 유의하여야 한다. 예를 들면, 만일 블록 예측 모드가 블록이 화면 내 예측되는 것을 지정하면, 블록을 위한 코딩 파라미터들은 부가적으로 화면 간 예측 모드들을 포함할 수 있으나, 어떻게 화면 간 예측 신호가 발생되는지를 지정하는 참조용 인덱스들 및 모션 파라미터들과 같은 코딩 파라미터들은 지정되지 않는다; 또는 만일 블록 예측 모드가 화면 간 예측을 지정하면,, 관련 코딩 파라미터들은 부가적으로 참조용 인덱스들 및 모션 파라미터들을 포함할 수 있으나, 화면 내 예측 모드들은 지정되지 않는다.

두 개 도는 그 이상의 평면 그룹 중 하나는 일차 평면 그룹으로서 비트스트림 내에 코딩되거나 표시될 수 있다. 이러한 일차 평면 그룹의 모든 블록에 대하여, 어떻게 예측 신호가 발생되는지를 지정하는 코딩 파라미터들은 동일한 그림의 다른 평면 그룹들을 언급하지 않고 전송된다. 나머지 평면 그룹들은 이차 평면 그룹들로서 코딩된다. 이차 평면 그룹들의 각각의 블록을 위하여, 어떻게 블록이 예측되는지를 지정하기 위한 코딩 파라미터들이 다른 평면 그룹들의 같이 배치되는 블록으로부터 추론되거나 예측되는지 또는 블록을 위하여 이러한 코딩 파라미터들의 새로운 세트가 전송되는지 신호를 보내는 하나 또는 그 이상의 구문 요소들이 전송된다. 하나 또는 그 이상의 구문 요소들 중의 하나는 평면 간 예측 플래그 또는 평면 간 예측 파라미터로 언급될 수 있다. 만일 구문 요소들이 상응하는 코딩 파라미터들이 추론되거나 예측되지 않는다고 신호를 보내면, 블록을 이한 상응하는 코딩 파라미터들의 새로운 세트가 비트스트림 내에 전송된다. 만일 구문 요소들이 상응하는 코딩 파라미터들이 추론되거나 예측된다고 신호를 보내면, 이른바 참조용 평면 그룹 내의 같이 배치되는 블록이 결정된다. 블록을 위한 참조용 평면 그룹의 지정은 다양한 방법으로 구성될 수 있다. 일 실시 예에서, 특정 참조용 평면 그룹은 각각의 이차 평면 그룹에 지정된다; 이러한 지정은 고정될 수 있거나 또는 파라미터 세트들, 액세스 유닛 헤더, 그림 헤더, 또는 슬라이스 헤더와 같은 높은 레벨의 구문 구조들 내에 신호가 보내질 수 있다.

두 번째 실시 예에서, 참조용 평면 그룹의 지정은 비트스트림 내부에 코딩되고 선택된 코딩 파라미터들이 추론되거나 예측되는지 또는 개별적으로 코딩되는지를 지정하기 위하여 블록을 위하여 코딩되는 하나 또는 그 이상의 구문 요소들에 의해 신호가 보내진다.

평면 간 예측과 관련된 방금 언급된 가능성 및 아래에 설명되는 실시 예들을 용이하게 하기 위하여, 도 11이 참조되는데, 이는 세 개의 샘플 배치(502, 504, 506)로 구성되는 그림(500)을 개략적으로 도시한다. 이해의 편리를 위하여, 샘플 배치들(502-506)의 서브-부들만이 도 11에 도시된다. 샘플 배치들은 각각 서로 다른 공간에 대하여 등록된 것처럼 도시되는데, 따라서 샘플 배치들((502-506)은 방향(508)을 따라 서로 오버레이하며 따라서 방향(508)을 따라 샘플 배치들(502-506)의 샘플들의 투영은 이러한 모든 샘플 배치들(502-506)의 샘플들이 서로 정확하게 공간적으로 위치되도록 야기한다. 달리 말하면, 평면들(502 및 506)은 서로 공간적 해상도를 적용하고 서로에 등록하기 위하여 가로 또는 세로 방향을 따라 확산되어 왔다.

일 실시 예에 따라, 그림의 모든 샘플 배치들은 공간적 장면의 동일한 부에 속하는데 세로 및 가로 방향을 따라 해상도는 개별 샘플 배치들(502-506) 사이에서 다를 수 있다. 게다가, 설명의 목적을 위하여, 샘플 배치들(502 및 504)은 하나의 평면 그룹(510)에 속하는 것으로 고려되는데, 반면에 샘플 배치(506)은 도 다른 평면 그룹(512)에 속하는 것으로 고려된다. 또한, 도 11은 샘플 배치(504)의 가로 축을 따라 공간적 해상도가 샘플 배치(502)의 가로 방향으로의 해상도의 2배인 바람직한 경우를 도시한다. 게다가, 샘플 배치(504)는 샘플 배치(502)에 대하여 일차 배치를 형성하는 것으로 고려되는데, 이는 일차 배치(504)에 대하여 하위의 배치를 형성한다. 이미 설명된 것과 같이, 이 경우에 있어서, 도 1의 서브디바이더(30)에 의해 결정된 것과 같이 블록들 내로의 샘플 배치(504)의 서브디비젼은 하위의 배치(502)에 의해 적용되는데, 도 11의 예에 따라, 샘플 배치(502)의 세로 해상도가 일차 배치(504)의 세로 방향으로의 해상도의 반이기 때문에, 각각의 블록이 두 개의 가로로 병치된(juxtapositioned) 블록들로 반할되었고, 샘플 배치(502) 내의 샘플 위치들의 유닛 내에서 측정될 때 반할 때문에 다시 정사각형 블록들이 된다.

도 11에 바람직하게 도시된 것과 같이, 샘플 배치(506)를 위하여 선택된 서브디비젼은 다른 평면 그룹(510)의 서브디비젼과 서로 다르다. 전에 설명된 것과 같이, 서브디바이더(30)는 픽셀 배치(506)의 서브디비젼을 개별적으로 또는 평면 그룹(510)을 위한 서브디비젼으로부터 독립적으로 선택할 수 있다. 물론, 샘플 배치(506)의 해상도는 또한 평면 그룹(510)의 평면들(502 및 504)의 해상도와 다를 수 있다.

이제, 개별 샘플 배치들(502-506)을 인코딩할 때, 인코더(10)는 예를 들면, 위에서 설명된 방식으로 평면 그룹(510)의 일차 배치(504)의 코딩으로 시작할 수 있다. 도 11에 도시된 블록들은 예를 들면, 위에서 언급된 예측 블록들일 수 있다. 대안으로서, 블록들은 잔류 블록들 또는 특정 코딩 파라미터들을 정의하기 위한 입상도를 정의하는 다른 블록들일 수 있다. 비록 도 11에 이것이 도시되나, 평면 간 예측은 쿼드트리 또는 멀티트리 서브디비젼에 제한되지 않는다.

일차 배치(504)를 위한 구문 요소의 전송 후에, 인코더(10)는 일차 배치(504)가 하위의 평면(502)을 위한 참조용 평면인지를 표명하도록 결정할 수 있다. 인코더(10) 및 추출기(30)는 각각 이러한 결정을 비트스트림(22)을 거쳐 신호를 보낼 수 있으며, 관련성은 샘플 배치(504)가 그 정보가 차례로, 또한 비트스트림(22)의 일부일 수 있는, 평면 그룹(510)의 일차 배치를 형성한다는 사실로부터 자명해질 수 있다. 어떤 경우든, 샘플 배치(502) 내의 각각이 블록을 위하여 입력기(18) 또는 입력기(18)와 함께 인코더(10)의 다른 모듈이 일차 배치(504) 내의 같이 배치되는 블록의 코딩 파라미터들이 대신 사용되어야만 하는 대신에, 또는 일차 배치(504) 내의 같이 배치되는 블록의 코딩 파라미터들이 비트스트림 내의 샘플 배치(502)의 현재 블록의 코딩 파라미터들을 위하여 그것들의 잔류 데이의 전달과 함께 샘플 배치(502)의 현재 블록의 코딩 파라미터들을 위한 예측으로서 사용되어야만 하는 대신에 비트스트림 내의 이러한 블록의 코딩 파라미터의 전이를 억제하고 그러한 블록을 위하여 비트스트림 내로 신호를 보내는 것을 결정할 수 있다. 부정적인 결정의 경우에 있어서, 코딩 파라미터들은 종래와 같이 데이터 스트림 내로 전달된다. 결정은 각각의 블록을 위한 데이터 스트림(22) 내로 신호로 보내진다. 디코더 면에서, 추출기(102)는 따라서, 주로, 일차 배치(504)의 같이 배치되는 블록이 코딩 파라미터들을 추론함으로써 또는, 대안으로서, 만일 평면 간 적용/예측 정보가 평면 간 적용/예측을 제안하면, 데이터 스트림으로부터 그러한 블록을 위한 잔류 데이터를 추출하고 이러한 잔류 데이터를 일차 배치(504)의 같이 배치되는 블록의 코딩 파라미터들로부터 획득되는 예측을 결합함으로써, 또는 일차 배치(504)와 독립적으로 종래와 같이 샘플 배치(502)의 현재 블록의 코딩 파라미터를 추출함으로써 샘플 배치(502)의 각각의 블록의 코딩 파라미터들을 얻기 위하여 각각이 블록을 위한 이러한 평면 간 예측 정보를 사용한다.

또한 전에 설명된 것과 같이, 참조용 평면들은 평면 간 예측이 현재의 관심사인 블록으로서 동일한 평면 그룹 내에 잔류하도록 제한되지 않는다. 따라서, 위에서 설명된 것과 같이, 평면 그룹(510)은 일차 평면 그룹 또는 이차 평면 그룹(512)을 위한 참조용 평면 그룹을 나타낼 수 있다. 이러한 경우에 있어서, 비트스트림은 일차 평면 그룹 또는 참조용 평면 그룹(510)의 모든 평면들(502 및 504)의 같이 배치되는 매크로블록들의 코딩 파라미터들의 앞서 언급한 적용/예측이 실행되어야 하는지 또는 그렇지 않은지에 관하여 샘플 배치(506)의 각각의 블록을 위하여 표시되는 구문 요소를 포함할 수 있으며 후자의 경우에 샘플 배치(506)의 현재 블록의 코딩 파라미터들은 종전과 같이 전송된다.

평면 그룹 내의 평면들을 위한 서브디비젼 및/또는 예측 파라미터들은 동일할 수 있다는 것을 이해하여야 하는데, 그 이유는 그것들이 평면 그룹을 위하여 단지 한 번만 코딩되고(평면 그룹의 모든 이차 평면들은 동일한 평면 그룹 내부의 일차 평면으로부터 서브디비젼 정보 및/또는 예측 파라미터들을 추론한다), 서브디비젼 정보 및/또는 예측 파라미터들의 적응성 예측 또는 추론은 평면 그룹들 사이에서 행해지기 때문이다.

참조용 평면 그룹은 일차 평면 그룹 또는 이차 평면 그룹일 수 있다는 것에 유의하여야 한다.

일차 샘플 배치(504)의 서브디비젼이 적용된 리프 블록들을 정사각형 블록들 내로 제공하기 위하여 방금 설명된 블록들의 서브-파티셔닝를 제외하고, 하위의 샘플 배치(502)에 의해 공간적으로 적용되기 때문에 하나의 평면 그룹 내의 서로 다른 평면들의 블록들의 같은 배치는 쉽게 이해할 수 있다. 서로 다른 평면 그룹들 사이의 평면 간 적용/예측의 경우에 있어서, 같은 배치는 이러한 평면 그룹들의 서브디비젼들 사이에 더 큰 자유도를 허용하기 위한 방법으로 정의될 수 있다. 참조용 평면 그룹에서, 참조용 평면 그룹 내부의 같이 배치되는 블록이 결정된다. 같이 배치되는 블록 및 참조용 평면 그룹의 파생은 다음과 유사한 과정에 의해 행해질 수 있다. 이차 평면 그룹(512)의 샘플 배치들 중 하나(506)의 현재 블록(516) 내에 특정 샘플(514)이 선택된다. 설명의 목적을 위하여 도 11의 514에 도시된 것과 같이 현재 블록(516)의 상부 왼쪽 샘플, 또는 현재 블록(516)의 중간에 가까운 현재 블록(516) 내의 샘플 또는 기하학적으로 독특하게 정의되는, 현재 블록 내부의 다른 모든 샘플도 동일할 수 있다. 참조용 평면 그룹(510)의 샘플 배치(502 및 504) 내부의 이러한 선택된 샘플(515)의 위치가 계산된다. 샘플 배치들(502 및 504) 내의 샘플(514)의 위치들이 각각 도 11의 518 및 520에 표시된다. 참조용 평면 그룹(510) 내의 어떤 평면(502 및 504)이 실제로 사용되는지는 미리 결정될 수 있거나 또는 비트스트림 내에 신호로 보내질 수 있다. 각각 위치들(518 및 520)에 가장 가까운, 참조용 평면 그룹(510)의 상응하는 샘플 배치(502 또는 504) 내의 샘플이 결정되고 이러한 샘플을 포함하는 블록이 각각의 샘플 배치(502 및 504) 내의 같이 배치되는 블록으로서 각각 선택된다. 도 11의 경우에, 이들은 각각 블록들(522 및 524)이다. 다른 평면들 내의 같이 배치되는 블록을 결정하기 위한 대안의 접근이 뒤에 설명된다.

일 실시 예에서, 현재 블록(516)을 위한 예측을 지정하는 코딩 파라미터들이 부가적인 부가 정보의 전송 없이, 동일한 그림(500)의 서로 다른 평면 그룹(510) 내의 같이 배치되는 블록(522/524)의 상응하는 예측 파라미터들을 사용하여 완전히 추론된다. 추론은 단순히 상응하는 코딩 파라미터들의 복사 또는 현재(512) 및 참조용 평면 그룹(510) 사이의 차이가 고려된 코딩 파라미터들의 적용을 포함할 수 있다. 예로서, 이러한 적용은 루마 및 채도 샘플 배치들 사이의 위상차를 고려하기 위하여 모션 파라미터 보정(예를 들면, 변위 벡터 보정)의 추가를 포함할 수 있거나 또는 적용은 루마 및 채도 샘플 배치들의 서로 다른 해상도를 고려하기 위하여 모션 파라미터들의 정밀도의 변형을(예를 들면, 변위 벡터의 정밀도의 변형) 포함할 수 있다. 또 다른 실시 예에서, 예측 신호 발생을 위하여 하나 또는 그 이상의 추론된 코딩 파라미터들은 현재 블록(515)을 위하여 직접 사용되지 않고, 현재 블록(516)을 위한 상응하는 코딩 파라미터들을 위한 예측으로서 사용되며 현재 블록(516)을 위한 이러한 코딩 파라미터들의 세분이 비트스트림(22) 내에 전송된다. 예로서, 추론된 모션 파라미터들은 직접 사용되지 않으며, 현재 블록(516)을 위하여 사용되는 모션 파라미터들 및 추론된 모션 파라미터들 사이의 편차를 지정하는 모션 파라미터 차이들(변위 벡터 차이와 같은)이 추론된 모션 파라미터들 및 전송된 모션 파라미터 차이들을 결함함으로써 획득된다.

또 다른 실시 예에서, 앞서 언급된 예측 블록들 내로의 예측 서브디비젼의 트리블록들과 같이, 블록이 서브디비젼은 동일한 그림의 서로 다른 평면 그룹의 이미 코딩된 같이 배치되는 블록, 즉, 도 6a 또는 6b에 도시된 비트 시퀀스로부터 적응적으로 추론되거나 예측될 수 있다. 일 실시 예에서, 두 개 또는 그 이상의 평면 그룹들 중 하나는 일차 평면 그룹으로서 코딩된다. 이러한 일차 평면 그룹의 모든 블록들을 위하여, 서브디비젼 정보는 동일한 그림의 다른 평면 그룹들을 참조하지 않고 전송된다. 나머지 평면 그룹들은 이차 평면 그룹으로서 코딩된다. 이차 평면 그룹들의 블록들을 위하여, 서브디비젼 정보가 다른 평면 그룹들의 같이 배치되는 블록으로부터 추론되는지 또는 서브디비젼 정보가 비트스트림 내에 전송되는지를 신호로 보내는 하나 또는 그 이상의 구문 요소들이 전송된다. 하나 또는 그 이상의 구문 요소들 중 하나는 평면 간 예측 플래그 또는 평면 간 예측 파라미터로서 언급될 수 있다. 만일 구문 요소들이 서브디비젼 정보가 추론되거나 예측되지 않는다고 신호를 보내면, 블록을 위한 서브디비젼 정보는 동일한 그림이 다른 평면 그룹들을 참조하지 않고비트스트림 내에 전송된다. 만일 구문 요소들이 서브디비젼 정보가 추론되거나 예측된다고 신호를 보내면, 이른바 참조용 평면 그룹 내이 같이 배치되는 블록이 결정된다. 블록을 위한 참조용 평면 그룹의 지정은 다양한 방법으로 구성된다. 일 실시 예에서, 특정 참조용 평면 그룹은 각각의 이차 평면 그룹에 지정된다; 이러한 지정은 고정될 수 있거나 또는 파라미터 세트, 액세스 유닛 헤더, 그림 헤더, 또는 슬라이스 헤더와 같은 높은 레벨의 구문 요소들 내에 신호로 보내질 수 있다. 두 번째 실시 예에서, 비트스트림 내부에 참조용 평면 그룹의 지정이 코딩되고 서브디비젼 정보가 추론되거나 예측되거나 또는 개별적으로 코딩도는지를 지정하기 위하여 블록을 위하여 코딩되는 하나 또는 그 이상의 구문 요소들에 의해 신호로 보내진다. 참조용 평면 그룹은 일차 평면 그룹 또는 또 다른 이차 평면 그룹일 수 있다. 참조용 평면 그룹에 대하여, 참조용 평면 그룹 내부에 같이 배치되는 블록이 결정된다. 같이 배치되는 블록은 현재 블록과 같이 동일한 이미지 영역과 상응하는 참조용 평면 그룹 내의 블록, 또는 현재 블록 내의 이미지 영역의 가장 큰 부를 공유하는 참조용 평면 그룹 내부의 블록을 나타내는 블록이다. 같이 배치되는 블록은 더 작은 예측 블록들로 분할될 수 있다.

또 다른 실시 예에서, 현재 블록을 위한 서브디비젼 정보는 부가적인 부가 정보의 전송 없이, 동일한 그림이 서로 다른 평면 그룹 내의 같이 배치되는 블록의 서브디비젼 정보를 사용하여 완전히 추론된다. 특정 예로서, 만일 같이 배치되는 블록이 두 개 또는 네 개의 예측 블록들로 분할되면, 현재 블록이 또한 예측의 목적을 위하여 두 개 또는 네 개의 서브블록들로 분할된다. 또 다른 특정 예로서, 추론된 서브디비젼 정보는 현재 블록을 위하여 직접 사용되지 않고, 현재 블록을 위한 실제 서브디비젼 정보를 위한 예측으로서 사용되며, 상응하는 세분 정보가 비트스트림 내에 전송된다. 예로서, 같이 배치되는 블록으로부터 추론되는 서브디비젼 정보는 더 세분될 수 있다. 더 작은 블록들로 분할되는 같이 배치되는 블록 내의 서브블록과 상응하는 각각의 서브블록을 위하여, 구문 요소가 비트스트림 내에 코딩될 수 있는데, 이는 서브블록이 현재 평면 그룹 내에서 더 분해되는지를 지정한다. 그러한 구문 요소의 전송은 서브블록의 크기에 영향을 받는다. 또는 참조용 평면 그룹 내에 더 분할되는 서브블록은 현재 평면 그룹 내의 더 작은 블록들로 분할되지 않는다.

또 다른 실시 예에서, 예측 블록 내로의 블록의 서브디비젼 및 그러한 서브블록들이 어떻게 예측되는지를 지정하는 코딩 파라미터 모두 적응적으로 추론되거나 또는 동일한 그림을 위한 서로 다른 평면 그룹의 이미 코딩된 같이 배치된 블록으로부터 예측된다. 본 발명의 바람직한 실시 예에서, 두 개 또는 그 이상의 평면 그룹들 중 하나는 일차 평면 그룹으로서 코딩된다. 이러한 일차 평면 그룹의 모든 블록들을 위하여, 서브디비젼 정보 및 예측 파라미터들이 동일한 그림의 다른 평면 그룹들을 언급하지 않고 전송된다. 나머지 평면 그룹들은 이차 평면 그룹들로서 코딩된다. 이차 평면 그룹들의 블록들을 위하여, 서브디비젼 정보 및 예측 파라미터들이 다른 평면 그룹들의 같이 배치되는 블록으로부터 추론되거나 예측되는지 또는 서브디비젼 정보 및 예측 파라미터들이 비트스트림 내에 전송되는지를 신호로 보내는 하나 또는 그 이상의 구문 요소들이 전송된다. 하나 또는 그 이상의 구문 요소들은 평면 간 예측 플래그 또는 평면 간 예측 파라미터로 언급될 수 있다. 만일 구문 요소들이 서브디비젼 정보 및 예측 파라미터들이 추론되거나 예측되지 않는다고 신호를 보내면 블록을 위한 서브디비젼 정보 및 결과로서 생기는 서브블록들을 위한 예측 파라미터들은 동일한 그림의 다른 평면 그룹들을 언급하지 않고 비트스트림 내에 전송된다. 만일 구문 요소들이 서브블록을 위한 서브디비젼 정보 및 예측 파라미터들이 추론되거나 예측된다고 신호를 보내면, 이른바 참조용 평면 그룹 내의 같이 배치되는 블록이 결정된다. 블록을 위한 참조용 평면 그룹의 지정은 다양한 방법으로 구성될 수 있다. 일 실시 예에서, 특정 참조용 평면 그룹이 각각의 이차 평면 그룹에 지정된다; 이러한 지정은 고정될 수 있거나 또는 파라미터 세트, 액세스 유닛 헤더, 그림 헤더, 또는 슬라이스 헤더와 같은 높은 레벨의 구문 구조들 내로 신호로 보내질 수 있다. 두 번째 실시 예에서, 참조용 평면 그룹의 지정은 비트스트림 내부에 코딩되고 서브디비젼 정보 및 예측 파라미터들이 추론되거나 예측되는지 또는 개별적으로 코딩되는지를 지정하기 위하여 블록을 위하여 코딩되는 하나 또는 그 이상의 구문 요소들에 의해 신호로 보내진다. 참조용 평면 그룹은 일차 평면 그룹 또는 또 다른 이차 평면 그룹일 수 있다. 참조용 평면 그룹에 대하여, 참조용 평면 그룹 내부의 같이 배치되는 블록이 결정된다. 같이 배치되는 블록은 현재 블록과 같이 동일한 이미지 영역과 상응하는 참조용 평면 그룹 내의 블록, 또는 이미지의 가장 큰 부를 현재 블록과 공유하는 참조용 평면 그룹 내부의 블록을 나타내는 블록일 수 있다. 같이 배치되는 블록은 더 작은 예측 블록들로 분할될 수 있다. 바람직한 실시 예에서, 현재 블록을 위한 서브블록 정보뿐만 아니라 결과로서 생기는 서브블록들을 위한 예측 파라미터들은 추가적인 부가 정보의 전송 없이, 동일한 그림의 서로 다른 그룹 내의 같이 배치되는 블록의 서브디비젼 정보 및 상응하는 서브블록들의 예측 파라미터들을 사용하여 완전히 추론된다. 특정 예로서, 만일 같이 배치되는 블록이 두 개 또는 네 개의 예측 블록들로 분할되면, 현재 블록이 또한 예측을 위한 목적으로 두 개 또는 네 개의 서브블록들로 분할되고 현재 블록의 서브블록들을 위한 예측 파라미터들이 위에서 설명된 것과 같이 유래된다. 또 다른 특정 예로서, 만일 같이 배치되는 블록이 네 개의 서브블록으로 분할되고 이러한 서브블록들 중 하나가 네 개의 더 작은 서브블록들로 분할되면, 현재 블록이 또한 네 개의 서브블록들로 분할되고 이러한 서브블록들 중 하나(더 분해되는 같이 배치되는 블록의 서브블록과 상응하는 하나)는 또한 더 작은 서브블록들로 분할되고 더 이상 분할되지 않는 모든 서브블록들을 위한 예츨 파라미터들이 위에서 설명된 것과 같이 추론된다. 또 다른 바람직한 실시 예에서, 서브디비젼 정보는 참조용 평면 그룹 내의 같이 배치되는 블록의 서브디비젼 정보를 기초로 하여 완전히 추론되나, 서브블록들을 위한 추론된 예측 파라미터들은 서브블록들의 실제 예측 파라미터들의 예측으로서만 사용된다. 실제 예측 파라미터들 및 추론된 에측 파라미터들 사이의 편차가 비트스트림 내에 코딩된다. 또 다른 실시 예에서, 초론된 서브디비젼 정보는 현재 블록을 위한 실제 서브디비젼 정보를 위한 예측으로서 사용되고 차이가 비트스트림 내에 전송되나(위에서 설명된 것과 같이), 예측 파라미터들은 완전히 추론된다. 또 다른 실시 예에서, 추론된 서브디비젼 정보 및 초론된 예측 파라미터들 모두 예측으로서 사용되고 실제 서브디비젼 정보와 예측 파라미터들 사이의 차이 및 그것들이 추론된 값들이 비트스트림 내에 전송된다.

또 다른 실시 예에서, 평면 그룹의 블록을 위하여, 잔류 코딩 모드들(변환 형태와 같이)이 동일한 그림을 위하여 서로 다른 평면 그룹의 이미 코딩된 같이 배치되는 블록으로부터 추론되거나 예측되는지 또는 잔류 코딩 모드들이 블록을 위하여 개별적으로 코딩되는지가 적응적으로 선택된다. 이러한 실시 예는 위에서 설명된 예측 파라미터들의 적응적 추론/예측을 위한 실시 예와 유사하다.

또 다른 실시 예에서, 변환 블록들(즉, 이차원 변환이 적용되는 샘플들의 블록들) 내로의 블록(예를 들면, 예측 블록)의 서브디비젼은 동일한 그림을 위하여 서로 다른 평면 그룹의 이미 코딩된 같이 배치되는 블록으로부터 적응적으로 추론되거나 예측된다. 이러한 실시 예는 위에서 설명된 예측 블록들 내로의 서브디비젼의 적응성 추론/예측을 위한 실시 예와 유사하다.

또 다른 실시 예에서, 변환 블록들 내로의 서브디비젼 및 결과로서 생기는 변환 블록들을 위한 잔류 코딩 모드를(예를 들면, 변환 형태들)은 동일한 그림을 이항 서로 다른 평면 그룹의 이미 코딩된 같이 배치되는 블록으로부터 적응적으로 추론되거나 예측된다. 이러한 실시 예는 위에서 설명된 예측 블록들 내로의 적응성 추론/예측 및 결과로서 생기는 예측 블록들을 위한 예측 파라미터들의 실시 예와 유사하다.

또 다른 실시 예에서, 예측 블록들 내로의 블록의 서브디비젼, 관련된 예측 파라미터들, 예측 블록들이 서브디비젼 정보, 및 변환 블록들을 위한 잔류 코딩 모드를이 동일한 그림을 위하여 서로 다른 평면 그룹의 이미 코딩된 같이 배치되는 블록으로부터 적응적으로 추론되거나 예측된다. 이러한 실시 DP는 위에서 설명된 실시 예들이 조합을 나타낸다. 일부 언급된 코딩 파라미터들만이 추론되거나 예측되는 것이 또한 가능하다.

따라서, 평면 간 적용/예측은 이전에 설명된 코딩 효율을 증가시킬 수 있다. 그러나, 평면 간 적용/예측에 의한 코딩 효율 이득은 또한 멀티트리 기반 서브디비젼들보다 구현되거나 그렇지 않은 블록 병합과는 독립적으로 사용되는 다른 블록 서브디비젼들의 경우에도 이용가능하다.

평면 간 적용/예측과 관련하여 위에서 설명된 실시 예들은 그림의 색 평면들 및 만일 존재한다면, 블록들 내로의 그림과 관련되고 이러한 블록들을 코딩 파라미터들에 관련시키는 보조 샘플 배치를 세분하는 이미지와 비디오 인코더들 및 디코더들에 적용가능하다. 각각의 블록을 위하여, 코딩 파라미터들의 세트가 비트스트림 내에 포함될 수 있다. 예들 들면, 이러한 코딩 파라미터들은 디코더 면에서 블록이 어떻게 예측되고 디코딩되는지를 설명하는 파라미터들일 수 있다. 특정 실시 예들로서, 코딩 파라미터들은 매크로블록 또는 매크로블록 예측 모드들, 서브디비젼 정보, 화면 내 예측 모드들, 모션 보상 예측을 위하여 사용되는 참조용 인덱스들, 변위 벡터들, 잔류 코딩 모드들, 변환 계수 등과 같은 모션 파라미터들을 나타낼 수 있다. 그림과 관련되는 서로 다른 샘플 배치들은 서로 다른 크기들을 가질 수 있다.

다음으로, 예를 들면, 도 1 내지 8과 관련하여 위에서 설명된, 트리 기반 파티셔닝 도식 내의 코딩 파라미터들의 향상된 시그널링을 위한 도식이 설명된다. 다른 도식들과 마찬가지로, 비록 아래에 설명되는 도식들이 개별적으로 또는 조합하여, 위의 모든 실시 예들과의 조합이 가능하나, 주로 병합 및 평면 간 적용/예측, 아래에서 종종 상속(inheritance)으로 불리는, 향상된 시그널링 도식의 효과와 장점이 위의 실시 예들과 독립적으로 설명될 것이다.

일반적으로, 다음에서 설명되는, 상속으로 불리는, 트리 기반 파티셔닝 도식 내의 코딩 면 정보를 위한 향상된 코딩 도식은 종래의 코딩 파라미터 처리의 도식들과 비교하여 다음의 장점들은 가능하게 한다.

종래의 이미지 및 비디오 코딩에 있어서, 그림들 또는 그림들을 위한 특정 샘플배치들의 세트는 일반적으로 특정 코딩 파라미터들과 관련된, 블록들로 분해된다. 그림들은 일반적으로 다수의 샘플 배치들을 포함한다. 게다가, 그림은 또한 예를 들면, 투명성 정보 또는 깊이 맵들을 지정할 수 있는, 부가적인 보조 샘플들 어레이들과 관련될 수 있다. 그림의 샘플 배치들(보조 샘플 배치들을 포함하여)은 하나 또는 그 이상의 이른바 평면 그룹들로 나뉠 수 있는데, 각각의 평면 그룹은 하나 또는 그 이상의 샘플 배치들을 포함한다. 그림의 평면 그룹들은 독립적으로 코딩될 수 있거나 또는, 만일 그림이 하나 이상의 평면 그룹과 관련되면, 동일한 그림의 다른 평면 그룹들로부터의 예측으로 코딩될 수 있다. 각각의 평면 그룹은 일반적으로 블록들로 분해된다. 블록들(또는 샘플 배치들의 상응하는 블록들)은 그림 간 예측 또는 그림 내 예측 중 하나에 의해 예측된다. 블록들은 서로 다른 크기들을 가질 수 있고 정사각형 또는 직사각형일 수 있다. 그림의 블록들 내로의 분할은 구문에 의해 고정될 수 있거나, 또는 비트스트림 내부로 (적어도 부분적으로) 신호로 보내질 수 있다. 종종 미리 정의된 크기들의 블록들을 위한 서브디비젼에 신호를 보내는 구문 요소들이 전송된다. 그러한 구문 요소들은 블록이 더 작은 블록들로 세분되고 예를 들면, 예측의 목적으로 코딩 파라미터들과 관련되는지 그리고 어떻게 세분되고 관련되는지를 지정할 수 있다. 모든 블록(또는 샘플 배치들의 상응하는 블록들)의 샘플들을 위하여 관련된 코딩 파라미터들의 디코딩이 특정 방법으로 지정된다. 실시 예에서, 블록 내의 모든 샘플들은 참조용 인덱스들(이미 코딩된 그림들의 세트 내의 참조용 그림을 식별), 모션 파라미터들(참조용 그림 및 현재 그림 사이의 블록의 이동을 위한 정도를 지정), 보간 필터를 지정하기 위한 파라미터들, 예측 간 모드들 등과 같이, 동일한 예측 파라미터들의 세트를 사용하여 예측된다. 모션 파라미터들은 가로 또는 세로 구성요소를 갖는 변위 벡터들에 의해 또는 여섯 개의 구성요소로 구성되는 아핀 모션 파라미터와 같은 더 높은 순서 모션 파라미터들에 의해 나타낼 수 있다. 이러한 경우에 있어서, 이러한 특정 예측 파라미터들 세트 각각을 위하여, 블록(또는 샘플 배치들의 상응하는 블록들)을 위한 단일의 중간 예측 신호가 발생되며, 중간 예측 신호들의 중첩을 포함하는 조합에 의해 최종 예측 신호가 만들어진다. 상응하는 가중 파라미터들 및 또한 잠재적으로 고정 오프셋(가중치 합에 더해지는)은 그림 또는 참조용 그림 또는 참조용 그림들의 세트를 위하여 고정될 수 있거나, 혹은 상응하는 블록을 위한 예측 파라미터들의 세트 내에 포함될 수 있다. 원래의 블록들(또는 샘플 배치들의 상응하는 블록들) 및 또한 잔류 신호로서 언급되는 그것들의 예측 신호들 사이의 차이가 일반적으로 변환되고 양자화된다. 때때로, 이차원 변환이 잔류 신호(또는 잔류 블록을 위한 상응하는 샘플 배치들)에 적용된다. 변환 코딩을 위하여, 예측 파라미터들의 특정 세트가 사용되었던, 블록들(또는 샘플 배치들의 상응하는 블록들)은 변환을 적용하기 전에 더 나뉠 수 있다. 변환 블록들은 예측을 위하여 사용되는 블록들과 동일하거나 도는 더 작을 수 있다.변환 블록이 예측을 위하여 사용되는 하나 이상의 블록을 포함하는 것이 또한 가능하다. 서로 다른 변환 블록들은 서로 다른 크기들을 가질 수 있고 변환 블록들은 정사각형 또는 직사각형 블록들을 나타낼 수 있다. 변환 후에, 결과로서 생기는 변환 계수들이 양자화되고 이른바 변환 계수 레벨들이 획득된다. 변환 계수 레벨뿐만 아니라 예측 파라미터들, 그리고 만일 존재하면, 서브디비젼 정보가 엔트로피 코딩된다.

일부 이미지 및 비디오 코딩 표준에 있어서, 구문에 의해 제공되는 블록들 내로의 그림(또는 평면 그룹)의 세분을 위한 가능성은 매우 제한적이다. 일반적으로, 미리 정의된 크기의 블록이 더 작은 블록들로 세분될 수 있는지(또는 어떻게 세분되는지)만이 지정될 수 있다. 예로서, H.264의 가장 큰 블록 크기는 16×16이다. 16×16 블록들은 또한 매크로블록으로서 언급되며 첫 번째 단계에서 각각의 그림이 매크로블록 내로 분할된다. 각각의 16×16 매크로블록을 위하여 그것이 하나의 16×16 블록으로 코딩되는지, 또는 두 개의 16×8 블록들, 또는 두 개의 8×16 블록들, 또는 네 개의 8×8 블록들로 코딩되는지가 신호로 보내질 수 있다. 만일 16×16 블록이 네 개의 8×8 블록들로 세분되면, 이러한 각각의 8×8 블록들은 하나의 8×8 블록, 또는 두 개의 8×4 블록들, 또는 두 개의 4×8 블록들, 또는 네 개의 4×4 블록들 중의 하나로서 코딩될 수 있다.

최신 이미지 및 비디오 코딩 표준에서 블록들 내로의 분할을 지정하기 위한 작은 가능성들의 세트는 서브디비젼 정보를 시그널링하기 위한 부가 정보 비율이 작게 유지된다는 장점을 가지나, 블록들을 위한 예측 파라미터들을 전송하기 위하여 필요한 비트 레이트가 다음에 설명되는 것과 같이 중요할 수 있다는 단점을 갖는다. 예측 정보를 시그널링하기 위한 부가 정보는 일반적으로 블록을 위한 상당한 양의 전체 비트 레이트를 나타낸다. 그리고 예를 들면, 더 큰 블록 크기들의 사용에 의해 달성될 수 있는, 이러한 부가 정보가 감소될 때, 코딩 효율이 증가될 수 있다. 비디오 시퀀스의 실제 이미지 또는 그림들은 특정 특성들을 갖는 하위로 형태화된 대상들을 포함한다. 예로서, 그러한 대상들은 독특한 구조 또는 독특한 모션을 특징으로 한다. 그리고 일반적으로, 예측 파라미터들의 동일한 세트는 그러한 대상 또는 대상의 일부를 위하여 적용될 수 있다. 그러나 대상 경계들은 일반적으로 큰 예측 블록들(예를 들면, 가능성들 내의 16×16 매크로블록들)을 위한 가능한 블록 경계들과 일치하지 않는다. 인코더는 일반적으로 특정 왜곡치 측정의 최소를 야기하는 서브디비젼(한정된 가능성들의 세트 중에서)을 결정한다. 하위에 형성되는 대상들을 위하여 이는 많은 수의 더 작은 블록들을 야기할 수 있다. 그리고 이러한 작은 블록들 각각은 전송될 필요가 있는, 예측 파라미터들의 세트와 관련되기 때문에, 부가 정보 비율은 전체 비트 레이트의 상당 부분이 될 것이다. 그러나 일부 작은 블록들은 여전히 동일한 대상 또는 대상의 일부의 영역들을 나타내기 때문에, 많은 수의 획득된 블록들을 위한 예측 파라미터들은 동일하거나 매우 유사하다. 직감적으로, 구문이 블록을 세분하도록 허용하지 않을 뿐만 아니라 세분 후에 획득되는 블록들 사이의 코딩 파라미터들을 공유하도록 허용하지 않는 방법으로 구문이 확장될 때 코딩 효율은 증가될 수 있다.트리 기반 서브디비젼에 있어서, 주어진 블록들 세트를 위한 코딩 파라미터들의 공유는 코딩 파라미터들 또는 그것들의 일부를 트리 기반 계층 내의 하나 또는 그 이상의 부모 노드들에 지정함으로써 달성될 수 있다. 그 결과, 공유된 파라미터들 도는 그것들의 일부는 세분 후에 획득되는 블록들을 위한 코딩 파라미터들의 실제 선택을 신호로 보내는 것이 필요한 부가 정보를 감소시키기 위하여 사용될 수 있다. 감소는 뒤따르는 블록들을 위한 파라미터들의 시그널링을 생략하거나 또는 예측을 위한 공유된 파라미터들 및/또는 뒤다르는 블록들을 위한 파라미터들의 컨텍스트 모델링을 사용함으로써 달성될 수 있다.

아래에 설명되는 상속 도식의 기본 개념은 블록들의 트리 기반 계층을 따라 정보의 공유에 의해 코딩 파라미터들을 전송하기 위하여 필요한 비트 레이트를 감소시키는 것이다. 공유된 정보는 비트스트림 내부에(서브디비젼 정보에 더하여) 신호로 보내진다. 상속 도식의 장점은 코딩 파라미터들을 위한 감소된 부가 정보 비율을 야기하는 증가된 코딩 효율이다.

부가 정보 비율을 감소시키기 위하여, 아래에 설명되는 실시 예들에 따라, 특정 샘플들의 세트를 위한 코딩 파라미터들, 즉 멀티트리 서브디비젼의, 정사각형 또는 직사각형 블록들 또는 하위에 형성되는 영역들 또는 샘플들의 다른 모든 수집을 나타낼 수 있는, 간단히 연결되는 영역들은 효율적인 방법으로 데이터 스트림 내에 신호가 보내진다. 아래에 설명되는 상속 도식은 분명히 코딩 파라미터들이 각각의 이러한 샘플들 세트를 위하여 비트스트림 내에 전부 포함될 필요가 없다는 것을 가능하게 한다. 코딩 파라미터들은 이미 코딩된 샘플들을 사용하여 샘플들의 상응하는 세트가 어떻게 예측되는지를 지정하는 예측 파라미터들을 나타낼 수 있다. 많은 가능성 및 예들이 위에서 설명되었으며 도한 여기에 적용된다. 또한 위에 나타낸 것과 같이, 그리고 아래에 더 설명될 것과 같이, 다음의 상속 도식이 관련되는 한, 샘플 세트들 내로의 그림의 샘플 배치들의 트리 기반 포지셔닝은 구문에 의해 고정될 수 있거나 또는 비트스트림 내부의 상응하는 서브디비젼 정보에 의해 신호로 보내질 수 있다. 샘플 세트들을 위한 코딩 파라미터들은 위에서 설명된 것과 같이, 구문에 의해 주어지는, 미리 정의된 순서로 전송된다.

상속 도식에 따라, 디코더 또는 디코더의 확장기(102)는 특정 방법으로 영역 또는 샘플 세트들에 간단히 연결되는 개개의 코딩 파라미터 상에 정보를 유래하도록 구성된다. 특히, 예측의 목적으로 제공하는 코딩 파라미터 또는 그것들의 일부는 각각 인코더 또는 입력기(18)에 의해 결정되는 트리 구조를 따라 공유 그룹을 갖는 주어진 트리 기반 파티셔닝 도식을 따라 블록들 사이에서 공유된다. 특정 실시 예에서, 파티셔닝 트리의 주어진 내부 노드의 모든 자식 노드들을 위한 코딩 파라미터의 공유는 특정 이진 값 공유 플래그를 사용함으로써 나타낸다. 대안의 접근으로서, 블록들의 트리 기반 계층을 따라 파라미터들의 축적된 세분들이 주어진 리프 노드에서 블록의 모든 샘플 세트들에 적용될 수 있는 것과 같이 코딩 파라미터들의 세분들이 각각의 노드를 위하여 전송될 수 있다. 또 다른 실시 예에서, 블록들의 트리 기반 계층을 따라 내부 노드들을 위하여 전송되는 코딩 파라미터들의 일부는 주어진 리프 노드에서 블록을 위한 코딩 파라미터 또는 그것들의 일부의 컨텍스트 적응성 엔트로피 인코딩 및 디코딩을 위하여 사용될 수 있다.

도 12a 및 12b는 쿼드트리 기반 파티셔닝을 사용하는 특별한 경우를 위한 상속의 기본 개념을 도시한다. 그러나, 위에서 수차례 나타낸 것과 같이, 도 12a에 도시된 트리 구조뿐만 아니라 다른 멀티트리 서브디비젼 도식들도 마찬가지로 사용될 수 있으며 반면에 도 12a위 트리 구조에 상응하는 공간적 파티셔닝이 도 12b에 도시된다. 도시된 파티셔닝은 도 3a 내지 3c와 관련하여 도시된 것과 유사하다. 일반적으로, 상속 도식은 부가 정보가 트리 구조 내의 서로 다른 비-리프 층들에서 노드들에 지정되는 것을 허용할 것이다. 부가 정보의 트리 내의 서로 다른 층들에서 노드들로의 지정에 따라, 부가 정보의 서로 다른 정도의 공유가 도 12b에 도시된 트리 계층 내에서 달성될 수 있다. 예를 들면, 만일 도 12a의 경우에 모두 동일한 부모 노드를 갖는, 층 4 내의 모든 리프 노드들이 부가 정보를 공유해야만 하면, 가상으로, 이는 156a 내지 156d로 표시된 도 12b에서의 가장 작은 블록들이 이러한 부가 정보를 공유하며, 비록 인코더를 위한 선택으로서 유지되나, 이러한 모든 작은 블록들(156a 내지 156d)을 위하여 부가 정보 전부, 즉 네 번을 더 이상 전송할 필요가 없다는 것을 의미한다. 그러나, 도 12a의 계층 레벨 1(층 2)의 전체 영역, 주로 서브블록들(154a, 154b, 및 154d)뿐만 아니라 앞서 언급된 더 작은 서브블록(156a 내지 156d)을 포함하는 트리 블록(150)의 오른쪽 상부 모서리에서 1/4 부분이 코딩 파라미터들이 공유되는 영역으로서 제공되는 것을 결정하는 것이 또한 가능할 수 있다. 따라서, 부가 정보를 공유하는 영역이 증가한다. 증가의 다음 레벨은 요약하면 층 1이 모든 서브블록들, 주로 서브블록들 152a, 152c와 152d 및 앞서 언급된 더 작은 블록들일 것이다. 달리 말하면, 이러한 경우에 있어서, 전체 트리 블록은 부가 정보를 공유하는 이러한 트리 블록(150)의 모든 서브블록들과 함께 거기에 지정되는 부가 정보를 가질 수 있다.

상속이 다음이 설명에서, 실시 예들을 설명하기 위하여 다음의 기호가 사용된다:

a. 현재 리프 노드의 재구성된 샘플들: r

b. 이웃하는 리프들의 재구성된 샘플들: r^r

c. 현재 리프 노드의 예측기: p

d. 현재 리프 노드의 잔류물: Res

e. 현재 리프 노드의 재구성된 잔류물: RecRes

f. 스케일링 및 역변환: SIT

g. 공유 플래그: f

계층의 첫 번째 예로서, 내부 노드들에서 예측 내 신호전달이 설명될 수 있다. 더 정확히 설명하면, 예측의 목적을 위하여 트리 기반 블록 파티셔닝의 내부 노드들에서 예측 내 모드들을 어떻게 신호를 보내는지가 설명된다. 루트 노드로부터 리프 노드들로 트리를 횡단함으로써, 내부 노드들(루트 노드를 포함하여)은 그것의 상응하는 자식 노드들에 의해 이용될 부가 정보의 일부를 전달할 수 있다. 더 구체적으로 설명하면, 공유 플래그(f)는 내부 노드들을 위하여 다음의 수단으로 전송된다:

만일 f가 1("true")의 값을 가지면, 주어진 내부 노드의 모든 자식 노들은 동일한 예측 내 노드를 공유한다. 1이 값을 갖는 공유 플래그(f)에 더허여, 내부 노드는 또한 모든 자식 노드들을 위하여 사용되려는 예측 내 모드 파라미터를 신호로 보낸다. 결과적으로, 모든 뒤따르는 자식 노드들은 어떠한 예측 모드 정보뿐만 아니라 어떠한 공유 플래그들도 지니지 않는다. 관련된 모든 리프 노드들의 재구성을 위하여, 디코더는 상응하는 내부 노드로부터 예측 내 모드를 적용한다.

만일 f가 0("false)의 값을 가지면, 상응하는 내부 노드의 자식 노드들은 동일한 예측 내 모드를 공유하지 않으며 각각의 내부 노드인 자식 노드는 개별적인 공유 플래그를 지닌다.

도 12c는 위에서 설명된 것과 같이, 내부 노드들에서의 예측 내 신호전달을 도시한다. 층 1의 내부 노드는 예측 내 모드 정보에 의해 주어지는 공유 플래그 및 부가 정보를 전달하며 자식 노드들은 어떠한 부가 정보도 지니지 않는다.

상속의 두 번째 예로서, 예측 간 세분이 설명될 수 있다. 더 정확히 설명하면, 예를 들면 션 벡터들에 의해 주어지는 것과 같이, 모션 파라미터들의 세분의 목적을 위하여 트리 기반 블록 파티셔닝의 내부 모드들에서 예측 간 모드들의 부가 정보를 신호로 보내는 방법이 설명된다. 루트 노드로부터 리프 노드들로 트리를 횡단함으로써, 내부 노드들(루트 노드를 포함하여)은 그것의 상응하는 자식 노드들에 의해 세분될 부가 정보의 일부를 전달할 수 있다. 더 구체적으로 설명하면, 공유 플래그(f)는 내부 노드들을 위하여 다음의 수단으로 전송된다:

만일 f가 1("true")의 값을 가지면, 주어진 내부 노드의 모든 자식 노들은 동일한 모션 벡터 참조를 공유한다. 1이 값을 갖는 공유 플래그(f)에 더하여, 내부 노드는 또한 모션 벡터 및 참조용 인덱스에 신호로 보낸다. 결과적으로, 모든 뒤따르는 자식 노드들은 더 이상 공유 플래그들을 지니지 않으나 이러한 상속된 모션 벡터 참조의 세분을 지닐 수 있다. 관련된 모든 리프 노드들의 재구성을 위하여, 디코더는 주어진 리프 노드에서 모션 벡터를 1의 값을 갖는 공유 플래그(f)를 갖는 그것이 상응하는 내부 부모 노드에 속하는 상속된 모션 벡터 참조에 더한다. 이는 주어진 리프 노드에서의 모션 벡터 세분이 이러한 리프 노드에서의 모션 보상 예측을 위하여 적용되는 실제 모션 벡터 및 그것의 상응하는 내부 자식 노드의 모션 벡터 참조의 차이인 것을 의미한다.

만일 f가 0("false)의 값을 가지면, 상응하는 내부 노드의 자식 노드들은 반드시 동일한 예측 간 모드를 공유할 필요가 없으며 상응하는 내부 노드로부터 모션 파라미터를 사용함으로써 자식 노드들에서 모션 파라미터들의 어떠한 세분도 실행되지 않으며 내부 노드인 각각의 자식 노드는 개별적인 공유 플래그를 지닌다.

도 12d는 위에서 설명된 모션 파라미터 세분을 도시한다. 층 1의 내부 노드는 공유 플래그 및 부가 정보를 공유한다. 리프 노드들인 자식 노드들은 모션 파라미터 세분들만을 지니는데, 예를 들면 층 2의 내부 자식 노드는 어떠한 부가 정보도 지니지 않는다.

이제 도 13을 참조하면, 도 13은 데이터 스트림으로부터, 멀티트리 서브디비젼에 의해 서로 다른 크기들의 리프 영역들로 세분되는, 공간적 예제 정보 신호를 나타내는 정보 샘플들의 배치를 재구성함에 있어서, 도 2의 디코더와 같은 디코더의 작동 모드를 나타내는 플로 다이어그램을 도시한다. 위에서 설명된 것과 같이, 각각의 리프 영역은 멀티트리 서브디비젼의 계층 레벨들의 시퀀스 중에서 그 안에서 관련되는 계층 레벨을 갖는다. 예를 들면, 도 12b에 도시된 모든 블록들이 리프 영역들이다. 리프 영역(156c)은 예를 들면, 계층 층 4(도는 레벨 3)과 관련된다. 각각의 리프 영역은 그 안에서 관련되는 코딩 파라미터들을 갖는다. 이러한 코딩 파라미터들의 예가 위에서 설명되었다. 코딩 파라미터들은 각각의 리프 영역을 위하여, 각각의 구문 요소들 세트에 의해 나타낸다. 각각의 구문 요소는 구문 요소 형태들 중에서 각각의 구문 요소 형태이다. 그러한 구문 요소는 예를 들면, 예측 모드, 모션 벡터 구성요소, 예측 내 모드의 표시 등이다. 도 13에 따라, 디코더는 다음의 단계를 실행한다.

단계 550에서, 데이터 스트림으로부터 상속 정보가 추출된다. 도 2의 경우에 있어서, 추출기(102)는 단계 550에 책임이 있다. 상속 정보는 정보 샘플들의 현재 배치를 위하여 상속이 사용되는지 또는 사용되지 않는지에 관하여 나타낸다. 다음의 설명은 소위, 공유 플래그(f) 및 일차와 이차 부분으로 세분되는 멀티트리 구조의 시그널링과 같은 상속 정보를 위하여 일부 가능성이 존재한다는 것을 설명할 것이다.

정보 샘플들의 배치는 이미 예를 들면, 주로 도 12b의 트리블록인(150), 트리블록과 같은, 그림의 서브파트일 수 있다. 따라서, 상속 정보는 특정 트리블록(150)을 위하여 상속 정보가 사용되는지 도는 사용되지 않는지에 관하여 나타낸다. 그러한 상속 정보는 예를 들면, 예측 서브디비젼의 모든 트리 블록을 위하여 데이터 스트림 내로 삽입될 수 있다.

또한, 상속 정보는 만일 사용되려는 상속이 나타나면, 리프 영역들의 세트를 포함하고 리프 영역들의 세트가 관련된 각각의 계층 레벨들보다 낮은, 멀티트리 서브디비젼의 계층 레벨들의 시퀀스의 계층 레벨과 상응하는, 정보 샘플들의 배치의 적어도 하나의 계층 영역을 나타낸다. 달리 말하면, 상속 정보는 트리블록(150)과 같은 현재 샘플 배치를 위하여 상속이 사용되는지 사용되지 않는지에 대하여 나타낸다. 만일 그렇다면, 그것은 리프 영역들이 코딩 파라미터들과 공유하는, 적어도 하나의 상속 영역 또는 이러한 트리블록(150)의 서브영역을 보여준다. 따라서, 상속 영역은 리프 영역이 아닐 수 있다. 도 12b의 실시 예에서, 이러한 상속 영역은 예를 들면, 서브블록들(156a 내지 156b)에 의해 형성되는 영역일 수 있다. 대안으로서, 상속 영역은 더 클 수 있고 또한 부가적으로 서브블록들(154a, b 및 d)을 포함할 수 있으며 또한 대안으로서, 상속 영역은 그러한 상속 영역과 관련된 커딩 파라미터들을 공유하는 그것들의 모든 리프 블록들을 갖는 트리블록(150) 자체일 수 있다.

그러나, 하나 이상의 상속 영역이 각각 하나의 샘플 배치 또는 트리블록(150) 내에 정의될 수 있다는 것에 유의하여야 한다. 예를 들면, 왼쪽 하부의 서브블록(152c)은 또한 더 작은 블록들로 분할된 것을 생각하라. 이러한 경우에 있어서, 서브블록(152c)은 또한 상속 영역을 형성할 수 있다.

단계(552)에서, 상속 정보는 상속이 사용되는지 아닌지 여부가 확인된다. 그렇다면, 도13은 단계(554)와 함께 진행하고 여기서 미리 설정된 구문 요소 타입의 적어도 하나의 구문 요소를 포함하는 상속 부분집합은 상호-상속 영역 당 (per inter-inheritance region) 데이타 스트림으로부터 추출된다. 단계(556)을 따라서, 상속 부분집합은, 각각 적어도 하나의 상속 영역이 구성되는 리프 영역들의 집합에 관련된 코딩 파라미터들을 나타내는 구문 요소들의 집합 내에서 구문 요소들의 대응하는 상속 부분집합에 대해, 복사되거나, 예측으로 이용된다. 다른 말로, 상속 정보 내에서 표시되는 각 상속 영역에 대해, 데이타 스트림은 구문 요소들의 상속 부분집합을 포함한다는 것이다. 또 다른 말로, 상속은 적어도 하나의 특정 구문 요소 타입 또는 구문 요소 카테고리와 관련되며, 이는 상속에 이용가능한 것이다. 예를 들어, 예측 모드 또는 상호-예측 모드 또는 내부-예측 모드 구문 요소는 상속의 대상일지도 모른다. 예를 들어, 데이타 스트림 내에서 상속 영역에 대해 들어 있는 상속 부분집합은 상호-예측 모드 구문 요소를 포함할 수도 있다. 상속 부분집합은 추가 구문 요소를 또한 포함할 수 있으며 구문 요소 타입은 미리 언급된 상속 설계와 관련된 고정 구문 요소 타입의 값에 의존한다. 예를 들어, 상속 부분집합의 고정된 구성요소인 상호-예측 모드의 경우, 구문 요소들은 모션 보상을 정의하고, 이는 모션-벡터 구성요소들처럼이고, 이는 구문에 의해 상속 부분집합에 포함되거나 되지 않을 수 있다. 예를 들어, 트리블록(150)의 상측 오른쪽 쿼터를 생각해보면, 즉 서브블록(152b)는, 상속 영역이었고, 그후 상호-예측 모드는 단독으로 이 상속 영역 또는 상호-예측 모드에 대해 모션 벡터들과 모션 벡터 지수들에 따라 표시될 수 있다.

상속 부분집합에 포함된 모든 구문 요소들은 상속 영역, 즉 리프 블록(154a, b, d 그리고 156a 부터 156d까지) 내에서, 대응하는 코딩 파라미터들 에 대한 예측으로 이용되거나 복사된다. 이용되는 예측의 경우, 잔류물들은 개별 리프 블록들에 대해 전송된다.

트리블록(150)에 대한 상속 정보를 전송하는 하나의 가능성은 좀전에 언급된 공유 플래그 f 의 전송이다. 단계(550)의 상속 정보의 추출은, 이 경우, 다음을 포함할 수 있다. 특히, 디코더는 , 멀티-트리 서브디비젼의 적어도 하나의 계층 레벨의 상속 집합중 아무것에든 대응하는 논-리프 영역들에 대해, 저차 계층 레벨에서 고차 계층 레벨까지 계층 레벨 순서를 이용하여, 데이타 스트림으로부터 공유 플래그 f를, 개별 상속 플래그 또는 공유 플래그가 상속을 규정하는지 아닌지, 추출 그리고 확인을 위해 구성될 수 있었다. 예를 들어, 계층 레벨들의 상속 집합은 도12a의 계층 레벨들 1부터 3까지에 의해 형성될 수 있다. 이와같이, 리프 노드가 아닌 그리고 1부터 3까지 아무 레이어들(layers) 내에 위치한 서브트리 구조의 아무 노드들에 대하여 데이타 스트림 내에 관련된 공유 플래그들을 가질 수 있었다. 디코더는 이러한 공유 플래그들을 레이어(layer) 1에서 3까지의 순서로 추출하며, 이는 깊이-우선 EH는 너비 우선 순회 순서처럼이다. 공유 플래그들의 하나가 1과 같아지자 마자, 디코더는 대응하는 상속 영역에 포함된 리프 블록들이 이후 단계(554)에서 추출되는 상속 부분집합을 공유한다는 것을 알게된다. 현재 노드들의 자식 노드들에 대하여, 상속 플래그들의 확인은 더 이상 필요하지 않다. 다른 말로, 이 자식 노드들에 대한 상속 플래그들은 데이타 스트림 내에서 전송되지 않는데, 이 노드들이 이미 구문 요소들의 상속 부분집합이 공유되는 내에서 상속 영역들에 속한다는 것이 명확하기 때문이다.

공유 플래그 f 는 쿼드트리 서브디비젼을 시그널링하는 앞에서 언급된 비트들과 함께 끼워질(interleaved) 수 있다. 예를 들어, 플래그를 공유하는 것 뿐만 아니라 서브디비젼 플래그들 모두를 포함하는 교차배치 비트 시퀀스(interleave bit sequence)는 :

10001101(0000)000,

일 수 있고,

이는 두 배치된 공유 플래그들과 함게 도6에 도시된 동일 서브디비젼 정보이고, 이는 밑줄로 강조되어 있고, 도3c에서 트리블록(150)의 하측 왼편 쿼터 내의 모든 서브블록들이 코딩 파라미터들을 공유한다는 것을 나타내기 위함이다.

상속 영역을 나타내는 상속 정보를 정의하기 위한 다른 방법은 잔류 서브디비젼 그리고 예측 각각에 대한 위에서 설명되것처럼 서로간에 종속 방법에서 정의된 두 서브디비젼들의 이용일 것이다. 일반적으로 말해, 주 서브디비젼의 리프 블록들은 구문 요소들의 상속 부분집합이 공유되는 것들 내의 영역들을 정의하는 상속 영역을 형성할 수 있고 반면에 종속 서브디비젼은 구문 요소들의 상속 부분집합이 복사되거나 예측으로 이용되는 상속 영역들 내에서 블록들을 정의한다.

예를 들어, 잔류 트리를 예측 트리의 확장(연장, extension)으로 고려해보자. 이에 더하여, 예측 블록들이 잔류 코딩 목적을 위해 더 작은 블록들로 추가로 나누어질 수 있는 경우를 고려해보자. 각 예측 블록에 대해 예측-관련 쿼드트리의 리프 노드에 대응하고, 잔류 코딩에 대한 대응 서브디비젼은 하나 또는 그 이상의 종속 쿼드트리(들)에 의해 결정된다.

이 경우, 내부 노드들에서 아무 예측 신호전달(signalization)을 이용하는 것보다, 우리는 잔류 트리가, 일정한 예측 모드(예측-관련 트리의 대응하는 리프 노드들에 의해 시그널링되는)를 이용하는 뜻에서 뿐만 아니라 세분된 레퍼런스 샘플들과 함께 예측 트리의 세분을 특정하는 것처럼 해석되는 것을 고려할 수 있다.

예를 들어, 도14b는 세분된 레퍼런스 샘플들을 갖는 동일 예측 리프 노드들에 대한 잔류 쿼드트리 서브디비젼을 보여주는 반면, 도14a 그리고 14b는 주 서브디비젼의 리프 노드들을 특정하는 하나에 대해 강조된 인접 레퍼런스 샘플들을 갖는 내부 예측에 대한 쿼드트리 파티셔닝(분할, partitioning)을 보여준다. 도14b에 보여진 모든 서브블록들은 도14a에 강조된 개별 리프 블록들에 대한 데이타 스트림 내에 포함된 동일 상호-예측 파라미터들을 공유한다. 이런 이유로, 도14a는 내부 예측에 대한 관습적인 쿼드트리 파티셔닝의 예를 보여주며, 여기서 하나의 특정 리프 노드들에 대한 레퍼런스 샘플들은 묘사된다. 그러나, 바람직한 실시예에서, 도4(b)의 회색 음영 스트라이프들에 의해 표시된것처럼, 개별 내부 예측 신호는 잔류 트리에서 이미 복원된 리프 노드들의 인접 샘플들을 이용하여 잔류 트리의 각 리프 노드들에 대해 계산된다. 그 후, 주어진 잔류 리프 노드들의 복원된 신호는 이 예측 신호에 양자화된 잔류 신호를 추가하는 것에 의해 일반적인 방법으로 얻어진다. 이 복원된 신호는 이후 다음 예측 프로세스에 대해 레퍼런스 신호로 이용된다. 예측에 대한 디코딩 순서는 잔류 디코딩 순서와 같다는 것을 인지하다.

도15에 보여진것처럼, 디코딩 프로세스에서, 각 잔류 리프 노드에 대하여, 예측 신호 p 는 잔류 샘플들 r' 를 이용하여 (예측-관련 쿼드트리 리프 노드에 의해 표시되는 것처럼) 실제 내부-예측 모드에 따라 계산된다.

SIT 프로세스 다음에,

Re c Re s=SIT(Re s)

복원 신호 r 은 다음 예측 계산 프로세스에 대해 계산되고 저장된다:

r = Re c Re s + p

도16에 도시된 예측에 대한 디코딩 순서는 잔류 디코딩 순서와 같다.

각 잔류 리프 노드는 이전 단락에 설명된 것처럼 디코딩된다. 잔류 신호 r 은 도16에 보여지는 것처럼 버퍼에서 저장된다. 이 버퍼 외에, 레퍼럼스 샘플 r' 는 다음 예측 그리고 디코딩 프로세스를 위해 취해질 것이다.

위에 요약된 관점들의 구별되는 부분집합들의 결합과 함께 도1에서 16까지에 대한 특정 실시예들을 설명한 뒤에, 본 응용의 추가 실시예들이 위에서 이미 언급된 특정 관점들에 초점을 두어 설명되지만, 그 실시예들은 위에서 설명된 실시예들 중 몇몇의 일반화를 나타낸다.

도 17은 그런 추가 실시예에 따른 디코더를 보여준다. 디코더는 추출기(600), 서브디바이더(602) 그리고 복원기(604)를 포함한다. 이 블록들은 도17의 디코더의 입력(606) 그리고 출력(608) 사이에 언급된 순서로 연속하여 연결된다. 추출기(600)은 최대 영역 크기 그리고 멀티트리-서브디비젼 정보를 입력(606)에서 디코더에 의해 수신된 데이타 스트림으로부터 추출하기 위해 구성된다. 예를 들어, 최대 영역 크기는, 위에서 언급된 단일 연결된 영역들의 크기를 표시했던, 지금은 간단히 "블록들"이라 불리는, 예측 서브디비젼의, 최대 블록 크기, 또는 잔류 서브디비젼의 트리블록들의 크기를 정의하는 최대 블록 크기에 대응할 수 있다. 멀티트리-서브디비젼 정보는, 차례로, 쿼드트리 서브디비젼 정보에 대응할 수 있고 도6a 그리고 6b에 유사한 방법으로 비트스트림으로 코딩될 수도 있다. 그러나, 앞서말한 도면들에 대해 위에서 설명된 쿼드트리 서브디비젼은 단순히 가능한 예들의 높은 숫자들로부터 하나의 예이다. 예를 들어, 부모 노드들에 대한 자식 노드들의 숫자는 하나보다 큰 숫자중 아무것이나 될 수 있고, 계층 레벨에 따라 다양한 숫자 일수 있다. 게다가, 서브디비젼 노드의 파티셔닝은 서로 동일한 특정 노드들의 자식 노드들에 대응하는 서브블록들의 영역 처럼 형성되지 않을 수도 있다. 오히려, 다른 파티셔닝 규칙을 적용할 수 있고 계층 레벨에서 계층 레벨로 다양화할 수 있다. 게다가, 멀티트리 서브디비젼의 최대 계층 레벨에서 정보 또는, 그것에 대응하는, 멀티트리 서브디비젼으로부터 도출되는 서브영역의 최소 크기는, 데이타 스트림 내에서 전송될 필요가 없고, 추출기는 데이타 스트림으로부터 그런 정보를 추출하지 않을지도 모른다.

서브디바이더(602)는 배치(24)을 최대 영역 크기의 트리 루트 영역(150)으로 나누는 것처럼, 정보 샘플들의 배치를 공간적으로 나누기 위해 구성된다. 정보 샘플들의 배치는, 위에서 설명된대로, 비디오 또는 3-D 비디오 또는 그 유사한 것들처럼, 정보 신호들을 일시적으로 다양화하는 것을 나타낼 수도 있다. 대안적으로, 정보 샘플들의 배치는 정지 그림을 나타낼 수도 있다. 서브디바이더(602)는 추출기(600)으로부터 추출되는 멀티트리-서브디비젼 정보에 따라, 트리 루트 영역들의 부분집합을 재귀적으로 멀티-파티셔닝하는 것에 의해 다른 크기들의 더 작은 단일 연결된 영역들로 트리 루트 영역들의 부분집합을 최소한 서브디바이드(세분, subdivide)하기 위해 구성된다. 추출기(600)에 방금 언급된것처럼, 파티셔닝은 쿼드-파티셔닝에 제한되지 않는다.

복원기(604)는, 차례로, 데이타 스트림(606)으로부터 정보 샘플들의 배치를 복원하기 위해 구성되며, 더 작은 단일 연결 영역들로의 서브디비젼을 이용한다. 예를 들어, 더 작은 단일 연결 영역들은 도3c에 보여지는 블록들에 대응하고, 또는 도9a 그리고 9b에 보여지는 블록들에 대응한다. 프로세싱 순서는 깊이-우선 순회 순서에 제한되지 않는다.

도2에 보여진 요소들을 도 17에 보여지는 요소들에 맵핑할 때, 그 후 도2의 요소(102)는 도12의 요소(600)에 대응하고, 도2의 요소(104a)는 도12의 서브디바이더(602)에 대응하고, 요소들(104b, 106, 108, 110, 112 그리고 114)은 복원기(604)를 형성한다.

데이타 스트림 내에서 최대 영역 크기를 전송하는 이점은 인코더가 그림별 기반에사 최대 영역 크기를 결정하는 기회가 주어지기 때문에 더 적은 측면 정보를 이용하여 전형적인 그림 컨텐츠로 서브디비젼을 적응시키는 것을 가능하게 한다. 바람직한 실시예에서, 최대 영역 크기는 각 그림에 대한 비트스트림 내에서 전송된다. 대안적으로, 최대 영역 크기는 비트스트림 내에서 그림들의 그룹들 단위에서처럼 더 거칠은 입도로 전송된다.

도 18은 도 17의 디코더가 디코딩될 수 있는 데이터 스트림의 콘텐츠를 도시한다. 데이터 스트림은 멀티트리 서브디비젼 정보와 결합하여, 복원기가 정보 샘플들의 배치를 재구성할 수 있다는 사실을 기초로 하여, 코딩 파라미터들 및 잔류 정보와 같은 데이터(610)를 포함한다. 물론 이 외에, 데이터 스트림은 멀티트리 서브디비젼 정보(612) 및 최대 영역 크기(614)를 포함한다. 디코딩 순서에 있어서, 최대 영역 크기는 바람직하게는 코딩/디코딩 순서에 있어서 멀티트리 서브디비젼 정보(612) 및 나머지 데이터(610)에 선행한다. 멀티트리 서브디비젼 정보(612) 및 나머지 데이터(610)는 멀티트리 서브디비젼 정보(612)가 나머지 데이터(610)에 선행하는 것과 같이 데이터 스트림 내로 코딩될 수 있으나, 또한 위에서 설명된 것과 같이, 멀티트리 서브디비젼 정보(612)는 정보 샘플들의 배치가 멀티트리 서브디비젼 정보에 따라 분할되는 서브영역들의 유닛 내의 나머지 데이터(610)와 교차배치(interleave) 될 수 있다. 또한, 서브디비젼 정보는 각각의 그림을 위한 것과 같이 시간에 따라 변경될 수 있다. 코딩은 시간-방향 예측을 사용하여 실행될 수 있다. 즉, 단지 선행의 서브디비젼 정보에 대한 차이들이 코딩될 수 있다. 방금 언급된 설명은 또한 최대 영역 크기를 위하여 적용할 수 있다. 그러나, 후자는 또한 언급된 사실은 더 거칠은(coarser) 시간 해상도에서 변경될 수 있다.

점선들에 의해 표시된 것과 같이, 데이터 스트림은 최대 계층 레벨 상의 정보, 주로 정보(616)를 포함할 수 있다. 618에서 점선으로 도시된 세 개의 빈 박스는 데이터 스트림이 또한 나중에 멀티트리 서브디비젼에 대하여 하위의 서브디비젼일 수 있는, 또 다른 멀티트리 서브디비젼을 위한 데이터 요소들(612-616)을 포함할 수 있거나, 또는 독립적으로 정의되는 정보 샘플들의 배치의 서브디비젼일 수 있다는 것을 나타내어야 한다.

도 19는 추상적 방법으로, 도 17의 디코더에 의해 디코딩될 수 있는 도 18의 데이터 스트림을 발생시키기 위한 인코더를 도시한다. 인코더는 서브디바이더(650) 및 최종 코더(652)를 포함한다. 서브디바이더는 최대 영역 크기 및 멀티트리 서브디비젼 정보를 결정하고 공간적으로 세분하고 서브디바이더(602)와 같이 적절하게 정보 샘플들의 배치를 세분하도록 구성되는데, 따라서 데이터 스트림 내로 전송된 정보(612 및 614)에 의해 제어된다. 최종 디코더(652)는 최대 영역 크기 및 멀티트리 서브디비젼 정보와 함께 서브디바이더(650)에 의해 정의되는 더 작은 단순히 연결된 영역들 내로의 서브디비젼을 사용하여 정보 샘플들의 배치를 데이터 스트림 내로 인코딩하도록 구성된다.

이전에 언급된 것과 같이, 서브디바이더(650) 및 최종 코더(652) 내로 구성되는 것과 같이 도 19의 인코더를 도시한 도 19의 블록 다이어그램은 덜 추상적인 의미로 이해되어야 한다. 더 정확히 설명하면, 서브디바이더(650) 및 최종 코더(652) 모두 서브디비젼, 주로 최대 영역 크기(614)와 멀티트리 서브디비젼 정보(612)에 대한 표시, 및 나머지 데이터 모두 포함하는 구문 요소들의 최적 세트를 결정해야만 하고 이러한 구문 요소들의 최적화된 세트를 결정하기 위하여 각각 서브디바이더(602) 및 복원기(604)에 의해 어던 구문 요소들의 예비 세트들이 시도되는가에 따라 반복적 알고리즘이 사용될 수 있다. 이는 트라이얼 코더(654)이 존재에 의해 도 19에 도시되는데, 이는 요소들(610-614)을 설명하는 구분의 일부 세트들이 실제 데이터 스트림 삽입 전에 트라이얼 코더(654)내로의 인코딩을 위하여 예비로 사용되어 왔다는 것을 설명하기 위하여 도시되며 서브디바이더(650) 및 최종 코더(652)에 의한 코드 스트림 발생이 발생한다. 비록 별개의 엔티티로 도시되었으나, 트라이얼 코더(654) 및 최종 코더(652)는 각각 서브루틴들, 회로 구성요소들 또는 펌웨어 논리에 관하여 상당히 일치할 수 있다.

또 다른 실시 예에 따라, 디코더는 도 20에 도시된 것과 같이 구성될 수 있다. 도 20이 디코더는 서브디바이더(700) 및 복원기(702)를 포함한다. 서비디바이더는 쿼드트리 서브디비젼을 사용하여, 정보 샘플들(24)의 배치와 같이, 예를 들면 각각 도 3c 및 도 9a와 9b와 관련하여 설명된 것과 같이 재귀적으로(recursively) 쿼드트리 분할에 의해 서로 다른 크기의 블록들 내로의 공간적으로 샘플링되는 정보 신호를 나타내는 정보 샘플들의 배치를 공간적으로 세분하도록 구성된다. 복원기(702)는 블록들 내로의 서브디비젼을 사용하거나 또는 간단히 영역들을, 예를 들면 위에서 설명되고 도 3c의 350에 도시된 깊이 우선 탐색 순서 내의 블록들의 처리와 연결하여 데이터 스트림으로부터 정보 샘플들을 재구성하도록 구성된다.

위에서 설명된 것과 같이, 쿼드트리 서브디비젼과 관련하여 이미지 샘플들의 배치릉 재구성하는데 있어서 깊이 우선 탐색 순서의 사용은 현재 블록의 코딩 효율을 증가시키기 위하여 이웃하는 블록들의 데이터 스트림 내의 이미 디코딩된 구문 요소들을 이용하는데 도움을 준다.

도 20의 서브디바이더(700)는 데이터 스트림이 쿼드트리 서브디비젼의 최대 영역 크기(514) 상의 정보를 포함하는 것을 기대할 수 없는 것으로 이해되어야 한다. 또한, 최대 계층 레벨(616)은 도 20이 실시 예에 따라 데이터 스트림 내에 표시될 수 없다. 도 20의 실시 예에 따라, 쿼드트리 서브디비젼 정보도 분명히 특히 전용 구문 요소들에 관해서 데이터 스트림 내에 신호로 보내질 필요가 없다. 오히려, 서브디바이더(700)는 데이터 스트림 내에 잠재적으로 포함되는 썸네일(thumbnail) 그림의 분석과 같이 데이터 스트림의 나머지 데이터의 분석으로부터 쿼드트리-서브디비젼을 예측할 수 있다. 대안으로서, 서브디바이더(700)는 데이터 스트림으로부터 쿼드트리 서브디비젼 정보를 추출함에 있어, 정보 샘플들의 배치가 비디오 또는 일부 다른 일시적으로 바귀는 정보 신호에 속하는 경우에 있어서 정보 샘플들의 이전에 디코딩된 배치의 이전에 재구성되거나/디코딩된 쿼드트리 서브디비젼으로부터 정보 샘플들의 현재 배치를 위한 서브디비젼 정보를 예측하도록 구성된다.

또한, 위의 도 1 내지 16의 실시 예들에서 설명된 경우에서와 같이, 샘플 배치의 트리블록 내로의 선분할이 실행될 필요가 있다. 오히려, 쿼드트리 서브디비젼은 샘플 배치 상에 그대로 직접 실행될 수 있다.

도 20에 도시된 요소들 및 도 2에 도시된 요소들에 따라, 서브디바이더(700)는 도 2의 서브디바이더(104a)와 상응하며, 복원기(702)는 요소들(104, 106, 108, 110, 112 및 114)와 상응한다. 도 17이 설명과 유사하게, 병합기(104b)는 제외될 수 있다. 또한 복원기(702)는 하이브리드 코딩에 제한되지 않는다. 도 12의 복원기(604)가 동일하게 적용된다. 점선에 의해 도시된 것과 같이, 도 15의 디코더는 예를 들면, 도 2의 추출기(102)에 상응하는 이러한 추출기로, 어떤 서브디바이더가 공간적으로 정보 샘플들의 배치를 세분하는지를 기초로 하여 쿼드트리 서브디비젼 정보를 추출하는 추출기를 포함할 수 있다. 점선 화살표로 도시된 것과 같이, 서브디바이더(770)는 복원기(702)에 의해 출력된 정보 샘플들의 재구성된 배치로부터 정보 샘플들의 현재 배치의 서브디비젼을 예측할 수도 있다.

도 25의 디코더에 의해 디코딩될수 있는 데이터를 스트림을 제공할 수 있는 인코더는 도 19에 도시된 것과 같이 주로 서브디바이더 및 최종 코더 내로 구성되는데 서브디바이더는 쿼드트리 서브디비젼 및 따라서 정보 샘프들의 공간적으로 세분된 배치을 결정하도록 구성되고 최종 코더는 깊이 우선 탐색 순서 내의 블록의 처리에 의해 서브디비젼을 사용하여 정보 샘플들의 배치를 데이터 스트림 내로 코딩하도록 구성된다.

도 21은 쿼드트리 서브디비젼과 관련하여 도 6a 및 6b에 도시된 시그널링과 같이 트리블록의 공간적 멀티트리 서브디비젼을 규정한 멀티트리 구조의 코딩된 시그널링을 디코딩하기 위한 디코더를 도시한다. 위에서 설명된 것과 같이, 멀티트리 서브디비젼은 쿼드트리 서브디비젼에 제한되지 않는다. 또한, 부모 노드 당 자식 노드의 수는 인코딩 및 디코딩 면 모두에 알려진 방법에서, 또는 부가 정보로서 디코더에 표시되는 방법에서, 부모 노드의 계층 레벨에 따라 다를 수 있다. 코딩된 시그널링은 도 3c의 순서와 같이 깊이 우선 탐색 순서에서의 멀티트리 구조의 노드들과 관련된 플래그들의 시퀀스를 포함한다. 각각이 플래그는 도 6a 및 6b에서의 플래그 시퀀스들의 플래그들과 같이, 각각의 플래그가 관련된 노드에 상응하는 트리블록의 영역이 멀티 파티셔닝되는지를 지정한다. 도 21의 디코더는 그리고 나서 멀티트리 구조의 동일한 계층 레벨 내에 있는 멀티트리 구조의 노드들과 관련된, 그러나 멀티트리 구조의 동일한 계층 레벨 내에 있는 멀티트리 구조의 노드들과는 다른 플래그들과 같은 확률 평가 컨텍스트들을 사용하여 연속적으로 엔트로피 디코딩하도록 구성된다. 깊이 우선 탐색 순서는 멀티트리 구조의 이웃하는 서브블록들의 이웃하는 샘플들의 통계를 이용하는데 도움을 주나, 서로 다른 계층 레벨 노드들과 관련된 플래그들을 위한 서로 다른 확률 평가 컨텍스트의 사용은 한편으로는 컨텍스트 관리 오버헤드 및 다른 한편으로는 코딩 효율 사이의 절충을 가능하게 한다.

대안적으로, 도21은 이미 언급된 도1-16에 대해 다른 방법의 설명을 일반화 할 수도 있다. 도16의 디코더는 멀티트리 구조의 코딩된 신호를 디코딩하기 위해 구성될 수 있고, 이는 트리블록의 공간적 멀티트리-서브디비젼을 규정하는데 필수적인 것은 아니나, 위에서 설명된대로 깊이-우선 순회 순서에서 멀티트리 구조의 노드들에 관련된 플래그들의 시퀀스를 포함한다. 예를 들어, 멀티트리 구조는 다른 코딩 어플리케이션들, 오디오 코딩 또는 다른 어플리케이션들처럼 다른 목적을 위해 디코딩 측면에서 이용될 수 있다. 게다가, 도21의 이 대안에 따라, 코딩된 시그널링은 최대 계층 레벨 내에 위치한 노드들에 관련되지 않은 깊이-우선 순서의 멀티트리 구조의 노드들과 단순히 관련되는 플래그들의 시퀀스 그리고 멀티트리 구조의 최대 계층 레벨 상의 정보를 포함할 수 있다. 이 방법에 의해, 플래그는 상당히 감소된다.

도21에 대해 위에서 설명된 대안들의 관점과 함께, 도21의 디코더에 의해 디코딩되는 멀티트리 구조의 코딩된 시그널링을 제공하는 개별 인코더는 위에서 설명된 응용 배경과는 독립적으로 이용될 수도 있다.

비록 몇몇 관점들이 장치의 문맥에서 설명되었지만, 이러한 관점들은 대응하는 방법의 설명 또한 나타낸다는 것이 명확하며, 블록 또는 장치는 방법 단계 또는 방법단계의 특징에 대응한다. 유사하게, 방법의 문맥에서 설명된 관점들은 대응하는 블록 또는 아이템 또는 대응하는 장치의 특징의 설명을 나타낸다.

특정 실행 조건들에 의존하여, 발명의 실시예들은 하드웨어 또는 소프트웨어에서 실행될 수 있다. 실시예들은 디지탈 저장 매체를 이용하여 수행될 수 있고, 이는 예를 들어, 그위에 저장되는 전자기적으로 판독가능한 컨트롤 신호들을 갖는, 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리 등이며, 개별 방법들이 수행되는 프로그래밍 가능한 컴퓨터 시스템과 함께 협력한다.(또는 협력할 수 있는 능력이 있다.)

발명에 따른 몇몇 실시예들은 전자기적으로 판독가능한 컨트롤 신호를 갖는 비-일시적이고 실재하는 데이타 캐리어를 포함하며, 이는 여기서 수행되고 묘사된 방법들 중 하나처럼 프로그래밍 가능한 컴퓨터 시스템과 협동할 수 있다.

일반적으로, 본 발명의 실시예들은 프로그램 코드로 된 컴퓨터 프로그램 결과물처럼 실행될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 결과물이 컴퓨터상에서 구동될 때 상기 방법들 중 하나를 수행하기 위해 작동한다. 프로그램 코드는 예시적으로 기계 판독 가능한 캐리어에 저장될 수도 있다.

다른 실시예들은 기계 판독가능한 캐리어에 저장되고 여기서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.

다른 말로, 발명 방법의 실시예는, 그래서, 컴퓨터 프로그램이 컴퓨터 상에서 구동될 때, 여기서 설명된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.

발명 방법의 추가 실시예는, 그래서, 그위에 기록되고, 여기서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이타 캐리어이다.(또는 디지탈 저장 매체, 또는 컴퓨터-판독가능한 매체)

방법 발명의 추가 실시예는, 그래서 여기서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 시퀀스 또는 데이타 스트림이다. 데이타 스트림이나 신호들의 시퀀스는 예를 들어 인터넷을 통하여, 데이타 통신 연결을 통하여 교환되도록 예시적으로 구성될 수 있다.

추가 실시예는 프로세싱 수단을 포함하며, 예를 들어 컴퓨터, 또는 프로그래밍 가능한 논리 장치이며, 이는 여기 설명된 방법들 중 하나를 수행하기 위해 구성되거나 조정된다.

또다른 실시예는 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 그 자체에 설치된 컴퓨터를 포함한다.

몇몇 실시예에서, 프로그래밍 가능한 논리 장치(예를 들어 필드 프로그래밍 가능한 게이트 어레이)는 여기서 설명된 방법 중 모든 기능 또는 몇몇을 수행하도록 사용될 수 있다. 몇몇 실시예에서, 필드 프로그래밍 가능한 게이트 어레이는 여기서 설명된 방법 중 하나를 수행하기 위해 마이크로 프로세서와 연동될 수 있다. 일반적으로, 상기 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해서도 수행된다.

상기 설명된 실시예들은 단지 본 발명의 원리를 위해 예시적일 뿐이다. 본 상기 배열의 변형, 변화, 그리고 여기서 설명된 자세한 내용들을 기술분야의 다른 숙련자에게 명백하다고 이해되어야 한다. 그것의 의도는, 따라서, 여기의 실시예의 설명 또는 묘사의 방법에 의해 표현된 특정 세부사항들에 의해 제한되는 것이 아닌 오직 목전의 특허 청구항의 범위에 의해서만 제한된다는 것이다.

본 분할출원은 최초 원출원의 청구범위에 기재된 내용을 실시예로서 아래에 기재하였다.

[실시예 1]

데이타 스트림으로부터 최대 영역 크기 그리고 멀티트리 서브디비젼 정보를 추출하기 위해 구성되는 추출기;

최대 영역 크기의 트리 루트 영역들로 공간적으로 샘플링된 정보 신호를 표현하고, 멀티트리 서브디비젼 정보에 따라, 트리 루트 영역들의 부분집합을 재귀적으로 멀티-파티셔닝하는 것에 의해 다른 크기들의 더 작고 단일 연결된 영역들로 트리 루트 영역들의 부분집합을 최소한 서브디바이딩(subdividing)하는 정보 샘플들의 배열을 공간적으로 분할하기 위해 구성되는 서브-디바이더; 및

더 작고 단일 연결된 영역들에 서브디비젼을 이용하여 데이타 스트림으로부터 샘플들의 배열을 복원하기 위해 구성되는 복원기; 를 포함하는 디코더.

[실시예 2]

제1실시예에 따른 디코더에 있어서,

서브-디바이더는 정보 샘플들의 배열을 끊어진 곳 없이 커버하기 위해 정기적으로 처리되고, 최대 영역 크기에 의해 결정되는 크기의 직사각형 블록들인 트리루트 영역들로의 정보 샘플들 배열의 분할을 수행하기 위해 구성되는 것을 특징으로 하는 디코더.

[실시예 3]

제1실시예 또는 제2실시예에 따른 디코더에 있어서,

서브-디바이더는, 트리 루트 영역들의 부분집합을 서브디바이딩할 때,

각 트리 루트 영역들에 대해, 개별 트리 루트 영역이 분할되는지에 대한 멀티-트리-서브디비젼 정보를 확인(check)하고,

만약 개별 트리 루트 영역이 분할되면,

제1 계층 레벨과 관련된 분할 규칙에 따른 제1 계층 레벨의 영역들로 개별 트리 루트 영역을 분할하고,

그것과 함께 관련된 분할 규칙 이용하여 고차 계층 레벨들(higher-order hierarchy levels )의 영역들을 얻기 위해 상기 제1계층 레벨의 상기 영역들에 대해 반복적으로 확인과 분할을 반복하고,

멀티-트리 서브디비젼 정보에 따라 수행되는 추가 분할이 없을 때, 또는 최대 계층 레벨에 도달할 때, 재귀적 반복을 멈추는 것을 포함하며,

멀티-트리-서브디비젼 정보에 따라 추가 분할되지 않은 트리 루트 영역들의 상기 부분집합의 영역들이 더 작고 단일 연결된 영역들 그리고 멀티-트리 서브디비젼의 리프 영역들(leaf regions)을 각각 표현하는 것을 특징으로 하는 디코더.

[실시예 4]

제3실시예에 따른 디코더에 있어서,

상기 추출기는 데이타 스트림(data stream)으로부터 상기 최대 계층 레벨도 추출하기 위해 구성되는 것을 특징으로 하는 디코더.

[실시예 5]

제3실시예 또는 제4실시예에 따른 디코더에 있어서,

상기 서브-디바이더는, 제1 그리고 고차 계층 레벨들과 관련된 분할 규칙들에 따라, 숫자 서브 영역들(number sub regions)이 모든 계층 레벨들에 공통되게 얻어지도록, 같은 크기의 서브 영역들(sub-regions)로의 분할을 수행하는 것을 특징으로 하는 디코더.

[실시예 6]

제3실시예 내지 제5실시예 중 어느 한 실시예에 따른 디코더에 있어서,

상기 추출기는 상기 데이타 스트림으로부터 깊이-우선 순회 순서(depth-first traversal order)로 트리 루트 영역들의 상기 부분집합의 리프 영역들(leaf regions)에 관련된 구문 요소들(syntax elements)을 추출하기 위해 구성되는 것을 특징으로 하는 디코더.

[실시예 7]

제3실시예 내지 제6실시예 중 어느 한 실시예에 따른 디코더에 있어서,

상기 멀티-트리 서브디비젼 정보는 각 트리 루트 영역 그리고 상기 최대 계층 레벨의 상기 영역들에 속하지 않는 상기 제1 그리고 고차 계층 레벨들의 영역과 관련된 분할 표시 플래그(partition indication flag)를 개별적으로 갖고, 상기 분할 표시 플래그들은 상기 제1 그리고 고차 계층 레벨의 영역 그리고 관련 트리 루트 영역이, 개별적으로, 분할되었는지에 관해 표시하는 것을 특징으로 하는 디코더.

[실시예 8]

제7실시예에 따른 디코더에 있어서,

동일 계층 레벨에 관련된 분할 표시 플래그들과 같지만 다른 계층 레벨들에 관련된 분할 표시 플래그들과 다른 컨텍스트(contexts)들을 이용하여, 상기 제1 그리고 고차 계층 레벨들의 영역들 그리고 관련된 트리 루트 영역들 사이에서 정의되는 깊이-우선 순회 순서로 분할 표시 플래그들을 개별적으로 컨텍스트-적응 디코딩(context-adaptively decode)하기 위해 구성되는 것을 특징으로 하는 디코더.

[실시예 9]

제3실시예 내지 제8실시예 중 어느 한 실시예에 따른 디코더에 있어서,

각 리프 영역은 그것과 함께 관련된 코딩 파라미터들을 갖고, 상기 코딩 파라미터들은, 각 리프 영역에 대해, 구문 요소들의 개별 집합에 의해 표현되며, 각 구문 요소는 구문 구성 요소들의 집합 외의 개별 구문 요소 타입이며,

상기 추출기는,

각 트리 루트 영역에 대해, 상기 데이타 스트림으로부터의 상속 정보를 추출하고, 상기 상속 정보는 상속이 개별 트리 루트 영역내에서 이용되는지 아닌지에 대해 표시하며, 만약 상속이 이용되는 것으로 표시되면; 개별 트리 루트 영역의 상기 영역들 중 상속 영역은,

정보 상속이 이용되는 개별 상속에 따라,

상기 데이타 스트림으로부터 미리 설정된 구문 요소 타입의 구문요소를 적어도 하나 포함하는 상속 부분집합을 추출하고,

개별 상속 영역 내에서 공간적으로 위치하는 리프 영역들에 관련된 상기 코딩 파라미터들을 표현하는 구문 요소들의 상기 집합 내에서 구문 요소들의 대응하는 상속 부분집합에 상기 상속 부분집합을 복사하거나, 예측으로 상기 상속 부분집합을 이용하는,

상기 트리 루트 영역들의 상속 영역에 대해,

서브디비젼 정보에 따라, 분할되도록 구성되는 것을 특징으로 하는 디코더.

[실시예 10]

제3실시예 내지 제9실시예 중 어느 한 실시예에 따른 디코더에 있어서,

각 리프 영역은 그것과 함께 관련된 코딩 파라미터들을 갖고, 상기 코딩 파라미터들은, 각 리프 영역에 대해, 구문 요소들의 개별 집합에 의해 표현되며, 각 구문 요소는 구문 구성 요소들의 집합 외의 개별 구문 요소 타입이며,

상기 추출기는,

상기 서브디비젼 정보에 따라, 분할되고, 낮은 계층 레벨부터 고차 계층 레벨까지 계층 레벨 순서, 상기 개별 상속 플래그가 상속을 규정하는지 아닌지에 관해, 상기 데이타 스트림으로부터 관련 상속 플래그를 이용하여, 적어도 하나의 계층 레벨의 상속 집합의 영역들에 대해 추출하고 확인하며;

상속을 규정하는 상기 관련 상속 플래그에 대한 각 영역에 대해,

상기 데이타 스트림으로부터 미리 설정된 구문 요소 타입의 적어도 하나의 구문 요소를 포함하는 상속 부분집합을 추출하고,

상기 관련 상속 플래그가 상속을 규정하는 상기 개별 영역 내에 공간적으로 위치하는 리프 영역들에 관련된 상기 코딩 파라미터들을 표현하는 구문 요소들의 상기 집합 내에서 구문 요소들의 대응하는 상속 부분집합에 대해 예측으로 상기 상속 부분집합을 이용하거나, 상속 부분집합을 복사하며;

낮은 계층 레벨부터 고차 계층 레벨까지 상기 계층 레벨을 이용하는 상기 상속 플래그들의 확인에 있어, 상기 관련 상속 플래그가 상속을 규정하는 개별 영역 내에서 공간적으로 위치하는 상기 리프 영역들에 대해 추가 상속 플래그들의 확인 및 추출을 억제하는 것을 특징으로 하는 디코더.

[실시예 11]

상기 선행 실시예들 중 어느 한 실시예에 따른 디코더에 있어서,

상기 복원기는 상기 더 작고 단일 연결된 영역들로의 상기 서브디비젼에 기반한 단위에서,

적어도, 이용하기 위한 내부 또는 상호 예측 모드 중에서 예측 모드를 결정하는 단계;

스펙트럴(spectral)에서 공간적 영역으로의 변형(transformation)하는 단계;

상호-예측을 위한 파라미터를 수행 및/또는 설정하는 단계;

내부 예측을 위한 파라미터를 수행 및/또는 설정하는 단계;

중 하나 또는 그 이상의 단계를 수행하기 위해 구성되는 것을 특징으로 하는 디코더.

[실시예 12]

제1실시예부터 제10실시예까지 중 어느 한 실시예에 따른 디코더에 있어서,

상기 복원기는 상기 더 작고 단일 연결된 영역들로의 상기 서브디비젼에 기반한 단위에서 상기 정보 샘플들 배열의 예측을 수행하도록 구성되고,

상기 추출기는 상기 데이타 스트림으로부터 하위 멀티-트리 서브디비젼 정보를 추출하기 위해 구성되며,

상기 복원기는 훨씬 더 작은 단일 연결된 영역들의 유닛들에서 스펙트럴로부터 공간적 영역으로의 재변형을 수행하기 위해 구성되며,

종속 멀티-트리-서브디비젼 정보에 따라, 상기 더 작은 단일 연결된 영역들의 상기 부분집합의 재귀적인 멀티-파티셔닝(multi-partioning)에 의해, 최소한 더 작은 단순 연결된 영역들의 부분집합을 훨씬 더 작은 단일 연결 영역들로 세분하기 위해 구성되는 추가 서브디바이더(further subdivider);를 더 포함하는 디코더.

[실시예 13]

12실시예에 따른 디코더에 있어서,

상기 추출기는 상기 데이타 스트림으로부터 추가 최대 영역 크기를 추출하기 위해 구성되며, 상기 서브-디바이더는 상기 추가 최대 영역 크기를 넘는 각 더 작은 단일 연결 영역을 상기 추가 최대 영역 크기의 트리 루트 서브-영역들로 나누고, 종속 멀티-트리-서브디비젼 정보에 따라, 최소한 상기 트리루트 서브-영역들의 부분집합을 상기 훨씬 더 작은 단일 연결된 영역들로 세분하는 것을 특징으로 하는 디코더.

[실시예 14]

제13실시예에 따른 디코더에 있어서,

더 작은 단일 연결된 영역들의 상기 부분집합을 세분하는 것에 있어, 서브-디바이더는,

더 작은 단일 연결된 영역들에 대해, 상기 개별 더 작은 단일 연결 영역이 상기 추가 최대 영역 크기를 초과하는지 여부에 따라 상기 종속 멀티-트리-서브디비젼 정보를 확인하고, 만약 상기 개별 더 작은 단일 영역이 상기 추가 최대 영역 크기를 초과하는 경우, 상기 개별 더 작은 단일 연결 영역을 상기 추가 최대 영역 크기의 트리 루트 서브-영역들로 분할하며,

각 트리 루트 서브-영역에 대해,

개별 트리 루트 서브-영역이 분할되는지 여부에 따라 상기 종속 멀티-트리-서브디비젼 정보를 확인하고,

상기 개별 트리 루트 서브-영역들이 분할되는 경우,

개별 트리 루트 서브-영역을 서브-서브-영역들로 분할하고,

종속 멀티-트리-서브디비젼 정보에 따라 추가 분할이 수행되지 않을 때까지 또는 상기 추가 최대 계층 레벨에 도달할 때까지 재귀적으로 서브-서브 영역들의 확인과 분할을 반복하며,

상기 추가 최대 영역 크기를 초과하지 않는 더 작은 단일 연결 영역에 대해, 트리 루트 서브-영역들로의 상기 분할이 생략되도록 구성되는 것을 특징으로 하는 디코더.

[실시예 15]

상기 선행 실시예들 중 어느 한 실시예에 따른 디코더에 있어서,

상기 멀티-트리 서브디비젼 정보를 형성하는 상기 데이타 스트림의 구문 요소들의 제2 부분집합과 공통 원소를 갖지 않는, 상기 데이타 스트림의 구문 요소들의 제1 부분집합에 의존하여, 정보 샘플들 배치의 중간 서브디비젼을 얻기 위해 더 작은 단일 연결 영역들 중 공간적으로 근접한 것들을 결합시키기 위해 구성되는 머져(merger);를 더 포함하며,

상기 복원기는 상기 중간 서브디비젼을 이용하여 정보 샘플들 배치를 복원하기 위해 구성되는 것을 특징으로 하는 디코더.

[실시예 16]

제15실시예에 따른 디코더에 있어서,

정보 샘플들 배치는 정보 샘플 전체 배치의 단일 연결로 분할된 부분이며,

상기 데이타 스트림으로부터 정보 샘플들 배치를 예측하기 위해 구성되는 예측기; 를 포함하고,

상기 복원기는 정보 샘플들 배치에 대해 잔류물을 얻기 위해 상기 더 작은 단일 연결 영역들의 단위로 스펙트럴에서 공간 영역으로 재변형을 수행하기 위해, 그리고 정보 샘플들 배치를 복원하기 위한 정보 샘플들 배치의 예측 그리고 상기 잔류물을 결합하기 위해 구성되는 것을 특징으로 하는 디코더.

[실시예 17]

데이타 스트림으로부터 멀티-트리 서브디비젼 정보와 최대 영역 크기를 추출하는 단계;

공간적으로 샘플링된 정보 신호를 표현하는 정보 샘플들 배치를 최대 영역 크기의 트리 루트 영역들로 공간적 분할하고, 트리 루트 영역들의 부분집합의 재귀적인 멀티-파티셔닝에 의해 다른 크기의 더 작은 단일 연결 영역들로 트리 루트 영역들의 최소 부분집합을, 멀티-트리 서브디비젼 정보에 따라, 세분하는 단계; 및

더 작은 단일 연결 영역들로의 서브디비젼을 이용하여 데이타 스트림으로부터 샘플들 배치를 복원하는 단계;를 포함하는, 디코딩 방법

[실시예 18]

서브디바이더는 최대 영역 크기의 트리 루트 영역들로 공간적으로 샘플링된 정보 신호를 표현하는 정보 샘플들 배치를 공간적 분할하고, 트리 루트 영역들의 부분집합을 재귀적으로 멀티-파티셔닝하는 것에 의해 다른 사이즈들의 더 작은 단일 연결 영역들로 트리 루트 영역들의 최소 부분집합을, 멀티-트리 서브디비젼 정보에 따라, 세분하기 위해 구성되는 서브-디바이더; 및

데이타 스트림으로 멀티-트리 서브디비젼 정보 그리고 최대 크기 영역을 삽입하면서, 더 작은 단일 연결 영역들로의 서브디비젼을 이용하여 샘플들 배치를 데이타 스트림으로 인코딩 하기 위해 구성되는 데이타 스트림 발생기(data stream generator); 를 포함하는 인코더.

[실시예 19]

트리 루트 영역들의 부분집합을 재귀적으로 멀티파티셔닝 하는 것에 의한 다른 크기의 더 작은 단일 연결 영역들로 트리 루트 영역들의 최소 부분집합을, 멀티-트리 서브디비젼 정보에 따라, 세분하고 최대 영역 크기의 트리 루트 영역들로 공간적으로 샘플링된 정보 신호를 표현하는 정보 샘플들 배치를 공간적 분할하는 단계; 및

데이타 스트림으로 멀티-트리 서브디비젼 정보 그리고 최대 크기 영역을 삽입하면서, 더 작은 단일 연결 영역들로의 서브디비젼을 이용하여 샘플들 배치를 데이타 스트림으로 인코딩하는 단계; 를 포함하는 인코딩 방법.

[실시예 20]

컴퓨터에서 수행될 때, 제17실시예 또는 제19실시예에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 디지탈 저장 매체.

[실시예 21]

트리 루트 영역들의 부분집합을 재귀적으로 멀티-파티셔닝하는 것에 의해 다른 크기들의 더 작은 단일 연결 영역들로 세분되고,

공간적으로 샘플링된 정보 신호를 표현하는 정보 샘플들을 표현하는 정보 샘플들 배치가 분할되는 최대 영역 크기의 트리 루트 영역들의 최소 부분집합에 따른 멀티-트리 서브디비젼 정보와 최대 크기 영역을 포함하는,

공간적으로 샘플링된 정보 신호를 표현하는 정보 샘플들 배치가 인코딩되는 데이타 스트림.

[실시예 22]

재귀적인 쿼드트리-파티셔닝(quadtree-partitioning)에 의해 다른 크기의 블록들로 공간적으로 샘플링된 정보 신호를 표현하는 정보 샘플들 배치를, 쿼드트리 서브디비젼(quadtree subdivision)을 이용하여, 공간적으로 세분하기 위해 구성되는 서브-디바이더; 및

깊이-우선 순회 순서에서 블록들을 처리하는 것과 함께 블록들로 공간 세분하는 것을 이용하여 데이타 스트림의 정보 샘플들 배치를 복원하기 위해 구성되는 복원기; 를 포함하는 디코더.

[실시예 23]

제22실시예에 따른 디코더에서, 서브-디바이더는,

상기 서브-디바이더는 공간적으로 정보 샘플들 배치를 세분하는 것에 있어,

0차 계층 레벨 크기의 트리 루트 블록들의 정규적 배열로 정보 샘플들 배치를 분할하고, 각 트리 루트 블록에 대해, 정보 샘플들 배치가 코딩되는 데이타 스트림에 포함된 쿼드트리-서브디비젼 정보가 개별 트리 루트 블록이 분할되는지 여부를 확인(checking)하는 것에 의해 다른 크기의 더 작은 블록들로 트리 루트 블록들의 최소 부분집합을 세분하고, 만약 개별 트리 루트 블록이 분할되는 경우, 개별 트리 루트 블록을 제1 계층 레벨의 네 블록들로 분할하고, 고차 계층 레벨들의 블록들을 얻기 위해 제1차 계층 레벨의 블록들에 대한 분할과 확인을 재귀적으로 반복하며, 쿼드트리 서브디비젼 정보에 따라 분할이 수행되지 않을 때 또는 최대 계층 레벨에 도달될 때 재귀적 반복을 정지하고, 분할되지 않는 트리 루트 블록들은 다른 사이즈의 블록들을 표현하고, 복원기는, 정보 샘플들 배치를 복원하는 것에 있어, 지그재그 스캔 순서의 다음 트리 루트 블록에 추가로 스텝핑(stepping)하기 전에 깊이-우선 순회 순서에서 다른 크기들의 블록들을 처리하는, 트리 루트 블록들의 부분집합에 속한 각 트리 루트 블록에 대해, 지그재그 스캔 순서로 스캔되는 트리 루트 블록들에 따른 스캔 순서에서 다른 크기의 블록들을 순회하기 위해 구성되는 것을 특징으로 하는 디코더.

[실시예 24]

제23실시예에 따른 디코더에 있어서,

상기 복원기는, 상기 데이타 스트림의 스캔 순서에서, 다른 크기들의 블록들과 관련된 구문 요소들을 추출하기 위해 구성되는 추출기;를 포함하는 것을 특징으로 하는 디코더.

[실시예 25]

제24실시예에 따른 디코더에 있어서,

상기 추출기는, 현재 추출된 구문 요소에 대해, 현재 추출된 구문 요소를 엔트로피 디코딩하는 것에 있어 가능성 측정 컨텍스트를 설정하고 설정 가능성 측정 컨텍스트(set probability estimation context)를 이용하기 위한 미리 설정된 상대적 위치 관계(predetermined relative locational relationship)를 갖는 다른 크기들의 블록들과 관련된 구문 요소들을 이용하기 위해, 또는 현재 추출된 구문 요소가 관련된 것과 함께 블록의 코딩 파라미터를 얻기 위해 잔류물로서 현재 추출된 구문 요소와 함께 예측을 결합하고, 현재 추출된 구문 요소가 관련된 것과 함께 블록의 코딩 파라미터에 대한 예측을 수행하기 위해 구성되는 것을 특징으로 하는 디코더.

[실시예 26]

제25실시예에 따른 디코더에 있어서, 깊이-우선 순회 순서에 따라, 같은 계층 레벨의 블록들이 지그재그 스캔 순서로도 스캔되는 것을 특징으로 하는 디코더.

[실시예 27]

제22실시예 내지 제26실시예 중 한 실시예에 따른 디코더에 있어서,

상기 복원기는 쿼드트리 서브-디비젼에 기반한 단위로 다음 단계들 즉,

적어도, 내부 그리고 상호 예측 모드 중에서 이용할 예측 모드를 결정하는 단계;

스펙트럼들로부터 공간 영역으로의 변환 단계;

상호 예측에 대한 파라미터들을 수행 및/또는 설정하는 단계;

내부 예측에 대한 파라미터들을 수행 및/또는 설정하는 단계;들 중 하나 또는 그 이상을 수행하도록 구성되는 것을 특징으로 하는 디코더.

[실시예 28]

제22실시예 내지 제27실시예에 따른 디코더에 있어서,

상기 복원기는 상기 데이타 스트림으로부터 이미 추출된 다른 크기들의 블록들 중에서 근접 블록들의 구문 요소들에 의존한 컨텍스트들을 이용하는 것과 함께 데이타 스트림으로부터 다른 크기들의 블록들과 관련된 구문 요소들을 추출하기 위한 추출기;를 포함하는 것을 특징으로 하는 디코더.

[실시예 29]

재귀적으로 쿼드트리-파티셔닝하는 것에 의해 다른 크기들의 블록들로 공간적으로 샘플링된 정보 신호를 표현하는 정보 샘플들 배치를, 쿼드트리 서브디비젼을 이용하여, 공간적으로 세분하는 단계; 및

깊이-우선 순회 순서에 따라 블록들을 처리하는 것과 함께 블록들로 공간적 세분을 이용하여 데이타 스트림으로부터 정보 샘플들 배치를 복원하는 단계; 를 포함하는 디코딩 방법.

[실시예 30]

재귀적으로 쿼드트리-파티셔닝하는 것에 의해 다른 크기들의 블록들로 공간적으로 샘플링된 정보 신호를 표현하는 정보 샘플들 배치를, 쿼드트리 서브디비젼을 이용하여, 공간적으로 세분하도록 구성되는 서브-디바이더;

깊이-우선 순회 순서에 따라 블록들을 처리하는 것과 함께, 데이타 스트림으로, 블록들로 공간적 세분하는 것을 이용하여, 데이타 스트림의 정보 샘플들 배치를 인코딩하기 위해 구성되는 데이타 스트림 발생기;를 포함하는 인코더.

[실시예 31]

재귀적으로 쿼드트리-파티셔닝하는 것에 의해 다른 크기들의 블록들로 공간적으로 샘플링된 정보 신호를 표현하는 정보 샘플들 배치를, 쿼드트리 서브디비젼을 이용하여, 공간적으로 세분하는 것을 특징으로 하는 단계; 및

깊이-우선 순회 순서로 블록들을 처리하는 것과 함께, 블록들로의 공간적 세분을 이용하여 데이타 스트림의 정보 샘플들 배치를 데이타 스트림으로 인코딩하는 단계; 를 포함하는 인코딩 방법.

[실시예 32]

컴퓨터상에서 운영될 때, 제29실시예 또는 31실시예에 따른 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능한 디지털 저장 매체.

[실시예 33]

깊이-우선 순회 순서로 블록들을 처리하는 것과 함께, 블록들로의 공간적 세분을 이용하여 데이타 스트림으로 인코딩된 정보 샘플들 배치, 재귀적으로 쿼드트리-파티셔닝하는 것에 의해 다른 크기들의 블록들로, 쿼드트리 서브디비젼을 이용하여, 공간적으로 세분된 정보 샘플들 배치, 공간적으로 샘플링된 정보 신호를 표현하는 정보 샘플들 배치가 인코딩된 데이타 스트림.

[실시예 34]

멀티 트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들(nodes)과 관련된 플래그들과 동일한, 그러나 멀티-트리 구조의 다른 계층 구조들 내에 위치한 멀티-트리 구조의 노드들과 다른, 가능성 측정 컨텍스트들을 이용하여 플래그들을 연속적으로 엔트로피-디코딩하기 위해 구성되며,

코딩된 시그널링은 개별 플래그가 관련된 노드에 대응하는 트리 루트 블록의 면적이 멀티-분할되었는지의 여부를 특정하는 각 플래그, 그리고 깊이-우선 순서에 따른 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스를 포함하고,

리프 블록들로 재귀적으로 멀티-분할되는 트리 루트 블록에 따른 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하는 멀티-트리 구조의 코딩된 시그널링을 디코딩하기 위한 디코더.

[실시예 35]

제34실시예에 따른 디코더에 있어서,

공간적 멀티-트리 서브디비젼은 쿼드트리-서브디비젼이고, 깊이-우선 순회 순서에 따라, 지그재그 스캔은 공통 부모 노드를 갖는 쿼드트리 서브디비젼의 동일 계층 레벨의 노드들 중에서 정의되며, 미리 설정된 플래그가 대응하는 영역과의 미리 설정된 상대적 위치 관계를 갖는 트리 루트 블록의 영역들에 대응하고 깊이-우선 순회 순서에 따라 미리 설정된 플래그에 선행하는 플래그에도 기반하는 미리 설정된 플래그에 대한 가능성 측정 컨텍스트처럼 구성되는 것을 특징으로 하는 디코더.

[실시예 36]

제32실시예에 따른 디코더에 있어서,

미리 설정된 플래그가 대응하는 영역의 왼쪽으로 또는 위쪽으로 위치하는 트리 루트 블록의 영역들에 대응하는 깊이-우선 순회 순서에 따라 미리 설정된 플래그를 선행하는 플래그들에 기반한 미리 설정된 플래그에 이용되는 가능성 측정 컨텍스트같이 구성되는 것을 특징으로 하는 디코더.

[실시예 37]

제35실시예 또는 36실시예에 따른 디코더에 있어서,

미리 설정된 플래그가 관련된 노드와 동일 계층 레벨 내에서 위치한 플래그들에 단순히 의존하는 미리 설정된 플래그들에 이용되는 가능성 측정 컨텍스트처럼 구성되는 것을 특징으로 하는 디코더.

[실시예 38]

제35실시예 내지 제37실시예 중 어느 한 실시예에 따른 디코더에 있어서,

가장 높은 계층 레벨에 동일하지 않은 계층 레벨들에 대한 플래그들을 단순히 포함하는 플래그들의 시퀀스를 위해, 그리고 트리 블록이 재귀적으로 멀티-분할되어 내려가는, 데이타 스트림으로부터 가장 높은 계층 레벨의 표시를 추출하기 위해서 또한 구성되는 것을 특징으로 하는 디코더.

[실시예 39]

제34실시예 내지 제38실시예 중 어느 한 실시예에 다른 디코더에 있어서,

다수의 트리 루트 블록들 중에서 설정된 지그재그 스캔 순서에서, 더 큰 이차원 부분의 연속적이고 정규적인 그리드 분할을 함께 형성하는, 다수의 트리 루트 블록들의 공간적 멀티-트리 서브디비젼을 규정하는 멀티-트리 구조들의 시그널링을 디코딩하기 위해 구성되는 것을 특징으로 하는 디코더.

[실시예 40]

제34실시예 내지 제38실시예 중 어느 한 실시예에 따른 디코더에 있어서,

개별 트리 루트 블록들의 영역이 개별 플래그가 관련된 노드에 대응하는지를 특정하는 각 플래그 그리고 깊이-우선 순회 순서에 따른 개별 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스를 각 포함하는 멀티-트리 구조들의 코딩 시그널링들이 분할되는, 다수의 트리 루트 블록들 중에서 설정되는 깊이-우선 순회 순서에 따라, 결국 더 큰 이차원적 부분의 또다른 멀티-트리 서브디비젼의 리프 블록들인 다수의 트리 루트 블록들의 공간적 멀티-트리 서브디비젼을 규정하는 멀티-트리 구조들의 시그널링을 디코딩하기 위해 구성되며, 동일 크기 영역에 관련된 플래그들과 동일한 가능성 측정 컨텍스트들을 이용하는 플래그들을 연속적으로 엔트로피-디코딩하기 위해 구성되는 디코더.

[실시예 41]

멀티-트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들과 관련된 플래그들과 동일하지만, 멀티-트리 구조의 다른 계층 레벨들 내에 위치한 멀티-트리 구조의 노드들과 다른, 가능성 예측 컨텍스트들을 이용하는 플래그들의 연속적인 엔트로피-디코딩 단계; 및

개별 플래그들이 관련된 노드에 대응하는 트리 루트 블록의 영역이 멀티분할되는지를 특정하는 각 플래그들, 깊이-우선 순서에 따라 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스를 포함하는 코딩된 시그널링, 리프 블록들로 재귀적으로 멀티-분할되는 트리 루트 블록에 따라 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하여 멀티-트리 구조의 코딩된 시그널링을 디코딩하는 단계;를 포함하는 디코딩 방법.

[실시예 42]

개별 플래그들이 관련된 노드에 대응하는 트리 루트 블록의 영역인지 특정하는 플래그들의 시퀀스를 포함하는 코딩된 시그널링, 리프 블록들로 재귀적으로 멀티-분할되는 트리 루트 블록에 따른 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하는 멀티-트리 구조의 코딩된 시그널링을 발생시키며, 멀티-트리 구조의 다른 계층 레벨들 내에 위치한 멀티-트리 구조의 노드들과 다른, 멀티-트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들에 관련된 플래그들과 같은 가능성 측정 컨텍스트들을 이용하여 연속적으로 엔트로피-인코딩하기 위해 구성되는 것을 특징으로 하는 인코더.

[실시예 43]

인코더가 멀티-트리 구조의 다른 계층 레벨들 내에 위치한 멀티-트리 구조의 노드들과 다른, 멀티-트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들과 관련된 플래그들과 동일한 가능성 측정 컨텍스트들을 이용하여 플래그들을 연속적으로 엔트로피 인코딩하는 단계; 및

인코더가 개별 플래그들이 관련된 노드에 대응하는 트리 루트 블록의 영역인지를 특정하는 각 플래그, 깊이-우선 순서에 따른 멀티-트리 구조으 노드에 관련된 플래그들의 시퀀스를 포함하는 코딩된 시그널링, 리프 블록들로 재귀적으로 멀티-분할되는 트리 루트 블록들에 따른 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하는 멀티-트리 구조의 코딩된 시그널링을 발생시키는 단계; 를 포함하는 방법.

[실시예 44]

컴퓨터상에서 운영될 때, 제41실시예 또는 제43실시예에 따른 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램이 저장된 컴퓨터 판독가능한 디지탈 저장 매체.

[실시예 45]

플래그들이 멀티-트리 구조의 다른 계층 레벨들 내에 위치한 멀티-트리 구조의 노드들과 다른, 멀티-트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들과 관련된 플래그들과 동일한 가능성 측정 컨텍스트들을 이용하여 데이타 스트림으로 연속적으로 엔트로피-인코딩되며, 개별 플래그들이 관련된 노드에 대응하는 트리 루트 블록의 영역이 멀티-분할되는지를 특정하는 각 플래그, 그리고 깊이-우선 순서에 따른 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스를 포함하는 코딩된 시그널링, 리프 블록들로 재귀적으로 멀티-분할되는 트리 루트 블록에 따라 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하는 멀티-트리 구조의 코딩된 시그널링이 코딩된 데이타 스트림.

[실시예 46]

멀티-트리 구조의 코딩된 시그널링을 디코딩하기 위한 디코더에 있어서,

코딩된 시그널링은 최상 계층 레벨 그리고 최상 계층 레벨과 동일하지 않은 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스의 표시를 포함하며, 각 플래그는 관련 노드가 중간 노드인지 자식 노드인지를 특정하며,

데이타 스트림으로부터 최상 계층 레벨의 표시를 디코딩하고,

동일 리프 노드들을 가리키는 자동적으로 지정하고 최상 계층 레벨의 노드들을 생략하는 것과 함께 데이타 스트림으로부터 플래그들의 시퀀스를, 깊이-우선 또는 너비-우선 순서에 따라, 연속적으로 디코딩하도록 구성되는 것을 특징으로 하는 디코더.

[실시예 47]

멀티-트리 구조의 코딩된 시그널링을 디코딩하기 위한 방법에 있어서,

코딩된 시그널링은 최상 계층 레벨 그리고 최상 계층 레벨과 동일하지 않은 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스의 표시를 포함하며, 각 플래그는 관련 노드가 중간 노드인지 자식 노드인지를 특정하며,

데이타 스트림으로부터 최상 계층 레벨의 표시를 디코딩하는 단계; 및

동일 리프 노드들을 가리키는 자동적으로 지정하고 최상 계층 레벨의 노드들을 생략하는 것과 함께 데이타 스트림으로부터 플래그들의 시퀀스를, 깊이-우선 또는 너비-우선 순서에 따라, 연속적으로 디코딩하는 단계;를 포함하는 디코딩 방법.

[실시예 48]

멀티-트리 구조의 코딩된 시그널링을 발생시키는 인코더에 있어서, 코딩된 시그널링은 최상 계층 레벨 그리고 최상 계층 레벨과 동일하지 않은 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스를 포함하고, 각 플래그는 관련 노드가 중간 노드인지 자식 노드인지를 특정하며,

데이타 스트림으로부터 최상 계층 레벨의 표시를 인코딩하며,

동일 리프 노드들을 가리키는 자동적으로 지정하고 최상 계층 레벨의 노드들을 생략하는 것과 함께 데이타 스트림으로부터 플래그들의 시퀀스를, 깊이-우선 또는 너비-우선 순서에 따라, 연속적으로 인코딩하도록 구성되는 것을 특징으로 하는 인코더.

[실시예 49]

멀티-트리 구조의 코딩된 시그널링을 발생시키는 방법에 있어서,

코딩된 시그널링은 최상 계층 레벨 그리고 최상 계층 레벨과 동일하지 않은 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스를 포함하고, 각 플래그는 관련 노드가 중간 노드인지 자식 노드인지를 특정하며,

데이타 스트림으로부터 최상 계층 레벨의 표시를 인코딩하는 단계;

동일 리프 노드들을 가리키는 자동적으로 지정하고 최상 계층 레벨의 노드들을 생략하는 것과 함께 데이타 스트림으로부터 플래그들의 시퀀스를, 깊이-우선 또는 너비-우선 순서에 따라, 연속적으로 인코딩하는 단계;를 포함하는 멀티-트리 구조의 코딩된 시그널링을 발생시키는 방법.

[실시예 50]

컴퓨터상에서 운영될 때, 제47실시예 또는 제49실시예에 따른 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램이 저장된 컴퓨터 판독가능한 디지탈 저장 매체.

Claims (30)

1. 멀티-트리 구조의 코딩된 시그널링을 디코딩하기 위한 디코더에 있어서,
   코딩된 시그널링은 최상 계층 레벨 그리고 최상 계층 레벨과 동일하지 않은 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스의 표시를 포함하며, 각 플래그는 관련 노드가 중간 노드인지 자식 노드인지를 특정하며,
   상기 디코더는 데이타 스트림으로부터 상기 최상 계층 레벨의 표시를 디코딩하고,
   동일 리프 노드들을 자동적으로 지정하고 최상 계층 레벨의 노드들을 생략하는 것과 함께 데이타 스트림으로부터 플래그들의 시퀀스를, 깊이-우선 또는 너비-우선 순회 순서에 따라, 순차적으로 디코딩하도록 구성되며,
   상기 멀티-트리 구조는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 트리 루트 블록은 직사각형이며,
   상기 디코더는 확률 추정 컨텍스트를 이용하여 플래그들을 순차적으로 엔트로피-디코딩 하도록 구성되며,
   상기 확률 추정 컨텍스트는 상기 멀티-트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들과 관련된 플래그들과 동일하지만, 상기 멀티-트리 구조의 다른 계층 레벨들 내에 위치한 멀티-트리 구조의 노드들과는 다른 것을 특징으로 하는 디코더.
2. 제1항에 따른 디코더에 있어서,
   상기 멀티-트리 구조는 트리 루트 블록이 리프 블록들로 재귀적으로 멀티-분할되는 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 각 플래그는 개별 플래그가 관련된 노드에 대응하는 트리 루트 블록의 영역이 멀티-분할되는지를 특정하고, 상기 디코더는 플래그들을 순차적으로 엔트로피-디코딩 하도록 구성되는 것을 특징으로 하는 디코더.
3. 제1항에 따른 디코더에 있어서,
   상기 멀티-트리 구조는 깊이 정보를 수반하여 상기 데이타 스트림으로 코딩되는 비디오의 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하는 것을 특징으로 하는 디코더.
4. 제1항에 따른 디코더에 있어서,
   상기 멀티-트리 구조는 2개의 채도 샘플들 배치들에 따른 루마 샘플 배치를 포함하여 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 수평 방향의 루마 샘플들 배치에 대한 채도 샘플들 배치들의 공간적 해상도에 대한 스케일링 인수(scaling factor)는 수직 방향의 공간적 해상도에 대한 스케일링 인수와 다른 것을 특징으로 하는 디코더.
5. 제1항에 따른 디코더에 있어서,
   상기 멀티-트리 구조는 서로 다른 색 구성성분들과 대응하는 서로 다른 색 평면들에서 상기 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 디코더는 상기 그림의 서로 다른 색 평면들을 독자적으로 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
6. 멀티-트리 구조의 코딩된 시그널링을 디코딩하기 위한 방법에 있어서,
   코딩된 시그널링은 최상 계층 레벨 그리고 상기 최상 계층 레벨과 동일하지 않은 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스의 표시를 포함하며, 각 플래그는 관련 노드가 중간 노드인지 자식 노드인지를 특정하며,
   상기 방법은 데이타 스트림으로부터 상기 최상 계층 레벨의 표시를 디코딩하는 단계;
   동일 리프 노드들을 자동적으로 지정하고 상기 최상 계층 레벨의 노드들을 생략하는 것과 함께 상기 데이타 스트림으로부터 플래그들의 시퀀스를, 깊이-우선 또는 너비-우선 순회 순서에 따라, 순차적으로 디코딩하는 단계를 포함하고,
   상기 멀티-트리 구조는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 트리 루트 블록은 직사각형이며,
   상기 플래그들은 확률 추정 컨텍스트를 이용하여 순차적으로 엔트로피-디코딩되며,
   상기 확률 추정 컨텍스트는 멀티-트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들과 관련된 플래그들과 동일하지만, 상기 멀티-트리 구조의 다른 계층 레벨들 내에 위치한 멀티-트리 구조의 노드들과는 다른 것을 특징으로 하는 방법.
7. 제6항에 따른 방법에 있어서,
   상기 그림은 깊이 정보를 수반하는 것을 특징으로 하는 방법.
8. 제6항에 따른 방법에 있어서,
   상기 멀티-트리 구조는 2개의 채도 샘플들 배치들에 따른 루마 샘플 배치를 포함하여 상기 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 수평 방향의 루마 샘플들 배치에 대한 채도 샘플들 배치들의 공간적 해상도에 대한 스케일링 인수(scaling factor)는 수직 방향의 공간적 해상도에 대한 스케일링 인수와 다른 것을 특징으로 하는 방법.
9. 제6항에 따른 방법에 있어서,
   상기 멀티-트리 구조는 서로 다른 색 구성성분들과 대응하는 서로 다른 색 평면들에서 상기 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 방법은 상기 그림의 서로 다른 색 평면들을 독자적으로 디코딩하는 단계를 포함하는 것을 특징으로 하는 방법.
10. 멀티-트리 구조의 코딩된 시그널링을 발생시키는 인코더에 있어서,
    코딩된 시그널링은 최상 계층 레벨 그리고 상기 최상 계층 레벨과 동일하지 않은 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스의 표시를 포함하며, 각 플래그는 관련 노드가 중간 노드인지 자식 노드인지를 특정하며,
    상기 인코더는 데이타 스트림으로부터 상기 최상 계층 레벨의 표시를 인코딩하고,
    동일 리프 노드들을 자동적으로 지정하고 상기 최상 계층 레벨의 노드들을 생략하는 것과 함께 상기 데이타 스트림으로부터 플래그들의 시퀀스를, 깊이-우선 또는 너비-우선 순회 순서에 따라, 순차적으로 인코딩하도록 구성되며,
    상기 멀티-트리 구조는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 트리 루트 블록은 직사각형이며,
    상기 인코더는 확률 추정 컨텍스트를 이용하여 플래그들을 순차적으로 엔트로피-인코딩 하도록 구성되며,
    상기 확률 추정 컨텍스트는 상기 멀티-트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들과 관련된 플래그들과 동일하지만, 상기 멀티-트리 구조의 다른 계층 레벨들 내에 위치한 멀티-트리 구조의 노드들과는 다른 것을 특징으로 하는 인코더.
11. 제10항에 따른 인코더에 있어서,
    상기 멀티-트리 구조는 깊이 정보를 수반하여 상기 데이타 스트림으로 코딩되는 비디오의 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하는 것을 특징으로 하는 인코더.
12. 제10항에 따른 인코더에 있어서,
    상기 멀티-트리 구조는 2개의 채도 샘플들 배치들에 따른 루마 샘플 배치를 포함하여 상기 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 수평 방향의 루마 샘플들 배치에 대한 채도 샘플들 배치들의 공간적 해상도에 대한 스케일링 인수(scaling factor)는 수직 방향의 공간적 해상도에 대한 스케일링 인수와 다른 것을 특징으로 하는 인코더.
13. 제10항에 따른 인코더에 있어서,
    상기 멀티-트리 구조는 서로 다른 색 구성성분과 대응하는 서로 다른 색 평면들에서 상기 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 인코더는 상기 그림의 서로 다른 색 평면들을 독자적으로 인코딩하도록 구성되는 것을 특징으로 하는 인코더.
14. 멀티-트리 구조의 코딩된 시그널링을 발생시키기 위한 방법에 있어서,
    코딩된 시그널링은 최상 계층 레벨 그리고 상기 최상 계층 레벨과 동일하지 않은 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스의 표시를 포함하며, 각 플래그는 관련 노드가 중간 노드인지 자식 노드인지를 특정하며,
    상기 방법은 데이타 스트림으로부터 상기 최상 계층 레벨의 표시를 인코딩하는 단계;
    동일 리프 노드들을 자동적으로 지정하고 상기 최상 계층 레벨의 노드들을 생략하는 것과 함께 상기 데이타 스트림으로부터 플래그들의 시퀀스를, 깊이-우선 또는 너비-우선 순회 순서에 따라, 순차적으로 인코딩하는 단계를 포함하고,
    상기 멀티-트리 구조는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 트리 루트 블록은 직사각형이며,
    상기 플래그들은 확률 추정 컨텍스트를 이용하여 순차적으로 엔트로피-인코딩되며,
    상기 확률 추정 컨텍스트는 상기 멀티-트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들과 관련된 플래그들과 동일하지만, 상기 멀티-트리 구조의 다른 계층 레벨들 내에 위치한 멀티-트리 구조의 노드들과는 다른 것을 특징으로 하는 방법.
15. 제14항에 따른 방법에 있어서,
    상기 멀티-트리 구조는 깊이 정보를 수반하여 상기 데이타 스트림으로 코딩되는 비디오의 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하는 것을 특징으로 하는 방법.
16. 제14항에 따른 방법에 있어서,
    상기 멀티-트리 구조는 2개의 채도 샘플들 배치들에 따른 루마 샘플 배치를 포함하여 상기 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 수평 방향의 루마 샘플들 배치에 대한 채도 샘플들 배치들의 공간적 해상도에 대한 스케일링 인수(scaling factor)는 수직 방향의 공간적 해상도에 대한 스케일링 인수와 다른 것을 특징으로 하는 방법.
17. 제14항에 따른 방법에 있어서,
    상기 멀티-트리 구조는 서로 다른 색 구성성분과 대응하는 서로 다른 색 평면들에서 상기 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 방법은 상기 그림의 서로 다른 색 평면들을 독자적으로 인코딩하는 단계를 포함하는 것을 특징으로 하는 방법.
18. 데이타 스트림을 디코딩하기 위한 방법에 있어서,
    멀티-트리 구조의 시그널링이 코딩되는 데이터 스트림을 디코딩하는 단계를 포함하고,
    상기 데이타 스트림은 최상 계층 레벨 그리고
    상기 최상 계층 레벨과 동일하지 않은 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스의 표시를 포함하고, 각 플래그는 관련 노드가 중간 노드인지 자식 노드인지를 특정하며,
    플래그들의 상기 시퀀스는 동일 리프 노드들을 자동적으로 지정하고 상기 최상 계층 레벨의 노드를 생략하는 것과 함께 깊이-우선 또는 너비-우선 순회 순서에 따라 상기 데이타 스트림으로 순차적으로 인코딩되고,
    상기 멀티-트리 구조는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 트리 루트 블록은 직사각형이며,
    상기 플래그들은 확률 추정 컨테스트를 이용하여 순차적으로 엔트로피-인코딩되며,
    상기 확률 추정 컨텍스트는 상기 멀티-트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들과 관련된 플래그들과 동일하지만, 상기 멀티-트리 구조의 다른 계층 레벨들 내에 위치한 멀티-트리 구조의 노드들과는 다른 것을 특징으로 하는 것을 특징으로 하는 방법.
19. 제18항에 따른 방법에 있어서,
    상기 멀티-트리 구조는 깊이 정보를 수반하여 상기 데이타 스트림으로 코딩되는 비디오의 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하는 것을 특징으로 하는 방법.
20. 제18항에 따른 방법에 있어서,
    상기 멀티-트리 구조는 2개의 채도 샘플들 배치들에 따른 루마 샘플 배치를 포함하여 상기 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 수평 방향의 루마 샘플들 배치에 대한 채도 샘플들 배치들의 공간적 해상도에 대한 스케일링 인수(scaling factor)는 수직 방향의 공간적 해상도에 대한 스케일링 인수와 다른 것을 특징으로 하는 방법.
21. 제18항에 따른 방법에 있어서,
    상기 멀티-트리 구조는 서로 다른 색 구성성분과 대응하는 서로 다른 색 평면들에서 상기 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 그림의 서로 다른 색 평면들이 독자적으로 디코딩되는 것을 특징으로 하는 방법.
22. 데이타 스트림을 디코딩하기 위한 방법에 있어,
    멀티-트리 구조의 시그널링이 코딩되는 데이터 스트림을 디코딩하는 단계를 포함하며,
    상기 코딩된 시그널링은 최상 계층 레벨 그리고 상기 최상 계층 레벨과 동일하지 않은 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스의 표시를 포함하고, 각 플래그는 관련 노드가 중간 노드인지 자식 노드인지를 특정하며,
    상기 코딩된 시그널링은 데이타 스트림으로부터 상기 최상 계층 레벨의 표시를 인코딩하고,
    동일 리프 노드들을 자동적으로 지정하고 상기 최상 계층 레벨의 노드를 생략하는 것과 함께 깊이-우선 또는 너비-우선 순회 순서에 따라 상기 데이타 스트림으로부터 플래그들의 상기 시퀀스를 순차적으로 인코딩하여 발생되며,
    상기 멀티-트리 구조는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 트리 루트 블록은 직사각형이며,
    상기 플래그들은 확률 추정 컨테스트를 이용하여 순차적으로 엔트로피-인코딩되며,
    상기 확률 추정 컨텍스트는 상기 멀티-트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들과 관련된 플래그들과 동일하지만, 상기 멀티-트리 구조의 다른 계층 레벨들 내에 위치한 멀티-트리 구조의 노드들과는 다른 것을 특징으로 하는 방법.
23. 멀티-트리 구조에 대한 정보를 전송하기 위한 방법에 있어,
    멀티-트리 구조의 시그널링이 코딩되는 데이터 스트림을 전송 매체에서 전송하는 단계를 포함하고,
    상기 데이타 스트림은 최상 계층 레벨 그리고
    상기 최상 계층 레벨과 동일하지 않은 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스의 표시를 포함하고, 각 플래그는 관련 노드가 중간 노드인지 자식 노드인지 특정하며,
    플래그들의 상기 시퀀스는 동일 리프 노드들을 자동적으로 지정하고 상기 최상 계층 레벨의 노드를 생략하는 것과 함께 깊이-우선 또는 너비-우선 순회 순서에 따라 상기 데이타 스트림으로 순차적으로 인코딩되고,
    상기 멀티-트리 구조는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 트리 루트 블록은 직사각형이며,
    상기 플래그들은 확률 추정 컨테스트를 이용하여 순차적으로 엔트로피-인코딩되며,
    상기 확률 추정 컨텍스트는 상기 멀티-트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들과 관련된 플래그들과 동일하지만, 상기 멀티-트리 구조의 다른 계층 레벨들 내에 위치한 멀티-트리 구조의 노드들과는 다른 것을 특징으로 하는 방법.
24. 제23항에 따른 방법에 있어서,
    상기 멀티-트리 구조는 깊이 정보를 수반하여 상기 데이타 스트림으로 코딩되는 비디오의 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하는 것을 특징으로 하는 방법.
25. 제23항에 따른 방법에 있어서,
    상기 멀티-트리 구조는 2개의 채도 샘플들 배치들에 따른 루마 샘플 배치를 포함하여 상기 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 수평 방향의 루마 샘플들 배치에 대한 채도 샘플들 배치들의 공간적 해상도에 대한 스케일링 인수(scaling factor)는 수직 방향의 공간적 해상도에 대한 스케일링 인수와 다른 것을 특징으로 하는 방법.
26. 제23항에 따른 방법에 있어서,
    상기 멀티-트리 구조는 서로 다른 색 구성성분과 대응하는 서로 다른 색 평면들에서 상기 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 그림의 서로 다른 색 평면들이 독자적으로 디코딩되는 것을 특징으로 하는 방법.
27. 멀티-트리 구조에 대한 정보를 저장하기 위한 방법에 있어서,
    멀티-트리 구조의 시그널링이 코딩되는 데이터 스트림을 디지털 저장 매체에 저장하는 단계를 포함하고,
    상기 데이타 스트림은 최상 계층 레벨 그리고
    상기 최상 계층 레벨과 동일하지 않은 멀티-트리 구조의 노드들과 관련된 플래그들의 시퀀스의 표시를 포함하고, 각 플래그는 관련 노드가 중간 노드인지 자식 노드인지를 특정하며,
    플래그들의 상기 시퀀스는 동일 리프 노드들을 자동적으로 지정하고 상기 최상 계층 레벨의 노드를 생략하는 것과 함께 깊이-우선 또는 너비-우선 순회 순서에 따라 상기 데이타 스트림으로 순차적으로 인코딩되고,
    상기 멀티-트리 구조는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 트리 루트 블록은 직사각형이며,
    상기 플래그들은 확률 추정 컨테스트를 이용하여 순차적으로 엔트로피-인코딩되며,
    상기 확률 추정 컨텍스트는 상기 멀티-트리 구조의 동일 계층 레벨 내에 위치한 멀티-트리 구조의 노드들과 관련된 플래그들과 동일하지만, 상기 멀티-트리 구조의 다른 계층 레벨들 내에 위치한 멀티-트리 구조의 노드들과는 다른 것을 특징으로 하는 방법.
28. 제27항에 따른 방법에 있어서,
    상기 멀티-트리 구조는 깊이 정보를 수반하여 상기 데이타 스트림으로 코딩되는 비디오의 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하는 것을 특징으로 하는 방법.
29. 제27항에 따른 방법에 있어서,
    상기 멀티-트리 구조는 2개의 채도 샘플들 배치들에 따른 루마 샘플 배치를 포함하여 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 수평 방향의 루마 샘플들 배치에 대한 채도 샘플들 배치들의 공간적 해상도에 대한 스케일링 인수(scaling factor)는 수직 방향의 공간적 해상도에 대한 스케일링 인수와 다른 것을 특징으로 하는 방법.
30. 제27항에 따른 방법에 있어서,
    상기 멀티-트리 구조는 서로 다른 색 구성성분과 대응하는 서로 다른 색 평면들에서 상기 데이타 스트림으로 코딩되는 그림의 트리 루트 블록의 공간적 멀티-트리 서브디비젼을 규정하고, 상기 그림의 서로 다른 색 평면들이 독자적으로 디코딩되는 것을 특징으로 하는 방법.

Images