KR102539065B1 - 효율적인 확장가능한 코딩 개념 - Google Patents

효율적인 확장가능한 코딩 개념 Download PDF

Info

Publication number
KR102539065B1
KR102539065B1 KR1020217038166A KR20217038166A KR102539065B1 KR 102539065 B1 KR102539065 B1 KR 102539065B1 KR 1020217038166 A KR1020217038166 A KR 1020217038166A KR 20217038166 A KR20217038166 A KR 20217038166A KR 102539065 B1 KR102539065 B1 KR 102539065B1
Authority
KR
South Korea
Prior art keywords
layer
picture
spatial
pictures
inter
Prior art date
Application number
KR1020217038166A
Other languages
English (en)
Other versions
KR20210147096A (ko
Inventor
카르스텐 쉬링
토마스 쉬를
발레리 게오르게
데트레브 마르페
로베르트 스쿠핀
Original Assignee
지이 비디오 컴프레션, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지이 비디오 컴프레션, 엘엘씨 filed Critical 지이 비디오 컴프레션, 엘엘씨
Priority to KR1020237018023A priority Critical patent/KR20230080500A/ko
Publication of KR20210147096A publication Critical patent/KR20210147096A/ko
Application granted granted Critical
Publication of KR102539065B1 publication Critical patent/KR102539065B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 코딩과 같은 확장 가능한 코딩 개념이 개시된다.본 발명에 따른 한 측면은, 어떤 장기 구문 요소 구조를 도입함으로써 멀티 레이어 비디오 데이터 스트림의 상호 의존성 층의 병렬 디코딩을 향상시킨다. 특정 값을 추정 하는 경우, 단기 구문 구성요소의 시간 간격보다 큰 기 설정된 시간 간격 동안 비디오 디코더를 보증하고 의존 레이어의 픽처는 서브 분할되고 이 때문에 제 2 레이어의 픽처의 공간 세그먼트 사이는 제 1 레이어의 공간 세그먼트의 모든 경계에 중첩한다. 본 발명의 다른 일면에 따르면 베이스 레이어로부터 확장 레이어로의 업 샘플링을 고려한다. 구문 구성요소는 베이스 레이어 픽처의 이웃하는 분할의 믹스 되지 않은 픽셀/화소에 의해 수정된 베이스 레이어의 보간에 따른 디코더를 알리는데 도입된다. 본 발명의 다른 측면은 기 설정된 시간 주기 동안 인터 레이어 오프셋을 결정하는 디코더를 허용하는 장기 구문 구성요소를 유도한다. 본 발명의 다른 측면은 해석되는 다양한 레이어와 연관되는 NAL 유닛 헤더 내의 레이어 표시자 필드를 변경하는 유형 표시자 필드를 도입한다. 다른 측면은 다른 레이어에 대해 사용되는 다른 코덱/표준을 허용한다. 다른 측면은 멀티 레이어 비디오 데이터 스트림으로 구문 구성요소를 삽입하고, 이는 베이스 레이어 블록의 유닛에서 베이스 및 확장 레이어의 픽처 병렬 디코딩에 대한 인터 레이어 오프셋을 나타낸다.

Description

효율적인 확장가능한 코딩 개념{EFFICIENT SCALABLE CODING CONCEPT}
본 출원은 확장 가능한 비디오 코딩의 개념과 같은 확장 가능한 코딩에 관한 것이다.
확장 가능한 코딩의 개념은 당해 분야에 공지되어있다. 비디오 코딩에서, 예컨대, H.264는 SVC 확장(SVC, Scalable Video Coding)과 관련되고, 공간 해상도, 신호 대 잡음 비(SNR, signal-to-noise ratio) 등과 같은 다른 용어에서의 비디오 레이어 품질에 기반하여 복원 품질을 향상시키기 위한 추가 향상 레이어(additional enhancement layer)에 의해 동반되는 비디오 데이터 스트림으로 코딩 된 기반 레이어를 허용한다. 최근 완성된 HEVC 표준은 또한 SVC 프로파일에 의해 확장된다. HEVC는 많은 측면에서 예컨대, 병렬 디코딩/ 인코딩 및 전송 지연을 낮추는 적응성에 있어서 그것의 앞선 형태인 H.264와 차별화 된다. 지금까지의 병렬 인코딩/디코딩을 고려하는 한, HEVC는 WPP (파면 병렬Wavefront Parallel Processing) 인코딩/디코딩 뿐만 아니라 타일 병렬 처리 개념을 지원한다. WPP 개념에 따르면, 개별 픽처는 서브스트림(substreams)으로 행 방향 방식으로(row-wise manner) 분할된다. 각 서브 스트림 내의 코딩 순서(coding order)는 왼쪽에서 오른쪽 방향이다. 서브 스트림은 상단 서브스트림으로부터 하단 서브스트림까지 이어지는 가운데 정의되는 디코딩 순서를 갖는다. 서브 스트림의 엔트로피 코딩은 확률 적응을 사용하여 수행된다. 초기 확률(probability initialization )은 개별적으로 또는 제 CTB (트리 블록 부호화, Coded Tree Block)의 일단 등을 각각 이전 서브 스트림의 왼쪽 에지로부터 소정 위치 직전의 서브 최대 엔트로피 코딩에 사용되는, 확률의 미리 구성된 상태를 토대로 각각의 서브 스트림에 대해 수행된다 공간 추정은 제한 될 필요가 없다. 즉, 공간 추정은 바로 연속되는 서브 스트림 사이에 경계를 통과할 수 있다. 이 방식으로, 왼쪽에서 오른쪽으로 이러한 서브 스트림은 오른쪽 상단 좌측 하단에서 이어지는 경사 방식으로 실행되는 파면을 형성하는 현재의 인코딩/디코딩의 위치와 병렬로 인코딩 / 디코딩 될 수 있다. 타일 개념에 따르면, 이미지가 타일로 분할하고 이들 타일 병렬 처리 가능한 피사체의 인코딩 / 디코딩을 렌더링 하기 위해 타일 경계(tile boundaries)에서 공간 추정이 금지된다. 단지에서 루프 타일 경계를 넘어 필터링은 허용 될 수 있다. 낮은 지연 처리를 지원하기 위해, 슬라이스 개념(slice concept)이 확장되었다 : 슬라이스는, 이전의 서브 스트림을 처리하는 동안 저장된 엔트로피 확률들을 채택하도록, 새롭게 엔트로피 확률을 초기화하거나 전환 가능하도록 허용된다, 즉, 현재 슬라이스가 시작되는 서브 스트림의 선행 서브 스트림(preceding the substream)이 속하는 직전 슬라이스의 일단까지 연속적으로 업데이트 된 엔트로피 확률이 채택된다. 이 방법으로, WPP 및 타일 개념은 낮은 지연 처리(low delay processing)에 더 적합하도록 렌더링 된다. 그럼에도 불구하고 한편, 확장 가능한 코딩 개념(scalable coding concepts)을 보다 향상 시키는 개념이 더 바람직 할 것이다.
따라서, 상기 확장 가능한 코딩 개념을 개선하는 개념을 제공하는 것이 본 발명의 목적이다.이러한 목적은 독립항의 요지에 의해 달성된다.
본원의 일면은 병렬 처리의 개념과 관련하여 확장 가능한 비디오 코딩에 관한 것이다. WPP 및 타일 분할 같은 병렬 처리 개념(Parallel processing concepts)은 평행 이미지가 서브 분할된 공간으로 예컨대, 서브스트림, 타일 또는 조각에서 비디오 세그먼트의 이미지를 디코딩하기 위해 허용된다. 단지 공간 화상 내 추정과 마찬가지로 인터 - 레이어 추정은 인터 - 레이어 추정을 통해 서로 의존하는 레이어 디코딩 병렬화 정도를 제한한다. 더 정확히 말하면, 공간 인트라 - 레이어 추정은 단일 레이어의 픽처의 디코딩 병렬화 정도를 제한하여 다른 방법으로 문제를 해결한다. 공간적 세그먼트로서 타일을 사용하는 경우, 예컨대, 공간적 인트라 - 레이어 추정(intra-layer prediction)이 교차 타일 경계로 인해 제한되지 않는다. WPP 서브 스트림의 경우, 적절한 기울어진 처리 파면(tilted processing wavefront) 발생하도록 병렬 처리의 지그재그 방식(staggered manner)으로 수행된다. 레이어 간 추정의 경우에는, 종속 레이어의 디코딩은 기준 레이어의 동일 위치의 일부분에 의존하여 렌더링 된다. 따라서, 종속 레이어의 공간 세그먼트의 디코딩이 기준 레이어의 동일 위치 부분이 이미 처리된/디코딩된 시간에 이르면 개시 될 수 있다. 다른 보기 경우 레이어 간 추정의 경우에서와 같은 다른 레이어, 또는 상위 레이어 하단에서의 업 샘플링에 때문에 "동일 위치 일부(co-located portion)"의 영역은 "움직임 보상(motion compensation)"을 허용하는 경우에 확대된다. 즉, 이러한 상호 의존적 레이어에 관한 단기 구문 구성요소(short-term syntax elements)의, 병렬 처리 상호 의존적 레이어 병렬화 정도를 도출하는 레이어 간 추정과 병렬 디코딩을 이용한 확장 가능한 디코딩(scalable decoding)을 지원하는 비디오 디코더가 실현된다. 이는 단기 구문 구성요소들이 공간적 세그먼트로 이러한 상호 의존적 레이어 픽처의 서브 분할을 정의한다. 하지만, 지속적인 이러한 수행은 번거롭고 연산적으로 복잡하다. 그 이외에도 그렇게 할 때, 멀티 레이어 비디오 데이터 스트림을 디코딩하기 위해 병렬로 실행하는 디코딩 상태(decoding threads)를 적절하게 스케줄링 할 수 없다. 따라서, 본 발명의 일면에 따르면, 멀티 레이어 비디오 데이터 스트림 상호 의존 레이어의 병렬 디코딩은 어떤 특정 값을 가정하고, 이를 보장하는 장기 구문 구성요소 구조를 도입함으로써 개선된다. 특정 값을 가정할 때, 단기 구문구성 요소의 시간 간격보다 큰 기 설정된 시간 주기 동안 비디오 디코더를 보장한다. 종속 레이어의 픽처가 서브 분할 되고 이 때문에 제 2 레이어의 공간 세그먼트 픽처 사이의 경계는 제 1 레이어의 공간 세그먼트의 각 경계에 중첩한다. 이 방법에 의해, 비디오 디코더는 멀티 비디오 데이터 스트림이 적절히 인코딩 된 사실에 의존할 수 있다. 따라서 종속 레이어 간의 픽처로의 공간 세그먼트의 서브 분할은 이러한 실현 가능한 종속 레이어 간(inter-dependent layers)의 병렬화 정도(degree of parallelization)를 부주의하게 감소시키지 않는다. 대신, 디코더는 기 설정된 주기 동안 다른 레이어 공간 세그먼트의 경계 신호화 방식으로 서로 중첩 제한 조건을 이용하여 사전에 비디오 디코더의 병렬 처리 스레드(parallel processing threads) 상 공간 세그먼트들의 분포를 예약 할 수 있다. 그럼에도 불구하고, 장기 구문 구성요소 구조는 전환을 위한 이러한 보증을 허용한다. 이에 오직 단기 구문 구성요소 의존하는 것을 기초로 병렬 프로세싱 스케줄링을 수행하는, 다른 애플리케이션 시나리오 또는 하이 엔드 비디오 디코더에 대해 허용한다. 즉, 상호 의존 레이어의 공간 세그먼트의 경계 사이의 상대적인 위치에 관한 보증을 이용하지 않는다. 기회주의적인 디코딩에서의 결정을 위해, 장기 구문 구성요소도 사용될 수 있다.
본원 문제의 또 다른 측면은, 상호 의존적 레이어 픽처가 확장 레이어(enhancement layer)에 베이스 레이어에서의 업 샘플링을 이용하여 레이어 간 추정이 적용되는 확장 가능한 코딩에 있어서, 상호 의존하는 레이어의 병렬 처리와 관련한다. 특히, 이 측면은 레이어를 베이스 레이어 확장에서 업 샘플링 수행에 사용되는 보간(interpolation)에 관한 것이다. 일반적으로, 이러한 보간(interpolation)은 베이스 레이어 픽처의 이웃하는 파티션에 서로 의존하도록 한다. 즉, 보간은 이웃하는 파티션의 베이스 레이어 픽처의 동일 위치 파티션 뿐만 아이라 픽셀/펠(pixels/pels)내부의 두 픽셀/펠(pixels/pels)에 의존하는 업 샘플링 된 베이스 레이어 참조 픽처의 일부의 외부(outer circumference)에서의 보간을 야기한다. 다시 말해, 동일 위치의 부분에 대한 레이어 간 추정에 대한 기준이 되는 베이스 레이어 픽처의 영역은 확대 레이어 픽처 "스미어 아웃(smear out)" 및 확대 추정한다.
우연히, 레이어 간 추정의 보간에 의한 이러한 상호 의존은 부정적인 상호 의존적 레이어의 병렬 처리를 달성할 수 있는 병렬의 정도에 영향을 미친다. 본 발명의 다른 일면에 따르면, 구문 요소는 혼합되지 않도록 베이스 레이어 픽처의 이웃하는 파티션의 픽셀/화소(pixels/pels)를 베이스 레이어의 분할에 따른 보간이 변경되는 디코더를 알리도록 유도된다. 베이스 레이어 픽처의 분할 예는 공간 확장 레이어 픽처의 세그먼트 또는 기저 및 확장 레이어(base and enhancement layers) 모두에 따라 업 샘플링 된 버전이다. 그러한 구문 구성요소를 도입하여, 인코더는 두 가지 모드를 전환 할 수 있다: 보간 화상 자체를 포함하는 베이스 레이어의 부분들을 남겨 자체 제한되는 경우, 즉, 제한이 스위치 온 된 경우, 최대 달성 간 의존 레이어 병렬 디코딩의 병렬 정도는 기본 레이어 영상의 가장자리를 따라 구획 보간 품질 저하로 약간 증가된다. 그러나, 보간을 제한하지 않는 경우에, 병렬 정도가 파티션의 가장 자리에서 보간 품질이 증가함에 따라 감소된다.
상호 의존적 레이어의 병렬 디코딩 문제에 따른 확장 가능한 비디오 코딩의 제 3 측면 및 병렬 프로세싱 스케줄링을 수행하는 디코더의 부담을 경감하고자, 즉, 병렬 처리 스레드(threads) 로의 공간 세그먼트 분산을 위해, 픽처의 공간 샘플링 해상도 뿐만 아니라 상호 의존 레이어의 공간 세그먼트 픽처의 신호 크기 및 위치 단기 구문 구성요소에서의 시간 간격 보다 더 큰 기 설정된 시간 주기 동안 디코더는 레이어 간 지연 -또는 - 레이어 간 오프셋(inter-layer offset)을 결정하도록 장기 구문 요소 구조를 도입한다. 오프 셋 레이어간 시그널링 장기 구문 요소를 도입하여, 상기 비디오 인코더는 두 가지 모드를 전환 할 수 있다: 제 1 모드에 따르면, 인코더는 기 설정된 시간 주기 내의 집합 및 종속 레이어간 디코딩 사이의 특정 병렬 정도에 대응하는 특정 인터 레이어 오프셋을 디코드 하기 위해 보장하고, 이 때문에 실제 인터 레이어 오프셋은 단기 구문 구성요소에 대응되도록 보장된 것과 같거나 심지어 더 낮다. 다른 모드에 따라, 이러한 보증은 디코더에 제공되지 않고, 따라서 인코더는 다른 조건을 충족 시키도록 단기 구문 요소를 자유롭게 설정된다. 예컨대, 소정 시간 기간 동안에 상기 비디오 콘텐츠에 대한 단기 구문 구성요소를 최적으로 적응시킨다. 따라서 명시적으로 데이터 스트림에서 신호화된 인터 레이어 오프셋은 최소한으로 디코딩 되도록 베이스 레이어 공간 세그먼트에서 산출할 수 있다. 일시적으로 확장 레이어 픽처와 정렬된 제 1공간 세그먼트 이전에 개시되고, 전체 기 설정 시간 동안에 걸친 이러한 산출에 따라, 적어도 소정 기간 동안 확장 레이어 픽처의 제 1 공간을 디코딩하는 세그먼트에 대한 충돌에 직면하지 않는다.
본원의 제 4측면은 확장 가능한 비디오 코딩과 멀티 레이어 비디오 데이터 스트림에 속하는 다양한 레이어 신호뿐만 아니라 확장하는 측정가능 공간에서의 측정 가능 차원의 의미뿐만 아니라 측정가능 공간 내부의 이러한 레이어의 위치에 관계된다. 멀티 비디오 데이터 스트림을 이송과 관련된 중간 네트워크 엔티티에 의해 수행될 작업을 용이하게 하기 위해, 이러한 정보는 이 중간 네트워크 엔티티 쉽게 접근할 수 있어야 하고 용이하게 관리할 수 있어야 한다. 본원의 제 4 측면은, 본 발명의 발견에 기초하여 다양한 레이어와 연관된 NAL 유닛 헤더 내 레이어 표시 필드 방식으로의 변경은 유형 표시자 필드(type indicator field)에 대한 비용을 정당화되는 전형적인 어플리케이션 시나리오에 따르도록 해석된다 : 유형 표시자 필드는 제 1 상태를 갖는 경우, 일반 정보에서의 매핑 정보는 NAL 유닛의 정보를 매핑하는 연산 포인트 레이어 표시자 필드의 가능한 값을 매핑하고, 레이어의 NAL 유닛들은 각각의 레이어 표시자 필드와 매핑 정보를 이용하여 연산 포인트와 연관된다 .이러한, 레이어와 측정가능 집합(constellations)사이의 매핑은 오버헤드 관리가 증가한다는 단점은 있지만, 다양하게 적용할 수 있고, 실현 가능한 확장 가능 공간 다수를 허용한다. 만일 유형 표시자 필드가 제 2 상태인 경우, 레이어 표시자 필드는 한 부분 이상으로 분리된다. 그리고 각 NAL유닛의 연산 포인트는 확장 가능한 공간 내의 벡터 좌표로서 이러한 부분 값을 사용함으로써 위치되도록 연관된다. 이 방법에 의해 레이어와 확장성 집합공간(constellations) 사이의 매핑은 확장 가능한 공간의 수를 낮추는 것을 실현가능 하게 하는 이점이 있다. 하지만, 네트워크 엔티티의 오버헤드 관리는 감소한다. 레이어 표시자 필드에 관계없이 응용 시나리오의 두 경우 모두 동일 할 수 있지만, 이 방법은 레이어 지시자 필드는 확장 된 공간을 통해 레이어의 NAL 유닛이 현재의 어플리케이션과 그 특성에 적응 될 수 있도록 탐색한다. 적응 이점은 이러한 유형 표시자 필드의 추가적인 필요 비용을 과잉 보상한다.
본 발명의 제 5 측면은 멀티 레이어 비디오 코딩에 관한 것이다. 즉 확장 가능한 비디오 코딩에서, 다른 코덱/표준을 다른 레이어에 대해 사용하도록 허용한다. 연속적인 레이어에 대해 사용되는 다른 코덱/표준을 허용하는 가능성은 멀티 레이어 비디오 데이터 스트림에 대처하도록 이미 존재하는 비디오 환경의 뒤늦은 확장을 가능하게 한다.이는 결국에는 새롭고 잠재적으로 더 나은 코덱/표준을 사용하는 부가 확장 레이어에 의해 연속적으로 확장된다. 일부 확장 레이어의 코덱/표준을 이해할 수 없는 네트워크 싱크는 여전히 더 낮은 레이어를 다룰 수 있고, 멀티-코덱 디코더는 멀티 레이어 비디오 데이터 스트림의 각 NAL 유닛을 식별하는 전송 레이어 디코더에 의해 공급되고, 동일하게 이 코덱은 멀티 표준 멀티 레이어 디코더에 따라 멀티 레이어 비디오 데이터 스트림의 NAL 유닛을 통해 관련된다.
본원의 제 6 형태는, 기본 레이어 및 확장 레이어 픽처의 각 이미지 블록의 어레이로 서브 분할되는 모든 멀티 레이어 비디오 코딩에 관한 것이다. 이러한 경우에 있어서, 인터 레이어 오프셋은 멀티 레이어 비디오 데이터 스트림으로의 구문 구성요소 구조 삽입에 의해 효율적으로 신호화 될 수 있다. 이는 기본 레이어 블록의 유닛에서 베이스 및 확장 레이어들의 병렬 디코딩 픽처에 대한 인터 레이어 오프셋(inter-layer offset)을 나타낸다. 즉, 본원의 제 6 측면은 베이스 레이어 블록 단위 베이스 레이어와 확장 레이어 간의 인터 오프셋 레이어를 나타내는 구문 요소 구조의 명시적인 송신(transmission)은 단지 송신할 데이터를 증가 시킨다는 발견에 사소한 방법으로, 기초한다. 반면, 디코더에 대한 연산적인 복잡성은 드러나는 다른 구문 구성요소의 기저상의 베이스 및 확장 레이어의 픽처 병렬 디코딩에 대한 인터 레이어 오프셋을 도출하는 케이스와 비교하여 예컨대, 기저 및 확장 레이어 블록의 블록 사이즈, 기저 및 확장 레이어 픽처의 샘플 해상도 등이, 현저히 감소된다. 제 6 측면은 제 3측면과 구문 구성요소 구조가 장기 구문 구성요소로서 실현될 때 밀접하게 연관되고, 이로 인해 인터 레이어 오프셋은 보증으로서의 디코더를 나타낸다. 이는 이러한 힌트들이 나타내는 멀티 레이어 비디오 데이터 스트림에서의 단기 구문 구성요소에서 시간 간격에서보다 더 큰 기 설정된 시간 주기 동안 지속되고, 반면, 이는 상대적으로 복잡한 방법에서 이러한 구문 구성요소를 조합함으로써 인터 레이어 오프셋을 결정하기 위해 필요해 진다. 물론 상기 측면들은 그들의 두 가지, 3가지 4가지 조합을 비롯한 모든 조합으로 결합 될 수 있다.
본 출원의 바람직한 실시 예 중 도면에 관련하여 이하 설명된다 :
효율적인 확장가능한 코딩 개념을 제공한다.
도 1은 다음의 도면과 관련하여 설명 된 멀티 레이어 인코더들 중 하나를 구현하기 위한 예로서, 비디오 인코더를 도시한다;
도 2는 도 1의 비디오 인코더에 장착한 비디오 디코더를 도시하는 개략적인 블록도를 나타낸다.
도 3은 WPP 처리 서브 스트림으로 서브 분할된 픽처의 개략도를 나타낸다;
도 4는 실시 예는 복호화 처리를 경감하기 위한 기저 및 확장 레이어의 공간적 세그먼트 레이어간 배향이 이용되는 실시예에 따른 비디오 디코더를 도시한다;
도 5는 코드 블록의 정수배로 구성되는 타일에 대한, 각각의 타일과 코드블록으로 서브 분할된 픽처의 개략도를 나타내고, 디코딩 순서는 타일로의 픽처의 서브 분할을 따르는 코드 블록들로 정의한다;
도 6은 도 4의 실시 예를 구현하기 위한 구문 예를 나타낸다.
도 7은 다른 타일로 서브 분할된 베이스 레이어와 확장 레이어 픽처 쌍의 개략도를 나타낸다;
도 8은 도 4의 실시 예와 관련하여 적용 가능한 또 다른 예시적인 구문을 도시한다.
도 9는 픽처 타일로 세분하고 그 레이어 간 추정을 위해 업 샘플링을 수행하기 위해 보간(interpolation) 필터를 적용한 개략도를 나타낸다;
도 10은 스위치 온 또는 업 샘플링을 보간 분리 오프 하도록 멀티 레이어 데이터 스트림 내의 구문 구성 요소에 반응하도록 구성되는, 멀티 레이어 디코더의 개략적 인 블록도를 나타낸다;
도 11은 증가된 확장 레이어 샘플 해상도에 대한 베이스 레이어 샘플로부터 변환하는 업 샘플링을 사용하는 확장을 위한 베이스 레이어로부터 인터 레이어 추정을 이용하는, 이로 인해 기저 레이어 샘플로부터 증가된 확장 레이어 샘플 해상도로의 이전을 나타내는 확장 레이어 픽처와 베이스 레이어의 쌍에 대한 개략도를 나타낸다.
도 12는 도 10에 따른 스위칭 가능한 업 샘플링 보간 분리를 설명하는 개략도를 나타낸다.
도 13은 모두 WPP 서브 스트림으로 분할되는 베이스 레이어 및 확장 레이어 픽처의 중첩에 대한 개략도를 나타낸다.;
도 14는 도 10의 실시예에 따른 예시적인 구문 구현을 나타낸다.
도 15a는 공간 세그먼트로 다르게 서브 분할된 기저 및 확장 레이어의 공간적으로 정렬된 중첩에 대한 개략도이다.
도 15b는 도 15a의 기저 및 확장 레이어 픽처의 중첩에 대한 개략도를 나타내지만, 업 샘플링 보간 분리가 수행되는 분할 선택에 따른 다른 가능성을 나타낸다.
도 16은 비디오 디코더가 멀티 레이어 비디오 데이터 스트림 내부에서 장기 구문 구성요소로 응답하는 실시예에 따른 베이스 및 확장 레이어 디코딩 사이의 인터 레이어 오프셋과 관련된 보증을 그로부터 유도하거나 또는 유도하지 않기 위한 비디오 디코더의 개략적인 블록 다이어그램을 나타낸다.
도 17a 는 도 16의 실시예에 따른 장기 구문 구성요소 구조에 의해 이동된 오프셋 신호를 나타내기 위한, 타일로 모두 서브 분할된 기저 및 확장 레이어 픽처의 쌍을 나타내는 개략도이다.
도 17b는 도 16에 따른 실시예에 있어서, 장기 구문 구성요소 구조에 구현되는 예를 설명하기 위한, WPP 처리를 위한 서브 스트림으로 서브 분할된 기저 및 강화 레이어 픽처의 개략적인 다이어그램을 나타낸다.
도 17c는 도 16에 따른 추가적인 실시예에 있어서, 장기 구문 구성요소를 구현하기 위한 예를 설명하기 위해, 모두 슬라이스(slices)로 서브 분할된 기저 및 확장 레이어의 쌍의 개략적인 다이어그램을 나타낸다.
도 18은 실시예에 따라 WPP를 사용하여 병렬로 디코딩/인코딩 할 때, 야기되는 파면을 부가적으로 나타내는 WPP 처리에 대한 서브스트림으로 서브 분할된 픽처의 개략적인 다이어그램을 나타낸다.
도 19는 본 발명의 실시예에 따른 기저 및 확장 레이어 사이의 샘플링 해상도 비율 및 블록 크기와 오프셋을 디코딩하는 최소 인터 레이어 사이의 관계를 나타내는 테이블을 보여준다.
도 20은 도 16에 따른 장기 구문 구성요소 구조 신호를 구현하는 예시적인 구문을 보여준다.
도 21은 도 16의 실시예를 구현하기 위한 구문에 대한 다른 실시예를 보여준다.
도 22는 HEVC와 같은 구성의 예에 있어서 NAL 유닛 헤더의 구문을 보여준다.
도 23은 다른 레이어 표시자 필드 해석 사이에서 전환 허용에 의해 경감되는 확장 가능한 코딩 실시예에 따른 네트워크 엔티티의 개략적인 블록 다이어그램을 나타낸다.
도 24는 유형 표시자 필드에 응답하여 전환하는 방법을 설명하는 개략도를 도시한다;
도 25는 부가적으로 세분화된 실시예에 따른 전환된 레이어 표시자 필드 해석을 나타내는 개략도를 도시한다.
도 26은 도 23에 도시된 바와 같은 전환된 레이더 표시자 필드 해석을 구현하기 위한 구문을 나타낸다.
도 27은 도 26의 구문과 관련된 레이어 표시자 필드 전환을 나타내는 개략적인 다이어그램을 도시한다.
도 28은 단순히 기저 레이어 코덱 이외의 코덱 확장 레이어 NAL 유닛들을 폐기하도록 구성된 전송 스트림 디코더의 블록도를 나타낸다;
도 29는 전송 스트림 디코더의 블록도 실시 예에 따른 전송 스트림 디코더의 동작을 나타내는, 단일 표준 다중 레이어 디코더 인터페이스 나타낸다.
도 30은 실시예에 따른 전송 스트림 디코더의 동작과 멀티 표준 멀티 레이어 디코더와 인터페이싱 하는 전송 스트림 디코더를 나타낸다.
도 31은 본 발명에 추가되는 실시예에 따른 전환된 레이어 표시자 필드 해석을 구현하는 구문의 다른 예를 나타낸 도면이다.
도 32는 공간 세그먼트로의 픽처의 부가 서브 분할을 나타내는 블록으로의 서브 분할된 임의의 레이어의 픽처를 나타내는 개략적인 다이어그램이다.
도 33은 블록과 타일로 서브 분할된 임의의 레이어의 픽처를 개략적으로 나타내는 도면이다.
도 34는 블록과 서브스트림으로 분할된 픽처의 개략적인 다이어그램을 보여준다.
도 35는, 그 중에서 정의된 래스터 스캔 순서를 구비하는 비디오 디코더 블록이 갖는 유닛으로 인터 추정 처리 된 픽처 사이의 인터 레이어 오프셋을 유도하는 데이터 스트림 구문 구성요소 구조를 사용하도록 구성된 실시 예에 따른 비디오 디코더의 개략적인 블록도를 나타낸다 .
도 36은 실시예에 따른 데이터 스트림 내부의 구문 구성요소 구조와 관계된 도 34의 비디오 디코더의 가능한 연산 모드를 나타내는 개략적인 다이어그램을 보여준다.
도 37은 도 1의 비디오 디코더의 동작 모드를 설명하는 개략도를 도시한다.상기 실시 예와 관련된 도 35의 인터 레이어 오프셋 시그널링은 상이한 타입의 명시 신호 사이에서 전환 가능한, 즉, 다른 유형의 시그널링 유닛이다.
도 38은 베이스 확장 레이어 픽처의 병렬 디코딩 동안 계속적으로 탐지되는 인터 레이어 오프셋에 따른 부가 실시예에 있어서 도 35의 비디오 디코더의 연산 모드를 나타내는 개략적인 다이어그램을 보여준다.
도 39는 한편 실시 예에 따른, 다른 하나의 행 및 열 인덱스에 래스터 스캔 디코딩 순서(raster scan decoding order)에 따른 픽처의 특정 블록의 계수의 관계를 나타낸다;
도 40은 이러한 다른 실시예로부터 얻어진 결과들과 블록으로의 기저 및 확장 레이어 픽처의 상대적으로 규칙적인 서브 분할들의 다른 예를 나타낸다.
도 41은 도 35에서 도 40의 실시 예들 중 하나를 실행하기 위한 구문의 예를 나타낸다.
도 42는 도 41의 대안적인 예로서의 다른 구문을 보여준다.
도 43은 도 16과 35의 실시 예에 따른 구문 예를 나타낸다. 도 16 및 35는 멀티 레이어 데이터 스트림의 다른 부분에 신호 될 수 있다;
도 44는 실시 예에 따른 멀티 레이어 다중 표준 디코더 인터페이싱 수송 레이어 디코더의 개략적인 블록도를 나타낸다.
먼저, 개요로서, 인코더 / 디코더 구조에 대한 예는 다음에 제시된 개념들 중 하나에 부합되도록 제시된다.
도 1은 본 발명의 실시예에 따른 인코더의 일반적인 구조를 보여준다.
인코더(10)는 단지 단일 스레드(single-threaded), 즉, 멀티 스레드 방식으로 동작 가능하도록 구현될 수 있다. 즉, 예컨대, 인코더(10)는 여러개의CPU 코어(multiple CPU cores.)를 이용하도록 구현될 수 있다. 다시 말해, 인코더(10)은 병렬 처리를 지원할 수 있지만, 하지 않는다. 생성된 비트 스트림은 또한 단일 스레드 인코더/디코더(single-threaded encoders/decoders)에 의해 생성되거나/디코딩 될 수 있을 것이다. 본원의 코딩 개념은 효율적으로 압축 효율을 저하 없이 병렬 처리를 적용하는, 인코더 병렬 처리를 가능하게 한다. 병렬 처리 능력에 관하여, 유사한 언급은 도 2에 관하여 후술되는 디코더에 유효하다.
인코더(10)은 비디오 인코더이지만 일반적으로 인코더(10)은 또한 픽처 인코더가 될 수 있다. 비디오(14)의 픽처(12)는 입력(16)에서 엔코더(10)를 입력으로서 보여준다. 픽처(12)는 즉 픽처 콘텐츠인 특정 장면을 나타낸다. 그러나, 인코더(10)는 입력(16)이 다른 레이어에 속하는 두 픽처(12) 및 (15)와 동일한 시간 인스턴트를 또 다른 픽처 (15)에서 수신한다. 단지 설명을 위해, 픽처 (15) 가 레이어 1에 속하는 것으로 도시되어 있는 반면 픽처 (12)는 레이어 제로에 속하는 것으로 도시되어있다. 도 1은 더 높은 공간 해상도와 관련된, 각 레이어 0과 관련되는 레이어 1을 나타낸다. 즉 이는 픽처 샘플의 더 많은 수에 동일한 장면을 보여주지만, 이는 단지 설명의 목적을 위해 보여주는 것 뿐이다. 대안적으로 레이어 1의 픽처 15는 동일한 공간 해상도를 가지원만, 실시예에 있어서 다를 수도 있다. 예컨대, 보는 방향이 상대적으로 레이어 0으로 즉, 픽처 12 및 15는 다른 관점으로부터 캡쳐 될 수도 있다.
인코더(10)는 하이브리드 종류 인코더, 즉, 픽처12와 15는 추정기(predictor) (18)과 잔류 결정기(residual determiner)(22)에 의해 획득된 추정 잔류(20)에 의해 추정되고, 예컨대 DCT 같은 스펙트럼 분해 및 변환 / 양자화 모듈(transform/quantization module) (24)에서 양자화 (quantization)등과 같은 변환(transform)에 따른다. 따라서 획득되는 변환 및 양자화된 추정 잔류(26)은 엔트로피 코더 28에서 , 예컨대 컨텍스트-적응적으로(context-adaptivity) 수학적인 코딩 또는 다양한 길이의 코딩을 사용하는 예컨대 컨텍스트-적응적으로(context-adaptivity) 엔트로피 코딩 된다. 디코더에 대한 잔류의 재 구축 버전이 가능하다. 즉, 역 양자화되고 역 변환된 잔류 신호(30)은 역 변환/역 양자화 모듈(retransform/requantizing module)(31)에 의해 발견되고, 결합기(33)에 의한 추정기(18)의 추정 신호(32)로 재결합된다. 따라서 픽처 12와 15각각의 재 구축(34)을 야기한다. 하지만, 인코더(10)은 블록을 기초로 동작한다. 이에 따라, 재구축된 신호 34는 블록의 경계에서 불연속성을 경험하고, 이에 따라 필터 36은 재구축된 신호 34를 픽처 12와 15 각각에 대한 참조 픽처 38을 획득하기 위해 추정기 18이 다른 레이어의 연속적으로 인코딩 된 픽처를 추정하는 것을 기초로 적용한다. 도 1의 표시선(dashed line)에 의해 도시된 바와 같이, 그러나 또한 공간 추정 모드와 같은 다른 추정 모드들은 필터 36 또는 적절한 버전 없이 직접적으로 신호 35를 재구축하도록 악용한다.
추정기 18은 픽처 12의 특정 블록을 추정하기 위해 다른 추정 모드들 중 하나를 선택 할 수 있다. 이러한 픽처 12의 하나의 블록 39이 도 1에 예시적으로 도시된다. 블록 39에 따른 일시적인 추정 모드가 존재 할 수 있고, 이는 분할된 픽처 12로의 픽처 12의 임의의 블록을 대표하고, 픽처 12’와 같은 동일한 레이어의 이전에 코딩 된 픽처를 기초로 추정된다. 공간 추정 모드(spatial prediction mode)는 또한 블록 39와 이웃하는, 동일한 픽처 12의 이전에 코딩 된 일부를 기초로 추정된 블록 39에 따라 또한 존재 할 수 있다. 픽처 15의 블록41은 분할된 도 15로의 임의의 다른 블록을 대표하도록 도 1에 또한 도시되어 있다. 블록 41에 대한 추정기 18는 임시의 공간적인 추정 모드와 같은 단지 논의된 추정 모드들을 지원 할 수 있다, 또한, 추정기 18은 낮은 레이어의 픽처 12의 일부에 대응하는 것을 기반으로 추정된 블록 41에 따른 인터 레이어 추정 모드를 제공 할 수 있다. "대응하는"에서 "대응하는 일부"는, 즉 픽처12 내부의 일부는 픽처 15에서 추정된 블록41으로서의 장면의 동일한 일부를 보여주는 것 과 같이 ,공간적 대응을 표시 하여야 한다.
추정기 18의 추정은 자연스럽게 픽처 샘플로 제한 되지 않을 수 있다. 추정은 코딩 파라미터에 또한 적용될 수 있다. 즉, 일시적인 추정의 추정모드, 움직임 벡터(motion vectors), 멀티 뷰 추정의 불균형 벡터, 예컨대 잔류 등은 비트스트림40으로 코딩 될 수 있다.
양자화된 잔류 데이터 26을 컴파일하기 위해 즉 변환 계수 레벨과 잔류 데이터뿐만 아니라 코딩 파라미터를 포함하는 특정 구문이 사용된다. 예컨대, 픽처 12와 15의 개별 블록 39 및 41에 대한 추정 모드 및 추정 파라미터는 추정기 18 에 의해 결정되고, 구문 구성요소는 엔트로피 코더 28에 의한 엔트로피 코딩에 따른다. 따라서 엔트로피 코더 28에 의해 결과로서 획득된 데이터 스트림 40은 인코더10 에 의한 비트 스트림 40 출력을 형성한다.
도 2는 즉 비트스트림 40을 디코드 할 수 있는 도 1의 인코더에 적합한 디코더를 보여준다. 도 2의 디코더는 일반적으로 참조 번호 50에 의해 지시되고, 엔트로피 디코더, 재 변환 / 역 양자화 모듈 (54), 결합기 (56), 필터 (58) 및 추정 부 (60)를 포함한다. 엔트로피 디코더 (42)는 비트 스트림을 수신하고, 잔여 데이터 (62)와 코딩 파라미터 (64)를 복구하기 위해, 엔트로피 디코딩을 수행한다. 재 변환 / 역 양자화 모듈(retransform/dequantizing module)(54)은 잔류 데이터를 역 양자화 및 재 변환하고 이에 따라 결합기(56)에서 획득한 잔류 신호를 전달한다. 결합기(56)는 또한 차례로, 추정 신호(66)와 잔차신호(residual signal) (65)를 조합하여 합성 기(56)에 의해 결정된 재구성 된 신호 (68)에 기초하여 코딩 파라미터 (64)를 사용하여 추정 신호(66)를 형성하고, 추정 부 (60)로부터 추정 신호 (66)를 수신한다. 추정부(18)은 최종적으로 선택된 추정거울이다. 즉 동일한 추정 모드가 가능하고, 이러한 모드들은 픽처 12와 15의 개별적인 블록을 위해 선택되고, 추정 파라미터에 따라 조향 된다. 이미 설명된 도 1을 참조하면, 추정기 (60)는 대안적으로 또는 부가적으로, 재구성 된 신호 (68) 또는 그의 일부 중간 버전의 필터링 된 버전들을 사용할 수 있다. 디코더 50의 출력 70에서의 출력과 최종적으로 재생된 다른 레이어의 픽처는 마찬가지로 조합 신호 (68) 또는 그 일부 필터링 된 버전의 필터링 되지 않은 버전에서 결정될 수 있다.
타일 개념에 따르면, 픽처 12와 15는 각각 타일 80과 82로 서브 분할되고, 이러한 타일 내부의80과 82각각의 적어도 블록 39와 41의 추정은 공간 추정에 기반하여, 단지 동일한 픽처 12,15의 동일한 타일과 연관되는 데이터에서 각각 사용되기 위해 제한된다. 이는 블록(39)의 공간 추정은 동일한 타일 이전에 코딩 된 부분들을 사용하는 것이 제한되는 것을 의미하지만, 일시적인 추정 모드는 픽처12’와 같이 이전에 코딩된 정보에 의존하도록 제한되지 않는다. 유사하게, 블록(41)의 공간 추정 모드는 동일한 타일의 이전에 코딩된 데이터를 사용하도록 제한하지만 시간적 계층 간 추정 모드가 제한되어있다. 픽처 (15) 및 (12)의 여섯 타일로의 서브 분할은 은 각각 단지 예시적인 목적을 위해 선택되었다. 타일로의 서브 분할은 각각 12', 12, 와 15, 15'개별적 이미지 비트 스트림 (40) 내에서 선택하고 신호화 될 수 있다. 픽처 12 및 15의 픽처 당 타일 수는 각각 하나, 둘, 셋, 넷, 다섯, 여섯 개중 어느 하나일 수 있다. 상기 타일 분할은 오직 타일들의 행 및 열들로 규칙적으로 분할되도록 제한될 수 있다. 완전성을 위해, 타일의 코딩 방식은 개별적으로 인트라 추정 또는 공간 추정에 한정되지 않을 뿐만 아니라, 타일 경계를 넘어 파라미터 및 엔트로피 코딩 콘텍스트 선택 코딩의 임의 추정을 포함 할 수 있음에 유의 해야 하고, 엔트로피 코딩은 또한 오직 동일한 타일의 데이터에 의존하도록 제한된다. 따라서, 디코더는, 즉 타일 단위로 병렬로 방금 언급된 동작들을 수행할 수 있다.
도 1 및 도 2의 인코더와 디코더는 대안적으로 또는 추가적으로 WPP 개념을 사용할 수 있다. 도 3을 참조한다. 타일과 슬라이스와는 대조적으로, WPP서브스트림은 WPP 서브 스트림100을 교차하는 추정과 컨텍스트 선택으로의 제한을 부과하지 않는다. WPP 서브스트림 100은 LCUs (Largest Coding Unit)101의 교차 행과 같은 행 방향(row-wise)으로 확장한다. 블록을 최대로 추정하는 부호화 모드는 비트 스트림 내의 개별적으로 투과 가능하며, 병렬 처리를 가능하게 하기 위해, 단지 하나의 절충인 엔트로피 코딩의 관계로 이루어진다. 특히, 순서 102는 WPP서브스트림 100 중 하나로 정의되고, 이는 예시된 순서(102)에 WPP 서브 스트림을 제외하고, 아래로 각각 WPP 서브 스트림 (100) 상부로부터의 확률은 알파벳 심볼(symbol alphabet)에 대해 추정한다. 즉 엔트로피 확률은, 완전하게 리셋 되지는 않지만 제2 LCUR까지의 즉각적으로 선행하는 코딩된/디코딩된 엔트로피를 구비 이후에 야기되는 확률을 설정하여 동일해 진다. 따라서, 라인 104에 의해 지시되는 바와 같이, LCU 순서에서, 또는 서브 스트림의 디코더 순서에서 시작하는 픽처 12 및 15의 같은 측면에서의 각 WPP 서브 스트림 각각은 다른 측면으로의, LCU 행 방향에서, 선도하고, 화살표 106에 의해 왼쪽 측면과 같이 표시된다. 따라서, 동일한 픽처 12및 15각각의 WPP 서브 스트림의 순서 사이의 일부 코딩 지연에 따름으로써, 이러한 WPP 서브 스트림들 100은 병렬도 디코딩 가능/코딩가능하다. 따라서, 각각의 그림 12,15의 일부는 병렬로 코딩/디코딩되고, 즉 동시에, 왼쪽에서 오른쪽으로 기울어 진 방식으로 화상을 가로질러 이동하는 파면(108)의 종류를 이룬다.
이는 간단히 순서 (102, 104)는 위에서 아래로의 행에 의해 오른쪽 아래 LCU 행에 LCU (101) 왼쪽 상단에서 이어지는 LCUs 중 래스터 스캔 순서(raster scan order)를 정의하는 것에 유의 한다. WPP 서브스트림은 하나의 LCU 각각의 행에 대응할 수 있다. 간단히 타일을 다시 참조하면, 후자는 LCU 경계에 정렬하도록 제한 할 수 있다. 서브스트림은 지금까지 서브스트림의 내부에 두 슬라이스 사이의 경계에 관한 한 LCU 경계에 얽매이지 않고 하나 이상의 슬라이스로 세분화 할 수 있다.그러나, 엔트로피 확률은, 다음 서브 스트림의 서브 스트림에 하나의 슬라이스로 전환 할 때, 그 경우에 채택된다. 타일의 경우, 전체 타일 한 슬라이스로 요약 할 수 있거나 또는 하나의 타일은 다시 타일의 내부에 두 조각 사이의 경계에 관한 LCU 경계에 결합되지 않는 하나 이상의 조각으로 세분화 할 수 있다. 타일의 경우, 타일 순서의 다음 타일로 진행하기 전에 래스터 스캔 순서로 타일 순서로 타일을 횡단하도록 LCUs 간의 순서가 변경된다.
지금까지 설명한 바와 같이, 화상 (12)은 타일 WPP 또는 서브 스트림들로 분할 될 수 있고, 마찬가지로, 픽처 15도 또는 타일 WPP 서브 스트림들로 분할 될 수 있다. 이론적으로, 타일 분할 / 개념은 두 개의 다른 분할/개념이 선택되는 동안 WPP 서브 스트림 분할 / 개념은 픽처 (12,15)의 한쪽을 위해 선택될 수 있다. 선택적으로 제한은 개념 유형에 따른 비트 스트림으로 부과 될 수 있다. 즉, 타일 또는 WPP 서브 스트림은 레이어들과 동일한 층 사이에 있어야 한다. 공간 세그먼트에 대한 또 다른 예는 슬라이스를 포함한다. 슬라이스는 전송 목적을 위한 세그먼트 비트스트림40으로 사용된다. 슬라이스는 전송을 위한 작은 엔티티 NAL 단위로 포장된다. 각 슬라이스는 독립적으로 코딩가능/디코딩 가능하다. 즉, 단지 컨텍스트 선택 등으로, 슬라이스 경계에서 임의의 추정이 금지된다. 슬라이스, 타일 및 WPP 서브스트림은 : 함께 공간 세그먼트의 세가지 예이다. 추가적으로 모든 세가지 병렬 개념, 타일, WPP 서브 스트림 및 슬라이스는 조합으로 사용 될 수 있다. 즉, 픽처 12또는 15는 타일로 분리 될 수 있다. 여기서 각 타일은 여러개의 WPP 서브스트림으로 분리된다. 또한, 슬라이스는 타일 또는 WPP 경계에서 예시(하지만 제한되지 않음)에 대한 여러 개의 NAL 유닛으로의 비트 스트림 파티션(partition)으로 사용될 수 있다. 픽처 (12), (15)는 슬라이스를 사용하여, 또한 타일 또는 WPP 서브 스트림을 이용하여 분할되고, 슬라이스 분할은 다른 WPP / 타일 분할에서 벗어나는 경우, 공간 세그먼트는 픽처 12,15의 독립적인 가장 작은 디코딩 섹션으로 정의 되어야 한다 . 대안적 제한은 경계가 다른 사용된 개념 사이에 정렬될 필요가 있는 경우 및/또는 개념들의 조합이 픽처 (12 또는 15) 그 내부에서 사용될 수 있다 비트 스트림에 부과될 수 있다.
본 출원의 상기 제시된 개념을 설명하기 전에 다시 도 1 및 도 2를 다시 참조하면, 도 1 및 도 2의 인코더 및 디코더의 블록 구조는 단지 예시적인 목적이며, 구조는 상이할 수 있다는 것을 유의해야 한다. "타일 경계 정렬"이라고 할 수 있는 제 1 측면에 따르면, 장기 구문 구성요소 구조가 보증을 위해 , 기 설정된 시간 주기 동안,위해 사용하는 신호는 이미지의 시퀀스를 통해 연장 기간 등이고, 제 2레이어의 픽처15는 서브 분할 되고, 이 때문에 제 2레이어의 픽처의 공간 세그먼트 82사이의 제1레이어의 공간 세그먼트80의 각 경계 84가 중첩된다. 디코더는 여전히 이러한 개별 픽처의 유닛으로 기 설정된 시간 주기보다 작은 시간 간격에서, 결정된다. 즉, 픽처 피치 간격에서, 멀티 레이어 비디오 데이터 스트림 (40)의 단기 구문 구성요소에 기초하여 상기 공간 세그먼트 (80 ,82)로 제 1 레이어와 제 2 레이어의 이미지 (12), (15)의 실제를 서브 분할한다. 하지만 정렬에 대한 지식은 이미 병렬 처리 작업 할당을 계획하는 데 도움을 준다. 도 1의 실선 84는 예컨대, 레이어 0의 타일 경계 86으로 완전하게 공간적으로 정렬되는 경계의 실시예를 나타낸다. 방금 언급한 것은 또한 레이어 0의 타일 분할보다 미세한 것으로 레이어 1 의 타일 분할을 허용하는 것을 보장하지만, 이 때문에 레이어 1의 타일 분할은 부가적으로 레이어 0의 경계 86의 임의의 공간적인 분할이 아닌 부가적인 타일 경계를 포함한다. 임의의 경우에, 레이어 1과 레이어 0 사이에 타일 등록에 관한 지식은 부하 또는 병렬에서의 동시 공간 세그먼트 중 가능한 처리 전력을 할당하는 디코더를 돕는다. 장기 구문 구성요소 구조 없이, 디코더는 더 작은 시간 간격에서 부하 할당을 수행해야 한다. 이 때문에 즉, 픽처 당 부하 할당을 수행하기 위한 컴퓨터 전력이 손실된다. 또 다른 측면은 레이어의 병렬 처리에 대한 지식을 활용할 수 있는 다수의 CPU 코어와 디코더가 즉, 더 높은 공간 해상도 또는 더 많은 레이어의 수와 같이 더 복잡한 레이어를 해독하려고 디코딩 여부를 시도하기로 결정하는" 디코딩 기회"이다: 단일 코어의 성능을 초과하는 비트 스트림은 동일한 디코더의 모든 코어를 이용하여 디코딩 될 수 있다. 프로파일 및 레벨 표시 등이 최소한의 병렬 처리에 이러한 표시를 포함하지 않는 경우 이 정보는 특히 유용하다.
더 명확하게, 본 출원의 방금 설명한 일면을 이해하기 위하여, 도4 를 참조하면, 도 2 에서 구현된 바와 같은 비디오 디코더(600)을 도시한 도 4를 참조한다. 즉, 디코더 (600)는 전술한 바와 같이 제 2레이어 1로의 제 1레이어 0으로부터 인터 레이어 추정을 이용한 레이어의 계층구조에서 코딩된 장면으로 멀티 레이어 비디오 데이터 스트림을 디코딩 하도록 구성된다. 비디오 디코더는 서브 분할된 레이어의 픽처들, 공간 세그먼트 예컨대 타일, WPP 서브 스트림 등으로의 공간 세그먼트에서의 멀티 레이어 비디오 데이터 스트림의 디코딩을 병렬로 지원한다. 다시 말해 , 이렇게 함으로써 비디오 디코더는 병렬 멀티 레이어 비디오 데이터 스트림을 디코딩 할 수 있다, 비디오 디코더 (600)는 공간 세그먼트 유닛에서의 레이어 0,1의 픽처(12,15)에서 동작한다.
예컨대, 위에서 설명한 바와 같이, 공간 세그먼트는 타일이 될 수 있는 반면, 비디오 디코더 600은 인트라 픽처 공간 추정에서 사용하는 레이어 0과1의 픽처 12와 15를 디코드 하도록 구성되고, 비디오 디코더 600은 타일 경계에서 각 타일에 대한 인트라 픽처 공간 추정을 방해한다. 타일로의 픽처 (12),및 (15)의 서브분할은, 단기간에 단기 구문 요소를 경유하여 데이터 스트림 (40) 내에서 신호화된다. 시간 간격의 유닛에서의 예와 같이, 예컨대 각 픽처 12 및 15의 개별적인 타임 프레임 604는 특정 시간 프레임 604로 속하는 각 픽처 12 및 15의 쌍과 같이 연관된다. 전술한 바와 같이, 타일로의 픽처 12 및 15의 서브 분할은 규칙적인 서브 분할로, 즉 타일의 행과 열로만 제한될 수 있다. 단기 구문 구성요소 602는 따라서 개별적인 레이어 모두의 각 픽처 15와 각 픽처 12에 대한 타일-서브분할의 열 및 행의 수의 집합이다. 멀티 레이어 비디오 데이터 스트림 40 인바운드 디코딩에서, 비디오 디코더 600은 잠재적으로 일시적인 추정 및 공간 추정을 적용하도록 구성된다. 선택적으로, 비디오 디코더 600 엔트로피는 개별적으로 타일 각각을 디코드한다. 만일 확률 적응이 각 타일 디코딩 동안 이용되는 경우, 비디오 디코더 600은 각 타일 개별적으로 엔트로피 확률을 초기화 하고, 이로 인해 타일은 병렬로 엔트로피 디코딩이 가능하다. 공간 추정에 부가적으로, 광학적으로 일시적인 추정인, 비디오 디코더 600은 제 1 레이어의 픽처 15의 타일 디코딩을 고려하는 한 인터 레이어 추정을 지원한다. 전술한 바와 같이, 인터 레이어 추정은 레이어 1디코딩에서 관련된 다른 파라미터들을 고려할 수 있다: 인터 레이어 추정은 레이어 1의 디코딩 레이어 1에서 사용되는, 변환 계수, 추정 모드, 디코딩 레이어 1에서 사용되는 추정 파라미터, 확장 레이어 1픽처의 샘플 등의 추정 잔류를 추정 할 수 있다. 인터 레이어 추정은 이미 디코딩된 레이어 0의 픽처의 일부를 기반으로 레이어 1의 픽처의 타일 내부의 -직접 (중앙에서) 동일 위치들 또는 약간 공간적으로서 직접 동일 위치의 위치로부터 벗어나지 것들인,일부를 추정한다. 예컨대, 같은 장면의 다른 관점을 예로서, 레이어 0 및 1의 경우에서 인터 레이어 추정 제어 파라미터 추정 변이 벡터를 고려한다.
비디오 디코더 600은 도 4에서의 참조 번호 606을 이용하여 지시되는, 데이터 스트림 40의 장기 구문 구성요소에 반응한다. 이 때문에, 다르게 처리되는 기 설정된 시간 608은 즉 타일로의 픽처의 개별적인 서브 분할 단기 구문 구성요소에 대한 여러 시간 프레임 604과 같은 몇몇 시간 간격을 포함하는 기 설정된 시간 주기608, 장기 구문 구성요소 606을 따른다. 608은 SPS의 범위(=시간 간격)와 관계될 수 있고, SPS는 어떻게든 중요한 재-초기화로 이어진다. 전술한 바와 같이 또한 발명의 다른 측면과 관련된 실시예에 있어서, 장기 구문 구성요소에 대한 측면이 언급될 것이다. 특히, 만일 장기 구문 구성요소 606이 제 1 값 집합를 가정하는 경우, 비디오 디코더 600는 레이어 1의 픽처가 서브 분할되는 기 설정된 시간 주기 동안 이러한 상황을 보증으로서 해석한다. 이로 인해, 픽처 15의 타일 사이의 경계는 레이어 0의 픽처의 타일의 모든 경계를 중첩한다. 비디오 디코더 600은 여전히 타일로 픽처 12및15의 서브 분할되는 기 설정된 시간 주기608 내의 시간 간격602동안 단기 구문 구성요소를 결정하기 위해 검사한다. 하지만 비디오 디코더 600은 다음의 사실에 의존하고 픽처 12의 기저 레이어 타일이 완전하게 픽처 15의 강화 레이어 타일의 경계에 의해 중첩되는 것을 실현할 것이다. 즉, 픽처 15의 분할은 픽처 12및15의 시간 정렬된 각 쌍을 비교함으로써, 타일로의 픽처 12의 서브 분할의 공간 개선를 지역적으로 응답하거나, 제시한다. 전술한 바와 같이, 비디오 디코더 600은 이러한 신호화를 이용할 수 있다. 즉 장기 구문 구성요소 구조 (606)는, 따라서 병렬로 기 설정된 시간주기 (608) 내에서 병렬 픽처(12)(15)의 타일을 처리 및 스케줄링 함으로써 제 1 값 집합 중 값을 가정한다. 즉, 픽처 12및 15의 쌍으로 일시적으로 정렬된 타일이 병렬로 디코딩 된다. 예컨대, 장기 구문 구성요서의 구조가 제 1 값 집합 중 값을 가정하는 경우, 비디오 디코더 600은 아래와 같이 인지할 수 있다. 레이어 0의 특정 그림 (12)의 타일 중 타일 순으로, 처음 타일은 로컬로, 시간 - 정렬 된 확장 레이어 픽처 (15)의 각각의 타일과 일치한다. 또는 확장 레이어 픽처 15 중 타일 순서에서 시간 정렬된 확장 레이어 픽처 15의 제 1타일을 위치적으로 완전하게 중첩한다. 따라서, 적어도 불일치/움직임 보상이 없는 인터 레이어 추정의 경우 비디오 디코더 600는 시간 정렬된 베이스 레이어 픽처 12의 제 1타일 디코딩이 종료되자마자 확장 레이어 픽처의 디코딩을 개시 할 수 있다. 이는 언급한 보증이 비디오 디코더 600을 나타내기 때문이다. 인터 레이어 추정을 요구하는 기저 레이어 픽처 12의 동일한 일부는 확장 레이어 픽처 15의 전체 제 1타일에 대해 가능하다. 기저 레이어 픽처 12와 확장 레이어 픽처 15사이의 병렬 정도 또는 인터 레이어 오프셋은 따라서 기저 레이어 픽처 12의 하나의 타일과 동일한 비디오 디코더 600에 의해 인지/결정 될 수 있다. 약간 수평 성분을 갖는 비 - 제로 수직 성분 및 / 또는 변이 벡터를 갖는 변이 벡터를 포함하는 레이어 간 추정의 경우에는 오프셋이 증가 될 수 있다. 이는 오른쪽으로 기저 레이어 픽처 내부의 대응하는 부분을 이동시킨다. 상기 타일 중 타일 순서는 그것의 오른쪽 바닥 코너를 향하는 픽처 12,15 의 좌측 코너로부터의 행 방향의 래스터 스캔 순서에 따라 지향될 수 있다.
하지만 만일 장기 구문 구성요소 구조가 제 2 값 집합 중 값을 추정하는 경우 이는 제 1 값 집합로부터 구별된다. 비디오 디코더 600은 어떠한 보증도 이용하지 않는다. 하지만 픽처 12및 15의 타일의 병렬 디코딩 단기 구문 구성요소 602 이용을 기초로 단기로 잠재적으로 픽처 12및 15의 시간 정렬된 쌍의 적어도 일부 및 기저의 타일과 확장 레이어를 계획 및 스케쥴링한다. 이러한 경우, 비디오 디코더 600은 최소 인터 레이어 오프셋 또는 레이어 0과 1사이에서 병렬 디코딩하는 레이어간 공간 처리 오프셋을 결정한다. 즉 레이어 0 및 1 사이의 병렬 정도는 하지만 단기적으로는 번거로운 절차이다. 단기 구문 구성요소의 가능한 값들의 집합의 서브 집합는 적어도 제 1 레이어의 공간 부분의 경계 중 하나를 중첩한 제2 레이어의 픽처의 공간적 세그먼트 사이의 경계에 존재한다. 그러나 단기 구문 구성 요소에 대한 가능한 값들의 집합의 상기 서브 집합는 제 2 레이어가 중첩하는 제 1 레이어의 공간 경계의 각 세그먼트의 픽처의 세그먼트 사이의 공간 경계에 따라 존재한다. 후자의 서브셋은 베이스와 확장 레이어 사이의 타일 경계 정렬을 나타내는 장기 구문 구성요소의 경우에 유일하게 사용된다.
추가적으로 또는 대안적으로, 비디오 디코더 (600)가 장기 구문 구성요소 구조가 레이어 1의 디코딩의 시험을 수행하기 위해, 즉, 수행하려고 하기 위해, 제 1 가능 값 집합에서의 값을 가정한다는 사실을 이용하거나 사용할 수 있고, 이와 함께 제 2 가능 값 집합에서의 값을 가정하는 장기 구문 구성요소 구조 (606)의 경우에는 이러한 시도 수행을 자제한다. 그 경우, 특히 배터리 구동 장치에 유용한 계산 전력은 시간적으로, 즉 실시간으로, 확장 레이어 1을 디코딩 한 결과 또는 성공(success)이 추론되는 경우 절약된다. 제 4측면에서 언급되는 레벨 지시자들을 기초로 또한 선택되는 제한은 언급할 만한 가치가 있다. 도 4는 공간 세그먼트로서 타일을 이용하는 실시예를 전술하였지만, 비디오 디코더 600이 이것에 의해 신호화 되는 장기 구문 구성요소 구조와 보증을 서브 스트림 또는 슬라이스와 같은 다른 공간 구성요소와 연결되어 이용할 수 있는 것은 명확하다. 전자에 있어서, 비디오 디코더 600은 병렬로 제 1 레이어12의 픽처의 공간 세그먼트 디코딩으로의 인트라 픽처 공간 추정을 이용하는 레이어의 픽처 12및 15를 디코딩하고, 즉, 서브스트림 같은 이러한 공간 세그먼트 디코딩 사이의 디코딩 지연에 순응하는 것과 함께 제 1레이어의 픽처의 공간 세그먼트의 경계를 교차하는 인트라 픽처 공간 추정을 지원한다. 전술한 바와 같이, 서브 스트림은 즉, 각 픽처를 수직으로 서브 분할하는 것과 같이, 각 픽처의 수평 줄무늬(stripes)에 대응할 수 있다. 각각의 서브 스트림 디코딩에서, 비디오 디코더 (600)는 일반적으로 왼쪽에서 오른쪽으로 이어지는 디코딩 순서, 및 위에서 아래로 이어질 수 있는 픽처의 서브스트림들 사이에 정의 된 서브 디코딩 순서를 사용할 수 있다. 전형적인 공간 추정 개념을 이용하여, 이웃하는 상단의 이미 디코딩된 부분은 공간 추정이 수행되는지에 따라, 즉각적으로 연속하는 서브 스트림 사이의 특정 디코딩 지연에 순응하는, 현재 픽처의 왼쪽의 이미 디코딩된 부분은 이로 인해 서브 스트림의 병렬 디코딩을 허용한다. 예컨대 LCU 의 유닛에서 디코딩 지연이 측정 될 수 있다. 이는 레이어 1의 픽처 15 뿐만 아니라 레이어 0의 픽처 12에서도 수행될 수 있다. 따라서 비디오 데이터 스트림 디코딩에서의 병렬은 개별적으로 픽처 12및 15내의 두 병렬 모두에 관련 될 수 있다. 하지만 또한 타임 프레임 604의 다른 레이어의 픽처 12및15에 속하는 서브스트림 병렬 디코딩과 관련 될 수 있다. 서브 스트림의 선택적인 엔트로피 디코딩이 고려되는 한, 동일한 것이 각 서브 스트림의 디코딩 과정 중에 엔트로피 확률의 적응에 관련 될 수 있다. 각 픽처 12 또는 15의 서브 스트림 순서의 제 1서브 스트림은 다른 서브 스트림으로부터 독립적인 엔트로피 확률의 개별적인 초기화에 따를 수 있다. 어떠한 후속 서브 스트림은 예컨대, 직전의 서브 스트림의 두 LCU 디코딩을 가진 이후와 같이, 각 선행 서브스트림의 왼쪽으로부터 일정한 거리까지 직전의 서브 스트림을 디코딩하는 동안 적응된 엔트로피 확률을 채용하여 동일한 픽처의 디코딩 순서에서 직전의 서브 스트림의 중간에 적응된 엔트로피 확률에 따라 엔트로피 확률 초기화 대상이 될 수 있다
심지어 파면 평행 처리 서브 스트림의 경우, 비디오 디코더 600은 장기 구문 구성요소 606을 이용 할 수 있다. 만일 보증이 구문 구성요소 606의 방법에 의해 신호화 되는 경우, 비디오 디코더 600은 시간-정렬 확장 레이어 픽처15의 이웃하는/연속적인 서브 스트림 사이의 각 경계에 의해 중첩되는 기 설정된 시간 주기 608내의 베이스 레이어 픽처 12의 연속적인/이웃하는 서브 스트림 사이의 모든 경계에 의존 할 수 있다. 즉, 위치적인 베이스 레이어 서브 스트림의 하나는 시간-정렬 확장 레이어 픽처 15의 각 확장 서브 스트림에 일치하거나, 시간-정렬 확장 레이어 픽처의 서브 스트림의 두 개 또는 그 이상과 동일하게 정확하게 대응한다. 이에 따라, 만일 보증을 적용하는 경우, 디코더 600은 시간-정렬된 확장 레이어 픽처 15의 제1 서브 스트림은 베이스 레이어 픽처 12의 서브 스트림이 확정되자 마자 개시 될 수 있다.
전술 한 바와 같이, 타일 서브 분할이 상이한, 단기 구문 구성요소 (602)는 예컨대 동일한 LCUs 일부 코딩 블록들로 이러한 픽처의 서브 분할과 관련 픽처 (12) 및 (15)에서 서브 스트림의 위치를 정의하도록 선택할 수 있다 .따라서 이러한 서브 스트림은 코딩 블럭의 하나 이상의 행들의 집합 일 수 있다. 타일 서브 분할의 경우에서와 같이, 시간 구간들(604)은, 픽처 당(per picture) 기반으로 서브스트림으로의 픽처 12 및 15의 서브 분할 신호 단기 구문 구성요소와 같을 수 있다. 즉 픽처 프레임(604) 당 기준으로 보증이 장기 구문 구성요소 구조 (606)에 의해 제공되지 않는 경우, 비디오 디코더(600)는 그럼에도 불구하고 , 공통의 시간 프레임의 다른 서브 층에서, 병렬로 디코딩 하도록 시도할 수 있다. 하지만, 그렇게 하기 위해, 비디오 디코더 (600)는 단기 구문 구성요소(602)를 검사할 필요가 있다.
하지만, 그렇게 하기 위해, 비디오 디코더(600)는 단기 구문 구성 요소(602)를 검사할 필요가 있다.
비디오 인코더의 측면이 고려되는 한, 도면 1에 구현된 비디오 인코더에 관해서 유의해야 한다. 비디오 인코더는 디코더 600의 보증 부여 여부를 결정하고, 데이터 스트림 40으로의 장기 구문 구성요소를 삽입 및 설정한다. 보증을 부여하는 경우에는 인코딩 된 경계 배향 보장에 순응하는 설정에 대응하는 소정의 시간 기간 (608)에 대한 단기 구문 구성요소 (602)의 설정에 대한 가능성을 제한한다. 그렇지 않은 경우, 인코더는 시간 기간 608 동안 단기 구문 구성요소를 설정하도록 자유롭게 남아있다. 공간 세그먼트로서의 타일을 이용할 때, 인코더는 공간 추정이 타일 경계에 교차하지 않는 다는 제한에 순응하고, 경계는 각 타일에 대한 자기 제한 방법(self-contained manner)이 수행되는 픽처 12와 15 타일의 선택적인 엔트로피 인코딩 경계이다. 예컨대, 엔트로피 확률은 각각의 타일에 대해, 다른 타일로부터 독립적인 새로운 각 타일에 대해 초기화된다. 서브스트림의 경우에서, 서브스트림의 엔트로피 확률 초기화는 새롭게 수행된다. 즉, 임의의 두 번째 및 이어지는 서브스트림을 고려하는 한 바로 선행하는 서브스트림의 중간 위치로 채택되는 엔트로피 확률의 채택에 의해 그리고 각 픽처 12,15의 임의의 제 1서브스트림에 대해 임의의 다른 서브 스트림으로부터 독립적이다. 공간 추정은 서브 스트림 경계의 교차를 고려하는 임의의 제한 없이 수행된다.
도 4에 관련하여 도시된 방법에서, 정렬 개념은 HEVC 표준의 현재로의 관찰된 확장을 아래에 제안되는 방법대로 도입할 수 있다. 도 3에 관하여 상술 앞당겨 설명 하는 한 가능한 구현에 관한 세부 사항의 기초로서 해석되어야 한다.HEVC는 타일로 지칭되는 직사각형의 영역으로의 수평 및 수직 경계 그리드를 통해 코딩 된 베이스 레이어 픽처의 CTBs 분할을 허용한다. 그리고, 이는 내부-루프 필터링에 대해 예외적으로 독립적으로 처리될 수 있다. 내부-루프 필터(in-loop filters)는 그들을 완전하게 독립적으로 만들기 위해 타일 경계에서 전환될 수 있다. 분석 및 추정 의존은 픽처 경계와 매우 유사한 타일 경계에서 깨진다. 반면 내부-루프 필더는 만일 타일 경계 산출물이 경감되게 하기 위해 구성되는 경우 타일 경계를 교차할 수 있다. 따라서, 개별적인 타일의 처리는 필터링 구성에 의존하는 완전하게 또는 광범위하게 확대되는 픽처 내부의 다른 타일에 의존한다. 타일의 모든 CTB들에 대해 설치된 제한은 동일한 슬라이스 또는 CTB들에 대해 동일한 타일로 포함되는 모든 슬라이스로 포함되어야 한다. 도 1에 도시된 바와 같이, 타일들은 타일의 순서를 고려하기 위해 CTB 스캔을 강화한다. 즉, 첫 번째, 예에 속하는 모든 CTB를 통과한다. 예컨대, 두 번째 타일에 속하는 CTBs로, 계속 이어지기 전에, 타일 왼쪽 상단 오른쪽을 통과한다. 구조는 타일 구조 내의 사진 격자를 구성하는 각각의 타일 행 및 열의 CTBs의 개수와 크기를 통해 정의된다. 이러한 구조는 하나의 프레임 단위로 변경될 또는 코딩된 비디오 시퀀스에 걸쳐 일정하게 유지할 수 있다.
도 5는 구 타일에 픽처 내부의 CTBs의 예시적인 분할을 도시한다. 두꺼운 검은 선은 타일의 경계를 나타내고, 번호는 타일 순서를 드러내는 CTBs의 스캐닝 순서를 나타낸다.
HEVC 확장의 확장 계층(레이어) 타일은 기본(베이스) 레이어 비트 스트림의 대응하는 화상 영역을 커버하는 모든 타일들이 디코딩 되자마자 디코딩 될 수 있다.
다음의 섹션은 도 2의 개념을 사용하여 기본 레이어 정보에 쉽게 액세스 할 수 있도록 도 4의 시그널링 및 디코딩 처리 수정을 설명하기 위해 제한한다.
타일 레벨 병렬화의 가장 간단한 경우는, 베이스 및 확장 레이어의 경계가 정렬된 경우이다. SNR 확장성을 위해, 동일한 위치에서는 경계가 정확한 것으로 한다. 이는 각각 두 개의 확장 레이어 화소에 대한 공간 확장성을 의미한다. 이는 같은 타일을 포함하고, 또한 베이스 레이어 화소에 대응하는 동일한 타일 및 각각 두 개의 베이스 레이어 화소에 대해 포함한다.
HEVC 는 column_width_minus1[ i ] 및 row_height_minus1[ i ] from [1]으로 주어지는 파라미터 집합의 사용에 의한HEVC 기반의 픽처 당 픽처 내부의 타일의 구조와 차원을 나타내는 도 4의 602에 대응하는 단기 신호를 특징으로 한다. 도 6은 예시적인 구문 구조를 나타낸다.
HEVC는 또한 예컨대, HEVC 코딩된 비디오 시퀀스(cp. tiles_fixed_structure_flag in VUI syntax given below)단일 레이어 안의 고정된 타일 구조를 나타내는 HEVC 코딩된 비디오 시퀀스에 대한 특정 설정 보증 제한의 신호화를 특징으로 한다. 확장 가능 코딩 된 비디오 시퀀스의 타일의 추가 제한은 디코더 초기화 및 동작에 유익하다. 디코더가 베이스 레이어 타일 완료 후 기본 레이어 타일과 연관된 확장 레이어 이미지 영역을 디코딩하기 시작할 수 있도록 하기 위해서는, 완전한 정렬을 시행할 필요가 없다. 특히, 공간 확장성에서, 베이스 레이어 보다 확장 레이어에서 더 많은 타일이 도움이 될 수 있다. 예컨대, 두 가지 공간 확장성 요인에서는, 4배수 화소가 베이스 레이어 이미지 영역에 대응하도록 비교되는 확장 레이어 이미지에서 제한된다. 그러므로 각 베이스 레이어 타일에 대한 확장 레이어 에서의 4개의 타일을 허용하는 것이 도움이 된다. 도 7은 공간 확장성으로 정렬된 타일 경계에 대한 예를 보여준다. 모든 수직 경계는 기저 및 확장 레이어에서 정렬된다. 확장 레이어에 부가 타일 (수평 경계)은 기본 레이어 타일 분할과 확장 레이어 타일 당 화소 수가 동일하여 병렬화를 허용하기 위해 사용된다.
따라서 주위의 다른 방법이 아닌 단지 각 기본 층의 경계가 확장 계층에 대응하는 경계를 갖는 방식으로 타일 경계 배향을 정의한다. 이는 바로, 동일한 타일에 속하는 각각의 향상 레이어 화소에 대응하는 기본 레이어 화소는 동일한 타일에 속하는 것을 의미한다.
시그널링(신호화)(606)은 병렬 디코더 환경을 초기화 하는데 도움을 주는 반면, 여러 개의 파라미터 집합 분석에 의한 정보를 모으게 한다. 또한 예컨대, 도 4의 개념에서, 비트 스트림 제한 형태에서는 상기 제한이 완전히 코딩된 비디오 시퀀스에서 유효하다는 것을 보증한다.
기저 레이어 경계가 확장 레이어 경계의 서브 셋인 경우, 가능 실시예는 확장 레이어에서 기저 레이어 타일 경계의 신호화를 절약하는 것을 허용한다.
타일 정렬에 대한 정보는 디코더에 의한 쉬운 접근에 대해 비트 스트림에서 명확하게 신호화 된다.
신호화의 구체적인 실시예는 도 8에 도시된 바와 같이, 확장 레이어 SPS의 VUI 파라미터에서의 플래그를 사용하여 획득될 수 있다.
1과 동일한 코딩 된 비디오 시퀀스에서 각각의 활성 픽처 파라미터 집합 구문 구성 요소 가 존재할 때num_tile_columns_minus1, num_tile_rows_minus1, uniform_spacing_flag, column_width_minus1[ i ], row_height_minus1[ i ] 와 loop_filter_across_tiles_enabled_flag,의 동일한 값을 갖는 것을 나타낸다. 0과 동일한 tiles_fixed_structure_flag는 다른 픽처 파라미터 집합에서의 구문 구성요소 타일에서 동일한 값을 갖지 않을 수 있음을 나타낸다. tiles_fixed_structure_flag 구문 구성 요소가 존재하지 않는 경우, 0과 동일한 것으로 추정된다.
1과 동일한 tiles_fixed_structure_flag의 시그널링이 부호화된 비디오 시퀀스에 있는 각 포토 멀티 스레드 디코딩의 경우 작업 할당에 유용할 수 있는 동일한 방식으로 분산된 타일 개수가 동일한 디코더를 보장한다.
tile_boundaries_aligned_flag는 도 4의 구조 606에 대응한다. 1과 동일한 경우, 해당베이스 레이어 픽처의 모든 타일 경계가 주어진 확장 레이어에 대응하는 타일 경계를 가질 것을 나타낸다. 0과 동일한 tile_boundaries_aligned_flag는 해당 베이스 레이어와 주어진 확장 레이어 사이에서 타일 구성에 대한 제한이 없다는 것을 나타낸다.
그것은 장기 구문 구성요소 구조는 기 설정된 소정 시간 동안, 보장할 수 있다는 것에 유의해야 한다. 예컨대 픽처 시퀀스, 제 2 레이어의 픽처(15)는 분할 된 공간으로 세그먼트 (82)의 최소 수는 공간 (80) 세그먼트의 최소 수보다 n 배 더 서브 분할 되고, 제 1 레이어의 픽처 (12)는 분할되어 있거나, 픽처 (12)의 각각의 공간 세그먼트 n이 장기 구문 요소 구조의 값에 의존하여, 시간 - 정렬 된 사진 (15)의 정확히 N 공간적 세그먼트로 구성된다. 도 7의 경우 n은 3과 같다. 디코더는 기 설정된 시간 주기보다 적은 시간 간격에서 멀티 레이어 비디오 데이터 스트림40의 단기 구문 구성요소를 기반으로 하는 공간 세그먼트 80과82로의 제1 레이어와 제 2 레이어의 픽처 12,15의 실제 서브 분할을 여전히 주기적으로 결정한다 그러나 다시, 보증은 보다 효율적으로 작업 부하 할당을 수행하기 위해서 디코더에 의해 이용될 수 있다. 또 다른 측면은 “기회주의적 디코딩”이다: 여러 개의 CPU를 구비하는 디코더는 레이어의 병렬을 힌트로 간주하여 이용하도록 보증하고, 즉, 더 높은 공간 해상도 또는 더 많은 수의 레이어와 같은 그에 대한 더 높은 복잡성의 레이어들을 디코드하기 위해 결정한다. 단일 코어의 용량을 초과하는 비트 스트림은 동일한 디코더의 모든 코어를 사용함으로써 디코딩 가능해 질 수 있다. 프로파일 및 레벨 표시자가 최소 병렬에 대한 표시 등과 관계가 없는 경우 이러한 정보는 특히 도움이 된다.
제 2 측면이 이후에 논의되고, 제시된다.“제한된 인터 레이어 업 샘플링”으로 불리는 개념을 고려하면, 비트 스트림의 구문 구성요소(예컨대, independent_tile_upsampling_idc)는 공간 확장 가능한 멀티 레이어 비디오의 경우 업 샘플링 필터 36을 조정하기 위해 사용된다. 만일 업 샘플링 필터링이 공간 세그먼트 경계를 교차하는 레이어 0에서 수행되는 경우, 레이어 0의 공간 세그먼트 80의 인코딩/디코딩으로 상대적인 레이어 1의 공간 세그먼트 82의 병렬 디코딩/인코딩에서 충족하는 지연은 업 샘플링 필터가 조합되기 때문에 증가한다. 따라서,레이어 1의 블록 41의 인터 레이어 추정에서 사용되는 추정 참조 38으로 제공하는 레이어 0의 이웃하는 공간 세그먼트의 정보는, 상호 의존적으로 렌더링 된다. 도 9를 참조한다. 두 픽처 12와 15는 공간 대응에 따른 서로로의 등록과 두 공간 차원 방식으로의 중첩을 도시한다. 즉, 일부는 서로 중첩되는 장면의 동일한 부분을 도시한다. 픽처 12 및 15는 예시적으로 6및 12로 분할되는 것을 보여주고, 타일과 같은 공간 세그먼트를 각각 보여준다. 공간적으로 중첩하는 좌측 상단 타일, 픽처 15의 타일 내부의 임의의 블록을 추정하는 인터 레이어를 기반으로 이의 업 샘플링된 버전을 획득하기 위해 필터 커널 200은 픽처 12의 좌측-상단에 교차로 움직이는 것을 도시한다. 커널 200의 202에서와 같은 중간 몇몇 중간 실시예는 픽처 12의 이웃하는 타일을 중첩한다. 따라서 업 샘플된 버전의 위치202의 커널200의 중간의 샘플 값은 그의 우측 픽처의 타일의 샘플들 뿐만 아니라 픽처 12의 상단 좌측의 샘플들 모두에 의존한다. 만일 픽처 12의 업샘플된 버전이 인터 레이어 추정을 기초로 제공하는 경우, 레이어의 세그먼트 병렬 처리에서의 인터 레이어 오프셋은 증가된다. 따라서 제한이 다란 레이어로 교차하는 병렬 양을 증가시키는데 도움이 될 수 있고, 이에 따라 전반적인 코딩 지연이 감소된다. 자연스럽게, 구문 구성요소는 픽처의 시퀀스에 대해 유요한 장기 구문 구성요소가 될 수 있다. 제한은 아래 방법들 중 하나로 획득 될 수 있다. 예컨대, 중첩하는 위치 202에서의 커널 200의 일부에 커널 200의 선이 그어지원 않은 일부로 내부로의 샘플링 값의 중심 경향으로 중첩을 채우거나, 하나 또는 이와 같은 선으로의 다른 기능 또는 선형을 이용한 표시되지 않은 외삽(extrapolating)으로 제한한다.
후자의 측면을 보다 명확히 하기 위해, 도 10의 참조번호가 도시된다. 레이어 1에서의 픽처 15와 레이어 0에서의 픽처 12에 대응하는 다른 공간 레이어에서 코딩된 픽처로의 공간적으로 확장 가능한 비트 스트림 40을 수신하는 디코더 610을 도시한다. 이러한 공간 레이어 중 적어도 하나에 있어서, 디코더 610는 공간 세그먼트와 동일하게 디코딩 하도록 구성된다. 전술한 바와 일치하도록, 이러한 공간 세그먼트는 타일 또는 서브스트림 또는 슬라이스가 될 수 있다. 이와 같이, 디코더 610는 병렬 디코딩을 위한 픽처 12 또는 픽처 15의 공간 세그먼트를 따르도록 구성될 수 있다. 즉,베이스 레이어 픽처 (12)는 타일 및 / 또는 서브 스트림 및 / 또는 조각 및 / 또는 확장 레이어 픽처 (15)과 같은 공간적인 세그먼트들로 분할 될 수 있다. 타일 및 / 또는 서브 스트림 및 / 또는 슬라이스로 서브 분할할 수 있다.병렬 디코딩에 관한 세부 사항에 관해서는 , 도 4의 설명을 참조로 하고, 이는 도 10의 디코더 610으로 용이하게 전달될 수 있다. 즉, 만일 베이스 레이어 12와 15는 예컨대 레이어 된 비디오의 일부인 경우 레이어 픽처 12를 기반으로 하는 디코딩에서, 디코더 610은 공간 추정과 선택적으로 일시적인 추정을 사용한다. 타일의 경우, 공간 추정은 타일 경계로 교차되지 않도록 제한되고, 동일하게 엔트로피 디코딩으로 적용한다. 이는 만일 엔트로피 디코딩이 사용되는 경우 타일에 대해 완전하게 분리적으로 수행된다. 동일하게 확장 레이어 픽처 15로, 부가적으로 인터 레이어 추정을 지원하는 동안 적용한다. 전술한 바와 같이, 인터 레이어 추정은 디코딩 베이스 레이어에서 사용되는 추정 파라미터에 대응하는 것을 기반으로 하는 확장 레이어의 추정 파라미터를 고려할 뿐만 아니라, 인터 레이어 추정을 이용하여 현재 추정되는 확장 레이어 픽처 15의 일부로의 상대적으로 동일 위치의 기저 레이어 픽처의 재 구축된 샘플로부터 유도되는 추정들도 고려한다. 비트 스트림 (40)은 공간적으로 확장 가능한 비트 스트림 일 수 있다. 그러나,베이스 레이어 픽처 (12)의 임의의 동일 위치의 부분에 의해 업 샘플링 될 수 있다. 확장 레이어 픽처 (15)의 현재 처리 부분의 레이어 간 추정의 기초를 형성 하기 위해 디코더 (610)는 픽처 12로의 상대적인 픽처 15 높은 공간 해상도를 차지한다. 예컨대, 도 11을 참조하면, 확장 레이어 픽처(15)의 현재 추정되는 부분이 참조번호 612를 사용하여 나타낸다. 베이스 레이어 픽처 12에서 동일한 위치의 부분은 참조번호 614를 이용하여 나타내어진다. 확장 레이어 픽처 15의 더 높은 공간 해상도 때문에, 일부612( 점으로 표시된)내부의 샘플 위치 수는 일부 614(점에 의해 도시되는) 내부의 샘플들의 수 보다 더 많이 도시된다. 따라서, 디코더 610은 베이스 레이어 픽처 12의 이미 재 구축된 버전의 일부 614에서 업 샘플하기 위해 보간(interpolation)을 사용한다. 따라서, 도 10의 디코더 610은 공간적으로 확장 가능한 비트스트림 40에서 구문 구성요소로 응답한다.
특히, 전술한 응답성은 도 12에서 더욱 상세하게 설명된다. 도 12는 베이스 레이어 픽처 12내부의 일부 614를 도시한다. 즉, 업 샘플링 되지 않은 버전에서 참조하는 일부뿐만 아니라 참조 번호 618을 이용하여 표시되는 업 샘플링 되지 않은 버전에 대응한다. 전술한 바와 같이, 버전 618은 복사에 의해 인터 레이어 추정에 대해 후에 이용된다. 예컨대, 확장 레이어 15의 612일부로의 각 업 샘플된 샘플 값은 보간 620에 의해 베이스 레이어 픽처 12로부터 획득된다. 하지만, 보간 620는 언급된 구문 구성요소 616에 의존한다. 보간(620) 방법은 구문 구성요소에 의존하여 변화하고, 베이스 레이어 픽처와 업 샘플 된 그것의 버전 각각의 분할의 이웃하는 파티션 사이의 경계를 따르는 영역과 관련된다. 특히, 분할은 이전에 전술한 공간 세그먼트에 의존하고, 이는 적어도 픽처 12 및 15로 서브 분할 된다. 도 11에서 도시된 점선 600를 이용한 베이스 레이어 픽처 12내의 분할이 표시된다. 확장 레이어 픽처 15의 공간 세그먼트에 의해 정의되는 분할과 공간적으로 일치하거나 또는 픽처 12 및 15의 공간적인 세그먼트의 경계의 공간적인 중첩의 논리적인 AND 또는 논리적인 OR조합에 대응하는 예컨대, 분할(622)은, 이하에서 상세히 설명할 것이다. 임의의 경우에, 구문 구성요소(616), 디코더 (610)에 따라 어느 하나에 관계없이 분할 622 또는 622을 구획을 고려한 보간을 수행한다 (620). 분할을 고려할 때, 임의의 다른 분할 부분622 로부터 독립적인 동안, 파티션 분할 622 의 하나의 샘플에 의해 영향을 받거나, 또는 의존하거나 또는 업 샘플링 일부 (618) 내의 모든 샘플들이 단지 줄기인 보간620을 수행한다. 만일 예컨대, 파티션 (622)이 픽처12,15의 공간 세그먼트 또는 그것의 조합의 경계의 로컬 AND 조합 중 하나인 경우,이는 베이스 레이어 픽처 12의 단지 하나의 부분으로부터 보간 된 부분 618 줄기의 모든 샘플을 의미한다. 만약, 그러나 구문 구성요소 616이 분할 622로 민감하지 않은 디코더 610을 지시하는 경우, 분할 622의 이웃하는 파티션으로부터의 보간 부분 618 줄기 내의 다른 샘플들이 발생할 수 있다.
예컨대 612,는 도 12에서 원형을 만드는 보간 된 샘플을 획득하기 위한 보간 620을 수행하기 위한 필터 커널 200의 경우를 나타내고, 커널 624는 분할 622의 두 이웃하는 파티션 사이의 경계를 중첩한다. 디코더 610이 보통 필터 커널 624 중 하나를 채우기 위한 구문 구성요소에 응답하는 경우, 즉, 완전하게 베이스 레이어 픽처 12의 샘플들이 각각 포함되는 필터 커널 624로 적용함으로써, 또는 각각의 조각에 따른 대체 규칙을 이용하여, 베이스 레이어 12의 하부로부터 독립적으로 채워지는 도 12에서 해싱을 이용하여 각각 나타내어지는 일부 614 및 618을 포함하지 않는 이웃하는 파티션으로 돌출하는 필터 커널 624의 조각을 채움으로써, 구문 구성요소에 응답한다. 예컨대, 해쉬 된 필터 커널624의 일부는 필터 커널 624의 해쉬 되지 않은 일보의 샘플 값의 수단을 의미하는 일부로 채워지거나, 또는 일부 외삽의 방법에 의해 채워진다. 다른 실시예에 있어서, 베이스 레이어 픽처 12의 샘플 값은 0 또는 그와 같은 기 설정된 값을 이용하여 채워지는 해쉬 된 부분에 의해 중첩된다. 일반적으로, 디코더(610)는 예를 들어, 보간 (620)에 동일한 대체 규칙 근처 또는 픽처(12)의 외주에서의 업 샘플링 / 보간을 수행하는데 사용 된 바와 같이, 픽처 (12) 자체의 외부 가장자리와 같은 부분 (614)을 포괄하는 부분을 분리하는 파티션 경계와 인접 파티션을 처리 및 사용할 수 있다.
본 출원의 일 실시 예에 따르면, 파티션 (622)은 세그먼트들로 공간적 관계없이 확장 레이어 픽처 (15)의 임의의 서브 분할의 공간 부분에 베이스 레이어 픽처의 서브 분할과 일치하도록 선택된다. 그리고,베이스 레이어 픽처 12 및 디코더에 의한 확장 레이어 픽처 15 사이의 인터-레이어 오프셋은 확장 레이어 픽처 15의 일부 612 추정 인터 레이어 추정을 수행하기 전에 디코딩된 이웃하는 분할/공간적 세그먼트를 구비하는 디코더 610을 필요로 하지 않는 베이스 레이어 픽처12의 일부 614와 같은 일부로서 감소된다.
대안적으로, 디코더 610은 공간적인 세그먼트로의 픽처 15의 서브 분할과 위치적으로 일치하는 분할 622를 결정하도록 구성될 수 있다. 또 다른 실시예에 있어서, 디코더 610은 픽처 12 및 15의 공간 세그먼트 경계로 단지 구성되는 분할622를 선택하기 위해 구성될 수 있다. 이는 공간적으로 일치하는데, 즉, 픽처 12 및 15의 경계의 논리적인 AND에 대응하기 위해 - 다시 말해, 공간적인 세그먼트로의 단지 픽처 15의 서브 분할의 이러한 경계는 분할 622의 파티션 사이의 경계에 따라 형성되고, 이는 공간적으로 공간적인 세그먼트로의 베이스 레이어 픽처12의 서브 분할의 각 경계에 대응한다.
이는 또한 이하에서 보다 상세히 설명되는 것으로 가능하다. 구문 구성 요소(616)는 보간 620에서의 분할 622를 고려하지 않을 뿐만 아니라, 선택된 분할 622의 다른 방법들을 구별 하는 것에 의해 디코더 610을 지시할 수 있다. 도 9를 참조하면, 공간 세그먼트로서 예시적으로 타일이 사용된다. 구문 구성요소 (616) 신호 (622)를 구획하는 별도 보간 (620)를 수행하기 위해 디코더(610) 경우들이 타일로 (15) 확장 레이어 픽처의 미세한 서브 분할과 일치하기 때문에, 디코더 (610)는, 예를 들면, 파티션 (622)의 경계선으로 기본 계층 영상 (12)의 경계를 사용할 수 있다. 따라서, 확장 레이어 픽처(15)의 최상부의 타일 행의 제 2 타일의 타일 디코딩을 개시하기 위해, 디코더 610은 베이스 레이어 픽처 12의 최상부의 행에서의 제 2타일의 디코딩의 종결을 위해 대기하는 것이 필요하지 않다. 이는 “보간 분리”가 베이스 레이어 픽처12의 최 상단 행에서의 제 1 타일의 재 구출된 샘플의 임의의 혼합을 방지하기 때문이다. 만일, 타일로 완전하게 확장 레이어 픽처15의 서브 분할을 채택하는 경우, 분할 622를 채택하기 위해, 보간 분할은 또한 도 9의 점선에서 수행된다. 그리고 디코더 610은 확장 레이어 픽처 15보다 심지어 더 일찍 상단 좌측 타일의 디코딩을 개시할 수 있다. 즉, 디코더 610이 베이스 레이어 픽처 12의 제 1타일의 각각 위치가 같은 서브-부분을 디코딩 하도록 관리된다. 이와 관련하여, 심지어 디코딩 타일에서는 , 각 타일의 어떤 디코딩 순서를 사용할 수 있음을 유의 해야 하고, 디코더 (610)는, 예컨대, 우측 하단 모서리에 행 방향 방식으로 각 타일의 왼쪽 상단에서 이어지는 몇몇 래스터 스캔 순서를 포함할 수 있다.즉, 제 2 측면과 관련하여, 비트스트림을 형성하는 인코더는 구문 구성요소 616의 방법에 의한 두 개의 모드 사이에서 선택 가능하다. 구문 구성요소 (616)가 설정되어있는 경우ㅡ 비트 스트림 40으로 삽입되는 경우ㅡ분할 622로 민감하지 않은 디코더를 지시하기 위해-더 나은 인터-레이어 추정이 더 나은 보간 때문에 획득될 수 있다. 하지만 병렬 디코딩 픽처 12 및 15에서 획득 가능한 정도는 감소된다. 즉, 이를 따르는 최소 인터 레이어 오프셋이 증가된다. 다른 모드 안에서, 구문 구성요소 616는 인터 레이어 추정 목적을 위한 보간 620을 수행할 때 분할 622를 고려하여 디코더610를 지시한다. 그리고 이에 따라 인터 레이어 추정 품질은 병렬 정도가 증가에 유리하게 감소된다. 그리고 병렬 디코딩 픽처 12 및 15 각각에서 최소 인터 레이어 디코딩이 감소된다.
위에서 설명한 제한된 전환 레이어 간 업 샘플링을 구현하는 상세한 실시 예를 이하에서 제공하기 전에, 예를 들면, 도 4에 도시된 경우와 같이 그 구문 구성 요소 (616)가 신호 또는 그것도 경우와 마찬가지로 픽처의 이미지의 시간 - 정렬되는 한 쌍의 픽처 (12) 및 (15)의 경우, 프레임 당 시간 제한을 전환할 수 있음을 유의한다. 또한 더불어, 본원의 실시예에 따른 디코더는 도 4 뿐만 아니라 도 10 두 도면 각각에 제공된 설명과 기능에 일치 할 수 있음에 유의해야 한다. 이점에 있어서, 픽처 12 및 15의 공간 세그먼트의 위치 및 지역의 신호화 및 단기 구문 구성요소 관련 부분이 도 4에 의해 제공된다는 점에 유의하고, 도 10 내지 13 각각에서 설명되는 본원의 실시예와 동일하게 취급 될 수 있음에 유의한다. 마지막으로,도 10 디코더의 경우 제 2 측면이 유리할 것으로 주목된다. 도 10은 레이어 1 및1의 픽처 디코딩 디코더 픽처였다. 일시적인 구성요소는 선택적이다. HEVC에서 업 샘플링 하는 제한 인터-6레이어 구현이 이하에서 가능하다. 공간 확장성 업 샘플링 된 베이스 레이어 픽처는 확장 레이어 픽처를 추정하는데 사용될 수 있다. 이 과정에서, 추정 값은 해당베이스 레이어 이미지 영역의 다수의 화소 값을 이용하여 확장 레이어의 각 화소 위치 (일반적으로 수평 및 수직 방향으로)에 대해 계산된다. 다른 기본 레이어 타일 화소가 사용되는 경우에만 확장 레이어 타일과 동일한 이미지 영역을 덮는 베이스 레이어 타일 정보로부터 추가 레이어 타일을 디코딩 할 수 없다. 비트 스트림 제한으로서 인터 레이어 업 샘플링으로 제한된 신호화는 디코더를 보장하고, 디코더는 공간 분할로 코딩된 비디오 시퀀스의 모든 파라미터 집합는 제한에 따르고 따라서 초기화를 단순화하고 병렬 멀티 레이어 디코더를 동작한다. 도 10d에 구현되는 개념은 확장 레이어 타일에 대응하는 기본 레이어 타일에 포함되지 않은 업 샘플링을 위한 인접 화소 정보의 사용을 허용하는 메커니즘으로 구현 될 수 있다. 디코더는 모든 확장 레이어 타일 경계에서 베이스 레이어에 대응하는 화상 영역 외부 화소를 사용하도록 허용되어 있는지의 여부를 비트 스트림에서 시그널링 하도록 한다.
대안으로서 이는 디코더가 단지 기본 레이어 타일의 경계에 해당하는 확장 레이어4 타일 경계의 모든 확장 레이어 타일 경계에서 베이스 계층의 대응하는 화상 영역 외부 펠을 사용하는 것이 허용되는지 여부를 비트 스트림에 시그널링 되도록 한다.
타일 경계에서의 베이스 레이어의 업 샘플링에 대한 구체적인 실시예에 있어서, 이웃하는 화소를 사용할 수 있는 픽처 경계로서 수행된다.
도 14에서 제시된 특정 실시 예에서 시그널링은, 확장 레이어의 픽처 파라미터 집합 플래그를 사용함으로써 달성될 수 있다.
independent_tile_upsampling_idc는 구문 구성요소 612에 대응한다. independent_tile_upsampling_idc는 타일 경계에 교차하지 않고 업 샘플링 필터를 0과 동일하지 않도록 제한한다. independent_tile_upsampling_idc이 2 인 경우, 확장 레이어 타일에 대응하는 화상 영역 외부에 있는 어떤 기본 레이어 업 샘플링에 대한 샘플은 사용되지 않는다. ndependent_tile_upsampling_idc이 1이면 제한은 오직 베이스 레이어 타일 경계와 정렬되는 확장 레이어 타일 경계들에 적용된다. independent_tile_upsampling_idc 0이이 제한을 의미하지는 않습니다. 마지막으로, 도 15a는 두 개의 타일 분할된 픽처 12및15가 예시적으로 도 14의 예 구문 구성요소의 612를 나타내기 위한 방법에 대응하여 공간적으로 중첩하는 것을 보여준다. 2와 동일한 independent_tile_upsampling_idc는 임의의 확장 레이어 타일 경계를 교차하지 않도록 업 샘플링 필터링을 제한한다. 간단한 점선 400을 참조한다. 만일 independent_tile_upsampling_idc가 1과 동일한 경우, 제한은 오직 베이스 레이어 타일 경계로 정렬된 확장 레이어 타일 경계에 적용된다. 두 점선 라인 402를 참조한다. 0과 같은 independent_tile_upsampling_idc은 이 제한을 함축하지 않는다.
대안적인 independent_tile_upsampling_idc = 2 모드 또는,부가적인 independent_tile_upsampling_idc = 3와 같이, 업 샘플링 필터는 확장 레이어의 베이스 레이어 및 확장 레이어가 아닌, 임의의 타일 경계, 를 교차하지 않도록 제한 할 수 있다.
즉, 모드에 의존하면, 경계 400,402, 또는 404에서 , 업 샘플 필터는 도 9에 관해 설명된 바와 같이 처리될 수 있다.
본 출원의 다음 측면으로 넘어가기 전에, 레이어간 추정 결과를 획득하기 위해 도 2에서의 추정기 60에서는 예컨대, 설명되는 보간620이 수행될 것으로 간단히 주목 된다. 인코더는 인코딩 측면에서 동일한 추정을 수행하기 때문에, 보간 620은 인코더 측면 예컨대 추정기 18내에서와 같이 구문 구성요소 616의 설정에 의존하여 수행된다. 코딩 측면에서는, 예컨대 출원 시나리오에 의존하여 구문 구성요소가 어떻게 수행될 것인지의 설정을 결정한다. 예컨대, 더 높은 중요도의 낮은 지연의 경우, 구문 구성요소는 인터 레이어 업 샘플링 제한을 위해 설정될 수 있고,그리고 다른 출원 시나리오에서, 이는 압축 비율을 증가시키고 더 나은 추정을 가지는데 더욱 중요할 수 있다. 이 때문에, 인터 레이어 업 샘플링을 제한하지 않기 위한 구문 구성요소 612를 설정하는 것은 보다 바람직하다.
언급한 최소 코딩 지연-또는 오프셋-연속적인 레이어의 공간 세그먼트의 코딩 사이는 다음 측면에서도 대상이 된다. 이는 “레이어 코딩 지연 표시(Layer Decoding Delay Indication)”로 지칭 될 수 있다. 디코더는 최소 디코딩 지연-또는 오프셋-단기 구문 구성요소에 기반한 픽처 12의 공간 세그먼트에 상대적인 픽처 15의 공간 세그먼트의 코딩 사이와 같은 것을 결정 할 수 있다. 하지만 다음 개념에 따르면, 장기 구문 구성요소 구조는 미리 기 설정된 시간 주기 동안 인터 레이어-지연 또는 오프셋 신호를 위해 사용된다. 다시, 이는 디코더의 비트 스트림 40의 병렬 디코딩 내의 부하 할당 수행에 도움이 된다. “지연” 또는 “오프셋” 공간 세그먼트의 수단은 즉, 오프셋이 공간 세그먼트(타일, 슬라이스 또는 WPP에 대한 CTB 행)의 유닛에서 표현되도록 사용될 수 있다.
후자의 측면을 보다 자세히 설명하기 위해, 도 16이 참조로 사용된다. 이는 도 4와 큰 부분에서 일치한다. 따라서, 가능하다면 도 16에서의 동일한 참조 부호도 사용된다. 그리고 이러한 동일한 구성요소에 의해 언급되는 구성요소는, 도 4에 관해 이전에 설명된 것과 도 16에 동일하게 적용한다. 또한, 비디오 디코더 (640)는 도 4의 장기 구문 구성요소 606관해 아래에 설명되는 기능에 더하여, 도 16에 도시 된 기능을 통합 할 수 있다. 이제, 도 16의 본 출원에 대한 측면에서 또한 장기 구문 구성요소, 즉 642를 이용한다. 이는 또한 기 설정된 시간 주기 608을 획득하거나 언급하기 위해 비트 스트림 40으로 삽입 될 수 있다. 다시 말해, 비디오 디코더 640은 구문 구성요소 구조 642 뿐만 아니라 도 4의 구문 구성요소 구조 606에 단지 후자는 기능적으로, 반응할 수 있고, 이는 아래에 더 표시되고, 도 16의 디코더 640에 대해 중요하다. 반면 구문 구성요소 구조 606에 대해 기능적으로 그리고 비트 스트림 40에서의 구문 구성요소 구조 606의 존재는 비디오 디코더 640에 대해 선택적이다. 그러나 비디오 디코더 600에 대한 설명 집합는 동일하게 비디오 디코더 640으로 적용한다. 즉, 비디오 디코더 640은 제 2 레이어,레이어 1로의 제 1레이어,레이어 0으로부터의 인터 레이어 추정을 이용하는 레이어 계층구조에서 코딩된 장면으로, 멀티 레이어 비디오 데이터 스트림 40의 디코딩이 가능하다. 비디오 디코더 40은 공간 세그먼트에서 멀티 레이어 비디오 데이터 스트림의 제 2레이어의 픽처의 공간 세그먼트의 탐색으로 상대적인 제 1레이어의 픽처의 공간 세그먼트의 탐색 사이의 인터 레이어 오프셋으로의 일시적인 중첩 방법으로 세그먼트의 순차적인 탐색에 의해 분할되는 레이어의 픽처로 병렬 디코딩을 지원한다. 유의할 사항은 공간 세그먼트로 표현되는 것들은 타일, 서브스트림 또는 슬라이스이고, 언급된 세그먼트 유닛의 균등한 혼합이 가능하다. 타일 및/또는 서브스트림 개념에서 슬라이스 개념의 조합으로, “공간 세그먼트”가 무엇인가에 대한 정의는 실제적으로 존재하지만 다를 수 있다.
도 16의 비디오 디코더에서의 임의의 경우에 있어서, 일반적인 시간 프레임 604의 픽처 12 및15 를 고려하여, 다른 한편으로 병렬인 픽처 15의 공간 세그먼트 및 다른 한편으로의 픽처 12의 공간 세그먼트를 일시적으로 즉 중첩하는 방식으로 디코딩 한다. 자연스럽게, 비디오 디코더 640의 일단은 인터 레이어 추정을 이유로 두 레이어 사이의 오프셋의 몇몇 최소 디코딩에 따르는 것을 필요로 한다. 픽처 15내의 확장 레이어 1의 현재 디코딩된 일부는 레이어 0의 일시적으로 정렬된 픽처의 디코딩된 일부를 이미 포함한다.
도 16의 경우, 장기 구문 구성요소의 구조 642는 비디오 디코더 640에 의해 미리 기 설정된 시간 주기의 608의 인터 레이어 오프셋을 결정하기 위해 사용된다.
도 16의 실시 예와 관련하여, 인터 레이어 오프셋은 한편에 픽처(12)와 다른 한편으로는 시간 정렬 된 사진(15)의 제 1 공간 세그먼트의 "거리"에 대한 스칼라 계수이다. “거리”는 공간적으로 바람직하게 측정된다. 뿐만 아니라, 의미 있게, 인터 레이어 오프셋에서 이는 장기 구문 구성요소 642를 기반으로 결정될 수 있다. 이는 픽처 12의 제 1공간 세그먼트의 전체 디코딩 과정에 대해 유효하다. 즉, 레이어 간 추정을 위한 픽처(12) 내의 모든 필요한 베이스 부분 픽처 (15)의 전체에 제 1 공간 세그먼트의 디코딩을 위해 이전에 디코딩 된 최초 베이스 레이어 픽처(12)의 공간적인 부분을 "레이어 간 오프셋을"제공 가능하다.
이전에 전술한 바와 같이 픽처 15내의 “현재 디코딩된 부분”은 특정 기 설정된 방법으로 즉 추후 전술되는 병렬 타일 처리를 이용하는 경우의 타일 순서,그리고 서브 스트림 개념을 이용하는 WPP를 이용하는 경우에서의 기울어진 파면의 형태에서 픽처 15를 탐색한다. 동일하게 베이스 레이어 픽처 12의 공간 세그먼트로 적용된다. 인터 레이어 오프셋은 픽처 12의 탐색의 일부를 결정하고, 이는 픽처 15의 제 1공간 세그먼트 전에 이미 처리되어 가장 먼저 디코딩하는 대상 일 수 있다.
도 17a 및 도 17b를 참조로 더욱 자세히 설명한다. 도 17a는 타일 개념으로 상대적인 보다 자세한 장기 구문 구성요소로부터 결정 가능한 인터 레이어 오프셋을 설명한다. 반면 도 17b는 WPP에 관해 보다 자세하게 장기 구문 구성요소를 기초로 결정된 인터 레이어 오프셋을 설명한다. 이후에 도 17c와 연결되어, 장기 구문 구성요소 642를 이용하는 인터 레이어 오프셋 신호는 타일 및/또는 WPP 개념의 이용에 제한 되지 않는다. 오히려 슬라이스로의 픽처의 단지 서브 분할은 정의에 의한 방법으로 자기-제한된다. (즉, 엔트로피 디코딩 및 공간 인트라 픽처 추정은 완전하게 “슬라이스 안에서”수행되거나, 또는 이웃하는 슬라이스로부터 독립적으로 수행된다.) 가능한 장기 구문 요소 (642)에 기초하여 오프셋 층간의 해석을 렌더링한다.
도 17a는 타일로 모두 서브 분할된, 두 시간 정렬된 픽처 12 및 15를 도시한다. 위에서 밝힌 타일 개념의 설명으로부터, 통상 그들이 디코딩 될 필요가 있는 픽처 (12) 또는 (15)의 타일 내에서 고정 된 순서가 없는 것이 분명해 졌다. 오히려, 타일은 임의의 순서로 디코딩 될 수 있다. 그럼에도 불구하고, 도 16의 실시예와 연결하기 위해, 타일 순서는 적어도 베이스 레이어 픽처 12에 관해 정의된다. 타일 순서 644는 타일의 규칙적인 정렬의 하부 우측으로 상부 좌측 타일로부터의 행 방향 순서로 래스터 스캔으로 리드하도록 정의된다. 도 17a의 실시예에 따라 , 장기 rans 구성요소 구조 642에 의해 신호화된 인터 레이어 오프셋은 확장 레이어 픽처 15의 제 1타일을 디코딩 하도록 개시되는 디코더 640을 허용하기 위한 베이스 레이어 픽처12의 타일 순서 644에서 이미 디코딩된 타일의 수를 나타낸다. 확장 레이어 픽처15의 타일 중 “제 1타일”을 결정하기 위해, 확장 레이어 픽처 15의 제 1타일은 확장 레이어 픽처 15의 상단 좌측 타일로서 정의 될 수 있다. 확장 레이어 픽처 15의 이러한 제 1타일로부터 시작되기 때문에, 비디오 디코더 640은 픽처 12의 서브분할 타일에 의존하는 픽처 15의 확장 레이어 타일을 탐색에 대한 타일 순서를 채택 할 수 있다. 도 17의 경우, 예컨대, 픽처의 두 타일로의 픽처 12의 서브 분할은 타일의 두 행과 세 열을 포함한다. 반면 픽처 15는 타일의 두 열의 4행으로 서브 분할된다. 이러한 경우, 처음 두 행을 시작으로 좌측 타일을 탐색하기 위한 확장 레이어 타일의 탐색에 대한 순서를 선택하는 디코더 640이 바람직하다. 그리고 첫 번째 두 열의 우측 탐색, 그리고 화살표 646에 의해 도시되는 확장 레이어 픽처 15의 타일의 더 낮은 행에 대한 이러한 탐색을 반복한다. 본원에 기재된 모든 측면의 유효 대안 예에 따르면, 그러나, 픽처(15)의 확장 레이어 타일 중 타일 디코딩 순서가 고정되기 때문에 타일로 서브 분할되는 기본 레이어 픽처와 독립적이다. 레이어 픽처 디코딩 시작/개시에 대한 단지 트리거로서의 신호화된 인터 레이어 코딩의 경우에는, 어쨌든 리 오더(reorder)가 필요하지 않다. 점선을 사용하여, 도 17은 확장 레이어 픽처 15의 제 1 타일의 포지션에 위치적으로 대응하는 픽처 12에서의 위치를 보여준다. 도 17a로부터 명확해 지는 것과 같이, 도 17a의 실시예에 있어서, 인터 레이어 오프셋은 장기 구문 구성요소 642에 의해 결정되는 “2”가 되고, 픽처 12의 첫 두 타일은 디코더 640이 확장 레이어 픽처 15의 제 1타일 디코딩을 개시하기 전에 디코딩 될 수 있다. 단순히 그런 경우 기본 레이어 픽처 (12)에서 사용 가능한 레이어 간 추정에 필요한 동일 위치의 부분이다.
즉 도 17a의 경우, 비디오 디코더 640는 픽처 15의 확장 레이어 타일의 제 1 타일 디코딩으로 상대적인 픽처 12의 베이스 레이어 타일의 탐색 644사이의 인터 레이어 오프셋 장기 구문 구성요소 642로부터 결정하고 이는 베이스 레이어 타일이다: 타일 순서 644에서 제 1두 베이스 레이어의 디코딩은 비디오 디코더 640이 타일 순서 646에서의 타일의 확장 레이어 타일의 제 1타일 디코딩을 개시하기 전에 대기하여야 한다.
도 17b는 두 개의 시간 정렬된 픽처 12 및 15가 서브 스트림으로 서브 분할된 예시적인 경우와 관련되고, 즉, 도 12 및 도 15의 경우 네 개의 서브스트림의 경우에서의 두 개의 서브스트림이다. 예컨대, 서브 스트림들은 이전에 언급된 코딩 블록 행과 열에서의 픽처 12 및 15의 규칙적인 서브 분할과, 즉, 코딩 블록과 같은 행의 하나에 대응하는 각 서브스트림의 방법으로, 일치 할 수 있다. 전술 한 바와 같이 임의의 경우에, WPP 처리로 인해, 디코딩 순서는 픽처 (12)의 서브 스트림 및 픽처(15)의 서브 스트림 중 각각에 정의되어, 두 디코딩 순서 648 및 650은 상단에서 하단까지 리드한다. 도 17A,의 경우와 마찬가지로. 디코더 (640)는 장기 구문 요소 구조 (642)에 이미 화상 (15)의 첫 번째 서브 스트림을 디코딩 하기 시작하기 전에 디코딩 해야 할 선두 서브 스트림의 개수로 결정하도록 구성된다. 본원의 경우에, 장기 구문 구성요소 구조 (642)는, 1로 인터 레이어 오프셋 신호이고, 베이스 레이어 픽처 (12)의 첫 번째 서브 스트림의 디코딩은 전체 확장 레이어 픽처 (15)의 첫 번째 서브 스트림에 대한 계층 간 추정에 필요한 기준을 제공하기 위해 충분하기 때문이다. 도 17c는 시간 정렬 된 픽처 (12) 및 (15)의 쌍을 나타내고, 모두 슬라이스로 세분된다. 또한, 슬라이스 순서 또는 디코딩 순서는 픽처 12의 조각들과 픽처 15의 조각들 사이에서 정의된 각각 위에서 아래로 이어지는 두 순서 (652) 및 (654)이다. 도 17C 의 예시적인 경우, 한편과 다른 한편에 픽처 15에 픽처(12) 내의 슬라이스 사이의 경계는, 국소적으로 서로 대응한다. 확장 레이어 픽처 15로의 베이스 레이어 픽처 12로부터의 인터 레이어 추정에 의해 유도되는 “번짐”에 의존함에 따라 , 장기 구문 구성요소 구조612는 1또는 2와 동일한 인터 레이어 오프셋 신호 중 하나이다. 특히, 픽처(15)의 레이어 간 추정 부분(12)에 대한 픽처 동일 위치 기준부를 확대 한 대응으로 인해, 이로 인해, 예컨대 불일치 보상 벡터 또는 도 9에서 논의된 업 샘플링 보간 필터 커널 때문에, 예컨대, 슬라이스 순서652에서의 픽처의 첫 두 슬라이스는 확장 레이어 픽처 15의 제 1슬라이스 디코딩 개시가 가능한 디코더 640 이전에 이미 디코딩된다. 그러나 만일, 이러한 인터 레이어 픽처의 번짐 선택이 적용되지 않거나 꺼지는 경우, 이 때문에, 예를 들어, 픽처 12와 15사이의 동일한 뷰에 속하는 두 픽처 12및 15는 따라서 불일치 보상이 발생하지 않고, 장기 구문 구성요소 구조는 인코더에 의해 1과 동일하게 설정되고, 이에 따라 디코더 640은 베이스 레이어 픽처 12의 제1슬라이스가 완전하게 디코딩 되자 마자 확장 레이어 픽처의 제 1슬라이스의 디코딩을 개시할 수 있다.
따라서, 도 16내지 도 17c의 설명은 시간 정렬된 픽처 12 및 15의 임의의 병렬 디코딩 스케줄링에서 디코더를 지원하는 인코더를 도와주는 장기 구문 구성요소 구조 642의 사용을 나타낸다. 즉 전체적으로 소정의 시간주기 (608)에 유효하고, 베이스 레이어 픽처 (12)의 공간적인 세그먼트의 수에 속하는 인터 레이어 오프셋에 대한 장기 구문 요소의 구조에 기초하여 디코더를 통지하고,이는 시간-정렬된 픽처 15의 제 1공간 세그먼트 개시 이전에 이미 디코딩 되어야 한다. 비디오 디코더 640는장기 구문 구성요소 구조642에 의해 신호화된 인터 레이어 오프셋을 결정할 수 있다는 것에 유의해야 한다. 심지어 확장 레이어로 베이스 레이어로부터 인터 레이어 추정 안에서의 단지-아웃라인 되거나 켜지는 이러한 선택에 대한 인터 레이어 추정과 관계되는 잠재적인 선택과 연관되는 부가 구문 구성요소와 단기 구문 구성요소 602의 검사/평가에 기반하는 그 자신에 의해 인터 레이어 오프셋을 결정 할 수 있다는 것에 유의해야 한다. 그러나, 비디오 디코더 (640)는, 장기 구문 구성요소 구조 (642)에 의해 제공되는 동일한 정보를 유도하기 위해 구문 구성요소의 다수를 검사할 것이다. 비디오 디코더 (640)는 단지 긴 소정의 시간주기 (608)에 대한 단기간보다는 사전에 동일한 정보를 유도할 수 있을 것이다.
본 발명의 실시예에 따른 제 1측면 및 제2측면과 유사하게, 이하에서, HEVC로의 지연 표시 측면에 대해 도입 가능한 방법에 대하여 설명한다.
도 18에 대하여, 우선, WPP 현재 HEVC에서 구현되는 방법에 대해 설명한다.즉, 본 설명은 상기 실시 예 중 임의의 WPP 처리의 선택적 구현 예에 대한 기초를 형성한다.
베이스 레이어에서 병렬 처리는 파면 코딩 된 트리 블록 (CTBs) 행의 병렬 프로세싱을 허용한다. 추정 종속성은 CTB 행으로 분리되지 않는다.
엔트로피 코딩에 관련하여, WPP는 도 18에서도 볼 수 있는 바와 같이, 각 상단 CTB 행에서의 상단 좌측 CTB에 의존하는 CABAC를 변경한다. 뒤따르는 행에서의 CTB 엔트로피 코딩은 완료된 우측 상단 CTB에 대응하는 엔트로피 디코딩에서 먼저 시작할 수 있다.
확장 레이어에서, CTB 디코딩은 완전히 디코딩 되고, 가능한 대응하는 이미지를 포함하는 CTB 들로서 시작 할 수 있다.
도 16의 오프셋 표시 개념 또는 디코딩 지연은 병렬화 타일, WPP 또는 슬라이스 활용 계층 비트 스트림에 대한 초기화 및 디코더의 동작을 용이하게 하는 신호화를 최종화 한다.
확장 레이어 CTB 들의 디코딩은 공간 확장가능성을 이용할 때, 대응 이미지 영역을 커버하는 베이스 레이어 CTB 들이 가능한 경우에 한 번만 시작 할 수 있다. 공간 확장가능성에서 레이어 된 비트스트림으로 WPP를 병렬화 할 때, 레이어는 픽처 크기 조건에 의해 달라진다. 즉, 레이어들 사이의 1.5 및 2 픽처 크기 스케일링 요소는 HEVC [1]의 확장 가능한 확장에 대한 제안을 위한 발행된 요구에서 표시된다. 추가적으로 최대 CTB 크기, 예를 들어, 16, 32 및 64 이미지 샘플은 HEVC의 메인 프로파일에서 지원된다. 품질 확장성, 픽처 크기의 스케일링 요소는 통상 일정하지만, CTB의 최대 크기는 레이어 사이에 여전히 다를 수 있다.
CTB 최대 크기 및 레이어의 사진 크기 스케일링 계수들 간의 비율은 레이어 디코딩 지연에 영향을 끼친다. 즉, 확장 레이어의 제1 CTB 행 이전에 오프셋 CTB 행은 베이스 레이어 CTB 열의 디코딩에 대해 디코딩 될 수 있다. 도 19는 CTB의 비율을 보고한다. CTB 의 비율은 픽처 크기 확장 요소 및 CTB 크기와 CTB 행의 조건에서 디코딩 지연으로 유도된 레이어에 대한 예시적인 파라미터 값으로 두 레이어에 대응하는 이미지 영역을 덮는다.
각 레이어의 최대 CTB 크기는 여전히 레이어 디코딩 지연과 다를 수 있지만 영향 레이어 간 품질 확장성, 레이어 간 영상 크기 스케일링 요소는 통상적으로 1과 동일하다.
구문 구성요소 구조 (642)는 WPP 처리 공간 확장 레이어에서 병렬화 할 때 의존적 공간이나 확장 레이어에 대한 레이어 디코딩 지연 신호를 비트 스트림 디코더의 힌트를 제공한다.
실시 예는 시그널링 레이어 디코딩 지연을 결정하기 위해 이미지 크기 스케일링 요소 및 각 레이어들 사이의 최대 크기 CTB 스케일링 요소를 사용한다.
독립적인 베이스 및 종속적인 확장 레이어 비트스트림 사이의 확장 유형에 의존하여, 레이어 디코딩 지연에 영향을 미치는 요인이 다르다.
In multiview scalability, layers represent camera views and mechanisms of inter layer prediction are used to perform prediction between camera view from various angles.
멀티 뷰 확장성에서, 레이어는 카메라 뷰와 레이어 간 추정의 메커니즘을 다양한 각도에서 카메라 뷰 사이의 추정을 수행을 나타낸다.
추정은 카메라 설정 내의 카메라의 다른 위치 보상에 대한 움직임 보상의 메커니즘을 사용한다. 이러한 경우, 레이어 디코딩 지연은 공간 또는 품질 확장성과 비교되는 수직 방향으로의 최대 또는 실제 움직임 벡터에 의해 부가적으로 제한된다.
구문 구성요소 구조 (642)는 WPP 처리 다중 카메라 뷰를 통해 병렬화 할 때 종속 카메라 뷰 레이어 디코딩 지연 신호로 비트 스트림 디코더 힌트를 설명한다.
실시 예는 시그널링 레이어 디코딩 지연을 결정하기 위해 이미지 크기 스케일링 인자, CTB 최대 크기 스케일링 인자와 각 레이어 사이의 수직 방향의 최대 움직임 벡터의 길이를 사용한다.
WPP 이용하는 경우 실시 예는 확장 레이어 또는 VPS 확장 내에 컴파일에 관련된 SPS의 VUI 구문에서 공간, 즉, 세그먼트 CTB들의 행의 관점에서 공간적, 품질, 또는 멀티 뷰 확장성 계층 디코딩 지연 신호 구문이다.
타일들 및 슬라이스들(Tiles and Slices)
타일이나 슬라이스 같은 다른 분할 기술을 병렬 처리는 공간 세그먼트, 즉 타일 또는 슬라이스로 픽처의 분할에 따라 디코딩 지연을 나타내는 비트 스트림 내에서 힌트 혜택을 누릴 수 있다. 베이스 레이어 (예를 들면, 재구성 된 화상 데이터)의 정보가 확장 레이어 디코딩 프로세스에 대해 필요로 한다.
구문 구성요소 구조 (642) 타일 및 / 또는 슬라이스 레이어 디코딩 지연 신호로 비트 스트림 디코더 힌트를 설명한다.
발명의 가능한 실시 예는 코딩 된 비디오 시퀀스에서 사용되는 병렬 처리 기법의 종류에 따라 도입 된 레이어 처리 지연을 표현하는 수단으로서 공간적 세그먼트를 사용한다.
도 20에서의 구문 min_spatial_segments_delay의 표시에 대한 예시적인 실시 예에 대한 병렬화 도구 WPP, 타일 및 슬라이스에 대한 확장 레이어의 SPS VUI 파라미터 (구문 구성요소 구조 (642)에 대한 예)를 제공한다.
min_spatial_segment_delay 세그먼트는 공간적 측면에서 대응하는 베이스 레이어에 대하여 부호화 의존성을 도입하여 현재 레이어의 디코딩 지연을 설명한다.
min_spatial_segment_delay의 값에 따라 다음을 적용한다.
min_spatial_segment_delay이 0 인 경우, 레이어의 디코딩 사이의 최소 지연에 대한 제한은 신호화 된다.
그렇지 않으면 (min_spatial_segment_delay가 0이 아닌 경우), 비트 스트림의 적합성 요건은 다음과 같은 조건 중 정확히 하나에 해당한다:
● 코딩 된 비디오 시퀀스 내에서 활성화되는 각각의 픽처 파라미터 집합에
tiles_enabled_flag는 0과 같고, entropy_coding_sync_enabled_flag는 0과 같다(즉, 타일과 WPP 모두 비디오 시퀀스에 사용되지 않는다). 비트 스트림 순서에서 베이스 레이어의 제 1 min_spatial_segment_delay 레이어가 완전히 디코딩 될 때 및 비트 스트림 순서로 현재 레이어의 첫 번째 슬라이스의 디코딩 처리를 위한 모든 베이스 레이어 자원을 사용할 수 있다.
● 코딩 된 비디오 시퀀스 내에서 활성화되는 각각의 픽처 파라미터 집합에서, (즉, 타일은 비디오 시퀀스에서 사용되는) tiles_enabled_flag는 1과 같으며 entropy_coding_sync_enabled_flag가 0이다. 제 1 min_spatial_segment_delay 타일이 완전히 동일한 화상 영역을 커버하는 디코딩 되는 경우 및 비트 스트림 순서로 현재 레이어의 첫 번째 타일의 디코딩 처리를 위한 모든 기본 레이어 자원을 사용할 수 있다.
● 코딩 된 비디오 시퀀스 내에서 활성화되는 각각의 픽처 파라미터 집합에서, tiles_enabled_flag가 0이고 entropy_coding_sync_enabled_flag는 1 (즉 WPP는 코딩 된 비디오 시퀀스에서 사용되는)과 동일하다, 그리고 베이스 레이어의 제 min_spatial_segment_delay CTB 행이 완료되면, 현재 레이어 내의 제 CTB 열의 디코딩 처리중인 모든 베이스 레이어 자원을 사용할 수 있다.
또 다른 예시적인 실시 형태는도 21에 도시 한 바와 같이 [4]에 보고 된 바와 같이 연장 VPS 확장 구문 min_spatial_segments_delay의 표시이다.
min_spatial_segment_delay 는 레이어[i] 의 디코딩 지연을 설명하기 위해 세그먼트의 공간적 측면에서 대응하는 베이스 레이어 에 대하여 부호화 의존성을 도입한다.
min_spatial_segment_delay이 0 인 경우, 레이어의 디코딩 사이의 최소 지연에 제한이 신호화 된다.
그렇지 않으면 (min_spatial_segment_delay가 0이 아닌 경우), 비트 스트림의 적합성 요건은 다음과 같은 조건 중 정확히 하나에 해당한다:
●코딩 된 비디오 시퀀스 내에서 활성화되는 각각의 픽처 파라미터 집합에서, (즉, 타일이나 WPP 어느 것도 비디오 시퀀스에서 사용되지 않는다) tiles_enabled_flag가 0이고 entropy_coding_sync_enabled_flag가 0이고 비트 스트림 순서에서 레이어의 제 min_spatial_segment_delay 슬라이스가 완전히 디코딩 될 때 및 비트 스트림 순서로 현재 레이어의 첫 번째 슬라이스의 디코딩 처리를 위한 모든 기본 레이어 자원을 사용할 수 있다.
●코딩 된 비디오 시퀀스 내에서 활성화되는 각각의 픽처 파라미터 집합에서, (즉, 타일은 비디오 시퀀스에서 사용되는) tiles_enabled_flag는 1과 같으며 entropy_coding_sync_enabled_flag는 0이고 제 1 min_spatial_segment_delay 타일이 완전히 동일한 화상 영역을 커버하는 디코딩 되는 경우 및 비트 스트림 순서로 현재 레이어의 첫 번째 타일의 디코딩 처리를 위한 모든 기본 계층 자원을 사용할 수 있다.
●코딩 된 비디오 시퀀스 내에서 활성화되는 각각의 픽처 파라미터 집합에서, tiles_enabled_flag가 0이고 entropy_coding_sync_enabled_flag는 1 (즉 WPP는 코딩 된 비디오 시퀀스에서 사용되는)과 동일하고, 베이스 레이어의 제1 min_spatial_segment_delay CTB 행이 완료되면, 현재 레이어 내의 제 CTB 열의 복호 처리 중인 모든 베이스 레이어 자원을 사용할 수 있다.
이러한 타일 및 / 또는 WPP 개념으로 병렬 처리의 개념을 가능하게 하기 위해 인코더 및 디코더뿐만 아니라 엔트로피 인코딩 / 디코딩을 위한 컨텍스트 도출뿐만 아니라 추정 모드에 부과된 제한에 의해 지원되는 다양한 추정 모드는, 위에서 설명 되었다. 또한, 블록 단위로 동작 할 수 인코더 및 디코더는 위에서 언급되었다. 예컨대, 위의 추정 모드들이 즉, 사진 차체보다 더욱 미세한 세분화에서 블록을 기초로 선택된다. 본원의 또 다른 양태를 설명하기로 진행하기 전에, 슬라이스, 타일, WPP 서브 및 방금 언급 블록 간의 관계를 설명한다.
도 32는 레이어 12 와 같은 레이어 0픽처 또는 픽처 15와 같은 레이어 1의 픽처를 보여준다. 픽처는 블록 90의 배열로 규칙적으로 서브 분할된다. 때때로, 이러한 블록 90은 최대 코딩 블록(LCB, called largest coding blocks) .최대 코딩 유닛(LCU, largest coding units), 코딩 트리 블록(CTB, coding tree blocks) 등으로 불린다. 블록(90)에 픽처의 서브분할은 베이스 또는 상기 추정 잔차 코딩(residual codings)이 수행되는 조악한 세분성의 종류를 형성할 수 있다. 블록 (90)의 크기, 즉, 개별적인 레이어0과 레이어1의 경우, 인코더에 의해 시그널링 및 설정 될 수 있다. 각각 추정 블록, 블록 잔류 및 / 또는 부호화 블록으로 각각의 블록 (90)을 분할 할 수 있도록 예를 들어, 쿼드 트리 서브 분할 같은 다중 트리 데이터 스트림 내에서 사용 및 신호화 될 수 있다. 특히, 코딩 블록이 블록 (90)의 재귀 다중 트리 서브 분할 일부 추정과 관련된 결정 최하위 블록은 추정 모드 등의 부호화 블록의 세분성 으로 신호화 될 수 있으며, 이러한 단위에서의 추정 모드, 예를 들면 인터 레이어 추정 시 시간적 인터 추정과 불일치 벡터의 경우에는 이러한 움직임 벡터와 추정 파라미터에 대해, 디코딩 되어있는 서브 분할에서 추정 블록 및 잔여 블록 중 추정 잔차 부호 블록의 별도 재귀 다중 트리(recursive multi-tree)의 리프 서브 분할 블록 일 수 있고, 코딩 된다.
래스터 스캔 코딩 / 디코딩 순서 (92)는 블록90 사이에서 정의 될 수 있다. 코딩 / 디코딩 순서 (92)에 있어는 블록 90 또는 몇몇 더 작은 블록과 같은 현재 일부 선행하는 코딩/디코딩 순서 92에 따른 픽처의 단지 일부: 공간 추정의 목적에 대한 이웃하는 일부의 가능성을 제한한다. 이는 현재, 구문 구성요소가 추정되게 하고, 현재 픽처 내의 공간 추정을 가능하게 한다. 각 층 내에서, 화상 코딩 / 디코딩 순서로 각 레이어의 다음 픽처의 블록을 통과하여 진행하도록 코딩 / 디코딩 순서(92)는 화상의 모든 블록 (90)을 탐색한다. 이는 반드시 개별 블록 (90) 내에서, 픽처의 시간 재생 순서를 따른다. 코딩 / 디코딩 순서 (92)는 코딩 블록과 같은 작은 블록 중에서 스캔으로 개선된다.
방금 설명 된 블록(90)과 관련하여 작은 블록에서, 각각의 픽처는 또한 방금 언급 코딩 / 디코딩 순서(92)를 따라 하나 또는 그 이상의 슬라이스로 서브 분할된다. 슬라이스 94A 및 94B는 도 32에 나타낸 예를 따라 각 사진을 차이 없이 커버한다. 경계 또는 연속 슬라이스(94A)와 하나의 사진 (94B) 사이의 인터페이스 는 (96) 주변 블록 (90)의 경계에 정렬되거나 정렬되지 않을 수 있다. 보다 자세하게 도 32의 우측을 설명하면, 하나의 픽처 내부의 연속하는 슬라이스 94a및94b는 코딩 블록과 같은 더 작은 블록의 경계에서 서로 경계에 있을 수 있다 즉, 하나의 블록 90의 서브 분할의 리프 블록(leaf blocks)과 같다 .
방금 설명 된 블록(90)과 관련하여 작은 블록에서, 각각의 픽처는 또한 방금 언급 코딩 / 디코딩 순서(92)를 따라 하나 또는 그 이상의 슬라이스로 서브 분할된다. 슬라이스 94A 및 94B는 도 32에 나타낸 예를 따라 각 사진을 차이 없이 커버한다. 경계 또는 연속 슬라이스(94A)와 하나의 사진 (94B) 사이의 인터페이스 는 (96) 주변 블록 (90)의 경계에 정렬되거나 정렬되지 않을 수 있다. 보다 자세하게 도 32의 우측을 설명하면, 하나의 픽처 내부의 연속하는 슬라이스 94a및94b는 코딩 블록과 같은 더 작은 블록의 경계에서 서로 경계에 있을 수 있다 즉, 하나의 블록 90의 서브 분할의 리프 블록(leaf blocks)과 같다 .
블록 90의 배열 중에서 정의된 코딩/ 디코딩 순서 92는 타일 분할 개념이 픽처에 대해 이용될 경우 변화 될 수 있다. 4개의 타일 82a 내지 82d로의 예시적인 분할이 픽처에 보여지고 도 33에 도시된다. 도 33에 도시된 바와 같이, 타일들은 블록 90의 유닛에서 픽처의 규칙적인 서브 분할로서 그들 스스로 정의된다. 즉, 82a 내지 82d로의 각 타일은 N × M 개의 블록 N과 90는 타일의 각 행에 대해 개별적으로 설정되는 개별적 타일의 각각의 열에 대해 설정되고 (M)의 배열로 구성되어있다. 코딩 / 디코딩 순서 (92) 이후, 제1 타일 내의 블록 (90)은 타일 82b 옆 등으로 선행하는 래스터 스캔 순서에서 스캔 된다. 상기 82a 내지 82d의 타일이 래스터 스캔 순서에서 스캔 된다.
WPP 스트림 분할 개념에 따르면, 픽처는 코딩/디코딩 순서92에 따라, 98a 내지 98d WPP 서브스트림으로 블록 90의 더 많은 행 또는 하나의 유닛에서 서브 분할된다.각 WPP 서브 스트림은 예컨대 도 34에 도시된 바와 같이 블록 90의 하나의 행을 완전하게 커버한다.
하지만 타일 개념과 WPP 서브스트림 개념은 또한 혼합되어 있다. 그 경우, 각 서브 스트림 WPP은 각각의 타일 내에서 블록 (90)의 하나의 행에 대한 예를 다룬다.
심지어 픽처의 슬라이스 분할은 분할 및/또는 WPP 서브스트림 분할과 함께 이용 될 수 있다. 타일과 관련하여, 하나 또는 그 이상의 슬라이스 픽처 각각은 하나의 완전한 타일 이상 또는 하나의 완전한 타일, 코딩/디코딩 순서92에 따른 단지 하나의 타일의 서브-부분 중 하나로 정확하게 구성될 수 있다. 슬라이스는 또한 98a 내지 98d의 WPP 서브스트림 형성을 위해 사용될 수 있다. 이를 위해, 패킷에 대한 최소의 단위를 형성하는 슬라이스는 한편으로는 정상 슬라이스를 다른 한편으로는 종속(의존) 슬라이스를 포함 할 수 있다 : 정상 슬라이스가 전술한 제한을 추정 및 엔트로피 컨텍스트 유도에 부과하는 반면, 종속 슬라이스는 그러한 제한을 부과 하지 않는다. 코딩 / 디코딩 순서 (92)는 실질적으로 행 방향으로 떨어져있는 점 영상의 경계에서 시작된 종속 슬라이스, 블록 (90)의 바로 앞의 행에 블록 (90)에서 엔트로피 디코딩 결과로서 엔트로피 문맥을 채택하고, 다른 곳에서 시작하는 종속 슬라이스들은 엔트로피 코딩 컨텍스트를 그것의 일단부까지 바로 선행되는 슬라이스의 코딩/디코딩 엔트로피로부터의 결과로서 채택한다. 이러한 방법으로, 98a 내지 98d의 각 WPP 서브스트림은 하나 이상의 종속 슬라이스로 구성될 수 있다.
즉, 블록 90 사이에서 정의된 코딩/디코딩 순서92는 각 픽처의 제 1측면 으로부터의 선형으로 예컨대, 왼쪽, 반대측, 우측, 및 하부 / 하단 으로 블록 (90)의 다음 행으로 리드한다. 가능한, 즉 이미 디코딩된 현재 픽처의 일부,에 따라서 현재 블록 90과 같이 주로 좌측 및 현재 인코딩 / 디코딩 일부의 상단에 놓인다. 타일 경계를 넘어 추정 엔트로피 컨텍스트 유도의 방해 때문에, 하나의 화상의 타일들은 병렬로 처리 될 수 있다. 한 픽처의 타일의 코딩 디코딩은 동시에 개시될 수 있다. 전술한 경우에서와 같이 인-루프 필터링으로부터의 스탬 제한과 같은 곳에서 타일 경계 교차가 허용된다. WPP 서브 스트림의 코딩 / 디코딩 개시 차례대로 위에서 아래로 지그재그 방식으로 수행된다. 연속하는 WPP 서브 스트림 사이의 인터 픽처 지연은 블록 90에서, 두 개의 블록 90으로 측정된다.
그러나, 심지어 상이한 레이어의 타임 인스턴트에, 즉, 픽처 (12) 및 (15)의 코딩 / 디코딩을 병렬화하는 것이 바람직 할 것이다. 물론, 종속 레이어의 픽처 (15)를 코딩/ 디코딩하는 것은 이미 사용할 수 있는 베이스 레이어의 "공간적으로 상응하는" 부분이 있다는 것을 보장하기 위해 베이스 레이어의 코딩/디코딩에 상대적으로 지연되어야 한다. 이러한 생각은, 심지어 개별적으로 픽처 (12) 및 (15) 중 어느 내부에 코딩/인코딩의 임의의 병렬화를 사용하지 않는 경우에 유효하다. 심지어 어떤 타일 픽처 (12) 및 (15)는 WPP 서브 스트림 프로세싱, 코딩 / 디코딩을 사용하지 않고 함께, 각각 전체 화상 (12) 및 (15)을 커버하기 위하여 하나의 슬라이스를 사용하는 경우 병렬화 될 수 있다. 다음에 설명하는 신호, 즉 여섯 번째 측면은 타일 또는 WPP 처리인 경우, 또는 이 경우와 관계없는 경우에서와 같이 심지어 레이어 사이의 디코딩/코딩 지연과 같은 것을 표현하는 것이 가능하고, 레이어의 임의의 픽처로 사용된다.
전술한 설명으로부터, 연속한 레이어의 코딩 사이의 최소 코딩 지연에 관계된 설명이 분명해 졌다. 이는 디코더가 단기 구문 구성요소에 기초하여 상기 최소 디코딩 지연을 결정할 수 있을 것이라는 점을 분명하게 한다. 하지만, 전술한 바와 같은 장기 구문 구성요소를 이용하는 경우, 기 설정된 시간 주기 보다 앞선 이러한 인터 레이어 임시 지연 신호 때문에, 디코더는 제공된 보증을 이용하여 미래에 계획 할 수 있으며, 보다 용이하게 비트 스트림 (40)의 병렬 디코딩 내에 작업 할당을 수행할 수 있다.
다음의 설명은 본 출원, 즉, 본 출원의 제 6 측면의 특징은, 어떤 식 으로든 인터 레이어 오프셋의 명시적인 신호화를 고려하는 제 3 측면에 관한 것이다.
그러나, 본 출원의 제 6 측면에 대해서, 명시적인 구문 구성요소 구조 신호화는 반면 유도 가능한 인터 레이어 오프셋으로부터의 단기 구문 구성요소를 기반으로 상대적인 장기 신호화를 명시적으로 요구하지 않는다. 오히려, 본 출원의 제6 측면은 다른 발견을 이용한다. 그들 중 정의되는 래스터 스캔 디코딩 순서와 블록으로 서브 분할되는 두 베이스 및 확장 레이어 픽처의 경우는 도 17a 내지 17c를 설명할 때, 분명해 진다. 그리고 베이스 및 확장 레이어 사이의 인터 레이어 오프셋은 효율적으로 베이스 레이어 블록의 유닛에서 인터 레이어 오프셋 수단 측정에 의해 명확하게 신호화 될 수 있다. 후술하는 측면과 관련하여, 인터 레이어 오프셋의 유닛에서의 베이스 레이어 블록은 명백하게 신호화 되고, 이는 공간 세그먼트에 제한되지 않는다. 오히려, 다른 코딩 블록이 이러한 일단을 위해 사용될 수 있다. 따라서, 본 발명의 제 6 측면과 관련된 실시예를 도 34를 참조하여 설명함에 있어서, 도 16 내지 17c에 관련된 참조 부호는 광범위하게 함께 이용되고, 실시 예는 불필요한 중복을 피하기 위해 이하에서 더 설명하고, 후자의 도면과 관련하여 상기 앞당겨 설명은 동일하게 적용한다. 이 외에도, 도 32 및 33의 참조도의 설명을 한다. 이들 도면은 한편 블록과 공간적 세그먼트 코딩 간의 공존 가능한 형태로 설명된다.
따라서, 도 35는 제 2레이어의 동일한 위치로의 제 1레이어의 일부로부터의 인터 레이어 추정을 이용한 레이어 계층구조에서 코딩된 장면으로의 멀티 레이어 비디오 데이터 스트림을 수신하도록 구성되는 비디오 720을 보여주고 상기 도면들과 유사하게, 대표적인 예로서 레이어1로의 레이어0의 병렬배치를 예시적으로 보여준다. 두 개의 시간 정렬된 픽처 12및 15의 두 레이어는 도 35에 예시적으로 도시된다. 베이스 레이어0의 픽처 12는 제 1블록 722로 서브 분할되고, 확장 레이어1의 픽처는 제2블록 724의 임의의 배열로 서브 분할 된다. 래스터 스캔 디코딩 순서 726은 블록 722를 따라 정의되고, 래스터 스캔 디코딩 순서 728과 같이 블록 724들 중에서 정의된다.
비디오 데이터 스트림40은 베이스 레이어 블록 722의 유닛에서 측정되는, 제 1 및 제 2블록 722 및 724의 순회(탐색)사이에서 인터 레이어 오프셋으로 일시적으로 중첩하는 방법에서 제 1 및 제2 블록 722와 724에서의 순차적인 순회에 의해 픽처 12 및 15의 평행한 디코딩에 대한 인터 레이어 오프셋을 나타내는 구문 구성요소 구조를 포함한다. 비디오 디코더 720는 구문 구성요소 구조 730에 반응하도록 구성된다. 특히, 비디오 디코더는 후자로부터의 인터 레이어 오프셋을 결정한다.
도 16에 나타난 실시예와 동일하게, 구문 구성요소 구조 730은 블록 722 및 724각각으로 서브 분할된 픽처 12 및 15의 선택적인 구문 구성요소 신호에서 단기 시간 간격 보다 긴 기 설정 된 시간 주기 동안 시간 정렬된 픽처 12 및 15의 평행 디코딩 수행에 대한 성공적인 보증으로서의 인터 레이어 오프셋을 나타낼 수 있다. 하지만 이는, 의무적인 것은 아니다. 오히려 구문 구성요소 구조 730의 방법에 의한 인터 레이어 오프셋의 명백한 신호화는 베이스 및 확장 레이어 픽처 12 및 15의 쌍에서 각각 시간 정렬되는 것과 같이 다른 관점에서 예컨대, 즉 블록 722 및 724로의 서브 분할 및 사이즈를 고려하는 신호화로서 동일한 시간간격에서, 데이터 스트림 40으로 구현될 수 있다.
전술 한 실시 예와 다른 예와 같은, 디코더 720은 평행하게 디코딩 한 픽처 12 및 15, 각각에서 제 1블록722의 탐색에서 상대적인 제 2 블록 724의 탐색 개시에서의 오프셋에 대한 측정으로서의 구문 구성요소 구조 730의 방법에 의해 명백하게 신호화된 인터 레이어 오프셋을 이용할 수 있다. 즉, 비디오 디코더 (720)는 구문 구성요소 구조(730)로부터 단지 이미 도달 한 블록들 (722)의 디코딩 카운트 후 디코딩 순서 (728)을 따라 확장 레이어 영상(15)의 블록 (724)의 시퀀스의 디코딩을 개시 시키면서 이미 래스터 스캔 디코딩 순서 (726)를 따라 블록들의 베이스 레이어 픽처(12)의 (722)를 디코딩 카운트 최소 개수를 명시 적 구문 구성요소 구조 (730)에 의해 신호화한 카운트 값을 도출하도록 구성 될 수 있다, 따라서, 비디오 디코더 720은 비디오 데이터 스트림의 임의의 매우 복잡한 그리고 분산된 일부를 검사할 필요가 없다. 이는 그렇지 않으면 한편 그리고 다른 한편의 블록 724 사이의 디코딩 개시 실제 최소 인터 레이어 오프셋을 달리 연산하는 것을 가능하게 한다.
그러나 흥미롭게도, 도 35의 실시예에 따라, 블록 722와 724는 임의의 평행 처리에 대해 특히 복잡한 공간 세그먼트를 나타내지는 않는다. 오히려, 블록 722 및 724는 각각 비디오 데이터 스트림40으로 코딩된 픽처 12 및 15의 컨텐츠의 유닛의 코딩 블록에 일반적 일 수 있다. 예컨대, 블록 722 및 724는 픽처 12 및 15로의 트리 루트 블록(tree root blocks)이 될 수 있고, 즉 행과 열 , 서브 분할에 대해 규칙적이다. 이러한 트리 루트 블록은 또한 개별적으로, 도 32에서 설명된 바와 같이 회귀 다중 트리 방법(recursive multi-tree manner)에서 서브 분할된다. 예컨대, 인터 레이어 추정 각 도 15로 임시의 그리고 선택된 공간 중-추정 모드의 유닛에서의 코딩 블록으로의 서브 분할인 픽처 12 및 15는 트리 루트 블록 의 리프 블록을 야기하는 인터 레이어 추정은 비디오 데이터 스트림 40안에서 신호화 된다.
도 35의 실시예를 보다 자세하게 설명하기 위해, 도 36을 참조한다. 도 36에 도시된 바와 같이, 비디오 디코더 720은 래스터 스캔 디코더 순서 726에서의 픽처 12의 제 1블록 722로부터 카운팅 시작하는, 베이스 레이어 픽처 12의 이미 디코딩된 블록 722의 카운트 수를 위해 카운터 732를 사용할 수 있다. 디코더 720의 비교기 734는 카운터 732에 의해 지속적으로 증가하는 이러한 카운트를 비교하고, 이는 비디오 데이터 스트림 40으로부터 획득되기 때문에 구문 구성요소 구조의 명백하게 신호화된 카운트를 비교한다. 구문 구성요소 구조 730에 의해 나타내어지는 값에 대한 기 설정된 관계를 충족시키기 위한 카운트인 경우에는, 카운터 732가 구문 구성요소 구조 730에 의해 나타내어 지는 값에 동일해지거나 도달하자마자, 비교기는 확장 레이어 픽처 15의 디코딩의 개시를 가속화하거나, 야기하는 것과 같이, 즉, 개시되는 래스터 스캔 디코딩 순서 728에서 확장 레이어 픽처의 제1블록 724의 디코딩을 야기한다.
구문 구성요소 구조 730에 대한 구문의 명백한 예에서와 같이, 도 16의 목표 및 구문 구성요소로의 도 35의 구문 구성요소 구조를 단일화 가능하다. 다음 설명을 의미한다. 구문 구성 요소 구조(730)는 가능한 값들의 집합 즉, 가능한-값-집합를 가질 수 있다. 가능한 값의 명백하지 않은 인터 레이어 오프셋 집합 중 값은 구문 구성요소 구조 730의 고려되지 않은 비디오 디코더 720를 야기 한다. 그리고, 도 16에 대해 언급된 예시로서의 단기 구문 구성요소 602의 기초의 임의의 인터 레이어 오프셋을 결정하거나 픽처 12 및 15의 평행 디코딩 중 하나를 수행한다. 가능 값의 제 2집합 중 값을 추정하는 구문 구성요소 구조의 경우에서, 이는 도 36에 이미 아웃라인 된 동작을 수행하는 비디오 디코더 720을 야기한다. 예컨대, 구문 구성요소 구조 730의 값에 따라 명백하게 베이스 레이어 블록 722의 유닛에서의 인터 레이어 오프셋을 신호화 한다.
도 16으로의 도 35의 실시예를 포함하는 전술한 가능성은 도 37에 도시된다. 도 37에 도시된 바와 같이, 가능 값 742의 집합 중 제3서브셋 740 또는, 제 2서브셋 738, 제 1 서브셋 736의 값을 동일하게 가지는 경우, 비디오 디코더는 결정을 위해 구문 구성요소 구조를 검사한다. 조사 또는 결과 확인에 따라, 디코더 720는 구문 구성요소 구조 730 중 보증을 유도하거나, 구문 구성요소 구조 730으로부터의 유도되는 인터 레이어 오프셋과 같은 수행 또는 구문 구성요소 구조 730으로부터의 인터 레이어 오프셋을 고려한 임의의 명백한 신호화를, 즉, 블록의 유닛에서 또는 공간 세그먼트의 유닛 중에서 유도하지 않는다. 유도 및 보증은 제2 서브셋 735의 경우에서는 발생하지 않고, 공간 세그먼트의 유닛에서 인터 레이어 오프셋의 유도가 서브셋 736에서 발생한다. 그리고 블록의 유닛에서의 인터 레이어 오프셋 유도가 제 3서브셋 740의 구문 구성요소 730의 추정 값에서 발생한다. 이하에 아웃라인 된 예의구체적인 구문 구성요소에서, 구문 구성요소 구조는 두 플래그(flags)를 포함한다. 즉, ctb_delay_enabled_flag 및 min_spatial_segment_delay이다. 상기 ctp_delay_enabled_flag=0 및 min_spatial_segment_delay≠0는 서브셋 736의 경우에 대응하고, min_spatial_segment_delay=0는 제 2 서브셋 738에 대응하고, ctp_delay_enabled_flag=1 및 min_spatial_segment_delay≠0는 제3 서브셋 740에 대응한다.
최종적으로 도 38에 대해서, 디코더 720은 구문 구성요소 구조 730에 의해 임의의 인터레이어 오프셋을 해석 하도록 구성될 수 있다는 것이 도시된다. 뿐만 아니라 확장 레이어 픽처 15의 공간 세그먼트 또는 제1블록의 디코딩을 개시하는 측면의 인터 레이어 오프셋을 해석하도록 구성될 수 있고, 하지만, 인터 레이어 오프셋과 연속적으로, 이에 순응 할 때, 픽처 12 및 15 각각의 충돌이 발생하지 않는(conflict-free) 병렬 디코딩을 야기한다. 도 38에 도시 된 바와 같이, 카운터 (732)는 여전히, 베이스 레이어 픽처 (12)의 이미 디코딩된 블록 (722)의 개수를 카운트하고, 하지만 상기 부가 카운터 744와 같이 디코딩 순서 728에 따른 확장 레이어 픽처 15의 이미 디코딩된 블록을 카운트 한다. 상기 감산기(746)는 두 카운트 중 다른 즉 t-1초에서 형성한다. 예컨대, s - t + 1을 연산한다. 이러한 다른 값은 구문 구성요소 구조 730으로부터 유도되는 인터 레이어 오프셋 값으로 비교기 734에 의해 비교된다. 그리고, 두 값 즉 유도된 인터 레이어 오프셋 값과 카운트의 다른 값은 유도된 인터레이어 오프셋을 초과하거나 또는 동일한 다른 값들과 같이 기 설정된 관계를 갖는다. 확장 레이어 블록 724 중 디코딩 순서 728에서의 t 블록의 디코딩이 개시된다. 이러한 수단에 의해, 한편의 베이스 레이어 픽처 12와 다른 한편의 확장 레이어 픽처 15의 디코딩 블록 722 사이의 연속적인 조사가 설치된다.
도 38에 따른 연속적인 조사는 공간 세그먼트에도 적용 될 수 있다는 것은 명백하다. 보다 일반적으로, 도 38 및 36의 설명은 공간 구성요소로 용이하게 전환되고, 뿐만 아니라 이러한 전술은 또한 도 16의 실시예에 적용한다. 여기에서 구문 구성요소 구조 642는 도 36 및 38에서 도시되는 730 에서 구문 구성요소 구조로서 역할을 한다. 다시 말해, 적어도 공간 세그먼트를 사용할 때, 그 중 정의되는 래스터 스캔 디코딩 순서가 존재한다. 코딩 블록에 관해 논의되는 도 36 및 도 38의 개념에 따라 그들의 코딩 및 타일의 탐색으로 용이하게 전환될 수 있다. 그러나, 구문 구성요소 구조 730의 가능 값의 다른 서브셋이 존재 할 수 있다. 이는, 구문 구성요소 구조 730에 의해 추정될 때, 비디오 디코더를 도 16에 따라 전술한 바와 같이 동작하도록 한다: 공간 세그먼트의 인터 레이어 오프셋을 측정으로서의 후자의 추정에 의한 구문 구성요소 구조730의 값을 기반으로 디코딩 한 베이스 레이어 픽처12와 확장 레이어 픽처 15사이의 인터 레이어 오프셋을 결정한다. 이는 블록 722 및 724각각의 하나의 정수로 구성되지만, 의무적인 것은 아니다. 도 16으로의 도 35의 실시예를 포함하는 전술한 가능성은 도 37에 도시된다. 도 37에 도시된 바와 같이, 가능 값 742의 집합 중 제3서브셋 740 또는, 제 2서브셋 738, 제 1 서브셋 736의 값을 동일하게 가지는 경우, 비디오 디코더는 결정을 위해 구문 구성요소 구조를 검사한다. 조사 또는 결과 확인에 따라, 디코더 720는 구문 구성요소 구조 730 중 보증을 유도하거나, 구문 구성요소 구조 730으로부터의 유도되는 인터 레이어 오프셋과 같은 수행 또는 구문 구성요소 구조 730으로부터의 인터 레이어 오프셋을 고려한 임의의 명백한 신호화를, 즉, 블록의 유닛에서 또는 공간 세그먼트의 유닛 중에서 유도하지 않는다. 유도 및 보증은 제2 서브셋 735의 경우에서는 발생하지 않고, 공간 세그먼트의 유닛에서 인터 레이어 오프셋의 유도가 서브셋 736에서 발생한다. 그리고 블록의 유닛에서의 인터 레이어 오프셋 유도가 제 3서브셋 740의 구문 구성요소 730의 추정 값에서 발생한다. 이하에 아웃라인 된 예의구체적인 구문 구성요소에서, 구문 구성요소 구조는 두 플래그(flags)를 포함한다. 즉, ctb_delay_enabled_flag 및 min_spatial_segment_delay이다. 상기 ctp_delay_enabled_flag=0 및 min_spatial_segment_delay≠0는 서브셋 736의 경우에 대응하고, min_spatial_segment_delay=0는 제 2 서브셋 738에 대응하고, ctp_delay_enabled_flag=1 및 min_spatial_segment_delay≠0는 제3 서브셋 740에 대응한다. 최종적으로 도 38에 대해서, 디코더 720은 구문 구성요소 구조 730에 의해 임의의 인터레이어 오프셋을 해석 하도록 구성될 수 있다는 것이 도시된다. 뿐만 아니라 확장 레이어 픽처 15의 공간 세그먼트 또는 제1블록의 디코딩을 개시하는 측면의 인터 레이어 오프셋을 해석하도록 구성될 수 있고, 하지만, 인터 레이어 오프셋과 연속적으로, 이에 순응 할 때, 픽처 12 및 15 각각의 충돌이 발생하지 않는(conflict-free) 병렬 디코딩을 야기한다. 도 38에 도시 된 바와 같이, 카운터 (732)는 여전히, 베이스 레이어 픽처 (12)의 이미 디코딩된 블록 (722)의 개수를 카운트하고, 하지만 상기 부가 카운터 744와 같이 디코딩 순서 728에 따른 확장 레이어 픽처 15의 이미 디코딩된 블록을 카운트 한다. 상기 감산기(746)는 두 카운트 중 다른 즉 t-1초에서 형성한다. 예컨대, s - t + 1을 연산한다. 이러한 다른 값은 구문 구성요소 구조 730으로부터 유도되는 인터 레이어 오프셋 값으로 비교기 734에 의해 비교된다. 그리고, 두 값 즉 유도된 인터 레이어 오프셋 값과 카운트의 다른 값은 유도된 인터레이어 오프셋을 초과하거나 또는 동일한 다른 값들과 같이 기 설정된 관계를 갖는다. 확장 레이어 블록 724 중 디코딩 순서 728에서의 t 블록의 디코딩이 개시된다. 이러한 수단에 의해, 한편의 베이스 레이어 픽처 12와 다른 한편의 확장 레이어 픽처 15의 디코딩 블록 722 사이의 연속적인 조사가 설치된다.
도 38에 따른 연속적인 조사는 공간 세그먼트에도 적용 될 수 있다는 것은 명백하다. 보다 일반적으로, 도 38 및 36의 설명은 공간 구성요소로 용이하게 전환되고, 뿐만 아니라 이러한 전술은 또한 도 16의 실시예에 적용한다. 여기에서 구문 구성요소 구조 642는 도 36 및 38에서 도시되는 730 에서 구문 구성요소 구조로서 역할을 한다. 다시 말해, 적어도 공간 세그먼트를 사용할 때, 그 중 정의되는 래스터 스캔 디코딩 순서가 존재한다. 코딩 블록에 관해 논의되는 도 36 및 도 38의 개념에 따라 그들의 코딩 및 타일의 탐색으로 용이하게 전환될 수 있다.
제6 측면의 실시예와 이에 대한 실시예 설명을 짧게 요약하면, 구문 구성요소 구조 730은 비디오 디코더에 의해 비트 스트림으로 삽입될 수 있고, 이로써 서로 상대적인 베이스와 확장 레이어 픽처의 병렬 디코딩 제어를 수행하는 명확한 방법을 디코더에 제공할 수 있다. 명확하게 구문 구성요소 구조의 방법에 의해 신호화 되는 인터 레이어 오프셋은 활성화 되거나 또는 비활성화 될 수 있다. 만일 활성화 되는 경우, 표시는 CTB 블록들과 같은 유닛 내에서 수행되고, 보다 정확한 방법으로, 공간 세그먼트의 유닛 및 블록들과 같은 하나의 신호화된 유닛에서 수행된다. 다른 한편의 확장 레이어 블록 및 한편의 베이스 레이어 블록 사이의 래스터 스캔 순서 사용 때문에, 예컨대 둘 모두는 예를 들어 상단에서 하단 행에 의해 각 픽처 12/15의 좌측 상단 코너로부터 우측 하단 코더로의 방향으로 선도(leading)한다. 확장 레이어 픽처 15의 제1블록 디코딩 시작/개시에 대한 “트리거”로서 하나에 의해 명확하게 신호화 되는 인터 레이어 오프셋,으로 오직 해석되고 또는 다른 한편 으로의 확장 레이어 픽처15의 현재 디코딩된 블록과 한편으로의 베이스 레이어 픽처 12의 현재 디코딩된 블록 사이의 즉, 확장 레이어 픽처 15의 각 블록의 디코딩에 대한 트리거를 결정하는 “안전거리” 로서, 해석된다. 제 6측면에 대한 설명에 대해 전술한 설명은, 공간 세그먼트가 고려되는 한 적어도 설명에 있어서의 실시예 측면 및 설명으로 전환 될 수 있다. 인터 레이어 오프셋의 종속성의 확인 및 해석이 고려되면, 도 36 및 38의 실시예가 이용될 수 있다. 즉 래스터 스캔 타일 디코딩 순서에 따른 베이스 및 확장 레이어 픽처 내의 디코딩된 파일 탐색은 도 36 및 38의 설명에 대응하는 방법으로 제어될 수 있다.
따라서, “지연”으로 측정되는 공간 세그먼트가 사용될 수 있다. 즉, 지연은 공간 세그먼트(타일, 슬라이스 또는 WPP에 대한 CTB 행)의 유닛에서 표현될 수 있거나, 또는 지연/오프셋이 블록 90의 유닛에서 측정될 수 있다.
고 효율 비디오 코딩(HEVC, High Efficiency Video Coding)은 아래와 같이 제6측면에 대해 준수되기 위해 확장될 수 있다. 특히, 만일 데이터가 유효한 경우, 개별적인 레이어(또는 관점)의 병렬 디코딩이 허용된다. 확장 레이어 CTB에 의존에 대응하는 디코딩 및 코딩된 트리 블록(CTB) 베이스 레이어의 디코딩 사이의 최소 지연 (구체적으로 레이어 디코딩 지연)은 타일과 같은 병렬화 수단의 세분화를 통해 결정된다. 파면 또는 슬라이스 또는 움직임 보상 벡터도 적용 가능하다(예컨대 입체 (stereoscopic) 또는 멀티 뷰 비디오 코딩에서)
도 20은 구문 구성요소 min_spatial_segment_delay에 의한 시멘틱 및 확장 레이어 시퀀스 파라미터 집합 구문에 의해 구현되는 레이어 디코딩 지연을 보여준다.
min_spatial_segment_delay 는 공간 세그먼트 조건에서 대응하는 측면의 종속적인 코딩에 의해 유도되는 현재 레이어의 디코딩 지연을 설명한다.
HEVC 고 레벨 구문 안의 메커니즘은 여러 개의 수직 및 수평인 CTB를 기초로 하는 잠재적인 병렬화 기술에 관계없이 종속 확장 레이어 및 상대적으로 독립적인 베이스 레이어 사이의 레이어 디코딩 지연의 표현을 선택적으로 허용한다.
플레그 또는 인덱스(예컨대 ctb_delay_enabled_flag)는 코딩된 픽처에서 다루는 특정 CTB로서 표현되는 레이어 디코딩 지연(제 2 구문 구성요소로 신호화 되는)을 신호와 하도록 사용될 수 있다.
래스터 스캔 순서에서 CTB 주소로부터도 명확히 알 수 있는 바와 같이, 지연을 표현하기 위해 사용되는 픽처 내의 수평 수직 위치를 도 39에서 볼 수 있는 바와 같이 정의한다.
CTB 좌표=( CTB address % PicWidthInCTBs, CTB address / PicWidthInCTBs)
PicWidthInCTBs는 CTB의 유닛에서의 픽처 넓이를 설명한다.
도 39는 이하를 설명한다. CTB 주소, 픽처 내부의 예컨대, 7은 수평 CTB 열 및 수직 CTB 행 예컨대 튜플(2,1)을 정의한다. 현재 의존 레이어에서 CTB를 디코딩 할 때 만일 플래그가 가능한 경우, 다른 구문 구성요소(cp. min_spatial_segment_delay)의 값은 상대적인 베이스 레이어 픽처에서 동일한 위치의 CTB 주소로의 오프셋으로서 해석된다.
동일한 위치의CTB는 도 40에서 설명된 바와 같이 그리고 자세한 아래 설명과정에서 두 개의 각 레이어의 픽처의 폭 및 두 각 레이어에서의 CTB 의 크기에 따라 계산될 수 있다.
도 40은 왼쪽으로부터 오른쪽으로 세 개의 예를 포함하고 이는 픽처 스케일링에 관계없이, 두 각각의 베이스 및 확장 레이어에서의 CTB 크기와 픽처 크기의 여러 설정을 보여준다.베이스 레이어 픽처에서의 굵은 선 표시된 박스는 각 베이스 레이어의 CTB 레이아웃에서의 도일한 위치의 이미지 영역 및 확장 레이어 CTB의 크기에서 이미지 영역을 표시한다.
이러한 선택적 CTB 베이스 레이어 디코딩 지연 표시의 실시 예는 도 41에서와 같이 구문 구성 요소 min_spatial_segment_delay 에 의해 확장 레이어 시퀀스 파라미터 집합 구문 및 의미에 주어진다.
1과 동일한 ctb_based_delay_enabled_flag는 CTB 들의 유닛에 주어지는 min_spatial_segment_delay에 신호화되는 지연을 나타낸다. ctb_based_delay_enabled_flag는 CTB의 유닛에 주어지원 않은 min_spatial_segment_delay를 나타낸다. min_spatial_segment_delay는 공간 세그먼트 조건에서 베이스 레이어에 대응하는 것에 대한 코딩 의존에 의해 유도되는 현재 레이어 의 디코딩 지연을 설명한다.
min_spatial_segment_delay의 값에 의존하여, 아래와 같이 적용한다: 만일 min_spatial_segment_delay가 0과 같은 경우, 레이어의 디코딩 상이의 최소 지연에 제한이 없음이 신호화 된다. 반면(min_spatial_segment_delay is not equal to 0) 및 ctb_based_delay_enabled_flag이 1인 경우 , 아래 조건이 참(true)이어야 하는 것이 비트 스트림 적합성에 요구된다.
● 베이스 레이어 A의 CtbSizeY, PicWidthInCtbsY 및 래스터 스캔 에서의 베이스 레이어 A의 Ctb의 Ctb 주소인 CtbSizeYA, PicWidthInCtbsYA 및 ctbAddrRsA, 종속 레이어/뷰 B의 CtbSizeY 및 PicWidthInCtbsY 및 래스터 스캔 순서에서의 종속 레이어 B의 Ctb의 Ctb 주소인 CtbSizeYB, PicWidthInCtbsYB 및 ctbAddrRsB 와 함께, CtbScalingFactorBA, CtbRowBA(ctbAddrRs) 및 CtbColBA(ctbAddrRs)는 아래와 같이 결정된다.
CtbScalingFactorBA = ( PicWidthInCtbsYA / PicWidthInCtbsYB )
CtbRowBA(ctbAddrRs) = Ceil( ( Floor( ctbAddrRs / PicWidthInCtbsYB ) + 1 ) * CtbScalingFactorBA) - 1
CtbColBA(ctbAddrRs) = Ceil( ( ( ctbAddrRs % PicWidthInCtbsYB ) + 1 ) * CtbScalingFactorBA )-1
현재 확장 레이어/뷰B의 ctbAddrRsB로 디코딩할 때, 모든 필요한 베이스 레이어 자원은 PicWidthInCtbsYA * CtbRowBA( ctbAddrRsB) + CtbColBA(ctbAddrRsB) + min_spatial_segment_delay 에 동일한 ctbAddrRsA 과 함께 베이스 레이어 CTB 가 완전하게 디코딩 될 때, 이용가능하다.
반면(min_spatial_segment_delay 이 0이 아니고, ctb_based_delay_enabled이 0인 경우) , 아래의 조건의 하나는 정확하게 참 이어야 하는 것이 비트 스트림 적합성에서 요구된다.
● 각 픽처 파라미터 집합은 코딩된 비디오 시퀀스 내부에서 활성화되고, tiles_enabled_flag는 0과 동일하고, entropy_coding_sync_enabled_flags는 0과 동일하다(즉, 타일 또는 WPP 모두 비디오 시퀀스에서 사용되지 않는다) 그리고 비트 스트림 순서에서의 베이스 레이어의 제 1 min_spatial_segment_delay 슬라이스가 완전하게 코딩 될 때 가능한 비트 스트림 순서에서 현재 레이어의 제 1슬라이스의 디코딩 처리에 대한 모든 베이스 레이어 자원들을 사용할 수 있다.
● 각 픽처 파라미터 집합에서는 코딩된 비디오 시퀀스 내에서 활성화 되고, tiles_enabled_flag는 1이고 entropy_coding_sync_enabled_flag는 0이다(즉, 타일은 비디오 시퀀스에서 사용된다) 그리고, 제 1 min_spatial_segment_delay 타일이 완전하게 같은 이미지 영역이 완전하게 디코딩 될 때, 비트 스트림 순서 내의 현재 레이어의 제 1타일의 디코딩 처리에 대한 모든 베이스 레이어 자원을 이용할 수 있다.
● 각 픽처 파라미터 집합에서는 코딩된 비디오 시퀀스 내에서 활성화 되고, tiles_enabled_flag이 0이고, entropy_coding_sync_enabled_flag이 1이다(즉, WPP 가 코딩된 비디오 시퀀스에서 사용된다) 베이스 레이어의 제 1 min_spatial_segment_delay CTB행이 완전해 질 때, 현재 레이어 안의 제 1 CTB 행의 디코딩 프로세스에 대한 모든 베이스 레이어 자원을 이용할 수 있다.
선택적으로, 인터 레이어 오프셋은 이전 실시예에서와 같이 첫 번째 슬라이스/타일/CTB 행에 대한 시작 지연(start-up delay) 대신에 ctb_based_delay_enabled_flag에 대한 최악의 지연의 경우로서 신호화 될 수 있다. 최악의 경우 지연은 의존하는 픽처의 공간 세그먼트 디코딩 과정 동안 보증을 제공한다. 동일한 위치의 공간 세그먼트 플러스 오프셋 신호화를 완전히 디코딩 할 때 필요한 모든 각 베이스 레이어 자원을 사용할 수 있을 것이다.
도 42에 구문 구성요소의 실시예가 도시된다.
min_spatial_segment_delay는 공간 세그먼트 조건에 대응하는 베이스 레이어에 대해 의존하는 코딩에 의해 유도되는 현재 레이어의 디코딩 지연을 설명한다.
min_spatial_segment_delay의 값에 의존하여, 아래와 같이 적용한다.:
min_spatial_segment_delay이 0과 같고 레이어의 디코딩 사이의 최소 지연에 제한이 없는 것이 신호화 된다.
반면(min_spatial_segment_delay이 0과 동일하지 않음), 비트 스트림의 적합성 요건은 아래 조건 중 정확히 하나에 해당한다. :
● 코딩된 비디오 시퀀스 내에서 각 픽처 파라미터가 활성화 되면, tiles_enabled_flag는 0과 동일해 지고, entropy_coding_sync_enabled_flag도 0과 동일해진다(즉 타일과 WPP 모두 비디오 시퀀스 내에서 사용된다). 그리고 비트 스트림 순서 내의 현재 레이어의 임의의 슬라이스 세그먼트 A의 디코딩 처리에 대한 모든 베이스 레이어 자원은 제1슬라이스 세그먼트 C가 완전하게 디코딩된 현재 레이어에서의 각 슬라이스 A로의 동일한 이미지 영역의 적어도 하나의 파트를 포함하는 비트 스트림 순서에서의 마지막 슬라이스 세크먼트 B 이후의 베이스 레이어 에서의 비트 스트림 순서에서의 슬라이스를 따를 때 이용할 수 있다.
● 각 픽처 파라미터 집합에서는 코딩된 비디오 시퀀스 내에서 활성화 되고, tiles_enabled_flag는 1과 동일하고, entropy_coding_sync_enabled_flag는 0과 동일하다(즉 타일들은 비디오 시퀀스에서 사용된다). 그리고 비트 스트림 순서 내의 현재 레이어의 임의의 타일 A의 디코딩 처리에 대한 모든 베이스 레이어 자원은 제1 타일 C 가 이미지 영역 중 적어도 일부가 포함된 비트 스트림 순서에서 마지막 타일 B 후의 비트 스트림 순서 (min_spatial_segment_delay -1) 타일을 따르도록 완전히 디코딩 될 때 사용 가능하다.
● 각 픽처 파라미터 셋은 코딩된 비디오 시퀀스 내에서 활성화 되고, tiles_enabled_flag는 0과 동일하고, entropy_coding_sync_enabled_flag는 1과 동일하다(즉, WPP는 코딩된 비디오 시퀀스에서 사용된다 ) 제 1 CTB 행 C 가 비트 스트림 순서에서 확장 레이어의 CTB 행 A에 대한 동일한 이미지 영역의 적어도 일부를 커버하는 베이스 레이어의 마지막 CTB 행 이후의 CTB 행들을 따를 때(min_spatial_segment_delay -1), 현재 레이어에서 임의의 CTB 행 A의 디코딩 처리에 대한 모든 베이스 레이어 자원을 이용할 수 있다.
min_spatial_segment_delay의 신호화에 기초한 서브 코딩된 비디오 시퀀스(sub-coded-video-sequence)또는 픽처 모두 가능하다. NAL 유닛과 관련된 조건의 SEI 메시지 측면에서는 도 20에 주어진 바와 같이 일시적인 도메인에서 코딩된 비디오 시퀀스 보다 작다. 그리고, 인덱스 또는 비트 스트림 안의SEI 메시지의 위치에 의해 정의된다. 실시예는 도 43의 Layer_decoding_delay_SEI에서 주어진다.
전술한 이전 실시예에 관한 시맨틱(Semantics)은 SEI 메시지의 관점 및 구문 구성요소 반영을 위해 변화 될 수 있다.
전술한 명백한 예들은 약간 개정될 수 있다. 전술한 실시예에서, 구문 구성요소는공간 세그먼트/CTB 디코딩 순서, ctb_based_delay_enabled_flag 에 의존하는-공간 세그먼트 또는 CTB들의 유닛에서의 인터 레이어 코딩에 따른 일차원의 또는 스칼라 방식에서의 min_spatial_segment_delay측정에 있어서 min_spatial_segment_delay 및 ctb_based_delay_enabled_flag를 포함한다. 하지만 베이스 레이어 픽처의 CTB 수는 조금 다른 실시예에서 인터 레이어 오프셋 표시에 기반한-CTB를 표시하는 ctb_based_delay_enabled_flag의 경우 베이스 레이어 픽처의 서브 스트림 또는 타일과 같은 공간 세그먼트의 수 보다 일반적으로 더 크다. 인터레이어 오프셋은 오직min_spatial_segment_delay에 의해 결정되지 않고, 후자인 구문 구성요소에 의해 결정된다. 이러한 경우 수평 차원에서의 베이스 레이어 픽처의 CTb의 위치 표시로서 해석된다. 이의 완전한 디코딩은 확장 레이어 픽처 디코딩 개시에 따른 디코더에 의한 트리거로서 사용될 수 있다. 자연스럽게, min_spatial_segment_delay는 수직 차원을 따르는 베이스 레이어 픽처를 나타내는 것과 같이 해석된다. ctb_based_delay_enabled_flag에 의존하여, 즉 표시를 기초로 하는 동일한 CTB를 나타내는 경우, 부가 구성요소는 데이터 스트림에서 전환되고, 이는 다른 차원에서, 단지 언급된 트리거로서 동작하는 베이스 레이어 픽처 CTB 의 위치를 나타낸다.
즉 이하의 구문 구성요소 조각은 신호화에 대해 이용 될 수 있고, 즉 구문 구성요소 구조로서 이용될 수 있다.
지수 i 및 j는 베이스 및 확장 레이어의 레이어 id를 나타낼 수 있다.

min_spatial_segment_offset_plus1[　i　][　j　]
ue(v)

if( min_spatial_segment_offset_plus1[　i　][　j　] > 0 ) {

ctu_based_offset_enabled_flag[　i　][　j　]
u(1)

if( ctu_based_offset_enabled_flag[　i　][　j　] )

min_horizontal_ctu_offset_plus1[　i　][　j　]
ue(v)
전술한 구문 구성요소의 시맨틱은 아래 전술한 바와 같다.min_spatial_segment_offset_plus1[ i ][ j ]는 i번째 레이어의 j 번째 참조 레이어 방향의 각 픽처에 대한 공간 지역을 나타낸다. 이는 아래에 명시한 바와 같이 즉, i 번째 레이어의 어떤 픽처의 디코딩을 위해 인터 - 레이어 추정을 위해, min_horizontal_ctu_offset_plus1 [i] [j] 또는 단독으로 사용되지 않는다. min_spatial_segment_offset_plus1[ i ][ j ]의 값은 0에서 refPicWidthInCtbsY[ i ][ j ] * refPicHeightInCtbsY[ i ][ j ] 범위에 있어야 한다. 존재하지 않는 경우, min_spatial_segment_offset_plus1 [i] [j]의 값이 0 인 것으로 추론된다.
1과 동일한 ctu_based_offset_enabled_flag[ i ][ j ]는 i번째 레이어의 참조 레이어의 j번째 방향의 각 픽처에서 CTU의 유닛에서, 공간 지역을 구체화하고, 이는 i번째 레이어의 임의의 픽처 디코딩에 대한 인터 레이어 추정에 이용되지 않는 것은 min_spatial_segment_offset_plus1[ i ][ j ]와 min_horizontal_ctu_offset_plus1[ i ][ j ] 에 의해 표시된다. 0과 동일한 ctu_based_offset_enabled_flag[ i ][ j ]는 슬라이스 세그먼트, 타일 또는 CTU i번째 레이어의 참조 레이어 방향의 j 번째 각 픽처의 행의 유닛에서 공간 지역을 구체화 한다. 이는 오직 min_spatial_segment_offset_plus1[ i ]에 의해 도시되는 i번째 레이어의 임의의 픽처의 디코딩에 대한 인터 레이어 추정에 사용되지 않는다. 존재하는 경우, ctu_based_offset_enabled_flag[ i ]의 값은 0으로 추론된다.
ctu_based_offset_enabled_flag[ i ][ j ]이 1과 동일할 때 min_horizontal_ctu_offset_plus1[ i ][ j ]는 i번째 레이어의 j 번째 참조 레이어 방향의 각 픽처에서, 공간 지역을 나타낸다. 즉 i번째 레이어의 임의의 픽처 디코딩에 대한 인터 레이어 추정에 대해 아래 전술되는 바와 같이 min_spatial_segment_offset_plus1[ i ][ j ]와 함께 사용되지 않는다. min_horizontal_ctu_offset_plus1[ i ][ j ]의 최소 값은 0에서 refPicWidthInCtbsY[ i ][ j ]사이의 범위에서 있어야 한다. ctu_based_offset_enabled_flag[ i ][ j ]이 1과 동일하면, 변수 minHorizontalCtbOffset[ i ][ j ]는 아래와 같이 유도된다.
minHorizontalCtbOffset[ i ][ j ] = ( min_horizontal_ctu_offset_plus1[ i ][ j ] > 0 ) ?
( min_horizontal_ctu_offset_plus1[ i ][ j ] ? 1 ) : ( refPicWidthInCtbsY[ i ][ j ] 1 )
변수 curPicWidthInSamplesL[ i ], curPicHeightInSamplesL[ i ], curCtbLog2SizeY[ i ], curPicWidthInCtbsY[ i ] 및 curPicHeightInCtbsY[ i ]는 i번째 레이어의 PicWidthInSamplesL, PicHeightInSamplesL, CtbLog2SizeY, PicWidthInCtbsY, 및 PicHeightInCtbsY 각각에 동일하도록 설정한다. 변수 refPicWidthInSamplesL[ i ][ j ], refPicHeightInSamplesL[ i ][ j ], refCtbLog2SizeY[ i ][ j ], refPicWidthInCtbsY[ i ][ j ], 및 refPicHeightInCtbsY[ i ][ j ]는 i번째 레이어의 j 번째 참조 레이어 방향으로 각각 PicWidthInSamplesL, PicHeightInSamplesL, CtbLog2SizeY, PicWidthInCtbsY, 및 PicHeightInCtbsY로 설정된다.
변수 variables curScaledRefLayerLeftOffset[ i ][ j ], curScaledRefLayerTopOffset[ i ][ j ], curScaledRefLayerRightOffset[ i ][ j ] 및 curScaledRefLayerBottomOffset[ i ][ j ]는 i 번째 레이어의 j 번째 참조 방향 레이어의 scaled_ref_layer_left_offset[ j ]<<1, scaled_ref_layer_top_offset[ j ]<<1, scaled_ref_layer_right_offset[ j ]<<1, scaled_ref_layer_bottom_offset [ j ]<<1, 각각에 동일하도록 설정된다.
변수 colCtbAddr[ i ][ j ]는 함께 배치된 CTU의 래스터 스캔 주소를 나타내고, 래스터 스캔 주소와 CTU 의 i번째 레이어의j 번째 방향의 참조 레이어에 픽처는 i 번째 레이어의 픽처에서의 ctbAddr와 동일하고 아래와 같이 유도된다.
_ i번째 레이어의 픽처에서의 상대적인 상단 좌측의 루마(luma) 샘플 ctbAddr와 동일한 래스터 스캔 주소를 가지는 상단 좌측의 루마 샘플의 위치를 설명하는 변수 ( xP, yP )는 아래와 같이 유도된다.
xP = ( ctbAddr % curPicWidthInCtbsY[ i ] ) << curCtbLog2SizeY
yP = ( ctbAddr / curPicWidthInCtbsY[ i ] ) << curCtbLog2SizeY
- 변수 scaleFactorX[ i ][ j ] 와 scaleFactorY[ i ][ j ] 는 아래와 같이 유도 된다:
-curScaledRefLayerPicWidthInSamplesL[ i ][ j ] = curPicWidthInSamplesL[ i ]
-curScaledRefLayerLeftOffset[ i ][ j ] ? curScaledRefLayerRightOffset[ i ][ j ]
curScaledRefLayerPicHeightInSamplesL[ i ][ j ] = curPicHeightInSamplesL[ i ]
-curScaledRefLayerTopOffset[ i ][ j ] ? curScaledRefLayerBottomOffset[ i ][ j ]
scaleFactorX[ i ][ j ] = ( ( refPicWidthInSamplesL [ i ][ j ] << 16 ) +
( curScaledRefLayerPicWidthInSamplesL [ i ][ j ]>> 1 ) )/curScaledRefLayerPicWidthInSamplesL [ i ][ j ]
scaleFactorY[ i ][ j ] = ( ( refPicHeightInSamplesL [ i ][ j ] << 16 ) +
( curScaledRefLayerPicHeightInSamplesL >> 1 ) ) / curScaledRefLayerPicHeightInSamplesL [ i ][ j ]
_ i번째 레이어에서 루마 샘플 위치(xP, yP )의 j 번째 방향 참조 레이어에서의 픽처에서 함께 위치하는 루마 샘플 위치를 설명하는 ( xCol[ I ][ j ], yCol xCol[ I ][ j ])는 아래와 같이 유도된다.
xCol [ i ][ j ] = Clip3( 0, ( refPicWidthInSamplesL[ i ][ j ]? 1 ), ( ( xP curScaledRefLayerLeftOffset[ i ][ j ]) * scaleFactorX[ i ][ j ] + ( 1 << 15 ) ) >> 16))
yCol [ i ][ j ] = Clip3( 0 , ( refPicHeightInSamplesL[ i ][ j ]? 1 ), ( ( yP curScaledRefLayerTopOffset[ i ][ j ]) * scaleFactorY[ i ][ j ] + ( 1 << 15 ) ) >> 16))
_ 변수 colCtbAddr[ i ][ j ]는 아래와 같이 유도된다.
xColCtb[ i ][ j ] = xCol[ i ][ j ] >> refCtbLog2SizeY[ i ][ j ]
yColCtb[ i ][ j ] = yCol[ i ][ j ] >> refCtbLog2SizeY[ i ][ j ]
colCtbAddr[ i ][ j ] = xColCtb[ i ][ j ] + ( yColCtb[ i ][ j ] * refPicWidthInCtbsY[ i ][ j ] )
min_spatial_segment_offset_plus1[ i ][ j ]이 0보다 클 때, 다음이 비트 스트림 적합성의 요구 사항이다.
ㅡ 만일 ctu_based_offset_enabled_flag[ i ][ j ]가 0이라면 아래 중 하나가 정확하게 적용한다.
● i번째 레이어의 j 번째 방향 참조 레이어 에서의 픽처에 의해 언급되는 각 PPS에서 tiles_enabled_flag은 0과 동일하고, entropy_coding_sync_enabled_flag는 0과 동일하고, 다음 적용을 따른다.
● 슬라이스 세그먼트 A는 i 번째 레이어의 픽처의 임의의 슬라이스 세그먼트이고 ctbAddr은 슬라이스 세그먼트 A에서의 마지막 CTU 의 래스터 스캔 주소이다. 슬라이스 세그먼트 B는 i번째 레이어의 j번째 참조 방향 레이어를 포함하는 슬라이스 세그먼트 A 로서 동일한 유닛에 접근하는 것을 포함하는 슬라이스 세그먼트 라고 한다. 래스터 스캔 주소 colCtbAddr[ i ][ j ]로의 CTU를 포함한다. 슬라이스 세그먼트 C를 슬라이스 세그먼트로 하고, 이는 슬라이스 세그먼트 B로서 동일한 픽처이고, 디코딩 순서에 따른 슬라이스 세그먼트 B를 따른다. 그리고 슬라이스 세그먼트 B와 슬라이스 세그먼트 사이에는 디코딩 순서 min_spatial_segment_offset_plus1[ i ] 1슬라이스 세그먼트가 존재한다. 슬라이스 세그먼트 C 가 존재할 때, 슬라이스 세그먼트 A의 구문 구성요소 A 는 슬라이스 세그먼트 A 내의 임의의 샘플의 디코딩 처리에서 인터 레이어 추정에 대해 사용되는 디코딩 순서에서의 C를 따르는 동일한 픽처의 임의의 슬라이스 세그먼트 또는 슬라이스 세그먼트 에서의 구문 구성요소 값 또는 샘플이 없는 것과 같이 제한된다.
● i번째 레이어의 j번째 참조 방향에서의 픽처에 의해 참조되는 각각의 PPS에서 tiles_enabled_flag은 1과 동일하고 entropy_coding_sync_enabled_flag는 0과 동일하고 아래 내용을 적용한다.
● 타일 A 는 i번째 레이어의 임의의 픽처 picA에서 임의의 타일로 하고, 타일 A 에서의 마지막 CTU 의 래스터 스캔 주소로 한다. 타일 B 를 picA로서 동일한 유닛에 접근하기 위해 포함하는 픽처 picB에서의 타일로 하고, i번째 레이어의 j번째 참조 방향을 포함하고, 래스터 스캔 주소 colCtbAddr[ i ][ j ]로 CTU 를 포함하도록 한다. 타일 C를 디코딩 순서에서 B를 따르고 또한 picB에서의 타일로 하고, 타일 B와 상기 타일 사이에 디코딩 순서 min_spatial_segment_offset_plus1[ i ] 1타일이 존재하도록 한다. 슬라이스 세그먼트 C가 존재할 때 타일 A의 구문 구성요소는 샘플이 없는 것 또는 타일 C 에서의 구문 구성요소 값 또는 타일 A 내의 임의의 샘플의 디코딩 처리에서의 인터 레이어 추정으로 사용되는 디코딩 순서 에서의 C를 따라가는 동일한 픽처의 임의의 타일과 같은 것으로 제한된다.
● i번째 레이어의 j번째 참조 방향에서의 픽처에 의해 참조되는 각 PPS에서, tiles_enabled_flag는 0과 동일하고, entropy_coding_sync_enabled_flag는 1과 동일하고 아래 내용을 적용한다.
● CTU 행 A를 i번째 레이어의 임의의 픽처 picA에서 임의의 CTU 행으로 하고, ctbAddr는 CTU 행 A 에서 마지막 CTU 의 래스터 스캔 주소로 한다. CTU 행 B 는 picA로서 동일한 유닛에 접근하기 위해 포함하는 픽처 picB에서의 행으로 한다.그리고 래스터 스캔 주소 colCtbAddr[ i ][ j ]로의 CTU 를 포함하고, i번째 레이어의 j번째 방향 참조 레이어를 포함한다. CTU 행은 picB 에서 또한 CTU 행이고, 디코딩 순서에서는 CTU 행 B 를 따른다. 그리고 CTU행 B와 CTU 행 사이에는 디코딩 순서에서min_spatial_segment_offset_plus1[ i ] - 1 CTU 행이 존재한다. CTU 행 C가 존재할 때, CTU 행 A의 구문 구성요소는 샘플이 없거나, CTU 행 C의 구문 구성요소 값 또는 CTU 행 A 내부의 임의의 샘플의 디코딩 처리에서의 인터 레이어 추정에 대해 사용되는 C를 따르는 동일한 픽처의 행과 같이 제한된다.
- 반면(ctu_based_offset_enabled_flag[ i ][ j ]이 1과 동일하면) 다음을 적용한다.
● 변수 refCtbAddr[ i ][ j ]는 다음과 같이 유도된다.
xOffset[ i ][ j ] = ( ( xColCtb[ i ][ j ] + minHorizontalCtbOffset[ i ][ j ] ) > ( refPicWidthInCtbsY[ i ][ j ] 1 ) ) ?
( refPicWidthInCtbsY[ i ][ j ] 1 ?xColCtb[ i ][ j ] ) : ( minHorizontalCtbOffset[ i ][ j ] )
yOffset[ i ][ j ] = ( min_spatial_segment_offset_plus1[ i ][ j ] ? 1 ) * refPicWidthInCtbsY[ i ][ j ]
refCtbAddr[ i ][ j ] = colCtbAddr[ i ][ j ] + xOffset[ i ][ j ] + yOffset[ i ][ j ]
● CTU A를 i번째 레이어의 임의의 픽처 picA에서의 임의의 CTU로 하고, ctbAddr는 CTU A 의 래스터 스캔 주소 ctbAddr로 한다. CTU B를 picA로서 동일한 유닛에 접근하기 위해 픽처를 포함하는 CTU 로 하고, refCtbAddr[ i ][ j ]보다 큰 래스터 스캔 주소를 가지는 i번째 레이어의 j 번째 참조 방향을 포함하도록 한다. CTU B 가 존재할 때, CTU A의 구문 구성요소는 샘플이 없거나, CTU A 내의 임의의 샘플의 디코딩 처리에서의 인터 레이어 추정에 대해 사용되는 CTU B 에서의 구문 구성요소의 값과 같이 제한된다.
즉, 앞서 전술한 실시예를 요약하면, 인터 레이어 오프셋의 CTB 기반 표시는 한편의 이러한 CTB 기반 표시와 다른 한편의 인터 레이어 오프셋의 표시 기반 공간 세그먼트 사이에서 전환하는 플래그를 사용하는 전환 가능한 방법으로 수행될 수 있다. 이렇게 함으로써, CTB 기반은 선택적으로 즉, CTB 기반 또는 인터 레이어 오프셋 표시 기반의 공간 세그먼트에 관계없이 무조건적으로 전환되는 구문 구성요소를 이용할 수 있다. 이는 신호화된 공간 세그먼트 방향 표시의 경우에서 공간 세그먼트의 유닛에서의, 베이스 레이어 픽처 에서의 “트리거 CTB”의 위치의 수평 또는 수직과 같은 하나의 구성요소로서 인터 레이어 오프셋을 나타낸다. CTB 기반과 인터 레이어 오프셋 표시 기반 사이에서 스위칭 하는 구문 구성요소에 따라, 부가적인 구문 구성요소는 전환되거나 그렇지 않는다. 특히, 만일 CTB 기반 표시가 신호화된 경우 변환된다. 이러한 경우, 후자의 구문 구성요소는 “트리거 CTB”의 위치의 잃어버린 차원을 나타낸다. 디코더는 CTB 가 디코딩 되자마자 두 개의 구문 구성요소를 사용하여 행과 열에서 베이스 레이어 픽처의 CTB 들의 규칙적인 정렬 사이에서 “트리거 CTB”를 식별 할 수 있다. 디코더는 확장 레이어 픽처 디코딩을 개시 할 수 있다. 여전히, 임의의 인터 레이어 오프셋의 표시는 제 1 구문 구성요소, 즉 min_spatial_segment_delay의 대표적인 상태의 하나를 사용하는 방법으로 완전하게 스위칭 될 수 있다. 기 설정된 디코딩 순서에 의해 정의된 CTB 들에 중에서, CTB 기반의 인터 레이어 오프셋 표시의 경우에서, 디코더는 베이스 레이어 픽처의 여러 개의 CTB들로의 트리거 CTB 의 위치의 수평 및 수직 구성요소를 여전히 전송할 수 있다. 이는 도 36의 실시예에서 사용되는 디코더로 인해 확장 레이어 픽처의 제 1 CTB의 디코딩 개시 전에 인터 레이어 오프셋의 CTB 기반 표시의 종속성을 제어하기 때문에 완전하게 디코딩될 수 있다.
아래에서는, 본 발명의 부가적인 측면이 보다 자세하게 설명된다. 네 번째 측면은 모든 네트워크 엔티티들이 참여하는 문제에 대한 것이다. 이는 멀티 레이어 데이터 스트림에서 이송되는 여러가지 레이어 사이에서 용이하게 구별될 수 있는 바람직한 인코더로부터 비트스트림을 수신한다. 예컨대, 적절한 네트워크 엔티티는 몇몇 해상도 임계치를 초과하는 샘플 해상도를 고려하는 레이어와 같이 부가적인 이송으로부터 특정 정보 레이어 제외에 관심이 있을 수 있다. 이하의 설명은 HEVC의 예상된 확장에서의 현재 상황의 관점을 제공한다.
HEVC의 비디오 파라미터 집합(Video Parameter Set, VPS)는 코딩된 비틀 스트림으로의 고 레벨 접근을 제공하고, 적절한 또는 엔드 디바이스에서의 비트 스트림을 처리하기 위해 필수적인 정보를 제한한다.
HEVC의 향후 확장성 및 멀티 뷰 확장은 확장 비트스트림에 대해 디자인된 구문을 제공하는 VPS 확장으로부터 추가적인 이득을 획득한다. VPS 확장의 주요 과제 중 하나는 NAL 유닛 헤더에서의 nuh_reserved_zero_6bits의 해석으로 통일된 접근을 제공하는 것이다. nuh_reserved_zero_6bits는 확장 가능 비디오 코딩 시나리오에서 일반적인 레이어 식별자 로서 역할을 하고 레이어_id는 재 지정된다. NAL 유닛 헤더에서의 레이어_id 구문 구성요소는 도 22에 도시된 그리고 NAL 유닛 헤더 사이에 주어진 아래의 테이블과 같이 주어진다.
두 일반적인 접근들은 디자인 프로세서[5]에서 고려되었다. 먼저, 이러한 접근은 VPS 확장에서 신호화된 잠재적인 여러 개의 확장 가능한 식별자 들을 위한 NAL 유닛의 헤더에서 단일 식별자의 값을 매핑한다. 두 번째로,접근은 VPS 확장에서 신호화된 구체적인 확장 가능한 식별자들을 위한 NAL의 헤더에서의 단일 식별자의 개별적인 비트(또는 비트의 블록을)할당한다.
[4]에서 보고된 바와 같은 현재 VPS 확장 구문 구조의 디자인은 매핑 접근을 사용하지만 이미 두 접근에 대한 모든 구문 구성요소 필요를 포함한다. 즉 두 구문 구성요소는 확장성(cp. scalability_map)의 유형과 레이어 당 확장성 차원 (cp. dimension_id_len_minus1)의 양을 나타낸다.
매핑 접근은 VPS 확장 구문으로의 추가적인 구문 구성요소 즉, 인코더가 산발적으로 연속적이지 않은 형태에서 레이어_id의 값을 할당하는 것을 선택하는 경우 확장가능 식별자 코드 u(v)로서의 실제 값을 유도한다.
확장가능 시나리오에서와 같은 많은 경우에서, 예컨대 두 개 또는 세 개의 공간레이어, 두 개 또는 세 개의 관점 등에서, 유닛 헤더 NAL 에서의 6비트 레이어 식별자의 모든 63값은 이용할 필요가 없다. 이러한 확장 가능 시나리오에 대해, 접근은 매핑 기반 접근으로 비교될 때, 두 이점을 구비하는 구체적인 확장가능 차원으로의 NAL 유닛 헤더에서 레이어 식별자의 개별적인 비트를 할당한다.
● 확장 가능한 차원 식별자의 조건에서 NAL 유닛 헤어 에서의 레이어 식별 값의 해석은 참조 또는 조회를 요구하지 않는다.
● 매핑 접근에 대한 VPS 확장 구문 구성요소는 전달될 필요가 없는 매핑 접근을 요구하지 않고, 이는 확장가능성 신호화에 대한 VSP 확장 비트의 중요한 부분에 대한 계정이다.
● 적절한 디바이스는 비디오 비트 스트림의 각각의 통과에 대한 매핑 테이블 저장을 필요로 하지 않는다.
아래에 설명되는 4번째 측면의 개념에 따라, 매핑 또는 분할 접근이 사용되는 경우를 나타내는 HEVC의 고 레벨 구문 내의 힌트가 존재할 수 있다. 실시예에 따라, 힌트에 의존하여 구문 구성요소(cp. vps_nuh_layer_id_present_flag, layer_id_in_nuh[ i ] and dimension_id[ i ][ j ])와 관계된 매핑 부분은 전이 되거나 또는 남게 되고, 확장성 유형(cp. scalability_mask) 에 대한 구문 구성요소와 레이어 당 확장성(cp. dimension_id_len_minus1)은 NAL 유닛 헤어 에서의 확장 가능한 식별자의 매핑 또는 분할에 대한 정보 중 하나로서의 힌트에 따라 신호화 되고 해석되어야만 한다.
대응하는 실시예를 따르거나 이용하면, 본 발명의 4번째 측면에 대한 개념은 도 23에 도시된다. 도 23은 이미 논의된 이러한 임의의 비디오 디코더가 될 수 있는 네트워크 엔티티를 보여준다. 또는 엔코더와 디코더 사이에서 야기되는 적절한 네트워크 엔티티 일 수 있다. 네트워크 엔티티는 일반적으로 참조 기호 680을 이용하여 표시된다. 전술된 데이터 스트림40의 임의의 예에서와 같이, 멀티 레이어 비디오 데이터 스트림 682에 대한 처리이다. 네트워크 엔티티680의 경우 비디오 디코더, 처리는 멀티 레이어 비디오 데이터 스트림682 디코딩에 관련된다.
적절한 네트워크 엔티티의 경우에서, 처리는 예컨대 비디오 데이터 스트림의 전달을 포함한다.장면이 레이어에서 멀티 레이어 비디오 데이터 스트림으로 코딩 되고, 이 때문에 각 레이어 에서는, 이러한 장면이 확장 가능성 차원에 의해 확장되는 확장 가능 공간의 다른 연산 지점으로 코딩 된다. 상기 멀티 레이어 비디오 데이터 스트림은 제 1 NAL 유닛에 포함된다. 각각은 레이어의 하나에 연관되고, 제 2 NAL 유닛은 멀티 레이어 비디오 데이터 스트림 상의 일반적인 정보를 제시하고, 제 1 NAL 유닛 내에서 산재된다.
다시 말해, 제 1 NAL 유닛 684는 멀티 레이어 비디오 데이터 스트림 682의 임의의 레이어에 대응하는 “픽처”와 비디오의 픽처의 하나 또는 그 이상의 슬라이스를 이동할 수 있다.
전술한 실시예에 있어서, 쉬운 설명을 위해 단지 레이어 0과 레이어 1의 두 레이어가 논의 되었다. 당연히, 레이어 번호는 2 심지어 정보 종류 보다 클 수 있고 이는 임의의 이전 레이어는 레이어 간 다를 수 있는 것에 기여한다. NAL 유닛 (684) 외에, NAL 유닛 (686)은 NAL 유닛 (684) 사이에 산재되는 것으로 도시되지만 하지만 그것들의 전송은 제 NAL 유닛 (684)에 비교하여 채널 별도의 방법에 의해 수행 될 수 있다. 제 2 NAL 유닛은 이하에 보다 자세하게 설정 방법에 대한 멀티 레이어 비디오 데이터 스트림 상의 일반적인 정보를 제시한다. 한편의 제 1 NAL 유닛과 다른 한편의 데이터 스트림 682의 레이어의 집합 사이의 제 1 NAL 유닛 사이의 관계를 보다 자세하게 설명하기 위해, 도 24를 참조한다. 도 24는 모든 제 1 NAL 유닛 684에 대한 대표로서 제 1 NAL 유닛 684를 보여준다. 이는 헤더 688 내부, 레이어 표시 필드 690을 포함한다. 헤더 688 뿐만 외에도, NAL 유닛 684는 다른 그림들에 대해 논의된 바와 같이 슬라이스 데이터를 고려하는 페이로드 데이터, 즉 인터 레이어 추정을 사용하여 코딩된 비디오 컨텐츠를 고려한 데이터 692를 포함한다. 도 24는 또한 레이어의 집합 즉 694를 보여준다. 특히, 도 24에 도시된 레이어의 집합 694는 모든 가능 레이어들을 나타낸다. 이는 NAL 유닛 684에서 레이어 표시자 필드 방법에 의해 서로 구별되고 제시 될 수 있다. 즉, 레이어 표시자 필드 690의 가능 값과 한편의 집합 694 사이의 관련 기능은 바이젝티브(bijective) 한 것으로서 추측 한다. 도 24에는, 집합 694의 개별적인 레이어가 내부로 새겨진 각 특정 숫자를 가지는, 작은 원을 이용하여 예시적으로 도시된다. 그럼에도 불구하고 이러한 새겨진 숫자는 집합 694의 레이어 중 정의된 순서를 제시한다. 아래의 논의는 오직 레이어 표시자 필드 690의 기반에서 유도되지 않고 정렬되거나 저장되는 집합 694 내의 레이어 방법을 나타낸 다는 것에 유의해야 한다. 오히려, 이를 위해, 네트워크 엔티티 680은 산재된 제 2 NAL 유닛 686에서 유형 표시자 필드 696을 검사하기 위해 필요하다. 그러나 이는 이후에 설명한다. 다시 말해, 지금까지 도 24에서의 집합 694의 각 구성요소는 단지 NAL 유닛 684에서 레이어 표시자 필드 690의 가능 상태 중 하나를 나타낸다. 집합 694에서의 레이어는 레이어 표시자 필드 690의 방법에 의해 구별된다. 하지만 이러한 레이어 중 순서와 시멘틱 의미는 제2 NAL 유닛 686에 의해 제공되는 부가적인 정보 없이 네트워크 엔티티 680에 대해 분명해 진다. 그럼에도 불구하고, 실제적으로 집합 694의 레이어는 집합 694의 레이어 특정 확장 가능한 차원 또는 축에 대응하는 트리 사이의 브랜치로의 트리의 노드를 형성한다. 예컨대, 베이스 레이어의 하나는 트리의 루트에 대응한다. 두 레이어 즉, 트리의 두 노드와 연결된 각 브랜치는 특정 레이어가 다른 레이어로 기여하는 방법을 설명한다. 즉 정보의 종류는 인터 레이어 추정을 사용하여 부가적으로 제공되고, 확장성 차원에 대응하는 정보의 종류는 예컨대 공간 해상도를 증가시키거나, SNR 등을 증가 시킬 수 있다. 간결하게 설명하기 위해, 도 24는 두 확장 가능 차원 700 및 702의 예컨대, 공간 확장가능성 및 SNR 확장성 대응에 의해 확장되는 2-차원 확장가능 공간 698을 보여준다. 레이어의 트리의 예시 및 공간 698을 통한 확장은 도24에 도시된다. 도 24는 또한 집합 694의 가능 레이어의 모든 부분이 데이터 스트림 682에서 나타내어 지원는 않는다는 것을 보여준다. 도 24의 예시적인 경우, 예컨대, 단지 다섯 레이어들은 데이터 스트림682 에서 사용된다.
예컨대 도 22는 6 비트를 가지는 레이어 표시자 필드를 보여준다. 이로 인해 집합 694의 가능 집합 또는 가능 상태는 26 = 64를 구분한다. 확장 가능한 공간 698에서의 연산적인 포인트로의 집합 694의 레이어 또는 이러한 가능 값들로부터 매핑하고 이는 제 2 NAL 유닛 686의 방법에 의해 보다 자세하게 설명되는 방법으로 조정될 수 있다. 도 24에 참조 번호 704를 사용하여 매핑이 도시된다.“연산 포인트”는 확장 가능 공간 698 내의 집합 694 내의 적어도 실제로 존재하는 레이어의 위치를 나타낸다. 예컨대, 확장 가능 공간 698의 원점은 베이스 레이어 또는 트리 루트에 연관될 수 있다. 반면 확장 가능 공간 698의 700 및702의 임의의 축에 따른 각 브랜치는 1의 고정된 길이를 가질 수 있다. 따라서 확장 가능 공간 698에서의 연산 포인트로의 벡터 포인팅은 정수 값의 좌표를 가질 수 있다.
짧게 요약하면 지금까지의 설명은 멀티 레이어 비디오 데이터 스트림 682는 멀티 레이어들의 비디오 컨텐츠 또는 장면에 대한 정보를 제공한다. 레이어들은 브랜치를 통해 트리로 연결된 각 레이어를 가지는 트리에서 정렬된다. 트리 루트를 형성하는 베이스 레이어로부터 시작하는, 다음 이어지는 레이어는 정보, 해석 가능한 확장가능 차원으로의 특정 종류를 고려하는 비디오 콘텐츠 정보의 재 구축 가능한 버전에 기여한다. 이에 따라, 각 레이어는 트리 루트 레이어 중 하나 이거나, 브랜치의 특정 경로를 통한 후자와 연결된다. 그리고 이러한 경로를 따르는 레이어를 포함하는 NAL 유닛 684는 각 레이어에서 비디오 컨텐츠 구축을 위해 필요하다. 당연히, 만일 매핑704가 임의의”기여하는”레이어와 같이 수행되는 경우, 레이어 표시자 필드 690의 값을 구비하는 트리 루트에 관한 각 분기의 끝부분에서 선도한다. 이는 각 분기의 선단부에서 레이어의 레이어 표시자 필드의 값보다 크다.
도 25는 유형 표시자 필드 696의 의미를 보다 자세히 보여준다. 도 25는 고정된 비트 길의 필드로서 레이어 표시자 필드 690을 보여준다. 임의의 경우에서, 필드 690의 길이는 유형 표시자 필드 696의 값으로부터 독립적이다. 그러나, 만일 유형 표시자 필드가 첫 번째 상태를 갖는다면, 레이어 표시자 필드 690은 전체로서 취급되고, 즉 그것의 모든 n 비트가 그에 의한 가능 값 분별을 위해 공통으로 취급된다. 바람직하게, n-비트 정수 숫자는 유형 표시자 필드 696이 첫 번째 상태를 추정한 경우 네트워크 엔티티 680에 의해 레이어 표시자 필드 690으로부터 유도된다. 유형 표시자 696가 첫 번째 상태를 추정하는 경우, 네트워크 엔티티 680는 제 2 NAL 유닛 686내에 이동된 정보 매핑 이용에 의한 연산 포인트로의 m- 비트 필드 690의 가능 값의 매핑704를 수행한다. 매핑정보는 참조번호 708을 이용하여 도 25에 표시된다. 도 25에 도시된 바와 같이, 매핑 정보 708은 예컨대 각 가능 값의 연산 포인트와 연관된 벡터 포인트 레이어 표시자 필드 690의 가능 값으로 각각 실제로 사용되는 테이블을 지정한다. 즉, 유형 표시자 필드 696이 첫 번째 상태를 추정하는 경우, 네트워크 엔티티 680은 제2 NAL 유닛 686으로부터 매핑 정보 708을 유도할 수 있고, 각 레이어 표시자 필드 (690)에 대한 맵핑 정보 (708) 또는 테이블로 참조를 수행 할 수 있다. 이에 따라 참조는 벡터와 연관되고 공간 698에서 각각/연관된 연산 포인트를 위치 시킨다. 매핑 정보 708에서의 가능한 값에 연관되는 벡터의 차원의 p의 수는 디폴트에 의해 설정되거나 또는 제 2 NAL 유닛 686과 같은 데이터 스트림 내부에서 신호화 될 수 있다. 이후, 뒤따르는 정보는 매핑 정보 708에 대한 정보를 전달하기 위해 신호화 될 수 있다는 것이 도시된다. vps_max_layers_minus1가 M-bit field 690의 실제 사용되는 가능 값의 수르르 결정할 수 있다. num_dimensions_minus1는 차원의 수를 정의할 수 있다.
그러나 만약, 타입 표시자 필든 696이 제 2상태를 추정하는 경우, 매핑 704는 다르게 수행된다. 특별히, 매핑은 하나의 부분 이상으로의 레이어 표시자 필드 690의 분할에 의한 경우에서 즉, 비트의 연속적인 서브-시퀀스의 번호n으로의 필드 690의 m-비트의 순서까지의 분할에 의해 수행된다. 따라서 획득된 각 부분은 n-차원 벡터 712의 좌표 x1 … xn로서 사용된다. 레이어 표시자 필드(690)를 포함하는 NAL 유닛의 레이어 연관된 확장 공간 (698) 내에서 동작 포인트에 전환 지점이 있다. 예컨대, 레이어 표시자 필드 690의 m-비트는 필드 690의 제 1(가장 중요한) m1비트 중 제 1부분 형성에 의해 n 부분으로 분할된다. 이어지는 필드 690의 비트 m2 (그 다음으로 중요한) 중 필드 690의 두 번째 부분의 비트 및 m1 + … + mn = m으로의 n 번째 부분 까지 등으로 n 부분으로 분할된다. 각 부분의 비트는 정수 값 표현으로서 다루어 질 수 있다. 두 변수의 후자는 구문 구성요소 scalability_mask를 이용하여 전송될 수 있다. 그리고 테이블은 그 자체로 한편의 가능 값 즉 layer_id_in_nuh, 및 p-dimensional vector, 즉 dimension_id[ i ][ j ]의 쌍을 통해 신호화 된다. 그리고 매핑 704는 p 차원이 벡터, 즉 레이어 표시자 필드 690을 구비하는 NAL 유닛의 레이어와 관련되는 공간 698내의 연산 포인트를 지정하는 각 벡터 710으로의 매핑하는 정보를 통해 매핑 된다.
제 2 상태를 추정하는 유형 표시자 필드의 경우, n 차원의 수는 데이터 스트림을 통해 신호화 되거나 디폴트에 의해 설정될 수 있다. 이하에서 설명되는 구체적인 실시예의 경우, n은 즉, scalability_mask를 기반으로 제 1상태를 추정하는 유형 표시자 필드 696의 경우에서 p를 결정하기 위해 사용되는 동일한 구문 구성요소를 기반으로 유도된다. 레이어 표시자 필드 690으로의 일부 비트 길이는 서브 분할 된다, 즉 m1, …, mn는 구문 구성요소 dimension_id_len_minus1를 통해 예시적으로 신호화 된다. 하지만 다시, 서브 분할은 디폴트에 의한 명백한 이송 없이 획득될 수 있다.
유형 표시자 필드 696의 분석가능에 관계없이 scalability_mask와 같은 동일한 구문 구성요소를 주의해야 하고, 이는 확장 가능한 공간의 차원의 시멘틱 의미의 번호를 나타낼 수 있다. 이는 구문 구성요소가 제한된 상태를 허용할 수 있다 - 매핑 경우에 상대적으로 - 유형 표시자 필드 696의 경우에서 구문 구성요소의 허용 가능한 상태의 적절한 서브셋에서는 레이어 표시자 필드의 해석 구성요소-방향을 나타낸다. 그러나, 예컨대, 매핑 경우(유형 표시 필드의 제1상태)에서 확장 가능한(또는 설정 가능한) 공간의 차원의 최대 수, 때문에, 해석 구성요소의 경우(유형 표시자의 제1상태)에서 가능한 최대 수 이상일 수 있다. 인코더는 이에 따라 제한을 준수한다.
도 23 내지 25의 실시예가 예시적으로 사용된다.
대용량 멀티 파티 컨퍼런싱(Mass multi party conferencing)
RTP 예컨대 웹 컨퍼런스에 기반한 대용량 대화적 서비스 시나리오에서, 다수의 당사자들 사이에 전송 된 비디오는 각각 비디오 비트 스트림의 파라미터 집합를 인식하는 멀티 포인트 제어 유닛 (MCU)으로 구성된다. 각 당사자는, 썸네일 비트 스트림 및 확장 공간 해상도 예컨대, 스피커의 720p및 4k등의 두 개의 비트 스트림을 제공한다. MCU는 당사자를 제공하는 스트림에 대한 결정을 갖는다. 확장 가능한 파라미터의 용이한 분석은 따라서 MCU에 대해 매우 안정적이다. 접근에 기반한 분할은 확장가능성 신호화의 접근에 기초한 매핑과 비교하여 보다 적은 연산 및 메모리 자원을 필요로 한다.
전송 시스템(Transport Systems)
RTP 또는 MPEG2-TS와 같은 전송 시스템에서 , 각 구성 요소에 관련된 확장 코덱 정보를 매핑하는 것은 덜 복잡하고, 그리고 매핑 기반의 접근과 비교하여 비트가 절감되는 이점이 있었다. 전송 시스템은 매핑 접근의 경향에서 확장 가능성 신호화를 채택할 가능성이 있다. 하지만 전송 시스템은 분할 접근과 같이 명백하게 신호화된 전환에서의 각 확장가능 차원에 대한 확장가능 식별자를 생성하고 매핑 지시를 오히려 간접 참조할 수 있다.
도 26의 예는 VPS 확장 구문에서의 가능한 실시예를 나타내고, 이는 매핑과 HEVC의 확장에서의 확장가능 신호화의 접근을 기반으로 하는 분할 사이의 전환을 허용하고, [4]에서 보고되는 VPS 확장 구문에 기반한다.
dedicated_scalability_ids_flag 의 값은 1과 같고 NAL 유닛 헤더에서의 layer_id 필드의 비트를 나타낸다. 이는 dimension_id_len_minus1[]의 값에 따라 분할되고 scalability_mask에서 신호화된 각 확장성 차원을 포함한다. dedicated_scalability_ids_flag는 1과 동일하고 구문 구성요소 vps_nuh_layer_id_present_flag, layer_id_in_nuh[ i ] 및dimension_id[ i ][ j ]을 나타낸다. 이는 신호화 되지 않는다. 1과 동일한 dedicated_scalability_ids_flag는 NAL 유닛 헤더(cp. layer_id)에서 확장가능 식별자의 비트와 유일하게 각각 관련된 NAL 유닛에 대응하는 확장가능 식별자를 설명하는 변수의 유도를 나타낸다. 예컨대, 아래에서 이에대한 경향을 설명한다.
DependencyId = layer_id && 0x07
QualityId = layer_id && 0x38
0과 동일한 edicated_scalability_ids_flag는 구문 구성요소 vps_nuh_layer_id_present_flag, layer_id_in_nuh[ i ]를 나타낸다. 그리고 dimension_id[ i ][ j ]는 신호화 되고 NAL 유닛 헤더 에서의 레이어_id의 비트는 확장가능 차원을 구체화 하기 위해 연관되지 않지만 VPS 확장에서 확장가능 식별자로서 매핑 된다. 0과 동일한 값인 dedicated_scalability_ids_flag는 예컨대 다음과 같이, NAL 유닛 헤더에서 신호화된 레이어_id로 주어지는 구문 구성요소 dimension_id[ i ][ j ]를 이용하는 NAL 유닛에 대응하는 확장가능 식별자를 설명하는 변수의 유도를 나타낸다.
if (layer_id == layer_id_in_nuh[ 0 ]) {
DependencyId = dimension_id[ 0 ][ 0 ]
QualityId = dimension_id[ 0 ][ 1 ]
dimension_id_len_minus1[ i ]는 dedicated_scalability_ids_flag이 0과 동일할 때, dimension_id[ i ][ j ]의 비트 길이를 나타낸다. dedicated_scalability_ids_flag이 1과 동일할 때 dimension_id_len_minus1[ i ]는 scalability_mask에 의해 나타내어지는 i번째 확장성 차원으로의 NAL 유닛 헤더에서의 레이어_id의 비트 번호를 나타낸다.
도 27의 흐름도는 본 발명의 가능한 실시예를 더 나타낸다. 확장 가능한 식별자는 마스크 된 비트 카피를 통해 직접적으로 레이어_id를 통해 유도되거나 레이어_id 의 구체적인 값에 관련된 신호화된 VPS를 통해 도출된다.
또 다른 구문 예가 도 31에 도시된다. 여기에, 유형 표시자 필드는 “splitting_flag”에 의해 신호화 되고, 반면 레이어 표시자 필드는 nuh_layer_id로 지칭된다. “splitting_flag”에 의존하여, 매핑 개념 또는 분할 개념은 nuh_layer_id로 부터의 확장 가능 공간에서 각 NAL 유닛의 레이어의 연산 포인트 유도에 대해 사용된다. 분할 개념에서 예시적으로, 0과 동일한 splitting_flag에 의해 신호화된다. 그리고, 확장가능 식별자들, 예컨대, 확장 가능성 공간의 확장 가능 공간을 고려하는 벡터 구성요소는 비트 마스크 된 카피에 의한 NAL 유닛 헤더 에서의 구문 구성요소 nuh_layer_id로부터 유도 될 수 있다. i 번째 확장 가능 차원에서의 각 비트 마스크, 도 25에서 벡터 712의 i번째 구성요소 아래에 정의된다.특히, 1과 동일한 splitting_flag은 구문 구성요소 dimension_id[i][j]가 존재하지 않는 다는 것을 나타낸다(즉, 매핑 정보 708이 존재하지 않는다) 그리고 NAL 유닛에서의 nuh_layer_id의 값의 이진화 표현은 NumScalabilityTypes의 배열로 분할된다. 즉, dimension_id_len_minus1[j]의 값과 dimension_id[LayerIdxInVps[ nuh_layer_id ]][j]의 값에 따라 비트에서의 길이 x1…n으로의 n 세그먼트로 분할된다. 즉 벡터 712의 구성요소 x1…n는 필드 690의 NumScalabilityTypes세그먼트로부터 추론된다. 시멘틱 의미와 확장 가능 공간의 확장 가능 수는 flags scalability_mask_flag의 순서에 의해 신호화된다. 이는 여기에서 기 설정된 확장 가능 유형의 예시적인 고정된 번호를 나타낸다. 이 때문에 각각의 확장 가능 유형이 확장 가능 공간 698 또는 그것이 공간의 임의의 확장 가능 차원을 포함하는가에 따라 고정된 번호를 나타낸다. 특히, 네트워크 엔티티 680은 확장 가능 공간의 유도가 가능하다. 즉, 도 31에서의 루프에 따른 flags scalability_mask_flag의 순서로부터, 확장 가능 축NumScalabilityTypes의 순서의 시멘틱 의미의 유도가 가능하다.
for( i = 0, NumScalabilityTypes = 0; i < 16; i++ ) {
scalability_mask_flag[ i ]
NumScalabilityTypes += scalability_mask_flag[ i ]
}
scalability_mask_flag[i]이 1과 동일해 지는 곳에서 존재하는 i번째 확장 가능차원 나타낸다. 그리고 0과 동일한 scalability_mask_flag[ i ]는 존재하지 않는 i번째 확장 가능 차원을 나타낸다. 여기서 i=1은 멀티뷰 뷰 확장 가능성을 나타낼 수 있다. i=2는 공간/SNR 확장가능성을 나타내고 i=0은 맵 정보 깊이의 추가를 나타낼 수 있다. 다른 확장 가능 차원 유형도 마찬가지로 존재 할 수 있고, 당연히 아웃라인 된 예시는 단지 예시일 뿐이다. 예시적으로 6이 될 nuh_layer_id의 길이를 가정하면 아래와 같이 분할 또는 마스킹 된 카피가 수행된다.:
_ 변수 dimBitOffset[ 0 ]는 0과 같이1부터 NumScalabilityTypes - 1 의 범위에서 j에 대해 설정되고, 아래와 같이 유도되는 dimBitOffset[ j ]를 포함한다.
Figure 112021134889875-pat00001
_ dimension_id_len_minus1[ NumScalabilityTypes -1 ]의 값은 5 -dimBitOffset[ NumScalabilityTypes - 1 ]와 동일하게 추론된다.
_ dimBitOffset[ NumScalabilityTypes ]의 값은 6으로 설정된다.
NumScalabilityTypes이 0보다 크고, dimBitOffset[ NumScalabilityTypes ? 1 ]이 6보다 작을 때 비트스트림 적합성이 요구된다.
0으로 부터의j에 대한 NumScalabilityTypes -1, 포함하고, dimension_id[ i ][ j ]는 ( ( nuh_layer_id & ( (1 << dimBitOffset[ j + 1 ] ) ? 1) ) >> dimBitOffset[ j ] )와 동일하도록 추론된다.
요약하면, 아래 구문 구성요소는 확장 가능 공간 에서의 연산 포인트로의 각 제1 NAL 유닛 연관에 관계가 있다.
1) nuh_layer_id i.e. layer indicator filed 690
2) scalability_mask_flag의 순서, 즉 순서 및 공간 698의 확장 가능 축 700,702의 의미를 나타내는 정보, 그리고 이에 따른 필드의 일부 xi의 수
3) dimension_id_len_minus1 즉, 각 축의 690 필드의 각 xi 일부(하나를 제외한 모두, 나머지 하나는 필드 690의 남은 비트 모두를 포함하는 것으로 추론 할 수 있기 때문에)
4) vps_max_layers_minus1는 도 31의 선택적인 실시예에 따라 전송된다.
또한, 구문 구성요소는 가능한 ∑i2mi 중 사용되는/실제 레이어의 수를 나타낸다. 분할된 레이어 표시자 필드 즉 a sequence of layer_id_in_nuh[ i ]의 가능 값 vps_max_layers_minus1의 순서에 따라 가능한 ∑i2mi 중 사용되는/실제 레이어의 수를 나타낸다. 이에 따라 가능 연산 포인트 중의 랭크 순서에 따라 정의한다.
0과 동일한 splitting_flag의 경우, 매핑 개념이 사용된다. 매핑 정보 708은 아래 정의를 사용하여 전송된다.:
1) scalability_mask_flag의 순서는 즉 번호를 나타내는 정보와 공간 698의 확장 가능 축 700, 702의 의미, 그리고 이에 따른 테이블 708에서의 M 벡터의 구성요소의 번호 p이다.
2) dimension_id_len_minus1는 즉 공간 698의 각 축의 하나, 테이블 708에서의 벡터 dimension_id[i][j] in table 708의 각 구성요소 xj 즉 비트 길이이다.
3) layer_id_in_nuh[i]는 선택적으로 벡터 dimension_id[i][j]의 리스트에 대한 표시자 로서의 역할을 한다.
4) vps_max_layers_minus1은 도 31에는 도시되지 않았지만 선택적으로 전송된다. 이는 가능한 ∑i2(dimension_id_len_minus1[i]) 중의 사용되는/실제 레이어의 번호 M을 나타낸다.
따라서, 0과 동일한 splitting_flag의 경우, 벡터 710은 명백한 신호화 없는 분할에 의해 본질적으로 즉, 추론대신 dimension_id[i][j]의 신호화 없이 유도된다.
따라서 4번째 측면에 따라, “NAL 유닛 레이어 식별자의 전환 가능한 해석”의 개념에서 비트 스트림 40은 NAL 유닛을 포함 할 수 있다. 즉, VPS NAL유닛은, “표준” NAL 유닛에서 레이어 표시자 필드 302로의 비트 분할 개념 및 매핑 개념 사이의 가능한 전환을 통한 유형 표시자 필드 300을 포함한다. 따라서, 필드 302의 동일한 비트 위치는 두 모드들 에서 사용된다. 하지만 비트의 해석 및 신호화된 해석 설명 정보, 즉 비트스트림으로 이동된 매핑 정보 또는 분할 및 시멘틱 정보는 모드들 사이에서 변화한다. 그럼에도 불구하고 이는 유형 표시자 필드의 추가적인 이송을 필요로 한다. 이러한 개념은 함께 매핑 개념의 이점으로서 보다 효율적인 비트 스트림 이송을 이끈다. 그리고 비트 분할 개념은 두 개념 모두 다른 멀티 레이어 데이터에 대해 다르게 적용되기 때문에 필요 조건으로서 레이어의 번호 등에 의존하는 것과 같이 이용될 수 있다.
본 발명의 5번째 측면은 멀티 표준 멀티 레이어 비디오 디코더 인터페이스에 관련된다. 개념 설정은 이하에서 전송 레이어 디코더를 설명한다. 그리고 이송 레이어 디코더(MPEG 전송 스트림 또는 RTP )와 확장 가능 비디오 디코더 사이의 인터페이스는 다른 레이어(예컨대 확장 레이어 에서의 베이스 레이어와 HEV의 H.264/AVC)에서 다른 비디오 코딩 표준을 지원한다.
확장 가능 비디오 비트 스트림은 레이어를 구성한다. 이는 하나의 베이스 레이어를 포함하고, 하나의 베이스 레이어는 독립적인 디코딩 가능한 비디오 신호 및 하나 또는 그 이상의 확장 레이어를 포함한다. 이는 오직 베이스 레이어(그리고 잠재적인 다른 확장 레이어)의 조합에 의해 디코딩 할 수 있다. 그리고, 일시적으로 더 높은 해상도(일시적인 확장성), 공간 해상도(공간 확장성), 품질(SNR 확장성), 더 높은 비트 깊이(비트 깊이 확장성) 비디오 신호 또는 다른 카메라 뷰(멀티 뷰 확장성)
H.264/AVC SVC와 같은 확장 가능 비디오 코딩의 존재는 동일한 표준에서 베이스 및 확장 레이어 두 가지를 정의한다. 이러한 방식으로 그것들은 디자인 되고, 확장 가능한 비트 스트림은 확장 가능하지 않은 비트 스트림으로서의 동일한 기본 포맷을 가진다. 만일 확장가능 비트 스트림이 확장 가능하지 않은 디코더로 입력하는 경우, 여전히 패킷 유형을 찾을 수 있고 알려지원 않은 패킷은 처분 할 수 있다.
HEVC는 베이스 레이어(예컨대H.264/AVC)에 대한 다른 비디오 코딩 기준을 사용하는 것을 허용하는 제1 비디오 코딩 표준이다. 두 표준에 대한 패킷 포맷은 다르고, 따라서 베이스 레이어 디코더는 확장 레이어 패킷을 이해 할 수 없다. 다른 한편 확장 레이어 디코더는 확장 레이어 패킷 포맷을 이해 할 수 있지만 베이스 레이어 패킷 포맷은 이해 할 수 없다.
오디오/비디오 시스템에서의 전송 레이어는 몇몇 오디오와 비이오 스트림을 조합하기 위해 사용되고 시점 및 스트림 유형과 같은 메타 데이터를 제공한다.
존재하는 멀티 레이어 이송 레이어 디코더에서 베이스 및 확장 레이어 유닛의 접근은 단일 비디오 데이터 스트림((e.g. Annex B Byte stream of H.264/AVC)으로 다중화 된다. 이러한 비디오 스트림은 비디오 디코더로의 입력이다.
만일 다른 비디오 코딩 기준이 베이스 및 확장 레이어에 대해 사용되는 경우, 베이스 및 확장 레이어의 패킷은 모든 경우에 있어서 단일 비트스트림으로 구성될 수 있다.
5 번째 실시예에 따라, 전송 레이어 디코더는 아래 경우를 분별한다.
1. 출력을 읽는 비디오 디코더는 오직 베이스 레이어를 디코딩 할 수 있다.
2. 그리고 베이스 및 확장 레이어는 동일한 비디오 코딩 표준을 이용하여 인코딩 된다.
3. 출력을 읽는 비디오 디코더는 베이스 ac 확장 레이어를 디코딩할 수 있고, 베이스 및 확장 레이어는 다른 비디오 코딩 기준을 사용하여 인코딩된다.
1 의 경우 전송 레이어 디코더는 아래의 양태를 이용한다.
베이스 레이어를 포함하는 패킷만, 전송 레이어로부터 추출되고, 비디오 코딩 기준에서 구체화된 포맷에서의 단일 기준 단일 레이어 비디오 디코더로 입력한다.
구체화된 실시예는 ITU-T 권고안 부록에 정의된 하나 이상의 프로파일에 준거한 스트림 타입 "AVC 비디오 스트림에서만 스트림을 선택함으로써, MPEG-2 전송 스트림으로부터의 H.264/AVC NAL유닛을 추출하는 전송 스트림 디코더이다. H.264 | ISO / IEC 14496-10 AVC 비디오 또는 서브 비트 스트림은 "H.264 / AVC 규격의 부록 B에 정의 된 바이트 스트림 형식으로 H.264 / AVC 비디오 디코더로 지정하여 입력한다. 그 스트림의 스트림 타입에 속하는 NAL 유닛들은 ITU-T 권고안 부록에 정의 된 하나 이상의 프로파일에 준거 한 스트림 타입 "AVC 비디오 스트림과 동일하지 않다. H.264는 | ISO는 / IEC 14496-10 AVC 비디오 또는 서브 비트 스트림의 "전송 스트림 디코더 내에서 폐기된다. 도 28은 특정 형태의 그림을 제공합니다.
2의 경우 전송 레이어 디코더는 다음과 같은 동작을 사용한다.
베이스 및 확장 레이어로부터의 패킷은 전송 레이어로부터 추출된다. 그리고 비디오 코딩 표준에 지정된 형식의 단일 표준 멀티 레이어 비디오 디코더에 입력한다.
특정 실시 예는 스트림 타입 "ITU-T 권고안 부록에 정의 된 하나 이상의 프로파일에 따르는 AVC 비디오 스트림을 갖는 베이스 레이어 스트림을 선택하여 MPEG-2 전송 스트림에서 H.264 / AVC NAL 유닛을 추출 할 수 있다. H.264 | ISO / IEC 14496-10 또는 AVC 비디오 서브 비트 스트림은 ITU-T Rec의 부속 G 에서 정의된 하나 또는 그 이상의 프로파일을 준수하는 AVC 비디오 스트림의 “SVC 서브 비트 스트림의 스트림 타입을 구비하는 하나 또는 그 이상의 확장 레이어를 할당한다. H.264 | ISO/IEC 14496-10”이 할당된다. 다른 레이어 NAL 유닛들은 H.264 / AVC 규격의 부록 B에 정의 된 바이트 스트림 형식으로 다중화된다. 그리고 H.264/AVC SVC비디오 디코더로 입력한다. 도 29는 구체적인 실시예의 예를 도시한다.
전송 레이어 디코더(3)의 경우 다음과 같은 동작을 사용한다:
베이스 및 확장 레이어로부터의 패킷은 전송 레이어로부터 추출된다. 이러한 패킷은 아래의 섹션에서 설명되는 방법 중 하나에서 멀티 표준 멀티 레이어 비디오 디코더로 전달된다.
인터페이스 A
만일 확장 레이어 표준 패킷 포맷이 베이스 레이어 패킷 전달을 허용하는 경우, 베이스 레이어 패킷이 확장 레이어 포맷에서 캡슐화 된다. 이는 확장 레이어 표준 비디오 디코더에 의해 이해될 수 있는 각 베이스 레이어 패킷에 추가되는 헤더를 의미한다. 그리고 이는 다른 비디오 코딩 기준의 베이스 레이어로서 패키지를 식별하는 확장 레이어 비디오 인코더를 허용한다.
본 발명의 특정 실시 예에서, H.264 / AVC NAL 유닛은 NAL 유닛 HEVC 즉 HEVC NAL 유닛 헤더는 H.264 / AVC NAL 유닛 헤더의 앞에 추가의 페이로드로서 이용된다. HEVC NAL NAL 유닛 헤더(예컨대 nal_unit_type)에서의 필드는 H.264/AVC의 NAL 유닛으로서 플레이로드를 식별하도록 사용된다. 비트 스트림은 HEVC 부속 B 바이트스트림 포맷에서 비디오 디코더로 입력 될 수 있다. 도 30이 구체적인 실시예의 그림으로 주어진다.
인터페이스 B
다른 채널은 확장 가능한 비트 스트림의 각 레이어에 대해 사용된다. 비디오 코딩 표준은 채널 섹션에 의해 디코더에서 결정된다.
두 레이어에 대한 발명의 구체적인 실시예에 있어서 두 개의 분할된 채널에서 전달된다. 두 번째 채널이 오직 HEVC 확장 레이어 패킷에서 사용되는 동안, 첫 번째 채널이 오직 H.264/AVC 베이스 레이어 패킷 (또는 부속 B 바이트 스트림)에 대해 사용된다
인터페이스 C
비디오 코딩 표준의 유형을 나타내는 메타데이터 필드는 전송 스트림 디코더로부터 멀티 표준 멀티 레이어 비디오 디코더로의 각 패킷과 연관된다. 다른 메타데이터, 예컨대 시점은 동일한 방법으로 신호화 될 수 있다.
구체적인 실시예에서, 각 베이스 레이어 NAL 유닛은 연관된 메타 데이터 필드에 의해 H.264/AVC NAL로서 식별된다. 그리고 각 확장 레이어 NAL 유닛은 연관되는 메타데이터 필드에 의해 HEVC NAL로서 식별된다.
따라서, 5번째 측면의 개념은 다른 코덱의 비트 스트림을 조합하는 방법에 대한 “멀티 표준 멀티 레이어 디코더 인터페이스”로서 설명될 수 있다.
따라서 본 발명의 5번째 측면에 따라, 전송 레이어 디코더는 도 4와 같이 아웃라인 상태로 구성된다. 도 44에 도시된 전송 레이어 디코더는 일반적으로 참조 기호 770을 사용하여 표시된다. 전송 레이어 디코더 770는 멀티 표준 멀티 레이어 디코더 772에 의해 디코딩 하기 위해 레이어에서 코딩된 장면으로 인바운드 멀티 레이어 비디오 데이트 스트림 객체로 구성되고 전송 레이어 디코더 770 아웃라인 인터페이스가 연결된다. 멀티 레이어 비디오 데이터 스트림 40에는 본 발명의 여러 다른 측면에 대해 이미 아웃 라인 된 NAL 유닛이 포함된다. 이 설명은 도 44의 실시예에 따라 전송 할 수 있다. NAL 유닛의 각각은 레이어의 하나와 연관된다. 레이어들은 예컨대 다른 표준의 다른 코드에서 연관된다. 각 레이어에 대해, 각 레이어에 연관되는NAL 유닛은 동일한 코덱을 사용하여 코딩 된다. 즉, 각 레이어에 대해 연관된다.
전송 레이어 디코더 770은 동일한 코덱이 연관된 각 NAL 유닛을 식별하기 위해 구성된다. 그리고 멀티 레이어 비디오 데이터 스트림으로의 다른 코덱과 관련되는 레이어 사이의 인터 레이어 추정을 사용하는 멀티-표준 멀티-레이어 디코더로의 멀티 레이어 데이터 스트림 40의 NAL 유닛을 전달한다.
전술한 바와 같이, 각 NAL 유닛은 본 발명의 네 번째 측면에 관련되어 이미 아웃라인 된 특정 레이어 표시자 필드의 방법에 의해 멀티 레이어 비디오 데이터 스트림의 레이어의 하나와 연관될 수 있다. NAL 유닛의 일부 또는 대부분이 콘텐츠에 관련된 데이터, 즉 하나 이상의 슬라이스를 운반 할 수 있다. 레이어의 특정 집합에 관한 모든 NAL 유닛들을 수집함으로써, 비디오 콘텐츠 나 장면의 데이터 스트림(40)은 디코딩 레이어 집합에 의해 부여 된 정보량에 대한 디코더 (772)에 의해 디코딩 될 수 있다. 레이어 의존성과 관련하여, 하나 이상의 화장 가능한 차원 등을 가지는 옵션, 참조는 본 발명의 4번째 측면에 대한 설명을 한다.
멀티 레이어 멀티 표준 디코더 772는 다른 코덱/표준을 처리 할 수 있다. 다른 표준의 예로는, 전술된 바와 같이 H.264, HEVC가 제시되었지만, 다른 기준도 가능하고 기준이 조합 될 수도 있다 . 다른 코덱/표준은 하이브리드 코덱으로 제한되지 않는다. 오히려, 다른 종류의 코덱의 혼합 또한 사용 될 수 있다. 멀티 레이어 멀티 표준 디코더 772에 의해 사용되는 인터 레이어 추정은 다른 레이어에서 사용되는 추정 파라미터와 관계 될 수 있거나, 또는 다양한 시간 정렬된 레이어의 픽처 샘플로 추론될 수 있다. 이는 이미 다른 양태 및 실시 예에 대하여 설명 되었다.
전송 레이어(770)는 디코더 (772) 만, 극복 할 수 있다. 멀티 레이어 멀티 표준 디코더 코덱 레이어에 속하는 NAL 유닛을 통해 수행 하도록 구성 될 수 있다. 즉 전송 레이어 디코더 770에 의해 수행되는 전달은 각 NAL 유닛이 연관된 코덱의 전송 레이어 디코더의 770 식별에 의존한다. 특히, 전송 레이어 디코더 770는 아래의 각 NAL 유닛에 따른다.
● 현재 NAL 유닛에서 검사된 레이어 식별은 예컨대, NAL 유닛의 NAL 헤더의 레이어 식별자 필드 검사에 의해 연관된다.
● 한편으로는 데이터 스트림 (40)의 레이어와 코덱 사이의 연관에 기반한 코덱/표준의 동일한 기준이다. 데이터 스트림 (40)의 각각의 하이 레벨 구문의 검사에 기초하여 상기 전송 계층 디코더 (770)에 의해 유도되는 연관 전송 레이어 디코더 (40)는 현재 검사 NAL 유닛이 두 가지 기준을 만족하는지의 여부를 판정한다 : NAL 유닛 레이어는 디코더 772로 행하는 레이어의 서브셋을 포함한다. 이러한 서브셋은 확장 공간 내에서 동작 포인트는 다층 멀티 - 표준 디코더 (772)로 전달되도록 허용되거나 허용되지 않기 때문에, 확장 가능 공간과 외부 처방에서 현재 검사된 NAL 유닛 레이어의 연산 포인트에 의해 결정된다. 또한 전송 레이어 디코더 770는 멀티 레이어 멀티 표준 디코더 772를 처리할 수 있는 코덱/표준의 집합를 포함하는 NAL 유닛 레이어 코덱이 현재 검사되는지를 확인한다.
● 만일 확인이 두 기준이 모두 현재 검사된 NAL 유닛에 의해 충족되는 경우, 전송 레이어 디코더(770)은 디코딩 된 디코더 772로 현재 NAL을 전달한다.
전송 레이어 디코더 770에 대한 전술한 실시예에서 다른 한편의 동일하게 놓인 코덱/표준과 한편에서의 데이터 스트림 40에서 포함되는 레이어 사이의 연관관계를 결정하기 위한 다른 가능성이 존재한다. 예컨대, "인터페이스 B"에 대해 상술 한 바와 같이, 다른 채널이 데이터 스트림 (40) 즉 하나의 채널에 대한 하나의 코덱/기준 레이어의 NAL 유닛과, 다른 채널 상의 다른 코덱/유닛 과 일치하는 코딩된 레이어의 유닛을 전달하기 위해 사용될 수 있다, 이러한 수단에 의해, 전송 레이어 디코더 770는 한편의 코덱/표준 상의 레이어와 다른 한편의 여러 채널 사이에서의 분별에 의해 레이어들 사이에서 전술된 연관관계를 도출할 수 있다. 예컨대, 전송 레이어 디코더 770는 이 때문에 NAL 유닛의 각 레이어에 연관되거나 또는 각 코덱/표준을 식별하기 위해 데이터 스트림 40의 각 NAL 유닛에 도착하는 채널의 각 NAL 유닛에 대해 결정한다.
추가적으로 또는 선택적으로, 전송 레이어 디코더770은 각각의 코덱/표준에 의존하는 방법으로 멀티 레이어 멀티 표준 디코더 772로의 다른 코덱/표준을 포함하는 레이어의 유닛을 전달한다. 따라서 코덱/표준이 속하는 레이어의 유닛은 디코더 772의 채널의 하나로 전송되고, 다른 코덱/기준의 레이어의 NAL 유닛은 다른 채널로의 멀티 레이어 멀티 표준 코덱772으로 전달된다.
“다른 채널”은 전송 레이어에 놓아 짐으로써 제공 될 수 있다. 즉, 다른 채널의 식별은 놓아진 전송 레이어에 의해 제공된 채널 다른 채널 식별자를 분별함으로써 구현 될 수 있다. 이는 이해의 편의를 위해 도 44에 도시되지 않는다.
멀티 레이어 멀티 표준 디코더 772로 데이터 스트림 40을 전달하는 또 다른 가능성은 전송 레이어 디코더 770이 레이어로 연관되는 식별되는 유닛을 캡슐화하는 것 일 것이다. 이는 각 레이어의 코덱을 나타내는 상태로 설정하는 NAL 유닛 유형 표시자를 구비하는 기 설정된 코덱의 NAL 유닛 헤더를 이용하는 기 설정된 코덱으로부터의 임의의 다른 코덱으로 연관된다. 이는 다음을 의미한다: 기 설정된 코덱은 예컨대 데이터 스트림 40의 임의의 확장 레이어의 임의의 코덱일 수 있다. 예컨대 베이스 레이어 코덱은 즉 데이터 스트림 40과 연관된 베이스 레이어 코덱은 예컨대 HEVC와 같은 기 설정된 코덱과 과 다르다. 이에 따라, 멀티 레이어 멀티 표준 디코더 772가 통과할 때 전송 레이어 디코더는 기 설정된 코덱의 데이터 스트림 표준으로 전환할 수 있다. 이러한 목적을 위해, 전송 레이어 디코더770은 각각 기 설정된 코덱을 이용하고, 기 설정된 NAL 유닛 헤더의 코딩 되지 않은 레이어를 포함하는 NAL유닛을 캡슐화 한다. 그리고 실제 각 레이어의 코덱을 나타내는 상태로의, NAL 유닛 헤더 내부의 유닛 유형 표시자를 설정한다.
당연히,인터페이스 C에 대한 설명에 있어서, 각각의 NAL 유닛은 연관되고, 연관되는 각 레이어를 구비하는 코덱이 나타내는 메타데이터로 인바운드 데이터 스트림의 각 NAL 전송 유닛을 레이어 디코더 770이 제공하는 것이 가능하다. 데이터 스트림 (40)의 NAL 유닛들은 그에 따라서 확장 된 방식으로 디코더 (772)로 전달 될 것이다. 예컨대, 베이스 레이어의 H.264 및 NAL 유닛은 베이스 레이어 NAL 유닛은 예컨대, 이에 따라 H.264를 나타내는 상태를 설정하는 NAL 유닛 유형 표시자를 구비하는 HEVC 및NAL를 이용하여 캡슐화 한다. 멀티 레이어 멀티 표준 772는 데이터 스트림에 적합한 HEVC를 적절하게 수신한다.
대안적인 설명을 이용하여, 부가적인 레이어에 의한 데이터 스트림으로 인코딩 되는 컨텐츠를 확장하는 것이 가능하다. 그러나, 이는 예컨대 더 새로운 코덱, 및 수정될 필요가 없는 코덱40의 존재하는 부분 등과 같은 다른 코덱을 이용하여 코딩 된다. 차례로, 멀티 레이어 멀티 표준 디코더를 더 새로운 코덱으로 다룰 수 있다. 즉, 새롭게 추가된 것 , 새로운 코덱을 이용하여 코딩된 레이어로 존재하는 데이터 스트림의 혼합물과 같이 다룰 수 있다.
따라서, HEVC의 측정 가능한 비트 스트림에 대한 병렬의/ 낮은 지연 비디오 코딩 개념은 앞서 전술된 바와 같다.
고 효율 비디오 코딩(HEVC, High Efficiency Video Coding) 표준 [1]은 초기 인코더 및 디코더 측에서 병렬 처리가 가능 두 개의 전용 병렬화 도구인, 타일 및 파면 병렬 처리(WPP, wavefront parallel processing)를 제공한다:
이러한 도구는 개별 이미지 내에서 병렬 처리를 하지 않는 기능 HEVC 코딩 된 비디오에 비해 코딩 효율 손실을 최소화하면서 처리 시간 개선을 대상 픽처 내의 병렬화를 허용한다.
확장 [2] 또는 멀티뷰 [3] HEVC 비트 스트림에서, 디코딩 된 기본 레이어 또는 기본 뷰 포토 확장 레이어 또는 종속 뷰 픽처를 추정하는데 사용된다. 상기 설명에서, 레이어 용어는 또한 동시에 뷰의 개념을 커버 하기 위해 사용되었다.
상술 한 실시 예는 마무리 된 연관된 베이스 레이어 픽처의 디코딩 전에 확장 레이어 영상의 디코딩을 시작할 수 있는 확장 가능 비디오 디코더를 설명한다.화상 영역 디코딩은 각 레이어에서 사용되는 높은 수준의 병렬 처리 툴에 기초한 파이프 라인화된다. 기저 및 확장 레이어 디코더는 실제 레이어 내에 평행하게 또한 서로 평행하게 작동하고 있다. 각 레이어 내의 병렬 처리의 양이 기저 및 확장 레이어간에 다를 수 있다. 또한, 신호화는 적절히 특정 된 비트 스트림에 대한 병렬 디코딩 환경을 설정하는 데 필요하다고 설명하였다.
일반적인 참조로서 다음을 유의해야 한다 : 상기 실시 예는 설명 디코더 및 대응 다양한 양태에 따른 인코더를 설계하였다. 지금까지 고려된 모든 측면에 있어서, 그 주위 어디든지,디코더 및 인코더 지원 WPP 및 / 또는 타일 병렬화를 처리하고 그에 따른 세부 사항이 설명된다. 이러한 세부 사항은, 같은 동시에 그래서 이러한 다른 측면의 새로운 실시로 이어질 하나에 관해서는 다른 측면과 그 대응 설명 중 하나에 적용 취급된다. 또는 이러한 다른 측면의 실시예를 설명한다- 각 설명이 양도된 각 측면의 경우에 상관없이 “일부(portions)”,”공간 세그먼트” 또는 픽처의 병렬 처리 가능한 세그먼트를 보다 일반적으로 표현하는 타일/서브스트림 대신에 사용한다. 동일하게 서브 분할한 픽처의 가능한 방법의 설명 설정 및 코딩/추정 파라미터에 관한 세부사항을 적용한다. 모든 측면, 양태는 동일한 유닛에서 타일 및/또는 서브스트림을 결정하는 LCUs/CTBs로의 서브 분할을 이용하여 디코더/인코더에서 야기되는 결과로서 구현될 수 있다. 또한, 이들 양태 중 어느 하나에, LCUs / CTBs 추가 양상들 및 그 실시 예들의 서브 집합에 대하여 상기와 같이 재귀 다중 트리 세분을 이용하여 코딩 블록으로 분할 될 수 있다. 추가적으로 또는 대안 적으로, 슬라이스 개념은 이러한 측면에서 슬라이스 및 서브 간의 관계 / 타일 설명 된 관련하여, 모든 양태의 실시 예들에 의하여 채택될 수 있다.
몇몇 양태는 장치의 맥락에서 설명되었지만, 이들 양태는 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 기능에 대응하는 대응하는 방법의 설명을 나타내는 것이 분명하다. 유사하게, 방법 단계들의 문맥으로 설명 양태는 해당 장치의 대응하는 블록 또는 항목 또는 기능에 대한 설명을 나타낸다.방법 단계들의 일부 또는 전부는, 예를 들어 같은 하드웨어 장치 (또는 사용)에 의해 실행될 수 있는, 마이크로 프로세서, 프로그래머블 컴퓨터 또는 전자 회로. 일부 실시 예에서, 가장 중요한 방법 단계 중 일부는 하나 이상의 이러한 장치에 의해 실행될 수 있다.
특정 구현 요구 사항에 따라, 본 발명의 실시 예들은 하드웨어 또는 소프트웨어로 구현 될 수 있다.구현은, 예를 들면, 디지털 저장 매체를 이용하여 플로피 디스크, DVD를 행할 수 전자적으로 판독 가능한 제어 신호를 갖는 블루 레이, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리, 저장 각각의 방법을 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력 (또는 협력 할 수 있는) 그 위에. 따라서, 디지털 저장 매체는 컴퓨터 판독 될 수 있다.
본 발명에 따른 일부 실시 예는 본원에 기재된 방법 중 하나가 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력 할 수 있는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예는 프로그램 코드를 가진 컴퓨터 프로그램 제품, 컴퓨터 프로그램 제품이 컴퓨터상에서 실행될 때 방법 중 하나를 수행하기 위한 프로그램 코드인 동작으로 구현될 수 다.프로그램 코드는, 예를 들면 머신 판독 가능 매체 상에 저장될 수 있다.
다른 실시 예는 기계 판독 가능 캐리어 상에 저장된 본 명세서에 기술 된 방법 중 하나를 수 행하기 위한 컴퓨터 프로그램을 포함한다.
즉, 본 발명의 방법의 실시 예는, 따라서, 컴퓨터 프로그램이 컴퓨터상에서 실행될 때, 여기에 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법의 또 다른 실시 예에 따라서, 데이터 캐리어 (또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)를 포함하는 이, 본원에 기재된 방법 중 하나를 수행하기 위한, 컴퓨터 프로그램을 기록한 것이다.데이터 캐리어는, 디지털 저장 매체 또는 기록 매체는 일반적으로 가시적 인 및 / 또는 비 트랜지셔너리(transitionary)이다.
본 발명의 방법의 또 다른 실시 예에 따라서, 인, 데이터 스트림 또는 본원에 기재된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 시퀀스.데이터 스트림 또는 신호 서열은 예를 들어 인터넷을 통해, 예를 들어, 데이터 통신 접속을 통해 전송하도록 구성 될 수 있다.
또 다른 실시 예는, 예를 들면, 컴퓨터, 또는 프로그래머블 로직 디바이스로 구성되거나 본원에 기술된 방법 중 하나를 수행하도록 구성된 처리 수단을 포함한다.
또 다른 실시 예는 컴퓨터가 여기에 설명 된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램 설치를 포함한다.
본 발명에 따른 또 다른 실시 예는 장치 또는 수신기에 본원에 기재된 방법 중 하나를 수행하기 위한 (전자적 또는 광학적으로, 예를 들어) 컴퓨터 프로그램을 전송하도록 구성되는 시스템을 포함한다.수신기는, 예를 들면, 컴퓨터, 모바일 장치, 메모리 장치 등일 수 있다.장치 또는 시스템, 예를 들어, 수신기에 컴퓨터 프로그램을 전송하는 파일 서버를 포함 할 수 있다.
일부 실시 예에서, (예컨대 필드 프로그래머블 게이트 어레이) 프로그래머블 논리 디바이스는 여기에 설명된 방법의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 일부 실시 예에서, 필드 프로그래머블 게이트 어레이는 본원에 기재된 방법 중 하나를 수행하기 위해 마이크로 프로세서와 협력할 수 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.
본원에 기술된 장치는 하드웨어 장치를 이용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치 및 컴퓨터의 조합을 사용하여 구현될 수 있다.
여기에 설명된 방법은 하드웨어 장치를 이용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치 및 컴퓨터의 조합을 이용하여 수행될 수 있다.
상술 한 실시 예들은 본 발명의 원리에 대한 예시에 불과하다. 이는 본원에 기재된 변형 및 배치의 변형 및 상세 다른 당업자에게 명백할 것이라는 점을 알 수 있다. 따라서, 단지 임박한 특허 청구 범위에 의해서만 아니라 본원의 실시 예에 대한 설명 및 설명에 의해 제시된 특정 세부 사항에 의해 제한되는 의도이다.
따라서, 다음의 양상들이 상술되었다 :
[실시예 1]
제 1 레이어로부터 제 2 레이어로 인터-레이어 추정(inter-layer prediction)을 이용하는 레이어의 계층구조에서 장면(scene)이 코딩되는 멀티-레이어 비디오 데이터 스트림(40)의 디코딩을 위한 비디오 디코더에 있어서, 상기 비디오 디코더는 레이어의 픽처(12,15)가 서브-분할되는 공간 세그먼트(80)에서 멀티- 레이어 비디오 데이터 스트림의 병렬 디코딩(parallel decoding)을 지원하고, 상기 비디오 디코더는
멀티 레이어 비디오 데이터 스트림의 장기 구문 구성요소 구조(606; e.g. tile_boundaries_aligned_flag)를 검사하고
기 설정된 시간 주기(608) 동안, 제 2 레이어의 픽처들(15)의 공간적 세그먼트들 사이의 경계들이 제 1 레이어의 픽처(12)의 공간적 세그먼트들의 모든 경계를 중첩하도록 제 2 레이어의 픽처들(15)이 서브분할 된다는 보장에 따라, 제 1 가능 값 집합(e.g. tile_boundaries_aligned_flag=1) 중 하나의 값을 추정하여 장기 구문 요소 구조를 해석하고, 기 설정된 시간 주기보다 더 작은 시간 간격(604)으로, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소(602; e.g. column_width_minus1[　i　] and column_width_minus1[　i　])에 기반하여 제 1 레이어 및 제 2 레이어의 픽처들의 공간적 세그먼트들로의 서브분할을 주기적으로 결정하도록,
장기 구문 구성요소 구조가 가능한 제 2 가능 값 집합(e.g. tile_boundaries_aligned_flag=0) 중 하나의 값으로 추정되는 경우, 적어도 단기 구문 구성요소들의 제 1 가능 값에 대해, 제 1 레이어의 공간적 세그먼트들의 경계들 중 어느 것에도 중첩하지 않는 제 2 레이어의 픽처의 공간적 세그먼트들 사이의 경계가 존재하고, 적어도 단기 구문 구성요소들의 제 2 가능 값에 대해, 제 2 레이어의 픽처의 공간적 세그먼트들 사이의 경계들은 제 1 레이어의 공간적 세그먼트들의 모든 경계를 중첩하는, 멀티-레이어 비디오 데이터 스트림의 단기 구문 구성요소들로부터 공간적 세그먼트들로의 레이어 픽처들의 서브분할을, 기 설정된 시간 주기보다 더 작은 시간 간격으로, 주기적으로 결정하도록,
구성되는 비디오 디코더.
[실시예 2]
제 1실시예에 있어서, 상기 비디오 디코더는
각 공간 세그먼트의 경계에서 각 공간 세그먼트를 위한 인트라-픽처 공간 추정을 방해하는 인트라-픽처 공간 추정을 이용하여 레이어의 픽처를 디코딩 하도록 구성되거나; 또는
인트라 픽처 공간 추정이 제 1 레이어의 픽처의 공간 세그먼트의 경계를 교차하는 방식에 따라 제 1 레이어의 픽처의 공간 세그먼트를 병렬로 디코딩하고 제 1 레이어의 픽처의 공간 세그먼트 디코딩 사이의 디코딩 지연 순응(obeying)에 의해, 그리고 인트라 픽처 공간 추정이 제 2 레이어의 픽처의 공간 세그먼트의 경계를 교차하는 방식에 따라 제 2 레이어의 픽처의 공간 세그먼트를 병렬로 디코딩하고 제 2 레이어의 픽처의 공간 세그먼트의 디코딩 지연 순응(obeying)에 의해, 인트라 픽처 공간 추정을 이용하여 레이어의 픽처를 디코딩하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 3]
제 1실시예 또는 제 2실시예에 있어서,
상기 비디오 디코더는 레이어의 픽처가 서브 분할되는 타일에서 멀티 레이어 비디오 데이터 스트림 병렬 디코딩을 지원하고, 상기 디코더는
기 설정된 시간 주기 동안, 제 2 레이어의 픽처들의 타일 사이의 경계들이 제 1 레이어의 타일들의 모든 경계에 중첩하도록, 제 2 레이어의 픽처들이 서브 분할 된다는 보장에 따라, 제 1 가능 값 집합 중의 값을 추정하여 장기 구문 구성요소를 해석하고, 기 설정된 시간 주기보다 더 작은 시간 간격으로, 단기 구문 구성요소에 기반한 제 1 레이어에 상대적인 제 2 레이어의 픽처의 서브 분할의 타일 개선(tile refinement)을 주기적으로 결정하고,
만일 장기 구문 구성요소가 제 2 가능 값 집합 중의 값으로 추정되는 경우, 기 설정된 시간 주기보다 더 작은 시간 간격에서, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소로부터 타일로 레이어의 픽처 서브 분할을 주기적으로 결정하고, 단기 구문 구성요소의 적어도 제 1 가능 값에 대해, 제 1 레이어의 타일의 임의의 경계에 중첩하지 않는 제 2 레이어의 픽처의 타일 사이의 경계가 존재하고, 단기 구문 구성요소의 적어도 제 2 가능 값에 대해, 제 2 레이어의 픽처의 타일 사이의 경계는 제 1 레이어의 타일의 모든 경계에 중첩하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 4]
제 3실시예에 있어서, 상기 비디오 디코더는,
각 타일의 경계에서 각 타일을 위한 인트라-픽처 공간 추정을 방해하는 인트라-픽처 공간 추정을 사용하여 레이어의 픽처를 디코딩 하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 5]
제 1실시예 또는 제 2실시예에 있어서, 상기 비디오 디코더는
기 설정된 시간 주기 동안, 제 1 레이어의 픽처의 각 공간 세그먼트가 장기 구문 구성요소 구조의 값에 의존하는 n을 갖는 제 2 레이어의 픽처들의 n 공간 세그먼트들을 정확하게 형성하도록, 제 2 레이어의 픽처가 서브 분할 된다는 보장에 따라, 제 1 가능 값 집합 중 한 값을 추정하여 장기 구문 구성요소 구조를 해석하도록 구성되고,
만일 장기 구문 구성요소조가 제 2 가능 값 집합의 값으로 설정되는 경우, 기 설정된 시간 주기 보다 더 작은 시간 간격에서, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소에 기반한 기 설정된 주기 내의 인터 레이어 오프셋을 주기적으로 결정하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 6]
제 1실시예 또는 제 2실시예에 있어서, 상기 비디오 디코더는
제 1 가능 값 또는 제 1 가능 값이 아닌 값 중의 값을 추정하는 장기 구문 구성요소 구조에 의존하여 멀티 레이어 비디오 데이터 스트림의 제 2 레이어를 디코딩 하기 위한 시도를 개시하거나 개시하지 않도록 결정하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 7]
제 1실시예 내지 제 6실시예 중 어느 한 실시예에 있어서, 상기 비디오 디코더는 하이브리드 비디오 디코더(hybrid video decoder)인 것을 특징으로 하는 비디오 디코더.
[실시예 8]
멀티 레이어 비디오 데이터 스트림이 레이어의 픽처가 서브 분할된 공간 세그먼트에서 병렬로 디코딩 가능하도록 제 1 레이어로부터 제 2 레이어로 인터 레이어 추정을 이용하여 레이어의 계층구조에서 멀티 레이어 비디오 데이터 스트림으로의 장면을 인코딩하기 위한 비디오 인코더에 있어서, 상기 인코더는
멀티 레이어 비디오 데이터 스트림으로 장기 구문 구성요소 구조(606) 및 단기 구문 구성요소(602)를 삽입하고, 단기 구문 구성요소 구조는, 시간 간격 동안 , 공간 세그먼트로의 제 1 레이어와 제 2 레이어의 픽처의 서브 분할을 정의하고,
제 1 가능 값 집합 중 한 값으로, 시간 간격보다 큰 기 설정된 시간 주기(608) 동안, 가능한 설정의 집합 중 적절한 서브셋으로 단기 구문 구성요소를 설정하고, 제 2 레이어의 픽처의 공간 세그먼트 사이의 경계가 제 1 레이어의 공간 세그먼트의 모든 경계에 중첩하도록 제 2 레이어의 픽처가 서브 분할되게, 기 설정된 시간 주기 동안, 적절한 서브셋이 선택되며, 또는
제 2 가능 값 집합 중 한 값으로, 기 설정된 시간 주기 동안, 가능한 설정의 임의의 집합으로 단기 구문 구성요소를 설정하고, 가능한 설정의 집합은 제 1 레이어의 공간 세그먼트의 경계에 중첩하지 않는 제 2 레이어의 픽처의 공간 세그먼트 사이에 경계가 존재하는 적어도 하나의 설정, 및 제 2 레이어의 픽처의 공간 세그먼트 사이의 경계가 제 1 레이어의 공간 세그먼트의 모든 경계에 중첩하는 적어도 또다른 설정을 포함하는,
장기 구문 구성요소 구조 설정 사이를 전환하도록 구성되는,
비디오 인코더.
[실시예 9]
제 8실시예에 있어서, 상기 비디오 인코더는
각 공간 세그먼트의 경계에서 각 공간 세그먼트에 대한 인트라 픽처 공간 추정을 방해하는 인트라 픽처 공간 추정을 이용하여 레이어의 픽처를 인코딩하도록 구성되거나, 또는
제 1 레이어의 픽처의 공간 세그먼트의 경계를 교차하는 인트라 픽처 공간 추정 지원 및 개별적으로 제 1 레이어의 픽처의 공간 세그먼트의 서브셋 엔트로피 인코딩에 대한 엔트로피 컨텍스트 확률 초기화 또는 중간 적응된 상태에서 제 1 레이어의 픽처의 공간 세그먼트의, 서브셋 중에서 순서에 따라, 이전 서브셋을, 엔트로피 컨텍스트 확률 채택 상에 의해, 그리고 제 2 레이어의 픽처의 공간 세그먼트의 경계를 교차하는 인트라 픽처 공간 추정 지원 및 개별적으로 제 2 레이어의 픽처의 공간 세그먼트의 서브셋의 엔트로피 인코딩에 대한 엔트로피 컨텍스트 확률 초기화 또는 중간 적응된 상태에서의 제 2 레이어 픽처의 공간 세그먼트의, 서브셋 중에서 순서에 따라, 이전 서브셋을, 엔트로피 컨텍스트 확률 채택 상에 의해, 엔트로피 컨텍스트 확률 적응과 함께 엔트로피 인코딩 및 인트라 픽처 공간 추정을 이용하여 레이어의 픽처를 인코딩 하도록 구성되는 것을 특징으로 하는 비디오 인코더.
[실시예 10]
제 8실시예 또는 제 9실시예에 있어서, 상기 공간 세그먼트는 타일이고, 상기 인코더는
만일 장기 구문 구성요소 구조를 설정하는 경우,
제 1 가능 값 집합(tile_boundaries_aligned_flag=1) 중 한 값으로, 기 설정된 시간 주기 보다 더 큰 시간 간격 동안, 가능한 설정의 집합 중 적절한 서브셋으로 단기 구문 구성요소를 설정하고, 기 설정된 시간 주기 동안, 제 2 레이어 픽처의 타일로의 서브 분할은 제 1 레이어의 픽처의 타일로의 서브분할에 일치하거나 또는 개선하도록, 적절한 서브셋이 선택되며, 또는
제 2 가능 값 집합(tile_boundaries_aligned_flag=0) 중 한 값으로, 기 설정된 시간 주기 동안, 단기 구문 구성요소가 가능한 설정의 임의의 집합으로 단기 구문 구성요소 구조를 설정하여, 단기 구문 구성요소가, 적어도 기 설정된 시간 주기 동안 하나의 시간 간격에서, 제 1 레이어의 타일의 임의의 경계에 중첩하지 않는 제 2 레이어의 픽처의 타일 사이의 경계가 존재하는 것에 따르는, 가능한 설정 집합의 제 1 가능 값에 대해 설정되고, 적어도 다른 시간 간격에 대해 기 설정된 시간 주기 동안, 제 1 레이어의 타일의 모든 경계에 중첩하는 제 2 레이어의 픽처의 타일 사이의 경계에 따라, 가능한 설정 집합의 제 2 가능 값에 대해 설정되도록 구성되는 것을 특징으로 하는 비디오 인코더.
[실시예 11]
제 10실시예에 있어서, 상기 비디오 인코더는 각 타일의 경계에서 각 타일을 위한 인트라 픽처 공간 추정을 방해하는 인트라 픽처 공간 추정을 이용하여 레이어의 픽처를 인코딩 하도록 구성되는 것을 특징으로 하는 비디오 인코더.
[실시예 12]
제 8실시예 또는 제 9실시예에 있어서, 상기 인코더는
만일 장기 구문 구성요소 구조를 설정하는 경우
제 1 가능 값 집합 중 한 값으로, 상기 시간 간격보다 큰 기 설정된 시간 주기를 이용하여, 가능한 설정의 집합 중 적절한 서브셋으로 단기 구문 구성요소를 설정하고, 기 설정된 시간 주기 동안, 제 1 레이어의 픽처의 각 공간 세그먼트가 장기 구문 구성요소 구조의 값에 의존하는 n을 갖는 제 2 레이어의 픽처의 n 공간 세그먼트를 정확하게 형성하도록, 적절한 서브셋이 선택되게 구성되는 것을 특징으로 하는 비디오 인코더.
[실시예 13]
픽처가 다른 공간 레이어에서, 그리고 적어도 하나의 공간 레이어에 대해, 제 1 공간 세그먼트에서, 코딩되는 공간적으로 확장 가능한 비트 스트림(40)을 디코딩하는 디코더에 있어서,
상기 디코더는
업 샘플링 참조 픽처를 획득하고 제 2 공간 레이어의 픽처(15)를 예측하기 위해 업 샘플링 된 참조 픽처를 이용하여 제 1 공간 레이어의 픽처(12)를 업 샘플링하고,
상기 디코더는 공간적으로 확장 가능한 비트스트림에서 구문 구성요소(616; e.g., independent_tile_upsampling_idc)로 응답하고, 구문 구성요소에 의존하여, 제 1공간 레이어의 픽처를 삽입하며(interpolate)(620),
제 1 공간 세그먼트에 의존하는, 업 샘플링 된 참조 픽처의 분할(622)의 임의의 파티션이, 분할의 임의의 다른 파티션 분할에 의해 커버되는 제 1공간 레이어의 픽처의 일부(portions)로부터 독립적이거나, 또는
업 샘플된 참조 픽처의 분할(622)의 임의의 파티션이 각 파티션에 공간적으로 이웃하는 분할의 또다른 파티션에 의해 커버되는 제 1 공간 레이어의 픽처 일부에 의존하는 디코더.
[실시예 14]
제 13실시예에 있어서, 상기 디코더는 다른 공간 레이어를 병렬로 디코딩하는 것을 특징으로 하는 디코더.
[실시예 15]
제 13실시예 또는 제 14실시예에 있어서, 상기 디코더는
공간적으로 확장 가능한 비트스트림에서 구문 구성요소에 의존하여 제 1 공간 레이어의 픽처를 삽입(620)하기 위해 구문 구성요소(616)으로 응답하고,
임의의 제 1 공간 세그먼트에 의해 공간적으로 커버되는 업 샘플링 된 참조 픽처의 임의의 일부가, 임의의 다른 제 1 공간 세그먼트에 의해 커버되는 제 1 공간 레이어의 픽처의 일부로부터 독립적이거나, 또는
임의의 제 1공간 세그먼트에 의해 공간적으로 커버되는 업 샘플링 된 참조 픽처의 임의의 일부가, 각각의 공간 세그먼트에 이웃하는, 제 1 공간 세그먼트의 임의의 다른 공간 세그먼트에 의해 커버되는 제 1 공간 레이어의 픽처의 일부에 의존하는 디코더.
[실시예 16]
제 13실시예 내지 제 15실시예 중 어느 한 실시예에 있어서, 공간적으로 확장 가능한 비트 스트림은 제 1 공간 세그먼트 그 내부로 코딩 된 제 2 공간 레이어의 픽처를 구비하는 것을 특징으로 하는 디코더.
[실시예 17]
제 13실시예 내지 제 16실시예 중 어느 한 실시예에 있어서,
상기 디코더는 제 1 공간 세그먼트 각각의 경계에서 제 1 공간 세그먼트 각각에 대해 인트라 픽처 공간 추정을 방해 또는
제 1 공간 세그먼트의 경계를 교차하는 인트라 픽처 공간 추정을 지원하여
인트라 픽처 공간 추정을 이용하는 디코딩을 수행하도록 구성되고,
엔트로피 컨텍스트 확률의 채택을 이용하는 제 1 공간 세그먼트 각각을 엔트로피 디코딩 하고, 제 1 공간 세그먼트 중의 순서에 따라, 이전 제 1 공간 세그먼트의 중간 위치까지로 구성된 이전 제 1 공간 세그먼트의 엔트로피 컨텍스트 확률 채택에서, 또는 임의의 다른 제 1 공간 세그먼트에서 독립적인 제 1 공간 세그먼트의 엔트로피 컨텍스트 확률을 초기화 하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 18]
제 13실시예 또는 제 14실시예에 있어서,
상기 공간적으로 확장 가능한 비트 스트림은 제 1 공간 세그먼트 그 내부에 코딩 된 제 1 공간 레이어의 픽처를 구비하고, 상기 공간적으로 확장 가능한 비트 스트림은 제 2 공간 세그먼트 그 내부에 코딩 된 제 2 공간 레이어의 픽처를 구비하고, 상기 디코더는 공간적으로 확장 가능한 비트스트림에서 구문 구성요소(syntax element)(606)로 응답하고, 구문 구성요소에 의존하여, 제 1 공간 레이어의 픽처를 삽입하며,
(e.g., independent_tile_upsampling_idc=2) 임의의 제 2 타일에 의해 공간적으로 커버되는 업 샘플링 된 참조 픽처의 임의의 일부가, 임의의 다른 제 2 타일에 의해 공간적으로 커버되는 제 1 공간 레이어의 픽처의 일부로부터 독립적이거나, 또는
(e.g., independent_tile_upsampling_idc=1) 제 1 및 제 2 타일의 공간적으로 함께 위치하는 경계(co-located boundaries)에 의해 공간적으로 제한된 업 샘플링 된 참조 픽처의 임의의 파티션이, 제 1 및 제 2 타일의 공간적으로 함께 위치하는 경계에 의해 공간적으로 제한되는, 업 샘플링 된 참조 픽처의 임의의 다른 파티션에 의해 커버되는 제 1 공간 레이어의 픽처의 일부로부터 독립적이거나, 또는
(e.g., independent_tile_upsampling_idc=0) 임의의 제 2 타일에 의해 공간적으로 커버되는 업 샘플링 된 참조 픽처의 임의의 일부가, 각각의 타일과 이웃하는 임의의 다른 제 2 타일에 의해 커버되는 제 1 공간 레이어의 픽처의 일부에 의존하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 19]
제 13실시예 내지 제 18실시예 중 어느 한 실시예에 있어서, 상기 디코더는
독립성을 획득하기 위해, 필터 커널이 돌출하는 제 1 공간 레이어의 픽처의 각 일부로부터 독립적으로 조각이 채워지는 것에 따르는 대체 규칙(fallback rule)을 이용하여, 분할의 임의의 다른 파티션에 의해 커버되는, 제 1 공간 레이어의 픽처의 임의의 일부로 돌출되는, 제 1 공간 레이어의 픽처의 내삽(interpolation)에서 사용되는 필터 커널(filter kernel)의 조각(fragments)을 채우도록 하는 것을 특징으로 하는 디코더.
[실시예 20]
제 19실시예에 있어서, 상기 디코더는
제 1 공간 레이어의 픽처의 외부 경계를 돌출하는 필터 커널의 조각을 채우는 데에도 대체 규칙(fallback rule)을 사용하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 21]
제 13실시예 내지 제 20실시예 중 어느 한 실시예에 있어서, 상기 디코더는 비디오 디코더이고, 픽처-별(per-picture) 또는 픽처-별-시퀀스(per-picture-sequence basis)를 기반으로 공간적으로 확장 가능한 비트스트림의 구문 구성요소(606)로의 응답에 의해 구성되는 것을 특징으로 하는 디코더.
[실시예 22]
제 13실시예 내지 제 21실시예 중 어느 한 실시예에 있어서, 상기 공간적으로 확장 가능한 비트 스트림은 제 1 공간 세그먼트로 코딩 되는 제 1 공간 레이어의 픽처를 구비하고,
상기 공간적으로 확장 가능한 비트 스트림은 제 2 공간 세그먼트로 코딩 되는 제 2 공간 레이어의 픽처를 구비하고, 상기 분할 경계는 제 2 공간 세그먼트의 경계 또는 제 1 및 제 2 공간 세그먼트의 경계의 공간적인 중첩의 논리 AND (logical AND)에 대응하고, 상기 디코더는 공간적으로 확장 가능한 비트 스트림에서 구문 구성요소(606)에 응답하여, 구문 구성요소에 의존하면서, 필터 커널이 돌출되는 제 1 공간 레이어의 픽처의 각 일부를 이용하거나, 또는 필터 커널이 돌출되는 제 1 공간 레이어의 픽처의 각 일부로부터 독립적으로 조각이 채워지는 것에 따르는 대체 규칙(fallback rule)을 이용하여, 한 파티션으로부터 분할의 이웃하는 파티션으로 돌출하는, 제 1 공간 레이어의 픽처의 내삽(interpolation)에서 사용되는 필터 커널(filter kernel) 조각을 채우는 것을 특징으로 하는 디코더.
[실시예 23]
제 13실시예 내지 제 22실시예 중 어느 한 실시예에 있어서, 상기 디코더는 구문 구성요소(606) 상에서 의존하는 인터 레이어 오프셋을 이용하여 병렬로 제 1 및 제 2 레이어를 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 24]
제 13실시예 또는 제 23실시예에 있어서, 상기 디코더는, 구문 구성요소에 의존하여, 제 2 공간 세그먼트의 경계 또는 제 1 및 제 2 공간 세그먼트의 경계의 공간적인 중첩의 논리 AND에 대응하도록 하기 위해, 분할 경계에 위치하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 25]
제 1 공간 세그먼트에서의 적어도 하나의 공간 레이어에 대해, 그리고 다른 공간 레이어에서 공간적으로 확장 가능한 비트스트림으로 픽처를 인코딩 하기 위한 인코더에 있어서, 상기 인코더는
업 샘플링 된 참조 픽처를 획득하기 위해 제 1 공간 레이어의 픽처를 업 샘플링 하고, 업 샘플링된 참조 픽처를 이용하는 제 2 공간 레이어의 픽처를 추정하고, 상기 인코더는 공간적으로 확장 가능한 비트 스트림으로 구문 구성요소(606)를 설정 및 삽입하도록 구성되고, 구문 구성요소에 의존하여, 제 1 공간 레이어의 픽처를 내삽(interpolate)하며,
제 1 공간 분할에 의존하는, 업 샘플링된 참조 픽처의 분할의 임의의 파티션이, 분할의 임의의 다른 파티션에 의해 커버되는 제 1 공간 레이어의 픽처의 일부로부터 독립적이거나, 또는
업 샘플링 된 참조 픽처의 분할의 임의의 파티션이 각각의 파티션에 공간적으로 이웃하는 분할의 또다른 파티션에 의해 커버되는 제 1 공간 레이어의 픽처의 일부에 의존하도록 구성되는 것을 특징으로 하는 인코더.
[실시예 26]
제 25실시예에 있어서, 상기 인코더는
구문 구성요소에 의존하여, 제 1 공간 레이어의 픽처를 내삽하고, 그리고 공간적으로 확장 가능한 비트스트림으로 구문 구성요소를 설정 및 삽입하며
임의의 제 1 공간 세그먼트에 의해 공간적으로 커버되는 업 샘플링 된 참조 픽처의 일부가, 임의의 제 1 공간 세그먼트에 의해 커버되는 제 1 공간 레이어의 픽처의 일부로부터 독립적이고, 또는
임의의 제 1 공간 세그먼트에 의해 공간적으로 커버되는 업 샘플링 된 참조 픽처의 임의의 일부가, 각각의 제 1 공간 세그먼트와 이웃하는, 제 1 공간 세그먼트의 임의의 다른 공간 세그먼트에 의해 커버되는 제 1 공간 레이어의 픽처의 일부에 의존하도록 구성되는 인코더.
[실시예 27]
제 25실시예 또는 제 26실시예에 있어서, 상기 인코더는
제 1 공간 세그먼트에서 공간적으로 확장 가능한 비트 스트림 내로 제 1 공간 레이어의 픽처를 인코딩하도록 구성되는 것을 특징으로 하는 인코더.
[실시예 28]
제 27실시예에 있어서, 상기 인코더는
각각의 제 1 공간 세그먼트의 경계에서 각 제 1 공간 세그먼트에 대한 인트라 픽처 공간 추정을 방해하는 것과 함께 인트라 픽처 공간 추정을 이용하여 제 1 공간 레이어의 픽처를 인코딩하도록 구성되는 것을 특징으로 하는 인코더.
[실시예 29]
제 27실시예 또는 제 28실시예에 있어서, 상기 인코더는
제 2 공간 세그먼트에서의 공간적으로 확장 가능한 비트 스트림으로 코딩 된 제 2 공간 레이어의 픽처를 구성하고, 상기 인코더는 공간적으로 확장 가능한 비트스트림으로 구문 구성요소를 설정 및 삽입하도록 구성되고, 구문 구성요소에 의존하여, 제 1 공간 레이어의 픽처를 내삽하도록 구성되며,
임의의 제 2 공간 세그먼트에 의해 공간적으로 커버되는 업 샘플링 된 참조 픽처의 임의의 일부가 임의의 다른 제 2 공간 세그먼트에 의해 공간적으로 커버되는 제 1 공간 레이어의 픽처의 일부로부터 독립적이거나, 또는
제 1 및 제 2 공간 세그먼트의 공간적으로 함께 위치되는 경계에 의해 공간적으로 제한되는 업 샘플링 된 참조 픽처의 임의의 파티션이, 제 1 및 제 2 공간 세그먼트의 공간적으로 함께 위치되는 경계(co-located boundaries)에 의해 공간적으로 제한되는, 업 샘플링된 참조 픽처의 임의의 다른 파티션에 의해 커버되는 제 1 공간 레이어의 픽처의 일부로부터 독립적이거나, 또는
임의의 제 2 공간 세그먼트에 의해 공간적으로 커버되는 업 샘플링 된 참조 픽처의 임의의 일부는, 각각의 공간 세그먼트에 이웃하는 임의의 다른 제 2 공간 세그먼트에 의해 커버되는 제 1 공간 레이어의 픽처의 일부에 의존하는 것을 특징으로 하는 인코더.
[실시예 30]
제 29실시예에 있어서, 상기 인코더는
각각의 제 2 공간 세그먼트의 경계에서 각각 제 2 공간 세그먼트에 대한 인트라 픽처 공간 추정을 방해하는 것과 함께 인트라 픽처 공간 추정을 이용하여 제 2 공간 레이어의 픽처를 인코딩하도록 구성되는 것을 특징으로 하는 인코더.
[실시예 31]
제 25실시예 내지 제 30실시예 중 어느 한 실시예에 있어서, 상기 인코더는 제 1 공간 레이어의 픽처의 임의의 일부로부터 독립성을 획득하기 위해, 필터 커널이 돌출하는 제 1 공간 레이어의 픽처의 각 일부로부터 독립적으로 조각이 채워지는 것에 따르는 대체 규칙(fallback rule)을 이용하여, 제 1 공간 레이어의 픽처의 임의의 일부로 돌출되는, 제 1 공간 레이어의 픽처의 내삽(interpolation)에서 사용되는 필터 커널(filter kernel)의 조각(fragments)을 채우도록 구성되는 것을 특징으로 하는 인코더.
[실시예 32]
제 31실시예에 있어서, 상기 인코더는
제 1 공간 레이어의 픽처의 외부 경계를 돌출하는 필터 커널의 조각을 채우는 데에도 대체 규칙을 이용하도록 구성되는 것을 특징으로 하는 인코더.
[실시예 33]
제 25실시예 내지 제 32실시예 중 어느 한 실시예에 있어서, 상기 인코더는 비디오 인코더이고, 픽처-별(per-picture) 또는 픽처-별-시퀀스(per-picture or per-picture-sequence)를 기반으로 공간적으로 확장 가능한 비트 스트림으로 구문 구성요소를 설정 및 삽입 하도록 구성하는 것을 특징으로 하는 인코더.
[실시예 34]
제 1 레이어로부터 제 2 레이어로 인터 레이어 추정을 이용하여 장면이 레이어 계층구조로 코딩된 멀티 레이어 비디오 데이터 스트림을 디코딩하는 비디오 디코더에 있어서, 상기 비디오 디코더는 제 2 레이어의 픽처의 공간 세그먼트의 순회에 관련된 제 1 레이어의 픽처의 공간 세그먼트의 순회 사이의 인터 레이어 지연과 함께 일시적인 중첩 방식(overlapping manner)에서 공간 세그먼트의 순차적인 순회에 의해 레이어의 픽처들이 분할된 공간 세그먼트에서의 멀티 레이어 비디오 데이터 스트림의 병렬 디코딩을 지원하며, 상기 비디오 디코더는,
멀티 레이어 비디오 데이터 스트림의 장기 구문 구성요소 구조(642; e.g. min_spatial_segment_delay)를 검사하도록 구성되며,
장기 구문 구성요소 구조(e.g. min_spatial_segment_delay≠0)가 가능 값의 제 1 집합 값으로 설정되는 경우, 기 설정된 시간 주기에 대해 미리 인터 레이어 오프셋(inter-layer offset)을 결정하고, 기 설정된 시간 주기보다 더 작은 시간 간격으로, 제 1 레이어의 픽처의 공간 세그먼트 및 제 2 레이어의 픽처의 공간 세그먼트의 픽처의 공간 세그먼트의 크기와 위치, 및 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소(602)를 기반으로, 각각, 제 1 레이어의 픽처 및 제 2 레이어의 픽처의 공간 샘플링 해상도를 주기적으로 결정하기 위해, 장기 구문 구성요소의 값을 이용하고,
장기 구문 구성요소가 가능 값의 제 1 집합에 대해 분리된(disjoint) 가능 값의 제 2 집합(e.g. min_spatial_segment_delay=0)의 값으로 설정되는 경우, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소를 기반으로 기 설정된 주기 내에서 인터 레이어 오프셋을, 기 설정된 시간 주기보다 더 작은 시간 간격에서, 주기적으로 결정하도록 구성되는 비디오 디코더.
[실시예 35]
제 34실시예에 있어서, 상기 비디오 디코더는
제 2 레이어의 픽처의 서브스트림 순회(traversal)와 관련된 제 1 레이어의 픽처의 서브 스트림의 순회 사이의 인터 레이어 오프셋 및 동일한 픽처의 즉각적으로 연속적인 서브스트림의 순회 사이의 인트라 픽처 인터-서브스트림 지연(intra-picture inter-substream delay) 방법으로 일시적으로 중첩되는 서브스트림의 순차적인 순회에 의해 파면 병렬 처리(wavefront parallel processing)를 이용하여,
레이어의 픽처가 분할되고 레이어의 픽처가 규칙적으로 서브-분할되는 블록의 행(rows of blocks)으로 구성되는 서브-스트림(sub-streams)에서 멀티-레이어 비디오 데이터 스트림을, 병렬로, 디코딩하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 36]
제 35실시예에 있어서, 상기 비디오 디코더는
서브-스트림의 경계를 교차하는 인트라-픽처 공간 추정을 지원하면서 병렬로 서브-스트림을 디코딩하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 37]
제 34실시예에 있어서, 상기 비디오 디코더는
제 2 레이어의 픽처의 타일들의 순회와 관련된 제 1 레이어의 픽처의 타일들의 순회 사이의 인터 레이어 오프셋과 함께 병렬로 제 2 레이어의 픽처의 즉각적 연속 타일들 및 제 1 레이어의 픽처의 즉각적 연속 타일들을 디코딩하고, 제 1 및 제 2 레이어의 각 픽처 내부의 타일들 중 타일 순서에 따라 타일을 순회하면서, 레이어의 픽처들이 분할되는 타일에서 멀티 레이어 비디오 데이터 스트림을 디코딩하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 38]
제 37실시예에 있어서, 상기 비디오 디코더는
각 타일의 경계에서 각 타일에 대한 인트라 픽처 공간 추정 방해와 함께 인트라 픽처 공간 추정을 이용하여 제 1 및 제 2 레이어의 픽처를 디코딩하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 39]
제 34실시예 내지 제 38실시예 중 어느 한 실시예에 있어서, 상기 비디오 디코더는
제 1 레이어의 픽처의 공간 세그먼트의 유닛에서 인터 레이어 오프셋에 대한 수단으로서 장기 구문 구성요소의 값을 이용함으로써, 인터 레이어 오프셋을 결정하는 데 장기 구문 구성요소의 값을 사용하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 40]
제 34실시예 내지 제 39실시예 중 어느 한 실시예에 있어서, 상기 비디오 디코더는
제 1 레이어의 픽처의 순회 및 디코딩 개시와 관련하여 제 2 레이어의 픽처의 제 1 공간 세그먼트의 디코딩이 지연되는 것에 의한 제 1 레이어의 픽처의 공간 세그먼트의 수(number)로 장기 구문 구성요소의 값을 사용함으로써 인터 레이어 오프셋(inter-layer offset)을 결정하는 데 장기 구문 구성요소의 값을 사용하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 41]
제 1 레이어로부터 제 2 레이어로의 인터 레이어 추정을 이용하여 레이어 계층구조에서 멀티 레이어 비디오 데이터 스트림(multi-layer video data stream)으로 장면(scene)을 인코딩 하는 비디오 인코더에 있어서, 멀티 레이어 비디오 데이터 스트림이 제 2 레이어의 픽처의 공간 세그먼트의 순회와 관련된 제 1 레이어의 픽처의 공간 세그먼트의 순회 사이의 인터 레이어 오프셋으로 일시적으로 중첩하는 방식으로 공간 세그먼트의 순차적인 순회에 의해 레이어의 픽처가 분할되는 공간 세그먼트에서의 디코딩이 가능하고, 상기 비디오 인코더는
장기 구문 구성요소 구조(min_spatial_segment_delay)와 단기 구문 구성요소를 멀티 레이어 비디오 데이터 스트림으로 삽입 및 설정하도록 구성되고, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소는, 제 2 레이어의 픽처와 제 1 레이어의 픽처의 공간 샘플링 해상도와, 제 2 레이어의 픽처의 공간 세그먼트와 제 1 레이어의 픽처의 공간 세그먼트의 위치 및 크기를, 각각, 시간 간격 안에서 주기적으로, 정의하며,
상기 인코더는
가능 값의 제 1 집합의 값으로 장기 구문 구성요소 구조(min_spatial_segment_delay≠0)를 설정하며, 기 설정된 시간 주기 동안, 가능 설정의 집합 중 적절한 서브셋으로 단기 구문 구성요소 설정하는 것과 함께, 상기 값은 시간 간격 보다 큰 기 설정된 시간 주기 동안의 인터 레이어 오프셋을 신호화(signaling)하는 것과 함께, 적절한 서브셋이 선택되어, 기 설정된 시간 주기 동안, 제 2 레이어의 픽처의 공간 세그먼트와 제 1 레이어의 픽처의 공간 세그먼트의 위치 및 크기와 제 1 레이어의 픽처 및 제 2 레이어의 픽처의 공간 샘플링 해상도가, 각각, 장기 구문 구성요소에 의해 신호화 되는 인터 레이어 오프셋과 동일하거나 더 작은 실제 인터 레이어 오프셋으로 일시적인 중첩 방식으로, 제 2 레이어의 픽처의 공간 세그먼트 순회와 관련된 제 1 레이어의 픽처의 공간 세그먼트 순회 사이에서, 순차적인 공간 구성요소 순회에 의한 멀티 레이어 비디오 데이터 스트림 디코딩을 가능하게 하는 것과,
기 설정된 시간 주기 동안, 가능 값의 제 1 집합에 대해 분리된(disjoint) 가능 값의 제 2 집합(min_spatial_segment_delay=0) 값의 장기 구문 구성요소를 설정하고, 임의의 가능한 설정을 위한 단기 구문 구성요소를 설정하고, 가능한 설정 집합은 제 2 레이어의 픽처의 공간 세그먼트와 제 1 레이어의 픽처의 공간 세그먼트의 크기 및 위치에 따르는 적어도 하나의 설정을 포함하고, 제 2 레이어의 픽처와 제 1 레이어의 픽처의 공간 샘플링 해상도(spatial sampling resolutions)는, 각각, 장기 구문 구성요소에 의해 신호화된 인터 레이어 오프셋과 동일하거나 더 적은 실제 인터 레이어 오프셋의 방법으로 일시적인 중첩에서 공간 세그먼트의 순차적인 순회에 의한 멀티 레이어 비디오 데이터 스트림 디코딩을, 제 2 레이어의 픽처의 공간 세그먼트 순회와 관련된 제 1 레이어의 픽처의 공간 세그먼트 순회 사이에서, 비활성화하고, 적어도 또다른 설정은 제 1 레이어의 픽처의 공간 세그먼트와 제 2 레이어의 픽처의 공간 세그먼트의 위치 및 크기와 제 1 레이어의 픽처와 제 2 레이어의 픽처의 공간 샘플링 해상도에 따르고, 각각, 장기 구문 구성요소에 의해 신호화된 인터 레이어 오프셋과 동일하거나 또는 더 작은 실제 인터 레이어 오프셋의 일시적인 중첩 방식으로 공간 세그먼트의 순차적인 순회에 의한 멀티 레이어 비디오 데이터 스트림 디코딩을, 제 2 레이어의 픽처의 공간 세그먼트 순회와 관련된 제 1 레이어의 픽처 공간 세그먼트 사이에서, 가능하게 하는 것의
설정 사이를 전환하도록 구성되는 비디오 인코더.
[실시예 42]
제 41실시예에 있어서, 상기 비디오 인코더는,
공간 세그먼트가 레이어들의 픽처들이 분할되고 레이어의 픽처들이 규칙적으로 서브-분할되는 블록의 행(rows of blocks)으로 구성되는 서브-스트림이고, 제 2 레이어의 픽처의 서브스트림 순회와 관련된 제 1 레이어의 픽처의 서브스트림 순회 사이에서 인터 레이어 오프셋 및 동일한 픽처의 즉각적으로 연속적인 서브스트림의 순회 사이의 인트라-픽처 인터-서브스트림 지연으로 일시적으로 중첩하는 방식으로 서브스트림의 순차적인 순회에 의한 파면 병렬 처리를 이용하여 서브-스트림에서의 멀티 레이어 비디오 데이터 스트림을, 병렬로, 디코딩하는 것을 허용하는 방식으로, 인코딩을 수행하도록 구성되는 것을 특징으로 하는 비디오 인코더.
[실시예 43]
제 42실시예에 있어서, 상기 비디오 인코더는,
서브 스트림 중 순서에 따라, 중간 적응한 상태에서 이전 서브 스트림의 엔트로피 컨텍스트 확률 채택 상의 또는 개별적으로 서브스트림을 엔트로피 인코딩 하는 것에 대한 엔트로피 컨텍스트 확률 초기화 및 서브-스트림의 경계를 교차하는 인트라 픽처 공간 추정 지원에 의해, 엔트로피 컨텍스트 확률 적응과 함께 엔트로피 인코딩 및 인트라 픽처 공간 추정을 이용하여 서브 스트림을 인코딩하도록 구성되는 것을 특징으로 하는 비디오 인코더.
[실시예 44]
제 41실시예에 있어서, 상기 비디오 인코더는,
공간 세그먼트가 레이어의 픽처들이 분할된 타일들이며, 제 1 및 제 2 레이어의 각 픽처 내의 타일 중 타일 순서로 타일 순회에 의한 타일에서 멀티 레이어 비디오 데이터 스트림을 디코딩하고, 제 2 레이어의 픽처의 타일의 순회와 관련된 제 1 레이어의 픽처의 타일 순회 사이의 인터 레이어 오프셋과 병렬로 제 2 레이어의 즉각적으로 연속하는 픽처 타일 및 제 1 레이어의 즉각적으로 연속하는 픽처 타일의 디코딩을 허용하는 방식으로, 인코딩을 수행하도록 구성되는 것을 특징으로 하는 비디오 인코더.
[실시예 45]
제 44실시예에 있어서, 상기 비디오 인코더는
각 타일의 경계에서 각 타일에 대한 인트라 픽처 공간 추정 방해와 함께 인트라 픽처 공간 추정을 이용하는 제 1 및 제 2 레이어의 픽처를 인코딩하도록 구성되는 것을 특징으로 하는 비디오 인코더.
[실시예 46]
제 41실시예 내지 제 45실시예 중 어느 한 실시예에 있어서, 상기 비디오 인코더는
장기 구문 구성요소의 값이 제 1 레이어의 픽처의 공간 세그먼트 유닛에서 인터 레이어 오프셋에 대한 수단을 정의하도록 구성하는 것을 특징으로 하는 비디오 인코더.
[실시예 47]
제 41실시예 내지 제 46실시예 중 어느 한 실시예에 있어서, 상기 비디오 인코더는
제 1 레이어의 픽처의 순회 및 디코딩 개시와 관련하여 제 2 레이어의 픽처의 제 1 공간 세그먼트의 디코딩이 지연되는 제 1 레이어의 픽처의 공간 세그먼트의 수를 시그널링하기 위해 장기 구문 구성요소의 값을 설정하도록 구성되는 것을 특징으로 하는 비디오 인코더.
[실시예 48]
각 레이어에서, 장면이 확장성 차원에 의해 확장된 확장성 공간의 다른 연산 포인트로 코딩되도록, 장면이 레이어로 코딩되는 멀티 레이어 비디오 데이터 스트림 처리를 위한 네트워크 엔티티에 있어서, 상기 멀티 레이어 비디오 데이터 스트림은 각각이 레이어 중 하나와 연관되는 제 1 NAL 유닛 및 멀티 레이어 비디오 데이터 스트림 상의 일반적인 정보를 나타내고 제 1 NAL 유닛 내에 산재된 제 2 NAL 유닛으로 구성되고, 상기 네트워크 엔티티는
제 2 NAL 유닛에서 유형 표시자 필드(type indicator field)(696, e.g. dedicated_scalability_ids_flag)를 검사하도록 구성되고,
유형 표시자 필드가 제 1 상태(e.g. dedicated_scalability_ids_flag=0)를 가지는 경우, 매핑 정보(e.g. layer_id_in_nuh[ i ], dimension_id[ i ][ j ])가 제 2 NAL 유닛으로부터 연산 포인트로의 제 1 NAL 유닛 헤더에서의 레이어 표시자 필드(e.g. layer_id)의 매핑 가능한 값을 판독하고, 레이어 표시자 필드와 매핑 정보를 통해 제 1 NAL 유닛에서 연산 포인트에 대해 제 1 NAL 유닛을 연관시키고,
유형 표시자 필드가 제 2 상태(dedicated_scalability_ids_flag=1)를 가지는 경우, 확장성 공간 내부의 백터 좌표에 따른 일부의 값을 이용함으로써, 제 1 NAL 유닛의 연산 포인트 위치설정과 하나 이상의 일부로 제 1 NAL 유닛에서의 레이어 표시자 필드를 분할함으로써 연산 포인트에 대해 제 1 NAL 유닛을 연관시키는 네트워크 엔티티.
[실시예 49]
제 48실시예에 있어서, 상기 네트워크 엔티티는
유형 표시자 필드가 제 2 상태(dedicated_scalability_ids_flag=1)를 가지는 경우, 제 2 NAL 유닛에서 구문 구성요소(dimension_id_len_minus1)에 따른 하나 이상의 일부로 제 1 NAL 유닛 안의 레이어 표시자 필드를 분할 함으로써 연산 포인트에 대해 제 1 유닛을 연산시키고, 확장성 공간 내의 좌표 벡터로 상기 일부의 값을 사용함으로써, 제 1 NAL 유닛의 연산 포인트의 위치를 지정하고, 제 2 NAL 유닛에서 부가 구문 구성요소(scalability_mask)에 따른 확장성 차원을 의미적으로 결정하는 것을 특징으로 하는 네트워크 엔티티.
[실시예 50]
제 48실시예 또는 제 49실시예에 있어서, 상기 네트워크 엔티티는
유형 표시자 필드가 제 1 상태(dedicated_scalability_ids_flag=0)를 가지는 경우, 제 2 NAL 유닛에서 부가 구문 구성요소(scalability_mask)로부터 확장성 차원의 의미론적 의미(semantic meaning)와 숫자 p를 결정하고 제 2 NAL 유닛으로부터 p-차원 벡터들의 리스트(708) 판독에 의한 연산 포인트에 대한 레이어 표시자 필드의 가능한 값을 연관시키는 것을 특징으로 하는 네트워크 엔티티.
[실시예 51]
제 50실시예에 있어서, 상기 네트워크 엔티티는
유형 표시자 필드가 제 2 상태를 갖는 경우, 제 2 NAL 유닛으로부터 리스트 판독을 건너 뛰도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
[실시예 52]
제 49실시예 또는 제 51실시예 중 어느 한 실시예에 있어서, 상기 네트워크 엔티티는
제 1 또는 제 2 상태를 가지는 유형 표시자 필드에 관계 없이 제 2 NAL 유닛으로부터 부가 구문 구성요소를 판독하고, 레이어 표시자 필드의 크기가 제 1 또는 제 2 상태를 구비하는 유형 표시자 필드와 관계 없이 동일하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
[실시예 53]
제 48실시예 또는 제 52실시예 중 어느 한실시예에 있어서, 상기 네트워크 엔티티(network entity)는 비디오 디코더를 포함하는 것을 특징으로 하는 네트워크 엔티티.
[실시예 54]
레이어에서 멀티 레이어 비디오 데이터 스트림으로의 장면을 인코딩하는 비디오 인코더에 있어서, 각각의 레이어에서, 장면(scene)은 확장성 차원에 의해 확장되는 확장성 공간(scalability space)의 다른 연산 포인트에서 코딩되고,
상기 멀티 레이어 비디오 데이터 스트림은 각각이 레이어 중 하나와 연관되는 제 1 NAL 유닛 및 멀티 레이어 비디오 데이터 스트림 상의 일반적인 정보를 나타내고 제 1 NAL 유닛 내에 산재된 제 2 NAL 유닛으로 구성되고, 상기 비디오 인코더는
제 2 NAL 유닛으로의 유형 표시자 필드를 삽입하고,
제 1 NAL 유닛의 연산 포인트가 매핑 정보를 통해 각각의 레이어 표시자 필드와 연관되며, 제 1 NAL 유닛에서 레이어 표시자 필드를 설정하고, 제 2 NAL 유닛으로 연산 포인트로의 제 1 NAL 유닛 헤더에서 레이어 표시자 필드의 매핑 정보 매핑 가능 값을 삽입하는 것과 함께, 제 1 상태를 구비하는 유형 표시자 필드를 설정하는 것; 및
각각의 제 1 NAL 유닛에 대해 연관되는 연산 포인트를 지정하면서, 일부의 값이 확장성 공간 내부의 벡터 좌표에 대응하도록 일부 이상을 설정하고, 하나 이상의 일부로 제 1 NAL 유닛에서의 레이어 표시자 필드 분할에 의한 제 1 NAL 유닛에서의 레이어 표시자 필드를 설정하는 것과 함께, 제 2 상태(dedicated_scalability_ids_flag=1)를 구비하는 유형 표시자 필드를 설정하는 것;
사이를 전환하도록 구성되는 비디오 인코더.
[실시예 55]
제 54실시예에 있어서, 상기 비디오 인코더는
제 2 상태를 구비하도록 유형 표시자 필드를 설정할 때, 제 1 NAL 유닛에서 어떤 레이어 표시자 필드가 하나 이상의 일부로 분할되는지에 관해 정의하는 제 2 NAL 유닛으로의 구문 구성요소를 설정 및 삽입하고, 확장성 차원을 의미론적 정의하는 제 2 NAL 유닛으로 부가 구문 구성요소를 설정 및 삽입하도록 구성되는 비디오 인코더.
[실시예 56]
레이어에서 장면이 코딩 되는 멀티 레이어 비디오 데이터 스트림에 있어서, 각각의 레이어에서, 장면은 확장성 차원에 의해 확장되는 확장성 공간의 다른 연산 포인트들에서 코딩 되고, 상기 멀티 레이어 비디오 데이터 스트림은 각각이 레이어 중 하나와 연관되는 제 1 NAL 유닛 및 멀티 레이어 비디오 데이터 스트림 상의 일반적인 정보를 나타내고 제 1 NAL 유닛 내에 산재된 제 2 NAL 유닛으로 구성되고, 상기 유형 표시자 필드(696, e.g. dedicated_scalability_ids_flag)는
유형 표시자 필드가 제 1 상태(e.g. dedicated_scalability_ids_flag=0)를 구비하는 경우, 제 2 NAL 유닛에서의 매핑 정보가 연산 포인트로의 제 1 NAL 유닛 헤더에서 레이어 표시자 필드(e.g. layer_id)의 가능 값을 매핑하는 것,
유형 표시자 필드가 제 2 상태(dedicated_scalability_ids_flag=1)를 구비하는 경우, 확장성 공간 내의 벡터 좌표로서의 일부의 값에 의해 정의되는 제 1 NAL 유닛의 연산 포인트와 함께 제 1 NAL 유닛의 레이어 표시자 필드가 하나 이상의 일부로 분할되는 것,
에 의존하여 제 2 NAL 유닛에 존재하는 것을 특징으로 하는 멀티 레이어 비디오 데이터 스트림.
[실시예 57]
장면이 레이어로 코딩되는 멀티 레이어 비디오 데이터 스트림을 멀티 표준 멀티 레이어 디코더에 의한 디코딩의 대상이 되도록 하는 전송 레이어 디코더에 있어서, 상기 멀티 레이어 비디오 데이터 스트림은 각각이 레이어 중 하나와 연관된 NAL 유닛들로 구성되고, 상기 레이어는 다른 코덱들과 연관되고, 각각의 레이어에 대해, 각 레이어로 연관된 NAL 유닛이 각 레이어가 연관된 코덱을 이용하여 코딩되고, 전송 레이어 디코더는
각 NAL 유닛에 대해, 어느 코덱이 동일하게 연관되었는지 식별하고,
멀티 레이어 비디오 데이터 스트림을 디코딩하기 위해 다른 코덱과 연관되는 레이어 사이의 인터 레이어 추정을 이용한 멀티 표준 멀티 레이어 디코더에 멀티 레이어 비디오 데이터 스트림의 NAL 유닛을 전달하도록 구성되는 전송 레이어 디코더.
[실시예 58]
제 57실시예에 있어서,
각 레이어의 코덱이 나타내는 상태에 대해 설정되는 NAL 유닛 유형 표시자를 구비하는 기 설정된 코덱의 NAL 유닛 헤더를 이용하면서, 기 설정된 코덱과 다른 임의의 코덱과 연관되는 레이어와 연관될 때 식별되는 NAL 유닛을 캡슐화하도록 더 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 59]
제 57실시예 또는 제 58실시예에 있어서,
NAL 유닛이 각각 도착하는 채널에 의존하여 식별을 수행하도록 더 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 60]
제 57실시예 또는 제 59실시예 중 어느 한 실시예에 있어서,
다른 코덱들과 연관되는 NAL 유닛이 다른 채널 상에서 멀티 표준 멀티 레이어 디코더로 전달되도록 전달을 수행하게 더 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 61]
제 57실시예 또는 제 60실시예에 있어서,
각 NAL 유닛과 연관된 레이어가 연관되는 코덱을 나타내는 메타 데이터를 각 NAL 유닛에 제공하도록 더 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 62]
제 1 레이어의 일부로부터 제 2 레이어의 함께 위치하는(co-located) 일부로 인터 레이어 추정을 이용하여 장면이 레이어 계층구조로 코딩되는 멀티 레이어 비디오 데이터 스트림을 디코딩하는 비디오 디코더에 있어서, 상기 제 1 레이어의 픽처는 제 1 블록의 배열로 서브 분할되고, 제 2 레이어의 픽처는 제 2 블록의 배열로 서브 분할되고, 상기 래스터 스캔 디코딩 순서는 제 1 블록과 제 2 블록 중에서 각각 정의되고, 비디오 디코더는
제 1 블록의 유닛에서 측정된, 제 2 레이어의 픽처의 공간적 제 2 블록의 순회와 관련하여 제 1 레이어의 픽처의 제 1 블록의 순회 사이의 인터 레이어 오프셋 과 함께 일시적인 중첩 방식으로 제 1 및 제 2 블록의 순차적 순회에 의해 제 1 및 제 2 레이어의 픽처를 병렬 디코딩하기 위한 인터 레이어 오프셋을, 멀티 레이어 비디오 데이터 스트림의 구문 구성요소 구조(e.g., ctb_delay_enabled_flag, min_spatial_segment_delay)에 의존하여, 결정하도록 구성되는 비디오 디코더.
[실시예 63]
제 62실시예에 있어서,
상기 구문 구성요소 구조는 장기 구문 구성요소 구조이고, 비디오 디코더는
기 설정된 시간 주기에 대해 미리 결정을 수행하고,
멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소를 기반으로 각각, 제 1 레이어의 픽처 및 제 2 레이어의 픽처의 공간 샘플링 해상도 및 제 2 레이어의 픽처의 제 2 블록 및 제 1 레이어의 픽처의 제 1 블록의 크기 및 위치를, 기 설정된 시간 주기보다 더 작은 시간 간격으로, 주기적으로 결정하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 64]
제 63실시예에 있어서,
상기 비디오 디코더는 제 2 레이어의 픽처의 공간 세그먼트의 순회와 관련한 제 1 레이어의 픽처의 공간 세그먼트의 순회 사이의 인터 레이어 오프셋과 함께 일시적인 중첩 방식으로 공간 세그먼트의 순차적인 순회에 의해, 레이어의 픽처가 분할되는, 그리고 래스터 스캔 디코딩 순서를 따라 순차적으로 정렬된 공간 세그먼트로의 멀티 레이어 비디오 데이터 스트림의 병렬 디코딩을 지원하고,
비디오 디코더는
만일 장기 구문 구성요소 구조(e.g., ctb_delay_enabled_flag=0, min_spatial_segment_delay≠0)가 가능 값의 제 1 집합의 값으로 설정되는 경우, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소를 기반으로, 각각, 제 1 레이어와 제 2 레이어의 픽처의 공간 샘플링 해상도와, 제 1 레이어의 픽처의 공간 세그먼트와 제 2 레이어의 픽처의 공간 세그먼트의 크기 및 위치를, 기 설정된 시간 주기 보다 더 작은 시간 간격으로, 주기적으로 결정하고, 제 1 레이어의 픽처의 공간 세그먼트의 유닛으로 인터 레이어 오프셋을 측정하는 기 설정된 시간 주기에 대해 미리 인터 레이어 오프셋을 결정하기 위해 장기 구문 구성요소 구조의 값을 이용;
만일 장기 구문 구성요소가 가능 값의 제 1 집합에 대해 분리된(disjoint) 가능 값의 제 2 집합(e.g. min_spatial_segment_delay=0)의 값으로 설정되는 경우, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소를 기반으로 기 설정된 주기 내에서 인터 레이어 오프셋을, 기 설정된 시간 주기보다 더 작은 시간 간격에서, 주기적으로 결정;
만일 장기 구문 구성요소가 가능 값의 제 1 및 제 2 집합에 대해 분리된(disjoint) 제 3 집합(e.g., ctb_delay_enabled_flag=1, min_spatial_segment_delay≠0)의 값으로 설정되는 경우, 각각, 제 1 레이어의 픽처 및 제 2 레이어의 픽처의 공간 샘플링 해상도와, 제 2 레이어의 픽처의 제 2 블록과 제 1 레이어의 픽처의 제 1 블록의 크기 및 위치의 주기적인 결정 및 제 1 블록의 유닛에서 인터 레이어 오프셋의 결정을 수행;
하도록 멀티 레이어 비디오 데이터 스트림의 장기 구문 구성요소 구조를 검사하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 65]
제 63실시예 또는 제 64실시예에 있어서, 비디오 디코더는
제 2 레이어의 픽처의 서브스트림의 순회에 관련된 제 1 레이어의 픽처의 서브스트림의 순회 사이의 인터 레이어 오프셋 및 동일한 픽처의 즉시 연속적인 서브스트림의 순회 사이의 인트라 픽처 인터 서브스트림 지연과 함께 일시적 중첩 방식으로 서브스트림의 순차적 순회에 의한 파면 병렬 처리를 이용하여, 제 1 및 제 2 블록의 행으로 구성되고 레이어들의 픽처들이 분할되는 서브 스트림에서 멀티 레이어 비디오 데이터 스트림의 병렬 디코딩을 지원하는 것을 특징으로 하는 비디오 디코더.
[실시예 66]
제 64실시예 내지 제 65실시예 중 어느 한 실시예에 있어서,
상기 장기 구문 구성요소 구조는 유닛 플래그(c.p., exemplarily, ctb_delay_enabled_flag)와 지연 표시자(c.p., exemplarily, min_spatial_segment_delay)를 포함하고, 상기 비디오 디코더가, 장기 구문 구성요소 구조를 검사함에 있어,
지연 표시자가 0으로 설정되는지 아닌지 여부를 결정하기 위해 지연 표시자를 검사하도록 구성되고,
만일 지연 표시자가 0으로 설정되는 경우, 장기 구문 구성요소 구조의 값이 제 2 집합의 값으로 설정되도록 결정하고,
지연 표시자가 0이 아닌 값으로 설정되는 경우, 장기 구문 구성요소 구조의 값을 결정하기 위해 0이 아닌 값을 이용하고, 유닛 플래그가 0인 경우 장기 구문 구성요소 구조의 값이 제 1 집합의 값으로 설정되도록, 그리고 유닛 플래그가 1인 경우 장기 구문 구성요소 구조의 값이 제 3집합의 값으로 설정되도록, 결정하는 것을 특징으로 하는 비디오 디코더.
[실시예 67]
제 65실시예 내지 제 66실시예 중 어느 한 실시예에 있어서,
제 1 및 제 2 레이어 병렬 디코딩을 개시함에 있어 인터 레이어 오프셋에 의존하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 68]
제 62실시예 내지 제 67실시예 중 어느 한 실시예에 있어서,
제 1 레이어의 공간 세그먼트 또는 코딩 블록의 수 s가 구문 구성요소 구조에 고유하게 의존하는 수 s로 완전하게 디코딩되었는지 여부를 확인하도록 구성되고,
상기 확인이 제 1 레이어의 코딩 블록들 또는 공간 세그먼트들 중에서, 적어도 s가 완전하게 디코딩 되었다는 것을 나타내지 않는 한, 제 1 레이어의 디코딩 동안 제 2 레이어 디코딩 개시를 지연시키는 것을 특징으로 하는 비디오 디코더.
[실시예 69]
제 62실시예 내지 제 68실시예 중 어느 한 실시예에 있어서, 상기 비디오 디코더는 제 1 및 제 2 레이어 병렬 디코딩을, 개시하고, 완전하게 처리함에 있어, 인터 레이어 오프셋에 의존하도록 구성되는 것을 특징으로 하는 비디오 디코더.
[실시예 70]
제 62실시예 내지 제 69실시예 중 어느 한 실시예에 있어서, 비디오 디코더는 제 1 레이어의 코딩 블록 또는 공간 세그먼트의 수가 제 2 레이어의 코딩 블록 또는 이미 디코딩된 공간 세그먼트의 수 t-1과 구문 구성요소 구조에 고유하게 의존하는 수 s로 완전하게 디코딩 되었는지 여부를 확인하도록 구성되고,
상기 확인이, 제 1 레이어의 코딩 블록들 또는 공간 세그먼트들 중에서, 적어도 s가 완전하게 디코딩 되었다는 것을 나타내지 않는 한, 제 1 레이어를 디코딩하는 동안 제 2 레이어의 코딩 블록 또는 t번째 공간 세그먼트 디코딩 개시를 지연시키는 것을 특징으로 하는 비디오 디코더.
[실시예 71]
제 1 레이어로부터 제 2 레이어로 인터-레이어 추정(inter-layer prediction)을 이용하는 레이어의 계층구조에서 장면(scene)이 코딩되는 멀티-레이어 비디오 데이터 스트림(40)의 디코딩을 위한 방법에 있어서, 상기 비디오 디코더는 레이어의 픽처(12,15)가 서브-분할되는 공간 세그먼트(80)에서 멀티- 레이어 비디오 데이터 스트림의 병렬 디코딩(parallel decoding)을 지원하고, 상기 방법은
멀티 레이어 비디오 데이터 스트림의 장기 구문 구성요소 구조(606; e.g. tile_boundaries_aligned_flag)를 검사하고
기 설정된 시간 주기(608) 동안, 제 2 레이어의 픽처들(15)의 공간적 세그먼트들 사이의 경계들이 제 1 레이어의 픽처(12)의 공간적 세그먼트들의 모든 경계를 중첩하도록 제 2 레이어의 픽처들(15)이 서브분할 된다는 보장에 따라, 제 1 가능 값 집합(e.g. tile_boundaries_aligned_flag=1) 중 하나의 값을 추정하여 장기 구문 요소 구조를 해석하고, 기 설정된 시간 주기보다 더 작은 시간 간격(604)으로, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소(602; e.g. column_width_minus1[　i　] and column_width_minus1[　i　])에 기반하여 제 1 레이어 및 제 2 레이어의 픽처들의 공간적 세그먼트들로의 서브분할을 주기적으로 결정하며,
장기 구문 구성요소 구조가 가능한 제 2 가능 값 집합(e.g. tile_boundaries_aligned_flag=0) 중 하나의 값으로 추정되는 경우, 적어도 단기 구문 구성요소들의 제 1 가능 값에 대해, 제 1 레이어의 공간적 세그먼트들의 경계들 중 어느 것에도 중첩하지 않는 제 2 레이어의 픽처의 공간적 세그먼트들 사이의 경계가 존재하고, 적어도 단기 구문 구성요소들의 제 2 가능 값에 대해, 제 2 레이어의 픽처의 공간적 세그먼트들 사이의 경계들은 제 1 레이어의 공간적 세그먼트들의 모든 경계를 중첩하는, 멀티-레이어 비디오 데이터 스트림의 단기 구문 구성요소들로부터 공간적 세그먼트들로의 레이어 픽처들의 서브분할을, 기 설정된 시간 주기보다 더 작은 시간 간격으로, 주기적으로 결정하는 것을,
포함하는 디코딩을 위한 방법.
[실시예 72]
멀티 레이어 비디오 데이터 스트림이 레이어의 픽처가 서브 분할된 공간 세그먼트에서 병렬로 디코딩 가능하도록 제 1 레이어로부터 제 2 레이어로 인터 레이어 추정을 이용하여 레이어의 계층구조에서 멀티 레이어 비디오 데이터 스트림으로의 장면을 인코딩하기 위한 방법에 있어서, 상기 방법은
멀티 레이어 비디오 데이터 스트림으로 장기 구문 구성요소 구조(606) 및 단기 구문 구성요소(602)를 삽입하고, 단기 구문 구성요소 구조는, 시간 간격 동안 , 공간 세그먼트로의 제 1 레이어와 제 2 레이어의 픽처의 서브 분할을 정의하고,
제 1 가능 값 집합 중 한 값으로, 시간 간격보다 큰 기 설정된 시간 주기(608) 동안, 가능한 설정의 집합 중 적절한 서브셋으로 단기 구문 구성요소를 설정하고, 제 2 레이어의 픽처의 공간 세그먼트 사이의 경계가 제 1 레이어의 공간 세그먼트의 모든 경계에 중첩하도록 제 2 레이어의 픽처가 서브 분할되게, 기 설정된 시간 주기 동안, 적절한 서브셋이 선택되며, 또는
제 2 가능 값 집합 중 한 값으로, 기 설정된 시간 주기 동안, 가능한 설정의 임의의 집합으로 단기 구문 구성요소를 설정하고, 가능한 설정의 집합은 제 1 레이어의 공간 세그먼트의 경계에 중첩하지 않는 제 2 레이어의 픽처의 공간 세그먼트 사이에 경계가 존재하는 적어도 하나의 설정, 및 제 2 레이어의 픽처의 공간 세그먼트 사이의 경계가 제 1 레이어의 공간 세그먼트의 모든 경계에 중첩하는 적어도 또다른 설정을 포함하는,
장기 구문 구성요소 구조 설정 사이를 전환하는 것을,
포함하는 인코딩하기 위한 방법.
[실시예 73]
제 1 공간 세그먼트에서, 적어도 하나의 공간 레이어에 대해, 픽처가 다른 공간 레이어에서 코딩되는 공간적으로 확장 가능한 비트 스트림(40)을 디코딩하는 방법에 있어서,
상기 방법은 업 샘플링 된 참조 픽처를 사용하는 제 2 공간 레이어의 픽처를 추정하고 업 샘플링 된 참조 픽처를 획득하기 위해 제 1 공간 레이어의 픽처(12)를 업 샘플링 하는 단계; 를 포함하고,
상기 디코딩을 위한 방법은, 구문 구성요소에 의존하여, 제 1 공간 레이어의 픽처를 내삽(620)하기 위해 공간적으로 확장 가능한 비트스트림에서 구문 구성요소(616; e.g., independent_tile_upsampling_idc)에 응답하며,
제 1 공간 세그먼트에 의존하는, 업 샘플링 된 참조 픽처의 분할(622)의 임의의 파티션이, 분할의 임의의 다른 파티션에 의해 커버되는 제 1 공간 레이어의 픽처의 일부로부터 독립적이고, 또는
업 샘플링 된 참조 픽처의 분할(622)의 임의의 파티션이 각 파티션에 공간적으로 이웃하는 분할의 또다른 파티션에 의해 커버되는 제 1 공간 레이어의 픽처의 일부에 의존하는 디코딩하는 방법.
[실시예 74]
제 1 공간 세그먼트에서, 적어도 하나의 공간 레이어에 대해, 다른 공간 레이어에서 픽처를 공간적으로 확장 가능한 비트스트림으로 인코딩하는 방법에 있어서, 상기 방법은
업 샘플링 된 참조 픽처를 사용하는 제 2 공간 레이어의 픽처를 추정하고 업 샘플링된 참조 픽처를 획득하기 위해 제 1 레이어의 픽처를 업 샘플링하는 단계를 포함하고, 상기 방법은, 구문 구성요소에 의존하여, 제 1 공간 레이어의 픽처를 내삽하고, 공간적으로 확장 가능한 비트 스트림으로 구문 구성요소(606)를 설정하고 삽입하는 단계를 포함하고,
제 1 세그먼트에 의존하는, 업샘플링 된 참조 픽처의 분할의 임의의 파티션이, 분할의 임의의 다른 파티션들에 의해 커버되는 제 1 공간 레이어의 픽처의 일부로부터 독립적이거나, 또는
업 샘플링 된 참조 픽처의 임의의 파티션이 각 파티션에 공간적으로 이웃하는 분할의 또다른 파티션에 의해 커버되는 제 1 공간 레이어의 픽처의 일부에 의존하는 인코딩하는 방법.
[실시예 75]
제 1 레이어로부터 제 2 레이어로 인터 레이어 추정을 이용하여 장면이 레이어 계층구조로 코딩된 멀티 레이어 비디오 데이터 스트림을 디코딩하는 방법에 있어서, 상기 비디오 디코더는 제 2 레이어의 픽처의 공간 세그먼트의 순회에 관련된 제 1 레이어의 픽처의 공간 세그먼트의 순회 사이의 인터 레이어 지연과 함께 일시적인 중첩 방식(overlapping manner)에서 공간 세그먼트의 순차적인 순회에 의해 레이어의 픽처들이 분할된 공간 세그먼트에서의 멀티 레이어 비디오 데이터 스트림의 병렬 디코딩을 지원하며, 상기 방법은,
멀티 레이어 비디오 데이터 스트림의 장기 구문 구성요소 구조(642; e.g. min_spatial_segment_delay)를 검사하고,
장기 구문 구성요소 구조(e.g. min_spatial_segment_delay≠0)가 가능 값의 제 1 집합 값으로 설정되는 경우, 기 설정된 시간 주기에 대해 미리 인터 레이어 오프셋(inter-layer offset)을 결정하고, 기 설정된 시간 주기보다 더 작은 시간 간격으로, 제 1 레이어의 픽처의 공간 세그먼트 및 제 2 레이어의 픽처의 공간 세그먼트의 픽처의 공간 세그먼트의 크기와 위치, 및 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소(602)를 기반으로, 각각, 제 1 레이어의 픽처 및 제 2 레이어의 픽처의 공간 샘플링 해상도를 주기적으로 결정하기 위해, 장기 구문 구성요소의 값을 이용하고,
장기 구문 구성요소가 가능 값의 제 1 집합에 대해 분리된(disjoint) 가능 값의 제 2 집합(e.g. min_spatial_segment_delay=0)의 값으로 설정되는 경우, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소를 기반으로 기 설정된 주기 내에서 인터 레이어 오프셋을, 기 설정된 시간 주기보다 더 작은 시간 간격에서, 주기적으로 결정하도록 하는 것을,
포함하는 디코딩하는 방법.
[실시예 76]
제 1 레이어로부터 제 2 레이어로의 인터 레이어 추정을 이용하여 레이어 계층구조에서 멀티 레이어 비디오 데이터 스트림(multi-layer video data stream)으로 장면(scene)을 인코딩 하는 방법에 있어서, 멀티 레이어 비디오 데이터 스트림이 제 2 레이어의 픽처의 공간 세그먼트의 순회와 관련된 제 1 레이어의 픽처의 공간 세그먼트의 순회 사이의 인터 레이어 오프셋으로 일시적으로 중첩하는 방식으로 공간 세그먼트의 순차적인 순회에 의해 레이어의 픽처가 분할되는 공간 세그먼트에서의 디코딩이 가능하고, 상기 방법은
장기 구문 구성요소 구조(min_spatial_segment_delay)와 단기 구문 구성요소를 멀티 레이어 비디오 데이터 스트림으로 삽입 및 설정하는 것을 포함하고, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소는, 제 2 레이어의 픽처와 제 1 레이어의 픽처의 공간 샘플링 해상도와, 제 2 레이어의 픽처의 공간 세그먼트와 제 1 레이어의 픽처의 공간 세그먼트의 위치 및 크기를, 각각, 시간 간격 안에서 주기적으로, 정의하며,
상기 방법은
가능 값의 제 1 집합의 값으로 장기 구문 구성요소 구조(min_spatial_segment_delay≠0)를 설정하며, 기 설정된 시간 주기 동안, 가능 설정의 집합 중 적절한 서브셋으로 단기 구문 구성요소 설정하는 것과 함께, 상기 값은 시간 간격 보다 큰 기 설정된 시간 주기 동안의 인터 레이어 오프셋을 신호화(signaling)하는 것과 함께, 적절한 서브셋이 선택되어, 기 설정된 시간 주기 동안, 제 2 레이어의 픽처의 공간 세그먼트와 제 1 레이어의 픽처의 공간 세그먼트의 위치 및 크기와 제 1 레이어의 픽처 및 제 2 레이어의 픽처의 공간 샘플링 해상도가, 각각, 장기 구문 구성요소에 의해 신호화 되는 인터 레이어 오프셋과 동일하거나 더 작은 실제 인터 레이어 오프셋으로 일시적인 중첩 방식으로, 제 2 레이어의 픽처의 공간 세그먼트 순회와 관련된 제 1 레이어의 픽처의 공간 세그먼트 순회 사이에서, 순차적인 공간 구성요소 순회에 의한 멀티 레이어 비디오 데이터 스트림 디코딩을 가능하게 하는 것과,
기 설정된 시간 주기 동안, 가능 값의 제 1 집합에 대해 분리된(disjoint) 가능 값의 제 2 집합(min_spatial_segment_delay=0) 값의 장기 구문 구성요소를 설정하고, 임의의 가능한 설정을 위한 단기 구문 구성요소를 설정하고, 가능한 설정 집합은 제 2 레이어의 픽처의 공간 세그먼트와 제 1 레이어의 픽처의 공간 세그먼트의 크기 및 위치에 따르는 적어도 하나의 설정을 포함하고, 제 2 레이어의 픽처와 제 1 레이어의 픽처의 공간 샘플링 해상도(spatial sampling resolutions)는, 각각, 장기 구문 구성요소에 의해 신호화된 인터 레이어 오프셋과 동일하거나 더 적은 실제 인터 레이어 오프셋의 방법으로 일시적인 중첩에서 공간 세그먼트의 순차적인 순회에 의한 멀티 레이어 비디오 데이터 스트림 디코딩을, 제 2 레이어의 픽처의 공간 세그먼트 순회와 관련된 제 1 레이어의 픽처의 공간 세그먼트 순회 사이에서, 비활성화하고, 적어도 또다른 설정은 제 1 레이어의 픽처의 공간 세그먼트와 제 2 레이어의 픽처의 공간 세그먼트의 위치 및 크기와 제 1 레이어의 픽처와 제 2 레이어의 픽처의 공간 샘플링 해상도에 따르고, 각각, 장기 구문 구성요소에 의해 신호화된 인터 레이어 오프셋과 동일하거나 또는 더 작은 실제 인터 레이어 오프셋의 일시적인 중첩 방식으로 공간 세그먼트의 순차적인 순회에 의한 멀티 레이어 비디오 데이터 스트림 디코딩을, 제 2 레이어의 픽처의 공간 세그먼트 순회와 관련된 제 1 레이어의 픽처 공간 세그먼트 사이에서, 가능하게 하는 것의
설정 사이를 전환하는 것을,
포함하는 인코딩하는 방법.
[실시예 77]
각 레이어에서, 장면이 확장성 차원에 의해 확장된 확장성 공간의 다른 연산 포인트로 코딩되도록, 장면이 레이어로 코딩되는 멀티 레이어 비디오 데이터 스트림 처리를 위한 방법에 있어서, 상기 멀티 레이어 비디오 데이터 스트림은 각각이 레이어 중 하나와 연관되는 제 1 NAL 유닛 및 멀티 레이어 비디오 데이터 스트림 상의 일반적인 정보를 나타내고 제 1 NAL 유닛 내에 산재된 제 2 NAL 유닛으로 구성되고, 상기 방법은
제 2 NAL 유닛에서 유형 표시자 필드(type indicator field)(696, e.g. dedicated_scalability_ids_flag)를 검사하고,
유형 표시자 필드가 제 1 상태(e.g. dedicated_scalability_ids_flag=0)를 가지는 경우, 매핑 정보(e.g. layer_id_in_nuh[ i ], dimension_id[ i ][ j ])가 제 2 NAL 유닛으로부터 연산 포인트로의 제 1 NAL 유닛 헤더에서의 레이어 표시자 필드(e.g. layer_id)의 매핑 가능한 값을 판독하고, 레이어 표시자 필드와 매핑 정보를 통해 제 1 NAL 유닛에서 연산 포인트에 대해 제 1 NAL 유닛을 연관시키고,
유형 표시자 필드가 제 2 상태(dedicated_scalability_ids_flag=1)를 가지는 경우, 확장성 공간 내부의 백터 좌표에 따른 일부의 값을 이용함으로써, 제 1 NAL 유닛의 연산 포인트 위치설정과 하나 이상의 일부로 제 1 NAL 유닛에서의 레이어 표시자 필드를 분할함으로써 연산 포인트에 대해 제 1 NAL 유닛을 연관시키는 것을,
포함하는 멀티 레이어 비디오 데이터 스트림 처리를 위한 방법.
[실시예 78]
레이어에서 멀티 레이어 비디오 데이터 스트림으로의 장면을 인코딩하는 방법에 있어서, 각각의 레이어에서, 장면(scene)은 확장성 차원에 의해 확장되는 확장성 공간(scalability space)의 다른 연산 포인트에서 코딩되고,
상기 멀티 레이어 비디오 데이터 스트림은 각각이 레이어 중 하나와 연관되는 제 1 NAL 유닛 및 멀티 레이어 비디오 데이터 스트림 상의 일반적인 정보를 나타내고 제 1 NAL 유닛 내에 산재된 제 2 NAL 유닛으로 구성되고, 상기 방법은
제 2 NAL 유닛으로의 유형 표시자 필드를 삽입하고,
제 1 NAL 유닛의 연산 포인트가 매핑 정보를 통해 각각의 레이어 표시자 필드와 연관되며, 제 1 NAL 유닛에서 레이어 표시자 필드를 설정하고, 제 2 NAL 유닛으로 연산 포인트로의 제 1 NAL 유닛 헤더에서 레이어 표시자 필드의 매핑 정보 매핑 가능 값을 삽입하는 것과 함께, 제 1 상태를 구비하는 유형 표시자 필드를 설정하는 것; 및
각각의 제 1 NAL 유닛에 대해 연관되는 연산 포인트를 지정하면서, 일부의 값이 확장성 공간 내부의 벡터 좌표에 대응하도록 일부 이상을 설정하고, 하나 이상의 일부로 제 1 NAL 유닛에서의 레이어 표시자 필드 분할에 의한 제 1 NAL 유닛에서의 레이어 표시자 필드를 설정하는 것과 함께, 제 2 상태(dedicated_scalability_ids_flag=1)를 구비하는 유형 표시자 필드를 설정하는 것;
사이를 전환하는 것을,
포함하는 인코딩하는 방법.
[실시예 79]
장면이 레이어로 코딩되는 멀티 레이어 비디오 데이터 스트림을 멀티 표준 멀티 레이어 디코더에 의한 디코딩의 대상이 되도록 하는 방법에 있어서, 상기 멀티 레이어 비디오 데이터 스트림은 각각이 레이어 중 하나와 연관된 NAL 유닛들로 구성되고, 상기 레이어는 다른 코덱들과 연관되고, 각각의 레이어에 대해, 각 레이어로 연관된 NAL 유닛이 각 레이어가 연관된 코덱을 이용하여 코딩되고, 상기 방법은
각 NAL 유닛에 대해, 어느 코덱이 동일하게 연관되었는지 식별하고,
멀티 레이어 비디오 데이터 스트림을 디코딩하기 위해 다른 코덱과 연관되는 레이어 사이의 인터 레이어 추정을 이용한 멀티 표준 멀티 레이어 디코더에 멀티 레이어 비디오 데이터 스트림의 NAL 유닛을 전달하는 것을,
포함하는 방법.
[실시예 80]
제 1 레이어의 일부로부터 제 2 레이어의 함께 위치하는(co-located) 일부로 인터 레이어 추정을 이용하여 장면이 레이어 계층구조로 코딩되는 멀티 레이어 비디오 데이터 스트림을 디코딩하는 방법에 있어서, 상기 제 1 레이어의 픽처는 제 1 블록의 배열로 서브 분할되고, 제 2 레이어의 픽처는 제 2 블록의 배열로 서브 분할되고, 상기 래스터 스캔 디코딩 순서는 제 1 블록과 제 2 블록 중에서 각각 정의되고, 상기 방법은
제 1 블록의 유닛에서 측정된, 제 2 레이어의 픽처의 공간적 제 2 블록의 순회와 관련하여 제 1 레이어의 픽처의 제 1 블록의 순회 사이의 인터 레이어 오프셋 과 함께 일시적인 중첩 방식으로 제 1 및 제 2 블록의 순차적 순회에 의해 제 1 및 제 2 레이어의 픽처를 병렬 디코딩하기 위한 인터 레이어 오프셋을, 멀티 레이어 비디오 데이터 스트림의 구문 구성요소 구조(e.g., ctb_delay_enabled_flag, min_spatial_segment_delay)에 의존하여, 결정하는 것을,
포함하는 디코딩하는 방법.
[실시예 81]
컴퓨터에서 실행할 때, 제 71실시예 내지 제 80실시예 중 어느 한 실시예에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
40 : 비디오 데이터 스트림
80 : 공간 세그먼트
12: 제1레이어의 픽처
15: 제2레이어의 픽처

Claims (67)

  1. 제 1 레이어로부터 제 2 레이어로 인터 레이어 추정을 이용하여 장면이 레이어 계층구조로 코딩된 멀티 레이어 비디오 데이터 스트림을 디코딩하는 비디오 디코더에 있어서, 상기 비디오 디코더는 제 2 레이어의 픽처의 공간 세그먼트의 순회에 관련된 제 1 레이어의 픽처의 공간 세그먼트의 순회 사이의 인터 레이어 지연과 함께 일시적인 중첩 방식(overlapping manner)에서 공간 세그먼트의 순차적인 순회에 의해 레이어의 픽처들이 분할된 공간 세그먼트에서의 멀티 레이어 비디오 데이터 스트림의 병렬 디코딩을 지원하며, 상기 비디오 디코더는,
    멀티 레이어 비디오 데이터 스트림의 장기 구문 구성요소 구조(642; e.g. min_spatial_segment_delay)를 검사하도록 구성되며,
    장기 구문 구성요소 구조(e.g. min_spatial_segment_delay≠0)가 가능 값의 제 1 집합 값으로 설정되는 경우, 기 설정된 시간 주기에 대해 미리 인터 레이어 오프셋(inter-layer offset)을 결정하고, 기 설정된 시간 주기보다 더 작은 시간 간격으로, 제 1 레이어의 픽처의 공간 세그먼트 및 제 2 레이어의 픽처의 공간 세그먼트의 픽처의 공간 세그먼트의 크기와 위치, 및 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소(602)를 기반으로, 각각, 제 1 레이어의 픽처 및 제 2 레이어의 픽처의 공간 샘플링 해상도를 주기적으로 결정하기 위해, 장기 구문 구성요소의 값을 이용하고,
    장기 구문 구성요소가 가능 값의 제 1 집합에 대해 분리된(disjoint) 가능 값의 제 2 집합(e.g. min_spatial_segment_delay=0)의 값으로 설정되는 경우, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소를 기반으로 기 설정된 주기 내에서 인터 레이어 오프셋을, 기 설정된 시간 주기보다 더 작은 시간 간격에서, 주기적으로 결정하도록 구성되는 비디오 디코더.
  2. 제 1항에 있어서, 상기 비디오 디코더는
    제 2 레이어의 픽처의 서브스트림 순회(traversal)와 관련된 제 1 레이어의 픽처의 서브 스트림의 순회 사이의 인터 레이어 오프셋 및 동일한 픽처의 즉각적으로 연속적인 서브스트림의 순회 사이의 인트라 픽처 인터-서브스트림 지연(intra-picture inter-substream delay) 방법으로 일시적으로 중첩되는 서브스트림의 순차적인 순회에 의해 파면 병렬 처리(wavefront parallel processing)를 이용하여,
    레이어의 픽처가 분할되고 레이어의 픽처가 규칙적으로 서브-분할되는 블록의 행(rows of blocks)으로 구성되는 서브-스트림(sub-streams)에서 멀티-레이어 비디오 데이터 스트림을, 병렬로, 디코딩하도록 구성되는 것을 특징으로 하는 비디오 디코더.
  3. 제 2항에 있어서, 상기 비디오 디코더는
    서브-스트림의 경계를 교차하는 인트라-픽처 공간 추정을 지원하면서 병렬로 서브-스트림을 디코딩하도록 구성되는 것을 특징으로 하는 비디오 디코더.
  4. 제 1항에 있어서, 상기 비디오 디코더는
    제 2 레이어의 픽처의 타일들의 순회와 관련된 제 1 레이어의 픽처의 타일들의 순회 사이의 인터 레이어 오프셋과 함께 병렬로 제 2 레이어의 픽처의 즉각적 연속 타일들 및 제 1 레이어의 픽처의 즉각적 연속 타일들을 디코딩하고, 제 1 및 제 2 레이어의 각 픽처 내부의 타일들 중 타일 순서에 따라 타일을 순회하면서, 레이어의 픽처들이 분할되는 타일에서 멀티 레이어 비디오 데이터 스트림을 디코딩하도록 구성되는 것을 특징으로 하는 비디오 디코더.
  5. 제 4항에 있어서, 상기 비디오 디코더는
    각 타일의 경계에서 각 타일에 대한 인트라 픽처 공간 추정 방해와 함께 인트라 픽처 공간 추정을 이용하여 제 1 및 제 2 레이어의 픽처를 디코딩하도록 구성되는 것을 특징으로 하는 비디오 디코더.
  6. 제 1항에 있어서, 상기 비디오 디코더는
    제 1 레이어의 픽처의 공간 세그먼트의 유닛에서 인터 레이어 오프셋에 대한 수단으로서 장기 구문 구성요소의 값을 이용함으로써, 인터 레이어 오프셋을 결정하는 데 장기 구문 구성요소의 값을 사용하도록 구성되는 것을 특징으로 하는 비디오 디코더.
  7. 제 1항에 있어서, 상기 비디오 디코더는
    제 1 레이어의 픽처의 순회 및 디코딩 개시와 관련하여 제 2 레이어의 픽처의 제 1 공간 세그먼트의 디코딩이 지연되는 것에 의한 제 1 레이어의 픽처의 공간 세그먼트의 수(number)로 장기 구문 구성요소의 값을 사용함으로써 인터 레이어 오프셋(inter-layer offset)을 결정하는 데 장기 구문 구성요소의 값을 사용하도록 구성되는 것을 특징으로 하는 비디오 디코더.
  8. 제 1 레이어로부터 제 2 레이어로의 인터 레이어 추정을 이용하여 레이어 계층구조에서 멀티 레이어 비디오 데이터 스트림(multi-layer video data stream)으로 장면(scene)을 인코딩 하는 비디오 인코더에 있어서, 멀티 레이어 비디오 데이터 스트림이 제 2 레이어의 픽처의 공간 세그먼트의 순회와 관련된 제 1 레이어의 픽처의 공간 세그먼트의 순회 사이의 인터 레이어 오프셋으로 일시적으로 중첩하는 방식으로 공간 세그먼트의 순차적인 순회에 의해 레이어의 픽처가 분할되는 공간 세그먼트에서의 디코딩이 가능하고, 상기 비디오 인코더는
    장기 구문 구성요소 구조(min_spatial_segment_delay)와 단기 구문 구성요소를 멀티 레이어 비디오 데이터 스트림으로 삽입 및 설정하도록 구성되고, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소는, 제 2 레이어의 픽처와 제 1 레이어의 픽처의 공간 샘플링 해상도와, 제 2 레이어의 픽처의 공간 세그먼트와 제 1 레이어의 픽처의 공간 세그먼트의 위치 및 크기를, 각각, 시간 간격 안에서 주기적으로, 정의하며,
    상기 인코더는
    가능 값의 제 1 집합의 값으로 장기 구문 구성요소 구조(min_spatial_segment_delay≠0)를 설정하며, 기 설정된 시간 주기 동안, 가능 설정의 집합 중 적절한 서브셋으로 단기 구문 구성요소 설정하는 것과 함께, 상기 값은 시간 간격 보다 큰 기 설정된 시간 주기 동안의 인터 레이어 오프셋을 신호화(signaling)하는 것과 함께, 적절한 서브셋이 선택되어, 기 설정된 시간 주기 동안, 제 2 레이어의 픽처의 공간 세그먼트와 제 1 레이어의 픽처의 공간 세그먼트의 위치 및 크기와 제 1 레이어의 픽처 및 제 2 레이어의 픽처의 공간 샘플링 해상도가, 각각, 장기 구문 구성요소에 의해 신호화 되는 인터 레이어 오프셋과 동일하거나 더 작은 실제 인터 레이어 오프셋으로 일시적인 중첩 방식으로, 제 2 레이어의 픽처의 공간 세그먼트 순회와 관련된 제 1 레이어의 픽처의 공간 세그먼트 순회 사이에서, 순차적인 공간 구성요소 순회에 의한 멀티 레이어 비디오 데이터 스트림 디코딩을 가능하게 하는 것과,
    기 설정된 시간 주기 동안, 가능 값의 제 1 집합에 대해 분리된(disjoint) 가능 값의 제 2 집합(min_spatial_segment_delay=0) 값의 장기 구문 구성요소를 설정하고, 임의의 가능한 설정을 위한 단기 구문 구성요소를 설정하고, 가능한 설정 집합은 제 2 레이어의 픽처의 공간 세그먼트와 제 1 레이어의 픽처의 공간 세그먼트의 크기 및 위치에 따르는 적어도 하나의 설정을 포함하고, 제 2 레이어의 픽처와 제 1 레이어의 픽처의 공간 샘플링 해상도(spatial sampling resolutions)는, 각각, 장기 구문 구성요소에 의해 신호화된 인터 레이어 오프셋과 동일하거나 더 적은 실제 인터 레이어 오프셋의 방법으로 일시적인 중첩에서 공간 세그먼트의 순차적인 순회에 의한 멀티 레이어 비디오 데이터 스트림 디코딩을, 제 2 레이어의 픽처의 공간 세그먼트 순회와 관련된 제 1 레이어의 픽처의 공간 세그먼트 순회 사이에서, 비활성화하고, 적어도 또다른 설정은 제 1 레이어의 픽처의 공간 세그먼트와 제 2 레이어의 픽처의 공간 세그먼트의 위치 및 크기와 제 1 레이어의 픽처와 제 2 레이어의 픽처의 공간 샘플링 해상도에 따르고, 각각, 장기 구문 구성요소에 의해 신호화된 인터 레이어 오프셋과 동일하거나 또는 더 작은 실제 인터 레이어 오프셋의 일시적인 중첩 방식으로 공간 세그먼트의 순차적인 순회에 의한 멀티 레이어 비디오 데이터 스트림 디코딩을, 제 2 레이어의 픽처의 공간 세그먼트 순회와 관련된 제 1 레이어의 픽처 공간 세그먼트 사이에서, 가능하게 하는 것의
    설정 사이를 전환하도록 구성되는 비디오 인코더.
  9. 제 8항에 있어서, 상기 비디오 인코더는,
    공간 세그먼트가 레이어들의 픽처들이 분할되고 레이어의 픽처들이 규칙적으로 서브-분할되는 블록의 행(rows of blocks)으로 구성되는 서브-스트림이고, 제 2 레이어의 픽처의 서브스트림 순회와 관련된 제 1 레이어의 픽처의 서브스트림 순회 사이에서 인터 레이어 오프셋 및 동일한 픽처의 즉각적으로 연속적인 서브스트림의 순회 사이의 인트라-픽처 인터-서브스트림 지연으로 일시적으로 중첩하는 방식으로 서브스트림의 순차적인 순회에 의한 파면 병렬 처리를 이용하여 서브-스트림에서의 멀티 레이어 비디오 데이터 스트림을, 병렬로, 디코딩하는 것을 허용하는 방식으로, 인코딩을 수행하도록 구성되는 것을 특징으로 하는 비디오 인코더.
  10. 제 9항에 있어서, 상기 비디오 인코더는,
    서브 스트림 중 순서에 따라, 중간 적응한 상태에서 이전 서브 스트림의 엔트로피 컨텍스트 확률 채택 상의 또는 개별적으로 서브스트림을 엔트로피 인코딩 하는 것에 대한 엔트로피 컨텍스트 확률 초기화 및 서브-스트림의 경계를 교차하는 인트라 픽처 공간 추정 지원에 의해, 엔트로피 컨텍스트 확률 적응과 함께 엔트로피 인코딩 및 인트라 픽처 공간 추정을 이용하여 서브 스트림을 인코딩하도록 구성되는 것을 특징으로 하는 비디오 인코더.
  11. 제 8항에 있어서, 상기 비디오 인코더는,
    공간 세그먼트가 레이어의 픽처들이 분할된 타일들이며, 제 1 및 제 2 레이어의 각 픽처 내의 타일 중 타일 순서로 타일 순회에 의한 타일에서 멀티 레이어 비디오 데이터 스트림을 디코딩하고, 제 2 레이어의 픽처의 타일의 순회와 관련된 제 1 레이어의 픽처의 타일 순회 사이의 인터 레이어 오프셋과 병렬로 제 2 레이어의 즉각적으로 연속하는 픽처 타일 및 제 1 레이어의 즉각적으로 연속하는 픽처 타일의 디코딩을 허용하는 방식으로, 인코딩을 수행하도록 구성되는 것을 특징으로 하는 비디오 인코더.
  12. 제 11항에 있어서, 상기 비디오 인코더는
    각 타일의 경계에서 각 타일에 대한 인트라 픽처 공간 추정 방해와 함께 인트라 픽처 공간 추정을 이용하는 제 1 및 제 2 레이어의 픽처를 인코딩하도록 구성되는 것을 특징으로 하는 비디오 인코더.
  13. 제 8항에 있어서, 상기 비디오 인코더는
    장기 구문 구성요소의 값이 제 1 레이어의 픽처의 공간 세그먼트 유닛에서 인터 레이어 오프셋에 대한 수단을 정의하도록 구성하는 것을 특징으로 하는 비디오 인코더.
  14. 제 8항에 있어서, 상기 비디오 인코더는
    제 1 레이어의 픽처의 순회 및 디코딩 개시와 관련하여 제 2 레이어의 픽처의 제 1 공간 세그먼트의 디코딩이 지연되는 제 1 레이어의 픽처의 공간 세그먼트의 수를 시그널링하기 위해 장기 구문 구성요소의 값을 설정하도록 구성되는 것을 특징으로 하는 비디오 인코더.
  15. 제 1 레이어의 일부로부터 제 2 레이어의 함께 위치하는(co-located) 일부로 인터 레이어 추정을 이용하여 장면이 레이어 계층구조로 코딩되는 멀티 레이어 비디오 데이터 스트림을 디코딩하는 비디오 디코더에 있어서, 상기 제 1 레이어의 픽처는 제 1 블록의 배열로 서브 분할되고, 제 2 레이어의 픽처는 제 2 블록의 배열로 서브 분할되고, 래스터 스캔 디코딩 순서는 제 1 블록과 제 2 블록 중에서 각각 정의되고, 비디오 디코더는
    제 1 블록의 유닛에서 측정된, 제 2 레이어의 픽처의 공간적 제 2 블록의 순회와 관련하여 제 1 레이어의 픽처의 제 1 블록의 순회 사이의 인터 레이어 오프셋 과 함께 일시적인 중첩 방식으로 제 1 및 제 2 블록의 순차적 순회에 의해 제 1 및 제 2 레이어의 픽처를 병렬 디코딩하기 위한 인터 레이어 오프셋을, 멀티 레이어 비디오 데이터 스트림의 구문 구성요소 구조(e.g., ctb_delay_enabled_flag, min_spatial_segment_delay)에 의존하여, 결정하도록 구성되는 비디오 디코더.
  16. 제 15항에 있어서,
    상기 구문 구성요소 구조는 장기 구문 구성요소 구조이고, 비디오 디코더는
    기 설정된 시간 주기에 대해 미리 결정을 수행하고,
    멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소를 기반으로 각각, 제 1 레이어의 픽처 및 제 2 레이어의 픽처의 공간 샘플링 해상도 및 제 2 레이어의 픽처의 제 2 블록 및 제 1 레이어의 픽처의 제 1 블록의 크기 및 위치를, 기 설정된 시간 주기보다 더 작은 시간 간격으로, 주기적으로 결정하도록 구성되는 것을 특징으로 하는 비디오 디코더.
  17. 제 16항에 있어서,
    상기 비디오 디코더는 제 2 레이어의 픽처의 공간 세그먼트의 순회와 관련한 제 1 레이어의 픽처의 공간 세그먼트의 순회 사이의 인터 레이어 오프셋과 함께 일시적인 중첩 방식으로 공간 세그먼트의 순차적인 순회에 의해, 레이어의 픽처가 분할되는, 그리고 래스터 스캔 디코딩 순서를 따라 순차적으로 정렬된 공간 세그먼트로의 멀티 레이어 비디오 데이터 스트림의 병렬 디코딩을 지원하고,
    비디오 디코더는
    만일 장기 구문 구성요소 구조(e.g., ctb_delay_enabled_flag=0, min_spatial_segment_delay≠0)가 가능 값의 제 1 집합의 값으로 설정되는 경우, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소를 기반으로, 각각, 제 1 레이어와 제 2 레이어의 픽처의 공간 샘플링 해상도와, 제 1 레이어의 픽처의 공간 세그먼트와 제 2 레이어의 픽처의 공간 세그먼트의 크기 및 위치를, 기 설정된 시간 주기 보다 더 작은 시간 간격으로, 주기적으로 결정하고, 제 1 레이어의 픽처의 공간 세그먼트의 유닛으로 인터 레이어 오프셋을 측정하는 기 설정된 시간 주기에 대해 미리 인터 레이어 오프셋을 결정하기 위해 장기 구문 구성요소 구조의 값을 이용;
    만일 장기 구문 구성요소가 가능 값의 제 1 집합에 대해 분리된(disjoint) 가능 값의 제 2 집합(e.g. min_spatial_segment_delay=0)의 값으로 설정되는 경우, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소를 기반으로 기 설정된 주기 내에서 인터 레이어 오프셋을, 기 설정된 시간 주기보다 더 작은 시간 간격에서, 주기적으로 결정;
    만일 장기 구문 구성요소가 가능 값의 제 1 및 제 2 집합에 대해 분리된(disjoint) 제 3 집합(e.g., ctb_delay_enabled_flag=1, min_spatial_segment_delay≠0)의 값으로 설정되는 경우, 각각, 제 1 레이어의 픽처 및 제 2 레이어의 픽처의 공간 샘플링 해상도와, 제 2 레이어의 픽처의 제 2 블록과 제 1 레이어의 픽처의 제 1 블록의 크기 및 위치의 주기적인 결정 및 제 1 블록의 유닛에서 인터 레이어 오프셋의 결정을 수행;
    하도록 멀티 레이어 비디오 데이터 스트림의 장기 구문 구성요소 구조를 검사하도록 구성되는 것을 특징으로 하는 비디오 디코더.
  18. 제 16항에 있어서, 비디오 디코더는
    제 2 레이어의 픽처의 서브스트림의 순회에 관련된 제 1 레이어의 픽처의 서브스트림의 순회 사이의 인터 레이어 오프셋 및 동일한 픽처의 즉시 연속적인 서브스트림의 순회 사이의 인트라 픽처 인터 서브스트림 지연과 함께 일시적 중첩 방식으로 서브스트림의 순차적 순회에 의한 파면 병렬 처리를 이용하여, 제 1 및 제 2 블록의 행으로 구성되고 레이어들의 픽처들이 분할되는 서브 스트림에서 멀티 레이어 비디오 데이터 스트림의 병렬 디코딩을 지원하는 것을 특징으로 하는 비디오 디코더.
  19. 제 17항에 있어서,
    상기 장기 구문 구성요소 구조는 유닛 플래그(c.p., exemplarily, ctb_delay_enabled_flag)와 지연 표시자(c.p., exemplarily, min_spatial_segment_delay)를 포함하고, 상기 비디오 디코더가, 장기 구문 구성요소 구조를 검사함에 있어,
    지연 표시자가 0으로 설정되는지 아닌지 여부를 결정하기 위해 지연 표시자를 검사하도록 구성되고,
    만일 지연 표시자가 0으로 설정되는 경우, 장기 구문 구성요소 구조의 값이 제 2 집합의 값으로 설정되도록 결정하고,
    지연 표시자가 0이 아닌 값으로 설정되는 경우, 장기 구문 구성요소 구조의 값을 결정하기 위해 0이 아닌 값을 이용하고, 유닛 플래그가 0인 경우 장기 구문 구성요소 구조의 값이 제 1 집합의 값으로 설정되도록, 그리고 유닛 플래그가 1인 경우 장기 구문 구성요소 구조의 값이 제 3집합의 값으로 설정되도록, 결정하는 것을 특징으로 하는 비디오 디코더.
  20. 제 18항에 있어서,
    제 1 및 제 2 레이어 병렬 디코딩을 개시함에 있어 인터 레이어 오프셋에 의존하도록 구성되는 것을 특징으로 하는 비디오 디코더.
  21. 제 15항에 있어서,
    제 1 레이어의 공간 세그먼트 또는 코딩 블록의 수 s가 구문 구성요소 구조에 고유하게 의존하는 수 s로 완전하게 디코딩되었는지 여부를 확인하도록 구성되고,
    상기 확인이 제 1 레이어의 코딩 블록들 또는 공간 세그먼트들 중에서, 적어도 s가 완전하게 디코딩 되었다는 것을 나타내지 않는 한, 제 1 레이어의 디코딩 동안 제 2 레이어 디코딩 개시를 지연시키는 것을 특징으로 하는 비디오 디코더.
  22. 제 15항에 있어서, 상기 비디오 디코더는 제 1 및 제 2 레이어 병렬 디코딩을, 개시하고, 완전하게 처리함에 있어, 인터 레이어 오프셋에 의존하도록 구성되는 것을 특징으로 하는 비디오 디코더.
  23. 제 15항에 있어서, 비디오 디코더는 제 1 레이어의 코딩 블록 또는 공간 세그먼트의 수가 제 2 레이어의 코딩 블록 또는 이미 디코딩된 공간 세그먼트의 수 t-1과 구문 구성요소 구조에 고유하게 의존하는 수 s로 완전하게 디코딩 되었는지 여부를 확인하도록 구성되고,
    상기 확인이, 제 1 레이어의 코딩 블록들 또는 공간 세그먼트들 중에서, 적어도 s가 완전하게 디코딩 되었다는 것을 나타내지 않는 한, 제 1 레이어를 디코딩하는 동안 제 2 레이어의 코딩 블록 또는 t번째 공간 세그먼트 디코딩 개시를 지연시키는 것을 특징으로 하는 비디오 디코더.
  24. 제 1 레이어로부터 제 2 레이어로 인터 레이어 추정을 이용하여 장면이 레이어 계층구조로 코딩된 멀티 레이어 비디오 데이터 스트림을 디코딩하는 방법에 있어서, 비디오 디코더는 제 2 레이어의 픽처의 공간 세그먼트의 순회에 관련된 제 1 레이어의 픽처의 공간 세그먼트의 순회 사이의 인터 레이어 지연과 함께 일시적인 중첩 방식(overlapping manner)에서 공간 세그먼트의 순차적인 순회에 의해 레이어의 픽처들이 분할된 공간 세그먼트에서의 멀티 레이어 비디오 데이터 스트림의 병렬 디코딩을 지원하며, 상기 방법은,
    멀티 레이어 비디오 데이터 스트림의 장기 구문 구성요소 구조(642; e.g. min_spatial_segment_delay)를 검사하고,
    장기 구문 구성요소 구조(e.g. min_spatial_segment_delay≠0)가 가능 값의 제 1 집합 값으로 설정되는 경우, 기 설정된 시간 주기에 대해 미리 인터 레이어 오프셋(inter-layer offset)을 결정하고, 기 설정된 시간 주기보다 더 작은 시간 간격으로, 제 1 레이어의 픽처의 공간 세그먼트 및 제 2 레이어의 픽처의 공간 세그먼트의 픽처의 공간 세그먼트의 크기와 위치, 및 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소(602)를 기반으로, 각각, 제 1 레이어의 픽처 및 제 2 레이어의 픽처의 공간 샘플링 해상도를 주기적으로 결정하기 위해, 장기 구문 구성요소의 값을 이용하고,
    장기 구문 구성요소가 가능 값의 제 1 집합에 대해 분리된(disjoint) 가능 값의 제 2 집합(e.g. min_spatial_segment_delay=0)의 값으로 설정되는 경우, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소를 기반으로 기 설정된 주기 내에서 인터 레이어 오프셋을, 기 설정된 시간 주기보다 더 작은 시간 간격에서, 주기적으로 결정하도록 하는 것을,
    포함하는 디코딩하는 방법.
  25. 제 1 레이어로부터 제 2 레이어로의 인터 레이어 추정을 이용하여 레이어 계층구조에서 멀티 레이어 비디오 데이터 스트림(multi-layer video data stream)으로 장면(scene)을 인코딩 하는 방법에 있어서, 멀티 레이어 비디오 데이터 스트림이 제 2 레이어의 픽처의 공간 세그먼트의 순회와 관련된 제 1 레이어의 픽처의 공간 세그먼트의 순회 사이의 인터 레이어 오프셋으로 일시적으로 중첩하는 방식으로 공간 세그먼트의 순차적인 순회에 의해 레이어의 픽처가 분할되는 공간 세그먼트에서의 디코딩이 가능하고, 상기 방법은
    장기 구문 구성요소 구조(min_spatial_segment_delay)와 단기 구문 구성요소를 멀티 레이어 비디오 데이터 스트림으로 삽입 및 설정하는 것을 포함하고, 멀티 레이어 비디오 데이터 스트림의 단기 구문 구성요소는, 제 2 레이어의 픽처와 제 1 레이어의 픽처의 공간 샘플링 해상도와, 제 2 레이어의 픽처의 공간 세그먼트와 제 1 레이어의 픽처의 공간 세그먼트의 위치 및 크기를, 각각, 시간 간격 안에서 주기적으로, 정의하며,
    상기 방법은
    가능 값의 제 1 집합의 값으로 장기 구문 구성요소 구조(min_spatial_segment_delay≠0)를 설정하며, 기 설정된 시간 주기 동안, 가능 설정의 집합 중 적절한 서브셋으로 단기 구문 구성요소 설정하는 것과 함께, 상기 값은 시간 간격 보다 큰 기 설정된 시간 주기 동안의 인터 레이어 오프셋을 신호화(signaling)하는 것과 함께, 적절한 서브셋이 선택되어, 기 설정된 시간 주기 동안, 제 2 레이어의 픽처의 공간 세그먼트와 제 1 레이어의 픽처의 공간 세그먼트의 위치 및 크기와 제 1 레이어의 픽처 및 제 2 레이어의 픽처의 공간 샘플링 해상도가, 각각, 장기 구문 구성요소에 의해 신호화 되는 인터 레이어 오프셋과 동일하거나 더 작은 실제 인터 레이어 오프셋으로 일시적인 중첩 방식으로, 제 2 레이어의 픽처의 공간 세그먼트 순회와 관련된 제 1 레이어의 픽처의 공간 세그먼트 순회 사이에서, 순차적인 공간 구성요소 순회에 의한 멀티 레이어 비디오 데이터 스트림 디코딩을 가능하게 하는 것과,
    기 설정된 시간 주기 동안, 가능 값의 제 1 집합에 대해 분리된(disjoint) 가능 값의 제 2 집합(min_spatial_segment_delay=0) 값의 장기 구문 구성요소를 설정하고, 임의의 가능한 설정을 위한 단기 구문 구성요소를 설정하고, 가능한 설정 집합은 제 2 레이어의 픽처의 공간 세그먼트와 제 1 레이어의 픽처의 공간 세그먼트의 크기 및 위치에 따르는 적어도 하나의 설정을 포함하고, 제 2 레이어의 픽처와 제 1 레이어의 픽처의 공간 샘플링 해상도(spatial sampling resolutions)는, 각각, 장기 구문 구성요소에 의해 신호화된 인터 레이어 오프셋과 동일하거나 더 적은 실제 인터 레이어 오프셋의 방법으로 일시적인 중첩에서 공간 세그먼트의 순차적인 순회에 의한 멀티 레이어 비디오 데이터 스트림 디코딩을, 제 2 레이어의 픽처의 공간 세그먼트 순회와 관련된 제 1 레이어의 픽처의 공간 세그먼트 순회 사이에서, 비활성화하고, 적어도 또다른 설정은 제 1 레이어의 픽처의 공간 세그먼트와 제 2 레이어의 픽처의 공간 세그먼트의 위치 및 크기와 제 1 레이어의 픽처와 제 2 레이어의 픽처의 공간 샘플링 해상도에 따르고, 각각, 장기 구문 구성요소에 의해 신호화된 인터 레이어 오프셋과 동일하거나 또는 더 작은 실제 인터 레이어 오프셋의 일시적인 중첩 방식으로 공간 세그먼트의 순차적인 순회에 의한 멀티 레이어 비디오 데이터 스트림 디코딩을, 제 2 레이어의 픽처의 공간 세그먼트 순회와 관련된 제 1 레이어의 픽처 공간 세그먼트 사이에서, 가능하게 하는 것의
    설정 사이를 전환하는 것을,
    포함하는 인코딩하는 방법.
  26. 제 1 레이어의 일부로부터 제 2 레이어의 함께 위치하는(co-located) 일부로 인터 레이어 추정을 이용하여 장면이 레이어 계층구조로 코딩되는 멀티 레이어 비디오 데이터 스트림을 디코딩하는 방법에 있어서, 상기 제 1 레이어의 픽처는 제 1 블록의 배열로 서브 분할되고, 제 2 레이어의 픽처는 제 2 블록의 배열로 서브 분할되고, 래스터 스캔 디코딩 순서는 제 1 블록과 제 2 블록 중에서 각각 정의되고, 상기 방법은
    제 1 블록의 유닛에서 측정된, 제 2 레이어의 픽처의 공간적 제 2 블록의 순회와 관련하여 제 1 레이어의 픽처의 제 1 블록의 순회 사이의 인터 레이어 오프셋 과 함께 일시적인 중첩 방식으로 제 1 및 제 2 블록의 순차적 순회에 의해 제 1 및 제 2 레이어의 픽처를 병렬 디코딩하기 위한 인터 레이어 오프셋을, 멀티 레이어 비디오 데이터 스트림의 구문 구성요소 구조(e.g., ctb_delay_enabled_flag, min_spatial_segment_delay)에 의존하여, 결정하는 것을,
    포함하는 디코딩하는 방법.
  27. 컴퓨터에서 실행할 때, 제 24항, 또는 제 25항, 또는 제 26항에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램을 저장한 디지털 저장 매체.
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
KR1020217038166A 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념 KR102539065B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237018023A KR20230080500A (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361749042P 2013-01-04 2013-01-04
US61/749,042 2013-01-04
US201361809605P 2013-04-08 2013-04-08
US61/809,605 2013-04-08
PCT/EP2014/050065 WO2014106651A1 (en) 2013-01-04 2014-01-04 Efficient scalable coding concept
KR1020207024491A KR102331649B1 (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207024491A Division KR102331649B1 (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237018023A Division KR20230080500A (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념

Publications (2)

Publication Number Publication Date
KR20210147096A KR20210147096A (ko) 2021-12-06
KR102539065B1 true KR102539065B1 (ko) 2023-06-01

Family

ID=51062164

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020207024491A KR102331649B1 (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념
KR1020177034815A KR102149959B1 (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념
KR1020237018023A KR20230080500A (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념
KR1020217038166A KR102539065B1 (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념
KR1020157020813A KR101806216B1 (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020207024491A KR102331649B1 (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념
KR1020177034815A KR102149959B1 (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념
KR1020237018023A KR20230080500A (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157020813A KR101806216B1 (ko) 2013-01-04 2014-01-04 효율적인 확장가능한 코딩 개념

Country Status (6)

Country Link
US (5) US10104386B2 (ko)
EP (2) EP3809707B1 (ko)
JP (4) JP6430961B2 (ko)
KR (5) KR102331649B1 (ko)
CN (8) CN116366835A (ko)
WO (1) WO2014106651A1 (ko)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2744202T3 (pl) * 2011-08-11 2020-12-28 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów, urządzenie do dekodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
US10142622B2 (en) * 2012-06-29 2018-11-27 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and methods thereof for video processing
US9473779B2 (en) * 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
JP6331103B2 (ja) * 2013-03-21 2018-05-30 ソニー株式会社 画像復号装置および方法
WO2014163463A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9628792B2 (en) 2013-07-15 2017-04-18 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
KR102304687B1 (ko) 2013-07-22 2021-09-27 소니그룹주식회사 정보 처리 장치 및 방법
EP3562170A1 (en) 2013-07-29 2019-10-30 Koninklijke KPN N.V. Providing tile video streams to a client
US9992501B2 (en) 2013-09-10 2018-06-05 Kt Corporation Method and apparatus for encoding/decoding scalable video signal
US10257527B2 (en) * 2013-09-26 2019-04-09 Telefonaktiebolaget Lm Ericsson (Publ) Hybrid codec scalable video
CN105723712B (zh) 2013-10-14 2019-06-28 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
US9706228B2 (en) * 2013-10-15 2017-07-11 Qualcomm Incorporated Support for large numbers of views in multi-layer coding
US9794626B2 (en) * 2014-05-01 2017-10-17 Qualcomm Incorporated Partitioning schemes in multi-layer video coding
WO2015168581A1 (en) * 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference layer and scaled reference layer offsets for scalable video coding
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
KR101953679B1 (ko) 2014-06-27 2019-03-04 코닌클리즈케 케이피엔 엔.브이. Hevc-타일드 비디오 스트림을 기초로 한 관심영역 결정
EP3148200B1 (en) * 2014-06-30 2020-06-17 Sony Corporation Information processing device and method selecting content files based on encoding parallelism type
US20160014415A1 (en) * 2014-07-08 2016-01-14 Mediatek Inc. Method and apparatus for performing wave-front parallel encoding procedure with constraint on coding mode and/or quantization parameter selection
US10523957B2 (en) * 2014-10-08 2019-12-31 Vid Scale, Inc. Optimization using multi-threaded parallel processing framework
GB2532420A (en) * 2014-11-18 2016-05-25 Sony Corp Data encoding and decoding
US10546424B2 (en) * 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
WO2017029400A1 (en) 2015-08-20 2017-02-23 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
KR20170031643A (ko) * 2015-09-11 2017-03-21 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10674185B2 (en) 2015-10-08 2020-06-02 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
US10467006B2 (en) * 2015-12-20 2019-11-05 Intel Corporation Permutating vector data scattered in a temporary destination into elements of a destination register based on a permutation factor
KR102248185B1 (ko) * 2016-02-02 2021-05-04 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 비디오 스트리밍의 관심 장면 섹션 및 영역 처리
TW202344052A (zh) * 2016-02-09 2023-11-01 弗勞恩霍夫爾協會 用於圖像/視訊資料串流而允許有效可縮減性或有效隨機存取之技術
CN116347073A (zh) * 2016-03-30 2023-06-27 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
US10171825B1 (en) 2016-04-27 2019-01-01 Matrox Graphics Inc. Parallel compression of image data in a compression device
WO2017202527A1 (en) * 2016-05-26 2017-11-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Broadcast streaming of panoramic video for interactive clients
JP2018107500A (ja) * 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
US10602239B2 (en) * 2017-03-23 2020-03-24 Mediatek Inc. Method and apparatus for track composition
CN110692249A (zh) * 2017-04-11 2020-01-14 Vid拓展公司 使用面部连续性的360度视频编码
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
CN116248863A (zh) * 2017-07-03 2023-06-09 汉阳大学校产学协力团 利用包含追加区域的分割单位的影像解码方法以及装置
EP3721633A1 (en) * 2017-12-06 2020-10-14 V-Nova International Limited Hierarchical data structure
BR112020025887A2 (pt) * 2018-06-21 2021-03-23 Telefonaktiebolaget Lm Ericsson (Publ) métodos para decodificar e para codificar uma imagem parada, circuitos decodificador e codificador, decodificador, programa de computador, portadora, meio de armazenamento legível por computador não transitório, e, codificador
CN110677645B (zh) * 2018-07-02 2022-06-10 华为技术有限公司 一种图像预测方法及装置
KR20200003444A (ko) 2018-07-02 2020-01-10 삼성전자주식회사 영상 모델 구축 장치 및 방법
JP7252236B2 (ja) * 2018-07-25 2023-04-04 マクセル株式会社 自動映像演出装置、自動映像演出方法、及び、それに用いる映像記録媒体
US10375416B1 (en) * 2018-09-05 2019-08-06 Tencent America LLC Segment types in video coding
CN116055732A (zh) * 2018-09-14 2023-05-02 华为技术有限公司 视频译码方法，设备以及非瞬时性计算机可读介质
GB201817781D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Mehods, apparatuses, computer programs and computer-readable media
WO2020130925A1 (en) * 2018-12-20 2020-06-25 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for video coding using uniform segment split in pictures
US11310516B2 (en) * 2018-12-21 2022-04-19 Hulu, LLC Adaptive bitrate algorithm with cross-user based viewport prediction for 360-degree video streaming
CN109819272B (zh) * 2018-12-26 2022-09-16 平安科技（深圳）有限公司 视频发送方法、装置、计算机可读存储介质及电子设备
CN113302930A (zh) 2019-01-09 2021-08-24 华为技术有限公司 视频译码中的时间运动约束子图像指示
RU2751552C1 (ru) * 2019-01-16 2021-07-14 Телефонактиеболагет Лм Эрикссон (Пабл) Кодирование видео, содержащее равномерное мозаичное разделение с остатком
EP3935841A4 (en) * 2019-03-08 2023-01-04 Beijing Dajia Internet Information Technology Co., Ltd. VIDEO ENCODING TO HANDLE DIFFERENT IMAGE SIZES
US10924751B2 (en) * 2019-03-18 2021-02-16 Tencent America LLC Data unit and parameter set design for point cloud coding
US20220150487A1 (en) * 2019-03-21 2022-05-12 Kaonmedia Co., Ltd. Image encoding method, image decoding method, and device for processing picture partitions
BR112021022307A2 (pt) 2019-05-13 2021-12-28 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador
KR20200132761A (ko) * 2019-05-15 2020-11-25 현대자동차주식회사 동영상 데이터의 병렬 부호화 및 복호화를 위한 방법 및 장치
CN113853787B (zh) 2019-05-22 2023-12-22 北京字节跳动网络技术有限公司 基于子块使用变换跳过模式
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
CN117336468A (zh) 2019-08-10 2024-01-02 北京字节跳动网络技术有限公司 视频比特流中的子图片相关信令通知
JP7411787B2 (ja) * 2019-09-23 2024-01-11 テレフオンアクチーボラゲット エルエム エリクソン（パブル） セグメント存在情報を提供すること
CN114556952A (zh) 2019-10-02 2022-05-27 北京字节跳动网络技术有限公司 包括子图片的视频比特流中的条带级信令通知
KR20220078600A (ko) 2019-10-18 2022-06-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처들의 파라미터 세트 시그널링에서의 신택스 제약들
WO2021101066A1 (ko) * 2019-11-22 2021-05-27 엘지전자 주식회사 비디오 또는 영상 코딩 시스템에서의 엔트리 포인트 관련 정보에 기반한 영상 코딩 방법
WO2021107621A1 (ko) 2019-11-28 2021-06-03 엘지전자 주식회사 영상/비디오 코딩을 위한 슬라이스 및 타일 구성
US20230041024A1 (en) * 2019-12-23 2023-02-09 Lg Electronics Inc. Image coding device and method
US20230046583A1 (en) * 2019-12-23 2023-02-16 Lg Electronics Inc. Virtual boundary-based image coding device and method
KR102477310B1 (ko) * 2020-12-29 2022-12-12 재단법인 경주스마트미디어센터 Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법
KR102302755B1 (ko) * 2019-12-30 2021-09-16 재단법인 경주스마트미디어센터 Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법
WO2021143698A1 (en) * 2020-01-13 2021-07-22 Beijing Bytedance Network Technology Co., Ltd. Subpicture boundary filtering in video coding
US20230139792A1 (en) * 2020-03-20 2023-05-04 Hfi Innovation Inc. Method and Apparatus for Signaling Tile and Slice Partition Information in Image and Video Coding
CN111901610B (zh) * 2020-08-03 2021-09-21 西北工业大学 一种基于多层编码器的并行图像描述方法
GB2613015A (en) * 2021-11-22 2023-05-24 V Nova Int Ltd Decoding a multi-layer video stream using a joint packet stream
WO2023089340A1 (en) * 2021-11-22 2023-05-25 V-Nova International Ltd Processing a multi-layer video stream
US20230224347A1 (en) * 2022-01-11 2023-07-13 Tencent America LLC Splitter and merger functions for multidimensional segmented media data
US20240089510A1 (en) * 2022-09-02 2024-03-14 Sharp Kabushiki Kaisha Systems and methods for signaling neural network post-filter characteristics information in video coding
CN116723333B (zh) * 2023-08-02 2023-10-31 清华大学 基于语义信息的可分层视频编码方法、装置及产品
CN117520471B (zh) * 2024-01-06 2024-05-03 深圳市城市规划设计研究院股份有限公司 一种空间要素信息查询方法、系统、存储介质及电子设备

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69331174T2 (de) 1992-06-29 2002-06-06 Canon Kk Bildverarbeitungsvorrichtung
JPH10336668A (ja) 1997-06-02 1998-12-18 Sharp Corp 動きベクトル検出装置
JP4118049B2 (ja) 2001-12-28 2008-07-16 株式会社リコー 画像処理装置及び方法
ITMI20041971A1 (it) * 2004-10-15 2005-01-15 Uni Degli Studi Brescia Metodo di codifica video scalabile
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
KR100678907B1 (ko) * 2005-07-12 2007-02-06 삼성전자주식회사 하위 계층의 복원 데이터를 사용하여 ｆｇｓ 계층을 인코딩및 디코딩하는 방법 및 장치
JP4490351B2 (ja) * 2005-08-29 2010-06-23 日本電信電話株式会社 階層間予測処理方法，階層間予測処理装置，階層間予測処理プログラムおよびその記録媒体
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
CA2633819C (en) 2005-12-08 2016-12-06 Vidyo, Inc. Systems and methods for error resilience and random access in video communication systems
JP5535485B2 (ja) 2006-01-09 2014-07-02 トムソン ライセンシング 削減された分解能更新モードをマルチビュー・ビデオ符号化に提供する方法及び装置
BRPI0706407B1 (pt) 2006-01-09 2019-09-03 Interdigital Madison Patent Holdings método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8422805B2 (en) * 2006-07-10 2013-04-16 France Telecom Device and method for scalable encoding and decoding of image data flow and corresponding signal and computer program
JP4956304B2 (ja) 2006-08-08 2012-06-20 キヤノン株式会社 画像符号化装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
MX2009003968A (es) * 2006-10-16 2009-06-01 Nokia Corp Sistema y método para usar segmentos decodificables paralelamente para codificación de video de vistas múltiples.
US7756348B2 (en) 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
RU2387094C1 (ru) * 2006-11-09 2010-04-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для кодирования/декодирования видеосигнала
KR101349836B1 (ko) 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
KR20080066522A (ko) 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
MX2009011217A (es) 2007-04-18 2009-12-07 Thomson Licensing Sistemas de codificacion.
US20110038424A1 (en) 2007-10-05 2011-02-17 Jiancong Luo Methods and apparatus for incorporating video usability information (vui) within a multi-view video (mvc) coding system
JP5534521B2 (ja) * 2007-10-15 2014-07-02 トムソン ライセンシング スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置
US8249142B2 (en) * 2008-04-24 2012-08-21 Motorola Mobility Llc Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques
EP2384004A4 (en) * 2009-01-29 2012-08-01 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNALS USING INTRA MODE CONTOUR CODING
JP5115498B2 (ja) 2009-03-05 2013-01-09 富士通株式会社 画像符号化装置、画像符号化制御方法およびプログラム
KR101807886B1 (ko) 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
US8705624B2 (en) * 2009-11-24 2014-04-22 STMicroelectronics International N. V. Parallel decoding for scalable video coding
FR2955730A1 (fr) 2010-01-25 2011-07-29 Thomson Licensing Procedes de codage et de decodage
KR101447796B1 (ko) 2010-04-13 2014-10-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 평면 간 예측
US20110293004A1 (en) 2010-05-26 2011-12-01 Jicheng An Method for processing motion partitions in tree-based motion compensation and related binarization processing circuit thereof
EP2604036B1 (en) * 2010-08-11 2018-03-07 GE Video Compression, LLC Multi-view signal codec
US9883161B2 (en) * 2010-09-14 2018-01-30 Thomson Licensing Compression methods and apparatus for occlusion data
CN103416003B (zh) 2011-01-14 2015-05-27 维德约股份有限公司 改进的nal单元头部
JP5747559B2 (ja) 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
WO2012167711A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding
WO2012167713A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding
CN103202021B (zh) * 2011-09-13 2017-06-13 松下知识产权经营株式会社 编码装置、解码装置、再现装置、编码方法及解码方法
EP4161078A1 (en) * 2011-11-11 2023-04-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
US9473779B2 (en) * 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
CN105122801A (zh) 2013-04-17 2015-12-02 韦勒斯标准与技术协会公司 视频信号处理方法及装置

Also Published As

Publication number Publication date
KR102149959B1 (ko) 2020-08-31
JP6839158B6 (ja) 2021-03-31
US20210306646A1 (en) 2021-09-30
CN116708767A (zh) 2023-09-05
KR20200104926A (ko) 2020-09-04
US11677966B2 (en) 2023-06-13
KR20170136654A (ko) 2017-12-11
CN110062240B (zh) 2023-04-07
EP3809707A1 (en) 2021-04-21
CN116320392A (zh) 2023-06-23
JP6430961B2 (ja) 2018-11-28
CN116366835A (zh) 2023-06-30
US20230396782A1 (en) 2023-12-07
US11025928B2 (en) 2021-06-01
CN116320393A (zh) 2023-06-23
JP2016506196A (ja) 2016-02-25
JP6839158B2 (ja) 2021-03-03
CN105144720A (zh) 2015-12-09
EP2941891B1 (en) 2020-09-16
JP2021078156A (ja) 2021-05-20
EP3809707B1 (en) 2024-05-08
KR20150103224A (ko) 2015-09-09
KR20210147096A (ko) 2021-12-06
US20190020883A1 (en) 2019-01-17
KR102331649B1 (ko) 2021-12-01
CN105144720B (zh) 2018-12-28
CN110062240A (zh) 2019-07-26
CN116347068A (zh) 2023-06-27
KR20230080500A (ko) 2023-06-07
WO2014106651A1 (en) 2014-07-10
US10104386B2 (en) 2018-10-16
KR101806216B1 (ko) 2017-12-08
JP2019050595A (ja) 2019-03-28
CN116708768A (zh) 2023-09-05
US10609396B2 (en) 2020-03-31
US20150304667A1 (en) 2015-10-22
JP2022172146A (ja) 2022-11-15
EP2941891A1 (en) 2015-11-11
US20200195939A1 (en) 2020-06-18
JP7126332B2 (ja) 2022-08-26

Similar Documents

Publication Publication Date Title
KR102539065B1 (ko) 효율적인 확장가능한 코딩 개념
US20210203989A1 (en) Attribute Layers And Signaling In Point Cloud Coding
KR20220156103A (ko) 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
US11589047B2 (en) Video encoding and decoding methods and apparatus
KR102562028B1 (ko) 프레임 부분들을 갖는 비디오 데이터를 인코딩 또는 디코딩하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right