KR102553812B1 - 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 - Google Patents

효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 Download PDF

Info

Publication number
KR102553812B1
KR102553812B1 KR1020227020781A KR20227020781A KR102553812B1 KR 102553812 B1 KR102553812 B1 KR 102553812B1 KR 1020227020781 A KR1020227020781 A KR 1020227020781A KR 20227020781 A KR20227020781 A KR 20227020781A KR 102553812 B1 KR102553812 B1 KR 102553812B1
Authority
KR
South Korea
Prior art keywords
pictures
data stream
video data
region
video
Prior art date
Application number
KR1020227020781A
Other languages
English (en)
Other versions
KR20220088811A (ko
Inventor
로버트 스쿠핀
야고 산체스
토마스 쉬를
코넬리우스 헬지
카르스텐 그루네버그
토마스 비에그란트
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority to KR1020237022832A priority Critical patent/KR102653128B1/ko
Publication of KR20220088811A publication Critical patent/KR20220088811A/ko
Application granted granted Critical
Publication of KR102553812B1 publication Critical patent/KR102553812B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

비디오 데이터 스트림은, 감소에 의해, 원본 비디오 데이터 스트림의 픽처들의 단지 미리 결정된 하위 영역으로 감소된 비디오 데이터 스트림의 픽처들의 제한이 도출되는 방식으로, 및 재양자화와 같은 트랜스코딩이 회피될 수 있고, 원본 비디오 데이터 스트림의 기초가 되는 코덱에 대한 감소된 비디오 데이터 스트림의 일치가 유지될 수 있는 방식으로 감소가능하게 렌더링된다. 이는, 코딩 파라미터 설정들의 제1 세트를 조정하여 코딩 파라미터 설정들의 제2 세트를 도출하기 위해, 페이로드 부분 및/또는 대체 파라미터들에 포함되는 인덱스들을 재지향시키기 위한 미리 결정된 하위 영역 및 대체 인덱스들의 표시를 포함하는 정보를 비디오 데이터 스트림에 제공함으로써 달성된다. 픽처 콘텐츠가 미리 결정된 방식으로 형상화 또는 순서화될 필요가 없다는 점에서 픽처 콘텐츠의 전송은 더 효율적으로 렌더링된다. 유사한 절차가 보충 강화 정보에 적용될 수 있다. 이미 감소된 데이터 스트림의 파라미터들 및/또는 보충 강화 정보의 조정이 또한 설명된다. 추가적 양상에 따르면, 랜덤 액세스 포인트들에 의해 초래되는 비디오 데이터 스트림 내의 비트레이트 피크들의 부정적 효과들은, 랜덤 액세스 포인트 포인트들의 2개의 세트들을 비디오 데이터 스트림을 제공함으로써 감소되는데: 하나 이상의 픽처들의 제1 세트는 하나 이상의 제1 랜덤 액세스 포인트들의 세트를 형성하기 위해 적어도 제1 픽처 하위 영역 내에서 시간 예측을 보류하면서 비디오 데이터 스트림으로 인코딩되고, 하나 이상의 픽처들의 제2 세트는 하나 이상의 제2 랜덤 액세스 포인트들의 세트를 형성하기 위해 제1 픽처 하위 영역과 상이한 제2 픽처 하위 영역 내에서 시간 예측을 보류하면서 비디오 데이터 스트림으로 인코딩된다.

Description

효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 {CONCEPT FOR PICTURE/VIDEO DATA STREAMS ALLOWING EFFICIENT REDUCIBILITY OR EFFICIENT RANDOM ACCESS}
본 출원은 비디오/픽처 코딩, 특히 이러한 데이터 스트림들의 효율적인 감소를 허용하는 개념, 이러한 데이터 스트림들의 더 용이한 처리를 허용하는 개념 및/또는 비디오 데이터 스트림으로의 더 효율적인 랜덤 액세스를 허용하는 개념에 관한 것이다.
트랜스코딩 없이, 즉 디코딩 및 인코딩과 함께 순차적인 성능을 필요로 하지 않고 비디오 데이터 스트림의 스케일링가능성을 허용하는 많은 비디오 코덱들이 존재한다. 이러한 스케일링가능한 비디오 데이터 스트림들의 예는 각각의 스케일링가능한 비디오 데이터 스트림의 강화 계층들 중 일부를 단순히 제거함으로써 예를 들어, 시간 해상도, 공간 해상도 또는 신호대 잡음비의 관점에서 스케일링가능한 데이터 스트림들이다. 그러나 지금까지는 장면 분할 관점에서 계산상 복잡하지 않은 스케일링가능성을 허용하는 어떠한 비디오 코덱도 존재하지 않는다. HEVC에서는, HEVC 데이터 스트림을 픽처 하위 영역으로 제한하기 위한 개념들이 또한 존재하거나 제안되었지만, 이는 여전히 계산상 복잡하다.
또한, 애플리케이션에 따라, 데이터 스트림으로 인코딩될 픽처 콘텐츠는 일반적으로 제공되는 직사각형 픽처 영역들 내에서 효과적으로 코딩될 수 없는 형태일 수 있다. 예를 들어, 파노라마 픽처 콘텐츠는, 투사 타겟, 즉, 픽처 영역 상으로의 파노라마 장면의 풋프린트가 비-직사각형 및 심지어 비-볼록일 수 있는 방식으로 2차원 평면 상으로 투사되어 픽처 영역을 형성한다. 그러한 경우, 픽처/비디오 데이터의 더 효율적인 코딩이 유리할 것이다.
추가로, 랜덤 액세스 포인트들은 현저한 비트레이트 피크들을 초래하는 방식으로 기존의 비디오 데이터 스트림들에서 제공된다. 이러한 비트레이트 피크들로부터 초래되는 부정적인 영향을 감소시키기 위해 이러한 랜덤 액세스 포인트들의 발생의 시간 세분성(temporal granularity)에서의 감소를 고려할 수 있다. 그러나, 이는, 이러한 비디오 데이터 스트림에 랜덤으로 액세스하기 위한 평균 시간 지속기간을 증가시키고, 따라서 더 효율적인 방식으로 이러한 문제를 해결하는 개념을 직접 갖는 것이 유리할 것이다.
따라서, 본 발명의 목적은 전술한 문제점들을 해결하는 것이다. 본 출원에 따르면, 이는 독립항들의 요지에 의해 달성된다.
본 출원의 제1 양상에 따르면, 비디오 데이터 스트림은, 감소에 의해, 원본 비디오 데이터 스트림의 픽처들의 단지 미리 결정된 하위 영역으로 감소된 비디오 데이터 스트림의 픽처들의 제한이 도출되는 방식으로, 및 재양자화와 같은 트랜스코딩이 회피될 수 있고, 원본 비디오 데이터 스트림의 기초가 되는 코덱에 대한 감소된 비디오 데이터 스트림의 일치가 유지될 수 있는 방식으로 감소가능하게 렌더링된다. 이는, 코딩 파라미터 설정들의 제1 세트를 조정하여 코딩 파라미터 설정들의 제2 세트를 도출하기 위해, 페이로드 부분 및/또는 대체 파라미터들에 포함되는 인덱스들을 재지향시키기 위한 미리 결정된 하위 영역 및 대체 인덱스들의 표시를 포함하는 정보를 비디오 데이터 스트림에 제공함으로써 달성된다. 원본 비디오 데이터 스트림의 페이로드 부분은 페이로드 부분에 포함된 인덱스들에 의해 인덱싱된 코딩 파라미터 설정들의 제1 세트를 사용하여 파라미터화되는 인코딩된 비디오의 픽처들을 갖는다. 추가적으로 또는 대안적으로, 유사한 조치들이 보충 강화 정보와 관련하여 실현가능하다. 따라서, 코딩 파라미터 설정들의 제2 세트가 페이로드 부분의 인덱스들에 의해 인덱싱되고 따라서 효과적인 코딩 파라미터 설정 세트가 되도록 재지향 및/또는 조정을 수행하고, 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 페이로드 부분의 부분들을 제거하고, 픽처들의 둘레 대신 미리 결정된 하위 영역의 둘레로부터 측정된 위치를 표시하기 위해 페이로드 부분의 슬라이스 어드레스와 같은 위치 표시들을 변경함으로써, 비디오 데이터 스트림을 감소된 비디오 데이터 스트림으로 감소시키는 것이 실현가능하다. 대안적으로, 미리 결정된 하위 영역 외부를 참조하는 페이로드 부분의 부분들을 포함하지 않도록 이미 감소된 데이터 스트림은 파라미터들 및/또는 보충 강화 정보의 플라이(fly) 조정에 의해 수정될 수 있다.
본 출원의 추가적인 양상에 따르면, 픽처 콘텐츠의 전송은, 기본적인 코덱에 의해 지원되는 전형적으로 직사각형인 픽처 영역이 채워지는 방식으로, 픽처 콘텐츠가 미리 결정된 방식으로 형상화되거나 순서화될 필요가 없다는 점에서 더 효율적으로 렌더링된다. 오히려, 그 안에 인코딩된 픽처를 갖는 데이터 스트림은, 픽처의 적어도 하나의 미리 결정된 하위 영역의 세트에 대해, 타겟 픽처의 영역으로의 그 세트의 왜곡되지 않은 또는 일대일 또는 합동 카피에 대해 타겟 픽처의 영역 내의 변위를 나타내는 변위 정보를 포함하도록 제공된다. 예를 들어, 이러한 변위 정보의 제공은, 예를 들어 투사가 비-직사각형인 경우들에서 파노라마 장면의 투사를 픽처 내에서 전달하는 경우에 유용하다. 이러한 변위 정보는 또한 데이터 스트림 감소로 인해, 예를 들어 예측의 전환 경계들 등을 가로지르는 감소된 비디오 데이터 스트림 내에서 전송될 흥미로운 파노라마 뷰 섹션의 경우와 같이 감소된 비디오 데이터 스트림의 더 작은 픽처들 내에서 전달되는 것에 대한 적합성을 픽처 콘텐츠가 상실하는 경우들에 효과적이다.
본 출원의 추가적 양상에 따르면, 랜덤 액세스 포인트들에 의해 초래되는 비디오 데이터 스트림 내의 비트레이트 피크들의 부정적 효과들은, 랜덤 액세스 포인트 포인트들의 2개의 세트들을 비디오 데이터 스트림을 제공함으로써 감소되는데: 하나 이상의 픽처들의 제1 세트는 하나 이상의 제1 랜덤 액세스 포인트들의 세트를 형성하기 위해 적어도 제1 픽처 하위 영역 내에서 시간 예측을 보류하면서 비디오 데이터 스트림으로 인코딩되고, 하나 이상의 픽처들의 제2 세트는 하나 이상의 제2 랜덤 액세스 포인트들의 세트를 형성하기 위해 제1 픽처 하위 영역과 상이한 제2 픽처 하위 영역 내에서 시간 예측을 보류하면서 비디오 데이터 스트림으로 인코딩된다. 이러한 방식으로, 디코더가 제1 및 제2 랜덤 액세스 포인트들 중 하나를 선택하기 위해 비디오 데이터 스트림에 랜덤으로 액세스하거나 이들의 디코딩을 재개하려 시도하는 것이 실현가능하고, 그 다음, 이들은, 시간적으로 분산될 수 있고, 제2 랜덤 액세스 포인트들의 경우 제2 픽처 하위 영역에 대해 및 제1 랜덤 액세스 포인트에 대한 적어도 제1 픽처 하위 영역에 대해 적어도 랜덤 액세스를 허용할 수 있다.
전술한 개념들은 유리하게 함께 사용될 수 있다. 또한 유리한 구현들은 종속항들의 요지이다. 본 출원의 바람직한 실시예들은 도면들을 참조하여 아래에서 설명된다.
도 1은 제1 양상에 관한 본 출원의 실시예에 따른 비디오 데이터 스트림의 개략도를 도시하며, 제1 양상에 따르면 비디오 데이터 스트림은 감소가능한 비디오 데이터 스트림의 픽처들의 하위 영역에 관한 감소된 비디오 데이터 스트림으로 감소가능하다.
도 2는 픽처들이 감소가능한 비디오 데이터 스트림으로 인코딩되는 파라미터화를 예시하기 위한 실시예에 따라 도 1의 감소가능한 비디오 데이터 스트림의 페이로드 부분과 파라미터 세트 부분 사이의 상호 의존도를 예시하는 개략도를 도시한다.
도 3은 감소를 허용하기 위해 일 실시예에 따라 도 1의 비디오 데이터 스트림에 제공되는 정보의 가능한 콘텐츠를 예시하기 위한 개략도를 도시한다.
도 4는 감소가능한 비디오 데이터 스트림을 수신하고 그로부터 감소된 비디오 데이터 스트림을 유도하는 네트워크 디바이스를 도시하는 개략도를 도시한다.
도 5는 파라미터 세트 재지향을 사용하는 실시예에 따라 비디오 데이터 스트림을 감소시키는 동작 모드를 예시하는 개략도를 도시한다.
도 6은 감소된 비디오 데이터 스트림의 픽처들로부터 재구성할 감소된 비디오 데이터 스트림을 수신하는 비디오 디코더(82)를 도시하는 개략도를 도시하고, 그 다음, 이는 원본 비디오 데이터 스트림의 픽처들의 하위 영역을 도시한다.
도 7은 감소가능한 비디오 데이터 스트림을 감소시킬 때 대안적 동작 모드의 개략도를 도시하면, 이 때 감소가능한 비디오 데이터 스트림에 제공되는 정보 내의 대체들을 사용하여 파라미터 세트 조정을 사용한다.
도 8은 감소가능한 비디오 데이터 스트림에 제공될 수 있는 정보에 대한 신택스 예를 도시한다.
도 9는 감소가능한 비디오 데이터 스트림에 제공될 수 있는 정보의 대안적인 신택스 예를 도시한다.
도 10은 감소가능한 비디오 데이터 스트림에 제공될 수 있는 정보의 신택스에 대한 더 추가적인 예를 도시한다.
도 11은 여기서는 SEI 메시지들을 대체하기 위해 정보의 신택스의 추가적인 예를 도시한다.
도 12는 다층 비디오 데이터 스트림들과 관련하여 정보를 형성하기 위해 사용될 수 있는 신택스 표에 대한 예를 도시한다.
도 13은 일 실시예에 따라 한편으로는 감소가능한 비디오 데이터 스트림 내의 픽처들의 하위 영역 내의 타일들과 다른 한편으로는 감소된 비디오 데이터 스트림의 픽처 내들의 대응하는 타일 사이의 관계를 예시하여, 이러한 타일들의 공간적 재배열의 가능성을 예시하는 개략도를 도시한다.
도 14는 파노라마 장면의 직선적인 예측에 의해 획득된 픽처의 예를 도시한다.
도 15는 파노라마 장면의 3차 투사에 대응하는 픽처 콘텐츠를 전달하는 픽처의 예를 도시한다.
도 16은 재배열에 의해 도 15의 3차 투사 콘텐츠를 이용하여 효율적으로 채워진 픽처를 도시한다.
도 17은 본 출원의 제2 양상에 관한 실시예에 따라 데이터 스트림이 제공될 수 있게 하는 변위 정보에 대한 신택스 표 예를 도시한다.
도 18은 본 출원의 제2 양상에 관한 실시예에 따른 비디오 데이터 스트림의 구성을 예시하는 개략도를 도시한다.
도 19는 일 실시예에 따른 변위 정보의 가능한 콘텐츠를 예시하는 개략도를 도시한다.
도 20은 변위 정보를 포함하고 동시에 감소가능한 데이터 스트림을 형성하도록 구성되는 인코더를 예시하는 개략도를 도시한다.
도 21은 변위 정보가 유리하게 어떻게 사용될 수 있는지의 가능성을 예시하기 위해 변위 정보를 포함하는 데이터 스트림을 수신하도록 구성된 디코더를 예시하는 개략도를 도시한다.
도 22는 본 출원의 추가적 양상에 관한 실시예에 따른 하위 영역-특정 랜덤 액세스 픽처들을 포함하는 비디오 데이터 스트림을 예시하는 개략도를 도시한다.
도 23a 내지 도 23e는 상이한 대안들에 따라 사용되는 하위 영역들의 가능한 배열들을 예시하는 개략도들을 도시한다.
도 24는 일 실시예에 따라 하위 영역 특정 랜덤 액세스 픽처들이 산재되는 비디오 데이터 스트림을 수신하도록 구성된 비디오 디코더를 예시하는 개략도를 도시한다.
도 25는 도 24의 상황을 개략적으로 예시하지만, 비디오 데이터 스트림에 랜덤으로 액세스할 때 비디오를 출력 또는 제시할 때까지 하위 영역-특정 랜덤 액세스 픽처들의 하위 영역들에 의해 인바운드 비디오 데이터 스트림의 픽처 영역의 완전한 커버리지까지 비디오 디코더가 대기하는 점에서 비디오 디코더의 대안적 동작 모드를 예시하는 개략도를 도시한다.
도 26은 하위 영역-특정 랜덤 액세스 픽처들을 포함하는 비디오 데이터 스트림을 수신하는 네트워크 디바이스를 예시하는 개략도를 도시하며, 이의 하위 영역들은 비디오 데이터 스트림이 감소가능한 하위 영역을 동시에 형성한다.
도 27은 네트워크 디바이스(231)가 감소된 비디오 데이터 스트림에 하위 영역-특정 변위 정보를 어떻게 제공할 수 있는지의 가능성들을 예시하기 위해 변위 정보가 제공되고 감소가능한 데이터 스트림을 수신하는 네트워크 디바이스를 예시하는 개략도를 도시한다.
도 28은 예를 들어, 원통형 파노라마인 픽처의 관심있는 하위 영역의 분리 영역에 대한 예를 도시한다.
도 29는 HEVC의 TMCTS SEI 메시지의 신택스 표를 도시한다.
본 출원의 설명은 본 출원의 상기 식별된 양상들에 관한 것이다. 비디오 데이터 스트림들의 하위 영역 추출/감소에 관한 본 출원의 제1 양상과 관련된 배경을 제공하기 위해, 이러한 요구가 유도될 수 있는 애플리케이션의 예 및 이러한 요구를 충족시킬 때의 문제점들이 설명되고, 이러한 극복은 예시적으로 HEVC를 참조함으로써 아래에서 동기부여된다.
공간 서브세트들, 즉 타일들의 세트들은 TMCTS(Temporal Motion Constraint Tile Sets) SEI 메시지를 사용하여 HEVC에서 시그널링될 수 있다. 이러한 메시지에 정의된 타일 세트들은, "각각의 식별된 타일 세트 외부의 어떠한 샘플 값도, 그리고 식별된 타일 세트 외부의 하나 이상의 샘플 값들을 사용하여 유도된 부분적 샘플 위치에서 어떠한 샘플 값도 식별된 타일 세트 내의 임의의 샘플의 인터 예측에 대해 사용되지 않도록 인터 예측 프로세스가 제한된다"는 특성을 갖는다. 즉, TMCTS의 샘플들은 동일한 층의 동일한 TMCTS와 연관되지 않은 샘플들과 독립적으로 디코딩될 수 있다 TMCTS는 직사각형(900)을 사용하여 도 A에 예시된 바와 같이 하나 이상의 타일들의 하나 이상의 직사각형 유니온(union)을 포함한다. 이 도면에서, 사용자가 바라 보는 관심있는 영역(900)은 2개의 분리된 이미지 패치들을 포함한다.
TMCTS SEI 메시지의 정확한 신택스는 참조를 위한 도 B에 주어진다.
비디오 트랜스코딩과 같은 과도한 프로세싱의 부담없이, 비디오 비트스트림, 즉 관심있는 영역(RoI)의 독립적으로 디코딩가능한 직사각형 공간 서브세트를 생성하는 것이 유익한 많은 애플리케이션들이 존재한다. 이러한 애플리케이션들은 다음을 포함하지만 이에 제한되는 것은 아니다:
· 파노라마 비디오 스트리밍: 광각 비디오의 오직 특정 공간 영역, 예를 들어, 360° 시야각은 헤드 장착 디스플레이를 통해 최종 사용자에게 디스플레이된다.
· 종횡비 조정 스트리밍: 클라이언트 측의 디스플레이 특성들에 따라 서버 측에서 코딩된 비디오의 종횡비가 실시간으로 조정된다.
· 디코딩 복잡도 조정: 레벨 제한들로 인해 주어진 인코딩된 비디오 비트스트림을 디코딩할 수 없는 저비용/저 기술 디바이스들이 잠재적으로 비디오의 공간 서브세트에 대처할 수 있다.
상술한 예시적인 애플리케이션들 목록에 대해 지금까지 설명된 최신 기술들이 주어지면 다수의 문제점들이 발생한다.
· 비디오 비트스트림의 공간 서브세트의 HRD 파라미터들, 즉 버퍼링/타이밍 정보를 시스템 계층에 이용가능하게 하는 어떠한 수단도 존재하지 않는다.
· 주어진 비디오 비트스트림의 공간 서브세트를 준수하는 비디오 비트스트림으로 약간 변환하기 위한 어떠한 준수 포인트도 비디오에 존재하지 않는다.
· 인코더가 주어진 식별자를 갖는 타일 세트가 준수 비디오 비트스트림으로 약간 변환될 수 있다는 보장을 인코더가 전달하기 위한 어떠한 수단도 존재하지 않는다.
나열된 문제점들에 대한 솔루션들이 주어지면, 상기 예시적인 애플리케이션들 모두는 표준 준수 방식으로 실현될 수 있다. 비디오 코딩 계층 내에서 이러한 능력을 정의하는 것은 애플리케이션들 및 시스템 계층들의 중요한 준수 포인트일 것으로 예상된다.
HEVC 규격은 이미 시간 해상도 또는 계층들의 양을 감소시킬 수 있는, 즉 코딩된 비디오 비트스트림의 공간 해상도, 신호 충실도 또는 뷰들의 수를 감소시킬 수 있는 서브 비트스트림들의 추출을 위한 프로세스들을 이미 포함한다.
본 발명은 식별된 문제점들에 대한 솔루션들, 특히, 하기 내용을 제공한다.
1. TMCTS에 기초한 서브 픽처 추출 프로세스의 정의를 통해 코딩된 비디오 시퀀스로부터 공간 서브세트, 즉 단일 TMCTS에 기초한 비디오 비트스트림을 추출하기 위한 수단.
2. 추출된 서브 픽처 비디오 시퀀스에 대한 정확한 파라미터 세트 값들 및 (선택적으로) SEI 정보를 전달하고 식별하는 수단.
3. 비디오 비트스트림 및 TMCTS에 관한 비트스트림 제약들을 가능하게 하는 특정 하위 영역 추출의 보장을 전달하는 인코더를 위한 수단.
다음에 설명되는 실시예는 비디오 데이터 스트림의 페이로드 부분으로부터 비디오의 픽처들의 재구성을 위해 요구되지 않는 정보를 비디오 데이터 스트림에 제공함으로써 방금 약술된 문제점을 극복하며, 이 정보는 미리 결정된 하위 영역 및 대체 인덱스들 및/또는 대체 파라미터들의 표시를 포함하고, 이의 중요성 및 기능은 아래에서 더 상세히 설명된다. 다음의 설명은 HEVC 또는 HEVC의 수정으로 제한되는 것은 아니다. 오히려, 다음에 설명된 실시예는 감소된 하위 영역 특정 비디오 데이터 스트림을 제공하기 위한 추가적인 준수 포인트를 갖는 이러한 비디오 코딩 기술을 제공하기 위해 임의의 비디오 코덱 기술에서 구현될 수 있다. 추후에, HEVC의 확장을 형성하기 위해 다음에 설명된 실시예가 어떻게 구체적으로 구현될 수 있는지에 대한 세부사항들이 제시된다.
도 1은 본 출원의 일 실시예에 따른 비디오 데이터 스트림(10)을 도시한다. 즉, 비디오 데이터 스트림은 준수 유지 방식으로, 감소된 비디오 데이터 스트림으로 감소가능하며, 이의 픽처들은, 트랜스코딩, 또는 더 정확하고 시간 소모적이며 계산상 복잡한 동작들, 예를 들어, 재양자화, 공간-대-스펙트럼 변환 및 이의 반전 및/또는 모션 추정의 재수행에 대한 필요 없이, 단지 비디오 데이터 스트림(10)으로 인코딩된 비디오(14)의 픽처들(12)의 미리 결정된 하위 영역을 도시한다.
도 1의 비디오 데이터 스트림(10)은 코딩 파라미터 설정들(80)을 표시하는 파라미터 세트 부분(16) 및 비디오(14)의 픽처들(12)이 코딩되는 페이로드 부분(18)을 포함하도록 도시되어 있다. 도 1에서, 부분들(16 및 18)은 페이로드 부분(18)에 대해 해치를 사용하는 한편 파라미터 세트 부분(16)을 해치 없이 도시함으로써 예시적으로 서로 구별된다. 또한, 부분들(16 및 18)은 데이터 스트림(10) 내에서 상호 인터리빙되도록 예시적으로 도시되어 있지만, 반드시 그러한 것은 아니다.
페이로드 부분(18)은 특수한 방식으로 인코딩된 비디오(14)의 픽처들(12)을 갖는다. 특히, 도 1은 어느 비디오 데이터 스트림(10)이 감소된 비디오 데이터 스트림으로 감소가능한 능력을 갖는지에 대한 예시적인 미리 결정된 하위 영역(22)을 도시한다. 페이로드 부분(18)은 미리 결정된 하위 영역(22)이 관련되는 한, 하위 영역(22)의 경계를 넘지 않도록 임의의 코딩 의존도가 제한되는 그러한 방식으로 인코딩된 픽처들(12)을 갖는다. 즉, 하위 영역(22) 내에서 하위 영역(22)의 코딩이 이러한 픽처 내의 이러한 영역(22)의 공간적 이웃에 의존하지 않도록, 특정 픽처(12)가 페이로드 부분(18)으로 코딩된다. 또한 시간 예측을 사용하여 페이로드 부분(18)으로 인코딩되는 픽처들(12)의 경우, 시간 예측은, 하위 영역(22) 외부의 비디오(14)의 참조 영역(다른 픽처)에 의존하는 방식으로 비디오(14)의 제1 픽처의 하위 영역(22) 내의 어떠한 부분도 코딩되지 않도록 하위 영역(22) 내로 제한될 수 있다. 즉, 비디오 데이터 스트림(14)을 생성하는 대응하는 인코더는, 참조 픽처들의 부분들을 가리키지 않는 방식으로 코딩 하위 영역(22)에 대한 이용가능한 모션 벡터들의 세트를 제한하여, 이로부터 발생하는 모션 보상된 예측 신호의 형성은 참조 픽처의 하위 영역(22) 외부의 샘플들을 필요로 하거나 수반할 것이다. 공간 의존도들에 관한 한, 이의 제한은 샘플별 공간 예측에 관한 공간 예측, 코딩 파라미터들의 공간 예측 및 코딩 의존도들에 관한 것일 수 있고, 이는 예를 들어, 하위 영역(22)의 경계에 걸쳐 공간적으로 산술 코딩을 계속하는 것으로부터 초래될 것이다.
따라서, 페이로드 부분(18)은 미리 정의된 하위 영역(22) 외부의 부분들을 향해 도달하지 않도록 방금 개략된 코딩 의존도들을 제한하는 것을 준수하는 픽처들(12)로 인코딩되고, 따라서, 예를 들어, 모션 벡터들, 픽처 참조 인덱스들, 파티셔닝 정보, 코딩 모드들, 양자화된 예측 잔여물을 표현하는 변환 계수들 또는 잔여 샘플 값들, 또는 이들 중 하나 또는 이들의 조합을 포함하는 신택스 엘리먼트들의 구문적으로 순서화된 시퀀스(24) 로 구성될 수 있다. 그러나, 가장 중요하게는, 페이로드 부분(18)은 코딩 파라미터 설정들(20)의 제1 세트(20a)를 사용하여 파라미터화된 방식으로 인코딩된 비디오(14)의 픽처들(12)을 갖는다. 예를 들어, 세트(20a) 내의 코딩 파라미터 설정들은, 예를 들어 픽처들(12)의 수직 높이 및 수평 폭과 같은 픽처들(12)의 픽처 크기를 정의한다. 픽처 크기가 페이로드 부분(18)으로의 픽처들(12)의 코딩을 "파라미터화"하는 방법을 예시하기 위해, 도 2를 간단히 참조한다. 도 2는 세트(20a)의 코딩 파라미터 설정들 중 하나의 예로서 픽처 크기 코딩 파라미터(26)를 도시한다. 분명히, 픽처 크기(26)는 페이로드 부분(18)에 의해 "코딩"되어야 하는 픽처 영역의 크기를 표시하고, 특정 픽처(12)의 각각의 서브 블록이 코딩되지 않은 상태로 남게 되고, 따라서 예를 들어, 흑색에 대응할 수 있는 제로와 같은 미리 결정된 샘플 값만큼 채워질 것을 시그널링함으로써 이루어질 수 있다. 따라서, 픽처 크기(26)는 페이로드 부분(18)의 구문적 설명(24)의 양 또는 크기(30)에 영향을 미친다(28). 추가로, 픽처 크기(26)는 예를 들어 위치 표시(32)의 값 범위 및 위치 표시(32)가 구문적 설명(24)에 나타날 수 있는 순서의 관점에서 페이로드 부분(18)의 구문적 설명(24) 내의 위치 표시(32)에 영향을 미친다(28). 예를 들어, 위치 표시(32)는 페이로드 부분(18) 내에 슬라이스 어드레스들을 포함할 수 있다. 슬라이스들(34)은 도 1에 예시된 바와 같이, 예를 들어 데이터 스트림(10)이 디코더에 전송가능한 단위인 데이터 스트림(10)의 부분들이다. 각각의 픽처(12)는, 픽처들(12)이 데이터 스트림(10)으로 코딩되는 디코딩 순서에 후속하여 슬라이스들(34)로 세분되는, 이러한 슬라이스(34)의 단위로 데이터 스트림(10)으로 코딩될 수 있다. 각각의 슬라이스(34)는 픽처(12)의 대응하는 영역(36)에 대응하고 따라서 거기에서 인코딩되지만, 영역(36)은 하위 영역(22)의 내부 또는 외부에 있는데, 즉 하위 영역의 경계를 가로지르지 않는다. 이러한 경우에, 각각의 슬라이스(34)에는 픽처들(12)의 픽처 영역 내에서, 즉 픽처들(12)의 둘레에 대한 대응 영역(36)의 위치를 표시하는 슬라이스 어드레스가 제공될 수 있다. 구체적인 예를 언급하기 위해, 슬라이스 어드레스는 픽처들(12)의 좌측 상부 코너에 대해 측정될 수 있다. 명백하게, 이러한 슬라이스 어드레스는 픽처 크기(26)를 갖는 픽처 내의 슬라이스 어드레스들의 값을 초과하는 값을 초과할 수 없다.
픽처 크기(26)와 유사한 방식으로, 코딩 파라미터 설정들의 세트(20a)는 또한 픽처(12)가 세분화될 수 있는 타일들의 타일 구조(38)를 정의할 수 있다. 일점 쇄선(40)을 사용하여, 도 1은 타일들이 열 및 행의 타일 어레이로 배열되도록 타일들(42) 내로의 픽처들(12)의 세분화의 예를 제시한다. 타일들??(42)로의 타일 세분화를 사용하여 페이로드 부분(18)으로 인코딩되는 픽처들(12)의 선택적인 경우에서, 이는 예를 들어, 1) 타일 경계들에 걸친 공간적 상호 의존도들이 허용되지 않고 따라서 사용되지 않으며, 2) 픽처들(12)이 데이터 스트림(10)으로 코딩되는 디코딩 순서는 래스터 스캔 타일 순서로 픽처들(12)을 횡단하는데, 즉, 각각의 타일은 타일 순서에서 다음 타일을 방문하기 전에 횡단된다. 따라서, 타일 구조(38)는 픽처(12)가 페이로드 부분(18)으로 인코딩되고 이에 따라 구문적 설명(24)에 영향을 미치는 디코딩 순서(44)에 영향을 미친다(28). 또한, 픽처 크기(26)와 유사한 방식으로, 타일 구조(38)는 또한, 페이로드 부분(18) 내의 위치 표시(32), 즉, 위치 표시(32)의 상이한 인스턴스화가 구문적 설명(24) 내에서 발생하도록 허용되는 순서에 영향을 미친다(28).
세트(20a)의 코딩 파라미터 설정들은 또한 버퍼 타이밍(46)을 포함할 수 있다. 예를 들어, 버퍼 타이밍(46)은, 개별적인 슬라이스들(34)과 같은 데이터 스트림(10)의 특정 부분들 또는 하나의 픽처(12)를 참조하는 데이터 스트림(10)의 부분들이 디코더의 코딩된 픽처 버퍼로부터 제거될 신호 코딩된 픽처 버퍼 제거 시간들일 수 있고, 이러한 시간적 값들은, 버퍼 타이밍(46)이 또한 페이로드 부분(18)의 양/크기(30)에 영향을 미치도록(28) 데이터 스트림(10) 내의 대응하는 부분들의 크기들에 영향을 미치거나(28) 또는 그와 관련된다.
즉, 도 2의 설명이 예시된 바와 같이, 페이로드 부분(18)으로의 픽처들(12)의 코딩은, 한편으로는 코딩 파라미터 설정들(20)의 세트(20a)와 다른 한편으로는 페이로드 부분(18) 및 이의 구문적 설명(24) 사이의 임의의 불일치가, 준수로 식별될 임의의 데이터 스트림에 의해 준수되도록 요구되는 준수요건들과 충돌하는 것으로 식별될 수 있는 관점에서 코딩 파라미터 설정들의 세트(20a)를 사용하여 "파라미터화" 또는 "설명"된다.
코딩 파라미터 설정들의 제1 세트(20a)는 페이로드 부분(18)에 포함되고 구문적 설명(24)에 산재되거나 그에 포함되는 인덱스들(48)에 의해 참조되거나 인덱싱된다. 예를 들어, 인덱스들(48)은 슬라이스들(34)의 슬라이스 헤더들에 포함될 수 있다.
코딩 파라미터 설정들의 인덱싱된 세트(20a)가 페이로드 부분(18)과 협력하여 또는 함께, 하위 영역(22)에 관련되지 않은 페이로드 부분(18)의 부분들이 제거되고 결과적인 감소된 데이터 스트림이 준수를 유지하는 방식으로 수정될 수 있지만, 이러한 접근법은 도 1의 실시예가 따르지 않는다. 한편으로는 인덱싱된 세트(20a) 및 다른 한편으로는 페이로드 부분(18) 내의 코딩 파라미터 설정들 둘 모두의 이러한 상관된 수정은 완전한 디코딩 및 인코딩을 통한 우회로를 요구하지 않을 것이지만, 이러한 상관된 수정을 수행하기 위한 계산 오버헤드는 그럼에도 불구하고 상당량의 파싱 단계들 등을 요구할 것이다.
따라서, 도 1의 실시예는 다른 접근법을 따르고, 이에 따르면, 비디오 데이터 스트림(10)은 페이로드 부분(18)으로부터 비디오의 픽처(12)의 재구성을 위해 요구되지 않는 정보(50)를 포함, 즉 제공받고, 정보는 미리 결정된 하위 영역 및 대체 인덱스들 및/또는 대체 파라미터들의 표시를 포함한다. 예를 들어, 정보(50)는 픽처들(12) 내의 그 위치의 관점에서 미리 결정된 하위 영역(22)을 표시할 수 있다. 예를 들어, 정보(50)는 하위 영역(22)의 위치를 ??타일들 단위로 표시할 수 있다. 따라서, 정보(50)는 하위 영역(22)을 형성하도록 각각의 픽처 내의 타일들(42)의 세트를 식별할 수 있다. 각각의 픽처(12) 내의 타일들의 세트(42)는 픽처들(12) 사이에 고정될 수 있으며, 즉 각각의 픽처(12) 내에서 하위 영역(22)을 형성하는 타일들은 서로 공동 위치될 수 있고, 하위 영역(22)을 형성하는 이러한 타일들의 타일 경계들은 상이한 픽처들(12) 사이에서 공간적으로 일치할 수 있다. 타일들의 세트는 픽처들(12)의 인접한 직사각형 타일 서브어레이를 형성하도록 제한되지 않는다는 것이 언급되어야 한다. 그러나, 하위 영역(22)을 형성하는 각각의 픽처(12) 내의 타일들의 오버레이가 없고 갭이 없는 인접은 직사각형 영역을 형성하는 이러한 갭이 없고 오버레이 없는 인접 또는 병치(juxtaposition)와 공존할 수 있다. 그러나, 당연히, 표시(50)는 하위 영역(22)을 타일 단위로 표시하도록 제한되지 않는다. 어쨌든 픽처들(12)의 타일 세부화의 사용은 단지 선택적인 것임을 상기해야 한다. 예를 들어, 표시(50)는 하위 영역(22)을 샘플들의 단위로 또는 일부 다른 수단에 의해 표시할 수 있다. 심지어 추가적인 실시예에서, 하위 영역(22)의 위치는 참여 네트워크 디바이스들 및 하위 영역(22)에 대한 감소가능성 또는 공존을 단지 표시하는 정보(50)를 갖는 비디오 데이터 스트림(10)을 처리할 것으로 예상되는 디코더들에 공지된 디폴트 정보를 형성할 수도 있다. 전술한 바와 같이, 그리고 도 3에 예시된 바와 같이, 정보(50)는 미리 결정된 하위 영역의 표시(52) 이외에, 대체 인덱스들(54) 및/또는 대체 파라미터들(56)을 포함한다. 대체 인덱스들 및/또는 대체 파라미터들은 코딩 파라미터 설정들의 인덱싱된 세트, 즉, 페이로드 부분(18) 내의 인덱스들에 의해 인덱싱된 코딩 파라미터 설정들의 세트를 변경하기 위한 것이어서, 코딩 파라미터 설정들의 인덱싱된 세트는 감소된 비디오 데이터 스트림의 페이로드 부분에 피팅되고, 여기서 페이로드 부분(18)은 한편으로는 하위 영역(22) 외부의 픽처들(12)의 부분들과 관련된 그러한 부분들이 제거 및 위치 표시들(32)을 변경하는 것에 의해 수정되어 픽처들(12)의 둘레보다는 하위 영역(22)의 둘레와 관련된다.
후자의 둘레를 명확하게 하기 위해, 도 1에 따른 비디오 데이터 스트림(10)을 수신하고 프로세싱하여 감소된 비디오 데이터 스트림(62)을 유도하도록 구성된 네트워크 디바이스(60)를 도시하는 도 4가 참조된다. "감소된 비디오 데이터 스트림"(62)에서 "감소된"이라는 용어는 2개의 것들, 즉, 첫째로, 감소된 비디오 데이터 스트림(62)이 비디오 데이터 스트림(10)과 비교하여 더 낮은 비트레이트에 대응한다는 사실, 및 둘째로, 감소된 축소된 비디오 데이터 스트림(62)의 더 작은 픽처들이 단지 픽처들(12)의 하위 영역(22)을 나타내는 점에서, 감소된 비디오 데이터 스트림(62)이 인코딩되는 픽처들은 비디오 데이터 스트림(10)의 픽처들(12)보다 작다는 사실을 나타낼 것이다.
아래에서 더 상세하게 설명되는 바와 같은 작업을 달성하기 위해, 방법 디바이스(60)는 데이터 스트림(10)으로부터 정보(50)를 판독하도록 구성된 판독기(64) 및 아래에서 더 상세히 설명되는 방식으로 정보(50)에 기초하여 감소 또는 추출 프로세스를 수행하는 감소기(66)를 포함한다.
도 5는 정보(50)에서 대체 인덱스들(54)을 사용하는 예시적인 경우에 대한 네트워크 디바이스(60)의 기능을 예시한다. 특히, 도 5에 예시된 바와 같이, 네트워크 디바이스(60)는, 예를 들어, 하위 영역(22)과 관련이 없는 데이터 스트림(10) 부분들(70)의 페이로드 부분(18)으로부터 제거하기 위해(68) 정보(50)를 사용하는데, 즉, 하위 영역(22) 외부의 픽처들(12)의 영역을 참조한다. 제거(68)는 예를 들어 슬라이스 기반으로 수행될 수 있으며, 여기서 감소기(66)는 한편으로는 슬라이스들(34)의 슬라이스 헤더들 내의 위치 표시 또는 슬라이스 어드레스 및 다른 한편으로는 정보(50) 내의 표시(52)에 기초하여, 하위 영역(22)과 관련되지 않은 페이로드 부분(18) 내의 그러한 슬라이스들(34)을 식별한다.
정보(50)가 대체 인덱스들(54)을 전달하는 도 5의 예에서, 비디오 데이터 스트림(10)의 파라미터 세트 부분(16)은 코딩 파라미터 설정들의 인덱스 세트(20a) 이외에, 페이로드 부분(18) 내의 인덱스들(48)이 참조하지 않거나 인덱싱되지 않는 코딩 파라미터 설정들의 넌-인덱싱된 세트(20b)를 전달한다. 감소를 수행함에 있어서, 감소기(66)는 데이터 스트림(10) 내의 인덱스들(48)을 대체 인덱스들(54)에 의해 도 5에 예시적으로 도시된 것으로 대체하며, 대체는 곡선 화살표(72)를 사용하여 도 5에 예시되어 있다. 인덱스들(48)을 대체 인덱스들(54)로 대체함으로써, 감소된 비디오 데이터 스트림(62)의 페이로드 부분에 포함된 인덱스들이 코딩 파라미터 설정들의 제2 세트(20b)를 참조하거나 인덱싱하여 코딩 파라미터 설정들의 제1 세트(20a)가 인덱싱되지 않게 되는 재지향(72)이 발생한다. 따라서, 재지향(72)은 파라미터 세트 부분(16)으로부터 코딩 파라미터 설정들의 더 이상 인덱싱되지 않은 세트(20a)를 제거하는(74) 감소기(66)를 또한 수반할 수 있다.
감소기(66)는 또한 미리 결정된 하위 영역(22)의 둘레에 대해 측정되도록 페이로드 부분(18) 내의 위치 표시들(32)을 변경한다. 변경은 곡선 화살표(78)를 통해 도 5에서 표시되며, 데이터 스트림(10)으로부터 감소된 비디오 데이터 스트림(62)으로의 예시적인 단지 하나의 표시된 위치 표시(32)의 변경은, 어떠한 해칭도 사용하지 않고 데이터 스트림(10)의 위치 표시(32)를 도시하는 한편 크로스 해칭 방식으로 감소된 비디오 데이터 스트림(62)의 위치 표시(32)를 도시함으로써 개략적으로 표시된다.
따라서, 도 5의 설명을 요약하면, 네트워크 디바이스(60)는 단지 비교적 낮은 복잡도를 수반하는 방식으로 감소된 비디오 데이터 스트림(62)을 획득할 수 있다. 감소된 비디오 데이터 스트림(62)의 페이로드 부분(18)의 양/크기(30), 위치 표시(32) 및 디코딩 순서(44)를 정확하게 파라미터화하거나 또는 피팅하기 위해 코딩 파라미터 설정들(20b)의 세트를 정확하게 적응시키는 성가신 작업은 도 1에서 파선 박스를 사용하여 대표적으로 예시된 인코더(80) 내에서와 같이 다른 곳에서 수행될 수 있다. 대안은 후술되는 바와 같이 정보(50)의 평가 및 감소기(66)에 의한 감소 사이의 순서를 변경하는 것일 것이다.
도 6은, 감소된 비디오 데이터 스트림(62)이 더 작은 픽처들(86), 즉 픽처들(12)에 비해 크기에서 더 작은 픽처들(86)의 비디오(84)로 인코딩된 것 및 단지 이의 하위 영역(22)을 도시하는 것을 예시하기 위해, 감소된 비디오 데이터 스트림(62)이 비디오 디코더(82)에 공급되는 상황을 예시한다. 따라서, 비디오(84)의 재구성은 감소된 비디오 데이터 스트림(62)을 디코딩하는 비디오 디코더(82)에 의해 이루어진다. 도 5와 관련하여 설명된 바와 같이, 감소된 비디오 데이터 스트림(62)은 코딩 파라미터 설정들의 제2 세트(20b)에 의해 파라미터화되는 또는 그에 대응적으로 설명되는 방식으로 더 작은 픽처들(86)을 인코딩한 감소된 페이로드 부분(18)을 갖는다.
비디오 인코더(80)는, 예를 들어 하위 영역(22)과 관련하여 도 1에 대해 전술한 코딩 제한들을 준수하는 동안, 픽처들(12)을 비디오 데이터 스트림(10)으로 인코딩할 수 있다. 인코더(80)는 예를 들어, 적절한 레이트-왜곡 최적화 기능의 최적화를 사용하여 이러한 인코딩을 수행할 수 있다. 이러한 인코딩의 결과로서, 페이로드 부분(18)은 세트(20a)를 인덱싱한다. 추가적으로, 인코더(80)는 세트(20b)를 생성한다. 이를 위해, 인코더(80)는 예를 들어 하위 영역(22)의 크기 및 점유된 타일 세트에 대응하도록 세트(20a)의 값들로부터 픽처 크기(26) 및 타일 구조(38)를 적응시킬 수 있다. 그 외에도, 인코더(80)는 도 5 자체에 관하여 위에서 설명된 바와 같이 감소 프로세스를 실질적으로 수행할 것이고, 비디오 디코더(82)와 같은 디코더가 코딩 파라미터 설정들의 제2 세트(20b) 내에서 이에 따라 컴퓨팅된 버퍼 타이밍(46)을 사용하여 코딩된 픽처 버퍼를 정확하게 관리할 수 있게 하기 위해 버터 타이밍(46)을 컴퓨팅할 것이다.
도 7은 이를테면 정보(50) 내에서 대체 파라미터들(56)을 사용하는 경우에 네트워크 디바이스의 동작 모드의 대안적 방식을 예시한다. 이러한 대안에 따르면, 도 7에 도시된 바와 같이, 파라미터 세트 부분(16)은 단지 코딩 파라미터 설정들의 인덱싱된 세트(20a)를 포함하므로, 재인덱싱 또는 재지향(72) 및 세트 제거기(74)는 감소기(66)에 의해 수행될 필요가 없다. 그러나, 이 대신에, 감소기(66)는 코딩 파라미터 설정들의 세트(20b)가 되도록 코딩 파라미터 설정들의 인덱싱된 세트(20a)를 조정(88)하기 위해 정보(50)로부터 획득된 대체 파라미터들(56)을 사용한다. 심지어 이러한 대안에 따라, 단계들(68, 78 및 88)을 수행하는 감소기(66)는 원본 비디오 데이터 스트림(10)으로부터 감소된 비디오 데이터 스트림(62)을 도출하기 위해 비교적 복잡한 동작들이 없다.
바꾸어 말하면, 도 7의 경우에, 예를 들어, 대체 파라미터들(56)은, 예를 들어, 픽처 크기(26), 타일 구조(38) 및/또는 버퍼 타이밍(46) 중 하나 이상을 포함할 수 있다.
도 5 및 도 7과 관련하여, 대체 인덱스들 및 대체 파라미터들 둘 모두를 포함하는 정보(50)와 대체들 둘 모두의 혼합물들이 또한 존재할 수 있음을 주목해야 한다. 예를 들어, 세트(20a)로부터 세트(20b)로의 변경에 영향을 받는 코딩 파라미터 설정들은 SPS, PPS, VPS 등과 같은 상이한 파라미터 세트 슬라이스들 상에서 분산되거나 이에 포함될 수 있다. 따라서, 이들 슬라이스 중 상이한 슬라이스들에 대해, 예를 들어 도 5 또는 도 7에 따른 상이한 프로세싱이 수행될 수 있다.
위치 표시들을 변경(78)하는 작업과 관련하여, 이러한 작업은 예를 들어 페이로드 부분(18) 내의 슬라이스들(34)의 각각의 페이로드 슬라이스에 대해 수행될 것이기 때문에 비교적 빈번하게 수행되어야 하지만, 위치 표시들(32)에 대한 새로운 대체 값들의 계산은 비교적 복잡하지 않음을 주목한다. 예를 들어, 위치 표시들은 수평 및 수직 좌표에 의해 위치를 표시할 수 있으며, 변경(78)은 예를 들어 원본 위치 표시(32) 및 데이터 스트림(10)의 대응하는 좌표와 픽처들(12)의 상부 좌측 코너에 대한 하위 영역(22)의 오프셋 사이의 감산을 형성함으로써 위치 표시의 새로운 좌표를 컴퓨팅할 수 있다. 대안적으로, 위치 표시(32)는, 예를 들어, 픽처들(12)이 규칙적으로 행 및 열로 분할되는 트리 루트(tree root) 블록들과 같은 코딩 블록의 단위와 같은 일부 적절한 단위로 전술한 디코딩 순서를 따르는 일부 선형 측정을 사용한 위치를 표시할 수 있다. 이러한 경우에, 위치 표시는 오직 하위 영역(22) 내에서 이들 코드 블록들의 코딩 순서만을 고려하여 단계(78) 내에서 새로 컴퓨팅될 것이다. 이와 관련하여, 감소된 비디오 데이터 스트림(62)을 비디오 데이터 스트림(10)으로부터 형성하기 위한 방금 개략된 감소/추출 프로세스는 또한, 감소된 비디오 데이터 스트림(62)으로 코딩된 비디오(84)의 더 작은 픽처들(86)이 공간적으로 스티칭된 방식으로 섹션(22)을 나타내고, 픽처들(84)의 동일한 픽처 콘텐츠가 상이하게 공간적으로 배열된 방식으로 하위 영역(22)의 픽처들(12) 내에 위치될 수 있는 방식으로, 감소된 비디오 데이터 스트림(62)을 형성하기에 적합할 것임을 주목해야 한다.
도 6과 관련하여, 도 6에 도시된 비디오 디코더(82)는 비디오 데이터 스트림(10)을 디코딩하여 그로부터 비디오(14)의 픽처들(12)을 재구성할 수 있거나 그렇지 않을 수 있음을 주목한다. 비디오 디코더(82)가 비디오 데이터 스트림(10)을 디코딩할 수 없는 이유는, 예를 들어, 비디오 디코더(82)의 프로파일 레벨이 감소된 비디오 데이터 스트림(62)의 크기 및 복잡도에 대처하기에 충분할 수 있지만, 원본 비디오 데이터 스트림(10)을 디코딩하기에는 불충분할 수 있기 때문이다. 그러나 원칙적으로, 데이터 스트림들(62 및 10) 둘 모두는 재인덱싱 및/또는 파라미터 조정에 의한 코딩 파라미터 설정들의 인덱싱된 세트의 전술한 적절한 적응으로 인해 하나의 비디오 코덱을 준수한다.
감소될 비디오 데이터 스트림의 픽처들의 특정 하위 영역에 대한 비디오 스트림 감소/추출에 대한 실시예들을 오히려 일반적으로 설명한 후, 전술한 실시예들을 구현하기 위한 특정 예를 제공하기 위해 HEVC에 대한 이러한 추출에 관한 동기 및 문제점들의 상기 설명이 아래에서 재개된다.
1. 단일 계층 하위 영역에 대한 시그널링 양상들
1.1. 파라미터 세트들:
하기 파라미터 세트들의 양상들은, 공간적 서브세트가 추출될 경우 조정을 필요로 한다.
· VPS: 단일 계층 코딩에 대한 어떠한 규범적 정보도 없음
· SPS:
· 레벨 정보
· 픽처 치수들
· 크로핑(cropping) 또는 준수 윈도우 정보
· 버퍼링 및 타이밍 정보(즉, HRD 정보)
· motion_vectors_over_pic_boundaries_flag, min_spatial_segmentation_idc와 같은 잠재적으로 추가적인 비디오 사용가능성 정보(VUI) 항목들
· PPS:
· 공간적 세그먼트화 정보, 즉, 수평 및 수직 방향에서 타일들의 양 및 치수에 대한 타일링 정보
시그널링 실시예들
· 시그널링 1A: 인코더는 각각의 TMCTS에 대한 대역에서 추가적인 미사용(즉, 결코 활성화되지 않는) VPS, SPS 및 PPS를 (즉, 각각의 NAL 유닛들로서) 전송할 수 있고, SEI(Supplemental Enhancement Information) 메시지에서 TMCTS에 대한 맵핑을 제공할 수 있다.
시그널링 1A SEI에 대한 예시적인 신택스/시맨틱스는 도 8에 도시되어 있다.
신택스 엘리먼트들(90)은 픽처 파라미터 세트 식별자들로부터 유도될 수 있기 때문에 선택적이다.
시맨틱스는 아래에 제공된다.
num_extraction_information_sets_minus1은 서브 픽처 추출 프로세스에서 적용될 주어진 시그널링 1A SEI에 포함된 정보 세트들의 수를 표시한다.
num_applicable_tile_set_identifiers_minus1은 서브 픽처 추출 프로세스에 대해 다음 i번째 정보 세트가 적용하는 타일 세트들의 mcts_id의 값들의 수를 표시한다.
mcts_identifier[i][k]는, 모든 num_applicable_tile_set_identifers_minus1 플러스 서브 픽처 추출 프로세스에 대해 다음 i번째 정보 세트가 적용하는 타일 세트들의 mcts_id의 1 값들을 표시한다.
num_mcts_pps_replacements[i]는 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트에 대한 시그널링 1A SEI에서 pps 식별자 대체 시그널링의 수를 표시한다.
mcts_vps_id[i]는 서브 픽처 추출 프로세스에서 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트에 대해 mcts_vps_idx[i]번째 비디오 파라미터 세트가 사용될 것임을 표시한다.
mcts_sps_id[i]는 서브 픽처 추출 프로세스에서 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트에 대해 mcts_sps_idx[i]번째 시퀀스 파라미터 세트가 사용될 것임을 표시한다.
mcts_pps_id_in[i][j]는 서브 픽처 추출 프로세스에서 대체될 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트의 슬라이스 헤더 신택스 구조들의 num_mcts_pps_replacements[i] pps 식별자들의 j번째 값을 표시한다.
mcts_pps_id_out[i][j]는 서브 픽처 추출 프로세스에서 값 mcts_pps_id_in[i][j]와 동일한 pps 식별자들을 대체하기 위해 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트의 슬라이스 헤더 신택스 구조들의 num_mcts_pps_replacements pps 식별자들의 j번째 값을 표시한다.
· 시그널링 1B: 인코더는 각각의 TMCTS에 대한 VPS, SPS 및 PPS 및 콘테이너-스타일 SEI 내에 모두 포함된 TMCTS로의 맵핑을 전송할 수 있다.
시그널링 1B SEI에 대한 예시적인 신택스/시맨틱스는 도 9에 도시되어 있다.
옐로우 신택스 엘리먼트들(92)은 픽처 파라미터 세트 식별자들로부터 유도될 수 있기 때문에 선택적이다.
시맨틱스는 아래에 개략되는 바와 같다:
num_vps_in_message_minus1은 서브 픽처 추출 프로세스에서 사용될 주어진 시그널링 1B SEI에서 vps 신택스 구조들의 수를 표시한다.
num_sps_in_message_minus1은 서브 픽처 추출 프로세스에서 사용될 주어진 시그널링 1B SEI에서 sps 신택스 구조들의 수를 표시한다.
num_pps_in_message_minus1은 서브 픽처 추출 프로세스에서 사용될 주어진 시그널링 1B SEI에서 pps 신택스 구조들의 수를 표시한다.
num_extraction_information_sets_minus1은 서브 픽처 추출 프로세스에서 적용될 주어진 시그널링 1B SEI에 포함된 정보 세트들의 수를 표시한다.
num_applicable_tile_set_identifiers_minus1은 서브 픽처 추출 프로세스에 대해 다음 i번째 정보 세트가 적용하는 타일 세트들의 mcts_id의 값들의 수를 표시한다.
mcts_identifier[i][k]는, 모든 num_applicable_tile_set_identifers_minus1 플러스 서브 픽처 추출 프로세스에 대해 다음 i번째 정보 세트가 적용하는 타일 세트들의 mcts_id의 1 값들을 표시한다.
mcts_vps_idx[i]는 서브 픽처 추출 프로세스에서 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트에 대해 시그널링 1B SEI에서 시그널링된 mcts_vps_idx[i]번째 비디오 파라미터 세트가 사용될 것임을 표시한다.
mcts_sps_idx[i]는 서브 픽처 추출 프로세스에서 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트에 대해 시그널링 1B SEI에서 시그널링된 mcts_sps_idx[i]번째 시퀀스 파라미터 세트가 사용될 것임을 표시한다.
num_mcts_pps_replacements[i]는 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트에 대한 시그널링 1B SEI에서 pps 식별자 대체 시그널링의 수를 표시한다.
mcts_pps_id_in[i][j]는 서브 픽처 추출 프로세스에서 대체될 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트의 슬라이스 헤더 신택스 구조들의 num_mcts_pps_replacements[i] pps 식별자들의 j번째 값을 표시한다.
mcts_pps_idx_out[i][j]는, mcts_pps_id_in[i][j]와 동일한 pps 식별자를 갖는 픽처 파라미터 세트가 서브 픽처 추출 프로세스 동안 시그널링 1C SEI에서 mcts_pps_idx_out[i][j]번째 시그널링된 픽처 파라미터 세트로 대체될 것임을 표시한다.
· 시그널링 1C: 인코더는 유도될 수 없는 TMCTS와 연관된 파라미터 세트 정보(본질적으로 추가적인 버퍼링/타이밍(HRD) 파라미터들 및 SEI 내의 적용가능한 TMCTS에 대한 매핑)을 제공할 수 있다.
시그널링 1C SEI에 대한 예시적인 신택스/시맨틱스는 도 10에 도시되어 있다.
다음 SEI의 HRD 정보는, 추출 프로세스가 원본 VPS의 신택스 엘리먼트들의 연속적 블록을 SEI로부터의 신택스 엘리먼트들의 각각의 연속적 블록으로 대체할 수 있는 방식으로 구성된다.
num_extraction_information_sets_minus1은 서브 픽처 추출 프로세스에서 적용될 주어진 시그널링 1C SEI에 포함된 정보 세트들의 수를 표시한다.
num_applicable_tile_set_identifiers_minus1은 서브 픽처 추출 프로세스에 대해 다음 i번째 정보 세트가 적용하는 타일 세트들의 mcts_id의 값들의 수를 표시한다.
mcts_identifier[i][k]는, 모든 num_applicable_tile_set_identifers_minus1 플러스 서브 픽처 추출 프로세스에 대해 다음 i번째 정보 세트가 적용하는 타일 세트들의 mcts_id의 1 값들을 표시한다.
1과 동일한 mcts_vps_timing_info_present_flag[i]는 mcts_vps_num_units_in_tick[i], mcts_vps_time_scale[i], mcts_vps_poc_proportional_to_timing_flag[i] and mcts_vps_num_hrd_parameters[i]가 VPS에 존재함을 특정한다. 0과 동일한 mcts_vps_timing_info_present_flag[i]는 mcts_vps_num_units_in_tick[i], mcts_vps_time_scale[i], mcts_vps_poc_proportional_to_timing_flag[i] and mcts_vps_num_hrd_parameters[i]가 시그널링 1C SEI에 존재하지 않음을 특정한다.
mcts_vps_num_units_in_tick[i]는 클럭 틱 카운터의 1 증분(클럭 틱으로 지칭됨)에 대응하는 주파수 mcts_vps_time_scale Hz에서 동작하는 클럭의 시간 단위의 i번째 수이다. mcts_vps_num_units_in_tick[i]의 값은 0보다 클 것이다. 초 단위인 클럭 틱은 mcts_vps_time_scale로 나눈 mcts_vps_num_units_in_tick의 몫과 동일하다. 예를 들어, 비디오 신호의 픽처 레이트가 25 Hz인 경우, mcts_vps_time_scale은 27 000 000과 동일할 수 있고, mcts_vps_num_units_in_tick은 1 080 000과 동일할 수 있고, 결국 클럭 틱은 0.04초일 수 있다.
mcts_vps_time_scale[i]는 1초에 지나가는 시간 단위의 i번째 수이다. 예를 들어, 27 MHz 클럭을 사용하여 시간을 측정하는 시간 좌표계는 27 000 000의 vps_time_scale을 갖는다. vps_time_scale의 값은 0보다 클 것이다.
1과 동일한 mcts_vps_poc_proportional_to_timing_flag[i]는, 디코딩 순서에서 CVS의 제1 픽처가 아닌 CVS의 각각의 픽처에 대한 픽처 순서 카운트 값이 CVS의 제1 픽처의 출력 시간에 대한 픽처의 출력 시간에 비례함을 표시한다. 0과 동일한 mcts_vps_poc_proportional_to_timing_flag[i]는, 디코딩 순서에서 CVS의 제1 픽처가 아닌 CVS의 각각의 픽처에 대한 픽처 순서 카운트 값이 CVS의 제1 픽처의 출력 시간에 대한 픽처의 출력 시간에 비례할 수 있거나 비례하지 않을 수 있음을 표시한다.
mcts_vps_num_ticks_poc_diff_one_minus1[i] 플러스 1은 1과 동일한 픽처 순서 카운트 값들의 차이에 대응하는 클럭 틱들의 수를 특정한다. mcts_vps_num_ticks_poc_diff_one_minus1[i]의 값은 0 내지 232 - 2(포함)의 범위일 것이다.
mcts_vps_num_hrd_parameters[i]는 시그널링 1C SEI의 i번째 엔트리에 존재하는 hrd_parameters( ) 신택스 구조들의 수를 특정한다. mcts_vps_num_hrd_parameters의 값은 0 내지 vps_num_layer_sets_minus1 + 1(포함)의 범위일 것이다.
mcts_hrd_layer_set_idx[i][j]는, 시그널링 1C SEI에서 j번째 hrd_parameters( ) 신택스 구조가 적용하고 서브 픽처 추출 프로세스에서 사용될 계층 세트의 시그널링 1C SEI에서 i번째 엔트리의 VPS에 의해 특정되는 계층 세트들의 리스트로의 인덱스를 특정한다. mcts_hrd_layer_set_idx[i][j]의 값은 (vps_base_layer_internal_flag ? 0 : 1) 내지 vps_num_layer_sets_minus1(포함)의 범위일 것이다. mcts_hrd_layer_set_idx[i][j]의 값이 k와 동일하지 않은 j의 임의의 값에 대한 hrd_layer_set_idx[i][k]의 값과 동일하지 않을 것임이 비트스트림 준수의 요건이다.
1과 동일한 mcts_cprms_present_flag[i][j]는, 모든 서브 계층들에 대해 공통인 HRD 파라미터들이 시그널링 1C SEI의 i번째 엔트리의 j번째 hrd_parameters( ) 신택스 구조에 존재함을 특정한다. 0과 동일한 mcts_cprms_present_flag[i][j]는, 모든 서브 계층들에 대해 공통인 HRD 파라미터들이 시그널링 1C SEI의 i번째 엔트리의 i번째 hrd_parameters( ) 신택스 구조에 존재하지 않고, 시그널링 1C SEI의 i번째 엔트리의 ( i ? 1 )번째 hrd_parameters( ) 신택스 구조와 동일하게 유도됨을 특정한다. mcts_cprms_present_flag[i][0]은 1과 동일하게 추론된다.
상기 HRD 정보는 VPS 관련이기 때문에, SPS VUI HRD 파라미터들에 대한 유사한 정보의 시그널링은 동일한 방식으로, 예를 들어, 위의 SEI 또는 개별 SEI 메시지로 확장된다.
본 발명의 추가적인 실시예들이 VUI와 같은 다른 비트스트림 신택스 구조들에서 또는 파라미터 세트들의 확장들로서 시그널링 1A, 1B 및 1C에 의해 수행되는 메커니즘들을 사용할 수 있음에 주목할 필요가 있다.
1.2. SEI 메시지들
원본 비디오 비트스트림에서 다음 SEI 메시지들 중 임의의 것의 발생은 TMCTS 추출 이후 불일치들을 회피하기 위한 조정을 위한 메커니즘들을 요구할 수 있다.
· HRD 관련 버퍼링 기간, 픽처 타이밍 및 디코딩 유닛 정보 SEI
· PanScan SEI
· *FramePackingArrangement* SEI
· DecodedPictureHash SEI
· TMCTS SEI
시그널링 실시예들
· 시그널링 2A: 인코더는 모든 TMCTS에 대한 콘테이너-스타일 SEI의 TMCTS와 관련하여 상기 SEI들에 대한 적절한 대체들을 제공할 수 있다. 이러한 시그널링은 시그널링 1C의 실시예와 결합될 수 있고, 도 11에 도시되어 있다. 환언하면, 앞서 제공된 설명에 추가적으로 또는 그에 대한 대안으로, 비디오(14)를 표현하는 비디오 데이터 스트림(10)은 비디오의 픽처들(12)이 코딩되는 페이로드 부분(18) 및 페이로드 부분(18)에 매칭하는 보충 강화 정보를 표시하는 보충 강화 정보 메시지, 또는 더 정확하게는, 비디오의 픽처들(12)이 페이로드 부분(18)으로 코딩되는 방식을 포함할 수 있고, 픽처들(12)의 미리 결정된 하위 영역(22)의 표시(52)를 포함하는 정보(50) 및 보충 강화 정보 메시지를 대체하기 위한 대체 보충 강화 정보 메시지를 더 포함할 수 있고, 대체 보충 강화 정보 메시지는, 대체 보충 강화 정보 메시지가 감소된 페이로드 부분에 매칭하는 대체 보충 강화 정보를 표시하도록 하는 방식, 즉 하위 영역-특정 픽처들(86)이 감소된 페이로드 부분(18)으로 코딩되는 방식으로, 미리 결정된 하위 영역(22) 외부의 픽처들(12)의 영역을 참조하는 페이로드 부분(18)의 부분들(70)을 제거(68)하고 픽처들(12) 대신 미리 결정된 하위 영역(22)의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 페이로드 부분(18)의 위치 표시들(32)을 변경(78)함으로써, 비디오 데이터 스트림에 비해 수정되는 감소된 비디오 데이터 스트림(62)이 픽처들의 미리 결정된 하위 영역(22)을 나타내는 하위 영역-특정 픽처들(86)로 인코딩된 감소된 페이로드 부분을 갖도록 선택된다. 파라미터 설정기(80a)는 전술한 파라미터 생성에 추가로 또는 그에 대한 대안으로, 대체 SEI 메시지에 의한 잠재적 대체의 대상인 보충 강화 정보 메시지를 생성할 것이다. 이 대체는 네트워크 디바이스(60)에 의해 수행되는 전술한 재지향 및/또는 조정에 대한 추가 또는 그에 대한 대안일 것이다.
0과 동일한 all_tile_sets_flag는, 리스트 applicable_mcts_id[0]이 비트스트림 내에서 정의되는 모든 타일 세트들에 대한 wapplicable_mcts_id[i]에 의해 특정됨을 특정한다. 1과 동일한 all_tile_sets_flag는, 리스트 applicable_mcts_id[0]이 증가하는 값들의 순서로, 현재의 SEI NAL 유닛의 nuh_layer_id보다 크거나 그와 동일한 현재의 액세스 유닛에 존재하는 nuh_layer_id의 모든 값들로 구성됨을 특정한다.
tile_sets_max_temporal_id_plus1 마이너스 1은, 어레이 applicable_mcts_id[i]의 엘리먼트와 동일한 mcts_id를 갖는 타일 세트에 대한 서브 픽처 추출 프로세스에서 추출될 최대 시간 레벨을 표시한다.
num_applicable_tile_set_identifiers_minus1 플러스 1은, 다음 SEI 메시지들이 서브 픽처 추출 프로세스에서 사용되어야 할 다음 적용가능한 mcts ids의 수를 특정한다.
mcts_identifier[i]는, 타일 세트들에 대한 서브 픽처 추출 프로세스를 사용하여 applicable_mcts_id[i]와 동일한 mcts_id를 갖는 각각의 타일 세트를 추출하는 경우 다음 SEI 메시지들이 삽입되어야 하는 mcts_id의 모든 num_applicable_tile_set_identifiers_minus1 값들을 표시한다.
2. 서브 픽처 추출 프로세스:
추출 프로세스 세부사항들은 적용되는 시그널링 방식에 명백하게 의존한다.
타일 셋업 및 TMCTS SEI, 특히 추출된 TMCTS에 관한 제약들은 준수 출력을 보장하기 위해 공식화되어야 한다. 비트스트림을 획득한 상기 시그널링 실시예들 중 임의의 실시예의 존재는, 인코더가 비디오 비트스트림의 생성 동안 아래에 공식화된 제약들을 준수했음에 대한 보장을 표현한다.
입력:
· 비트스트림.
· 타겟 MCTS 식별자 MCTSIdTarget.
· 타겟 계층 식별자 리스트 layerIdListTarget.
제약들 또는 비트스트림 요건들:
· 1과 동일한 tiles_enabled_flag.
· num_tile_columns_minus1 > 0 || num_rows_minus1 > 0.
· MCTSIdTarget과 동일한 mcts_id[i]를 갖는 TMCTS SEI 메시지가 존재하고 출력될 모든 픽처들과 연관된다.
· MCTSIdTarget과 동일한 mcts_id[i]를 갖는 TMCTS는 TMCTS SEI에 존재한다.
· MCTSIdTarget과 동일한 mcts_id[i]를 갖는 TMCTS에 대한 적절한 레벨은, TMCTS SEI 신택스 엘리먼트들 mcts_tier_level_idc_present_flag[i], mcts_tier_idc[i], mcts_level_idc[i] 또는 상기 시그널링 변수들 1A 또는 1B 중 하나를 통해 시그널링되어야 한다.
· TMCTS에 대한 HRD 정보는 시그널링 변수들 1A, 1B 또는 1C 중 하나를 통해 비트스트림에 존재한다.
· MCTSIdTarget과 동일한 mcts_id[i]를 갖는 TMCTS의 모든 직사각형들은 루마 샘플들의 관점에서 동일한 높이 또는 동일한 폭 또는 둘 모두를 갖는다.
프로세스:
· MCTSIdTarget와 동일한 mcts_id[i]와 연관된 타일 세트에 없는 모든 타일 NALU들을 제거한다.
· 시그널링 1X에 따라 파라미터 세트들을 대체/조정한다.
· 다음에 따라 나머지 NALU 슬라이스 헤더를 조정한다
o slice_segement_address를 조정하고 first_slice_segment_in_pic_flag는 타일 세트의 모든 직사각형들로부터 공통 픽처 평면을 생성한다.
o 필요한 경우 pps_id를 조정한다.
· 시그널링 2A의 존재 시에, SEI들을 제거 또는 대체한다.
대안적인 실시예로서, 추출 프로세스의 일부로서 전술한 제약들 또는 비트스트림 요건들은 비트스트림 내에서 전용 시그널링, 예를 들어, 별개의 SEI 메시지 또는 VUI 표시의 형태를 취할 수 있고, 이들의 존재는 상기 추출 프로세스에 대한 요건일 것이다.
2. 다중 계층
일부 시나리오들에서, 예를 들어, 영역마다 변하는 품질을 제공하기 위해 계층화된 코덱들이 관심의 대상일 수 있다. 하위 계층 품질에서 더 큰 공간 영역을 제공하는 것이 흥미로울 수 있어서, 사용자에 의해 요구되고 광각 비디오의 일부 특정 영역이 상위 계층에서 이용가능하지 않으면, 콘텐츠는 상위 계층 콘텐츠와 함께 업샘플링되고 제시될 하위 계층들에서 이용가능하다. 하위 계층 비디오 영역들이 상위 계층 비디오 영역들을 확장시키는 범위는 사용 사례에 따라 변하도록 허용되어야 한다.
설명된 TMCTS SEI에 추가로, HEVC 규격(즉, 부록 F)의 계층화된 확장들에서, 계층 간 예측을 위한 본질적 제약들에서 유사하게 표시하는 ILCTS(Inter-layer Constrained Tile Sets) SEI 메시지가 특정된다. 참조로, 신택스 표는 도 12에 주어진다.
따라서, 본 발명의 추가적인 부분으로서, 상기와 유사한 방식의 추출 프로세스는 추가적인 정보를 고려하여 계층화된 코딩된 비디오 비트스트림들에 대해 실현된다.
다중 계층 서브 픽처에 대한 시그널링 양상들을 고려하는 경우에 상기 개시된 시그널링 및 프로세싱과의 주요 차이점은, 비트스트림의 타겟팅된 데이터 부분들이 더 이상 mcts_id 식별자의 단일 값에 의해 식별되지 않는다는 점이다. 대신에, 계층 세트의 식별자 및 적용가능한 경우 각각의 포함된 계층 내의 TMCTS의 다수의 식별자들 및 적용가능한 경우 포함된 계층들 사이의 각각의 ILCTS 식별자들은 비트스트림의 타겟팅된 부분을 식별하는 다차원 벡터를 형성한다.
· 본 발명의 실시예들은, 신택스 엘리먼트 mcts_identifier[i][k]가 설명된 다차원 식별자 벡터로 대체되는 상기 개시된 단일 층 시그널링 1A, 1B, 1C 및 2A의 변형들이다.
또한, 인코더 제약들 또는 비트스트림 요건들은 다음과 같이 확장된다.
2.2. 추출 프로세스:
입력:
· 다음으로 구성된 다차원 식별자 벡터
· 타겟 계층 세트 layerSetIdTarget
· 적어도 식별자 layerSetIdTarget를 갖는 계층 세트 내에서 최고 계층에 대한 타겟 계층 TMCTS 식별자 MCTSIdTarget_Lx
· 대응하는 타겟 ILCTS 식별자들 LTCTSIdTarget_Lx_refLy
· 비트스트림
비트스트림 요건들:
단일 계층 경우에 대해 정의된 것에 추가로:
o MCTSIdTarget_Lx와 동일한 mcts_id[i]를 갖는 TMCTS SEI 메시지들은 각각의 계층들 Lx에 대해 존재하고, ILTCTSIdTarget_Lx_refLy와 동일한 ilcts_id[i]를 갖는 ILCTS SEI 메시지들은 비트스트림에 포함된 임의의 사용된 참조 계층들 Ly 및 계층 세트 layerSetIdTarget에 대한 각각의 계층들 Lx에 존재한다.
추출된 비트스트림 부분에서 누락된 참조 샘플들의 존재를 배제하기 위해, 비트스트림 부분을 정의하는 TMCTS 및 ILCTS는 다음의 제약들을 추가로 달성해야 한다.
o MCTSIdTarget_LA와 동일한 mcts_id[i]와 연관된 타일 세트 tsA를 갖는 각각의 참조 계층 A에 대해: tsA를 구성하는 계층 A의 타일들은 ILTCTSIdTarget_LA_refLy와 동일한 ilcts_id[i]를 갖는 세트와 연관된 동일한 타일들이다.
o MCTSIdTarget_LB와 동일한 mcts_id[i]와 연관된 타일 세트 tsB를 갖는 각각의 참조 계층 B에 대해: tsB를 구성하는 계층 B의 타일들은 ilcts_id[i] ILCTSIdTarget_Lx_refLB에 표시된 연관된 참조 타일 세트에 완전히 포함된다.
프로세스
계층 x마다: mcts_id[i] 식별자들 MCTSIdTarget_Lx를 갖는 타일 세트 내에 없는 모든 타일 NAL 유닛들을 제거한다.
본 출원의 다음 양상으로 넘어 가기 전에, 하위 영역(22)이 타일들의 세트로 구성될 수 있는 상기 언급된 가능성에 대해 간략히 언급될 것이고, 픽처(12) 내에서 타일들의 세트의 감소된 비디오 데이터 스트림(62)에 의해 표현되는 비디오(84)의 더 작은 픽처들(86) 내의 이들 타일들의 서로에 대한 상대적 위치와 상이할 수 있다.
도 13은 디코딩 순서를 따라 대문자들(A 내지 I)을 사용하여 열거된 타일들의 어레이(42)로 세분화될 픽처들(12)을 예시한다. 단지 예시를 위해, 도 13은 예시적으로 단지 하나의 픽처 및 3x3 타일들(42)로의 세분화를 도시한다. 예를 들어, 픽처들(12)은, 코딩 의존도들이 타일 경계들(40)을 가로지르지 않는 방식으로 비디오 데이터 스트림(10)으로 코딩되고, 따라서 코딩 의존도들은 예를 들어 픽처 내 공간 상호 의존도들 뿐만 아니라 시간 독립성들을 포함하도록 제한된다고 가정한다. 따라서, 현재 픽처 내의 타일(42)은 임의의 이전에 코딩/디코딩된 픽처, 즉 시간 참조 픽처 내의 그 자체 또는 공동 위치된 타일에 단지 의존한다.
이러한 상황에서, 하위 영역(22)은 예를 들어 타일들의 세트 {D, F, G, I}와 같이 불연속인 타일들의 세트(42)로 구성될 수 있다. 상호 독립성으로 인해, 비디오(84)의 픽처들(86)은 참여 타일들이 상이한 방식으로 픽처(86) 내에 공간적으로 배열되는 방식으로 하위 영역(22)을 나타낼 수 있다. 이는 도 13에 도시되며; 픽처들(86)은 또한 타일(42)의 단위로 감소된 비디오 데이터 스트림(62)으로 인코딩되지만, 픽처들(12)의 하위 영역(22)을 형성하는 타일들은 서로 다른 상호 위치 관계에 있는 픽처들(86) 내에 공간적으로 배열된다. 도 13의 예에서, 하위 영역(22)을 형성하는 타일들(42)은 픽처들(12)이 수평 파노라마 뷰를 나타낸 것처럼 픽처들(12)의 대향 측면들에서 타일들을 점유하여, 이들 대향 측면들에서의 타일들이 실제로 파노라마 장면의 인접 부분들을 나타내도록 한다. 그러나, 픽처들(86)에서, 각각의 타일 열의 타일들은 픽처들(12)의 상대 위치에 대한 위치들을 스위칭한다. 즉, 예를 들어, 타일 F는 픽처들(12)에서의 타일들(D 및 F)의 상호 수평 위치와 비교하는 경우 타일 D에 비해 좌측에 나타난다.
본 출원의 다음 양상으로 진행하기 전에, 타일들(42) 및 섹션(22)은 코딩 의존도들이 이의 경계를 가로지르지 않도록 제한된 상술한 방식으로 픽처들(12)로 인코딩될 필요가 없음을 주목해야 한다. 자연적으로, 이러한 제약은 비디오 데이터 스트림 감소/추출의 상술한 개념을 완화하지만, 그러한 코딩 의존도들은 애플리케이션에 따라 하위 영역(22)/타일들(42)의 경계를 따라 단지 작은 에지 부분에만 영향을 미치는 경향이 있어서, 이러한 에지 부분들에서의 왜곡은 애플리케이션에 따라 수용될 수 있다.
추가로, 지금까지 앞서 설명된 실시예들은, 설명된 준수 포인트를 새로 포함하는 방식으로 기존의 비디오 코덱을 확장시키는 가능성, 즉, 오직 준수를 유지하는 동안 원본 픽처들(12)의 하위 영역(22)에 관한 감소된 비디오 스트림으로 비디오 스트림을 감소시키는 가능성을 제시하였고, 이를 위해, 정보(50)는 예시적으로 SEI 메시지, VUI 또는 파라미터 세트 확장, 즉, 좋아하는 것 또는 싫어하는 것에 따라 디코더들에 의해 스킵될 수 있는 원본 비디오 데이터 스트림의 일부들에 숨겨져 있음을 주목한다. 그러나, 대안적으로, 정보(50)는 규범적 부분들인 부분들에서 비디오 데이터 스트림 내에서 전달될 수 있다. 즉, 새로운 비디오 코덱은, 스크래치로부터, 설명된 준수 포인트를 포함하는 방식으로 설정될 수 있다.
추가로, 완전성을 위해, 상기 실시예들에 대한 추가적인 특정 구현 예가 설명되며, 이러한 예는 상기 실시예들을 구현하기 위한 방식으로 HEVC 표준을 확장할 수 있는 가능성을 예시한다. 이를 위해 새로운 SEI 메시지들이 제공된다. 즉, 개별적인 HEVC 준수 비트스트림으로서 동작 제한적 타일 세트(MCTS)의 추출을 가능하게 하는 HEVC 규격에 대한 수정들이 설명된다. 2개의 SEI 메시지들이 사용되고 아래에서 설명된다.
제1 SEI 메시지, 즉 MCTS 추출 정보 세트 SEI 메시지는 MCTS 특정 대체 파라미터 세트들의 전달에 대한 신택스를 제공하고 시맨틱스에서 추출 프로세스를 정의한다. 제2 SEI 메시지, 즉 MCTS 추출 정보 네스팅 SEI 메시지는 MCTS 특정 네스팅된 SEI 메시지들에 대한 신택스를 제공한다.
따라서, 이들 SEI 메시지들을 HEVC 프레임 워크에 포함시키기 위해, HEVC의 일반적 SEI 메시지 신택스는 새로운 타입들의 SEI 메시지들을 포함하도록 수정된다:
Figure 112022063581416-pat00001
따라서, 리스트 SingleLayerSeiList는 페이로드 타입 값들 3, 6, 9, 15, 16, 17, 19, 22, 23, 45, 47, 56, 128, 129, 131, 132, 및 134 내지 153(포함)로 구성되도록 설정된다. 유사하게, 리스트 VclAssociatedSeiList 및 PicUnitRepConSeiList는 새로운 SEI 메시지들의 타입 번호들(152 및 153)에 의해 확장될 것이고, 이 번호는 당연히 단지 예시 목적으로만 선택된다.
HEVC의 표 D.1(SEI 메시지들의 지속성 범위)은 추가적으로 SEI 메시지들의 새로운 테이프들에 대한 힌트를 포함할 것이다:
Figure 112022063581416-pat00002
이들의 신택스는 다음과 같을 것이다: MCTS 추출 정보 세트 SEI 메시지 신택스는 다음과 같이 설계될 수 있다:
Figure 112022063581416-pat00003
시맨틱스가 관련되는 한, MCTS 추출 정보 세트 SEI 메시지는 대체 파라미터들(56)을 사용하는 정보(50)에 대한 예이다.
MCTS 추출 정보 세트 SEI 메시지는 모션-제약된 타일 세트, 즉 전체 픽처 영역의 프래그먼트(84)를 형성하는 타일 세트로부터 HEVC 준수 비트스트림을 유도하기 위해 아래에 특정된 바와 같이 서브-비트스트림 MCTS 추출을 수행하기 위한 보충 정보를 제공한다. 이 정보는 다수의 추출 정보 세트들로 구성되며, 각각은 추출 정보 세트가 적용되는 모션-제약된 타일 세트들의 식별자들을 포함한다. 각각의 추출 정보 세트는 서브-비트스트림 MCTS 추출 프로세스 동안 사용될 대체 비디오 파라미터 세트들, 시퀀스 파라미터 세트들 및 픽처 파라미터 세트들의 RBSP 바이트들을 포함한다.
픽처들 associatedPicSet의 세트를, MCTS 추출 정보 세트 SEI 메시지(포함)를 포함하는 액세스 유닛으로부터, 디코딩 순서에서 임의의 다음 것 첫번째(포함하지 않음)까지의 픽처들이라 한다.
- MCTS 추출 정보 세트 SEI 메시지를 포함하는 디코딩 순서에서 다음 액세스 유닛.
- 디코딩 순서에서 1과 동일한 NoRaslOutputFlag를 갖는 다음 IRAP 픽처.
- 1과 동일한 NoClrasOutputFlag를 갖는, 디코딩 순서에서 다음 IRAP 액세스 유닛.
MCTS 추출 정보 세트 SEI 메시지의 범위는 픽처들 associatedPicSet의 세트이다.
MCT 추출 정보 세트 타일 세트 SEI 메시지가 associatedPicSet의 임의의 픽처에 대해 존재하는 경우, 시간적 모션-제약된 타일 세트 SEI 메시지는 디코딩 순서에서 associatedPicSet의 제1 픽처에 대해 존재할 것이고, associatedPicSet의 다른 픽처들에 대해 또한 존재할 수 있다. 시간적 모션-제약된 타일 세트 SEI 메시지는 associatedPicSet 내의 모든 픽처들에 대해 mcts_identifer[]와 같은 mcts_id[]를 가질 것이다.
MCT 추출 정보 세트 타일 세트 SEI 메시지가 associatedPicSet의 임의의 픽처에 대해 존재하는 경우, MCTS 추출 정보 세트 SEI 메시지는 디코딩 순서에서 associatedPicSet의 제1 픽처에 대해 존재할 것이고, associatedPicSet의 다른 픽처들에 대해 또한 존재할 수 있다.
MCTS 추출 정보 세트 SEI 메시지는 associatedPicSet의 임의의 픽처에 대해 활성인 임의의 PPS에 대해 tiles_enabled_flag가 0과 동일한 경우, associatedPicSet의 임의의 픽처에 대해 존재하지 않을 것이다.
associatedPicSet의 임의의 픽처에 대해 활성인 모든 PPS가 신택스 엘리먼트들 num_tile_columns_minus1, num_tile_rows_minus1, uniform_spacing_flag, column_width_minus1[i], 및 row_height_minus1[i]의 동일한 값들을 갖지 않으면, MCTS 추출 정보 세트 SEI 메시지는 associatedPicSet의 임의의 픽처에 대해 존재하지 않을 것이다.
주 1 - 이러한 제약은 1과 동일한 tiles_fixed_structure_flag와 연관된 제약과 유사하며, MCTS 추출 정보 세트 SEI 메시지가 존재하는 경우(이것이 요구되는 것은 아님), tiles_fixed_structure_flag가 1과 동일한 것이 바람직할 수 있다.
하나 초과의 MCTS 추출 정보 세트 SEI 메시지가 associatedPicSet의 픽처들에 대해 존재하는 경우, 이들은 동일한 콘텐츠를 포함할 것이다.
타일 세트 tileSetA에 속한 타일들을 포함하는 NAL 유닛들은 타일 세트 tileSetA에 속하지 않는 타일들을 포함하지 않을 것이다.
각각의 액세스 유닛에서 MCTS 추출 정보 세트 SEI 메시지들의 수는 5를 초과하지 않을 것이다.
num_extraction_info_sets_minus1 플러스 1은 mcts 추출 프로세스에서 적용될 MCTS 추출 정보 세트 SEI 메시지에 포함된 추출 정보 세트들의 수를 표시한다. num_extraction_info_sets_minus1의 값은 0 내지 232 - 2(포함)의 범위일 것이다.
i번째 추출 정보 세트에는 i와 동일한 MCTS 추출 정보 세트 식별자 값이 할당된다.
num_associated_tile_set_identifiers_minus1[i] 플러스 1은 i번째 추출 정보 세트에서 타일 세트들의 mcts_id의 값들의 수를 표시한다. num_extraction_info_sets_minus1[i]의 값은 0 내지 232 - 2(포함)의 범위일 것이다.
mcts_identifier[i][j]는 i번째 추출 정보 세트와 연관된 mcts_identifier[i][j]와 동일한 mcts_id를 갖는 j번재 타일을 식별한다. mcts_identifier[i][j]의 값은 0 내지 232 - 2(포함)의 범위일 것이다.
num_vps_in_extraction_info_set_minus1[i] 플러스 1은 i번째 추출 정보 세트에서 대체 비디오 파라미터 세트들의 수를 표시한다. num_vps_in_extraction_info_set_minus1[i]의 값은 0 내지 15(포함)의 범위일 것이다.
vps_rbsp_data_length[i][j]는 i번째 추출 정보 세트에서 후속 j번째 대체 비디오 파라미터 세트의 바이트들 vps_rbsp_data_bytes[i][j][k]의 수를 표시한다.
num_sps_in_extraction_info_set_minus1[i] 플러스 1은 i번째 추출 정보 세트에서 대체 시퀀스 파라미터 세트들의 수를 표시한다. num_sps_in_extraction_info_set_minus1[i]의 값은 0 내지 15(포함)의 범위일 것이다.
sps_rbsp_data_length[i][j]는 i번째 추출 정보 세트에서 후속 j번째 대체 시퀀스 파라미터 세트의 바이트들 sps_rbsp_data_bytes[i][j][k]의 수를 표시한다.
num_pps_in_extraction_info_set_minus1[i] 플러스 1은 i번째 추출 정보 세트에서 대체 픽처 파라미터 세트들의 수를 표시한다. num_pps_in_extraction_info_set_minus1[i]의 값은 0 내지 63(포함)의 범위일 것이다.
pps_nuh_temporal_id_plus1[i][j]는 i번째 추출 정보 세트에 대한 j번째 대체 픽처 파라미터 세트에 대한 pps_rbsp_data_bytes[i][j][]로 특정되는 PPS RBSP에서 특정된 PPS 데이터와 연관된 PPS NAL 유닛을 생성하기 위한 시간 식별자를 특정한다.
pps_rbsp_data_length[i][j]는 i번째 추출 정보 세트에서 후속 j번째 대체 픽처 파라미터 세트의 바이트들 pps_rbsp_data_bytes[i][j][k]의 수를 표시한다.
mcts_alignment_bit_equal_to_zero는 0과 동일할 것이다.
vps_rbsp_data_bytes[i][j][k]는 i번째 추출 정보 세트에서 후속 j번째 대체 비디오 파라미터 세트의 RBSP의 k번째 바이트를 포함한다.
sps_rbsp_data_bytes[i][j][k]는 i번째 추출 정보 세트에서 후속 j번째 대체 시퀀스 파라미터 세트의 RBSP의 k번째 바이트를 포함한다.
pps_rbsp_data_bytes[i][j][k]는 i번째 추출 정보 세트에서 후속 j번째 대체 픽처 파라미터 세트의 RBSP의 k번째 바이트를 포함한다.
서브-비트스트림 MCTS 추출 프로세스는 다음과 같이 적용된다:
비트스트림 inBitstream, 타겟 MCTS 식별자 mctsIdTarget, 타겟 MCTS 추출 정보 세트 식별자 mctsEISIdTarget 및 타겟 최고 TemporalId 값 mctsTIdTarget를 서브 비트스트림 MCTS 추출 프로세스에 대한 입력이라 한다.
서브 비트스트림 MCTS 추출 프로세스의 출력은 서브 비트스트림 outBitstream이다.
비트스트림과 함께 이 절에 특정된 프로세스의 출력인 임의의 출력 서브 비트스트림이 준수 비트스트림일 것이라는 것은 입력 비트스트림에 대한 비트스트림 준수에 대한 요건이다.
출력 서브 비트스트림은 다음과 같이 유도된다:
- 비트스트림 outBitstream은 비트스트림 inBitstream과 동일하게 설정된다.
- 리스트들 ausWithVPS, ausWithSPS 및 ausWithPPS는 VPS_NUT, SPS_NUT 및 PPS_NUT 유형들을 갖는 VCL NAL 유닛들을 포함하는 outBitstream 내의 모든 액세스 유닛들로 구성되도록 설정된다.
- 0과 동일한 nuh_layer_id를 갖고 네스팅되지 않은 SEI 메시지들을 포함하는 모든 SEI NAL 유닛들을 제거한다.
*주 2 - "스마트" 비트스트림 추출기는, 서브 비트스트림에 적용가능한 SEI 메시지들이 원본 비트스트림의 mcts_extraction_info_nesting ( )에서 네스팅된 SEI 메시지들로서 존재한다면, 추출된 서브 비트스트림에 적절한 네스팅되지 않은 SEI 메시지들을 포함할 수 있다.
- 타입들을 갖는 모든 NAL 유닛들을 outBitstream으로부터 제거한다.
- mctsIdTarget과 동일한 mcts_id[i]를 갖는 타일 세트에 속하지 않는 타일들을 포함하는 VCL NAL 유닛들
- 타입들 VPS_NUT, SPS_NUT 또는 PPS_NUT를 갖는 넌-VCL NAL 유닛들.
- mctsEISIdTarget번째 MCTS 추출 정보 세트에서 VPS RBSP 데이터로부터 생성된 타입 VPS_NUT를 갖는 NAL 유닛들, 즉, 0 내지 num_vps_in_extraction_info_minus1[mctsEISIdTarget](포함) 범위의 j의 모든 값들에 대한 vps_rbsp_data_bytes[mctsEISIdTarget][j][]을 outBitstream num_vps_in_extraction_info_minus1[mctsEISIdTarget] 플러스 1의 리스트 ausWithVPS 내의 모든 액세스 유닛들에 삽입한다. 생성된 각각의 VPS_NUT에 대해, nuh_layer_id는 0과 동일하게 설정되고 nuh_temporal_id_plus1은 1과 동일하게 설정된다.
- mctsEISIdTarget번째 MCTS 추출 정보 세트에서 SPS RBSP 데이터로부터 생성된 타입 SPS_NUT를 갖는 NAL 유닛들, 즉, 0 내지 num_sps_in_extraction_info_minus1[mctsEISIdTarget](포함) 범위의 j의 모든 값들에 대한 sps_rbsp_data_bytes[mctsEISIdTarget][j][]을 outBitstream num_sps_in_extraction_info_minus1[mctsEISIdTarget] 플러스 1의 리스트 ausWithSPS 내의 모든 액세스 유닛들에 삽입한다. 생성된 각각의 SPS_NUT에 대해, nuh_layer_id는 0과 동일하게 설정되고 nuh_temporal_id_plus1은 1과 동일하게 설정된다.
- mctsEISIdTarget번째 MCTS 추출 정보 세트에서 PPS RBSP 데이터로부터 생성된 타입 PPS_NUT를 갖는 NAL 유닛들, 즉, pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]가 mctsTIdTarget보다 작거나 그와 동일한 0 내지 num_pps_in_extraction_info_minus1[mctsEISIdTarget](포함) 범위의 j의 모든 값들에 대한 pps_rbsp_data_bytes[mctsEISIdTarget][j][]을 outBitstream의 리스트 ausWithPPS 내의 모든 액세스 유닛들에 삽입한다. 생성된 각각의 PPS_NUT에 대해, nuh_layer_id는 0과 동일하게 설정되고, nuh_temporal_id_plus1은, pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]이 mctsTIdTarget보다 작거나 그와 동일한 0 내지 num_pps_in_extraction_info_minus1[mctsEISIdTarget](포함) 범위의 j의 모든 값들에 대해 pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]와 동일하게 설정된다.
- mctsTIdTarget보다 큰 TemporalId를 갖는 모든 NAL 유닛들을 outBitstream으로부터 제거한다.
- outBitstream의 각각의 나머지 VCL NAL 유닛들에 대해, 다음과 같이 슬라이스 세그먼트 헤더를 조정한다:
- 각각의 액세스 유닛 내의 제1 VCL NAL 유닛에 대해, first_slice_segment_in_pic_flag의 값을 1과 동일하게 설정하고, 그렇지 않으면 0으로 설정한다.
- slice_pic_parameter_set_id와 동일한 pps_pic_parameter_set_id를 갖는 PPS에서 정의된 타일 셋업에 따라 slice_segment_address의 값을 설정한다.
MCTS 추출 정보 네스팅 SEI 메시지 신택스는 다음과 같이 설계될 수 있다:
Figure 112022063581416-pat00004
시맨틱스에 관해서, MCTS 추출 정보 네스팅 SEI 메시지는 정보(50)를 형성하기 위해 MCTS 추출 정보 세트 SEI 메시지에 추가적으로 또는 그 대신에 존재할 수 있다.
MCTS 추출 정보 네스팅 SEI 메시지는 네스팅된 SEI 메시지들을 전달하고 네스팅된 SEI 메시지들을 하나 이상의 모션-제약된 타일 세트에 대응하는 비트스트림 서브세트들과 연관시키는 메커니즘을 제공한다.
MCTS 추출 정보 세트 SEI 메시지의 시맨틱스에서 특정된 서브 비트스트림 MCTS 추출 프로세스에서, MCTS 추출 정보 네스팅 SEI 메시지에 포함된 네스팅된 SEI 메시지들은 MCTS 추출 정보 네스팅 SEI 메시지를 포함하는 액세스 유닛 내의 네스팅되지 않은 SEI 메시지들을 대체하기 위해 사용될 수 있다.
0과 동일한 all_tile_sets_flag는, mcts_identifier 리스트가 mcts_identifier[i]로 구성되도록 설정된다. 1과 동일한 all_tile_sets_flag는, 리스트 mcts_identifier[i]가 현재의 액세스 유닛에 존재하는 temporal_motion_constrained_tile_sets SEI 메시지들의 mcts_id[]의 모든 값들로 구성되는 것을 특정한다.
num_associated_mcts_identifiers_minus1 플러스 1은 후속 mcts_identifier의 수를 특정한다. num_associated_mcts_identifiers_minus1[i]의 값은 0 내지 232 - 2(포함)의 범위일 것이다.
mcts_identifier[i]는 후속 네스팅된 SEI 메시지들과 연관된 mcts_identifier[i]와 동일한 mcts_id를 갖는 타일 세트를 식별한다. mcts_identifier[i]의 값은 0 내지 232 - 2(포함)의 범위일 것이다.
num_seis_in_mcts_extraction_seis_minus1 플러스 1은 후속 네스팅된 SEI 메시지들의 수를 표시한다.
mcts_nesting_zero_bit는 0과 동일할 것이다.
정보(50)의 평가 또는 생성, 즉 파라미터 및/또는 SEI 적응을 안내하는 정보는 대안적으로 인코더(80) 외부에서, 즉 스트림(10)으로의 픽처들(12)의 실제 인코딩이 수행되는 장소의 외부에서 수행될 수 있음이 이미 표시되었다. 이러한 대안에 따라, 데이터 스트림(10)은 원본 파라미터들(20a) 및/또는 오직 비감소 스트림(10)에 관한 원본 SEI 메시지(들)를 수반하는 방식으로 전송될 수 있다. 선택적으로, 픽처들(12)의 하나 이상의 지원되는 하위 영역(22)에 관한 정보는 비디오 스트림(10)에 존재할 수 있지만, 심지어 이것은 강제적이 아닌데, 이는 정보(50)의 평가가 하나 이상의 하위 영역들을 결정하기 위해 스트림(12)의 타일 구조 자체의 평가에 기초할 수 있기 때문이다. 이렇게 함으로써, 정보(50)의 평가의 번거로운 작업은 인코더 위치로부터 클라이언트에 더 가까운 일부 위치 또는 심지어 최종 디코더(82)의 바로 상류와 같은 사용자 위치로 변위되더라도, 완전한(즉, 감소되지 않은) 데이터 스트림(10)을 전송해야 할 필요성은 원하는 하위 영역(22) 외부의 픽처들(12)의 영역을 참조하는 페이로드 부분(18)의 부분들(70)의 전송을 남겨 두어서 회피될 수 있다. 감소되지 않은 데이터 스트림(12)에 관련된 원본 코딩 파라미터 세트(20a) 및/또는 SEI 메시지(들)는 또한 당연히 전송될 것이다. 그 다음, 부분(70)의 실제 감소 또는 제거(68)를 수행하는 네트워크 엔티티(60)는 정보(50)의 평가를 수행하는 엔티티의 바로 상류에 상주할 수 있다. 예를 들어, 스트리밍 디바이스는 부분들(70)에 속하지 않는 데이터 스트림(10)의 페이로드 부분(18)의 부분들만을 특별하게 다운로드한다. 이를 위해, 매니페스트 파일과 같은 일부 다운로드 처방을 사용할 수 있다. 이를 위해 DASH 프로토콜이 사용될 수 있다. 사실상, 정보(50)의 평가는 단지 도 3 또는 도 5에 따른 파라미터들의 실제 파라미터 조정의 준비 및/또는 SEI 대체로서 디코더의 전방에 상주하는 이러한 네트워크 디바이스들에서 내부적으로 행해질 수 있다. 전체적으로, 네트워크 디바이스는 전술한 대안에 따라, 단지 페이로드 부분(18)보다 적은 부분(70)을 포함하지만 픽처들(12)의 완전한 코딩을 페이로드 부분(70)을 포함하는 페이로드 부분(18)으로 파라미터화하는 파라미터들(20a)를 여전히 갖는 감소된 데이터 스트림(10)을 수신하기 위한 인터페이스를 포함할 수 있다. 위치 표시들(32)은 여전히 원본 표시들일 수 있다. 즉, 수신된 데이터 스트림은 실제로 잘못 코딩된다. 수신된 데이터 스트림은 파라미터들(20b)을 갖는 도 5에 도시된 데이터 스트림(62)에 대응하지만, 여전히 원본 파라미터들(20a)이고, 위치 표시들(32)은 여전히 잘못되어 있다. 그 스트림 내의 인덱스들(54)은 그 스트림 내의 파라미터들(20a)을 참조하며, 감소되지 않은 데이터 스트림의 원본 코딩에 대해 수정되지 않았을 수 있다. 실제로, 감소되지 않은 원본 데이터 스트림은 부분들(70)의 생략에 의해 수신된 것과 상이할 수 있다. 그러나, 선택적으로, 원본 코딩, 예를 들어, 원본 픽처들(12)의 크기 또는 완전한 코딩의 다른 특성들을 참조하는 하나 이상의 SEI 메시지들이 포함된다. 그러한 네트워크 디바이스의 출력에서, 디코더(82)에 의해 디코딩되는 데이터 스트림(62)이 출력된다. 이러한 입력 및 출력 사이에는, 인바운드 데이터 스트림(10)이 이미 감소 대상인 하위 영역(12)에 피딩하기 위해 SEI 메시지(들) 및/또는 파라미터들을 적응시키는 모듈이 연결된다. 즉, 그러한 모듈은 작업(74), 즉, 파라미터들(20b)이 되도록 하는 파라미터들(20a)의 조정, 및 작업(78), 즉 하위 영역(22)의 둘레를 정확히 참조하기 위한 위치 표시들(32)의 조정을 수행해야 할 것이다. 감소가 수행된 하위 영역(22)에 관한 지식은 하위 영역(22)을 참조하는 페이로드 부분(18)의 부분들로의 스트림(10)의 다운로드를 특별히 제한하는 경우에 그러한 네트워크 디바이스에 대해 내부적일 수 있거나, 감소(68) 작업을 가정하여 네트워크 디바이스의 상류에 상주할 수 있는 다른 네트워크 디바이스의 경우에는 외부로부터 제공될 수 있다. 입력 및 출력 사이에 모듈을 포함하는 네트워크 디바이스에 대해, 소프트웨어, 펌웨어 또는 하드웨어에서의 구현 측면에서 예를 들어, 도 4의 네트워크 디바이스와 관련하여 위에서 기술된 것과 동일한 진술이 사실이다. 단지 개략된 실시예를 요약하면, 이는, 비디오의 픽처들이 코딩되는 페이로드 부분의 프랙션을 포함하는 데이터 스트림을 수신하도록 구성된 네트워크 디바이스에 관한 것이다. 프랙션은 픽처들의 미리 결정된 하위 영역(22) 외부의 픽처들의 영역을 참조하는 페이로드 부분(18)으로부터 부분들(70)을 제외하는 경우의 결과들에 대응한다. 비디오의 픽처들(12)은 데이터 스트림의 파라미터 세트 부분에서 코딩 파라미터 설정들을 사용하여 배제없이 파라미터화된 방식으로 페이로드 부분(18)으로 코딩된다. 즉, 정확하게 수신된 데이터 스트림의 파라미터 세트 부분은, 부분들(70)이 중단되지 않으면 픽처(12)의 코딩을 페이로드 부분(18)으로 파라미터화한다. 추가적으로 또는 대안적으로, 비디오의 픽처(12)는 배제없이, 데이터 스트림의 보충 강화 메시지에 의해 표시되는 보충 강화 정보와 매칭하는 방식으로 페이로드 부분(18)으로 코딩된다. 즉, 수신된 데이터 스트림에 선택적으로 포함되는 SEI 메시지는 실제로 감소되지 않은 페이로드 부분(18)과 매칭한다. 네트워크 디바이스는 픽처들(12) 대신 미리 결정된 하위 영역(22)의 둘레로부터 측정된 위치를 표시하기 위해 페이로드 부분의 위치 표시들(32)을 변경(78)함으로써 수신된 데이터 스트림을 수정하고, 수정된 데이터 스트림이 페이로드 부분(18)의 프랙션, 즉, 70을 제외한 전부 또는 달리 말해서, 그렇게 조정된 코딩 파라미터 설정들을 사용하여 정확하게 파라미터화되는 방식으로 및/또는 조정 이후 조정된 보충 강화 정보 메시지에 의해 표시된 보충 강화 정보에 매칭하는 방식으로 인코딩되는 픽처들의 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들(84)을 을 갖도록, 파라미터 세트 부분에서 코딩 파라미터 설정들을 조정하고 그리고/또는 보충 강화 정보 메시지를 조정한다. 파라미터들(20a)에 추가하여 파라미터들(20b)의 생성은 이전의 실시예들에 따라 인코더(80)에 의해 수행되어, 파라미터 설정들(20a 및 20b) 양측을 전달하는 데이터 스트림을 도출한다. 여기서, 전술한 대안에서, 파라미터들(20a)은 준 즉각적으로 파라미터들(20b)로 전환된다. 파라미터들(20a)을 파라미터들(20b)로 조정하는 것은 하위 영역(22)에 관한 지식을 사용하여 파라미터들(20a)을 수정하는 것을 요구한다. 예를 들어, 설정(20a) 내의 픽처 크기(26)는 완전한 픽처(12)의 크기에 대응하는 한편, 픽처 크기는 설정(20b)에서의 조정 후에 하위 영역(22) 또는 픽처들(86)의 크기를 각각 표시해야 한다. 유사하게, 설정(20a) 내의 타일 구조(38)는 완전한 픽처(12)의 구조에 대응하는 한편, 타일 구조(38)는 설정(20b)에서의 조정 후에 하위 영역(22) 또는 픽처들(86)의 타일 구조를 각각 표시해야 한다. 배타적이 아니라 예시적으로 버퍼 크기 및 타이밍(46)에 대해 유사한 설명들이 사실이다. 인바운드 수신 데이터 스트림에 재전송된 어떠한 SEI 메시지가 없으면 어떠한 조정도 필요하지 않을 것이다. 대안적으로, SEI 메시지는 이를 조정하는 대신 간단히 중지될 수 있다.
상기 실시예들과 관련하여, 보충 강화 정보 적응은 버퍼 크기 및/또는 버퍼 타이밍 데이터와 관련될 수 있음을 주목한다. 즉, 스트리핑되거나 감소된 비디오 스트림을 준수하도록 원본 SEI와 대체 SEI 사이에 적응되거나 구별되는 선택적으로 존재하는 SEI 내의 정보의 타입은 적어도 부분적으로 버퍼 크기 및/또는 버퍼 타이밍 데이터와 관련될 수 있다. 즉, 스트림(10)의 SEI 데이터는 완전한 코딩과 관련된 버퍼 크기 및/또는 버퍼 타이밍 데이터를 가질 수 있는 한편, 도 1과 관련하여 설명된 바와 같은 이전 SEI 데이터에 전달되거나 또는 이전 단락에서 설명된 바와 같이 즉석에서 생성된 대체 SEI 데이터는 감소된 스트림(62) 및/또는 감소된 픽처들(86)과 관련된 버퍼 크기 및/또는 버퍼 타이밍 데이터를 갖는다.
다음의 설명은 본 출원의 제2 양상, 즉 일반적으로 비디오 코덱의 직사각형 픽처 형상들에 적응되지 않은 비디오 데이터의 보다 효율적인 전달을 가능하게 하기 위한 개념에 관한 것이다. 이전과 마찬가지로, 제1 양상과 관련하여, 이하의 설명은 일종의 소개, 즉 이하에 설명되는 실시예들로 인한 이점들을 동기 부여하기 위해 그러한 문제점들이 발생할 수 있는 애플리케이션들의 예시적인 설명으로 시작한다. 그러나, 또한 이러한 예비적 설명은 추후 설명된 실시예들의 범위를 제한하는 것으로 이해되어서는 안됨을 주목해야 한다. 그 외에도, 다음에 설명되는 본 출원의 양상은 또한 전술한 실시예와 유리한 방식으로 결합될 수 있음을 주목한다. 이와 관련된 세부사항들이 또한 아래에 기술된다.
다음으로 설명되는 문제점은 파노라마 비디오에 대해 사용되는 다양한 투사들, 특히 전술한 하위 영역 추출과 같은 프로세싱이 적용되는 경우 발생한다.
예시적으로, 소위 3차 투사가 이하의 설명에서 사용된다. 3차 투사는 그노몬(gnomonic) 투사로 또한 지칭되는 직사각형 투사의 특수한 경우이다. 이러한 투사는 장면의 이미지 표현이 포착되는 경우 대부분의 종래의 카메라 시스템들/렌즈들에 대해 근사된 변환을 설명한다. 장면의 직선들은 도 14에 예시된 바와 같이, 결과적 이미지에서 직선들에 맵핑된다.
이제, 3차 투사는 큐브의 중심으로부터 90°x 90°의 시야각을 각각 갖는 6개의 면들에 큐브의 주변을 매핑하는 직선 투사를 적용한다. 3차 투사와 같은 결과는 도 15의 픽처 A로서 도시된다. 공통 이미지에서 6개의 면들에 대한 다른 배열들이 또한 가능하다.
이제, 이러한 결과적인 픽처 A(즉, 보다 적은 미사용된 이미지 영역(130) 및 직사각형 형상)의 보다 코딩 친화적인 표현을 유도하기 위해, 이미지 패치들은 예를 들어 도 16에 예시된 바와 같이 픽처 B를 유도하기 위해 픽처 내에서 변위될 수 있다.
시스템 관점에서, 픽처 B(도 16) 내의 다양한 이미지 패치들이 픽처 A의 원본(세계-보기 그대로) 연속적 표현과 공간적으로 어떻게 관련되어 있는지, 즉, 픽처 B에서 표현이 주어지면 픽처 A(도 15)를 유도하기 위한 추가적인 정보에 대해 이해하는 것이 중요하다. 특히 도 1 내지 도 13에 따른 코딩된 도메인에서의 상술된 하위 영역 추출과 같은 프로세스는 서버 측 또는 네트워크 엘리먼트 상에서 수행된다. 이러한 경우, 도 A의 분리된 ROI(900)를 통해 표시된 바와 같이, 픽처 B의 오직 일부만이 최종 디바이스에서 이용가능하다. 최종 디바이스는 주어진 (부분적) 비디오의 관련 영역들을 최종 디스플레이/렌더링 디바이스가 예상하는 정확한 위치 및 영역들로 재맵핑할 수 있어야 한다. 상기 추출 프로세스에 따라 코딩된 비디오 비트스트림을 변경하는 서버 또는 네트워크 디바이스는 변경된 비디오 비트스트림에 따라 각각의 시그널링 변위 시그널링을 생성 및 추가 또는 조정할 수 있다.
따라서, 후술되는 실시예들은 픽처 B의 샘플들의 비디오 비트스트림(직사각형) 그룹들 내에서 표시하는 시그널링을 제공한다. 추가로, 픽처 B의 샘플에 대한 샘플들의 각각의 그룹의 변위는 수평 및 수직 방향이다. 추가적 실시예에서, 비트스트림 시그널링은 픽처 A의 결과적 픽처 크기에 대한 명시적인 정보를 포함한다. 추가로, 샘플들의 변위된 그룹에 의해 원래 커버된 샘플 또는 샘플들의 변위된 그룹에 의해 커버되지 않은 샘플들의 디폴트 루마 및 크로마 값들. 추가로, 픽처 A의 샘플들의 일부는 픽처 B의 대응하는 샘플들의 샘플 값들로 초기화되는 것으로 가정될 수 있다.
예시적인 실시예는 도 17의 신택스 표에 주어진다.
추가적 실시예는 변위될 샘플 그룹에 속하는 샘플들의 표시에 대해 타일 구조 시그널링을 활용한다.
도 18과 관련하여, 제2 양상에 따른 데이터 스트림(200)의 실시예가 도시되어 있다. 데이터 스트림(200)은 그 안에 인코딩된 비디오(202)를 갖는다. 도 18의 실시예는 오직 데이터 스트림(200)으로만 인코딩된 하나의 픽처를 참조하도록 수정될 수 있지만, 제2 양상에 따른 실시예가 본 출원의 다른 양상들 중 임의의 양상의 실시예들과 결합되는 그러한 예들에 대한 이해를 용이하게 하기 위해, 도 18은 데이터 스트림(200)이 픽처 데이터 스트림보다는 비디오 데이터 스트림인 예를 도시한다. 방금 언급된 바와 같이, 데이터 스트림(200)은 그에 인코딩된 비디오(202)의 픽처들(204)을 갖는다. 그러나, 추가적으로, 비디오 데이터 스트림(200)은 변위 정보(206)를 포함한다. 변위 정보는 다음과 같은 중요성을 갖는다. 실제로, 데이터 스트림(200)은 직사각형이 아닌 외부 둘레를 갖는 픽처들(204)의 픽처 콘텐츠를 전달해야 할 것이다. 도 18은 참조 부호 200에서 이러한 픽처 콘텐츠의 예를 도시한다. 즉, 픽처 콘텐츠(208)는 데이터 스트림(200)이 하나의 타임 스탬프, 즉 하나의 픽처(204) 내에서 전달할 픽처 콘텐츠를 도시한다. 그러나, 실제 픽처 콘텐츠의 둘레(210)는 직사각형이 아니다. 도 18의 예에서, 실제 픽처 콘텐츠는 오히려 큐브(212)의 6개의 측면들의 풀린 것에 대응하며, 그 측면들은 큐브(212)의 6개의 측면들 상으로의 숫자들 1 내지 6의 통상적 분포를 사용하여, 즉, 대향 측면들의 숫자들의 합이 7과 동일하도록 도 18에서 서로 예시적으로 구별된다. 따라서, 각각의 측면은 실제 픽처 콘텐츠(208)의 하나의 하위 영역(214)을 표현하며, 예를 들어 완전한 3차원 파노라마 장면의 여섯번째 장면을, 이 예에서는 정사각형 형상인 각각의 하위 영역(214) 상에 적합하게 투사한 것을 표현할 수 있다. 그러나, 이미 전술한 바와 같이, 하위 영역들(214)은 또한 상이한 형상일 수 있고, 행 및 열의 규칙적인 배열과는 상이한 방식으로 픽처 콘텐츠(208) 내에 배열될 수 있다. 어느 경우이든, 208에 묘사된 실제 픽처 콘텐츠는 직사각형이 아닌 형성이고, 따라서, 풀린 파노라마 콘텐츠(208)를 완전히 포함하는 가장 작은 가능한 직사각형 타겟 픽처 영역(216)은 미사용된 부분들(130), 즉 파노라마 장면과 관련된 실제 픽처 콘텐츠에 의해 점유되지 않은 부분을 갖는다.
따라서, 데이터 스트림(200) 내에 전달된 비디오(202)의 픽처들(204)의 픽처 영역을 "낭비하지" 않기 위해, 픽처들(204)은 하위 영역들(214)의 공간적인 상대적 배열이 타겟 픽처 영역(216) 내의 이들의 배열에 대해 변경되는 방식으로 완전한 실제 픽처 콘텐츠(208)를 전달한다.
도 18에 예시된 바와 같이, 도 18은 하위 영역들, 즉 하위 영역들 1, 2, 4 및 5 중 4개가 타겟 픽처 영역(216) 상에 픽처(204)의 왜곡되지 않거나 일치하는 카피 시에 변위될 필요가 없지만, 하위 영역들 3 및 6은 변위되어야 하는 예를 예시한다. 예시적으로, 도 18에서, 변위들은 2 차원 벡터들(218)에 의해 설명될 수 있는 순수한 병진 치환들이지만, 대안적인 실시예에 따르면, 예를 들어 한편으로는 픽처(204)와 다른 한편으로는 타겟 픽처 영역(216) 및/또는 반사(미러링) 및/또는 회전 사이에서 전환하는 경우 각각의 하위 영역의 스케일링을 추가적으로 포함하는 변위들과 같은 더 복잡한 변위들이 선택될 수 있다. 변위 정보(206)는 픽처들(204)의 적어도 하나의 미리 결정된 하위 영역의 세트 각각에 대해, 타겟 픽처 영역(216)으로의 왜곡되지 않거나 변위가 없는 픽처(204)의 카피에 대한 타겟 픽처 영역(216) 내의 각각의 하위 영역의 변위를 표시할 수 있다. 예를 들어, 도 18의 예에서, 변위 정보(206)는 오직 하위 영역들(3 및 6)만을 포함하는 하위 영역들의 세트(214)에 대한 변위를 표시할 수 있다. 대안적으로, 변위 정보(206)는 그 좌측 상부 코너와 같은 타겟 영역(216)의 몇몇 디폴트 포인트에 대해 하위 영역들(214) 또는 하위 영역들(214)의 변위된 세트에 대한 변위를 표시할 수 있다. 디폴트로, 도 18의 예에서, 픽처(204) 내의 나머지 하위 영역들 1, 2, 4 및 5는, 이들이 예를 들어 디폴트 포인트에 대해 타겟 픽처(216) 상으로 왜곡되지 않거나 일치하는 카피 시에 남아 있는 것으로 취급될 수 있다.
도 19는, 변위 정보가 변위될 하위 영역들(214)의 카운트(220), 타겟 픽처 영역(216, 222)의 크기를 표시하는 타겟 픽처 영역 크기 파라미터들, 및 n개의 변위된 하위 영역들 각각에 대해, 픽처(204) 내의 이들의 원본 성상도의 하위 영역들(214)을 타겟 영역(216) 상으로 맵핑하는 경우 전술한 디폴트 포인트에 대한 또는 이의 위치에 대한 변위를 측정하는, 변위될 각각의 하위 영역(214)의 변위(218)를 설명하는 좌표(224)를 포함할 수 있다. 좌표(224)에 추가로, 정보(206)는 변위될 각각의 하위 영역(214)에 대한 스케일링(226), 즉 각각의 하위 영역(214)을 매핑하는 경우, 타겟 픽처 영역(216) 내의 각각의 좌표(224)에 따라 변위되는 각각의 하위 영역(214)이 어떻게 스케일링될지의 표시를 포함할 수 있다. 스케일링(226)은 변위되지 않은 하위 영역들(214)에 비해 확대 또는 축소될 수 있다. 또한 대안적으로, 수평 및/또는 수직 반사 및/또는 회전은 각각의 하위 영역(214)에 대해 시그널링될 수 있다. 그리고 더욱 추가적으로, 변위 정보(206)는 변위될 또는 타겟 영역(216) 내에 배열될 각각의 하위 영역에 대해, 각각의 영역의 상위 좌측 코너에 대한 좌표 및 하위 우측 코너에 대한 좌표를 포함할 수 있고, 또한 둘 모두는 각각의 하위 영역(214)을 변위 없이 타겟 영역(216) 상에 맵핑하는 경우 디폴트 포인트 또는 각각의 코너들에 대해 측정된다. 따라서, 변위, 스케일링 및 반사가 시그널링될 수 있다. 따라서, 전송된 픽처들(204)의 하위 영역들(214)은 픽처들(204)에서 원본 상대적 배열에 대해 자유롭게 변위될 수 있다.
예를 들어, 픽처들(204)의 시퀀스 또는 전체 비디오(202)에 대한 것과 같이, 변위 정보(206)는 예를 들어 하나의 타임스탬프 또는 하나의 픽처(204)보다 큰 비디오(202)의 시간 간격에 대한 범위, 즉, 유효성을 가질 수 있다. 또한, 도 18은, 선택적으로, 데이터 스트림(200)이 타겟 픽처 영역의 어느 부분(130)이 디코딩 측에서 충전되는지, 즉, 하위 영역들(214) 중 임의의 것, 즉, 픽처(204)의 변위된 또는 변위되지 않은 하위 영역들(214) 중 임의의 하나에 의해 커버되지 않은 그러한 부분들(130)을 사용하여 디폴트 충전을 표시하는 디폴트 충전 정보(228)를 포함할 수 있음을 예시한다. 도 1 내지 도 8의 예에서, 예를 들어, 하위 영역들 1, 2, 4 및 5는 도 18에서 해치되지 않고 도시된 픽처들(204)의 변위되지 않은 부분을 형성하는 한편, 픽처들(204)의 나머지, 즉, 하위 영역들 3 및 6은 도 18에서 해치되어 도시되고, 이러한 6개의 하위 영역들 모두는, 정보(206)에 따라 하위 영역들 3 및 6이 변위된 후 부분(130)이 디폴트 충전 정보(228)에 따라 충전되도록 타겟 픽처 영역(216)에서 해치되지 않은 부분(130)을 커버하지 않는다.
데이터 스트림(200)을 생성하기에 적합한 인코더(230)가 도 20에 예시되어 있다. 인코더(230)는, 인코더(230)가 또한 데이터 스트림(200)으로 인코딩하는 픽처(들)(204)를 사용하여 타겟 픽처 영역을 충전하기 위해 필요한 변위들을 표시하는 정보(206)를 데이터 스트림(200)에 간단하게 제공하거나 수반한다. 도 20은 추가적으로 인코더(230)가 예를 들어, 도 1 내지 도 13의 실시예들의 데이터 스트림(10)과 같은 준수 유지 방식으로 감소될 수 있도록 데이터 스트림(200)을 생성할 수 있음을 예시한다. 즉, 인코더(230)는 도 1의 인코더(80)를 또한 구현하기 위한 방식으로 구현될 수 있다. 예시를 위해, 도 20은 픽처(204)가 도 18의 예에 따라 하위 영역들(214)의 어레이, 즉 하위 영역들의 2×3 어레이로 세분화되는 경우를 예시한다. 픽처(204)는 픽처(12), 즉 감소되지 않은 데이터 스트림(200)의 픽처에 대응할 수 있다. 도 20은 인코더(230)가 데이터 스트림(200)을 감소가능하게 하는 하위 영역(22)을 예시적으로 예시한다. 도 1과 관련하여 설명된 바와 같이, 몇몇 이러한 하위 영역들(22)이 존재할 수 있다. 이러한 조치에 의해, 네트워크 디바이스는 데이터 스트림(200)의 단지 프랙션만을 추출하여, 감소된 비디오 데이터 스트림을 획득하기 위해 데이터 스트림(200)을 감소시킬 수 있고, 이의 픽처들(86)은 단지 하위 영역(22)만을 나타낸다. 데이터 스트림(200)이 감소가능하고 하위 영역(22)과 관련된 감소된 비디오 데이터 스트림은 참조 부호(232)를 사용하여 도 20에 예시되어 있다. 감소되지 않은 비디오 데이터 스트림(200)의 픽처들(204)은 픽처들(204)를 나타내지만, 감소된 비디오 데이터 스트림(232)의 픽처들은 단지 하위 영역만(22)을 나타낸다. 감소된 비디오 데이터 스트림(232)을 수신하는 디코더와 같은 수신자에게 감소된 비디오 데이터 스트림(232)의 픽처들의 콘텐츠로 타겟 픽처 영역을 충전하는 능력을 제공하기 위해, 인코더(230)는 추가적으로 하위 영역(22)에 특정되는 변위 정보(206')를 비디오 데이터 스트림(200)에 제공할 수 있다. 예를 들어, 도 4의 예(60)와 같은 네트워크 디바이스는 감소된 비디오 데이터 스트림(232)을 도출하기 위해 비디오 데이터 스트림(200)을 감소시키는 경우에, 변위 정보(206)를 제거하고 단지 변위 정보(206')를 감소된 비디오 데이터 스트림(232)에 양도할 수 있다. 이러한 조치에 의해, 디코더와 같은 수신자는 도 18에 도시된 타겟 픽처 영역(216) 상에, 하위 영역(22)의 콘텐츠에 관한 감소된 비디오 데이터 스트림(232)의 픽처들의 콘텐츠를 충전할 수 있다.
또한, 도 20은 감소가능한 비디오 데이터 스트림들로 제한되는 것으로 이해되어서는 안된다는 것을 강조해야 한다. 비디오 데이터 스트림(200)이 감소가능하다면, 도 1 내지 도 13과 관련하여 위에서 제시된 개념과는 상이한 개념이 사용될 수 있다.
도 21은 가능한 수신자를 도시하며, 디코더(234)는 비디오 데이터 스트림(200) 또는 감소된 비디오 데이터 스트림(232)을 수신하고, 그것으로부터 이의 픽처들, 즉, 픽처(204) 또는 감소된 비디오 데이터 스트림(232)에 기초하여 단지 하위 영역(22)만을 나타내는 픽처들을 재구성한다. 수신자는 디코더이고, 디코딩 코어(234) 외에, 픽처 콘텐츠에 기초하여 타겟 픽처 영역(216)을 충전하기 위해 감소된 비디오 데이터 스트림의 경우, 비디오 데이터 스트림(200 및 206')의 경우에, 변위 정보(즉, 206)를 사용하는 변위기(236)를 포함한다. 따라서, 변위기(236)의 출력은 각각의 데이터 스트림(200 또는 232)의 각각의 픽처에 대해 충전되는 타겟 픽처 영역(216)이다. 전술한 바와 같이, 타겟 픽처 영역의 일부 부분들은 픽처 콘텐츠에 의해 충전되지 않은 채로 남아있다. 선택적으로, 렌더러(238)는 변위기(236)에 후속하여 또는 변위기(236)의 출력에 후속하여 연결될 수 있다. 렌더러(238)는, 현재 보여지는 장면 섹션에 대응하는 출력 픽처 또는 출력 장면(240)을 형성하기 위해, 타겟 픽처 영역(216) 또는 타겟 픽처 영역의 충전 영역 내에 놓인 적어도 이의 하위 영역에 의해 형성된 타겟 픽처에 주입 투사를 적용한다. 렌더러(238)에 의해 수행되는 주입 투사는 3차 투사의 역일 수 있다.
따라서, 상기 실시예들은 파노라마 또는 준-파노라마 장면 등의 픽처 데이터의 직사각형 영역별 패킹을 가능하게 한다. 특정 신택스 예는 다음과 같이 제공될 수 있다. 아래에는, RectRegionPacking(i)로 지칭되는 의사 코드 형태의 신택스 예가 제시되며, 이는, 투사된 프레임의 소스 직사각형 영역(즉, 216)이 패킹된 프레임의 목적지 직사각형 영역 상에(즉, 204 상에) 패킹되는 방법을 특정한다. 수평 미러링 및 90, 180 또는 270도 회전이 표시될 수 있으며, 수직 및 수평 리샘플링은 영역들의 폭 및 높이로부터 추론된다.
aligned(8) class RectRegionPacking(i) {
unsigned int(32) proj_reg_width[i];
unsigned int(32) proj_reg_height[i];
unsigned int(32) proj_reg_top[i];
unsigned int(32) proj_reg_left[i];
unsigned int(8) transform_type[i];
unsigned int(32) packed_reg_width[i];
unsigned int(32) packed_reg_height[i];
unsigned int(32) packed_reg_top[i];
unsigned int(32) packed_reg_left[i];
}
시맨틱스는 다음과 같다.
proj_reg_width[i], proj_reg_height[i], proj_reg_top[i] 및 proj_reg_left[i]는 proj_frame_width and proj_frame_height와 동일한 폭 및 높이를 각각 갖는 투사된 프레임(즉, 216)의 픽셀 단위로 표시된다. i는, 도 18과 비교되는 경우, 즉 타일(214)의 각각의 영역인 경우의 인덱스이다. proj_reg_width[i]는 투사된 프레임의 i번째 영역의 폭을 특정한다. proj_reg_width[i]는 0보다 클 것이다. proj_reg_height[i]는 투사된 프레임의 i번째 영역의 높이를 특정한다. proj_reg_height[i]는 0보다 클 것이다. proj_reg_top[i] 및 proj_reg_left[i]는 투사된 프레임의 상단 샘플 행 및 최좌측 샘플 열을 특정한다. 값들은 각각, 투사된 프레임의 최좌측 코너를 표시하는 0(포함) 내지 proj_frame_height 및 proj_frame_width(비포함)의 범위에 있을 것이다. proj_reg_width[i] 및 proj_reg_left[i]는 proj_reg_width[i] + proj_reg_left[i]가 proj_frame_width보다 작도록 제약될 것이다. proj_reg_height[i] 및 proj_reg_top[i]는 proj_reg_height[i] + proj_reg_top[i]가 proj_frame_height보다 작도록 제약될 것이다. 투사된 프레임(216)이 입체적인 경우, proj_reg_width[i], proj_reg_height[i], proj_reg_top[i] 및 proj_reg_left[i]는, 투사된 프레임 상의 이러한 필드들에 의해 식별되는 영역이 투사된 프레임의 단일 구성 프레임 내에 있도록 될 것이다. transform_type[i]는, 회전, 및 투사된 프레임의 i번째 영역에 적용되어 이를 패킹된 프레임에 맵핑하는 미러링, 및 그에 따라, 각각의 영역(214)을 영역(216)에 다시 맵핑하기 위해 반전되어야 하는 맵핑을 특정한다. 당연히, 픽처(204)로부터 타겟 영역(216)으로의 맵핑이 표시될 수 있다. transform_type[i]가 회전 및 미러링을 둘 모두를 특정하는 경우, 미러링 이후 회전이 적용된다. 당연히, 그 반대도 또한 가능할 것이다. 다음 값들은 일 실시예에 따라 특정되는 한편, 다른 값들은 예약될 수 있다:
1: 변환 없음, 2: 수평적 미러링, 3: 180도 회전(반시계 방향), 4: 수평적으로 미러링한 후 180도 회전(반시계 방향), 5: 수평적으로 미러링한 후 90도 회전(반시계 방향) 6: 90도 회전(반시계 방향), 7: 수평적으로 미러링한 후 270도 회전(반시계 방향), 8: 270도 회전(반시계 방향). 값들은 EXIF 배향 태그에 대응함을 주목한다.
packed_reg_width[i], packed_reg_height[i], packed_reg_top[i] 및 packed_reg_left[i]는, 패킹된 프레임의 영역, 즉, 픽처(204)에서 타일(214)에 의해 커버되는 영역의 폭, 높이, 상단 샘플 행 및 최좌측 샘플 열을 각각 특정한다. packed_reg_width[i], packed_reg_height[i], packed_reg_top[i] 및 packed_reg_left[i]는 0 내지 I-1(포함)의 범위에서 j의 임의의 값에 대한 packed_reg_width[j], packed_reg_height[j], packed_reg_top[j] 및 packed_reg_left[j]에 의해 특정되는 직사각형과 중첩하지 않을 것이다.
방금 설명된 예를 요약하고 일반화하면, 픽처(214)의 영역들 또는 타일들(214) 각각에 대해, 2개의 직사각형 영역들, 즉 각각의 영역 또는 타일(214)이 타겟 영역(216) 내에서 커버하는 영역 및 각각의 영역 또는 타일(214)이 픽처 영역(204) 내에서 커버하는 직사각형 영역 뿐만 아니라 그러한 2개의 영역들 사이에서 각각의 영역 또는 타일(214)의 픽처 콘텐츠를 맵핑하기 위한 맵핑 규칙, 즉 반사 및/또는 회전이 표시된다는 점에서 앞서 추가로 설명된 실시예들은 변경될 수 있다. 스케일링은 상이한 크기의 영역들의 쌍을 시그널링함으로써 시그널링될 수 있다.
다음으로, 본 출원의 제3 양상이 설명된다. 제3 양상은 비디오 데이터 스트림에서 액세스 포인트들을 분포시키는 유리한 개념에 관한 것이다. 특히, 비디오 데이터 스트림들로 인코딩된 픽처들의 하나 이상의 하위 영역들에 관한 액세스 포인트들이 도입된다. 그로부터 얻어지는 이점들은 아래에 설명된다. 본 출원의 다른 양상들에서와 같이, 제3 양상의 설명은 발생하는 문제점들을 설명하는 도입에 의할 것이다. 제1 양상의 설명과 마찬가지로, 이러한 도입은 예시적으로 HEVC를 참조하지만, 이러한 상황은 또한 HEVC 및 이의 확장만을 참조하기 위해 후속하여 설명된 실시예들을 제한하는 것으로서 해석되지 않을 것이다.
상기 제시된 TMCTS 시스템들의 상황에서, 타일 특정 랜덤 액세스 포인트들은 명백한 이점을 제공할 수 있다. 상이한 시간 인스턴스들에서 타일들에서의 랜덤 액세스는 비디오 시퀀스 내의 픽처들에 대해 비트 레이트 피크들의 보다 균등한 분배를 가능하게 할 것이다. HEVC에서 픽처 특정 랜덤 액세스를 위한 메커니즘들의 전부 또는 서브세트가 타일들로 전송될 수 있다.
픽처 특정 랜덤 액세스 메커니즘들 중 하나는 인트라 코딩된 픽처 또는 액세스 유닛들의 표시이고, 이로부터 a) 프리젠테이션 순서 또는 b) 코딩 프리젠테이션 순서에서 후속하는 어떠한 픽처도 인트라 코딩된 픽처 전의 픽처 샘플들에 대한 예측 의존도들을 승계하지 않는다. 다시 말해서, 참조 픽처 버퍼 리셋은 b)의 경우 즉시, 또는 a)의 경우 트레일링 픽처에 후속하는 처음 픽처로부터 표시된다. HEVC에서, 그러한 액세스 유닛들은 BLA, CRA(둘 모두 카테고리 a 위) 또는 IDR(카테고리 b 위)과 같은 특정 NAL 유닛 타입들, 즉, 소위 인트라 랜덤 액세스 포인트(IRAP) 액세스 유닛들을 통해 네트워크 추상 계층(NAL) 상에서 시그널링된다. 아래에서 추가로 설명되는 실시예들은 예를 들어, 새로운 NAL 유닛 타입을 통해, 또는 역호환을 위해, NAL 유닛 헤더 레벨 표시, SEI 메시지를 사용할 수 있고, 이는, 주어진 액세스 유닛이 어느 조건들 a) 또는 b)에 대해 적어도 하나의 코딩된 슬라이스/타일을 포함하는 것, 즉, 참조 픽처 버퍼 리셋의 일부 형태가 슬라이스/타일 기반으로 적용하는 것을 디코더 또는 네트워크 중간 박스/디바이스에 표시한다. 추가로, 슬라이스/타일은 NAL 유닛 타입 신호화에 추가하여, 또는 대안적으로 인코더 측 상의 픽처에 대한 슬라이스 헤더 레벨 상의 표시를 통해 식별될 수 있다. 따라서, 선행 디코딩 동작은 추출 이후 디코딩에 필요한 DPB 크기를 감소시키도록 허용된다.
이를 위해, 인에이블된 fixed_tile_structure로 표현된 제약들이 충족되어야 하며, 표시된 액세스 유닛 전의 타일의 샘플들은 현재 픽처의 동일한 타일(및 임의의 다른 타일)에 의해 참조되지 않아야 한다.
일부 실시예들에 따라, 인코더는, RA를 경험하는 각각의 하위 영역에 대해, 참조 픽처들에서의 시간 예측을 위한 참조로서 사용되는 픽처 영역들이, 이러한 추가적인 하위 영역들이 또한 RA를 경험하면 추가적인 하위 영역들에 의해 커버되는 픽처 영역만큼 확장되도록 하는 방식으로, 하위 영역들 사이에서 시간 예측을 통해 코딩 의존성을 제약할 수 있다. 이러한 슬라이스들/타일들/하위 영역들은 예를 들어, NAL 유닛 또는 슬라이스 레벨 또는 SEI 메시지 상에서 비트스트림 내에 표시된다. 이러한 구조는 하위 영역의 추출을 방해하지만 제약된 시간 예측의 패널티를 감소시킨다. 하위 영역 랜덤 액세스의 타입(추출 허용 여부)은 비트스트림 표시와 구별되어야 한다.
다른 실시예는 코딩 의존도들의 특정 구조를 이용함으로써 상기 시그널링 기회를 이용한다. 이러한 구조에서, 픽처별 랜덤 액세스 포인트들은, 특정 시간 인스턴트들 및 기존의 최신 시그널링에서 드리프트없이 순간적 랜덤 액세스를 가능하게 하는 대략적 시간 세분성으로 존재한다.
그러나, 보다 미세한 시간 세분성으로, 코딩 구조는 타일별 랜덤 액세스를 허용하고, 이는 인트라 코딩된 픽처 샘플들의 비트레이트 부담을 덜 변하는 비트레이트 거동을 향해 시간에 걸쳐 분포시킨다. 역호환성을 위해, 이러한 타일별 랜덤 액세스는 SEI 메시지를 통해 시그널링되어, 각각의 슬라이스들을 넌-RAP 픽처들로서 유지할 수 있다.
서브 픽처 비트스트림 추출 프로세스에서, 이러한 스트림 구조 내에서 타일 기반 랜덤 액세스를 나타내는 상기 SEI 메시지들을 통해 표시된 NAL 유닛들의 타입은, 추출된 서브 비트스트림의 각각의 픽처들에서 순간적 랜덤 액세스에 대한 기회를 적절히 시그널링하기 위해 픽처별 랜덤 액세스로 변경될 것이다.
본 출원의 제3 양상의 실시예에 따른 비디오 데이터 스트림(300)은 도 22와 관련하여 설명된다. 비디오 데이터 스트림(300)은 일련의 픽처들(302), 즉 비디오(304)로 인코딩된다. 앞서 설명된 다른 실시예들에서와 같이, 픽처들(302)이 묘사되는 시간 순서는, 픽처들(302)이 데이터 스트림(300)으로 인코딩되는 디코딩 순서와 일치하거나 일치하지 않을 수 있는 프리젠테이션 시간 순서에 대응할 수 있다. 즉, 이전의 다른 도면들에 대해 설명되지 않았지만, 비디오 데이터 스트림(300)은 액세스 유닛들(306)의 시퀀스로 세분화될 수 있고, 각각은 픽처들(302)의 각각의 픽처와 연관되고, 픽처들(302)의 순서는 디코딩 순서에 대응하는 액세스 유닛들(306)의 시퀀스와 연관된다.
픽처들(302)은 시간 예측을 사용하여 비디오 데이터 스트림(300)으로 인코딩된다. 즉, 픽처들(302) 사이의 예측 코딩된 픽처들은 디코딩 순서에서 각각의 픽처에 선행하는 하나 이상의 시간 참조 픽처들에 기초한 시간 예측을 사용하여 코딩된다.
단지 일 타입의 랜덤 액세스 픽처만을 갖는 것 대신에, 비디오 데이터 스트림(300)은 후술되는 바와 같이 그것의 적어도 2개의 상이한 타입들을 포함한다. 특히, 통상의 랜덤 액세스 픽처들은 시간 예측이 사용되지 않는 픽처들이다. 즉, 각각의 픽처는 디코딩 순서에서 임의의 이전 픽처와 독립적인 방식으로 코딩된다. 이러한 통상적인 랜덤 액세스 픽처들에 대해, 시간 예측의 보류는 완전한 픽처 영역과 관련된다. 후술하는 실시예들에 따르면, 비디오 데이터 스트림(300)은 이러한 통상적인 픽처별 랜덤 액세스 픽처들을 포함할 수 있거나 포함하지 않을 수 있다.
방금 설명된 바와 같이, 랜덤 액세스 픽처들은 디코딩 순서에서 이전 픽처들에 의존하지 않는다. 따라서, 이들은 비디오 데이터 스트림(300)을 디코딩하는 것에 대한 랜덤 액세스를 허용한다. 그러나, 시간 예측없이 픽처를 코딩하는 것은 압축 효율 면에서 코딩 페널티들을 의미한다. 따라서, 통상적인 비디오 데이터 스트림들은 랜덤 액세스 픽처들에서 비트레이트 피크들, 즉 비트레이트 최대치를 경험한다. 이러한 문제들은 전술한 실시예들에 의해 해결될 수 있다.
도 22의 실시예에 따르면, 비디오 데이터 스트림(300)은, 하나 이상의 제1 랜덤 액세스 포인트들의 세트를 형성하기 위해 적어도 제1 픽처 하위 영역 A 내에서 시간 예측을 보류하면서 비디오 데이터 스트림(300)으로 인코딩되는 타입 A의 하나 이상의 픽처들의 제1 세트, 및 비디오 데이터 스트림(300)의 하나 이상의 제2 랜덤 액세스 포인트들의 세트를 형성하기 위해 제1 픽처 하위 영역 A와 상이한 제2 픽처 하위 영역 B 내에서 시간 예측을 보류하면서 비디오 데이터 스트림(300)으로 인코딩되는 타입 B의 하나 이상의 픽처들의 제2 세트를 포함한다.
도 22의 경우에, 제1 및 제2 픽처 하위 영역들 A 및 B는 해칭을 사용하여 예시되고, 도 23a에 예시된 바와 같이 서로 중첩하지 않고, 하위 영역들 A 및 B는 공통 경계(308)를 따라 서로 접하여, 하위 영역들 A 및 B는 픽처들(302)의 전체 픽처 영역을 커버한다. 그러나 이것이 반드시 그러한 것은 아니다. 도 23b에 도시된 바와 같이, 하위 영역들 A 및 B는 부분적으로 중첩할 수 있거나, 도 23c에 도시된 바와 같이, 제1 픽처 영역 A는 실제로 픽처들(302)의 전체 픽처 영역을 커버할 수 있다. 도 23c의 경우에, 타입 A의 픽처들은 시간 예측이 완전히 스위치 오프되는, 즉 각각의 픽처에 걸쳐 어떠한 시간 예측도 없이 데이터 스트림(300)으로 인코딩되는 픽처별 랜덤 액세스 포인트들일 것이다. 완전성을 위해, 도 23d는 하위 영역 B가 픽처 영역(302)의 내부에 위치될 필요는 없지만, 2개의 픽처들(302)의 외부 픽처 경계(310)를 또한 경계로 할 수 있음을 도시한다. 도 23e는 타입 A 및 B의 픽처들에 추가로 픽처들(302)의 픽처 영역을 함께 완전히 커버하는 연관된 하위 영역 C를 갖는 타입 C의 픽처들일 수 있음을 도시한다.
시간적 예측이 보류된 도 22의 픽처들 B 및 A 내의 영역을 하위 영역들 A 및 B로 제한하는 결과는 다음과 같다: 일반적으로, 시간 예측이 각각의 픽처 영역 전체에 걸쳐 사용되는 것이 억제되고 (디코딩 순서에서) 이전 픽처들로부터의 예측이 (적어도 프리젠테이션 순서에서) 연속적 픽처들에 대해 끊어지기 때문에, 픽처(302)를 비디오 데이터 스트림(300)으로 인코딩하기 위한 비트 레이트는 랜덤 액세스 포인트를 형성하는 픽처들에 대해 크다. 도 22의 타입 A 및 B의 픽처들의 경우, 시간 예측의 사용의 회피는 각각 하위 영역 A 및 B에서만 사용되어, 이들 픽처들 A 및 B에서의 비트 레이트 피크(312)는 픽처별 랜덤 액세스 포인트 픽처들에 비해 비교적 낮다. 그러나, 이하에서 설명되는 바와 같이, 비트레이트 피크(312)의 감소는 적어도 완전한 픽처 랜덤 액세스 레이트와 관련하여, 하위 영역 경계들에서의 코딩 의존도 제약들을 제외하고는 상대적으로 낮은 비용으로 발생한다. 이는 도 22에 예시되어 있다. 여기서, 곡선(314)은 시간 t에 의존하는 비트레이트의 시간 변화를 도시하는 함수를 표현할 것이다. 설명된 바와 같이, 픽처들 A 및 B의 시간 인스턴트들에서의 피크들(312)은 픽처별 랜덤 액세스 픽처로부터 발생할 피크보다 낮다. 단지 픽처별 랜덤 액세스 픽처들을 사용하는 경우에 비해, 픽처 데이터 스트림(300)의 픽처 관련 랜덤 액세스 레이트는 도 22의 경우 타입 B의 적어도 하나의 픽처 및 타입 A의 적어도 하나의 픽처가 만나는 레이트인, 하위 영역 관련 랜덤 액세스 픽처들이 가로 지르는 레이트에 대응한다. 도 23c의 예의 경우에서와 같이 비디오 데이터 스트림(300) 내의 통상적 픽처별 랜덤 액세스 픽처들의 존재의 경우, 즉 픽처들 A의 경우에도, 단지 그러한 픽처들이 비디오 데이터 스트림에 걸쳐 시간적으로 분포되는 통상적 비디오 데이터 스트림들에 비해 이점이 있다. 특히, 이러한 경우에, 하위 영역-관련 랜덤 액세스 픽처들의 존재, 즉, 도 23c의 경우에 픽처들 B는 아래에서 더 상세히 설명되는 바와 같이 이용되어 타입 A의 픽처들 사이의 비디오 데이터 스트림(300)에 타입 B의 픽처들을 산재시킴으로써 높은 비트레이트 피크와 함께 그러나 증가된 랜덤 액세스 레이턴시를 보상하면서 픽처들 A의 픽처 레이트를 감소시킬 수 있고, 따라서, 다음 픽처별 랜덤 액세스 포인트, 즉, 다음 픽처 A에 직면할 때까지의 시간을 브릿지하기 위해 비디오 데이터 스트림으로의 하위 영역-제한된 랜덤 액세스를 허용한다.
비디오 데이터 스트림(300) 내의 특수한 타입의 랜덤 액세스 픽처들을 이용하는 디코더의 설명으로 진행하기 전에, 하위 영역 B 및/또는 하위 영역 A에서 일부 노트들이 행해질 것이고, 하위 영역들 A 및 B 내의 시간 예측의 보류를 넘어 하위 영역들을 고려하는 한편 하위 영역들 A 및 B 외부의 동일한 픽처들 내에서 시간 예측을 적용함으로써 웨이(way) 픽처들(302)이 비디오 데이터 스트림(300)으로 인코딩된다.
도 22는 파선 박스(316)를 사용하여, 방금 설명된 픽처들 A 및 B를 각각 포함하도록 픽처들(302)을 비디오 데이터 스트림(300)으로 인코딩하도록 구성된 비디오 인코더를 예시한다. 이미 위에서 요약된 바와 같이, 비디오 인코더(316)는 픽처들(302)을 비디오 데이터 스트림(300)으로 인코딩하기 위해 모션 보상된 예측을 사용하는 하이브리드 비디오 인코더일 수 있다. 비디오 인코더(316)는 픽처(302)를 개방 GOP 구조 또는 폐쇄 GOP 구조와 같은 비디오 데이터 스트림(300)으로 인코딩하기 위해 임의의 GOP(픽처 그룹) 구조를 사용할 수 있다. 하위 영역-관련 랜덤 액세스 픽처들 A 및 B와 관련하여, 이는 비디오 인코더(316)가 디코딩 순서에서 임의의 이전 픽처에 의존하지 않는 하위 영역, 즉 A 또는 B의 픽처들(302) 사이에 산재된 것을 의미한다. 이러한 하위 영역 B 및/또는 A는 도 1 내지 도 13의 실시예에 따른 하위 영역(22), 즉 비디오 데이터 스트림(300)이 감소가능한 하위 영역에 대응할 수 있음이 추후에 설명될 것이다. 그러나, 이는 단지 예일 뿐이고, 감소가능성은 비디오 데이터 스트림(300)의 필수적인 특성은 아니지만, 도 1 내지 도 13에 대한 하위 영역(22)의 경계에 대해 앞서 기술된 설명과 유사한 방식으로 하위 영역 B 및/또는 A를 준수하는 방식으로 픽처들(312)이 비디오 데이터 스트림(300)으로 인코딩되면 유리한 것을 주목한다.
특히, 비디오 데이터 스트림(300)에서의 픽처들(302)을 인코딩할 때 공간 코딩 의존도 메커니즘들의 도달 범위가 일반적으로 짧지만, 각각의 하위 영역의 외부 또는 공간적 이웃에 대한 코딩 의존도를 도입하지 않기 위해 각각의 하위 영역 B/A를 코딩하기 위한 코딩 의존도들이 각각의 하위 영역의 경계를 가로지르지 않는 방식으로, 하위 영역-관련 랜덤 액세스 픽처들, 즉, 도 22의 경우의 픽처들 A 및 B가 비디오 데이터 스트림(300)으로 인코딩되면 유리하다. 즉, 각각의 하위 영역 B/A 내에서, 하위 영역-관련 랜덤 액세스 픽처들 A 및 B는 시간 예측 없이 그리고 각각의 하위 영역 A/B 외부의 각각의 픽처의 부분들에 대한 공간 코딩 의존도 없이 코딩된다. 이를 넘어, 즉시 앞선 섹션-특정 랜덤 액세스 픽처가 하위 영역-특정 랜덤 액세스 포인트를 형성하는 섹션의 섹션 경계를 고려하는 방식으로 랜덤 액세스 픽처들 A 및 B 사이의 픽처들이 비디오 데이터 스트림(300)으로 인코딩되면 유리하다.
예를 들어, 도 22에서, 픽처 B는 하위 영역 B에 대하여 하위 영역-특정 랜덤 액세스 포인트를 형성하고, 따라서, 이러한 픽처 B에 후속하고 다음 하위 영역 랜덤 액세스 픽처, 즉, 픽처 A의 최초 발생에 선행하는 픽처들(302)(이러한 시퀀스는 예시적으로 중괄호(317)를 사용하여 표시됨)이 섹션 B의 경계를 고려하는 방식으로 코딩되면 유리할 수 있다. 특히, 이의 섹션 B가 섹션 B 외부에 있는 이러한 픽처들 또는 픽처 B 자체의 임의의 부분에 의존하지 않는 방식으로 이러한 픽처들이 비디오 데이터 스트림(300)으로 코딩되는 방식으로, 이러한 픽처들을 비디오 데이터 스트림(300)으로 코딩하기 위한 공간 및 시간 예측 및 코딩 의존도가 제한되면 유리하다. 예를 들어, 모션 벡터들에 대해, 비디오 인코더(316)는, 참조 픽처의 B의 하위 영역을 넘어 확장될 픽처 A와 픽처 B 사이의 픽처들 및 픽처 B 사이에서 참조 픽처의 부분들을 가리키지 않도록 픽처들 B와 A 사이에서 픽처들의 섹션 B를 코딩하기 위해 이용가능한 모션 벡터들을 제한한다. 그 외에도, 픽처 B가 하위 영역 B에 대해 랜덤 액세스 포인트를 형성하기 때문에, 픽처들(317)의 하위 영역 B를 시간 예측하기 위한 시간 참조 픽처들은 픽처 B에 대한 상류에 놓이지 않아야 한다. 픽처들 B와 A 사이의 중간적 픽처들의 하위 영역 B를 코딩하기 위한 공간적 의존도는 유사한 방식으로, 즉, 하위 영역 B 외부의 이웃 부분들에 대한 의존도를 도입하지 않도록 제한될 것이다. 또한, 이러한 제한은 애플리케이션에 따라 완화될 수 있고, 게다가 이를 넘어, 드리프트 에러들에 대해 가능한 대책들에 대해 도 1 내지 도 13의 설명이 참조된다. 마찬가지로, 픽처들 중 선두 픽처가 픽처 B와 같은 하위 영역-특정 랜덤 액세스 픽처인 랜덤 액세스 픽처들 사이의 픽처들에 관해 방금 논의된 제한은 단지 시간 예측에 대해 적용될 수 있는 한편, 공간 의존도는 드리프트 에러들에 대해 덜 심각한 영향들을 갖는다.
직전 단락에서 기술된 논의는 직전의 랜덤 액세스 픽처, 즉, 픽처 B가 하위 영역 특정 랜덤 액세스 포인트를 형성하는 하위 영역, 하위 영역 B 내에서 단지 픽처들(317)의 코딩에 대해 하위 영역별 랜덤 액세스 픽처 B의 (디코딩 순서 관점에서) 직후 픽처들(317)을 코딩하기 위한 코딩 의존도의 제한과 관련된다. 이와 별도로 취급되어야 하는 문제는, 하위 영역 B에 의존하는 픽처들(317)의 외부 부분들의 코딩을 렌더링하기 위해, 섹션 B 외부 내의 픽처들(317), 즉 도 22의 경우의 하위 영역 A에 대한 코딩 의존도들이 제한되어야 하는지 또는 제한되지 않아야 하는지 여부에 대한 문제이다. 즉, 문제는, 예를 들어, 공간적 코딩 의존도가 동일한 픽처의 섹션 B에 도달되지 않도록 하는 방식으로 픽처들(317)의 하위 영역 A가 코딩되어야 하는지 여부, 및 픽처 B 또는 코딩/디코딩 순서에서 선행하는 임의의 픽처들(317) 중 하나인 참조 픽처의 하위 영역 B에 도달되지 않도록 하는 방식으로 픽처들(317)의 하위 영역 A를 코딩하기 위한 시간 코딩 의존도가 제한되어야 하는지 여부이다. 훨씬 더 정확하게 말하면, 픽처들(317)의 하위 영역 A를 코딩하기 위해 사용되는 참조 픽처들이, 한편으로는 픽처들(317)의 이전에 코딩된/디코딩된 픽처들 및 다른 한편으로는 선두 랜덤 액세스 픽처 B 중 하나에 속할 수 있거나, 또는 픽처 B에 대한 (디코딩 순서에서) 상류에 놓일 수 있다. 픽처 B에 대한 상류에 놓이는 참조 픽처들의 경우, 임의의 픽처(317)의 코딩 하위 영역 A에 대한 시간 코딩 의존도는 하위 영역 B에 도달하지 않도록 여전히 제한된다. 오히려, 여기에서 논의되는 문제는, 픽처 B 및 픽처들(317) 중 임의의 이전의 코딩된/디코딩된 픽처 중 하나인 참조 픽처에 대한 시간 코딩 의존도 또는 인트라 또는 공간 코딩 의존도가 관련되는 한, 섹션 B에 도달하지 않도록 픽처들(317)의 하위 영역 A를 코딩하기 위한 임의의 코딩 의존도가 제한되어야 하는지 또는 제한되지 않아야 하는지 여부이다. 대안들 둘 모두는 이들의 장점들을 갖는다. 픽처들(317)의 하위 영역 A를 코딩하는 경우, 픽처 B의 하위 영역 B와 픽처들(317)의 하위 영역 경계가 또한 준수되면, 즉 하위 영역 A를 코딩하기 위한 코딩 의존도가 하위 영역 B에 도달되지 않도록 제한된다면, 하위 영역 A는 섹션 B와는 독립적인 방식으로 계속 코딩되며, 이에 따라 데이터 스트림(300)이 전술한 바와 같이 추출가능하거나 또는 감소가능할 수 있는 하위 영역을 형성한다. 이는, 하위 영역-특정 랜덤 액세스 픽처 A 직후의 픽처들의 하위 영역 B의 코딩에 대한 동일한 상황을 고려하는 하위 영역 B에 적용된다. 하위 영역 A 및/또는 하위 영역 B와 같은 특정 하위 영역에 대한 감소가능성이 중요하지 않으면, 직전 섹션별 랜덤 액세스 픽처가 하위 영역-특정 랜덤 액세스 포인트를 형성하는 하위 영역으로 방금 논의된 코딩 의존도 도달이 허용되지 않는 경우 코딩 효율의 관점에서 유리할 수 있다. 그 경우, 방금 기술된 논의의 하위 영역 A와 같은 다른 하위 영역들은 더 이상 감소가능하지 않을 것이지만, 예를 들어, 임의의 이러한 픽처들 또는 픽처 B의 하위 영역 B에 기초하여 픽처들(317)의 하위 영역 A의 일부를 시간 예측하기 위해 하위 영역 B의 경계를 가로지르도록 모션 벡터들을 선택함으로써 비디오 인코더(316)가 리던던시의 활용에 대한 더 적은 제한을 갖기 때문에 코딩 효율은 증가된다. 예를 들어, 다음이 수행되면, 영역 A에 대해 데이터 스트림(300)은 더 이상 감소가능하지 않을 것이다. 픽처(317)는, 적어도 부분적으로 픽처들(317) 및 픽처 B 중 참조 픽처들의 제2 픽처 하위 영역 B를 참조하는 시간 예측을 사용하는 방식으로 제2 픽처 하위 영역 B 외부의 픽처 영역 A 내에서 비디오 데이터 스트림(300)으로 인코딩될 것이다. 즉, 도 22의 경우, 완전한 픽처 영역은 픽처들(317), 즉 A 뿐만 아니라 B의 시간 예측 코딩 영역 A에 의한 참조를 위해 이용가능할 것이다. 디코딩 순서의 관점에서, 픽처 A에 후속하는 픽처들(317'), 즉, A와 도 22에 도시되지 않은 타입 B의 후속 픽처 사이의 픽처들(317')은, 디코딩 순서에서, 픽처 A와 픽처들(317') 중 선행 참조 픽처들의 제2 픽처 하위 영역 B를 참조하지 않도록 제2 픽처 하위 영역 B 외부의 픽처 영역 A 내에서 시간 예측을 제한하여 비디오 데이터 스트림(300)으로 인코딩될 것이다. 즉, 도 22의 경우, 단지 영역 A는 픽처들(317)의 시간 예측 코딩 영역 A에 의한 참조를 위해 이용가능할 것이다. 하위 영역 B에 대해서도 유사한 것이 사실이어서, 픽처들 B는 하위 영역 B 내의 하위 영역 B에 부착되는 한편, 픽처들 B의 B의 코딩은 또한 하위 영역 A에 추가로 이용가능한 A를 갖는다. 그 경우, 스트림(300)은 하위 영역 B에 대해 더 이상 감소가능하지 않을 것이다.
도 22의 비디오 데이터 스트림(300)을 디코딩하도록 구성된 디코더의 설명을 진행하기 전에, 비디오 인코더(316)는, 전체 비디오 데이터 스트림(304)와 관련된 또는 픽처들(302)의 시퀀스를 포함하는 범위에서, 도 23a 내지 도 23e에 예시된 것들과 같은 대안들 중 임의의 것을 따라 또는 하위 영역들 A 및 B로의 대응하는 픽처들의 공간 세분화를 표시하는 신호화(319)를 비디오 데이터 스트림(300)에 제공하도록 구성될 수 있음을 주목해야 한다. 또한, 인코더(316)는 픽처들 A 및 B를 표시하는 신호화(318), 즉, 신호화(319)에 의해 표시되는 하위 영역들 중 임의의 것에 대한 하위 영역 특정 랜덤 액세스 포인트인 것으로 특정 픽처들을 마킹하는 신호화(318)를 데이터 스트림(300)에 제공한다. 즉, 신호화(319)는, 신호화(319)가 유효한 픽처들 사이에서 일정한 공간 세분화를 신호화하고, 신호화(318)는 다른 픽처들로부터 하위 영역-특정 랜덤 액세스 픽처들을 구별하고 이들 하위 영역 랜덤 액세스 픽처들을 하위 영역들 A 및 B에 연관시킨다.
픽처 타입이 관련되는 한, 한편으로는 픽처들 B 및 A와 다른 한편으로는 다른 픽처들 사이를 비디오 데이터 스트림(300) 내에서 구체적으로 구별하지 않는 것이 가능할 것이다. 도 22의 예에서, 픽처들 B 및 A는 "단지" 하위 영역-특정 랜덤 액세스 픽처들이며, 따라서 IDR 등과 같은 실제 픽처-단위 랜덤 액세스 픽처들이 아니다. 따라서, 비디오 데이터 스트림(300) 내의 픽처 타입 신호화(320)와 관련되는 한, 비디오 데이터 스트림(300)은 한편으로는 픽처들 B 및 A와 다른 한편으로는 다른 시간 예측된 픽처들을 구별하지 않을 수 있다. 예를 들어, 신호화(318)는 슬라이스들에 또는 픽처들(302)이 스트림(300)으로 코딩되는 단위인 이러한 슬라이스들의 슬라이스 헤더들에 제한될 수 있어서, 각각의 슬라이스에 대응하는 픽처 영역이 섹션 B를 형성한다. 대안적으로, 신호화들(320 및 318)의 조합은 특정 픽처가 하위 영역-특정 랜덤 액세스 픽처이고 특정 하위 영역에 속하는 것을 디코더에 표시하기 위해 사용될 수 있다. 예를 들어, 신호화(320)는, 특정 픽처가 하위 영역-특정 랜덤 액세스 픽처임을 표시하기 위해 사용될 수 있지만, 각각의 픽처가 하위 영역-특정 랜덤 액세스 포인트를 표현하는 하위 영역을 드러내지 않는다. 후자의 표시는 신호화(318)에 의해 수행될 것이며, 이는, 신호화(320)에 의해 하위 영역-특정 랜덤 액세스 픽처가 되도록 특정 픽처 신호를 연관시키고, 픽처 세분화의 임의의 하위 영역들은 신호화(319)에 의해 시그널링된다. 그러나, 대안적으로, NAL 유닛 타입 신택스 엘리먼트일 수 있는 신호화(320)는 B 및 P 픽처들과 같은 시간 예측된 픽처들, IDR 픽처들과 같은 픽처별 랜덤 액세스 픽처들 및 픽처들 A 및 B와 같은 하위 영역별 랜덤 액세스 포인트들 사이를 뿐만 아니라 상이한 하위 영역들과 관련된 하위 영역별 랜덤 액세스 포인트들 사이, 즉, 픽처들 A 및 B 각각에 대한 상이한 값들을 소모함으로써 픽처들 A와 B 사이를 구별 또는 식별할 수 있다.
추가적인 신호화(321)는 비디오 인코더(316)에 의해 삽입되어, 데이터 스트림(300)이 각각의 하위 영역에 대해 감소가능할지 여부를 특정 하위 영역에 대해 시그널링할 수 있다. 신호화(321)는, 하위 영역들 중 하나가, 데이터 스트림(300)이 감소가능한 하위 영역으로서 시그널링되도록 허용하는 방식으로 데이터 스트림(300) 내에서 시그널링될 수 있는 한편, 다른 하위 영역은 데이터 스트림(300)이 감소가능한 이러한 하위 영역을 형성하지 않는다. 대안적으로, 신호화(321)는 단지 모든 하위 영역들에 대한 감소가능성의 2진 신호화를 허용할 수 있는데, 즉, 신호화(321)는 모든 하위 영역들이, 데이터 스트림(300)이 감소가능한 하위 영역들인 것 또는 데이터 스트림(300)이 이러한 하위 영역들 중 임의의 것에 대해 감소가능하지 않은 것을 시그널링할 수 있다. 그러나, 신호화(321)는, 도 22의 예에서 하위 영역들 A 및 B와 같은 하위 영역들이, 데이터 스트림(300)이 감소가능한 완전히 독립적으로 코딩된 하위 영역들로서 취급되는지 또는 아닌지에 대한 영향으로 중단될 수 있고, 이러한 경우 하위 영역 경계들을 가로지르는 앞서 설명된 비대칭 코딩 의존도는 이전에 설명된 바와 같이 사용된다.
지금까지 하위 영역들 B 및 A는 연속적인 영역들로 예시되었지만, 하위 영역들 B 및 A는 대안적으로 픽처들의 타일들의 세트들(302)과 같은 비연속적인 영역들일 수 있음을 주목해야 하며, 이러한 예에 따라 픽처들(302)이 데이터 스트림(300)으로 인코딩될 수 있는 타일들에 관한 특정 프로세싱에 대해 도 1 내지 도 13의 설명이 참조된다.
도 23c와 관련하여, 픽처 A는 픽처별 랜덤 액세스 픽처일 것이기 때문에, 픽처 A의 픽처 타입은 다른 시간 예측된 픽처들의 타입들과 상이할 것이고, 따라서 픽처 A는 픽처 타입 신호화(320) 내에서 시그널링될 것이다.
도 24는 픽처들 B 및 A를 이용하는 방식으로 비디오 데이터 스트림(300)을 디코딩하도록 구성된 비디오 디코더(330)를 도시한다. 도 24의 비디오 데이터 스트림(300)은 도 22의 설명에 대응하는 방식으로 예시적으로 도시되어, 즉, 하위 영역-관련 랜덤 액세스 픽처들 B 및 A가 비디오 데이터 스트림(300)으로 인코딩된 비디오(304)의 픽처들(302) 사이에 산재되어 있다. 비디오 디코더(330)는 비디오 데이터 스트림(300)에 랜덤으로 액세스할 때, 다음 랜덤 액세스 픽처, 즉 임의의 하위 영역-관련 또는 픽처별 랜덤 액세스 픽처가 발생하는 것을 대기하도록 구성된다. 픽처별 랜덤 액세스 픽처들을 포함하지 않는 비디오 데이터 스트림(300)의 경우에, 비디오 디코더(330)는 심지어 이러한 픽처들에 응답하지 않을 수 있다. 어떠한 경우에도, 비디오 디코더(330)가 도 24의 예에서 픽처 B인 제1 하위 영역-관련 랜덤 액세스 픽처를 만나자 마자 비디오 디코더(330)는 비디오 데이터 스트림(300)의 디코딩을 재개한다. 이러한 픽처 B로 시작하여, 비디오 디코더(330)는 오직 하위 영역 B만을 도시하는 픽처들(322)의 재구성, 디코딩 및 출력을 시작한다. 대안은, 디스플레이 디바이스 등과 같은 프리젠테이션 디바이스에 표시하는 이러한 픽처들을 수반하는 시그널링을 사용하여 또는 시그널링 없이 비디오 디코더(330)가 또한 하위 영역 B 외부의 이러한 픽처들(322) 부분을 디코딩, 재구성 및 출력하는 것일 것이고, 이러한 픽처들의 하위 영역 B 외부의 부분들은 이러한 외부 하위 영역에 대한 참조 픽처들이 누락되기 때문에 드리프트 에러를 경험한다.
비디오 디코더(330)는 도 24의 예에서 픽처 A인 다음 랜덤 액세스 픽처와 직면할 때까지 이러한 방식으로 비디오 데이터 스트림(300)을 디코딩하는 것을 계속한다. 하위 영역 A는 나머지 픽처 영역, 즉 하위 영역 B 외부의 픽처 영역(302)에 대한 랜덤 액세스 포인트를 나타내기 때문에, 비디오 디코더(330)는 픽처들(302) 전방의 픽처 A로부터 완전히 디코딩, 재구성 및 출력한다. 즉, 도 24와 관련하여 설명된 기능에 의해, 적어도 하위 영역 B, 즉 최초로 직면되는 하위 영역-관련 랜덤 액세스 픽처 B의 하위 영역에 대해, 비디오(304)를 더 먼저 보는 이점을 획득할 기회가 사용자에게 제공된다. 그 다음, 픽처들(302)의 나머지를 커버하는 하위 영역에 관한 다음 하위 영역-관련 랜덤 액세스 픽처를 직면한 후, 비디오 디코더(330)는 드리프트 에러들 없이 완전한 픽처들(302)을 제공할 수 있다. 도 23e의 예에서, 이것은 각각 하위 영역들 A, B 및 C에 관한 하위 영역-특정 랜덤 액세스 픽처들 각각 중 제1 픽처에 직면한 후의 경우일 것이다.
도 25는 비디오 디코더(330)의 대안적 동작 모드를 예시한다. 여기서, 비디오 디코더(330)는 전방에서 여기서는 픽처 B인 제1 하위 영역-특정 랜덤 액세스 픽처를 직면하는 것으로부터 하위 영역 B의 디코딩 및 재구성을 시작하지만, 비디오 디코더(330)는 충분한 랜덤 액세스 픽처들에 직면할 때까지 대기하여, 이의 하위 영역들은 비디오 디코더(330)가 픽처들(302)을 실제로 완전히 출력할 때까지 픽처들(302)의 전체 픽처 영역을 커버한다. 본 예인 경우, 이는 픽처 B의 뒤에서 픽처 A에 직면할 때의 경우이다. 즉, 픽처 A로부터 전방으로 비디오 디코더(330)는 픽처들(302)을 출력하지만, 하위 영역 B는 전방으로 픽처 B로부터 이용가능했을 수 있다.
도 26은 하위 영역-특정 랜덤 액세스 픽처들을 포함하는 비디오 데이터 스트림(300)을 수신하는 네트워크 디바이스(322)를 도시한다. 그러나, 이 때, 비디오 데이터 스트림(300)은 하위 영역-특정 랜덤 액세스 픽처들의 하위 영역들 중 하나 이상에 대해 감소가능하다. 예를 들어, 도 26은 하위 영역 B에 대해 비디오 데이터 스트림(300)이 감소가능한 경우를 예시한다. 감소가능성 및 네트워크 디바이스(322)의 대응하는 기능과 관련하여, 이러한 기능이 도 1 내지 도 13의 설명에 대응하는 방식으로 구성될 수 있거나 그렇지 않을 수 있음을 주목한다. 어느 경우이든, 픽처들 B는 전술한 신호화(318)를 사용하여 비디오 데이터 스트림(300) 내에서 표시된다. 네트워크 디바이스(322)는, 오직 픽처들 B와 관련되도록 비디오 데이터 스트림(300)을 감소시키는 경우, 비디오 데이터 스트림(300)으로부터 추출하거나, 또는 비디오 데이터 스트림(300)을 감소된 비디오 데이터 스트림(324)로 감소시키고, 이의 픽처들(326)은 비디오(304)의, 즉, 감소되지 않은 비디오 데이터 스트림(300)의 하위 영역 B의 콘텐츠를 단지 나타내는 비디오(328)를 형성한다. 그러나, 이러한 조치에 의해 하위 영역 B는 더 이상 픽처들(326)에 대한 하위 영역을 표현하지 않기 때문에, 감소된 비디오 데이터 스트림(324)은 더 이상 신호화(318)를 포함하지 않는다. 오히려, 비디오 데이터 스트림의 하위 영역-특정 랜덤 액세스 픽처 B의 하위 영역 B에 대응하는 비디오(328)의 픽처는 IDR 픽처 등과 같은 픽처별 랜덤 액세스 픽처가 될 픽처 타입 신호화(320)에 의해 감소된 비디오 데이터 스트림(324) 내에서 시그널링된다. 이것이 수행될 수 있는 방식들은 다양하다. 예를 들어, 네트워크 디바이스(322)는 네트워크 디바이스(60)에 대응하는 방식으로 구성되는 네트워크 디바이스(322)의 경우 도 5 및 도 7에 대해 앞서 설명된 재지향 및/또는 파라미터 설정 수정에 추가로, 비디오 데이터 스트림(300)을 자기 자신의 감소된 비디오 데이터 스트림(324)을 향해 감소시킬 때 대응하는 NAL 유닛의 NAL 유닛 헤더에서 픽처 타입 신호화(320)를 변경할 수 있다.
완전성을 위해, 도 27은 도 20의 데이터 스트림(20)을 프로세싱하도록 구성된 네트워크 디바이스(231)를 도시한다. 그러나, 도 20은, 정보(206')가 정보(50) 내에서와 같이 감소가능한 비디오 데이터 스트림(200)에 이미 존재할 수 있거나 존재하지 않을 수 있는 것을 도시한다. 이러한 네트워크 디바이스(231)는, 앞서 이미 설명된 바와 같이, 비디오 데이터 스트림(200)으로부터 감소된 비디오 데이터 스트림(232)로 하위 영역 특정 변위 정보(206')를 단순히 양도하여 비디오 데이터 스트림(200)을 감소된 비디오 데이터 스트림(232)으로 감소시킬 때 변위 정보(206)를 폐기하도록 구성될 수 있거나, 또는 네트워크 디바이스(231)는 감소가능한 비디오 데이터 스트림(200)의 픽처들에 대한 하위 영역(22)의 위치에 대한 지식에 기초하여, 자신 측에서 하위 영역 특정 변위 정보(206)가 되도록 변위 정보(206)의 재조정을 형성할 수 있다.
따라서, 상기 설명은 예를 들어, 시간 모션 및 계층간 예측 제약된 타일 세트들의 추출에 대한 프로세스들 및 시그널링을 나타낸다. 단일 또는 다중계층 비디오 코딩을 사용하여 코딩된 비디오 비디오들의 추출 또는 공간 서브세트들이 또한 설명된다.
상기 설명에 대해, 도시된 임의의 인코더, 디코더 또는 네트워크 디바이스는 하드웨어, 펌웨어 또는 소프트웨어로 구체화 또는 구현될 수 있다. 하드웨어로 구현되는 경우, 각각의 인코더, 디코더 또는 네트워크 디바이스는 예를 들어, 주문형 집적 회로의 형태로 구현될 수 있다. 펌웨어로 구현되는 경우, 각각의 디바이스는 필드 프로그래머블 어레이로서 구현될 수 있고, 소프트웨어로 구현되는 경우, 각각의 디바이스는 설명된 기능을 수행하도록 프로그래밍된 프로세서 또는 컴퓨터일 수 있다.
일부 양상들은 장치의 상황에서 설명되었지만, 이러한 양상들은 또한 대응하는 방법의 설명을 표현하는 것이 명백하며, 여기서 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법의 상황에서 설명되는 양상들은 또한 대응하는 장치의 블록 또는 아이템 또는 특징의 설명을 표현한다. 방법 단계들의 일부 또는 전부는, 예를 들어, 마이크로프로세서, 프로그래밍가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이를 사용하여) 실행될 수 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 또는 몇몇은 이러한 장치에 의해 실행될 수 있다.
본 발명의 인코딩된 데이터 스트림 또는 신호는 디지털 저장 매체에 저장될 수 있거나 또는 무선 송신 매체 또는 유선 송신 매체, 예를 들어 인터넷과 같은 송신 매체를 통해 송신될 수 있다. 데이터 스트림에 일부 정보를 삽입 또는 인코딩하는 것이 설명되었으며, 이러한 설명은, 결과적 데이터 스트림이 각각의 정보, 플래그의 신택스 엘리먼트 등을 포함한다는 개시로서 동시에 이해될 것이다.
특정한 구현 요건들에 따라, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은, 각각의 방법이 수행되도록 프로그래밍가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 전자적으로 판독가능한 제어 신호들을 저장하는 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독가능일 수 있다.
본 발명에 따른 일부 실시예들은, 본원에서 설명되는 방법들 중 하나가 수행되도록 프로그래밍가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 물건으로서 구현될 수 있고, 프로그램 코드는, 컴퓨터 프로그램 물건이 컴퓨터 상에서 실행되는 경우 본 방법들 중 하나를 수행하도록 동작한다. 프로그램 코드는 예를 들어, 머신-판독가능 캐리어 상에 저장될 수 있다.
다른 실시예들은, 본원에서 설명되는 방법들 중 하나를 수행하기 위한, 머신 판독가능 캐리어 상에 저장되는 컴퓨터 프로그램을 포함한다.
따라서, 달리 말하면, 본 발명의 방법의 일 실시예는, 컴퓨터 프로그램이 컴퓨터 상에서 실행되는 경우, 본원에서 설명되는 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 창작적 방법들의 추가적인 실시예는, 본원에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 포함되고 기록되는 데이터 캐리어(예를 들어, 디지털 저장 매체 또는 컴퓨터 판독가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록된 매체는 통상적으로 유형(tangible)이고 그리고/또는 비일시적이다.
따라서, 창작적 방법의 추가적인 실시예는, 본원에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 표현하는 신호들의 시퀀스 또는 데이터 스트림이다. 예를 들어, 신호들의 시퀀스 또는 데이터 스트림은, 예를 들어, 인터넷을 통해, 데이터 통신 접속을 통해 전송되도록 구성될 수 있다.
추가적인 실시예는, 본원에서 설명되는 방법들 중 하나를 수행하도록 구성 또는 적응되는 프로세싱 수단, 예를 들어, 컴퓨터 또는 프로그래밍가능 로직 디바이스를 포함한다.
추가적인 실시예는, 본원에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가적인 실시예는, 본원에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에 (예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성되는 장치 또는 시스템을 포함한다. 수신기는, 예를 들어, 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은, 예를 들어, 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 있다.
일부 실시예들에서, 프로그래밍가능 로직 디바이스(예를 들어, 필드 프로그래밍가능 게이트 어레이)는 본원에서 설명되는 방법들의 기능들 중 일부 또는 전부를 수행하기 위해 사용될 수 있다. 일부 실시예들에서, 필드 프로그래밍가능 게이트 어레이는, 본원에서 정의되는 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 임의의 하드웨어 장치에 의해 바람직하게 수행된다.
본원에 설명된 장치는 하드웨어 장치를 사용하여 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본원에 설명된 장치 또는 본원에 설명된 장치의 임의의 컴포넌트들은 적어도 부분적으로 하드웨어로 및/또는 소프트웨어로 구현될 수 있다.
본원에 설명된 방법들은 하드웨어 장치를 사용하여 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
본원에 설명된 방법들 또는 본원에 설명된 장치의 임의의 컴포넌트들은 적어도 부분적으로 하드웨어에 의해 및/또는 소프트웨어에 의해 수행될 수 있다.
앞서 설명된 실시예들은, 본 발명의 원리들에 대해 단지 예시적이다. 본원에서 설명되는 배열들 및 세부사항들의 변형들 및 변화들이 당업자들에게 자명할 것이 이해된다. 따라서, 본 발명은 후속 특허 청구항들의 범주에 의해서만 제한되며, 본원의 실시예들의 서술 및 설명의 방식으로 제시되는 특정 세부사항들에 의해서는 제한되지 않도록 의도된다.

Claims (100)

  1. 비디오를 표현하는 비디오 데이터 스트림을 저장 하는 저장 매체로서,
    상디 비디오 데이터 스트림은,
    코딩 파라미터 설정들(20)을 표시하는 파라미터 세트 부분(16);
    상기 코딩 파라미터 설정들(20)의 제1 세트(20a)를 사용하여 파라미터화되는 방식으로 상기 비디오의 픽처들(12)이 코딩되는 페이로드 부분(18)을 포함하고,
    상기 제1 세트(20a)는 상기 페이로드 부분에 의해 포함되는 인덱스들(48)에 의해 인덱싱되고,
    상기 비디오 데이터 스트림은 정보(50)를 포함하고, 상기 정보(50)는,
    상기 픽처들(12)의 미리 결정된 하위 영역(22)의 표시(52), 및
    참조하기 위한 페이로드 부분에 의해 포함되는 인덱스들(48)을 재지향(72)시키기 위한 대체 인덱스들(54), 및/또는 코딩 파라미터 설정들의 제2 세트(20b)를 도출하도록 코딩 파라미터 설정들의 상기 제1 세트(20a)를 조정(88)하기 위한 대체 파라미터들(56)을 포함하고,
    상기 코딩 파라미터들의 제2 세트(20b)는,
    상기 미리 결정된 하위 영역(22) 외부의 픽처들(12)의 영역을 참조하는 상기 페이로드 부분(18)의 부분들(70)을 제거(68)하고,
    상기 픽처들(12) 대신 상기 미리 결정된 하위 영역(22)의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 상기 페이로드 부분(18)의 위치 표시들(32)을 변경(78)함으로써,
    상기 비디오 데이터 스트림에 비해 수정된 감소된 비디오 데이터 스트림(62)이, 코딩 파라미터 설정들의 상기 제2 세트(20b)를 사용하여 파라미터화되는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역(22)을 나타내는 하위 영역-특정 픽처들(86)로 인코딩된 감소된 페이로드 부분을 갖도록 선택되는,
    비디오를 표현하는 비디오 데이터 스트림을 저장 하는 저장 매체.
  2. 제1항에 있어서,
    상기 비디오 데이터 스트림 및 상기 감소된 비디오 데이터 스트림(62)은 HEVC를 준수하는,
    비디오를 표현하는 비디오 데이터 스트림을 저장 하는 저장 매체.
  3. 제1항 또는 제2항에 있어서,
    상기 파라미터 세트 부분은 SPS NAL 유닛들 및/또는 VPS NAL 유닛들 및/또는 PPS NAL 유닛들에 의해 포함되는,
    비디오를 표현하는 비디오 데이터 스트림을 저장 하는 저장 매체.
  4. 제1항에 있어서,
    상기 코딩 파라미터 설정들은,
    픽처 크기(26),
    타일 구조(38),
    버퍼 크기 및 타이밍(46)
    중 하나 이상을 정의하는,
    비디오를 표현하는 비디오 데이터 스트림을 저장 하는 저장 매체.
  5. 제1항에 있어서,
    상기 인덱스들은 상기 페이로드 부분(18)의 슬라이스들(34)의 슬라이스 헤더들에 포함되고, 각각의 슬라이스는 상기 미리 결정된 하위 영역(22)의 경계를 가로지르지 않는 픽처(12)의 대응하는 영역(36)으로 인코딩되는,
    비디오를 표현하는 비디오 데이터 스트림을 저장 하는 저장 매체.
  6. 제1항에 있어서,
    상기 정보는 SEI 메시지, VUI 또는 파라미터 세트 확장에 포함되는,
    비디오를 표현하는 비디오 데이터 스트림을 저장 하는 저장 매체.
  7. 제1항에 있어서,
    상기 페이로드 부분은, 상기 픽처들이 세분화되고 열 및 행의 타일 어레이에 배열되는 타일(42) 단위로 코딩된 비디오의 픽처들을 갖고, 상기 표시(52)는 상기 미리 결정된 하위 영역을 상기 타일들의 세트로서 표시하는,
    비디오를 표현하는 비디오 데이터 스트림을 저장 하는 저장 매체.
  8. 제7항에 있어서,
    상기 페이로드 부분은, 상기 페이로드 부분이 슬라이스(34) 단위로 세분화되도록 타일(42) 단위로 코딩된 비디오의 픽처들을 갖고, 각각의 슬라이스는 상기 타일들 사이의 타일 경계(40)를 가로지르지 않는 픽처의 대응하는 영역으로 인코딩되는,
    비디오를 표현하는 비디오 데이터 스트림을 저장 하는 저장 매체.
  9. 제1항에 있어서,
    상기 대체 인덱스들에 의한 재지향(72)이 수행될 및/또는 상기 대체 파라미터들에 의해 대치되는 인덱스들(48)에 의해 인덱싱된 코딩 파라미터 설정들의 상기 제1 세트(20a)의 일부는,
    픽처 크기(26),
    타일 구조(38),
    버퍼 크기 및 타이밍(46)
    중 하나 이상과 관련되는,
    비디오를 표현하는 비디오 데이터 스트림을 저장 하는 저장 매체.
  10. 제1항에 있어서,
    상기 페이로드 부분(18)은, 상기 미리 결정된 하위 영역(22) 내에서, 상기 픽처들이 상기 미리 결정된 하위 영역(22)의 경계들을 가로지르는 시간 예측의 중단으로 코딩되도록 코딩된 비디오의 픽처들(12)을 갖는,
    비디오를 표현하는 비디오 데이터 스트림을 저장 하는 저장 매체.
  11. 비디오를 비디오 데이터 스트림으로 인코딩하기 위한 인코더로서,
    코딩 파라미터 설정들(20)을 결정하고, 상기 코딩 파라미터 설정들을 표시하는 비디오 데이터 스트림의 파라미터 세트 부분(16)을 생성하도록 구성되는 파라미터 설정기(80a);
    상기 코딩 파라미터 설정들의 제1 세트(20a)를 사용하여 파라미터화되는 방식으로 상기 비디오의 픽처들을 상기 비디오 데이터 스트림의 페이로드 부분으로 인코딩하도록 구성되는 코딩 코어(80b)를 포함하고,
    상기 제1 세트는 상기 페이로드 부분에 의해 포함되는 인덱스들(48)에 의해 인덱싱되고,
    상기 인코더는 상기 비디오 데이터 스트림에 정보(50)를 제공하도록 구성되고, 상기 정보(50)는,
    상기 픽처들(12)의 미리 결정된 하위 영역(22)의 표시, 및
    참조하기 위한 페이로드 부분에 의해 포함되는 인덱스들을 재지향시키기 위한 대체 인덱스들(54), 및/또는 코딩 파라미터 설정들의 제2 세트를 도출하도록 코딩 파라미터 설정들의 상기 제1 세트를 조정하기 위한 대체 파라미터들(56)을 포함하고,
    상기 코딩 파라미터들의 제2 세트는,
    상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
    상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써,
    상기 비디오 데이터 스트림에 비해 수정된 감소된 비디오 데이터 스트림이, 코딩 파라미터 설정들의 상기 제2 세트를 사용하여 파라미터화되는 방식으로, 상기 픽처들의 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩된 감소된 페이로드 부분을 갖도록 선택되는,
    인코더.
  12. 제11항에 있어서,
    상기 비디오 데이터 스트림 및 상기 감소된 비디오 데이터 스트림은 HEVC를 준수하는,
    인코더.
  13. 제11항에 있어서,
    상기 파라미터 세트 부분은 SPS NAL 유닛들 및/또는 VPS NAL 유닛들 및/또는 PPS NAL 유닛들에 의해 포함되는,
    인코더.
  14. 제11항에 있어서,
    상기 코딩 파라미터 설정들은,
    픽처 크기,
    타일 구조,
    버퍼 크기 및 타이밍
    중 하나 이상을 정의하는,
    인코더.
  15. 제11항에 있어서,
    상기 인코더는, 상기 인덱스들을 상기 페이로드 부분의 슬라이스들의 슬라이스 헤더들에 삽입하고, 상기 미리 결정된 하위 영역의 경계를 가로지르지 않는 픽처의 대응하는 영역을 각각의 슬라이스에 인코딩하도록 구성되는,
    인코더.
  16. 제11항에 있어서,
    상기 인코더는 상기 정보를 SEI 메시지, VUI 또는 파라미터 세트 확장에 삽입하도록 구성되는,
    인코더.
  17. 제11항에 있어서,
    상기 인코더는, 상기 픽처들이 세분화되고 열 및 행의 타일 어레이에 배열되는 타일 단위로 코딩된 비디오의 픽처들을 상기 페이로드 부분에 인코딩하도록 구성되고, 상기 표시는 상기 미리 결정된 하위 영역을 상기 타일들의 세트로서 표시하는,
    인코더.
  18. 제17항에 있어서,
    상기 인코더는, 상기 페이로드 부분이 슬라이스 단위로 세분화되도록 타일 단위로 코딩된 픽처들을 상기 페이로드 부분에 인코딩하도록 구성되고, 각각의 슬라이스는 상기 타일들 사이의 타일 경계를 가로지르지 않는 픽처의 대응하는 영역으로 인코딩되는,
    인코더.
  19. 제11항에 있어서,
    상기 대체 인덱스들에 의한 재지향이 수행될 및/또는 상기 대체 파라미터들에 의해 대치되는 인덱스들에 의해 인덱싱된 코딩 파라미터 설정들의 상기 제1 세트의 일부는,
    픽처 크기,
    타일 구조,
    버퍼 타이밍
    중 하나 이상과 관련되는,
    인코더.
  20. 제11항에 있어서,
    상기 인코더는, 상기 미리 결정된 하위 영역(22) 내에서, 상기 픽처들이 상기 미리 결정된 하위 영역(22)의 경계들을 가로지르는 시간 예측의 중단으로 코딩되도록 상기 비디오의 픽처들을 상기 페이로드 부분에 인코딩하도록 구성되는,
    인코더.
  21. 비디오 데이터 스트림을 프로세싱하기 위한 네트워크 디바이스로서,
    코딩 파라미터 설정들을 표시하는 파라미터 세트 부분;
    상기 코딩 파라미터 설정들의 제1 세트를 사용하여 파라미터화되는 방식으로 상기 비디오의 픽처들이 코딩되는 페이로드 부분을 포함하고,
    상기 제1 세트는 상기 페이로드 부분에 의해 포함되는 인덱스들에 의해 인덱싱되고,
    상기 네트워크 디바이스는,
    상기 비디오 데이터 스트림으로부터 정보를 판독(64)하고 - 상기 정보는, 상기 픽처들의 미리 결정된 하위 영역의 표시, 및 참조하기 위한 페이로드 부분에 의해 포함되는 인덱스들을 재지향시키기 위한 대체 인덱스들, 및/또는 코딩 파라미터 설정들의 제2 세트를 도출하도록 코딩 파라미터 설정들의 상기 제1 세트를 조정하기 위한 대체 파라미터들을 포함함 -,
    상기 비디오 데이터 스트림을,
    상기 코딩 파라미터 설정들의 제2 세트가 상기 페이로드 부분의 인덱스들에 의해 인덱싱되도록 상기 재지향(72) 및/또는 조정(88)을 수행하고;
    상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
    상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
    수정되는 감소된 비디오 데이터 스트림으로 감소시키도록 구성되어,
    상기 감소된 비디오 데이터 스트림은, 코딩 파라미터 설정들의 상기 제2 세트를 사용하여 파라미터화되는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩되는 감소된 페이로드 부분을 갖는,
    네트워크 디바이스.
  22. 제21항에 있어서,
    상기 비디오 데이터 스트림 및 상기 감소된 비디오 데이터 스트림은 HEVC를 준수하는,
    네트워크 디바이스.
  23. 제21항 또는 제22항에 있어서,
    상기 파라미터 세트 부분은 SPS NAL 유닛들 및/또는 VPS NAL 유닛들 및/또는 PPS NAL 유닛들에 의해 포함되는,
    네트워크 디바이스.
  24. 제21항에 있어서,
    상기 코딩 파라미터 설정들은,
    픽처 크기,
    타일 구조,
    버퍼 크기 및 타이밍
    중 하나 이상을 정의하는,
    네트워크 디바이스.
  25. 제21항에 있어서,
    상기 네트워크 디바이스는 상기 페이로드 부분의 슬라이스들의 슬라이스 헤더들에서 상기 인덱스들을 위치확인하고, 각각의 슬라이스는 상기 미리 결정된 하위 영역의 경계를 가로지르지 않는 픽처의 대응하는 영역으로 인코딩되는,
    네트워크 디바이스.
  26. 제21항에 있어서,
    상기 네트워크 디바이스는 SEI 메시지, VUI 또는 상기 비디오 데이터 스트림의 파라미터 세트 확장으로부터 상기 정보를 판독하도록 구성되는,
    네트워크 디바이스.
  27. 제21항에 있어서,
    상기 페이로드 부분은, 상기 픽처들이 세분화되고 열 및 행의 타일 어레이에 배열되는 타일 단위로 코딩된 비디오의 픽처들을 갖고, 상기 표시는 상기 미리 결정된 하위 영역을 상기 타일들의 세트로서 표시하는,
    네트워크 디바이스.
  28. 제27항에 있어서,
    상기 페이로드 부분은, 상기 페이로드 부분이 슬라이스 단위로 세분화되도록 타일 단위로 코딩된 비디오의 픽처들을 갖고, 각각의 슬라이스는 상기 타일들 사이의 타일 경계를 가로지르지 않는 픽처의 대응하는 영역으로 인코딩되는,
    네트워크 디바이스.
  29. 제21항에 있어서,
    상기 대체 인덱스들에 의한 재지향이 수행될 및/또는 상기 대체 파라미터들에 의해 대치되는 인덱스들에 의해 인덱싱된 코딩 파라미터 설정들의 상기 제1 세트의 일부는,
    픽처 크기,
    타일 구조,
    버퍼 크기 및 타이밍
    중 하나 이상과 관련되는,
    네트워크 디바이스.
  30. 제21항에 있어서,
    상기 페이로드 부분(18)은, 상기 미리 결정된 하위 영역(22) 내에서, 상기 픽처들이 상기 미리 결정된 하위 영역(22)의 경계들을 가로지르는 시간 예측의 중단으로 코딩되도록 코딩된 비디오의 픽처들(12)을 갖는,
    네트워크 디바이스.
  31. 제21항에 있어서,
    상기 네트워크 디바이스는,
    상기 비디오 데이터 스트림 및 상기 감소된 비디오 데이터 스트림을 디코딩할 수 있는 비디오 디코더,
    비디오 디코더로서, 상기 비디오 디코더의 프로파일 레벨은 상기 비디오 디코더가 상기 감소된 비디오 데이터 스트림을 디코딩할 수 있기에는 충분하지만, 상기 비디오 디코더의 상기 프로파일 레벨은 상기 비디오 데이터 스트림을 디코딩할 수 있기에는 불충분한, 상기 비디오 디코더, 및
    제어 신호에 따라, 상기 비디오 데이터 스트림 및 상기 감소된 비디오 데이터 스트림 중 하나를 비디오 디코더에 포워딩하도록 구성되는 네트워크 디바이스
    중 하나인,
    네트워크 디바이스.
  32. 제21항에 있어서,
    상기 비디오 데이터 스트림은, 상기 픽처들(12)의 적어도 하나의 미리 결정된 하위 영역들(214)의 세트에 대해, 적어도 하나의 미리 결정된 하위 영역들의 세트의 타겟 픽처 영역으로의 변위되지 않은 카피에 대한, 상기 타겟 픽처 영역(216) 내에서 적어도 하나의 미리 결정된 하위 영역들의 세트의 변위를 표시하는 변위 정보를 포함하고,
    상기 네트워크 디바이스는 수정된 변위 정보에 따라 변위된 상기 하위 영역-특정 픽처들의 미리 결정된 하위 영역들을 갖는 상기 타겟 픽처 영역으로 카피된 상기 하위 영역-특정 픽처들이 상기 변위 정보에 따라 변위된 픽처들(12)의 적어도 하나의 미리 결정된 하위 영역(214)의 세트를 갖는 상기 타겟 픽처 영역으로 카피된 픽처들(12)의 미리 결정된 하위 영역(22)과 상기 타겟 픽처 영역(216) 내에서 일치하도록, 상기 변위 정보를 상기 수정된 변위 정보(206')로 수정하고, 상기 비디오 데이터 스트림을 감소시킬 때, 상기 변위 정보(206)를 상기 수정된 변위 정보(206')로 대체하도록 구성되거나, 또는
    상기 수정된 변위 정보(206')는 상기 픽처들(12)의 상기 미리 결정된 하위 영역(22)과 연관된 비디오 데이터 스트림에 의해 포함되고, 상기 변위 정보(206)는 상기 픽처들과 연관된 상기 비디오 데이터 스트림에 의해 포함되고, 상기 네트워크 디바이스는 상기 비디오 데이터 스트림을 감소시킬 때 상기 변위 정보(206)를 제거하고, 상기 수정된 변위 정보(206')를 상기 하위 영역-특정 픽처들(86)과 연관되도록 상기 감소된 비디오 데이터 스트림에 전달하도록 구성되는,
    네트워크 디바이스.
  33. 비디오(14)를 표현하는 비디오 데이터 스트림이 저장되는 저장 매체로서,
    상기 비디오 데이터 스트림은:
    상기 비디오의 픽처들(12)이 코딩되는 페이로드 부분(18),
    상기 비디오의 픽처들이 상기 페이로드 부분(18)에 코딩되는 방식에 매칭하는 보충 강화 정보를 표시하는 보충 강화 정보 메시지를 포함하고,
    상기 비디오 데이터 스트림은 정보(50)를 포함하고, 상기 정보(50)는,
    상기 픽처들(12)의 미리 결정된 하위 영역(22)의 표시(52), 및
    상기 보충 강화 정보 메시지를 대체하기 위한 대체 보충 강화 정보 메시지를 포함하고,
    상기 대체 보충 강화 정보 메시지는,
    상기 미리 결정된 하위 영역(22) 외부의 픽처들(12)의 영역을 참조하는 상기 페이로드 부분(18)의 부분들(70)을 제거(68)하고,
    상기 픽처들(12) 대신 상기 미리 결정된 하위 영역(22)의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 상기 페이로드 부분(18)의 위치 표시들(32)을 변경(78)함으로써,
    상기 비디오 데이터에 비해 수정되는 감소된 비디오 데이터 스트림(62)이, 상기 하위 영역-특정 픽처들(86)이 상기 감소된 페이로드 부분(18)으로 코딩되는 방식에 매칭하는 대체 보충 강화 정보를 상기 대체 보충 강화 정보 메시지가 표시하는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역(22)을 나타내는 하위 영역-특정 픽처들(86)로 인코딩된 감소된 페이로드 부분을 갖도록 선택되는,
    비디오 데이터 스트림.
  34. 비디오를 비디오 데이터 스트림으로 인코딩하기 위한 인코더로서,
    비디오의 픽처들을 비디오 데이터 스트림의 페이로드 부분으로 인코딩하도록 구성되는 코딩 코어(80b),
    상기 비디오의 픽처들이 상기 페이로드 부분(18)에 코딩되는 방식에 매칭하는 보충 강화 정보를 표시하는 보충 강화 정보 메시지를 생성하도록 구성되는 파라미터 설정기(80a)를 포함하고,
    상기 인코더는 상기 비디오 데이터 스트림에 정보(50)를 제공하도록 구성되고, 상기 정보(50)는,
    상기 픽처들(12)의 미리 결정된 하위 영역(22)의 표시, 및
    상기 보충 강화 정보 메시지를 대체하기 위한 대체 보충 강화 정보 메시지를 포함하고,
    상기 대체 보충 강화 정보 메시지는,
    상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
    상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
    상기 비디오 데이터 스트림에 비해 수정되는 감소된 비디오 데이터 스트림이, 상기 하위 영역-특정 픽처들(86)이 상기 감소된 페이로드 부분(18)으로 코딩되는 방식에 매칭하는 대체 보충 강화 정보를 상기 대체 보충 강화 정보 메시지가 표시하는 방식으로, 상기 픽처들의 상기 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩된 감소된 페이로드 부분을 갖도록 선택되는,
    인코더.
  35. 비디오 데이터 스트림을 프로세싱하기 위한 네트워크 디바이스로서,
    상기 비디오의 픽처들이 코딩되는 페이로드 부분,
    상기 비디오의 픽처들이 상기 페이로드 부분(18)에 코딩되는 방식에 매칭하는 보충 강화 정보를 표시하는 보충 강화 정보 메시지를 포함하고,
    상기 네트워크 디바이스는,
    상기 비디오 데이터 스트림으로부터 정보를 판독(64)하고 - 상기 정보는, 상기 픽처들의 미리 결정된 하위 영역의 표시, 및 상기 보충 강화 정보 메시지를 대체하기 위한 대체 보충 강화 정보 메시지를 포함함 -,
    상기 비디오 데이터 스트림을,
    상기 대체 보충 강화 정보 메시지로 상기 보충 강화 정보 메시지를 대체하고,
    상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
    상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
    수정되는 감소된 비디오 데이터 스트림으로 감소시키도록 구성되어,
    상기 감소된 비디오 데이터 스트림은, 상기 하위 영역-특정 픽처들(86)이 상기 감소된 페이로드 부분(18)으로 코딩되는 방식에 매칭하는 대체 보충 강화 정보를 상기 대체 보충 강화 정보 메시지가 표시하는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩된 감소된 페이로드 부분을 갖는,
    네트워크 디바이스.
  36. 비디오 데이터 스트림을 프로세싱하기 위한 네트워크 디바이스로서,
    비디오의 픽처들이 코딩되는 페이로드 부분의 프랙션을 포함하는 비디오 데이터 스트림을 수신하도록 구성되고,
    상기 프랙션은 상기 픽처들의 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 페이로드 부분의 부분들의 배제에 대응하고, 상기 비디오의 픽처들은,
    배제 없이, 상기 비디오 데이터 스트림의 파라미터 세트 부분에서 코딩 파라미터 설정들을 사용하는 파라미터화된 방식으로, 및/또는
    배제 없이, 상기 비디오 데이터 스트림의 보충 강화 메시지에 의해 표시된 보충 강화 정보에 매칭하는 방식으로,
    상기 페이로드 부분으로 코딩되고,
    상기 네트워크 디바이스는,
    상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 위치를 표시하고, 상기 코딩 파라미터 설정들을 사용하여 파라미터화되는 및/또는 상기 보충 강화 정보를 조정에 따라 조정된 보충 강화 정보 보충 강화 메시지에 의해 표시되는 보충 강화 정보에 매칭하는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들이 인코딩되는 상기 페이로드 부분의 프랙션을 상기 비디오 데이터 스트림이 갖도록, 상기 파라미터 세트 부분에서 상기 코딩 파라미터 설정들을 조정하고 그리고/또는 상기 보충 강화 정보 메시지를 조정하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써 상기 비디오 데이터 스트림을 수정하도록 구성되는,
    네트워크 디바이스.
  37. 제36항에 있어서,
    상기 미리 결정된 하위 영역(22) 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분(18)의 부분들(70)이 다운로드되지 않도록 상기 비디오 데이터 스트림을 다운로드하는 것을 제한하기 위해, 상기 비디오 데이터 스트림과 함께 상기 미리 결정된 하위 영역(22)에 대한 정보를 수신하거나 상기 미리 결정된 하위 영역(22)에 대한 정보를 사용하도록 구성되는,
    네트워크 디바이스.
  38. 제1항 및 제33항 내지 제37항 중 어느 한 항에 따른 데이터 스트림을 저장하는 디지털 저장 매체.
  39. 비디오를 비디오 데이터 스트림으로 인코딩하기 위한 방법으로서,
    코딩 파라미터 설정들(20)을 결정하고, 상기 코딩 파라미터 설정들을 표시하는 비디오 데이터 스트림의 파라미터 세트 부분(16)을 생성하는 단계;
    상기 코딩 파라미터 설정들의 제1 세트(20a)를 사용하여 파라미터화되는 방식으로 상기 비디오의 픽처들을 상기 비디오 데이터 스트림의 페이로드 부분으로 인코딩하는 단계 - 상기 제1 세트는 상기 페이로드 부분에 의해 포함되는 인덱스들(48)에 의해 인덱싱됨 -;
    상기 비디오 데이터 스트림에 정보(50)를 제공하는 단계를 포함하고, 상기 정보(50)는,
    상기 픽처들(12)의 미리 결정된 하위 영역(22)의 표시, 및
    참조하기 위한 페이로드 부분에 의해 포함되는 인덱스들을 재지향시키기 위한 대체 인덱스들(54), 및/또는 코딩 파라미터 설정들의 제2 세트를 도출하도록 코딩 파라미터 설정들의 상기 제1 세트를 조정하기 위한 대체 파라미터들(56)을 포함하고,
    상기 코딩 파라미터들의 제2 세트는,
    상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
    상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
    상기 비디오 데이터 스트림에 비해 수정되는 감소된 비디오 데이터 스트림이, 코딩 파라미터 설정들의 상기 제2 세트를 사용하여 파라미터화되는 방식으로, 상기 픽처들의 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩된 감소된 페이로드 부분을 갖도록 선택되는,
    방법.
  40. 비디오 데이터 스트림을 프로세싱하기 위한 방법으로서,
    상기 비디오 데이터 스트림은,
    코딩 파라미터 설정들을 표시하는 파라미터 세트 부분;
    상기 코딩 파라미터 설정들의 제1 세트를 사용하여 파라미터화되는 방식으로 상기 비디오의 픽처들이 코딩되는 페이로드 부분을 포함하고,
    상기 제1 세트는 상기 페이로드 부분에 의해 포함되는 인덱스들에 의해 인덱싱되고,
    상기 방법은,
    상기 비디오 데이터 스트림으로부터 정보를 판독(64)하는 단계 - 상기 정보는, 상기 픽처들의 미리 결정된 하위 영역의 표시, 및 참조하기 위한 페이로드 부분에 의해 포함되는 인덱스들을 재지향시키기 위한 대체 인덱스들, 및/또는 코딩 파라미터 설정들의 제2 세트를 도출하도록 코딩 파라미터 설정들의 상기 제1 세트를 조정하기 위한 대체 파라미터들을 포함함 -,
    상기 비디오 데이터 스트림을,
    상기 코딩 파라미터 설정들의 제2 세트가 상기 페이로드 부분의 인덱스들에 의해 인덱싱되도록 상기 재지향(72) 및/또는 조정(88)을 수행하고;
    상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
    상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
    수정되는 감소된 비디오 데이터 스트림으로 감소시키는 단계를 포함하여,
    상기 감소된 비디오 데이터 스트림은, 코딩 파라미터 설정들의 상기 제2 세트를 사용하여 파라미터화되는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩되는 감소된 페이로드 부분을 갖는,
    방법.
  41. 비디오를 비디오 데이터 스트림으로 인코딩하기 위한 방법으로서,
    비디오의 픽처들을 비디오 데이터 스트림의 페이로드 부분으로 인코딩하는 단계,
    상기 비디오의 픽처들이 상기 페이로드 부분(18)에 코딩되는 방식에 매칭하는 보충 강화 정보를 표시하는 보충 강화 정보 메시지를 생성하는 단계;
    상기 비디오 데이터 스트림에 정보(50)를 제공하는 단계를 포함하고, 상기 정보(50)는,
    상기 픽처들(12)의 미리 결정된 하위 영역(22)의 표시, 및
    상기 보충 강화 정보 메시지를 대체하기 위한 대체 보충 강화 정보 메시지를 포함하고,
    상기 대체 보충 강화 정보 메시지는,
    상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
    상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
    상기 비디오 데이터 스트림에 비해 수정되는 감소된 비디오 데이터 스트림이, 상기 하위 영역-특정 픽처들(86)이 상기 감소된 페이로드 부분(18)으로 코딩되는 방식에 매칭하는 대체 보충 강화 정보를 상기 대체 보충 강화 정보 메시지가 표시하는 방식으로, 상기 픽처들의 상기 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩된 감소된 페이로드 부분을 갖도록 선택되는,
    방법.
  42. 비디오 데이터 스트림을 프로세싱하기 위한 방법으로서,
    상기 비디오 데이터 스트림은,
    상기 비디오의 픽처들이 코딩되는 페이로드 부분,
    상기 비디오의 픽처들이 상기 페이로드 부분(18)에 코딩되는 방식에 매칭하는 보충 강화 정보를 표시하는 보충 강화 정보 메시지를 포함하고,
    상기 방법은
    상기 비디오 데이터 스트림으로부터 정보를 판독(64)하는 단계 - 상기 정보는, 상기 픽처들의 미리 결정된 하위 영역의 표시, 및 상기 보충 강화 정보 메시지를 대체하기 위한 대체 보충 강화 정보 메시지를 포함함 -;
    상기 비디오 데이터 스트림을,
    상기 대체 보충 강화 정보 메시지로 상기 보충 강화 정보 메시지를 대체하고,
    상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
    상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
    수정되는 감소된 비디오 데이터 스트림으로 감소(66)시키는 단계를 포함하여, 상기 감소된 비디오 데이터 스트림은, 상기 하위 영역-특정 픽처들(86)이 상기 감소된 페이로드 부분(18)으로 코딩되는 방식에 매칭하는 대체 보충 강화 정보를 상기 대체 보충 강화 정보 메시지가 표시하는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩된 감소된 페이로드 부분을 갖는,
    방법.
  43. 비디오 데이터 스트림을 프로세싱하기 위한 방법으로서,
    비디오의 픽처들이 코딩되는 페이로드 부분의 프랙션을 포함하는 비디오 데이터 스트림을 수신하는 단계를 포함하고,
    상기 프랙션은 상기 픽처들의 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 페이로드 부분의 부분들의 배제에 대응하고, 상기 비디오의 픽처들은,
    배제 없이, 상기 비디오 데이터 스트림의 파라미터 세트 부분에서 코딩 파라미터 설정들을 사용하는 파라미터화된 방식으로, 및/또는
    배제 없이, 상기 비디오 데이터 스트림의 보충 강화 메시지에 의해 표시된 보충 강화 정보에 매칭하는 방식으로,
    상기 페이로드 부분으로 코딩되고,
    상기 방법은,
    상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 위치를 표시하고, 상기 코딩 파라미터 설정들을 사용하여 파라미터화되는 및/또는 상기 보충 강화 정보를 조정에 따라 조정된 보충 강화 정보 보충 강화 메시지에 의해 표시되는 보충 강화 정보에 매칭하는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들이 인코딩되는 상기 페이로드 부분의 프랙션을 상기 비디오 데이터 스트림이 갖도록, 상기 파라미터 세트 부분에서 상기 코딩 파라미터 설정들을 조정하고 그리고/또는 상기 보충 강화 정보 메시지를 조정하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써 상기 비디오 데이터 스트림을 수정하는 단계를 포함하는,
    방법.
  44. 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
    컴퓨터 상에서 실행되는 경우 제39항 내지 제43항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램 코드를 갖는,
    컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.
    .
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 삭제
  85. 삭제
  86. 삭제
  87. 삭제
  88. 삭제
  89. 삭제
  90. 삭제
  91. 삭제
  92. 삭제
  93. 삭제
  94. 삭제
  95. 삭제
  96. 삭제
  97. 삭제
  98. 삭제
  99. 삭제
  100. 삭제
KR1020227020781A 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 KR102553812B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237022832A KR102653128B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP16154947.2 2016-02-09
EP16154947 2016-02-09
PCT/EP2017/052769 WO2017137444A1 (en) 2016-02-09 2017-02-08 Concept for picture/video data streams allowing efficient reducibility or efficient random access
KR1020217038076A KR102433227B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217038076A Division KR102433227B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237022832A Division KR102653128B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념

Publications (2)

Publication Number Publication Date
KR20220088811A KR20220088811A (ko) 2022-06-28
KR102553812B1 true KR102553812B1 (ko) 2023-07-12

Family

ID=55361354

Family Applications (14)

Application Number Title Priority Date Filing Date
KR1020217037643A KR102373046B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020247009837A KR20240044535A (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217037762A KR102373013B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217008468A KR102301362B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217037646A KR102373060B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217038076A KR102433227B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217008461A KR102331887B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020237022832A KR102653128B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217004266A KR102332006B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217037662A KR102373078B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217004270A KR102301352B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020227020781A KR102553812B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217025013A KR102385126B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020187025989A KR102256855B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념

Family Applications Before (11)

Application Number Title Priority Date Filing Date
KR1020217037643A KR102373046B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020247009837A KR20240044535A (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217037762A KR102373013B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217008468A KR102301362B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217037646A KR102373060B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217038076A KR102433227B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217008461A KR102331887B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020237022832A KR102653128B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217004266A KR102332006B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217037662A KR102373078B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020217004270A KR102301352B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020217025013A KR102385126B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
KR1020187025989A KR102256855B1 (ko) 2016-02-09 2017-02-08 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념

Country Status (8)

Country Link
US (13) US10743007B2 (ko)
EP (1) EP3414907A1 (ko)
JP (11) JP6784767B2 (ko)
KR (14) KR102373046B1 (ko)
CN (11) CN109076247B (ko)
CA (3) CA3167144C (ko)
TW (11) TWI669946B (ko)
WO (1) WO2017137444A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264508B2 (en) 2011-08-19 2016-02-16 Time Warner Cable Enterprises Llc Apparatus and methods for reduced switching delays in a content distribution network
CN105519115A (zh) * 2013-09-10 2016-04-20 株式会社Kt 用于对可扩展视频信号进行编码/解码的方法及装置
CN105659597B (zh) * 2013-10-22 2020-01-07 株式会社Kt 用于对多层视频信号进行编码/解码的方法和装置
CN105659598A (zh) * 2013-10-22 2016-06-08 株式会社Kt 用于对多层视频信号进行编码/解码的方法和装置
WO2015064990A1 (ko) * 2013-10-29 2015-05-07 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US20170026659A1 (en) * 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
JP6784767B2 (ja) 2016-02-09 2020-11-11 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 効率的削減または効率的ランダムアクセスを可能にする画像／ビデオデータストリームについての概念
FI20165114A (fi) * 2016-02-17 2017-08-18 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
EP3249928A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US10652594B2 (en) 2016-07-07 2020-05-12 Time Warner Cable Enterprises Llc Apparatus and methods for presentation of key frames in encrypted content
US20190199921A1 (en) * 2016-08-29 2019-06-27 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, 360-degree video transmitting device, and 360-degree video receiving device
JPWO2018056181A1 (ja) * 2016-09-26 2019-07-04 ソニー株式会社 符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置
CN110169074B (zh) * 2017-01-05 2021-09-28 夏普株式会社 用于对虚拟现实应用的mcts进行信令通知的系统和方法
CN110169069A (zh) * 2017-01-19 2019-08-23 索尼公司 图像处理装置和方法
US10764575B2 (en) 2017-03-03 2020-09-01 Qualcomm Incorporated Coding MCTS-nested SEI messages to exclude other SEI messages that are not MCTS-nested
WO2018182144A1 (ko) * 2017-03-29 2018-10-04 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10958948B2 (en) * 2017-08-29 2021-03-23 Charter Communications Operating, Llc Apparatus and methods for latency reduction in digital content switching operations
CN109963176B (zh) 2017-12-26 2021-12-07 中兴通讯股份有限公司 视频码流处理方法、装置、网络设备和可读存储介质
US10939142B2 (en) 2018-02-27 2021-03-02 Charter Communications Operating, Llc Apparatus and methods for content storage, distribution and security within a content distribution network
US11601660B2 (en) * 2018-03-30 2023-03-07 Hulu, LLC Reuse of block tree pattern in video compression
CN112602329B (zh) * 2018-06-21 2023-08-11 瑞典爱立信有限公司 用于360度视频解码的块置乱
US11553180B2 (en) 2018-06-21 2023-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Tile partitions with sub-tiles in video coding
CN112703734A (zh) * 2018-09-14 2021-04-23 Vid拓展公司 用于灵活网格区域的方法和装置
KR102629907B1 (ko) 2018-10-02 2024-01-30 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 타일 그룹 id에 기초한 화상들의 인코딩 및 디코딩
US10880354B2 (en) 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
US11252434B2 (en) * 2018-12-31 2022-02-15 Tencent America LLC Method for wrap-around padding for omnidirectional media coding
WO2020146662A1 (en) * 2019-01-09 2020-07-16 Futurewei Technologies, Inc. Sub-picture identifier signaling in video coding
BR112021014857A2 (pt) * 2019-02-01 2021-10-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decodificador e codificador de vídeo e seus métodos, aparelho de composição de vídeo, composição de vídeo e fluxo de dados
MX2021010393A (es) * 2019-03-01 2021-11-12 Fraunhofer Ges Forschung Decodificador de referencia hipotetico.
WO2020177702A1 (en) 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Two-level signaling of filtering information in video processing
CN111684804B (zh) * 2019-04-30 2022-05-13 深圳市大疆创新科技有限公司 一种数据编码、数据解码方法、设备及存储介质
KR20220023341A (ko) * 2019-06-25 2022-03-02 인텔 코포레이션 레벨 도출이 있는 서브-픽처 및 서브-픽처 세트
CN114073073B (zh) 2019-07-08 2023-06-06 华为技术有限公司 一种支持混合nal单元的编解码方法和编解码器
EP3997868A4 (en) 2019-08-10 2023-02-22 Beijing Bytedance Network Technology Co., Ltd. BUFFER MANAGEMENT DURING SUBPICTURE DECODING
CN112532569B (zh) * 2019-09-19 2022-05-31 澜至电子科技（成都）有限公司 视频码流保护装置、方法以及存储介质
BR112022006387A2 (pt) 2019-10-02 2022-07-26 Beijing Bytedance Network Tech Co Ltd Método e aparelho de processamento de vídeo, e, meio legível por computador
EP4333431A1 (en) 2019-10-18 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Syntax constraints in parameter set signaling of subpictures
GB2590632B (en) * 2019-12-20 2023-07-26 Canon Kk Video coding and decoding
US11716474B2 (en) * 2020-01-02 2023-08-01 Samsung Electronics Co., Ltd. Storage of EVC decoder configuration information
CN113382283B (zh) * 2020-03-09 2023-07-04 上海哔哩哔哩科技有限公司 视频片头识别方法及系统
EP4150912A4 (en) * 2020-06-09 2023-11-08 ByteDance Inc. VIDEO PARAMETER SET CONSTRAINTS FOR SUB-BIT STREAM EXTRACTION FROM SUB-PICTURES
EP4287382A1 (en) 2021-10-27 2023-12-06 LG Energy Solution, Ltd. Battery pack and energy storage system and vehicle comprising battery pack
TWI828091B (zh) * 2022-03-23 2024-01-01 中華電信股份有限公司 全景影像傳輸系統、方法以及電腦程式產品
CN115826630B (zh) * 2023-02-20 2023-05-12 中国机械总院集团江苏分院有限公司 物料盒队列位置交换的控制方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150341552A1 (en) 2014-05-21 2015-11-26 Here Global B.V. Developing a Panoramic Image

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
DE69816185T2 (de) 1997-06-12 2004-04-15 Hewlett-Packard Co. (N.D.Ges.D.Staates Delaware), Palo Alto Bildverarbeitungsverfahren und -vorrichtung
JPH11346370A (ja) * 1998-06-02 1999-12-14 Matsushita Electric Ind Co Ltd 符号化方法、符合化装置、復号方法、復号装置、及び記録媒体
US20040239763A1 (en) 2001-06-28 2004-12-02 Amir Notea Method and apparatus for control and processing video images
US7058239B2 (en) 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
FI114679B (fi) 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
US7295717B2 (en) 2002-10-16 2007-11-13 Ecole polytechnique fédérale de Lausanne (EPFL) Synthesis of superposition images for watches, valuable articles and publicity
KR20060010776A (ko) * 2003-05-02 2006-02-02 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 비디오 데이터 처리 방법 및 데이터 프레임의 제 1 블럭에대한 움직임 벡터 생성 방법
US7588314B1 (en) 2004-10-12 2009-09-15 Lev Nisnevich Image forming device and method using intermittent motion across a work surface
EP1869894A1 (en) * 2005-04-14 2007-12-26 Thomson Licensing Method and apparatus for slice adaptive motion vector coding for spatial scalable video encoding and decoding
US7474848B2 (en) 2005-05-05 2009-01-06 Hewlett-Packard Development Company, L.P. Method for achieving correct exposure of a panoramic photograph
CN101238714B (zh) 2005-08-12 2012-03-28 Nxp股份有限公司 数字图像稳定化方法和系统
US7809211B2 (en) 2005-11-17 2010-10-05 Upek, Inc. Image normalization for computed image construction
JP4801428B2 (ja) 2005-11-30 2011-10-26 株式会社リコー 画像形成装置及び画像形成方法
ES2586406T3 (es) 2007-04-12 2016-10-14 Thomson Licensing Enlosamiento en codificación y decodificación de vídeo
US8724708B2 (en) * 2007-04-27 2014-05-13 Panasonic Corporation Image decoding device, image decoding system, image decoding method, and integrated circuit
JP4723543B2 (ja) * 2007-08-10 2011-07-13 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2010049313A (ja) * 2008-08-19 2010-03-04 Sony Corp 画像処理装置、画像処理方法、プログラム
CN104717505B (zh) 2009-04-08 2019-01-11 夏普株式会社 运动图像编码装置以及运动图像解码装置
US9357219B2 (en) 2009-04-08 2016-05-31 Sharp Kabushiki Kaisha Video encoding apparatus and video decoding apparatus
US8745677B2 (en) * 2009-06-12 2014-06-03 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
TWI678916B (zh) * 2010-04-13 2019-12-01 美商Ｇｅ影像壓縮有限公司 樣本區域合倂技術
EP2594077B1 (en) 2010-07-15 2015-11-04 GE Video Compression, LLC Hybrid video coding supporting intermediate view synthesis
US20120195356A1 (en) * 2011-01-31 2012-08-02 Apple Inc. Resource usage control for real time video encoding
KR20120088488A (ko) 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
JP5191013B2 (ja) * 2011-03-10 2013-04-24 株式会社メガチップス 画像符号化装置及び画像復号化装置
CN102209241B (zh) * 2011-05-25 2013-07-03 杭州华三通信技术有限公司 一种基于多子图的视频编解码方法及其装置
JP5729237B2 (ja) * 2011-09-26 2015-06-03 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
CN102333221B (zh) * 2011-10-21 2013-09-04 北京大学 一种全景式背景预测的视频编解码方法
US20130114694A1 (en) * 2011-11-08 2013-05-09 Qualcomm Incorporated Parameter set groups for coded video data
US9736476B2 (en) * 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
US9516308B2 (en) * 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
JP6422011B2 (ja) * 2012-05-11 2018-11-14 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
EP2868103B1 (en) * 2012-06-29 2016-12-07 GE Video Compression, LLC Video data stream concept
KR20140010823A (ko) 2012-07-17 2014-01-27 삼성전자주식회사 영상 데이터 스케일링 방법 및 영상 디스플레이 장치
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
US9706199B2 (en) * 2012-09-28 2017-07-11 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
KR101806216B1 (ko) 2013-01-04 2017-12-08 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
CN105247869B (zh) 2013-05-24 2019-05-10 株式会社Kt 解码多层视频的方法和设备
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
JP6208993B2 (ja) 2013-06-28 2017-10-04 ルネサスエレクトロニクス株式会社 画像復号装置及び画像復号装置の復号処理方法
US9451254B2 (en) 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
EP3058734B1 (en) 2013-10-15 2020-06-24 Nokia Technologies Oy Buffering parameters in scalable video coding and decoding
GB2519746B (en) 2013-10-22 2016-12-14 Canon Kk Method, device and computer program for encapsulating scalable partitioned timed media data
US9712843B2 (en) * 2013-10-23 2017-07-18 Qualcomm Incorporated Multi-layer video file format designs
CN106416250B (zh) 2013-12-02 2020-12-04 诺基亚技术有限公司 视频编码和解码
MY178217A (en) 2014-01-02 2020-10-07 Vid Scale Inc Methods and systems for scalable video coding with mixed interlace and progressive content
EP3090558A4 (en) * 2014-01-03 2017-08-16 Nokia Technologies OY Parameter set coding
EP2894857A1 (en) * 2014-01-10 2015-07-15 Thomson Licensing Method and apparatus for encoding image data and method and apparatus for decoding image data
US20150264404A1 (en) 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
JP6653860B2 (ja) 2014-05-26 2020-02-26 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体
US10136161B2 (en) 2014-06-24 2018-11-20 Sharp Kabushiki Kaisha DMM prediction section, image decoding device, and image coding device
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
KR101953679B1 (ko) 2014-06-27 2019-03-04 코닌클리즈케 케이피엔 엔.브이. Hevc-타일드 비디오 스트림을 기초로 한 관심영역 결정
US9570113B2 (en) 2014-07-03 2017-02-14 Gopro, Inc. Automatic generation of video and directional audio from spherical content
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US9854237B2 (en) 2014-10-14 2017-12-26 Qualcomm Incorporated AMVP and merge candidate list derivation for intra BC and inter prediction unification
JP2018050091A (ja) 2015-02-02 2018-03-29 シャープ株式会社 画像復号装置、画像符号化装置および予測ベクトル導出装置
EP3310054A4 (en) 2015-06-11 2019-02-27 Intellectual Discovery Co., Ltd. IMAGE ENCODING AND DECODING METHOD USING AN ADAPTIVE DEBLOCKING FILTER, AND APPARATUS THEREOF
CN114866769A (zh) 2015-08-07 2022-08-05 Lg 电子株式会社 视频编译系统中的帧间预测方法和装置
US10282814B2 (en) 2016-01-07 2019-05-07 Mediatek Inc. Method and apparatus of image formation and compression of cubic images for 360 degree panorama display
JP6784767B2 (ja) 2016-02-09 2020-11-11 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 効率的削減または効率的ランダムアクセスを可能にする画像／ビデオデータストリームについての概念
WO2018006095A2 (en) 2016-07-01 2018-01-04 Digimarc Corporation Image-based pose determination
US20190253734A1 (en) 2017-03-20 2019-08-15 Lg Electronics Inc. Method for transmitting 360 video, method for receiving 360 video, 360 video transmitting device, and 360 video receiving device
CN106993187B (zh) 2017-04-07 2019-09-06 珠海全志科技股份有限公司 一种可变帧率的编码方法及装置
CN110495177B (zh) 2017-04-13 2023-10-20 松下电器（美国）知识产权公司 解码装置、解码方法及存储介质
WO2019009324A1 (en) 2017-07-07 2019-01-10 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR SIGNALING A PROJECTED REGION FOR VIRTUAL REALITY APPLICATIONS
WO2019050426A1 (en) 2017-09-05 2019-03-14 Huawei Technologies Co., Ltd. METHOD FOR QUICKLY ADAPTING BLOCKS FOR COLLABORATIVE FILTERING IN LOSS VIDEO CODECS
WO2019065587A1 (en) 2017-09-29 2019-04-04 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR SIGNALING INFORMATION ASSOCIATED WITH A CONSTITUTIVE IMAGE
US20190297326A1 (en) 2018-03-21 2019-09-26 Nvidia Corporation Video prediction using spatially displaced convolution

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150341552A1 (en) 2014-05-21 2015-11-26 Here Global B.V. Developing a Panoramic Image

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. Auyeung. HLS: Non-significant slice segments with tiles for single layer HEVC extensions. JCT-VC of ITU-T and ISO/IEC. JCTVC-N0269 Ver.2. Jul. 25, 2013, pp.1-4
G. Ballocca. Requirements for frame-compatible format. ISO/IEC JTC1/SC29/WG11 MPEG2013/M29229 Ver.3, Apr. 24, 2013, pp.1-9

Also Published As

Publication number Publication date
CN113347448A (zh) 2021-09-03
KR20210144924A (ko) 2021-11-30
US11212542B2 (en) 2021-12-28
CA3167144A1 (en) 2017-08-17
KR20240044535A (ko) 2024-04-04
TWI747775B (zh) 2021-11-21
KR20210144925A (ko) 2021-11-30
US20230412824A1 (en) 2023-12-21
KR102653128B1 (ko) 2024-04-01
JP2022008405A (ja) 2022-01-13
CN113347443B (zh) 2022-08-23
KR20210146439A (ko) 2021-12-03
US20210211691A1 (en) 2021-07-08
JP2022008409A (ja) 2022-01-13
TWI762207B (zh) 2022-04-21
CN113347441A (zh) 2021-09-03
TWI669946B (zh) 2019-08-21
JP2022008406A (ja) 2022-01-13
US20210105495A1 (en) 2021-04-08
JP2022003799A (ja) 2022-01-11
US20210211690A1 (en) 2021-07-08
KR102373060B1 (ko) 2022-03-11
TW202127877A (zh) 2021-07-16
TW202127876A (zh) 2021-07-16
TW202130176A (zh) 2021-08-01
CN113347441B (zh) 2022-08-23
JP2022008411A (ja) 2022-01-13
TW202130182A (zh) 2021-08-01
KR20210019137A (ko) 2021-02-19
JP7303266B2 (ja) 2023-07-04
JP7093455B2 (ja) 2022-06-29
CA3197905A1 (en) 2017-08-17
KR102433227B1 (ko) 2022-08-18
KR102373046B1 (ko) 2022-03-11
US11089314B2 (en) 2021-08-10
JP2022008408A (ja) 2022-01-13
US11146804B2 (en) 2021-10-12
KR102301352B1 (ko) 2021-09-14
US11128877B2 (en) 2021-09-21
KR102332006B1 (ko) 2021-12-01
TW201740733A (zh) 2017-11-16
CN113347440A (zh) 2021-09-03
CN113347440B (zh) 2022-08-23
KR102373078B1 (ko) 2022-03-11
KR20210144926A (ko) 2021-11-30
US11184626B2 (en) 2021-11-23
JP7093453B2 (ja) 2022-06-29
KR20210035326A (ko) 2021-03-31
EP3414907A1 (en) 2018-12-19
US11172213B2 (en) 2021-11-09
US20210211696A1 (en) 2021-07-08
JP2019506091A (ja) 2019-02-28
US20210211692A1 (en) 2021-07-08
CA3013657C (en) 2022-09-13
CN113347446B (zh) 2022-10-04
US20190014337A1 (en) 2019-01-10
CN113347442B (zh) 2022-08-23
CN113347445B (zh) 2023-01-20
TW202127878A (zh) 2021-07-16
CA3013657A1 (en) 2017-08-17
CN113347446A (zh) 2021-09-03
US10743007B2 (en) 2020-08-11
CN113347443A (zh) 2021-09-03
CN113347442A (zh) 2021-09-03
US20210211697A1 (en) 2021-07-08
KR20210019597A (ko) 2021-02-22
KR20210100750A (ko) 2021-08-17
TWI762206B (zh) 2022-04-21
JP2021013198A (ja) 2021-02-04
CN113347444A (zh) 2021-09-03
US11122282B2 (en) 2021-09-14
US20210211695A1 (en) 2021-07-08
KR20230107713A (ko) 2023-07-17
US20210211689A1 (en) 2021-07-08
CN109076247B (zh) 2021-04-16
CN113347444B (zh) 2022-10-04
CN113347439B (zh) 2022-05-17
US20210211693A1 (en) 2021-07-08
TWI736895B (zh) 2021-08-21
JP2022008407A (ja) 2022-01-13
KR102373013B1 (ko) 2022-03-11
CN109076247A (zh) 2018-12-21
JP7295186B2 (ja) 2023-06-20
JP7303170B2 (ja) 2023-07-04
CN113347439A (zh) 2021-09-03
KR102385126B1 (ko) 2022-04-12
TW202130177A (zh) 2021-08-01
JP6784767B2 (ja) 2020-11-11
KR102301362B1 (ko) 2021-09-13
US11190785B2 (en) 2021-11-30
KR20210144935A (ko) 2021-11-30
KR20220088811A (ko) 2022-06-28
US11089315B2 (en) 2021-08-10
KR20210034127A (ko) 2021-03-29
TW202344052A (zh) 2023-11-01
TW202127879A (zh) 2021-07-16
TW202011741A (zh) 2020-03-16
JP7093454B2 (ja) 2022-06-29
WO2017137444A1 (en) 2017-08-17
KR20180111969A (ko) 2018-10-11
TWI750072B (zh) 2021-12-11
KR102331887B1 (ko) 2021-12-01
TWI762260B (zh) 2022-04-21
TW202130188A (zh) 2021-08-01
US20210211694A1 (en) 2021-07-08
TWI793533B (zh) 2023-02-21
CN113347445A (zh) 2021-09-03
CN113347447A (zh) 2021-09-03
US20190020884A1 (en) 2019-01-17
JP2022008410A (ja) 2022-01-13
JP7152575B2 (ja) 2022-10-12
JP7410101B2 (ja) 2024-01-09
KR102256855B1 (ko) 2021-05-26
CN113347447B (zh) 2022-10-04
TWI762259B (zh) 2022-04-21
US11770546B2 (en) 2023-09-26
TWI793532B (zh) 2023-02-21
JP2024038008A (ja) 2024-03-19
CA3167144C (en) 2023-06-27
US10958921B2 (en) 2021-03-23
JP7152574B2 (ja) 2022-10-12

Similar Documents

Publication Publication Date Title
KR102553812B1 (ko) 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent